CN111801704A - 用于使用血管特征检测异常组织的系统和方法 - Google Patents

用于使用血管特征检测异常组织的系统和方法 Download PDF

Info

Publication number
CN111801704A
CN111801704A CN201980016715.7A CN201980016715A CN111801704A CN 111801704 A CN111801704 A CN 111801704A CN 201980016715 A CN201980016715 A CN 201980016715A CN 111801704 A CN111801704 A CN 111801704A
Authority
CN
China
Prior art keywords
pixels
vessel
frequency
abnormal
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980016715.7A
Other languages
English (en)
Inventor
C·M·斯威舍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111801704A publication Critical patent/CN111801704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

一种成像系统包括相机、显示器和处理器。相机具有彩色视频采集能力，并且被安装到可插入在物体内的介入仪器的远端端部，所述相机提供用于对物体的脉管系统进行成像的图像帧，每个图像帧分别包括提供对应信号的多个像素。处理器被编程为：接收信号；放大与多个像素相对应的信号的颜色和运动中的至少一项的变化；分别确定与多个像素相对应的放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性；基于空间相位变化性、频率和/或信号特性来识别指示异常血管分布的像素；创建与每个相对应的血管图，其中，每个血管分布图包括物体的具有异常血管分布的部分；并且操作显示器以显示每个血管分布图。

Description

用于使用血管特征检测异常组织的系统和方法
背景技术
当前在医学成像中使用利用血管形成对肿瘤的检测。即，可以通过分析肿瘤内的血管来检测肿瘤，因为与正常血管相比，这些肿瘤血管通常以不规则形状、无序连接和泄漏毛细血管来扩张。例如，对注入到静脉系统中的造影剂的动态成像可用于检测增加的血管分布、血管生成和血管泄漏的区，所有这些指示癌性肿瘤。然而，相机和光学成像器尚未用于癌性肿瘤检测，即使视频相关联的外科手术正变得越来越普遍。微创外科手术常常实现改进的患者预后。
术中正常组织与异常组织的区分常常是对外科医师的挑战。对于常常在脑癌(例如神经外科手术)、肺癌(例如，计算机断层摄影(CT)扫描上的毛玻璃样浑浊)、肝癌(例如弥漫性肝病)以及软组织中的其他癌症中常常看到的不可触摸/非触觉肿瘤，这种区分可能特别困难。而且，在机器人外科手术期间，外科医师不能使用触觉特征来区分肿瘤。当从CT扫描、磁共振成像(MRI)扫描和/或正电子发射断层摄影(PET)扫描采集的外科手术规划信息由于组织变形而未能帮助确定肿瘤(或病变)位置时，也可能出现困难。例如，这常常在胸外科手术期间由于气胸而出现，并且在神经外科手术期间由于脑脊液(CSF)丢失而出现。
而且，将外科手术机器人和/或可操纵设备用于视觉辅助的微创外科手术限制了直接视觉进入潜在异常组织。外科手术机器人的示例包括多臂系统，诸如
Figure BDA0002662297570000011
机器人，或柔性机器人，诸如Medrobotics 机器人系统。这些机器人系统由外科医师(或用户)使用不同的接口机构来控制，包括用于操作机器人系统的手动控制器、输入手柄和/或平视显示器(HUD)设备(例如，头戴式显示器(HMD)设备)以及用于捕获内窥镜视频并显示机器人系统的各种控制模式的图像显示器。
因此，期望能够在外科手术或其他介入流程期间使用从可插入在身体内的相机获得的血管形成的图像来准确地检测肿瘤。
发明内容
根据说明性实施例，一种成像系统包括相机、显示器和处理器。该相机具有彩色视频采集功能，并安装到可插入在物体内的介入仪器的远端端部。相机提供用于对物体的脉管系统进行成像的图像帧，每个图像帧分别包括提供对应信号的多个像素。处理器被编程为：接收信号；放大与多个像素相对应的信号的颜色和运动中的至少一项的变化以提供放大信号；分别确定与多个像素相对应的放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项；基于所述放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项来识别多个像素中指示异常血管分布的像素；使用所识别的像素来创建与放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项中的每项相对应的血管图，每个血管分布图包括物体的具有异常血管分布的部分；并操作显示器以显示每个血管分布图。
根据另一个说明性实施例，提供了一种方法，用于使用来自具有彩色视频采集能力并且安装到可插入在对象内的介入仪器的远端端部的相机的图像来识别指示对象内的异常组织的异常血管分布。所述方法包括：接收与对象中的目标部分的由相机提供的多个图像帧中的每个图像帧中的多个像素相对应的信号以用于对目标部分的脉管系统进行成像；并且分别放大与多个图像帧中的每个图像帧中的多个像素相对应的信号的颜色和运动中的至少一项的变化以提供放大信号；分别确定与多个像素相对应的放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项；基于放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项来识别多个图像帧中的每个图像帧中的多个像素中指示异常血管分布的像素；使用所识别的像素来创建与放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项中的每项相对应的血管图，每个血管分布图包括对象的具有异常血管分布的部分；并且显示每个血管分布图。所述方法还可以包括：组合与放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项中的每项相对应的血管图中的至少两个血管图，以创建聚合血管图；以及并显示聚合血管图。
根据另一个说明性实施例，提供了一种计算机可读介质，所述计算机可读介质包含软件，所述软件可由计算机处理器执行，以使用来自具有彩色视频采集能力并安装到可插入在对象内的介入仪器的远端端部的相机的图像来识别指示对象内的异常组织的异常血管分布。所述计算机可读介质包括：接收代码，其用于接收与对象中的目标部分的经由介入仪器由相机提供的多个图像帧中的每个图像帧中的多个像素相对应的信号以对目标部分的脉管系统进行成像；放大代码，其用于分别放大与多个图像帧中的每个图像帧中的多个像素相对应的信号的至少运动的变化以提供放大信号；确定代码，其用于分别确定与多个像素相对应的放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项；识别代码，其用于基于放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项来识别多个图像帧中的每个图像帧中的多个像素中指示异常血管分布的像素；创建代码，其用于使用所识别的像素来创建与放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项中的每项相对应的血管图，每个血管分布图包括对象的具有异常血管分布的部分；组合代码，其用于通过组合与放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项中的每项相对应血管图中的至少两个血管图来提供聚合血管图；以及显示代码，其用于使聚合血管图被显示在显示器上，所显示的聚合血管图通过与具有正常血管分布的对象的部分的增强的对比度来指示对象的具有异常血管分布的部分。
附图说明
根据下面结合附图考虑的以下示例性实施例的详细描述，将更容易理解本发明。这些图中相似编号的元件是等效元件或执行相同的功能。如果功能等同，则先前已经讨论的元件将不必在后面的图中讨论。
图1A示出了具有正常血管分布的健康(或正常)组织的示例。
图1B示出了如在肿瘤中具有异常血管分布的示例不健康(或癌性)组织。
图2是示出根据代表性实施例的用于对感兴趣区域中的脉管系统进行成像的脉管系统成像系统的简化示意性框图。
图3是示出根据代表性实施例的放大图像和在多个图像帧中捕获的对应信号的简化示意图。
图4是示出根据代表性实施例的使用放大图像和在多个图像帧中捕获的对应信号的频率和信号强度的简化示意图。
图5是示出根据代表性实施例的放大图像内的像素与在一个或多个图像帧中捕获的对应相位信号之间的相位移位的简化示意图。
图6是示出根据代表性实施例的通过参考图3-5描述的技术获得的血管图的简化示意图，其被组合以提供具有增强对比度的聚合血管图。
图7A是示出根据本发明的说明性实施例的外科手术机器人系统的示意框图。
图7B是示出根据本发明的说明性实施例的外科手术机器人系统的示意性框图。
具体实施方式
现在将在下文中参考本发明的实施例被示出的附图来更全面地描述本发明的实施例。然而，本发明可以以不同的形式实现，并且不应被解释为限于本文阐述的实施例。相反，这些实施例被提供为本发明的教导示例。
如上所述，对于执行各种介入流程的外科医师，将异常组织与正常组织进行术中区分以进行切除和活检是普遍的挑战。根据各种实施例，指示血管异常或血管过度异常的在创建一个或多个欧拉视频放大图之后提取的血管信息可以用于帮助外科医师将异常组织(例如，癌性肿瘤)与正常组织区分开。此外，各种实施例可以用于筛查疑似黑色素瘤(皮肤癌)病变，以改进准确度并潜在地帮助早期诊断。
通常，癌症的标志包括在肿瘤的多步发展期间采集的六种生物学能力。这些标志构成用于合理化肿瘤性疾病的复杂性的组织原则。诱导的血管生成是六个标志之一。血管生成使得包括癌细胞的肿瘤能够具有其自己的血液供应，使得其可以生长。与正常血管(例如，延伸穿过身体的部分而不受癌性肿瘤干扰的血管)不同，肿瘤血管说明各种异常，例如扩张有不规则形状，具有混乱的连接并包括毛细血管泄漏，从而导致不规则血流。这样的异常可以被称为过度血管形成。图1A和1B分别示出了具有正常血管分布的健康(或正常)组织以及具有异常血管分布的不健康或异常(例如癌性)组织的示例，如在肿瘤中。
根据各种实施例，对视频中脉动流的基于相机的检测被用于检测这些和其他异常。相机可以被安装到介入仪器或工具，例如内窥镜或导管，或者被安装到机器人臂，以帮助对对象执行介入流程。贯穿本公开，“安装到”是指连接到、与之集成和/或包含在其中。常常，身体的看似静止的部分的包括视频的图像实际上包含肉眼不可见的细微变化。然而，能够经由使用算法放大变化来测量这些细微变化，例如包括使用欧拉视频放大。例如，已知可以从由常规视频捕获的脉搏引起的颜色变化或脉动流的小运动来测量人脉搏，这样的测量被称为远程光体积描记(rPPG)。参见例如Wu等人的“Eulerian Video Magnification forRevealing Subtle Changes in the World”(ACM Transactions on Graphics第31卷、第4号(Proc.SIGGRAPH，2012))。
通常，可以从由脉管系统的相机提供的数据流获取一系列图像，其中，相机可以安装到介入仪器，并且该数据流在执行介入流程的过程中可能已经可用。颜色和/或运动的变化在由来自对脉管系统(例如，包括正常和异常组织)进行成像的相机的像素信号指示的图像中被放大。然后，可以创建和/或组合达到三个血管图以区分正常组织和异常组织的区。如下所述，基于与对应于目标部分或ROI的图像的信号不同的信息，血管图可以包括例如频率图、信号特性图和相位变化性图。
可以生成组合了三个血管图中的两个或多个血管图的聚合血管图以用于增强的对比度，即，比任何单个血管图的对比度更好，从而更好地区分正常和异常组织的区。血管图和/或聚合血管图可以利用包括平视显示器(HUD)的增强现实(AU)设备来显示，例如，使能容易可视化，使得外科医师可以保持聚焦于外科手术区，其中，异常组织(例如肿瘤)在血管图和/或聚合血管图中在视觉上显而易见。可以通过训练完全卷积神经网络(FCN)以分割目标部分或ROI中的异常区来增强血管图之一。
基于相机的血管信息也可以用于筛查疑似血管黑素瘤病变，以改进准确度并且潜在地帮助早期诊断。也就是说，相机(在这种情况下，位于外部)可以提供具有脉管系统的显而易见的病变的图像。再次，来自像素信号的颜色和/或运动的变化被放大，像素信号对脉管系统成像(例如，包括正常和异常组织)。然后，可以创建和/或组合血管图以区分病变内和周围的正常和异常组织的区。血管信息可以与指示恶性的其他视觉线索(例如形态、颜色、大小和时间变化)组合，以进一步改进基于相机的筛查的准确度。
例如，对于具有许多病变的患者，来自彩色视频的信息可以帮助临床医师对较高风险的病变进行分类以进行活检。黑色素瘤的早期诊断是阳性预后和生存的关键决定因素。而且，在早期阶段中对皮肤病变的外科手术移除通常是微创的，而在后期阶段中对黑色素瘤的处置(例如侵袭性和难以处置的转移性黑色素瘤)导致较差的预后。利用除了常规图像之外的数据训练的卷积神经网络(CNN)可以进一步改进准确度，并且潜在地帮助对黑色素瘤的早期诊断。可以在对象的家中和/或在皮肤病诊所提供这样的基于相机的血管分布确定，因为该确定可以使用相机、处理器和存储器来完成，如下面参考图2所讨论的。尤其是，尽管本公开聚焦于用于介入流程的使用相机的成像和血管分布确定，但是应理解，识别正常和异常脉管系统的过程，包括对血管图和/或聚合血管图的确定和显示，对于确定血管黑色素瘤病变的血管分布是基本上相同的。
而且，可以为用户(例如，外科医师)提供AR设备，以通过用户的身体移动来控制机器人(例如，除了使用用户的手来操纵常规手动控制之外)。用户可以基于由AR设备从相机接收的实况图像来识别并选择针对机器人的目标部分。实况图像可以是内窥镜图像，例如，由安装到内窥镜的远端端部的相机提供的，例如，所述内窥镜可以由专用内窥镜控制器可操作；或者由前视相机提供的，例如所述前视相机可以由机器人可操作。例如，AR设备可以包括平视显示器(HUD)(AR-HUD设备)，所述平视显示器在由用户穿戴的头部件中的显示器上显示(一幅或多幅)图像。AR-HUD设备还包括一个或多个传感器，其被配置为检测用户的运动，诸如头部运动或眼睛移动，其中，检测到的运动被处理以针对机器人选择显示器上的图像中所示的外科手术部位中的目标部分。
使用用户的实况图像和头部运动和/或眼睛移动检测通过模拟常规外科手术期间的体验来改进机器人的可用性，其中，用户将他或她的头部移向和/或将眼睛移动引向用户聚焦于的区(目标部分)，同时保留外科手术机器人的改进的灵活性。此外，实况图像可以用于提供脉管系统的数据流，如上所述。来自这些图像的颜色和/或运动被放大，以放大脉管系统信号，并且提供描绘异常组织(例如肿瘤)区的血管图。
应当理解，本文所使用的术语仅是出于描述特定实施例的目的，而不旨在是限制性的。任何定义的术语是除了如在本教导的技术领域中通常理解和接受的定义的术语的技术和科学含义之外的。说明书中对“一个实施例”或“实施例”及其其他变型的引用意味着结合该实施例描述的特定特征、结构、特性、步骤等被包括在本教导的至少一个实施例中。因此，贯穿说明书在各个位置出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型的出现不一定全部指的是相同实施例。
首先，应注意，图像可以包括作为视频或静止图像的流获得的二维(2D)或三维(3D)图像。2D或3D图像可以经由被安装到内窥镜的远端端部的相机或者经由被提供在机器人臂的远端端部的前视相机(例如，作为末端执行器)获得。而且，图像可以是在微创流程期间通过相机捕获的实况图像。在各种配置中，图像可以由多个相机捕获。可以在外科手术期间并入其他医学成像，诸如通过X射线、超声和/或磁共振获得的图像，例如，针对外科手术部位和周围区的较宽视图，但可能不必直接用于在介入流程期间检测异常血管分布。
图2是示出根据代表性实施例的用于对感兴趣区域中的脉管系统进行成像的脉管系统成像系统的简化示意性框图。
参考图2，成像系统200被提供用于使用血管特征来检测对象内的异常组织。成像系统200包括相机212，相机212附接到介入仪器242的远端端部，介入仪器242诸如是内窥镜、导管和/或机器人臂的末端执行器。在实施例中，相机212具有彩色视频采集能力，并且可以提供数字静止图像和/或视频。相机212可插入对象内以便对目标部分(例如，或ROI)成像，以确定相关联的血管分布。血管分布的分析使能正常组织和异常组织(例如癌性肿瘤)之间的区分，如下所述。更具体地，相机212提供对应于多个像素的脉管系统信号，包括彩色图像数据和/或运动数据(当相机212提供数字视频信号时)。
在不脱离本教导的范围的情况下，相机212可以是针对2D图像的单眼相机或捕获3D图像的立体相机。例如，立体相机或一对相机可以包括多个透镜或具有针对每个透镜的单独的传感器的透镜组件，其在数字检测器阵列(例如，电荷耦合器件(CCD)成像阵列、互补金属氧化物半导体(CMOS)成像阵列等)上形成图像。相机212可以例如通过具有带有对红、绿和蓝光(或基本上跨越可见谱的另一组颜色)敏感的像素的成像阵列而具有彩色视频能力。相机212任选地可以包括其他典型特征，诸如用于设置曝光时间的内置闪光灯(未示出)和/或环境光传感器(未示出)。
成像系统200还包括处理单元230、显示器220、用户输入226和输入/输出电路238。处理单元230包括至少一个处理器232和至少一个存储器234。存储器234是非瞬态存储介质，诸如例如随机存取存储器(RAM)、只读存储器(ROM)、磁盘和/或固态存储器。存储器234包括指令，其在由处理器232执行时使处理器232接收并处理由相机212提供的图像的脉管系统信号。通常，处理识别指示目标部分中的异常脉管系统分布的相机212的像素，异常血管分布对应于异常组织。处理还包括例如使用以下讨论的包括频率、信号特性和相位变化性的各种技术来创建具有改进的对比度的描绘异常血管分布的血管图。血管图可以叠加在目标部分的图像上，以帮助用户对异常组织进行识别和处置(例如，移除、活检)。处理单元230被示为具有经由介入仪器242(和I/O电路238)到相机212的有线连接。然而，应理解，在不脱离本教导的范围的情况下，处理单元230可以经由无线通信链路或网络(例如，Wi-Fi或4G)连接到相机212。
经处理的图像和/或血管图可以显示在显示器220(例如LCD显示器、OLED显示器和/或触敏屏幕)上。用户(例如，外科医师)能够经由用户输入226(例如，鼠标、键盘、轨迹球和/或触敏屏幕)控制显示器220。例如，用户可以隔离图像的部分，放大和缩小等。当相机212提供视频信号时，例如，用户可以在各种帧处暂停，并且在视频流中向前和向后移动。以这种方式，用户可以将(一个或多个)血管图叠加在显示器220上的选定图像帧上。用户还可以经由用户输入226手动控制相机212和/或介入仪器242的定位，如下面进一步所讨论的。
在实施例中，用户输入226和显示器220可以并入在AR-HUD设备内。AR-HUD设备可以包括左眼和右眼显示器作为显示器220，但是备选地，显示器220可以是跨越两只眼睛的单个大窗口。在一些示例中，相机212提供“第一人称视图”，从而将AR内容与通过AR-HUD设备的(一个或多个)显示器看到的实际视图对齐。在一些示例中，AR-HUD设备可以被配置为头盔、头带、眼镜、护目镜或其他合适的实施例，以便穿戴在用户的头部上。
如上所述，可以创建血管图以便从相机212中的多个像素中间识别指示异常血管分布的像素。可以将血管图的任何组合中的两个或更多个进行组合以提供具有异常血管分布的(一个或多个)区的具有增强的对比度的聚合血管图。血管图和/或聚合血管图可以被转换成对象的包括异常组织(例如肿瘤)的部分。一旦被识别，对象的具有异常血管分布的部分可以从对象中移除，或者通过各种处置以其他方式被包含或消除，例如诸如放射治疗、冷冻治疗和高强度聚焦超声(HIFU)治疗。
为了获得血管图，对应于由相机212提供的脉管系统图像的信号的变化被例如处理器232放大。在实施例中，可以使用欧拉视频放大算法来放大信号变化，但是在不脱离本教导的范围的情况下可以并入其他放大技术。因此，不容易从原始视频图像中检测到的由相机212提供的静止图像或视频图像中的细微信号变化被增强。
图3是示出根据代表性实施例的放大图像和在多个图像帧中捕获的对应信号的简化示意图。
参考图3，图像流310包括由相机212随时间提供的一组图像帧311、312和313，如由t轴所指示的。图像帧311、312和313包含对象的目标部分的图像。像素阵列的代表性像素P1和P2在图像帧311中示出(并且同样包括在随后采集的图像帧312和313中，尽管它们在图3所示的取向上被图像帧311遮挡了视线)。在图像流310的下方是示出信号301和302作为时间的函数的曲线图，信号301和302分别对应于像素P1和P2。
关于图像帧311、312和313，代表性像素P1和P2随时间的细微信号变化被放大。在各种实施例中，放大信号包括例如使用由箭头315所指示的已知的欧拉运动放大对运动变化的放大。参见例如Wu等人的“Eulerian Video Magnification for Revealing SubtleChanges in the World”(ACM Transactions on Graphics第31卷、第4号(Proc.SIGGRAPH，2012))。例如，像素值随时间的变化以空间多尺度方式放大，以有效地提供运动放大。欧拉运动放大的使用例如可以通过放大固定位置处的时间颜色变化来依靠夸张运动。
得到的图像流320包括具有放大变化的图像，其出于讨论的目的可以被称为“放大图像”。图像流320包括来自具有扩大或放大运动变化的像素的信号，其出于讨论的目的可以被称为“放大像素”，从而使能更容易检测。通常，信号301和302的变化(与对应于像素阵列中其他像素的信号一起)在期望的时间段内被放大，从而得到信号301’和302’，如下所述。图像流320包括分别与图像帧311、312和313相对应的一组放大图像帧321、322和323(具有对应的放大像素)。分别与像素P1和P2相对应的像素P1’和P2’被包括在放大图像帧321、322和323中(尽管仅在放大图像帧321中示出)。应理解，具有与像素阵列的其他像素相对应的放大变化的信号被提供，但是为了方便说明，本说明书聚焦于代表性像素P1’和P2’。
在图像流320下方是将信号301’和302’示出为时间的函数的曲线图，其中，信号301’和302’分别对应于像素P1’和P2’。由于信号变化放大，信号301’和302’的迹线和/或波形示出在信号301和302中不显而易见的细微变化。因此在该示例中，显而易见的是，信号301’基本上是正弦的，在预期频率范围内具有平滑过渡，与动脉波形(例如，脉动的或对应于心动周期或脉搏率)一致。因此，关于通过正常组织(正常血管分布)的血流，由像素P1’提供的图像的部分与正常生理一致。相比之下，信号302’不是正弦的，而是具有不规则图案。因此，由像素P2’提供的图像的部分不具有与正常生理有关一致的波形或频率。换句话说，至少基于频率和形状，像素P2’可以被识别为指示异常血管分布(与通过异常组织和/或肿瘤的血流一致)。换句话说，由像素P2’示出的图像的部分对应于异常组织，诸如例如癌性肿瘤。
图4是示出根据代表性实施例的使用放大图像和在多个图像帧中捕获的对应信号的频率和信号强度的简化示意图。
参考图4，图像流320包括随时间提供的放大图像帧321、322和323，以及包括在放大图像帧321、322和323中的放大像素P1’和P2’，如上所述。在图像流320下方是示出信号301’的曲线图和示出信号302’作为时间的函数的另一曲线图，信号301’和302’分别对应于像素P1’和P2’，如参考图3所讨论的。如图4所示，对信号301’和302’中的每个执行快速傅里叶变换(FFT)，以将信号301’和302’分解成它们相应的频率分量。即，对时域中的信号301’执行FFT提供与放大像素P1’相对应的频域中的频率谱401，并且对时域中的信号302’执行FFT提供与放大像素P2’相对应的频域中的频率谱402。频率谱401包括在第一频率范围f1内的峰403，并且频率谱402包括在比第一频率范围f1高的第二频率范围f2内的峰404。例如，水平轴(频率)的频率可以缩放为每分钟的心跳数。
通过识别峰403和404，可以确定峰的分量(例如，顶点和在频率范围f1和f2中的每个峰403和404下方的面积)是否在生理可行通带PW内，其是对应于对象的脉搏率的可信范围的频率通带。例如，可信范围可以具有40跳动/分钟的下限和200跳动/分钟的上限，但是可信范围可能在现实的其他最低和/或其他最高值之间变化，而不脱离范围本教导的内容。例如，将信号分解成它们相应的频率分量并识别最大的峰分量可以通过以下来实现：在频域中加窗，之后进行斜率反转和局部峰搜索。
参考图4，显而易见，峰403在生理可行通带PW内，并且因此指示由像素P1’提供的图像部分与关于通过正常组织(正常血管分布)的血流的正常生理一致。峰404在生理可行通带PW外部(即，处于较高频率处)，并且因此指示由像素P2’提供的图像的部分与关于通过异常组织(异常血管分布)的血流的异常生理一致。
FFT可以对与图像流320的所有像素相对应的信号进行执行，或者对图像流320的像素的至少适当采样进行执行，以确定所得到的频率谱中的峰是否在生理可行通带PW内，如上文参考像素P1’和P2’所讨论的。然后可以由箭头415所指示基于该信息来导出频率图330。频率图330的正常部分331包括具有频率谱的像素(包括像素P1’)的位置，所述频率谱具有在生理可行通带PW内的峰。频率图330的异常部分333包括具有频率谱的像素(包括像素P2’)的位置，所述频率谱具有在生理可行通带PW外部的峰。如可以看到的，异常部分333覆盖扩大像素P2’被定位于之处的附近。异常部分333越大，其涵盖越多像素，指示异常血管分布的更大面积，并且因此异常组织的更大面积。当然，所得到的频率图可以显示指示异常血管分布的多个部分，而不脱离本教导的范围。
另外，可以通过以下来提取信号301’和302’的特性以及下层频率分量的变化：对信号301’和302’中的每个执行FFT，并找到曲线下面积(AUC)和/或得到的频率谱401和402中的最强频率分量的半峰全宽(FWHM)，分别地。再次参考图4，峰403的AUC 405大于峰404的AUC 406。较大的AUC 405指示相比于像素P2’与像素P1’相关联的更正常血管分布。为了使用AUC 405来确定峰403是否实际上指示异常组织的存在，可以将AUC 405与预定AUC阈值进行比较，因为像素与阵列中的另一像素相比较可以具有更小的对应AUC，而不必指示异常组织的存在。例如，“正常”AUC的范围可以凭经验确定。
可以从与包括像素P1’和P2’的像素相对应的频域信号的AUC导出信号特性图430(在图6中所示)。信号特性图430的正常部分431包括具有在正常范围内(例如，低于预定AUC阈值)的AUC的像素(包括像素P1’)的位置，并且信号特性图430的异常部分433包括具有在正常范围外部(例如，高于预定AUC阈值)的AUC的像素(包括像素P2’)的位置。基本上，可以使用FWHM值导出相同类型的图。如可以看到的，异常部分433覆盖异常组织被定位于之处附近，而正常部分431覆盖正常组织被定位于之处附近。信号特性图430在外观方面能够与频率图330相似，因为其是从信号301’和302’的相同FFT导出的。当然，信号特性图可以显示指示异常血管分布的多个部分，而不脱离本教导的范围。
尤其是，在图4所示的示例中，像素P2’能够已经被识别为指示异常组织，因为其峰403在生理可行通带PW外部，如上所述。因此，可以将确定对应信号302’的特性以确定像素P2’是显示正常组织还是异常组织用作备选方法。或者，这两种方法可以使用并组合用于冗余确认(例如，创建聚合增强对比度图，如下面参考图6所讨论的)。
而且，可以使用长短期记忆(LTSM)网络或递归神经网络(RNN)从指示信号形状和脉动性的信号301’和302’中提取更高水平特征，以理解时域中信号的相应形状。每个信号值将被视为像词。LTSM网络和RNN考虑时序信息。LTSM网络对于在信号301’和302’中更远分离的时间点之间实现关联能够特别有用。如上所述，信号301’基本上是正弦的，在预期频率范围内具有与正常组织一致的平滑过渡，而信号302’是非正弦的，而是具有与异常组织一致的不规则图案。
图5是示出根据代表性实施例的放大图像内的近邻像素与在一或多个图像帧中捕获的对应相位信号之间的相位移位的简化示意图。(一个或多个)放大图像流的多个像素中间的近邻像素之间的相位移位(或相差)被识别并且彼此比较以确定空间相位变化性。近邻像素之间的主正弦信号的相位移位用于理解脉管系统中流动的方向性和组织。
参考图5，放大图像帧521包括代表性放大像素P3’和P4’，其是像素阵列中的近邻(例如，邻近)像素。可以通过放大与由相机212提供的脉管系统图像相对应的信号的变化来获得放大图像帧521，例如如上面关于放大图像帧321所讨论的。然而，出于解释的目的，在图5中未示出放大像素P1’和P2’，这是因为其不是近邻像素。在放大图像帧521的下方是将信号503和504示出为时间的函数的曲线图，其中，信号503和504分别对应于像素P3’和P4’。信号503和504彼此偏移，从而指示相位移位。
收集该相位移位信息以提供与放大图像帧相对应的多个相位图，如由图5中的代表性相位图522、523和524所示，其对应于例如放大图像帧521。即，图像帧中的一系列图像可以被压缩到多个相位图中，使得可以在一段时间内提供多个放大图像帧。相位图522’对应于代表性相位图522，并且描绘说明性箭头或向量，其指示各种近邻像素(例如，像素P3’和P4’)之间的相位移位，并且可以估计流向。
为相位图522、523和524确定相位移位的均值和标准偏差。通常，与示出具有不规则血管流(指示异常组织)的区的像素对应的标准偏差高于与示出具有规则血管流的区的像素对应的标准偏差。然后可以基于相位图522、523和524导出相位变化性图530。相位变化性图530的正常部分531识别具有带有低标准偏差的相位移位的像素的位置，并且相位变化性图530的异常部分533识别具有带有高标准偏差的相位移位的像素的位置。可以将标准偏差与预定阈值进行比较，从而识别标准偏差开始指示不规则血管流的值。例如，可以凭经验确定“异常”和/或“正常”标准偏差的范围。当然，所得到的标准偏差图可以显示指示异常血管分布的多个部分，而不脱离本教导的范围。
更具体地，针对不同的时间段获取多个相位图(例如，三个或四个)，诸如相位图522、523和525。相位图522、523和525的每个像素处的均值和标准偏差被确定，并且来自相位图522、523和524的信息被组合到相位变化性图530中。因此，可以获得关于流的不规则程度(如果有)、流的方向性和脉管系统的组织的信息。
图6是示出根据代表性实施例的通过参考图3-5描述的技术获得的血管图的简化示意图，所述血管图被组合以提供具有增强对比度的聚合血管图。
参考图6，图610是目标部分的原始血管图，其实际上没有对比度。即，相机图像在正常血管分布(正常组织)区和异常血管分布(例如异常组织或肿瘤)区之间不提供像素到像素的足够的对比度。相比之下，聚合血管图630示出目标部分或ROI的正常部分631和异常部分633之间的锐利对比。
在所描绘的实施例中，聚合血管图630是通过不同技术获得的三个其他血管图的组合，与其自己查看的其他血管图中的任何相比改进了对比度。三个其他血管图包括上面讨论的频率图330、信号特性图430和相位变化性图530。血管特征可以被显示为频率图330、信号特性图430和/或相位变化性图530，以及聚合血管图630(在异常组织或肿瘤区域中具有增加的对比度)。
实施例包括针对每个像素或每个像素聚类分类器训练简单的逻辑回归(或可以使用其他分类器)以确定频率图330、信号特性图430和/或相位变化性图530的最佳组合，以改进恶性病变的对比度。实施例包括根据异常是否出现在其他血管图中的一个、两个或全部三个中向异常血管分布的像素或部分提供不同的权重。最高权重分配给在所有三个其他血管图中示出异常的图像的像素或部分，并且最低权重分配给在其他血管图中仅一个中示出异常的图像的像素或部分。然后可以使用权重来创建聚合血管图630。当然，用于将血管图组合到聚合血管图630中的其他技术可以被并入，而不脱离本教导的范围。而且，聚合血管图630可以组合少于所有三个其他血管图，而不脱离本教导的范围。因此，在各个实施例中，聚合血管图630可以基于分别与像素阵列中的多个像素相对应的脉管系统信号中的至少一些的频率、信号特性和空间相位变化性中的至少一项。
如上所述，相机可以在介入流程期间提供图像。因此，相机可以被安装到诸如内窥镜或导管的介入仪器或工具的远端端部，和/或被安装到机器人臂，以将相机引导至对象内的目标部分或ROI。
图7A是示出了根据本公开的代表性实施例的外科手术机器人系统的示例的示意性框图，其可以用于获得图像，使得能够执行(一个或多个)介入流程。图7A描绘了可以用于医学流程的外科手术机器人系统700，其通常涉及对外科手术仪器和其他工具的操纵，所述其他仪器可由机器人在位于患者体内的外科手术部位处进行操作。此类医学流程包括但不限于例如微创心脏外科手术、腹部外科手术(腹腔镜检查)(例如前列腺切除术或胆囊切除术)和自然孔腔内腔镜外科手术。
参考图7A，外科手术机器人系统700包括至少一个机器人701、控制单元706和增强现实(AR)设备720。机器人701被配置为操作一个或多个末端执行器以被定位在对象P内的外科手术部位S上，包括被配置为在外科手术部位S处采集实况图像的至少一个相机712(或类似图像采集设备)和至少一个仪器713，例如用于执行内部外科手术流程的外科手术工具。内部外科手术流程可以包括微创外科手术或自然孔外科手术，例如，涉及外科手术部位S内的目标部分T，其示例在上文中提到。
AR设备720被配置为在AR显示单元721上显示由相机712采集的实况图像以由用户查看，并且使用经由由代表性运动传感器724指示的一个或多个运动感测电路捕获用户的移动(响应于显示的图像)的AR跟踪系统722来检测跟踪数据。例如，如下面进一步讨论的，AR设备720可以是头戴式平视显示器(HUD)设备(AR-HUD设备)，包括由用户穿戴的头部件，所述头部件包括显示单元721和运动传感器724。显示单元721可以是单个显示器，或者其可以分为与用户的眼睛相对应的两个眼睛显示器(未示出)。两个眼睛显示器当相机712是立体的时使能三维查看，或者当相机712是单眼的时使能伪三维视图，但是两个眼睛显示器被配置为部分交叠。运动传感器724可以是多个加速度计，例如用于检测用户的头部绕三个轴的运动，使得跟踪数据包括与用户的头部移动相对应的头部跟踪数据。备选地，运动传感器724可以包括用于检测用户的眼睛的移动的(一个或多个)面向后的相机，使得跟踪数据包括与用户的眼睛移动相对应的眼睛跟踪数据。
AR设备720还可以包括由输入设备726指示的一个或多个输入设备(例如，用户接口)，以用于从用户接收指令。如本文所使用的输入设备726是允许用户与AR设备720以及外科手术机器人系统700交互的接口。输入设备726可以包括触摸屏、键盘、鼠标、轨迹球、触摸板或语音命令接口中的一个或多个。在本实施例中，用户可以使用输入设备726来输入特定命令，诸如向处理器730传送确认信号以确认如由处理器730确定的选定目标部分T，或者向AR跟踪系统722和/或处理器730传送激活信号以激活包括由HUD设备对头部运动的检测的头部跟踪模式或包括由HUD设备对眼睛移动的检测的眼睛跟踪模式之一。在备选实施例中，输入设备726可以在AR设备720外部。例如，输入设备726可以被集成到控制单元706中或者可以是被配置为经由I/O电路708与AR设备720和处理器730两者通信的单独的单元。
控制单元706被配置为控制并以其他方式协调外科手术机器人系统700的整体操作。控制单元706包括输入/输出(I/O)电路708和处理器730。处理器730包括相关联的存储器734，以用于启用处理和计算机可读介质(CRM)736。处理器730和存储器734/CRM 736可以基本上类似于以上参考图2讨论的成像系统200的处理单元230。处理器730通常被配置为经由I/O电路708从相机712接收所采集的实况图像，并且将所采集的实况图像进行处理并存储在例如存储器734和/或CRM 736中，使得处理器730能够建立数据库，例如电子病历(EMR)数据库和/或影像归档和通信系统(PACS)数据库，实质上在视觉上映射由相机712穿过的对象P的内部部分。一旦已经选定了目标部分T，该数据库可以随后用于确定去往目标部分T的路径，如下所述。处理器730经由I/O电路708将所采集的实况图像发送到AR设备720，以在显示单元721上显示。在备选配置中，在由I/O电路708接收到所采集的实况图像之后，所采集的实况图像可以从I/O电路708发送到AR设备720，而没有由处理器730执行任何成像处理。
处理器730还被配置为经由I/O电路708从AR设备720接收由AR跟踪系统722进行确定的跟踪数据，并且处理所确定的跟踪数据以选择对象P内的外科手术部位S处的目标(例如，目标部分T)。处理器730还被配置为基于所采集的实况图像和所处理的确定的跟踪数据来确定机器人701的一个或多个末端执行器(例如，包括说明性相机712和仪器713)到该选定的目标部分T的路径。处理器730经由I/O电路708将机器人控制信号发送到机器人701，以沿着所确定的路径将一个或多个末端执行器移动到选定的目标部分T。
因此，I/O电路708从相机712接收所采集的实况图像，并且将所采集的实况图像提供给处理器730和/或AR设备720(直接地或在图像处理之后从处理器730转发)以在显示单元721上进行显示。I/O电路708还从AR设备720接收输入数据(包括跟踪数据)，其将所述输入数据提供给处理器730，并将响应于跟踪数据而由处理器730确定的机器人控制信号传送到机器人701。
机器人701可以具有刚性近端部分702(例如，机器人臂或机器人臂的部分)以及柔性远端部分703，刚性近端部分702要被定位在对象P体内的进入点E处，而柔性远端部分703要被定位在对象P内的外科手术部位S处。机器人701在本文中被广泛地定义为这样的任何机器人设备：在结构上配置有对一个或多个关节和两个或更多个对应的连杆进行电动控制以操纵柔性远端部分703，如针对特定的机器人流程期望的。柔性远端部分703可以包括一个或多个末端执行器，包括相机712和仪器713。例如，仪器713可以是抓取器或工具保持器、腹腔镜仪器、腹腔镜、用于螺钉放置的工具(例如，在脊柱融合外科手术中)、用于活检或治疗的针、用于组织或肿瘤成像和消融的超声换能器、或其他外科手术或介入工具。对于纯探索性介入流程，柔性远端部分703可以仅包括相机712。
在实践中，如本领域技术人员将意识到的，机器人701可以具有最小三(3)个自由度，并且有益地具有六(6)或更多个自由度。机器人701可以具有带有两个相交的电机轴的远程运动中心(RCM)机构。而且，机器人701可以已经与光投射装置(未示出)相关联。可以被并入的可操纵或灵巧的外科手术机器人设备的示例是七自由度通用腕，例如由Sanchez的美国专利US 7121781(2006年10月17日)所描述的，通过引用将其并入本文。通用腕在远端部分处包括多个关节和钳口，并且在近端部分处包括驱动系统。还可以使用机器人定位器和计算机控制器对设备进行定位。机器人定位允许跟踪相对于解剖结构的设备运动。末端执行器可以耦合至该腕，其关于相同的枢轴点提供两个单独的自由度。末端执行器可以通过销钉移动和致动，从而允许紧凑微创医学仪器。
尽管在图7A中描绘了用于操作单个刚性近端部分702和单个对应远端部分703的单个机器人701，应理解，可以并入具有对应多个刚性近端部分和/或多个刚性远端部分的多个机器人，而不脱离本教导的范围。即，机器人701可以包括多个机器人臂(未示出)，其利用多个相机712来控制外科手术部位S中的不同末端执行器。例如，一个机器人臂可以包括前视相机，例如用于提供外科手术部位S的实况图像的相机712，而另一机器人臂可以包括仪器713以及(一个或多个)额外仪器。
相机712定义具有外科手术机器人系统700的控制单元706的成像系统的部分，所述成像系统与以上参考图2讨论的成像系统200基本相似。相机712可以包括具有前向光学视图或倾斜光学视图的任何类型的相机中的一个或多个，并且可能能够以预定义的帧速率(例如，每秒30帧)采集二维数字视频帧的序列，并且能够经由输入/输出电路708将每个数字视频帧提供给控制单元706。特别是，相机712可以是前视相机，所述前视相机被定位和取向为使得在其视场内其可以从机器人701的柔性远端部分703采集外科手术部位S和目标部分T(例如，器官)的实况图像。在实施例中，刚性近端部分702可以是由机器人701控制的内窥镜状设备，其中，单个刚性近端部分702包括多个通道，所述多个通道之一使能控制相机712和/或与相机712通信，并且所述多个通道中的至少一个其他通道使得能够进入和控制仪器713或其他末端执行器。在备选实施例中，相机712被安装到与刚性近端部分702相对应的柔性远端部分703，而其他末端执行器可以在与其他刚性近端部分(未示出)相对应的柔性远端部分中，所有这些经由机器人701控制。在又一实施例中，相机712被安装到单独的内窥镜的柔性远端部分，其不是机器人701的部分，而是在单独的内窥镜控制器(与机器人701结合操作)的控制下，如下面参考图7B所讨论的。而且，相机712可以是提供可以在三个维度上感知的图像的立体相机或立体内窥镜。由Breidenthal等人的美国专利US 6139490(2000年10月31日)描述了立体内窥镜的示例，通过引用将其并入本文。备选地，相机712可以是单眼的，并且显示单元721被分为与用户的眼睛相对应的两个眼睛显示器，在这种情况下，单眼图像被分裂在两个交叠的半部中并且分别呈现在两个眼睛显示器中的每个上以创建伪立体视图。
还可以包括外部医学影像设备。医学影像设备可以被配置为采集外科手术机器人701的柔性远端部分703和外科手术部位S处的目标部分T的一幅或多幅实况图像，从而提供更全面的概况。这样的医学影像设备可以包括至少部分地围绕对象P的部分的C型臂(未示出)。C型臂具有放射照相能力，并且可以在外科手术流程期间用于荧光透视成像，如本领域技术人员已知的。由Popovic的美国专利US 9095252(2015年8月4日)描述了一种实施X射线系统的C型臂的示例，通过引用将其并入本文。
图7B是示出根据代表性实施例的外科手术机器人系统的示意性框图，其包括单独的成像内窥镜和对应的内窥镜控制器。图7B描绘了可以被用于医学流程的外科手术机器人系统700’，通常涉及对由机器人在位于对象体内的外科手术部位处可操作的外科手术仪器和其他工具的操纵，如上所述。
参考图7B，在所描绘的实施例中，外科手术机器人系统700’与外科手术机器人系统700类似，其中，其包括至少一个机器人701、控制单元706和AR设备720。机器人701被配置为操作要被定位在对象P内的外科手术部位S处的一个或多个末端执行器，包括至少一个仪器713，这样具有用于执行内部外科手术流程的外科手术工具。
另外，外科手术机器人系统700’包括被配置为控制与机器人701分离的内窥镜742的内窥镜控制器740。内窥镜742包括安装到远端端部的相机712。内窥镜742和相机712被配置为在外科手术部位S处采集体内的实况图像。AR设备720被配置为显示由相机712采集的实况图像，如上所述。在各种实施例中，内窥镜742可以包括刚性或柔性管、对在检查中的器官或物体进行照明的光递送系统(例如，光源通常在身体外部，并且光通常经由光纤系统引导)、将图像从物镜发送到观察者的透镜系统，通常为在刚性内窥镜的情况下的中继透镜系统、或者在纤维镜的情况下的一束光纤。还考虑了没有目镜的视频示波器，其中，相机将图像发送到屏幕以进行图像捕获。而且，在各种实施例中，相机712可以是立体的，例如，其中，图像数据使能例如在AR显示单元721上显示显而易见的三维图像。
在所描绘的示例中，机器人701具有要被定位在对象P的身体内的第一进入点E1处的刚性近端部分702，以及要被定位在对象P内的外科手术部位S处的柔性的远端部分703。内窥镜742包括要被定位于对象P的身体内的第二进入点E2处的护套。内窥镜742可以包括多个通道，所述多个通道之一提供图像采集，并且所述多个通道中的至少一个其他通道使能进入和控制要由内窥镜控制器740控制的另一仪器，例如医学仪器或操纵器和/或用于对外科手术部位S照明的光源。
控制单元706被配置为控制并以其他方式协调外科手术机器人系统700’的整体操作，包括对机器人701和内窥镜742的控制和协调。控制单元706包括I/O电路708’，其与I/O电路708的不同，其中，其具有用于与内窥镜控制器740通信的(一个或多个)额外接口。因此，处理器730通常被配置为经由内窥镜控制器740和I/O电路708’从相机712接收所采集的实况图像，并且将所采集的实况图像进行处理并存储在例如存储器734和/或CRM 736中，使得处理器730能够建立数据库，所述数据库实质上在视觉上映射由内窥镜742穿过的对象P的内部部分。一旦目标部分T已经被选定，该数据库随后可以用于确定到目标部分T的路径，如下所述。处理器730经由I/O电路708’将所采集的实况图像发送到AR设备720，以显示在显示单元721上。在备选配置中，在通过I/O电路708’从内窥镜控制器740接收所采集的实况图像后，可以将所采集的实况图像从I/O电路708’发送到AR设备720，而没有由处理器730执行的任何成像处理。
处理器730还被配置为经由I/O电路708’从AR设备720接收由AR跟踪系统722进行确定的跟踪数据，并且处理所确定的跟踪数据以选择对象P内的外科手术部位S处的目标(例如，目标部分T)。处理器730还被配置为基于所采集的实况图像和经处理的确定的跟踪数据来确定机器人701的一个或多个末端执行器(例如，包括说明性仪器713)到达所选定的目标部分T的路径。处理器730经由I/O电路708’将机器人控制信号发送到机器人701，以沿着所确定的路径将一个或多个末端执行器移动到所选定的目标部分T。
因此，I/O电路708’经由内窥镜742和内窥镜控制器740从相机712接收所采集的实况图像，并且将所采集的实况图像提供给处理器730和/或AR设备720(直接地或者在图像处理后从处理器730转发)以显示在显示单元721上。I/O电路708’还从AR设备720接收输入数据(包括跟踪数据)(其将所述输入数据提供给处理器730)，并将响应于跟踪数据而由处理器730确定的机器人控制信号传送到机器人701。
参考AR设备720(在图7A和7B中示出的)，显示单元721包括可以在用户附近共定位的一个或多个显示器。例如，当AR设备720被实施为HUD设备时，显示单元721可以被附接到头部件的前面，在用户的眼睛的正前方，如护目镜。显示单元721被配置为显示外科手术部位S的实况图像，如上所述，并且用户移动他或她的头部和/或眼睛以观察显示在显示单元721上的实况图像并跟踪目标以进行选择，因此模拟实际外科手术流程，其中，外科医师移动他或她的头部和/或眼睛以观察外科手术部位并执行该流程。当相机712提供立体图像时，显示在显示单元721上的实况图像可以表现为是三维的。在实施例中，显示单元721还可以显示术前图像。因此，来自至少一个相机712的图像被捕获并显示在HUD设备中。
HUD设备可以被称为具有一个或多个AR-HUD显示器的增强现实平视显示器(AR-HUD)设备。说明性设计采用左眼和右眼显示器，但是备选地，显示器可以是跨越双眼的单个大窗口。在一些示例中，AR-HUD设备可以被配置为头盔、头带、眼镜、护目镜或其他合适的实施例，以便穿戴在用户的头部上。
处理器730能够通过处理跟踪数据来识别或选择目标部分T，以确定用户的头部相对于显示单元721(以及在其上显示的实况图像)的角度，其中，头部角度指示实况图像的区域或点，其构成用户正在注视的外科手术部位S内的目标部分T。一旦用户对目标部分T在显示单元721上的外科手术区S中的位置感到满意，可以将确认信号传送到控制单元706中的处理器730(例如，经由脚踏板、按钮或语音命令)。处理器730可以在与所选定的目标部分T相对应的二或三个维度中分配(或寻址)坐标。知道进入点E在对象P的身体内的位置和所选定的目标部分T的坐标以及从相机712采集的实况图像的数据库，处理器130能够确定至少一个仪器713的路径(或(一个或多个)向量)，至少一个仪器713可由机器人701操作以到达选定的目标部分T。由Popovic等人的美国专利US 8934003(2015年1月13日)提供确定以机器人方式控制的仪器到达患者的外科手术部位中的目标的路径的示例，通过引用将其并入本文。然后，处理器730能够将机器人控制信号发送到机器人701，从而使机器人701经由所确定的路径将至少一个仪器713的远端端部引导至目标部分T。即，控制单元706向机器人701发布命令以移动到所选定的目标部分T的位置。由处理器701使用本领域已知的方法来实施机器人701的每个关节的补偿(requited)运动。例如，机器人701可以利用本领域已知的视觉伺服方法。
再次参考图7A和7B，控制单元706在本文中可以广泛地定义为任何控制器，其在结构上被配置为提供一个或多个控制命令以控制外科手术部位S和目标部分T处的来自相机712的图像的采集和处理(例如，实况、探索、术前)，并利用与来自AR设备720的目标部分T的选择有关的跟踪信息来确定去往目标部分T的路径并且还控制柔性远端部分703。通常，I/O电路708控制在控制单元706外部的元件和设备中间的通信。I/O电路708用作接口，其包括解释去往/来自处理器730、AR设备720和机器人701的输入和输出信号或数据的必要的逻辑。I/O电路708可以包括：第一输入部，其被配置为从相机712接收所采集的实况图像；以及第一输出部，其被配置为将所采集的实况图像提供给处理器730和AR设备720中的至少一个以最终进行显示。I/O电路708还可以包括：第二输入部，其被配置为从AR设备720接收包括跟踪数据的确定的输入数据；第二输出部，其被配置为将确定的输入数据提供给处理器730，处理器730作为响应处理输入数据以识别并选择目标部分T；以及第三输出部，其被配置为向机器人701提供机器人控制信号。
处理器730可以使用硬件、软件和固件的组合来执行所描述的功能和操作。处理器730被配置为处理与外科手术部位S处的外科手术机器人701的柔性远端部分703有关的医学影像(例如，来自相机712或外部医学影像设备)，以将柔性远端部分703与外科手术部位S处的对应解剖结构进行配准。处理器730可以被配置为处理来自位置跟踪系统(未示出)的外科手术机器人701的刚性近端部分702的额外位置跟踪信息，以确定刚性近端部分702的运动。与跟踪系统722分离的位置跟踪系统可以是以下中的一个或多个：光学跟踪系统、机械跟踪系统和电磁跟踪系统，如本领域技术人员将意识到的。传感器或标签(例如，发光二极管(LED)、无源标记、反射标记等)可以被包括在外科手术机器人701的刚性近端部分702处以与位置跟踪系统协作。在实施例中，可以提供位置补偿模式，根据所述位置补偿模式，处理器730被配置为基于刚性近端部分702的所确定的位置和运动来为外科手术机器人701的柔性远端部分703生成运动补偿信号。
在实践中，所讨论的控制过程可以由模块实施，所述模块由安装在任何平台(例如，通用计算机、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)上的硬件、软件和/或固件的任何组合实施。此外，过程可由控制单元706的处理器730执行。
如说明书和所附权利要求书中所使用的，术语“一”、“一个”和“所述”包括单数指代和复数指代两者，除非上下文另外明确规定。因此，例如，“设备”包括一个设备和多个设备。而且，应理解，以下“/”、“和/或”和“…中的至少一个”中的任何一项的使用，例如在“A/B”、“A和/或B”和“A和B中的至少一项”的情况下，旨在涵盖对仅第一列出选项(A)的选择、或对仅第二列出选项(B)的选择、或对两者选项(A和B)的选择。
如本文所使用的，对两个或更多个部分或部件被“耦合”的陈述应该意指部分直接或间接地(即通过一个或多个中间零件或组件)被连接在一起或一起操作，只要链接发生。
方向术语/短语和相对术语/短语可以被用于描述各个元件的彼此的关系，如附图所图示的。这些术语/短语旨在涵盖除附图中描绘的取向以外的设备和/或元件的不同取向。
如本文所使用的“计算机可读存储介质”涵盖可以存储可由计算设备的处理器执行的指令的任何有形存储介质。该计算机可读存储介质可以被称为非瞬态计算机可读存储介质，以与诸如瞬态传播信号的瞬态介质区分。计算机可读存储介质也可以被称为有形计算机可读介质。
在一些实施例中，存储器和/或计算机可读存储介质也可以能够存储能够由计算设备的处理器访问的数据。存储器和计算机可读存储介质的示例包括但不限于：软盘、磁性硬盘驱动器、固态硬盘、闪存、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘、以及处理器的寄存器文件。光盘的示例包括压缩磁盘(CD)和数字通用盘(DVD)，例如CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指能够由计算机设备经由网络或通信链路访问的各种类型的记录介质。例如，可以通过调制解调器、通过互联网或通过局域网检索数据。对计算机可读存储介质的引用应该被解释为可能是多个计算机可读存储介质。一个或多个程序的各种可执行部件可以存储在不同的位置中。计算机可读存储介质可以例如是相同计算机系统内的多个计算机可读存储介质。计算机可读存储介质还可以是分布在多个计算机系统或计算设备中间的计算机可读存储介质。
“存储器”是计算机可读存储介质的示例。计算机存储器是处理器可直接访问的任何存储器。计算机存储器的示例包括但不限于RAM存储器、寄存器和寄存器文件。对“计算机存储器”或“存储器”的引用应该解释为可能是多个存储器。存储器例如可以是相同计算机系统内的多个存储器。存储器也可以是分布在多个计算机系统或计算设备中间的多个存储器。
计算机存储设备是任何非易失性计算机可读存储介质。计算机存储设备的示例包括但不限于：硬盘驱动器、USB拇指驱动器、软盘驱动器、智能卡、DVD、CD-ROM和固态硬盘驱动器。在一些实施例中，计算机存储设备也可以是计算机存储器，或者反之亦然。对“计算机存储设备”或“存储设备”的引用应该解释为可能包括多个存储设备或部件。例如，存储设备可以包括相同计算机系统或计算设备内的多个存储设备。存储设备还可以包括分布在多个计算机系统或计算设备中间的多个存储设备。
如本文中所使用的“处理器”涵盖能够执行程序或机器可执行指令的电子部件。对包括“处理器”的计算设备的引用应该被解释为可能包含一个以上的处理器或处理核心。处理器可以例如是多核处理器。处理器还可以指单个计算机系统内或分布在多个计算机系统中间的处理器的集合。术语计算设备也应该解释为可能指的是均包括一个或多个处理器的计算设备的集合或网络。许多程序具有由可以在相同计算设备内或者甚至可以分布在多个计算设备上的多个处理器执行的指令。
如本文所使用的“用户接口”或“用户输入设备”是允许用户或操作者与计算机或计算机系统交互的接口。用户接口可以向操作者提供信息或数据和/或从操作者接收信息或数据。用户接口可以使来自操作者的输入能够由计算机接收，并且可以从计算机向用户提供输出。换句话说，用户接口可以允许操作者控制或操纵计算机，并且接口可以允许计算机指示用户的控制或操纵的效果。在显示器或图形用户接口上显示数据或信息是向操作者提供信息的示例。通过触摸屏、键盘、鼠标、轨迹球、触摸板、指点杆、图形输入板、操纵杆和头戴式耳机(例如，AR-HUD)对数据的接收是使能从用户接收信息或数据的用户接口部件的全部示例。
如本文所使用的“显示器”或“显示设备”或“显示单元”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和/或触觉数据。显示器的示例包括但不限于：计算机监测器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、向量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪、以及头戴式显示器。
尽管已经在附图和前面的描述中详细图示和描述了各种实施例，但是这样的示出和描述应被认为是说明性或示例性的而非限制性的；本发明不限于所公开的实施例。

Claims (15)

1.一种成像系统，包括：
相机，其具有彩色视频采集能力，所述相机被安装到能够插入在物体内的介入仪器的远端端部，所述相机提供多个图像帧以用于对所述物体的脉管系统进行成像，每个图像帧分别包括提供对应信号的多个像素；
显示器；以及
处理器，其被编程为：
接收所述信号；
放大与所述多个像素相对应的所述信号的颜色和运动中的至少一项的变化以提供放大信号；
分别确定与所述多个像素相对应的所述放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项；
基于所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的所述至少一项来识别所述多个像素中的指示异常血管分布的像素；
使用所识别的像素来创建与所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的所述至少一项中的每项相对应的血管图，每个血管分布图包括所述物体的具有所述异常血管分布的部分；并且
操作所述显示器以显示每个血管分布图。
2.根据权利要求1所述的成像系统，其中，所述处理器还被编程为创建聚合血管图，所述聚合血管图包括与所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的所述至少一项中的每项相对应的所述血管图中的至少两个血管图的组合。
3.根据权利要求2所述的成像系统，其中，所述聚合血管图在所述物体的具有所述异常血管分布的所述部分与所述物体的具有正常血管分布的另一部分之间提供比以下对比度更锐利的对比度：由与所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的所述至少一项中的每项相对应的所述血管图中的任何一个血管图所提供的对比度。
4.根据权利要求1所述的成像系统，其中，使用欧拉视频放大来放大所述信号的颜色和运动中的至少一项的所述变化。
5.根据权利要求1所述的成像系统，其中，所述处理器被编程为通过以下操作基于空间相位变化性来识别指示异常血管分布的所述像素：
分别确定所述多个像素的相邻像素之间的相位移位；
提供与放大图像帧相对应的相位图，每个放大图像帧包括所述多个像素；
确定针对所述相位图的所述相邻像素之间的所述相位移位的标准偏差；并且
将所述相位图中的具有高于与正常血管分布相对应的阈值标准偏差的标准偏差的像素识别为指示异常血管分布。
6.根据权利要求1所述的成像系统，其中，所述处理器被编程为基于频率来识别指示异常血管分布的所述像素，包括通过以下操作：
分别确定所述放大信号的与所述多个像素相对应的频率分量；并且
将具有生理可行通带外部的对应频率分量的所述像素识别为指示异常血管分布。
7.根据权利要求6所述的成像系统，其中，所述生理可行通带对应于所述物体的脉搏率的可信范围。
8.根据权利要求6所述的成像系统，其中，所述处理器被编程为通过以下操作来识别具有在所述生理可行通带外部的对应频率分量的所述像素：
对所述放大信号执行傅立叶变换以提供对应频率谱；
识别所述频率谱中的最大峰分量；并且
分别确定所述最大峰分量是否在所述生理可行通带外部。
9.根据权利要求1所述的成像系统，其中，所述处理器被编程为通过以下操作基于信号特性来识别指示异常血管分布的所述像素：
对所述放大信号执行傅立叶变换以提供对应频率谱；
确定所述频率谱中的最大峰分量；
分别确定所述最大峰分量的曲线下面积(AUC)或半峰全宽(FWHM)；并且
将具有小于与正常血管分布相对应的阈值AUC或FWHM的对应AUC或FWHM的所述像素识别为指示异常血管分布。
10.根据权利要求1所述的成像系统，其中，所述介入仪器包括内窥镜。
11.根据权利要求2所述的成像系统，其中，所述聚合血管图是基于与所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的每项相对应的所有所述血管图的组合来创建的。
12.根据权利要求2所述的成像系统，所述显示器被并入在增强现实平视显示器(AR-HUD)设备内，所述增强现实平视显示器设备用于显示以下中的至少一项：所述血管图或所述血管图中的至少两个血管图的组合，所述AR-HUD设备包括由用户穿戴的头部件。
13.一种用于使用来自相机的图像来识别指示对象内的异常组织的异常血管分布的方法，所述相机具有彩色视频采集能力并且被安装到能够插入在所述对象内的介入仪器的远端端部，所述方法包括：
接收与所述对象中的目标部分的由所述相机提供的多个图像帧中的每个图像帧中的多个像素相对应的信号，以用于对所述目标部分的脉管系统进行成像；
分别放大与所述多个图像帧中的每个图像帧中的所述多个像素相对应的所述信号的颜色和运动中的至少一项的变化以提供放大信号；
分别确定与所述多个像素相对应的所述放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项；
基于所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的所述至少一项来识别所述多个图像帧中的每个图像帧中的所述多个像素中的指示异常血管分布的像素；
使用所识别的像素来创建与所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的所述至少一项中的每项相对应的血管图，每个血管分布图包括所述对象的具有所述异常血管分布的部分；并且
显示每个血管分布图。
14.根据权利要求13所述的方法，还包括：
将与所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的所述至少一项中的每项相对应的所述血管图中的至少两个血管图进行组合以创建聚合血管图；并且
显示所述聚合血管图。
15.一种包含软件的计算机可读介质，所述软件能够由计算机处理器执行，以使用来自相机的图像来识别指示对象内的异常组织的异常血管分布，所述相机具有彩色视频采集能力并且被安装到能够插入在对象内的介入仪器的远端端部，所述计算机可读介质包括：
接收代码，其用于接收与所述对象中的目标部分的经由所述介入仪器由所述相机提供的多个图像帧中的每个图像帧中的多个像素相对应的信号，以用于对所述目标部分的脉管系统进行成像；
放大代码，其用于分别放大与所述多个图像帧中的每个图像帧中的所述多个像素相对应的所述信号的至少运动的变化以提供放大信号；
确定代码，其用于分别确定与所述多个像素相对应的所述放大信号中的至少一些放大信号的空间相位变化性、频率和信号特性中的至少一项；
识别代码，其用于基于所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的所述至少一项来识别所述多个图像帧中的每个图像帧中的所述多个像素中的指示异常血管分布的像素；
创建代码，其用于使用所识别的像素来创建与所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的所述至少一项中的每项相对应的血管图，每个血管分布图包括所述对象的具有所述异常血管分布的部分；
组合代码，其用于通过将与所述放大信号中的所述至少一些放大信号的空间相位变化性、频率和信号特性中的所述至少一项中的每项相对应的所述血管图中的至少两个血管图进行组合来提供聚合血管图；以及
显示代码，其用于使所述聚合血管图被显示在显示器上，所显示的聚合血管图通过与所述对象的具有正常血管分布的部分的增强的对比度来指示所述对象的具有所述异常血管分布的所述部分。
CN201980016715.7A 2018-01-03 2019-01-03 用于使用血管特征检测异常组织的系统和方法 Pending CN111801704A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862613080P 2018-01-03 2018-01-03
US62/613,080 2018-01-03
PCT/EP2019/050117 WO2019134945A1 (en) 2018-01-03 2019-01-03 System and method for detecting abnormal tissue using vascular features

Publications (1)

Publication Number Publication Date
CN111801704A true CN111801704A (zh) 2020-10-20

Family

ID=65031021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980016715.7A Pending CN111801704A (zh) 2018-01-03 2019-01-03 用于使用血管特征检测异常组织的系统和方法

Country Status (5)

Country Link
US (1) US11406255B2 (zh)
EP (1) EP3735674A1 (zh)
JP (1) JP7181298B2 (zh)
CN (1) CN111801704A (zh)
WO (1) WO2019134945A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11413099B2 (en) * 2015-12-29 2022-08-16 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113613543A (zh) * 2019-03-18 2021-11-05 奥林巴斯株式会社 诊断辅助装置、诊断辅助方法以及程序
CN111242866B (zh) * 2020-01-13 2023-06-16 重庆邮电大学 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法
CN112842285B (zh) * 2020-12-31 2021-09-24 山东大学齐鲁医院 一种内镜下辅助识别粘膜下血管的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558618B1 (en) * 2005-01-18 2009-07-07 Darin S Williams Method for extracting images of vascular structure and blood flow from image sequences
CN106535805A (zh) * 2014-07-25 2017-03-22 柯惠Lp公司 用于机器人手术系统的增强手术现实环境
US20170161893A1 (en) * 2014-07-25 2017-06-08 Covidien Lp Augmented surgical reality environment
US20170294015A1 (en) * 2016-04-06 2017-10-12 University Of Washington Systems and methods for quantitative assessment of microvasculature using optical coherence tomography angiography

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6139490A (en) 1996-02-22 2000-10-31 Precision Optics Corporation Stereoscopic endoscope with virtual reality viewing
WO2002082988A2 (en) 2001-04-16 2002-10-24 The Johns Hopkins University Method for imaging and spectroscopy of tumors and determination of the efficacy of anti-tumor drug therapies
US7121781B2 (en) 2003-06-11 2006-10-17 Intuitive Surgical Surgical instrument with a universal wrist
EP1722824A4 (en) 2004-01-23 2011-05-25 Stanford Res Inst Int SYSTEM AND METHOD FOR OPTICAL VASCULAR FUNCTIONAL IMAGING FOR DETECTION AND DIAGNOSIS OF CANCER TUMORS
JP5814938B2 (ja) 2010-01-08 2015-11-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． リアルタイム速度最適化を使用した校正不要のビジュアルサーボ
CN102711650B (zh) 2010-01-13 2015-04-01 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
EP2637568B1 (en) 2010-11-08 2017-04-12 Vasonova, Inc. Endovascular navigation system
EP2699142A1 (en) 2011-04-18 2014-02-26 Koninklijke Philips N.V. Classification of tumor tissue with a personalized threshold
US20140036054A1 (en) 2012-03-28 2014-02-06 George Zouridakis Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases
JP6184928B2 (ja) * 2014-09-30 2017-08-23 富士フイルム株式会社 内視鏡システム、プロセッサ装置
US9949700B2 (en) * 2015-07-22 2018-04-24 Inneroptic Technology, Inc. Medical device approaches
EP3357402B1 (en) * 2015-09-28 2020-06-17 FUJIFILM Corporation Endoscope system and operation method for endoscope system
WO2017057574A1 (ja) 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JP6629639B2 (ja) * 2016-03-07 2020-01-15 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018079205A1 (ja) * 2016-10-27 2018-05-03 富士フイルム株式会社 プロセッサ装置及び内視鏡システム
US10600183B2 (en) * 2017-03-22 2020-03-24 Verily Life Sciences Llc Detection of blood vessels

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558618B1 (en) * 2005-01-18 2009-07-07 Darin S Williams Method for extracting images of vascular structure and blood flow from image sequences
CN106535805A (zh) * 2014-07-25 2017-03-22 柯惠Lp公司 用于机器人手术系统的增强手术现实环境
US20170161893A1 (en) * 2014-07-25 2017-06-08 Covidien Lp Augmented surgical reality environment
US20170294015A1 (en) * 2016-04-06 2017-10-12 University Of Washington Systems and methods for quantitative assessment of microvasculature using optical coherence tomography angiography

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALBORZAMIR-KHALILI等: "Automatic segmentation of occluded vasculature via pulsatile motion analysis in endoscopic robot-assisted partial nephrectomy video", 《MEDICAL IMAGE ANALYSIS》, pages 103 - 110 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11413099B2 (en) * 2015-12-29 2022-08-16 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery

Also Published As

Publication number Publication date
JP2021509987A (ja) 2021-04-08
JP7181298B2 (ja) 2022-11-30
WO2019134945A1 (en) 2019-07-11
US20200359884A1 (en) 2020-11-19
EP3735674A1 (en) 2020-11-11
US11406255B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
US20220192611A1 (en) Medical device approaches
JP6714085B2 (ja) ロボット手術のために仮想現実デバイスを使用するシステム、コントローラ、及び方法
US20220331052A1 (en) Cooperation among multiple display systems to provide a healthcare user customized information
AU2016335761B2 (en) System and method for rapid examination of vasculature and particulate flow using laser speckle contrast imaging
JP7181298B2 (ja) 血管特徴を使用して異常な組織を検出するためのシステム及び方法
JP6987893B2 (ja) 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法
JP7436617B2 (ja) マルチモダリティ画像表示を備えた手術システム
EP3463032B1 (en) Image-based fusion of endoscopic image and ultrasound images
Sielhorst et al. Advanced medical displays: A literature review of augmented reality
US10952795B2 (en) System and method for glass state view in real-time three-dimensional (3D) cardiac imaging
JP2021505226A (ja) 処置中の視覚化を支援するためのシステム及び方法
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JP2019162339A (ja) 手術支援システムおよび表示方法
JP2020527374A (ja) 医用イメージングシステム、方法およびコンピュータプログラム製品
KR20220058918A (ko) 기구 이미지 신뢰성 시스템 및 방법
US20200178774A1 (en) System and method for generating a three-dimensional model of a surgical site
JP2021194268A (ja) 血管観察システムおよび血管観察方法
Eck et al. Display technologies
EP4178473A1 (en) System comprising a camera array deployable out of a channel of a tissue penetrating surgical device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination