CN110215279A - 用于机器人手术系统的增强手术现实环境 - Google Patents

用于机器人手术系统的增强手术现实环境 Download PDF

Info

Publication number
CN110215279A
CN110215279A CN201910501040.7A CN201910501040A CN110215279A CN 110215279 A CN110215279 A CN 110215279A CN 201910501040 A CN201910501040 A CN 201910501040A CN 110215279 A CN110215279 A CN 110215279A
Authority
CN
China
Prior art keywords
surgical
image
surgical instrument
robot arm
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910501040.7A
Other languages
English (en)
Other versions
CN110215279B (zh
Inventor
托尼·卡恩斯
爱德华·麦克纳
斯蒂芬·帕克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN110215279A publication Critical patent/CN110215279A/zh
Application granted granted Critical
Publication of CN110215279B publication Critical patent/CN110215279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Abstract

本公开涉及一种机器人手术系统，其包括：操作控制台，其被配置为操作至少一个机器人手臂；和至少一个驱动电机，其被配置为接收来自操作控制台的输入并基于所述来自操作控制台的输入而控制至少一个机器人手臂。手术器械被联接到至少一个机器人手臂。手术器械被插入到患者体内并在手术操作期间捕获患者体内的感兴趣区域的图像。控制器接收图像并应用至少一个图像处理滤波器以识别所述感兴趣区域中的对象的至少一个不可见属性。显示器向用户显示所述图像。

Description

用于机器人手术系统的增强手术现实环境
本申请是申请号为201580041495.5、申请日为2015年7月20日、发明名称为“用于机器人手术系统的增强手术现实环境”的专利申请(国际申请号为PCT/US2015/041085)的分案申请。
相关申请的交叉引用
本申请要求于2014年7月25日提交的申请号是62/028,984的美国临时专利申请的权益和优先权，该申请的全部公开通过引用并入本文中。
技术领域
本公开涉及用于改善患者的手术预后的手术技术。更具体地，本公开针对用于在执行手术技术的同时增强和加强临床医生的视场的系统和方法。
背景技术
微创手术涉及代替使用一个较大的开口而使用多个小切口来执行手术操作。小切口减少了患者的不适并改善了恢复时间。小切口也限制了内部器官、组织和其他物质的可见度。
内窥镜被插入到一个或多个切口中，以使临床医生在手术期间更容易看到体内的内部器官、组织和其他物质。这些内窥镜包括联接到显示器的具有光学和/或数字变焦能力的相机，显示器显示如通过相机捕获的体内的器官、组织以及物质的放大视图。现有的内窥镜和显示器，特别是那些在手术机器人系统中使用的内窥镜和显示器具有有限的识别在相机的视场内但在显示器上所显示的光谱内不完全可见的状况或对象的能力。
例如，现有的微创和机器人手术工具(包括但不限于内窥镜和显示器)的以下能力有限(如果有的话)：在切除后识别组织灌注，在组织内定位不同尺寸的动脉，测量血管密封的有效性，从热特征(heat signature)识别患病的或死亡的组织，在切除后验证适当的功能，区分敏感区域(例如，输尿管)和周围物质(例如，周围血液)，以及检测对当前测试不可见的超小泄漏。在一些手术中，或者未实施这些检查，或者实施了更多创伤和/或耗时的测试以检查这些和其他状况和对象。
存在对在手术期间识别在手术相机的视场内但在显示器上所显示的光谱内不完全可见的更大范围的可能状况或对象的需要。
发明内容
机器人手术系统可以包括两个以上机器人手臂。每个机器人手臂可以具有两个以上自由度。每个机器人手臂可以包括连接地布置的两个以上构件以提供两个以上自由度。在一些实例下，所述构件可以通过关节、铰链、联接件或联动装置连接。
图像捕获装置可以附接到机器人手臂中的第一机器人手臂的手术组件。图像捕获装置可以被构造为插入到患者体内。图像捕获装置还可以被配置为在手术操作期间捕获患者体内的感兴趣区域的图像。
手术器械可以附接到机器人手臂中的第二机器人手臂的手术组件。手术器械可以被构造为插入到患者体内。手术器械还可以被配置为在手术操作期间操纵患者体内的组织。
机器人手术系统的输入装置可以被配置为在手术操作期间操纵附接到第一机器人手臂的图像捕获装置和/或附接到第二机器人手臂的手术器械。
机器人手术系统中的图像处理滤波器可以被配置为从捕获自图像捕获装置的图像以预定空间频率对图像数据滤波，以识别对象的在预定空间频率下对机器人手术系统的用户而言不可感知的属性。当所述属性对于用户而言难以感知时，对象的属性可是不可感知的。这在某些情况下可能发生，因为该属性被阻碍、被模糊或是不可见的。
图像处理滤波器可以包括：空间分解滤波器，其被配置为将图像分解为至少两个空间频带；时间滤波器，其被配置为应用于空间频带以产生至少两个时间滤波带；相加器，其被配置为将每个空间频带与时间滤波带中的对应带相加以产生至少两个相应的增强带；以及重构滤波器，其被配置为通过合并增强带来产生增强图像。
机器人手术系统中的控制器可以被配置为加强对象的所识别的属性的可感知性。控制器还可以被配置为输出所识别的属性的加强的可感知性，以使得用户更容易感知所识别的属性。
控制器可以包括图形处理器，所述图形处理器被配置为加强所识别的属性的可见表示，并将所加强的可见表示输出到显示器以便显示。控制器可以被配置为放大所滤波的图像数据以加强所识别的属性的可见表示。控制器可以被配置为将具有不可见频率的所滤波的图像数据的至少一部分转变为可见光频率范围中的频率，以加强所识别的属性的可见表示。
控制器可以包括触觉处理器，所述触觉处理器被配置为加强所识别的属性的力反馈表示，并将所加强的力反馈表示输出到输入装置上的触觉装置，所述触觉装置被配置为向用户提供触觉反馈。控制器可以被配置为放大所滤波的图像数据以加强所识别的属性的力反馈表示。
连接到机器人手术系统的显示器可以被配置为在手术操作期间显示来自图像捕获装置的图像捕获。
机器人手术系统还可以包括控制装置。控制装置可以被配置为识别附接到第二机器人手臂的手术器械，并且基于对手术器械的识别从多个图像处理滤波器中选择图像处理滤波器。
控制装置还可以被配置为在手术操作期间判定附接到第二机器人手臂的手术器械是否在图像捕获装置的视场内。如果手术器械在图像捕获装置的视场内，则控制装置可以被配置为选择所述图像处理滤波器。
机器人手术系统还可以具有第三机器人手臂，所述第三机器人手臂具有附接有手术器械的手术组件。控制装置可以被配置为识别附接到第三手臂的手术器械。控制装置还可以被配置为确定附接到第二机器人手臂和第三机器人手臂的手术器械中的哪个出现在图像捕获装置的视场内。控制装置还可以被配置为基于该确定的结果来选择图像处理滤波器。
控制装置还可以被配置为在手术操作期间识别由所识别的手术器械正在执行的任务，并且基于所述正在执行的任务来选择图像处理滤波器。控制装置还可以被配置为在手术操作期间识别由所识别的手术器械正在执行的初始任务，并且基于初始任务初始地选择图像处理滤波器并将图像处理滤波器应用到初始捕获的图像数据。控制装置还可以被配置为在手术操作期间识别由所识别的手术器械正在执行的后续任务，并且基于后续任务选择不同的图像处理滤波器并将不同的图像处理滤波器应用到随后捕获的图像数据。所述任务可以涉及手术器械的特定事件、操作或移动。
例如，控制装置可以被配置为将手术器械以小于阈值的速率的移动与初始任务相关联，并将手术器械以大于阈值的速率的移动与后续任务相关联。作为第二示例，控制装置可以被配置为将手术器械的以第一缩放速率的移动与初始任务相关联，并将手术器械的以不同的缩放因子速率的移动与后续任务相关联。作为第三示例，控制装置可以被配置为将手术器械在第一时间段内的致动与初始任务相关联，并将手术器械在第二时间段内的非致动与后续任务相关联。
一种方法，可以包括在手术操作期间利用图像捕获装置捕获患者体内的感兴趣区域的图像。图像捕获装置可以附接到具有至少两个机器人手臂的手术机器人系统中的第一机器人手臂的手术组件。
一种方法还可包括在手术操作期间于手术器械附接到手术操作机器人系统中的至少两个机器人手臂中的第二机器人手臂的手术组件之后，在手术操作期间操纵患者体内的手术器械。可以响应于用户操纵手术机器人系统的输入装置来操纵手术器械。
一种方法还可以包括以预定空间频率对来自所捕获的图像的图像数据滤波，以识别对象的在预定空间频率下不可感知的属性。
一种方法还可以包括加强对象的所识别的属性的可感知性。
一种方法还可以包括向手术机器人系统的用户输出加强的可感知性。对象的所识别的属性的加强的可感知性可以包括脆弱组织的位置。
一种方法还可以包括以输出的与手术器械的操纵有关的加强的可感知性向用户提供附加信息。提供给用户的附加信息可以包括血管密封有效性的可视化和/或异常组织的可视化。提供给用户的附加信息可以包括在机器人手术系统的输入装置处响应于用户移动输入装置以在识别为脆弱的组织的位置的预定距离内操纵手术器械而施加的力反馈。
一种非暂时性计算机可读介质可以存储指令，所述指令在由处理装置执行时使处理装置执行一种方法。计算机可读介质可以包括能够以机械装置可读的格式存储数据的材料，其包括但不限于闪存、固态驱动器和光盘。
一种非暂时性计算机可读介质可以存储指令，所述指令在由处理装置执行时使处理装置在手术操作期间以预定空间频率对图像数据滤波以从患者体内的感兴趣区域的图像来识别对象的在预定空间频率下不可感知的属性，所述图像获取自图像捕获装置，所述图像捕获装置附接到手术机器人系统的至少两个机器人手臂中的第一机器人手臂的手术组件。
所存储的指令在执行时还可以使处理装置在手术操作期间于手术器械附接到至少两个机器人手臂中的第二机器人手臂的手术组件之后响应于用户操纵手术机器人系统的输入装置而在手术操作期间操纵患者体内的手术器械。
所存储的指令在执行时还可以使处理装置加强对象的来自所滤波的图像数据的所识别的属性的可感知性。
所存储的指令在执行时还可以使处理装置向手术机器人系统的用户输出加强的可感知性。
所存储的指令在执行时还可以使处理装置以输出的与手术器械的操纵有关的加强的可感知性向用户提供附加信息。
附图说明
根据下文的详细描述并结合附图，本公开的上述和其他方案、特征和优点将变得更加明显，其中：
图1是用于增强手术环境的系统的框图；
图2A至图2D是如何可能实现图1的系统的示例；
图3是图1的控制器的系统框图；
图4是用于增强图像或视频的系统的第一框图；
图5是用于增强图像或视频的系统的第二框图；
图6是用于增强图像或视频的系统的第三框图；
图7是用于增强图像或视频的系统的第四框图；以及
图8是机器人手术系统的系统框图。
具体实施方式
可以分析在手术操作期间从手术相机捕获的图像数据以识别相机视场内的对象的附加的不可感知属性，所述对象可以是不可见的或可见的，但是使人在观看显示在屏幕上的相机图像时难以清楚地看到。可以将各种图像处理技术应用于该图像数据以识别患者体内的不同状况。例如，欧拉图像放大技术可以用于识别捕获图像的不同部分中的光的波长或“颜色”变化。可以进一步分析这些变化以识别再灌注、动脉血流和/或血管类型。
欧拉图像放大还可以用于使图像帧之间的运动或活动对临床医生更可见。在一些实例中，可以向临床医生呈现不同图像帧之间的预定波长的光的测量强度的变化，以使临床医生更加意识到特定感兴趣对象(例如，血液)的运动。
图像代数(image algebra)可用于识别在手术操作期间用于切割组织或其它物质的最佳位置。在一些实例中，图像代数可以包括边缘检测和/或欧拉图像放大以识别最佳切割位置。
高光谱图像分析可用于识别视域范围内的小区域中的微小变化，所述微小变化可以是不可见的或者对于人眼来说难以辨别。这些高光谱图像分析技术可以与欧拉图像放大结合以识别这些区域的具体的一组变化。
图像代数可以与高光谱图像分析结合以识别对象或其他块体(mass)的边缘。图像代数可以包括边缘检测和/或可以与高光谱图像分析和欧拉图像放大二者结合以识别块体的边缘。
红外光可以用于识别患病的、死亡的和/或异常的组织的边界。滤波器可以用于从所捕获的图像数据隔离红外、近红外或其它范围中的一个或多个期望的波长。欧拉图像放大和/或图像代数可以用于分析滤波的图像数据并识别特定的组织边界。
欧拉图像放大、图像代数、高光谱图像分析和滤波技术中的一个或多个可以被包括来作为成像系统的部分。这些技术可以使成像系统能够提供关于相机视场内的不明显状况和对象的附加信息并加强手术预后。该附加信息可以包括但不限于：识别组织灌注、定位特定尺寸的动脉(诸如较大的动脉)、验证血管密封的有效性、识别异常组织的热特征、验证期望的对象运动(诸如，在死亡组织的边缘缺乏活动或在切除后验证适当的流动)、区分看起来相似的对象(诸如区分输尿管、肠系膜下动脉和/或周围血液)、以及检测小的泄漏(例如，在吻合术后可能发生的泄漏)。
这些技术中的一个或多个可以被包括来作为手术机器人系统中的成像系统的部分，以向临床医生实时提供关于内窥镜视场内的不明显状况和对象的附加信息。这可以使临床医生能够在手术期间快速识别、避免和/或纠正不期望的情况和状况。例如，临床医生能够在手术期间验证血管已经被适当地密封、血液适当地流动、在吻合术后没有漏气、和/或已经移除了患病组织。然后，如果有需要，临床医生则能够在手术期间纠正这些问题。临床医生还能够识别体内的手术器械应避免接触或额外小心地处置的脆弱的或关键的对象，诸如较大的动脉或输尿管。
本公开针对用于在手术操作期间向临床医生实时提供增强图像的系统和方法。本文描述的系统和方法将图像处理滤波器应用于所捕获的图像，以经由显示器向临床医生提供增强或加强的图像。在一些实施例中，该系统和方法允许在手术操作期间的视频捕获。捕获的视频被实时或准实时地处理，然后作为增强图像显示给临床医生。图像处理滤波器应用于捕获的视频的每个帧。向临床医生提供增强图像或视频允许临床医生识别并解决潜在的不利生理状况，从而减少对额外手术操作的需要以及确保原始手术操作的有效性。
本文所述的实施例使临床医生能够识别接收过多或无效血液的区域、吻合或密封的有效性、用于识别患病组织的器官中的温度变化、用于判定组织是否存活的微小的组织活动以及组织厚度。另外，本文所述的实施例可用于识别切除后的组织灌注、动脉位置，区分不同组织，以及判定漏气。
现转向图1，根据本公开的实施例的用于增强手术环境的系统一般性地被示出为100。系统100包括具有处理器104和存储器106的控制器102。系统100还包括记录静止帧图像(still frame image)或动像的图像捕获装置108(例如，相机)。传感器阵列110向控制器102提供关于手术环境的信息。例如，传感器阵列110包括生物计量传感器，该生物计量传感器能够获取患者的例如脉搏、体温、血压、血氧水平、心律等生物计量数据。传感器阵列110还可以包括高光谱传感器以执行高光谱成像。显示器112在手术操作期间向临床医生显示增强图像。在一些实施例中，控制器102可以经由无线或有线连接与中央服务器(未示出)通信。该中央服务器可以存储一个患者或多个患者的图像，该图像可以利用X射线、计算机断层扫描或磁共振成像来获取。
图2A至图2D描述了图1的系统如何在手术环境中实施的示例。如图2A至图2D所示，图像捕获装置108在手术操作期间捕获手术环境的图像。由图像捕获装置108所记录的图像、来自传感器阵列110的数据以及来自中央服务器(未示出)的图像通过控制器102结合以产生增强图像，该增强图像经由显示器112提供给临床医生。如图2A至图2D所示，显示器112可以是投影仪(图2A)，激光投影系统(图2B)，一副眼镜，或监视器(图2D)，所述眼镜将图像投影到的一个镜片上(诸如谷歌眼镜(GOOGLE)(由提供))(图2C)、两个镜片上或面罩上。当使用如在图2D中所示的监视器时，增强图像覆盖在由图像捕获装置108获取的患者的图像上。
图3描述了控制器102的系统框图。如图3所示，控制器102包括收发器114，收发器114被配置为从图像捕获装置108接收静止帧图像或视频，或者从传感器阵列110接收数据。在一些实施例中，收发器114可以包括经由无线通信协议接收静止帧图像、视频或数据的天线。静止帧图像、视频或数据被提供给处理器104。处理器104包括图像处理滤波器116，图像处理滤波器116处理所接收的静止帧图像、视频或数据以产生增强图像或视频。图像处理滤波器116可以利用分立的部件、软件或其组合来实施。增强图像或视频被提供给显示器112。
现转向图4，可以应用于由收发器114接收的视频的图像处理滤波器的系统框图被示出为116A。在图像处理滤波器116A中，利用空间分解滤波器118将所接收的视频的每个帧分解为不同的空间频带S1至SN。空间分解滤波器118采用被称为金字塔(pyramid)的图像处理技术，其中图像经过重复平滑和子采样。
在所述帧经过使用空间分解滤波器118之后，时间滤波器120被应用于所有空间频带S1至SN以产生时间滤波带ST1至STN。时间滤波器120是用于提取一个或多个期望频带的带通滤波器。例如，如果临床医生知道患者的脉搏，则临床医生可以利用用户界面(未示出)设置时间滤波器120的带通频率，以放大对应于患者的脉搏的空间频带。换句话说，该带通滤波器被设置为包括患者的脉搏的狭窄范围，并且应用到所有空间频带S1至SN。只有对应于带通滤波器的所设定范围的空间频带会被隔离或通过。所有时间滤波带ST1至STN由具有增益α的放大器单独地放大。因为时间滤波器隔离或通过期望的空间频带，所以只有期望的空间频带得到放大。然后放大的时间滤波带ST1至STN被加到原始空间频带S1至SN以产生增强带S′1至S′N。然后利用重构滤波器122通过合并增强带S′1到S′N来重构视频的每个帧，以产生增强帧。所有的增强帧被组合以产生增强视频。向临床医生显示的增强视频包括被放大的部分(即，对应于期望的空间频带的部分)以使临床医生能够容易地识别这样的部分。
在一些实施例中，代替使用放大器放大所隔离的时间滤波带，图像处理滤波器116A可以在重构该视频之前使用一种或多种颜色来突出时间滤波带。针对患者的期望部位(例如，血管或神经)采用不同的颜色可以使临床医生更容易识别这种部位的位置。
现转向图5，图像处理滤波器的系统框图被示出为116B，该图像处理滤波器可以应用于通过收发器114接收的静止帧图像或视频。如图5所示，输入图像124(即，捕获的图像或来自视频的帧)被输入到图像处理滤波器116B。然后图像处理滤波器116B对输入图像124采用边缘检测算法，并输出突出了在输入图像124中发现的边缘的滤波图像126。
图6描绘了用于产生高光谱图像的系统的框图。如图6所示，传感器阵列110包括高光谱传感器128。高光谱传感器128采集一组图像，其中每个图像表示电磁波谱的不同范围。该组图像被发送到图像处理滤波器116C，图像处理滤波器116C采用高光谱算法来组合该组图像以形成三维(3D)高光谱图像立方体。3D高光谱图像立方体被输出到显示器112。
图7描绘了用于产生红外图像的系统的框图。如图7所示，红外相机130捕获图像或视频，并将所捕获的图像或视频发送到图像处理滤波器116D。图像处理滤波器116D处理接收到的所捕获的图像或视频，以产生在显示器112上显示的红外图像。
上述的图像处理滤波器(即，图像处理滤波器116A-116D)可以单独地用于识别手术操作期间的身体状况。在一些实施例中，图像处理滤波器116A可以用于识别颜色的变化，以便识别组织灌注或切除后的再灌注、动脉血流、血管类型。图像处理滤波器116A还可用于提高坏死组织的运动识别边缘的可见性或切除后组织的适当的机能。
在一些实施例中，可以组合上述滤波器以辅助临床医生识别不利的身体状况。例如，图像处理滤波器116A和116B可以被组合成识别不同组织的边缘，以确定用于执行任务(例如，切割)的最有效的布置。图像处理滤波器116A和116C可以被组合成识别小区域中的微小变化，例如，无法通过常规方法判定的漏气。图像处理滤波器116A、116B和116C可以被组合以识别块体(例如，肿瘤)的边缘。图像处理滤波器116A、116B和116D可以被组合以识别患病组织的边界。
图像处理滤波器116A、116B、116C和116D可以利用不同的电路来实施，或者它们可以利用基于应用于图像的滤波器来执行不同子例程的单个处理器来实施。
上述实施例还可以集成到机器人手术系统中。图8示出了可以包括在机器人手术系统1中的各种部件，诸如两个以上的机器人手臂2、3；控制装置4；以及与控制装置4耦合的操作控制台5。操作控制台5可以包括显示装置6，其可以特别地设置为显示三维图像；以及一个或多个手动输入装置7、8，人(未示出)(例如，外科医生)能够通过该手动输入装置在第一操作模式下遥控操纵机器人手臂2、3。
输入装置7、8的移动可以被缩放而使得附接到机器人手臂2、3的手术器械具有与输入装置7、8的移动不同(例如，更小或更大)的对应的移动。比例因子(scale factor)或传动比(gearing ratio)可以是可调节的，使得临床医生可以控制手术器械的操作端的分辨率。
机器人手臂2、3中的每个可以包括通过接头而连接的多个构件和手术组件20，手术组件20可以附接有(例如)诸如(例如)图像捕获装置108(诸如内窥镜)的手术器械或根据本文公开的任何实施例的具有末端执行器200的其它手术器械。手术组件20的远端可以被配置为支撑图像捕获装置108和/或具有末端执行器200的其它手术器械，末端执行器200包括但不限于抓紧器、手术吻合器、手术切割器、手术吻合切割器、线性手术吻合器、线性手术吻合切割器、圆形手术吻合器、圆形手术吻合切割器、手术施夹器、手术夹结扎器、手术夹紧装置、血管扩张装置、管腔扩张装置、手术刀、流体输送装置或任何其它类型的手术器械。这些手术器械中的每个可以被配置为通过机器人手臂2、3经由力传递构件进行致动和操纵。力传递构件可以以各种方式配置为诸如(例如)海波管(hypotube)、推杆、轴或栓系件，并且可以传递诸如(例如)轴向(即，推和拉)力、旋转力的各种力和/或各种扭矩。具有作为关节式运动的末端执行器200的相机的图像捕获装置108(诸如内窥镜)可以包括这种力传递构件。这些力传递构件中的一个或多个可以被构造成控制相机的关节式运动。
机器人手臂2、3可以通过连接到控制装置4的电驱动器来驱动。控制装置4(例如，计算机)被设置成尤其借助计算机程序的方式来触发驱动器，从而使机器人手臂2、3及其手术组件20进而使末端执行器200根据借助手动输入装置7、8所定义的移动来执行期望的移动。控制装置4还可以设置成使其调节机器人手臂2、3的移动和/或驱动器的移动。
控制装置4还可以通信地联接到手术系统1的其它部件，包括但不限于手术组件20；显示器6；输入装置7、8；以及联接到机器人手臂2、3的手术器械，诸如图像捕获装置108和具有末端执行器200的器械。控制装置4还可以包括控制器102或被联接到控制器102。控制器102和/或控制装置4可以包括收发器114，收发器114可以被配置为从图像捕获装置108接收静止帧图像或视频，或者从传感器阵列110接收数据。在一些实施例中，收发器114可以包括天线，用于经由无线通信协议来接收静止帧图像、视频或数据。收发器114还可以经由有线连接来接收静止帧图像、视频或数据。该静止帧图像、视频或数据可以被发送到处理器104。处理器104包括图像处理滤波器116，图像处理滤波器116处理所接收的静止帧图像、视频或数据以产生增强图像或视频。处理器104可以包括用于存储正在处理的图像、视频或数据的缓冲器或存储器106。图像处理滤波器116可以利用分立的部件、软件或其组合来实施。增强图像或视频可以被存储和/或发送到显示器6或另一输出设备。
在手术系统1中，至少一个图像捕获装置108可以联接到两个以上机器人手臂2、3中的至少第一机器人手臂。图像捕获装置108可以被配置为在手术操作期间插入到患者体内并且捕获患者体内的感兴趣区域的图像。所捕获的图像可以显示在显示器6上。
另一手术器械具有被配置为在手术操作期间操纵感兴趣区域中的组织的末端执行器200，该手术器械可以联接到两个以上机器人手臂2、3中的至少第二机器人手臂。
控制器102可以被配置为处理从图像装置108所捕获的图像，并将至少一个图像处理滤波器116(例如，在本申请通篇提到的一种或多种不同方式的滤波器116A至116D)应用于捕获的图像，以识别在手术操作期间的感兴趣区域中的对象的不可感知属性。控制器102可以向临床医生输出在手术操作期间所识别的不可感知属性。该不可感知属性可以以不同的方式输出，包括输出到可以向临床医生显示不可感知属性的显示器6，和/或通过触觉的方式输出使得临床医生可以感觉到不可感知属性。当不可感知属性被输出到显示器时，不可感知属性可以被改变或变换成更加清晰可见的信号，该信号可以被覆盖到捕获的图像的对应部分上并且在显示器上显示给临床医生。
可以附接到机器人手臂2、3的每个器械可以配备有工具类型标识符，诸如，快速响应代码、存储在器械的存储器中的标识符、与工具类型相关联的特定电路配置等等。手术系统1可以包括被配置为从附接到机器人手臂2、3的每个器械接收和/或读取工具类型标识符的部件或电路。然后可以使用该信息来选择可以被应用于所捕获的图像的特定的图像处理滤波器116。
工具类型标识符信息可以用于识别利用图像捕获装置108的视场定位的、附接到机器人手臂2、3的手术器械。例如，如果快速响应代码或其它工具类型标识符位于手术器械的、出现在图像装置108的视场内的末端执行器200、轴或其它部件上，则可以分析所捕获的图像数据以根据从图像捕获数据识别出的快速响应代码或其它标识符来识别该手术器械。
在其它情况下，进入图像捕获装置108的视场的手术器械可基于对关于图像捕获装置108(和/或附接有图像装置108的机器人手臂2)与附接到其它机器人手臂3中的一个机器人手臂的器械(和/或附接有该器械的机器人手臂3)的位置信息的比较来识别。可以从每个器械中的或者机器人手臂2、3中的一个或多个位置传感器来获取位置信息。可以采用变换来将来自不同机器人手臂2、3的不同坐标系中的绝对位置信息进行转换，从而可以获取一个机器人手臂2上的图像捕获装置108相对于附接到另一个机器人手臂3的手术器械的相对位置。该相对位置信息可以用于识别附接到另一个机器人手臂3的手术器械是否在图像捕获装置108的视场内。
在其它情况下，一个或多个相机可以用于捕获一个或多个机器人手臂2、3的图像。可以分析来自这些相机的图像数据以识别每个机器人手臂2、3的位置。可以分析该位置信息以判定附接有手术器械的机器人手臂3是否位于图像捕获装置108的视场内。也可以采用用于判定附接有手术器械的机器人手臂3是否位于图像捕获装置108的视场内的其它系统和方法。
如果位置信息和/或工具类型标识符指示特定的手术器械处于图像捕获装置108的视场内，则可以自动地选择对应于特定的手术器械的一个或多个图像处理滤波器116。例如，如果电烙式手术器械被识别为处于图像捕获装置108的视场内，则可以自动地选择示出血管密封的有效性的图像处理滤波器116。如果电烙式器械然后被移出视场并且诸如手术刀的切割器械被移入到视场中，则可以作为替代而自动地选择示出大动脉的位置的不同的图像处理滤波器116。
可以根据要执行的任务来自动地选择不同的图像处理滤波器116。例如，如果切割工具处于视场中，并且正以超过预定阈值的速率移动、和/或输入装置7、8的缩放因子(scaling factor)被改变使得手术器械移动得较快，则可以自动地选择示出大动脉的位置的图像处理滤波器116。然而，如果切割工具以较慢的速率移动和/或被触发以有条不紊地切割和/或移除组织，则可以作为替代而采用示出异常组织的图像处理滤波器116。相同的分析可以应用于电烙式工具：如果该工具在预定时段内没有被激活和/或正以超过预定阈值的速率移动，则可以自动地选择示出大动脉的位置的图像处理滤波器116。然而，如果电烙式工具正以较慢的速率移动和/或在预定时段内被激活以有条不紊地切割和/或移除组织，则可以作为替代而采用示出血管密封的有效性或其它期望属性的图像处理滤波器116。
输入装置7、8可以包括触觉件216以向临床医生提供与不可感知属性相关的反馈。例如，可以产生表示组织参数或状况(例如，由于操纵、切割或其它处理而引起的组织阻力、器械对组织的压力、组织温度、组织阻抗等)的输出信号并将其传输到输入装置7、8以向临床医生提供基于不可感知属性而变化的触觉反馈。触觉件216可以向临床医生提供关于可以提高患者安全性的对象的不可感知属性的加强触觉反馈。例如，触觉件216可以经实施以在通过输入装置7、8移动的手术器械进入大动脉或其他脆弱组织的预定距离内时向临床医生提供反馈，以防止对动脉和/脆弱的组织的可能的损伤。触觉件216可以包括振动电机、电活性聚合物、压电装置、静电装置、亚音速声波表面致动装置、反向电振动装置、或能够向用户提供触反馈的任何其它装置。输入装置7、8还可以包括用于脆弱组织操纵或处理的各种不同的致动器，进一步加强临床医生模拟实际操作状况的能力。
本文公开的实施例是本公开的示例，并且可以以各种形式实施。本文公开的具体结构的和功能的细节不应被解释为一种限制，而是作为权利要求的基础并且作为教导本领域技术人员以实际上任何适当地细化结构来以各种方式采用本公开的代表性基础。贯穿附图的描述，相同的附图标记可以指相似或相同的元件。
短语“在实施例中”、“在各实施例中”、“在一些实施例中”或“在其它实施例中”各自可以指代根据本公开的相同或不同实施例中的一个或多个。“A或B”形式的短语表示“(A)、(B)或(A和B)”。“A、B或C中的至少一个”形式的短语表示“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或者(A、B和C)”。临床医生可以指临床医生或诸如医生、护士、技术人员、医疗助理等执行医疗程序的任何医学专业人员。
本文描述的系统还可以利用一个或多个控制器来接收各种信息并且变换所接收的信息以产生输出。所述控制器可以包括任何类型的计算设备、计算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。所述控制器可以包括多个处理器和/或多核中央处理单元(CPU)，并且可以包括任何类型的处理器，诸如微处理器、数字信号处理器、微控制器等。所述控制器还可以包括用于存储数据和/或算法以执行一系列指令的存储器。
本文描述的方法、程序、算法或代码中的任一种可以被转换或表示成编程语言或计算机程序。“编程语言”和“计算机程序”包括用于向计算机指定指令的任何语言，并且包括(但不限于)这些语言及其派生：汇编语言、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、自身指定程序的元语言以及所有的第一代、第二代、第三代、第四代和第五代计算机语言。还包括数据库和其它数据模式、以及任何其它元语言。对解释的语言、编译的语言或采用编译和解释两者方法的语言不作区分。在程序的编译版本和源版本之间也不作区分。因而，对编程语言可以以多于一种状态(诸如源的、编译的、对象的或链接的)存在的程序的引用是对任何所有这种状态的引用。对程序的引用可以包括实际指令和/或这些指令的意图。
本文描述的方法、程序、算法或代码中的任一种可以包含在一个或多个机器可读介质或存储器上。术语“存储器”可以包括以机器(诸如处理器、计算机或数字处理设备)可读的形式提供(例如，存储和/或传输)信息的机制。例如，存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备或任何其它易失性或非易失性存储器存储设备。其上所包含的代码或指令可以由载波信号、红外信号、数字信号和其它类似方式的信号表示。
应当理解，前面的描述仅仅是对本公开的说明。本领域技术人员可以不偏离本公开来设计各种替代例和变形例。例如，本文所述的任何增强图像可以组合成单个增强图像以显示给临床医生。相应地，本公开旨在涵盖所有这样的替代例、变形例和变化例。参照附图所描述的实施例仅用于示范本公开的某些示例。与上述和/或所附权利要求中所述的大致无异的其它元件、步骤、方法和技术也旨在处于本公开的范围内。

Claims (20)

1.一种机器人手术系统，包括：
多个机器人手臂，各自具有多个自由度，并且各自包括连接地布置的多个构件以提供所述多个自由度；
图像捕获装置，其附接到所述机器人手臂中的第一机器人手臂的手术组件，并且被构造为插入到患者体内并且在手术操作期间捕获所述患者体内的感兴趣区域的图像；
手术器械，其附接到所述机器人手臂中的第二机器人手臂的手术组件，所述手术器械被构造为插入到患者体内并且在所述手术操作期间操纵所述患者体内的组织；
输入装置，其被配置为在所述手术操作期间操纵附接到所述第一机器人手臂的所述图像捕获装置和附接到所述第二机器人手臂的所述手术器械中的至少一个；
图像处理滤波器，其被配置为以预定空间频率对来自所捕获的图像的图像数据滤波，以识别对象的在所述预定空间频率下不可感知的属性；
控制器，其被配置为加强所述对象的所识别的属性的可感知性，输出所识别的属性的加强的可感知性，并将表示所述对象的所识别的属性的输出信号发送给所述输入装置以向所述机器人手术系统的用户提供基于不可感知的属性而变化的触觉反馈；和
显示器，其被配置为在所述手术操作期间显示所捕获的图像。
2.根据权利要求1所述的机器人手术系统，其中所述图像处理滤波器包括：
空间分解滤波器，其被配置为将所述图像分解成多个空间频带；
时间滤波器，其被配置为应用于所述多个空间频带以产生多个时间滤波带；
相加器，其被配置为将所述多个空间频带中的每个与所述多个时间滤波带中的对应带相加以产生多个增强带；和
重构滤波器，其被配置为通过合并所述多个增强带来产生增强图像。
3.根据权利要求2所述的机器人手术系统，其中所述控制器包括图形处理器，所述图形处理器被配置为加强所识别的属性的可见表示并将所加强的可见表示输出到所述显示器以便显示。
4.根据权利要求3所述的机器人手术系统，其中所述控制器被配置为放大所滤波的图像数据以加强所识别的属性的所述可见表示。
5.根据权利要求3所述的机器人手术系统，其中所述控制器被配置为将具有不可见频率的所滤波的图像数据的至少一部分转变为可见光频率范围中的频率，以加强所识别的属性的所述可见表示。
6.根据权利要求2所述的机器人手术系统，其中所述控制器包括触觉处理器，所述触觉处理器被配置为加强所识别的属性的力反馈表示，并将所加强的力反馈表示输出到所述输入装置上的触觉装置，所述触觉装置被配置为将触觉反馈提供给用户。
7.根据权利要求6所述的机器人手术系统，其中所述控制器被配置为放大所滤波的图像数据以加强所识别的属性的所述力反馈表示。
8.根据权利要求1所述的机器人手术系统，进一步包括控制装置，所述控制装置被配置为：
识别附接到所述第二机器人手臂的所述手术器械；并且
基于对所述手术器械的识别从多个图像处理滤波器中选择图像处理滤波器。
9.根据权利要求8所述的机器人手术系统，其中所述控制装置进一步被配置为：
在所述手术操作期间判定附接到所述第二机器人手臂的所述手术器械是否在所述图像捕获装置的视场内；并且
如果所述手术器械在所述图像捕获装置的所述视场内，则选择所述图像处理滤波器。
10.根据权利要求9所述的机器人手术系统，其中：
所述多个手臂包括第三机器人手臂，所述第三机器人手臂具有附接有手术器械的手术组件；
所述控制装置进一步被配置为识别附接到所述第三手臂的所述手术器械；
所述控制装置进一步被配置为确定附接到所述第二机器人手臂和所述第三机器人手臂的所述手术器械中的哪个出现在所述图像捕获装置的所述视场内；并且
所述控制装置进一步被配置为基于所述确定来选择所述图像处理滤波器。
11.根据权利要求8所述的机器人手术系统，其中所述控制装置进一步被配置为：
识别由所识别的手术器械正在执行的任务；并且
在所述手术操作期间基于所述正在执行的任务选择所述图像处理滤波器。
12.根据权利要求8所述的机器人手术系统，其中所述控制装置进一步被配置为：
在所述手术操作期间识别由所识别的手术器械正在执行的初始任务；
基于所述初始任务初始地选择所述图像处理滤波器并将所述图像处理滤波器应用到初始捕获的图像数据；
在所述手术操作期间识别由所识别的手术器械正在执行的后续任务；并且
基于所述后续任务选择不同的图像处理滤波器并将不同的图像处理滤波器应用到后续捕获的图像数据。
13.根据权利要求12所述的机器人手术系统，其中所述控制装置进一步被配置为将所述手术器械以小于阈值的速率的移动与所述初始任务相关联，并且将所述手术器械以大于所述阈值的速率的移动与所述后续任务相关联。
14.根据权利要求12所述的机器人手术系统，其中所述控制装置进一步被配置为将所述手术器械的以所应用的第一缩放速率的移动与所述初始任务相关联，并将所述手术器械的以不同的缩放因子速率的移动与所述后续任务相关联。
15.根据权利要求12所述的机器人手术系统，其中所述控制装置进一步被配置为将所述手术器械在第一时间段内的致动与所述初始任务相关联，并将所述手术器械在第二时间段内的非致动与所述后续任务相关联。
16.一种机器人手术系统，其包括：
图像捕获装置，其被配置为在手术操作期间捕获患者体内的感兴趣区域的图像，所述图像捕获装置附接到手术机器人系统的多个机器人手臂中的第一机器人手臂的手术组件；
手术器械，其附接到所述多个机器人手臂中的第二机器人手臂的手术组件，所述手术器械被构造为插入到患者体内并且在所述手术操作期间操纵所述患者体内的组织；
输入装置，其被配置为在所述手术操作期间操纵附接到所述第一机器人手臂的所述图像捕获装置和附接到所述第二机器人手臂的所述手术器械中的至少一个；
图像处理滤波器，其被配置为以预定空间频率对来自所捕获的图像的图像数据滤波，以识别对象的在所述预定空间频率下不可感知的属性；
控制器，其被配置为加强所述对象的所识别的属性的可感知性，输出所识别的属性的加强的可感知性，并将表示所述对象的所识别的属性的输出信号发送给所述输入装置以向所述机器人手术系统的用户提供基于不可感知的属性而变化的触觉反馈；以及
显示器，其被配置为向所述用户输出加强的可感知性，并且以所输出的与所述手术器械的操纵有关的加强的可感知性，向所述用户提供附加信息。
17.根据权利要求16所述的机器人手术系统，其中提供给所述用户的所述附加信息是血管密封有效性的可视化。
18.根据权利要求16所述的机器人手术系统，其中提供给所述用户的所述附加信息是异常组织的可视化。
19.根据权利要求16所述的机器人手术系统，其中所述对象的所识别的属性的加强的可感知性是脆弱组织的位置，并且提供给所述用户的所述附加信息是在所述机器人手术系统的输入装置处响应于所述用户移动所述输入装置以在所述脆弱组织的预定距离内操纵所述手术器械而施加的力反馈。
20.一种存储指令的非暂时性计算机可读介质，所述指令在由处理装置执行时使所述处理装置：
在手术操作期间以预定空间频率对图像数据滤波以从在手术操作期间从图像捕获装置获得的、患者体内的感兴趣区域的图像识别对象的在所述预定空间频率下不可感知的属性，所述图像捕获装置附接到手术机器人系统的多个机器人手臂中的第一机器人手臂的手术组件；
在所述手术操作期间于所述手术器械附接到所述多个机器人手臂中的第二机器人手臂的手术组件之后，响应于用户操纵所述手术机器人系统的输入装置，在所述手术操作期间操纵所述患者体内的手术器械；
加强所述对象的来自所滤波的图像数据的所识别的属性的可感知性；
向所述手术机器人系统的用户输出加强的可感知性，并将表示所述对象的所识别的属性的输出信号发送给所述输入装置以向所述用户提供基于不可感知的属性而变化的触觉反馈；并且
以所输出的与所述手术器械的操纵有关的加强的可感知性，向所述用户提供附加信息。
CN201910501040.7A 2014-07-25 2015-07-20 用于机器人手术系统的增强手术现实环境 Active CN110215279B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462028984P 2014-07-25 2014-07-25
US62/028,984 2014-07-25
CN201580041495.5A CN106535805B (zh) 2014-07-25 2015-07-20 用于机器人手术系统的增强手术现实环境
PCT/US2015/041085 WO2016014385A2 (en) 2014-07-25 2015-07-20 An augmented surgical reality environment for a robotic surgical system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580041495.5A Division CN106535805B (zh) 2014-07-25 2015-07-20 用于机器人手术系统的增强手术现实环境

Publications (2)

Publication Number Publication Date
CN110215279A true CN110215279A (zh) 2019-09-10
CN110215279B CN110215279B (zh) 2022-04-15

Family

ID=55163940

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910156185.8A Active CN110074863B (zh) 2014-07-25 2015-07-20 用于机器人手术系统的增强手术现实环境
CN201910501040.7A Active CN110215279B (zh) 2014-07-25 2015-07-20 用于机器人手术系统的增强手术现实环境
CN201580041495.5A Active CN106535805B (zh) 2014-07-25 2015-07-20 用于机器人手术系统的增强手术现实环境

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910156185.8A Active CN110074863B (zh) 2014-07-25 2015-07-20 用于机器人手术系统的增强手术现实环境

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580041495.5A Active CN106535805B (zh) 2014-07-25 2015-07-20 用于机器人手术系统的增强手术现实环境

Country Status (4)

Country Link
US (3) US10251714B2 (zh)
EP (1) EP3179947B1 (zh)
CN (3) CN110074863B (zh)
WO (1) WO2016014385A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830746A (zh) * 2019-11-15 2020-02-21 安徽埃克索医疗机器人有限公司 一种基于视频通话和增强现实技术远程手术协助系统

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3179948B1 (en) * 2014-07-25 2022-04-27 Covidien LP Augmented surgical reality environment
WO2016014385A2 (en) 2014-07-25 2016-01-28 Covidien Lp An augmented surgical reality environment for a robotic surgical system
JP6432770B2 (ja) * 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
CN108135456B (zh) * 2015-10-22 2021-03-05 柯惠Lp公司 用于放大手术环境中所关注区域中的改变的系统和方法
US20190088162A1 (en) * 2016-03-04 2019-03-21 Covidien Lp Virtual and/or augmented reality to provide physical interaction training with a surgical robot
US11072043B2 (en) * 2016-03-21 2021-07-27 Sigma Labs, Inc. Layer-based defect detection using normalized sensor data
US10638944B2 (en) * 2017-02-22 2020-05-05 Covidien Lp Methods of determining tissue viability
CN107133941A (zh) * 2017-04-18 2017-09-05 重庆金山医疗器械有限公司 一种无线胶囊内窥镜图像突出血管奇变以及凸起部位的显示方法
WO2018217436A1 (en) * 2017-05-26 2018-11-29 Covidien Lp Controller for imaging device
US20200184638A1 (en) * 2017-08-16 2020-06-11 Covidien Lp Systems and methods for enhancing surgical images and/or video
EP3672505A4 (en) * 2017-08-21 2021-02-17 Relign Corporation ARTHROSCOPY DEVICES AND METHODS
US20200337798A1 (en) * 2017-11-20 2020-10-29 Medi Plus Inc. Medical safety system
WO2019134945A1 (en) * 2018-01-03 2019-07-11 Koninklijke Philips N.V. System and method for detecting abnormal tissue using vascular features
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10933526B2 (en) * 2018-04-23 2021-03-02 General Electric Company Method and robotic system for manipulating instruments
CN109330698B (zh) * 2018-07-31 2020-09-08 深圳市精锋医疗科技有限公司 具有内窥镜的从操作设备组件及手术机器人
WO2020028202A1 (en) * 2018-07-31 2020-02-06 Intuitive Surgical Operations, Inc. Systems and methods for tracking a position of a robotically-manipulated surgical instrument
JP2022500163A (ja) * 2018-09-14 2022-01-04 コヴィディエン リミテッド パートナーシップ 外科用ロボットシステムおよびその外科用器具の使用量を追跡する方法
GB2577718B (en) * 2018-10-03 2022-08-24 Cmr Surgical Ltd Feature identification
GB2577719B (en) * 2018-10-03 2023-04-26 Cmr Surgical Ltd Navigational aid
US11443501B2 (en) 2018-12-05 2022-09-13 Verily Life Sciences Llc Robotic surgical safety via video processing
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11896323B2 (en) 2020-09-01 2024-02-13 Aibolit Technologies, Llc System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11937891B2 (en) * 2020-10-06 2024-03-26 Asensus Surgical Us, Inc. Systems and methods of controlling surgical robotic system using eye-tracking
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
CA3212211A1 (en) 2021-03-31 2022-10-06 David Paul Noonan Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11369454B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
US11832910B1 (en) 2023-01-09 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having adaptive gravity compensation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004603A1 (en) * 2006-06-29 2008-01-03 Intuitive Surgical Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
CN101404088A (zh) * 2008-11-05 2009-04-08 华中科技大学 Ct图像重建的方法及系统
US20110190937A1 (en) * 2008-08-29 2011-08-04 Kuka Laboratories Gmbh Medical Work Station And Operating Device For Manually Moving A Robot Arm Of A Medical Work Station
CN102341046A (zh) * 2009-03-24 2012-02-01 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351571B1 (en) 1998-12-14 2002-02-26 Eastman Kodak Company Uniform convolution algorithm for frequency decomposition of image regions
US20040243147A1 (en) 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
US20030179308A1 (en) 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
US7979157B2 (en) * 2004-07-23 2011-07-12 Mcmaster University Multi-purpose robotic operating system and method
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
EP1938274A2 (en) * 2005-09-12 2008-07-02 D.V.P. Technologies Ltd. Medical image processing
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
EP2188661B1 (de) 2008-04-01 2014-07-30 Bauhaus-Universität Weimar Verfahren und beleuchtungsvorrichtung zur optischen kontrastverstärkung
US8169468B2 (en) 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot
ES2341079B1 (es) 2008-12-11 2011-07-13 Fundacio Clinic Per A La Recerca Biomedica Equipo para vision mejorada por infrarrojo de estructuras vasculares,aplicable para asistir intervenciones fetoscopicas, laparoscopicas y endoscopicas y proceso de tratamiento de la señal para mejorar dicha vision.
US8644551B2 (en) 2009-10-15 2014-02-04 Flyby Media, Inc. Systems and methods for tracking natural planar shapes for augmented reality applications
BR112012011422B1 (pt) * 2009-11-13 2020-09-29 Intuitive Surgical Operations, Inc Sistema cirúrgico minimamente invasivo
US20110135170A1 (en) 2009-12-09 2011-06-09 Capso Vision, Inc. System and method for display speed control of capsule images
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US9211058B2 (en) 2010-07-02 2015-12-15 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US9506882B2 (en) 2011-01-18 2016-11-29 Texas Instruments Incorporated Portable fluoroscopy system with spatio-temporal filtering
TWI459325B (zh) 2011-05-13 2014-11-01 Altek Corp 數位影像處理裝置及其處理方法
US9123155B2 (en) * 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
US20150049177A1 (en) 2012-02-06 2015-02-19 Biooptico Ab Camera Arrangement and Image Processing Method for Quantifying Tissue Structure and Degeneration
US20130328867A1 (en) 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Apparatus and method for providing augmented reality information using three dimension map
WO2016014385A2 (en) * 2014-07-25 2016-01-28 Covidien Lp An augmented surgical reality environment for a robotic surgical system
EP3179948B1 (en) * 2014-07-25 2022-04-27 Covidien LP Augmented surgical reality environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004603A1 (en) * 2006-06-29 2008-01-03 Intuitive Surgical Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US20110190937A1 (en) * 2008-08-29 2011-08-04 Kuka Laboratories Gmbh Medical Work Station And Operating Device For Manually Moving A Robot Arm Of A Medical Work Station
CN101404088A (zh) * 2008-11-05 2009-04-08 华中科技大学 Ct图像重建的方法及系统
CN102341046A (zh) * 2009-03-24 2012-02-01 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A. JONATHAN MCLEOD: "Motion magnification for endoscopic surgery", 《PROGRESS IN BIOMEDICAL OPTICS AND IMAGING,SPIE-INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830746A (zh) * 2019-11-15 2020-02-21 安徽埃克索医疗机器人有限公司 一种基于视频通话和增强现实技术远程手术协助系统

Also Published As

Publication number Publication date
US11096749B2 (en) 2021-08-24
CN106535805A (zh) 2017-03-22
US20190231453A1 (en) 2019-08-01
CN110074863B (zh) 2021-11-02
EP3179947A4 (en) 2018-03-28
CN110074863A (zh) 2019-08-02
EP3179947A2 (en) 2017-06-21
US10588705B2 (en) 2020-03-17
US20180200004A1 (en) 2018-07-19
WO2016014385A2 (en) 2016-01-28
WO2016014385A3 (en) 2016-05-19
US10251714B2 (en) 2019-04-09
US20200205913A1 (en) 2020-07-02
EP3179947B1 (en) 2019-06-26
CN110215279B (zh) 2022-04-15
CN106535805B (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
CN106535805B (zh) 用于机器人手术系统的增强手术现实环境
US11080854B2 (en) Augmented surgical reality environment
JP6709796B2 (ja) 手術室及び手術部位認識
US20210077220A1 (en) Systems and methods for removing occluding objects in surgical images and/or video
CN108271345B (zh) 用于检测表面下的血液的系统和方法
EP3364907B1 (en) Surgical system for detecting gradual changes in perfusion
CN108135456A (zh) 用于放大手术环境中所关注区域中的改变的系统和方法
JP2020531095A (ja) 外科手術画像および／または映像を強調するためのシステムおよび方法
US20230404572A1 (en) Smart circular staplers
EP4355228A1 (en) Smart circular staplers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant