CN112105312A - 用于在手术程序期间检测图像退化的系统、方法和计算机可读介质 - Google Patents

用于在手术程序期间检测图像退化的系统、方法和计算机可读介质 Download PDF

Info

Publication number
CN112105312A
CN112105312A CN201980031130.2A CN201980031130A CN112105312A CN 112105312 A CN112105312 A CN 112105312A CN 201980031130 A CN201980031130 A CN 201980031130A CN 112105312 A CN112105312 A CN 112105312A
Authority
CN
China
Prior art keywords
image
surgical instrument
features
edge
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980031130.2A
Other languages
English (en)
Inventor
德怀特·梅格兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN112105312A publication Critical patent/CN112105312A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A61B2090/081—Indication means for contamination or dirt
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

提供了用于在手术程序期间检测图像退化的方法、系统和计算机可读介质。一种方法包括：接收手术器械的图像；获取所述手术器械的边缘的基线图像；将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；基于对所述手术器械的图像的特征与所述手术器械的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。

Description

用于在手术程序期间检测图像退化的系统、方法和计算机可 读介质
背景技术
机器人外科系统可以用于微创手术程序中。在机器人手术程序期间，外科医生利用远程外科医生控制台处的用户接口控制机器人外科臂。用户接口允许外科医生操纵联接到机械臂的手术器械，并控制相机接收患者体内的手术部位的图像。
外科医生控制台可以包括立体显示器，有时被称为三维(3D)显示器。在这方面，有时结合外科医生穿戴的对应的一对立体眼镜，这样的显示器通过将图像作为分别提供给左眼和右眼的一对不同图像而呈现给外科医生来促进来自图像的深度感知。立体显示器可以显示由立体内窥镜提供的图像。立体内窥镜采用两个信号路径，通常是左眼视图和右眼视图，它们被匹配并相互交叉以生成立体图像。如通常在手术程序期间发生的那样，生物材料或其他与手术相关的材料可能会遮挡立体内窥镜的透镜之一，从而使提供给显示器的图像退化。在立体内窥镜的情况下，这种退化会通过现在不匹配的立体图像对而对外科医生产生潜在的副作用，这可能会导致感知问题，使外科医生的视线和认知路径在外科医生没有意识到的情况下不堪重负。这可能导致外科医生在感知和响应所观察到的立体信息方面的表现退化。因此，能够检测出这些不匹配情况并告知外科医生需要纠正该情况是有用的。
发明内容
根据本公开的实施方式，公开了用于在手术程序期间检测图像退化的方法。在本公开的一方面，例示性方法包括：接收手术器械的图像；获取所述手术器械的边缘的基线图像；将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。
在本公开的又一方面，所述手术器械的图像由图像捕获装置接收。
在本公开的另一方面，所述图像捕获装置是包括左眼透镜和右眼透镜的立体内窥镜。
在本公开的又一方面，在初始图像捕获装置校准期间获取所述手术器械的边缘的基线图像的特征。
在本公开的又一方面，所述方法还包括：以预定间隔周期性地接收所述手术器械的边缘的图像。
在本公开的另一方面，对所述手术器械的图像退化的确定至少部分地基于接收到的所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征之间的差异大于阈值。
在另一方面，所述方法还包括：通过计算从接收到的所述手术器械的图像得出的调制传递函数来确定所述手术器械的图像的特征。
根据本公开的实施方式，公开了用于在手术程序期间检测图像退化的系统。在本公开的一方面，一种例示性系统包括：手术器械，所述手术器械包括至少一个边缘；图像捕获装置，所述图像捕获装置被配置成捕获所述手术器械的图像，所述手术器械的图像包括特征；显示装置；至少一个处理器，所述至少一个处理器耦合到所述图像捕获装置和所述显示装置；和存储器，所述存储器耦合到所述至少一个处理器并在其上存储：所述手术器械的边缘的基线图像的特征；和指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器执行以下操作：获取所述手术器械的边缘的基线图像的特征，接收所述手术器械的图像，将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像的特征之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到，基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化，以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。
根据本公开的实施方式，公开了用于在手术程序期间检测图像退化的存储指令的非暂时性计算机可读介质。在本公开的一方面中，例示性非暂时性计算机可读介质存储有指令，所述指令在由处理器执行时使所述处理器：接收手术器械的图像；获取所述手术器械的边缘的基线图像；将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。
可以在不脱离本公开的范围的情况下对本公开的任何上述方面和实施方式进行组合。
附图说明
在参考所附附图阅读本发明的各种实施方式的描述时，本发明所公开的系统、方法和计算机可读介质的目的和特征对于本领域普通技术人员将变得显而易见，其中：
图1是根据本公开的实施方式的机器人外科系统的示意图；
图2是根据本公开的实施方式的图像捕获装置和手术器械的简化立体图；
图3是根据本公开的从图像捕获装置接收到的手术部位的图像；
图4是根据本公开的实施方式的由手术器械和周围解剖材料之间的亮度差异形成的测试图案；
图5示出了根据本公开的另一实施方式的可以设置在手术器械上的测试图案的图像；
图6是根据本公开的图5的测试图案的调制传递函数曲线图；以及
图7是例示根据本公开的检测图像退化的示例性方法的流程图。
具体实施方式
本公开总体上涉及在手术程序期间动态检测图像退化并提供关联的通知。为了确定在手术程序期间发生的退化量，可以使用内窥镜校准技术。内窥镜成像系统可以在其使用之前和/或在手术程序开始时已被校准。在使用之前，校准包括以下过程：通过使用校准目标，在成像系统的峰值或近峰值操作条件下确定和记录基本参数。因此，在使用内窥镜系统之前进行的校准提供了在发生退化之前内窥镜系统的基线度量。在手术程序期间，与校准期间采用的技术相似的技术可用于确定内窥镜成像系统的当前参数。通过自动且动态地将当前参数与基本参数进行比较，可以确定内窥镜图像退化。
为此，本公开涉及用于实现在手术程序期间动态检测手术部位的图像的图像退化以及用于在手术程序期间生成和显示图像退化通知的系统、方法和计算机可读介质。在这方面，在图像捕获装置的校准期间，基于校准目标(诸如图像捕获装置的视野内的测试图案和/或工具边缘)确定并记录图像捕获装置的一个或多个基线参数。在手术程序期间，手术部位的图像由图像捕获装置捕获并提供给计算装置(诸如控制台)使用与校准期间采用的技术相似的技术进行处理，以确定图像捕获装置的一个或多个当前参数。通过动态比较图像捕获装置的当前参数和基线参数，可以做出与图像退化有关的确定。
如本文中所使用的，术语“临床医生”、“外科医生”、“观察者”和/或“观看者”通常是指本文中所描述的立体显示装置的用户。另外，尽管本文中所使用的术语“第一眼”和“第二眼”分别是指用户的左眼和右眼，但是这种使用是作为示例提供的并且不应该被解释为是限制性的。在整个说明书中，术语“近侧”是指装置或其部件距患者最远(因此最靠近临床医生和/或外科机器人)的部分，而术语“远侧”是指装置或其部件距患者最近(因此距临床医生和/或外科机器人最远)的部分。此外，如本文所指，术语“信号路径”(无论是右眼还是左眼)是指光-电-光信号路径，图像通过该路径以光学方式被捕获、转换成要传输的电/数字信号并且在由计算或显示装置接收到时被再次转换回光学图像。尽管以下例示性实施方式描述了机器人外科系统，但是本领域技术人员将认识到，本文中所描述的系统、方法和计算机可读介质也可以用于患者图像捕获装置用于捕获手术部位的图像的其他手术程序中，例如微创手术程序。因此，本公开不旨在限于使用机器人外科系统的示例性实施方式，如下文所述。
参考图1，例示了机器人外科系统1，并且该机器人外科系统总体上包括外科机器人10、控制器30、至少一个处理器32、至少一个存储器35以及用户接口控制台40。外科机器人10总体上包括一个或多个机械臂12和基座18。机械臂12可以是臂或连杆的形式，每个臂或连杆具有支撑手术器械250的端部14。手术器械250可以是可与机械臂12一起使用的任何类型的器械，诸如抓紧器、刀、剪刀、吻合器等。机械臂12中的一个或多个可以包括用于对手术部位“S”成像的成像装置16，也如图3中所示。
控制器30包括和/或以通信方式耦合到所述至少一个处理器32和存储器35，并且可以与用户接口40集成在一起，或者作为手术室中的独立装置被提供。如下文进一步详细描述的，处理器32执行存储在存储器35中的指令以执行本文中描述的各种实施方式的步骤和/或程序。应当理解，处理器32和存储器35的实施方案仅以示例的方式提供，并且不应解释为是限制性的。例如，本公开的任何实施方式的步骤和/或程序可以由硬件部件、固件部件、软件部件和/或其任何组合来实施。
用户接口40通过控制器30与基座18通信并且包括显示装置44，该显示装置被配置成显示手术部位“S”的立体图像。图像由成像装置(也被称为“图像捕获装置”)16捕获和/或由定位在手术室周围的成像装置(例如，与患者“P”相邻定位的成像装置和/或定位在成像臂52远端的成像装置56)捕获。成像装置(例如，成像装置16、56)可以捕获手术部位“S”的光学图像、红外图像、超声图像、X射线图像、热图像和/或任何其他已知的实时图像。成像装置16、56将捕获的图像传输到控制器30以进行处理(诸如由处理器32处理)，并且将捕获的和/或经处理的图像传输到显示装置44以进行显示。在一个实施方式中，成像装置16、56中的一个或两个是能够通过右眼透镜210和左眼透镜220捕获手术部位“S”的图像的立体内窥镜，如在图2的描述中进一步描述的。
在另外的实施方式中，用户接口40可以包括便携式显示装置45或与该便携式显示装置相关联，与显示装置44类似的该便携式显示装置被配置成容许用户以用户从立体图像感知到三维和/或深度效果的方式观看立体图像。便携式显示装置45可以是护目镜、眼镜或任何其他便携式或半便携式显示装置，其可以用于允许用户观看立体图像。
用户接口40还包括附接到万向节70的输入手柄，其允许临床医生操纵手术机器人10(例如，移动机械臂12、机械臂12的端部14和/或手术器械250)。每个万向节70与控制器30和处理器32通信以向其传输控制信号并从其接收反馈信号。附加地或替代地，每个万向节70可以包括控制接口或输入装置(未示出)，其允许外科医生操纵(例如，夹紧、抓握、射出、打开、关闭、旋转、推挤、剖切等)支撑在机械臂12的端部14处的手术器械250。
每个万向节70可移动以在手术部位“S”内移动机械臂12的端部14。显示在显示装置44上的立体图像被定向成使得在显示装置44上观察到万向节70的移动使机械臂12的端部14移动。应当理解，显示装置44上的立体图像的定向可以相对于患者“P”上方的视图被镜像或旋转。另外，应当理解，显示装置44上显示的立体图像的大小可以被缩放成大于或小于手术部位“S”的实际结构，从而容许外科医生更好地观察手术部位“S”内的结构。随着万向节70移动，手术器械250在手术部位“S”内移动。手术器械250的移动还可以包括支撑手术器械250的机械臂12的端部14的移动。除了万向节70之外，可以包括一个或多个附加的输入装置作为用户接口40的一部分，例如包括离合器开关的手柄、触摸板、操纵杆、键盘、鼠标或其他计算机附件，和/或脚踏开关、踏板、轨迹球或被配置成将来自临床医生的物理运动转换为发送给处理器32的信号的其他致动装置。
如上文简要指出的，为了在手术程序期间向用户提供手术部位“S”的视图，成像装置16、56中的一个或多个可以是这样的立体内窥镜，该立体内窥镜围绕手术部位“S”设置(诸如邻近手术器械250)并被配置成捕获手术部位“S”的图像以在显示装置44上显示为立体图像。
现在转到图2，根据本公开的实施方式，提供了图像捕获装置200(诸如成像装置16、56)的远端和手术器械250的远端的简化立体图。图像捕获装置200通过右眼透镜210和左眼透镜220捕获手术部位“S”的图像，以提供两个不同的视点图像，所述两个不同的视点图像被传输到处理器32进行处理并被传输到显示装置44进行显示。图像捕获装置200包括本体202，该本体在其远端包括透镜组件，该透镜组件包括右眼透镜210和左眼透镜220。右眼透镜210和左眼透镜220各自与相应的右眼信号路径和左眼信号路径相关联，以将手术部位“S”的捕获图像提供给处理器32和显示装置44。
手术器械250被例示为血管密封装置，其包括具有表面252的本体242。本领域技术人员将认识到，仅以示例的方式提供了该例示性手术器械250，并且在不脱离本公开的范围的情况下，可以用任何其他外科工具或装置代替所例示的血管密封装置。在某些实施方式中，一个或多个测试图案(例如，测试图案255a)被包括在手术器械250上。测试图案是标识符，例如唯一标识符，其可用于在图像处理期间将手术器械250与背景区分开。例如，如图2所描绘的，测试图案255a设置在手术器械250的表面252上，并且可以是黑白交替的实心条。在其他实施方式中，测试图案可以是提供对比度的任何图案、形状、颜色或设计，以用于检测图像捕获装置200的透镜210、220和/或由图像捕获装置200捕获的图像的退化。
在另一实施方式中，如图5所示，测试图案255b可以由越来越细的黑白交替的实心条组成。使用这样的图案容许图像捕获装置200在黑条结束和白条开始的地方之间进行区分。例如，并且如在图5的描述中更详细地描述的，随着条形从测试图案255b的一端到另一端变细，条形之间的区别变得越来越难以检测。在另一实施方式中，测试图案是被动测试图案，用户在手术程序期间无法检测到该被动测试图案。例如，被动测试图案可以以反射红外或紫外线范围内的光的方式设置在手术器械250的表面252上。
在另一实施方式中，测试图案255a、255b沿着手术器械250的表面252的整个外部区域延伸。替代地，可以预期，测试图案255a、255b可以位于手术器械250的表面252上的离散位置。在又一实施方式中，可以预期，测试图案255a、255b中的任何一个可以包括特定的标记，诸如专门的形状，其增强了图像捕获装置200确定在手术部位“S”的接收到的图像中存在测试图案255a、255b的能力。在实施方式中，可以预期，测试图案255a、255b对应于手术器械的类型，使得每个不同的手术器械250或手术器械250的类型(例如，消融装置、解剖装置、吻合器、血管密封装置等)具有唯一的测试图案，该唯一的测试图案在必要时可用于标识手术器械250。
在另一实施方式中，使用手术器械250和手术器械250的图像背景之间的对比度来生成伪测试图案。伪测试图案可以是实际测试图案(例如测试图案255a、255b)的代用或代替。在一些实施方式中，手术器械250的一个或多个几何特征可以用作伪测试图案和/或可以用于限定用作伪测试图案的图像区域。在一个例示性实施方式中，外科工具250的一个或多个边缘用于限定伪测试图案，例如，外科工具250的边缘的两侧上的图像区域限定伪测试图案。例如，现在参考图3，图像捕获装置200(未示出)使用透镜210、220连续捕获手术部位“S”的图像。手术部位“S”包括解剖材料230，其可以包括组织、骨骼、血管和/或其他生物材料，并且手术器械250(包括边缘251)定位在手术部位“S”内。尽管示出为单个图像，但是右眼透镜210和左眼透镜220中的每一个捕获手术部位“S”的不同图像，所述不同图像由显示装置44显示为手术部位“S”的立体图像。如上文简要提到的，测试图案无需设置在手术器械250的表面252上。相反，可以通过延伸至边缘251的手术器械250与手术部位“S”周围的解剖物质230之间的亮度差异来产生伪测试图案255c。特别地，由图像捕获装置200在图像中捕获的外科工具250的边缘251可以代替测试图案255a、255b，并且如下文进一步描述的，手术器械250的边缘251，特别是手术器械250近侧边缘251的亮度与背景(例如手术部位“S”)的亮度之间的对比度/差异可以用作伪测试图案225c以取代实际测试图案225a、225b。尽管手术器械250的任何边缘之间的对比度差异可以用于限定伪测试图案，但是在一些实施方式中，使用倾斜的边缘，例如，如由图像捕获装置200所观察到的非正交角度的直边缘。例如，可以使用分析软件来寻找和标识基本上不远离或偏离水平或竖直(例如，偏离大约5°至10°之间)的边缘。
图4例示了手术部位“S”的另一视图，示出了放置在手术部位“S”和周围解剖材料230内的手术器械250。伪测试图案255c是从包括手术器械250的至少一个边缘251的手术部位“S”的图像的区段产生的。例如，包括手术器械250和周围解剖材料230的手术部位“S”的图像的截面可以用于生成伪测试图案255c，其可以基于延伸至边缘251的手术器械250与周围解剖材料230之间的亮度差异。例如，伪测试图案255c可以在外科工具250的边缘251的相对侧包括与较亮区段形成对比的较暗区段，从而形成由手术器械250的引至手术器械250的边缘251的表面252和周围解剖材料230产生的具有不同的和形成对比的亮度的两个区域。如本领域技术人员将理解的，较亮区段和较暗区段可以分别对应于外科工具250的表面252和周围解剖材料230，并且取决于手术器械250和/或图像捕获装置200的类型，可以在与较亮区段和较暗区段相对应的方面进行颠倒。
现在参考图5，提供了在图像捕获装置200的校准期间捕获的测试图案的图像与在手术程序期间捕获的测试图案的图像的例示性比较。出于示例的目的，下面描述的例示性比较将涉及在图像捕获装置200的校准期间捕获的设置在手术器械250上的测试图案255b的图像，以及在手术程序期间捕获的测试图案255b′的图像。然而，本领域技术人员将认识到，如上所述，在不脱离本公开的范围的情况下，也可以使用其他测试图案和/或用其他测试图案代替测试图案255b。测试图案255b的图像是在图像捕获装置200的校准期间捕获的图像，而测试图案255b′的图像是在手术程序期间的某个时刻由图像捕获装置200接收到的图像。由于解剖材料230的阻挡和/或该解剖材料与透镜210、220接触，与测试图案255b的图像相比，测试图案255b′的图像稍微模糊或退化。由于从左到右观看测试图案255b、255b′，所以其每个都可以被分成宽度越来越细的黑条和白条。对于“X”的所有区域，可以容易地区分测试图案255b、255b′的黑条和白条之间的对比度。然而，在区域“Y”内，区分黑条、白条的位置以及它们各自的过渡区域变得越来越困难。
在实施方式中，测试图案255b′的图像用于确定调制传递函数(“MTF”)的值。例如，MTF用于提供测试图案255b′的对比度传递以及图像捕获装置200的透镜210、220在捕获的图像中复制(或传递)测试图案255b的细节的效果如何的度量。通过在图像捕获装置200的校准期间获取测试图案255b或其他测试图案(例如，测试图案255a、伪测试图案255c等)的图像，可以确定测试图案255b的图像或其他测试图案的基线特征。在使用图像捕获装置200期间，图像捕获装置200的透镜210、220继续复制(或传递)测试图案的细节的能力是通过将MTF应用于接收到的测试图案的图像以产生测试图案的图像的一个或多个确定的特征来确定的。随着时间的推移，测试图案的图像的确定的特征可能会由于图像捕获装置200的透镜210、220的退化和/或遮挡而改变，例如，如测试图案255b′的图像所示。如下文参考图7所描述的，在手术程序期间使用图像捕获装置200时，可以将测试图案的基线特征与测试图案255b′的确定的特征进行比较，以便确定何时发生图像退化。
为了计算测试图案的基线特征和测试图案的确定的特征两者的MTF，处理器32用于区分测试图案255b的黑条和白条，或者在伪测试图案255c的情况下，用于区分手术器械250的边缘251近侧的捕获图像的较暗区段和较亮区段。基于黑条和白条之间或较暗区段和较亮区段之间的差异，可以绘制正弦曲线图。现在转到图6，例示了图5的测试图案255b′的黑条和白条之间的对比度的曲线图。图6的曲线图用于计算测试图案255b′的MTF。在一些实施方式中，诸如图6的曲线图中所描绘的，将幅度100分配给包含黑条的区域，并且将幅度-100分配给包含白条的区域。随着测试图案255b在黑条和白条之间转换，曲线图的绘图在幅度-100和100之间增加或减小。
另外，随着测试图案255b′的黑条和白条的宽度减小，处理器32继续区分黑条和白条的能力也减小。这样，曲线图的峰值幅度可能不再接近-100和100的峰值幅度，从而最终黑条和白条的宽度变得很细，以至于处理器32无法再将测试图案225b′的黑条与白条区分开，并且峰值幅度稳定在0处。在一些实施方式中，在峰值幅度在-100到100之间的情况下可以分配100％的值，而在峰值幅度稳定在0处的情况下可以分配0％的值。对于在-100至100之间的峰值幅度，可以分配在100％至0％之间的对应的百分比。MTF通常被表达为黑条和白条之间的可区分对比度的基于每个图片高度的线宽(LW/PH)的百分比。因此，随着测试图案255b′的线宽(黑条和白条的宽度)变得越来越细，代表黑条和白条之间的对比度的百分比减小。
通过将形式为LW/PH的值分配给黑条和白条的宽度逐渐变细的分组，MTF百分比可以对应于LW/PH。例如，如果对于小至100mm的LW/PH，图6的曲线图的一部分的范围在峰值幅度100和-100之间，则100mm处的MTF为100％。如果对于50mm处的LW/PH，图6的曲线图的另一部分的范围在峰值幅度50和-50之间，则50mm处的MTF为50％。MTF的这些值由处理器32确定并存储在存储器35中。
在另外的实施方式中，MTF百分比可以从范围在0％到100％之间的百分比转换成范围在0到1之间的对应值，其中，0对应于处理器32不能将黑条与白条区分开，而1对应于处理器32能够将黑条与白条完全区分开。还可以预期，处理器32能够确定测试图案255b′的MTF，因为其通过右眼透镜210和左眼透镜220中的每一个被独立地接收。因此，可以检测通过右眼透镜210和左眼透镜220中的每一个捕获的图像的图像退化。
尽管以上对图5和图6的描述涉及作为示例的测试图案255b，但是当用伪测试图案255c代替测试图案255b时，可以执行类似的确定和计算。例如，在实施方式中，手术器械250的一个或多个倾斜边缘251可以用于计算MTF。在这样的实施方式中，可以不存在设置在手术器械250上的测试图案255a、255b。相反，较亮区段和较暗区段之间的对比度分别对应于手术器械250的边缘251近侧的表面252或周围解剖材料230。Slanted-Edge MTF forDigital Camera and Scanner Analysis(用于数码相机和扫描仪分析的倾斜边缘MTF),Peter D.Burns著,Proc.IS&T 2000PICS Conference,第135-138页(2000)和Sharpness:What is it and how is it measured？(锐度：它是什么以及如何测量？),http://www.imatest.com/docs/sharpness(上次访问时间：2017年9月11日)中描述了与基于手术器械250的倾斜边缘251计算MTF有关的另外的信息，上述文献中的每一个的全部内容通过引用并入本文。
图7是根据本公开的实施方式的在手术程序期间检测由图像捕获装置200捕获的图像的图像退化的方法700的流程图。方法700可以至少部分地由处理器32来实施，该处理器执行存储在存储器35中的指令。另外，通过示例性而非限制性的方式提供了图7的方法700中所示的特定步骤顺序。因此，在不脱离本公开的范围的情况下，可以以不同于图7所示顺序的顺序执行方法700的步骤。此外，在不脱离本公开的范围的情况下，图7的方法700中所示的一些步骤可以相对于彼此同时执行，而不是相对于彼此顺序地执行，并且可以被重复和/或省略。
通常，在执行方法700之前会执行图像捕获装置200的校准。例如，在工厂校准过程中，图像捕获装置200可以接收一个或多个测试图案的左眼和右眼图像，或者存储器32中可以存储所述一个或多个测试图案的左眼和右眼图像。测试图案可以类似于设置在手术装置250的表面252上的测试图案255a、255b，或者可以是与手术装置250的边缘和周围环境之间的对比度有关的数据，从而生成伪测试图案255c。在另一实施例中，可以在手术程序开始时执行校准过程。在校准期间由图像捕获装置200接收测试图案的图像(“基线图像”)的实施方式中，将图案分析函数(诸如调制传递函数(MTF))应用于测试图案以计算输出值。输出值可以表示构成测试图案的特征上的过渡的锐度或清晰度，并且可以被表达为每图片高度的线宽(LW/PH)。计算出的输出值可以被包括作为由图像捕获装置200的右眼透镜210和左眼透镜220捕获的基线图像的一个或多个特征(“基线特征”)，并且可以被存储在存储器32中以供以后使用，如下文将详细描述的。替代地，这些基线特征可以是存储在存储器32中的已知值。另外，在校准过程中，图像捕获装置200可以将测试图案的基线特征存储在存储器中。
在任何情况下，外科系统10被配置成容许用户在步骤705处开始在手术部位“S”内进行手术程序。例如，在机器人手术程序的情况下，用户移动万向节70，从而将图像捕获装置200和手术器械250定位在手术部位“S”周围。在一些实施方式中，图像捕获装置200的视场可以最初与手术器械250对准，以使图像捕获装置200能够分别通过右眼透镜210和左眼透镜220捕获手术器械250的图像，特别是测试图案255a、255b。替代地，如本领域技术人员将理解的，在非机器人微创手术程序程序中，图像捕获装置200和手术器械250可以手动地定位在手术部位“S”周围。
一旦合适地定位，图像捕获装置200就在步骤710处捕获手术部位“S”的图像，并且将捕获的图像传输到控制器30。除了在其上执行手术程序的组织和周围解剖材料230之外，捕获的图像还显示由用户操纵的手术器械250。捕获的图像可以是立体图像，即，左眼图像和右眼图像。
在从图像捕获装置200接收到捕获的图像之后，处理器32在步骤715处处理捕获的图像以标识测试图案。如本文所述，可以预期，测试图案可以是设置在手术器械250的表面252上的图案，或者是由手术器械250和围绕手术器械250的倾斜边缘251的周围解剖材料230之间的对比度形成的测试图案。如上所述，测试图案的示例包括但不限于测试图案255a、255b和伪测试图案255c等。在实施方式中，将合适的算法应用于手术部位“S”的左眼图像和右眼图像以输出结果，该结果由处理器32进行分析以检测测试图案的存在。
可选地，在将测试图案255b设置在手术器械250上的实施方式中，在步骤720处，在标识测试图案255b′之后，确定测试图案255b′是否与已知的测试图案匹配。例如，已知的测试图案的数据库可以存储在存储器35中，例如存储在查找表中。将图像捕获装置200捕获的测试图案255b′的图像与存储在存储器35中的已知测试图案图像进行比较。在实施方式中，每个已知的测试图案与不同的手术器械相关联。这样，将测试图案255b′与已知测试图案匹配还包括：标识与已知测试图案相对应的手术器械。在实施方式中，通过显示装置44或通过音频装置将手术器械的标识提供给用户。出于例示目的并通过示例提供，伪测试图案255c，(即手术器械250的倾斜边缘251)被用作图7的其余描述的示例性测试图案。
在步骤725处，获取在校准期间生成和/或计算的测试图案的一个或多个基线特征(“测试图案的基线图像的特征”)。在手术程序开始之前未执行校准过程的实施方式中，可在步骤725处执行校准过程。在其他实施方式中，如上所述，可以将测试图案的基线图像的特征存储在存储器35中。在这样的实施方式中，从存储在存储器35中的查找表和/或数据库中检索测试图案的基线图像的对应特征。
在步骤730处，分析在步骤715处接收到的伪测试图案255c的图像，并从伪测试图案255c的图像确定一个或多个特征。在实施方式中，为伪测试图案255c的图像计算MTF，以便确定伪测试图案255c的图像的特征。伪测试图案255c的图像的确定的特征可以是在LW/PH处的百分比的形式。例如，在步骤730处，MTF可以在105mm处产生100％的值，而在50mm处产生45％的值。在其他实施方式中，可以将各种其他类型的分析函数应用于伪测试图案255c的图像。无论如何，步骤730被连续地重复，使得随着时间的推移，可以从伪测试图案255c的图像中检测到伪测试图案255c的图像的确定的特征的变化。
在步骤735中，将伪测试图案255c的图像的确定的特征与伪测试图案255c的基线图像的一个或多个特征进行比较。在一个实施方式中，可以预期，在伪测试图案255c的基线图像的特征的特定值处选择百分比或LW/PH以与伪测试图案255c的图像的确定的特征的百分比或LW/PH进行比较。例如，如上文在图6的描述中所述，如果在50mm的特定值处选择伪测试图案255c的基线图像的特征的LW/PH，并且对应的百分比为50％(因此产生在50mm的LW/PH处范围在50到-50的MTF曲线图幅度)，则在步骤735处，将在55m的LW/PH处伪测试图案255c的图像的确定的特征(50mm的45％，如步骤30中所述)与50mm处的50％进行比较。因此，使用上述实施例，伪测试图案255c的基线图像的特征与伪测试图案255c的确定的特征之间的比较产生5％的差异。
在实施方式中，在步骤740处，确定伪测试图案255c的基线图像的特征与伪测试图案255c的图像的确定的特征之间的差异是否大于预定阈值。预定阈值是伪测试图案255c的基线图像的特征与伪测试图案255c的确定的特征之间的百分比减小。例如，调制函数的预定阈值可以转换为每图片高度的线宽(LW/PH)减少15％，这可以指示图像与一个或两个图像的透镜上的材料匹配。如果该差异不大于预定阈值(在步骤740处为“否”)，则方法700进行到步骤745，在该步骤处接收手术部位“S”的新图像。接下来，在步骤747处，类似于步骤715，手术部位“S”的新图像被处理以标识伪测试图案255c。在步骤747之后，方法700返回到步骤730，在该步骤处，由处理器32分析接收到的伪测试图案255c的图像，并确定伪测试图案255c的图像的一个或多个特征。
可以预期，步骤730至步骤740以及返回至步骤730可以被迭代地执行并且以规则的间隔重复。在一个实施方式中，可以预期，处理器32将从步骤730继续进行至步骤740，返回至步骤730，在60Hz、可能为30Hz、甚至低至10Hz下处理新接收到的手术部位“S”的图像。因此，相对频繁地，手术部位“S”的新图像被接收、处理，并确定伪测试图案255c的基线图像的特征与伪测试图案255c的图像的确定的特征之间的差异是否大于预定阈值。在其他实施方式中，基于手术程序，可以缩短从步骤730到步骤740返回到步骤730的间隔，以便增加确定图像退化的频率，例如每半秒、四分之一秒或十分之一秒。
在又一实施方式中，确定是否从在步骤735处确定的差异中检测到趋势。可以预期，来自步骤735的差异被存储在存储器35中，并且监视数据以确定趋势。例如，处理器32可以确定由于组织遮挡了透镜210、220中的一个或两个，图像退化可能已经发生，其中，在少量地从步骤730到740并返回步骤730之后，图像退化迅速发生。替代地，处理器32可以确定由于流体或其他解剖材料逐渐积累而发生了图像退化，其中图像退化发生得较慢。
如果在步骤740处确定伪测试图案255c的基线图像的特征与伪测试图案255c的图像的确定的特征之间的差异大于预定阈值(在步骤740处为“是”)，则方法700进行到步骤742。在步骤742处，基于步骤740处的确定结果，确定是否发生了图像退化。例如，图像退化可以包括图像失真、失焦、部分或全部被遮挡和/或左眼透镜210和右眼透镜220捕获的图像之间的失配，从而导致立体视觉失真，即使分别查看图像时图像看起来没有失真。此后，方法700进行到步骤750，在该步骤处生成通知并提供给用户，指示可能已经发生图像退化。该通知可以例如通过用户接口40的显示装置44或便携式显示装置45来显示，和/或可以通过万向节70以听觉或触觉方式提供。
在步骤750之后，方法700进行到步骤755，在该步骤处向用户提供指示如何改善图像质量的反馈。例如，所提供的反馈可以是通过显示装置44或便携式显示装置45的通知的形式，即用户应当移除并清洁透镜210、220中的一个或两个以便改善图像质量。在步骤755处提供了指示如何改善图像质量的反馈之后，方法700进行到步骤760，在该步骤处确定在手术程序期间是否可以改善图像质量。例如，可以确定图像捕获装置200是否需要从手术部位“S”移除并清洁或更换。本领域技术人员将设想可以采取各种其他动作来改善由图像捕获装置200捕获的图像的图像质量，因此，为了简洁起见，这里将不描述所有这样的替代动作。如果在步骤760处确定在手术程序期间不能改善图像质量(在步骤760处为“否”)，则方法700进行到步骤775，在此手术程序过程结束。替代地，如果在步骤760处确定在手术程序期间可以改善图像质量(在步骤760处为“是”)，则方法700前进至步骤765。
在步骤765处，确定图像质量是否已经得到改善。例如，可以重复上面参考步骤745、747、730、735和740所描述的过程，以确定是否已经改善了由图像捕获装置200捕获的图像的图像质量。如果在步骤765处确定没有改善图像质量(在步骤765处为“否”)，则处理返回到步骤755。替代地，如果在步骤765处确定图像质量已经被改善(在步骤765处为“是”)，则方法700进行到步骤770。
在步骤770处，确定手术过程是否已经完成。例如，可以确定用户是否已经提供了手术程序已经完成的指令和/或指示。如果在步骤770处确定手术程序尚未完成(在步骤770处为“否”)，则处理返回到步骤745。替代地，如果在步骤770处确定手术程序已经完成(在步骤770处为“是”)，则处理结束。
再次参考图1的计算机可读介质，存储器35包括用于存储可由处理器32执行并控制控制器30的操作的数据和/或软件的任何非暂时性计算机可读存储介质。在实施方式中，存储器35可以包括一个或多个固态存储装置，如闪存存储器芯片。替代地或除了一个或多个固态存储装置之外，存储器35可以包括通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器32的一个或多个大容量存储装置。尽管本文中包含的计算机可读介质的描述是指固态存储，但是本领域技术人员应当理解，计算机可读存储介质可以是处理器32可以访问的任何可用介质。也就是说，计算机可读存储介质包含以用于存储(如计算机可读指令、数据结构、程序模块或其它数据)信息的任何方法或技术实施的非暂时性、易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质包括RAM、ROM、EPROM、EEPROM、闪速存储器或其他固态存储器技术、CD-ROM、DVD、蓝光或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储装置、或者可以用于存储所期望的信息并且可以由工作站30访问的任何其他介质。在2011年11月3日提交的专利号为8,828,023题为“MEDICALWORKSTATION(医疗工作站)”的专利中描述了该系统和方法的其他方面，其全部内容通过引用并入本文。
本文已经描述了装置、并入此类装置的系统以及使用它们的方法的详细实施方式。然而，这些详细的实施方式仅是本公开的示例，其可以以各种形式实施。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅是作为权利要求的基础和允许本领域技术人员在实际上任何适当的详细结构中采用本公开的代表性基础。

Claims (20)

1.一种用于在手术程序期间检测图像退化的方法，所述方法包括：
接收手术器械的图像；
获取所述手术器械的边缘的基线图像；
将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；
基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及
响应于对所述手术器械的图像退化的确定，生成图像退化通知。
2.根据权利要求1所述的方法，其中，所述手术器械的图像由图像捕获装置接收。
3.根据权利要求2所述的方法，其中，所述图像捕获装置是包括左眼透镜和右眼透镜的立体内窥镜。
4.根据权利要求2所述的方法，其中，在初始图像捕获装置校准期间获取所述手术器械的边缘的基线图像的特征。
5.根据权利要求1所述的方法，还包括：以预定间隔周期性地接收所述手术器械的边缘的图像。
6.根据权利要求1所述的方法，其中，对所述手术器械的图像退化的确定至少部分地基于接收到的所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征之间的差异大于阈值。
7.根据权利要求1所述的方法，还包括：通过计算从接收到的所述手术器械的图像得出的调制传递函数来确定所述手术器械的图像的特征。
8.一种用于在手术程序期间检测图像退化的系统，所述系统包括：
手术器械，所述手术器械包括至少一个边缘；
图像捕获装置，所述图像捕获装置被配置成捕获所述手术器械的图像，所述手术器械的图像包括特征；
显示装置；
至少一个处理器，所述至少一个处理器耦合到所述图像捕获装置和所述显示装置；和
存储器，所述存储器耦合到所述至少一个处理器并在其上存储：
所述手术器械的边缘的基线图像的特征，和
指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器执行以下操作：
获取所述手术器械的边缘的基线图像的特征，
接收所述手术器械的图像，
将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像的特征之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到，
基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化，以及
响应于对所述手术器械的图像退化的确定，生成图像退化通知。
9.根据权利要求8所述的系统，其中，所述图像捕获装置是包括左眼透镜和右眼透镜的立体内窥镜。
10.根据权利要求8所述的系统，其中，在初始图像捕获装置校准期间获取所述基线图像的特征。
11.根据权利要求8所述的系统，其中，对所述图像退化的确定至少部分地基于接收到的所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征之间的差异大于阈值。
12.根据权利要求8所述的系统，其中，所述指令在由所述至少一个处理器执行时还使所述至少一个处理器以预定间隔周期性地接收所述手术器械的图像。
13.根据权利要求8所述的系统，其中，所述指令在由所述至少一个处理器执行时还使所述至少一个处理器通过将调制传递函数应用于接收到的所述手术器械的图像来确定所述手术器械的图像的特征。
14.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器：
接收手术器械的图像；
获取所述手术器械的边缘的基线图像，
将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；
基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及
响应于对所述手术器械的图像退化的确定，生成图像退化通知。
15.根据权利要求14所述的计算机可读介质，其中，所述手术器械的图像从图像捕获装置被接收到。
16.根据权利要求15所述的计算机可读介质，其中，所述图像捕获装置是包括左眼透镜和右眼透镜的立体内窥镜。
17.根据权利要求15所述的计算机可读介质，还存储指令，所述指令在由所述处理器执行时使所述处理器在初始图像捕获装置校准期间获取所述手术器械的边缘的基线图像的特征。
18.根据权利要求14所述的计算机可读介质，还存储指令，所述指令在由所述处理器执行时使所述处理器以预定间隔周期性地接收所述手术器械的图像。
19.根据权利要求14所述的计算机可读介质，其中，对所述手术器械的图像退化的确定至少部分地基于接收到的所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征之间的差异大于阈值。
20.根据权利要求14所述的计算机可读介质，还存储指令，所述指令在由所述处理器执行时使所述处理器通过将调制传递函数应用于接收到的所述手术器械的图像来确定所述手术器械的图像的特征。
CN201980031130.2A 2018-07-03 2019-06-25 用于在手术程序期间检测图像退化的系统、方法和计算机可读介质 Pending CN112105312A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862693530P 2018-07-03 2018-07-03
US62/693,530 2018-07-03
PCT/US2019/038869 WO2020009830A1 (en) 2018-07-03 2019-06-25 Systems, methods, and computer-readable media for detecting image degradation during surgical procedures

Publications (1)

Publication Number Publication Date
CN112105312A true CN112105312A (zh) 2020-12-18

Family

ID=69059943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031130.2A Pending CN112105312A (zh) 2018-07-03 2019-06-25 用于在手术程序期间检测图像退化的系统、方法和计算机可读介质

Country Status (4)

Country Link
US (2) US11576739B2 (zh)
EP (1) EP3817683A4 (zh)
CN (1) CN112105312A (zh)
WO (1) WO2020009830A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298934A (zh) * 2021-12-24 2022-04-08 北京朗视仪器股份有限公司 一种基于像素调节的面颊夹显影弱化方法、装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009830A1 (en) 2018-07-03 2020-01-09 Covidien Lp Systems, methods, and computer-readable media for detecting image degradation during surgical procedures
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US11418742B2 (en) * 2020-01-16 2022-08-16 GM Global Technology Operations LLC System and method for analyzing camera performance degradation due to lens abrasion

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
US9134150B2 (en) * 2009-03-31 2015-09-15 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera
US20160117823A1 (en) * 2010-10-06 2016-04-28 Saferay Spine Llc Imaging System and Method for Use in Surgical and Interventional Medical Procedures
CN106204523A (zh) * 2016-06-23 2016-12-07 中国科学院深圳先进技术研究院 一种图像质量度量方法及装置
US9526587B2 (en) * 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images

Family Cites Families (235)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5762458A (en) 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5855583A (en) 1996-02-20 1999-01-05 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6364888B1 (en) 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
US8529582B2 (en) 1996-12-12 2013-09-10 Intuitive Surgical Operations, Inc. Instrument interface of a robotic surgical system
US7963913B2 (en) 1996-12-12 2011-06-21 Intuitive Surgical Operations, Inc. Instrument interface of a robotic surgical system
US6132368A (en) 1996-12-12 2000-10-17 Intuitive Surgical, Inc. Multi-component telepresence system and method
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US8182469B2 (en) 1997-11-21 2012-05-22 Intuitive Surgical Operations, Inc. Surgical accessory clamp and method
US7699855B2 (en) 1996-12-12 2010-04-20 Intuitive Surgical Operations, Inc. Sterile surgical adaptor
US8206406B2 (en) 1996-12-12 2012-06-26 Intuitive Surgical Operations, Inc. Disposable sterile surgical adaptor
US7666191B2 (en) 1996-12-12 2010-02-23 Intuitive Surgical, Inc. Robotic surgical system with sterile surgical adaptor
US7727244B2 (en) 1997-11-21 2010-06-01 Intuitive Surgical Operation, Inc. Sterile surgical drape
US5923416A (en) * 1997-03-20 1999-07-13 Hartford Hospital Automated method and apparatus for evaluating the performance characteristics of endoscopes
US6714839B2 (en) 1998-12-08 2004-03-30 Intuitive Surgical, Inc. Master having redundant degrees of freedom
AU4216399A (en) 1998-05-28 1999-12-13 Mckinley Optics Incorporated Multiple magnification stereo video telescope objective lens system
EP1109497B1 (en) 1998-08-04 2009-05-06 Intuitive Surgical, Inc. Manipulator positioning linkage for robotic surgery
US6459926B1 (en) 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US8600551B2 (en) 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6770081B1 (en) 2000-01-07 2004-08-03 Intuitive Surgical, Inc. In vivo accessories for minimally invasive robotic surgery and methods
US7125403B2 (en) 1998-12-08 2006-10-24 Intuitive Surgical In vivo accessories for minimally invasive robotic surgery
US6493608B1 (en) 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6720988B1 (en) 1998-12-08 2004-04-13 Intuitive Surgical, Inc. Stereo imaging system and method for use in telerobotic systems
US6394998B1 (en) 1999-01-22 2002-05-28 Intuitive Surgical, Inc. Surgical tools for use in minimally invasive telesurgical applications
US6565554B1 (en) 1999-04-07 2003-05-20 Intuitive Surgical, Inc. Friction compensation in a minimally invasive surgical apparatus
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US6716233B1 (en) 1999-06-02 2004-04-06 Power Medical Interventions, Inc. Electromechanical driver and remote surgical instrument attachment having computer assisted control capabilities
US6793652B1 (en) 1999-06-02 2004-09-21 Power Medical Interventions, Inc. Electro-mechanical surgical device
US7695485B2 (en) 2001-11-30 2010-04-13 Power Medical Interventions, Llc Surgical device
US6315184B1 (en) 1999-06-02 2001-11-13 Powermed, Inc. Stapling device for use with an electromechanical driver device for use with anastomosing, stapling, and resecting instruments
US10188471B2 (en) 1999-09-17 2019-01-29 Intuitive Surgical Operations, Inc. Tele-operative surgical systems and methods of control at joint limits using inverse kinematics
US7594912B2 (en) 2004-09-30 2009-09-29 Intuitive Surgical, Inc. Offset remote center manipulator for robotic surgery
US8004229B2 (en) 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US8768516B2 (en) 2009-06-30 2014-07-01 Intuitive Surgical Operations, Inc. Control of medical robotic system manipulator about kinematic singularities
US6312435B1 (en) 1999-10-08 2001-11-06 Intuitive Surgical, Inc. Surgical instrument with extended reach for use in minimally invasive surgery
US6206903B1 (en) 1999-10-08 2001-03-27 Intuitive Surgical, Inc. Surgical tool with mechanical advantage
US6491691B1 (en) 1999-10-08 2002-12-10 Intuitive Surgical, Inc. Minimally invasive surgical hook apparatus and method for using same
US6388742B1 (en) 2000-05-03 2002-05-14 Karl Storz Endovision Method and apparatus for evaluating the performance characteristics of endoscopes
US6645196B1 (en) 2000-06-16 2003-11-11 Intuitive Surgical, Inc. Guided tool change
US6902560B1 (en) 2000-07-27 2005-06-07 Intuitive Surgical, Inc. Roll-pitch-roll surgical tool
US6746443B1 (en) 2000-07-27 2004-06-08 Intuitive Surgical Inc. Roll-pitch-roll surgical tool
US6840938B1 (en) 2000-12-29 2005-01-11 Intuitive Surgical, Inc. Bipolar cauterizing instrument
US6783524B2 (en) 2001-04-19 2004-08-31 Intuitive Surgical, Inc. Robotic surgical tool with ultrasound cauterizing and cutting instrument
US6994708B2 (en) 2001-04-19 2006-02-07 Intuitive Surgical Robotic tool with monopolar electro-surgical scissors
US7824401B2 (en) 2004-10-08 2010-11-02 Intuitive Surgical Operations, Inc. Robotic tool with wristed monopolar electrosurgical end effectors
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
AUPR585901A0 (en) 2001-06-21 2001-07-12 Dynamic Digital Depth Resources Pty Ltd Image processing system
US6817974B2 (en) 2001-06-29 2004-11-16 Intuitive Surgical, Inc. Surgical tool having positively positionable tendon-actuated multi-disk wrist joint
US6699235B2 (en) 2001-06-29 2004-03-02 Intuitive Surgical, Inc. Platform link wrist mechanism
US7151246B2 (en) * 2001-07-06 2006-12-19 Palantyr Research, Llc Imaging system and methodology
US6676684B1 (en) 2001-09-04 2004-01-13 Intuitive Surgical, Inc. Roll-pitch-roll-yaw surgical tool
US6728599B2 (en) 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
CN100522096C (zh) 2001-12-04 2009-08-05 能量医学介入公司 用于校准外科器械的系统和方法
US6839612B2 (en) 2001-12-07 2005-01-04 Institute Surgical, Inc. Microwrist system for surgical procedures
US6793653B2 (en) 2001-12-08 2004-09-21 Computer Motion, Inc. Multifunctional handle for a medical robotic system
US7386365B2 (en) 2004-05-04 2008-06-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
JP4486503B2 (ja) 2002-12-06 2010-06-23 イントゥイティブ サージカル， インコーポレイテッド 手術用具のためのフレキシブルリスト
US8882657B2 (en) 2003-03-07 2014-11-11 Intuitive Surgical Operations, Inc. Instrument having radio frequency identification systems and methods for use
US7410483B2 (en) 2003-05-23 2008-08-12 Novare Surgical Systems, Inc. Hand-actuated device for remote manipulation of a grasping tool
US9002518B2 (en) 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
US7189000B2 (en) 2003-12-22 2007-03-13 Kabushiki Kaisha Toshiba Image-quality control system
JP4599148B2 (ja) * 2003-12-22 2010-12-15 株式会社東芝 画質管理システム
US7379790B2 (en) 2004-05-04 2008-05-27 Intuitive Surgical, Inc. Tool memory-based software upgrades for robotic surgery
WO2006015319A2 (en) 2004-07-30 2006-02-09 Power Medical Interventions, Inc. Flexible shaft extender and method of using same
US9261172B2 (en) 2004-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Multi-ply strap drive trains for surgical robotic arms
US9700334B2 (en) 2004-11-23 2017-07-11 Intuitive Surgical Operations, Inc. Articulating mechanisms and link systems with torque transmission in remote manipulation of instruments and tools
US8465474B2 (en) 2009-05-19 2013-06-18 Intuitive Surgical Operations, Inc. Cleaning of a surgical instrument force sensor
US8496647B2 (en) 2007-12-18 2013-07-30 Intuitive Surgical Operations, Inc. Ribbed force sensor
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8147503B2 (en) 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US11259870B2 (en) 2005-06-06 2022-03-01 Intuitive Surgical Operations, Inc. Interactive user interfaces for minimally invasive telesurgical systems
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US8273076B2 (en) 2005-06-30 2012-09-25 Intuitive Surgical Operations, Inc. Indicator for tool state and communication in multi-arm robotic telesurgery
EP3632629A1 (en) 2005-06-30 2020-04-08 Intuitive Surgical Operations Inc. Indicator for tool state communication in multi-arm robotic telesurgery
WO2007033326A2 (en) 2005-09-14 2007-03-22 Welch Allyn, Inc. Medical apparatus comprising and adaptive lens
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US7762825B2 (en) 2005-12-20 2010-07-27 Intuitive Surgical Operations, Inc. Electro-mechanical interfaces to mount robotic surgical arms
US7819859B2 (en) 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
US9241767B2 (en) 2005-12-20 2016-01-26 Intuitive Surgical Operations, Inc. Method for handling an operator command exceeding a medical device state limitation in a medical robotic system
US7689320B2 (en) 2005-12-20 2010-03-30 Intuitive Surgical Operations, Inc. Robotic surgical system with joint motion controller adapted to reduce instrument tip vibrations
US7453227B2 (en) 2005-12-20 2008-11-18 Intuitive Surgical, Inc. Medical robotic system with sliding mode control
US8182470B2 (en) 2005-12-20 2012-05-22 Intuitive Surgical Operations, Inc. Telescoping insertion axis of a robotic surgical system
US7741802B2 (en) 2005-12-20 2010-06-22 Intuitive Surgical Operations, Inc. Medical robotic system with programmably controlled constraints on error dynamics
US7757028B2 (en) 2005-12-22 2010-07-13 Intuitive Surgical Operations, Inc. Multi-priority messaging
US7756036B2 (en) 2005-12-22 2010-07-13 Intuitive Surgical Operations, Inc. Synchronous data communication
US8054752B2 (en) 2005-12-22 2011-11-08 Intuitive Surgical Operations, Inc. Synchronous data communication
US8628518B2 (en) 2005-12-30 2014-01-14 Intuitive Surgical Operations, Inc. Wireless force sensor on a distal portion of a surgical instrument and method
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US7835823B2 (en) 2006-01-05 2010-11-16 Intuitive Surgical Operations, Inc. Method for tracking and reporting usage events to determine when preventive maintenance is due for a medical robotic system
US8597182B2 (en) 2006-04-28 2013-12-03 Intuitive Surgical Operations, Inc. Robotic endoscopic retractor for use in minimally invasive surgery
US8597280B2 (en) 2006-06-13 2013-12-03 Intuitive Surgical Operations, Inc. Surgical instrument actuator
EP2038712B2 (en) 2006-06-13 2019-08-28 Intuitive Surgical Operations, Inc. Control system configured to compensate for non-ideal actuator-to-joint linkage characteristics in a medical robotic system
CN104688281B (zh) 2006-06-13 2017-04-19 直观外科手术操作公司 微创手术系统
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US8151661B2 (en) 2006-06-30 2012-04-10 Intuituve Surgical Operations, Inc. Compact capstan
US7391173B2 (en) 2006-06-30 2008-06-24 Intuitive Surgical, Inc Mechanically decoupled capstan drive
US7736254B2 (en) 2006-10-12 2010-06-15 Intuitive Surgical Operations, Inc. Compact cable tension tender device
US7935130B2 (en) 2006-11-16 2011-05-03 Intuitive Surgical Operations, Inc. Two-piece end-effectors for robotic surgical tools
US9226648B2 (en) 2006-12-21 2016-01-05 Intuitive Surgical Operations, Inc. Off-axis visualization systems
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9050120B2 (en) 2007-09-30 2015-06-09 Intuitive Surgical Operations, Inc. Apparatus and method of user interface with alternate tool mode for robotic surgical tools
US8012170B2 (en) 2009-04-27 2011-09-06 Tyco Healthcare Group Lp Device and method for controlling compression of tissue
US8561473B2 (en) 2007-12-18 2013-10-22 Intuitive Surgical Operations, Inc. Force sensor temperature compensation
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US7843158B2 (en) 2008-03-31 2010-11-30 Intuitive Surgical Operations, Inc. Medical robotic system adapted to inhibit motions resulting in excessive end effector forces
US7886743B2 (en) 2008-03-31 2011-02-15 Intuitive Surgical Operations, Inc. Sterile drape interface for robotic surgical instrument
US9895813B2 (en) 2008-03-31 2018-02-20 Intuitive Surgical Operations, Inc. Force and torque sensing in a surgical robot setup arm
US9265567B2 (en) 2008-06-30 2016-02-23 Intuitive Surgical Operations, Inc. Vessel sealing instrument with stepped jaw
US8540748B2 (en) 2008-07-07 2013-09-24 Intuitive Surgical Operations, Inc. Surgical instrument wrist
US8821480B2 (en) 2008-07-16 2014-09-02 Intuitive Surgical Operations, Inc. Four-cable wrist with solid surface cable channels
US9204923B2 (en) 2008-07-16 2015-12-08 Intuitive Surgical Operations, Inc. Medical instrument electronically energized using drive cables
US8315720B2 (en) 2008-09-26 2012-11-20 Intuitive Surgical Operations, Inc. Method for graphically providing continuous change of state directions to a user of a medical robotic system
US20100116080A1 (en) 2008-11-11 2010-05-13 Intuitive Surgical, Inc. Robotic linkage
US8161838B2 (en) 2008-12-22 2012-04-24 Intuitive Surgical Operations, Inc. Method and apparatus for reducing at least one friction force opposing an axial force exerted through an actuator element
US8335590B2 (en) 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
US8594841B2 (en) 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US8374723B2 (en) 2008-12-31 2013-02-12 Intuitive Surgical Operations, Inc. Obtaining force information in a minimally invasive surgical procedure
US8858547B2 (en) 2009-03-05 2014-10-14 Intuitive Surgical Operations, Inc. Cut and seal instrument
US8418073B2 (en) 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US8423182B2 (en) 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US8939894B2 (en) 2009-03-31 2015-01-27 Intuitive Surgical Operations, Inc. Three-dimensional target devices, assemblies and methods for calibrating an endoscopic camera
US8423186B2 (en) 2009-06-30 2013-04-16 Intuitive Surgical Operations, Inc. Ratcheting for master alignment of a teleoperated minimally-invasive surgical instrument
WO2011060311A2 (en) 2009-11-13 2011-05-19 Intuitive Surgical Operations, Inc. End effector with redundant closing mechanisms
EP2594222B1 (en) 2009-11-13 2018-10-03 Intuitive Surgical Operations, Inc. Surgical tool with a compact wrist
US9259275B2 (en) 2009-11-13 2016-02-16 Intuitive Surgical Operations, Inc. Wrist articulation by linked tension members
EP2533678B1 (en) 2010-02-11 2020-03-25 Intuitive Surgical Operations, Inc. System for automatically maintaining an operator selected roll orientation at a distal tip of a robotic endoscope
US20110282357A1 (en) 2010-05-14 2011-11-17 Intuitive Surgical Operations, Inc. Surgical system architecture
US8644988B2 (en) 2010-05-14 2014-02-04 Intuitive Surgical Operations, Inc. Drive force control in medical instrument providing position measurements
US9019345B2 (en) 2010-07-02 2015-04-28 Intuitive Surgical Operations, Inc. Imaging mode blooming suppression
KR101906539B1 (ko) 2010-07-09 2018-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 전기수술 도구 커버
DE102010043584A1 (de) 2010-11-08 2012-05-10 Kuka Laboratories Gmbh Medizinscher Arbeitsplatz
KR101894093B1 (ko) 2010-11-15 2018-08-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 기구에서 기구 샤프트 감김과 단부 작동기 작동의 해제
US9241766B2 (en) 2010-12-22 2016-01-26 Intuitive Surgical Operations, Inc. Alternate instrument removal
KR101964642B1 (ko) 2011-02-15 2019-04-02 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 구동 샤프트에 의해 가동되는 관절식 말단 작동기를 구비한 수술 기구를 위한 시일 및 실링 방법
EP2675367B1 (en) 2011-02-15 2018-03-07 Intuitive Surgical Operations, Inc. Systems for indicating a clamping prediction
KR102081754B1 (ko) 2011-02-15 2020-02-26 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 클램핑 또는 발사 실패를 검출하기 위한 시스템
US9393017B2 (en) 2011-02-15 2016-07-19 Intuitive Surgical Operations, Inc. Methods and systems for detecting staple cartridge misfire or failure
CN103370014B (zh) 2011-02-15 2019-01-18 直观外科手术操作公司 用于吻合或管封闭器械中刀位置的指示符
WO2012112888A2 (en) 2011-02-18 2012-08-23 Intuitive Surgical Operations, Inc. Fusing and cutting surgical instrument and related methods
US9259277B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Instrument actuation interface
JP6309447B2 (ja) 2011-05-31 2018-04-11 インテュイティブ サージカル オペレーションズ， インコーポレイテッド ロボットによる手術用器具のエンドエフェクタの積極的な制御
US8870912B2 (en) 2011-05-31 2014-10-28 Intuitive Surgical Operations, Inc. Surgical instrument with single drive input for two end effector mechanisms
EP2768419B1 (en) 2011-10-21 2020-05-13 Intuitive Surgical Operations, Inc. Grip force control for robotic surgical instrument end effector
US8912746B2 (en) 2011-10-26 2014-12-16 Intuitive Surgical Operations, Inc. Surgical instrument motor pack latch
US9503713B2 (en) 2011-11-02 2016-11-22 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
US9144456B2 (en) 2012-04-09 2015-09-29 Intuitive Surgical Operations, Inc. Surgical instrument control
JP6250673B2 (ja) 2012-08-15 2017-12-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手動でのロボットアームの運動によって制御される可動な手術用装着プラットフォーム
WO2014028702A1 (en) 2012-08-15 2014-02-20 Intuitive Surgical Operations, Inc. User initiated break-away clutching of a surgical mounting platform
JP6255403B2 (ja) 2012-08-15 2017-12-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 関節推定及び制御におけるファントム自由度
EP4082468A1 (en) 2012-09-17 2022-11-02 Intuitive Surgical Operations, Inc. Methods and systems for assigning input devices to teleoperated surgical instrument functions
CN117770979A (zh) 2012-12-10 2024-03-29 直观外科手术操作公司 图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免
KR102194979B1 (ko) 2012-12-31 2020-12-28 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 개선된 나이프 간격을 가진 수술용 스테이플 카트리지
US10277097B2 (en) 2013-01-14 2019-04-30 Intuitive Surgical Operations, Inc. Motor assembly
CN108280239B (zh) 2013-02-15 2023-01-17 直观外科手术操作公司 同步机器人系统节点的系统和方法
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
US9839481B2 (en) 2013-03-07 2017-12-12 Intuitive Surgical Operations, Inc. Hybrid manual and robotic interventional instruments and methods of use
KR102255645B1 (ko) 2013-03-15 2021-05-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 조향 인터페이스를 갖는 수술용 환자측 카트
US9948852B2 (en) 2013-03-15 2018-04-17 Intuitive Surgical Operations, Inc. Intelligent manual adjustment of an image control element
CN109363773B (zh) 2013-05-15 2021-06-29 直观外科手术操作公司 具有悬挂系统的外科手术患者侧推车
KR102294062B1 (ko) 2013-05-15 2021-08-26 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 수술 시스템을 위한 힘 전달 메커니즘
US9855107B2 (en) 2013-08-09 2018-01-02 Intuitive Surgical Operations, Inc. Medical robotic system with remote current controller for controlling a plurality of distally housed motors
JP6513670B2 (ja) 2013-08-15 2019-05-15 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 器具減菌アダプタ駆動構成
US10016244B2 (en) 2013-08-15 2018-07-10 Intuitive Surgical Operations, Inc. Robotic instrument driven element
JP6491207B2 (ja) 2013-08-16 2019-03-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 異種の装置間のロギング及び再生のためのシステム及び方法
US9446517B2 (en) 2013-10-17 2016-09-20 Intuitive Surgical Operations, Inc. Fault reaction, fault isolation, and graceful degradation in a robotic system
EP3084747B1 (en) 2013-12-20 2022-12-14 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
JP6599347B2 (ja) 2014-02-21 2019-10-30 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 運動が拘束される関節運動可能部材、並びに関連する装置及び方法
US10524870B2 (en) 2014-02-21 2020-01-07 Intuitive Surgical Operations, Inc. Mechanical joints, and related systems and methods
KR102450087B1 (ko) 2014-03-17 2022-10-06 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격 조종 의료 시스템에서 미리 설정된 암 위치를 가지는 자동화된 구조
CN106102632B (zh) 2014-03-17 2019-06-14 直观外科手术操作公司 在程序中重启期间修复器械控制输入方位/定向
US9918800B2 (en) 2014-03-17 2018-03-20 Intuitive Surgical Operations, Inc. Surgical system with obstacle indication system
CN116211473A (zh) 2014-03-17 2023-06-06 直观外科手术操作公司 具有减振装置的轮式手推车、和相关系统及方法
KR102646014B1 (ko) 2014-03-17 2024-03-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 액티브 바이어스를 가진 일정 힘 스프링
JP6680686B2 (ja) 2014-03-17 2020-04-15 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術用ドレープ並びに手術用ドレープ及び取付けセンサを含むシステム
EP3119324B1 (en) 2014-03-17 2020-05-06 Intuitive Surgical Operations, Inc. Signal connector for sterile barrier between surgical instrument and teleoperated actuator
US10500004B2 (en) 2014-03-17 2019-12-10 Intuitive Surgical Operations, Inc. Guided setup for teleoperated medical device
KR102252641B1 (ko) 2014-03-17 2021-05-18 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 모드 전환 시의 진동을 감쇠시키기 위한 명령 성형
KR102358967B1 (ko) 2014-03-17 2022-02-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 이미징 기기의 방향 제어 시스템 및 방법
KR102553082B1 (ko) 2014-03-17 2023-07-10 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술용 캐뉼라 마운트 및 관련된 시스템과 방법
US10432922B2 (en) 2014-03-19 2019-10-01 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking for stereo viewer
EP3119286A4 (en) 2014-03-19 2018-04-04 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking
CN106687062B (zh) 2014-09-17 2019-11-22 直观外科手术操作公司 用于利用增广雅可比矩阵控制操纵器接头移动的系统和方法
WO2016077543A1 (en) 2014-11-13 2016-05-19 Intuitive Surgical Operations, Inc. User- interface control using master controller
US10121080B2 (en) * 2015-01-15 2018-11-06 vClick3d, Inc. Systems and methods for controlling the recording, storing and transmitting of video surveillance content
US10033308B2 (en) 2015-03-17 2018-07-24 Intuitive Surgical Operations, Inc. Systems and methods for motor torque compensation
US10433922B2 (en) 2015-03-17 2019-10-08 Intuitive Surgical Operations, Inc. Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
JP7166760B2 (ja) 2015-06-09 2022-11-08 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 外科的処置アトラスを用いた手術システムの構成
EP3307198B1 (en) 2015-06-10 2022-11-16 Intuitive Surgical Operations, Inc. Master-to-slave orientation mapping when misaligned
EP3307190B1 (en) 2015-06-11 2023-05-17 Intuitive Surgical Operations, Inc. Systems and methods for instrument engagement
KR20180068336A (ko) 2015-11-12 2018-06-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 훈련 또는 보조 기능들을 갖는 수술 시스템
WO2017083125A1 (en) 2015-11-13 2017-05-18 Intuitive Surgical Operations, Inc. Stapler with composite cardan and screw drive
CN108289691B (zh) 2015-11-13 2021-04-09 直观外科手术操作公司 具有二自由度腕部的推拉式缝合器
US9949798B2 (en) 2016-01-06 2018-04-24 Ethicon Endo-Surgery, Llc Methods, systems, and devices for controlling movement of a robotic surgical system
KR20180100252A (ko) 2016-01-29 2018-09-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 가변 속도 수술 기기용 시스템 및 방법
CN113456224A (zh) 2016-03-17 2021-10-01 直观外科手术操作公司 用于器械插入控制的系统和方法
JP7022709B2 (ja) 2016-07-01 2022-02-18 インテュイティブ サージカル オペレーションズ， インコーポレイテッド コンピュータ支援医療システム及び方法
WO2018013214A1 (en) 2016-07-14 2018-01-18 Intuitive Surgical Operations, Inc. Automatic manipulator assembly deployment for draping
CN109069215B (zh) 2016-07-14 2022-07-15 直观外科手术操作公司 用于控制外科器械的系统和方法
CN113598844A (zh) 2016-09-09 2021-11-05 直观外科手术操作公司 使用柔性张紧构件的推拉式外科手术器械末端执行器致动
JP6989594B2 (ja) 2016-09-09 2022-01-05 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手首構造
WO2018049198A1 (en) 2016-09-09 2018-03-15 Intuitive Surgical Operations, Inc. Stapler beam architecture
WO2018052810A1 (en) 2016-09-15 2018-03-22 Intuitive Surgical Operations, Inc. Medical device drive system
US11076925B2 (en) 2016-09-19 2021-08-03 Intuitive Surgical Operations, Inc. Positioning indicator system for a remotely controllable arm and related methods
WO2018052795A1 (en) 2016-09-19 2018-03-22 Intuitive Surgical Operations, Inc. Base positioning system for a controllable arm and related methods
WO2018067451A1 (en) 2016-10-03 2018-04-12 Intuitive Surgical Operations, Inc. Surgical instrument with retaining feature for cutting element
US11147552B2 (en) 2016-10-11 2021-10-19 Intuitive Surgical Operations, Inc. Stapler cartridge with an integral knife
CN109890313B9 (zh) 2016-10-14 2022-02-18 直观外科手术操作公司 施加用于外科手术器械的预载荷张力的系统和相关方法
EP4292544A2 (en) 2016-11-02 2023-12-20 Intuitive Surgical Operations, Inc. Robotic surgical stapler assembly configured to use stapler reload
US11241274B2 (en) 2016-11-04 2022-02-08 Intuitive Surgical Operations, Inc. Electrically insulative electrode spacers, and related devices, systems, and methods
US11040189B2 (en) 2016-11-04 2021-06-22 Intuitive Surgical Operations, Inc. Electrode assemblies with electrically insulative electrode spacers, and related devices, systems, and methods
CN115349951A (zh) 2016-11-21 2022-11-18 直观外科手术操作公司 线缆长度持恒的医疗器械
MX2019007116A (es) * 2016-12-15 2019-09-16 Novartis Ag Registro adaptativo de imágenes para cirugia oftalmica.
US11154373B2 (en) 2017-02-08 2021-10-26 Intuitive Surgical Operations, Inc. Control of computer-assisted tele-operated systems
US10357321B2 (en) 2017-02-24 2019-07-23 Intuitive Surgical Operations, Inc. Splayed cable guide for a medical instrument
CN116725661A (zh) 2017-07-27 2023-09-12 直观外科手术操作公司 用于操纵器的关联过程和相关系统
JP6880324B2 (ja) 2017-11-10 2021-06-02 インテュイティブ サージカル オペレーションズ， インコーポレイテッド ロボットマニピュレータ又は関連ツールを制御するためのシステム及び方法
US11173597B2 (en) 2017-11-10 2021-11-16 Intuitive Surgical Operations, Inc. Systems and methods for controlling a robotic manipulator or associated tool
US11161243B2 (en) 2017-11-10 2021-11-02 Intuitive Surgical Operations, Inc. Systems and methods for controlling a robotic manipulator or associated tool
US11191596B2 (en) 2017-11-15 2021-12-07 Intuitive Surgical Operations, Inc. Foot controller
US20190387165A1 (en) * 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device
WO2020009830A1 (en) 2018-07-03 2020-01-09 Covidien Lp Systems, methods, and computer-readable media for detecting image degradation during surgical procedures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9526587B2 (en) * 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US9134150B2 (en) * 2009-03-31 2015-09-15 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
US20160117823A1 (en) * 2010-10-06 2016-04-28 Saferay Spine Llc Imaging System and Method for Use in Surgical and Interventional Medical Procedures
CN106204523A (zh) * 2016-06-23 2016-12-07 中国科学院深圳先进技术研究院 一种图像质量度量方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298934A (zh) * 2021-12-24 2022-04-08 北京朗视仪器股份有限公司 一种基于像素调节的面颊夹显影弱化方法、装置
CN114298934B (zh) * 2021-12-24 2022-12-09 北京朗视仪器股份有限公司 一种基于像素调节的面颊夹显影弱化方法、装置

Also Published As

Publication number Publication date
US20230005150A1 (en) 2023-01-05
US20210272285A1 (en) 2021-09-02
EP3817683A4 (en) 2022-04-20
WO2020009830A1 (en) 2020-01-09
US11576739B2 (en) 2023-02-14
EP3817683A1 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
US11576739B2 (en) Systems, methods, and computer-readable media for detecting image degradation during surgical procedures
JP7124011B2 (ja) システム、及び出血検出システムの作動方法
US20220241013A1 (en) Quantitative three-dimensional visualization of instruments in a field of view
US10543046B2 (en) Digitally enhanced surgical instruments
JP6103827B2 (ja) 画像処理装置および立体画像観察システム
US20200178760A1 (en) Medical image processing apparatus, medical image processing system, and driving method of medical image processing apparatus
US9289267B2 (en) Method and apparatus for minimally invasive surgery using endoscopes
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
US10574971B2 (en) Image calibration inspection tool and endoscope system
JP6828695B2 (ja) 医療用画像処理装置、システム、方法及びプログラム
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
US20210099645A1 (en) Endoscope system, endoscopic image generating method, and non-transitory computer-readable recording medium
US20200261180A1 (en) 27-3systems, methods, and computer-readable media for providing stereoscopic visual perception notifications and/or recommendations during a robotic surgical procedure
JP2016225861A (ja) 情報処理装置、情報処理方法、及び生体内撮像システム
JP2013183313A (ja) レンズ汚れを検知する方法と、この方法を用いた手術用カメラ
JP2018152657A (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20220378278A1 (en) Information processing device, generation method, and generation program
WO2022219878A1 (ja) 医療用観察システム、医療用画像処理方法及び情報処理装置
EP4355245A1 (en) Anatomy measurement
CN114269218A (zh) 图像处理方法和图像处理装置
JP2013197652A (ja) レンズ汚れを検知する方法と、この方法を用いた手術用カメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination