CN107920863A - 用于控制包括成像模态的系统的设备和方法 - Google Patents

用于控制包括成像模态的系统的设备和方法 Download PDF

Info

Publication number
CN107920863A
CN107920863A CN201680047863.1A CN201680047863A CN107920863A CN 107920863 A CN107920863 A CN 107920863A CN 201680047863 A CN201680047863 A CN 201680047863A CN 107920863 A CN107920863 A CN 107920863A
Authority
CN
China
Prior art keywords
component
predefined
image
visual field
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680047863.1A
Other languages
English (en)
Other versions
CN107920863B (zh
Inventor
P·梅韦斯
P·茂恩特尼
M·萨胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Healthcare GmbH
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107920863A publication Critical patent/CN107920863A/zh
Application granted granted Critical
Publication of CN107920863B publication Critical patent/CN107920863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display

Abstract

一种用于控制包括成像模态(3、34)的系统(1)的方法，该方法包括：从成像模态(3、34)接收(RI)患者(13)的一部分的图像(50)和/或一系列图像(50)，图像(50)和/或一系列图像(50)的视场覆盖器械(20)的至少一个部件(21)；确定(DP)器械(20)的所述部件(21)是否位于视场的预定义部分(51、52、53)内，和/或器械(20)的所述部件(21)是否处于从多个预定义的第一状态中选择的给定状态，和/或器械(20)的所述部件(21)是否执行从多个预定义移动中选择的给定移动；根据器械(20)的所述部件(21)是否位于视场的预定义部分(51、52、53)内，和/或器械(20)的所述部件(21)是否处于从多个预定义的第一状态中选择的给定状态，和/或器械(20)的所述部件(21)是否执行从多个预定义移动中选择的给定移动，生成(GC)控制命令，控制命令用于执行系统(1)的动作单元(3、34、5)的预定义动作。

Description

用于控制包括成像模态的系统的设备和方法
技术领域
本发明一方面涉及用于控制包括成像模态的系统的方法和/或设备。另一方面，本发明涉及包括成像模态的系统。
背景技术
微创手术(MIS)或腹腔镜手术由于比传统的开放式手术具有诸多优势，而变得比较流行。在MIS中，外科医生通过小切口治疗人体内的病变，这样可以减少疼痛并允许更快的恢复。在手术期间，通常需要助手拿着内窥镜/腹腔镜以使其视场适应解剖和介入的情况，这可能具有某些缺点，例如助手的手抖动导致图像模糊，从而导致外科医生的眼睛疲劳和注意力集中问题和/或产生第二位医师的费用。
腹腔镜的被动式支架或机器人支架可以克服这个问题的一部分。然而，在(成本有效的)场景中，其中对于整个过程，只需要一位使用被动式支架的医师(所谓的“独奏手术”场景)，“独奏”外科医生需要将他的手从他的手术器械中释放，以便针对腹腔镜观察位置的每次改变而调整被动式支架。根据手术过程，这可能是困难的，甚至是不可能的。
当外科医生能够在不使用手的情况下向机器人支架提供定位命令时，机器人系统可以克服这个问题。然而，机器人系统与外科医生之间的通信是这种类似系统的敏感部分，因为考虑到机器人设备正在工作的敏感环境，所述通信需要直观、快速、可靠并且非常安全。
被动式腹腔镜支架广泛应用于手术中，并可在市场上被购买到(例如，来自KarlStorz的ENDOCRANE)。
适合于独奏手术的提供人机接口的机器人支架也可以在市场上被购买到或者已经在文献中被呈现。通常，这些机器人支架需要额外的硬件来建立到机器人的可靠的人机接口，例如，脚踏板、语音控制(例如，Buess,G.F.,A.Arezzo,M.O.Schurr,F.Ulmer,H.Fisher,L.Gumb,T.Testa,和C.Nobman."A new remote-controlled endoscopepositioning system for endoscopic solo surgery."Surgical endoscopy 14,4(2000):395-399.)、或跟踪系统。
发明内容
本发明的基础技术问题是促进对包括成像模态的系统的改进控制。
该问题通过权利要求1的方法、权利要求17的设备、权利要求18的设备、权利要求20的系统、权利要求25的计算机程序产品以及权利要求26的机器可读介质来解决。进一步的从属权利要求涉及本发明的其他方面。
在一个方面中，本发明涉及一种用于控制包括成像模态的系统的方法，该方法包括：
-从成像模态接收患者的一部分的图像和/或一系列图像，图像和/或一系列图像的视场覆盖器械的至少一个部件，
-确定器械的所述部件是否位于视场的预定义部分内，和/或器械的所述部件是否处于选自多个预定义的第一状态的给定状态，和/或器械的所述部件是否执行选自多个预定义移动的给定移动，
-根据器械的所述部件是否位于视场的预定义部分内，和/或器械的所述部件是否处于选自多个预定义的第一状态的给定状态，和/或器械的所述部件是否执行选自多个预定义移动的给定移动，生成控制命令，控制命令用于执行系统的动作单元的预定义动作。
在一个方面中，本发明涉及一种方法，其中视场的预定义部分选自视场的多个预定义部分，其中视场的多个预定义部分中的每个部分被分配给多个不同的预定义动作中的一个预定义动作。
在一个方面中，本发明涉及一种方法，该方法包括：
-在显示设备上显示图像。
在一个方面中，本发明涉及一种方法，该方法包括：
-突出视场的预定义部分和/或视场的多个预定义部分的每个部分。
在一个方面中，本发明涉及一种方法，该方法包括：
-在所显示的图像中显示第一信息，第一信息指示视场的突出的预定义部分被分配到的预定义动作。
在一个方面中，本发明涉及一种方法，该方法包括：
-在所显示的图像中显示第二信息，第二信息与器械的所述部件的位置和/或选自多个预定义的第一状态的给定状态有关。
在一个方面中，本发明涉及一种方法，器械的所述部件包括多个组件，其中多个预定义的第一状态中的每个状态被分配给这些组件相对于彼此的多个不同位置和/或定向中的一个位置和/或定向，和/或其中多个预定义移动中的每个移动被分配给这些组件相对于彼此的多个不同移动中的一个移动。
在一个方面中，本发明涉及一种方法，器械包括抓钳和/或剪刀，多个预定义的第一状态包括抓钳和/或剪刀的打开状态以及抓钳和/或剪刀的闭合状态，和/或多个预定义移动包括抓钳和/或剪刀的打开移动以及抓钳和/或剪刀的闭合移动。
在一个方面中，本发明涉及一种方法，其中预定义动作包括改变与图像的采集有关的条件。
在一个方面中，本发明涉及一种方法，其中预定义动作包括改变从包含以下项的组中选择的条件：图像的视场、图像的视角、图像的缩放、图像的分辨率、图像的焦点、成像模态的成像数据采集组件相对于所述患者的所述部分和/或相对于所述器械的所述部件的位置、成像模态的成像数据采集组件相对于所述患者的所述部分和/或相对于所述器械的所述部件的定向及其组合。
在一个方面中，本发明涉及一种方法，所述动作单元包括成像模态和/或定位设备，定位设备用于相对于所述患者的所述部分和/或相对于所述器械的所述部件来定位和/或定向成像模态的成像数据采集组件。
在一个方面中，本发明涉及一种方法，该方法包括：
-在图像上叠加动作单元的图形用户界面，视场的突出的预定义部分表示图形用户界面的控制元件，该控制元件与预定义动作有关。
在一个方面中，本发明涉及一种方法，器械的所述部件表示图形用户界面的指针元件。
在一个方面中，本发明涉及一种方法，其中成像模态选自包含以下项的组：光学成像模态、腹腔镜成像模态、内窥镜成像模态和X射线成像模态，和/或其中成像数据采集组件选自包含以下项的组：相机、腹腔镜、内窥镜和X射线检测器。
在一个方面中，本发明涉及一种方法，该方法包括：
-确定系统的操作元件是否处于从多个预定义的第二状态中选择的给定状态，
-根据操作元件是否处于从多个预定义的第二状态中选择的给定状态来执行方法的另外的步骤。
在本发明的一个方面中，器械是手术器械。在本发明的一个方面中，器械的所述部件是器械的尖端和/或头部。
在一个方面中，本发明涉及一种方法，该方法包括确定器械的所述部件是否贯穿图像序列执行从多个预定义移动中选择的给定移动。
在一个方面中，本发明涉及一种方法，该方法包括：根据器械的所述部件是否贯穿图像序列执行从多个预定义移动中选择的给定移动，生成控制命令，控制命令用于执行系统的动作单元的预定义动作。
在一个方面中，本发明涉及一种设备，包括：
-接收单元，用于接收患者的一部分的图像，图像的视场覆盖器械的至少一个部件，
-第一确定单元，用于确定器械的所述部件是否位于视场的预定义部分内，和/或器械的所述部件是否处于从多个预定义的第一状态中选择的给定状态，
-生成单元，用于根据器械的所述部件是否位于视场的预定义部分内，和/或器械的所述部件是否处于从多个预定义的第一状态中选择的给定状态，生成用于执行预定义动作的控制命令。
在一个方面中，本发明涉及一种设备，用于执行根据本文描述的本发明的任一方面的方法。
在一个方面中，本发明涉及一种系统，该系统包括：
-根据本文描述的本发明的任一方面的设备，
-动作单元，用于基于从设备的生成单元接收的控制命令来执行预定义动作，
-成像模态，其中从成像模态接收图像。
在一个方面中，本发明涉及一种系统，所述动作单元包括成像模态和/或定位设备，定位设备用于相对于所述患者的所述部分和/或相对于所述器械的所述部件来定位和/或定向成像模态的成像数据采集组件。
在本发明的一个方面中，成像模态和/或定位设备执行预定义动作。
在一个方面中，本发明涉及一种系统，用于执行根据本文描述的本发明的任一方面的方法。
在一个方面中，本发明涉及一种包括计算机程序的计算机程序产品，计算机程序可直接加载到根据本文描述的本发明的任一方面的系统的控制单元的存储器单元中，计算机程序包括程序代码段，当计算机程序在所述控制单元中执行时，程序代码段使系统执行根据本文描述的本发明的任一方面的方法。
在一个方面中，本发明涉及一种机器可读介质，在该机器可读介质上保存有计算机程序的程序代码段，所述程序代码段可直接加载到根据本文描述的本发明的任一方面的系统的控制单元的处理单元中和/或可在该处理单元中执行，当程序代码段在所述处理单元中执行时，程序代码段使系统执行根据本文描述的本发明的任一方面的方法。
在本发明的一个方面中，定位设备包括机器人和/或机器人腹腔镜支架。
在本发明的一个方面中，定位设备是机器人和/或机器人腹腔镜支架。
在本发明的一个方面中，发明人提出了一种通过使用器械的特定适合性向机器人腹腔镜支架提供定位命令的方式，其中器械的至少一个部件由腹腔镜图像的视场覆盖。因此，已经引入人类体腔内的手术器械可以用于为医师提供直观的人机接口。不需要额外的硬件。
在许多情况下，外科医生的注意力区域在手术器械头部位置的周围。因此，手术器械的尖端/头部可以像计算机鼠标和/或图形用户界面的指针元件那样动作。基于其位置和/或手势，可以生成控制命令，用于执行系统的动作单元的预定义动作。例如手术抓钳和/或剪刀的打开/闭合就是其中的两种手势。
在本发明的另一方面中，发明人提出利用以下步骤来使用手术器械作为图形用户界面的指针元件：
-将刚性腹腔镜(或类似的观察设备)安装在机器人上并引入到患者体内，
-将手术器械(或针对该想法的目的专门制造的器械)引入到患者体内，并且使得该手术器械在腹腔镜图像上对外科医生可见，
-将腹腔镜图像与图形用户界面重叠，
-手术器械指向图形用户界面的一个特定元件，
-机器人执行与特定控制元件相关联的移动或其他动作，例如模式的切换或其他致动器的激活。
在本发明的另一方面中，器械或工业工具在工具处于特定状态时(例如手术工具的抓钳打开时)只能用作指针元件。
在本发明的一个方面中，图形用户界面是动作单元的控制界面和/或动作单元的虚拟控制界面。
在本发明的另一方面中，该方法或整个过程的至少一个步骤可以由外科医生使用操作元件来激活或停用。操作元件可以是例如脚踏开关和/或安全开关。
在一个方面中，本发明实现了将手术器械用作与图形用户界面结合的指针元件，以控制机器人腹腔镜支架的移动，图形用户界面叠加在例如人类体腔内部的腹腔镜图像上。
在一个方面中，本发明使得能够使用手术器械的现有的机械可修改的(例如从人类体腔外部)状态(例如抓钳打开或闭合状态)来触发、改变、激活或停用图形用户界面的控制元件和/或动作单元的预定义动作。
附图说明
下面将参考附图来说明本发明的示例实施例。图中的图示是示意性的并且被高度简化，并且不一定按比例绘制。
在附图中：
图1示出了说明根据本发明的一个方面的方法的图，
图2示出了说明根据本发明的一个方面的方法的图，
图3示出了根据本发明的一个方面的设备，
图4示出了根据本发明的一个方面的设备，
图5示出了说明根据本发明的一个方面的方法的流程图，
图6示出了根据本发明的一个方面的系统，
图7、图8和图9示出了微创手术场景的图像和图形用户界面。
具体实施方式
图1示出了说明根据本发明的一个方面的方法的图，该方法包括以下步骤：
-从成像模态3、34接收RI患者13的一部分的图像50和/或一系列图像50，图像50和/或一系列图像50的视场覆盖器械20的至少一个部件21，
-确定DP器械20的所述部件21是否位于视场的预定义部分51、52、53内，和/或器械20的所述部件21是否处于从多个预定义的第一状态中选择的给定状态，和/或器械20的所述部件21是否执行从多个预定义移动中选择的给定移动，
-根据器械20的所述部件21是否位于视场的预定义部分51、52、53内，和/或器械20的所述部件21是否处于从多个预定义的第一状态中选择的给定状态，和/或器械20的所述部件21是否执行从多个预定义移动中选择的给定移动，生成GC用于执行系统1的动作单元3、34、5的预定义动作的控制命令。
图2示出了说明根据本发明的一个方面的方法的图，该方法包括步骤RI、DP和GC以及以下步骤：
-确定DO系统1的操作元件37是否处于从多个预定义的第二状态中选择的给定状态，
-在显示设备39上显示DI图像50，
-突出HP视场的预定义部分51、52、53和/或视场的多个预定义部分51、52、53中的每个部分，
-在所显示的图像50中显示DN1第一信息N1，第一信息N1指示视场的突出的预定义部分51、52、53被分配到的预定义动作，
-在所显示的图像50中显示DN2第二信息N2，第二信息N2与器械20的所述部件21的位置和/或从多个预定义的第一状态选择的给定状态有关，
-在图像50上叠加SUI动作单元3、34、5的图形用户界面55，视场的突出的预定义部分51、52、53表示图形用户界面55的控制元件，该控制元件与预定义动作有关。
图3示出了设备35，包括：
-接收单元41，用于接收RI患者13的一部分的图像50，图像50的视场覆盖器械20的至少一个部件21，
-第一确定单元42，用于确定DP器械20的所述部件21是否位于视场的预定义部分51、52、53内，和/或器械20的所述部件21是否处于从多个预定义的第一状态中选择的给定状态，
-生成单元43，用于根据器械20的所述部件21是否位于视场的预定义部分51、52、53内，和/或器械20的所述部件21是否处于从多个预定义的第一状态中选择的给定状态，生成GC用于执行预定义动作的控制命令。
图4示出了包括包括接收单元41、第一确定单元42、生成单元43的设备35，设备35还包括：
-第二确定单元40，用于确定DO系统1的操作元件37是否处于从多个预定义的第二状态中选择的给定状态，
-显示单元44，用于在显示设备39上显示DI图像50；
-突出单元45，用于突出HP视场的预定义部分51、52、53和/或视场的多个预定义部分51、52、53中的每个部分，
-第一信息显示单元46，用于在所显示的图像50中显示DN1第一信息N1，第一信息N1指示视场的突出的预定义部分51、52、53被分配到的预定义动作，
-第二信息显示单元47，用于在所显示的图像50中显示DN2第二信息N2，第二信息N2与器械20的所述部件21的位置和/或从多个预定义的第一状态中选择的给定状态有关，
-叠加单元48，用于在图像50上叠加SUI动作单元3、34、5的图形用户界面55，视场的突出的预定义部分51、52、53表示图形用户界面的与预定义动作有关的控制元件。
图5示出了说明根据本发明的一个方面的方法的流程图，
步骤60包括将腹腔镜插入患者体内。步骤61包括将器械插入患者体内。步骤62包括确定DO系统1的操作元件37是否处于从多个预定义的第二状态中选择的给定状态。如果操作元件37不处于从多个预定义的第二状态中选择的给定状态，则遵循用“N”标记的对应路径，返回到步骤62。如果操作元件37处于从多个预定义的第二状态中选择的给定状态，则遵循用“Y”标记的路径。
步骤63包括确定DP器械20的所述部件21是否位于视场的预定义部分51内。如果器械20的所述部件21不位于视场的预定义部分51内，则遵循用“N”标记的对应路径，返回到步骤62。如果器械20的所述部件21位于视场的预定义部分51内，则遵循通向步骤64的路径。步骤64包括确定DP器械20的所述部件21是否处于从多个预定义的第一状态中选择的给定状态。
如果器械20的所述部件21处于从多个预定义的第一状态中选择的第一给定状态，则遵循路径65。如果器械20的所述部件21处于从多个预定义的第一状态中选择的第二给定状态，则遵循路径70。步骤66包括定位和/或确定器械20的所述部件21的位置和/或位移。步骤67包括跟踪器械20的所述部件21。在步骤67中，定位设备跟随器械20的所述部件21的位置和/或位移。
步骤71包括确定DP器械20的所述部件21是否位于视场的预定义部分52、53内。如果器械20的所述部件21位于视场的部分52内，则遵循路径73。如果器械20的所述部件21位于视场的部分53内，则遵循路径72。否则遵循路径74。
根据本发明的示例实施例，步骤75包括生成用于执行系统1的动作单元3、34、5的第一预定义动作的控制命令，其中部分51被分配给第一预定义动作。
根据本发明的示例实施例，步骤75包括生成用于执行系统1的动作单元3、34、5的第一预定义动作的控制命令，其中部分52被分配给第一预定义动作。
根据本发明的示例实施例，步骤76包括生成用于执行系统1的动作单元3、34、5的第二预定义动作的控制命令，其中部分53被分配给第二预定义动作。
在执行步骤67、75和76中的至少一个步骤之后，遵循返回到步骤62的路径。
第一预定义动作包括将成像数据采集组件放大和/或朝向器械移动。第二预定义动作包括将成像数据采集组件缩小和/或从所述器械20的所述部件21移离。
图6示出了根据本发明的一个方面的系统，系统1包括：
-设备35，
-动作单元3、34、5，用于基于从设备35的生成单元43接收的控制命令来执行预定义动作，
-成像模态3、34，其中图像50是从成像模态3、34接收的。
该系统还包括控制单元30、显示设备39和用于控制输入的输入设备38。控制单元30包括处理单元33。设备35和/或设备35的一个或多个或全部组件被实现在处理单元33的处理器系统中。处理器系统包括一个或若干个微处理器。
成像模态3、34包括成像数据采集组件3。成像模态3、34包括用于控制成像模态3、34和/或成像数据采集组件3的成像模态控制单元34。
箭头15、17和19指示成像数据采集组件3的位置和/或成像数据采集组件3的定向的自由度。由箭头15指示的自由度由本发明的一个方面来控制。在图6的示例中，由箭头17和19指示的自由度通过基于工具跟踪的视觉伺服来控制。
点9是器械20的套针枢轴点。点7是腹腔镜3的套针枢轴点。
在图6的示例中，机器人移动(即腹腔镜机器人移动(1平移的移动，图6中的箭头15))的一部分通过上述将手术器械作为指针元件的方法来控制。
机器人移动的另一部分(2个旋转自由度，图6中的箭头17和箭头19)由简单的工具跟踪控制。本示例中使用的手术工具是手术抓钳。
在本发明的一个方面中，操作元件是“器械跟踪启动”开关。在本发明的一个方面中，当外科医生启用“器械跟踪启动”开关(例如脚踏开关)时，器械的头部位置被跟踪。这个“器械跟踪启用”开关通过防止不经意的有害事件(例如组织穿孔或其他碰撞)来增强安全性。在本发明的一个方面中，下面描述的整个过程仅在“器械跟踪启动”被按下时才起作用。如果启动了“器械跟踪启动”开关，则会基于器械的抓钳的状态来触发跟踪。
图7、图8和图9示出了根据本发明的一个方面的微创手术场景的图像50和叠加在图像50上的、动作单元3、34、5的图形用户界面55。部分51包括部分52和部分53。
器械20的部件21是器械20的头部和抓钳21(或等同的夹具21)。在图7中，抓钳处于闭合状态。当器械20的部件21处于闭合状态时，器械20的部件21将在2D中被跟踪。这导致了机器人的两次旋转移动。只要抓钳21闭合，机器人5就跟随抓钳21的具有两个旋转自由度17、19的移动。如果抓钳处于打开状态，则器械20的部件21将不会在2D中被跟踪。
根据本发明的示例性实施例，如果器械20的部件21存在于部分52和53中，并且夹具21处于闭合状态，则部分51和部分52中的至少一个部分被分配到的预定动作将不会被执行。
根据本发明的示例性实施例，如果器械20的部件21存在于部分52和53中，并且夹具21处于闭合状态，则部分53和部分52中的至少一个部分被分配到的预定动作将不会被执行。
根据本发明的示例性实施例，如果器械20的部件21存在于部分52中，并且夹具21处于闭合状态，则第一预定义动作将不会被执行。
根据本发明的示例性实施例，如果器械20的部件21存在于部分53中，并且夹具21处于闭合状态，则第二预定义动作将不会被执行。
例如，机器人5将跟随器械20的部件21的使用图6中的箭头17和19所示的2个旋转自由度的移动。如果抓钳21处于闭合状态并且在部分52和部分53中的一个部分内，则将不执行放大或缩小(即，机器人进出移动)。
在本发明的一方面中，放大或缩小对应于使相机3朝着或远离器械20的部件21和/或患者13的部分、以1个自由度(如图6中的箭头15所示)来运动学上地移动，对于放大或缩小而言，在图像50中存在预定义的部分52、53，其分别被分配给放大动作和缩小动作。如果器械夹具21处于打开状态并且器械头部存在于这些区域中，则机器人5将移入和移出患者。
如果器械头部21处于打开状态并且在52内，则执行放大。在这种情况下，机器人5将腹腔镜3朝着器械20的部件21和/或患者13的部分移动。
如果器械头部21处于打开状态并且在53内，则执行缩小。在这种情况下，机器人5将腹腔镜3远离器械20的部件21和/或患者13的部分移动。

Claims (26)

1.一种用于控制包括一个成像模态(3、34)的一个系统(1)的方法，所述方法包括：
-从所述成像模态(3、34)接收(RI)一个患者(13)的一部分的一个图像(50)和/或一系列图像(50)，所述图像(50)和/或所述一系列图像(50)的视场覆盖一个器械(20)的至少一个部件(21)，
-确定(DP)所述器械(20)的所述部件(21)是否位于所述视场的一个预定义部分(51、52、53)内，和/或所述器械(20)的所述部件(21)是否处于从多个预定义的第一状态中选择的一个给定状态，和/或所述器械(20)的所述部件(21)是否执行从多个预定义移动中选择的一个给定移动，
-根据所述器械(20)的所述部件(21)是否位于所述视场的所述预定义部分(51、52、53)内，和/或所述器械(20)的所述部件(21)是否处于从所述多个预定义的第一状态中选择的所述给定状态，和/或所述器械(20)的所述部件(21)是否执行从所述多个预定义移动中选择的所述给定移动，生成(GC)一个控制命令，所述控制命令用于执行所述系统(1)的一个动作单元(3、34、5)的一个预定义动作。
2.根据权利要求1所述的方法，其中所述视场的所述预定义部分(51、52、53)选自所述视场的多个预定义部分(51、52、53)，其中所述视场的所述多个预定义部分(51、52、53)中的每个部分被分配给多个不同的预定义动作中的一个预定义动作。
3.根据权利要求1或2所述的方法，所述方法包括：
-在一个显示设备(39)上显示(DI)所述图像(50)。
4.根据权利要求1至3中任一项所述的方法，所述方法包括：
-突出(HP)所述视场的所述预定义部分(51、52、53)和/或所述视场的所述多个预定义部分(51、52、53)中的每个部分。
5.根据权利要求4所述的方法，所述方法包括：
-在所显示的所述图像(50)中显示(DN1)第一信息(N1)，所述第一信息(N1)指示所述视场的所突出的所述预定义部分(51、52、53)被分配到的所述预定义动作。
6.根据权利要求1至5中任一项所述的方法，所述方法包括：
-在所显示的所述图像(50)中显示(DN2)第二信息(N2)，所述第二信息(N2)与所述器械(20)的所述部件(21)的位置和/或从所述多个预定义的第一状态选择的一个给定状态有关。
7.根据权利要求1至6中任一项所述的方法，所述器械(20)的所述部件(21)包括多个组件(21A、21B)，其中所述多个预定义的第一状态中的每个状态被分配给所述多个组件(21A、21B)相对于彼此的多个不同位置和/或定向中的一个位置和/或定向，和/或其中所述多个预定义移动中的每个移动被分配给所述多个组件(21A、21B)相对于彼此的多个不同移动中的一个移动。
8.根据权利要求1至7中任一项所述的方法，所述器械(20)包括一个抓钳和/或一个剪刀，所述多个预定义的第一状态包括所述抓钳和/或所述剪刀的一个打开状态以及所述抓钳和/或所述剪刀的一个闭合状态，和/或所述多个预定义移动包括所述抓钳和/或所述剪刀的一个打开移动以及所述抓钳和/或所述剪刀的一个闭合移动。
9.根据权利要求1至8中任一项所述的方法，其中所述预定义动作包括改变与所述图像(50)的采集有关的一个条件。
10.根据权利要求1至9中任一项所述的方法，其中所述预定义动作包括改变选自包含以下项的组的一个条件：所述图像(50)的所述视场、所述图像(50)的一个视角、所述图像(50)的缩放、所述图像(50)的分辨率、所述图像(50)的一个焦点、所述成像模态(3、34)的一个成像数据采集组件(3)相对于所述患者(13)的所述部分和/或相对于所述器械(21)的所述部件(20)的一个位置、所述成像模态(3、34)的所述成像数据采集组件(3)相对于所述患者(13)的所述部分和/或相对于所述器械(21)的所述部件(20)的一个定向及前述的组合。
11.根据权利要求1至10中任一项所述的方法，所述动作单元(3、34、5)包括所述成像模态(3、34)和/或一个定位设备(5)，所述定位设备(5)用于相对于所述患者(13)的所述部分和/或相对于所述器械(20)的所述部件(21)来定位和/或定向所述成像模态(3、34)的一个成像数据采集组件(3)。
12.根据权利要求11所述的方法，其中所述定位设备(5)是一个机器人和/或一个机器人腹腔镜支架。
13.根据权利要求4至12中任一项所述的方法，所述方法包括：
-在所述图像(50)上叠加(SUI)所述动作单元(3、34、5)的一个图形用户界面(55)，所述视场的所突出的所述预定义部分(51、52、53)表示所述图形用户界面(55)的一个控制元件，所述控制元件与所述预定义动作有关。
14.根据权利要求13所述的方法，所述器械(20)的所述部件(21)表示所述图形用户界面(55)的一个指针元件。
15.根据权利要求1至14中任一项所述的方法，其中所述成像模态(3、34)选自包含以下项的组：一个光学成像模态、一个腹腔镜成像模态、一个内窥镜成像模态和一个X射线成像模态，和/或其中所述成像数据采集组件(3)选自包含以下项的组：一个相机、一个腹腔镜、一个内窥镜和一个X射线检测器。
16.根据权利要求1至15中任一项所述的方法，所述方法包括：
-确定(DO)所述系统(1)的一个操作元件(37)是否处于从多个预定义的第二状态中选择的一个给定状态，
-根据所述操作元件(37)是否处于从所述多个预定义的第二状态中选择的所述给定状态来执行所述方法的另外的步骤。
17.一种设备(35)，包括：
-一个接收单元(41)，用于接收(RI)一个患者(13)的一部分的一个图像(50)，所述图像(50)的视场覆盖一个器械(20)的至少一个部件(21)，
-一个第一确定单元(42)，用于确定(DP)所述器械(20)的所述部件(21)是否位于所述视场的一个预定义部分(51、52、53)内，和/或所述器械(20)的所述部件(21)是否处于从多个预定义的第一状态中选择的一个给定状态，
-一个生成单元(43)，用于根据所述器械(20)的所述部件(21)是否位于所述视场的所述预定义部分(51、52、53)内和/或所述器械(20)的所述部件(21)是否处于从多个预定义的第一状态中选择的所述给定状态，生成(GC)用于执行一个预定义动作的一个控制命令。
18.一种设备(35)，包括：
-一个接收单元(41)，用于从成像模态(3、34)接收(RI)一个患者(13)的一部分的一个图像(50)和/或一系列图像(50)，所述图像(50)和/或所述一系列图像(50)的视场覆盖一个器械(20)的至少一个部件(21)，
-一个第一确定单元(42)，用于确定(DP)所述器械(20)的所述部件(21)是否位于所述视场的一个预定义部分(51、52、53)内，和/或所述器械(20)的所述部件(21)是否处于从多个预定义的第一状态中选择的一个给定状态，和/或所述器械(20)的所述部件(21)是否执行从多个预定义移动中选择的一个给定移动，
-一个生成单元(43)，用于根据所述器械(20)的所述部件(21)是否位于所述视场的所述预定义部分(51、52、53)内，和/或所述器械(20)的所述部件(21)是否处于从所述多个预定义的第一状态中选择的所述给定状态，和/或所述器械(20)的所述部件(21)是否执行从所述多个预定义移动中选择的所述给定移动，生成(GC)一个控制命令，所述控制命令用于执行所述系统(1)的一个动作单元(3、34、5)的一个预定义动作。
19.根据权利要求17或18所述的设备(35)，用于执行根据权利要求1至16中任一项所述的方法。
20.一种系统(1)，包括：
-根据权利要求17至19中任一项所述的设备(35)，
-一个动作单元(3、34、5)，用于基于从所述设备(35)的所述生成单元(43)接收到的所述控制命令来执行所述预定义动作，
-一个成像模态(3、34)，其中所述图像(50)是从所述成像模态(3、34)接收的。
21.根据权利要求20所述的系统(1)，所述动作单元(3、34、5)包括所述成像模态(3、34)和/或一个定位设备(5)，所述定位设备(5)用于相对于所述患者(13)的所述部分和/或相对于所述器械(20)的所述部件(21)来定位和/或定向所述成像模态(3、34)的一个成像数据采集组件(3)。
22.根据权利要求21所述的系统(1)，其中所述定位设备(5)是一个机器人和/或一个机器人腹腔镜支架。
23.根据权利要求20至22中任一项所述的系统(1)，其中所述成像模态(3、34)选自包含以下项的组：一个光学成像模态、一个腹腔镜成像模态、一个内窥镜成像模态和一个X射线成像模态，和/或其中所述成像数据采集组件(3)选自包含以下项的组：一个相机、一个腹腔镜、一个内窥镜和一个X射线检测器。
24.根据权利要求20至23中任一项所述的系统(1)，用于执行权利要求1至16中任一项所述的方法。
25.一种包括一个计算机程序的计算机程序产品，所述计算机程序可直接加载到根据权利要求20至24中任一项所述的系统(1)的一个控制单元(30)的一个存储器单元(31)中，所述计算机程序包括多个程序代码段，当所述计算机程序在所述控制单元中被执行时，所述多个程序代码段使所述系统(1)执行根据权利要求1至16中任一项所述的方法。
26.一种机器可读介质(32)，在所述机器可读介质(32)上保存有一个计算机程序的多个程序代码段，所述多个程序代码段可直接加载到根据权利要求20至24中任一项所述的系统(1)的一个控制单元(30)的一个处理单元(33)中和/或在所述处理单元(33)中可执行，当所述多个程序代码段在所述处理单元(33)中被执行时，所述多个程序代码段使所述系统(1)执行根据权利要求1至16中任一项所述的方法。
CN201680047863.1A 2015-08-13 2016-08-05 用于控制包括成像模态的系统的设备和方法 Active CN107920863B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15180955.5 2015-08-13
EP15180955 2015-08-13
PCT/EP2016/068736 WO2017025456A1 (en) 2015-08-13 2016-08-05 Device and method for controlling a system comprising an imaging modality

Publications (2)

Publication Number Publication Date
CN107920863A true CN107920863A (zh) 2018-04-17
CN107920863B CN107920863B (zh) 2021-12-31

Family

ID=54007513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680047863.1A Active CN107920863B (zh) 2015-08-13 2016-08-05 用于控制包括成像模态的系统的设备和方法

Country Status (4)

Country Link
US (1) US10973595B2 (zh)
EP (1) EP3310286A1 (zh)
CN (1) CN107920863B (zh)
WO (1) WO2017025456A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022257A1 (ko) * 2021-08-19 2023-02-23 한국로봇융합연구원 복강경 카메라 홀더 로봇 제어시스템 및 제어방법

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184429A (zh) * 2005-04-18 2008-05-21 M.S.T.医学外科技术有限公司 改进腹腔镜手术的装置和方法
US20090036902A1 (en) * 2006-06-06 2009-02-05 Intuitive Surgical, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US20090192524A1 (en) * 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical robot
US20110118753A1 (en) * 2009-11-13 2011-05-19 Brandon Itkowitz Master finger tracking device and method of use in a minimally invasive surgical system
WO2013027201A2 (en) * 2011-08-21 2013-02-28 M.S.T. Medical Surgery Technologies.Ltd. Device and method for asissting laparoscopic surgery- rule based approach
CN102958464A (zh) * 2010-04-07 2013-03-06 索发有限公司 具有改进的控制器的自动化外科手术系统
US20140055489A1 (en) * 2006-06-29 2014-02-27 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
CN103619279A (zh) * 2011-06-30 2014-03-05 奥林巴斯株式会社 处置工具、机械手和手术支持系统
CN104473693A (zh) * 2010-12-17 2015-04-01 伊顿株式会社 手术机器人系统及其自适应控制方法
CN104487014A (zh) * 2012-07-25 2015-04-01 直观外科手术操作公司 手术系统中有效的交互式出血检测
CN104582622A (zh) * 2012-04-16 2015-04-29 儿童国家医疗中心 用于外科和介入医疗程序中的跟踪和控制的双模立体成像系统
WO2015091226A1 (en) * 2013-12-19 2015-06-25 Koninklijke Philips N.V. Laparoscopic view extended with x-ray vision

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9295379B2 (en) 2005-04-18 2016-03-29 M.S.T. Medical Surgery Technologies Ltd. Device and methods of improving laparoscopic surgery
EP3104804B1 (en) * 2014-02-12 2021-12-15 Koninklijke Philips N.V. Robotic control of surgical instrument visibility

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184429A (zh) * 2005-04-18 2008-05-21 M.S.T.医学外科技术有限公司 改进腹腔镜手术的装置和方法
US20090036902A1 (en) * 2006-06-06 2009-02-05 Intuitive Surgical, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US20090192524A1 (en) * 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical robot
US20140055489A1 (en) * 2006-06-29 2014-02-27 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US20110118753A1 (en) * 2009-11-13 2011-05-19 Brandon Itkowitz Master finger tracking device and method of use in a minimally invasive surgical system
CN102958464A (zh) * 2010-04-07 2013-03-06 索发有限公司 具有改进的控制器的自动化外科手术系统
CN104473693A (zh) * 2010-12-17 2015-04-01 伊顿株式会社 手术机器人系统及其自适应控制方法
CN103619279A (zh) * 2011-06-30 2014-03-05 奥林巴斯株式会社 处置工具、机械手和手术支持系统
WO2013027201A2 (en) * 2011-08-21 2013-02-28 M.S.T. Medical Surgery Technologies.Ltd. Device and method for asissting laparoscopic surgery- rule based approach
CN104582622A (zh) * 2012-04-16 2015-04-29 儿童国家医疗中心 用于外科和介入医疗程序中的跟踪和控制的双模立体成像系统
CN104487014A (zh) * 2012-07-25 2015-04-01 直观外科手术操作公司 手术系统中有效的交互式出血检测
WO2015091226A1 (en) * 2013-12-19 2015-06-25 Koninklijke Philips N.V. Laparoscopic view extended with x-ray vision

Also Published As

Publication number Publication date
CN107920863B (zh) 2021-12-31
US10973595B2 (en) 2021-04-13
US20180228558A1 (en) 2018-08-16
WO2017025456A1 (en) 2017-02-16
EP3310286A1 (en) 2018-04-25

Similar Documents

Publication Publication Date Title
US20210157403A1 (en) Operating room and surgical site awareness
CN109890311B (zh) 在计算机辅助远程操作外科手术中的可重新配置的显示器
US20220331052A1 (en) Cooperation among multiple display systems to provide a healthcare user customized information
US20210077220A1 (en) Systems and methods for removing occluding objects in surgical images and/or video
KR101374709B1 (ko) 컴퓨터 디스플레이 스크린의 경계구역에 표시된 수술기구 위치 및 수술기구 확인 표시장치
US20160066815A1 (en) Surgical equipment control input visualization field
EP3603476A1 (en) Medical system control device, medical system control method, and medical system
CN107920863A (zh) 用于控制包括成像模态的系统的设备和方法
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
KR20120052573A (ko) 수술용 로봇 시스템 및 수술용 로봇 시스템의 제어방법
WO2022219501A1 (en) System comprising a camera array deployable out of a channel of a tissue penetrating surgical device
CN117441212A (zh) 用渲染元素将混合直接可视化以显示混合元素以及在屏幕上和在屏幕外正在发生的动作
JP2024514640A (ja) 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合
WO2023242762A1 (en) Smart circular staplers
CN117461093A (zh) 基于触发事件来改变外科视野的显示叠加项的系统和方法
JP2024513991A (ja) トリガイベントに基づいて術野のディスプレイオーバーレイを変更するためのシステム及び方法
CN117479896A (zh) 包括可在组织穿透外科装置的通道外展开的相机阵列的系统
WO2022219504A1 (en) Cooperative overlays of interacting instruments which result in both overlays being effected
WO2022219491A1 (en) System and method for tracking a portion of the user as a proxy for non-monitored instrument
CN115942912A (zh) 用于计算机辅助医疗系统的用户输入系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant