CN105934216A - 用于机器人手术的连续图像整合 - Google Patents

用于机器人手术的连续图像整合 Download PDF

Info

Publication number
CN105934216A
CN105934216A CN201580005449.XA CN201580005449A CN105934216A CN 105934216 A CN105934216 A CN 105934216A CN 201580005449 A CN201580005449 A CN 201580005449A CN 105934216 A CN105934216 A CN 105934216A
Authority
CN
China
Prior art keywords
endoscope
robot
anatomical regions
integration module
art
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580005449.XA
Other languages
English (en)
Other versions
CN105934216B (zh
Inventor
A·波波维奇
A·L·赖因施泰因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105934216A publication Critical patent/CN105934216A/zh
Application granted granted Critical
Publication of CN105934216B publication Critical patent/CN105934216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Abstract

一种机器人引导系统采用内窥镜(12)、机器人(11)、机器人控制器(21)、内窥镜控制器(22)以及图像整合模块(24)。在操作中，所述机器人控制器(21)命令所述机器人(11)在所述解剖结构区域内移动所述内窥镜(12)，并且所述内窥镜控制器(22)生成对由所述内窥镜(12)生成的所述结构区域的术中内窥镜图像的内窥镜视频显示(15)。当所述内窥镜(12)在所述解剖结构区域内是静止的时，所述图像整合模块(24)将所述解剖结构区域的术前三维图像配准到所述结构区域的所述术中内窥镜图像。当在所述图像配准之后所述内窥镜(12)在所述解剖结构区域内移动时，所述图像整合模块(24)在所述解剖结构区域内跟踪所述内窥镜(12)的运动之后校准所述机器人(11)相对于所述内窥镜(12)的运动。

Description

用于机器人手术的连续图像整合
技术领域
本发明总体上涉及在微创手术流程(例如，微创冠状动脉分流移植手术)期间对内窥镜的机器人控制。本发明具体涉及在机器人辅助的微创手术流程期间对术前三维(“3D”)图像与术中内窥镜图像的连续整合。
背景技术
在微创冠状动脉分流手术期间利用两种(1)成像模态。第一成像模态是用于提取关于冠状动脉的几何结构的信息的术前3D成像(例如，计算机断层摄影(“CT”)、磁共振成像(“MRI”)等)。第二成像模态是用于对冠状动脉进行实时可视化的术中内窥镜成像。
通常，针对机器人辅助的微创冠状动脉分流手术，从电动机上的编码器或能够报告机器人的相对运动的其他传感器(例如，安装在机器人轴上的绝对编码器或者电位器)可以知晓机器人的运动。并且内窥镜对机器人的校准需要计算对应的内窥镜运动。相机校准还需要知晓需要施加到绘图相机的运动的量使得叠加被准确地可视化在内窥镜视频中。这两种(2)校准均是耗时的且易于出错。这两种校准要求专用硬件和精确的测量结果，并且需要由经过训练的专业人员来执行。这能够造成手术室时间延长、流程成本增加，并且限制对系统的临床采用。
为了解决这两种(2)校准的短处，这些成像模态可以被整合在现有技术已知的多个阶段中。例如，第一阶段可以是图像配准阶段，所述图像配准阶段建立来自术前3D成像的3D动脉树与在术中内窥镜图像中部分可见的动脉树之间的集合关系。该图像配准阶段最初应用于其中在来自内窥镜的可见反馈下执行分流的内窥镜冠状动脉分流手术，并且公开了利用使用融合信息的机器人引导内窥镜的各种方法。基于这些图像之间的集合关系，第二阶段可以是术前叠加阶段，所述术前叠加阶段将3D术前体积动脉树叠加到使用未校准的内窥镜的2D内窥镜图像上。这允许外科医生从手术期间可获得的术前扫描得到重要信息，并且将该信息配准到内窥镜中显示的解剖结构区域。为了增强术前叠加，第三阶段可以为运动补偿阶段，所述运动补偿阶段促进将变形的体积结构从术前3D图像叠加到3D内窥镜图像上，以便补偿在内窥镜视频中显示的解剖结构的任何生理运动。
发明内容
本发明克服了在内窥镜因支持内窥镜的机器人的运动而造成移动的情况下对术前3D图像与实况术中内窥镜视频之间配准信息进行更新的问题。这确保了可以在流程开始时就执行配准，在所述流程开始之后，系统连续更新所述配准。
更具体地，本发明在机器人辅助的无创手术期间连续地融合内窥镜视频与术前3D图像并且将3D图像的投影显示到2D内窥镜视频上。本发明有力影响了对针对内窥镜和机器人两者的前述自校准例程的使用，使得在流程期间不需要明确的校准步骤。这将减少操作时间并且因消除了人类错误而提高系统的鲁棒性。
本发明的一种形式是采用内窥镜、机器人、机器人控制器、内窥镜控制器以及图像配准模块的机器人引导系统。在操作中，所述机器人控制器命令所述机器人在解剖结构区域内移动所述内窥镜，并且所述内窥镜控制器生成对由所述内窥镜生成的解剖结构区域的术中内窥镜图像的内窥镜视频显示。由于所述内窥镜在所述解剖结构区域内是静止的，因而图像整合模块将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的术中内窥镜图像。由于所述内窥镜在图像配准之后在所述解剖结构区域内移动，因而所述图像配准模块在跟踪在所述解剖结构区域内的所述内窥镜的运动之后相对于所述内窥镜校准所述机器人的运动。
本发明的第二形式是机器人引导方法，所述机器人引导方法涉及由静止内窥镜生成解剖结构区域的术中内窥镜图像以及解剖结构区域的术前三维图像到解剖结构区域的术中内窥镜图像的静止配准。所述方法随后涉及由移动的内窥镜生成解剖结构区域的术中内窥镜图像以及解剖结构区域的术前三维图像到解剖结构区域的术中内窥镜图像的运动配准。
在本文中所使用的术语“术前”被宽泛地定义为在对解剖结构区域的内窥镜成像之前、期间或之后运行的用于采集解剖结构区域的三维图像的目的的任何活动。并且在本文中所使用的术语“术中”被宽泛地定义为在对解剖结构区域的内窥镜成像期间由机器人单元和控制单元运行的任何活动。解剖结构区域的内窥镜成像的范例包括，但不限于，CABG、支气管镜检查、结肠镜检查、腹腔镜检查以及脑内窥镜检查。
根据结合附图阅读的本发明的各个实施例的以下详细说明，本发明的前述形式和其他形式以及各个特征和优点将进一步变得明显。详细的说明书和附图仅仅是图示本发明而不是限制本发明，本发明的范围由权利要求及其等价方案来定义。
附图说明
图1图示了根据本发明的机器人引导系统的示范性实施例；
图2图示了表示根据本发明的机器人引导方法的示范性实施例的流程图；
图3图示了表示根据本发明的静止配准方法的示范性实施例的流程图；
图4图示了表示根据本发明的运动配准方法的示范性实施例的流程图；
图5图示了表示根据本发明的运动跟踪方法的示范性实施例的流程图；
图6图示了根据本发明示范性门控采集；
图7图示了根据本发明的内窥镜视频中的示范性位置跟踪。
具体实施方式
如图1所示，机器人引导系统采用机器人单元10和控制单元20，所示机器人单元10和所述控制单元20用于任何内窥镜流程，尤其是用于涉及对具有一个或多个分叉(即，分支)的血管树的内窥镜成像的内窥镜流程。这样的内窥镜流程的范例包括，但不限于，微创心脏手术(例如，冠状动脉旁路移植或二尖瓣置换术)。
机器人单元10包括机器人11、刚性附接到机器人11的内窥镜12，以及附接到内窥镜12的视频捕捉设备13。
机器人11在本文中被广泛定义为在结构上被配置具有对一个或多个接合点的机动控制以用于根据特定内窥镜流程的期望来操控终端执行器的任何机器人设备。在实践中，机器人11可以具有四(4)个自由度，例如，如具有与刚性节段串行连接的关节的串行机器人、具有以并行顺序安装的关节和刚性节段的并行机器人或者串行运动学和并行运动学的任何混合组合。
内窥镜12在本文中被广义地定义为在结构上被配置有从身体内部进行成像的能力的任何设备。用于本发明的目的的内窥镜12的范例包括，但不限于，任何类型的窥镜，柔性或刚性(例如，内窥镜、关节内窥镜、支气管窥镜、胆总管窥镜、结肠窥镜、膀胱窥镜、十二指肠窥镜、胃窥镜、子宫窥镜、腹腔内窥镜、喉镜、神经窥镜、耳镜、推入式肠镜、鼻喉镜、乙状结肠镜、窦腔镜、喉咙镜等)以及类似于装备有图像系统的窥镜的任何设备(例如，具有成像的嵌套式套管)。成像是局部的，并且表面图像可以利用光纤、透镜和小型化(例如，基于CCD的)成像系统以光学方式获得。
实际上，内窥镜12被安装到机器人11的终端执行器。机器人11的终端执行器的姿势是终端执行器在机器人11致动器的坐标系内的位置和取向。利用被安装到机器人11的终端执行器的内窥镜12，在解剖结构区域内的内窥镜12的视场的任何给定姿势对应于机器人11在机器人坐标系内的终端执行器的不同姿势。因此，由内窥镜12生成的血管树的每幅内窥镜图像可以被链接到解剖结构区域内的内窥镜12的对应姿势。
视频捕捉设备13在本文中被广义地定义为在结构上被配置具有将来自内窥镜12的术中内窥镜视频信号转换成术中内窥镜图像(“IOEI”)14的计算机可读时间序列的能力的任何设备。在实践中，视频捕捉设备13可以采用任何类型的帧抓取器以捕捉来自术中内窥镜视频信号的个体数字静止帧。
仍然参考图1，控制单元20包括机器人控制器21和内窥镜控制器22。
机器人控制器21在本文中被广义地定义为在结构上被配置为向机器人11提供一个或多个机器人致动器命令(“RAC”)26以按照内窥镜流程的期望来控制机器人11的终端执行器的姿势的任何控制器。更具体地，机器人控制器21将来自内窥镜控制器的内窥镜位置命令(“EPC”)转换成机器人致动器命令26。例如，内窥镜位置命令25可以指示导向解剖结构区域内的内窥镜12的视场的期望的3D位置的内窥镜路径，由此机器人控制器21将命令25转换成命令26，所述命令26包括机器人11的每个电动机所需的用于将内窥镜12移动到期望的3D位置的致动电流。
内窥镜控制器22在本文中被广义地定义为在结构上被配置为生成术中内窥镜图像(“IOEI”)14的内窥镜视频显示15的任何控制器。
本发明提供了分布在控制器21与22之间的图像整合模块24，用于运行如图2所示的流程图40，进而用于术中内窥镜图像14到术前3D图像(“POI”)30的连续整合。现在将在本文中提供对流程图40的描述，以促进对图像整合模块24的进一步理解。在实践中，流程图40可以涉及机器人11被定位的预步骤，籍此机器人11的旋转中心与到患者的进入点一致，以及内窥镜12被插入到患者的身体中以促进实况视频流15。
参考图2，流程图40的阶段S42涵盖术前3D图像30到术中内窥镜图像40的静止配准，流程图40的阶段S44涵盖从阶段S42的静止配准导出的机器人11到内窥镜12的运动校准，并且流程图40的阶段S46涵盖从阶段S44的运动校准导出的对机器人的运动跟踪。
如图3所示的流程图50表示阶段S42的一个实施例。流程图50的阶段S52涵盖模块24基于在现有技术中已知的动脉树和/或静脉树将术前3D图像30配准到术中内窥镜图像14。鉴于内窥镜12未被校准，阶段S52将把虚拟相机在3D图像30的坐标框架中的位置返回为4×4变换矩阵CTT相机。
流程图50的阶段S54涵盖现有技术已知的将提取/分割的3D体积动脉树和/或静脉树叠加到术中内窥镜图像14上的模块24。该叠加将示出术前3D图像30在内窥镜视频显示15上的投影。
流程图50的阶段S56涵盖运行现有技术已知的运动补偿算法以跟踪术中内窥镜图像14上的点(例如，动脉树和/或静脉树的节点)并更新该叠加图像的模块24。更具体地，由模块24对运动补偿算法的运行计算出3×3矩阵H，所述3×3矩阵H将点从一个内窥镜视图变换到另一内窥镜视图：
在阶段S44(图2)的一个实施例中，如图4所示的流程图60涉及机器人操作的慢模式，以允许对内窥镜视图14的点(例如，动脉树和/或静脉树的节点)的准确跟踪。
在用户执行机器人11的第一运动之后，流程图60的阶段S62涵盖使用阶段S56(图3)的单应矩阵H并重复阶段S52来重新计算阶段S52(图3)的2D内窥镜点，以计算运动之后的相机变换矩阵。在此之后，使用运动之前的变换矩阵和运动之后的变换矩阵来计算总相对运动：
流程图60的阶段S64涵盖记录根据使用现有技术已知的机器人编码器或其他传感器导出的运动之前的机器人顶部位置和运动之后的机器人顶部位置由于系统的未校准的性质，确切的顶部位置是未知的，因此使用虚拟的顶部位置：虚拟顶部位置能够是大于零的任何数目或任何数学符号。
针对流程图60的阶段S66，根据以下来计算机器人对相机的相对校准。在理想情况中，如果系统被校准，则CTTcm＝CTTrm并且新的配准能够通过将已知的机器人运动应用于相机位置来计算。如果系统未被校准并且相机位置和机器人顶部位置未反映环境(例如，手术室)中的物理布置，则这两者与校准矩阵具有如下关系：安全的是，确保该矩阵在流程的整个长度期间是恒定的。只要使用该内窥镜12(相机的相同焦距)时保持该假设。在引入不同的内窥镜的情况下，视频流被暂时中断并且必须针对新的内窥镜运行图像配准流程图50。
为了继续阶段S66，从针对一个位置的刚性变换CTT相机＝机器人T顶部×T校准推断出由于CTTcm和CTTrm两者都是已知的，因此能够根据来计算T校准。该类型的等式被称为西尔维斯特(Sylvester)等式并且能够由本领域技术人员明确计算出。
当在背景中执行阶段S62-S66之后，机器人11被返回到操作的正常速度，这是因为对点的跟踪不再是必要的。
在阶段S46(图2)的一个实施例中，如图5示出的流程图70涉及用于执行机器人11的另一运动而无需跟踪术中内窥镜图像14中的点。这样，流程图70的阶段S72涵盖由而根据机器人的新位置来计算内窥镜13的相机的新位置的模块24。
流程图70的阶段S74涵盖模块计算由阶段S54(图3)教导的新叠加的模块24。对阶段S72和S74进行重复直到流程结束或直到要求针对新的内窥镜的新的配准。
参考回到图2和图4，可以通过重复流程图60多次(N次)来改进阶段S42的准确度。针对这样的重复，阶段S66被修改为执行对来自N次西尔维斯特类型的等式的系统的T校准的校准。由于该数学问题被过多的定义，因此能够使用现有技术已知的优化方法来找到解(例如，Levenberg-Marquardt阻尼的最小二乘拟合)。这能够被重复N次或者直到优化算法的拟合误差返回到小于预定义的准确要求的误差。该实施例通过平衡流程图60的机器人慢运动的持续时间来确保准确的图像叠加。
参考图2-4，阶段S42和S44可以被修改为对移动的器官(例如，心脏)进行周期性寻址。在该情况下，为了将心脏运动与机器人11的运动分开，必须在周期性运动的完全相同的相位处执行阶段S56(图3)和阶段S62(图4)。在该实施例中，ECG信号能够用于门控对内窥镜图像14的采集。例如，图6示出了ECG信号80。如果机器人运动在时间t1处开始并且在时间t2处结束，则模块24将仅在心脏返回到与时间t1相同的相位(例如，时间t3)之后在单应匹配阶段S56和S62内采集内窥镜图像14。这能够由现有技术中已知的信号匹配算法来实现。
备选地，如果ECG信号是不可获得的，则模块24可以按照现有技术已知的来观察心脏上的点运动，如在图7中示出的利用位置迹线81示出的范例。这些信号X和Y的形状能够被拟合到前向信号滤波器并且使用现有技术已知的前向滤波方法了而被用于预测心脏运动。
根据对本文中的图1-7的描述，本领域技术人员将意识到本发明的众多益处，包括但不限于，本发明对于在任何解剖结构区域上执行的任何类型的内窥镜检查手术的应用。
尽管已经图示和描述了本发明的各种实施例，但是本领域技术人员应当理解，在本文中所描述的本发明的实施例是图示性的，并且可以做出各种修改和修正，并且在不脱离本发明的真实范围的情况下可以对其元件替换等价方案。另外，可以在不脱离本发明的中心范围的情况下做出许多修正以调整本发明的教导。因此，本发明并非旨在被限制到被如由预期用于执行本发明的最佳模式所公开的具体实施例，而是旨在包括落入权利要求的范围内的所有实施例。

Claims (20)

1.一种机器人引导系统，包括：
机器人单元(10)，其包括：
内窥镜(12)，其能用于生成解剖结构区域的术中内窥镜图像，以及
机器人(11)，其操作性地连接到所述内窥镜(12)以在所述解剖结构区域内移动所述内窥镜(12)；以及
控制单元(20)，其包括：
机器人控制器(21)，其操作性地连接到所述机器人(11)以命令所述机器人(11)在所述解剖结构区域内移动所述内窥镜(12)，
内窥镜控制器(22)，其操作性地连接到所述内窥镜，以生成对所述解剖结构区域的所述术中内窥镜图像的内窥镜视频显示(15)，以及
图像整合模块(24)，其操作性地分布在所述机器人控制器(21)与所述内窥镜控制器(22)之间，
其中，当所述内窥镜(12)在所述解剖结构区域内是静止的时，所述图像整合模块(24)能用于将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的所述术中内窥镜图像，并且
其中，当在所述术前三维图像与所述术中内窥镜图像的配准之后所述内窥镜(12)在所述解剖结构区域内移动时，所述图像整合模块(24)能用于校准所述机器人(11)相对于所述内窥镜(12)的运动。
2.根据权利要求1所述的机器人引导系统，其中，在对所述机器人(11)相对于所述内窥镜(12)的运动校准之后，所述图像整合模块(24)能用于跟踪所述内窥镜(12)的运动。
3.根据权利要求2所述的机器人引导系统，其中，在由所述图像整合模块(24)跟踪所述内窥镜(12)的所述运动之前，由所述图像整合模块(24)重复多次对所述机器人(11)相对于所述内窥镜(12)的运动校准。
4.根据权利要求1所述的机器人引导系统，其中，所述术前三维图像与所述术中内窥镜图像的配准与所述解剖结构区域的周期性运动是同相的。
5.根据权利要求1所述的机器人引导系统，其中，所述机器人(11)相对于所述内窥镜(12)的运动校准与所述解剖结构区域的周期性运动是同相的。
6.根据权利要求1所述的机器人引导系统，其中，所述图像整合模块(24)能用于将术前三维图像的分割的部分叠加到所述术中内窥镜图像上。
7.根据权利要求6所述的机器人引导系统，其中，所述图像整合模块(24)能用于根据跟踪在所述术中内窥镜图像上的至少一个点来更新所述叠加。
8.根据权利要求1所述机器人引导系统，其中，所述图像整合模块(24)能用于根据所述术前三维图像与所述术中内窥镜图像的配准并且根据当所述内窥镜(12)从所述解剖结构区域内的静止位置移动时跟踪所述术中内窥镜图像上的特征来计算所述术前三维图像与所述术中内窥镜图像之间的相对运动变换矩阵。
9.根据权利要求8所述的机器人引导系统，其中，所述图像整合模块(24)能用于计算所述内窥镜(12)的虚拟位置从所述解剖结构区域内的先前静止位置到当前位置的位置变换矩阵。
10.根据权利要求9所述的机器人引导系统，其中，所述图像整合模块(24)能用于计算所述机器人(11)到所述内窥镜(12)的相对校准。
11.一种用于连接到内窥镜(12)的机器人(11)的控制单元(20)，所述内窥镜(12)生成解剖结构区域的术中内窥镜图像；所述控制单元(20)包括：
机器人控制器(21)，其能用于命令所述机器人(11)在所述解剖结构区域内移动所述内窥镜(12)；
内窥镜控制器(22)，其操作性地连接到所述内窥镜，以生成对所述解剖结构区域的所述术中内窥镜图像的内窥镜视频显示(15)；以及
图像整合模块(24)，其操作性地分布在所述机器人控制器(21)与所述内窥镜控制器(22)之间；
其中，当所述内窥镜(12)在所述解剖结构区域内是静止的时，所述图像整合模块(24)能用于将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的所述术中内窥镜图像，并且
其中，当在所述术前三维图像与所述术中内窥镜图像的配准之后所述内窥镜(12)在所述解剖结构区域内移动时，所述图像整合模块(24)能用于校准所述机器人(11)相对于所述内窥镜(12)的运动。
12.根据权利要求11所述的控制单元(20)，其中，在所述机器人(11)相对于所述内窥镜(12)的运动校准之后，所述图像整合模块(24)能用于跟踪所述内窥镜(12)在所述解剖结构区域内的运动。
13.根据权利要求12所述的控制单元(20)，其中，在由所述图像整合模块(24)跟踪所述内窥镜(12)的所述运动之前由所述图像整合模块(24)重复多次对所述机器人(11)相对于所述内窥镜(12)的运动校准。
14.根据权利要求11所述的控制单元(20)，其中，所述术前三维图像与所述术中内窥镜图像的配准与所述解剖结构区域的周期性运动是同相的。
15.根据权利要求11所述的控制单元(20)，其中，所述机器人(11)相对于所述内窥镜(12)的运动校准与所述解剖结构区域的周期性运动是同相的。
16.一种机器人引导方法，包括：
当内窥镜(12)在解剖结构区域内是静止的时，将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的术中内窥镜图像；并且
当在所述术前三维图像与所述术中内窥镜图像的所述配准之后所述内窥镜(12)在所述解剖结构区域内移动时，校准所述机器人(11)相对于所述内窥镜(12)的运动。
17.根据权利要求16所述的机器人引导方法，还包括：
在对所述机器人(11)相对于所述内窥镜(12)的运动校准之后跟踪所述内窥镜(12)在所述解剖结构区域内的运动。
18.根据权利要求17所述的机器人引导方法，其中，在对所述内窥镜的所述运动的所述跟踪之前重复多次对所述机器人(11)相对于所述内窥镜(12)的所述运动校准。
19.根据权利要求16所述的机器人引导方法，其中，所述术前三维图像与所述术中内窥镜图像之间的所述配准与所述解剖结构区域的周期性运动是同相的。
20.根据权利要求16所述的机器人引导方法，其中，所述机器人(11)相对于所述内窥镜(12)的所述运动校准与所述解剖结构区域的周期性运动是同相的。
CN201580005449.XA 2014-01-24 2015-01-14 机器人引导系统、控制单元和装置 Active CN105934216B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461931168P 2014-01-24 2014-01-24
US61/931,168 2014-01-24
PCT/IB2015/050271 WO2015110934A1 (en) 2014-01-24 2015-01-14 Continuous image integration for robotic surgery

Publications (2)

Publication Number Publication Date
CN105934216A true CN105934216A (zh) 2016-09-07
CN105934216B CN105934216B (zh) 2019-09-17

Family

ID=52574194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580005449.XA Active CN105934216B (zh) 2014-01-24 2015-01-14 机器人引导系统、控制单元和装置

Country Status (5)

Country Link
US (1) US11083529B2 (zh)
EP (1) EP3096703B1 (zh)
JP (1) JP6334714B2 (zh)
CN (1) CN105934216B (zh)
WO (1) WO2015110934A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
US11259876B2 (en) * 2015-09-28 2022-03-01 Koninklijke Philips N.V. Single-port surgical procedure using image guided articulated robot
WO2018046094A1 (de) * 2016-09-09 2018-03-15 Siemens Aktiengesellschaft Verfahren zum betreiben eines endoskops, endoskop sowie vitalparametermonitor
IT201800000673U1 (it) * 2018-01-11 2019-07-11 Apparato robotizzato per operazioni chirurgiche
WO2019163906A1 (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 医療システムおよび医療システムの作動方法
USD1022197S1 (en) 2020-11-19 2024-04-09 Auris Health, Inc. Endoscope
US11508089B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. LiDAR assisted wheel encoder to camera calibration
US20230053189A1 (en) * 2021-08-11 2023-02-16 Terumo Cardiovascular Systems Corporation Augmented-reality endoscopic vessel harvesting

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102197990A (zh) * 2008-04-26 2011-09-28 直观外科手术操作公司 用于手术机器人的放大立体可视化
CN102711650A (zh) * 2010-01-13 2012-10-03 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
CN102791214A (zh) * 2010-01-08 2012-11-21 皇家飞利浦电子股份有限公司 采用实时速度优化的不经校准的视觉伺服
WO2013061225A1 (en) * 2011-10-26 2013-05-02 Koninklijke Philips Electronics N.V. Endoscopic registration of vessel tree images
CN103108602A (zh) * 2010-09-15 2013-05-15 皇家飞利浦电子股份有限公司 从血管树图像对内窥镜的机器人控制

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3236070B2 (ja) * 1992-06-04 2001-12-04 オリンパス光学工業株式会社 スコープ保持装置およびスコープ装置
JP2006198032A (ja) * 2005-01-18 2006-08-03 Olympus Corp 手術支援システム
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
CN104105455B (zh) 2011-12-03 2017-04-19 皇家飞利浦有限公司 内窥镜手术中的超声探头的机器人引导
JP2015506188A (ja) 2011-12-21 2015-03-02 コーニンクレッカ フィリップス エヌ ヴェ 容積測定モダリティからの構造の未較正内視鏡のビデオへのオーバレイ及び動き補償

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102197990A (zh) * 2008-04-26 2011-09-28 直观外科手术操作公司 用于手术机器人的放大立体可视化
CN102791214A (zh) * 2010-01-08 2012-11-21 皇家飞利浦电子股份有限公司 采用实时速度优化的不经校准的视觉伺服
CN102711650A (zh) * 2010-01-13 2012-10-03 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
CN103108602A (zh) * 2010-09-15 2013-05-15 皇家飞利浦电子股份有限公司 从血管树图像对内窥镜的机器人控制
WO2013061225A1 (en) * 2011-10-26 2013-05-02 Koninklijke Philips Electronics N.V. Endoscopic registration of vessel tree images

Also Published As

Publication number Publication date
US11083529B2 (en) 2021-08-10
CN105934216B (zh) 2019-09-17
EP3096703A1 (en) 2016-11-30
JP6334714B2 (ja) 2018-05-30
US20160331475A1 (en) 2016-11-17
WO2015110934A1 (en) 2015-07-30
JP2017508499A (ja) 2017-03-30
EP3096703B1 (en) 2018-03-14

Similar Documents

Publication Publication Date Title
CN105934216A (zh) 用于机器人手术的连续图像整合
JP6982605B2 (ja) 外科用器具可視性のロボット制御
US11759266B2 (en) Robotic systems for determining a roll of a medical device in luminal networks
JP6629186B2 (ja) 解剖学的特徴からの内視鏡のロボット制御
CN103313675B (zh) 用于内窥镜手术的术中照相机校准
CN103108602B (zh) 从血管树图像对内窥镜的机器人控制
Mountney et al. Three-dimensional tissue deformation recovery and tracking
US8827934B2 (en) Method and system for determining information of extrema during expansion and contraction cycles of an object
CN103957832B (zh) 血管树图像的内窥镜配准
CN105979899A (zh) 用于设备感知柔性工具配准的系统和方法
CN102711650A (zh) 用于内窥镜手术的基于图像整合的配准和导航
JP2013509902A (ja) 距離センサを使用した衝突の回避と探知
CN112672709A (zh) 用于跟踪机器人操纵的手术器械的位置的系统和方法
CN107249427A (zh) 医疗装置、医疗图像生成方法以及医疗图像生成程序
CN116829091A (zh) 外科手术辅助系统和表示方法
Schnaider et al. Implementation and evaluation of an augmented reality system supporting minimal invasive interventions
Feuerstein Augmented reality in laparoscopic surgery: New concepts for intraoperative multimodal imaging
Molenaar Image analysis of endoscopic camera steering: robotic versus human controlled: a phantom study
Cabras 3D pose estimation of continuously deformable instruments in robotic endoscopic surgery
H Alwan COMPETENCE, VIRTUAL REALITY AND ROBOTICS IN‎ SURGERY‎

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant