CN105934216B - 机器人引导系统、控制单元和装置 - Google Patents
机器人引导系统、控制单元和装置 Download PDFInfo
- Publication number
- CN105934216B CN105934216B CN201580005449.XA CN201580005449A CN105934216B CN 105934216 B CN105934216 B CN 105934216B CN 201580005449 A CN201580005449 A CN 201580005449A CN 105934216 B CN105934216 B CN 105934216B
- Authority
- CN
- China
- Prior art keywords
- endoscope
- robot
- image
- anatomical regions
- art
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000003484 anatomy Anatomy 0.000 claims abstract description 70
- 230000003068 static effect Effects 0.000 claims abstract description 12
- 230000010354 integration Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000011521 glass Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000002224 dissection Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000000284 resting effect Effects 0.000 claims 2
- 238000000034 method Methods 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 9
- 238000009877 rendering Methods 0.000 description 8
- 239000012636 effector Substances 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 210000004351 coronary vessel Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000002052 colonoscopy Methods 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 244000144985 peep Species 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013276 bronchoscopy Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000003389 potentiating effect Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/0016—Holding or positioning arrangements using motor drive units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00681—Aspects not otherwise provided for
- A61B2017/00725—Calibration or performance testing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
Abstract
一种机器人引导系统采用内窥镜(12)、机器人(11)、机器人控制器(21)、内窥镜控制器(22)以及图像整合模块(24)。在操作中，所述机器人控制器(21)命令所述机器人(11)在所述解剖结构区域内移动所述内窥镜(12)，并且所述内窥镜控制器(22)生成对由所述内窥镜(12)生成的所述结构区域的术中内窥镜图像的内窥镜视频显示(15)。当所述内窥镜(12)在所述解剖结构区域内是静止的时，所述图像整合模块(24)将所述解剖结构区域的术前三维图像配准到所述结构区域的所述术中内窥镜图像。当在所述图像配准之后所述内窥镜(12)在所述解剖结构区域内移动时，所述图像整合模块(24)在所述解剖结构区域内跟踪所述内窥镜(12)的运动之后校准所述机器人(11)相对于所述内窥镜(12)的运动。
Description
技术领域
本发明总体上涉及在微创手术流程(例如，微创冠状动脉分流移植手 术)期间对内窥镜的机器人控制。本发明具体涉及在机器人辅助的微创手 术流程期间对术前三维(“3D”)图像与术中内窥镜图像的连续整合。
背景技术
在微创冠状动脉分流手术期间利用两种(1)成像模态。第一成像模态 是用于提取关于冠状动脉的几何结构的信息的术前3D成像(例如，计算机 断层摄影(“CT”)、磁共振成像(“MRI”)等)。第二成像模态是用于对冠 状动脉进行实时可视化的术中内窥镜成像。
通常，针对机器人辅助的微创冠状动脉分流手术，从电动机上的编码 器或能够报告机器人的相对运动的其他传感器(例如，安装在机器人轴上 的绝对编码器或者电位器)可以知晓机器人的运动。并且内窥镜对机器人 的校准需要计算对应的内窥镜运动。相机校准还需要知晓需要施加到绘图 相机的运动的量使得叠加被准确地可视化在内窥镜视频中。这两种(2)校 准均是耗时的且易于出错。这两种校准要求专用硬件和精确的测量结果，并且需要由经过训练的专业人员来执行。这能够造成手术室时间延长、流 程成本增加，并且限制对系统的临床采用。
为了解决这两种(2)校准的短处，这些成像模态可以被整合在现有技 术已知的多个阶段中。例如，第一阶段可以是图像配准阶段，所述图像配 准阶段建立来自术前3D成像的3D动脉树与在术中内窥镜图像中部分可见 的动脉树之间的集合关系。该图像配准阶段最初应用于其中在来自内窥镜 的可见反馈下执行分流的内窥镜冠状动脉分流手术，并且公开了利用使用 融合信息的机器人引导内窥镜的各种方法。基于这些图像之间的集合关系， 第二阶段可以是术前叠加阶段，所述术前叠加阶段将3D术前体积动脉树叠 加到使用未校准的内窥镜的2D内窥镜图像上。这允许外科医生从手术期间 可获得的术前扫描得到重要信息，并且将该信息配准到内窥镜中显示的解 剖结构区域。为了增强术前叠加，第三阶段可以为运动补偿阶段，所述运 动补偿阶段促进将变形的体积结构从术前3D图像叠加到3D内窥镜图像 上，以便补偿在内窥镜视频中显示的解剖结构的任何生理运动。
发明内容
本发明克服了在内窥镜因支持内窥镜的机器人的运动而造成移动的情 况下对术前3D图像与实况术中内窥镜视频之间配准信息进行更新的问题。 这确保了可以在流程开始时就执行配准，在所述流程开始之后，系统连续 更新所述配准。
更具体地，本发明在机器人辅助的无创手术期间连续地融合内窥镜视 频与术前3D图像并且将3D图像的投影显示到2D内窥镜视频上。本发明 有力影响了对针对内窥镜和机器人两者的前述自校准例程的使用，使得在 流程期间不需要明确的校准步骤。这将减少操作时间并且因消除了人类错 误而提高系统的鲁棒性。
本发明的一种形式是采用内窥镜、机器人、机器人控制器、内窥镜控 制器以及图像配准模块的机器人引导系统。在操作中，所述机器人控制器 命令所述机器人在解剖结构区域内移动所述内窥镜，并且所述内窥镜控制 器生成对由所述内窥镜生成的解剖结构区域的术中内窥镜图像的内窥镜视 频显示。由于所述内窥镜在所述解剖结构区域内是静止的，因而图像整合 模块将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的术中 内窥镜图像。由于所述内窥镜在图像配准之后在所述解剖结构区域内移动， 因而所述图像配准模块在跟踪在所述解剖结构区域内的所述内窥镜的运动 之后相对于所述内窥镜校准所述机器人的运动。
本发明的第二形式是机器人引导方法，所述机器人引导方法涉及由静 止内窥镜生成解剖结构区域的术中内窥镜图像以及解剖结构区域的术前三 维图像到解剖结构区域的术中内窥镜图像的静止配准。所述方法随后涉及 由移动的内窥镜生成解剖结构区域的术中内窥镜图像以及解剖结构区域的 术前三维图像到解剖结构区域的术中内窥镜图像的运动配准。
在本文中所使用的术语“术前”被宽泛地定义为在对解剖结构区域的 内窥镜成像之前、期间或之后运行的用于采集解剖结构区域的三维图像的 目的的任何活动。并且在本文中所使用的术语“术中”被宽泛地定义为在 对解剖结构区域的内窥镜成像期间由机器人单元和控制单元运行的任何活 动。解剖结构区域的内窥镜成像的范例包括，但不限于，CABG、支气管镜 检查、结肠镜检查、腹腔镜检查以及脑内窥镜检查。
根据结合附图阅读的本发明的各个实施例的以下详细说明，本发明的 前述形式和其他形式以及各个特征和优点将进一步变得明显。详细的说明 书和附图仅仅是图示本发明而不是限制本发明，本发明的范围由权利要求 及其等价方案来定义。
附图说明
图1图示了根据本发明的机器人引导系统的示范性实施例；
图2图示了表示根据本发明的机器人引导方法的示范性实施例的流程 图；
图3图示了表示根据本发明的静止配准方法的示范性实施例的流程图；
图4图示了表示根据本发明的运动配准方法的示范性实施例的流程图；
图5图示了表示根据本发明的运动跟踪方法的示范性实施例的流程图；
图6图示了根据本发明示范性门控采集；
图7图示了根据本发明的内窥镜视频中的示范性位置跟踪。
具体实施方式
如图1所示，机器人引导系统采用机器人单元10和控制单元20，所示 机器人单元10和所述控制单元20用于任何内窥镜流程，尤其是用于涉及 对具有一个或多个分叉(即，分支)的血管树的内窥镜成像的内窥镜流程。 这样的内窥镜流程的范例包括，但不限于，微创心脏手术(例如，冠状动 脉旁路移植或二尖瓣置换术)。
机器人单元10包括机器人11、刚性附接到机器人11的内窥镜12，以 及附接到内窥镜12的视频捕捉设备13。
机器人11在本文中被广泛定义为在结构上被配置具有对一个或多个接 合点的机动控制以用于根据特定内窥镜流程的期望来操控终端执行器的任 何机器人设备。在实践中，机器人11可以具有四(4)个自由度，例如， 如具有与刚性节段串行连接的关节的串行机器人、具有以并行顺序安装的 关节和刚性节段的并行机器人或者串行运动学和并行运动学的任何混合组 合。
内窥镜12在本文中被广义地定义为在结构上被配置有从身体内部进行 成像的能力的任何设备。用于本发明的目的的内窥镜12的范例包括，但不 限于，任何类型的窥镜，柔性或刚性(例如，内窥镜、关节内窥镜、支气 管窥镜、胆总管窥镜、结肠窥镜、膀胱窥镜、十二指肠窥镜、胃窥镜、子 宫窥镜、腹腔内窥镜、喉镜、神经窥镜、耳镜、推入式肠镜、鼻喉镜、乙状结肠镜、窦腔镜、喉咙镜等)以及类似于装备有图像系统的窥镜的任何 设备(例如，具有成像的嵌套式套管)。成像是局部的，并且表面图像可以 利用光纤、透镜和小型化(例如，基于CCD的)成像系统以光学方式获得。
实际上，内窥镜12被安装到机器人11的终端执行器。机器人11的终 端执行器的姿势是终端执行器在机器人11致动器的坐标系内的位置和取 向。利用被安装到机器人11的终端执行器的内窥镜12，在解剖结构区域内 的内窥镜12的视场的任何给定姿势对应于机器人11在机器人坐标系内的 终端执行器的不同姿势。因此，由内窥镜12生成的血管树的每幅内窥镜图 像可以被链接到解剖结构区域内的内窥镜12的对应姿势。
视频捕捉设备13在本文中被广义地定义为在结构上被配置具有将来自 内窥镜12的术中内窥镜视频信号转换成术中内窥镜图像(“IOEI”)14的计 算机可读时间序列的能力的任何设备。在实践中，视频捕捉设备13可以采 用任何类型的帧抓取器以捕捉来自术中内窥镜视频信号的个体数字静止 帧。
仍然参考图1，控制单元20包括机器人控制器21和内窥镜控制器22。
机器人控制器21在本文中被广义地定义为在结构上被配置为向机器人 11提供一个或多个机器人致动器命令(“RAC”)26以按照内窥镜流程的期 望来控制机器人11的终端执行器的姿势的任何控制器。更具体地，机器人 控制器21将来自内窥镜控制器的内窥镜位置命令(“EPC”)转换成机器人 致动器命令26。例如，内窥镜位置命令25可以指示导向解剖结构区域内的 内窥镜12的视场的期望的3D位置的内窥镜路径，由此机器人控制器21将 命令25转换成命令26，所述命令26包括机器人11的每个电动机所需的用 于将内窥镜12移动到期望的3D位置的致动电流。
内窥镜控制器22在本文中被广义地定义为在结构上被配置为生成术中 内窥镜图像(“IOEI”)14的内窥镜视频显示15的任何控制器。
本发明提供了分布在控制器21与22之间的图像整合模块24，用于运 行如图2所示的流程图40，进而用于术中内窥镜图像14到术前3D图像 (“POI”)30的连续整合。现在将在本文中提供对流程图40的描述，以促 进对图像整合模块24的进一步理解。在实践中，流程图40可以涉及机器 人11被定位的预步骤，籍此机器人11的旋转中心与到患者的进入点一致， 以及内窥镜12被插入到患者的身体中以促进实况视频流15。
参考图2，流程图40的阶段S42涵盖术前3D图像30到术中内窥镜图 像40的静止配准，流程图40的阶段S44涵盖从阶段S42的静止配准导出 的机器人11到内窥镜12的运动校准，并且流程图40的阶段S46涵盖从阶 段S44的运动校准导出的对机器人的运动跟踪。
如图3所示的流程图50表示阶段S42的一个实施例。流程图50的阶 段S52涵盖模块24基于在现有技术中已知的动脉树和/或静脉树将术前3D 图像30配准到术中内窥镜图像14。鉴于内窥镜12未被校准，阶段S52将 把虚拟相机在3D图像30的坐标框架中的位置返回为4×4变换矩阵CTT相机。
流程图50的阶段S54涵盖现有技术已知的将提取/分割的3D体积动脉 树和/或静脉树叠加到术中内窥镜图像14上的模块24。该叠加将示出术前 3D图像30在内窥镜视频显示15上的投影。
流程图50的阶段S56涵盖运行现有技术已知的运动补偿算法以跟踪术 中内窥镜图像14上的点(例如，动脉树和/或静脉树的节点)并更新该叠加 图像的模块24。更具体地，由模块24对运动补偿算法的运行计算出3×3 矩阵H，所述3×3矩阵H将点从一个内窥镜视图变换到另一内窥镜视图：
在阶段S44(图2)的一个实施例中，如图4所示的流程图60涉及机 器人操作的慢模式，以允许对内窥镜视图14的点(例如，动脉树和/或静脉 树的节点)的准确跟踪。
在用户执行机器人11的第一运动之后，流程图60的阶段S62涵盖使 用阶段S56(图3)的单应矩阵H并重复阶段S52来重新计算阶段S52(图 3)的2D内窥镜点，以计算运动之后的相机变换矩阵。在此之后，使用运 动之前的变换矩阵和运动之后的变换矩阵来计算总相对运动：
流程图60的阶段S64涵盖记录根据使用现有技术已知的机器人编码器 或其他传感器导出的运动之前的机器人顶部位置和运动之后的机器 人顶部位置由于系统的未校准的性质，确切的顶部位置是未知的， 因此使用虚拟的顶部位置：虚拟顶部位置能够是大 于零的任何数目或任何数学符号。
针对流程图60的阶段S66，根据以下来计算机器人对相机的相对校准。 在理想情况中，如果系统被校准，则CTTcm＝CTTrm并且新的配准能够通过将已 知的机器人运动应用于相机位置来计算。如果系统未被校准并且相机位置 和机器人顶部位置未反映环境(例如，手术室)中的物理布置，则这两者 与校准矩阵具有如下关系：安全的是，确保该矩阵在 流程的整个长度期间是恒定的。只要使用该内窥镜12(相机的相同焦距) 时保持该假设。在引入不同的内窥镜的情况下，视频流被暂时中断并且必 须针对新的内窥镜运行图像配准流程图50。
为了继续阶段S66，从针对一个位置的刚性变换CTT相机＝机器人T顶部×T校准推断 出由于CTTcm和CTTrm两者都是已知的，因此能够根据来计算T校准。该类型的等式被称为西尔维斯特(Sylvester) 等式并且能够由本领域技术人员明确计算出。
当在背景中执行阶段S62-S66之后，机器人11被返回到操作的正常速 度，这是因为对点的跟踪不再是必要的。
在阶段S46(图2)的一个实施例中，如图5示出的流程图70涉及用 于执行机器人11的另一运动而无需跟踪术中内窥镜图像14中的点。这样， 流程图70的阶段S72涵盖由而根据机器人的新位置 来计算内窥镜13的相机的新位置的模块24。
流程图70的阶段S74涵盖模块计算由阶段S54(图3)教导的新叠加 的模块24。对阶段S72和S74进行重复直到流程结束或直到要求针对新的 内窥镜的新的配准。
参考回到图2和图4，可以通过重复流程图60多次(N次)来改进阶 段S42的准确度。针对这样的重复，阶段S66被修改为执行对来自N次西 尔维斯特类型的等式的系统的T校准的校准。由于该数学问题被过多的定义， 因此能够使用现有技术已知的优化方法来找到解(例如， Levenberg-Marquardt阻尼的最小二乘拟合)。这能够被重复N次或者直到优 化算法的拟合误差返回到小于预定义的准确要求的误差。该实施例通过平 衡流程图60的机器人慢运动的持续时间来确保准确的图像叠加。
参考图2-4，阶段S42和S44可以被修改为对移动的器官(例如，心脏) 进行周期性寻址。在该情况下，为了将心脏运动与机器人11的运动分开， 必须在周期性运动的完全相同的相位处执行阶段S56(图3)和阶段S62(图 4)。在该实施例中，ECG信号能够用于门控对内窥镜图像14的采集。例如， 图6示出了ECG信号80。如果机器人运动在时间t1处开始并且在时间t2 处结束，则模块24将仅在心脏返回到与时间t1相同的相位(例如，时间t3) 之后在单应匹配阶段S56和S62内采集内窥镜图像14。这能够由现有技术 中已知的信号匹配算法来实现。
备选地，如果ECG信号是不可获得的，则模块24可以按照现有技术 已知的来观察心脏上的点运动，如在图7中示出的利用位置迹线81示出的 范例。这些信号X和Y的形状能够被拟合到前向信号滤波器并且使用现有 技术已知的前向滤波方法了而被用于预测心脏运动。
根据对本文中的图1-7的描述，本领域技术人员将意识到本发明的众多 益处，包括但不限于，本发明对于在任何解剖结构区域上执行的任何类型 的内窥镜检查手术的应用。
尽管已经图示和描述了本发明的各种实施例，但是本领域技术人员应 当理解，在本文中所描述的本发明的实施例是图示性的，并且可以做出各 种修改和修正，并且在不脱离本发明的真实范围的情况下可以对其元件替 换等价方案。另外，可以在不脱离本发明的中心范围的情况下做出许多修 正以调整本发明的教导。因此，本发明并非旨在被限制到被如由预期用于 执行本发明的最佳模式所公开的具体实施例，而是旨在包括落入权利要求的范围内的所有实施例。
Claims (25)
1.一种机器人引导系统，包括：
机器人单元(10)，其包括：
内窥镜(12)，其能用于生成解剖结构区域的术中内窥镜图像，以及
机器人(11)，其操作性地连接到所述内窥镜(12)以在所述解剖结构区域内移动所述内窥镜(12)；以及
控制单元(20)，其包括：
机器人控制器(21)，其操作性地连接到所述机器人(11)以命令所述机器人(11)在所述解剖结构区域内移动所述内窥镜(12)，
内窥镜控制器(22)，其操作性地连接到所述内窥镜，以生成所述解剖结构区域的所述术中内窥镜图像的内窥镜视频显示(15)，以及
图像整合模块(24)，其操作性地分布在所述机器人控制器(21)与所述内窥镜控制器(22)之间，
其中，当所述内窥镜(12)在所述解剖结构区域内是静止的时，所述图像整合模块(24)能用于将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的所述术中内窥镜图像，并且
其中，当在所述术前三维图像与所述术中内窥镜图像的配准之后所述内窥镜(12)在所述解剖结构区域内移动时，所述图像整合模块(24)能用于校准所述机器人(11)相对于所述内窥镜(12)的运动，并且对所述机器人(11)相对于所述内窥镜(12)的运动校准与所述解剖结构区域的周期性运动是同相的。
2.根据权利要求1所述的机器人引导系统，其中，在对所述机器人(11)相对于所述内窥镜(12)的运动校准之后，所述图像整合模块(24)能用于跟踪所述内窥镜(12)的运动。
3.根据权利要求2所述的机器人引导系统，其中，在由所述图像整合模块(24)跟踪所述内窥镜(12)的所述运动之前，由所述图像整合模块(24)重复多次对所述机器人(11)相对于所述内窥镜(12)的运动校准。
4.根据权利要求1所述的机器人引导系统，其中，所述术前三维图像与所述术中内窥镜图像的配准与所述解剖结构区域的周期性运动是同相的。
5.根据权利要求1所述的机器人引导系统，其中，所述图像整合模块(24)能用于将术前三维图像的分割的部分叠加到所述术中内窥镜图像上。
6.根据权利要求5所述的机器人引导系统，其中，所述图像整合模块(24)能用于根据跟踪在所述术中内窥镜图像上的至少一个点来更新所述叠加。
7.根据权利要求1所述机器人引导系统，其中，所述图像整合模块(24)能用于根据所述术前三维图像与所述术中内窥镜图像的配准并且根据当所述内窥镜(12)从所述解剖结构区域内的静止位置移动时跟踪所述术中内窥镜图像上的特征来计算所述术前三维图像与所述术中内窥镜图像之间的相对运动变换矩阵。
8.根据权利要求7所述的机器人引导系统，其中，所述图像整合模块(24)能用于计算所述内窥镜(12)的虚拟位置从所述解剖结构区域内的先前静止位置到当前位置的位置变换矩阵。
9.根据权利要求8所述的机器人引导系统，其中，所述图像整合模块(24)能用于计算所述机器人(11)到所述内窥镜(12)的相对校准。
10.一种用于连接到内窥镜(12)的机器人(11)的控制单元(20)，所述内窥镜(12)生成解剖结构区域的术中内窥镜图像；所述控制单元(20)包括：
机器人控制器(21)，其能用于命令所述机器人(11)在所述解剖结构区域内移动所述内窥镜(12)；
内窥镜控制器(22)，其操作性地连接到所述内窥镜，以生成对所述解剖结构区域的所述术中内窥镜图像的内窥镜视频显示(15)；以及
图像整合模块(24)，其操作性地分布在所述机器人控制器(21)与所述内窥镜控制器(22)之间；
其中，当所述内窥镜(12)在所述解剖结构区域内是静止的时，所述图像整合模块(24)能用于将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的所述术中内窥镜图像，并且
其中，当在所述术前三维图像与所述术中内窥镜图像的配准之后所述内窥镜(12)在所述解剖结构区域内移动时，所述图像整合模块(24)能用于校准所述机器人(11)相对于所述内窥镜(12)的运动，并且所述术前三维图像与所述术中内窥镜图像的配准与所述解剖结构区域的周期性运动是同相的。
11.根据权利要求10所述的控制单元(20)，其中，在所述机器人(11)相对于所述内窥镜(12)的运动校准之后，所述图像整合模块(24)能用于跟踪所述内窥镜(12)在所述解剖结构区域内的运动。
12.根据权利要求11所述的控制单元(20)，其中，在由所述图像整合模块(24)跟踪所述内窥镜(12)的所述运动之前由所述图像整合模块(24)重复多次对所述机器人(11)相对于所述内窥镜(12)的运动校准。
13.根据权利要求10所述的控制单元(20)，其中，所述机器人(11)相对于所述内窥镜(12)的运动校准与所述解剖结构区域的周期性运动是同相的。
14.一种用于机器人引导的装置，包括：
用于当内窥镜(12)在解剖结构区域内是静止的时，将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的术中内窥镜图像的单元；以及
用于当在所述术前三维图像与所述术中内窥镜图像的所述配准之后所述内窥镜(12)在所述解剖结构区域内移动时，校准所述机器人(11)相对于所述内窥镜(12)的运动的单元；
其中，所述术前三维图像与所述术中内窥镜图像之间的所述配准与所述解剖结构区域的周期性运动是同相的。
15.根据权利要求14所述的装置，还包括：
用于在对所述机器人(11)相对于所述内窥镜(12)的运动校准之后跟踪所述内窥镜(12)在所述解剖结构区域内的运动的单元。
16.根据权利要求15所述的装置，其中，在对所述内窥镜(12)的所述运动的所述跟踪之前重复多次对所述机器人(11)相对于所述内窥镜(12)的所述运动校准。
17.一种用于机器人引导的装置，包括：
用于当内窥镜(12)在解剖结构区域内是静止的时，将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的术中内窥镜图像的单元；以及
用于当在所述术前三维图像与所述术中内窥镜图像的所述配准之后所述内窥镜(12)在所述解剖结构区域内移动时，校准所述机器人(11)相对于所述内窥镜(12)的运动的单元，
其中，所述机器人(11)相对于所述内窥镜(12)的所述运动校准与所述解剖结构区域的周期性运动是同相的。
18.根据权利要求17所述的装置，还包括：
用于在对所述机器人(11)相对于所述内窥镜(12)的运动校准之后跟踪所述内窥镜(12)在所述解剖结构区域内的运动的单元。
19.根据权利要求18所述的装置，其中，在对所述内窥镜(12)的所述运动的所述跟踪之前重复多次对所述机器人(11)相对于所述内窥镜(12)的所述运动校准。
20.一种机器人引导系统，包括：
机器人单元(10)，包括：
内窥镜(12)，其能用于生成解剖结构区域的术中内窥镜图像，以及
机器人(11)，其操作性地连接到所述内窥镜(12)，以在所述解剖结构区域内移动所述内窥镜(12)；以及
控制单元(20)，其包括：
机器人控制器(21)，其操作性地连接到所述机器人(11)，以命令所述机器人(11)在所述解剖结构区域内移动所述内窥镜(12)，
内窥镜控制器(22)，其操作性地连接到所述内窥镜，以生成对所述解剖结构区域的所述术中内窥镜图像的内窥镜视频显示(15)，以及
图像整合模块(24)，其操作性地分布在所述机器人控制器(21)与所述内窥镜控制器(22)之间，
其中，当所述内窥镜(12)在所述解剖结构区域内是静止的时，所述图像整合模块(24)能用于将所述解剖结构区域的术前三维图像配准到所述解剖结构区域的所述术中内窥镜图像，并且
其中，当在所述术前三维图像与所述术中内窥镜图像的配准之后所述内窥镜(12)在所述解剖结构区域内移动时，所述图像整合模块(24)能用于校准所述机器人(11)相对于所述内窥镜(12)的运动，并且所述术前三维图像与所述术中内窥镜图像的配准与所述解剖结构区域的周期性运动是同相的。
21.根据权利要求20所述的机器人引导系统，其中，所述图像整合模块(24)能用于将术前三维图像的分割的部分叠加到所述术中内窥镜图像上。
22.根据权利要求21所述的机器人引导系统，其中，所述图像整合模块(24)能用于根据跟踪在所述术中内窥镜图像上的至少一个点来更新所述叠加。
23.根据权利要求20所述机器人引导系统，其中，所述图像整合模块(24)能用于根据所述术前三维图像与所述术中内窥镜图像的配准并且根据当所述内窥镜(12)从所述解剖结构区域内的静止位置移动时跟踪所述术中内窥镜图像上的特征来计算所述术前三维图像与所述术中内窥镜图像之间的相对运动变换矩阵。
24.根据权利要求23所述的机器人引导系统，其中，所述图像整合模块(24)能用于计算所述内窥镜(12)的虚拟位置从所述解剖结构区域内的先前静止位置到当前位置的位置变换矩阵。
25.根据权利要求24所述的机器人引导系统，其中，所述图像整合模块(24)能用于计算所述机器人(11)到所述内窥镜(12)的相对校准。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201461931168P | 2014-01-24 | 2014-01-24 | |
| US61/931,168 | 2014-01-24 | ||
| PCT/IB2015/050271 WO2015110934A1 (en) | 2014-01-24 | 2015-01-14 | Continuous image integration for robotic surgery |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105934216A CN105934216A (zh) | 2016-09-07 |
| CN105934216B true CN105934216B (zh) | 2019-09-17 |
Family
ID=52574194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580005449.XA Active CN105934216B (zh) | 2014-01-24 | 2015-01-14 | 机器人引导系统、控制单元和装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11083529B2 (zh) |
| EP (1) | EP3096703B1 (zh) |
| JP (1) | JP6334714B2 (zh) |
| CN (1) | CN105934216B (zh) |
| WO (1) | WO2015110934A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170084036A1 (en) * | 2015-09-21 | 2017-03-23 | Siemens Aktiengesellschaft | Registration of video camera with medical imaging |
| EP3355823A1 (en) * | 2015-09-28 | 2018-08-08 | Koninklijke Philips N.V. | Single-port surgical procedure using image guided articulated robot |
| WO2018046094A1 (de) * | 2016-09-09 | 2018-03-15 | Siemens Aktiengesellschaft | Verfahren zum betreiben eines endoskops, endoskop sowie vitalparametermonitor |
| IT201800000673U1 (it) * | 2018-01-11 | 2019-07-11 | Apparato robotizzato per operazioni chirurgiche | |
| JP6990292B2 (ja) * | 2018-02-21 | 2022-01-12 | オリンパス株式会社 | 医療システムおよび医療システムの作動方法 |
| USD1022197S1 (en) | 2020-11-19 | 2024-04-09 | Auris Health, Inc. | Endoscope |
| US11508089B2 (en) * | 2021-03-05 | 2022-11-22 | Black Sesame Technologies Inc. | LiDAR assisted wheel encoder to camera calibration |
| US20230053189A1 (en) * | 2021-08-11 | 2023-02-16 | Terumo Cardiovascular Systems Corporation | Augmented-reality endoscopic vessel harvesting |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102197990A (zh) * | 2008-04-26 | 2011-09-28 | 直观外科手术操作公司 | 用于手术机器人的放大立体可视化 |
| CN102711650A (zh) * | 2010-01-13 | 2012-10-03 | 皇家飞利浦电子股份有限公司 | 用于内窥镜手术的基于图像整合的配准和导航 |
| CN102791214A (zh) * | 2010-01-08 | 2012-11-21 | 皇家飞利浦电子股份有限公司 | 采用实时速度优化的不经校准的视觉伺服 |
| CN103108602A (zh) * | 2010-09-15 | 2013-05-15 | 皇家飞利浦电子股份有限公司 | 从血管树图像对内窥镜的机器人控制 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3236070B2 (ja) * | 1992-06-04 | 2001-12-04 | オリンパス光学工業株式会社 | スコープ保持装置およびスコープ装置 |
| JP2006198032A (ja) * | 2005-01-18 | 2006-08-03 | Olympus Corp | 手術支援システム |
| US8900131B2 (en) * | 2011-05-13 | 2014-12-02 | Intuitive Surgical Operations, Inc. | Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery |
| JP6251681B2 (ja) | 2011-10-26 | 2017-12-20 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 血管ツリー画像の内視鏡的位置合わせ |
| WO2013080124A1 (en) | 2011-12-03 | 2013-06-06 | Koninklijke Philips Electronics N.V. | Robotic guidance of ultrasound probe in endoscopic surgery |
| US20140347353A1 (en) | 2011-12-21 | 2014-11-27 | Koninklijke Philips N.V. | Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope |
-
2015
- 2015-01-14 CN CN201580005449.XA patent/CN105934216B/zh active Active
- 2015-01-14 WO PCT/IB2015/050271 patent/WO2015110934A1/en active Application Filing
- 2015-01-14 EP EP15706059.1A patent/EP3096703B1/en active Active
- 2015-01-14 US US15/112,709 patent/US11083529B2/en active Active
- 2015-01-14 JP JP2016547077A patent/JP6334714B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102197990A (zh) * | 2008-04-26 | 2011-09-28 | 直观外科手术操作公司 | 用于手术机器人的放大立体可视化 |
| CN102791214A (zh) * | 2010-01-08 | 2012-11-21 | 皇家飞利浦电子股份有限公司 | 采用实时速度优化的不经校准的视觉伺服 |
| CN102711650A (zh) * | 2010-01-13 | 2012-10-03 | 皇家飞利浦电子股份有限公司 | 用于内窥镜手术的基于图像整合的配准和导航 |
| CN103108602A (zh) * | 2010-09-15 | 2013-05-15 | 皇家飞利浦电子股份有限公司 | 从血管树图像对内窥镜的机器人控制 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017508499A (ja) | 2017-03-30 |
| EP3096703B1 (en) | 2018-03-14 |
| US20160331475A1 (en) | 2016-11-17 |
| JP6334714B2 (ja) | 2018-05-30 |
| WO2015110934A1 (en) | 2015-07-30 |
| EP3096703A1 (en) | 2016-11-30 |
| US11083529B2 (en) | 2021-08-10 |
| CN105934216A (zh) | 2016-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105934216B (zh) | 机器人引导系统、控制单元和装置 | |
| CN105188594B (zh) | 根据解剖特征对内窥镜的机器人控制 | |
| CN102123651B (zh) | 内窥镜系统 | |
| CN103108602B (zh) | 从血管树图像对内窥镜的机器人控制 | |
| CN105992568B (zh) | 手术仪器可见性的机器人控制 | |
| Mountney et al. | Three-dimensional tissue deformation recovery and tracking | |
| US7922652B2 (en) | Endoscope system | |
| CN103313675A (zh) | 用于内窥镜手术的术中照相机校准 | |
| JP5846385B2 (ja) | 内視鏡操作システム | |
| JP2013509902A (ja) | 距離センサを使用した衝突の回避と探知 | |
| CN102711650A (zh) | 用于内窥镜手术的基于图像整合的配准和导航 | |
| JP6521511B2 (ja) | 手術トレーニング装置 | |
| Noonan et al. | A stereoscopic fibroscope for camera motion and 3D depth recovery during minimally invasive surgery | |
| JP2011206251A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN107249427A (zh) | 医疗装置、医疗图像生成方法以及医疗图像生成程序 | |
| CN104428818A (zh) | 使用便携式设备的术前数据在实况视频上的叠加与配准 | |
| CN114305684B (zh) | 一种自主多自由度扫描型内窥镜微创手术导航装置及其系统 | |
| CN115462903B (zh) | 一种基于磁导航的人体内外部传感器协同定位系统 | |
| Speidel et al. | Interventional imaging: vision | |
| CN115290076A (zh) | 一种基于多传感器融合的人体关节角数据处理方法 | |
| Höller et al. | Spatial orientation in translumenal surgery | |
| CN117796745B (zh) | 一种估计消化内镜镜头进退距离的方法 | |
| US20230032791A1 (en) | Measuring method and a measuring device | |
| Reilink | Image-based robotic steering of advanced flexible endoscopes and instruments | |
| Cabras | 3D pose estimation of continuously deformable instruments in robotic endoscopic surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |