CN106572887A - X射线套件中的图像整合和机器人内窥镜控制 - Google Patents
X射线套件中的图像整合和机器人内窥镜控制 Download PDFInfo
- Publication number
- CN106572887A CN106572887A CN201580038322.8A CN201580038322A CN106572887A CN 106572887 A CN106572887 A CN 106572887A CN 201580038322 A CN201580038322 A CN 201580038322A CN 106572887 A CN106572887 A CN 106572887A
- Authority
- CN
- China
- Prior art keywords
- calibration
- robotic tool
- controller
- ray
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010354 integration Effects 0.000 title claims description 27
- 230000004044 response Effects 0.000 claims description 20
- 239000011521 glass Substances 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 58
- 230000008569 process Effects 0.000 description 40
- 238000005516 engineering process Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 8
- 238000006798 ring closing metathesis reaction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000001839 endoscopy Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002357 laparoscopic surgery Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 206010060965 Arterial stenosis Diseases 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 238000013276 bronchoscopy Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000004224 pleura Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/062—Measuring instruments not otherwise provided for penetration depth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种用于在X射线图像空间(35)内校准具有远侧顶端(46)的机器人器械(42)的工作站。所述工作站采用校准控制器(50)以用于响应于所述机器人器械(42)的所述远侧顶端(46)在所述X射线图像空间(35)内的不同姿态的X射线图像(36)而校准所述机器人器械(42)的RCM长度，并且所述工作站还采用机器人器械控制器(40)以用于根据所述RCM校准来控制在所述X射线图像空间(35)内对所述机器人器械(42)的引导。所述机器人器械(42)可以包括内窥镜，由此所述校准控制器(50)还被用于响应于X射线图像空间(35)的所述X射线图像(36)和一幅或多幅内窥镜图像(48)而校准所述机器人器械(42)的焦距，以用于根据所述RCM/焦距校准而在所述X射线图像空间(35)内的引导。
Description
技术领域
本发明总体涉及利用在微创流程(例如，心脏手术、腹腔镜手术、经自然腔道手术、单切口腹腔镜手术、肺/支气管镜检查手术和诊断介入)期间采集的X射线图像来执行针对机器人内窥镜的校准流程。本发明更具体涉及对用于在微创流程期间引导机器人内窥镜的X射线/内窥镜图像的整合(integration)。
背景技术
微创手术使用通过小端口被插入到患者身体中的细长器械来执行。在这些流程期间的主要可视化方法是内窥镜检查。在机器人引导的微创手术中，器械中的一个或多个通过机器人设备、特别是内窥镜来保持和控制。
具体地，被放置在患者身体上的小端口是仅有的切口点，器械和内窥镜可以穿过所述切口点进入患者的内部。这样，器械能够围绕这些支点旋转，但是它们不能在端口强加平移力，因为这将对患者造成损伤和损害。这对于机器人引导的手术而言是尤其重要的，因为机器人可能潜在地施加大的力。
这样，一些已知的机器人通过强迫在端口处仅可以执行旋转并且在该端口处的所有平移力都被消除而在支点处实施所谓的远程运动中心(RCM)。这能够通过实施具有在空间中的特定位置处的远程运动中心的机械设计并且然后将空间中的该点与端口对齐来实现。
一旦机器人被插入到患者身体中并且适当的RCM位置被选择，机器人就能够根据内窥镜图像来进行控制。为了使控制环闭合，图像坐标与机器人关节空间之间的数学变换必须被建立(在本领域中被称为图像雅可比矩阵)。整个过程在本领域中被称为系统校准，并且需要各种步骤，诸如相机和机器人校准。此外，为了提供完全校准，在相机与考虑中的器官/对象之间的深度需要被测量，并且这样的测量通常根据图像或者使用专用传感器。
术中X射线成像可以被用于补充在流程期间的内诊镜检查。例如，对于微创冠状动脉旁路手术，术中X射线被用于识别动脉狭窄或者确认血管再形成。因为该成像模态使用电离辐射，所以对于患者和手术室职员来说减少在流程期间所采集的X射线图像的数量是有益的。
为了改善两种成像模态的质量，系统必须允许模态之间的目标交叉识别。例如，如果动脉狭窄在内窥镜图像中不可见而在X射线图像中可见，则整合这些图像并在内窥镜图像中描绘狭窄的方法将极大改善工作流程，并且减少操作时间，以及降低并发症的可能性。此外，根据X射线图像对内窥镜的控制将导致对内窥镜的视场之外的目标的更好的可视化和检测。
为了执行所有这些整合，对内窥镜的校准以及对机器人的校准必须被执行。校准手术室中的机器人和内窥镜的过程受制于各种问题。
一个问题是，相机校准是需要由经过训练的人在手术之前执行的额外步骤。该过程是耗时且易出错的。
第二问题是，如果用户在手术期间改变相机参数中的一些参数(例如，缩放)，那么内窥镜必须被从患者移除并且被重新校准，这可能是不可接受的，因为其将中断工作流程。
第三问题是，如果用户相对于机器人移动内窥镜(例如，更深地插入到身体中，以在没有光学缩放的普通种类的内窥镜的情况下执行机械缩放)，那么系统必须被重新校准或机器人必须使用额外的传感器。
第四问题是，校准可能需要深度信息，所述深度信息是使用深度发现算法可得到的(例如，来自运动的形状或类似物)，但是这种测量通常是含噪声的，这可能引起不稳定性。
这些问题可能降低系统的可用性并且干扰工作流程，这将导致流程成本的增加和较低的可接受率。
发明内容
本发明提供了一种用于根据在微创流程(例如，心脏手术、腹腔镜手术、经自然腔道手术、单切口腹腔镜手术、肺/支气管镜检查手术和诊断介入)期间采集的X射线图像来执行针对机器人器械的一系列校准的校准控制器。
本发明还提供了一种用于整合X射线/内窥镜图像以及根据X射线图像促进对机器人内窥镜的引导的校准控制器。
本发明的一种形式是一种用于在X射线模态的X射线图像空间内校准具有远侧顶端的机器人器械的工作站。所述工作站采用校准控制器，所述校准控制器用于响应于由X射线模态生成所述机器人器械的远侧顶端在X射线图像空间内的不同姿态的多幅X射线图像，来校准所述机器人器械的RCM长度。所述工作站还采用机器人器械控制器，所述机器人器械控制器用于根据由所述校准控制器对所述机器人器械的RCM长度的所述校准来控制对所述X射线图像空间内的所述机器人器械的引导。
出于本发明的目的，包括但不限于“工作站”、“校准”、“X射线图像”、“X射线图像空间”、“X射线模态”、“焦点顶端”、“姿态”和“引导”的本领域的术语应当如在本发明的领域中理解的那样并且如在本文中示例性描述的那样进行解读。
出于本发明的目的，
(1)术语“机器人器械”宽泛地涵盖了由球形机器人保持的器械的所有结构配置，
(2)术语“器械”宽泛地涵盖了如在本领域中已知的在微创流程期间使用的任何和所有器械、工具等，包括但不限于：任何类型的窥镜、抓取器、剪切器和超声探头。
(3)术语“球形机器人”宽泛地涵盖了被结构地配置有如在本发明的领域中理解并且如在本文中示例性地描述的同心地连接用于实施远程运动中心(“RCM”)的臂节段的一个或多个关节的机动化控制的任何机器人设备，以及
(4)术语“RCM长度”宽泛地涵盖了如在本发明的领域中理解并且如在本文中示例性地描述的在圆形机器人的RCM与由该圆形机器人保持的器械的远侧顶端之间的距离的长度。
本发明的第二形式涉及专有地或内含地包括内窥镜的机器人器械以及所述工作站，所述工作站采用校准控制器，以用于响应于由X射线模态生成前面提到的X射线图像并且还响应于由所述机器人器械生成X射线图像空间中的一幅或多幅内窥镜图像，来校准所述机器人器械的焦距(focal length)。
根据对RCM长度的校准以及机器人器械的焦距，所述校准控制器还可以控制用于显示的X射线图像和(一幅或多幅)内窥镜图像的图像整合。
出于本发明的目的，还包括但不限于“内窥镜图像”、“图像整合”和“显示器”的本领域的术语应当如在本发明的领域中理解的那样并且如在本文中示例性地描述的那样进行解读。
出于本发明的目的，术语“内窥镜”宽泛地涵盖了如在本发明的领域中理解的并且如在本文中示例性地描述的被结构地配置有从身体的内部进行成像的能力。
内窥镜的范例包括但不限于任何类型的窥镜：柔性的或刚性的(例如，内窥镜、关节镜、气管镜、胆总管镜、结肠窥镜、膀胱镜、十二指肠镜、胃镜、腹腔镜、喉头镜、神经镜、耳镜、推进式肠镜、鼻喉镜、乙状结肠镜、窦腔镜、胸膜检查镜、阴道镜、胸腔镜、乙状结肠镜、神经内窥镜等)以及与配备有图像系统的窥镜类似的任何设备)。成像是局部的，并且表面图像可以利用光纤、透镜、和微型化的(例如，基于CCD的)成像系统(例如，腹腔镜超声)光学地获得。
出于本发明的目的，术语“焦距”宽泛地涵盖了如在本发明的领域中理解的并且如在本文中示例性地描述的从远侧焦点顶端延伸的内窥镜的视场的长度。
出于本发明的目的，术语“控制器”宽泛地涵盖了被容纳在工作站内或者被链接到工作站的专用主板或专用整合电路的所有结构配置，以用于如在本文中顺序地描述的那样控制本发明的各种创造性原理的应用。控制器的结构配置可以包括但不限于：(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)插槽和(一个或多个)端口。
工作站的范例包括但不限于一个或多个计算设备(例如，客户端计算机、台式电脑和平板电脑)、显示器/监测器以及一个或多个输入设备(例如，键盘、控制杆和鼠标)的组装。
本发明的第三形式是所述校准器控制器采用如下形式的应用模块：机器人器械校准器，其用于响应于所述X射线图像和(一幅或多幅)所述内窥镜图像来校准所述机器人器械的RCM长度和焦距；以及图像整合器，其用于响应于所述机器人器械的RCM长度和焦距的机器人内窥镜校准器的所述校准来整合所述X射线图像和(一幅或多幅)所述内窥镜图像。
出于本发明的目的，术语“应用模块”宽泛地涵盖了由用于执行特定应用的电路和/或可执行程序(例如，可执行软件和/或固件)组成的控制器的部件。
本发明的前述形式和其它形式以及本发明的各种特征和优点根据结合附图阅读的本发明的各种实施例的下述详细描述将变得更显而易见。详细描述和附图仅说明本发明而非限制本发明，本发明的范围由所附的权利要求书和其等同物来限定。
附图说明
图1图示了根据本发明的创造性原理的微创流程和控制器套件的示例性实施例。
图2图示了根据本发明的创造性原理的微创控制系统的示例性实施例。
图3图示了根据本发明的创造性原理的机器人内窥镜的示例性实施例。
图4图示了根据本发明的创造性原理的基于工作站的微创控制系统的示例性实施例。
图5图示了根据本发明的创造性原理的表示RCM长度计算方法的示例性实施例的流程图。
图6A-6E图示了在图5中示出的流程图的示例性执行。
图7图示了根据本发明的创造性原理的表示焦距计算方法的示例性实施例的流程图。
图8A-8D图示了在图7中示出的流程图的示例性执行。
图9A-9D图示了根据本发明的创造性原理的X射线图像和内窥镜图像的示例性图像整合。
具体实施方式
为了促进对本发明的理解本发明，图1和图2的如下描述教导了：通过控制器网络20实现的用于微创流程的基于图像的机器人内窥镜控制方案10的基本创造性原理。出于本发明的目的，术语“机器人内窥镜”宽泛地涵盖了由球形机器人保持的内窥镜的所有结构配置。根据该描述，本领域技术人员将意识到如何将本发明的创造性原理应用于并入不包括或包括内窥镜的机器人器械的各种微创流程。
参考图1，控制方案10包括机器人内窥镜校准阶段11、图像整合阶段12和机器人内窥镜引导阶段13。
一般而言，机器人内窥镜校准阶段11涉及出于校准机器人内窥镜的RCM长度和焦距的目的而在X射线图像空间内采集机器人内窥镜的远侧焦点顶端的X射线图像，如将在本文中结合图2进一步描述的。
根据所述校准，图像整合阶段12涉及出于在微创流程期间促进对(一个或多个)解剖目标的X射线定位的目的而整合X-图像和内窥镜图像，如将在本文中结合图2进一步描述的。
根据所述图像整合，机器人内窥镜引导阶段13涉及机器人内窥镜到解剖目标的X射线引导，由此所述目标可以居于内窥镜图像中心，如将在本文中结合图2进一步描述的。
为了实施控制方案10，控制器网络20采用X射线控制器30、机器人内窥镜控制器40、校准控制器50和显示控制器60。
X射线控制器30如在本领域中已知的那样被结构地配置用于控制X射线模态的操作，机器人内窥镜控制器40如在本领域中已知的那样被结构地配置用于控制机器人内窥镜的操作，并且显示控制器60如在本领域中已知的那样被结构地配置用于控制显示器/监测器的操作。
校准控制器50根据本发明的创造性原理被结构地配置用于控制对机器人内窥镜的RCM长度和焦距的校准，如将在本文中结合图2进一步描述的。
在实践中，控制器网络20可以被并入在单个工作站内或者以任意方式被分布在多个工作站之中。
图2图示了通过控制器网络20的控制方案10的示例性实施。
参考图1和图2，X射线控制器30生成X射线致动命令31，以用于控制X射线模态32的操作，所述操作采用X射线源33和图像增强器(intensifier)34如在本领域中理解的那样用于采集在X射线源33与图像增强器34之间延伸的X射线图像空间35的X射线图像36。
机器人内窥镜控制器40生成机器人致动命令41，以用于控制通过由圆形机器人43保持的内窥镜45结构地限定的机器人内窥镜42的操作，用于如在本领域中理解的那样经由内窥镜45的远侧焦点顶端46采集内窥镜视频信号。更具体地，圆形机器人43结构地建立沿着内窥镜45的细长轴与远侧焦点顶端46对齐的远程运动中心44。视频捕获设备47被提供有如在本领域中理解的那样将来自内窥镜45的内窥镜视频信号转换为内窥镜图像的计算机可读时间帧序列(“EIF”)48的能力。在实践中，视频捕获设备47可以采用任何类型的帧抓取器，以用于从内窥镜视频信号采集个体数字静止帧。
RCM长度是在圆形机器人43的RCM 44与内窥镜45的远侧焦点顶端46之间的距离，并且焦距是如在本领域中理解的那样从远侧焦点顶端46延伸的内窥镜45的视场的长度，该长度在机器人内窥镜校准阶段11的实施之前是未知的。
为了在阶段11期间校准所述长度，校准控制器50采用机器人内窥镜校准器51，其包括用于校准RCM长度的RCM长度校准器51a和用于校准机器人内窥镜41的焦距的焦距校准器51b。在实践中，机器人内窥镜校准器51可以生成对X射线控制器30的X射线校准命令54，以用于如在本领域中理解的那样命令在X射线坐标空间内对X图像空间35的特定定位，和/或可以生成对机器人内窥镜控制器40的机器人校准命令54，以用于如在本领域中已知的那样命令在圆形机器人43的机器人坐标空间内对机器人内窥镜42的特定定位。
显示控制器60控制用于如在本领域中理解的那样个体地或者整合地图示X射线图像35和内窥镜图像47的显示器/监测器62的操作。关于整合的图像，校准控制器50还采用图像整合器52，图像整合器52用于基于经校准的长度来整合X射线图像36和内窥镜图像48。根据图像整合，图像整合器52对显示控制器60提供图像整合数据56，由此显示控制器60生成整合的X射线/内窥镜图像61，以用于通过显示器/监测器62进行显示。
进一步参考图1和图2，下文是对通过控制器网络20的控制方案11的实施的描述。
机器人内窥镜校准阶段11。长度校准由机器人内窥镜校准器51根据内窥镜45的远侧焦点顶端46在X射线图像空间35内的不同姿态的X射线图像36来执行。
在实践中，内窥镜45可以是X射线图像空间内的仅有的对象，或者可以伴随有另一对象(例如，影像解剖对象)和/或患者。对于患者，优选地，X射线图像36在诊断流程期间被采集，而没有向患者引入额外的电离辐射的任何需要。
在实践中，X射线控制器30可以是用户命令的或者响应于来自机器人内窥镜校准器51的X射线校准命令53，以根据需要来定位X射线源33和图像增强器34，从而采集内窥镜45的远侧焦点顶端46在X射线图像空间35内的不同姿态的X射线图像36。所述长度校准可以在X射线图像36的采集期间(即，在运行中)或之后被执行。另外，机器人内窥镜控制器40可以是用户命令的或者响应于来自机器人内窥镜校准器51的机器人校准命令54，根据需要以在X射线图像空间35内的不同姿态来定位远侧焦点顶端46，从而支持长度校准。
对于RCM长度校准，RCM长度校准器51a处理两幅(2)或更多幅X射线图像36，如在本文中将结合图5和图6A-E进一步描述的。对于焦距校准，焦距校准器51b处理三幅(3)或更多幅X射线图像36，如在本文中将结合图7和图8A-8D进一步描述的。在实践中，校准器51a和51b可以顺序地或同时地执行长度校准。此外，校准器51a和51b执行初始长度校准，所述初始长度校准可以利用额外的X射线图像36来重新校准或细化。
图像整合阶段12。图像整合由图像整合器52在长度校准期间和/或之后的任何时间执行。
在实践中，任何已知的图像整合技术可以由图像整合器52在阶段12期间实施，包括但不限于：X射线点投影技术、内窥镜点投影技术、X射线上的内窥镜覆盖技术和X射线/内窥镜图像混合技术，如在本文中结合图9A-9D进一步描述的。
机器人内窥镜引导阶段13。对机器人内窥镜52的引导由机器人内窥镜控制器40经由对表示长度校准的长度校准数据55的处理来执行，并且在初始长度校准和其任何重新校准的完成之后以及在任何细化的校准期间由机器人内窥镜校准器51来提供。
在实践中，任何已知的机器人引导技术可以由机器人内窥镜控制器40在阶段13期间实施，包括但不限于涉及如下内容的任何技术：选择X射线图像36中的目标点，由此机器人内窥镜控制器40生成机器人致动命令41以将远侧焦点顶端46定位在X射线图像空间35内，X射线图像空间35具有居于内窥镜图像48内的中心处的目标点。
微创流程。在实践中，阶段11和/或阶段12可以在微创流程并入阶段13的执行之前和/或期间被执行。这样，在阶段11期间通过校准控制器50的长度校准可以是用户初始化的或者响应于X射线图像36的初始采集。在任一情况下，控制网络20可以根据需要来执行阻止微创流程的执行直至初始长度校准之后的安全措施。
为了促进对本发明的进一步理解，图3-9的如下描述教导了并入在图3中所示的机器人内窥镜的长度校准方法的基本创造性原理。根据该描述，本领域技术人员将意识到如何将长度校准方法的创造性原理应用于备选机器人内窥镜。
参考图3，圆形机器人70采用具有旋转轴RA1的致动器71、具有旋转轴RA2的致动器72、支撑弧形物73、以及包括用于保持具有旋转轴EA的金属内窥镜80的末端执行器75的器械弧形物74。支撑弧形物73被同心地连接到致动器71和致动器72，并且器械弧形物74被同心地连接到致动器72。重要的是，
(1)旋转轴RA1、RAD和EA在圆形机器人70的远程运动中心76处相交，
(2)支撑弧形物73的θB的基本弧长在旋转轴RA1与RA2之间延伸，
(3)器械弧形物74的延伸弧长θE1在旋转轴RA1与EA之间延伸，
(4)致动器71可以被命令为使弧形物73和74围绕旋转轴RA1共同旋转期望的度，以控制内窥镜80的远侧焦点顶端82在工作空间37a内的宽泛的移动，
(5)致动器72可以被命令为使器械弧形物74围绕旋转轴RA2旋转期望的度，以控制内窥镜80的远侧焦点顶端82的靶向移动，
(6)末端执行器75具有使内窥镜80围绕其旋转轴EA旋转的手动的或受控制的能力，
(7)RCM长度LRCM是RCM 76与远侧焦点顶端82之间的距离，并且
(8)焦距(未示出)是从内窥镜80的目镜81可观察到的从远侧焦点顶端83延伸的内窥镜80的视场的长度。
参考图3和图4，X射线模态90采用C型臂91，其对齐X射线源92和图像增强器93，以建立X射线图像空间94。机器人70被安装到被动臂96，被动臂96被附接到X射线台95，由此远侧焦点顶端82被定位在X射线图像空间94内，并且由此RCM 76可以或可以不被定位在X射线图像空间94内。
仍然参考图3和图4，校准工作站100采用监测器101、接口平台102(例如，键盘、按钮、控制盘、控制杆等)、客户端计算机103、以及被安装在工作站计算机103内的控制器网络104。
控制器网络104包括X射线控制器105、机器人内窥镜控制器106、校准控制器107和显示控制器108。在实践中，控制器105-108可以被分开和/或在任何程度上被整合在客户端计算机103内。备选地，X射线控制器105可以被安装在X射线模态90的工作站(未示出)内，并且内窥镜控制器106可以被安装在机器人70的工作站(未示出)内，由此客户端计算机103根据需要来提供经由监测器101的用户接口以及用于访问X射线控制器105和/或内窥镜控制器160的用户接口102。针对这样的备选，显示控制器108可以被安装在每个工作站中。
工作站计算机103被连接/耦合到圆形机器人70、内窥镜80和X射线模态90以促进通过控制器网络104的长度校准方法的实施，如现在将在本文中结合图5-9D描述的。
图5图示了表示本发明的RCM长度校准方法的流程图110。
参考图3-5，提供了如在图6A-6E中示出的远侧焦点顶端82相对于患者心脏在X射线图像空间94内的不同姿态E1和E2的两(2)个示例性X射线图像97(X1)和97(X2)，以促进对流程图110的理解。X射线图像97的采集涉及在远侧焦点顶端82在X射线图像空间94内的姿态E1与E2之间对C型臂90的静态定位以及对机器人70的动态定位，如用户命令的或者由校准控制器107致动命令的。
参考图3-5，流程图110的阶段S112涵盖校准控制器107，其在X射线图像97(X1)的图像平面内勾画内窥镜80。为此目的，校准控制器107执行如下的一系列步骤。
首先，校准控制器107应用黑色像素阈值，用于选择如在图6A中示出的表示金属内窥镜80在X射线图像空间内的姿态E1的X射线图像97(X1)的高衰减区。
第二，校准控制器107执行用于利用自由形态的轮廓来勾勒内窥镜的轮廓拟合技术。轮廓拟合技术的范例包括，但不限于：主动轮廓技术和边界跟随技术。在实践中，最小轮廓长度可以被实施以解决来自黑色像素阈值化以及轮廓的短维度属性的任何噪声。
校准控制器107利用自由形态的轮廓作为到拟合如在图6C中示出的内窥镜姿态80(E1)的四(4)边轮廓的多边形83(CP1)的最小二乘拟合技术的输入。值得注意的是，该步骤依赖于如下事实：内窥镜80可以被观察为根据透视变形和平面切割的X射线图像97(X1)中的凸四边形。
第三，校准控制器107计算如在图6C中示出的从X射线图像97(X1)的图像平面内的轮廓多边形83(CP1)的远侧顶端延伸超过内窥镜80(E1)的估计的RCM长度的距离的原理轴84(PA1)。原理轴84(P1)可以根据任何已知的建模技术(包括但不限于霍夫变换)进行计算。
第四，校准控制器107计算沿着原理轴84(PA1)的垂直线的内窥镜80(E1)的平均厚度thxE1。内窥镜80(E1)的平均厚度thxE1可以根据任何已知的建模技术(包括但不限于霍夫变换)进行计算。
第五，校准控制器107检测X射线图像97(X1)内的被定位在X射线坐标空间内的内窥镜80(E1)的远侧焦点顶端，记录为tE1＝[xtE1，ytE1]。
这五个(5)步骤针对如在图6B中示出的X射线图像97(X)而重复，导致如在图6D中示出的从X射线图像97(X2)的图像平面内的轮廓多边形83(CP2)的远侧顶端延伸的原理轴84(PA2)的计算、沿着原理轴84(PA2)的垂直线的内窥镜80(E2)的平均厚度thxE2的计算、以及对被记录为tE2＝[xtE2ytE2]的被定位在X射线坐标空间内的内窥镜80(E2)的远侧焦点顶端的检测。
流程图114的阶段S114涵盖校准控制器107计算如在图3中示出的内窥镜RCM长度LRCM。为此目的，校准控制器107执行如下的一系列步骤。
第一，校准控制器107检测RCM交点85，如在图6E中示出的，RCM交点85被检测为原理轴84(PA1)和原理轴84(PA2)在X射线图像97(X1)和97(X2)的相同图像平面内的交点。
第二，校准控制器107计算RCM交点85与之前检测的内窥镜80(E1)的远侧焦点顶端之间的原理轴84(PA1)的RCM长度LRCM1和RCM交点85与之前检测的内窥镜80(E2)的远侧焦点顶端之间的原理轴84(PA1)的RCM长度LRCM2。在实践中，RCM长度LRCM1和RCM长度LRCM2可以被计算为由多个像素指定的欧几里得距离。
第三，校准控制器107根据如下公式[1]计算来自图像增强器93的内窥镜80的深度DE：
DE＝f*(thE/thX) [1]
其中，f是X射线图像空间94的焦距(从DICOM中的SID标签获知)，
其中，thE是已知或估计的内窥镜80的厚度，并且
其中，thX是被成像的内窥镜80(E1)和内窥镜80(E2)的平均厚度(thxE1+thxE2)/2。
在实践中，对于内窥镜厚度thE的估计，大多数商业上已知的内窥镜具有5mm或10mm的厚度。相应地，校准控制器107可以计算针对所有可能尺寸的深度，并且然后使用额外的探索法来确定内窥镜厚度thE。例如，可以预期到，内窥镜80将被放置在C型臂91的旋转中心附近的+-200mm。使用该信息，适当的内窥镜厚度thE可以被校准控制器选择用于估计目的。另外，术中X射线控制器105可以计算被添加到X射线模态90的DICOM信息的患者平面，由此校准控制器可以选择匹配最靠近患者平面的深度的内窥镜厚度thE。
使用X射线成像数学地等于针孔相机的估计，校准控制器107根据如下等式[2]内窥镜RCM长度LRCM：
LRCM＝(f*DE)/LRCMX [2]
其中，f是X射线图像空间94的焦距(从DICOM中的SID标签获知)，
其中，De是根据等式[1]的来自图像增强器93的内窥镜80的深度DE，并且
其中，LRCMX是被成像的内窥镜80(E1)和内窥镜80(E2)的平均RCM长度(LRCM1+LRCM2)/2。
在流程图110终止后，出于图像整合和机器人内窥镜引导的目的，校准控制器107将校准机器人内窥镜的RCM长度。
图6图示了表示本发明的RCM长度校准方法的流程图110。
参考图3、4和7，提供了如在图6A-6E中示出的远侧焦点顶端82相对于X射线图像空间94内的患者心脏的不同姿态E1、E2和E3的三(3)个示例性X射线图像97(X1)、97(X2)和97(X3)，以促进对流程图110的理解。X射线图像97的采集涉及被用户命令或者被校准控制器107致动命令的远侧焦点顶端82在X射线图像空间94内的姿态E1-E3之间的C型臂90的静态定位和机器人70的动态定位。
流程图120基于通过已知的焦距fx和如之前在本文中结合阶段S114(图5)描述的那样计算或根据如下等式[3]和[4]从DICOM数据估计的已知深度(Z)相关的C型臂坐标空间98(图8B)和X射线图像空间94(图4)：
x＝fx*(X/Z) [3]
y＝fy*(Y/Z) [4]
其中，x和y是X射线图像空间94中的指数(图3)，并且
其中，X，Y，Z是C型臂坐标空间98中的点(图8B)。
机器人坐标空间和内窥镜坐标空间不被校准，因为内窥镜80的焦距fC不是已知的。对于C型臂坐标空间98中的3D点[X，Y，Z]，[xe，ye]是内窥镜图像空间88中的点(图8B)，假设针孔模型是根据如下等式[5]：
其中，eTc是C型臂坐标与内窥镜坐标之间的坐标变换。
相机在内窥镜80的远侧焦点顶端处，并且用于机器人执行器顶端到机器人RCM 76(图3)的变换eTr根据如下等式[6]-[26]从机器人运动学和RCM长度LRCM(图3)获知：
x1＝k2*m1*s1+m2*c1*s2+k1*m2*c2*s1 [7]
x2＝c1*c2-k1*s1*s2 [8]
x3＝k2*c1*s1-m1*m2*s1+k1*k2*c2*s1) [9]
x4＝L*(k2*m1*s1+m2*c1*s2+k1*m2*c2*s1) [10]
x5＝k2*m1*c1-m2*s1*s2+k1*m2*c1*c2 [11]
x6＝-c1*s1-k1*c1*s2 [12]
x7＝k1*k2*c1*c2-k2*s1*s2-m1*m2*c1 [13]
x8＝L*(k2*m1*c1-m2*s1*s2+k1*m2*c1*c2) [14]
x9＝k1*k2-m1*m2*c2 [15]
x10＝m1*s2 [16]
x11＝-k1*m2-k2*m1*c2 [17]
x12＝L*(k1*k2-m1*m2*c2) [18]
k1＝cos(θ1) [19]
m1＝sin(θ1) [20]
k2＝cos(θ2) [21]
m2＝sin(θ2) [22]
相应地，变换eTc可以由如下等式来表示[27]：
eTc＝tTc＝tTr rTc [27]
其中，tTc是从C型臂90到机器人执行器顶端75的变换，
其中，tTr是从机器人70到机器人执行器顶端75的变换，并且
其中，rTc是C型臂90与机器人70之间的变换。
为了计算焦距fc，流程图120利用X射线图像与内窥镜图像之间的点匹配[xy][xeye]、rTc以及可以从C型臂成像模型检索的3D点X、Y、Z。
具体地，流程图120的阶段S122涵盖校准控制器107将机器人70配准到C型臂94。该配准使用将三(3)幅X射线图像96(图8A)与两个数据点(x和y)中的每个相关联以确定六(6)个未知变量(三(3)个旋转和三(3)个平移)的基于图像的方法来实现。
首先，对于每幅X射线图像96，校准控制器107检测内窥镜80的远侧焦点顶端在X射线图像空间94中的位置，并记录所检测到的在机器人坐标空间中的位置。
第二，校准控制器107根据C型臂90的模型和已知的深度计算内窥镜80的远侧焦点顶端在C型臂3D空间98中的位置。之后，
第三，校准控制器107根据检测到的/计算的位置执行基于已知点的配准。在实践中，校准控制器107可以向工作站用户/操作者指示配准的当前残差，由此用户/操作者可以可选地采集额外的X射线图像以使残差最小化。
流程图120的阶段S124涵盖校准控制器107执行X射线图像与内窥镜图像之间的点匹配在实践中，在这两幅图像中可见的至少一个点必须被识别。这种识别可以例如通过如在图8C中示出的那样标记X射线图像96和内窥镜图像86两者中的动脉分叉而被手动地完成。备选地，如果X射线图像和内窥镜图像被配准到术前图像(例如MRI或CT图像)，那么校准控制器107可以识别这两幅图像中的可见点，例如，配准的MRI图像130中的点如在图8D中示出的那样由校准控制器107在X射线图像96和内窥镜图像86中进行识别。
流程图120的阶段S126涵盖校准控制器107根据前面提到的等式[5]从在阶段S122和S124期间计算的数据来计算内窥镜焦距fc：
参考图5和y，在实践中，校准控制器107可以顺序地或同时地执行流程图110和120。此外，校准控制器107执行可以利用额外的X射线图像被重新校准或被细化的初始长度校准。
如之前针对阶段12(图1)所描述的，根据长度校准，已知的图像整合技术可以通过如在图9A中示例性地示出的X射线点投影140、如在图9B中示例性地示出的内窥镜点投影141、如在图9C中示例性地示出的X射线142上的内窥镜覆盖、以及如在图9D中示例性地示出的X射线/内窥镜图像混合143来实施。
具体地，参考图9A，X射线点投影140涉及X射线图像97(X1)和97(X2)中的用户识别的目标点，所述X射线图像97(X1)和97(X2)被校准控制器107三角化到C型臂坐标空间中并且使用内窥镜80的成像模态和已知校准两者的针孔模型被投影到内窥镜80的图像空间中。例如如图所示，在X射线空间中识别的狭窄能够被投影在内窥镜图像空间上以允许对内窥镜图像中的旁路部位的识别。这种投影可以是在内窥镜的视场中或者内窥镜的视场外部，被投影在图像的延伸平面上。
参考图9B，使用相同的投影方法，来自两个内窥镜图像86的点被投影到X射线图像97中。对于这种类型的投影，校准控制器107通过计算C型臂90的最佳位置来引导X射线图像采集，由此内窥镜图像的具体部分是利用最小透视缩短法采集的或者是利用最小数量的X射线采集来找到的。
参考图9C，内窥镜图像的重叠87被计算，并且在机器人70的至少一个运动后，重叠87在C型臂坐标空间中被重新计算，并且被投影到X射线图像97(X1)上。
参考图9D，X射线图像97’和内窥镜图像87在相同的坐标帧中被混合在一起。如图所示，校准控制器107使用透视变换使X射线图像97(图9C)变形，使得X射线图像97’从内窥镜图像87的视角被查看。如果以与内窥镜80相同的方式对C型臂90进行取向是不切实际的(例如，内窥镜80正在从该C型臂取向妨碍X射线图像)，那么这种可视化在延伸内窥镜80的视场方面是有用的。
如之前针对阶段13(图1)所描述的，根据长度校准和图像整合，机器人内窥镜70/80(图3)现在可以根据X射线图像通过对在X射线图像中的目标点的用户选择进行引导，由此机器人内窥镜将被定位为将目标点居中于内窥镜图像中。
参考图1-9，本领域技术人员将意识到本发明的许多益处，包括，但不限于：用于在最少工作流程停止的情况下校准机器人内窥镜的鲁棒的手段。
此外，如本领域普通技术人员鉴于在本文中所提供的教导将意识到的，在本公开/说明书中所描述的、和/或在图1-9中所描绘的特征、元件、部件等，均可以被实施为电子部件/电路、硬件、可执行软件与可执行固件的各种组合，并且提供可以被组合在单一元件或多个元件中的功能。例如，能够通过使用专用硬件以及能够与运行合适的软件相关联的软件的硬件，来提供在图1-9中所示出/图示/描绘的各个特征、元件、部件等等的功能。当由处理器提供时，所述功能能够由单个专用处理器、由单个共享处理器、或者由多个个体处理器(它们中的一些可以是共享和/或复用的)来提供。此外，术语“处理器”或“控制器”的明确使用不应当被解释为专指能够运行软件的硬件，并且能够暗含地包括，但不限于：数字信号处理器(“DSP”)硬件、存储器(例如用于储存软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性储存器等)、以及实质上能够(和/或可配置为)执行和/或控制过程的任意手段和/或机器(包括硬件、软件、固件、电路、其组合等)。
此外，在本文中详述本发明的原理、方面及实施例、以及其具体范例的所有记载，均意图涵盖其结构和功能等同物两者。另外，目的是这样的等同包括目前已知的等同以及未来发展的等同两者(例如所开发的能够执行相同或基本相似的功能的任意元件，而无论其结构)。因此，例如，鉴于在本文中所提供的教导，本领域普通技术人员将意识到，在本文中所提供的任意框图均能够表示实现本发明的原理的示例性系统部件和/或电路的概念性视图。类似地，鉴于在本文中所提供的教导，本领域普通技术人员应当意识到，任意流程图、作业图等均能够表示各种过程，所述过程基本上能够被表示在计算机可读储存介质中，并且由具有处理能力的计算机、处理器或其他设备如此运行，而无论是否明确示出这样的计算机或处理器。
此外，本发明的示例性实施例能够采取能够从计算机可用和/或计算机可读储存介质访问的计算机程序产品和应用模块的形式，所述计算机可用和/或计算机可读储存介质提供用于由例如计算机或任意指令执行系统使用或者与所述计算机或任意指令执行系统结合使用的程序代码和/或指令。根据本公开，计算机可用或计算机可读储存介质能够是任意这样的设备，所述设备能够例如包括、储存、传送、传播或传输用于由指令运行系统、设备或设备使用或者与所述指令运行系统、设备或设备结合使用的程序。这样的示例性介质能够是，例如电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)或者传播介质。计算机可读介质的范例包括，例如半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、闪存(驱动)、刚性磁盘和光盘。光盘的当前范例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)和DVD。此外，应当理解，以后可能发展出的任何新的计算机可读介质也均应当被视为根据本发明和公开的示例性实施例可以使用或涉及到的计算机可读介质。
已经针对用于微创流程的X射线套件内的机器人内窥镜描述了新颖的并且创造性的校准流程的优选且示例性的实施例(这些实施例意图为图示性的而非限制性的)，值得注意的是，本领域技术人员在本文提供的教导(包括图1-9)的启示下，可以进行修改和变型。因此，要理解，能够对公开的优选的并且为示例性实施例进行改动，所述改动在本文公开的实施例的范围内。
此外，应当设想，合并和/或实施所述设备或者诸如可以在根据本公开的设备中使用/实现的相应的和/或相关的系统也被设想并且被认为是在本发明的保护范围内。此外，用于制造和/或使用根据本公开的设备和/或系统的相应的和/或相关的方法也被设想并且被认为在本发明的保护范围内。
Claims (20)
1.一种用于在X射线模态(32)的X射线图像空间(35)内校准具有远侧顶端(46)的机器人器械(42)的工作站，所述工作站包括：
校准控制器(50)，其能操作用于响应于由所述X射线模态(32)生成所述机器人器械(42)的所述远侧顶端(46)在所述X射线图像空间(35)内的不同姿态的多幅X射线图像(36)而控制对所述机器人器械(42)的RCM长度的校准；以及
机器人器械控制器(40)，其能操作用于与所述校准控制器(50)通信，以根据由所述校准控制器(50)对所述机器人器械(42)的所述RCM长度的所述校准来控制对所述X射线图像空间(35)内的所述机器人器械(42)的引导。
2.根据权利要求1所述的工作站，其中，所述校准控制器(50)能操作用于在由所述X射线模态(32)生成所述X射线图像(36)时控制对所述机器人器械(42)的所述RCM长度的所述校准。
3.根据权利要求1所述的工作站，其中，由所述校准控制器(50)对所述机器人器械(42)的所述RCM长度的所述校准的控制包括：
所述校准控制器(50)能操作用于响应于所述X射线图像(36)中的至少两幅X射线图像而计算所述机器人器械(42)的所述RCM长度。
4.根据权利要求3所述的工作站，其中，由所述校准控制器(50)对所述机器人器械(42)的所述RCM长度的计算包括：
所述校准控制器(50)能操作用于在所述X射线图像(36)的所述至少两幅X射线图像中的每幅X射线图像的图像平面内勾画所述机器人器械(42)。
5.根据权利要求4所述的工作站，其中，由所述校准控制器(50)对所述机器人器械(42)的所述RCM长度的所述计算还包括：
所述校准控制器(50)能操作用于根据在所述至少两幅X射线图像(36)的所述图像平面内勾画的所述机器人器械(42)的交点来计算所述机器人器械(42)的所述RCM长度。
6.根据权利要求1所述的工作站，
其中，所述机器人器械(42)包括内窥镜；并且
其中，所述校准控制器(50)还能操作用于响应于所述的由所述X射线模态(32)生成所述X射线图像(36)并且还响应于由所述机器人器械(42)生成所述X射线图像空间(35)的至少一幅内窥镜图像(48)而控制对所述机器人器械(42)的焦距的校准。
7.根据权利要求6所述的工作站，其中，所述校准控制器(50)能操作用于在由所述X射线模态(32)生成所述X射线图像(36)时并且在由所述机器人器械(42)生成所述至少一幅内窥镜图像(48)时控制对所述机器人器械(42)的所述焦距的所述校准。
8.根据权利要求7所述的工作站，其中，所述机器人器械控制器(40)还能操作用于与所述校准控制器(50)通信，以根据由所述校准控制器(50)对所述机器人器械(42)的所述RCM长度和所述焦距的所述校准来控制对所述X射线图像空间(35)内的所述机器人器械(42)的引导。
9.根据权利要求6所述的工作站，其中，所述校准控制器(50)还能操作用于根据对所述机器人器械(42)的所述焦距的所述校准来整合所述X射线图像(36)和所述至少一幅内窥镜图像(48)。
10.根据权利要求9所述的工作站，还包括：
显示控制器(60)，其能操作用于与所述校准控制器(50)通信，以控制由所述校准控制器(50)对所述X射线图像(36)和所述至少一幅内窥镜图像(48)的所述整合的显示。
11.根据权利要求6所述的工作站，其中，由所述校准控制器(50)对所述机器人器械(42)的所述焦距的所述校准的控制包括：
所述校准控制器(50)能操作用于响应于所述X射线图像(36)中的至少三幅X射线图像和所述至少一幅内窥镜图像(48)而计算所述机器人器械(42)的所述焦距。
12.根据权利要求11所述的工作站，其中，由所述校准控制器(50)对所述焦距的计算还包括：
所述校准控制器(50)能操作用于响应于所述至少三幅X射线图像(36)而将所述X射线成像模态(32)与所述机器人器械(42)进行配准。
13.根据权利要求12所述的工作站，其中，由所述校准控制器(50)对所述机器人器械(42)的所述焦距的所述计算还包括：
所述校准控制器(50)能操作用于基于所述X射线成像模态(32)与所述机器人器械(42)的配准来执行所述至少三幅X射线图像(36)与所述至少一幅内窥镜图像(48)之间的点匹配。
14.根据权利要求13所述的工作站，其中，由所述校准控制器(50)对所述机器人器械(42)的所述焦距的所述计算还包括：
所述校准控制器(50)能操作用于根据所述X射线成像模态(32)与所述机器人器械(42)的所述配准并且还根据所述至少三幅X射线图像(36)与所述至少一幅内窥镜图像(48)之间的所述点匹配来计算所述机器人器械(42)的所述焦距。
15.一种用于在X射线模态(32)的X射线图像空间(35)内校准包括具有远侧顶端(46)的内窥镜的机器人器械(42)的校准控制器(50)，所述校准控制器(50)包括：
机器人器械校准器(51)，其能操作用于响应于由所述X射线模态(32)生成所述机器人器械(42)的所述远侧顶端(46)在所述X射线图像空间(35)内的不同姿态的多幅X射线图像(36)并且还响应于由所述机器人器械(42)生成所述X射线图像空间(35)的至少一幅内窥镜图像(48)而校准所述机器人器械(42)的RCM长度和焦距；以及
图像整合器(52)，其能操作用于与所述机器人器械(42)校准器(51)通信，以响应于由所述机器人器械校准器(51)对所述机器人器械(42)的所述RCM长度和所述焦距的校准而整合所述X射线图像(36)和所述至少一幅内窥镜图像(48)。
16.一种用于在X射线模态(32)的X射线图像空间(35)内校准具有远侧顶端(46)的机器人器械(42)的校准方法，所述校准方法包括：
X射线控制器(30)，其控制由X射线模态(32)对所述机器人器械(42)的所述远侧顶端(46)在所述X射线图像空间(35)内的不同姿态的多幅X射线图像(36)的生成；以及
校准控制器(50)，其响应于所述的由所述X射线模态(32)生成所述X射线图像(36)而控制对所述机器人器械(42)的RCM长度的校准。
17.根据权利要求16所述的校准方法，其中，在由所述X射线模态(32)生成所述X射线图像(36)时，所述校准控制器(50)控制对所述机器人器械(42)的所述RCM长度的所述校准。
18.根据权利要求16所述的校准方法，还包括：
机器人器械控制器(40)控制由所述机器人器械对所述X射线图像空间(36)的至少一幅内窥镜图像(48)的生成，
其中，所述机器人器械(42)包括内窥镜；并且
所述校准控制器(50)响应于所述的由所述X射线模态(32)生成所述X射线图像(36)并且还响应于所述的由所述机器人器械(42)生成所述X射线图像空间(35)的至少一幅内窥镜图像(48)而控制对所述机器人器械(42)的焦距的校准。
19.根据权利要求18所述的校准方法，其中，在由所述X射线模态(32)生成所述X射线图像(36)时并且在由所述机器人器械(42)生成所述至少一幅内窥镜图像(48)时，所述校准控制器(50)控制对所述机器人器械(42)的所述RCM长度和所述焦距的所述校准。
20.根据权利要求18所述的校准方法，还包括如下中的至少一项：
所述校准控制器(50)根据对所述机器人器械(42)的所述RCM长度和所述焦距的所述校准来控制对所述X射线图像(36)和所述至少一幅内窥镜图像(48)的整合；
显示控制器(60)控制显示由所述校准控制器(50)对所述X射线图像(36)和所述至少一幅内窥镜图像的所述整合；并且
机器人器械控制器(40)根据由所述校准控制器(50)对所述机器人器械(42)的所述RCM长度和所述焦距的所述校准来控制对所述X射线图像空间(35)内的所述机器人器械(42)的引导。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462024532P | 2014-07-15 | 2014-07-15 | |
| US62/024,532 | 2014-07-15 | ||
| PCT/IB2015/055305 WO2016009339A1 (en) | 2014-07-15 | 2015-07-14 | Image integration and robotic endoscope control in x-ray suite |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106572887A true CN106572887A (zh) | 2017-04-19 |
| CN106572887B CN106572887B (zh) | 2020-05-12 |
Family
ID=54151324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580038322.8A Expired - Fee Related CN106572887B (zh) | 2014-07-15 | 2015-07-14 | X射线套件中的图像整合和机器人内窥镜控制 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10702346B2 (zh) |
| EP (1) | EP3169264A1 (zh) |
| JP (1) | JP6715823B2 (zh) |
| CN (1) | CN106572887B (zh) |
| WO (1) | WO2016009339A1 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005087128A1 (en) | 2004-03-05 | 2005-09-22 | Hansen Medical, Inc. | Robotic catheter system |
| US10932691B2 (en) | 2016-01-26 | 2021-03-02 | Auris Health, Inc. | Surgical tools having electromagnetic tracking components |
| CN109069213B (zh) * | 2016-03-31 | 2022-12-27 | 皇家飞利浦有限公司 | 用于肿瘤抽吸的图像引导的机器人系统 |
| US11324554B2 (en) * | 2016-04-08 | 2022-05-10 | Auris Health, Inc. | Floating electromagnetic field generator system and method of controlling the same |
| JP7133474B2 (ja) * | 2016-05-31 | 2022-09-08 | コーニンクレッカ フィリップス エヌ ヴェ | 内視鏡画像及び超音波画像の画像ベースの融合 |
| DE102016225613A1 (de) * | 2016-12-20 | 2018-06-21 | Kuka Roboter Gmbh | Verfahren zum Kalibrieren eines Manipulators eines diagnostischen und/oder therapeutischen Manipulatorsystems |
| US10751133B2 (en) * | 2017-03-31 | 2020-08-25 | Koninklijke Philips N.V. | Markerless robot tracking systems, controllers and methods |
| EP3648674A1 (en) * | 2017-07-07 | 2020-05-13 | Koninklijke Philips N.V. | Robotic instrument guide integration with an acoustic probe |
| EP3741105A4 (en) * | 2018-02-16 | 2021-11-03 | Board of Supervisors of Louisiana State University And Agricultural and Mechanical College | DENTAL IMAGING WITHOUT IONIZING RADIATION THROUGH NEAR-INFRARED FLUORESCENCE AND RELATED SYSTEMS |
| JP2020162633A (ja) * | 2019-03-28 | 2020-10-08 | ソニー株式会社 | 撮影制御装置、撮影制御方法、プログラム、及び、撮影システム |
| US11890060B2 (en) * | 2020-04-29 | 2024-02-06 | Medtronic Navigation, Inc. | System and method for navigating and illustrating a procedure |
| US11816831B2 (en) | 2020-04-29 | 2023-11-14 | Medtronic Navigation, Inc. | System and method for navigating and illustrating a procedure |
| US11596567B2 (en) * | 2020-10-05 | 2023-03-07 | Mazor Robotics Ltd. | Systems and methods for determining and maintaining a center of rotation |
| WO2023022257A1 (ko) * | 2021-08-19 | 2023-02-23 | 한국로봇융합연구원 | 복강경 카메라 홀더 로봇 제어시스템 및 제어방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1642696A (zh) * | 2002-02-06 | 2005-07-20 | 约翰·霍普金斯大学 | 具有运动遥控中心的机器人装置和方法 |
| CN102791214A (zh) * | 2010-01-08 | 2012-11-21 | 皇家飞利浦电子股份有限公司 | 采用实时速度优化的不经校准的视觉伺服 |
| WO2014001948A2 (en) * | 2012-06-28 | 2014-01-03 | Koninklijke Philips N.V. | C-arm trajectory planning for optimal image acquisition in endoscopic surgery |
| WO2014020571A1 (en) * | 2012-08-02 | 2014-02-06 | Koninklijke Philips N.V. | Controller definition of a robotic remote center of motion |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005529630A (ja) * | 2001-11-08 | 2005-10-06 | ザ ジョンズ ホプキンズ ユニバーシティ | 画像サーボに基づき蛍光透視法によりターゲティングを行うロボットのためのシステムおよび方法 |
| AU2003247338A1 (en) * | 2002-04-25 | 2003-11-10 | The John Hopkins University | Robot for computed tomography interventions |
| JP2007531553A (ja) * | 2003-10-21 | 2007-11-08 | ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニヴァーシティ | 術中ターゲティングのシステムおよび方法 |
| US20060036162A1 (en) * | 2004-02-02 | 2006-02-16 | Ramin Shahidi | Method and apparatus for guiding a medical instrument to a subsurface target site in a patient |
| US8046051B2 (en) * | 2005-03-29 | 2011-10-25 | Koninklijke Philips Electronics N.V. | Method and apparatus for the observation of a catheter within a vessel system |
| JP2006320427A (ja) * | 2005-05-17 | 2006-11-30 | Hitachi Medical Corp | 内視鏡手術支援システム |
| US8620473B2 (en) * | 2007-06-13 | 2013-12-31 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US8086004B2 (en) * | 2008-01-15 | 2011-12-27 | Accuray Incorporated | Use of a single X-ray image for quality assurance of tracking |
| BR112012016973A2 (pt) | 2010-01-13 | 2017-09-26 | Koninl Philips Electronics Nv | sistema de navegação cirúrgica para a integração de uma pluralidade de imagens de uma região anatômica de um corpo, incluíndo uma imagem pré-operatótia digitalizada, uma imagem intra-operatória fluoroscópia e uma imagem intra-operatória endoscópica |
| US8827948B2 (en) * | 2010-09-17 | 2014-09-09 | Hansen Medical, Inc. | Steerable catheters |
| JP6404713B2 (ja) * | 2011-06-17 | 2018-10-17 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 内視鏡手術におけるガイド下注入のためのシステム及び方法 |
| BR112014013073A2 (pt) | 2011-12-03 | 2017-06-13 | Koninklijke Philips Nv | sistema e método para orientação robótica cirúrgica |
| WO2013093761A2 (en) | 2011-12-21 | 2013-06-27 | Koninklijke Philips Electronics N.V. | Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope |
| CN104411226B (zh) * | 2012-06-28 | 2017-01-18 | 皇家飞利浦有限公司 | 使用以机器人的方式操纵的内窥镜的增强的血管可视化 |
| KR101997566B1 (ko) * | 2012-08-07 | 2019-07-08 | 삼성전자주식회사 | 수술 로봇 시스템 및 그 제어방법 |
| US9057600B2 (en) * | 2013-03-13 | 2015-06-16 | Hansen Medical, Inc. | Reducing incremental measurement sensor error |
| US9014851B2 (en) * | 2013-03-15 | 2015-04-21 | Hansen Medical, Inc. | Systems and methods for tracking robotically controlled medical instruments |
| KR20150128049A (ko) * | 2014-05-08 | 2015-11-18 | 삼성전자주식회사 | 수술 로봇 및 그 제어방법 |
-
2015
- 2015-07-14 EP EP15767248.6A patent/EP3169264A1/en not_active Withdrawn
- 2015-07-14 US US15/324,001 patent/US10702346B2/en active Active
- 2015-07-14 JP JP2017502117A patent/JP6715823B2/ja not_active Expired - Fee Related
- 2015-07-14 CN CN201580038322.8A patent/CN106572887B/zh not_active Expired - Fee Related
- 2015-07-14 WO PCT/IB2015/055305 patent/WO2016009339A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1642696A (zh) * | 2002-02-06 | 2005-07-20 | 约翰·霍普金斯大学 | 具有运动遥控中心的机器人装置和方法 |
| CN102791214A (zh) * | 2010-01-08 | 2012-11-21 | 皇家飞利浦电子股份有限公司 | 采用实时速度优化的不经校准的视觉伺服 |
| WO2014001948A2 (en) * | 2012-06-28 | 2014-01-03 | Koninklijke Philips N.V. | C-arm trajectory planning for optimal image acquisition in endoscopic surgery |
| WO2014020571A1 (en) * | 2012-08-02 | 2014-02-06 | Koninklijke Philips N.V. | Controller definition of a robotic remote center of motion |
Non-Patent Citations (1)
| Title |
|---|
| JOCELYNE TROCCAZ: "《Medical Robotics》", 31 December 2012 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6715823B2 (ja) | 2020-07-01 |
| CN106572887B (zh) | 2020-05-12 |
| JP2017525427A (ja) | 2017-09-07 |
| US20170196643A1 (en) | 2017-07-13 |
| US10702346B2 (en) | 2020-07-07 |
| EP3169264A1 (en) | 2017-05-24 |
| WO2016009339A1 (en) | 2016-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106572887A (zh) | X射线套件中的图像整合和机器人内窥镜控制 | |
| US20220346886A1 (en) | Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery | |
| US11564748B2 (en) | Registration of a surgical image acquisition device using contour signatures | |
| CN103619278B (zh) | 用于内窥镜手术期间的引导注射的系统 | |
| CN105073042B (zh) | 使用定制套管针对机器人远程运动中心点的定位 | |
| KR101572487B1 (ko) | 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 | |
| CN108601628B (zh) | 将操作器械定位在患者身体内的导航、跟踪和引导系统 | |
| CN108430373A (zh) | 用于在患者体内跟踪内窥镜的位置的装置和方法 | |
| JP2019517291A (ja) | 内視鏡画像及び超音波画像の画像ベースの融合 | |
| CN105188594B (zh) | 根据解剖特征对内窥镜的机器人控制 | |
| JP2017517355A (ja) | 定量的３次元イメージング及び手術用インプラントのプリント | |
| US10799146B2 (en) | Interactive systems and methods for real-time laparoscopic navigation | |
| JP2017513662A (ja) | Ｑ３ｄ画像の３ｄ画像とのアライメント | |
| Schneider et al. | Tracked “pick-up” ultrasound for robot-assisted minimally invasive surgery | |
| JP6706576B2 (ja) | 最小侵襲性のインターベンションのための形状センスされるロボット超音波 | |
| WO2018076503A1 (zh) | 一种诊断体内目标对象定位系统和医疗定位系统 | |
| JP5961504B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
| CN105096306B (zh) | 用于对医学图像进行配准的方法和设备 | |
| Ferguson et al. | Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration | |
| KR20150145106A (ko) | 의료 영상 정합 방법 및 그 장치 | |
| JP2006320427A (ja) | 内視鏡手術支援システム | |
| CN107847111B (zh) | 根据体积图像的交互式平面切片的内窥镜引导 | |
| Dimas et al. | Endoscopic single-image size measurements | |
| Forte et al. | Design of interactive augmented reality functions for robotic surgery and evaluation in dry‐lab lymphadenectomy | |
| JP2020036708A (ja) | 手術支援装置及び手術ナビゲーションシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200512 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |