CN110709026A - 力感测表面扫描系统、设备、控制器和方法 - Google Patents

力感测表面扫描系统、设备、控制器和方法 Download PDF

Info

Publication number
CN110709026A
CN110709026A CN201880035024.7A CN201880035024A CN110709026A CN 110709026 A CN110709026 A CN 110709026A CN 201880035024 A CN201880035024 A CN 201880035024A CN 110709026 A CN110709026 A CN 110709026A
Authority
CN
China
Prior art keywords
surface scanning
scanning
anatomical organ
end effector
force sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880035024.7A
Other languages
English (en)
Inventor
G·A·托波雷克
A·波波维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN110709026A publication Critical patent/CN110709026A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0048—Detecting, measuring or recording by applying mechanical forces or stimuli
    • A61B5/0053—Detecting, measuring or recording by applying mechanical forces or stimuli by applying pressure, e.g. compression, indentation, palpation, grasping, gauging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6885—Monitoring or controlling sensor contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/03—Automatic limiting or abutting means, e.g. for safety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B3/00—Measuring instruments characterised by the use of mechanical techniques
    • G01B3/002—Details
    • G01B3/008—Arrangements for controlling the measuring force
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/20—Measuring arrangements characterised by the use of mechanical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Manipulator (AREA)

Abstract

一种力感测表面扫描系统(20)采用扫描机器人(41)和表面扫描控制器(50)。扫描机器人(41)包括表面扫描末端执行器(43)，所述表面扫描末端执行器生成指示由所述表面扫描末端执行器(43)施加到解剖器官的接触力的力感测数据。在操作中，所述表面扫描控制器(50)控制由所述表面扫描末端执行器(43)对所述解剖器官的表面进行扫描，包括所述表面扫描末端执行器(43)生成力感测数据，并还响应于由表面扫描末端执行器(43)生成的力感测数据来构建解剖器官的术中体积模型，所述力感测数据指示所述解剖器官的定义的表面变形偏移。

Description

力感测表面扫描系统、设备、控制器和方法
技术领域
本公开的发明总体涉及用于解剖器官(例如，肝、心脏、肺、脑、胃、脾、肾、胰、膀胱等)的表面扫描的系统、设备、控制器和方法，用于将解剖器官的术中表面扫描体积模型与解剖器官的术前图像分割体积模型进行配准的目的。
本公开的本发明更具体地涉及通过将力感测技术实施到解剖器官的机器人辅助表面扫描中从而实现解剖器官的术中表面扫描体积模型与解剖器官的术前图像的体积模型的配准来改进这样的系统、设备、控制器和方法。
背景技术
可以通过充气的腹壁中的单个切口来进行微创外科手术。因此，内窥镜图像提供了经由内窥镜到手术器械的视线以及(一个或多个)解剖器官的外表面的视线。(一个或多个)解剖器官的内部结构(例如血管，肿瘤等)通常通过二维(“2D”)腹腔镜超声(LUS)来可视化。然而，LUS在大的解剖学背景下难以解释，尤其是当图像异常被组织异常(例如肝硬化、脂肪结构等)，先前的肿瘤治疗(例如热消融、经动脉栓塞等)和/或LUS与(一个或多个)解剖器官的不正确声学耦合掩盖时。为了改进术中信息，高质量的三维(“3D”)成像模态(例如，计算机断层扫描模态(CT)，磁共振成像模态(MRI)，锥形束CT(CBCT)等)可以将腹腔镜图像与腹腔镜图像融合，其中图像配准可以提供肿瘤位置深度、关键解剖结构领域、预定义的切除计划以及对外科手术有用的其他信息的知识。
在本公开的技术中，几种基于表面的配准技术是已知的，用于将3D术前图像与术中身体空间融合。这些技术通过将从3D术前图像分割出的解剖结构的表面与手术过程中采集的同一表面的稀疏表示进行匹配，从而估计图像到患者的变换矩阵。
本领域已知的用于在外科手术过程中对(一个或多个)软组织解剖结构进行术中表面扫描的当前技术利用由外部位置测量系统(例如，光学跟踪、电磁跟踪等)或外部激光测距仪跟踪的预先校准的工具指示器，或内窥镜图像的3D多视图重建。然而，由于未知的组织特性和大的组织变形，这种术中表面扫描具有挑战性。
更具体地说，使用跟踪的工具指示器进行精确的解剖结构扫描既耗时又高度依赖用户。工具校准和跟踪系统的不准确性、操作人员在保持恒定压力和与器官表面接触两者时引入的误差以及采集过程中软组织解剖结构的未知变形也阻碍了该方法的可重复性。
另一方面，激光扫描方法需要外部激光测距仪，所述外部激光测距仪难以集成到微创手术套件中，并且由于器官表面的反射特性而不准确。
此外，从内窥镜图像进行的多视图3D重建要求呈现独特特征或纹理的表面以及未被血液覆盖的表面。
发明内容
为了改进用于在外科手术过程中对一个或多个软组织解剖结构进行术中表面扫描的表面扫描系统、设备、控制器和方法，本公开提供了用于基于对由扫描机器人的表面扫描末端执行器施加到解剖器官的接触力的感测来构建解剖器官的术中扫描体积模型的发明，其中，接触力表示解剖器官的定义的表面变形偏移。
本公开的发明的一个实施例是一种采用扫描机器人和表面扫描控制器的力感测表面扫描系统。
扫描机器人包括表面扫描末端执行器，所述表面扫描末端执行器用于生成力感测数据，所述力感测数据指示由所述表面扫描末端执行器施加到解剖器官的接触力。
采用所述表面扫描控制器以用于通过表面扫描末端执行器来控制对解剖器官的表面扫描，包括表面扫描末端执行器生成力感测数据，并且用于响应于由所述表面扫描末端执行器生成的所述力感测数据来构建解剖器官的术中体积模型，所述力感测数据指示所述解剖器官的定义的表面变形偏移。
本公开的发明的第二实施例是采用扫描命令器(133)和模型构建器(134)的表面扫描控制器。
采用扫描命令器(133)以用于通过表面扫描末端执行器来控制解剖器官的表面扫描，包括所述表面扫描末端执行器生成表示由所述表面扫描末端执行器施加到解剖器官的接触力的力感测数据。
采用模型构建器(134)以用于响应于由所述表面扫描末端执行器生成的力感测数据来构建解剖器官的术中体积模型，所述力感测数据指示解剖器官的定义的表面变形偏移。
本公开的发明的第三实施例是一种力感测表面扫描方法，所述方法包括由表面扫描控制器控制由表面扫描末端执行器对剖器官的表面扫描，包括表面扫描末端执行器生成力感测数据，所述力感测数据提供由表面扫描末端执行器施加到解剖器官的接触力的信息。
所述力感测表面扫描方法还包括表面扫描控制器响应于由所述表面扫描末端执行器生成的力感测数据来构建解剖器官的术中体积模型，所述力感测数据指示所述解剖器官的定义的表面变形偏移。
出于描述和要求保护本公开的发明的目的：
(1)应当理解，本公开的领域中的术语，包括但不限于，“成像模态”、“扫描机器人”和“末端执行器”，应该如本公开的领域中己知的并且在本文中示例性地描述地来理解；
(2)术语“力感测表面扫描系统”广泛地涵盖所有表面扫描系统，如本公开内容的技术领域以及下文构思的那样，并入本公开内容的发明原理以将力感测技术实现到机器人辅助的对剖器官的表面扫描中。已知的表面扫描系统的示例包括但不限于飞利浦增强现实手术导航系统，基于飞利浦L10-4lap线性换能器的系统，带有用于表面数字化的导航指示器工具的BrainLab颅内导航以及Pathfindeer手术导航系统；
(3)术语“力感测表面扫描方法”广泛地涵盖所有表面扫描方法，如本公开内容的技术领域以及下文构思的那样，并入本公开内容的发明原理以将力感测技术实现到机器人辅助的对剖器官的表面扫描中。已知的表面扫描方法的非限制性实例是PhilipsPinnacle3；
(4)术语“控制器”广泛地涵盖用于控制本公开的各种发明原理的应用的专用主板或专用集成电路的所有结构配置，所述应用涉及监测解剖内腔内的介入设备的折叠和/或扭曲，如随后在本文中示例性描述的。控制器的结构配置可以包括但不限于，(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块，(一个或多个)外围设备控制器、(一个或多个)接口、(一个或多个)总线、(一个或多个)槽和(一个或多个)端口。本文中针对术语“控制器”的标签“成像”、“机器人”和“表面扫描”出于识别的目的而将特定控制器与本文所述和要求保护的其他控制器区分开，而没有指定或暗示对术语“控制器”的任何其他限制。
(6)术语“应用模块”广泛地涵盖控制器的部件，其包括用于执行特定应用的电子电路和/或可执行程序(例如，存储在(一个或多个)非瞬态计算机可读介质上的可执行软件和/或固件)；本文中针对术语“模块”的标签“扫描命令器”、“模型构建器”“模型配准器”和“模型融合器”出于识别的目的而将特定模块与本文所述和要求保护的其他模块区分开来，而不指定或暗示对术语“应用模块”的任何附加限制；并且
(7)术语“数据”和“命令”广泛地涵盖如本公开的领域中所理解的以及本文中示例性描述的用于传递信息和/或指令以支持应用如本文中随后描述的本公开的各种发明原理的所有形式的可检测物理量或脉冲(例如，电压、电流或磁场强度)。本公开的部件之间的数据/命令通信可以涉及任何通信方法，如本公开的领域中已知的并且在下文中构思的，包括但不限于，任何类型的有线或无线介质/数据链路上的数据/命令发送/接收，以及上传到计算机可用/计算机可读存储介质的数据/命令的读取。
结合随附附图阅读，根据对本公开的发明的各种实施例的详细描述，本公开的发明的前述实施例和其他实施例以及本公开的发明的各种特征和优点将变得更加明显。详细描述和附图仅是本公开的发明的例示而非限制，本公开的发明的范围由所附权利要求及其等价方案限定。
附图说明
图1A图示了根据本发明的发明原理的力感测表面扫描方法的示例性实施例。
图1B图示了根据本发明的发明原理的力感测表面扫描系统的示例性实施例。
图2A和2B图示了根据本公开的发明原理的示例性扫描路径规划。
图3A-3C图示了根据本公开的发明原理的通过表面扫描末端执行器对解剖器官的示例性表面扫描。
图4图示了根据本公开的发明原理的图1B的力感测表面扫描系统的示例性实施例。
图5图示了表示根据本公开的发明原理的图1A的力感测表面扫描方法的示例性实施例的流程图。
图6A-6F图示了根据本公开的发明原理的通过指示器工具对解剖器官的示例性表面扫描。
图7A至图7F示出了根据本公开的发明原理的通过超声腹腔镜对解剖器官的示例性表面扫描。
具体实施方式
作为对用于在外科手术过程中对(一个或多个)软组织解剖器官进行术中表面扫描的己知表面扫描系统、设备、控制器和方法的改进，本公开提供了用于基于对由扫描机器人的表面扫描末端执行器施加到解剖器官的接触力的感测来构建解剖器官的术中扫描体积模型的发明，其中，所述接触力指示解剖器官的定义的表面变形偏移。
为了促进对本公开的各种发明的理解，以下对图1A和图1B的描述将教导了根据本公开的发明原理的力感测表面扫描方法10和力感测表面扫描系统20的实施例。从该描述中，本领域普通技术人员将理解如何根据本公开的发明原理来实践力感测表面扫描方法和力感测表面扫描系统的各种实施例。
同样从该描述中，本领域普通技术人员将理解本公开的力感测表面扫描方法和力感测表面扫描系统在支持利用术前成像和术中成像的融合的外科手术中的应用。这种外科手术的示例包括但不限于心胸外科手术、前列腺切除术、脾切除术、肾切除术和肝切除术。
参考图1B，力感测表面扫描系统20采用体积成像模态30、机器人系统40和表面扫描控制器50。
体积成像模态31是如本公开的领域中已知的用于生成解剖区域的术前体积图像的成像模态(例如，计算机断层摄影成像，磁共振成像，超声成像模态，正电子发射断层摄影成像，以及对胸部区域、颅骨区域、腹部区域或骨盆区域进行的单光发射计算机断层摄影成像)。
机器人系统40使用扫描机器人41、机器人控制器42、表面扫描末端执行器43和超声成像末端执行器44。
扫描机器人41是在本公开的技术领域中或在下文中构思的任何类型的机器人，其在结构上被配置为或在结构上可配置有在执行外科手术过程中使用的一个或多个末端执行器。此外，扫描机器人41配备有如本公开领域中已知的姿态跟踪技术和力感测技术。
在一个示例性实施例中，扫描机器人41是蛇形扫描机器人，蛇形扫描机器人装备有嵌入在蛇形扫描机器人的每个关节中的旋转编码器，如本公开的领域中已知的，用于跟踪蛇形扫描机器人的姿态，并且还装备有用于感测蛇形扫描机器人的末端执行器与解剖器官之间的接触力的力传感器、压力传感器或光纤，如本公开的领域中已知的。
机器人控制器42根据由表面扫描控制器50发出的机器人位置命令55，在相关坐标系内控制扫描机器人41的姿态，如本公开的领域中已知的。
表面扫描末端执行器43用于构建根据本发明的发明原理的解剖区域的术中扫描体积模型15，如将在本文中进一步解释的。在实践中，表面扫描末端执行器43可以是在其上具有校准扫描参考的任何类型的末端执行器，如本公开的领域中已知的。在示例性实施例中，表面扫描末端执行器43可以包括保持工具指示器的安装座，所述工具指示器具有球形远侧尖端，用作经校准的扫描基准，或者可以包括保持超声腹腔镜的安装座，所述超声腹腔镜具有作为经校准的扫描基准的超声换能器。
外科手术成像末端执行器44用于在术中对解剖器官内的外表面和/或内部结构成像，以支持本公开中已知的外科手术流程。在示例性实施例中，外科成像末端执行器44可以是超声腹腔镜，其还可以用作表面扫描末端执行器43。
在实践中，表面扫描末端执行器43被安装在扫描机器人41上，其中机器人控制器42根据来自表面扫描控制器50的机器人位置命令55控制扫描机器人41，以实施如图1中所示的力感测表面扫描方法10的机器人表面扫描12，如将在本文中进一步解释。随后，将外科成像末端执行器44安装在扫描机器人41上，其中，机器人控制器42在外科手术过程中根据来自机器人系统40的操作者的交互或规划的命令来控制扫描机器人41。
替代地，在实践中，表面扫描末端执行器43被固定到扫描机器人41，其中机器人控制器42根据来自表面扫描控制器50的机器人位置命令55来控制扫描机器人41，以实施如图1中所示的力感测表面扫描方法10的机器人表面扫描12，如将在本文中进一步解释。随后，将外科成像末端执行器44固定在或安装在额外的扫描机器人41上，其中机器人控制器42在外科手术过程中根据来自机器人系统40的操作者的交互或规划的命令来控制所述额外的扫描机器人41。
表面扫描控制器50控制本公开的力感测表面扫描方法10(图1A)的实施，如将在本文中描述的。
参考图1A和1B，力感测表面扫描方法10包括扫描路径计划阶段11、机器人表面扫描阶段12和体积模型配准阶段13。
在方法10的路径规划阶段11之前，如本公开的领域中已知的，操作成像控制器30以通过体积成像模态31控制解剖区域的术前体积图像的生成(例如，计算机断层摄影成像，磁共振成像，超声成像模态，正电子发射断层成像和胸部区域、颅骨区域、腹部区域和骨盆区域的单光发射计算机断层摄影成像)。
方法10的路径规划阶段11包括通过本公开领域中已知的任何通信技术(例如，数据上传或数据流)将表示解剖器官的术前体积图像的体积图像数据14传送至表面扫描控制器50。表面扫描控制器50处理体积图像数据14，以生成解剖区域内的解剖器官的术前图像分割体积模型15，如本公开的领域中已知的(例如，肝、心脏、血管肺、脑、胃、脾、肾、胰腺、膀胱等的分割体积模型)。
替代地，成像控制器30可以处理体积图像数据14以生成解剖器官的术前图像分割的体积模型15，如本公开的领域中已知的，其中，方法10的路径计划阶段11包括通过本公开领域中已知的任何通信技术(例如，数据上传或数据流)将解剖器官的术前图像分割的体积模型15传送给表面扫描控制器50。
方法10的路径计划阶段11还包括表面扫描控制器50运行扫描路径计划51，所述扫描路径计划51包括沿解剖器官的术前图像分割的体积模型15的一个或多个节段或整个表面的路径的定义，如在本公开的领域中已知的那样。
在扫描路径计划51的一个实施例中，表面扫描控制器50如本公开的本领域中已知的那样在解剖器官的术前图像分割的体积模型15上实施操作者或系统对线采样扫描路径的描绘，包括表面扫描末端执行器43沿着一条或多条线在解剖器官的术前图像分割的体积模型15的表面节段或整个表面上行进时表面扫描末端执行器43与解剖器官之间的连续接触。
例如，图2A示出了线采样扫描路径15a的示例性描绘，线采样扫描路径15a包括穿过肝脏的术前图像分割体积模型的表面的多条线。在实践中，线路可以如图所示断开连接，也可以通过路径15a的操作者或系统勾画而进行任意程度的连接。
替代地，在实践中，可以独立于术前图像分割体积来定义线采样扫描路径。例如，线采样扫描路径可以被定义为几何图案(例如，螺旋形图案、锯齿形图案等)或随机图案(例如，白噪声采样方案)或其组合。
在扫描路径计划51的第二实施例中，表面扫描控制器50如本公开的本领域中已知的那样在解剖器官的术前图像分割的体积模型15上实施操作者或系统执行对点采样扫描路径的描绘，涉及表面扫描末端执行器42在解剖器官的术前图像分割的体积模型15的表面节段或整个表面上行进时表面扫描末端执行器43与解剖器官之间的周期性接触。
例如，图2B示出了点采样扫描路径15b的示例性描绘，所述点采样扫描路径15b包括在肝脏的术前图像分割体积模型的表面上标记的多个点。在实践中，如由操作者或系统对路径15b的描绘所设计的，这些点可以按所示的均匀的模式或不均匀的模式排列。
替代地，在实践中，可以独立于术前图像分割体积来定义点采样扫描路径。例如，线采样扫描路径可以被定义为几何图案(例如，螺旋形图案、锯齿形图案等)或随机图案(例如，白噪声采样方案)或其组合。
进一步在实践中，扫描路径计划51还可以包括在解剖器官的术前图像分割体积模型15上描绘的线采样扫描路径和点采样扫描路径的任何组合。
另外，在实践中，对于表面扫描控制器50可以省略扫描路径计划51，或者对于特定过程，表面扫描控制器50不使用扫描路径计划51。在这种情况下，系统20的操作者可以在实施操作者定义的采样扫描路径时控制扫描机器人41的导航。
仍参考图1A和1B，方法10的机器人表面扫描阶段12包括在解剖器官附近的对表面扫描末端执行器43的图像引导，其中，操作表面扫描控制器50以向机器人控制器42发出机器人位置命令55以根据在解剖器官的术前图像分割体积模型15上描绘的规划的采样扫描路径来控制对外科扫描末端执行器43相对于解剖器官的导航。
更具体地，为了促进根据本公开的发明原理的模型配准53，如将在本文中进一步描述的，机器人系统40将表面感测数据16传送到表面扫描控制器50，其中，表面扫描控制器50实施根据本公开的发明原理的解剖器官的术中体积模型17的模型构建52，如本文将进一步描述。
更具体地，表面感测数据16包括由机器人控制器42传送至表面扫描控制器50的机器人位置数据45，其中，机器人位置数据45指示扫描机器人41在配准到解剖器官或术前分割体积模型的坐标系内的当前姿态，如本公开领域中已知的。
表面感测数据16还包括力感测数据46，所述力感测数据46指示由表面扫描端部执行器43施加到解剖器官的接触力，并且对于表面扫描端部执行器43的成像实施例，表面感测数据16还包括表示解剖图像的当前图像切片的扫描图像数据47。
表面扫描控制器50处理机器人位置数据45、力感测数据46和扫描图像数据47(如果适用的话)，以基于经历由扫描表面未端致动器引起小的形变(例如，以纳米为单位的组织变形)的解剖器官的软组织的物理行为来构建解剖器官的术中体积模型17。
具体地，模型构建52以如下假设为前提：在轻微变形下解剖器官的软组织物理行为既具有线性弹性并且是一维的。在这种情况下，可以使用公式u＝f/k来计算未变形的解剖组织和变形的解剖组织之间的偏移，其中，u是组织位移(偏移)，f是表面扫描末端执行器43与变形的解剖组织之间的感测的接触力，并且k是描述解剖器官的粘弹性属性的参数。
根据该假设，模型构建52涉及指定定义的扫描力参数fDC和定义的粘弹性属性参数k，其中，可以计算表面变形偏移量uSDO以支持解剖器官的术中体积模型17的构建，如本文将进一步解释的。
在模型构建52的一个实施例中，表面扫描控制器50的操作者经由输入设备和/或图形接口来将粘弹性属性参数k提供或选择为表示对象解剖器官的粘弹性属性的恒定值，并且进一步提供或选择扫描解剖器官的表面的扫描力参数fDC(例如，以兆牛顿为单位的接触力)。从提供的/选择的粘弹性属性参数k和扫描力参数fDC来计算表面变形偏移量uSDO，以支持解剖器官的术中体积模型17的构建。
替代地，本公开认识到在变形下解剖器官的软组织的粘弹性行为可能是非常复杂的过程。首先，可以通过多维矩阵描述任何不均匀分布的力的粘弹性属性参数，所述矩阵考虑了力的方向和表面的拓扑。第二，变形的线性仅对于非常小的变形(例如，纳米级)才成立。第三，由于组织异常或由于患者特定的解剖特征，解剖器官的软组织的粘弹性属性参数k可能是未知的。因此，在模型构建52的第二实施例中，根据经验定义表面变形偏移量uSDO，如将在本文中进一步解释的。
仍参考图1A和1B，当表面扫描控制器50根据在解剖器官的术前图像分割体积模型15上所描绘的规划的采样扫描路径来控制手术扫描末端执行器43相对于解剖器官的导航时，方法10的机器人表面扫描阶段12还包括表面扫描控制器50记录扫描表面末端执行器43的校准扫描参考的每个位置，所述位置对应于表面扫描末端执行器43施加给解剖器官的等于扫描力参数fDC的接触力，在实践中，等于扫描力参数fDC的感测接触形式可以以可接受的误差范围来实施。
在假定数字化模型点的每个记录位置的均匀变形偏移的假设下，扫描表面末端执行器43的校准的扫描参考的每个记录的位置被认为是适合于生成解剖器官的稀疏点云表示的数字化模型点。
在实践中，如将在本文中进一步解释的，鉴于对应于由扫描表面末端执行器43所施加到解剖器官等于扫描力参数fDC的接触力的、表面扫描末端执行器43的校准扫描参考的位置的子集，还鉴于未能对应于由扫描表面末端执行器43所施加到解剖器官等于扫描力参数fDC的接触力的、表面扫描末端执行器43的校准扫描参考的位置的子集，线采样扫描路径生成解剖器官的稀疏点云表示。
同样在实践中，如本文将进一步解释的那样，点采样扫描路径基于解剖器官的术前图像分割体积模型15上的点的空间描绘来生成解剖器官的稀疏点云表示。
对于扫描表面末端执行器43的非成像实施例，方法10的机器人表面扫描阶段12还包括表面扫描控制器50，所述表面扫描控制器50将术中体积模型17构建为经由任何风格构建技术从稀疏点云表示创建的网格，如本公开的领域中己知的(例如，Delaunay三角剖分)。
由于定义的变形偏移，出于配准的目的，网格将具有与解剖器官的术前图像分割体积模型15的形状类似的形状，但是网格不必与具有解剖器官的术前图像分割体积模型15的大小可比较的大小。尽管对于大多数配准过程不是必需的，但是为了获得可比较的尺寸，表面扫描控制器50还可以通过本公开领域中已知的任何网格归一化技术(平均权重等价)，根据定义的变形偏移量，在每个顶点处进一步计算法向矢量，并在关联法线向量的方向上移动网格的每个点以增加尺寸，但仍保持网格的形状。
对于扫描表面末端执行器43的成像实施例，方法10的机器人表面扫描阶段12还包括表面扫描控制器50，其拼贴与网格的每个点相关联的图像，所述图像的是未定尺寸的或被定尺寸为使得将术中体积模型17绘制为解剖器官的图像。在实践中，在拼贴与网格的每个点相关联的图像时，表面扫描控制器50可以对由于扫描表面末端执行器43的经校准的扫描参考的未记录位置而从网格中丢失的图像进行插值。
为了促进对本公开的各种发明的理解，下面对图3A至图3C的描述说明了根据本公开的发明原理的数字化模型点的示例性记录位置。从该描述中，本领域普通技术人员将进一步理解如何根据本公开的发明原理来实践力感测表面扫描方法和力感测表面扫描系统的各种实施例。
参考图3A，示出了表面扫描末端执行器43在扫描解剖器官的表面之前使解剖器官变形。更具体地，表面扫描控制器50控制扫描端部执行器43相对于所述解剖器官的定位以最初将接触力施加到解剖器官的组织造成未变形的解剖学组织UAT与变形解剖组织DATI之间的OFFSETI。调节扫描末端执行器43的定位，直到每个力感测数据FSD的感测到的接触力SCF1等于所需的收缩力DCF，其中，未变形的解剖组织UAT与变形的解剖组织DATI之间的OFFSETI被视为等同于如本文中先前所描述的解剖器官的定义的表面变形偏移uSDO。因此，表面扫描控制器50根据每个机器人位置数据45的对应机器人位置RPI记录由黑点表示的表面扫描末端执行器43的经校准的扫描参考位置SRP作为初始数字化模型点DMPI。
在扫描解剖器官的表面期间，图3A图示了扫描末端执行器43到相对于解剖器官的机器人RPX的重新定位，导致未变形的解剖组织UAT与变形的解剖组织DATX之间的偏移X，其中，每个力感测数据FSD的感测接触力SCFX等于期望的收缩力DCF，并且图3B图示了扫描末端执行器43到相对于解剖器官的机器人RPY的重新定位，导致未变形的解剖组织UAT与变形的解剖组织DATY之间的偏移Y，其中，每个力感测数据FSD的感测接触力SCFY不等于期望的收缩力DCF。
对于点采样扫描路径实施例，调整扫描末端执行器43的重新定位，直到每个力感测数据FSD的感测到的接触力SCF等于期望的收缩力DCF，如图3A中所示，其中，未变形的解剖学组织UAT和变形解剖组织DATX之间偏移x被认为等同所定义的解剖器官的表面变形偏移uSDO，如本文中先前所描述。因此，表面扫描控制器50根据每个机器人位置数据45的对应的机器人位置RPX记录由黑点表示的表面扫描末端执行器43的经校准的扫描参考位置SRP作为附加的数字化模型点DMPX。针对点采样扫描路径中的每个点重复此过程。
对于线采样扫描路径实施例，当表面感测末端执行器43沿着解剖器官的表面上方的线移动时，表面扫描控制器50将数字化如图3A中所示的机器人位置RPX，并且将不数字化如图3B中所示机器人位置RPY或未能感测到等于扫描力参数SFP的接触力任何其他机器人位置。
任一个实施例的结果都是解剖器官的稀疏云表示，便于术中体积模型17的未调整大小或调整大小的网格创建。
返回参考图1A和图1B，方法10的体积模型配准13包括表面扫描控制器50，所述表面扫描控制器50通过如本公开领域中已知的配准技术来实现术前分割体积模型15和术中体积模型17的模型配准53。
在术中体积模型17的网格实施例中，表面扫描控制器50可以执行逐点配准技术以配准术前分割体积模型15和术中体积模型17。这样的逐点配准技术的示例包括但不限于，刚性或非刚性迭代更近点(ICP)配准，刚性或非刚性鲁棒点匹配(RPM)配准以及基于颗粒滤波器的配准。
在术中体积模型17的拼贴图像实施例中，表面扫描控制器50可以执行图像配准技术以配准术前分割体积模型15和术中体积模型17。这种逐点配准技术的示例包括但不限于基于内部解剖界标的图像配准(例如，分叉或钙化)，基于内部植入的标记的图像配准和基于互信息的图像配准。
仍然参考图1A和图1B，在扫描过程完成时，表面扫描控制器50可以如本公开领域中已知的那样基于模型配准53来实现模型融合54，其中，可以在适用的坐标系内显示经配准的模型融合56，如象征性地所示。
在一个实施例中，配准模型融合56包括术前分割体积模型15在术中体积模型17上的叠加。
在另一个实施例中，配准模型融合56包括术前分割体积模型15在解剖器官上的覆盖，所述配准被配准到机器人系统40的坐标系。
为了促进对本公开的各种发明的理解，以下对图4和图5的描述教导了根据本公开的发明原理的力感测表面扫描系统100和力感测表面扫描系统140的另外的实施例。从该描述中，本领域普通技术人员将进一步理解如何根据本公开的发明原理来实践力感测表面扫描方法和力感测表面扫描系统的各种实施例。
参考图4，力感测表面扫描系统100采用蛇形扫描机器人110、工具指示器113、超声腹腔镜115和内窥镜115。
为了扫描的目的，如本公开领域中已知的，可以将工具指示器113或超声腹腔镜115安装到蛇形扫描机器人110上。
蛇形扫描机器人110装备有(一个或多个)力/压力传感器111和/或(一条或多条)光纤112，以感测由安装的工具指示器113或超声腹腔镜115施加到解剖器官的接触力，如本公开的领域中已知的那样。
内窥镜115可安装在另外的蛇形扫描机器人110上，以观察工具指示器113或超声腹腔镜115在解剖器官的表面附近的定位。
力感测表面扫描系统100还采用工作站120和扫描控制设备130。
工作站120包括本公开领域中已知的监视器121、键盘122和计算机123的已知布置。
扫描控制设备130采用均安装在计算机123上的机器人控制器131、表面扫描控制器132和显示控制器137。
在实践中，机器人控制器131、表面扫描控制器132和显示控制器137可以体现为用于实现根据本公开的发明原理的如图5中所示的力感测表面扫描方法的硬件、软件、固件和/或电子电路的任何布置，其将在本文中进一步解释。
在一个实施例中，机器人控制器131、表面扫描控制器132和显示控制器137每个可以包括经由一个或多个系统总线互连的处理器、存储器、用户接口、网络接口和存储器。
处理器可以是能够执行存储在存储器或存储器中的指令或以其他方式处理数据的，如本公开的技术领域中已知的或在下文中构思的任何硬件设备。在非限制性范例中，处理器可以包括微处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他类似设备。
存储器可以包括如本公开的领域中已知的或在下文中构思的各种存储器，包括但不限于L1、L2或L3高速缓存或系统存储器。在非限制性范例中，存储器可以包括静态随机存取存储器(SRAM)、动态RAM(DRAM)、闪存、只读存储器(ROM)或其他类似的存储器设备。
用户接口可以包括一个或多个设备，如在本公开的领域中已知的或在下文中构思的，用于使得能够与诸如管理员的用户进行通信。在非限制性范例中，用户接口可以包括命令行接口或图形用户接口，其可以经由网络接口呈现给远程终端。
网络接口可以包括一个或多个设备，如在本公开的领域中已知的或在下文中构思的，用于使得能够与其他硬件设备进行通信。在非限制性范例中，网络接口可以包括被配置为根据以太网协议进行通信的网络接口卡(NIC)。另外，网络接口可以根据TCP/IP协议实现用于通信的TCP/IP栈。用于网络接口的各种替代或附加硬件或配置将是显而易见的。
如本公开的技术领域中或以下构思的，所述存储设备可以包括一个或多个机器可读存储介质，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、磁性存储器、磁盘存储介质、光学存储介质、闪存设备或类似的存储介质。在各种非限制性实施例中，存储设备可以存储用于由处理器执行的指令或者处理器可以操作的数据。例如，存储器可以存储用于控制硬件的各种基本操作的基本操作系统。存储器还可以以可执行软件/固件的形式存储一个或多个应用模块。
更具体地，仍然参考图4，机器人控制器131包括(一个或多个)应用模块，所述(一个或多个)应用模块用于控制蛇形扫描机器人100在机器人坐标系内的导航，如本公开领域中已知的，并且显示控制器137包括(一个或多个)应用模块，(一个或多个)应用模块用于控制图像、图形用户接口等在监视器120上的显示，如本公开领域中已知的。
表面扫描控制器132包括扫描命令器(133)133，模型构建器(134)134，模型配准器135和模型融合器136形式的应用模块，用于控制根据本公开的发明原理的如图5中所示的力感测表面扫描方法的实施，如将在本文中进一步解释。
在实践中，扫描控制设备130可以替代地或同时安装在其他类型的处理设备上，包括但不限于，平板电脑或工作站以及平板电脑或工作站可访问的服务器，或者可以分布在支持利用如图5中所示出的本公开的力感测表面扫描方法的外科手术流程的执行的网络上。
同样在实践中，控制器131、132和135可以是扫描控制设备130的集成部件，隔离部件或逻辑分割部件。
图5图示了表示根据本发明的发明原理的力感测表面扫描方法的流程图140，其由表面扫描控制器132的应用模块133-136实现，如将在本文中描述的。
参考图5，流程图140的阶段S142包括由扫描命令器(133)132(图4)实施的预扫描活动。这些预扫描活动包括但不限于，
1、如本领域中已知的，扫描命令器133控制蛇形扫描机器人110与术前分割体积模型的配准；
2、扫描命令器133如本文中先前结合图11A和1B的描述所描述的控制蛇形扫描机器人110的采样扫描路径的规则划，特别是线采样扫描路径或点采样扫描路径；
3、扫描命令器133控制图形用户接口以供操作者提供或操作者选择粘弹性属性参数k和扫描力参数f；以及
4、扫描命令器133控制表面感测末端执行器的初始偏移位置，例如，如图6A中所示的工具指示器113的初始定位，或者如图7A中所示超声腹腔镜114初始定位。
更具体地，从提供/选择的粘弹性属性参数k和扫描力参数f计算定义的表面变形偏移量u，其中，扫描参数133控制表面感测末端执行器的初始偏移定位，以使感测到的接触力等同于扫描力参数f，从而实现未变形的解剖组织与解剖器官的变形的解剖组织之间的定义的表面变形偏移u，如本文先前所描述。
对于已知粘弹性属性参数k的实施例，定义的表面变形偏移u可以如下地经验性定义：
1、扫描命令器133控制图形用户接口，用于用户控制在选定的非零感测控制力下对表面感测末端执行器的初始偏移定位，例如，如图6A所示的对工具指示器113的初始定位，或者如图7A中所示的对超声腹腔镜114的初始定位；以及
2、扫描命令器133使表面感测末端执行器缩回，直到此时感测到的控制力为零为止；以及
3、扫描命令器133将扫描力参数f定义为与表面感测末端执行器的初始偏移定位相关联的选定的非零感测控制力，并且还将表面变形偏移u定义为表面感测末端执行器的缩回距离。
替代地，在实践中，可以在阶段S142期间独立于术前图像分割体积来定义采样扫描路径，从而省略了将蛇形扫描机器人110配准到术前分割体积模型的需要。例如，采样扫描路径可以被定义为几何图案(例如，螺旋形图案，锯齿形图案等)或被定义为随机图案(例如，白噪声采样方案)或其组合。对于阶段S142的这种替代实施例，解剖器官的表面经由手术端口而被暴露，并且蛇形扫描机器人110通过手术端口插入到解剖器官的表面，直到到达表面感测末端执行器的初始偏移位置或者根据经验定义的表面变形偏移u为止。此后，手动地或操纵蛇形扫描机器人110以遵循预定的几何图案或随机地行进通过解剖器官的表面或其组合。
仍然参考图5，流程图140的阶段S144包括由扫描命令器(133)132(图4)和模型构建器(134)134(图4)实现的扫描活动。这些扫描活动包括但不限于，
1、扫描命令器133根据规划的采样扫描路径来控制蛇形扫描机器人110相对于解剖器官的导航，如本文先前结合图1A和1B所述；
以及
2A、模型构建器134构建如本文中先前结合对图1A和图1B的描述所描述的术中体积网格，例如像图6E中所示的术中体积图像170；
或者
2B、模型构建器134拼贴如本文中先前结合对图1A和图1B的描述所描述的术中体积图像，例如像图7E中所示的术中体积图像180；
更具体地，对于利用工具指示器113的阶段S144的实施例，对蛇形扫描机器人110的导航将导致样本点的数字化，其指示感测到的接触力等于扫描力参数f，如图6B示例性地所示，以及样本点的非数字化，其指示感测到的接触力不等于扫描力参数f，如图6C示例性地所示。
参考图6D，可以将图形150显示给工作站120的操作者(图4)，从而可视化(一个或多个)特定样本点的数字化时间段152和154以及(一个或多个)剩余样本点的非数字化时间段151、153和155。
在一个实施例中，非数字化时间段151表示工具指示器113相对于解剖区域的预扫描定位，其中数字化时间段152和154表示在解剖器官的线采样扫描期间的多个数字化样本点。
在另一实施例中，非数字化151时间段表示工具指示器113相对于解剖区域的预扫描定位，其中数字化时间段152和154表示在解剖器官的点采样扫描期间的单个数字化样本点。
返回图4，更具体地，对于利用超声腹腔镜114的阶段S144的实施例，对蛇形扫描机器人110的导航将导致样本点的数字化，其指示感测到的接触力等于扫描力参数f，如图7B示例性地所示，以及样本点的非数字化，其指示感测到的接触力不等于扫描力参数f，如图7C示例性地所示。
参考图7D，可以将图形170显示给工作站120的操作者(图4)，从而可视化(一个或多个)特定样本点的数字化时间段172和174以及(一个或多个)剩余样本点的非数字化时间段171、173和175。
在一个实施例中，非数字化时间段171表示超声腹腔镜114相对于解剖区域的预扫描定位，其中数字化时间段172和174表示在解剖器官的线采样扫描期间的多个数字化样本点。
在另一实施例中，非数字化151时间段表示超声腹腔镜114相对于解剖区域的预扫描定位，其中数字化时间段172和174表示在解剖器官的点采样扫描期间的单个数字化样本点。
返回图4，流程图140的阶段S146包括由模型构建器(134)134(图4)和/或模型配准器135实施的扫描后活动。这些扫描后活动包括但不限于，
1A、模型构建器134任选地根据定义的表面变形偏移来控制术中体积网格的尺寸，如本文先前结合对图11A和1B的描述所描述的，例如，像将术中体积网格150调整为术中体积网格151，如图6F中所示(注意尺寸调整通常将以纳米为单位，因此如图6F所示的尺寸调整被放大以使概念可视化)；以及
2A、模型配准器135将未调整尺寸/调整尺寸的术中体积网格配准到术前分割体模型，如本文先前结合对图1A和1B的描述所描述的；或者
1B、模型构建器134任选地根据定义的表面变形偏移来控制术中体积图像的尺寸，如本文先前结合对图11A和1B的描述所描述的，例如，像将术中体积图像180调整为术中体积网格181，如图7F中所示(注意尺寸调整通常将以纳米为单位，因此如图7F所示的尺寸调整被放大以使概念可视化)；以及
2B、模型配准器135将未调整尺寸/调整尺寸的术中体积图像配准到术前分割体模型，如本文先前结合对图1A和1B的描述所描述的；
在阶段S146完成之后，模型融合器136实施如本公开领域中已知的融合技术，以用于生成配准的模型融合138，如本文先前所描述，其中显示控制器137如图所示地控制配准的模型融合138的显示。
参考图1-7，本领域普通技术人员将理解本公开的许多益处，包括但不限于，通过本公开的发明提供的对基于感测由扫描机器人的表面扫描末端执行器施加到解剖器官的接触力的解剖器官的术中扫描体积模型构建的表面扫描系统、设备、控制器和方法的改进，其中，所述接触力指示解剖器官的定义的表面变形偏移，从而增强解剖器官的术中表面扫描体积模型与解剖器官的术前图像分割体积模型的配准。
此外，鉴于本文提供的教导，本领域普通技术人员将理解，本公开/说明书中描述和/或图中描绘的特征、元件、部件等可以以电子部件/电路、硬件、可执行软件和可执行固件的各种组合实现，并提供可以组合在单个元件或多个元件中的功能。例如，可以通过使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供附图中示出/图示/描绘的各种特征、元件、部件等的功能。当由处理器提供时，所述功能能够由单个专用处理器、由单个共享处理器，或由多个个体处理器(它们中的一些能够是共享的和/或多路复用的)来提供。此外，对术语"处理器"的明确使用不应当被解释为排他性地指代能够运行软件的硬件，而是能够暗含地不加限制地包括数字信号处理器("DSP")硬件、存储器(例如用于存储软件的只读存储器("ROM")、随机存取存储器("RAM")、非易失性存储装置等)以及能够(和/或可配置为)执行和/或控制过程的任何虚拟装置和/或机器(包括硬件、软件、固件、电路、它们的组合等)。
此外，本文中提到原理、方面和本发明实施例的所有陈述以及其具体范例都旨在涵盖其结构上和功能上的等价方案。另外，旨在使这样的等同要件既包括当前已知的等同要件，又包括未来开发的等同要件(例如，所开发出的能够执行相同或基本上相似的功能的元件，而不管其结构如何)。因此，例如，本领域普通技术人员鉴于本文中提供的教导将认识到，本文中呈现的任何方框图能够表示实现本发明的原理的说明性系统部件和/或电路的概念图。类似地，本领域普通技术人员鉴于本文中提供的教导应当认识到，任意流程图示、流程图等能够表示能够基本上被表示在计算机可读存储介质中并且由计算机、处理器或具有处理能力的其他设备如此运行的各种过程，而无论是否明确示出这样的计算机或处理器。
此外，本发明的示范性实施例可以采取能够从计算机可用和/或计算机可读存储介质访问的计算机程序产品或应用模块的形式，所述存储介质提供程序代码和/或指令，以供例如计算机或任何指令执行系统使用或结合其使用。根据本公开，计算机可用或计算机可读存储介质可以是可以例如包括、存储、传送、传播或传输程序的任何设备，所述程序供指令执行系统、装置或设备使用或结合其使用。这样的示范性介质可以例如是电子的、磁的、光学的、电磁的、红外的或半导体系统(或装置或设备)或传播介质。计算机可读介质的示例包括例如半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、闪存(驱动器)、硬磁盘以及光盘。光盘的当前范例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写存储器(CD-R/W)以及DVD。此外，应当理解，此后可以开发的任何新的计算机可读介质也应被视为根据本公开和公开内容的示例性实施例可以使用或参考的计算机可读介质。
已经描述了新颖和创造性的力感测表面扫描系统、设备、控制器和方法的优选和示例性实施例(这些实施例旨在是说明性的而非限制性的)，应注意，本领域普通技术人员可以鉴于本文提供的教导(包括附图)来进行修改和变化。因此，应当理解，在本公开的实施例的范围内，可以对本公开的优选和示例性实施例进行改变。
此外，预期的是，实施所述设备等的对应的和/或相关的系统也可以在根据本公开的设备中使用/实施，也被预期和认为在本公开的范围内。此外，还预期和认为对应的和/或相关的用于制造和/或使用根据本公开的设备和/或系统的方法在本公开的范围内。

Claims (20)

1.一种力感测表面扫描系统(20)，包括：
扫描机器人(41)，其包括表面扫描末端执行器(43)，所述表面扫描末端执行器在结构上被配置为生成指示由所述表面扫描末端执行器(43)施加到解剖器官的接触力的力感测数据；以及
表面扫描控制器(50)，其在结构上被配置为控制由所述表面扫描末端执行器(43)对所述解剖器官的表面扫描，包括所述表面扫描末端执行器(43)生成所述力感测数据，
其中，所述表面扫描控制器(50)还在结构上被配置为响应于由所述表面扫描末端执行器(43)生成的所述力感测数据来构建所述解剖器官的术中体积模型，所述力感测数据指示所述解剖器官的定义的表面变形偏移。
2.根据权利要求1所述的力感测表面扫描系统(20)，
其中，所述术中体积模型是术中体积网格和术中体积图像中的一种。
3.根据权利要求1所述的力感测表面扫描系统(20)，
其中，所述表面扫描控制器(50)还在结构上被配置为根据粘弹性属性参数和扫描力参数来控制对所述表面变形偏移的操作者定义；
其中，所述粘弹性属性参数量化所述解剖器官的硬度；并且
其中，所述扫描力参数量化期望的接触力以用于将所述解剖器官的表面点数字化。
4.根据权利要求1所述的力感测表面扫描系统(20)，
其中，所述表面扫描控制器(50)还在结构上被配置为响应于由所述表面扫描末端执行器(43)生成的指示由所述表面扫描末端执行器(43)施加到所述解剖器官的操作者期望的接触力的所述力感测数据来控制对所述表面变形偏移的经验定义。
5.根据权利要求1所述的力感测表面扫描系统(20)，其中，所述表面扫描控制器(50)还在结构上被配置为至少以下之一：
定义通过所述解剖器官的术前分割体积模型的采样扫描路径；并且
定义具有通过所述解剖器官的表面的几何图案和随机图案中的至少一种的采样扫描路径。
6.根据权利要求1所述的力感测表面扫描系统(20)，
其中，所述采样扫描路径包括线采样扫描路径和点采样扫描路径中的至少一种。
7.根据权利要求1所述的力感测表面扫描系统(20)，
其中，所述表面扫描控制器(50)在结构上还被配置为根据所述解剖器官的所述定义的表面变形偏移来控制对所构建的解剖器官的术中体积模型的尺寸调整。
8.根据权利要求1所述的力感测表面扫描系统(20)，
其中，所述表面扫描控制器(50)在结构上还被配置为控制所述解剖器官的所述术中体积模型与所述解剖器官的术前分割体积模型的配准。
9.根据权利要求1所述的力感测表面扫描系统(20)，
其中，所述扫描机器人(41)是蛇形扫描机器人(41)。
10.根据权利要求1所述的力感测表面扫描系统(20)，
其中，所述表面扫描末端执行器(43)是工具指示器和超声腹腔镜中的一种。
11.一种用于包括表面扫描末端执行器(43)的扫描机器人(41)的表面扫描控制器(50)，所述表面扫描控制器(50)包括：
扫描命令器(133)，其在结构上被配置为控制由所述表面扫描末端执行器(43)对所述解剖器官的表面扫描，包括所述表面扫描末端执行器(43)生成指示由所述表面扫描末端执行器(43)施加到所述解剖器官的接触力的力感测数据；以及
模型构建器(134)，其在结构上被配置为响应于由所述表面扫描末端执行器(43)生成的所述力感测数据来构建所述解剖器官的术中体积模型，所述力感测数据指示所述解剖器官的定义的表面变形偏移。
12.根据权利要求11所述的表面扫描控制器(50)，
其中，所述模型构建器(134)在结构上还被配置为根据粘弹性属性参数和扫描力参数来控制对所述表面变形偏移的定义，
其中，所述粘弹性属性参数量化所述解剖器官的硬度；并且
其中，所述扫描力参数量化期望的接触力以用于将所述解剖器官的表面点数字化。
13.根据权利要求11所述的表面扫描控制器(50)，
所述表面扫描控制器(50)，其中，所述模型构建器(134)还在结构上被配置为响应于由所述表面扫描末端执行器(43)生成的指示由所述表面扫描末端执行器(43)施加到所述解剖器官的操作者期望的接触力的所述力感测数据来控制对所述表面变形偏移的定义。
14.根据权利要求11所述的表面扫描控制器(50)，其中，所述表面扫描命令器(133)还在结构上被配置为至少以下之一：
定义通过所述解剖器官的术前分割体积模型的采样扫描路径；以及
定义具有通过所述解剖器官的表面的几何图案和随机图案中的至少一种的采样扫描路径。
15.根据权利要求11所述的表面扫描控制器(50)，
其中，所述模型构建器(134)还在结构上还被配置为根据所述解剖器官的所述定义的表面变形偏移来控制所构建的解剖器官的术中体积模型的尺寸调整。
16.一种用于包括表面扫描末端执行器(43)的扫描机器人(41)的力感测表面扫描方法，所述力感测表面扫描方法包括：
表面扫描控制器(50)控制由扫描末端执行器(43)对解剖器官的表面扫描，包括所述表面扫描末端执行器(43)生成指示由所述表面扫描末端执行器(43)施加到解剖器官的接触力的力感测数据；以及
所述表面扫描控制器(50)响应于由所述表面扫描末端执行器(43)生成的所述力感测数据来构建所述解剖器官的术中体积模型，所述力感测数据指示所述解剖器官的定义的表面变形偏移。
17.根据权利要求16所述的力感测表面扫描方法，还包括：
所述表面扫描控制器(50)根据粘弹性属性参数和扫描力参数来定义所述表面变形偏移，
其中，所述粘弹性属性参数量化所述解剖器官的硬度；并且
其中，所述扫描力参数量化期望的接触力以用于将所述解剖器官的表面点数字化。
18.根据权利要求16所述的力感测表面扫描方法，还包括：
所述表面扫描控制器(50)响应于由所述表面扫描末端执行器(43)生成的指示由所述表面扫描末端执行器(43)施加到所述解剖器官的操作者期望的接触力的所述力感测数据来控制对所述表面变形偏移的经验定义。
19.根据权利要求16所述的力感测表面扫描方法，还包括：
所述表面扫描控制器(50)在所述解剖器官的术前分割体积模型上描绘采样扫描路径。
20.根据权利要求16所述的力感测表面扫描方法，还包括：
所述表面扫描控制器(50)根据所述解剖器官的定义的表面变形偏移来控制所构建的解剖器官的术中体积模型的尺寸调整。
CN201880035024.7A 2017-03-31 2018-04-02 力感测表面扫描系统、设备、控制器和方法 Pending CN110709026A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762479815P 2017-03-31 2017-03-31
US62/479815 2017-03-31
PCT/EP2018/058379 WO2018178383A1 (en) 2017-03-31 2018-04-02 Force sensed surface scanning systems, devices, controllers and methods

Publications (1)

Publication Number Publication Date
CN110709026A true CN110709026A (zh) 2020-01-17

Family

ID=62025786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880035024.7A Pending CN110709026A (zh) 2017-03-31 2018-04-02 力感测表面扫描系统、设备、控制器和方法

Country Status (5)

Country Link
US (2) US11564768B2 (zh)
EP (1) EP3600123A1 (zh)
JP (1) JP2020512126A (zh)
CN (1) CN110709026A (zh)
WO (1) WO2018178383A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112006777A (zh) * 2020-07-31 2020-12-01 清华大学 基于表面跟踪的打钉手术机器人系统及控制方法
CN114445548A (zh) * 2020-10-30 2022-05-06 西门子（中国）有限公司 一种确定待测对象的三维模型的方法、装置和系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449971A (zh) * 2019-09-26 2022-05-06 奥瑞斯健康公司 使用对象模型来避免碰撞的系统和方法
CN110811834B (zh) * 2019-11-22 2021-07-02 苏州微创畅行机器人有限公司 截骨导向工具的校验方法、校验系统及检测靶标

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050256689A1 (en) * 2004-05-13 2005-11-17 Conceptual Assets, Inc. Method and system for measuring attributes on a three-dimenslonal object
US20090076476A1 (en) * 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
US20090216119A1 (en) * 2008-02-27 2009-08-27 Liexiang Fan Sparse tissue property measurements in medical ultrasound imaging
US20130138404A1 (en) * 2011-11-29 2013-05-30 Carlos Carbonera Method and system for generating and/or repairing a surface model of a geometric structure
CN103370001A (zh) * 2010-12-30 2013-10-23 基文影像公司 基于体内捕捉的图像流自动导航胶囊的系统和方法
US20160196602A1 (en) * 2011-06-08 2016-07-07 Amazon Technologies, Inc. Determining a Size of an Item Based on Comparisons of Dimensional and Stretch Data
CA2992591A1 (fr) * 2015-07-03 2017-01-12 Centre Hospitalier Universitaire De Nimes Dispositif de mesures biomecaniques des vaisseaux et d'analyse volumetrique des membres

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5794621A (en) 1995-11-03 1998-08-18 Massachusetts Institute Of Technology System and method for medical imaging utilizing a robotic device, and robotic device for use in medical imaging
US6091981A (en) * 1997-09-16 2000-07-18 Assurance Medical Inc. Clinical tissue examination
US6190334B1 (en) * 1999-05-24 2001-02-20 Rbp, Inc. Method and apparatus for the imaging of tissue
DE10258579B4 (de) 2002-12-16 2007-12-13 Carl Mahr Holding Gmbh Messeinrichtung
US7713210B2 (en) * 2004-11-23 2010-05-11 St. Jude Medical, Atrial Fibrillation Division, Inc. Method and apparatus for localizing an ultrasound catheter
EP1887961B1 (en) 2005-06-06 2012-01-11 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
JP4636618B2 (ja) * 2006-09-28 2011-02-23 学校法人早稲田大学 シミュレーション装置及びこれを用いた手術用ロボットの制御システム、並びにシミュレーション装置用のプログラム
CA2670261A1 (en) * 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
JP4953303B2 (ja) * 2007-03-29 2012-06-13 学校法人早稲田大学 病変部位の位置特定システム
US9604118B2 (en) * 2008-10-09 2017-03-28 Golf Impact, Llc Golf club distributed impact sensor system for detecting impact of a golf ball with a club face
EP2455038B1 (de) * 2008-10-21 2015-04-01 Brainlab AG Integration von chirurgischem Instrument und Anzeigevorrichtung zur Unterstützung der bildgeführten Chirurgie
US8594841B2 (en) 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US8831708B2 (en) 2011-03-15 2014-09-09 Siemens Aktiengesellschaft Multi-modal medical imaging
WO2013173229A1 (en) * 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for deformation compensation using shape sensing
US20140316234A1 (en) 2013-02-19 2014-10-23 Pathfinder Therapeutics, Inc. Apparatus and methods for accurate surface matching of anatomy using a predefined registration path
US9129422B2 (en) 2013-02-25 2015-09-08 Siemens Aktiengesellschaft Combined surface reconstruction and registration for laparoscopic surgery
EP2981205A4 (en) 2013-04-04 2017-02-15 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
CN103371870B (zh) 2013-07-16 2015-07-29 深圳先进技术研究院 一种基于多模影像的外科手术导航系统
US20150265470A1 (en) * 2014-03-21 2015-09-24 Carl Zeiss Meditec Ag Methods and Systems for Performing a Capsulotomy
US20180189966A1 (en) * 2015-05-07 2018-07-05 Siemens Aktiengesellschaft System and method for guidance of laparoscopic surgical procedures through anatomical model augmentation
US10274302B2 (en) 2016-11-30 2019-04-30 Amazon Technologies, Inc. Internal dimension detection using contact direction sensitive probe
WO2018160709A1 (en) * 2017-02-28 2018-09-07 Zoll Medical Corporation Force sensing implementations in cardiopulmonary resuscitation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050256689A1 (en) * 2004-05-13 2005-11-17 Conceptual Assets, Inc. Method and system for measuring attributes on a three-dimenslonal object
US20090076476A1 (en) * 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
US20090216119A1 (en) * 2008-02-27 2009-08-27 Liexiang Fan Sparse tissue property measurements in medical ultrasound imaging
CN103370001A (zh) * 2010-12-30 2013-10-23 基文影像公司 基于体内捕捉的图像流自动导航胶囊的系统和方法
US20130304446A1 (en) * 2010-12-30 2013-11-14 Elisha Rabinovitz System and method for automatic navigation of a capsule based on image stream captured in-vivo
US20160196602A1 (en) * 2011-06-08 2016-07-07 Amazon Technologies, Inc. Determining a Size of an Item Based on Comparisons of Dimensional and Stretch Data
US20130138404A1 (en) * 2011-11-29 2013-05-30 Carlos Carbonera Method and system for generating and/or repairing a surface model of a geometric structure
CA2992591A1 (fr) * 2015-07-03 2017-01-12 Centre Hospitalier Universitaire De Nimes Dispositif de mesures biomecaniques des vaisseaux et d'analyse volumetrique des membres

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112006777A (zh) * 2020-07-31 2020-12-01 清华大学 基于表面跟踪的打钉手术机器人系统及控制方法
CN112006777B (zh) * 2020-07-31 2022-03-29 清华大学 基于表面跟踪的打钉手术机器人系统及控制方法
CN114445548A (zh) * 2020-10-30 2022-05-06 西门子（中国）有限公司 一种确定待测对象的三维模型的方法、装置和系统

Also Published As

Publication number Publication date
US20230149115A1 (en) 2023-05-18
US20210275275A1 (en) 2021-09-09
EP3600123A1 (en) 2020-02-05
US11857379B2 (en) 2024-01-02
JP2020512126A (ja) 2020-04-23
US11564768B2 (en) 2023-01-31
WO2018178383A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
US6379302B1 (en) Navigation information overlay onto ultrasound imagery
US11857379B2 (en) Force sensed surface scanning systems, devices, controllers and methods
US8213693B1 (en) System and method to track and navigate a tool through an imaged subject
JP6568084B2 (ja) 光学式形状検知を用いてデバイスを撮像するロボット制御
JP2020028718A (ja) 光学形状検出装置の視点を伴う仮想画像
US7945310B2 (en) Surgical instrument path computation and display for endoluminal surgery
US8248413B2 (en) Visual navigation system for endoscopic surgery
EP2503934B1 (en) Systems and methods for tracking positions between imaging modalities and transforming a displayed three-dimensional image corresponding to a position and orientation of a probe
WO2001037748A2 (en) Method and apparatus for transforming view orientations in image-guided surgery
JP2014510609A (ja) ３ｄ可視化を伴った心臓置換弁の超音波誘導による位置決め
JP2008126075A (ja) Ｃｔレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法
JP6706576B2 (ja) 最小侵襲性のインターベンションのための形状センスされるロボット超音波
Burgner et al. A study on the theoretical and practical accuracy of conoscopic holography‐based surface measurements: toward image registration in minimally invasive surgery
CA3029348A1 (en) Intraoperative medical imaging method and system
JP2017500935A5 (zh)
WO2017193197A1 (en) Phantom to determine positional and angular navigation system error
Xiao et al. User-friendly freehand ultrasound calibration using Lego bricks and automatic registration
US20180249953A1 (en) Systems and methods for surgical tracking and visualization of hidden anatomical features
CN114730628A (zh) 用于增强现实的图像采集视觉
Kim et al. Robot for ultrasound-guided prostate imaging and intervention
Dewi et al. Position tracking systems for ultrasound imaging: A survey
EP3644845B1 (en) Position detection system by fiber bragg grating based optical sensors in surgical fields
CN118742265A (zh) 使用解剖结构的已知位置来引导超声探头
JP2021045341A (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
Kim Image Guided Robots for Urology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230317

AD01 Patent right deemed abandoned