CN114787868A - 使用点云数据将器械配准到图像的系统和方法 - Google Patents

使用点云数据将器械配准到图像的系统和方法 Download PDF

Info

Publication number
CN114787868A
CN114787868A CN202080085690.9A CN202080085690A CN114787868A CN 114787868 A CN114787868 A CN 114787868A CN 202080085690 A CN202080085690 A CN 202080085690A CN 114787868 A CN114787868 A CN 114787868A
Authority
CN
China
Prior art keywords
image
sensor
point cloud
instrument
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080085690.9A
Other languages
English (en)
Inventor
F·巴巴格力
T·K·阿德巴
S·尹
张惠
赵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN114787868A publication Critical patent/CN114787868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Abstract

本申请公开一种系统，该系统可以包括处理器和其上存储有计算机可读指令的存储器。当由处理器执行时，计算机可读指令可以使系统在图像捕获时段期间记录来自器械的形状传感器的形状数据，并从记录的形状数据生成传感器点云。当由处理器执行时，计算机可读指令还可以使系统在图像捕获时段期间从成像系统接收图像数据，从图像数据为器械生成图像点云，并将传感器点云配准到图像点云。

Description

使用点云数据将器械配准到图像的系统和方法
相关申请的交叉引用
本申请要求2019年11月8日提交的美国临时申请62/932,965的权益，该申请通过引用整体被并入本文。
技术领域
本公开涉及用于配准器械和图像参考系的系统和方法。
背景技术
微创医疗技术旨在减少在医疗程序期间受损的组织量，从而减少患者恢复时间、不适和有害副作用。这种微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个外科手术切口来执行。通过这些自然孔口或切口，操作者可以插入微创医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗、诊断、活检和外科手术器械的器械。医疗工具可以被插入解剖通道中并朝向患者解剖结构内的感兴趣部位导航。可以使用解剖通道的图像辅助导航。需要改进的系统和方法来准确地执行医疗工具和解剖通道的图像之间的配准。
发明内容
与一些实施例一致，一种系统可以包括处理器和其上存储有计算机可读指令的存储器。当由处理器执行时，计算机可读指令可以使系统在图像捕获时段期间记录来自器械的形状传感器的形状数据，并从记录的形状数据生成传感器点云。当由处理器执行时，计算机可读指令还可以使系统在图像捕获时段期间从成像系统接收图像数据，从图像数据为器械生成图像点云，并将传感器点云配准到图像点云。
与一些实施例一致，一种非暂时性机器可读介质可以包括多个机器可读指令，当由与计算机辅助医疗系统设备相关联的一个或多个处理器执行时，多个机器可读指令适于使一个或多个处理器执行一种方法，该方法可包括在图像捕获时段期间记录来自器械的形状传感器的形状数据，并从记录的形状数据生成传感器点云。所执行的方法还可以包括在图像捕获时段期间从成像系统接收图像数据，从图像数据为器械生成图像点云，以及将传感器点云配准到图像点云。
其他实施例包括记录在一个或多个计算机存储设备上的对应计算机系统、装置和计算机程序，每个计算机系统、装置和计算机程序均被配置为执行方法的动作。
应当理解，前述大致描述和以下详细描述两者本质上都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。就这一点而言，本公开的附加方面、特征和优点对于本领域技术人员而言从以下详细描述中将是显而易见的。
附图说明
图1图示了根据一些实施例的机器人或远程操作医疗系统的简化图。
图2图示了根据一些实施例的医疗器械系统和术中成像系统的简化图。
图3图示了显示配准到解剖图像的医疗器械的图像的显示系统。
图4图示了用于将术中图像配准到来自医疗器械的形状数据的方法。
图5图示了形成医疗器械的形状的多个点。
图6图示了患者解剖结构的术中图像。
图7图示了从图6的图像生成的多个点。
本公开的实施例及其优点通过参考下面的详细描述得到最好的理解。应当理解，相似的附图标记用于标识在一幅或多幅图中图示的相似元素，其中示出的目的是为了说明本公开的实施例而不是为了限制本公开的实施例。
具体实施方式
本文档中公开的技术可用于将医疗器械参考系配准到包括医疗器械图像的术中解剖图像的图像参考系。通常，解剖运动可能导致术中图像过于失真而无法清楚地隔离和分割导管，并且会导致医疗器械方位数据摇动。通过将医疗器械的术中图像表示为点云并将医疗器械的形状(在图像捕获时段期间)表示为点云，点匹配配准技术(例如迭代最近点技术)可以用于配准传感器点云和图像点云。这种配准技术的稳健性允许将图像参考系配准到医疗器械参考系，尽管患者解剖运动使数据扩散。
在一些实施例中，本公开的配准技术可以用在利用远程操作医疗系统执行的图像引导的医疗程序中，如下文进一步详细描述的。如图1所示，远程操作医疗系统100通常包括操纵器组件102，用于操作医疗器械104以对定位在外科手术环境101中的手术台T上的患者P执行各种程序。操纵器组件102可以是具有可以是机动的和/或远程操作的选定运动自由度以及可以是非机动和/或非远程操作的选定运动自由度的远程操作的、非远程操作的或者混合远程操作和非远程操作组件。可以在外科手术环境101内部或外部的主组件106通常包括用于控制操纵器组件102的一个或多个控制设备。操纵器组件102支撑医疗器械104并且可以可选地包括响应于来自控制系统112的命令驱动在医疗器械104上的输入的多个致动器或电机。致动器可以可选地包括驱动系统，该驱动系统在耦合到医疗器械104时可以将医疗器械104推进到自然或外科手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械104的远端，多个自由度可以包括三个线性运动自由度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动自由度(例如，围绕X、Y、Z笛卡尔轴线旋转)。此外，致动器可以用于致动医疗器械104的关节式末端执行器，用于抓握活检设备和/或类似物的钳口中的组织。
远程操作医疗系统100还包括用于显示由传感器系统108和/或内窥镜成像系统109生成的外科手术位点和医疗器械104的图像或表示图的显示系统110。显示系统110和主组件106可以被定向为使得操作者O可以以远程呈现的感知来控制医疗器械104和主组件106。
在一些实施例中，医疗器械104可以包括用于外科手术、活检、切除、照明、冲洗或抽吸的部件。可选地，医疗器械104与传感器系统108一起可用于收集(即，测量)一组数据点，该组数据点对应于患者(例如患者P)的解剖通道内的位置。在一些实施例中，医疗器械104可以包括成像系统109的部件，该成像系统109可以包括成像范围组件或成像器械，成像范围组件或成像器械记录外科手术位点的即时或实时图像并通过显示系统110将图像提供给操作者或操作者O。即时图像可以是例如由定位在外科手术位点内的成像器械捕获的二维或三维图像。在一些实施例中，成像系统部件可以被整体地或可移除地耦合到医疗器械104。然而，在一些实施例中，附接到单独的操纵器组件的单独的内窥镜可以与医疗器械104一起使用以对外科手术位点进行成像。成像系统109可以被实施为与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行的硬件、固件、软件或其组合，该一个或多个计算机处理器可以包括控制系统112的处理器。
传感器系统108可以包括用于确定医疗器械104的方位、取向、速度、速率、姿态和/或形状的方位/位置传感器系统(例如，电磁(EM)传感器系统)和/或形状传感器系统。
远程操作医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器116和至少一个计算机处理器114，用于实现医疗器械104、主组件106、传感器系统108、内窥镜成像系统109和显示系统110之间的控制。控制系统112还包括编程指令(例如，存储指令的非暂时性机器可读介质)以实施根据本文公开的方面描述的一些或所有方法，包括用于向显示系统110提供信息的指令。
控制系统112可以可选地进一步包括虚拟可视化系统，以在图像引导的外科手术程序期间控制医疗器械104时向操作者O提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对获取的解剖通道的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术成像的外科手术位点的图像，成像技术例如计算机断层摄影术(CT)、磁共振成像(MRI)、荧光检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。
术中成像系统118可以被布置在患者P附近的外科手术环境101中，以在医疗程序期间获得患者P的图像。术中成像系统118可以提供患者P的实时或接近实时的图像。在一些实施例中，系统118可以是用于生成三维图像的移动C臂锥形束CT成像系统。例如，系统118可以是来自华盛顿特区的西门子公司(Siemens Corporation)的Dyna CT成像系统，或其他合适的成像系统。在其他实施例中，成像系统可以使用其他成像技术，包括CT、MRI、荧光检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或类似物。
图2图示了具有外科手术参考系(XS、YS、ZS)的外科手术环境200，其中患者P定位在手术台T上。患者P在外科手术环境内可以是静止的，因为患者的总体移动受限于镇静、约束和/或其他手段。包括患者P的呼吸和心脏运动的周期性解剖运动可以继续，除非要求患者屏住呼吸以暂时中止呼吸运动。在外科手术环境200内，具有医疗器械参考系(XM、YM、ZM)的医疗器械204(例如，医疗器械104)被耦合到器械托架206。在该实施例中，医疗器械204包括耦合到器械主体212的细长设备210，例如柔性导管。器械托架206被安装到固定在外科手术环境200内的插入台208。替代地，插入台208可以是可移动的但在外科手术环境200内具有已知位置(例如，经由跟踪传感器或其他跟踪设备)。在这些替代方案中，医疗器械参考系相对于外科手术参考系是固定的或以其他方式已知。器械托架206可以是远程操作操纵器组件(例如，远程操作操纵器组件102)的部件，该器械托架206耦合到医疗器械204以控制插入运动(即，沿轴线A的运动)，并且可选地，控制细长设备210的远端218在多个方向上的运动(包括偏航、俯仰和滚转)。器械托架206或插入台208可以包括控制器械托架206沿插入台208的运动的致动器，例如伺服电机(未示出)。
在该实施例中，传感器系统(例如，传感器系统108)包括形状传感器214。形状传感器214可以包括在细长设备210内延伸并与细长设备210对齐的光纤。在一个实施例中，光纤具有约200μm的直径。在其他实施例中，尺寸可以更大或更小。形状传感器214的光纤形成用于确定细长设备210的形状的光纤弯曲传感器。在一种替代方案中，包括光纤布拉格光栅(FBG)的光纤用于提供一维或多维结构中的应变测量。用于在三个维度上监测光纤的形状和相对方位的各种系统和方法被描述在美国专利申请第11/180,389号(2005年7月13日提交)(公开了“Fiber optic position and shape sensing device and method relatingthereto”)、美国专利申请第12/047,056号(2004年7月16日提交)(公开了“Fiber-opticshape and relative position sensing”)、以及美国专利第6,389,187号(1998年6月17日提交)(公开了“Optical Fibre Bend Sensor”)中，上述申请均通过引用整体被并入本文。一些实施例中的传感器可以采用其他合适的应变传感技术，例如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，导管的形状可以使用其他技术来确定。例如，细长设备210的远端姿态的历史可用于在时间间隔内重建细长设备210的形状。
如图2所示，器械主体212相对于器械托架206耦合和固定。在一些实施例中，光纤形状传感器214被固定在器械主体212上的近侧点216处。在一些实施例中，光纤形状传感器214的近侧点216可以与器械主体212一起移动，但是近侧点216的位置可以是已知的(例如，经由跟踪传感器或其他跟踪设备)。形状传感器214在医疗器械参考系(XM、YM、ZM)中测量从近侧点216到另一点(例如细长设备210的远端18)的形状。
细长设备210包括尺寸和形状设计成接收医疗器械222的通路(未示出)。在一些实施例中，医疗器械222可用于诸如外科手术、活检、切除、照明、冲洗或抽吸的程序。医疗器械222可以通过细长设备210部署并且在解剖结构内的目标位置处使用。医疗器械222可以包括例如图像捕获探针、活检器械、激光切除纤维和/或其他外科手术、诊断或治疗工具。医疗器械222可以从细长设备210的远端218推进以执行程序，然后在程序完成时缩回到通路中。医疗器械222可以从细长设备210的近端或从沿细长设备210的另一个可选器械端口(未示出)移除。
细长设备210还可容纳电缆、连杆或其他转向控件(未示出)以可控地弯曲远端218。在一些示例中，至少四根电缆用于提供独立的“上下”转向以控制远端218的俯仰和“左右”转向以控制远端218的偏航。
方位测量设备220在器械主体212沿插入轴线A在插入台208上移动时提供关于器械主体212的方位的信息。方位测量设备220可以包括分解器、编码器、电位计和/或确定致动器的旋转和/或取向的其他传感器，该致动器控制器械托架206的运动并因此控制器械主体212的运动。在一些实施例中，插入台208是线性的，而在其他实施例中，插入台208可以是弯曲的或具有弯曲和线性区段的组合。
术中成像系统230(例如，成像系统118)被布置在患者P附近以在细长设备210在患者体内延伸时获得患者的三维图像。术中成像系统230可以提供患者P的实时或接近实时的图像。
在一些实施例中并参照图3，可以进行图像引导的外科手术程序，其中显示系统300(例如，显示系统110)可以显示虚拟导航图像302，虚拟导航图像302具有图像参考系(XI、YI、ZI)，在图像参考系(XI、YI、ZI)中医疗器械204的图像304与从术前和/或术中图像数据导出的患者P的解剖模型306配准(即，动态参考)。在一些实施例中，虚拟导航图像可以从医疗器械204的视点向医师O呈现内部外科手术位点的虚拟图像。在一些示例中，视点可以来自医疗器械204的远侧末端。在一些示例中，医疗器械204在虚拟图像中可能不可见。
生成合成虚拟导航图像302涉及将图像参考系(XI、YI、ZI)配准到外科手术参考系(XS、YS、ZS)和/或医疗器械参考系(XM、YM、ZM)。该配准可以通过与来自图像数据的分割器械形状相关联的刚性或非刚性变换点以及与来自器械形状传感器214的形状数据相关联的点来旋转、平移或以其他方式操纵。图像和器械参考系之间的这种配准可以例如，通过使用基于点的迭代最近点(ICP)技术或另一点云配准技术来实现，基于点的迭代最近点(ICP)技术在通过引用被并入的美国临时专利申请第62/205,440号和第62/205,433号中描述。
图4图示了用于将术中图像配准到来自医疗器械的形状数据的方法400。通常，解剖运动可能导致术中解剖图像数据过于失真而无法隔离和分割医疗器械，或者器械形状数据过于摇动而无法在图像捕获时段期间识别稳定的形状。尽管患者运动，但图像参考系可以通过将表示医疗器械的术中图像的图像点云配准到表示医疗器械在图像捕获时段期间的形状的传感器点云来配准到医疗器械参考系。
方法400被图示为一组操作或过程402到410，并继续参考图2、图3和图5-图7来描述。并非所有图示的过程都可以在方法400的所有实施例中执行。此外，图4中未明确图示的一个或多个过程也可以在过程402到410之前、之后、之间或作为过程402到410的一部分被包括。在一些实施例中，过程402到410中的一个或多个可以由控制系统112执行或者可以至少部分地以存储在非暂时性、有形、机器可读介质上的可执行代码的形式来实施，该可执行代码在由一个或多个处理器(例如，控制系统112的处理器114)运行时可以使一个或多个处理器执行过程中的一个或多个。
在过程402处，在成像系统(例如成像系统230)的图像捕获时段期间记录器械(例如，医疗器械104、204)的方位数据。在一些实施例中，图像捕获时段对应于启动术中成像系统230以采集和记录患者P的图像数据的时间段。在该时间段期间，可记录位于患者P中的器械204的方位数据。例如，从形状传感器214收集的形状数据可以提供器械204的方位信息以及在医疗器械参考系(XM、YM、ZM)中沿器械204的多个点，医疗器械参考系(XM、YM、ZM)相对于外科手术参考系(XS、YS、ZS)是已知的。在该时间段期间，器械204可能不受命令移动(例如操作者命令的推进或弯曲)影响，但可能受来自呼吸、心脏活动或其他主动或非主动患者运动的解剖运动影响。例如，当器械204被定为在患者P解剖结构内时，可以在图像捕获时段内利用术中图像系统230执行图像扫描，而不受命令运动影响。
在过程404处，从记录的形状数据生成传感器点云。例如，并参考图5，在术中图像系统230的图像捕获时段期间，从形状传感器214的所有记录的形状的联合中生成点云500。因为器械204的配置(包括形状和位置)在图像捕获时段期间可能由于解剖运动而改变，因此点云500包括多个点502，多个点502表示在医疗器械204被动移动时形状传感器214的形状。点云500可以是二维或三维的并且可以在医疗器械参考系(XM、YM、ZM)中生成。
在过程406处，在图像捕获时段期间从成像系统接收图像数据。例如，并参考图6，可以在图像捕获时段期间并且在医疗器械204被定位在患者体内的同时从术中图像系统230接收图像数据600。图像数据600可以包括表示患者P的解剖特征的图形元素602和表示医疗图像204的图形元素604。
在过程408处，可以从图像数据为医疗器械生成图像点云。例如，并参考图7，可以通过分割表示医疗图像204的图形元素604并过滤出表示解剖特征的图形元素602来生成图像点云700。在分割过程期间，从图像数据生成的像素或体素可以被划分成段或元素，或者被加以标记以表明它们共享某些特性或计算的属性，例如颜色、密度、强度和纹理。段或元素可以被转换为云或点集。因此，与医疗器械204相关联的像素或体素可以被分割并转换成包括多个点702的云700。点云700可以是二维或三维的并且可以在图像参考系(XI、YI、ZI)中生成。在一些实施例中，可以分割和过滤少于所有的图像数据。例如，如果医疗器械204的远端停放在感兴趣的解剖区域(例如作为研究或治疗目标的肿瘤)附近，则可以围绕所识别的感兴趣的解剖区域执行数据分割。
在过程410处，可以通过使用点云配准技术在图像参考系和医疗器械参考系或外科手术参考系之间执行配准。例如，医疗器械参考系中的传感器点云500可以被配准到图像参考系中的图像点云700。该配准可以通过刚性或非刚性变换来旋转、平移或以其他方式操纵点云500和700。变换可以是六自由度(6DOF)变换，使得点云可以在X、Y和Z以及俯仰、滚转和偏航中的任何一个或全部中平移或旋转。图像和器械参考系之间的这种配准可以例如通过使用ICP或另一点云配准技术来实现。
为了使用ICP或其他点云配准技术执行配准，配准以每个点云500、700中的已知匹配点和可以从附近点确定的已知取向为种子。因此，传感器点云500中识别的传感器种子点可以被匹配到图像云700中的图像种子点。在一些实施例中，传感器种子点和图像种子点对应于医疗器械的远侧末端。另一个传感器种子点和图像种子点可以对应于已知的近侧点。例如，近侧点可以是距医疗器械的远侧末端的已知距离。知道至少两个种子点可以为配准提供取向信息。在一些实施例中，可以通过在医疗器械远侧末端处并入不透射线的特征来在图像数据中增强医疗器械的远侧末端。在一些实施例中，图像数据中医疗器械的远侧末端可以通过用户输入(例如通过用户输入设备(例如触摸屏或鼠标)接收远侧点的用户指示)来识别。在一些实施例中，可以通过识别图像数据中传感器的测量形状来执行远侧点和近侧点的做种(seeding)。例如，用户可以手动识别传感器数据中对应于医疗器械的点。用户可以用定点设备(例如，鼠标指针)执行射线追踪并将射线追踪与图像数据相交以识别具有与医疗器械的材料相关联的亮度值的像素、体素或其他图像单元。
在一些实施例中，可以确定限定传感器点云500的传感器包络边界，并且可以确定限定图像点云700的图像包络边界。点云的配准可以通过配准传感器包络边界和图像包络边界来执行。
通过将图像参考系(XI、YI、ZI)配准到医疗器械参考系(XM、YM、ZM)，在显示系统110上显示给操作者O的图像可以允许操作者更准确地使医疗器械转向、使相对于医疗器械的目标病变可视化、从医疗器械远端的角度观察视图、和/或提高目标医疗程序的效率和功效。
在一些实施例中，术中图像数据可以与由相同或不同成像系统获得的术前图像数据配准。因此，通过将形状数据配准到术中图像数据，也可以确定形状数据到术前图像数据的配准。在一些实施例中，从术中图像数据和/或术前图像数据生成的解剖图像可以与从器械形状传感器数据导出的器械204的图像一起显示。例如，从器械形状数据生成的器械204的模型可以被叠加在从图像数据生成的患者解剖结构的图像上。
在描述中，已经阐述了描述一些实施例的具体细节。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践一些实施例。本文所公开的具体实施例是说明性的而非限制性的。本领域的技术人员可以认识到尽管在此没有具体描述但在本公开的范围和精神内的其他元素。
在没有具体示出或描述的其他实施例、实施方式或应用中，只要可行，可任选地包括参考一个实施例、实施方式或应用详细描述的元素。例如，如果参考一个实施例详细描述并且没有参考第二实施例描述元素，则该元素仍然可以被要求为包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，与一个实施例、实施方式或应用相关联示出和描述的一个或多个元素可以并入其他实施例、实施方式或方面，除非以其他方式具体描述、除非该一个或多个元素将使实施例或实施方式不起作用、或者除非元素中的两个或多个提供冲突的功能。
对所描述的设备、器械、方法和本公开的原理的任何进一步的应用的任何改变和进一步的修改都被充分考虑，正如本公开所涉及的本领域的技术人员通常会想到的那样。特别地，完全预期的是，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。此外，本文提供的尺寸是针对特定示例的，并且预期可以使用不同的大小、尺寸和/或比率来实施本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以在适用于其他说明性实施例的情况下被使用或省略。为简洁起见，这些组合的无数次迭代将不再单独描述。为简单起见，在某些情况下，在整个附图中使用相同的附图标记来指代相同或相似的部分。
虽然本文提供了关于医疗程序的一些实施例，但对医疗或外科手术器械和医疗或外科手术方法的任何提及都是非限制性的。例如，本文所述的器械、系统和方法可用于非医疗目的，包括工业用途、一般机器人用途以及传感或操纵非组织工件。其他示例应用涉及美容改进、人体或动物解剖结构成像、从人体或动物解剖结构收集数据以及培训医疗或非医疗人员。附加示例应用包括用于对从人体或动物解剖结构中取出的组织的程序(不返回人体或动物解剖结构)以及在人体或动物尸体上执行程序。此外，这些技术还可用于外科手术和非外科手术医疗治疗或诊断程序。
本公开的实施例中的一个或多个元素可以在软件中实施以在计算机系统的处理器(例如控制处理系统)上执行。当以软件实施时，本发明的实施例的元素本质上是执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或设备中，该处理器可读存储介质或设备可能已经通过传输介质或通信链路上体现在载波中的计算机数据信号下载。处理器可读存储设备可以包括能够存储信息的任何介质，包括光学介质、半导体介质和磁介质。处理器可读存储设备示例包括电子电路、半导体设备、半导体存储设备、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储设备。可以经由计算机网络(例如因特网、内联网等)下载代码段。可以采用多种集中式或分布式数据处理架构中的任何一种。编程指令可以被实施为多个单独的程序或子例程，或者编程指令可以被集成到本文描述的系统的多个其他方面。在一个实施例中，控制系统支持无线通信协议，例如蓝牙、IrDA(红外数据通信)、HomeRF(家庭射频)、IEEE 802.11、DECT(数字增强无线通信)和无线遥测。
请注意，所呈现的过程和显示可能并不固有地与任何特定计算机或其他装置相关。各种通用系统可以与根据本文教导的程序一起使用，或者可以证明构造更专业的装置来执行所描述的操作是方便的。各种这些系统所需的结构将作为权利要求中的元素出现。此外，本发明的实施例没有参照任何特定编程语言来描述。应当理解，可以使用多种编程语言来实施如本文所述的本发明的教导。
在一些情况下，没有详细描述众所周知的方法、程序、部件和电路，以免不必要地混淆实施例的方面。本公开根据各种器械、器械的部分和解剖结构在三维空间中的状态描述了各种器械、器械的部分和解剖结构。如本文所用，术语“方位”指代物体或物体的一部分在三维空间(例如，沿笛卡尔x、y和z坐标的三个平移自由度)中的位置。如本文所用，术语“取向”指代物体或物体的一部分的旋转放置(三个旋转自由度——例如，滚转、俯仰和偏航)。如本文所用，术语“姿态”指代物体或物体的一部分在至少一个平移自由度中的方位以及该物体或物体的一部分在至少一个旋转自由度中的取向(最多六个总自由度)。如本文所用，术语“形状”指代沿物体测量的一组姿态、方位或取向。
虽然本发明的某些示例性实施例已在附图中描述和示出，但应理解，这样的实施例仅是对广义发明的说明而非限制，并且本发明的实施例不限于所示和描述的特定构造和布置，因为本领域普通技术人员可以想到各种其他修改。

Claims (25)

1.一种系统，包括：
处理器；以及
其上存储有计算机可读指令的存储器，当由所述处理器执行时，所述计算机可读指令使所述系统：
在图像捕获时段期间记录来自器械的形状传感器的形状数据；
从记录的形状数据生成传感器点云；
在所述图像捕获时段期间从成像系统接收图像数据；
从所述图像数据为所述器械生成图像点云；并且
将所述传感器点云配准到所述图像点云。
2.根据权利要求1所述的系统，其中所述形状数据包括形成所述形状传感器的形状的多个点的方位信息。
3.根据权利要求1所述的系统，其中所述器械在所述图像捕获时段期间在多个配置之间移动，并且所述传感器点云包括当所述器械处于所述多个配置时沿所述形状传感器的多个点的方位信息。
4.根据权利要求1所述的系统，其中生成所述图像点云包括从所述图像数据分割所述器械的图像。
5.根据权利要求4所述的系统，其中从所述图像数据分割所述器械的所述图像包括基于所述记录的形状数据识别所述图像数据中的感兴趣区域。
6.根据权利要求1所述的系统，其中将所述传感器点云配准到所述图像点云包括使用迭代最近点技术。
7.根据权利要求1所述的系统，其中将所述传感器点云配准到所述图像点云包括识别所述传感器点云中的传感器种子点并且包括识别所述图像点云中的图像种子点。
8.根据权利要求7所述的系统，其中所述传感器种子点和所述图像种子点对应于所述器械的远侧末端。
9.根据权利要求7所述的系统，其中所述传感器种子点和所述图像种子点对应于所述器械的近侧区域。
10.根据权利要求7所述的系统，其中所述传感器种子点或所述图像种子点之一经由用户输入来识别。
11.根据权利要求1所述的系统，其中所述传感器点云包括传感器包络边界并且所述图像点云包括图像包络边界，并且其中将所述传感器点云配准到所述图像点云包括配准所述传感器包络边界和所述图像包络边界。
12.根据权利要求1所述的系统，其中所述形状传感器包括在所述器械内延伸的光纤形状传感器。
13.根据权利要求1所述的系统，还包括所述成像系统。
14.根据权利要求1所述的系统，还包括所述器械。
15.一种非暂时性机器可读介质，其包括多个机器可读指令，当由与计算机辅助医疗系统设备相关联的一个或多个处理器执行时，所述多个机器可读指令适于使所述一个或多个处理器执行一种方法，所述方法包括：
在图像捕获周期期间记录来自器械的形状传感器的形状数据；
从记录的形状数据生成传感器点云；
在所述图像捕获时段期间从成像系统接收图像数据；
从所述图像数据为所述器械生成图像点云；并且
将所述传感器点云配准到所述图像点云。
16.根据权利要求15所述的非暂时性机器可读介质，其中所述形状数据包括形成所述形状传感器的形状的多个点的方位信息。
17.根据权利要求15所述的非暂时性机器可读介质，其中所述器械在所述图像捕获时段期间在多个配置之间移动，并且所述传感器点云包括当所述器械处于所述多个配置时沿所述形状传感器的多个点的方位信息。
18.根据权利要求15所述的非暂时性机器可读介质，其中生成所述图像点云包括从所述图像数据分割所述器械的图像。
19.根据权利要求18所述的非暂时性机器可读介质，其中从所述图像数据分割所述器械的所述图像包括基于所述记录的形状数据识别所述图像数据中的感兴趣区域。
20.根据权利要求15所述的非暂时性机器可读介质，其中将所述传感器点云配准到所述图像点云包括使用迭代最近点技术。
21.根据权利要求15所述的非暂时性机器可读介质，其中将所述传感器点云配准到所述图像点云包括识别所述传感器点云中的传感器种子点并且包括识别所述图像点云中的图像种子点。
22.根据权利要求21所述的非暂时性机器可读介质，其中所述传感器种子点和所述图像种子点对应于所述器械的远侧末端。
23.根据权利要求21所述的非暂时性机器可读介质，其中所述传感器种子点和所述图像种子点对应于所述器械的近侧区域。
24.根据权利要求21所述的非暂时性机器可读介质，其中所述传感器种子点或所述图像种子点之一经由用户输入来识别。
25.根据权利要求15所述的非暂时性机器可读介质，其中所述传感器点云包括传感器包络边界并且所述图像点云包括图像包络边界，并且其中将所述传感器点云配准到所述图像点云包括配准所述传感器包络边界和所述图像包络边界。
CN202080085690.9A 2019-11-08 2020-11-05 使用点云数据将器械配准到图像的系统和方法 Pending CN114787868A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962932965P 2019-11-08 2019-11-08
US62/932,965 2019-11-08
PCT/US2020/059037 WO2021092124A1 (en) 2019-11-08 2020-11-05 Systems and methods for registering an instrument to an image using point cloud data

Publications (1)

Publication Number Publication Date
CN114787868A true CN114787868A (zh) 2022-07-22

Family

ID=73646493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080085690.9A Pending CN114787868A (zh) 2019-11-08 2020-11-05 使用点云数据将器械配准到图像的系统和方法

Country Status (3)

Country Link
US (1) US20220392087A1 (zh)
CN (1) CN114787868A (zh)
WO (1) WO2021092124A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022146992A1 (en) 2020-12-30 2022-07-07 Intuitive Surgical Operations, Inc. Systems for integrating intraoperative image data with minimally invasive medical techniques
EP4271306A1 (en) 2020-12-30 2023-11-08 Intuitive Surgical Operations, Inc. Systems for updating a graphical user interface based upon intraoperative imaging
WO2023129934A1 (en) 2021-12-31 2023-07-06 Intuitive Surgical Operations, Inc. Systems and methods for integrating intra-operative image data with minimally invasive medical techniques

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2567149B1 (fr) 1984-07-06 1986-12-05 Solvay Procede pour l'extraction de poly-beta-hydroxybutyrates au moyen d'un solvant a partir d'une suspension aqueuse de micro-organismes
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
WO2013171672A1 (en) * 2012-05-18 2013-11-21 Koninklijke Philips N.V. Voxel tagging using fiber optic shape sensing

Also Published As

Publication number Publication date
US20220392087A1 (en) 2022-12-08
WO2021092124A1 (en) 2021-05-14

Similar Documents

Publication Publication Date Title
US20240041531A1 (en) Systems and methods for registering elongate devices to three-dimensional images in image-guided procedures
US11622669B2 (en) Systems and methods of registration for image guided surgery
CN109788992B (zh) 用于图像引导的外科手术的连续配准的系统和方法
US20220346886A1 (en) Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
CN110325138B (zh) 用于智能种子配准的系统和方法
JP2019507623A (ja) 画像誘導手術において位置合わせされた蛍光透視画像を使用するためのシステム及び方法
US20220387115A1 (en) Systems and methods for registering an instrument to an image using change in instrument position data
US20220392087A1 (en) Systems and methods for registering an instrument to an image using point cloud data
US11514591B2 (en) Systems and methods related to registration for image guided surgery
CN112423652A (zh) 与用于图像引导外科手术的配准相关的系统和方法
US20220142714A1 (en) Systems for enhanced registration of patient anatomy
US20220054202A1 (en) Systems and methods for registration of patient anatomy
US20240099776A1 (en) Systems and methods for integrating intraoperative image data with minimally invasive medical techniques
US20230360212A1 (en) Systems and methods for updating a graphical user interface based upon intraoperative imaging
CN114867425A (zh) 用于渐进配准的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination