CN117279588A - 导航介入设备 - Google Patents

导航介入设备 Download PDF

Info

Publication number
CN117279588A
CN117279588A CN202280034449.2A CN202280034449A CN117279588A CN 117279588 A CN117279588 A CN 117279588A CN 202280034449 A CN202280034449 A CN 202280034449A CN 117279588 A CN117279588 A CN 117279588A
Authority
CN
China
Prior art keywords
interventional device
future
time
neural network
portions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280034449.2A
Other languages
English (en)
Inventor
A·S·潘斯
G·A·托波雷克
M·L·弗莱克斯曼
A·辛哈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN117279588A publication Critical patent/CN117279588A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种为在解剖结构内导航介入设备提供导航引导的计算机实施的方法包括：接收(S110)介入设备形状数据(110)，所述介入设备形状数据表示所述介入设备(120)在一个或多个时间步长(t1…n)时的形状，所述时间步长至少包括当前时间步长(tn)；将所述介入设备形状数据(110)输入(S120)到神经网络(130)中，所述神经网络被训练为根据所述介入设备形状数据(110)来预测所述介入设备(120)的一个或多个部分在一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)以及针对所述一个或多个未来位置(140)的对应的置信度估计结果(150)；并且显示(S130)所预测的一个或多个未来位置(140)和对应的预测的置信度估计结果(150)。

Description

导航介入设备
技术领域
本公开内容涉及为在解剖结构内导航介入设备提供导航引导。公开了计算机实施的方法、计算机程序产品和系统。
背景技术
微创介入流程涉及在解剖结构内导航介入设备，这通常是在外部成像模态的引导下进行的。例如，常常在来自外部X射线、超声或磁共振成像“MRI”成像模态的成像引导下将诸如导丝和导管之类的介入设备导航通过脉管系统。这样的成像系统提供了对介入设备进行可视化的能力，并且在某种程度上提供了对周围的解剖结构进行可视化的能力。然而，在解剖结构内导航介入设备仍然具有挑战性。诸如导丝和导管之类的介入设备常常是长的和柔性的，并且通常在介入设备的近端的操纵与结果产生的介入设备的远端在解剖结构内的移动之间没有一对一的对应关系。例如，当在脉管系统内导航导丝以便将套管插入分叉时，医生通常通过扭转导丝并前后移动导丝来操纵导丝的近端，以便在远端处实现期望的移动。医生可以多次重复这些操纵，同时在实况X射线图像中观察导丝的远端，以便将导丝的远端导入分叉的期望分支。
在一些实例中，介入设备的近端由直接处理介入设备的远端的医生手动操纵。在其他实例中，医生手动控制机器人控制器，该机器人控制器提供与介入设备的近端的机械接口。在其他实例中，机器人控制器自动操纵介入设备的近端。为此目的，已知机器人控制器能够使用滚轴和/或手指来夹紧导丝的近端，以便在解剖结构内平移和/或旋转介入设备的远端。
然而，仍然需要改进在解剖结构内导航介入设备。
发明内容
根据本公开内容的一个方面，提供了一种为在解剖结构内导航介入设备提供导航引导的计算机实施的方法。所述方法包括：
接收介入设备形状数据，所述介入设备形状数据表示所述介入设备在一个或多个时间步长时的形状，所述时间步长至少包括当前时间步长；
将所述介入设备形状数据输入到神经网络中，所述神经网络被训练为根据所述介入设备形状数据来预测所述介入设备的一个或多个部分在一个或多个未来时间步长时的未来位置以及针对所述一个或多个未来位置的对应的置信度估计结果；并且
显示所预测的所述介入设备的每个部分的一个或多个未来位置以及针对所预测的一个或多个未来位置的对应的预测的置信度估计结果。
从下文参考附图对示例的描述中，本公开内容的其他方面、特征和优点将变得明显。
附图说明
图1图示了表示腹部动脉脉管系统的流程前CTA图像的示例。
图2图示了脉管系统的部分的流程中DSA图像的示例，并且包括被突出显示为浅色阴影区域的导丝120。
图3图示了根据本公开内容的一些方面的为在解剖结构内导航介入设备提供导航引导的方法的示例。
图4图示了根据本公开内容的一些方面的用于预测介入设备的一个或多个部分的未来位置的神经网络130的示例。
图5是图示示例LSTM单元的示意图。
图6图示了根据本公开内容的一些方面的训练神经网络以预测介入设备的一个或多个部分的未来位置的方法的示例。
图7图示了根据本公开内容的一些方面的当前X射线图像160的示例，当前X射线图像160包括所预测的介入设备120的部分的未来位置140a、140b、140c以及针对所预测的未来位置的对应的预测置信度估计结果150。
图8图示了根据本公开内容的一些方面的神经网络130的示例，神经网络130生成具有表示所输入的介入设备形状数据110的均值μ和方差值σ2的潜变量的向量。
图9图示了根据本公开内容的一些方面的神经网络130的示例，神经网络130被训练为预测介入设备的一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的介入设备的一个或多个部分的未来位置与潜变量的均值和标准偏差值的航迹170之间的差异所要求的。
图10A和图10B图示了根据本公开内容的一些方面的使用图9所示的经训练的神经网络来显示所预测的介入设备的一个或多个要求的操纵的示例。
图11图示了神经网络130的示例，神经网络130被配置为根据所输入的针对非专家用户的介入设备形状数据来确定所预测的介入设备的一个或多个部分的未来位置，所述未来位置与针对专家用户的介入设备形状训练数据最紧密地匹配。
图12图示了根据本公开内容的一些方面的利用图11所示的经训练的神经网络来执行推断的示例。
图13是图示根据本公开内容的一些方面的用于预测介入设备的部分的位置的系统200的示意图。
具体实施方式
参考以下描述和附图提供了本公开内容的示例。在本说明书中，出于解释的目的，阐述了某些示例的许多具体细节。说明书中对“示例”、“实施方式”或类似语言的引用意味着结合示例描述的特征、结构或特性被包括在至少一个示例中。还应意识到，关于一个示例描述的特征也可以用于另一示例，并且为了简洁起见，不必在每个示例中重复所有特征。例如，关于计算机实施的方法描述的特征可以以对应的方式在计算机程序产品和系统中实施。
在以下描述中，参考了涉及在解剖结构内导航介入设备的计算机实施的方法。参考了在脉管系统中导航介入设备的示例。在这一点上，将意识到，该方法可以用于在脉管系统的静脉、动脉或心脏区域内导航介入设备。参考了在脉管系统内导航导丝形式的介入设备的示例。然而，这些示例纯粹是说明性的，并且将意识到，这些方法也可以用于在脉管系统内导航其他类型的介入设备，包括导管、血管内成像导管(包括血管内超声“IVUS”和光学相干断层摄影“OCT”成像导管)、经食道超声心动描记“TEE”成像探头、血管内血压感测设备、血管内血流传感器设备等。
然而，还将意识到，本文公开的方法可以用于以类似的方式在解剖结构内的其他管腔内导航介入设备。例如，该方法可以用于在消化道、呼吸道、泌尿道等内导航介入设备。
本文还参考了通过用手操纵介入设备的近端来导航介入设备的示例。然而，还将意识到，当手动操纵介入设备的近端或由机器人控制器自动操纵介入设备的近端时，本文公开的方法也可以以类似的方式用于引导对介入设备的导航。
注意，本文公开的计算机实施的方法可以被提供为非瞬态计算机可读存储介质，所述非瞬态计算机可读存储介质包括存储在其上的计算机可读指令，所述计算机可读指令在由至少一个处理器运行时使所述至少一个处理器执行所述方法。换句话说，计算机实施的方法可以被实施在计算机程序产品中。计算机程序产品能够由专用硬件或者能够运行与适当软件相关联的软件的硬件来提供。当由处理器提供时，方法特征的功能能够由单个专用处理器或单个共享处理器或多个个体处理器(其中的一些处理器能够被共享)来提供。术语“处理器”或“控制器”的明确使用不应被解读为专指能够运行软件的硬件，并且能够隐含地包括但不限于数字信号处理器“DSP”硬件、用于存储软件的只读存储器“ROM”、随机存取存储器“RAM”、非易失性存储设备等。此外，本公开内容的示例能够采取能从计算机可用存储介质或计算机可读存储介质访问的计算机程序产品的形式，所述计算机程序产品提供由计算机或任何指令运行系统使用或与其结合使用的程序代码。出于本说明书的目的，计算机可用存储介质或计算机可读存储介质能够是能够包括、存储、传送、传播或传输由指令运行系统、装置或设备使用或与其结合使用的程序的任何装置。所述介质能够是电学、磁性、光学、电磁、红外或半导体系统或设备或传播介质。计算机可读介质的示例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器“RAM”、只读存储器“ROM”、硬磁盘和光盘。当前的光盘的示例包括只读存储器光盘(CD-ROM)、可读写光盘(CD-R/W)、蓝光光盘和DVD。
如上面所提到的，在解剖结构内操纵介入设备能够具有挑战性。这是因为诸如导丝和导管之类的介入设备通常是长的和柔性的，并且通常在介入设备的近端的操纵与介入设备的远端在解剖结构内的结果得到的移动之间没有一一对应关系。
举例来说，血管内流程常常要求将介入设备导航到心血管系统中的特定位置。导航从(例如在股骨、臂部、桡骨、颈静脉、脚部等区域处的)进入点开始，并且医生将介入设备导航通过脉管树而到达期望的位置。血管解剖结构非常复杂，并且常常生成对象的流程前图像，以供医生随后在解剖结构内引导介入设备时使用。计算机断层摄影血管造影“CTA”图像或磁共振血管造影“MRA”图像常常是为此目的而生成的。
举例来说，图1图示了表示腹部动脉脉管系统的流程前CTA图像的示例。图1所示的CT血管造影图像是通过在注入了造影剂之后对患者执行CT成像而获得的。造影剂突出显示了脉管系统内的管腔，否则这些管腔在CT图像中是不可见的，这是因为脉管管腔和其中的血液的X射线衰减系数与水的X射线衰减系数很相似。
在插入介入设备期间，来自外部(即，体外)成像系统的流程中图像通常用于在解剖结构内导航介入设备。为此目的，可以通过X射线成像系统或诸如MRI成像系统或超声成像系统之类的另一外部成像系统来生成流程中图像。在X射线成像系统的示例中，可以再次使用造影剂来可视化脉管系统。在一些情况下，可以生成数字减影血管造影“DSA”图像，以通过去除背景图像特征(例如，骨骼)来改善可视化，否则这些背景图像特征可能会干扰脉管系统的可视化。通过从注入了造影剂之后生成的脉管系统的X射线图像中减去在将造影剂注入到脉管系统中之前生成的脉管系统的X射线图像的X射线图像强度值来生成DSA图像。
举例来说，图2图示了脉管系统的部分的流程中DSA图像的示例，并且包括被突出显示为浅色阴影区域的导丝120。当在脉管系统内导航导丝时，医生通常注入造影剂脉冲，同时生成如图2所示的实况DSA图像。这使得医生能够立即看到他们对导丝的近端的操纵所产生的对导丝的远端的影响。然而，由于在导丝的近端的操纵与结果得到的导丝的远端的移动之间没有一一对应的关系，因此为了在远端处实现期望的移动，医生常常不得不通过扭转导丝和前后移动导丝来操纵导丝的近端。
发明人已经确定了一种改进的方法，该方法为在解剖结构内导航介入设备(例如，在上述示例中描述的导丝)提供导航引导。图3图示了根据本公开内容的一些方面的为在解剖结构内导航介入设备提供导航引导的方法的示例。参考图3，该方法包括：
接收S110介入设备形状数据110，所述介入设备形状数据110表示所述介入设备120在一个或多个时间步长t1…n时的形状，所述时间步长至少包括当前时间步长tn；
将所述介入设备形状数据110输入S120到神经网络130中，所述神经网络130被训练为根据所述介入设备形状数据110来预测所述介入设备120的一个或多个部分在一个或多个未来时间步长tn+1…n+k时的未来位置140以及针对所述一个或多个未来位置140的对应的置信度估计结果150；并且
显示S130所预测的所述介入设备120的每个部分的一个或多个未来位置140以及针对所预测的一个或多个未来位置140的对应的预测的置信度估计结果150。
可以从各种来源接收介入设备形状数据110，这些来源包括数据库、成像系统、计算机可读存储介质、云等等。可以使用任何形式的数据通信(例如，有线或无线数据通信)来接收数据，并且可以经由互联网、以太网来进行数据传输，或者通过借助于便携式计算机可读存储介质(例如，USB存储设备、光盘或磁盘等)来传输数据。
介入设备形状数据110可以由各种成像系统生成，或者替代地由位置确定系统生成。该数据可以表示介入设备的二维或三维形状。例如，介入设备形状数据110可以包括包含介入设备120的X射线图像的时间序列(例如，提供3D形状信息的经校准的双平面X射线图像)，或者包含介入设备120的计算机断层摄影图像的时间序列，或者包含介入设备120的超声图像的时间序列，或者包含介入设备120的磁共振图像的时间序列，或者由机械耦合到介入设备120的多个电磁跟踪传感器或发射器提供的位置的时间序列，或者由机械耦合到介入设备120的多个光纤形状传感器提供的位置的时间序列，或者由机械耦合到介入设备120的多个介电传感器提供的位置的时间序列，或者由机械耦合到介入设备120的多个超声跟踪传感器或发射器提供的位置的时间序列。介入设备形状数据110可以包括这些数据类型中的一种或多种数据类型的组合。
当成像系统生成介入设备形状数据110时，可以使用各种已知的分割技术从上面描述的图像的时间序列中提取介入设备的形状。可以例如使用分割技术(例如Honnorat,N.等人在2010年IEEE生物医学成像国际研讨会上发表的标题为“Robust guidewiresegmentation through boosting,clustering and linear programming”(从微观到宏观，鹿特丹，2010年，第924-927页)的文献中公开的分割技术)。可以通过例如在图像中定义介入设备上的一个或多个像素的组来在图像中识别介入设备的部分。这些部分可以任意定义，或者沿着介入设备的长度以规则间隔定义。通过这样做，可以在每个时间步长t1…tn时提供介入设备的每个部分的位置。
当介入设备形状数据110由电磁跟踪传感器或发射器生成时，可以采用例如在文献WO2015/165736A1中公开的那些电磁跟踪传感器或发射器来提供每个传感器或发射器在每个时间步长t1…tn时的位置。当介入设备形状数据110由光纤形状传感器生成时，可以采用例如在文献WO2007/109778A1中公开的那些光纤形状传感器。当介入设备形状数据110由介电传感器生成时，可以采用例如在文献US2019/254564A1中公开的那些介电传感器。当介入设备形状数据110由超声跟踪传感器或发射器生成时，可以采用例如在文献WO2020/030557A1中公开的那些超声跟踪传感器或发射器。
各种神经网络架构可以用于提供上文参考图3描述的神经网络130。图4图示了根据本公开内容的一些方面的用于预测介入设备的一个或多个部分的未来位置的神经网络130的示例。图4所示的神经网络130具有LSTM架构，并且包括朝向图4左侧的第一层长短期记忆“LSTM”单元、池化层和朝向图4右侧的第二层LSTM单元。
根据上文参考图3描述的操作S120，将介入设备形状数据110输入到图4中的第一层LSTM单元中。在包括当前时间步长tn的n个时间步长中的每个时间步长时，以介入设备上的i个点的位置Pi(x，y，z)的形式输入介入设备形状数据110。换句话说，针对时间步长t1…tn，输入介入设备形状数据110。所示示例中的所输入的位置Pi(x，y，z)表示介入设备的部分的三维位置。替代地，如上面所提到的，所输入的位置可以表示介入设备的部分的二维位置。可以根据所输入的图像或者根据耦合到介入设备120的传感器和/或接收器的位置来确定位置。第一层中的每个LSTM单元被输入有针对介入设备上的不同部分或点的位置数据。
图4中的第一层LSTM单元中的LSTM单元生成与所预测的它们在介入设备上的相应点的未来位置有关的隐藏状态。池化层为介入设备上的相邻点共享隐藏状态并将其输入到第二层LSTM单元，第二层LSTM单元生成未来位置的预测结果。
图4中的池化层允许相邻LSTM单元之间共享隐藏状态中的信息。这捕获了设备上的相邻部分对正被预测的设备上的部分的运动的影响。这提高了预测的准确度，因为它保留了关于介入设备上的相邻部分的位置信息，因此保留了介入设备形状的连续性。邻域的范围(即，相邻部分的数量以及在其中相邻部分的位置用于预测介入设备的部分的未来位置的范围)可以在直接相邻部分至整个介入设备之间。邻域的范围也可以取决于设备的柔性。例如，刚性设备可以使用相对较大的邻域，而柔性设备可以使用相对较小的邻域。所示的池化层的替代方案包括通过消除违反设备的连续性的预测位置或预测介入设备的曲率超过预定值的预测位置来将约束应用于神经网络的输出。
由图4中的神经网络130生成的输出数据是所预测的介入设备上的i个点在k个未来时间步长的每个未来时间步长时(即，在时间步长t1+1…tn+1时)的位置。
下文参考图5描述了图4中的每个LSTM单元的操作，图5是图示示例LSTM单元的示意图。参考图5，LSTM单元包括三个输入(ht-1、ct-1和xt)和两个输出(ht和ct)。sigma标签和tanh标签分别表示sigmoid激活函数和tanh激活函数，并且“x”符号和“+”符号分别表示逐点乘法运算和逐点加法运算。在时间t时，输出ht表示隐藏状态，输出ct表示单元状态，并且输入xt表示当前数据输入。在图5中从左向右移动，第一个sigmoid激活函数提供了一个遗忘门。它的输入((ht-1和xt)分别表示前一个单元的隐藏状态和当前数据输入)被级联在一起并且传递通过sigmoid激活函数。然后，sigmoid激活函数的输出乘以前一个单元状态ct-1。遗忘门控制将被包括在当前单元状态ct中的来自前一单元的信息的量。经由通过“+”符号表示的逐点加法来包括它的贡献。在图5中向右移动，输入门控制单元状态ct的更新。前一个单元的隐藏状态ht-1和当前数据输入xt级联在一起并且传递通过sigmoid激活函数和tanh激活函数。这些函数的输出的逐点乘法确定了经由通过“+”符号表示的逐点加法而添加到单元状态的信息的量。逐点乘法的结果被添加到与前一个单元状态ct-1相乘的遗忘门的输出以提供当前单元状态ct。在图5中进一步向右移动，输出门确定下一个隐藏状态ht应当是什么。隐藏状态包括先前的输入的信息并且用于预测。为了确定下一个隐藏状态ht，将前一个单元的隐藏状态ht-1和当前数据输入xt级联在一起并且传递通过sigmoid激活函数。新的单元状态ct传递通过tanh激活函数。然后，tanh激活函数和sigmoid激活函数的输出相乘以确定下一个隐藏状态ht中的信息。
因此，在一个示例中，在参考图3描述的方法中使用的神经网络130包括具有多个LSTM单元的LSTM架构，并且其中，每个LSTM单元包括输出部，所述输出部被配置为预测介入设备120的不同部分P1…Pi在一个或多个未来时间步长tn+1…n+k时的未来位置140。针对每个LSTM单元，该单元被配置为基于所输入的针对当前时间步长tn的介入设备形状数据110以及所预测的介入设备120的一个或多个相邻部分在一个或多个未来时间步长tn+1…n+k时的未来位置来预测介入设备120的部分在一个或多个未来时间步长tn+1…n+k时的未来位置140。
图4所示的神经网络130可以被训练为使用介入设备形状训练数据和真实情况位置数据来预测未来位置140。
图6图示了根据本公开内容的一些方面的训练神经网络以预测介入设备的一个或多个部分的未来位置的方法的示例。介入设备形状训练数据表示介入设备120在时间步长的序列时的形状。真实情况位置数据表示介入设备120的多个部分中的每个部分在序列中的每个时间步长时的位置。介入设备形状训练数据和/或真实情况位置数据可以通过图像数据来提供，或者由传感器和/或发射器数据来提供，如上文关于在操作S120中输入的所输入的介入设备形状数据110所描述的那样。神经网络130可以被训练为通过以下操作，根据介入设备形状数据110来预测介入设备120的一个或多个部分在一个或多个未来时间步长tn+1…n+k时的未来位置140：
接收S210介入设备形状训练数据，所述介入设备形状训练数据表示所述介入设备120在时间步长的序列时的形状；
接收S220介入设备真实情况位置数据，所述介入设备真实情况位置数据表示所述介入设备120的多个部分中的每个部分在所述序列中的每个时间步长时的位置；并且
针对所述序列中的多个时间步长中的每个时间步长，将所接收的针对所述时间步长以及任选地针对一个或多个较早时间步长的介入设备形状训练数据输入S230到所述神经网络中，并且基于损失函数来调节S240所述神经网络130的参数，直到满足停止准则为止，所述损失函数表示所预测的所述介入设备120的所述一个或多个部分在一个或多个后续时间步长时的后续位置与来自所接收的介入设备真实情况位置数据的所述介入设备120的一个或多个对应部分在所述一个或多个后续时间步长时的所述真实情况位置之间的差异。
举例来说，介入设备形状训练数据可以通过CT图像数据来提供，在所述CT图像数据中，CT图像数据的图像帧的时间表示时间步长的序列。在该示例中，对应的介入设备真实情况位置数据可以由机械耦合到介入设备120的电磁跟踪传感器或发射器来提供。真实情况位置数据的生成可以与CT图像数据中的图像帧的定时相同步，使得介入设备真实情况位置数据表示介入设备120在序列中的每个时间步长时的位置。
如同在其他神经网络中一样，图4所示的神经网络的训练是通过调节其参数(即，其权重和偏置)来执行的。图4的神经网络的权重和偏置由其LSTM单元来提供。参考图5所示的LSTM单元，图5中的较低的四个激活函数由权重和偏置来控制。这些内容在图5中借助于符号w和b来标识。在所示的LSTM单元中，这四个激活函数中的每个激活函数通常包括两个权重值(即，针对每个xt输入有一个权重值，并且针对每个ht-1输入有一个权重值)和一个偏置值b。因此，图5所示的示例LSTM单元通常包括8个权重参数和4个偏置参数。
通过以下公式来控制图5所示的LSTM单元的操作：
ft＝σ((whf×ht-1)+(wxf×xt)+bf) 公式1
ut＝σ((whu×ht-1)+(wxu×xt)+bu) 公式2
ot＝σ((who×ht-1)+(wxo×xt)+bo) 公式4
ct＝[c～ t+ut]+[ct-1+ft] 公式5
yt＝[ot×tanhct] 公式6
包括图5所示的LSTM单元的训练神经网络和其他神经网络因此涉及调节激活函数的权重和偏置。监督学习涉及为神经网络提供训练数据集，所述数据集包括输入数据和对应的预期的输出数据。训练数据集表示神经网络在训练后将可能用来分析的输入数据。在监督学习期间，自动调节权重和偏置，使得当被提供有输入数据时，神经网络准确地提供对应的期望的输出数据。
训练神经网络通常包括：将大的训练数据集输入到神经网络中，并且迭代地调节神经网络参数，直到经训练的神经网络提供准确的输出为止。训练通常是使用图形处理单元“GPU”或专用神经处理器(例如，神经处理单元“NPU”或张量处理单元“TPU”)来执行的。因此，训练通常采用集中式方法，其中，基于云或基于主机的神经处理器用于训练神经网络。在利用训练数据集对神经网络进行训练后，经训练的神经网络可以被部署到设备以用于在被称为“推断”的过程中分析新的输入数据。在推断期间的处理要求明显少于在训练期间的处理要求，从而允许神经网络被部署到各种系统(例如，膝上型计算机、平板电脑、移动电话等)。推断可以例如由服务器上或云中的中央处理单元“CPU”、GPU、NPU、TPU来执行。
如上文所概述的，训练神经网络的过程包括调节激活函数的权重和偏置。在监督学习中，训练过程自动调节权重和偏置，使得被提供有输入数据时，神经网络准确地提供对应的预期的输出数据。为此，基于所预测的输出数据与所预期的输出数据之间的差异来计算损失函数的值或误差。可以使用诸如负对数似然损失、均方误差或Huber损失或交叉熵之类的函数来计算损失函数的值。在训练期间，损失函数的值通常被最小化，并且当损失函数的值满足停止准则时，就终止训练。有时，当损失函数的值满足多个准则中的一个或多个准则时，就终止训练。
已知有各种方法能够解决损失最小化问题，例如，梯度下降法、拟牛顿法等。已经开发了各种算法来实施这些方法及其变体，包括但不限于随机梯度下降“SGD”、批量梯度下降、小批量梯度下降、高斯-牛顿、Levenberg Marquardt、Momentum、Adam、Nadam、Adagrad、Adadelta、RMSProp和Adamax“优化器”。这些算法使用链规则来计算损失函数关于模型参数的导数。这个过程被称为反向传播，因为导数是在最后一层或输出层处开始并向第一层或输入层移动而计算的。这些导数通知算法必须如何调节模型参数以最小化误差函数。也就是说，从输出层开始对模型参数进行调节，并且在网络中反向工作，直到到达输入层为止。在第一次训练迭代中，初始权重和偏置常常被随机化。神经网络然后预测输出数据，这同样是随机的。然后使用反向传播来调节权重和偏置。通过在每次迭代中调节权重和偏置来迭代地执行训练过程。当所预测的输出数据与所预期的输出数据之间的误差或差异在针对训练数据或某些验证数据的可接受范围内时，就终止训练。随后可以部署神经网络，并且经训练的神经网络使用其参数的经训练的值对新的输入数据进行预测。如果训练过程成功，则经训练的神经网络根据新的输入数据来准确地预测所预期的输出数据。
将意识到，上文参考图4和图5描述的示例LSTM神经网络仅用作示例，并且其他神经网络同样可以用于实施上述方法的功能。也可以训练LSTM神经网络130的替代神经网络，以便在训练操作S130期间执行期望的预测，这些替代神经网络包括但不限于：递归神经网络RNN、卷积神经网络CNN、时间卷积神经网络TCN，以及transformer。
在一些实施方式中，进一步约束调节神经网络130的参数的操作。在一个示例实施方式中，介入设备形状数据110包括数字减影血管造影X射线图像的时间序列，即，DSA X射线图像的时间序列，所述DSA X射线图像包括介入设备120，并且约束所述的调节S240神经网络130的参数，使得所预测的介入设备120的一个或多个部分在一个或多个未来时间步长tn+1…n+k时的未来位置140适配在DSA X射线图像中表示的腔体内。通过这样做，可以以更高的准确度预测介入设备的一个或多个部分的未来位置。可以通过基于该约束来计算第二损失函数并将该第二损失函数与前述损失函数一起合并到目标函数中来应用该约束，然后在训练期间最小化该目标函数的值。
上述神经网络130也被训练为预测针对一个或多个未来位置140的对应的置信度估计结果150。设想了各种方法来预测置信度估计结果。
在一个示例中，所述神经网络130被训练为基于由所述神经网络130生成的所预测的所述介入设备120的所述一个或多个部分在所述一个或多个未来时间步长tn+1…n+k时的未来位置140与来自所接收的介入设备真实情况位置数据的所述介入设备120的所述一个或多个对应部分在所述一个或多个未来时间步长tn+1…n+k时的所述真实情况位置之间的差异来预测针对所预测的所述介入设备120的所述一个或多个部分在所述一个或多个未来时间步长tn+1…n+k时的未来位置140的所述对应的置信度估计结果。
在另一示例中，所述神经网络130包括丢弃层，所述丢弃层被配置为随机控制所述丢弃层中的神经元对所预测的所述介入设备120的所述一个或多个部分在所述一个或多个未来时间步长tn+1…n+k时的未来位置140的贡献，使得能根据通过利用相同的输入数据重复运行经训练的神经网络130而生成的所预测的所述介入设备120的所述一个或多个部分在所述一个或多个未来时间步长tn+1…n+k时的未来位置140来获得针对所预测的所述介入设备120的所述一个或多个部分在所述一个或多个未来时间步长tn+1…n+k时的未来位置140的置信度估计结果。也可以使用其他技术来预测对应的置信度估计结果150，例如，通过预测针对介入设备的一个或多个部分在一个或多个未来时间步长时的分布而不是点估计并且使用标准偏差作为置信度的度量(较小的标准偏差意味着较高的置信度，较大的标准偏差意味着较低的置信度等)来预测对应的置信度估计结果150。
回到图3，在操作S130中，显示所预测的介入设备120的每个部分的一个或多个未来位置140以及针对所预测的一个或多个未来位置140的对应的预测的置信度估计结果150。设想了在操作S130中使用的各种技术。举例来说，可以显示介入设备的当前图像，并且可以在当前图像中显示所预测的介入设备的一个或多个部分的未来位置以及针对所预测的未来位置的对应的预测的置信度估计结果。
另举一个示例，图7图示了根据本公开内容的一些方面的当前X射线图像160的示例，当前X射线图像160包括所预测的介入设备120的部分的未来位置140a、140b、140c以及针对所预测的未来位置的对应的预测的置信度估计结果150。在图7中图示了脉管管腔180的轮廓，并且可以通过使用DSA成像技术生成X射线图像160来确定脉管管腔180的轮廓。在图7中通过表示介入设备120的实线曲线示出了介入设备120的当前位置。通过虚线的形式图示了针对>80％、>75％和<75％的三个置信估计值中的每个置信估计值的所预测的介入设备的远端部分的未来位置。
还设想了图7所示的用于显示介入设备120的当前和/或未来位置的替代技术。这些替代技术包括使用不同的颜色或阴影来图示置信估计结果、热图等。在一些示例中，预测介入设备的一个且仅一个部分(例如，介入设备120的远端)的位置。
上文参考图3描述的计算机实施的方法可以包括一个或多个额外的操作。
在一些介入流程中，知道介入设备120的特定部分是否将截取期望的目标位置是有益的。例如，参考图7，期望知道导丝120的远端是否将成功进入脉管管腔的左分支。根据一个示例，上文参考图3描述的方法包括：
针对介入设备120的至少一个部分，接收指示解剖结构内的目标位置的输入；并且
基于所预测的介入设备120的至少一个部分的未来位置140来计算介入设备120的至少一个部分截取目标位置的概率。
该功能可以由神经网络130来提供，或者通过对(一个或多个)所预测的未来位置140和目标位置进行后处理来提供。解剖结构内的目标位置可以是解剖结构内的任何位置，例如，左肾动脉或右肾动脉，或者另一目标位置。目标位置可以由用户来提供或者被自动确定。例如，如果目标位置由用户来提供，则用户可以通过诸如鼠标或触摸屏之类的指针设备在显示器上指示目标位置。替代地，可以根据关于医学流程的类型的信息并基于通过解剖结构的预期路径来自动确定目标位置。所计算的介入设备120的至少一个部分截取目标位置的概率可以例如被显示为数值、虚线、或者借助于解剖结构的图像上的颜色或阴影等。
在另一示例中，并且为了解决操纵介入设备的一些上述挑战，向用户指示已经用于成功导航介入设备以截取解剖结构内的目标位置的历史路径的范围能够是有益的。通过这样做，用户可以确定他们的介入设备的当前位置与成功的历史路径的位置相比如何，从而受益于其他用户(即，专家用户)的经验。该功能可以通过使用来自专家用户的训练数据训练神经网络130来提供。根据该示例，神经网络130被配置为生成潜变量的一个或多个向量，所述潜变量的一个或多个向量表示所输入的介入设备形状数据110的部分沿着用于成功导航介入设备120以截取解剖结构内的目标位置的多条历史路径的位置分布，并且上文参考图3描述的方法包括：
显示解剖结构内的航迹170，所述航迹170表示潜变量的一个或多个向量的一个或多个分布参数。
参考图8图示了该示例，图8图示了根据本公开内容的一些方面的神经网络130的示例，该神经网络130生成具有表示所输入的介入设备形状数据110的均值μ和方差值σ2的潜变量的向量。图8所示的神经网络具有变化的编码器-解码器架构，但是其他类型的生成神经网络(例如，生成对抗网络“GAN”)也可以用于实施该功能。例如，通过将KL-散度/互信息分量添加到确保其遵循特定分布的损失函数，可以训练神经网络来生成遵循正态分布的潜在表示。对抗训练在GAN中很常见，它已被证明在捕获输入/输出数据的低级表示(例如，用于图像翻译的CycleGAN)方面是成功的。使用变化的编码器-解码器网络的优点在于，这种类型的神经网络学习训练数据集的潜在表示上的分布。因此，图8所示的神经网络130学习表示输入设备形状的潜在表示上的分布的均值μ和方差σ2，使得在给定介入设备迄今为止的形状的情况下，来自该分布的样本表示介入设备的未来形状。
在图8中图示了航迹170，并且航迹170包括分布在该均值的任一侧的均值μ和标准偏差值σ，并且指示用于成功导航介入设备120以截取解剖结构内的目标位置的历史路径的范围。如图8所示，在管腔中的一些位置处，特别是朝向管腔中的左分支，存在小的变化，这指示用户需要将介入设备准确地定位在管腔中的该位置处的均值附近，以便成功地转向该左分支。相比之下，在管腔中的较低位置处观察到较大的变化，这指示介入设备的定位不太重要。
以这种方式显示航迹170以过去的用户采取的设备路径的变化的形式向用户提供了额外的信息。通过在从专家获得的设备导航数据(即，用于成功导航介入设备以截取解剖结构内的目标位置的多条历史路径)上训练变化的编码器-解码器网络，图8所示的神经网络的编码器部分根据表示专家设备导航的输入数据来逼近后验分布，并且解码器网络从该分布中生成样本。这允许经验较少的用户从仅专家设备轨迹的分布(包括具有较小或较大变化的轨迹节段以及专家导航中的变化类型)中观察所生成的样本。
在图8所示的神经网络中，一个或多个分布参数包括均值μ和标准偏差σ。注意，可以以类似的方式计算其他统计分布参数并将其显示在航迹170中。此外，图示了潜变量的两个向量，一个向量用于均值，一个向量用于方差值。在一些示例中，可以计算一个且仅一个向量。
图8所示的神经网络130可以被训练为通过以下操作，根据介入设备形状数据110来预测介入设备120的一个或多个部分在一个或多个未来时间步长tn+1…n+k时的未来位置140：
接收介入设备形状训练数据，所述介入设备形状训练数据表示所述介入设备120在针对成功导航所述介入设备120以截取所述解剖结构内的所述目标位置的多个历史流程的时间步长的序列时的形状；
接收介入设备真实情况位置数据，所述介入设备真实情况位置数据表示所述介入设备120的多个部分中的每个部分在所述序列中的每个时间步长时的位置；并且
针对在针对历史流程的所述序列中的多个时间步长中的每个时间步长：
将所接收的针对所述时间步长以及任选地针对一个或多个较早时间步长的介入设备形状训练数据输入到所述神经网络130中，
训练所述神经网络130以学习潜变量的一个或多个向量，所述潜变量的所述一个或多个向量表示所输入的介入设备形状数据110的部分的位置分布；
从由潜变量的所述一个或多个向量表示的所述介入设备120的所述部分的位置分布中采样，以提供所述介入设备120的所述一个或多个部分在所述一个或多个未来时间步长tn+1…n+k时的未来位置140；
基于以下各项来调节所述神经网络130的参数，直到满足停止准则为止：
i)第一损失函数，其表示由潜变量的所述一个或多个向量表示的所述分布中的样本概率与标准分布中的样本概率之间的差异；以及
ii)第二损失函数，其表示在所预测的所述介入设备120的所述一个或多个部分在所述一个或多个后续时间步长时的后续位置140与来自所接收的介入设备真实情况位置数据的所述介入设备120的一个或多个对应部分在所述一个或多个后续时间步长时的所述真实情况位置之间的差异；并且
针对所述多个历史流程中的每个历史流程重复所述输入、所述训练、所述采样和所述调节。
举例来说，可以使用kullback-leibler“KL”散度来计算第一损失函数。所使用的标准分布例如可以是均值等于零且方差等于一的高斯或正态分布。
也可以调整参考图8描述的神经网络，以便计算对介入设备120的一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的介入设备的一个或多个部分的未来位置与航迹170之间的差异所要求的。参考图9描述了该示例，图9图示了根据本公开内容的一些方面的神经网络130的示例，该神经网络130被训练为预测介入设备的一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的介入设备的一个或多个部分的未来位置与潜变量的均值的航迹170之间的差异所要求的。参考图9，在该示例中，参考图8描述的方法还包括：
基于所接收的表示针对当前时间步长tn的介入设备120的形状的介入设备形状数据110来计算介入设备120的一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的介入设备120的一个或多个部分在一个或多个未来时间步长tn+1…n+k时的未来位置140与解剖结构内的航迹170之间的差异所要求的；并且
显示所预测的介入设备120的一个或多个要求的操纵。
如图9所示，神经网络130可以包括卷积神经网络“CNN”架构，以便实施该功能。CNN的替代架构包括RNN、TCN、transformer等。该功能使得能够训练用户以为在解剖结构内导航介入设备提供更优的操纵。图10A和图10B图示了根据本公开内容的一些方面的使用图9所示的经训练的神经网络来显示所预测的介入设备的一个或多个要求的操纵的示例。用于显示所预测的一个或多个要求的操纵的替代技术包括例如显示诸如方向箭头之类的图标等。
图9所示的神经网络可以被训练为通过以下操作，根据介入设备形状数据110来预测介入设备120的一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的介入设备120的一个或多个部分在一个或多个未来时间步长tn+1…n+k时的未来位置140与解剖结构内的航迹之间的差异所要求的：
接收介入设备形状训练数据，所述介入设备形状训练数据表示所述介入设备120在针对导航所述介入设备120以截取所述目标位置的多个成功的历史流程的时间步长的序列时的形状；
针对所述序列中的每个时间步长，接收表示所述介入设备120的操纵的介入设备真实情况操纵数据，并且
针对所述序列中的多个时间步长中的每个时间步长，将所接收的针对所述时间步长的介入设备形状训练数据输入到所述神经网络130中，并且基于第三损失函数来调节所述神经网络130的参数，直到满足停止准则为止，所述第三损失函数表示所预测的一个或多个要求的操纵与所述真实情况操纵数据之间的差异。
介入设备真实情况操纵数据可以例如由以下各项中的一项或多项来提供：
机器人控制单元，其被配置为操纵介入设备120；以及
相机，其被配置为生成表示介入设备120的用户操纵的图像数据。
根据另一示例，使用专家训练数据来训练图8所示的神经网络。图11图示了根据本公开内容的一些方面的神经网络130的示例，该神经网络130被配置为根据所输入的针对非专家用户的介入设备形状数据来确定与针对专家用户的介入设备形状训练数据最紧密地匹配的所预测的介入设备的一个或多个部分的未来位置。在该示例中，介入设备形状训练数据包括专家用户训练数据，并且神经网络130被配置为根据所输入的针对非专家用户的介入设备形状数据110来确定所预测的介入设备120的一个或多个部分在一个或多个未来时间步长tn+1…n+k时的未来位置140，从而成功导航介入设备120以截取解剖结构内的目标位置，该目标位置在一个或多个未来时间步长tn+1…n+k时最紧密地匹配针对专家用户的介入设备形状训练数据。
在该示例中，由于神经网络是在专家数据上训练的，因此在由网络学习的设备轨迹的潜在表示捕获的输入数据上的近似分布表示专家设备轨迹。因此，神经网络130不能重建非专家设备轨迹，并且这些非专家设备轨迹将是所学习的分布的异常值。相反，神经网络130将输出能够通过所学习的分布表示的最接近的专家轨迹。这允许非专家用户持续学习以模仿专家，而不需要专家投入额外的时间。
使用如图11所示的变化的编码器-解码器网络的额外的优点是，在所学习的专家设备轨迹的潜在空间上的分布遵循正态分布，并且能够被采样。传统的规划工具通常仅示出一个特定的计划或设备轨迹，而本文描述的变化的编码器-解码器网络不仅能够示出最可能的轨迹或最接近的专家轨迹，而且还允许用户对其他类似的轨迹(例如，通向已知目标的轨迹)进行采样。
图12图示了根据本公开内容的一些方面的利用图11所示的经训练的神经网络来执行推断的示例。图12中的所学习的潜在表示z包括多个向量元素，z＝{z1，z2，…zj}。z的每个元素控制训练数据中的某种变化模式(在本例中是专家设备轨迹)。例如，z的一个元素可以控制在流程期间导丝的转变点处曲率的变化，并且z的另一元素可以控制工具尖端在插管部位处的位置。允许用户改变控制设备轨迹的某种先前识别的方面的学习的潜在表示z的一个或多个元素，这使得用户有可能观察多条专家设备轨迹并选择最适合他们的个人偏好、风格、舒适度等的选项。同样，这允许用户加速从非专家到专家的转变，同时允许用户个性化他们的风格或方法。根据该示例，参考图8描述的神经网络可以包括用户接口，该用户接口允许用户操纵表示所输入的介入设备形状数据110的各部分的位置分布的潜变量的向量的一个或多个元素，从而允许用户研究可能根据介入设备在当前时间步长tn时的形状获得的介入设备的替代未来形状。
图13是图示根据本公开内容的一些方面的用于预测介入设备的部分的位置的系统200的示意图。系统200包括一个或多个处理器210，这一个或多个处理器210被配置为执行上述与提供导航引导的计算机实施的方法有关的操作中的一个或多个操作。系统200还可以包括介入设备120、成像系统(例如，图13所示的X射线成像系统220或另一成像系统)。在使用中，X射线成像系统220可以生成介入设备形状数据110，以用于在操作S120中输入到神经网络130中。系统200还可以包括如图13所示的一个或多个显示设备230和/或用户接口设备(例如，键盘)和/或用于控制方法的运行的指针设备(例如，鼠标)和/或病床240。
上述示例应被理解为是对本公开内容的说明而不是限制。还设想了另外的示例。例如，关于计算机实施的方法描述的示例也可以由计算机程序产品或计算机可读存储介质或系统200以对应的方式提供。应当理解，关于任何一个示例描述的特征可以单独使用，也可以与其他描述的特征结合使用，并且可以与另一示例的一个或多个特征结合使用，也可以与其他示例的组合结合使用。此外，在不脱离由所附权利要求限定的本发明的范围的情况下，也可以采用上文没有描述的等同物和修改。在权利要求中，词语“包括”并不排除其他元件或操作，并且词语“一”或“一个”并不排除多个。在互不相同的从属权利要求中记载了某些特征的事实并不指示不能有利地使用这些特征的组合。权利要求中的任何附图标记都不应被解释为限制其范围。

Claims (15)

1.一种为在解剖结构内导航介入设备提供导航引导的计算机实施的方法，所述方法包括：
接收(S110)介入设备形状数据(110)，所述介入设备形状数据表示所述介入设备(120)在一个或多个时间步长(t1…n)时的形状，所述时间步长至少包括当前时间步长(tn)；
将所述介入设备形状数据(110)输入(S120)到神经网络(130)中，所述神经网络被训练为根据所述介入设备形状数据(110)来预测所述介入设备(120)的一个或多个部分在一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)以及针对所述一个或多个未来位置(140)的对应的置信度估计结果(150)；并且
显示(S130)所预测的所述介入设备(120)的每个部分的一个或多个未来位置(140)以及针对所预测的一个或多个未来位置(140)的对应的预测的置信度估计结果(150)。
2.根据权利要求1所述的计算机实施的方法，其中，所述方法包括：
针对所述介入设备(120)的至少一个部分，接收指示所述解剖结构内的目标位置的输入；并且
基于所预测的所述介入设备(120)的所述至少一个部分的未来位置(140)来计算所述介入设备(120)的所述至少一个部分截取所述目标位置的概率。
3.根据权利要求1所述的计算机实施的方法，其中，所述神经网络(130)被配置为生成潜变量的一个或多个向量，所述潜变量的所述一个或多个向量表示所输入的介入设备形状数据(110)的部分沿着用于成功导航所述介入设备(120)以截取所述解剖结构内的目标位置的多条历史路径的位置分布；并且其中，所述方法包括：
显示所述解剖结构内的航迹(170)，所述航迹表示潜变量的所述一个或多个向量的一个或多个分布参数。
4.根据权利要求3所述的计算机实施的方法，其中，所述方法包括：
基于所接收的表示所述介入设备(120)在所述当前时间步长(tn)内的形状的介入设备形状数据(110)来计算所述介入设备(120)的一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)与所述解剖结构内的所述航迹(170)之间的差异所要求的；并且
显示所预测的所述介入设备(120)的一个或多个要求的操纵。
5.根据权利要求1或权利要求2所述的计算机实施的方法，其中，所述神经网络(130)被训练为通过以下操作，根据所述介入设备形状数据(110)来预测所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的所述未来位置(140)：
接收(S210)介入设备形状训练数据，所述介入设备形状训练数据表示所述介入设备(120)在时间步长的序列时的形状；
接收(S220)介入设备真实情况位置数据，所述介入设备真实情况位置数据表示所述介入设备(120)的多个部分中的每个部分在所述序列中的每个时间步长时的位置；并且
针对所述序列中的多个时间步长中的每个时间步长，将所接收的针对所述时间步长以及任选地针对一个或多个较早时间步长的介入设备形状训练数据输入(S230)到所述神经网络中，并且基于损失函数来调节(S240)所述神经网络(130)的参数，直到满足停止准则为止，所述损失函数表示所预测的所述介入设备(120)的所述一个或多个部分在一个或多个后续时间步长时的后续位置与来自所接收的介入设备真实情况位置数据的所述介入设备(120)的一个或多个对应部分在所述一个或多个后续时间步长时的所述真实情况位置之间的差异。
6.根据权利要求5所述的计算机实施的方法，其中：
i)所述神经网络(130)被训练为基于由所述神经网络(130)生成的所预测的所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)与来自所接收的介入设备真实情况位置数据的所述介入设备(120)的所述一个或多个对应部分在所述一个或多个未来时间步长(tn+1…n+k)时的所述真实情况位置之间的差异来预测针对所预测的所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)的所述对应的置信度估计结果；或者
ii)所述神经网络(130)包括丢弃层，所述丢弃层被配置为随机控制所述丢弃层中的神经元对所预测的所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)的贡献，使得能根据通过利用相同的输入数据重复运行经训练的神经网络(130)而生成的所预测的所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)来获得针对所预测的所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)的置信度估计结果。
7.根据权利要求5所述的计算机实施的方法，其中，所述介入设备形状数据(110)包括数字减影血管造影X射线图像的时间序列，即，DSA X射线图像的时间序列，所述DSA X射线图像包括所述介入设备(120)，并且所述计算机实施的方法包括约束所述的调节(S240)所述神经网络(130)的参数，使得所预测的所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)适配在所述DSA X射线图像中表示的管腔内。
8.根据权利要求3所述的计算机实施的方法，其中，所述神经网络(130)被训练为通过以下操作，根据所述介入设备形状数据(110)来预测所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的所述未来位置(140)：
接收介入设备形状训练数据，所述介入设备形状训练数据表示所述介入设备(120)在针对成功导航所述介入设备(120)以截取所述解剖结构内的所述目标位置的多个历史流程的时间步长的序列时的形状；
接收介入设备真实情况位置数据，所述介入设备真实情况位置数据表示所述介入设备(120)的多个部分中的每个部分在所述序列中的每个时间步长时的位置；并且
针对在针对历史流程的所述序列中的多个时间步长中的每个时间步长：
将所接收的针对所述时间步长以及任选地针对一个或多个较早时间步长的介入设备形状训练数据输入到所述神经网络(130)中，
训练所述神经网络(130)以学习潜变量的一个或多个向量，所述潜变量的所述一个或多个向量表示所输入的介入设备形状数据(110)的部分的位置分布；
从由潜变量的所述一个或多个向量表示的所述介入设备(120)的所述部分的位置分布中采样，以提供所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)；
基于以下各项来调节所述神经网络(130)的参数，直到满足停止准则为止：
i)第一损失函数，其表示由潜变量的所述一个或多个向量表示的所述分布中的样本概率与标准分布中的样本概率之间的差异；以及
ii)第二损失函数，其表示在所预测的所述介入设备(120)的所述一个或多个部分在所述一个或多个后续时间步长时的后续位置(140)与来自所接收的介入设备真实情况位置数据的所述介入设备(120)的一个或多个对应部分在所述一个或多个后续时间步长时的所述真实情况位置之间的差异；并且
针对所述多个历史流程中的每个历史流程重复所述输入、所述训练、所述采样和所述调节。
9.根据权利要求8所述的计算机实施的方法，其中，所述介入设备形状训练数据包括专家用户训练数据，并且其中，所述神经网络(130)被配置为根据所输入的针对非专家用户的介入设备形状数据(110)来确定所预测的所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)，从而成功导航所述介入设备(120)以截取所述解剖结构内的所述目标位置，所述目标位置在所述一个或多个未来时间步长(tn+1…n+k)时最紧密地匹配针对专家用户的所述介入设备形状训练数据。
10.根据权利要求3所述的计算机实施的方法，其中，所述神经网络(130)包括用户接口，所述用户接口被配置为允许用户操纵潜变量的所述一个或多个向量的一个或多个元素，以允许用户研究能够从所述介入设备在所述当前时间步长tn时的形状获得的所述介入设备(120)的替代未来形状。
11.根据权利要求4所述的计算机实施的方法，其中，所述神经网络(130)被训练为通过以下操作，根据所述介入设备形状数据(110)来预测所述介入设备(120)的所述一个或多个要求的操纵，所述一个或多个要求的操纵是减小所预测的所述介入设备(120)的所述一个或多个部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置(140)与所述解剖结构内的所述航迹之间的差异所要求的：
接收介入设备形状训练数据，所述介入设备形状训练数据表示所述介入设备(120)在针对导航所述介入设备(120)以截取所述目标位置的多个成功的历史流程的时间步长的序列时的形状；
针对所述序列中的每个时间步长，接收表示所述介入设备(120)的操纵的介入设备真实情况操纵数据，并且
针对所述序列中的多个时间步长中的每个时间步长，将所接收的针对所述时间步长的介入设备形状训练数据输入到所述神经网络(130)中，并且基于第三损失函数来调节所述神经网络(130)的参数，直到满足停止准则为止，所述第三损失函数表示所预测的一个或多个要求的操纵与所述真实情况操纵数据之间的差异。
12.根据任一前述权利要求所述的计算机实施的方法，其中，所述介入设备形状数据(110)或所述介入设备形状训练数据或所述介入设备真实情况位置数据包括：
包括所述介入设备(120)的X射线图像的时间序列；或者
包括所述介入设备(120)的计算机断层摄影图像的时间序列；或者
包括所述介入设备(120)的超声图像的时间序列；或者
包括所述介入设备(120)的磁共振图像的时间序列；或者
由机械耦合到所述介入设备(120)的多个电磁跟踪传感器或发射器提供的位置的时间序列；或者
由机械耦合到所述介入设备(120)的多个光纤形状传感器提供的位置的时间序列；或者
由机械耦合到所述介入设备(120)的多个介电传感器提供的位置的时间序列；或者
由机械耦合到所述介入设备(120)的多个超声跟踪传感器或发射器提供的位置的时间序列。
13.根据任一前述权利要求所述的计算机实施的方法，其中，所述神经网络(130)包括以下各项中的至少一项：
卷积神经网络架构；
长短期记忆神经网络架构，即，LSTM神经网络架构；
可变的编码器-解码器神经网络架构；
生成对抗神经网络架构，即，GAN神经网络架构；
transformer架构。
14.根据权利要求13所述的计算机实施的方法，其中，所述神经网络(130)包括具有多个LSTM单元的LSTM神经网络架构，并且其中，每个LSTM单元包括输出部，所述输出部被配置为预测所述介入设备(120)的不同部分(P1…Pi)在所述一个或多个未来时间步长(tn+1…n+k)时的所述未来位置(140)；并且
其中，针对每个LSTM单元，所述单元被配置为基于所输入的针对所述当前时间步长(tn)的介入设备形状数据(110)和所预测的所述介入设备(120)的一个或多个相邻部分在所述一个或多个未来时间步长(tn+1…n+k)时的未来位置来预测所述介入设备(120)的所述部分在所述一个或多个未来时间步长(tn+1…n+k)时的所述未来位置(140)。
15.一种包括指令的计算机程序产品，所述指令在由一个或多个处理器运行时使所述一个或多个处理器执行根据权利要求1-14中的任一项所述的方法。
CN202280034449.2A 2021-04-12 2022-04-06 导航介入设备 Pending CN117279588A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163173517P 2021-04-12 2021-04-12
US63/173,517 2021-04-12
PCT/EP2022/059099 WO2022218773A1 (en) 2021-04-12 2022-04-06 Navigating an interventional device

Publications (1)

Publication Number Publication Date
CN117279588A true CN117279588A (zh) 2023-12-22

Family

ID=81580177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280034449.2A Pending CN117279588A (zh) 2021-04-12 2022-04-06 导航介入设备

Country Status (4)

Country Link
EP (1) EP4322879A1 (zh)
JP (1) JP2024515068A (zh)
CN (1) CN117279588A (zh)
WO (1) WO2022218773A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070265503A1 (en) 2006-03-22 2007-11-15 Hansen Medical, Inc. Fiber optic instrument sensing system
WO2015128761A2 (en) * 2014-02-28 2015-09-03 Koninklijke Philips N.V. Adaptive instrument kinematic model optimization for optical shape sensed instruments
RU2016145933A (ru) 2014-04-29 2018-05-29 Конинклейке Филипс Н.В. Устройство для определения конкретного положения катетера
WO2016181316A1 (en) 2015-05-12 2016-11-17 Navix International Limited Systems and methods for tracking an intrabody catheter
WO2020030557A1 (en) 2018-08-08 2020-02-13 Koninklijke Philips N.V. Tracking an interventional device respective an ultrasound image plane
US20220125530A1 (en) * 2019-02-28 2022-04-28 Koninklijke Philips N.V. Feedback continuous positioning control of end-effectors
US11087464B2 (en) * 2019-06-27 2021-08-10 Wisconsin Alumni Research Foundation System and method for motion-adjusted device guidance using vascular roadmaps
WO2022112076A1 (en) * 2020-11-24 2022-06-02 Koninklijke Philips N.V. Determining interventional device position

Also Published As

Publication number Publication date
JP2024515068A (ja) 2024-04-04
WO2022218773A1 (en) 2022-10-20
EP4322879A1 (en) 2024-02-21

Similar Documents

Publication Publication Date Title
CN107403446B (zh) 用于使用智能人工代理的图像配准的方法和系统
EP3142033B1 (en) Physiology-driven decision support for therapy planning
JP7267743B2 (ja) 脈管内においてカテーテルのような導管ラインをルーティングするためのシステムおよび方法
JP6797200B2 (ja) 血管構造内で血管内器具を誘導する助けとなるためのシステム及び同システムの作動方法
KR20190047073A (ko) 축소 차수 모델 및 기계 학습을 사용한 혈류 특성들의 추정을 위한 시스템 및 방법들
CN110638438A (zh) 用于对血流储备分数的基于机器学习的评估的方法和系统
Karstensen et al. Autonomous guidewire navigation in a two dimensional vascular phantom
KR102305965B1 (ko) 가이드와이어 검출 방법 및 장치
US11410308B2 (en) 3D vessel centerline reconstruction from 2D medical images
Zhao et al. Surgical GAN: Towards real-time path planning for passive flexible tools in endovascular surgeries
Cho et al. Image processing based autonomous guidewire navigation in percutaneous coronary intervention
Barata et al. IVUS-based local vessel estimation for robotic intravascular navigation
US20240020877A1 (en) Determining interventional device position
EP4186455A1 (en) Risk management for robotic catheter navigation systems
CN117279588A (zh) 导航介入设备
CN111954907A (zh) 基于机器学习的血管成像中的分辨和操纵决策焦点
JP7421689B2 (ja) 介入装置形状の決定
US20220202501A1 (en) Real-time correction of regional tissue deformation during endoscopy procedure
EP4173585A1 (en) Method for identifying a vascular access site
US11612442B2 (en) Vascular imaging device and method for detecting guidewire based on curve similarity levels
US11200976B2 (en) Tracking method and apparatus
KR20240003038A (ko) 가이드와이어 팁의 형상 결정 방법 및 장치
WO2024088836A1 (en) Systems and methods for time to target estimation from image characteristics
KR20240022024A (ko) 가이드와이어 팁의 형상 결정 방법 및 장치
WO2023072973A1 (en) Identifying a vascular access site

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination