CN116670711A - 对柔性设备的预测性运动映射 - Google Patents

对柔性设备的预测性运动映射 Download PDF

Info

Publication number
CN116670711A
CN116670711A CN202180085447.1A CN202180085447A CN116670711A CN 116670711 A CN116670711 A CN 116670711A CN 202180085447 A CN202180085447 A CN 202180085447A CN 116670711 A CN116670711 A CN 116670711A
Authority
CN
China
Prior art keywords
medical device
interventional medical
motion
distal end
interventional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180085447.1A
Other languages
English (en)
Inventor
A·辛哈
M·L·弗莱克斯曼
G·A·托波雷克
A·S·潘斯
J·克吕克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Priority claimed from PCT/EP2021/084464 external-priority patent/WO2022128589A1/en
Publication of CN116670711A publication Critical patent/CN116670711A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0801—Prevention of accidental cutting or pricking
    • A61B2090/08021—Prevention of accidental cutting or pricking of the patient or his organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/03—Automatic limiting or abutting means, e.g. for safety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种用于介入医学设备的控制器(150)包括存储器(151)和处理器(152)。所述存储器(151)存储所述处理器(152)运行的指令。所述指令在被运行时，所述指令使所述控制器(150)获得所述介入医学设备(101)的远端的至少一个位置，识别介入医学设备(101)的近端处的运动，将第一训练的人工智能应用于所述介入医学设备(101)的所述近端处的所述运动和所述介入医学设备(101)的所述远端的所述至少一个位置，并且预测在所述介入医学流程期间沿着所述介入医学设备(101)朝向所述介入医学设备(101)的远端的运动。所述控制器(150)还从医学成像系统(120)获得所述介入医学设备(101)的所述远端的图像，以确定实际的运动何时偏离预测的运动。

Description

对柔性设备的预测性运动映射
背景技术
当实况医学成像没有显示出工具的非预期运动时，在微创手术中对解剖结构使用工具会具有挑战性。对于一些工具，在近端引入的运动有时不会沿着工具的长度和在工具的远端产生对应的运动。沿着工具的长度的非预期运动包括侧向平移和屈曲。运动的变化取决于工具的类型、患者的解剖结构以及沿着工具的长度的曲率。工具的非预期运动也可能是由于工具特性，例如，尺寸、柔性、扭矩传递和摩擦。非计划运动的结果可能是与组织的不利接触，例如，血管剥离或穿孔。例如，在细长工具(例如，导管或导丝)的近端引入的运动可能导致非预期运动。
当在二维(二维)荧光透视的引导下执行微创手术时，可能会错过工具的三维(三维)运动的方面。常常只有工具的远端在荧光透视视场(FOV)内，因此，在FOV之外的沿着工具的长度的任何运动都未被感知到。另外，由于荧光透视成像中的透视缩短，远端的运动也可能常常未被感知到。因此，工具的近端的大运动常常不会引起远端的可感知运动，而会引起沿着工具的长度的非预期行为。这个问题的一个具体示例发生在腿部中进行外周血管导航时。导管和导丝被导航为从股骨入口开始，越过髂骨角，并且向下进入对侧股动脉。跟随工具的X射线图像看不到髂骨角交叉，在此处工具可能屈曲而回到主动脉中。
常规地，在给定工具过程的起点和工具过程的终点的情况下，可以通过用沿循微导管中心线的微导管模拟微导管并通过假定微导管中心线由直线和曲线的交替序列组成来标绘该过程。然而，没有考虑外力(例如，医生对导管的操纵)的干扰。
如本文所述的对柔性设备的预测性运动映射解决了如上所述的问题。
附图说明
当与附图一起阅读以下描述时，将最佳地理解示例性实施例。需要强调的是，各种特征不一定是按比例绘制的。实际上，为了讨论清楚，可以任意增大或减小尺寸。在任何适用和实用的地方，相同的附图标记指代相同的元件。
图1图示了根据代表性实施例的用于对柔性设备的预测性运动映射的系统。
图2图示了根据代表性实施例的用于对柔性设备的预测性运动映射的方法。
图3图示了根据另一代表性实施例的用于对柔性设备的预测性运动映射的另一方法。
图4A图示了根据代表性实施例的用于对柔性设备的预测性运动映射的混合过程。
图4B图示了根据代表性实施例的用于对柔性设备的预测性运动映射的另一混合过程。
图5图示了根据代表性实施例的用于对柔性设备的预测性运动映射的方法。
图6A图示了根据代表性实施例的用于对柔性设备的预测性运动映射的混合过程。
图6B图示了根据代表性实施例的用于对柔性设备的预测性运动映射的另一混合过程。
图6C图示了根据代表性实施例的用于对柔性设备的预测性运动映射的方法。
图7图示了根据另一代表性实施例的计算机系统，在该计算机系统上实施了用于对柔性设备的预测性运动映射的方法。
具体实施方式
在下面的详细描述中，出于解释而非限制的目的，阐述了公开具体细节的代表性实施例，以便提供对根据本教导的实施例的透彻理解。可以省去对已知的系统、设备、材料、操作方法和制造方法的描述，以避免使得对代表性实施例的描述不清楚。尽管如此，在本领域普通技术人员的能力范围内的系统、设备、材料和方法均在本教导的范围内，并且可以根据代表性实施例来使用。应当理解，本文所使用的术语仅出于描述特定实施例的目的，而并非旨在进行限制。所定义的术语表示在本教导的技术领域中通常理解和接受的定义术语的科学技术含义之外的含义。
应当理解，虽然在本文中可以使用术语第一、第二、第三等来描述各个元件或部件，但是这些元件或部件不应被这些术语所限制。这些术语仅用于区分一个元件或部件与另一元件或部件。因此，下面讨论的第一元件或部件也可以被称为第二元件或部件，而不会脱离本发明构思的教导。
本文所使用的术语仅出于描述特定实施例的目的，而并不旨在进行限制。如说明书和权利要求书中所使用的术语“一”、“一个”和“该”的单数形式旨在包括单数形式和复数形式，除非上下文另有明确指示。另外，当在本说明书中使用时，术语“包括”和/或“包含”和/或类似术语指定存在所陈述的特征、元件和/或部件，但并不排除存在或增加一个或多个其他特征、元件、部件和/或它们的组。如本文所使用的术语“和/或”包括列举的相关联的项目中的一个或多个项目的任何组合和所有组合。
除非另有说明，否则当说元件或部件“连接到”、“耦合到”或“邻近”另一元件或部件时，应当理解，该元件或部件能够直接连接或耦合到另一元件或部件，可以存在中间元件或部件。也就是说，这些术语和类似术语涵盖可以采用一个或多个中间元件或部件来连接两个元件或部件的情况。然而，当说元件或部件“直接连接”到另一元件或部件时，这仅涵盖两个元件或部件彼此连接而没有任何中介或中间元件或部件的情况。
本公开内容因此旨在通过其各个方面、实施例和/或特定特征或子部件中的一个或多个而带来如下具体指出的一个或多个优点。为了解释而非限制的目的，阐述了公开具体细节的示例性实施例，以便提供对根据本教导的实施例的透彻理解。然而，与本文中公开的具体细节背离的与本公开内容一致的其他实施例仍在权利要求的范围内。此外，可以省去对众所周知的装置和方法的描述，以免使得对示例性实施例的描述不清楚。这样的方法和装置在本公开内容的范围内。
如本文所述，能够根据介入医学设备的近端的特定运动来预测在介入医学设备的远端的预期运动范围。可以预测沿着在荧光透视FOV中可见的介入医学设备的长度的预期运动，并且当观察到的运动在预期运动的范围之外时，可以发出警报。另外，基于观察到的非预期运动，可以预测在荧光透视FOV之外的潜在非计划行为。该系统产生的警告可以防止对血管的额外损伤和其他不希望的结果。对柔性设备的预测性运动映射可以用于跟踪介入医学设备的运动并预测预测的粗略定位，以粗略定位介入医学设备的非计划行为，即使对于在介入医学流程期间使用的医学成像系统的FOV之外的介入医学设备的部分也是如此。
图1图示了根据代表性实施例的用于对柔性设备的预测性运动映射的系统。
在图1中示出了控制系统100以及介入医学设备101。介入医学设备101具有离控制系统100最近的近端P和离控制系统100最远的远端D。远端D可以对应于介入医学设备101的在介入医学流程中首先插入患者的解剖结构的部分。
控制系统100包括医学成像系统120、运动检测器130、工作站140、机器人160和人工智能控制器180。工作站140包括控制器150、接口153、监视器155和触摸面板156。控制器150包括存储指令的存储器151和运行指令的处理器152。接口153将监视器155接口连接到工作站140的主体。人工智能控制器180包括存储指令的存储器181和运行指令以实施本文所述的方法的一个或多个方面的处理器182。
介入医学设备101的特性可以影响介入医学设备101如何移动(在预期运动和非预期和/或非计划运动这两方面都会影响)。例如，柔软的导丝可以表现得不同于坚硬的导丝(在预期运动和非预期和/或非计划运动这两方面都会不同)。因此，介入医学设备101的特性可以用作补偿非预期运动的基础或多个基础之一。介入医学设备101的示例包括导丝、导管、微导管和护套。
医学成像系统120可以是介入X射线成像系统。介入X射线成像系统可以包括适于生成X射线的X射线管和被配置为采集诸如荧光透视图像之类的时间系列X射线图像的X射线探测器。这样的X射线成像系统的示例包括数字放射摄影-荧光透视系统(例如，飞利浦的ProxiDiagnost)、固定式C臂X射线系统(例如，飞利浦的Azurion，)以及移动式C臂X射线系统(例如，飞利浦的Veradius)。
医学成像系统120可以被提供有图像处理控制器，该图像处理控制器被配置为：接收在介入医学流程期间采集的荧光透视图像，并且输出介入设备的分割结果。图像处理控制器可以由/作为图1所示的控制器150来实施，或者可以由/作为直接与医学成像系统120集成在一起的另一控制器来实施。
对由医学成像系统120产生的图像的分割产生了对诸如解剖特征和介入医学设备101之类的结构的表面的表示。经分割的表示可以包括例如结构的表面上的三维(3D)坐标中的点集，以及通过连接三个点的相邻组而定义的三角形平面段，使得整个结构被不相交的三角形平面的网格所覆盖。可以通过分割来获得介入医学设备101的三维模型。分割也可以被表示为二元掩模、介入医学设备101在图像空间中的(x，y)坐标、二维样条或线框模型。分割可以通过阈值化处理、模板匹配、主动轮廓建模、基于神经网络的分割方法和其他分割方法来计算。可以针对由X射线成像系统生成的X射线影像或由超声成像系统生成的三维超声体积提供分割。
机器人160可以用于在操作者的控制下控制介入医学设备101的移动。当机器人160控制介入医学设备101时，可以根据机器人160的运动来检测介入医学设备101的近端处的运动。
人工智能控制器180可以包括多个控制器，并且可以实施如本文所述的第一人工智能和第二人工智能。由人工智能控制器180实施的人工智能可以通过在专用训练环境中的训练而产生。人工智能控制器180可以被提供为与图1中的控制系统100的其他部件完全分离。
人工智能控制器180可以是神经网络控制器，并且可以在介入医学流程期间的应用阶段使用。人工智能控制器180被配置为在介入医学设备101的近端接收运动信息。人工智能控制器180还被配置为接收来自医学成像系统120的荧光透视图像中的介入医学设备101的荧光透视图像和/或分割表示。人工智能控制器180还可以接收介入医学设备101的类型，例如从经由监视器155提供的下拉菜单或者从介入医学设备101的自动检测来接收介入医学设备101的类型。在将介入医学设备101插入所捕获的图像上的患者体内之前，可以根据手术室相机捕获的介入医学设备101的图像，使用对象检测和分类来自动检测介入医学设备。人工智能控制器180可以任选地基于从介入医学设备101的荧光透视图像和/或分割表示导出的约束来进行操作。也可以被人工智能控制器用作输入的约束包括介入医学设备101的长度、介入医学设备101的最大允许曲率，以及沿着在荧光透视FOV中可见的介入医学设备101的长度预测和/或观察到的运动。
由人工智能控制器180应用第一人工智能和第二人工智能的结果可以是基于在荧光透视FOV内的预测的运动与观察到的运动之间的不一致对在荧光透视FOV之外的非预期行为(例如，屈曲)可能发生在何处的粗略定位的预测。识别在荧光透视FOV内的设备运动的非预期行为有助于识别在荧光透视FOV之外发生的潜在非计划行为。由人工智能控制器180应用第一人工智能和第二人工智能的另一结果可以是当预测的运动与观察到的运动落在正常的一致范围之外时产生警告。当在介入医学设备101的远端处没有观察到预期的运动时，使用由人工智能控制器180实施的经训练的人工智能产生的警告可以有助于防止在介入医学设备101的近端处使用过度的力。这继而将有助于防止不利事件，例如，血管剥离或穿孔、假性动脉瘤、血管破裂，以及其他不希望的结果，例如，损伤部分的意外移位、导丝断裂等。
虽然未示出，但是图1中的控制系统100也可以包括反馈控制器，以在预测到在FOV之外的非预期行为时提醒医生。反馈控制器可以产生警告，例如，警报声、荧光显示器上的打印消息、对介入医学设备101的近端的触觉反馈或机器人控制引导。可以为机器人控制引导提供显示的方向，以修改介入医学设备101的近端处的运动。所显示的方向可以包括例如向前、向后或侧向移动机器人控制的建议，关于针对Corindus CorPath的触摸屏或操纵杆运动的建议，关于针对可操控护套、可操控引导导管或经食道超声心动描记(TEE)探头的旋钮旋转的建议。反馈控制器也可以在闭环系统中(例如通过向自主机器人发送命令以自动拉回)提供机器人控制引导。如果向前运动可能导致屈曲，反馈控制器也可以向协作控制机器人提供机器人控制引导，以抑制进一步的向前运动。
虽然控制系统100主要是在X射线成像系统的背景下描述的，但是控制系统100也可以包括或被结合到介入超声成像系统以及固定式和移动式介入X射线成像系统中。控制系统100可以用于各种基于荧光透视的介入医学流程，包括但不限于介入血管流程。
图2图示了根据代表性实施例的用于对柔性设备的预测性运动映射的方法。
在S210处，图2的方法从训练人工智能开始。经训练的人工智能可以包括第一人工智能和第二人工智能，使用不同的输入来训练它们以产生不同的输出。另外，来自第一人工智能的输出可以是针对第二人工智能的输入。此外，来自第一人工智能的第一预测或推断可以从第一人工智能输出并且输入到第二人工智能，并且第二人工智能可以基于使用来自第一人工智能的第一预测或推断作为输入来输出第二预测或推断。介入医学设备的非预期行为的粗略定位的真实情况信息可以用于训练人工智能，并且一旦部署了人工智能，就可以使用经训练的人工智能。第一人工智能和第二人工智能的特征在下面的段落中有更多的解释。在S210处对人工智能的训练可以完全在部署人工智能之前执行。在一个实施例中，自适应人工智能可以使用部署后的反馈，以经由强化学习或其他学习方法进行自我改进。
来自图1的人工智能控制器180可以实施对第一训练的人工智能和第二训练的人工智能的训练。例如，在针对多个介入医学设备的多个训练环节中，人工智能控制器180可以输入介入医学设备的远端的至少一个位置，检测介入医学设备的近端处的运动，并且检测由介入医学设备的近端处的运动引起的沿着介入医学设备朝向介入医学设备的远端的运动。在针对多个介入医学设备的多个训练环节中，人工智能控制器180可以额外地被配置为输入介入医学设备的类型、解剖结构或流程的类型，或者针对不同介入医学流程而变化的其他上下文信息。可以根据图像来获得(例如通过根据来自医学成像系统的医学图像来导出)训练中的介入医学设备的远端的位置。这多个训练环节还可以包括基于介入医学设备的远端的至少一个位置和检测到的在介入医学设备的近端处的运动来预测沿着介入医学设备朝向介入医学设备的远端的预测的运动。这多个训练环节还可以包括：检测沿着介入医学设备朝向介入医学设备的远端的实际的运动，并且基于预测的运动与实际的运动之间的差异来确定损失。第一训练的人工智能可以建立介入医学设备的近端处的运动与沿着介入医学设备朝向介入医学设备的远端的运动之间的关系，并且第一人工智能可以基于根据预测的运动与检测到的实际的运动之间的差异而确定的每个损失来进行更新。
在S210处的训练之后，可以提供人工智能以供使用。然后，图1中的人工智能控制器180可以实施第一人工智能。
对于介入医学流程，可以针对不同类型的介入医学设备101额外地训练第一人工智能。第一训练的人工智能可以任选地输入介入医学设备101的类型、介入医学流程的类型、解剖界标或患者的至少一个身体特性中的至少一项并且基于这些项目来行动。可以向临床医生提供下拉菜单以选择介入医学设备101的类型。可以额外地基于所选择的介入医学设备类型来预测沿着介入医学设备101朝向介入医学设备101的远端的预测的运动。类似地，对预测的运动的预测可以额外地基于介入医学流程中的患者的解剖结构、医学成像系统的位置或介入医学设备101的物理特性。替代地，可以通过在介入医学流程之前(例如在将介入医学设备101插入患者体内之前)执行对象检测和分类来自动选择经受第一人工智能的介入医学设备101的类型。检测和分类可以基于由手术室相机捕获的图像来实施。替代地，可以使用通过机器学习进行训练以对不同类型的介入医学设备进行检测和分类的模型来实施检测和分类。用于创建模型的机器学习的训练数据集可以包括包含多个不同介入医学设备的X射线图像的训练实例。训练数据可以仅包含多个不同介入医学设备的远端处的正常或预期的运动，使得人工智能将学习预测不同介入医学设备的远端处的正常运动，并且在推理期间，如果后续观察到的运动与预测的正常运动不相似，则能够生成并发出警告或警报。可以使用诸如FORS之类的形状感测技术来收集训练数据。FORS提供沿着设备的长度的3D形状信息，因此允许确认数据包含预期运动并且不包含诸如屈曲等非预期运动。
在介入医学流程期间的操作中，第一人工智能还可以基于额外的上下文信息(例如，目标区域或解剖结构、周围解剖结构的分割、C形臂的姿态以及目标区域)来实施，以允许第一人工智能学习何时预期透视缩短。另外，第一人工智能可以接收对输出的约束，例如，介入医学设备101在荧光透视图像中的长度，或者介入医学设备101的最大允许曲率。
第一人工智能可以是神经网络，例如，卷积神经网络、编码器-解码器网络、生成性对抗网络、胶囊网络、回归网络、强化学习代理，并且可以使用介入医学设备101的近端处的运动信息和初始时间t的荧光透视图像来预测沿着在荧光透视视场(FOV)中可见的介入医学设备101的长度的运动或运动场。在时间t和时间t+n的荧光透视图像之间观察到的运动或运动场可以与由第一人工智能预测的运动进行比较，以学习可以在荧光透视FOV中观察到的运动的预期范围。该时间t+n可以是在近端处的特定运动完成之后，或者是另一任意时间(例如，当近端处的特定运动正在发生时)。通过计算损失函数来比较预测的运动与观察到的(真实情况)运动，该损失函数例如是均方误差，或平均绝对误差，或Huber损失，或计算两个运动向量(R2，R3)之间的差异的任何损失(例如，测地线损失)。运动能够由向量参数化和/或非向量参数化和/或运动场来表示。参数化可以是代表旋转和/或平移的欧拉角、四元数、矩阵、指数图和/或角轴的形式(例如包括平移和旋转的方向和幅值)
在S220处，图2的方法包括识别介入医学设备的近端处的运动。近端中的运动能够包括向前平移、侧向平移以及沿着轴线旋转。近端中的运动是由用户或机器人引起的运动，并且可以包括用户或机器人引起的控制介入医学设备101的任何运动。介入设备的近端处的运动信息可以从感测设备获得。能够捕获和提供这样的运动信息的感测设备的示例包括设备跟踪器、惯性测量单元(IMU)传感器、充当光学跟踪系统的单目或立体相机系统、线性编码器、扭矩编码器或光学编码器。设备跟踪器的示例包括光学跟踪感测系统、光学跟踪系统、电磁跟踪系统或光学形状感测机构。IMU传感器的示例包括测量角速度、力和可能的磁场的传感器，它们具有诸如加速度计、陀螺仪和可能的磁力计之类的部件。线性编码器的示例包括光学线性编码器、磁性线性编码器和电容电感线性编码器。
在S225处，图2的方法包括获得介入医学设备的医学影像。在S225处获得的医学影像可以由医学成像系统120来获得。在S225处获得的医学影像可以用于根据介入医学设备101的远端的图像来获得介入医学设备101的远端的至少一个位置。医学影像可以是医学成像系统的视场内的介入医学设备的部分的荧光透视图像。在S225处获得的医学影像是介入医学设备的朝向远端的部分。基于图2的实施例包括在S230之前获得介入医学设备的远端的图像，例如当介入医学设备的分割表示被用作针对在S230处应用的第一人工智能的输入时。在图4B(稍后讨论)中，远端的(一幅或多幅)图像被表示为荧光透视帧ft。医学影像可以包括包含介入医学设备101的远端的单一或时间系列荧光透视图像。可以由图像处理控制器使用诸如阈值化处理、模板匹配、主动轮廓建模、多尺度脊增强滤波器或基于深度学习的分割算法之类的方法来自动分割医学影像。
在S230处，图2的方法包括将经训练的第一人工智能应用于识别出的介入医学设备的近端处的运动以及在该运动被施加于介入医学设备的近端时介入医学设备的远端的医学图像。经训练的第一人工智能是被训练为发现在介入医学设备的近端处施加的运动与在介入医学设备的远端处接收到的、在介入医学影像中观察到的运动之间的相关性的人工智能。
在S240处，第一人工智能基于在S220处在介入医学设备101的近端处识别出的运动和在S225处朝向远端的介入医学设备的图像来预测沿着介入医学设备朝向远端的运动。可以通过接收在S225处的没有非预期/非计划行为(例如，屈曲)的介入医学设备的分割表示的荧光透视图像(其最初覆盖介入医学设备101的图像)来实施第一人工智能。由于第一人工智能在介入医学流程之前已经被训练，因此第一人工智能可以使用来自分割表示的介入医学设备的初始信息作为确定正常或预期的近端到远端运动映射的基础。
在S250处，图2的方法包括从医学成像系统获得介入医学设备的图像。在S250处获得的介入医学设备的图像可以是介入医学设备的远端的图像和/或朝向介入医学设备的远端的图像。
在S255处，图2的方法包括在来自医学成像系统的图像中分割介入医学设备。该分割产生了介入医学设备的分割表示。S255可以是任选的，并且也可以对在S225处获得的并且在S230处输入到经训练的第一人工智能中的朝向远端的介入医学设备的图像来执行。
在S257处，根据来自医学成像系统的图像来检测实际的运动。
在S260处，将检测到的介入医学设备的实际的运动与介入医学设备的预测的运动进行比较。在图2中的S260处比较的介入医学设备的预测的运动是在S240处预测的运动。
在S270处，确定实际的运动是否偏离预测的运动。这种偏离可以根据二元分类过程来识别，或者可以基于一个或多个阈值、评分算法或确定介入医学设备的实际的运动是否在距预测的运动的预期范围内的其他过程。
如果实际的运动没有偏离预测的运动(S270＝否)，则不生成警报。如果实际的运动偏离了预测的运动(S270＝是)，则在S280处生成警报。
另外，在S271处，图2的方法包括预测在来自介入医学设备的图像的视场之外的沿着介入医学设备的运动的粗略定位。另外，第二人工智能可以预测预测的粗略定位的预测的置信度。在S271处预测的粗略定位可以由本文描述的第二人工智能来预测。第二人工智能可以由人工智能控制器180来实施，并且实施定位神经网络。第二人工智能被配置为接收所预测的设备运动和从荧光透视图像中观察到的设备运动。可以使用诸如FORS之类的形状感测技术来获得用于在S210处训练第二人工智能以预测在医学成像系统的FOV之外发生的运动的粗略定位的数据。
第二人工智能可以由经训练的神经网络来实施，例如，卷积神经网络、编码器-解码器网络、生成性对抗网络、胶囊网络、回归网络、强化学习代理。第二人工智能可以使用远端处的预测的运动和观察到的运动作为输入以预测是否在荧光透视FOV之外出现非预期/非计划行为(例如，屈曲)以及在哪里出现在荧光透视FOV之外的非预期/非计划行为(例如，屈曲)，并且将其预测与在S210处的训练中获得的例如来自FORS的真实情况定位的真实情况信息进行比较。通过计算诸如均方误差或平均绝对误差或Huber损失等损失函数来比较预测的定位与来自真实情况信息的真实情况定位。如果预测到非预期/非计划行为，则第二人工智能可以产生警告。可以基于以本文描述的方式预测的非计划行为的存在或不存在来产生警告。
在S281处，针对沿着介入医学设备的在图像的FOV之外的预测的粗略定位生成显示。
图3图示了根据另一代表性实施例的用于对柔性设备的预测性运动映射的另一方法。
在S310处，图3的方法包括输入检测到的在介入医学设备的近端处的运动。
在S320处，检测介入医学设备的远端的至少一个位置。
在S330处，训练第一人工智能以预测沿着介入医学设备朝向远端的运动。
在S360处，在介入医学设备的近端处施加运动之前，基于近端处的运动和介入医学设备的远端的医学图像来预测沿着介入医学设备朝向远端的运动。
在S370处，检测沿着介入医学设备朝向远端的实际的运动。根据介入医学设备在医学成像系统的视场内的部分的医学图像或分割表示来检测实际的运动。
在S380处，图3的方法包括基于朝向介入医学设备的远端的预测的运动和实际的运动之间的差异来确定损失函数。
在S385处，基于所确定的损失函数来更新第一神经网络，并且该过程返回到S330。
在图3的实施例中，当训练第一神经网络时，可以在S385处更新第一神经网络。在实施例中，如果在操作期间生成的数据表示正常或预期的近端到远端运动映射并且能够可靠地用作真实情况，则可以在第一神经网络运行之后在S385处使用该数据来更新第一神经网络。
图4A图示了根据代表性实施例的用于对柔性设备的预测性运动映射的混合过程。
在图4A中，基于包括介入医学设备的近端和远端处的运动的输入，使用第一损失函数(损失函数#1)和第二损失函数(损失函数#2)来训练第一人工智能410A和第二人工智能415A。如下面所解释的，通过针对图4B的对应特征的示例来解释在训练期间针对第一人工智能410A和第二人工智能415A的输入。
图4B图示了根据代表性实施例的用于对柔性设备的预测性运动映射的另一混合过程。
在图4B中示意性地表示了近端到远端的预测性运动映射过程和系统。介入医学设备401(例如，导丝)和医学成像系统420(例如，荧光透视X射线医学成像系统)用于例如在受控环境中训练人工智能。介入医学设备401可以包括在医学成像中可见的第一区域和在医学成像中不可见的第二区域。当医学成像系统420的FOV变化时，第一区域和第二区域可以在操作中变化。在操作期间，第一区域和第二区域可以随着医学成像的视图的改变而改变。可以训练第一人工智能以通过以下操作来建立介入医学设备401的近端处的运动与介入医学设备401的远端的所得到的运动之间的关系：使用介入医学设备101的近端处的运动和在运动被施加到介入医学设备101的近端时介入医学设备101的远端的医学图像，并且预测在远端处的所得到的运动，然后将所得到的运动与观察到的远端处的运动进行比较。可以通过以下操作来训练第二人工智能：使用观察到的运动和预测的远端处的运动来预测介入医学设备401的非计划行为的粗略定位，并且将所预测的非计划行为的粗略定位与非计划行为的真实情况粗略定位进行比较。对第二神经网络415B的训练可以使用介入医学设备的远端的粗略定位的真实情况信息，使得一旦部署了第二神经网络415B，就可以使用来自训练的学习。
在图4B中，荧光透视帧ft420中的介入医学设备401的分割连同在介入医学设备401的近端处施加的运动一起作为输入被提供给第一神经网络410B。当然，图4B中的介入医学设备401的分割用于第一区域，该第一区域包括介入医学设备401在医学成像系统的视场(FOV)中的部分。介入医学设备401的另一部分不在医学成像系统的视场(FOV)内。第一神经网络410B输出沿着介入医学设备401的分割表示的长度的逐点运动估计。将逐点运动估计与根据介入医学设备401在稍后的荧光透视帧ft+n处的分割表示而计算的观察结果进行比较。换句话说，图4B中的第一神经网络410B学习了介入医学设备401的近端处的运动如何引起沿着介入医学设备401的远端的点处的运动的相关性。
同样在图4B中，所预测的沿着介入医学设备的分割表示的长度的逐点运动估计和从分割表示观察到的实际的运动被输入到第二神经网络415B。当然，针对第二神经网络415B的输入用于第一区域中的介入医学设备401的估计的运动和实际的运动，该第一区域包括介入医学设备401在医学成像系统的视场(FOV)中的部分。第二神经网络415B的输出是对第二区域中的非计划运动的粗略定位的预测，该第二区域包括介入医学设备401在医学成像系统的视场之外的部分。将所估计的第二区域中的粗略定位与从诸如形状感测技术的机制获得的第二区域中的真实情况定位进行比较。例如，可以经由形状感测技术(例如，来自飞利浦公司的Fiber Optic RealShape(FORS))来获得真实情况定位。
如上所述，在图4B中，第一神经网络410B被训练为基于作为输入的介入医学设备401的近端处的运动和介入医学设备401的分割表示来输出沿着介入医学设备401的长度朝向远端的逐点运动估计。对第一神经网络410B的训练基于第一损失函数(损失函数1)的反馈，该第一损失函数反映了所预测的运动与观察到的介入医学设备401的远端处的运动之间的差异。第二神经网络415B被训练为基于逐点运动估计和在医学成像系统的视场内的实际观察到的运动来输出介入医学设备401的非计划行为的粗略定位。对第二神经网络415B的训练基于第二损失函数(损失函数2)的反馈，该第二损失函数反映了粗略定位的输出与非计划行为的真实情况定位之间的差异。在图4B的训练期间，可以使用来自例如光学形状感测的实际定位，经由第二损失函数来确认所预测的非计划行为的粗略定位。一旦第二神经网络被训练到可接受的准确度，即使不使用实际定位，也可以在操作期间应用在训练期间对预测的定位的使用。结果，能够预测并粗略定位介入医学设备401的非计划行为。
图5图示了根据代表性实施例的用于对柔性设备的预测性运动映射的方法。
在图5中描述了对第一人工智能和第二人工智能的训练。在S510簇，将观察到的介入医学设备的近端处的运动输入到第一神经网络作为第一输入。
在S520处，将远端处的介入医学设备的分割输入到第一神经网络作为第二输入。
在S525处，将第一神经网络应用于来自S510和S520的输入。
在S530处，从第一神经网络输出预测的介入医学设备的远端处的运动。
在S540处，将观察到的介入医学设备的远端处的运动与预测的介入医学设备的远端处的运动进行比较以产生第一损失函数。
在S545处，更新第一神经网络。训练第一神经网络的过程通过返回S525而继续进行，直到过程结束为止。
在S550处，将来自第一神经网络的输出的预测的介入医学设备的远端处的运动输入到第二神经网络作为第一输入。
在S560处，将观察到的介入医学设备的远端处的运动输入到第二神经网络作为第二输入。
在S565处，应用第二神经网络。
在S570处，第二神经网络输出在成像设备的视场之外的非计划行为的粗略定位。
在S580处，将介入医学设备的非计划行为的真实情况定位与所预测的非计划行为的粗略定位进行比较以产生第二损失函数。
在S585处，反馈第二损失函数以更新第二神经网络。在S585之后，训练第二神经网络的过程返回到S565。
图6A图示了根据代表性实施例的用于对柔性设备的预测性运动映射的混合过程。
在图6A中，如本文所述的那样在操作中使用第一人工智能610A和第二人工智能615A来产生输出。通过如下文所解释的图6B的对应特征的示例来解释在操作期间针对第一人工智能610A和第二人工智能615A的输入。
图6B图示了根据代表性实施例的用于对柔性设备的预测性运动映射的另一混合过程。
在图6B中示意性地表示了另一种近端到远端的预测性运动映射过程和系统。可以在介入医学流程期间使用图6B中的混合过程和系统。如在图6B的混合过程中，对于任何荧光透视帧ft，将在医学成像的视场内的第一区域中的介入医学设备601的分割连同在介入医学设备601的近端处施加的运动一起提供为针对第一神经网络610B的输入。第一神经网络610B输出沿着介入医学设备601的分割表示的长度的逐点运动估计。将来自第一神经网络610B的估计与根据在医学成像系统的视场内的第一区域中的介入医学设备601在稍后的荧光透视帧ft+n处的分割表示而计算的观察结果进行比较。当这两个运动(估计的运动和观察到的运动)不匹配时，这两个运动成为针对第二神经网络616B的输入，第二神经网络616B预测在荧光透视FOV之外的第二区域中的非计划运动可能在哪里的粗略定位。
图6C图示了根据代表性实施例的用于对柔性设备的预测性运动映射的方法。
在图6C中，在S610处，将观察到的介入医学设备的近端处的运动输入到第一神经网络作为第一输入。
在S620处，将介入医学设备的远端处的介入医学设备的分割输入到第一神经网络作为第二输入。分割表示可以被提供为荧光透视图像中的介入医学设备的分割表示的二元掩模。
在S625处，将第一神经网络应用于S610处的第一输入和S620处的第二输入。
在S630处，从第一神经网络输出预测的介入医学设备的远端处的运动作为预测的运动。第一神经网络可以是经训练的编码器-解码器网络。所预测的运动可以是沿着介入医学设备的长度朝向远端的运动，并且可以由经训练的编码器-解码器网络来输出。
在S650处，将从第一神经网络输出的预测的介入医学设备的远端处运动输入到第二神经网络作为第一输入。
在S660处，将观察到的介入医学设备的远端处的运动输入到第二神经网络作为第二输入。第二神经网络可以是经训练的卷积神经网络。
在S665处，将第二神经网络应用于S650处的预测的运动和S660处的观察到的运动。
在S670处，第二神经网络输出在医学成像系统的FOV之外的非计划行为的粗略定位。第二神经网络可以基于预测的运动与观察到的在医学成像系统的FOV内的介入医学设备的远端处的运动之间的不一致来定位在荧光透视FOV之外的介入医学设备101中的非预期/非计划行为。如上所述，可以使用该预测来生成警报。
如在以上实施例中所述，一种或多种深度学习算法被训练为学习在介入医学设备的近端处施加的运动与观察到的介入医学设备的远端处的运动之间的关系或映射。所捕获的输入运动可以包括手动运动或机械运动，例如，机器人运动或机器人辅助运动，并且可以是旋转和/或平移。在替代实施例中，(一种或多种)深度学习算法还可以学习多个点处的速度场的近端到远端映射、加速度、惯性、空间配置、切向(角)运动和线速度或加速度。(一种或多种)深度学习算法进行的学习可以考虑介入医学设备的特定参数。在流程期间，在给定在近端处施加到介入医学设备的运动和在运动被施加到介入医学设备的近端时介入医学设备的远端的医学图像的情况下，控制系统100估计在远端处的介入医学设备的运动。控制系统100还可以学习将预测的设备运动与观察到的远端处的设备运动的差异和不同的未观察到的在荧光透视FOV之外出现的设备行为进行关联。控制系统100然后可以向医生警告在医学成像系统的FOV之外的介入医学设备中的可能的非计划行为，因此防止了可能的血管损伤或其他不期望的结果。
在一个实施例中，与上面的教导一致，深度学习模型可以被训练为根据介入医学设备101的分割表示的二维坐标或者根据对在荧光透视视图中的介入医学设备的分割表示的样条拟合的二维坐标来预测介入医学设备101的远端处的运动。
在另一实施例中，可以使用递归神经网络(RNN)架构(例如，长短期记忆(LSTM)网络、时间卷积网络(TCN)或变换器)来观察多个荧光透视帧(t_0至t_n)中的介入医学设备101的分割表示，以便更好地告知帧t_n中的运动预测
在另一实施例中，深度学习模型可以被训练为根据仅在帧t_n中或者在帧t_0至帧t_n中的介入医学设备的分割来预测介入医学设备在帧t_(n+1)中的分割表示的(一个或多个)位置。该预测可以直接与在荧光透视帧t_(n+1)中观察到的设备进行比较。
在另一实施例中，使用已知的介入医学设备101的三维模型或一组参数、规则或特性来告知对介入医学设备101的运动或速度的预测。
在另一实施例中，深度学习算法可以被训练为学习设备特异性参数的近端到远端映射。设备特异性参数的示例包括多个点上的速度场、加速度、惯性、空间配置、切向/角速度和线速度或加速度。在该实施例中，预测的参数可以与测量的参数进行比较。
在另一实施例中，机器学习算法可以使用所预测的运动信息和观察到的运动信息来将观察结果分类为正常或异常。机器学习算法的示例包括单类支持向量机(SVM)分类器或基于深度学习的分类器。在该实施例中，当检测到异常时，可以产生警告。
在另一实施例中，深度学习网络可以被训练为根据介入医学设备的远端的超声图像来预测介入医学设备的远端处的运动。可以从超声图像、超声中的介入医学设备的分割表示的二元掩模、超声中的介入医学设备101的分割表示的二维(x，y)坐标，或者超声中的介入医学设备101的分割表示的样条拟合的二维(x，y)坐标来提供针对深度学习网络的输入。
在又一实施例中，深度学习网络可以被训练为额外地基于在训练期间与真实情况一致或确定置信度或不确定性的任何其他方法来学习预测的介入医学设备的远端处的运动的置信度。控制系统100可以学习介入医学设备101的近端处的、产生远端处的可信估计的输入运动的类型，或者与可信运动预测相关联的荧光透视视图的类型。例如，控制系统100可以学习到显示透视缩短的视图可能不会产生非常可信的远端处的运动估计。可以额外地将由第一深度学习网络预测的远端处的预测的运动的置信度输入到第二网络中，以预测在医学成像系统的视场之外的沿着介入医学设备101的非计划行为的粗略定位。类似地，第二深度学习网络可以被训练为额外地预测在医学成像系统的视场之外的沿着介入医学设备101的非计划行为的预测的粗略定位的置信度。
在又一实施例中，血管内机器人系统测量正施加在导管的尖端处的力，以在控制台上显示力的测量结果或者将力的测量结果并入控制回路。该特征可以警告临床医生持续用力存在危险，因此降低了穿孔或对血管壁的其他损伤的可能性。在该实施例中，对异常或非计划设备行为(例如，屈曲)的检测被结合到机器人系统的安全机制或控制回路中。例如，如果预测到在末端执行器(远侧部分)处发生屈曲，则血管壁穿孔的风险很高，并且机器人致动器将减速或触发紧急停止。可以在控制台上告知用户纠正措施并且要求用户执行纠正措施。替代地，在半自动或全自动机器人的情况下，控制系统100可以自动撤回末端执行器，将其转向不同的取向，并且再次接近插管。如果屈曲发生在导丝的医学部分中，则控制系统100将使用预编程的规则或复杂的预测性模型在后台调整控制器150的设置(例如，PID控制器参数，包括增益和电动机速度)。只有当控制器调整失败或无效时，才会告知用户，从而避免了操作者超负荷、认知负担和对机器人系统的信任降低。机器人系统还可以学习操作者的偏好，并且仅在屈曲发生在某些区域中、以某种强度或频率或某些持续时间发生时才告知用户。
在又一实施例中，在介入医学设备101的近端处，引入了触摸屏或操纵杆操纵形式的复杂输入，以便控制Corindus CorPath；或者引入了旋钮旋转形式的复杂输入，以便控制可操控护套、可操控导向导管、TEE探头。如果控制系统100检测到介入医学设备中的非计划行为，则控制系统100可以建议用于消除输入设备的环境中的非计划行为的机制。输入设备的示例包括触摸屏、操纵杆和旋钮。
图7图示了根据另一代表性实施例的计算机系统，在该计算机系统上实施了用于对柔性设备的预测性运动映射的方法。
图7的计算机系统700示出了用于通信设备或计算机设备的全套部件。然而，如本文所述的“控制器”可以用少于图7的这套部件来实施。例如通过存储器与处理器的组合来实施。计算机系统700可以包括在本文中的用于对柔性设备的预测性运动映射的系统中的一个或多个部件装置的一些或所有元件，但是任何这样的装置可能不一定包括针对计算机系统700描述的元件中的一个或多个元件并且可以包括未描述的其他元件。
参考图7，计算机系统700包括一组软件指令，这组软件指令能够被运行以使计算机系统700执行本文公开的方法或基于计算机的功能中的任一项。计算机系统700可以作为独立设备来操作，也可以例如使用网络701被连接到其他计算机系统或外围设备。在实施例中，计算机系统700基于经由模数转换器接收的数字信号来执行逻辑处理。
在联网部署中，计算机系统700以服务器的身份操作，或者在服务器-客户端用户网络环境中作为客户端用户计算机来操作，或者在对等(或分布式)网络环境中作为对等计算机系统来操作。计算机系统700还能够被实施为各种设备或者被并入各种设备，例如，图1中的控制器150、固定计算机、移动计算机、个人计算机(PC)、膝上型计算机、平板计算机或能够(顺序地或以其他方式)运行一组软件指令的其他机器，这组软件指令指定要由该机器执行的动作。计算机系统700能够被结合为设备或者被结合在设备中，该设备继而又被包括在包括额外设备的集成系统中。在实施例中，计算机系统700能够使用提供语音、视频或数据通信的电子设备来实施。另外，虽然计算机系统700被图示为单个系统，但是术语“系统”也应被认为包括单独地或联合地运行一组或多组软件指令以执行一种或多种计算机功能的系统或子系统的任何集合。
如图7所示，计算机系统700包括处理器710。处理器710可以被认为是图1中的控制器150的处理器152，并且运行指令以实施本文描述的方法和过程的一些或所有方面。处理器710是有形的并且是非瞬态的。如本文所使用的术语“非瞬态”不应被解读为永恒的状态特性，而应被解读为将持续一段时间的状态的特性。术语“非瞬态”特别否认短暂的特性，例如仅在任何时间任何地点瞬时存在的载波或信号或其他形式的特性。处理器710是制造品和/或机器部件。处理器710被配置为运行软件指令以执行如本文中的各个实施例中所描述的功能。处理器710可以是通用处理器，也可以是专用集成电路(ASIC)的部分。处理器710还可以是微处理器、微型计算机、处理器芯片、控制器、微控制器、数字信号处理器(DSP)、状态机或可编程逻辑设备。处理器710还可以是逻辑电路(包括诸如现场可编程门阵列(FPGA)之类的可编程门阵列(PGA))或包括离散门和/或晶体管逻辑单元的另一类型的电路。处理器710可以是中央处理单元(CPU)、图形处理单元(GPU)、张量处理单元(TPU)或某种组合。另外，本文描述的任何处理器可以包括多个处理器、并行处理器或这两者。多个处理器可以被包括在单个设备或多个设备中或者被耦合到单个设备或多个设备。
如本文所使用的术语“处理器”涵盖能够运行程序或机器可执行指令的电子部件。对包括“处理器”的计算设备的引用应被解读为包括一个以上的处理器或处理核，如在多核处理器中的情形。处理器也可以指单个计算机系统内或分布在多个计算机系统中的处理器的集合。术语计算设备也应被解读为包括计算设备的集合或网络，每个计算设备包括一个或多个处理器。程序具有由一个或多个处理器执行的软件指令，这一个或多个处理器可以在同一计算设备内，也可以分布在多个计算设备上。
计算机系统700还包括主存储器720和静态存储器730，其中，计算机系统700中的存储器经由总线708彼此通信并与处理器710通信。主存储器720和静态存储器730中的一者或两者可以被认为是图1中的控制器150的存储器151的代表性示例，并且存储用于实施本文描述的方法和过程的一些或所有方面的指令。本文描述的存储器是用于存储数据和可执行软件指令的有形存储介质，并且在将软件指令存储在其中的时间期间是非瞬态的。如本文所使用的术语“非瞬态”不应被解读为永恒的状态特性，而应被解读为将持续一段时间的状态的特性。术语“非瞬态”特别否认短暂的特性，例如仅在任何时间任何地点瞬时存在的载波或信号或其他形式的特性。主存储器720和静态存储器730是制造品和/或机器部件。主存储器720和静态存储器730是计算机可读介质，计算机(例如，处理器710)能够从该计算机可读介质读取数据和可执行软件指令。主存储器720和静态存储器730中的每项都可以被实施为以下各项中的一项或多项：随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘、磁带、压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、软盘、蓝光光盘或本领域已知的任何其他形式的存储介质。存储器可以是易失性的或非易失性的，安全的和/或加密的，不安全的和/或未加密的。
“存储器”是计算机可读存储介质的示例。计算机存储器是处理器能直接访问的任何存储器。计算机存储器的示例包括但不限于RAM存储器、寄存器和寄存器文件。对“计算机存储器”或“存储器”的引用应被解读为可能是多个存储器。存储器例如可以是同一计算机系统内的多个存储器。存储器也可以是分布在多个计算机系统或计算设备之间的多个存储器。
如图所示，计算机系统700例如还包括视频显示单元750(例如，液晶显示器(LCD)、有机发光二极管(OLED)、平板显示器、固态显示器或阴极射线管(CRT))。另外，计算机系统700包括输入设备760(例如，键盘/虚拟键盘或触敏输入屏或具有语音识别的语音输入部)和光标控制设备770(例如，鼠标或触敏输入屏或垫)。计算机系统700还任选地包括磁盘驱动器单元780、信号生成设备790(例如，扬声器或遥控器)和网络接口设备740。
在实施例中，如图7所示，磁盘驱动器单元780包括计算机可读介质782，在计算机可读介质782中嵌入了一组或多组软件指令784(软件)。从计算机可读介质782读取要由处理器710运行的这组软件指令784。另外，软件指令784在由处理器710运行时执行本文描述的方法和过程的一个或多个步骤。在实施例中，软件指令784全部或部分地驻留在主存储器720、静态存储器730内，并且/或者在由计算机系统700运行期间全部或部分地驻留在处理器710内。另外，计算机可读介质782可以包括软件指令784或者响应于传播的信号而接收并运行软件指令784，使得被连接到网络701的设备在网络701上传送语音、视频或数据。可以经由网络接口设备740在网络701上发送或接收软件指令784。
在实施例中，构造专用硬件实施方式(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑阵列和其他硬件部件)来实施本文描述的方法中的一种或多种方法。本文描述的一个或多个实施例可以使用两个或更多个特定的互连硬件模块或设备来实施功能，这两个或更多个特定的互连硬件模块或设备具有能够在这些模块之间并通过这些模块进行通信的相关的控制和数据信号。因此，本公开内容涵盖软件、固件和硬件实施方式。本申请中的任何内容均不应被解读为是(能)仅利用软件而不是利用诸如有形非瞬态处理器和/或存储器之类的硬件来实施的。
根据本公开内容的各种实施例，可以使用运行软件程序的硬件计算机系统来实施本文描述的方法。另外，在示例性非限制性实施例中，实施方式能够包括分布式处理、部件/对象分布式处理以及并行处理。虚拟计算机系统处理可以实施本文描述的方法或功能中的一项或多项，并且可以使用本文描述的处理器来支持虚拟处理环境。
因此，对柔性设备的预测性运动映射提供了关于介入医学设备的实际定位的引导，例如当介入医学设备在实况二维荧光透视成像的引导下用于介入医学流程时。可能导致非计划运动的介入医学设备的特性能够用作补偿非计划运动的基础。类似地，可能导致非计划运动的患者的解剖结构能够用作补偿非计划运动的基础。
本发明描述了一种系统，该系统在给定近端处的特定运动或动作以及介入医学设备的远端的当前位置或配置的情况下学习能够预期在远端处的运动或行为的范围。然后，该系统能够预测沿着在荧光透视中可见的导丝的长度的预期运动，并且在观察到的运动超出预期运动范围时发出警报。另外，该系统能够观察荧光透视视场(FOV)中的非计划运动的类型，并且预测在荧光透视FOV之外的非预期或非计划行为发生在哪里(例如，靠近FOV还是远离FOV)。
尽管如此，对柔性设备的预测性运动映射并不限于本文描述的具体细节的应用，而是可应用于另外的实施例，在另外的实施例中，针对第一人工智能和第二人工智能的一个或多个输入不同于针对本文中的实施例描述的具体细节。
虽然已经参考若干示例性实施例描述了对柔性设备的预测性运动映射，但是应当理解，已经使用的词语是描述性和说明性的词语，而不是限制性的词语。可以在所附权利要求的范围内做出改变(如当前陈述的权利要求和修改的权利要求)，而不会脱离在这个方面对柔性设备的预测性运动映射的范围和精神。虽然已经参考特定的手段、材料和实施例描述了对柔性设备的预测性运动映射，但是对柔性设备的预测性运动映射并不旨在限于所公开的细节；而是，对柔性设备的预测性运动映射扩展到所有功能等同的结构、方法和用途(例如，在所附权利要求的范围内的那些结构、方法和用途)。
本文描述的实施例的说明旨在提供对各种实施例的结构的总体理解。这些说明并不旨在充当对本文描述的公开内容的所有元件和特征的完整描述。在回顾了本公开内容之后，许多其他实施例对于本领域技术人员而言会是显而易见的。可以利用其他实施例并从本公开内容中导出其他实施例，使得可以在不脱离本公开内容的范围的情况下做出结构和逻辑上的替换和改变。另外，这些图示仅是代表性的，并且可能并没有按比例绘制。图示中的某些比例可能被放大，而其他比例可能被最小化。因此，本公开内容和附图应被认为是说明性而非限制性的。
在本文中，仅出于方便的目的，可以用术语“发明”来单独和/或共同指代本公开内容中的一个或多个实施例，而无意将本申请的范围限制为任何特定的发明或发明构思。此外，虽然本文已经说明和描述了特定实施例，但是应当理解，针对所示的特定实施例，被设计为实施相同或相似目的的任何后续布置可以被代替。本公开内容旨在覆盖各种实施例的任何和所有后续的调整或变化。在阅读说明书之后，以上实施例的组合以及在本文中未具体描述的其他实施例对于本领域技术人员来说将是显而易见的。
本公开内容的摘要被提供为符合37C.F.R.§1.72(b)，并且在提交时应被理解为不会将其用于解读或限制权利要求的范围或含义。另外，在前面的具体实施方式中，为了精简本公开内容的目的，可以将各种特征分组在一起或者在单个实施例中描述各种特征。本公开内容不应被解读为反映以下意图：所要求保护的实施例需要比每个权利要求中明确记载的特征更多的特征。相反，如权利要求所反映的，发明主题可以指向少于所公开的实施例中的任一个的所有特征。因此，权利要求被并入具体实施方式中，每个权利要求书独立定义单独要求保护的主题。
所公开的实施例的前述描述被提供为使得本领域的任何技术人员都能够实践本公开内容中描述的构思。正因如此，以上公开的主题应被认为是说明性的，而不是限制性的，并且权利要求旨在覆盖落入本公开内容的真实精神和范围内的所有这样的修改、增强和其他实施例。因此，在法律允许的最大范围内，本公开内容的范围将由权利要求及其等同物的最广泛的允许解读内容来确定，并且不应由前述具体实施方式来限制。

Claims (15)

1.一种用于介入医学设备的控制器(150)，包括：
存储器(151)，其存储指令，以及
处理器(152)，其运行所述指令，其中，所述指令在由所述处理器(152)运行时使所述控制器(150)执行以下操作：
在介入医学流程期间获得介入医学设备(101)的远端的至少一个位置；
在所述介入医学流程期间识别所述介入医学设备(101)的近端处的运动；
将第一训练的人工智能应用于所述介入医学设备(101)的所述近端处的所述运动和所述介入医学设备(101)的所述远端的所述至少一个位置；
基于将所述第一训练的人工智能应用于所述介入医学设备(101)的所述近端处的所述运动和所述介入医学设备(101)的所述远端的所述至少一个位置来预测在所述介入医学流程期间沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的预测的运动；
在识别出所述介入医学设备(101)的所述近端处的所述运动之后从医学成像系统(120)获得所述介入医学设备(101)的所述远端的图像；
根据所述介入医学设备(101)的所述图像，将沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的实际的运动与沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的预测的运动进行比较，并且
确定所述实际的运动何时偏离所述预测的运动。
2.根据权利要求1所述的控制器(150)，其中，
根据来自所述医学成像系统(120)的、所述介入医学设备(101)的所述远端的图像来获得所述介入医学设备(101)的所述远端的所述至少一个位置；并且
针对沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的多个位置，预测沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的所述预测的运动。
3.根据权利要求1所述的控制器(150)，
其中，所述第一训练的人工智能被配置为输入所述介入医学设备(101)的类型、所述介入医学流程的类型、解剖界标或患者的至少一个身体特性中的至少一项，并且
基于对所述第一训练的人工智能的所述输入来预测沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的所述预测的运动。
4.根据权利要求1所述的控制器(150)，其中，所述指令在由所述处理器(152)运行时还使所述控制器(150)执行以下操作：
当所述实际的运动偏离所述预测的运动时生成警报。
5.根据权利要求1所述的控制器(150)，其中，所述指令在由所述处理器(152)运行时还使所述控制器(150)执行以下操作：
基于所述实际的运动和所述预测的运动并且通过应用第二训练的人工智能来预测在所述医学成像系统(120)的视场之外的沿着所述介入医学设备(101)的非计划行为的预测的粗略定位。
6.一种用于控制介入医学设备的系统，包括：
运动检测器(130)，其被配置为检测介入医学设备(101)的近端处的运动；以及
控制器(150)，其包括存储指令的存储器(151)和运行所述指令的处理器(152)，其中，所述指令在由所述处理器(152)运行时使所述系统执行以下操作：
在介入医学流程期间获得介入医学设备(101)的远端的至少一个位置；
在所述介入医学流程期间识别所述介入医学设备(101)的所述近端处的所述运动；
将第一训练的人工智能应用于所述介入医学设备(101)的所述近端处的所述运动和所述介入医学设备(101)的所述远端的所述至少一个位置；
基于将所述第一训练的人工智能应用于所述介入医学设备(101)的所述近端处的所述运动和所述介入医学设备(101)的所述远端的所述至少一个位置来预测在所述介入医学流程期间沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的预测的运动；
由所述控制器(150)在识别出所述介入医学设备(101)的所述近端处的所述运动之后从医学成像系统(120)获得所述介入医学设备(101)的所述远端的图像；
根据所述介入医学设备(101)的所述图像，将沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的实际的运动与沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的预测的运动进行比较，并且
确定所述实际的运动何时偏离所述预测的运动。
7.根据权利要求6所述的系统，还包括：
所述医学成像系统(120)，
其中，根据来自所述医学成像系统(120)的、所述介入医学设备(101)的所述远端的图像来获得所述介入医学设备(101)的所述远端的所述至少一个位置；并且
分割来自所述医学成像系统(120)的所述图像以识别由所述医学成像系统(120)成像的所述介入医学设备(101)。
8.根据权利要求6所述的系统，还包括：
人工智能控制器(180)，其实施所述第一训练的人工智能和第二训练的人工智能，其中，所述指令在由所述处理器(152)运行时使所述系统进一步执行以下操作：
在针对多个介入医学设备的多个训练环节中，输入所述介入医学设备的远端的至少一个位置，识别所述介入医学设备的近端处的运动，并且检测由所述介入医学设备的所述近端处的所述运动引起的沿着所述介入医学设备朝向所述介入医学设备的远端的实际的运动；
基于所述介入医学设备的所述远端的所述至少一个位置和识别出的所述介入医学设备的所述近端处的运动，预测沿着所述介入医学设备(101)朝向所述介入医学设备的所述远端的预测的运动；
基于所述预测的运动与所述实际的运动之间的差异来确定损失；
由所述第一训练的人工智能建立所述介入医学设备的所述近端处的所述运动与沿着所述介入医学设备朝向所述介入医学设备的远端的所述运动之间的关系，并且
基于根据所述预测的运动与所述实际的运动之间的差异确定的每个损失来更新所述第一训练的人工智能。
9.根据权利要求6所述的系统，其中，所述指令使所述系统进一步执行以下操作：
在多个训练环节中，输入在所述医学成像系统(120)的视场之外的所述介入医学设备的粗略定位的真实情况信息；
基于所述预测的运动和所述实际的运动并且通过应用第二人工智能(415A)来预测在所述医学成像系统(120)的所述视场之外的所述介入医学设备的预测的粗略定位；并且基于所述介入医学设备的所述粗略定位的所述真实情况信息与在所述医学成像系统(120)的所述视场之外的所述介入医学设备的所述预测的粗略定位之间的差异来确定损失；并且
基于每个损失来更新第二人工智能(415A)。
10.根据权利要求6所述的系统，还包括：
机器人(160)，其控制所述介入医学设备(101)的所述近端处的运动；以及
接口(153)，其用于基于在所述医学成像系统(120)的视场之内的沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的所述预测的运动来输出警报。
11.一种用于控制介入医学设备的方法，包括：
在介入医学流程期间从医学成像系统(120)获得所述介入医学设备(101)的远端的至少一个位置；
在所述介入医学流程期间识别介入医学设备(101)的近端处的运动；
将第一训练的人工智能应用于所述介入医学设备(101)的所述近端处的所述运动和所述介入医学设备(101)的所述远端的所述至少一个位置；
基于将所述第一训练的人工智能应用于所述介入医学设备(101)的所述近端处的所述运动和所述介入医学设备(101)的所述远端的所述至少一个位置来预测在所述介入医学流程期间沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的预测的运动；
在识别出所述介入医学设备(101)的所述近端处的所述运动之后从医学成像系统(120)获得所述介入医学设备(101)的所述远端的图像；
根据所述介入医学设备(101)的所述图像，将沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的实际的运动与沿着所述介入医学设备(101)朝向所述介入医学设备(101)的所述远端的预测的运动进行比较，并且
确定所述实际的运动何时偏离所述预测的运动。
12.根据权利要求11所述的方法，还包括：
分割所述介入医学设备(101)的所述图像以识别由所述医学成像系统(120)成像的所述介入医学设备(101)。
13.根据权利要求11所述的方法，还包括：
预测所述预测的运动以及所述预测的运动的置信度；并且
基于所述实际的运动、所述预测的运动和所述预测的运动的所述置信度并且通过应用第二训练的人工智能来预测在所述医学成像系统(120)的视场之外的沿着所述介入医学设备(101)的非计划行为的预测的粗略定位和所述预测的粗略定位的预测的置信度。
14.根据权利要求11所述的方法，还包括：
基于所述介入设备的类型、所述介入医学流程中的患者的解剖结构、所述医学成像系统(120)的位置或所述介入医学设备(101)的物理特性中的至少一项来预测所述预测的运动；并且
当所述实际的运动偏离所述预测的运动时输出警报。
15.根据权利要求11所述的方法，还包括：
基于所述实际的运动和所述预测的运动并且通过应用第二训练的人工智能来预测在所述医学成像系统(120)的视场之外的沿着所述介入医学设备(101)的非计划行为的预测的粗略定位；并且
生成对在所述医学成像系统(120)的所述视场之外的沿着所述介入医学设备(101)的非计划行为的所述预测的粗略定位的显示。
CN202180085447.1A 2020-12-16 2021-12-07 对柔性设备的预测性运动映射 Pending CN116670711A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063126263P 2020-12-16 2020-12-16
US63/126,263 2020-12-16
EP21173896.8 2021-05-14
PCT/EP2021/084464 WO2022128589A1 (en) 2020-12-16 2021-12-07 Predictive motion mapping for flexible devices

Publications (1)

Publication Number Publication Date
CN116670711A true CN116670711A (zh) 2023-08-29

Family

ID=75936760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180085447.1A Pending CN116670711A (zh) 2020-12-16 2021-12-07 对柔性设备的预测性运动映射

Country Status (2)

Country Link
EP (1) EP4016455A1 (zh)
CN (1) CN116670711A (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3930614A1 (en) * 2019-02-28 2022-01-05 Koninklijke Philips N.V. Feedback continuous positioning control of end-effectors

Also Published As

Publication number Publication date
EP4016455A1 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
EP3402408B1 (en) Automated probe steering to clinical views using annotations in a fused image guidance system
US10846928B2 (en) Methods, systems, and computer readable media for controlling a concentric tube probe
CN112618028B (zh) 手术机器人及其引导手术臂移动的方法、控制装置
Lobaton et al. Continuous shape estimation of continuum robots using X-ray images
JP2019515754A (ja) 解剖学的モデルの表示
JP5288447B2 (ja) 手術支援システム、接近状態検出装置及びそのプログラム
EP3054885B1 (en) Image guidance system with user definable regions of interest
US20210322105A1 (en) Control of a robotically moved object
WO2017098505A1 (en) Autonomic system for determining critical points during laparoscopic surgery
CN112618029A (zh) 手术机器人及其引导手术臂移动的方法、控制装置
CN112545647A (zh) 手术辅助装置以及手术导航系统
US20200069374A1 (en) Surgical support device and surgical navigation system
CN116670711A (zh) 对柔性设备的预测性运动映射
US20240045404A1 (en) Predictive motion mapping for flexible devices
CN116172699A (zh) 机器人导管导航系统的风险管理
WO2022219559A1 (en) Systems, methods and programs for estimating needle pose
US11249596B2 (en) Providing an output signal by a touch-sensitive input unit and providing a trained function
CN114974548A (zh) 用于移动医学对象的装置和用于提供控制预设的方法
CN114173675A (zh) 超声目标点跟踪
CN108366832B (zh) 导航辅助系统
US20220202501A1 (en) Real-time correction of regional tissue deformation during endoscopy procedure
EP4275644A1 (en) System and method for aligning movement direction of interventional device in image and control direction of commands entered by user
EP4179998A1 (en) Control of robotic endovascular devices to align to target vessels with fluoroscopic feedback
US20210298854A1 (en) Robotically-assisted surgical device, robotically-assisted surgical method, and system
WO2023154713A1 (en) Collision warning for medical device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination