CN118401192A - 用于估计和可视化机器人控制的介入设备的轨迹的系统和方法 - Google Patents

用于估计和可视化机器人控制的介入设备的轨迹的系统和方法 Download PDF

Info

Publication number
CN118401192A
CN118401192A CN202280083283.3A CN202280083283A CN118401192A CN 118401192 A CN118401192 A CN 118401192A CN 202280083283 A CN202280083283 A CN 202280083283A CN 118401192 A CN118401192 A CN 118401192A
Authority
CN
China
Prior art keywords
interventional device
trajectory
image
robot
control input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280083283.3A
Other languages
English (en)
Inventor
J·福托希
M·A·巴利茨基
A·辛哈
C·哈泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Priority claimed from PCT/EP2022/084886 external-priority patent/WO2023110598A1/en
Publication of CN118401192A publication Critical patent/CN118401192A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Urology & Nephrology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Manipulator (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种使得能够估计和可视化介入设备的轨迹的方法和系统，所述介入设备由机器人引导并被配置用于插入解剖结构。所述方法包括：基于来自先前图像的训练数据和对应控制输入来训练模型以预测所述介入设备的轨迹；接收来自示出所述介入设备的当前位置的图像的图像数据；接收用于控制所述机器人引导所述介入设备的未来移动的未触发的控制输入；通过将所述图像数据和所述未触发的控制输入应用于经训练的模型来预测所述介入设备的轨迹；显示被叠加在所述解剖结构的所述图像上的所述介入设备的预测轨迹；在预测轨迹可接受时，触发所述未触发的控制输入，以根据所触发的控制输入来控制所述机器人引导所述介入设备的移动。

Description

用于估计和可视化机器人控制的介入设备的轨迹的系统和 方法
背景技术
用于介入过程(例如血管内过程)的机器人系统由操作机器人控制器的用户操作，机器人控制器包括接口设备，例如操纵杆控制器。所述机器人系统控制各种介入设备(例如导管或导丝)的移动。介入设备在对象(患者)中的运动和行为取决于用户从机器人控制器触发的输入，以及介入设备的形状、性质以及相对于对象的解剖结构的位置。
在机器人辅助的介入过程中，操纵可弯曲的介入设备通过高曲率、分叉和曲折的解剖结构(例如血管)可能是困难且复杂的，这可能引起多次失败的尝试，导致对解剖结构的损伤(例如出血)、增加的过程时间、增加的患者对成像辐射的暴露，和/或需要改变介入设备。当给予机器人系统不同的输入时，常规的解决方案无法可视化或以其他方式预测介入设备的可能轨迹。因此，用户可能采用次优输入，引起多次失败的尝试。
因此，需要一种这样的机器人系统，其基于由用户的输入控制在介入过程期间预测介入设备的轨迹，并在实际移动介入设备之前提供示出指示控制输入将把介入设备定位在哪里的动态线的显示。
发明内容
在代表性实施例中，提供一种用于估计和可视化介入设备的轨迹的系统，所述介入设备由机器人引导并被配置用于插入对象的解剖结构。所述系统包括：至少一个处理器；以及，非瞬态存储器，其用于存储机器可执行指令，所述机器可执行指令在由所述至少一个处理器运行时，使得所述至少一个处理器：接收来自所述解剖结构的当前图像的图像数据，所述当前图像示出所述介入设备相对于所述解剖结构的当前位置；接收至少一个未触发的控制输入，所述至少一个未触发的控制输入用于控制所述机器人引导所述介入设备从所述当前位置的未来移动；通过向模型提供所述图像数据和所述至少一个未触发的控制输入来预测所述介入设备在所述当前图像中的至少一条轨迹，其中，所述模型被配置为基于所述解剖结构中的所述介入设备的图像数据的第一输入并基于对所述机器人的对应控制输入的第二输入来预测所述介入设备的轨迹，所述机器人用于引导如在所述第一输入的所述图像数据中示出的所述介入设备的移动；以及，提供用于触发至少一个未触发的控制输入的触发命令，以根据至少一个所触发的控制输入来控制所述机器人引导所述介入设备的移动。
在代表性实施例中，提供一种用于估计和可视化介入设备的轨迹的系统，所述介入设备由机器人引导并被配置用于插入对象的解剖结构。所述系统包括：至少一个处理器；以及，非瞬态存储器，其用于存储机器可执行指令，所述机器可执行指令在由所述至少一个处理器运行时，使所述至少一个处理器：接收模型，所述模型被配置为根据所述解剖结构中的所述介入设备的图像和对所述机器人的对应控制输入来预测所述介入设备的轨迹，所述机器人用于引导如所述先前图像中示出的所述介入设备的移动；接收来自所述解剖结构的当前图像的图像数据，所述当前图像示出所述介入设备相对于所述解剖结构的当前位置；接收未触发的控制输入，所述未触发的控制输入用于控制所述机器人引导所述介入设备从所述当前位置的未来移动；通过将所述图像数据和所述未触发的控制输入应用于所述模型来预测所述当前图像中的所述介入设备的轨迹；为用户显示被叠加在所述解剖结构的所述当前图像上的所述介入设备的预测轨迹，以确定预测轨迹是否可接受；在预测轨迹被确定为可接受时，接收触发命令，用于触发所述未触发的控制输入，以根据所触发的控制输入来控制所述机器人引导所述介入设备的移动；以及，在预测轨迹被确定为不可接受时，接收新的未触发的控制输入，以控制所述机器人备选地引导所述介入设备从所述当前位置的所述未来移动。
在另一代表性实施例中，提供一种用于估计和可视化介入设备的轨迹的方法，所述介入设备由机器人引导并被配置用于插入对象的解剖结构。所述方法包括：基于来自所述介入设备的先前图像的训练数据和对所述机器人的对应控制输入来执行对神经网络模型的训练，以预测所述介入设备的轨迹，所述机器人用于引导如在所述先前图像中示出的所述介入设备的移动；接收来自所述解剖结构的至少一幅图像的图像数据，所述至少一幅图像示出所述介入设备相对于所述解剖结构的当前位置；接收未触发的控制输入，所述未触发的控制输入用于控制所述机器人引导所述介入设备从所述当前位置的未来移动；通过将所述图像数据和所述未触发的控制输入应用于经训练的神经网络模型来预测所述至少一幅图像中的所述介入设备的轨迹；显示被叠加在所述解剖结构的所述至少一幅图像上的所述介入设备的预测轨迹；在预测轨迹被确定为可接受时，触发所述未触发的控制输入，以根据所触发的控制输入来控制所述机器人引导所述介入设备的移动；以及，在预测轨迹被确定为不可接受时，接收新的未触发的控制输入，以控制所述机器人备选地引导所述介入设备从所述当前位置的所述未来移动。
在另一代表性实施例中，提供一种用于确定和可视化介入设备的轨迹的系统，所述介入设备由机器人引导并被配置用于插入对象的解剖结构。所述系统包括：至少一个处理器；以及，非瞬态存储器，其用于存储机器可执行指令，所述机器可执行指令在由所述至少一个处理器运行时，使所述至少一个处理器：接收来自所述解剖结构的先前图像的先前图像数据，所述先前图像数据示出所述介入设备和所述解剖结构；根据所述先前图像数据来确定所述介入设备的先前位置数据，以提供所述先前图像中的所述介入设备的位置和轨迹；接收控制输入，所述控制输入用于控制所述机器人引导所述介入设备从所述先前位置的移动；基于所接收的控制输入被应用于所述先前位置数据来计算所述介入设备从所述先前位置的位移；使用先前图像校准，将所计算的所述介入设备的位移转换到图像坐标；以及，使用所述图像坐标，显示被叠加在所述先前图像上的所述介入设备的预测轨迹。
在另一代表性实施例中，提供一种用于确定和可视化介入设备的轨迹的系统，所述介入设备由机器人引导并被配置用于插入对象的解剖结构。所述系统包括：至少一个处理器；以及非瞬态存储器，其用于存储机器可执行指令，所述机器可执行指令在由所述至少一个处理器运行时，使所述至少一个处理器：执行对所述神经网络模型的训练，以确定用于控制所述机器人沿给定的预测轨迹引导所述介入设备的控制输入；接收来自所述解剖结构的当前图像的当前图像数据，所述当前图像示出所述介入设备和所述解剖结构；显示被叠加在所述当前图像上的所述介入设备的预测轨迹，其中，通过所述当前图像数据和所述控制输入应用于经训练的神经网络模型来预测所述介入设备的预测轨迹；接收指令以将所显示的预测轨迹调节到期望位置；通过将所述期望位置中的预测轨迹的图像坐标应用于所述神经网络模型来确定对应于预测轨迹的所述期望位置的控制输入；以及，向机器人控制器提供所确定的控制输入，以控制所述机器人沿所述期望的预测轨迹引导所述介入设备。
在另一代表性实施例中，提供一种用于估计和可视化介入设备的轨迹的系统，所述介入设备由机器人引导并被配置用于插入对象的解剖结构。所述系统包括：至少一个处理器；以及，非瞬态存储器，其用于存储机器可执行指令，所述机器可执行指令在由所述至少一个处理器运行时，使所述至少一个处理器：接收模型，所述模型被配置为基于来自所述解剖结构中的所述介入设备的图像的数据和对所述机器人的对应控制输入来预测所述介入设备的轨迹，所述机器人用于引导如所述图像中示出的所述介入设备的移动；接收来自所述解剖结构的当前图像的图像数据，所述当前图像示出所述介入设备相对于所述解剖结构的当前位置，其中，不连续地采集所述图像数据；根据所述图像数据来确定所述介入设备的当前位置数据；使用来自用于控制所述机器人的机器人系统的机器人数据来确定所述机器人的当前控制和状态数据；接收所触发的控制输入，所述所触发的控制输入用于控制所述机器人引导所述介入设备从所述当前位置的当前移动；通过将所述图像数据和所述所触发的控制输入应用于所述模型来预测所述当前图像中的所述介入设备的轨迹；显示被叠加在所述解剖结构的所述当前图像上的所述介入设备的预测轨迹，以指示所述介入设备的实际轨迹，而无需接收额外的图像数据；确定是否已经接收新的当前图像的新的图像数据；以及，在已经接收新的图像数据时，根据所述新的图像数据来确定所述介入设备的新的当前位置数据，并使用来自用于控制所述机器人的机器人系统的机器人数据来确定所述机器人的新的当前控制和状态数据，以及重复接收所触发的控制输入，以控制所述机器人引导所述介入设备从所述新的当前位置的当前移动，并且通过将所述新的图像数据和所述所触发的控制输入应用于所述模型来预测所述新的当前图像中的所述介入设备的轨迹。
附图说明
当与附图一起阅读时，根据下文的详细描述中可以最好地理解示范性实施例。要强调的是，各个特征不一定按比例绘制。事实上，为了讨论清楚起见，尺寸可以任意增大或减小。在适用且实际时，相同的附图标记指代相同的元件。
图1示出了根据代表性实施例的说明性介入设备，在显示器上具有预测轨迹和相关联的不确定性裕度。
图2为根据代表性实施例的用于估计并在包括图形用户界面(GUI)的显示器上可视化机器人控制的介入设备的轨迹的系统的简化框图。
图3为根据代表性实施的示出训练编码器-解码器神经网络架构的范例实施方式的简化框图。
图4为根据代表性实施例的示出估计并在包括GUI的显示器上可视化机器人控制的介入设备的轨迹的方法的流程图。
图5为根据另一代表性实施例的确定并在包括GUI的显示器上可视化机器人控制的介入设备的轨迹的方法的流程图。
图6为根据另一代表性实施例的通过在包括GUI的显示器上调节介入设备的可视化轨迹来控制机器人控制的介入设备的方法的流程图。
图7为根据代表性实施例的示出训练编码器-解码器神经网络架构的范例实施方式的简化框图。
图8为根据代表性实施例的示出训练编码器-解码器神经网络架构的另一范例实施方式的简化框图。
图9为根据代表性实施例的被配置为利用维度保持架构来预测设备轨迹的编码器-解码器神经网络模型的简化框图。
图10为根据代表性实施例的被配置为利用维度变化架构来预测设备轨迹的编码器-解码器神经网络模型的简化框图。
图11为根据代表性实施例的使用不连续成像来估计和可视化机器人控制的介入设备的轨迹的方法的流程图。
具体实施方式
在以下详细描述中，出于解释而非限制的目的，阐述公开具体细节的代表性实施例以提供对根据本教导的实施例的透彻理解。可以省略对已知系统、设备、材料、操作方法和制造方法的描述，以避免模糊了对代表性实施例的描述。然而，在本领域普通技术人员视界内的系统、设备、材料和方法也在本教导的范围内，并且可以根据代表性实施来使用。要理解，本文使用的术语仅是出于描述特定实施例的目的，而不意图为限制性的。所定义的术语是对在本教导的技术领域中通常理解和接受的所定义术语的技术和科学含义的补充。
将理解，尽管术语第一、第二、第三等可以在本文中用于描述各个元件或部件，但这些元件或部件不应受这些术语限制。这些术语仅用于将一个元件或部件与另一元件或部件区分开来。因此，下文讨论的第一元件或部件可以被称为第二元件或部件，而不偏离本发明概念的教导。
本文使用的术语仅是出于描述特定实施例的目的，而不意图为限制性的。如说明书和所附权利要求中所使用的，单数形式的术语“一”“一个”和“所述”意图包括单数和复数形式两者，除非上下文另有明确说明。此外，术语“包括”、“包含”和/或类似术语指定所记载的特征、元件和/或部件的存在，但不排除一个或多个其他特征、元件、部件和/或它们的组的存在或增加。如本文所使用的，术语“和/或”包括一个或多个相关联的所列项目的任意及全部组合。
除非另有说明，否则在元件或部件被称为“连接到”“耦合到”或“邻近”另一元件或部件时，应理解该元件或部件可以直接连接或耦合到另一元件或部件，或者可以存在中间元件或部件。亦即，这些及类似术语涵盖可以采用一个或多个中间元件或部件来连接两个元件或部件的情况。然而，在元件或部件被称为“直接连接”到另一元件或部件时，这仅涵盖这两个元件或部件彼此连接而没有任何中间或居间元件或部件的情况。
因此，本公开通过其各个方面、实施例和/或特定特征或子部件中的一个或多个，意图展示如下文具体指出的优点中的一个或多个。出于解释而非限制的目的，阐述了公开具体细节的范例实施例，以提供对根据本教导的实施例的透彻理解。然而，偏离本文公开的具体细节的与本公开一致的其他实施例仍在所附权利要求的范围内。而且，可以省略对周知的装置和方法的描述，以免模糊对范例实施例的描述。这样的方法和装置也在本公开的范围内。
大体上，本文描述的各个实施例提供一种系统和方法，其使得机器人系统的用户(介入操作者)能够在应用或运行控制输入之前，基于对机器人系统的初步(意图)控制输入将机器人控制的介入设备的未来(预测)轨迹进行可视化。因此，用户能够在触发介入设备的运动之前，基于预测轨迹来调节初步控制输入。基于初步输入来预测轨迹减少失败尝试的次数，降低穿刺或对组织的其他损伤的风险，降低对辐射的暴露，并且通常改善机器人系统的可用性。在未校准的机器人-患者设置中触发初步输入之前，机器人控制器估计和可视化机器人控制的介入设备的预测轨迹。估计和可视化基于用户的规划输入(而不致动机器人)，并且所述介入设备的预测轨迹被叠加在最近的荧光透视图像上。
图1示出了根据代表性实施例的说明性介入设备，在显示器上具有预测轨迹和相关联的不确定性裕度。
参考图1，显示器124示出被配置用于插入对象的解剖结构155(例如血管或动脉)的介入设备146的荧光透视图像。由机器人控制器和机器人引导介入设备146，例如下文参考图2讨论的机器人控制器142和机器人144。介入设备146可以是能够进行机器人控制的任意兼容性医学仪器，例如导管、导丝、内窥镜、相机、外科手术工具等等。左侧图像示出了介入设备146在解剖结构155内的当前位置。右侧图像示出了介入设备146在解剖结构155内的预测轨迹，该预测基于用于控制机器人引导介入设备146的控制输入(如果控制输入得到认可)。控制输入包括通过用户接口和用于操纵或以其他方式操控解剖结构155中的机器人的机器人控制器向机器人提供用户输入，以及响应于用户输入由机器人控制器提供的用于指示机器人系统的状态的状态信息。例如，控制输入可以是未触发的，其中，用户输入期望的用户输入，但还没有触发机器人控制器实施所输入的控制输入。例如，用户输入可以包括方向和速度控制信号，以供机器人导航介入设备146，并且状态信息可以包括机器人的物理定位，以及有关机器人的铰接、旋转、平移、速度和加速度的运动学。
在所描绘的实施例中，由中心线141指示预测轨迹，并且由中心线141任一侧上的外线143和145指示的不确定性裕度指示与预测轨迹相关联的估计的不确定性。中心线141从介入设备146在其当前位置的远端沿(如果控制输入被用户认可(即触发)则)介入设备146将遵循的估计路径纵向延伸。外线143和145偏离中心线141越多，中心线141从介入设备146的当前位置延伸地越远。因此，外线143和145指示，预测的不确定性越大，预测轨迹从当前位置延伸越多。备选地或额外地，可以由定义沿预测轨迹的中心线的裕度的颜色编码像素来指示不确定性裕度，例如在外线143和145的边界内，其中，外线143和145可以或可以不与颜色编码像素一起显示。
可以随着采集到额外的图像，和/或随着用户改变或微调所述用户输入，连续更新显示器124。可以使用神经网络模块来确定预测轨迹及相关联的不确定性，已经使用介入设备146的先前采集的图像连同对应的先前控制输入来训练所述神经网络模块，对应的先前控制输入用于定位如在先前图像中示出的介入设备146，如下文讨论的。
图2为根据代表性实施例的用于估计并在包括GUI的显示器上对机器人控制的介入设备的轨迹进行可视化的系统的简化框图。
参考图2，系统100包括工作站105，其用于实施和/或管理本文描述的过程，以控制介入设备146在对象(患者)150的解剖结构155内的移动。工作站105包括由处理器120指示的一个或多个处理器、由存储器130指示的一个或多个存储器、用户接口122以及显示器124。处理器120通过控制器接口(未示出)与机器人系统140接口连接，其中，机器人系统140包括机器人控制器142和机器人144。机器人控制器142被配置为响应于通过用户接口122或单独的机器人控制接口(未示出)接收的用户输入来控制机器人144的移动。机器人144被附接到介入设备146或与介入设备146集成。机器人144可以包括可操作用于响应于从机器人控制器142接收的控制信号在多个自由度(DOF)上移动和定位介入设备146的节段、铰接、伺服电机和其他控制特征。在所描绘的实施例中，出于说明的目的，机器人控制器142被示为与工作站105中的处理器120分开。但要理解，机器人控制器142的功能中的全部或部分可以并入处理器120，反之亦然，而不偏离本教导的范围。
处理器120还通过成像接口(未示出)与成像设备160接口连接。成像设备160可以是各种类型的医学成像设备/模态中的任一种，例如，包括固定或移动C型臂荧光透视系统、X射线成像设备、计算机断层摄影(CT)扫描设备、磁共振(MR)成像设备、正电子发射断层摄影(PET)扫描设备或超声成像设备。成像设备160可以包括单一或多种成像模态。
存储器130存储可由处理器120运行的指令。当被运行时，所述指令使处理器120实施用于估计并在显示器124上对机器人控制的介入设备146的轨迹进行可视化的一个或多个过程。出于说明的目的，存储器130被视为包括软件模块，其每个都包括对应于系统100的关联功能的指令。
处理器120表示一个或多个处理设备，并且可以使用硬件、软件、固件、硬接线逻辑电路或它们的组合，由现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP)、通用计算机、中央处理单元、图形处理单元、计算机处理器、微处理器、微控制器、状态机、可编程逻辑设备或它们的组合来实现。本文的任意处理单元或处理器可以包括多重处理器、并行处理器，或两者。多个处理器可以被包括在，或被耦合到单个设备或多个设备。本文使用的术语“处理器”涵盖能够运行程序或机器可执行指令的电子部件。处理器还可以是指单个计算机系统内或分布在多个计算机系统间(例如在基于云的应用或其他多站点应用中)的处理器的集合。程序具有由可以在同一计算设备内或者可以分布在多个计算设备上的一个或多个处理器执行的软件指令。
存储器130可以包括主存储器和/或静态存储器，其中这样的存储器可以经由一个或多个总线彼此通信并且与处理器120通信。例如，存储器130可以由任意数目、类型和组合的随机存取存储器(RAM)和只读存储器(ROM)来实施，并且可以存储各种类型的信息，例如软件算法、人工智能(AI)机器学习模型和计算机程序，它们全部都可由处理器120执行。各种类型的ROM和RAM可以包括任意数目、类型和组合的计算机可读存储介质，例如磁盘驱动、闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘、磁带、压缩盘只读存储器(CD-ROM)、数字多用盘(DVD)、软盘、蓝光盘、通用串行总线(USB)驱动，或本领域已知的任意其他形式的存储介质。存储器130是用于存储数据和可执行软件指令的有形存储介质，并且在软件指令被存储于其中时为非瞬态的。如本文使用的，术语“非瞬态”不应被解释为永恒的状态特征，而应被解释为将持续一段时间的状态特征。术语“非瞬态”特别否定短暂的特征，例如载波或信号或仅暂时地在任意时间存在于任意地点的其他形式。存储器130可以存储使得能够执行各个功能的软件指令和/或计算机可读代码。存储器130可以是安全的和/或加密的，或为不安全的和/或未加密的。
系统100还可包括用于存储可由存储器130的各个软件模块使用的信息的数据库112。例如，数据库112可以包括来自先前获得的对象150的和/或具有与对象150相同或相似介入过程的其他类似位置的对象的图像的图像数据。存储的图像数据可以用于训练AI机器学习模型，例如神经网络模型，例如下文讨论的。例如，数据库112可以由任意数目、类型和组合的RAM和ROM来实现。各种类型的ROM和RAM可以包括任意数目、类型和组合的计算机可读存储介质，例如磁盘驱动、闪存、EPROM、EEPROM、寄存器、硬盘、可移动磁盘、磁带、CD-ROM、DVD、软盘、蓝光盘、USB驱动或本领域已知的任意其它形式的存储介质。数据库112包括用于存储数据和可执行软件指令的有形存储介质，并且在其中存储数据和软件指令的时间期间是非瞬态的。数据库112可以是安全的和/或加密的，或为不安全的和/或未加密的。出于说明的目的，数据库112被示出为单独的存储介质，但要理解，其可以与存储器130组合和/或包括在存储器130中，而不偏离本教导的范围。
处理器120可以包括或访问人工智能(AI)引擎，该AI引擎可以被实施为提供人工智能(例如神经网络模型)并应用本文描述的机器学习的软件。AI引擎可以驻留在额外于处理器120或除处理器120之外的各种组件中的任一个中，例如，存储器130、外部服务器和/或云。当AI引擎被实现在云中(例如在数据中心处)时，例如，可以使用一个或多个有线和/或无线连接经由互联网将AI引擎连接到处理器120。
用户接口122被配置为向用户提供由处理器120、存储器130和/或机器人控制器142输出的信息和数据，和/或用于接收由用户输入的信息和数据。亦即，用户接口122使得用户能够输入数据并控制或操纵本文描述的过程的各方面，并且还使得处理器120能够指示用户的控制或操纵的效果。用户接口122的全部或部分可以由图形用户界面(GUI)(例如下文讨论的在显示器124上可查看的GUI 128)来实现。用户接口122可以包括一个或多个接口设备，例如鼠标、键盘、轨迹球、操纵杆、麦克风、摄像机、触摸板、触摸屏、由麦克风或摄像机捕获的语音或手势识别。
显示器124可以是监视器，例如计算机监视器、电视、液晶显示器(LCD)、有机发光二极管(OLED)、平板显示器、固态显示器或阴极射线管(CRT)显示器或电子白板。显示器124包括用于查看对象150的内部图像的屏幕126，以及本文描述的用于辅助用户准确且有效地读取图像的各个特征，以及用于使用户能够与所显示的图像和特征交互的GUI 128。例如，用户能够通过创建特定警报和提醒来个性化GUI 128的各个特征，如下文讨论的。
参考存储器130，各种模块存储可由处理器120运行的数据集和指令集，以估计和可视化机器人控制的介入设备146的预测轨迹。当前图像模块131被配置为接收并处理对象150的解剖结构155的当前(第一)图像，以供在显示器124上显示。当前图像是在介入过程期间用户当前正在查看的图像。可以在对象150的当前成像会话期间同时从成像设备160实时接收当前图像。备选地，当前图像可以是在当前成像会话中先前采集的对象150的图像，其中，成像已暂停，例如用于减少对象150对辐射的暴露。同样地，可以从数据库112检索当前图像，数据库112存储在(一个或多个)先前成像会话期间或早于当前成像会话(来自单个或多个成像模态的)获得的图像。当前图像被显示在屏幕126上，以使得能够由用户分析并导航机器人144。
控制输入模块132被配置为经由用户接口122接收来自用户的用户输入(其用于控制机器人144引导介入设备146的移动)并经由机器人控制器142接收状态信息作为控制输入。根据各个实施例，控制输入最初是未触发的，这是因为用户输入所述用户输入，而它们没有由机器人控制器142运行。以此方式，处理器120能够在机器人控制器142控制机器人144响应于控制输入实际移动介入设备146之前，预测控制输入对介入设备146的轨迹的效果，如下文讨论的。这使得用户能够在采取实施控制输入的动作之前，确定未触发的控制输入是否合适，例如，其在于未触发的控制输入的运行将使介入设备146通过期望路径移动到期望位置，并且将以其他方式避免损伤解剖结构155。控制输入包括操控指令，例如机器人144的铰接、旋转、平移、距离、速度和加速度，例如以移动解剖结构155中的介入设备146。
先前图像模块133被配置为例如从成像设备160和/或数据库112接收对象150的先前图像。先前图像包括在当前成像会话中较早采集的对象150的图像，和/或在涉及相同类型的介入过程的先前成像会话期间采集的对象150的图像。可以从单一或多个成像模态采集所述图像。在实施例中，先前图像模块133也可以接收具有与具有相同类型的介入过程的对象150相同或相似介入过程的其他类似位置的对象的先前图像。先前图像用于训练神经网络模型，如下文讨论的。
先前控制输入模块134被配置为接收与先前图像模块133的先前图像相关联的先前控制输入。亦即，针对每幅先前图像，先前控制输入模块134接收对应控制输入，向机器人控制器142提供所述对应控制输入，用于操控介入设备到由该先前图像捕获的位置。保持前线控制输入与先前图像之间的关联。
预测模型模块135被配置为实施预测模型，例如神经网络模型，例如以基于用于经由机器人控制器142控制机器人144的移动的控制输入来预测介入设备146的轨迹。预测模型也可以估计与预测轨迹相关联的不确定性。例如，预测模型可以确定不确定性裕度(例如外线143和145)，所述不确定性裕度连同中心线(例如中心线141)一起被显示在显示器124上，以根据距介入设备146的当前已知位置的距离指示所述不确定性，如上文讨论的。在实施例中，不确定性裕度可以被拓展到体积模型，例如三维卷积神经网络(CNN)。在各个实施例中，由预测模型模块135提供的过程的全部或部分可以由AI引擎来实施，例如上文提及的。
预测模型模块135提供对预测模型的训练，以基于训练数据来预测介入设备146的轨迹及相关联的不确定性。训练数据包括(一个或多个)介入设备的先前图像和用于引导如先前图像中示出的(一个或多个)介入设备的对应控制输入。例如，训练数据可以包括在当前成像会话期间对象150的解剖结构155中的介入设备146的先前图像，以及向用于将介入设备146引导到先前图像中所示位置的机器人144的对应控制输入。可以从先前图像模块133检索先前图像，并且可以从先前控制输入模块134检索对应控制输入。备选地，训练数据可以包括来自涉及对象150，或涉及其他类似位置的对象的先前成像会话的先前图像和对应控制输入，如上文讨论的。在实施例中，从当前图像模块131检索的当前图像和从控制输入模块132检索的对应控制输入也可以被包括在训练数据中，这使得能够联机对预测模型进行训练。因此，要理解，本文有关使用先前图像和对应控制输入进行训练的讨论同样适用于使用当前图像和对应控制输入进行训练，而不偏离本教导的范围。
训练所述预测模型可以包括捕获先前图像的空间背景和时间背景。空间背景可以使用卷积层来捕获，卷积层由表示在输入图像上滑动的权重的矩阵的滑动窗口或内核组成，并且执行与输入图像的重叠部分的逐元素乘法并将结果求和为输出特征图。时间背景可以使用跨层的时间连接来捕获，例如通过使用递归神经网络(RNN)、长短期记忆(LSTM)、变换器等等。预测模型训练可以在没有监督(无监督训练)或有监督(监督训练)的情况下执行，其中，图像和控制输入采集可以用作先前图像和控制输入采集的输出(标签)。因此，在训练阶段期间，预测模型将从回顾性数据中学习合适的表示，其中，先前图像帧1、……、n-1用于预测(一个或多个)介入设备在随后的m个时间点(图像帧n、……、n+m)的轨迹。
先前图像和先前控制输入数据可以在神经网络模型的最早层中被一起馈送，下文参考图9来讨论其范例。例如，先前(和当前)图像数据可以包括荧光透视图像或来自不同设备或图像内的解剖结构的分割图。例如，先前(和当前)控制输入数据可以包括来自用户接口122和/或机器人控制器142的控制器控制台的测量结果，所述系统有关铰接、旋转和平移的运动学、以及速度和加速度、机器人使用的设备类型和设备堆栈、致动的设备的数目以及机器人校准参数。备选地，可以在神经网络模型的最早层中馈送先前图像数据，并且可以在神经网络模型的中间层或潜在层处使用先前控制输入数据，充当被应用于从先前图像帧1、……、n-1学习到的表示的变换，下文参考图10讨论其范例。在该情况下，控制输入数据也可以在与卷积网络合并之前被传递通过一系列完全连接的层。在未来图像帧n、……、n+m中的预测输出将针对不同的机器人变换或控制输入数据产生不同的轨迹。另一实施方式可以使用两个单独的神经网络，一个用于成像数据，而一个用于机器人控制数据。在该情况下，两个神经网络将在某些中间层共享权重或特征图。迭代地执行对神经网络模型的训练，其中，在每次迭代时，一批对应先前图像和对应先前控制输入数据被馈送到神经网络模型中。如对本领域技术人员而言将是明显的，训练之前使相似性损失最小化，例如二进制交叉熵或强度损失。
在实施例中，基于来自介入设备的图像的训练数据和对应于图像的对用于引导介入设备的移动的机器人的控制输入来训练预测模型，以预测介入设备的轨迹。训练预测模型可以包括接收训练数据；将解剖结构中的介入设备的至少一幅图像输入到预测模型中；输入对用于引导介入设备的下一移动的机器人的至少一个控制输入；使用预测模型生成介入设备的预测轨迹；以及，基于预测轨迹与来自对应于所输入的机器人控制输入的所述介入设备的至少一幅图像的对应基准真值轨迹之间的差异，调节预测模型的参数。可以重复这些步骤，直到满足停止标准。例如，停止标准可以是当介入设备的估计轨迹与介入设备的基准真值轨迹之间的差异小于预定阈值时。例如，另一停止标准可以是轨迹的尖端(远端部分)到目标解剖标志的距离，例如轨迹尖端在孔附近或在动脉瘤附近。
除了训练预测模型以外，预测模型模块135还通过将来自当前图像模块131的当前图像和来自控制输入模块132的控制输入应用于经训练的预测模型来预测介入设备146的轨迹。预测模型的输出提供预测轨迹以及预测轨迹的不确定性，该不确定性为预测轨迹从介入设备146的当前位置延伸的距离的函数。生成预测轨迹的未来的距离或时间可以是介入设备146的速度的函数(每个自由度或链接到当前投影)。可以由用户调节增益。
亦即，预测模型模块135接收来自解剖结构155的当前图像的图像数据，示出介入设备146相对于解剖结构155的当前位置，并接收用于控制机器人144引导介入设备146从当前位置的未来移动的控制输入。控制输入是未触发的，从而可以在机器人控制器142实际实施控制输入之前确定预测轨迹。例如，控制输入可以包括当前机器人参数和配置空间，例如操纵杆输入、力、力矩以及前向和反向动力学。预测模型模块135也可以输入与当前图像相关联的相关分割图。由预测模型模块135提供的预测模型通过将图像数据和未触发的控制输入应用于经训练的预测模型来预测当前图像中的介入设备146的轨迹以及相关联的不确定性，如上文讨论的。
图3是示出根据代表性实施例的训练编码器-解码器神经网络架构的范例实施方式的简化框图。可以使用编码器-解码器神经网络架构，其中，当前图像被输入到神经网络的编码器部分，其生成输出图像的减小维度的潜在表示。编码器和解码器部分可以包含多个块，以捕获时间相关性，例如RNN、LSTM、变换器等等。未触发的控制输入可以被应用于潜在表示，以产生经变换的潜在表示，其可以使用神经网络的解码器部分来解码，以生成包含介入设备146的预测轨迹的预测图像。
参考图3，训练图像311可以用作基准真值图像，已知的控制输入C已被应用于所述基准真值图像。在训练期间，可以将预测图像312与基准真值图像311进行比较，例如，其中，预测图像312产生于控制输入C在介入设备146的当前位置上的应用。比较可以使用损失函数320来执行，如上文讨论的，并且损失可以用于执行梯度下降，以在多次迭代上更新神经网络参数，以便使在多次迭代上计算的损失函数最小化。举例来说，变换自动编码器(其为类似概念)由G.E.Hinton等人在“Transforming auto-encoders”(ICANN 2011)中进行了描述，再次通过引用将其并入。预测轨迹和不确定性也可以作为输入被反馈到预测模型模块135，作为用于进一步训练神经网络的训练数据并辅助对后续未触发的控制输入数据的预测。当预测轨迹被确定为可接受并且未触发的控制输入被触发时，得到的轨迹也可以作为新的当前图像被反馈到神经网络中。此外，当前图像数据和对应的(一个或多个)当前未触发的控制输入可以作为输入被反馈到神经网络模块135，作为用于联机训练的训练数据，如上文讨论的。
例如，可以使用蒙特卡洛丢弃算法来估计不确定性，该算法近似于深度高斯过程的贝叶斯推理。为了触发丢弃，在前向传递期间关闭神经元的子集。为了根据丢弃计算不确定性，使每批传入数据多次(例如十次)通过神经网络模型。每一次，丢弃算法都将提供略微不同形式的神经网络模型，其后续可以通过神经网络模型得到另一轨迹预测。聚合结果以计算预测轨迹的上限和下限。这些上限和下限可以在当前图像上被可视化为例如外线143和145，如下文讨论的，并指示预测轨迹的不确定性。
在实施例中，路线图图像被并入预测模型中。路线图图像可以包括来自对比血管造影和/或术前成像的经配准的解剖结构(例如脉管系统)信息。由路线图图像指示的解剖结构155的边界影响介入设备146的预期形状。相应地，通过并入路线图图像，预测模型可以返回不同的预测轨迹和不确定性输出，得到对预测轨迹的不同的图形表示。
显示处理模块136被配置为接收预测轨迹和相关联的不确定性，并将预测轨迹和相关联的不确定性在显示器124上显示为被叠加在解剖结构155的当前图像上。例如，显示处理模块136可以被配置为使预测轨迹被显示为中心线(例如中心线141)，并且相关联的不确定性被显示为不确定性裕度(例如外线143和145)，如上文参考图1讨论的。在存在多个共轴介入设备146的情况下，每个介入设备146具有对应预测轨迹的其自身预测轨迹显示，其中，这些预测轨迹显示被固有地耦合到两个介入设备146的估计表现。
当存在介入设备146的平面内或平面外运动时，可以使预测轨迹的颜色方案与介入设备146沿预测轨迹的形状的幅度和方向上的改变相关。例如，当预测介入设备146朝向成像设备160的检测器移动时，在机器人平移介入设备146的同时，介入设备146的形状在当前图像中几乎不改变。在该情况下，预测轨迹的颜色可以在第一颜色(例如更蓝，在预期介入设备146朝向检测器成形)与第二颜色(例如更绿，预期介入设备146远离检测器成形)之间变化。
考虑到不确定性裕度，所述显示使得用户能够确定预测轨迹关于导航介入设备146是否是可接受的。例如，当预测轨迹使介入设备146朝向目标前进，同时避免与解剖结构155的内壁接触时，和/或当预测轨迹基本匹配介入设备146的期望轨迹时，预测轨迹可以是可接受的。当使用体积模型时，显示处理模块136可以显示不确定性裕度或三维预测轨迹被叠加在当前图像上的投影。
当预测轨迹可接受时，用户根据控制输入来触发机器人系统140移动介入设备146。亦即，机器人控制器142可以接收例如来自用户接口122的触发命令，用于激活未触发的控制输入，并作为响应，根据所触发的控制输入来控制机器人144引导介入设备146的移动。理想地，机器人144沿匹配预测轨迹的路径来移动介入设备146，尽管所述路径可能偏离预测轨迹，尤其是当存在相对高的不确定性时。在实施例中，可以在触发未触发的输入之后从成像设备160接收来自解剖结构155的额外图像的图像数据，该情况下，在触发未触发的输入之后，可以连同预测轨迹一起，在显示器124上显示被叠加在当前图像上的介入设备146的实际轨迹。而且，可以在根据所触发的输入移动介入设备146的同时，显示被叠加在当前图像上的介入设备146。或者，可以在根据所触发的控制输入来控制介入设备146的当前移动的同时，从成像设备160接收来自解剖结构155的额外(第二)图像的图像数据，在该情况下，可以在控制介入设备146的当前移动的同时，介入设备146的实际轨迹被叠加在所述额外图像上。
备选地或额外地，预测轨迹的可接受性可以是例如由处理器120自动确定的。例如，可以使用已知的图像分析技术来捕获预测轨迹的形状，以提供分割的预测轨迹，并将分割的预测轨迹与用于导航介入设备146的期望轨迹进行比较。例如，可以将预测轨迹与解剖结构155中的期望中心线或其他基准进行比较。当比较在预定误差裕度内时，处理器120验证预测轨迹。在另一范例中，用户可以在GUI 128上绘制期望轨迹，并且可以将分割的预测轨迹与期望轨迹进行比较，以确定预测轨迹的可接受性。然后可以自动地或由用户在通知经验证的轨迹的情况下触发控制输入。在另一范例中，可以将分割的预测轨迹与用于导航介入设备146的预定的规则集进行比较。例如，预测轨迹在其使介入设备朝向目标前进同时避免与解剖结构的内壁接触时是可接受的。在另一范例中，可以通过比较曲线(例如基于阈值或测地距离)、通过使用多项式和样条使曲线参数化并比较参数空间中的距离、或通过比较所估计的轨迹的尖端与期望解剖标志之间的距离，将所估计的轨迹与期望轨迹进行比较。
当预测轨迹不可接受时，用户可以调节对用于控制机器人144的机器人控制器142的未触发的控制输入的用户输入，其将引导介入设备146从其当前位置沿备选预测轨迹的未来移动。在该情况下，控制输入模块132经由用户接口122接收来自用户的新的用户输入以及来自机器人系统140的状态信息(作为新的控制输入)。同样，新的控制输入最初是未触发的，这是因为用户输入所述用户输入而它们并未由机器人控制器142运行，从而处理器120能够在机器人系统140不实际移动介入设备146的情况下预测新的控制输入对介入设备146的轨迹的影响。
预测模型模块135接收新的控制输入，连同由当前图像模块131提供的解剖结构155中的介入设备146的当前图像。当前图像可以是用于基于先前控制输入来预测轨迹的相同的图像，或者当前图像可以是更近期采集的图像。预测模型模块135将新的控制输入和当前图像应用于预测模型，其输出介入设备146的新的(经调节的)预测轨迹和相关联的不确定性。同样，新的预测轨迹和不确定性可以作为输入被反馈到预测模型模块135，以进行关于未来状态的预测。
当新的预测轨迹可接受时，用户触发机器人系统140以根据新的控制输入来移动介入设备146。当新的预测轨迹不可接受时，重复提供新的未触发的控制输入、输出新的预测轨迹作为响应、以及显示被叠加在当前图像上的新的预测轨迹的过程，直到获得可接受的预测轨迹，在该点处触发对应控制输入，以相应地移动介入设备146。该过程实质上是连续的，这是因为实质上在接收新的未触发的控制输入之后立即显示新的预测轨迹。因此，例如，用户可以基本上在对控制输入进行改变的同时观察到控制输入的改变对所显示的预测轨迹的影响。
图4是根据代表性实施例的估计和在包括GUI的显示器上对机器人控制的介入设备的轨迹进行可视化的方法的流程图。所述方法可以例如在运行存储器130中作为各种软件模块存储的指令的处理器120的控制下由上文讨论的系统100来实施。
参考图4，所述方法包括在方框S411中接收预测模型，其中，例如，预测模型可以是神经网络模型，并且先前已经经过关于预测介入设备的轨迹和相关联的不确定性的训练。对预测模型的训练可以基于来自介入设备的先前图像的训练数据以及对机器人的对应控制输入，所述机器人用于引导如在先前图像中示出的介入设备的移动。训练可以进一步基于来自介入设备的当前图像的训练数据以及对机器人的对应控制输入，所述机器人用于引导如在当前图像中示出的介入设备的移动。
在方框S412中，接收来自解剖结构的至少一幅图像的图像数据，其中，至少一幅图像被显示在显示器上。至少一幅图像可以是上文讨论的当前图像。至少一幅图像示出介入设备相对于解剖结构的当前位置。
在方框S413中，接收至少一个未触发的控制输入，以控制机器人引导介入设备从当前位置的未来移动。至少一个未触发的控制输入包括可以经由用户接口接收的用户输入和可以从机器人系统接收的状态信息。例如，用户输入可以产生自一个或多个接口设备(例如鼠标、键盘、轨迹球、操纵杆、麦克风、摄像机、触摸板、触摸屏)的移动。由于至少一个控制输入是未触发的，其对机器人或由机器人控制的介入设备的移动没有立即的影响。
在方框S414中，通过将接收到的图像数据和至少一个未触发的控制输入应用于经训练的预测模型来预测至少一幅图像中的介入设备的轨迹。亦即，可以通过向经训练的预测模型提供接收到的解剖结构的图像数据(第一输入)和对应于接收到的图像数据的至少一个未触发的控制输入(第二输入)来预测介入设备在图像中的轨迹。预测模型被配置具有对介入设备的成像和机器人控制参数，以基于第一输入和第二输入来预测介入设备的轨迹，以引导如在第一输入的图像数据中示出的介入设备的移动。连同预测轨迹一起，经训练的预测模型还估计与预测轨迹相关联的不确定性。一般地，预测轨迹从介入设备的当前位置延伸越远，不确定性越大。值得注意的是，在实施例中，预测轨迹和相关联的不确定性可以被返回到方框S411，连同对应的未触发的控制输入一起，以进一步联机训练预测模型。
在方框S415中，在显示器上显示被叠加在解剖结构的至少一幅图像上的介入设备的预测轨迹。在实施例中，也可以显示被叠加在至少一幅图像上的与预测轨迹相关联的估计的不确定性。例如，预测轨迹可以被示为至少一幅图像上的中心线，并且相关联的不确定性可以被示为在中心线任一侧的外线，如上文讨论的。
在方框S416中，出于继续导航解剖结构中的介入设备的目的，确定预测轨迹是否已被识别为可接受的轨迹。可以响应于由用户经由用户接口键入的接受或拒绝预测轨迹的输入来进行所述确定。备选地或额外地，可以自动确定对预测轨迹的接受。例如，可以使用已知的图像分析技术自动确定预测轨迹，以提供分割的预测轨迹，并将分割的预测轨迹与期望轨迹或与用于导航介入设备的预定的规则集进行比较，如上文讨论的。
当预测轨迹不可接受时(S416：否)，过程返回到方框S413，其中，接收新的未触发的控制输入，用于控制机器人。新的未触发的控制输入将以与先前未触发的控制输入不同的方式引导介入设备从当前位置的未来移动。然后重复方框S414至S416，以尝试识别可接受的预测轨迹。
当预测轨迹可接受时(S416：是)，在方框S417中触发未触发的控制输入，以根据所触发的控制输入来控制机器人引导介入设备的移动。在实施例中，可以将方框S417有效地与方框S416组合，其中，响应于接收到触发未触发的控制输入的命令来确定预测轨迹可接受。
响应于所触发的控制输入的介入设备和/或机器人的移动可以被显示在方框S418中。可以使用显示器来监视介入设备的移动，实现对介入设备通过解剖结构的连续导航。可以通过在介入过程期间实时采集介入设备的额外图像来显示介入设备的实际移动。备选地，可以使用与参考图像相同的图像来模拟介入设备的移动，并将所触发的控制输入应用于导航模型，以导航介入设备，其中，导航模型实质上与用于预测的预测模型(例如神经网络模型)相同。在实施例中，由于导航模型实质上与用于预测的预测模型相同，因此，可以简单地将预测轨迹叠加在参考图像上。该叠加可以以不同颜色或阴影来渲染，例如，以与针对后续帧的未触发的预测相区分。而且，当与预测轨迹相关联的不确定性变得过高时(例如超过预定阈值)，则可以向用户提供警报。
在方框S419中，确定是否继续对解剖结构中的介入设备的导航。可以例如在要例如经由用户接口接收未触发的控制输入时或尚未到达所显示的图像中的预定目标时进行该确定。当确定导航继续时(方框S419：是)，过程返回到方框S413，其中，接收额外的未触发的控制输入，以控制机器人，所述机器人用于引导介入设备的未来移动。然后重复方框S414到S419，以形成控制环路，用于使用机器人交互地引导介入设备。当确定导航继续时(方框S419：是)，过程返回。当确定导航不继续时(方框S419：否)，过程结束。
图5是根据另一代表性实施例的确定并在包括GUI的显示器上对机器人控制的介入设备的轨迹进行可视化的方法的流程图。例如，所述方法可以在运行存储器130中存储的指令的处理器120的控制下由上文讨论的系统100实施。在图5的实施例中，可以估计介入设备的轨迹，而无需使用预测模型，由此避免对神经网络的训练和应用。
参考图5，所述方法包括在方框S511中接收来自解剖结构的先前获得的图像(例如来自先前图像模块133)的先前图像数据。先前图像示出在较早时间处对象中的介入设备和解剖结构。例如，先前图像可以示出时间t＝0处的介入设备，而介入设备当前在时间t＝n处，其中n>0。
在方框S512中，根据先前图像数据确定介入设备的先前位置数据。先前位置数据提供在先前图像中的介入设备的先前位置和轨迹。例如，可以通过将已知的分割技术应用于先前图像来确定先前位置数据。具体地，可以通过将先前图像中的介入设备的先前位置与介入设备的较早图像进行比较来确定介入设备的轨迹。这里，先前位置描述在先前图像的背景中介入设备如何被定位，提供针对介入设备的空间背景。先前轨迹描述设备如何在多个先前图像上移动，提供针对介入设备的时间背景。
在方框S513中，经由控制输入模块(例如控制输入模块132)接收控制输入，以控制机器人引导介入设备从先前位置的移动。控制输入包括用户输入和机器人系统的状态信息。控制输入可以是触发的控制输入，其产生介入设备的实际移动。
在方框S514中，通过将接收到的控制输入应用于来自先前图像的先前位置数据来计算介入设备的位移。位移是从在由先前位置数据提供的先前位置中的介入设备的位置到根据控制输入的位移位置。
在方框S515中，使用对先前图像的先前图像校准将所计算的介入设备的位移转换到图像坐标。例如，在可以使用不涉及在图像空间中分割介入设备以提供位置或/或轨迹信息的某种技术来跟踪介入设备的情况下，跟踪数据可以在与图像数据相比不同的坐标空间中，因此需要校准。然而，校准信息可以用于后续图像。
在方框S516中，基于位移的图像坐标来显示介入设备的当前轨迹。显示被叠加在所显示的先前图像上的当前轨迹。以此方式，介入设备沿当前轨迹的移动被示于先前图像上，从而在介入过程期间不需要额外的成像。
图6是根据另一代表性实施例的通过调节在包括GUI的显示器上可视化的介入设备的轨迹来控制机器人控制的介入设备的方法的流程图。所述方法可以例如在运行存储器130中存储的指令的处理器120的控制下由上文讨论的系统100来实施。图6中所示的实施例实质上与图4中所示实施例相反，其中响应于由用户调节显示器上显示的轨迹的指令由机器人控制器自动控制机器人。
参考图6，所述方法包括在方框S611中接收预测模型，例如神经网络模型。预测模型已经经过关于确定用于控制机器人引导介入设备沿给定的预测轨迹的控制输入的训练。训练可以基于来自介入设备的先前图像的训练数据以及对机器人的对应控制输入，所述机器人用于引导如在先前图像中示出的介入设备的移动。训练可以进一步基于来自介入设备的当前图像的训练数据以及对机器人的对应控制输入，所述机器人用于引导如在当前图像中示出的介入设备的移动。
图7是示出根据代表性实施例的训练编码器-解码器神经网络架构的范例实施方式的简化框图。编码器-解码器神经网络架构可以类似于上文参考图3描述的神经网络，其中，当前图像被输入到神经网络的编码器部分，其生成输入图像的减小维度的潜在表示。潜在表示额外地用于估计未触发的控制输入，其然后可以被应用于潜在表示，以产生经变换的潜在表示。经变换的潜在表示可以被解码，以如前所述地生成包含介入设备的预测轨迹的预测图像。
参考图7，训练图像711可以用作基准真值图像，估计的控制输入已经被应用于所述基准真值图像。在神经网络的训练期间，可以将预测图像712与训练图像711进行比较，例如预测图像712产生于所估计的控制输入在介入设备的当前位置上的应用。可以使用损失函数720来执行比较，如上文讨论的，并且损失用于执行梯度下降，以在多次迭代上更新神经网络参数，以便使所计算的损失函数最小化。当对应控制输入已知时，则也可以将所估计的控制输入与已知或基准真值对应控制输入进行比较。两种比较都可以使用损失函数720来执行，如上文讨论的，并且损失的组合(例如平均或加权平均)用于执行梯度下降，以在多次迭代上更新神经网络参数，以便使所计算的损失函数最小化。
例如，在推断期间，当未来图像或控制输入未知时，可以由用户通过在GUI上绘制期望轨迹来指定介入设备的期望未来轨迹。可以在推断期间微调所估计的控制输入以及通过计算经变换的潜在表示并对其进行解码，以生成包含介入设备的预测轨迹的预测图像，并将其与设备的用户指定的期望未来轨迹进行比较。可以使用如上所述的损失函数来执行比较，并且损失可以用于执行如上所述的梯度下降。
图8是示出根据代表性实施例的训练编码器-解码器神经网络架构的另一范例实施方式的简化框图。参考图8，当前图像812和包含介入设备的期望未来轨迹的图像811(例如，如由用户在GUI上绘制指示的)两者都可以被输入到神经网络(例如作为单独通道)中，所述神经网络直接估计将当前图像中的介入设备变换到期望未来轨迹的未触发的控制输入。在该实施方式中，在使用经训练的网络的推断期间不需要微调。在神经网络的训练期间，将所估计的控制输入与已知或基准真值对应控制输入C进行比较。如上所述地执行比较和梯度下降。
再次参考图6，在方框S612中，从解剖结构的当前图像(例如来自当前图像模块131)接收当前图像数据。当前图像示出例如由成像设备160获得的对象中的解剖结构，以及介入设备在解剖结构内的当前位置。
在方框S613中，显示被叠加在当前图像上的介入设备的预测轨迹。通过将当前图像数据和当前控制输入应用于经训练的预测模型来预测介入设备的预测轨迹，如上文讨论的。连同预测轨迹一起，经训练的预测模型还可以提供与预测轨迹相关联的估计的不确定性，其也可以被显示。
在方框S614中，接收来自用户的指令，以将所显示的预测轨迹调节到期望位置。例如，GUI可以包括触摸屏，其使得用户能够在显示器屏幕上将预测轨迹拖拽到期望位置。或者，作为另一范例，用户可以使用鼠标点击并将预测轨迹拖拽到期望位置。
在方框S615中，通过将期望位置中的预测轨迹的图像坐标应用于预测模型来确定对应于预测轨迹的期望位置的控制输入，如上所述。
在方框S616中，所确定的控制输入被提供到机器人控制器，其响应于所确定的控制输入来自动控制机器人沿期望的预测轨迹引导介入设备。
在各个实施例中，预测模型可以使用不同架构的编码器-解码器神经网络模型来实现，例如，其可以包含卷积层和LSTM块。一般地，当前图像数据被输入到编码器-解码器神经网络模型的编码器部分中，其生成输入图像的减小维度的潜在表示。未触发的控制输入可以被输入到编码器部分中或被应用于潜在表示，以产生经变换的潜在表示。经编码的图像数据和(经编码的)控制输入可以使用编码器-解码器神经网络模型的解码器部分来解码，以生成包含介入设备的预测轨迹的预测图像。
在此背景中，图9是根据代表性实施例的被配置为利用维度保持架构来预测设备轨迹的编码器-解码器神经网络模型的简化框图，其中，图像数据和控制输入被输入到编码器部分。图10是根据代表性实施例的被配置为利用维度变化架构来预测设备轨迹的编码器-解码器神经网络模型的简化框图，其中，图像数据被输入到编码器部分，并且在图像数据的编码之后输入控制输入。
参考图9，编码器-解码器神经网络模型900包括编码器910、解码器920以及在编码器910与解码器920之间的潜在状态905。编码器910包括LSTM块911、912和913，并且解码器920包括LSTM块921、922和923，它们全部都被配置为捕获时间相关性。编码器-解码器神经网络模型900因此可以被称作LSTM神经网络模型。编码器-解码器神经网络模型900被称作维度保持，这是因为LSTM块911-913和LSTM块921-923中的每一之后的特征层具有与输入数据相同的尺寸，由匹配的块形状指示。当然，LSTM块911-913和921-923的功能可以由其他类型的神经网络提供，例如RNN、卷积神经网络(CNN)或变换器，而不偏离本教导的范围。
如图所示，编码器910在输入级处接收示出解剖结构中的介入设备的图像数据(ID)(例如先前图像数据)和要提供给机器人用于引导介入设备的移动的对应控制输入(CI)(例如先前和/或当前控制输入)两者，作为输入。亦即，图像数据和对应控制输入在神经网络模型的最早层被融合到一起或组合。潜在状态905指示在对全部图像数据和对应控制输入进行编码之后的隐藏消息。解码器920对潜在状态下的数据进行解码，以转换所编码的图像数据和控制输入，以确定介入设备的预测轨迹，从编码器-解码器神经网络模型900输出预测轨迹。多幅图像中的每幅的图像数据和对应于该图像数据的控制输入被输入到编码器910中的LSTM块911-913。关于解码器920中的LSTM块921-923，经解码的数据从先前LSTM块连续输入，并连续输出到下一LSTM块。
参考图10，编码器-解码器神经网络模型1000包括编码器1010、解码器1020以及在编码器1010与解码器1020之间的潜在状态1005。编码器-解码器神经网络模型1000还包括完全连接层1030、LSTM编码器1040和组合器1045。编码器1010包括LSTM块1011、1012和1013，并且解码器1020包括LSTM块1021、1022和1023。编码器-解码器神经网络模型1000因此可以被称作LSTM神经网络模型。编码器-解码器神经网络模型1000被称作维度变化，这是因为输入数据的维度在编码器1010中逐渐减小，直到到达瓶颈层，由LSTM块1011-1013中的每个的从下到上逐渐变窄的维度指示。相反，潜在状态数据的维度从解码器1020中的瓶颈层逐渐增大回到原始输入维度，由LSTM块1021-1023中的每个的从下到上逐渐加宽的维度指示。
如图所示，编码器1010仅在输入级处接收示出解剖结构的图像数据(ID)(例如先前图像数据)，作为输入，其中，介入设备也可以在图像数据中可见。潜在状态1005指示在由编码器1010对全部图像数据进行编码之后的隐藏消息。对应于图像数据的控制输入(CI)(例如先前控制输入)被输入到完全连接层1030。(一个或多个)完全连接层被配置为将线性和非线性权重应用于机器人控制输入。在该情况下，(一个或多个)完全连接层允许机器人控制数据转换到可以在潜在层处与图像数据合并的表示，并补偿图像与机器人控制数据之间的维度不匹配。完全连接层1030的输出被输入到LSTM编码器1040，LSTM编码器1040被配置为捕获时间相关性，类似于上文讨论的编码器1010，尽管没有卷积层。组合器1045将LSTM编码器1040的输出与编码器1010之后的潜在状态下的数据组合，并将组合输入到解码器1020。在备选实施例中，将控制输入与由解码器1020的解码的不同阶段的潜在状态下的数据进行组合，如由来自LSTM编码器1040的虚线箭头指示的。这允许编码器-解码器神经网络模型1000以各种尺度和步长学习机器人控制与图像数据之间的相关性，产生更准确的预测。
解码器1020对潜在状态下的数据进行迭代解码，以转换组合的编码图像数据和控制输入，以确定介入设备的预测轨迹，从编码器-解码器神经网络模型1000输出所述预测轨迹。针对多幅图像中的每幅的图像数据和对应于该图像数据的控制输入被输入到编码器1010中的LSTM块1011-1013。关于解码器1020中的LSTM块1021-1023，解码数据从先前LSTM块连续输入，并连续输出到下一LSTM块。
在上文讨论的实施例中，使用在介入过程期间连续采集的当前实际图像(例如X射线图像、实况荧光透视图像)针对未来确定预测轨迹。然而，在备选实施例中，图像是不连续地采集的(例如以低的帧率周期性地或间歇性地)，该情况下，将需要执行对介入设备的导航，而在图像采集之间的时期期间无实际图像。亦即，当不连续地采集图像时，存在其间机器人移动解剖结构内的介入设备而没有来自成像设备的新的传入图像数据的时间段。为了解决该情况，备选实施提供对介入设备的轨迹的预测，尽管该预测基于先前图像数据对当前轨迹和/或位置的预测，与基于当前图像数据对未来轨迹和/或位置的预测相反。在该情况下，用于控制机器人引导介入设备的控制输入不是未触发的，如在其先前实施例中那样，而是被触发和应用，以移动介入设备直到当前时间。
图11是根据代表性实施例的使用不连续成像来估计和可视化机器人控制的介入设备的轨迹的方法的流程图。例如，所述方法可以在运行被存储为存储器130中的各个软件模块的指令的处理器120的控制下由上文讨论的系统100实现。在图11的实施例中，可以使用神经网络模型根据当前图像来估计介入设备的轨迹，由此经由机器人对介入设备连续导航，而不更新图像。
参考图11，所述方法包括在方框S1111中接收预测模型，其中，预测模型先前已经经过关于预测介入设备的轨迹和相关联的不确定性的训练。例如，预测模型可以是神经网络模型。训练可以基于来自介入设备的先前图像的训练数据和对机器人的对应控制输入，所述机器人用于引导如在先前图像中示出的介入设备的移动。训练可以进一步基于来自介入设备的当前图像的训练数据和对机器人的对应控制输入，所述机器人用于引导如在当前图像中示出的介入设备的移动。
在方框S1112中，从医学成像设备(例如成像设备160)接收来自当前图像(例如来自当前图像模块131)的当前图像数据，其中，当前图像被显示在显示器(例如显示器124)上。当前图像示出对象中的介入设备和解剖结构。
在方框S1113中，根据当前图像数据确定介入设备的当前位置数据。例如，可以通过将已知的图像分析/处理技术应用于当前图像来确定当前位置数据。当前位置数据指示介入设备如何被定位在当前图像的背景中，提供针对介入设备的空间背景。
在方框S1114中，使用来自机器人系统的机器人数据来确定机器人的当前控制和状态数据。机器人数据指示机器人在控制介入设备时的位置和取向，并且可以包括例如运动学数据、关节信息、编码器信息、速度、加速度、末端执行器位置、力、扭矩和/或范围和限制。机器人的当前控制和状态数据可以与介入设备的位置数据相关联，以确定当介入设备处于其当前位置时机器人的位置。
在方框S1115中，经由控制输入模块(例如控制输入模块132)接收控制输入，以控制机器人引导介入设备从当前位置的移动。控制输入包括用户输入和机器人系统的状态信息。控制输入是产生介入设备的实际移动的经触发的控制输入，并且旨在导航介入设备通过解剖结构。用户输入可以产生自由用户对一个或多个接口设备(例如鼠标、键盘、轨迹球、操纵杆、麦克风、摄像机、触摸板、触摸屏)的移动。
在方框S1116中，通过将当前图像数据和控制输入应用于经训练的预测模型来预测当前图像中的介入设备相对于介入设备的当前位置数据的轨迹。经训练的预测模型还可以估计与预测轨迹相关联的不确定性，如上文讨论的。在实施例中，控制输入、预测轨迹和相关联的不确定性可以用于进一步联机训练预测模型。
在方框S1117中，在显示器上显示被叠加在当前图像上的介入设备的预测轨迹。由于当前图像尚未被更新，因此假设介入设备的实际轨迹遵循所显示的预测轨迹，即使用户不能看到介入设备的实际位置。用户可以实时调节用户输入以根据需要改变预测轨迹的路线，以维持介入设备相对于所显示的当前图像的安全导航。在实施例中，也可以显示被叠加在当前图像上的与预测轨迹相关联的估计的不确定性。
在方框S1118中，确定是否已经从医学成像设备接收到来自新采集的当前图像的新的当前图像数据，其中，新的当前图像示出在对象的解剖结构内的新的(更新的)位置中的介入设备。当已经接收到新的当前图像数据时(框S1118：是)，将新的当前图像显示在显示器上，并且过程返回到方框S1113，以确定介入设备在其新位置处的新的当前位置数据。然后基于新的当前位置数据重复方框S1114至S1118。当尚未接收到新的当前图像数据时(方框S1118：否)，介入设备和解剖结构的相同的当前图像继续被显示，并且过程返回到方框S1114，以确定机器人的更新的当前控制和状态数据。然后重复方框S1115至S1118。介入的预测轨迹可以改变，以反映对用户输入的任何改变。
根据本公开的各个实施例，本文描述的方法可以使用运行存储在非瞬态存储介质上的软件程序的硬件计算机系统来实现。另外，在示范性、非限制性实施例中，实现可以包括分布式处理、部件/目标分布式处理和并行处理。虚拟计算机系统处理可以实现如本文描述的方法或功能中的一个或多个，并且本文描述的处理器可以被用于支持虚拟处理环境。
尽管已经参考示范性实施例描述了估计和在显示器上可视化机器人控制的介入设备的轨迹，但应理解，已经使用的词语是描述和说明的词语，而非限制的词语。可以在所附权利要求的范围内进行改变，如目前所记载和修改的，而不脱离实施例的范围和精神。尽管已经参考特定装置、材料和实施例描述了估计和在显示器上对机器人控制的介入设备的轨迹进行可视化，但并意图被限制到所公开的细节；相反，估计和在显示器上对机器人控制的介入设备的轨迹进行可视化扩展到例如在所附权利要求的范围内的全部功能等同的结构、方法和用途。
对本文描述的实施例的说明意图提供对各个实施例的结构的一般理解。这些说明不意图用作对本文描述的本公开的全部元素和特征的完整描述。在阅读本公开之后，许多其他实施例对于本领域技术人员而言可能是明显的。可以利用其他实施例并从本公开得出其他实施例，使得可以在不偏离本公开的范围的情况下进行结构和逻辑替换和改变。额外地，图示仅为代表性的，并且可以不按比例绘制。图示内的某些比例可能被夸大，而其他比例可能被最小化。因此，本公开和附图被认为是说明性的而非限制性的。
本公开的一个或多个实施例在本文中可以单独地和/或共同地由术语“发明”来指代，这仅是为了方便起见而不意图自主地将本申请的范围限制到任意特定的发明或发明构思。而且，尽管本文已经图示和描述了具体实施例，但应理解，被设计为实现相同或相似目的的任意后续布置可以代替所示的具体实施例。本公开意图覆盖各个实施例的任意及全部后续改编或变化。在阅读说明书后，上述实施例的组合以及本文未具体描述的其他实施例对于本领域技术人员而言将是明显的。
提供本公开的摘要以符合37C.F.R.§1.72(b)并且提交时应理解其将不用于解释或限制权利要求的范围或含义。此外，在前述具体实施方式中，出于精简本公开的目的，可以将各个特征分组在一起或在单个实施例中进行描述。本公开不应被解释为反映要求保护的实施例需要比每个权利要求中明确记载的特征更多特征的意图。相反，如权利要求所反映的，发明主题可以涉及少于任意所公开实施例的全部特征。因此，权利要求被并入具体实施方式中，其中每个权利要求独立地定义了单独要求保护的主题。
提供对所公开实施例的前述描述以使本领域技术人员能够实践本公开中描述的概念。如此，以上公开的主题应被认为是说明性的而非限制性的，并且所附权利要求意图覆盖落入本公开的真实精神和范围内的全部这样的修改、增强和其他实施例。因此，在法律允许的最大程度上，本公开的范围由所附权利要求及其等同的最宽泛允许解释来确定，并且不应受前述详细描述的约束或限制。

Claims (37)

1.一种用于估计和可视化介入设备的轨迹的系统，所述介入设备由机器人引导并被配置用于插入对象的解剖结构，所述系统包括：
至少一个处理器；以及
非瞬态存储器，其用于存储机器可执行指令，所述机器可执行指令在由所述至少一个处理器运行时，使所述至少一个处理器：
接收来自所述解剖结构的当前图像的图像数据，所述当前图像示出所述介入设备相对于所述解剖结构的当前位置；
接收至少一个未触发的控制输入，所述至少一个控制输入用于控制所述机器人引导所述介入设备从所述当前位置的未来移动；
通过将所述图像数据和所述至少一个未触发的控制输入提供到模型，预测在所述当前图像中所述介入设备的至少一条轨迹，其中，所述模型被配置为基于所述解剖结构中的所述介入设备的图像数据的第一输入并基于对所述机器人的对应控制输入的第二输入来预测所述介入设备的轨迹，所述机器人用于引导如在所述第一输入的所述图像数据中示出的所述介入设备的移动；以及
提供触发命令，所述触发命令用于触发至少一个未触发的控制输入，以根据至少一个所触发的控制输入控制所述机器人引导所述介入设备的移动。
2.如权利要求1所述的系统，其中，所运行的指令还使所述至少一个处理器：
自动确定预测轨迹是否可接受，其中，在所述预测轨迹被确定为可接受时提供所述触发命令。
3.如权利要求2所述的系统，其中，自动确定所述预测轨迹是否可接受包括：
捕获所述预测轨迹的形状以提供分割的预测轨迹；
将所述分割的预测轨迹与预定期望轨迹进行比较；以及
当所述分割的预测轨迹基本匹配所述预定期望轨迹时，确定所述预测轨迹可接受。
4.如权利要求2所述的系统，其中，自动确定预测轨迹是否可接受包括：
捕获所述预测轨迹的形状，以提供分割的预测轨迹；
将所述分割的预测轨迹与预定规则集进行比较，所述预定规则集用于导航所述介入设备通过所述解剖结构；以及
当所述分割的预测轨迹基本匹配所述预定规则集时，确定所述预测轨迹可接受。
5.如权利要求1或2所述的系统，其中，所运行的指令还使所述至少一个处理器：
提供被配置用于允许用户发送所述触发命令的用户接口。
6.如权利要求5所述的系统，其中，所述用户接口还被配置为提供关于至少一条预测轨迹的用户信息，以辅助所述用户决定预测轨迹是否可接受，并由此辅助所述用户提供所述触发命令。
7.如前述权利要求中的任一项所述的系统，其中，所运行的指令还使所述至少一个处理器：
在未提供所述触发命令时，提供至少一个新的未触发的控制输入，所述至少一个新的未触发的控制输入用于控制所述机器人备选地引导所述介入设备从所述当前位置的所述未来移动。
8.如前述权利要求中的任一项所述的系统，其中，所述模型为经训练的模型，所述经训练的模型被配置为基于来自所述解剖结构中的所述介入设备的先前图像的训练数据和对所述机器人的对应控制输入，预测所述介入设备的轨迹，所述机器人用于引导如在所述先前图像中示出的所述介入设备的移动。
9.如前述权利要求中的任一项所述的系统，其中，所运行的指令还使所述至少一个处理器：
基于来自所述解剖结构中的所述介入设备的先前图像和所接收的图像数据中的至少一个的训练数据以及对应于所述先前图像的先前控制输入和对所述机器人的所述至少一个未触发的控制输入中的至少一个来执行对所述模型关于预测所述介入设备的轨迹的训练，所述机器人用于引导如所述先前图像中示出的所述介入设备的移动。
10.如前述权利要求中的任一项所述的系统，其中，所述模型为卷积长短期记忆(LSTM)神经网络模型。
11.如权利要求10所述的系统，其中，所述LSTM神经网络模型被配置有维度保持架构，以预测所述介入设备的所述至少一条轨迹，其中，所述图像数据的所述第一输入和所述对应控制输入的所述第二输入在所述LSTM神经网络模型的编码器的最早层处被组合。
12.如权利要求10所述的系统，其中，所述LSTM神经网络模型被配置有维度变化架构，以预测所述介入设备的所述至少一条轨迹，其中，所述图像数据的所述第一输入是在所述LSTM神经网络模型的编码器的最早层处的输入，并且所述对应控制输入的所述第二输入是在所述LSTM神经网络模型的所述编码器和解码器之间的潜在状态处或之后的输入。
13.如前述权利要求中的任一项所述的系统，其中，所述模型还被配置为进一步基于在所述第一输入的所述图像数据中示出的所述介入设备的形状数据的输入来预测所述介入设备的轨迹。
14.如前述权利要求中的任一项所述的系统，其中，所述模型还被配置为在所述介入设备移动时处理成像数据的时间序列，使得随时间逐渐预测所述轨迹。
15.如前述权利要求中的任一项所述的系统，其中，所运行的指令还使得所述至少一个处理器使用所述模型来估计至少一条预测轨迹的不确定性，并且连同被叠加在所述解剖结构的所述当前图像上的所述至少一条预测轨迹来显示所估计的不确定性。
16.如前述权利要求中的任一项所述的系统，其中，所运行的指令还使得所述至少一个处理器：
为用户显示被叠加在所述解剖结构的所述当前图像上的所述介入设备的所述至少一条预测轨迹，以确定所述至少一条预测轨迹是否可接受。
17.如权利要求15或16所述的系统，其中，所运行的指令还使得所述至少一个处理器将所述至少一条预测轨迹显示为中心线，并将所估计的不确定性显示为以下中的任一种：定义沿所述预测轨迹的所述中心线的裕度的外线，定义沿所述预测轨迹的所述中心线的裕度的颜色编码像素。
18.如前述权利要求中的任一项所述的系统，其中，所运行的指令还使得所述至少一个处理器：
在触发所述未触发的输入之后，接收来自所述解剖结构的额外图像的额外图像数据；以及
在触发所述未触发的控制输入之后，连同所述预测轨迹，显示被叠加在所述当前图像上的所述介入设备的实际轨迹。
19.如前述权利要求中的任一项所述的系统，还包括：
机器人控制器，其被配置为使得能够根据所述至少一个所触发的控制输入来控制所述机器人。
20.一种用于估计和可视化介入设备的轨迹的系统，所述介入设备由机器人引导并被配置用于插入对象的解剖结构，所述系统包括：
至少一个处理器；以及
非瞬态存储器，其用于存储机器可执行指令，所述机器可执行指令在由所述至少一个处理器运行时，使得所述至少一个处理器：
接收模型，所述模型被配置为基于来自所述解剖结构中的所述介入设备的图像的数据和对所述机器人的对应控制输入来预测所述介入设备的轨迹，所述机器人用于引导如所述图像中示出的所述介入设备的移动；
接收来自所述解剖结构的当前图像的图像数据，所述当前图像示出所述介入设备相对于所述解剖结构的当前位置；
接收未触发的控制输入，所述未触发的控制输入用于控制所述机器人引导所述介入设备从所述当前位置的未来移动；
通过将所述图像数据和所述未触发的控制输入应用于所述模型来预测所述介入设备的轨迹；
为用户显示被叠加在所述解剖结构的所述当前图像上的所述介入设备的预期轨迹，以确定所述预测轨迹是否可接受；
在所述预测轨迹被确定为可接受时，接收触发命令，所述触发命令用于触发所述未触发的控制输入以根据所触发的控制输入来控制所述机器人引导所述介入设备的移动；以及
在所述预测轨迹被确定为不可接受时，接收新的未触发的控制输入，所述新的未触发的控制输入用于控制所述机器人备选地引导所述介入设备从所述当前位置的所述未来移动。
21.如权利要求20所述的系统，其中，所运行的指令还使得所述至少一个处理器基于来自所述解剖结构中的所述介入设备的先前图像的训练数据和对所述机器人的对应控制输入来执行对所述模型关于预测所述介入设备的轨迹的训练，所述机器人用于引导如在所述先前图像中示出的所述介入设备的移动。
22.如权利要求20或21所述的系统，其中，所述模型是神经网络模型，所述神经网络模型是基于来自所述解剖结构中的所述介入设备的先前图像的训练数据和对所述机器人的对应控制输入来关于预测所述介入设备的轨迹进行训练的，所述机器人用于引导如在这些图像中示出的所述介入设备的移动。
23.如权利要求20所述的系统，其中，所运行的指令还使得所述至少一个处理器：
通过将所述图像数据和所述新的未触发的控制输入应用于所述模型来预测所述当前图像中的所述介入设备的备选轨迹；
为所述用户显示被叠加在所述解剖结构的所述当前图像上的所述介入设备的备选预测轨迹，以确定所述备选预测轨迹是否可接受；以及
接收触发命令，所述触发命令用于触发所述新的未触发的控制输入以根据所触发的控制输入来控制所述机器人引导所述介入设备的移动。
24.如权利要求20至23中的任一项所述的系统，其中，所运行的指令还使所述至少一个处理器通过将所述预测轨迹匹配到所述介入设备的期望轨迹来额外地自动确定所述预测轨迹的可接受性。
25.如权利要求20至24中的任一项所述的系统，还包括：
成像系统，其被配置为采集所述解剖结构的所述当前图像，并将来自所述当前图像的所述图像数据提供到所述至少一个处理器；以及
机器人控制器，其被配置为使得能够根据所触发的控制输入来控制所述机器人。
26.如权利要求20至24中的任一项所述的系统，其中，所运行的指令还使所述至少一个处理器使用所述模型来估计所述预测轨迹的不确定性，并且连同被叠加在所述解剖结构的所述当前图像上的所述预测轨迹来显示所估计的不确定性。
27.如权利要求26所述的系统，其中，所运行的指令还使所述至少一个处理器将所述预测轨迹显示为中心线，并将所估计的不确定性显示为定义沿所述预测轨迹的所述中心线的裕度的外线。
28.如权利要求26所述的系统，其中，所运行的指令还使所述至少一个处理器将所述预测轨迹显示为中心线，并将所估计的不确定性显示为定义沿所述预测轨迹的所述中心线的裕度的颜色编码像素。
29.如权利要求21或26所述的系统，其中，执行对所述模型的所述训练包括应用用于估计所述预测轨迹的所述不确定性的丢弃算法。
30.如权利要求20至29中的任一项所述的系统，其中，所运行的指令还使所述至少一个处理器：
在触发所述未触发的输入之后，接收来自所述解剖结构的额外图像的额外图像数据；以及
在触发所述未触发的控制输入之后，将所述介入设备的实际轨迹连同预测轨迹显示为被叠加在所述当前图像上。
31.如权利要求20至30中的任一项所述的系统，其中，所运行的指令还使所述至少一个处理器：
在控制所述介入设备的当前移动的同时，接收来自所述解剖结构的额外图像的额外图像数据；以及
在控制所述介入设备的所述当前移动的同时，显示被叠加在所述额外图像上的所述介入设备的实际轨迹。
32.如权利要求21所述的系统，其中，执行对所述模型关于预测所述轨迹的所述训练包括无监督训练。。
33.一种估计和可视化介入设备的轨迹的方法，所述介入设备由机器人引导并被配置用于插入对象的解剖结构，所述方法包括：
基于来自所述介入设备的先前图像的训练数据和对所述机器人的对应控制输入来执行对神经网络模型关于预测所述介入设备的轨迹的训练，所述机器人用于引导如在所述先前图像中示出的所述介入设备的移动；
接收来自所述解剖结构的至少一幅图像的图像数据，所述至少一幅图像示出所述介入设备相对于所述解剖结构的当前位置；
接收未触发的控制输入，所述未触发的控制输入用于控制所述机器人引导所述介入设备从所述当前位置的未来移动；
通过将所述图像数据和所述未触发的控制输入应用于经训练的神经网络模型来预测所述至少一幅图像中的所述介入设备的轨迹；
显示被叠加在所述解剖结构的所述至少一幅图像上的所述介入设备的预测轨迹；
在所述预测轨迹被确定为可接受时，触发所述未触发的控制输入，以根据所触发的控制输入来控制所述机器人引导所述介入设备的移动；以及
在所述预测轨迹被确定为不可接受时，接收新的未触发的控制输入，所述新的未触发的控制输入用于控制所述机器人备选地引导所述介入设备从所述当前位置的所述未来移动。
34.如权利要求33所述的方法，还包括：
通过将所述图像数据和所述新的未触发的控制输入应用于经训练的神经网络模型来预测所述至少一幅图像中的所述介入设备的备选轨迹；
显示被叠加在所述解剖结构的所述至少一幅图像上的所述介入设备的备选预测轨迹；以及
触发所述新的未触发的控制输入，以根据所触发的控制输入来控制所述机器人引导所述介入设备的移动。
35.如权利要求33所述的方法，其中，所述预测轨迹被显示为中心线，并且所述预测轨迹的估计的不确定性被显示为定义沿所述预测轨迹的所述中心线的裕度的外线。
36.一种包括指令的计算机程序产品，当所述指令在处理器上被运行时，使得所述处理器执行如权利要求33所述的方法的步骤。
37.一种用于估计和可视化介入设备的轨迹的系统，所述介入设备由机器人引导并被配置为插入对象的解剖结构，所述系统包括：
至少一个处理器；以及
非瞬态存储器，其用于存储机器可执行指令，所述机器可执行指令在由所述至少一个处理器运行时，使所述至少一个处理器：
接收模型，所述模型被配置为基于来自所述解剖结构中所述介入设备的图像的数据和对所述机器人的对应控制输入来预测所述介入设备的轨迹，所述机器人用于引导如所述图像中示出的所述介入设备的移动；
接收来自所述解剖结构的当前图像的图像数据，所述当前图像示出所述介入设备相对于所述解剖结构的当前位置，其中，不连续地采集所述图像数据；
根据所述图像数据来确定所述介入设备的当前位置数据；
使用来自用于控制所述机器人的机器人系统的机器人数据来确定所述机器人的当前控制和状态数据；
接收触发的控制输入，所述触发的控制输入用于控制所述机器人引导所述介入设备从所述当前位置的当前移动；
通过将所述图像数据和所述触发的控制输入应用于所述模型来预测所述当前图像中的所述介入设备的轨迹；
显示被叠加在所述解剖结构的所述当前图像上的所述介入设备的预测轨迹，以在无需接收额外的图像数据的情况下指示所述介入设备的实际轨迹；
确定是否已接收新的当前图像的新的图像数据；以及
在已接收新的图像数据时，根据所述新的图像数据来确定所述介入设备的新的当前位置数据，并使用来自用于控制所述机器人的机器人系统的机器人数据来确定所述机器人的新的当前控制和状态数据，以及重复接收触发的控制输入，以控制所述机器人引导所述介入设备从所述新的当前位置的当前移动的，以及，通过将所述新的图像数据和所述触发的控制输入应用于所述模型来预测所述新的当前图像中的所述介入设备的轨迹。
CN202280083283.3A 2021-12-16 2022-12-08 用于估计和可视化机器人控制的介入设备的轨迹的系统和方法 Pending CN118401192A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163290117P 2021-12-16 2021-12-16
US63/290,117 2021-12-16
EP22158160.6 2022-02-23
PCT/EP2022/084886 WO2023110598A1 (en) 2021-12-16 2022-12-08 System and method for estimating and visualizing trajectories of robotically controlled interventional device

Publications (1)

Publication Number Publication Date
CN118401192A true CN118401192A (zh) 2024-07-26

Family

ID=80953433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280083283.3A Pending CN118401192A (zh) 2021-12-16 2022-12-08 用于估计和可视化机器人控制的介入设备的轨迹的系统和方法

Country Status (2)

Country Link
EP (1) EP4197476A1 (zh)
CN (1) CN118401192A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3383305A1 (en) * 2015-12-04 2018-10-10 Koninklijke Philips N.V. System and workflow for grid-less transperineal prostate interventions
CN113490465A (zh) * 2019-02-28 2021-10-08 皇家飞利浦有限公司 用于机器学习模型的训练数据收集
US11707255B2 (en) * 2019-04-02 2023-07-25 Siemens Medical Solutions Usa, Inc. Image-based probe positioning

Also Published As

Publication number Publication date
EP4197476A1 (en) 2023-06-21

Similar Documents

Publication Publication Date Title
US11657331B2 (en) Guiding medically invasive devices with radiation absorbing markers via image processing
US20210012514A1 (en) Dilated Fully Convolutional Network for 2D/3D Medical Image Registration
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8792963B2 (en) Methods of determining tissue distances using both kinematic robotic tool position information and image-derived position information
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
Sganga et al. Offsetnet: Deep learning for localization in the lung using rendered images
WO2009045827A2 (en) Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
CN114072838A (zh) 根据2d医学图像进行3d血管中心线重建
Zhao et al. Surgical GAN: Towards real-time path planning for passive flexible tools in endovascular surgeries
Rosell et al. Motion planning for the virtual bronchoscopy
Pore et al. Colonoscopy navigation using end-to-end deep visuomotor control: A user study
van der Stap et al. Image-based navigation for a robotized flexible endoscope
EP4186455A1 (en) Risk management for robotic catheter navigation systems
US20150342556A1 (en) Interventional system
US20220202501A1 (en) Real-time correction of regional tissue deformation during endoscopy procedure
CN118401192A (zh) 用于估计和可视化机器人控制的介入设备的轨迹的系统和方法
US20240045404A1 (en) Predictive motion mapping for flexible devices
WO2023110598A1 (en) System and method for estimating and visualizing trajectories of robotically controlled interventional device
EP4016455A1 (en) Predictive motion mapping for flexible devices
EP4275644A1 (en) System and method for aligning movement direction of interventional device in image and control direction of commands entered by user
WO2023161145A1 (en) System and method for aligning movement direction of interventional device in image and control direction of commands entered by user
Imaizumi et al. Deep learning based 3-dimensional liver motion estimation using 2-dimensional ultrasound images
CN118215446A (zh) 利用荧光透视反馈控制机器人血管内设备与目标血管对准
Schell Vision-based guidance for robot assisted endovascular intervention
Liu et al. Auxiliary Input in Training: Incorporating Catheter Features into Deep Learning Models for ECG-Free Dynamic Coronary Roadmapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication