CN114828754A - 对tee探头的混合式机器人图像平面控制 - Google Patents

对tee探头的混合式机器人图像平面控制 Download PDF

Info

Publication number
CN114828754A
CN114828754A CN202080086144.7A CN202080086144A CN114828754A CN 114828754 A CN114828754 A CN 114828754A CN 202080086144 A CN202080086144 A CN 202080086144A CN 114828754 A CN114828754 A CN 114828754A
Authority
CN
China
Prior art keywords
target
probe
fov
electronic processor
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080086144.7A
Other languages
English (en)
Inventor
P·西恩帕波
S·J·凯恩
M·L·弗莱克斯曼
A·K·贾殷
李思博
K·维迪雅
M·A·巴利茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114828754A publication Critical patent/CN114828754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/445—Details of catheter construction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Cardiology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

下文总体上涉及经食道超声心动描记(TEE)自动化的系统和方法。一些方面涉及TEE探头，TEE探头具有在TEE探头的远端上的超声换能器。在一些实施方式中，如果目标在超声换能器的视场(FOV)中，则调整探头的电子束转向；如果目标在FOV的边缘处，则既调整探头的电子束转向又调整探头的机械关节；并且如果目标不在FOV中，则仅调整探头的机械关节。

Description

对TEE探头的混合式机器人图像平面控制
技术领域
下文总体上涉及经食道超声心动描记(TEE)的系统和方法。
背景技术
经食道超声心动描记(TEE)是一种用于心脏超声成像的方法，其中，超声(US)探头包括柔性管状线缆，其中，超声换能器被定位在柔性管状线缆的远侧尖端处。将TEE探头插入食道以将TEE探头放置为靠近心脏。现有的TEE探头通常包括机械关节，随同受控的TEE探头的插入距离和成角以及超声成像平面的电子束转向一起，机械关节在定位超声换能器和成像平面方面具有很大的灵活性，以便采集所期望的心脏视图。然而，关心的问题包括食道穿孔风险以及在非直观的视觉反馈下以很大的操纵控制程度实现期望的临床视图的困难。
TEE常常用作用于执行基于导管的心脏介入的可视化工具。在这样的任务中，通常获得标准视图，使得TEE图像具有操作者熟悉的一般模式，因此具有控制基于导管的设备的介入学家熟悉的一般模式。随着心脏介入的进行，操作者常常希望在提供在心脏和导管上的不同视角的不同标准视图之间移动。TEE探头针对不同视图的每次移动都会花费大量时间，并且有可能对食道造成伤害。此外，实际的TEE探头位置越接近标准视图，US图像就将越接近操作者期望看到的视图的一般模式。
下文公开了某些改进。
发明内容
在一个公开的方面，一种超声(US)设备包括：探头，其包括柔性管状线缆、在所述管的远端上的超声换能器，以及机械关节；至少一个电子处理器；以及至少一个存储器，其存储计算机程序代码。所述至少一个存储器和所述计算机程序代码可以被配置为利用所述至少一个电子处理器使所述探头通过迭代过程进行转向，以便对目标进行可视化，在所述迭代过程中，每次迭代包括：使用所述超声换能器采集超声图像；如果所述目标在所述超声图像的视场(FOV)中，则仅调整所述超声换能器的所述电子束转向；如果所述目标在所述超声图像的所述FOV的边缘处，则既调整所述超声换能器的所述电子束转向又调整所述探头的所述机械关节；并且如果所述目标不在所述超声图像的所述FOV中，则至少调整所述探头的所述机械关节。
在一些实施例中，所述至少一个电子处理器被配置为运行所述计算机可读指令以使所述US设备基于所述远端的预设位置将所述目标制作为解剖对象的目标视图，并且所述预设位置是以下各项中的一项：上食道位置；中食道位置；经胃位置；以及深胃位置。在一些实施例中，所述至少一个电子处理器被配置为运行所述计算机可读指令以使所述US设备执行以下操作：存储由所述超声换能器创建的至少一幅参考超声图像；并且在所述迭代中将所述超声图像与所述至少一幅参考超声图像进行比较以确定所述目标是否在所述FOV中。在一些实施例中，所述US装置还包括参考图像的数据库；并且所述至少一个电子处理器可以被配置为运行所述计算机可读指令以使所述US设备使用所述参考图像来确定所述目标是否在所述FOV中。
在一些实施方式中，所述至少一个电子处理器被配置为运行所述计算机可读指令以使所述US设备执行以下操作：基于所述超声图像来确定运动约束；并且在所述迭代中基于所确定的运动约束来修改对所述探头的所述机械关节的所述调整。在一些实施例中，所述US设备还包括力传感器，并且所述至少一个电子处理器被配置为运行所述计算机可读指令以使所述US设备执行以下操作：使用所述力传感器确定运动约束；并且在所述迭代中基于所确定的运动约束来修改对所述探头的所述机械关节的所述调整。
在一些实施例中，所述至少一个电子处理器被配置为运行所述计算机可读指令以使所述US设备执行以下操作：确定所述FOV中存在多个目标，其中，所述多个目标包括所述目标；并且调整所述电子束转向以将所述多个目标平衡为更靠近所述FOV的中心。在一些实施例中，所述目标是第一目标；并且所述至少一个电子处理器可以被配置为运行所述计算机可读指令以使所述US设备执行以下操作：确定所述第一目标和所述第二目标在所述FOV中；确定所述第一目标和所述第二目标中的哪个已经被分配了更高的权重；并且调整所述波束转向以使所述更高的权重的目标更靠近所述FOV的中心。在一些实施例中，所述US设备还包括用户接口，并且所述至少一个电子处理器可以被配置为运行所述计算机可读指令以使所述US设备执行以下操作：在所述用户接口上显示关于如何控制所述远端的运动的指令。
在另一公开的方面，有一种方法，包括：确定目标在超声换能器的视场(FOV)中；响应于对所述目标在所述FOV中的所述确定而调整所述超声换能器的电子束转向；确定所述目标不在所述FOV中；并且响应于对所述目标不在所述FOV中的所述确定而调整探头的机械关节。
在一些实施例中，所述方法还包括：确定所述目标在所述FOV的边缘处；并且响应于对所述目标在所述FOV的所述边缘处的所述确定而既调整所述电子束转向又调整所述探头的所述机械关节。
在又一公开的方面，有一种超声(US)设备，包括：超声换能器，其在探头的远端上；至少一个电子处理器；以及至少一个存储器，其存储计算机程序代码。所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个电子处理器使所述US设备执行以下操作：(i)设置目标视图；(ii)根据所述超声换能器的视场(FOV)来确定是否已经达到所述目标视图；并且(iii)如果尚未达到所述目标视图，则执行以下操作中的任一项：(a)调整所述超声换能器的波束转向，或者(b)调整所述探头的机械关节。
在一些实施例中，在如在前述段落中描述的US设备中，所述至少一个电子处理器可以被配置为运行所述计算机可读指令以使所述US设备迭代通过操作(ii)-(iii)，直到根据所述FOV已经达到了所述目标视图为止。
一个优点在于更安全地使用探头，例如，经食道超声心动描记(TEE)探头。
另一优点在于TEE探头系统更容易操作。
另一优点在于更快地到达所期望的TEE探头位置。
给定的实施例可以提供前述优点中的零个、一个、两个、更多个或全部优点，并且/或者可以提供其他优点，在阅读和理解了本公开内容后，本领域普通技术人员将容易理解这些优点。
附图说明
本发明可以采取各种部件和部件布置以及各个步骤和步骤安排的形式。附图仅出于图示优选实施例的目的，并且不应被解释为限制本发明。
图1图示了被插入食道的探头的示例，并且还图示了示例预设远端位置。
图2图示了针对房间隔穿刺流程的TEE视图。
图3A示出了基本的混合式控制系统的描绘，包括对2D超声成像平面的监督以及对TEE探头本身的机器人控制。
图3B图示了TEE探头的自由度。
图3C图示了包括超声FOV和相机FOV这两者的远端的示例。
图3D图示了示例远端的正视图。
图3E图示了示例远端的侧视图。
图4图解性地图示了用于协调机器人TEE探头的运动和图像平面角度的混合式控制策略的示例实施例。
具体实施方式
在过去的大约15-20年中，心脏上的许多介入流程(包括主动脉瓣修复、二尖瓣修复或置换、卵圆孔未闭封堵以及房间隔缺损封堵)已从外科手术方法迁移到经导管方法。经股动脉访问是一种通用技术，在该技术中，在患者的腹股沟附近切开小切口以充当进入股静脉并通往心脏的仪器门户。在经导管介入中，临床医生通过脉管系统将长且柔性的工具引入心脏。
经导管方法开始变得流行，因为与外科手术相比，它们对患者造成的创伤较小并且术后恢复时间较短。同时，由于缺乏灵巧、可视化和触觉反馈，它们是在技术上具有挑战性的流程。这些功能中的某些功能通过诸如经食道超声心动描记(TEE)之类的技术得到恢复。特别地，TEE成像恢复了通过最小访问方法失去的可视化，并且在较小程度上用工具到组织交互的视觉反馈代替了触觉反馈。
图1的插图A图示了探头605(在一些实施例中为TEE探头605)，探头605包括管606，管606具有远端610，远端610包括超声换能器612(参见图3A、图3B、图3C；通常是侧面发射的超声换能器的相控阵)。在手动设计中，操作者可以通过以下操作来控制远端610的移动：转动旋钮170，并且将管606手动延伸(即，推动)到更深地方而推入食道，将管606从食道缩回(即，拉出)，或者当管在食道中时旋转管。替代地，可以使用(例如由电动控制器130控制的)伺服电机120在计算机控制下执行这些操作。还预想到手动控制与伺服电机控制的组合(例如，伺服电机控制的关节和手动扩展/缩回)。还预想到其他类型的控制。例如，也可以使用磁体、记忆合金、液压、空气等。操作者可以使用由在远端610处的超声换能器612生成的超声图像作为控制TEE探头移动的指导。
然而，至少由于以下原因，TEE是在关键的手眼协调任务中对自然视觉的笨拙替代。首先，超声图像没有提供视觉提示的丰富集合，包括在自然视觉和光学相机图像中发现的颜色、照明、阴影、透视和纹理；它们是外科手术场景的抽象表示。其次，超声图像能够具有要求认知努力来克服的噪声和不自然的伪影(例如，声学反射)。前两个因素结合在一起使得对超声图像的解读变得繁琐。结果，超声心动描记学家需要广泛的训练和经验才能变得熟练。即使是专家超声心动描记学家，偶尔也会遇到困难的病例，因为每个新的患者呈现都是一个新的挑战。
第三，源自心脏后面的食道的TEE图像的有利位置或视点与临床医生的视点不同，因此迫使脱节的手眼协调使获得特定的预期视图变得困难。第四，临床医生必须从心脏内部从多个横截面视图中重建空间信息。换句话说，一个超声图像不包含足够的可操作信息。尽管TEE可以提供3D体积渲染，但其可视化(例如，分辨率)通常不允许临床医生描述实践中所需的细节。
因此，临床医生偏好更高的分辨率，正交2D图像切片，并在二维(例如上/下，左/右)中引导平面角度。在具有挑战性的图像解释和脱节手眼协调的背景中，调整TEE探头位置和图像平面角的任务是繁重的，认知要求的，并且最终容易受到效率和错误的影响。
本文所述的技术解决了这些问题和其他问题。本文公开的是一个控制系统(例如，图1的电子控制器130)，可以使用伺服器120来机器人转动TEE探头，并自动通过电子方式引导图像平面角度，以服务于寻找解剖学和设备视图，以提供可视化以支持表演结构性结构性的视图心脏介入，例如转向标准视图，例如标准的上食道(UE)视图，标准中等食道(ME)视图，标准的经胃或深胃(TG)视图，或者是。控制系统可以以更有效的方式处理上下文信息，解释图像内容并计算视点转换，从而使视图采集成为更确定性和可靠的过程。在一个变体实施例中，TEE探头由手动旋钮170和手动管扩展/缩回而不是伺服电机120控制，控制系统可以提供可察觉的方向(例如，“缩回探头”，“AdvancedProiene”，“AdvanceProbe”，“转动”，“转动”右侧的探测”，等)，显示在控制计算机显示器上(例如图1的显示140和/或使用语音合成器阐明)，以帮助手动控制TEE探头。电子控制器130适当地组成了至少一个电子处理器，该电子处理器读取和执行指令(即计算机程序代码)存储在至少一个存储器中(即至少-一个非透明存储介质)，以执行公开的TEE探头控制方法。例如，电子处理器可以组成一个具有一个或多个数字或模拟端口的计算机，用于与伺服电机(S)120进行操作。例如，通信可以是通过USB端口或其他标准数字端口的数字通信，也可以通过计算机中安装的专用控制I/O卡生成的数字和/或模拟控制信号，或者/或/或/或so。在一些实施例中，电子控制器130可以与超声成像控制器相吻合，该超声影像控制器控制TEE探头605执行的超声成像，在这种情况下，显示140还示出了TEE探头605采集的超声图像。
通过非限制示例，图2图示了在跨性穿刺过程中提供可视化的TEE视图。长轴510和短轴520概述隔膜中包含针和目标穿刺位点的正交图像。这些视点可能很难通过操纵TEE探头来找到，此外，临床医生可能需要将探测器移至其他视点，然后尝试恢复这些视点。
许多自由度在认知上难以有效地管理，尤其是考虑到图像/空间解释挑战。参考图3A，超声换能器612通常是一个分阶段的超声换能器阵列，它们会产生电子可通的图像平面601，其中，图3A(左手图)示出了电子束转向的示例。图3A，右手图，通过使用Servomotors120或(在变体手动实施例中)旋钮170来控制TEE探头605的关节，示出了额外的自由度。联合控制机制的结构可能会有所不同，例如，使-用连接到关节并穿过管子606的腔内的控制线的非限制示例，与伺服运动员120或旋钮170连接。
图3B进一步图示了探头605的远端610(包括超声换能器)的自由度。例如，远端610可以移动：沿探头的轴向方向，如方向1(a)和1(b)；在圆形方向上，如方向2(a)和2(b)；或在关键方向上，如方向3(a)，3(b)，4(a)和4(b)。在一些实施例中，完成方向1(a)，1(b)，2(a)，2(b)，3(a)，3(b)，4(a)，4(a)和4(b)的运动。通过机械关节。在一些实施方式中，机械关节包括伺服电机驱动的延伸/收回管606。应该注意的是，图3a和3b示出了一个说明性的例子，并且可以在特定的TEE探头设计中提供更多或更少和/或不同的自由度。
图3C，3D和3E图示了一个实施例，其中，远端610还包括具有相机FOV655的相机换能器650。在此变体实施例中，向前查看的光学相机650增强了侧发射超声换能器612。(在另一个变体实施例中，摄像机换能器650可能是第二个向前发射的超声换能器阵列)。应当理解的是，在整个公开过程中，除非另有规定，否则“FOV”一词可以指超声FOV或相机FOV。图3D图示了示例远端的正视图。图3E图示了示例远端的侧视图。
图1图示了插入食道615的探头605的示例，并图示了一个超声FOV620的示例。对于2D超声成像，FOV620通常是二维-楔。图1进一步图示了示例预设远端位置，这可能对应于标准TEE视图，例如：上食道625；食道中期630；经胃位置635；和深胃位置640。
通常，在一些实施例中，存在控制系统来自动操纵探头和/或远端，并自动操纵图像平面角度，以找到为执行结构性心脏介入提供可视化所需的解剖和设备视图。控制系统能够以有效的方式消化上下文信息、解释图像内容和计算视点变换，使得视图采集与TEE探头的无辅助手动操作相比是更确定和可靠的过程。
换句话说，一些实施例涉及一种改进，其中，TEE探头605的手动控制被机器人控制增强或替代。一些实现使用一组用于迭代机器人控制的规则，对于每次迭代，包括：如果目标在视场中，仅调整电子束转向(FOV)；如果目标在FOV的边缘，调整波束控制和机械关节，偏向电子束控制；并且如果目标不在FOV中，则仅调整机械关节。为了识别目标，可以使用标准视图的参考超声图像的数据库，或者可以使用标准超声视图的模型(例如，可以使用预期的四隔室图像格式对心脏的所有四个腔室都可见的视图进行建模)。在另一种方法中，如果临床医生处于特定视图，则该图像可以存储为参考图像，并且如果临床医生稍后希望返回到该视图，则检索所存储的参考图像。
此外，一些实施例使用心脏内回波(ICE)探头(而不是上述TEE探头)，其是插入心脏的细探头。这里描述的方法能够相对于右心房、左心房等适当地定位这些探头。在其他实施例中，使用血管内超声(IVUS)探头，其是在血管中使用的细探头。此外，一些实施方式包括支气管内US，一些实施方式包括用于泌尿学的经直肠US和经尿道US。应该理解，这里描述的技术通常包括任何体内超声成像。
在一个实施例中，混合式TEE探头-图像平面控制器遵循图4的例子中描述的策略。通过在操作710设置期望的目标视图来触发控制器，该期望的目标视图可以被直接指定为一组机器人关节位置和平面角，或者被可视地指定为期望的目标图像，然后在内部被转换成相应的关节和角度。例如，如果特定视图与该组机器人关节位置和平面角一起存储为参考图像，并且如果临床医生稍后希望返回到该视图，则通过检索存储的对应关节和角度，将存储的参考图像转换为对应关节和角度。在一些实施例中，操作者可以将目标位置设置为图1所示的预设目标位置之一(上食道位置625；中食道位置630；经胃位置635；并且深经胃位置640)。例如，可以在与TEE探头一起提供的数据结构(例如表格)中为标准视图列出预期的关节和角度位置。优选地，对于不同的患者特定参数，例如患者尺寸，将预期的关节和角度列表。如果在操作720已经达到目标，则该过程在操作730结束。如果没有达到目标，则混合式TEE控制器在操作740执行功能。具体而言，机器人关节和图像平面角必须从其初始配置移动以收敛到目标视图。混合式TEE控制器可以在必要的方向上同时将探头(操作750)和图像平面(操作760)固定，并反复检查是否已达到目标视图(操作720)。在每次迭代检查720期间，控制器决定如何根据各种因素设置下一个运动增量。此过程重复直到达到目标视图。如果视图无法实现，则控制器停止并指示错误，如果可能的话，为将探头位置重置为已知状态提供了建议。
在执行操作740时，优选执行当前采集的超声图像与标准视图处的参考超声图像(或者，使用标准超声视图的模型)进行比较。这是因为，尽管按照先前讨论的关节和角度在操作710上指定了目标，但实际上预计这些关节和成像平面角度可能无法确切地提供所需的超声成像视图。例如，如果使用TEE探头提供的预期关节和角度位置表，则特定患者的解剖结构可能足够不同，因此简单地设置表关节和角度位置将无法完全提供正确的视图。当使用以存储的先前图像为目标的关节和角度位置，磁滞和/或TEE探头漂移或逐渐漂移，可能会再次导致在返回存储的关节和角度位置时，无法完全达到相同的视图。
为了解决这个问题，在接近目标时，控制器采用基于图像的调整。因此，在每次迭代之后，都会采集超声图像，并确定它(基于当前获得的超声图像与参考超声图像或标准超声视图的模型的比较)，无论目标是否在超声图像的FOV中。如果不是(至少在初始迭代中可能是这种情况)，那么混合式TEE控制器仅以向目标指定的关节和角度位置移动探头。因此，在每次迭代之后，将超声图像与标准视图的参考超声图像进行比较(或者，或者是标准超声视图的模型)。只要目标不在超声FOV中，迭代只能执行750个操作，即在不调整波束角的情况下移动探头。当目标几乎没有进入FOV时，混合式TEE控制器可能两者都可以：(i)移动每个操作750探头的探头和/或远端，以及(ii)每个操作760的图像平面。经过此杂种位置/平面角度调整的一次或多次迭代后，目标可能更靠近被FOV中心。此时，仅调整光束角(操作760)。
总而言之，关于在图4的示例中，在740操作中，混合式TEE控制器可以考虑目标是否在视图(FOV)(FOV)中。如果是这样，混合式TEE控制器可以首先引导图像平面(例如，探头远端的波束转向超声换能器)。如果没有，混合式TEE控制器可能会移动探头的探头或远端。如果目标几乎不在FOV中，则混合式TEE控制器可以同时：(i)移动探头的探头和/或远端，以及(ii)引导图像平面。此外，在740操作中，混合式TEE控制器可以考虑是否可以达到平面角度，以及是否存在运动约束(例如，由力传感器确定，如下所示将在下面进行详细说明)。
并非所有实施例都是完全自动的。例如，在一些实施例中，可以计算图像平面和/或远端位置的角度作为建议，然后通过旋转170和/或通过扩展或扩展或/或缩回管606。
以下将描述示例标准以计算下一个运动增量。临床医生更喜欢设定视图，以使感兴趣的成像目标(例如解剖特征，介入仪器或一些组合)大致集中在3D超声图像中，在一些情况下从特定的角度来看。由于无意探头运动，患者运动或生理运动，这种布置使TEE探头的次要位移使视图稳健。如果成像目标居住在体积的边缘，它们可能很容易离开视图，从而导致临床医生失去所需的可视化。因此，决定下一个运动增量的一个标准是，成像目标是否在视场的中心附近(例如，对于离散目标，通过确定目标的中心或边缘是否是从中心的预定长度FOV；对于目标视点，运动标准可以是当前视点和所需视点之间的相似性，可以通过注册两个视图来确定它们之间的距离并进行计算，例如，0距离为0距离是匹配)。如果是这样，则在调整成像平面时保持探头头静止(例如，通过探头远端的光束转向超声换能器)。否则，远端会移动，以便成像目标可以尽可能靠近FOV的中心。该策略嵌入了最小化探头运动的偏好，因为食道内部的可用运动范围受到限制。当必须在迭代中移动探头和图像平面时，它们可以接一个地移动或同时移动。
应进一步指出，“居中”是目标视点的一个例子。例如，有时在与图像中心有些偏移时优选目标，但是概念和过程与上述相同。
在一些情况下，由于探头的物理局限性，成像目标不能完全集中在超声音量中，在这种情况下，目标将尽可能多地核心，并且偏爱平面角度转向。物理上的局限性可能包括固有的限制，例如关节限制，外部限制，例如解剖结构施加的限制或两者的组合。这些解剖学局限性可能是：(i)通过在超声图像中观察到的组织压缩推断出的单独的力传感器(ii)和/(iii)通过应变图像测量。换句话说，选择的是，TEE探头可以合并力传感器或换能器，以检测探头何时撞击食道的内表面。其他公开的方法从超声图像中观察到的组织压缩检测到这种撞击事件，或通过应变图像测量。有利地，这些约束利用TEE探头更安全。
如果所需视图中存在多个成像目标，则系统可能平衡要以体积为中心的目标星座(例如，通过波束转向)。或者，可以对目标进行加权，以使具有较高权重的人在成像体积的中心显示出比具有较低权重的人更大。
一些实施例假设平面角对应于正交X平面。其他实施例也适用于任意角度的平面。
一些实施例使用所需视图和可达到的视图之间的相似性度量。具体而言，在实践中，由于改变了解剖状况和不完善的机器人运动学，视图可能很难精确复制。为了处理这些条件，可以使用基于图像的当正视图和所需视图之间的匹配来计算相似性度量，并且一旦相似性达到阈值，控制器就可以停止。或者，相似度度量可以使用探头配置和/或平面角度作为输入；或者，在其他实施例中，可以针对解剖结构进行外在跟踪探头位置，并且可以相应地测量可达到的视图与所需目标视图之间的相似性。
一些实施例使用数据驱动的控件。具体而言，作为对探头和平面的分析，明确控制的替代方法，可以根据存储的视图数据库在经验上确定这些参数。
一些实施例也涉及用户接口。具体而言，本发明的应用可用于指导用户明确执行动作，否则系统可以自动执行所需的操作。视点发现的半自动化也适用。
一些实施例使用视图内部视图更新。具体而言，要处理更改解剖或介入条件的问题，以防止视点的精确复制，可以使用最接近的视图来更新所需的视图。
将进一步理解，本文所公开的技术可能是由非过渡存储介质(即至少一个存储器)体现的，可通过电子数据处理设备(例如，图1的控制器130)存储可读取和可执行的指令以执行公开的技术。这样的非运输存储介质可能包括硬盘驱动器或其他磁性存储介质，光盘或其他光学存储介质，基于云的存储介质，例如RAID磁盘阵列，闪存存储器或其他非挥发性电子存储介质，或者是。
该发明已参考优选实施例。在阅读和理解前面的详细说明时，他人可能会发生修改和更改。旨在将示例性的实施例解释为包括所有这样的修改和更改，因为它们属于附加的索赔范围或其等效物的范围。

Claims (19)

1.一种超声(US)设备，包括：
探头，其包括管(606)、在所述管(606)的远端(610)上的超声换能器(612)，以及机械关节；
至少一个电子处理器(130)；以及
至少一个存储器，其存储计算机程序代码；
所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个电子处理器(130)使所述探头通过迭代过程向目标转向，在所述迭代过程中，每次迭代包括：
使用所述超声换能器(612)采集超声图像；并且
执行以下操作中的至少一项：(i)根据所述超声图像来调整所述超声换能器(612)的电子束转向，以及(ii)根据所述超声图像来调整所述探头(605)的所述机械关节。
2.根据权利要求1所述的US设备，其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备在所述迭代中执行以下操作：
如果所述目标在所述超声图像的视场(FOV)(620)中，则仅调整所述超声换能器(612)的所述电子束转向；
如果所述目标在所述超声图像的所述FOV(620)的边缘处，则既调整所述超声换能器(612)的所述电子束转向又调整所述探头(605)的所述机械关节；并且
如果所述目标不在所述超声图像的所述FOV(620)中，则至少调整所述探头(605)的所述机械关节。
3.根据权利要求1-2中的任一项所述的US设备，其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备基于所述远端(610)的预设位置将所述目标制作为解剖对象的目标视图，并且其中，所述预设位置是以下各项中的一项：
上食道位置(625)；
中食道位置(630)；
经胃位置(635)；以及
深胃位置(640)。
4.根据权利要求1-3中的任一项所述的US设备，其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备执行以下操作：
存储由所述超声换能器(612)创建的至少一幅参考超声图像；并且
在所述迭代中将所述超声图像与所述至少一幅参考超声图像进行比较以确定所述目标是否在所述FOV(620)中。
5.根据权利要求1-4中的任一项所述的US设备，还包括参考图像的数据库；
其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备使用所述参考图像来确定所述目标是否在所述FOV(620)中。
6.根据权利要求1-5中的任一项所述的US设备，其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备执行以下操作：
基于所述超声图像来确定运动约束；并且
在所述迭代中基于所确定的运动约束来修改对所述探头(605)的所述机械关节的所述调整。
7.根据权利要求1-6中的任一项所述的US设备，还包括力传感器，
其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备执行以下操作：
使用所述力传感器确定运动约束；并且
在所述迭代中基于所确定的运动约束来修改对所述探头(605)的所述机械关节的所述调整。
8.根据权利要求1-7中的任一项所述的US设备，其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备执行以下操作：
确定所述FOV(620)中存在多个目标，其中，所述多个目标包括所述目标；并且
调整所述电子束转向以将所述多个目标平衡为更靠近所述FOV(620)的中心。
9.根据权利要求1-8中的任一项所述的US设备，其中：
所述目标是第一目标；并且
所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备执行以下操作：
确定所述第一目标和所述第二目标在所述FOV(620)中；
确定所述第一目标和所述第二目标中的哪个已经被分配了更高的权重；并且
调整所述波束转向以使所述更高的权重的目标更靠近所述FOV(620)的中心。
10.根据权利要求1-9中的任一项所述的US设备，还包括用户接口(140)，其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备执行以下操作：
在所述用户接口(140)上显示关于如何控制所述远端(610)的运动的指令。
11.根据权利要求1-10中的任一项所述的US设备，其中，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个电子处理器(130)在所述迭代中通过以下操作使所述探头向目标转向：
如果所述目标不在所述超声图像的所述FOV(620)中，则至少仅调整所述探头(605)的所述机械关节。
12.一种方法，包括：
使用超声换能器(612)采集超声图像；
确定目标在所述超声换能器(612)的视场(FOV)(620)中；
响应于对所述目标在所述FOV(620)中的所述确定而调整所述超声换能器(612)的电子束转向；
确定所述目标不在所述FOV(620)中；并且
响应于对所述目标不在所述FOV(620)中的所述确定而调整探头(605)的机械关节。
13.根据权利要求12所述的方法，还包括：
确定所述目标在所述FOV(620)的边缘处；并且
响应于对所述目标在所述FOV(620)的所述边缘处的所述确定而既调整所述电子束转向又调整所述探头(605)的所述机械关节。
14.一种超声(US)设备，包括：
超声换能器(612)，其在探头(605)的远端(610)上；
至少一个电子处理器(130)；以及
至少一个存储器，其存储计算机程序代码；
所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个电子处理器(130)使所述US设备执行以下操作：
(i)设置目标视图(710)；
(ii)根据所述超声换能器(612)的视场(FOV)(620)来确定是否已经达到所述目标视图(720)；并且
(iii)如果尚未达到所述目标视图(740)，则执行以下操作中的任一项：(a)调整所述超声换能器(612)的波束转向(760)，或者(b)调整所述探头(605)的机械关节(750)。
15.根据权利要求14所述的US设备，其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备迭代通过操作(ii)-(iii)，直到根据所述FOV(620)已经达到了所述目标视图为止。
16.根据权利要求14-15中的任一项所述的US设备，其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备基于所述远端(610)的预设位置将所述目标制作为解剖对象的目标视图，并且其中，所述预设位置是以下各项中的一项：
上食道位置(625)；
中食道位置(630)；
经胃位置(635)；以及
深胃位置(640)。
17.根据权利要求14-16中的任一项所述的US设备，其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备执行以下操作：
基于所述超声图像来确定运动约束；并且
基于所确定的运动约束来修改对所述探头(605)的所述机械关节的所述调整。
18.根据权利要求14-17中的任一项所述的US设备，还包括力传感器，并且
其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备执行以下操作：
使用所述力传感器确定运动约束；并且
基于所确定的运动约束来修改对所述探头(605)的所述机械关节的所述调整。
19.根据权利要求14-18中的任一项所述的US设备，其中，所述至少一个电子处理器(130)被配置为运行所述计算机可读指令以使所述US设备执行以下操作：
确定所述FOV(620)中存在多个目标，其中，所述多个目标包括所述目标；并且
调整所述电子束转向以将所述多个目标平衡为更靠近所述FOV(620)的中心。
CN202080086144.7A 2019-12-12 2020-12-08 对tee探头的混合式机器人图像平面控制 Pending CN114828754A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962947153P 2019-12-12 2019-12-12
US62/947,153 2019-12-12
PCT/EP2020/084971 WO2021116051A1 (en) 2019-12-12 2020-12-08 Hybrid robotic-image plane control of a tee probe

Publications (1)

Publication Number Publication Date
CN114828754A true CN114828754A (zh) 2022-07-29

Family

ID=73835553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080086144.7A Pending CN114828754A (zh) 2019-12-12 2020-12-08 对tee探头的混合式机器人图像平面控制

Country Status (5)

Country Link
US (1) US20230012353A1 (zh)
EP (1) EP4072429A1 (zh)
JP (1) JP2023505465A (zh)
CN (1) CN114828754A (zh)
WO (1) WO2021116051A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105813573B (zh) * 2013-12-09 2019-06-04 皇家飞利浦有限公司 使用基于模型的分割的成像视图操纵
EP3764913A1 (en) * 2018-03-12 2021-01-20 Koninklijke Philips N.V. Ultrasound imaging plane alignment using neural networks and associated devices, systems, and methods

Also Published As

Publication number Publication date
US20230012353A1 (en) 2023-01-12
WO2021116051A1 (en) 2021-06-17
JP2023505465A (ja) 2023-02-09
EP4072429A1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
US11696746B2 (en) Ultrasound imaging system having automatic image presentation
JP7304873B2 (ja) ニューラルネットワークの訓練のための超音波撮像データセットの取得及び関連するデバイス、システム、及び方法
JP7493528B2 (ja) エンドエフェクタのフィードバック連続配置制御
JP7407725B2 (ja) ニューラルネットワークのための超音波撮像平面整列ガイダンス並びに関連するデバイス、システム、及び方法
KR20060112243A (ko) 2―차원적 초음파 팬의 디스플레이
US10922861B2 (en) Method and apparatus for correcting dynamic models obtained by tracking methods
JP7401447B2 (ja) ニューラルネットワークを使用した超音波撮像平面整列並びに関連するデバイス、システム、及び方法
CN115211961A (zh) 定位方法、装置、系统及计算机可读存储介质
CN114828754A (zh) 对tee探头的混合式机器人图像平面控制
JP2020531180A (ja) 位置追跡型インターベンショナルデバイスの自動視野更新
US12016724B2 (en) Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
US20230010773A1 (en) Systems and methods for guiding an ultrasound probe
EP3709889B1 (en) Ultrasound tracking and visualization
US20220409292A1 (en) Systems and methods for guiding an ultrasound probe
WO2021115905A1 (en) Intuitive control interface for a robotic tee probe using a hybrid imaging-elastography controller
JP7515495B2 (ja) 機械学習モデルのための訓練データ収集
CN115517699A (zh) 使用4d超声导管重建器官的体积的4D壳体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination