CN112106070A - 用于神经网络训练的超声成像数据集获取及相关装置、系统和方法 - Google Patents

用于神经网络训练的超声成像数据集获取及相关装置、系统和方法 Download PDF

Info

Publication number
CN112106070A
CN112106070A CN201980031733.2A CN201980031733A CN112106070A CN 112106070 A CN112106070 A CN 112106070A CN 201980031733 A CN201980031733 A CN 201980031733A CN 112106070 A CN112106070 A CN 112106070A
Authority
CN
China
Prior art keywords
imaging
image
imaging device
motion control
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980031733.2A
Other languages
English (en)
Inventor
G·A·托波雷克
王海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112106070A publication Critical patent/CN112106070A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4209—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • A61B8/4218—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames characterised by articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Cardiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了超声图像装置、系统和方法。一种医学超声图像系统，包括：通信接口，其与成像装置通信且被配置成当成像装置相对于受试者的身体被定位于第一成像位置时，从成像装置接收代表受试者的身体的第一图像，以及发送用于将成像装置从第一成像位置重新定位到第二成像位置的运动控制配置；处理器，其与通信接口通信且被配置成通过将第一图像、运动控制配置以及与第二成像位置和包括临床特性的目标图像视图相关联的得分相关联来生成数据库；和存储装置，其与处理器通信且被配置成存储数据库，以利于训练用于使成像装置与目标图像视图对准的预测网络。

Description

用于神经网络训练的超声成像数据集获取及相关装置、系统 和方法
相关申请
本申请要求于2018年3月12日提交的美国临时申请No.62/641,493的权益和优先权，其通过引用并入本文中。
技术领域
本公开总体上涉及超声成像，尤其涉及用于训练深度预测网络以预测用于使成像部件对准预期成像平面的移动或控制的大规模超声图像数据集的获取。
背景技术
经食道超声心动图(TEE)使用超声来捕获患者心脏运动的图像，并且可用于临床操作。例如，可以将TEE探头插入患者的食道中以捕获患者心脏的图像。可受益于TEE的某些操作可包括诸如心脏直视和胸主动脉手术的术中操作、诸如经导管主动脉瓣植入(TAVI)、左心耳阑尾切除术(LAAC)和经导管二尖瓣修复(TMVR)的经导管操作的指导、以及诊断操作。替代性地，经胸超声心动图(TTE)是一种外部成像技术，其可用于从患者体外捕获患者心脏的各种视图。例如，可以将TTE探头放置在患者的胸部或腹部以捕获患者心脏的图像。
在某些情况下，TEE在捕获心脏图像方面可能比TTE更有效。例如，左心耳(LAA)在TTE中可能不可见，但在TEE中可能可见。最近的研究已经表明，LAA隔离可以作为房颤患者的治疗选项。LAA隔离可以降低栓塞事件的风险。LAA隔离通常使用LAAC装置经皮进行。在对患者执行LAA隔离操作之前，临床医生可以使用TEE探头捕获患者心脏的图像。临床医生可以基于图像确定患者心脏中的LAA孔的大小和/或长度，并且可以确定LAA孔的大小和/或长度是否在LAAC装置的尺寸之内。考虑到LAA的复杂性和解剖变化性，例如不同叶的存在和数量，对形态的完整评估通常需要从多个视图对LAA进行成像和描绘。
然而，对于临床医生而言，在运动的心脏内找到最佳视野可能是具有挑战性的。例如，TEE探头可以从患者的食道中前移或回撤、顺时针或逆时针旋转、在四个不同方向上弯曲，并且成像平面可以从0度旋转到180度。由于存在多个自由度，因此TEE探头的手动调整可能既麻烦又耗时。
发明内容
尽管已证明使用TEE探头或TTE探头的现有操作可用于临床或治疗操作，但临床上仍需要改进的系统和技术，以提供用于使成像部件与预期成像平面对准的高效、准确和自动化的操作。一种自动成像部件对准而不依赖与参考图像相比的相似性测度的方案是使用基于统计的预测网络。但是，预测网络的训练通常需要大量的训练数据，并且预测网络的性能可能依赖于训练数据的格式和/或一致性。收集和构建训练数据集和/或验证数据集可能既耗时又昂贵。本公开的实施例提供了用于获取大规模超声成像数据集的机制。数据集可以包括描述用于获取数据集中的图像的成像部件(例如，TEE探头或TTE探头)的移动、控制或位置的注释。数据集可以包括描述成像部件的移动、控制或位置是否可以将成像部件引导到目标成像平面以捕获受试者的身体的特定临床特性的注释。数据集将图像与相应的注释关联。可以使用解剖体模(例如，心脏体模)从临床设置或受控设置中获取数据集。可以使用机器人系统自动获取数据集并进行注释。
在一个实施例中，提供了一种医学超声图像系统。该系统包括通信接口，其与成像装置通信且被配置成当成像装置相对于受试者的身体被定位于第一成像位置时，从成像装置接收表示受试者的身体的第一图像，以及发送用于将成像装置从第一成像位置重新定位到第二成像位置的运动控制配置；处理器，其与通信接口通信且被配置成通过将第一图像、运动控制配置和代表第二成像位置和第一图像之间相对于包括临床特性的目标图像视图的关系的得分相关联来生成数据库；存储装置，其与处理器通信且被配置成存储数据库，以利于训练用于使成像装置与目标图像视图对准的预测网络。
在一些实施例中，运动控制配置包括用于将成像装置重新定位到第二成像位置的一个或多个参数。在一些实施例中，处理器还被配置成确定该一个或多个参数。在一些实施例中，处理器还被配置成基于随机函数来确定该一个或多个参数。在一些实施例中，一个或多个参数对应于成像装置沿受试者的身体的左-右平面的移动、成像装置沿受试者的身体的前-后平面的移动、成像装置的成像平面的定向或成像装置相对于成像装置的轴线的旋转中的一个或多个。在一些实施例中，成像装置是经食道超声心动图(TEE)探头。在一些实施例中，该一个或多个参数对应于用于移动成像装置的线速度或角速度中的至少一个。在一些实施例中，成像装置是经胸超声心动图(TTE)探头。在一些实施例中，通信接口还被配置成在成像装置被定位于第二成像位置时接收代表受试者的身体的第二图像，并且处理器还被配置成基于第二图像和目标图像视图之间的比较来确定得分。在一些实施例中，处理器还被配置成基于第二成像位置与成像装置的用于获得与目标图像视图相对应的受试者的身体的图像的目标成像位置之间的比较来确定得分。在一些实施例中，当第二成像位置对应于成像装置的用于获得与目标图像视图相对应的受试者的身体的图像的目标成像位置时，得分表示成功。在一些实施例中，处理器还被配置成确定运动控制配置，并且通信接口还被配置成将运动控制配置发送到控制成像装置的机器人系统。
在一个实施例中，一种医学超声图像数据获取的方法，包括：当成像装置相对于受试者的身体被定位于第一成像位置时，从成像装置接收代表受试者的身体的第一图像；发送用于将成像装置从第一成像位置重新定位到第二成像位置的运动控制配置；以及通过将第一图像、运动控制配置和代表第二成像位置和第一图像之间相对于包括临床特性的目标图像视图的关系的得分相关联来生成数据库。
在一些实施例中，运动控制配置包括用于将成像装置移动到第二成像位置的一个或多个参数。在一些实施例中，该方法还包括该确定一个或多个参数。在一些实施例中，成像装置是经食道超声心动图(TEE)探头，并且该一个或多个参数对应于成像装置沿受试者的身体的左-右平面的移动、成像装置沿受试者的身体的前-后平面的移动、成像装置的成像平面的定向或成像装置相对于成像装置的轴线的旋转中的一个或多个。在一些实施例中，成像装置是经胸超声心动图(TTE)探头，并且该一个或多个参数对应于用于移动成像装置的线速度或角速度中的至少一个。在一些实施例中，该方法还包括：当成像装置被定位于第二成像位置时，从成像装置接收代表受试者的身体的第二图像；基于第二图像与目标图像视图之间的比较来确定得分。在一些实施例中，该方法还包括基于第二成像位置与成像装置的用于获得与目标图像视图相对应的受试者的身体的图像的目标成像位置之间的比较来确定得分。在一些实施例中，发送运动控制配置包括将运动控制配置发送到控制成像装置的机器人系统。
根据以下详细描述，本公开的其他方面、特征和优点将变得明显。
附图说明
将参考附图描述本公开的例示说明性实施例，其中：
图1是根据本公开的多个方面的包括经食道超声心动图(TEE)探头的医学成像系统的示意图。
图2A是示出根据本公开的多个方面的TEE探头的配置的示意图。
图2B是示出根据本公开的多个方面的TEE探头的配置的示意图。
图2C是示出根据本公开的多个方面的TEE探头的配置的示意图。
图2D是示出根据本公开的多个方面的TEE探头的配置的示意图。
图3是根据本公开的多个方面的包括经胸超声心动图(TTE)探头的医学成像系统的示意图。
图4是示出根据本公开的多个方面的用于使成像部件对准操作自动化执行的方案的示意图。
图5是示出根据本公开的多个方面的用于获取大规模图像数据集的方案的示意图。
图6是示出根据本公开的多个方面的用于重新定位TEE探头的场景的示意图。
图7是示出根据本公开的多个方面的用于重新定位TTE探头的场景的示意图。
图8A示出了根据本公开的多个方面的LAA的目标图像视图的示例。
图8B示出了根据本公开的多个方面的用于捕获LAA的成像平面的位置的示例。
图8C示出了根据本公开的多个方面的由成像部件捕获的LAA的图像的示例。
图9是示出根据本公开的多个方面的用于预测卷积神经网络(CNN)的配置的示意图。
图10是示出根据本公开的多个方面的用于微调CNN的配置的示意图。
图11是示出根据本公开的多个方面的用于目标CNN的配置的示意图。
图12是示出根据本公开的多个方面的用于训练预测CNN的方案的示意图。
图13是示出根据本公开的多个方面的用于训练微调CNN的方案的示意图。
图14是示出根据本公开的多个方面的用于训练目标CNN的方案的示意图。
图15是示出根据本公开的多个方面的用于将成像部件对准到预期位置的方案的示意图。
图16是示出根据本公开的多个方面的用于提供用于将成像部件对准到预期位置的指导的方案的示意图。
图17A是示出根据本公开的多个方面的成像部件对准指导显示视图的示意图。
图17B是示出根据本公开的多个方面的成像部件对准指导显示视图的示意图。
图17C是示出根据本公开的多个方面的成像部件对准指导显示视图的示意图。
图18是根据本公开的多个方面的获取用于训练CNN的成像数据集的方法的流程图。
图19是根据本公开的多个方面的训练CNN的方法的流程图。
图20是根据本公开的多个方面的应用CNN以将成像部件对准到预期位置的方法的流程图。
图21是根据本公开的多个方面的基于CNN提供成像部件对准指导的方法的流程图。
图22是根据本公开的多个方面的自动化医学检查的方法的流程图。
具体实施方式
为了促进对本公开原理的理解，现在将参考附图中示出的实施例，并且将使用特定语言来描述它们。然而，应理解，无意于限制本公开的范围。如本公开所涉及的本领域技术人员通常会想到的，对所描述的装置、系统和方法的任何改变和进一步的修改，以及对本公开的原理的任何进一步的应用，都被全部设想到并包括在本公开中。尤其是，完全设想到关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤相组合。但是，为了简洁起见，将不单独描述这些组合的许多重复。
图1是根据本公开的多个方面的包括TEE探头110的医学成像系统100的示意图。系统100包括彼此通信的主机130、机器人系统120和TEE探头110。在高位处，TEE探头110可以通过患者102的口部插入食道以捕获患者102的心脏的图像，并且主机130可以指示机器人系统120将TEE探头110重新定位到预期位置。例如，对于LAAC操作，主机130可以指示机器人系统120定位TEE探头110，使得可以由TEE探头110捕获包括心脏的LAA的图像。系统100可以是超声成像系统，且探头110可以是超声探头。
TEE探头110可包括柔性细长构件112、成像部件114和手柄116。柔性细长构件112可以被设定尺寸和/或形状、在结构上被布置和/或以其他方式被配置成待定位在患者的身体管腔内，例如食道。构件112可以被称为内窥镜。成像部件114可以安装在构件112的远端。在一些情况下，探头110可以是导丝、导管或引导导管。成像部件114可以包括一个或多个超声传感器或换能器元件。成像部件114被配置成朝着患者102的解剖结构(例如，心脏)发射超声能量。超声能量被患者的脉管系统和/或组织结构反射。成像部件114中的超声换能器元件可以接收反射的超声回波信号。在一些实施例中，TEE探头110可以包括内部或集成的处理部件，其可以在本地处理超声回波信号以生成代表正在成像的患者102的解剖结构的图像信号。超声换能器元件可以被布置成提供患者102的解剖结构的二维(2D)图像或三维(3D)图像。如本文中更详细描述的，由TEE探头110获取的图像可以取决于TEE探头110的插入深度、旋转和/或倾斜。
手柄116可以联接到构件112的近端。手柄116可以包括用于操纵成像部件114和/或构件112的控制元件。如图所示，手柄116包括旋钮117和118以及开关119。旋钮117可以使构件112和成像部件114沿着患者102(例如，心脏)的前-后平面弯曲。旋钮118可以使构件112和成像部件114沿着患者102的左-右平面弯曲。开关119可以控制成像部件114处的波束成形(例如，调整成像平面的角度)。
机器人系统120可以包括被配置成控制手柄116(例如，拨动旋钮117和118和/或打开开关119和/或关闭开关119)的电气和/或机械部件，例如，电机、滚轮和齿轮。替代性地，机器人系统120可以被配置成直接操纵TEE探头110。机器人系统120可以从主机130接收运动控制命令，并基于运动控制命令控制手柄116上的旋钮117和118和/或开关119和/或直接驱动TEE探头110。在本文中更详细地描述运动控制命令。
主机130可以包括存储器132、显示器134、处理部件136和通信接口138。处理部件136可以联接到存储器132、显示器134和通信接口138并与之通信。主机130可以是计算机工作站、移动电话、平板电脑或任何合适的计算装置。
存储器132可以是任何合适的数据存储装置，例如高速缓冲存储器(例如，处理部件136的高速缓冲存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、固态存储装置、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器，或不同类型的存储器的组合。存储器132可以被配置成存储数据库140和一个或多个CNN 142。
处理部件136可以包括被配置成执行本文所述的操作的中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、现场可编程门阵列(FPGA)器件、另外的硬件装置、固件装置或其任何组合。处理部件136还可被实现为计算装置的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或多个微处理器或任何其他这样的配置。
在一个实施例中，处理部件136被配置成从诸如患者102或解剖体模(例如，心脏体模)的患者获取图像，生成用于控制TEE探头110的运动控制参数，确定用于相对于包括特定或所选临床特性的目标图像视图来鉴定或验证所获取的图像和运动控制参数的标记或得分，和/或生成数据库140。数据库140可以将所获取的图像与运动控制参数和得分相关联地存储。
在一个实施例中，处理部件136被配置成基于数据库140训练CNN 142，以将成像部件114对准目标图像平面。在一个实施例中，处理部件136被配置成将CNN 142应用于临床设置中来确定用于机器人系统120的运动控制命令，以将成像部件114对准诸如患者102的患者以用于临床操作。例如，成像部件114被对准以获得患者102的LAA的图像以用于LAAC操作。本文更详细地描述了用于获取数据库140的数据集、训练CNN 142以及应用CNN 142的机制。
在一些实施例中，存储器132可以包括非暂时性计算机可读介质。存储器132可以存储指令，该指令在由处理部件136执行时，致使处理部件136执行在本文中参考结合本公开的实施例的数据获取、CNN训练和/或CNN应用来描述的操作。指令也可以称为代码。术语“指令”和“代码”应该广义地解释为包括任何类型的计算机可读语句。例如，术语“指令”和“代码”可以指一个或多个程序、例程、子例程、功能、过程等。“指令”和“代码”可以包括单个计算机可读的。
显示器134可以包括计算机屏幕或用于显示用户界面(UI)144的任何合适的显示器。UI 144可以包括手柄116的图形化表示或视图，例如，包括旋钮117和118以及开关119。UI 144可以包括视觉指示符，该视觉指示符指示拨动旋钮117和118的方向和/或量、打开或关闭开关119的指令，和/或旋转TEE探头110的方向和/或程度，如本文更详细描述的。尽管显示器134被示为主机130的集成部件，但是在一些实施例中，显示器134可以在主机130的外部并且经由通信接口138与主机130通信。例如，显示器134可以包括：独立显示器、增强现实眼镜或手机。
通信接口138可以包括一个或多个处理器、发送器、一个或多个接收器、一个或多个收发器，和/或用于发送和/或接收通信信号的电路。通信接口138可以包括实现适于通过通信链路150和152传输信号的特定通信协议的硬件部件和/或软件组件。通信接口138可以被称为通信装置或通信接口模块。通信接口138被配置成分别经由通信链路150和152与机器人系统120和成像部件114连接并通信。例如，主机130可以通过通信链路150向机器人系统120发送运动控制命令，并且经由通信链路152从成像部件114接收获取的图像。通信链路150和152可以包括无线链路和/或有线链路。无线链路的示例可以包括低功率蓝牙无线链路、电气和电子工程师协会(IEEE)802.11(WiFi)链路或任何合适的无线链路。有线链路的示例可以包括通用串行总线(USB)链路或任何合适的有线链路。
在一些实施例中，UI 144可以显示用于操作手柄116以将TEE探头110对准预期位置的指令。例如，处理部件136可以经由UI 144以指令和/或视觉指示符的形式将运动控制命令输出到显示器134，并且临床医生可以基于指令手动地将TEE探头110与患者102对准，而不是采用机器人系统120。通信接口138可以被进一步配置成例如经由键盘、鼠标或触摸屏来接收用户输入。UI 144可以基于用户输入来更新特定的显示或视图。UI 144在本文中更详细地描述。
尽管系统100被示为带有TEE探头110，但是系统100可以配置成将任何合适的成像部件自动对准患者以用于临床操作。成像部件可以提供内部成像模态，其中成像部件可以插入到患者体内以获取患者解剖结构的图像。替代性地，成像部件可以提供外部成像模态，其中可以将成像部件放置在患者身体外部以获取患者解剖结构的图像。成像模态可包括血管内超声(IVUS)成像、前视血管内超声(FL-IVUS)成像、血管内光声(IVPA)成像、心脏内超声心动图(ICE)、光学成像、光学相干断层扫描(OCT)、放射线成像、x射线成像、血管造影、荧光透视、计算机断层扫描(CT)。磁共振成像(MRI)、弹性成像等。
在一些其他实施例中，系统100可包括任何合适的感测部件，其包括用于执行临床或治疗操作的压力传感器、流动传感器、温度传感器、光纤、反射器、反射镜、棱镜、消融元件、射频(RF)电极、导体和/或它们的组合，其中成像部件114可以在该操作之前、期间和/或之后捕获接收该操作的患者解剖结构的图像。
可以以各种自由度来操纵TEE探头110。图2A至图2D示出了操纵TEE探头110的各种机制。图2A是示出根据本公开的多个方面的TEE探头110的配置210的示意图。TEE探头110可以如箭头212所示以手动方式推进到患者的食道中，或如箭头214所示从患者的食道中回撤。TEE探头110可以相对于TEE探头110的纵向轴线202分别如箭头216和218所示以手动方式向左(例如，逆时针)或向右(例如，顺时针)旋转。构件112的旋转可以由被表示为γ的参数来描述。
图2B是示出根据本公开的多个方面的TEE探头110的配置220的示意图。例如，通过控制手柄116上的开关119，可以如箭头222和224所示将TEE探头110以电子方式从0度旋转到180度(例如，用于波束成形)。成像平面的旋转可以由被表示为ω的参数来描述。
图2C是示出根据本公开的多个方面的TEE探头110的配置230的示意图。例如，通过拨动手柄116上的旋钮118，TEE探头110可以例如相对于患者的心脏沿着前-后平面弯曲，如箭头232和234所示。沿着前-后平面的弯曲可以由被表示为α的参数来描述。
图2D是示出根据本公开的多个方面的TEE探头110的配置240的示意图。例如，通过拨动手柄116上的旋钮117，TEE探头110可以例如相对于患者的心脏沿着左-右平面弯曲，如箭头242和244所示。沿着左-右平面的弯曲可以由被表示为β的参数来描述。
图3是根据本公开的多个方面的包括TTE探头310的医学成像系统300的示意图。系统300与系统100基本相似，但是系统300被用于将外部成像部件(例如，TTE探头310)而不是内部成像部件(例如，TEE探头110)对准目标成像平面。如图所示，系统300包括彼此通信的主机130、机器人系统320和TTE探头310。在高位处，TTE探头310被配置成从患者102的身体外部捕获患者102的解剖结构的图像，并且主机130可以经由链路150指示机器人系统320将TTE探头310重新定位到预期位置。系统300可以是超声成像系统，并且探头310可以是超声探头。
TTE探头310可以包括以与成像部件114基本相似的机制操作的成像部件。例如，成像部件可以包括超声换能器元件，其被布置成根据外部成像来捕获患者102的解剖结构(例如，心脏)的2D图像或3D图像。类似地，TTE探头310可以经由链路152将获取的图像信号发送到主机130。
机器人系统320可以包括联接至多个关节324的多个连杆322，该多个关节被配置成保持TTE探头310并在患者102的身体外表面上操纵TTE探头310(例如，围绕胸部区域以用于心脏成像)。处理部件136可以使用与系统100中基本类似的机制来生成数据库140和CNN142，但是运动控制命令可以采用笛卡尔速度的格式，而不是TEE探头110的旋转和弯曲，如本文更详细地描述的。
总体上，本文所述的系统100、系统300、探头110、探头310和/或其他装置可用于检查患者身体102的任何合适的解剖结构和/或管腔。在一些情况下，探头110可以定位在患者身体102的解剖结构和/或管腔内。在另一些情况下，探头110可以定位在身体102的外部，以检查身体102内的解剖结构和/或管腔。解剖结构和/或管腔可代表自然和人造的充满流体或被流体围绕的结构。例如，本公开的探头可以被定位在患者的食道内和/或用于检查患者的食道。在一些实施例中，本公开的探头可以用于检查任何数量的解剖位置和组织类型，包括但不限于：器官，其包括肝脏、心脏、肾脏、胆囊、胰腺、肺；管道；肠；神经系统结构，其包括大脑、硬脑膜囊、脊髓和周围神经；尿路；以及心脏的血液、腔室或其他部分内的瓣膜，和/或身体的其他系统。身体102内部的解剖结构和/或管腔可以是血管，例如患者血管系统的动脉或静脉，其包括心脏脉管系统、外周脉管系统、神经脉管系统、肾脉管系统和/或身体内的任何其他合适的管腔。除了自然结构之外，本公开的探头可以用于检查人造结构，例如但不限于心脏瓣膜、支架、分流器、过滤器和其他装置。
图4是示出根据本公开的多个方面的用于使成像部件对准操作自动化的方案400的示意图。方案400可以由系统100和300中的主机130实现。方案400可以包括数据获取阶段402、CNN训练阶段404和临床操作阶段406。数据获取阶段402和CNN训练阶段404可以离线执行，临床操作阶段406可以在临床设置中执行。
在数据获取阶段402中，数据获取部件410可被配置成使用成像部件(例如，TEE探头110或TTE探头310)获取图像数据，生成用于操纵成像部件(例如，使用机器人系统120或320)到达相对于受试者的身体(例如，患者102或解剖体模)的各个位置的运动控制参数，并将成像部件的位置和对应图像与目标图像视图相关联以生成数据库140。数据获取部件410可以基于成像部件的对应位置和目标视图之间的关系来自动注释或标记所获取的图像。数据获取部件410可以迭代地或周期性地获取数据并更新数据库140。本文更详细地描述了用于获取数据和生成数据库140的机制。
在CNN训练阶段404中，CNN训练部件420可被配置成基于数据库140训练CNN 142。CNN 142可包括预测CNN 142a、微调CNN 142b和目标CNN 142c。预测CNN 142a被训练成从成像部件接收当前获取的图像，并以成像部件到达用于捕获目标图像视图的预期位置的最高概率来推断或推导运动矢量(例如，包括运动控制参数)。例如，可以针对包括特定或预定临床特性(例如，LAA)的目标图像视图来训练预测CNN 142a。微调CNN 142b被训练成验证一对图像是否具有相同的质量水平或从该对图像中选择具有较高质量水平的图像。目标CNN142c被训练成确定是否已经捕获了目标图像视图(例如，LAA)。在一些实施例中，CNN训练部件420可以使用附加的临床数据来训练微调CNN 142b和/或目标CNN 142c。在本文中更详细地描述了用于训练CNN 142的机制。
在临床操作阶段406中，CNN应用部件430可以应用经训练的CNN 142来确定运动矢量，以将成像部件重新定位或对准到患者的解剖结构，从而获得目标图像视图。CNN应用部件430可以采用闭环控制算法来进行对准。例如，CNN应用部件430可以应用预测CNN 142a来引导成像部件，并且应用目标CNN 142c来检查成像部件是否处于预期位置。CNN应用部件430可以重复地应用预测CNN 142a和目标CNN 142c，直到目标CNN 142c检测到目标图像视图为止。随后，CNN应用部件430可以应用微调CNN 142b以将成像部件引导到用于捕获目标图像视图的最佳位置。CNN应用部件430可以指示机器人系统在对准过程中重新定位或对准成像部件。替代性地，CNN应用部件430可以将运动矢量提供给移动指导部件432，例如，用于在UI 144中显示。本文更详细地描述了用于应用CNN 142的机制。
图5是示出根据本公开的多个方面的用于获取大规模图像数据集的方案500的示意图。方案500可以由系统100和300以及数据获取部件410来实现。方案500提供了在数据获取阶段402中的自动数据获取过程的更详细的视图。方案500包括移动生成部件510、机器人系统520、鉴定部件530、数据关联部件540、数据库生成部件550、数据库存储部件560和成像装置570。在一个实施例中，成像装置570可对应于TEE探头110，且机器人系统520可对应于机器人系统120。在另一个实施例中，成像装置570可以对应于TTE探头310，机器人系统520可以对应于机器人系统330。
移动生成部件510被配置成生成一组成像平面位置(例如，用于2D成像)，并将成像平面位置编码为运动控制配置。运动控制配置被用于重新定位成像装置570。运动控制配置可以由被表示为mt的运动矢量来表示。运动控制配置可以包括可以根据所使用的成像部件的类型而变化的参数。例如，当成像装置570是TEE探头110时，运动控制配置可以包括参数γ、ω、α和β，如分别关于图2A、2B、2C和2D所示和所述的。替代性地，当成像装置570是TTE探头310时，运动控制配置可以由线速度参数和角速度参数来表示。在一些实施例中，移动生成部件510可采用随机函数来生成用于运动控制配置的参数。移动生成部件510可以将运动控制配置提供给机器人系统520和数据关联部件540。
在一些实施例中，除了改变成像装置570的物理位置之外，运动控制配置还可以包括用于操作成像装置570以改变体积超声图像内的成像平面的控制。例如，成像平面可以在体积成像下相对于体积区域的轴线沿高程方向或任何合适的角度倾斜。
通常，运动控制配置可以包括与由用户或机器人提供的装置的特定位置或特定运动有关的任何可测量数据。在整个申请中描述了各种运动控制配置，并且本文的方法/系统可以包括这些运动控制配置中的任何一种或组合。在某些情况下，运动控制配置包括一个或多个参数。参数可以包括方向或速度矢量和/或成像平面位置。
机器人系统520可以基于运动控制配置来重新定位成像装置570。成像装置570可以捕获受试者的身体580(例如，心脏体模)的图像，并将被表示为Ut的图像提供给鉴定部件530和数据关联部件540。
鉴定部件530确定所获取的图像是否包括对于特定临床操作(例如，LAAC操作)来说有意义的特定临床特性(例如，LAA)。作为示例，方案500可以被配置成生成用于捕获目标图像视图的数据库140，该目标图像视图被表示为Utarget，其包括特定的临床特性。鉴定部件530可以输出被表示为lt的得分或标记。例如，当所选择的运动控制配置将成像装置570定位在所获取的图像成功地捕获目标图像视图的位置时，鉴定部件530可以输出得分lt的值为1。相反，当所获取的图像未能捕获目标图像视图时，鉴定部件530可以输出得分lt的值为0。鉴定部件530可以将得分lt提供给数据关联部件540。
在一个实施例中，数据关联部件540可以接收由成像装置570在被表示为qt的当前位置处捕获的被表示为Ut的当前图像。机器人系统520可以基于运动控制矢量mt将成像装置570重新定位到被表示为qend的下一个位置，这可以表示如下：
mt＝qend-qt。 (1)
当成像装置570被重新定位到位置qend时，鉴定部件530可以接收由成像装置570捕获的受试者的身体580的被表示为Ut+1的下一图像。鉴定部件530可以基于图像Ut+1是否包括目标图像视图Utarget来确定导致生成图像Ut+1的运动命令的得分lt。替代性地，当受试者的身体580是体模时，用于捕获目标图像视图的目标位置是已知的。因此，鉴定部件530可以通过将位置qend与目标位置进行比较来确定得分lt。
数据关联部件540可以将当前图像Ut与运动控制矢量mt和得分lt相关联，以形成被表示为dt的数据元组，如下所示：
dt＝(Ut，mt，lt)。 (2)
方案500可以在到达目标图像视图的过程中的每次尝试或努力中采取K个步骤形成的序列，其中K是正整数。每次尝试或努力都可以由被表示为Sn的序列来表示，如下所示：
Sn＝{d1，d2，…，dK}， (3)
其中dt可以表示序列Sn中的特定步骤t处的数据元组。数据关联部件540可以将序列Sn提供给数据库生成部件550。
序列Sn可以在各种条件下终止。例如，当图像Ut+1与目标图像视图Utarget之间的相似性测度较大时，序列Sn可以终止。可以使用各种机制来确定两个单峰图像之间的相似性测度。例如，归一化互相关、平方差和(SSD)、模板匹配和/或暹罗卷积神经网络可用于确定相似性测度。替代性地，当步骤dt的位置qend对应于已知的目标位置(例如，相对于体模配准的目标坐标)时，序列Sn可以终止。当尝试次数或步骤数(例如K)超过阈值而未到达目标图像视图时，或者在用尽所有运动控制参数(例如，达到特定运动的硬件限值或软件限值)后，序列Sn也可以终止。硬件限值的示例可以是分别用于TEE探头110的弯曲和旋转的扫掠α、β或γ。软件限值的示例可以是用于在从0到180度的所有角度上改变成像平面的扫掠ω。在某些情况下，机器人系统120可以针对每个自由度α、β、γ或ω任意地限定软件限值。
数据库生成部件550可以通过从根据N次尝试获得的序列Sn中形成被表示为D的关联数据集来生成数据库140，如下所示：
D＝{S1，S2，…，SN}， (4)
其中N是正整数。
数据库存储部件560可以将数据库140或数据集D存储在诸如存储器132的存储器中。在一些实施例中，可以使用体模来执行方案500，然后可以使用临床设置来重复方案500(例如，捕获患者102的图像)。在这样的实施例中，成像装置570的重新定位可以由用户手动执行或由机器人系统520自动执行。当手动执行成像装置570的重新定位时，可以通过运动感测部件来感测移动，该运动感测部件可以基于所感测到的移动来记录运动控制配置。另外，图像/位置鉴定可以由鉴定部件530自动执行或由用户手动执行。在一些情况下，UI 144可以包括各种设置，以供用户鉴定所获取的图像或图像平面位置或指示序列Sn中的最终步骤。
在一个实施例中，可以调整超声成像参数以用于获取，例如增益和深度。在一个实施例中，临床医生或用户可以从由临床团体推荐的一组临床相关视图中选择用于特定临床操作的目标图像视图Utarget。在一个实施例中，临床医生可以基于对图像体积的广泛搜索来手动定位目标图像视图Utarget。在另一个实施例中，临床医生可以获得具有不同成像参数或位置的多个目标图像视图以用于获取。
在一个实施例中，在方案500已经生成足够数量的运动控制配置以获取针对成像体积的一部分的图像数据集之后，临床医生可以将成像装置570重新定位到不同的位置，并重复方案500以获取成像体积的不同部分。在一个实施例中，可以通过使用几个其他受试者的身体580(例如，多个心脏体模)来重复方案500，以增加所获取的成像数据集的多样性。在一个实施例中，可以通过使用多个成像装置570(例如，多个TEE探头110或多个TTE探头310)来重复方案500，以增加成像数据集的多样性。成像平面位置或运动控制配置的数量以及重复的次数可以由临床医生任意地选择。为了支持深度学习神经网络训练，要求成像数据集的大小相对较大。
尽管方案500被示为用于针对特定目标视图生成数据库140，但是可以针对不同的目标图像视图重复方案500。方案500可以将不同目标图像视图的数据集存储在同一数据库或不同数据库中。
图6是示出根据本公开的多个方面的用于重新定位TEE探头的场景600的示意图。场景600可以对应于当成像装置570对应于TEE探头110时重新定位成像装置570的步骤。如图所示，TEE探头110可以包括可调节构件610，该可调节构件610弯曲或调节构件112和成像部件114的定位。成像部件114沿着一系列位置移动，例如，从当前位置qt移动到下一位置qt+1，并终止于终止位置qend。当TEE探头110在位置qt+1处时，成像部件114可以捕获图像620(例如，Ut+1)。运动控制矢量mt可以表示如下：
mt＝qt+1-qt＝(α，β，γ，ω)T， (5)
其中T代表转置运算符。
图7是示出根据本公开的多个方面的用于重新定位TTE探头的场景700的示意图。场景700可以对应于当成像装置570对应于TTE探头310时重新定位成像装置570的步骤。如图所示，TTE探头310可以沿着一系列位置移动，例如，从由pt表示的当前位置移动到由pt+1表示的下一位置，并终止于由pend表示的终止位置，其中pt、pt+1和pend是4x 4变换矩阵(例如，包括平移和旋转)。因此，运动控制矢量mt可以由3D平移矢量(例如线速度)和从当前位置到终止位置围绕每个轴(例如在x-y-z空间中)的方位变化(例如角速度)来表示。当TTE探头310位于位置pt+1时，TTE探头310可以捕获患者102的图像710(例如，Ut+1)。运动控制矢量mt可以表示如下：
mt＝pt+1-pt＝(vxt，vyt，vzt，ωxt，ωyt，ωzt)T， (6)
其中vxt、vyt和vzt分别表示沿x、y和z轴的线速度，而ωxt、ωyt和ωzt分别表示相对于x、y和z轴的角速度。当将方案500与TTE探头310一起应用时，用户可以任意地确定边界条件或终止条件以限制TEE探头310可以重新定位到的位置(例如，在对患者的心脏进行成像时围绕患者胸部区域的边界)。
图8A-8C示出了可以与在方案500中使用的图像相对应的各种示例图像或图像视图。图8A示出了根据本公开的多个方面的LAA 812的目标图像视图810的示例。例如，目标图像视图810可以对应于Utarget，并且LAA 812可以对应于预期临床特性。图8B示出了根据本公开的多个方面的用于捕获患者的心脏822内的LAA的成像平面820的位置的示例。例如，方案500可被用于重新定位成像装置570以利用成像平面820捕获图像。图8C示出了根据本公开的多个方面的由处于成像平面的成像部件(例如，成像装置570或TEE探头110)捕获的LAA832的目标图像830的示例。例如，目标图像830可以对应于Utarget，而LAA 832可以对应于预期临床特性。
图9-11示出了CNN 142的内部架构。图9是示出根据本公开的多个方面的用于预测CNN 142a的配置900的示意图。预测CNN 142a被用于预测用于重新定位成像部件(例如，TEE探头110、TTE探头310和成像装置570)的运动控制配置的候选对象是否会在给出输入图像902的情况下导致用于特定目标视图(例如，对应于Utarget的目标图像830)的最佳成像位置。例如，预测CNN 142a可以接收由相对于患者的身体(例如，患者102)位于当前位置(例如，对应于qt)的成像部件捕获的当前图像902(例如，对应于Ut)。预测CNN 142a可以基于当前图像来确定来自一组候选运动控制配置904(例如，对应于mt)的运动控制配置是否可以将成像部件引导至目标图像视图。在一些实施例中，该组候选运动控制配置904可以包括用于改变体积超声图像内的成像平面的控件。预测CNN 142a可以针对每个候选运动控制配置计算到达目标图像视图的概率908(例如，输出908)，并选择具有到达目标图像视图的最高概率的候选运动控制配置。预测CNN 142a可以包括第一组卷积层910和池化层912、空间分块层920、求和组件930、第二组卷积层940和池化层942。
预测CNN 142a可以将第一组卷积层910和池化层912应用于当前图像902。每个卷积层910可以包括一组过滤器914，其被配置成从图像902提取成像特征。每个池化层912可以包括一组过滤器916，其可以减小所提取的成像特征的维数。
预测CNN 142a可以将空间分块层920应用于每个候选运动控制配置904。空间分块层920可以包括一组过滤器922。空间分块层920将候选运动控制配置904变换或映射到第一组中的最后池化层912(例如，被示为池N)的输出空间维数。求和组件930可以计算第一组中的最后池化层912的输出与空间分块层920的输出之间的和906(例如，逐点求和)。
预测CNN 142a可以将交织的第二组卷积层940和池化层942应用于和906。卷积层940和池化层942可以分别具有与卷积层910和池化层912基本类似的结构。例如，每个卷积层940可以包括一组过滤器944，并且每个池化层942可以包括一组过滤器916。预测CNN142a产生输出908，该输出908表示针对每个候选运动控制配置904的到达目标图像视图的概率。因此，可以从候选运动控制配置904中选择具有最高概率的运动控制配置。过滤器914、916、922、944和946可以具有任何合适的顺序。如本文更详细地描述的，过滤器914、916、922、944和946的系数被学习或训练。
图10是示出根据本公开的多个方面的用于微调CNN 142b的配置1000的示意图。微调CNN 142b用于从一对输入图像1002和1004中选择具有更高质量的图像。例如，微调CNN142b可用于在预测CNN 142a将成像部件引导到预期位置之后微调成像部件(例如，TEE探头110、TTE探头310和成像装置570)的位置，如本文中更详细地描述的。微调CNN 142b包括第一组卷积层1010和池化层1012、第二组卷积层1020和池化层1022，以及选择部件1030。
微调CNN 142b可将第一组交织的卷积层1010和池化层1012应用于一个输入图像1002，将交织的第二组卷积层1020和池化层1022应用于另一输入图像1004。每个卷积层1010可以包括一组过滤器1014，并且每个池化层1012可以包括一组过滤器1016。类似地，每个卷积层1020可以包括一组过滤器1024，并且每个池化层1022可以包括一组过滤器1026。选择部件1030被配置成从该对图像1002和1004中选择具有更高质量的图像1032。过滤器1014、1016、1024、1026的系数被学习或训练，如本文更详细地描述的。
图11是示出根据本公开的多个方面的用于目标CNN 142c的配置1100的示意图。目标CNN 142c被用于相对于目标图像视图鉴定输入图像1102。例如，目标CNN 142c可以确定输入图像1102是否包括目标图像视图(例如，对应于Utarget的目标图像视图810)或预定的或选定的临床特性(例如，LAA 812)。在一个实施例中，可以训练目标CNN 142c以识别特定的解剖学类别，例如肺、肝或心脏。目标CNN 142c包括一组卷积层1110和池化层1112以及区域提议网络1120。目标CNN 142c可以将该组交织的卷积层1110和池化层1112应用于输入图像1102。每个卷积层1110可以包括一组过滤器1114，并且每个池化层1112可以包括一组过滤器1116。该组卷积层1110和池化层1112输出特征图1104。
区域提议网络1120被应用于特征图1104。区域提议网络1120可被配置成CNN。例如，区域提议网络1120可以包括一组卷积层和池化层，每一个都包括一组过滤器。区域提议网络1120可以基于多个解剖或成像类别(例如，心脏、肺、肝脏、B线成像)对特征图1104评分。因此，区域提议网络1120可以基于最高得分将输入图像1102分类为类别之一。可以训练目标CNN 142c以检测特定类别(例如，心脏的图像视图)，并产生指示是否检测到目标视图或特定类别的输出1106。例如，当输入图像1102包括目标图像视图时，输出1106可以包括的值为1。相反，当输入图像1102不包括目标图像视图时，输出1106可以包括的值为0。输出1106可以被称为标记或得分。过滤器1114和1116以及区域提议网络1120中的过滤器的系数被学习或训练，如本文更详细地描述的。
图12-14示出了用于训练CNN 142的机制。图12是示出根据本公开的多个方面的用于训练预测CNN 142a的方案1200的示意图。方案1200可以由系统100或300来实现。方案1200提供了由CNN训练部件420执行的操作的更详细的视图。方案1200可以使用模拟数据(例如，从体模捕获的图像)和/或临床数据(例如，从患者102捕获的图像)离线地实现。方案1200可以被用于训练预测CNN 142a以预测用于重新定位成像部件(例如，TEE探头110、TTE探头310或成像装置570)以到达特定目标图像视图(例如，目标图像视图810)的移动。目标图像视图可以包括与临床操作(例如，LAAC操作)有关的特定临床特性(例如，LAA 812)。方案1200可以基于周期性更新的关联数据集(例如，数据库140)来增量地训练预测CNN 142a。
在步骤1210处，使用成像部件获取受试者的身体(例如，解剖体模)的图像。成像部件的定位可以由机器人系统(例如，机器人系统120、320或520)基于一组电机命令、运动控制配置或运动矢量来控制，例如，使用类似于以上关于图5描述的方案500中所示的机制。
在步骤1212处，将目标CNN 142c应用于所获取的图像。目标CNN 142c基于目标图像视图为每个获取的图像确定得分或标记。例如，当目标CNN 142c在所获取的图像中检测到目标图像视图(例如，预期临床特性)时，目标CNN 142c可以输出的值为1。相反，当目标CNN 142c在获取的图像中的未能检测到目标图像视图时，目标CNN 142c可以输出的值为0。步骤1212可以对应于鉴定部件530的操作。
在步骤1214处，将所获取的图像与对应的电机命令和标记相关联以产生关联数据集。例如，每个关联数据集可以对应于以上公式(2)中所示的数据元组dt。在步骤1216处，用关联数据集更新数据存储器。例如，数据存储器可以对应于存储在存储器132中的数据库140。步骤1210、1212、1214和1216可以周期性地重复。
在步骤1218处，预测CNN 142a接收一个批次或子集的关联数据集。该子集可以从数据存储器中随机选择。在一个实施例中，可以使用任意值来初始化预测CNN 142a中的过滤器914、916、922、944和946的系数。例如，使用前向传播将预测CNN 142a应用于该子集中的每个关联数据集。过滤器914、916、922、944和/或946的系数可以例如通过使用后向传播来调整，以最小化输出误差(例如，在预测CNN 142a的输出908与用于对应的关联数据集的标记之间)。
在步骤1220处，确定是否停止训练或继续使用更多的关联数据集进行训练。当确定要继续训练时，如箭头1222所示，可以从数据存储器中获取(例如，随机选择)下一子集或批次的关联数据集，并且可以针对该下一子集的关联数据集重复进行预测CNN 142a的训练。
在步骤1224处，当确定要停止训练时，可以获得临床数据(例如，在临床环境中捕获的患者的图像)以进一步训练预测CNN 142a。在步骤1226处，临床医生可以用指示目标图像视图是否被包括在临床图像中的标记来注释每个临床图像。经注释的临床图像可用于进一步训练或微调预测CNN 142a，如箭头1228所示，例如，以进一步调整过滤器914、916、922、944和/或946的系数。
图13是示出根据本公开的多个方面的用于训练微调CNN 142b的方案1300的示意图。方案1300可以由系统100或300来实现。方案1300提供了由CNN训练部件420执行的操作的更详细的视图。方案1300可以使用从体模和/或临床数据获取的图像离线地实现。例如，在步骤1310处，获取一组目标图像。目标图像可以包括特定的目标图像视图(例如，目标图像视图810)。
在步骤1312处，从该组目标图像中随机选择图像对，并从每对图像中选择具有较高图像质量的图像。
在步骤1314处，微调CNN 142b接收一个子集的图像对和对应选择(例如，指示图像对中具有更高质量的图像)。在一个实施例中，可以用任意值来初始化微调CNN 142b中的过滤器1014、1016、1024和1026的系数。将微调CNN 142b应用于每个图像对，并且例如使用前向传播进行对应的选择。可以例如通过使用向后传播来调整过滤器1014、1016、1024和/或1026的系数以最小化输出误差(例如，在微调CNN 142b的输出图像1032与选择之间)。可以针对下一子集的图像对和对应选择重复对微调CNN 142b的训练。
图14是示出根据本公开的多个方面的用于训练目标CNN 142c的方案1400的示意图。方案1400可以由系统100或300来实现。方案1400提供了由CNN训练部件420执行的操作的更详细的视图。方案1400可以通过使用从体模和/或临床数据获取的图像离线地实现。例如，在步骤1410处，获得被标记的数据集。被标记的数据集可以包括被分类为类别(例如，肺、心脏、肝脏、B线和LAA)的图像，并且可以基于分类来标记图像。在步骤1412处，可以获取例如使用体模和机器人系统(例如，机器人系统120或320)或从数据库140获取的所获取的被标记的图像。
在步骤1414处，目标CNN 142c接收被标记的数据集的子集和所获取的被标记的图像的子集。在一个实施例中，可以使用任意值来初始化目标CNN 142c中的过滤器1114和1116的系数。例如，使用前向传播将目标CNN 142c应用于被标记的数据集的子集和所获取的被标记的子集。过滤器1114和/或1116的系数可以例如通过使用后向传播来调整，以最小化输出误差(例如，在目标CNN 142c的输出1106与分类或标记之间)。可以针对被标记的数据集的下一子集和所获取的被标记的图像的子集重复对目标CNN 142c的训练。
图15是示出根据本公开的多个方面的用于将成像部件对准到预期位置的方案1500的示意图。方案1500可以由系统100或300来实现。方案1500提供了由CNN应用部件430执行的操作的更详细的视图。方案1500可以被用于在临床设置中在临床操作(例如，LAAC操作)之前获得患者的解剖结构(例如，患者102的心脏)的图像。临床医生可以选择目标图像视图Utarget(例如，目标图像830)。临床医生可以将成像装置1504(例如，TEE探头110、TTE探头310或成像装置570)定位在关注的患者解剖结构附近的初始位置qt处。
在步骤1510处，由成像装置1504获取代表患者的解剖结构的图像Ut。在步骤1512处，例如，由处理部件136在由临床医生任意选择的一些运动范围内生成一组运动矢量M。该组运动矢量M可以表示如下：
M＝{mx_1，mx_2，…，mx_n}，(7)
其中mx_1至mx_n是运动矢量，其可以与以上在公式(5)或(6)中描述的mt相类似并且可以取决于成像装置1504。例如，当成像装置1504是类似于TEE探头110的TEE探头时，运动矢量mx_1至mx_n可以包括参数α、β、γ和ω，如以上等式(5)中所示。替代性地，当成像装置1504是类似于TTE探头310的TTE探头时，运动矢量mx_1至mx_n可以包括参数vxt、vyt、vzt、ωxt、ωyt和ωzt，如以上等式(6)中所示。在一些其他情况下，该组运动矢量可以包括用于改变体积图像内的成像平面的参数。
在步骤1514处，预测CNN 142a接收图像Ut和该组运动矢量M。预测CNN 142a从该组M中选择或推断出具有到达目标成像试图Utarget的最高概率的运动矢量mx_k。而图15示出了预测CNN 142a选择一个运动矢量mx_k，在一些实施例中，预测CNN 142a可以从该组M中选择具有到达目标成像视图Utarget的最高概率的运动矢量的组合(例如，{mx_k1，mx_k2，mx_k3})。
在步骤1516处，机器人系统1502(例如，机器人系统120、320或520)接收所确定的运动矢量mx_k。机器人系统1502可以基于运动矢量mx_k来重新定位成像装置1504。机器人系统1502可以应用控制规则，例如比例-积分-微分(PID)控制规则，来控制成像装置1504的定位。例如，机器人系统1502基于运动矢量mx_k将成像装置1504重新定位到下一位置qt+1。在步骤1518处，成像装置1504可以在成像装置1504处于位置qt+1时捕获患者的解剖结构的下一图像Ut+1。
在步骤1520处，目标CNN 142c接收图像Ut+1。目标CNN 142c被应用于图像Ut+1。在步骤1522处，确定目标CNN 142c是否在图像Ut+1中检测到目标图像视图Utarget。当目标CNN142c未能在图像Ut+1中检测到目标图像视图时，可以重复步骤1510至1522。
当目标CNN 142c在图像Ut+1中检测到目标图像视图Utarget时，方案1500前进到步骤1524。在步骤1524处，通过小量地修改一个或多个运动参数来修改运动矢量mx_k，以生成经修改的运动矢量，表示为mx_k′。方案1500可以针对运动矢量mx_k′重复步骤1516和1518。例如，机器人系统1502可以基于运动矢量mx_k'将成像装置1504重新定位到位置qt+n，并且成像装置1504可以在成像装置1504位于位置qt+n时捕获患者的解剖结构的图像Ut+n。
在步骤1526处，微调CNN 142b可对图像Ut+1和Ut+1'执行成对比较，并选择具有较高图像质量的图像。在一些实施例中，可以重复微调步骤1524和1526。例如，可以生成多个经修改的运动矢量，并且可以将微调CNN 142b应用于选择导致具有最高质量的图像的运动矢量。
图16是示出根据本公开的多个方面的用于提供使成像部件对准预期位置的指导的方案1600的示意图。方案1600可以由系统100或300来实现。方案1600可以采用与方案1500中基本上相似的机制。例如，方案1600可被用于在临床设置中在临床操作(例如，LAAC操作)之前获得患者的解剖结构(例如，患者102的心脏)的图像。临床医生可以选择目标图像视图Utarget(例如，目标图像视图810)。临床医生可以将成像装置1604(例如，TEE探头110、TTE探头310或成像装置570或1504)定位在关注的患者解剖结构附近的位置qt处。方案1600可以如方案1600中所述的那样应用预测CNN 142a、微调CNN 142b和/或目标CNN 142c。然而，方案1600可以向临床医生提供指令以进行手动对准，而不是使用机器人系统1502自动对准成像装置1604。
在步骤1610处，由成像装置1604获取代表患者的解剖结构的图像Ut。在步骤1612处，例如，由处理部件136在由临床医生任意选择的某些运动范围内生成一组运动矢量M。该组运动矢量M可以如以上等式(7)中所示来表达。
在步骤1614处，预测CNN 142a接收图像Ut和该组运动矢量M。预测CNN 142a从该组M中选择或推断具有到达目标成像视图Utarget的最高概率的运动矢量mx_k。
在步骤1616处，显示器1602(例如，显示器134)接收所确定的运动矢量mx_k，并显示指示临床医生操纵成像装置1604的指令。这些指令可以是成像装置1604的运动或控制的图形化表示的格式(例如，在UI 144中)，如下文更详细地描述的。
在步骤1618处，临床医生可以基于在显示器1602上显示的指令将成像装置1604重新定位到下一位置qt+1。
在步骤1620处，成像装置1604可以在成像装置1604处于位置qt+1时捕获患者解剖结构的下一图像Ut+1。
在步骤1622处，将目标CNN 142c应用于图像Ut+1。
在步骤1624处，确定目标CNN 142c是否在图像Ut+1中检测到目标图像视图Utarget。当目标CNN 142c未能在图像Ut+1中检测到目标图像视图时，可以重复步骤1610至1624。
当目标CNN 142c在图像Ut+1中检测到目标图像视图Utarget时，方案1600前进到步骤1626。在步骤1626处，临床医生可以微调成像装置1604的位置以获得最佳目标视图。
图17A至图17C示出了用于引导临床医生将成像部件(例如，TEE探头110、TTE探头310、成像装置570、1504和1604)对准到预期位置以获得最佳目标视图的各种显示视图。图17A是示出根据本公开的多个方面的成像部件对准指导显示视图1710的示意图。视图1710可以对应于系统200或300中的显示器134上或方案1600中的显示器1602上的显示视图。图17B是示出根据本公开的多个方面的成像部件对准指导显示视图1720的示意图。图17C是示出根据本公开的多个方面的成像部件对准指导显示视图1730的示意图。虽然图17A至图17C示出了UI 144，其显示了用于操纵TEE探头110的移动的视图，但UI 144可以替代性地被配置成显示用于操纵TTE探头(例如，TTE探头310)或不同成像模态的另一成像装置的移动的视图。
在视图1710中，UI 144示出了TEE探头110的手柄116的前视图以及将TEE探头引导或对准至预期位置所需的移动的图形化表示。在视图1720中，UI 144示出了手柄116的侧视图以及用于将TEE探头引导或对准至预期位置所需的移动的图形化表示。在视图1730中，UI144示出了手柄116的后视图以及用于将TEE探头引导或对准至预期位置所需的移动的图形化表示。UI 144可以提供选择选项1712以允许用户在不同视图1710、1720和1730之间进行选择。
UI 144可以示出拨动旋钮117的方向(如箭头1714所示)，以使TEE探头110例如沿着相对于患者心脏的左-右平面弯曲，如图2D中所示。在一些实施例中，UI 144还可以示出基于等式(5)中所示的对应运动矢量的参数β所需的移动量。
UI 144可以示出拨动旋钮118的方向(如箭头1716所示)，以使TEE探头110沿着相对于患者心脏的前-后平面弯曲，如图2C中所示。在一些实施例中，UI 144还可以示出基于如等式(5)所示的对应运动矢量的参数α所需的移动量。
UI 144可以进一步示出例如相对于TEE探头110的纵向轴线202旋转TEE探头110的方向(如箭头1718所示)，如图2A中所示。在一些实施例中，UI 144还可以示出基于如等式(5)中所示的对应运动矢量的参数γ所需的移动量。
UI 144可以进一步示出用于开关119的控件(例如，红色按钮1702或绿色按钮1704)，例如，以启用或禁用TEE探头110的成像平面的旋转，如图2B中所示。例如，当将开关119设置为启用旋转时，成像平面可以围绕轴线以一定速度从0度扫到180度，并且旋转轴线可以是能够配置的。在一些实施例中，UI 144还可以示出基于如等式(5)中所示的对应运动矢量的参数ω所需的移动量。
图18是根据本公开的多个方面的获取用于训练CNN的成像数据集的方法1800的流程图。方法1800的步骤可以由系统100和300执行。方法1800可以采用与分别关于图4、5、12、15和16描述的方案400、500、1200、1500和1600中类似的机制。如图所示，方法1800包括多个列举的步骤，但是方法1800的实施例可以在列举的步骤之前、之后以及之间包括另外的步骤。在一些实施例中，所列举的步骤中的一个或多个可以被省略或以不同的顺序执行。
在步骤1810处，方法1800包括，例如，经由类似于通信接口138的通信装置，在成像部件位于第一成像位置时，从成像部件或成像装置接收第一图像。成像装置可包括超声换能器或超声换能器阵列。成像装置可以对应于TEE探头110、TTE探头310或成像装置570、1504、1604。第一图像和第一成像位置可以分别对应于方案500中描述的Ut和qt。在某些情况下，第一成像位置可以对应于体积超声图像内的特定成像平面。
在步骤1820处，方法1800包括发送运动控制配置，该运动控制配置用于将成像部件从第一成像位置重新定位到第二成像位置。运动控制配置和第二成像位置可以分别对应于方案500中描述的mt和qt+1。在一些情况下，第一成像位置可以对应于体积超声图像内的特定成像平面。
在步骤1830处，方法1800包括通过将第一图像、运动控制配置和代表第二成像位置和第一图像之间相对于包括临床特性(例如，LAA 812)的目标视图(例如，目标图像视图810)的关系的得分(例如，对应于上述的lt)相关联来生成数据库(例如，数据库140)。
在一个实施例中，运动控制配置可包括用于将成像部件移动到第二成像位置的一个或多个参数。例如，当成像部件是TEE探头110时，运动控制配置可以包括如等式(5)所示的参数α、β、γ和ω。替代性地，当成像部件是TTE探头310时，运动控制配置可以包括如以上等式(6)所示的参数vxt、vyt、vzt、ωxt、ωyt和ωzt。方法1800可以包括确定一个或多个参数。
在一个实施例中，方法1800可以包括：当成像部件被定位于第二成像位置时，从成像部件接收代表受试者的身体的第二图像(例如，对应于上述的Ut+1)；并且基于第二图像与目标图像视图之间的比较来确定得分。例如，当第二图像与目标图像视图匹配时，得分可以具有的值为1。相反，当第二图像与目标图像视图不匹配时，得分可以具有的值为0。第二图像可以对应于方案500中描述的Ut+1。
在一个实施例中，方法1800可以包括基于第二成像位置与成像部件的用于获取与目标图像视图相对应的受试者身体的图像的目标成像位置之间的比较来确定得分。例如，当受试者的身体是体模时，可以配准用于获得特定临床特性或视图的目标成像位置，因此得分可以基于配准的目标成像位置和第二成像位置之间的比较。
在一个实施例中，方法1800可以包括将运动控制配置发送到控制成像部件的机器人系统(例如，机器人系统120、320、520和1502)。
图19是根据本公开的多个方面的训练CNN的方法1900的流程图。方法1900的步骤可以由系统100和300执行。方法1900可以采用与如分别关于图9、10、11、12、13和14所描述的配置900、1000和1100以及方案1200、1300和1400中类似的机制。如图所示，方法1900包括多个列举的步骤，但是方法1900的实施例可以在列举的步骤之前、之后以及之间包括另外的步骤。在一些实施例中，所列举的步骤中的一个或多个可以被省略或以不同的顺序执行。
在步骤1910处，方法1900包括获得将图像与运动控制配置和得分相关联的数据集。图像可以代表受试者的身体(例如，患者102)。图像可以由成像部件(例如，TEE探头110、TTE探头310和成像装置570、1504和1604)捕获。运动控制配置用于重新定位成像部件。得分代表多个运动控制配置和多个图像之间相对于包括临床特性(例如，LAA 812)的目标图像视图(例如，目标图像视图810)的关系。在一个实施例中，数据集可以对应于以上等式(4)中的D。图像、运动控制配置和得分可以分别对应于以上等式(2)中的Ut、mt和lt。
在步骤1920处，方法1900包括基于数据集训练第一CNN(例如，预测CNN 142a)。
在步骤1930处，方法1900包括基于数据集或临床数据训练第二CNN(例如，微调CNN142b)。
在步骤1940处，方法1900包括基于数据集或临床数据训练第三CNN(例如，目标CNN142c)。
在一个实施例中，第一CNN可以具有与配置900相类似的配置。例如，方法1900可以通过将至少第一卷积层(例如，卷积层910)和第一池化层(例如，池化层912)应用到多个图像中的第一图像(例如，图像902)来训练第一CNN。方法1900可以包括基于第一池化层的输出和多个运动控制配置中的与第一图像相关联的第一运动控制配置来确定总和。方法1900可以包括将至少第二卷积层(例如，卷积层940)和第二池化层(例如，池化层942)应用于该总和。方法1900可以包括基于第二池化层的输出(例如，输出908)和多个得分中的与第一图像相关联的第一得分，调整第一卷积层、第一池化层、第二卷积层或第二池化层中的至少一个中的系数(例如，过滤器914、916、922、944、946的系数)。经训练的第一CNN可以基于输入图像预测用于获得包括临床特性的图像的运动控制配置。
在一个实施例中，第二CNN可以具有与配置1000相类似的配置。方法1900可以包括获得指示，该指示指示多个图像中的第一图像(例如，图像1002)相对于目标图像视图具有比多个图像中的第二图像(例如，图像1004)更高的质量。方法1900可以通过将至少第一卷积层(例如，卷积层1010)和第一池化层(例如，池化层1012)应用于第一图像来训练第二CNN。方法1900可以包括将至少第二卷积层(例如，卷积层1020)和第二池化层(例如，池化层1022)应用于第二图像。方法1900可以包括基于第一池化层的输出、第二池化层的输出和指示(例如，图像1032)，调整在第一卷积层、第一池化层、第二卷积层或第二池化层中的至少一个中的系数(例如，过滤器1014、1016、1024和1026的系数)。经训练的第二CNN可以相对于目标图像视图从一对输入图像中选择更高质量的图像
在一个实施例中，第三CNN可以具有类似于配置1100的配置。方法1900可以包括获得候选图像以及将候选图像分类为多个解剖部分类别中的第一类别的分类。方法1900可以基于候选图像和第一类别的分类来训练第三CNN。经训练的第三CNN可以将输入图像分类为多个类别中的一个。
图20是根据本公开的多个方面的应用CNN的方法2000的流程图。方法2000的步骤可以由系统100和300执行。方法1900可以采用与如分别关于图4、15和16描述的方案400、1500和1600中类似的机制。如图所示，方法2000包括多个列举的步骤，但是方法2000的实施例可以在列举的步骤之前、之后以及之间包括另外的步骤。在一些实施例中，所列举的步骤中的一个或多个可以被省略或以不同的顺序执行。
在步骤2010处，方法2000包括从成像部件接收第一图像(例如，图像902)。图像可以代表受试者的身体(例如，患者102)。当成像部件被定位于第一成像位置时，可以由成像部件(例如，TEE探头110、TTE探头310和成像装置570、1504和1604)捕获图像。第一成像位置可以指超声成像部件的特定物理位置(例如，如方案500中所述的qt)和/或体积超声图像内的特定成像平面。
在步骤2020处，方法2000包括获得用于重新定位成像部件的多个候选运动控制配置(例如，候选运动控制配置904)。
在一个实施例中，可以通过对用于重新定位成像部件的一组运动参数进行随机采样来获得多个候选运动控制配置。例如，当成像部件是TEE探头110时，运动控制配置可以包括如等式(5)中所示的参数α、β、γ和ω。替代性地，当成像部件是TTE探头310时，运动控制配置可以包括如以上等式(6)所示的参数vxt、vyt、vzt、ωxt、ωyt和ωzt。
在步骤2030处，方法2000包括将第一CNN(例如，预测CNN 142a)应用于第一图像和候选运动控制配置，以产生第一运动控制配置(例如，配置904)。基于包括临床特性(例如，LAA 812)的目标图像视图(例如，目标图像视图810)来训练第一CNN。
在步骤2040处，方法2000包括基于第一运动控制配置来重新定位成像部件。例如，将成像部件从第一成像位置重新定位到第二成像位置。第二成像位置可以指超声成像部件的特定物理位置(例如，如方案500中所述的qt+1)和/或体积超声图像内的特定成像平面。
在一个实施例中，应用第一CNN包括将至少第一卷积层(例如，卷积层910)和第一池化层(例如，池化层912)应用到第一图像。应用第一CNN可以进一步包括基于第一池化层的输出和多个候选运动控制配置中的第一候选运动控制配置来确定总和。应用第一CNN可以进一步包括将至少第二卷积层(例如，卷积层940)和第二池化层(例如，池化层942)应用到该总和。应用第一CNN可以进一步包括基于最后预测层的输出来确定第一运动控制配置。
在一个实施例中，方法2000还包括将第二CNN(例如，目标CNN 142c)应用于第二图像，以相对于目标图像视图鉴定第二图像。当第二CNN指示第二图像不合格时，方法2000可以将第一CNN重新应用于第二图像以产生第二运动控制配置，以用于将成像部件从第二成像位置重新定位到第三成像位置，并再次应用第二CNN以相对于目标图像视图鉴定第三图像。方法2000可以重复第一CNN和第二CNN的重新应用步骤，直到成像部件可以捕获目标图像视图为止。
替代性地，当第二CNN指示第二图像合格时，方法2000可以基于第三CNN(例如，微调CNN 142b)来调节第二成像位置。例如，方法2000可以将成像部件重新定位到第三成像位置，并在成像部件处于第三成像位置时捕获受试者的身体的第三图像。方法2000可以将第三CNN应用于第二图像和第三图像。方法2000可以基于第三CNN的输出来选择第二图像或第三图像。
在一个实施例中，方法2000可以向机器人系统(例如，机器人系统120、320或1502)发送指令，以基于第一运动控制配置来指示机器人系统将成像部件重新定位到第二成像位置。
图21是根据本公开的多个方面的基于CNN提供成像部件对准指导的方法2100的流程图。方法2100的步骤可以由系统100和300执行。方法2100可以采用与如分别关于图4、16、17A，17B和17C描述的方案400和1600以及视图1710、1720和1730中类似的机制。如图所示，方法2100包括多个列举的步骤，但是方法2100的实施例可以在列举的步骤之前、之后以及之间包括另外的步骤。在一些实施例中，所列举的步骤中的一个或多个可以被省略或以不同的顺序执行。
在步骤2110处，方法2100包括获得运动控制配置，该运动控制配置用于相对于受试者的身体(例如患者102)将成像部件或成像装置从第一成像位置重新定位到第二成像位置。成像装置可包括超声换能器或超声换能器阵列。成像装置可以对应于TEE探头110、TTE探头310或成像装置570、1504、1604。运动控制配置可以基于预测网络(例如CNN 142)、当成像部件位于第一成像位置时捕获的受试者的身体的图像以及包括临床特性(例如，LAA812)的目标图像视图(例如，目标图像视图810)来获得。图像可以对应于方案1600中的图像Ut。运动控制配置可以对应于方案1600中的运动矢量mx_k。第一和第二成像位置可以指超声成像部件的特定物理位置(例如，方案500中描述的qt和qt+1)和/或体积超声图像内的特定成像平面。
在步骤2120处，方法2100包括基于运动控制配置，显示用于操作与成像部件通信的控制部件(例如，手柄116)使得成像部件被重新定位到第二成像位置的指令。
方法2100可以使用类似于视图1710、1720和1730中所示的显示器来显示指令。例如，方法2100可以显示控制部件的图形化视图以及指示用于操作控制部件的移动方向或移动的量中的至少一个的可视指示符。图形化视图可以包括控制部件的透视图。
在一个实施例中，方法2100可以接收对控制部件的多个视图的第一视图的请求，并且响应于该请求，将图形化视图从多个视图的当前视图切换到第一视图。多个视图可以包括控制部件的前视图、控制部件的侧视图或控制部件的后视图中的至少一个。控制部件可以包括控制成像部件沿着受试者的身体的左-右平面的移动的第一子部件(例如，旋钮117)、控制成像部件沿着受试者的身体的前-后平面的移动的第二子部件(例如，旋钮118)，或控制成像部件的成像平面的方位的第三子部件(例如，开关119)中的至少一个。运动控制配置可以包括用于操作第一子部件的第一参数、用于操作第二子部件的第二参数、用于操作第三子部件的第三参数或用于使成像部件相对于成像部件的轴线旋转的第四参数中的至少一个。第一参数、第二参数、第三参数和第四参数可以对应于以上示出的等式(5)的参数α、β、ω和γ。显示可以包括显示视觉指示符，该视觉指示符包括箭头(例如，箭头1714、1716和1718)或开/关指示符(例如，按钮1702和1704)中的至少一个。尽管在TEE探头的背景下描述了方法2100，但是可以应用类似的机制为TTE探头或另一种成像模态的成像装置提供对准指导。
图22是根据本公开的多个方面的使医学检查自动化的方法2200的流程图。方法2200的步骤可以由系统100和300执行。方法2200可以采用与如分别关于图4、15和20描述的方案400、1500和2000中类似的机制。如图所示，方法2200包括多个列举的步骤，但是方法2200的实施例可以在列举的步骤之前、之后以及之间包括另外的步骤。在一些实施例中，所列举的步骤中的一个或多个可以被省略或以不同的顺序执行。
在步骤2210处，方法2200包括在成像装置相对于受试者的身体(例如患者102)被定位于第一成像位置时，从成像装置接收第一图像。可以经由类似于通信接口138的通信装置来接收第一图像。该图像可以代表受试者的身体。成像装置可以包括超声换能器或超声换能器阵列。成像装置可以对应于TEE探头110、TTE探头310或成像装置570、1504、1604。
在步骤2220处，方法2200包括基于第一预测网络(例如CNN 142a)、第一图像和包括临床特性(例如，LAA 812)的目标图像视图(例如，目标图像视图810)，确定用于将成像装置从第一成像位置重新定位到第二成像位置的第一运动控制配置。第一和第二成像位置可以指超声成像部件的特定物理位置(例如，如方案500中所述的qt和qt+1)和/或体积超声图像内的特定成像平面。
在步骤2230处，方法2200包括基于第一运动控制配置，通过联接至成像装置的机器人系统将成像装置重新定位至第二成像位置。机器人系统可以类似于机器人系统120和320。
在一个实施例中，方法2200还包括：当成像装置相对于受试者的身体被定位于第二成像位置时，从成像装置接收代表受试者的身体的第二图像，并且基于第二预测网络(例如，CNN 142b)确定第二图像是否包括目标图像视图的临床特性。
当确定第二图像不包括目标图像视图的临床特性时，方法2200还包括确定第二运动控制配置，基于第二运动控制配置将成像装置重新定位到第三成像位置，以及当成像装置相对于受试者的身体被定位于第三成像位置时，接收代表受试者的身体的第三图像。方法2200可以进一步包括重复进行确定运动控制配置(例如，第二、第三、第四、第五、第n运动控制配置)，将成像装置重新定位到成像位置(例如，第三、第四、第五、第n个成像位置)，以及接收图像(例如，第三、第四、第五、第n个图像)的步骤，直到从成像装置接收到包括目标图像视图的临床特性的图像为止。
当确定第二图像包括目标图像视图的临床特性时，方法2200可以进一步包括确定对第二成像位置的调节。方法2200可以进一步包括：基于该调节，由机器人系统将成像装置重新定位到第三成像位置，当成像装置相对于受试者的身体被定位于第三成像位置时，从成像装置接收代表受试者的身体的第三图像，以及基于第三预测网络从第二成像位置和第三成像位置中选择目标成像位置。方法2200还可以包括：当成像装置被定位于所选择的目标成像位置时，从成像装置接收代表受试者的身体的第四图像；以及基于第四图像确定与临床特性相关的医学检查结果。
在一个实施例中，方法2200可以进一步包括通过对用于重新定位成像装置的一组运动进行采样来确定多个候选运动控制配置。确定第一运动控制配置可以进一步包括基于第一预测网络、第一图像和目标图像视图从多个候选运动控制配置中选择第一运动控制配置。
在一个实施例中，通过以下方式来训练第一预测网络：提供由成像装置从至少两个成像位置获得的多个图像以获得目标图像视图，基于成像装置的与该至少两个成像位置相关联的定向或移动获得多个运动控制配置，以及相对于目标图像视图为多个运动控制配置和多个图像之间的关系分配得分，例如，如方法1900中所述。
本申请的多个方面可以提供多个益处。例如，使用机器人系统来获取成像数据集可以生成并提供一致的移动和/或控制以用于重新定位成像部件。自动注释的使用(例如，通过应用目标CNN)可以消除放射线专家对注释的需求，并且消除了注释中的用户可变性。结合自动注释使用机器人系统可以允许一致的大规模图像数据集获取，因此可以提高预测网络的准确性，并改善在预测用于重新定位成像部件的最佳移动和/或控制的过程中的预测网络的后续用途。另外，结合自动注释使用机器人系统可以允许使用多个不同的解剖体模(例如，多个心脏体模)和/或多个不同的成像部件(例如，多个TEE探头)或医学成像系统进行采集，因此可以增加数据集的多样性。在受控设置和临床设置的组合下使用获取图像数据集可以允许获取中的数据多样性。所公开的实施例可以自动地、一致地并且系统地收集具有适合于训练深度学习预测网络的注释的大规模成像数据集。尽管在使用TEE探头或TTE探头获取大规模图像数据集的背景下描述了所公开的实施例，但是所公开的实施例可以被应用于利用任何成像模态的任何成像部件来获取大规模图像数据集。
本公开的其他实施例包括一种医学超声图像系统。该系统包括接口，该接口与超声成像部件通信且被配置成当超声成像部件相对于受试者的身体被定位于第一成像位置时，从超声成像部件接收代表受试者的身体的第一图像，以及发送用于将超声成像部件从第一成像位置重新定位到第二成像位置的运动控制配置；处理部件，其与该接口通信且被配置成通过将第一图像、运动控制配置和代表第二成像位置和第一图像之间相对于包括临床特性的目标图像视图的关系的得分相关联来生成数据库；以及存储器，其与处理部件通信且被配置成存储数据库，以利于训练用于对准超声成像部件的预测网络。
在一些实施例中，运动控制配置包括用于将超声成像部件重新定位到第二成像位置的一个或多个参数。在一些实施例中，处理部件还被配置成确定该一个或多个参数。在一些实施例中，处理部件还被配置成基于随机函数来确定该一个或多个参数。在一些实施例中，该一个或多个参数包括用于沿着受试者的身体的左-右平面移动超声成像部件的参数、用于沿着受试者的身体的前-后平面移动超声成像部件的参数、用于定向超声成像部件的成像平面的参数或用于相对于超声成像部件的轴线旋转超声成像部件的参数中的至少一个。在一些实施例中，超声成像部件是经食道超声心动图(TEE)探头。在一些实施例中，该一个或多个参数包括用于移动超声成像部件的线速度参数或角速度参数中的至少一个。在一些实施例中，超声成像部件是经胸超声心动图(TTE)探头。在一些实施例中，该接口还被配置成在超声成像部件被定位于第二成像位置时接收代表受试者的身体的第二图像，并且处理部件还被配置成基于第二图像和目标图像视图之间的比较来确定得分。在一些实施例中，处理部件还被配置成基于第二成像位置与超声成像部件的用于获得与目标图像视图相对应的受试者的身体的图像的目标成像位置之间的比较来确定得分。在一些实施例中，当第二成像位置对应于超声成像部件的用于获取与目标图像视图相对应的受试者的身体的图像的目标成像位置时，该得分表示成功。在一些实施例中，处理部件还被配置成确定运动控制配置，并且接口还被配置成将运动控制配置发送到控制超声成像部件的机器人系统。
本公开的其他实施例包括一种医学超声图像数据获取的方法。该方法包括：当超声成像部件相对于受试者的身体被定位于第一成像位置时，从超声成像部件接收代表受试者的身体的第一图像；发送用于将超声成像部件从第一成像位置重新定位到第二成像位置的运动控制配置；以及通过将第一图像、运动控制配置和代表第二成像位置和第一图像之间相对于包括临床特性的目标图像视图的关系的得分相关联来生成数据库。
在一些实施例中，运动控制配置包括用于将超声成像部件移动到第二成像位置的一个或多个参数。在一些实施例中，该方法还包括确定该一个或多个参数。在一些实施例中，超声成像部件是经食道超声心动图(TEE)探头，并且该一个或多个参数包括用于沿着受试者的身体的左-右平面移动超声成像部件的参数、用于沿着受试者的身体的前-后平面移动超声成像部件的参数、用于定向超声成像部件的成像平面的参数或者用于相对于超声成像部件的轴线旋转超声成像部件的参数中的至少一个。在一些实施例中，超声成像部件是经胸超声心动图(TTE)探头，并且该一个或多个参数包括用于使超声成像部件朝向第二成像位置移动的线速度参数或角速度参数中的至少一个。在一些实施例中，该方法还包括：当超声成像部件被定位于第二成像位置时，从超声成像部件接收代表受试者的身体的第二图像；以及基于第二图像与目标图像视图之间的比较来确定得分。在一些实施例中，该方法还包括基于第二成像位置与超声成像部件的用于获取与目标图像视图相对应的受试者身体的图像的目标成像位置之间的比较来确定得分。在一些实施例中，发送运动控制配置包括将运动控制配置发送到控制超声成像部件的机器人系统。
本领域技术人员将认识到，上述装置、系统和方法可以以各种方式修改。因此，本领域普通技术人员将理解，本公开包含的实施例不限于上述特定的示例性实施例。就此而言，尽管已经示出和描述了示例性实施例，但是在前述公开中可以设想到各种各样的修改、改变和替换。应理解的是，在不脱离本公开的范围的情况下，可以对前述内容进行此类变化。因此，应理解的是，所附权利要求应以宽泛并且与本公开一致的方式来解释。

Claims (20)

1.一种成像系统，包括：
通信接口，其被配置成：
当成像装置相对于受试者的身体被定位于第一成像位置时，从所述成像装置接收代表所述受试者的身体的第一图像；和
发送用于将所述成像装置从所述第一成像位置重新定位到第二成像位置的运动控制配置；
处理器，其与所述通信接口通信且被配置成通过将所述第一图像、所述运动控制配置和代表所述第二成像位置和所述第一图像之间相对于目标图像视图的关系的得分相关联来生成数据库；和
存储装置，其与所述处理器通信且被配置成存储所述数据库以利于训练用于使所述成像装置与所述目标图像视图对准的预测网络。
2.根据权利要求1所述的系统，其中，所述运动控制配置包括用于将所述成像装置重新定位到所述第二成像位置的一个或多个参数。
3.根据权利要求2所述的系统，其中，所述处理器还被配置成确定所述一个或多个参数。
4.根据权利要求3所述的系统，其中，所述处理器还被配置成基于随机函数来确定所述一个或多个参数。
5.根据权利要求2所述的系统，其中，所述一个或多个参数对应于所述成像装置沿所述受试者的身体的左-右平面的移动、所述成像装置沿所述受试者的身体的前-后平面的移动、所述成像装置的成像平面的定向或所述成像装置相对于所述成像装置的轴线的旋转中的一个或多个。
6.根据权利要求5所述的系统，其中，所述成像装置是经食道超声心动图(TEE)探头。
7.根据权利要求2所述的系统，其中，所述一个或多个参数对应于用于移动所述成像装置的线速度或角速度中的至少一个。
8.根据权利要求7所述的系统，其中，所述成像装置是经胸超声心动图(TTE)探头。
9.根据权利要求1所述的系统，其中，所述通信接口还被配置成当所述成像装置被定位于所述第二成像位置时，接收代表所述受试者的身体的第二图像，并且所述处理器还被配置成基于所述第二图像和所述目标图像视图之间的比较来确定所述得分。
10.根据权利要求1所述的系统，其中，所述处理器还被配置成基于所述第二成像位置与所述成像装置的用于获取与所述目标图像视图相对应的所述受试者的身体的图像的目标成像位置之间的比较来确定所述得分。
11.根据权利要求1所述的系统，其中，当所述第二成像位置对应于所述成像装置的用于获得与所述目标图像视图相对应的所述受试者的身体的图像的目标成像位置时，所述得分表示成功。
12.根据权利要求1所述的系统，其中，所述处理器还被配置成确定所述运动控制配置，并且所述通信接口还被配置成将所述运动控制配置发送到控制所述成像装置的机器人系统。
13.一种医学超声图像数据获取的方法，包括：
当成像装置相对于受试者的身体被定位于第一成像位置时，从所述成像装置接收代表所述受试者的身体的第一图像；
发送用于将所述成像装置从所述第一成像位置重新定位到第二成像位置的运动控制配置；和
通过将所述第一图像、所述运动控制配置和代表所述第二成像位置和所述第一图像之间相对于目标图像视图的关系的得分相关联来生成数据库。
14.根据权利要求13所述的方法，其中，所述运动控制配置包括用于将所述成像装置移动到所述第二成像位置的一个或多个参数。
15.根据权利要求14所述的方法，其中，所述方法还包括确定所述一个或多个参数。
16.根据权利要求14所述的方法，其中，所述成像装置是经食道超声心动图(TEE)探头，并且所述一个或多个参数对应于所述成像装置沿所述受试者的身体的左-右平面的移动、所述成像装置沿所述受试者的身体的前-后平面的移动、所述成像装置的成像平面的定向或所述成像装置相对于所述成像装置的轴线的旋转中的一个或多个。
17.根据权利要求14所述的方法，其中，所述成像装置是经胸超声心动图(TTE)探头，并且所述一个或多个参数对应于用于移动所述成像装置的线速度或角速度中的至少一个。
18.根据权利要求13所述的方法，其中，所述方法还包括：
当所述成像装置被定位于所述第二成像位置时，从所述成像装置接收代表所述受试者的身体的第二图像；和
基于所述第二图像和所述目标图像视图之间的比较来确定所述得分。
19.根据权利要求13所述的方法，其中，所述方法还包括基于所述第二成像位置与所述成像装置的用于获取与所述目标图像视图相对应的所述受试者的身体的图像的目标成像位置之间的比较来确定所述得分。
20.根据权利要求13所述的方法，其中，发送所述运动控制配置包括将所述运动控制配置发送到控制所述成像装置的机器人系统。
CN201980031733.2A 2018-03-12 2019-03-05 用于神经网络训练的超声成像数据集获取及相关装置、系统和方法 Pending CN112106070A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862641493P 2018-03-12 2018-03-12
US62/641,493 2018-03-12
PCT/EP2019/055357 WO2019174953A1 (en) 2018-03-12 2019-03-05 Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods

Publications (1)

Publication Number Publication Date
CN112106070A true CN112106070A (zh) 2020-12-18

Family

ID=65685351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031733.2A Pending CN112106070A (zh) 2018-03-12 2019-03-05 用于神经网络训练的超声成像数据集获取及相关装置、系统和方法

Country Status (5)

Country Link
US (1) US20210038321A1 (zh)
EP (1) EP3766007A1 (zh)
JP (1) JP7304873B2 (zh)
CN (1) CN112106070A (zh)
WO (1) WO2019174953A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11707255B2 (en) * 2019-04-02 2023-07-25 Siemens Medical Solutions Usa, Inc. Image-based probe positioning
US11298195B2 (en) * 2019-12-31 2022-04-12 Auris Health, Inc. Anatomical feature identification and targeting
EP4066155A4 (en) * 2019-12-31 2023-01-11 Shanghai United Imaging Healthcare Co., Ltd. IMAGING SYSTEMS AND METHODS
CN113616235B (zh) * 2020-05-07 2024-01-19 中移(成都)信息通信科技有限公司 超声检测方法、装置、系统、设备、存储介质及超声探头
KR102416698B1 (ko) * 2020-06-03 2022-07-05 고려대학교 산학협력단 딥러닝 알고리즘 기반의 초음파 영상에서의 말초신경 자동 인식 및 신경 지표 측정 방법 및 장치
US20220296219A1 (en) * 2021-03-22 2022-09-22 GE Precision Healthcare LLC System and methods for adaptive guidance for medical imaging
US11903766B2 (en) * 2021-03-23 2024-02-20 GE Precision Healthcare LLC Systems and methods for a user interface for a medical imaging system
NL2028640B1 (en) 2021-07-06 2023-01-12 Corbotics B V Robotized imaging system
EP4191527A1 (en) * 2021-12-03 2023-06-07 Ambu A/S An endoscope image processing device
KR102590387B1 (ko) * 2021-12-28 2023-10-17 고려대학교 산학협력단 인공지능 기반의 근육 초음파를 이용한 수근관 증후군 진단 시스템 및 방법
DE102022118990A1 (de) * 2022-07-28 2024-02-08 B. Braun New Ventures GmbH Navigationssystem und Navigationsverfahren mit Annotationsfunktion
CN116817306B (zh) * 2023-08-29 2023-12-01 奥德集团有限公司 一种可监测并控制燃气流量的燃气设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160110871A1 (en) * 2014-10-21 2016-04-21 Samsung Electronics Co., Ltd. Apparatus and method for supporting image diagnosis
US20160113630A1 (en) * 2014-10-23 2016-04-28 Samsung Electronics Co., Ltd. Ultrasound imaging apparatus and method of controlling the same
CN105934215A (zh) * 2014-01-24 2016-09-07 皇家飞利浦有限公司 具有光学形状感测的成像设备的机器人控制
WO2017051279A1 (en) * 2015-09-24 2017-03-30 Koninklijke Philips N.V. System and method to find improved views in transcatheter valve replacement with combined optical shape sensing and ultrasound image guidance
WO2017122109A1 (en) * 2016-01-15 2017-07-20 Koninklijke Philips N.V. Automated probe steering to clinical views using annotations in a fused image guidance system
CN107427270A (zh) * 2015-02-23 2017-12-01 西门子保健有限责任公司 用于医疗诊断装置的自动定位的方法和系统
WO2017216322A1 (en) * 2016-06-17 2017-12-21 Koninklijke Philips N.V. System and method for determining hemodynamic parameters of a patient

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4555619B2 (ja) 2004-06-28 2010-10-06 アロカ株式会社 超音波診断装置
JP6467041B2 (ja) 2015-06-03 2019-02-06 株式会社日立製作所 超音波診断装置、及び画像処理方法
JP6116650B1 (ja) 2015-11-17 2017-04-19 エヌ・ティ・ティ・コムウェア株式会社 学習支援システム、学習支援方法、学習支援装置、および学習支援プログラム
JP6865755B2 (ja) 2015-12-22 2021-04-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 被験者のボリュームを検査する医用撮像装置及び医用撮像方法
US20170252002A1 (en) * 2016-03-07 2017-09-07 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus and ultrasonic diagnosis support apparatus
AU2017230722B2 (en) 2016-03-09 2022-08-11 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
US10959702B2 (en) * 2016-06-20 2021-03-30 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105934215A (zh) * 2014-01-24 2016-09-07 皇家飞利浦有限公司 具有光学形状感测的成像设备的机器人控制
US20160110871A1 (en) * 2014-10-21 2016-04-21 Samsung Electronics Co., Ltd. Apparatus and method for supporting image diagnosis
US20160113630A1 (en) * 2014-10-23 2016-04-28 Samsung Electronics Co., Ltd. Ultrasound imaging apparatus and method of controlling the same
CN107427270A (zh) * 2015-02-23 2017-12-01 西门子保健有限责任公司 用于医疗诊断装置的自动定位的方法和系统
WO2017051279A1 (en) * 2015-09-24 2017-03-30 Koninklijke Philips N.V. System and method to find improved views in transcatheter valve replacement with combined optical shape sensing and ultrasound image guidance
WO2017122109A1 (en) * 2016-01-15 2017-07-20 Koninklijke Philips N.V. Automated probe steering to clinical views using annotations in a fused image guidance system
WO2017216322A1 (en) * 2016-06-17 2017-12-21 Koninklijke Philips N.V. System and method for determining hemodynamic parameters of a patient

Also Published As

Publication number Publication date
EP3766007A1 (en) 2021-01-20
JP2021515656A (ja) 2021-06-24
WO2019174953A1 (en) 2019-09-19
JP7304873B2 (ja) 2023-07-07
US20210038321A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
JP7304873B2 (ja) ニューラルネットワークの訓練のための超音波撮像データセットの取得及び関連するデバイス、システム、及び方法
JP7407725B2 (ja) ニューラルネットワークのための超音波撮像平面整列ガイダンス並びに関連するデバイス、システム、及び方法
JP7401447B2 (ja) ニューラルネットワークを使用した超音波撮像平面整列並びに関連するデバイス、システム、及び方法
JP7253560B2 (ja) ニューラルネットワークを用いた案内付き経頭蓋超音波撮像ならびに関連する装置、システムおよび方法
JP2022551778A (ja) 機械学習モデルのための訓練データ収集
JP2009511185A (ja) センサに案内されるカテーテル誘導システム
US20230026942A1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
CN114727806A (zh) 照护点超声(pocus)扫描辅助和相关装置、系统和方法
EP3866697B1 (en) Deep learning-based ultrasound imaging guidance and associated devices, systems, and methods
CN115210761A (zh) 多模态医学图像配准和相关联的设备、系统和方法
EP4033987A1 (en) Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
JP7493528B2 (ja) エンドエフェクタのフィードバック連続配置制御
WO2023186640A1 (en) Completeness of view of anatomy in ultrasound imaging and associated systems, devices, and methods
CN114828753A (zh) 用于引导超声探头的系统和方法
JP2023505465A (ja) Ｔｅｅプローブのハイブリッドロボット－画像平面制御
CN117580509A (zh) 用于心内超声心动图下激光瓣叶切除术的导航和程序引导的系统和设备
CN114945327A (zh) 用于引导超声探头的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination