CN117582251A - 经食管超声心动图的定位辅助系统、方法、设备及介质 - Google Patents

Abstract

本发明公开了一种经食管超声心动图的定位辅助系统、方法、设备及介质，所述定位辅助系统包括：心脏图像获取模块，用于获取经食管超声探头采集的实时心脏图像；超声探头控制模块，用于将所述实时心脏图像与心脏标准3D模型进行比对，以生成经食管探头控制指令；所述心脏标准3D模型根据多模态心脏影像学数据构建得到；超声探头驱动模块，用于根据所述经食管探头控制指令驱动所述经食管超声探头至目标位姿以获取目标心脏图像。本发明的定位辅助系统，通过将实时心脏图像与多模态心脏影像学数据构建得到的心脏标准3D模型进行比对，驱动经食管超声探头至目标位姿以获取目标心脏图像，实现了经食管超声心动图的自动化拍摄，提高了拍摄效率和准确性。

Description

经食管超声心动图的定位辅助系统、方法、设备及介质

技术领域

本发明涉及医学扫描技术领域，特别涉及一种经食管超声心动图的定位辅助系统、方法、设备及介质。

背景技术

经食管超声心动图(Trans Esophageal Echocardiography，TEE)是一种通过使用放置在食道内的超声探头对心脏结构进行超声成像来评估心血管功能的医学影像检查方法。其可以提供高质量、高清晰度的心脏图像，因此，TEE可以弥补常规的经胸超声心动图的不足，是临床应用中一种重要的成像方式，可以有效地改善对于具有心血管疾病的患者的检查和护理。

目前，在传统TEE检查中，需要经验丰富的超声心动图医师通过观察超声图像手动操作探头，将其放置在特定位置获取标准视图，以可视化特定的解剖结构。但由于TEE探头在患者食道内，医生无法直观得看到探头的位置方向和角度，只能通过屏幕上的角度显示以及所获取的超声切面图像来进一步判断。因此对操作医生有极高要求。此外，延长的检查时间、重复的探头插入和较差的成像质量均会增加患者的风险。

发明内容

本发明要解决的技术问题是为了克服现有技术中经食管超声心动图的获取过于依赖医师的技术与经验，导致效率较低且风险较高的缺陷，提供一种经食管超声心动图的定位辅助系统、方法、设备及介质。

本发明是通过下述技术方案来解决上述技术问题：

本发明提供一种经食管超声心动图的定位辅助系统，所述定位辅助系统包括：

心脏图像获取模块，用于获取经食管超声探头采集的实时心脏图像；

超声探头控制模块，用于将所述实时心脏图像与心脏标准3D模型进行比对，以生成经食管探头控制指令；所述心脏标准3D模型根据多模态心脏影像学数据构建得到；

超声探头驱动模块，用于根据所述经食管探头控制指令驱动所述经食管超声探头至目标位姿以获取目标心脏图像。

较佳地，所述超声探头驱动模块包括动力单元、力矩传感器和/或位置传感器；所述经食管探头控制指令包括位置调整指令和/或角度调整指令；

所述力矩传感器用于获取经食管超声探头的倾斜角度和旋转角度；

所述位置传感器用于获取经食管超声探头的移动深度；

所述超声探头控制模块具体用于基于所述实时心脏图像与心脏标准3D模型的差异信息和所述超声探头的倾斜角度和旋转角度生成角度调整指令；和/或，

所述超声探头控制模块具体用于基于所述实时心脏图像与心脏标准3D模型的差异信息和所述经食管超声探头的移动深度生成位置调整指令；

所述动力单元用于根据所述角度调整指令和/或位置调整指令调整所述经食管超声探头的角度和/或位置。

较佳地，所述超声探头控制模块还具体用于构建所述超声探头的三维空间坐标系；

所述超声探头控制模块还具体用在所述三维空间坐标系中输出所述倾斜角度、所述旋转角度和所述移动深度，以控制所述经食管超声探头的角度和位置；和/或，

所述定位辅助系统还包括：

控制校正模块，用于监控所述超声探头控制模块的经食管探头控制指令和所述超声探头驱动模块的角度数据和/或位置数据，并与目标角度数据和/或目标位置数据进行比对，以防止角度错误和/或位置错误。

较佳地，多模态心脏影像学数据包括心脏超声图像与心脏CT图像；

所述定位辅助系统还包括：

心脏标准模型构建模块，用于将所述心脏超声图像与所述心脏CT图像分别进行网格化和坐标定位，并通过预选的三个心脏切面影像重建出三个标准切面对所述心脏超声图像与所述心脏CT图像进行三维一体化影像融合，以构建所述心脏标准3D模型。

较佳地，所述定位辅助系统还包括：

全容积数据获取模块，用于获取扫描对象的心脏全容积数据；

扫描指令获取模块，用于获取用户的扫描指令；所述扫描指令包括兴趣切面；

所述超声探头控制模块还用于对所述兴趣切面与所述心脏全容积数据进行整合和匹配以生成经食管探头控制指令；

所述超声探头驱动模块还用于根据所述经食管探头控制指令驱动所述经食管超声探头至目标位姿以获取目标兴趣切面图像。

较佳地，所述定位辅助系统还包括：

解剖标注模块，用于对目标心脏图像进行解剖与标注；

所述超声探头控制模块具体用于基于对所述兴趣切面与所述心脏全容积数据进行整合和匹配以得到标准切面数据；

所述超声探头控制模块具体用于调用所述解剖标注模块，并通过识别心脏结构对当前切面图像与所述标准切面数据进行差异度评价；

所述超声探头控制模块具体用于基于差异度评价的结果生成经食管探头控制指令。

本发明还提供一种经食管超声心动图的定位辅助方法，所述定位辅助方法包括：

获取经食管超声探头采集的实时心脏图像；

将所述实时心脏图像与心脏标准3D模型进行比对，以生成探头控制指令；所述心脏标准3D模型根据多模态心脏影像学数据构建得到；

根据所述经食管探头控制指令驱动所述经食管超声探头至目标位姿以获取目标心脏图像。

较佳地，所述超声探头驱动模块包括动力单元、力矩传感器和/或位置传感器；所述经食管探头控制指令包括位置调整指令和/或角度调整指令；

所述力矩传感器用于获取经食管超声探头的倾斜角度和旋转角度；

所述位置传感器用于获取经食管超声探头的移动深度；

所述超声探头控制模块具体用于基于所述实时心脏图像与心脏标准3D模型的差异信息和所述超声探头的倾斜角度和旋转角度生成角度调整指令；和/或，

所述将所述实时心脏图像与心脏标准3D模型进行比对，以生成探头控制指令的步骤包括：

基于所述实时心脏图像与心脏标准3D模型的差异信息和所述经食管超声探头的移动深度生成位置调整指令；

根据所述角度调整指令和/或位置调整指令调整所述经食管超声探头的角度和/或位置。

较佳地，所述将所述实时心脏图像与心脏标准3D模型进行比对，以生成探头控制指令的步骤还包括：

构建所述超声探头的三维空间坐标系；

在所述三维空间坐标系中输出所述倾斜角度、所述旋转角度和所述移动深度，以控制所述经食管超声探头的角度和位置；和/或，

所述定位辅助方法还包括：

监控所述超声探头控制模块的经食管探头控制指令和所述超声探头驱动模块的角度数据和/或位置数据，并与目标角度数据和/或目标位置数据进行比对，以防止角度错误和/或位置错误。

较佳地，多模态心脏影像学数据包括心脏超声图像与心脏CT图像；

所述定位辅助方法还包括：

将所述心脏超声图像与所述心脏CT图像分别进行网格化和坐标定位，并通过预选的三个心脏切面影像重建出三个标准切面对所述心脏超声图像与所述心脏CT图像进行三维一体化影像融合，以构建所述心脏标准3D模型。

较佳地，所述定位辅助方法还包括：

获取扫描对象的心脏全容积数据；

获取用户的扫描指令；所述扫描指令包括兴趣切面；

对所述兴趣切面与所述心脏全容积数据进行整合和匹配以生成经食管探头控制指令；

根据所述经食管探头控制指令驱动所述经食管超声探头至目标位姿以获取目标兴趣切面图像。

较佳地，所述定位辅助方法还包括：

对目标心脏图像进行解剖与标注；

基于对所述兴趣切面与所述心脏全容积数据进行整合和匹配以得到标准切面数据；

通过识别心脏结构对当前切面图像与所述标准切面数据进行差异度评价；

基于差异度评价的结果生成经食管探头控制指令。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的经食管超声心动图的定位辅助方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的经食管超声心动图的定位辅助方法。

本发明还提供一种经食管超声心动图扫描设备，所述经食管超声心动图拍摄设备包括如上所述的经食管超声心动图的定位辅助系统。

本发明的积极进步效果在于：

本发明提供的经食管超声心动图的定位辅助系统，通过将实时心脏图像与多模态心脏影像学数据构建得到的心脏标准3D模型进行比对，以生成经食管探头控制指令，控制超声探头驱动模块驱动经食管超声探头至目标位姿以获取目标心脏图像，实现了经食管超声心动图的自动化拍摄，提高了经食管超声心动图的拍摄效率，且不依赖于超声心动图医师的技术与经验，具有较高的准确性。

附图说明

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

图1为本发明实施例1中的经食管超声心动图的定位辅助系统的第一结构示意图。

图2为本发明实施例1中的经食管超声心动图的定位辅助系统的第二结构示意图。

图3为本发明实施例2中的经食管超声心动图的定位辅助方法的流程图。

图4为本发明实施例4中的电子设备的第二结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

在本文提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在文中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

如本文中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本文中第一、第二的定义，本文中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本文中对设备个数的特别限定，不能构成对本文的任何限制。例如，可以将第一元件称为第二元件，而没脱离本公开的范围，类似地，可以将第二元件称为第一元件。

本文中使用了流程图用来说明根据本文的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

实施例1

请参考图1，其为本实施例中的经食管超声心动图的定位辅助系统的第一结构示意图。具体的，如图1所示，所述定位辅助系统包括：

心脏图像获取模块1，用于获取经食管超声探头采集的实时心脏图像；

超声探头控制模块2，用于将实时心脏图像与心脏标准3D模型进行比对，以生成经食管探头控制指令；心脏标准3D模型根据多模态心脏影像学数据构建得到；

超声探头驱动模块3，用于根据经食管探头控制指令驱动经食管超声探头至目标位姿以获取目标心脏图像。

以下将对本说明书实施例所涉及的经食管超声心动图的定位辅助系统进行详细说明。需要注意的是，以下实施例仅用于解释本说明书，并不构成对本说明书的限定。

具体地，超声探头控制模块将电子计算机断层扫描(Computed Tomography，CT)、磁共振成像(Magnetic Resonance Imaging，MRI)等医学成像设备获取的多模态心脏3D影像学数据通过AI算法与建模模型进行关联，构建得到心脏标准3D模型，将2D实时心脏图像与心脏标准3D模型进行比对，计算得到经食管超声探头与心脏的相对位置，生成经食管探头控制指令，超声探头驱动模块根据经食管探头控制指令驱动经食管超声探头至目标位姿，从而实现经食管超声心动图等操作，能够极大的经食管超声心动图的拍摄操作的入门门槛，提高医生工作效率和患者满意程度，同时进一步辅助经食管超声心动图质量控制等。

进一步，通过深度学习及智能切面分割，设定经食道超声心动图的标准切面，用户可以选择想要获取的切面，经食道超声探头配备超声探头控制模块和超声探头驱动模块，通过预设参数，进行相对应的标准切面角度旋转和偏转控制，从而实现自动化的切换任意标准切面等操作。经食道超声探头的驱动和控制，包括但不限于不同角度的偏转、前倾后倾、左右偏转等。

在一些实施方式中，经食管超声心动图的定位辅助系统与存储设备连接。存储设备可以存储数据、指令和/或任何其他信息。在一些实施例中，存储设备可以存储与经食管超声心动图的定位辅助系统的应用场景有关的数据和/或指令。例如，存储设备可以存储用于进行经食管超声扫描的计算机指令。又例如，存储设备可以存储心脏标准3D模型、多模态心脏影像学数据、和目标心脏图像等。

存储设备可以是经食管超声扫描装置内部或者外部的存储设备。在一些实施方式中，存储设备可以是处理器的一部分。在一些实施方式中，存储设备可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等，或其任何组合。在一些实施例，存储设备可以与网络连接，以便与处理器进行通信。在一些实施例中，存储设备可以与超声设备通信连接，例如，存储设备可以将存储的心脏标准3D模型直接传输给经食管超声心动图的定位辅助系统。

网络可以连接定位辅助系统的各组成部分和/或连接定位辅助系统与外部资源部分。网络使得各组成部分之间，以及与装置之外其他部分之间可以进行通讯，促进数据和/或信息的交换。例如，存储设备存储的心脏标准3D模型可以通过网络传输到定位辅助系统的处理器进行处理。又例如，定位辅助系统的处理器可以通过网络将生成的目标心脏图像传输到存储设备。再例如，经食管超声探头可以通过网络将获取的实时心脏图像传输到存储设备。

在一些实施方式中，网络可以是有线网络或无线网络中的任意一种或多种。例如，网络可以包括电缆网络、光纤网络、电信网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络(ZigBee)、近场通信(NFC)、设备内总线、设备内线路、线缆连接等或其任意组合。各部分之间的网络连接可以是采用上述一种方式，也可以是采取多种方式。

在一些实施方式中，定位辅助系统的处理器可以是单个服务器或服务器组。服务器组可以是集中式或分布式的。在一些实施例中，处理器可以是本地的或远程的。在一些实施例中，处理器可以在云平台上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

请参考图2，其为本实施例中的经食管超声心动图的定位辅助系统的第二结构示意图。具体的，如图2所示，在一种可选的实施方式中，超声探头驱动模块3包括动力单元301、力矩传感器302和/或位置传感器303；经食管探头控制指令包括位置调整指令和/或角度调整指令；力矩传感器302用于获取经食管超声探头的倾斜角度和旋转角度；位置传感器303用于获取经食管超声探头的移动深度。

超声探头控制模块2具体用于基于实时心脏图像与心脏标准3D模型的差异信息和超声探头的倾斜角度和旋转角度生成角度调整指令；超声探头控制模块2具体用于基于实时心脏图像与心脏标准3D模型的差异信息和经食管超声探头的移动深度生成位置调整指令；动力单元301用于根据角度调整指令和/或位置调整指令调整经食管超声探头的角度和/或位置。

具体地，在经食管超声探头内置入传感器及动力单元，传感器包括力矩传感器及位置传感器。动力单元可联动经食管超声探头的运动。在经食管超声探头置入适当位置后，例如ME四腔，经食管超声探头自动切换声速角度至0度和90度，呈现第一幅心脏超声图像。超声探头控制模块自动将当前采集的ME四腔图与心脏标准3D模型中对应的标准ME四腔图像进行比对，通过图像识别，给出位置及角度调整指令，例如角度增加为5°和95°，通过动力单元自动控制探头运动，进行前倾、后倾、左旋、右旋以及声速角度的调整。同时也给出深度的控制建议，用户可按提示进行探头深度的调整。

在本实施例中，超声探头控制模块2还具体用于构建超声探头的三维空间坐标系；超声探头控制模块2还具体用于在三维空间坐标系中输出倾斜角度、旋转角度和移动深度，以控制经食管超声探头的角度和位置；例如，可以以3D模型的某一点(如质心等)为原点，以与地平面垂直的轴为Y轴，以与地平面平行的轴为X轴，X轴与Y轴相互垂直，以与X轴和Y轴均垂直的轴为Z轴，建立直角坐标系，以过原点的当前切面的法向量与当前切面的交点坐标表示当前切面的切面位置和切面角度，进而控制经食管超声探头的角度和位置。

在本实施例中，定位辅助系统还包括：

控制校正模块4，用于监控超声探头控制模块的经食管探头控制指令和超声探头驱动模块的角度数据和/或位置数据，并与目标角度数据和/或目标位置数据进行比对，以防止角度错误和/或位置错误。

在一种可选的实施方式中，多模态心脏影像学数据包括心脏超声图像与心脏CT图像；

定位辅助系统还包括：

心脏标准模型构建模块5，用于将心脏超声图像与心脏CT图像分别进行网格化和坐标定位，并通过预选的三个心脏切面影像重建出三个标准切面对心脏超声图像与心脏CT图像进行三维一体化影像融合，以构建心脏标准3D模型。

心脏标准3D模型是指患者的心脏的数字化3D模型。在一些实施方式中，一个患者的一个部位可以对应一个3D模型。在一些实施方式中，心脏标准3D模型可以指经食管超声设备可以识别和/或进行位置匹配的3D模型。3D模型可以在经食管超声设备上呈现，实现DR、CT、MRI等医学成像设备的多模态心脏影像学数据向与超声设备可识别的数据的转化和/或进行位置匹配的交互。

多模态心脏影像学数据是指通过医学成像设备获得的关于患者的3D影像数据。在一些实施方式中，多模态心脏影像学数据可以包括多种。医学成像设备是指通过对人体施加物理信号(如X射线、超声、强磁场)而形成医学图像的设备。医学成像设备可以包括电子计算机断层(Computed Tomography，CT)、正电子发射断层(Positron EmissionTomography，PET)、直接数字平板X线成像(Digital Radiography，DR)、磁共振成像(Magnetic Resonance Imaging，MRI)等中的一种或任意组合。在一些实施例中，不同的医学成像设备可以获取不同模态的心脏影像学数据。例如，DR可以获取DR数据、MRI可以获取MRI数据等。

心脏标准模型构建模块5利用融合后的多模态影像学数据对建模模型进行训练以构建心脏标准3D模型。建模模型是指用于构建患者心脏的3D模型的模型。在一些实施例中，建模模型可以是深度学习模型。例如，卷积神经网络(Convolutional Neural Networks，CNN)或生成对抗网络(Generative Adversarial Networks，GAN)等。在一些实施方式中，建模模型可以基于大量的第一训练样本训练获取。训练建模模型的第一训练样本包括样本患者的多模态影像学数据。第一标签为第一训练样本对应的患者心脏的标准3D模型。标准3D模型可以是DR、CT、MRI等医学成像设备的多模态影像学数据经过渲染、缩放等转化成的超声设备可识别和/或进行位置匹配的模型。第一训练样本可以基于历史数据库获取。例如，第一训练样本可以为历史患者的历史多模态影像学数据获取。第一标签为历史患者的历史多模态影像学数据经过渲染、缩放等转化成的超声设备可识别和/或进行位置匹配的模型。处理器可以将带有第一标签的第一训练样本输入建模模型，得到患者心脏部位的初始3D模型；基于初始3D模型和第一标签构建第一损失函数，基于多个第一训练样本迭代更新建模模型的参数，以使建模模型的第一损失函数满足预设条件。例如，第一损失函数收敛，或第一损失函数值小于预设值。当第一损失函数满足预设条件时训练完成，获取训练好的建模模型。

在另一种可选的实施方式中，定位辅助系统还包括：

全容积数据获取模块6，用于获取扫描对象的心脏全容积数据；

扫描指令获取模块7，用于获取用户的扫描指令；扫描指令包括兴趣切面；

超声探头控制模块2还用于对兴趣切面与心脏全容积数据进行整合和匹配以生成经食管探头控制指令；超声探头驱动模块3还用于根据经食管探头控制指令驱动经食管超声探头至目标位姿以获取目标兴趣切面图像。具体地，还可以预先采集扫描对象的超声全容积心脏图像以供定位辅助系统使用，那么定位辅助系统可以将当前切面与全容积图像智能切割下的最佳切面进行比对，给出微调的角度等提示信息。

具体地，切面是指对人体进行切割形成的特定方向的切片表面。不同的切割角度可以对应不同的切面。例如，横切面、纵切面、冠状面等。切面信息是指切面的相关信息。在一些实施例中，辅助定位系统可以将切面与历史数据库中相同位置和相同角度的历史切面进行匹配识别，根据历史切面的解剖结构确定切面的解剖结构。切面位置是指切面在3D模型中的位置信息。切面角度是指切面在3D模型中的角度信息。在一些实施方式中，兴趣切面的切面信息，包括兴趣切面的解剖结构、切面位置和切面角度等。在一些实施例中，辅助定位系统可以对兴趣切面进行识别，并与扫描对象的全容积数据进行实时配比，驱动经食管超声探头至目标位姿以获取目标兴趣切面图像。

此外，定位辅助系统还包括：

解剖标注模块8，用于对心脏图像进行解剖与标注；

超声探头控制模块2具体用于基于对兴趣切面与心脏全容积数据进行整合和匹配以得到标准切面数据；

超声探头控制模块2具体用于调用解剖标注模块8，并通过识别心脏结构对当前切面图像与标准切面数据进行差异度评价；

超声探头控制模块具体2用于基于差异度评价的结果生成经食管探头控制指令。

具体地，切面信息可以包括解剖结构、切面位置和切面角度等。解剖结构是指切面的人体结构信息。例如，对于心脏超声的胸骨旁左室长轴切面，其解剖结构可以为从前向后依次为右心室前壁、右心室、室间隔、左心室等。标准切面是指可以满足用户需求的切面。在一些实施方式中，标准切面可以包括但不限于能够观测患者心脏的病灶的最佳切面、介入手术中医生想要获取的特定切面等。在一些实施方式中，标准切面和当前切面的差异是指在3D模型中标准切面和当前切面的切面位置和切面角度的差异。差异可以包括标准切面和当前切面的位置差异和角度差异。

在一些实施方式中，解剖标注模块可以对当前心脏图像进行分割，得到图像分割结果，对3D模型进行分割，得到模型分割结果，基于图像分割结果和模型分割结果，进行标准。其中，图像分割结果是指对当前心脏图像进行分割后得到的结果。模型分割结果是指对3D模型进行分割后得到的结果。图像分割结果和模型分割结果为采用相同的分割方式进行分割得到的分割结果。图像分割结果和模型分割结果存在一一对应的关系。例如，某一对应的图像分割结果和模型分割结果均对应患者的相同的某一部位。在一些实施例中，解剖标注模块可以通过多种方法对当前心脏图像和3D模型进行分割，得到图像分割结果和模型分割结果。例如，解剖标注模块可以对当前超声图像和3D模型进行图像识别，将当前超声图像和3D模型分割为多个不同部分的部分图像和部分模型，将多个不同部分的部分图像和部分模型确定为图像分割结果和模型分割结果。其中，不同部分可以为不同的解剖结构。图像识别技术可以包括但不限于分割模型，例如，Segment Anything model(SAM)、SegGPT等。在一些实施方式中，分割模型的输入可以包括当前超声图像或3D模型，输出可以为图像分割结果或模型分割结果。在一些实施方式中，分割模型可以基于大量的第三训练样本训练获取。训练分割模型的第三训练样本包括样本当前超声图像或样本3D模型。第三标签为第三训练样本对应的实际分割结果。第三训练样本和第三标签可以基于历史数据库获取。例如，第三训练样本可以为历史患者的历史超声图像和历史3D模型，第三标签为历史分割结果。在一些实施方式中，分割模型和建模模型的训练过程的类似，可以参见上文相关描述，在此不做赘述。

在一些实施方式中，辅助定位系统还可以包括显示设备、输入装置等组成部分。其中，超声显示设备可以用于显示超声扫描过程中所涉及的图像与信息。在一些实施例中，超声显示设备可以包括超声显示界面。输入装置可以用于实现人机交互的功能。输入装置可以包括键盘、扬声器等。例如，医生可以通过键盘输入指令对辅助定位系统进行操控、辅助定位系统可以通过扬声器对医生进行操作提醒与引导等。关于辅助定位系统的组成部分可以根据具体情况进行调整，在此不做限制。

应当理解，图2所示的辅助定位系统及其模块可以利用各种方式来实现。需要注意的是，以上对于辅助定位系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该装置的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图2中披露的超声探头控制模块和心脏标准模型构建模块可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储单元，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。

本发明提供的经食管超声心动图的定位辅助系统，通过将实时心脏图像与多模态心脏影像学数据构建得到的心脏标准3D模型进行比对，以生成经食管探头控制指令，控制超声探头驱动模块驱动经食管超声探头至目标位姿以获取目标心脏图像，实现了经食管超声心动图的自动化拍摄，提高了经食管超声心动图的拍摄效率，且不依赖于超声心动图医师的技术与经验，具有较高的准确性。

实施例2

请参考图3，其为本实施例中的经食管超声心动图的定位辅助方法的流程图。具体的，如图3所示，所述定位辅助方法包括：

S101、获取经食管超声探头采集的实时心脏图像；

S102、将实时心脏图像与心脏标准3D模型进行比对，以生成探头控制指令；心脏标准3D模型根据多模态心脏影像学数据构建得到；

S103、根据经食管探头控制指令驱动经食管超声探头至目标位姿以获取目标心脏图像。

较佳地，所述超声探头驱动模块包括动力单元、力矩传感器和/或位置传感器；所述经食管探头控制指令包括位置调整指令和/或角度调整指令；

所述力矩传感器用于获取经食管超声探头的倾斜角度和旋转角度；

所述位置传感器用于获取经食管超声探头的移动深度；

所述超声探头控制模块具体用于基于所述实时心脏图像与心脏标准3D模型的差异信息和所述超声探头的倾斜角度和旋转角度生成角度调整指令；和/或，

所述将所述实时心脏图像与心脏标准3D模型进行比对，以生成探头控制指令的步骤包括：

基于所述实时心脏图像与心脏标准3D模型的差异信息和所述经食管超声探头的移动深度生成位置调整指令；

根据所述角度调整指令和/或位置调整指令调整所述经食管超声探头的角度和/或位置。

较佳地，所述将所述实时心脏图像与心脏标准3D模型进行比对，以生成探头控制指令的步骤还包括：

构建所述超声探头的三维空间坐标系；

在所述三维空间坐标系中输出所述倾斜角度、所述旋转角度和所述移动深度，以控制所述经食管超声探头的角度和位置；和/或，

所述定位辅助方法还包括：

监控所述超声探头控制模块的经食管探头控制指令和所述超声探头驱动模块的角度数据和/或位置数据，并与目标角度数据和/或目标位置数据进行比对，以防止角度错误和/或位置错误。

较佳地，多模态心脏影像学数据包括心脏超声图像与心脏CT图像；

所述定位辅助方法还包括：

将所述心脏超声图像与所述心脏CT图像分别进行网格化和坐标定位，并通过预选的三个心脏切面影像重建出三个标准切面对所述心脏超声图像与所述心脏CT图像进行三维一体化影像融合，以构建所述心脏标准3D模型。

较佳地，所述定位辅助方法还包括：

获取扫描对象的心脏全容积数据；

获取用户的扫描指令；所述扫描指令包括兴趣切面；

对所述兴趣切面与所述心脏全容积数据进行整合和匹配以生成经食管探头控制指令；

根据所述经食管探头控制指令驱动所述经食管超声探头至目标位姿以获取目标兴趣切面图像。

较佳地，所述定位辅助方法还包括：

对目标心脏图像进行解剖与标注；

基于对所述兴趣切面与所述心脏全容积数据进行整合和匹配以得到标准切面数据；

通过识别心脏结构对当前切面图像与所述标准切面数据进行差异度评价；

基于差异度评价的结果生成经食管探头控制指令。

对于方法实施例而言，由于其基本对应于系统实施例，所以相关之处参见系统实施例的部分说明即可。以上所描述的方法实施例仅仅是示意性的，其中前面或后面步骤不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

实施例3

本实施例提供一种经食管超声心动图扫描设备，其特征在于，所述经食管超声心动图扫描设备包括实施例1中的经食管超声心动图的定位辅助系统。

本实施例提供的经食管超声心动图扫描设备，通过利用上述的经食管超声心动图的定位辅助系统辅助经食管超声探头进行扫描拍摄，实现了经食管超声心动图的自动化拍摄，提高了经食管超声心动图的拍摄效率，且不依赖于超声心动图医师的技术与经验，具有较高的准确性。

实施例4

图4为本公开实施例4提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1中的经食管超声心动图的定位辅助方法。图4显示的电子设备30仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。

总线33包括数据总线、地址总线和控制总线。

存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。

存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1中的经食管超声心动图的定位辅助方法。

电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例5

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1中的经食管超声心动图的定位辅助方法。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本公开还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中的经食管超声心动图的定位辅助方法。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种经食管超声心动图的定位辅助系统，其特征在于，所述定位辅助系统包括：

心脏图像获取模块，用于获取经食管超声探头采集的实时心脏图像；

超声探头控制模块，用于将所述实时心脏图像与心脏标准3D模型进行比对，以生成经食管探头控制指令；所述心脏标准3D模型根据多模态心脏影像学数据构建得到；

超声探头驱动模块，用于根据所述经食管探头控制指令驱动所述经食管超声探头至目标位姿以获取目标心脏图像。

2.如权利要求1所述的定位辅助系统，其特征在于，所述超声探头驱动模块包括动力单元、力矩传感器和/或位置传感器；所述经食管探头控制指令包括位置调整指令和/或角度调整指令；

所述力矩传感器用于获取经食管超声探头的倾斜角度和旋转角度；

所述位置传感器用于获取经食管超声探头的移动深度；

所述超声探头控制模块具体用于基于所述实时心脏图像与心脏标准3D模型的差异信息和所述超声探头的倾斜角度和旋转角度生成角度调整指令；和/或，

所述超声探头控制模块具体用于基于所述实时心脏图像与心脏标准3D模型的差异信息和所述经食管超声探头的移动深度生成位置调整指令；

所述动力单元用于根据所述角度调整指令和/或位置调整指令调整所述经食管超声探头的角度和/或位置。

3.如权利要求2所述的定位辅助系统，其特征在于，所述超声探头控制模块还具体用于构建所述超声探头的三维空间坐标系；

所述超声探头控制模块还具体用在所述三维空间坐标系中输出所述倾斜角度、所述旋转角度和所述移动深度，以控制所述经食管超声探头的角度和位置；和/或，

所述定位辅助系统还包括：

控制校正模块，用于监控所述超声探头控制模块的经食管探头控制指令和所述超声探头驱动模块的角度数据和/或位置数据，并与目标角度数据和/或目标位置数据进行比对，以防止角度错误和/或位置错误。

4.如权利要求1所述的定位辅助系统，其特征在于，多模态心脏影像学数据包括心脏超声图像与心脏CT图像；

所述定位辅助系统还包括：

心脏标准模型构建模块，用于将所述心脏超声图像与所述心脏CT图像分别进行网格化和坐标定位，并通过预选的三个心脏切面影像重建出三个标准切面对所述心脏超声图像与所述心脏CT图像进行三维一体化影像融合，以构建所述心脏标准3D模型。

5.如权利要求1所述的定位辅助系统，其特征在于，所述定位辅助系统还包括：

全容积数据获取模块，用于获取扫描对象的心脏全容积数据；

扫描指令获取模块，用于获取用户的扫描指令；所述扫描指令包括兴趣切面；

所述超声探头控制模块还用于对所述兴趣切面与所述心脏全容积数据进行整合和匹配以生成经食管探头控制指令；

所述超声探头驱动模块还用于根据所述经食管探头控制指令驱动所述经食管超声探头至目标位姿以获取目标兴趣切面图像。

6.如权利要求5所述的定位辅助系统，其特征在于，所述定位辅助系统还包括：

解剖标注模块，用于对目标心脏图像进行解剖与标注；

所述超声探头控制模块具体用于基于对所述兴趣切面与所述心脏全容积数据进行整合和匹配以得到标准切面数据；

所述超声探头控制模块具体用于调用所述解剖标注模块，并通过识别心脏结构对当前切面图像与所述标准切面数据进行差异度评价；

所述超声探头控制模块具体用于基于差异度评价的结果生成经食管探头控制指令。

7.一种经食管超声心动图的定位辅助方法，其特征在于，所述定位辅助方法包括：

获取经食管超声探头采集的实时心脏图像；

将所述实时心脏图像与心脏标准3D模型进行比对，以生成探头控制指令；所述心脏标准3D模型根据多模态心脏影像学数据构建得到；

根据所述经食管探头控制指令驱动所述经食管超声探头至目标位姿以获取目标心脏图像。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的经食管超声心动图的定位辅助方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的经食管超声心动图的定位辅助方法。

10.一种经食管超声心动图扫描设备，其特征在于，所述经食管超声心动图拍摄设备包括如权利要求1-6任一项所述的经食管超声心动图的定位辅助系统。