CN115546287A

CN115546287A - 经食管超声心动图的处理方法、系统、终端设备和介质

Info

Publication number: CN115546287A
Application number: CN202211192744.9A
Authority: CN
Inventors: 孟庆虎; 李可喻
Original assignee: Shenzhen Research Institute of CUHK
Current assignee: Shenzhen Research Institute of CUHK
Priority date: 2022-09-28
Filing date: 2022-09-28
Publication date: 2022-12-30

Abstract

一种经食管超声心动图的处理方法、系统、终端设备和介质，其方法包括以下步骤：获取超声探头采集的超声图像；若超声图像与预设的心脏参考图像不匹配的情况下，将超声图像和预设的心脏参考图像输入超声探头引导算法模型，预测得到针对超声探头的位姿控制指令；在用户界面上显示位姿控制指令；用户参考该控制指令进行超声探头的操作，获取超声探头对患者心脏部位采集的超声图像；重复上述步骤，直至获取的超声图像与预设的心脏参考图像匹配；若超声图像与预设的心脏参考图像匹配，则保存超声图像。本申请可用于临床应用中的经食道超声心动图成像任务，为医生提供实时的探头引导辅助，便于医生进行心脏的标准视图图像采集。

Description

经食管超声心动图的处理方法、系统、终端设备和介质

技术领域

本申请属于超声成像技术领域，尤其涉及一种经食管超声心动图的处理方法、系统、终端设备和介质。

背景技术

经食管超声心动图(Trans Esophageal Echocardiography，TEE)是一种通过使用放置在食道内的超声探头对心脏结构进行超声成像来评估心血管功能的医学影像检查方法。由于探头放置在食道内，距离心脏的距离更近，且没有皮肤或骨骼组织阻挡超声波的传播，TEE可以提供高质量、高清晰度的心脏图像，因此，TEE可以弥补常规的经胸超声心动图的不足，是临床应用中一种重要的成像方式，可以有效地改善对于具有心血管疾病的患者的检查和护理。

目前，在传统TEE检查中，需要经验丰富的超声心动图医师通过观察超声图像手动操作探头，将其放置在特定位置获取标准视图，以清楚地可视化解剖结构。由于无法从外部直接观察到探头的位置，医生必须根据对超声图像的理解和对解剖结构空间关系的知识来做出导航决策，这是一项具有挑战性的任务，需要大量培训和专业知识。此外，延长的检查时间、重复的探头插入和较差的成像质量均会增加患者受伤的风险。

随着计算机视觉和机器人学的不断发展，智能医疗机器人已被广泛用于超声成像任务中，显示出实现准确、快速、标准化高质量超声图像采集的巨大潜力，有望用于辅助超声医师开展常规的超声检查，减轻医师的工作负担，缩短检查时间，并提高成像质量，但现有方法主要聚焦于体外超声扫查应用，例如肝脏、乳房、甲状腺、脊柱等，使用基于经验或人工智能的方法，根据患者体表信息或超声图像信息，自动引导探头移动到所需要检查的部位。然而，现有方法仅关注体外成像应用，没有系统研究过体内超声采集应用中的探头自动引导，例如TEE检查。因此，如何模仿有经验的超声心动图医师的决策过程，利用超声图像信息实现对TEE探头的自动引导，以辅助新手医师实现快速准确的超声图像采集，是一个亟待解决的问题。

发明内容

本申请的目的在于提供一种经食管超声心动图的处理方法，旨在解决传统的经食管超声心动图存在的无法向医师提供辅助引导的问题。

本申请实施例的第一方面提了一种经食管超声心动图的处理方法，包括以下步骤：

获取超声探头采集的第一超声图像，超声探头位于食道内，第一超声图像为超声探头针对心脏部位采集的经食管超声心动图；

在第一超声图像与预设的心脏参考图像不匹配的情况下，将第一超声图像和预设的心脏参考图像输入超声探头引导算法模型，预测得到针对超声探头的第一位姿控制指令；其中，超声探头引导算法模型通过超声探头的样本位姿和对应的样本超声图像对深度强化学习网络训练获得；

在用户界面上显示第一位姿控制指令；其中，第一位姿控制指令用于指示用户根据第一位姿控制指令，调整超声探头的移动方向和/或旋转角度和/或弯曲角度；

在超声探头改变移动方向和/或旋转角度和/或弯曲角度的情况下，获取超声探头对患者心脏部位采集的第二超声图像；

若第二超声图像与预设的心脏参考图像匹配，则保存第二超声图像。

根据本申请提供的一种经食管超声心动图的处理方法，其特征在于，在获取超声探头对患者心脏部位采集的第二超声图像之后，方法还包括：

若第二超声图像与预设的心脏参考图像不匹配，则将第二超声图像和预设的心脏参考图像输入超声探头引导算法模型，预测得到针对超声探头的第二位姿控制指令；

在用户界面上显示第二位姿控制指令；其中，第二位姿控制指令用于指示用户根据第二位姿控制指令，调整超声探头的移动方向和/或旋转角度和/或弯曲角度。

根据本申请提供的一种经食管超声心动图的处理方法，其特征在于，方法还包括：

基于超声探头的样本位姿和对应的超声图像序列对深度强化学习网络进行学习训练，获取超声探头引导算法模型。

根据本申请提供的一种经食管超声心动图的处理方法，其特征在于，基于超声探头的样本位姿和对应的超声图像序列对深度强化学习网络进行学习训练，获取超声探头引导算法模型，包括：

记录单位时间内超声探头在食道内的交互数据，交互数据包括超声探头的状态参数s、超声探头在状态参数下的动作参数a、超声探头在状态参数下执行动作参数获得的奖励值r和超声探头在状态参数下执行动作参数后的下一步的状态参数s'，其中，状态参数s包括超声探头的位姿参数和对应的超声图像序列；

构建深度强化学习网络学习架构，基于交互数据对深度强化学习网络进行训练，获得超声探头引导算法模型。

根据本申请提供的一种经食管超声心动图的处理方法，其特征在于，超声探头引导算法模型通过奖励值r计算对应动作参数a未来累积奖励的期望值Q来衡量动作参数a的好坏，计算奖励值r的函数表达式为：

r＝r_pos+r_ori+α*r_comp

其中，r_pos为奖励值r的位置奖励函数，r_ori为奖励值r的角度奖励参数，r_comp为奖励值r的顺应性参数，α为加权系数。

根据本申请提供的一种经食管超声心动图的处理方法，其特征在于，位置奖励函数r_pos的计算公式为：

其中，l_t为深度强化学习智能体当前位姿状态相对于目标位姿状态的位置差异值，l_t+1为深度强化学习智能体执行当前时间步动作后的位姿状态相对于目标位姿状态的位置差异值，l_step为深度强化学习智能体执行当前时间步动作后的位姿状态相对于当前位姿状态的位置差异值；

角度奖励参数r_ori的计算公式为：

其中，θ_t为深度强化学习智能体当前位姿状态相对于目标位姿状态的角度差异值，θ_t+1为深度强化学习智能体执行当前时间步动作后的位姿状态相对于目标位姿状态的角度差异值，θ_step为深度强化学习智能体执行当前时间步动作后的位姿状态相对于当前位姿状态的角度差异值；

顺应性参数r_comp用于惩罚当前时间步动作中对食道壁施加压力的动作，其计算公式为：

其中，p为压力系数。

根据本申请提供的一种经食管超声心动图的处理方法，其特征在于，将第一超声图像和预设的心脏参考图像输入超声探头引导算法模型，预测得到针对超声探头的第一位姿控制指令，包括：

基于第一超声图像构建超声探头的深度强化学习智能体；

基于预设的心脏参考图像对深度强化学习智能体设定目标任务，目标任务包括深度强化学习智能体的目标位姿状态；

将第一超声图像输入深度强化学习智能体，深度强化学习智能体通过超声探头引导算法模型计算后输出期望值Q最大的第一动作参数；

基于第一动作参数，生成超声探头的第一位姿控制指令。

根据本申请提供的一种经食管超声心动图的处理方法，其特征在于，将第二超声图像和预设的心脏参考图像输入超声探头引导算法模型，预测得到针对超声探头的第二位姿控制指令，包括：

基于第二超声图像构建超声探头的深度强化学习智能体；

将第二超声图像输入深度强化学习智能体，深度强化学习智能体通过超声探头引导算法模型计算后输出期望值Q最大的第二动作参数；

基于第二动作参数，生成超声探头的第二位姿控制指令。

根据本申请提供的一种经食管超声心动图的处理方法，其特征在于，调整超声探头的移动方向和/或旋转角度和/或弯曲角度，包括：

构建超声探头的探头坐标系；

在探头坐标系上沿探头坐标系x轴正、负方向分别平移一个单位距离和/或绕探头坐标系x轴顺时针/逆时针旋转一个单位角度和/或绕探头坐标系y轴顺时针/逆时针旋转一个单位角度。

本申请实施例的第二方面提了一种经食管超声心动图的处理系统，包括：

超声图像获取模块，用于获取超声探头采集的第一超声图像；

图像匹配模块，用于将预设的心脏参考图像与第一超声图像匹配；

预测模块，用于在图像匹配模块匹配失败时，将第一超声图像和预设的心脏参考图像输入超声探头引导算法模型，预测得到针对超声探头的第一位姿控制指令；

引导模块，用于在用户界面上显示第一位姿控制指令；

图像保存模块，用于在图像匹配模块匹配成功时，保存第一超声图像。

根据本申请提供的一种经食管超声心动图的处理系统，包括：

超声图像获取模块，还用于获取超声探头改变移动方向和/或旋转角度和/或弯曲角度后，采集的第二超声图像；

图像匹配模块，还用于将预设的心脏参考图像与第二超声图像匹配；

预测模块，还用于在图像匹配模块匹配失败时，将第二超声图像和预设的心脏参考图像输入超声探头引导算法模型，预测得到针对超声探头的第二位姿控制指令；

引导模块，还用于在用户界面上显示第二位姿控制指令；

图像保存模块，还用于在图像匹配模块匹配成功时，保存第二超声图像。

本申请实施例的第三方面提了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如上述任一种经食管超声心动图的处理方法的步骤。

本申请实施例的第四方面提了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述任一种经食管超声心动图的处理方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：本申请不依赖于人工规划探头扫描轨迹或术前图像，而是模拟临床医生进行超声心动图检查的手法，仅根据采集的超声图像进行探头的控制。通过基于深度强化学习的超声图像自动理解，实时预测超声探头的最佳位姿控制指令，以辅助医生操作经超声探头直至找到目标标准视图，完成超声图像采集。该方法可以避免传统方法带来的操作困难、学习周期长、耗时耗力、成像质量难以保证的问题。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的经食管超声心动图的处理方法的流程示意图；

图2为通过图1所示的经食管超声心动图的处理方法辅助进行的超声扫查的流程示意图；

图3为本申请实施例中训练超声探头引导算法模型的流程示意图；

图4为本申请实施例中深度强化学习网络的结构示意图；

图5为本申请实施例中计算顺应性得分的示意图；

图6为利用本申请实施例提供的方法进行超声扫查的设备结构示意图；

图7为本申请实施例提供的经食管超声心动图处理系统的结构示意图；

图8为本申请实施例提供的终端设备的结构示意图。

具体实施方式

为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例1

图1示出了本申请第一实施例提供的经食管超声心动图处理方法的流程示意图，该方法包括如下步骤：

S101.获取超声探头采集的第一超声图像。

具体的，超声探头位于食道内，第一超声图像为超声探头针对心脏部位采集的经食管超声心动图，在操作人员手持或通过仪器操作超声探头经过食道采集超声图像时，采集到的超声图像会实时显示在用户界面上，供操作人员进行参考。

S102.在第一超声图像与预设的心脏参考图像不匹配的情况下，将第一超声图像和预设的心脏参考图像输入超声探头引导算法模型，预测得到针对超声探头的第一位姿控制指令。

其中，超声探头引导算法模型通过超声探头的样本位姿和对应的样本超声图像对深度Q网络(deep Q network，DQN)训练获得。

具体的，操作人员可以根据超声探测任务的目的，选择合适的心脏参考图像，通过目视比对的方式对比第一超声图像和预设心脏参考图像，也可以通过对于预设心脏参考图像的数字化处理后，提取预设心脏参考图像的特征与第一超声图像进行比对，根据比对结果判断第一超声图像是否与预设的心脏参考图像匹配。

在某些特定的情况下，超声探头采集到的第一超声图像经过比对后，与预设的心脏参考图像匹配，那么可以直接对第一超声图像进行保存。

S103.在用户界面上显示第一位姿控制指令。

其中，第一位姿控制指令用于指示用户调整超声探头的移动方向和/或旋转角度和/或弯曲角度，例如将超声探头向前移动或向后移动、使超声探头旋转一定角度或将超声探头向上或向下弯曲，以改变超声探头的视野，采集不同的超声图像。

S104.在超声探头改变移动方向和/或旋转角度和/或弯曲角度的情况下，获取超声探头对患者心脏部位采集的第二超声图像。

其中，这里的超声探头改变移动方向和/或旋转角度和/或弯曲角度的情况，均需要操作人员对超声探头进行操作，且操作需要符合上述的第一位姿控制指令。

S105.若第二超声图像与预设的心脏参考图像匹配，则保存第二超声图像。

具体的，用户界面上在显示第二超声图像的同时，还可以在用户界面上显示根据第一位姿控制指令生成的超声探头的引导轨迹，用户可以通过学习上述引导轨迹，熟悉超声探头的采集操作。

实施例2

图2示出了通过本实施例所采用的方法进行超声扫查的流程示意图，包括以下步骤：

检查开始后，医生根据检查目标，指定目标合适的TEE标准视图；

医生将超声探头伸入食道后，超声探头开始采集第一超声图像；

超声探头采集的第一超声图像会实时显示在用户界面上，医生可以根据用户界面上显示的超声图像，判断超声探头是否已经采集到了指定目标对应的TEE标准视图；

若超声探头还没有采集到指定目标对应的TEE标准视图，那么超声探头会自动将第一超声图像输入数据处理计算机中，数据处理计算机中保存有经过深度强化学习网络训练好的超声探头引导算法模型。数据处理计算机对第一超声图像进行处理后输入超声探头引导算法模型中进行计算，得到第一超声图像对应的第一位姿控制指令，并输出在用户界面上。

医生参考了用户界面上显示的第一位姿控制指令后，对超声探头进行操作，由于是人为的进行操作，因此采集到的第二超声图像可能会出现一定的偏差，因此，需要医生继续将采集到的第二超声图像与TEE标准视图进行比对，根据比对结果判断第二超声图像是否需要继续输入数据处理计算机中，以生成第二位姿控制指令。

若超声探头采集到的超声图像经过医生的比对，与指定的TEE标准视图相匹配，那么本次超声扫查结束。医生可以对采集到的第一张超声图像和最后一张超声图像进行保存，同时记录从第一张超声图像到最后一张超声图像之间所有的位姿控制指令，根据这些位姿控制指令生成超声探头引导轨迹，供其他医生进行学习。

下面对超声探头引导算法模型在深度Q网络中的训练作进一步的说明。

参见图3，在本实施例中，超声探头引导算法模型是基于超声探头的样本位姿和对应的超声图像序列对深度Q网络进行学习训练后获得的。该超声探头引导算法模型通过计算当前超声探头位姿状态下，各个动作的未来累计奖励的期望值Q，来选择当前超声探头的最佳动作，并根据当前超声探头的最佳动作生成位姿控制指令。

本申请将基于超声图像内容的TEE探头引导建模为一个序列决策问题，并考虑食道内的应用要求和特殊限制，构建了一个深度强化学习框架用于辅助TEE检查的探头自动引导任务。该方法可模拟专家医师的决策过程，用一个混合深度神经网络实现对超声图像内容的自动理解和端到端地预测TEE探头的位姿控制指令，从而为医生提供实时的引导和辅助。

目前，DQN已经广泛地应用于人工智能领域。DQN的描述基于智能体(Agent)和环境(Environment)，马尔可夫决策过程(Markov Decision Process，MDP)可以形象化对DQN问题进行建模表示。MDP一般由一个五元组表示(S,A,R,P,γ)。

本实施例中，通过构造一个深度强化学习智能体以实现计算机辅助的探头引导，并构建了一个MDP以解决超声探头的动作选择问题，其中的5个元素的含义如下所示：

(1)S为状态空间，即agent所有状态(State)的集合，s_t表示agent在t时刻所处的状态。在本实施例中，将s_t定义为超声探头在t时刻采集到的超声图像I_t和超声探头的位姿T_t，其中超声探头的位姿T_t可以通过安装在超声探头上的电磁追踪传感器获得。

(2)A为动作空间，即agent所有动作(Action)的集合，a表示agent在t时刻所执行的动作。在本实施例中，将a定义为超声探头的3自由度动作，通过对超声探头构建探头坐标系，3自由度动作包括了：(1)前进/后退：沿探头坐标系x轴正、负方向分别平移一个单位距离；(2)左转/右转：绕探头坐标系x轴顺时针/逆时针旋转一个单位角度；(3)前屈/后屈：绕探头坐标系y轴顺时针/逆时针旋转一个单位角度。将a_t定义为超声探头在t时刻所选择的最佳动作。

(3)R为奖励函数，r表示agent在状态s下执行动作a所获得的奖励值；

(4)P为状态迁移概率分布函数，表示为agent在状态s_t执行动作a后转移到下一个状态s_t+1的概率；

(5)折扣因子γ，用于衡量即时奖励对长期累积奖励的影响，即即时奖励的当前价值。折扣因子可以避免计算结果趋于无穷大而陷入无限循环，也更加符合人类对于眼前利益的追求。

在未经训练的条件下，agent对所处的环境是未知的，首先构建一个TEE扫查环境，之后，基于agent获得一个来自环境的状态，然后agent执行相应的动作来响应该状态，然后向下一个状态转移，同时获得来自环境反馈的奖励。通过奖励大小不断调整动作的选择，即奖励越大，选择趋势加强，奖励越小，选择趋势减弱。

策略，表示为π，代表着从状态空间s到动作空间a的一个映射，即π:s→a。Agent根据所处环境，收集必要的信息获得状态s，然后按照策略π采取对应动作a，同时获得一个来自环境反馈的奖励值r_t，并且在状态迁移函数P的条件下向下一个状态S_t+1迁移。

值函数，即价值函数(Value Function)，能够表示agent执行策略π所带来的长期影响。值函数主要分为两类：状态值函数和动作值函数，本申请主要通过动作值函数来对超声探头引导算法模型。动作值函数，简称Q值函数，代表着遵循策略π，agent在状态s下执行动作a所能获得的长期期望回报。

γ表示折扣因子且γ∈[0,1]。

假设agent遵循策略π时，获得的累积奖励大于或等于遵循其他任意策略π′时获得的，则称该策略为最优策略，表示为π*。那么，最优策略对应的动作值函数被称为最优动作值函数，表示为：

在本申请中，构建DQN的目标是寻找到一个策略，在该策略下，agent能够获得最大累积奖励。

深度Q网络构建中，DQN设置一个深度神经网络来估计当前状态动作Q函数值(以下简称Q值)，上述深度神经网络的结构如图4所示，通过将超声图像序列输入一个深度卷积神经网络，以提取超声图像特征，并将提取的高维特征变形为一维向量，输入到基于自注意力机制的变换神经网络模块中进行进一步的处理，最后，通过多层感知器输出对应于不同动作的Q值预测。该网络结构可以结合卷积神经网络对于图像局部信息感知的优势和自注意力机制对于全局信息感知的优势，从而更好地学习对图像中心脏结构的空间信息理解，从而用于导航决策。根据贝尔曼公式和上述对状态、动作和奖励函数的建模，即可使用深度强化学习算法迭代更新深度Q网络模型的参数，使该深度神经网络学习到从经食道超声图像到最优探头引导动作的映射，从而自主引导经食道超声探头，逐步将探头导航至医生指定的心脏标准视图，完成目标超声图像采集。本申请提出一个将卷积神经网络与自注意力机制结合的深度神经网络设计，用于强化学习算法。该设计可兼顾局部和全局图像特征，更好地提取超声图像中的空间信息，用于学习对TEE探头的引导策略。

奖励函数计算时，深度强化学习算法通过建立奖励函数r来评价一个动作的好坏。奖励值越大，则强化选择该动作，奖励值越小，则减弱选择该动作。

环境训练时，超声探头引导算法模型的优化涉及到环境交互的主要操作包括：

重置操作：超声探头恢复初始状态；

获取状态操作：获取超声探头的当前位姿和对应的超声图像或者下一步位姿和对应的超声图像；

执行动作操作：经超声探头引导算法模型计算得到的动作参数，如超声探头的前进/后退、左转/右转、前屈/后屈等，解析后生成位姿控制指令传递给仿真平台的超声探头进行位姿调整；

计算奖励函数操作：计算超声探头在状态s下执行动作a得到的反馈奖励值。

环境训练所涉及的计算包括重置函数、状态函数、动作函数和奖励函数计算，具体如下：

重置函数：

1.设置随机初始配置参数(服务器的视角范围、训练模式、训练周期、神经网络参数等)；

2.设置超声探头的随机目标位置，用于重新开始训练；

3.超声探头在当前状态下训练完成后，进入下一步位姿状态继续优化。

状态函数：

1.获取超声探头当前的位姿参数；

2.获取超声探头当前采集的超声图像数据；

3.根据位姿参数和超声图像数据表示机器人当前状态s。

动作函数：

1.根据超声探头当前状态，经DQN分析得到多个动作参数；

2.根据动作参数生成位姿控制指令；

3.根据位姿控制指令在仿真环境中实现超声探头的位姿变化；

4.根据奖励函数获取奖励值，评价动作并进行反馈，奖励值越大，则该动作越好，则强化选择该动作，反之，则弱化。

5.获取下一步状态。

奖励函数：

1.计算当前超声探头的位置得分；

2.计算当前超声探头的角度得分；

3.计算当前超声探头的顺应性得分；

反馈奖励值根据奖励函数计算得到，奖励函数为：

r_t＝r_pos+r_ori+α*r_comp

其中，r_pos为位置得分，r_ori为角度得分，r_comp为顺应性得分。

在本实施例中，假设当前探头位置为p_t，目标位置为p_g，将食道视为一条曲线e(z)，其导数为e’(z)，当前位置和目标位置在食道曲线上的参数分别为z_t和z_g，则当前探头位姿与目标位姿之间的食道长度可计算为：

假设当前探头位姿的z轴单位向量为

目标探头位姿的z轴单位向量

则当前探头位姿与目标位姿的角度差异可以计算为：

计算t+1时刻与t时刻相比的改进量，作为探头位置得分和角度得分：

其中，l_t为第一位姿信息相对于目标位姿信息的位置差异值，l_t+1为第二位姿信息相对于目标位姿信息的位置差异值，l_step为用户预设的探头平移的单位距离，即第二位姿信息相对于第一位姿信息的位置差异值；θ_t为第一位姿信息相对于目标位姿信息的角度差异值，θ_t+1为第二位姿信息相对于目标位姿信息的角度差异值，θ_step为用户预设的探头旋转的单位角度，即第二位姿信息相对于第一位姿信息的角度差异值。

考虑到食道环境的特殊限制，如图5所示，假设动作a在没有环境限制的情况下会将探头从位置p_t移动到

而由于食道形状的限制，实际上探头被移动到了

在食道上的投影p_t+1。假设食道是线弹性的(Hookean)，施加在食道壁上的法向接触力可以认为与

和p_t+1之间的距离成正比。据此计算当前超声探头的顺应性得分：

其中p为压力系数：

以避免超声探头动作对食道施加过大的压力。

也即本申请是将单位时间内超声探头相对于目标位姿的位姿变化量作为主要标准来评价超声探头动作的优劣，同时尽量避免超声探头对食道施加过大的压力，超声探头在执行动作之后位姿越靠近目标位姿且越不深入到食道壁中，则奖励值越大，这样使得利用DQN更新后的网络对应的动作策略，能够避免超声探头对于食道壁的触碰。本申请基于食道环境限制提出了一个表征环境顺应性的辅助奖励函数，将其与超声探头位姿结合，用于上述神经网络的训练，可同时兼顾导航的效率和对食道环境的顺应性，实现更加安全的TEE探头引导，减少患者的受伤风险。

在本申请提供的一种经食管超声心动图处理方法中，具体的，数据处理计算机将第一超声图像输入超声探头引导算法模型后，超声探头引导算法模型可以根据第一超声图像，获取超声探头的当前状态参数，构建超声探头的深度强化学习智能体，同时，可以根据预设的心脏参考图像，获取目标位姿状态。通过对深度强化学习智能体设定任务目标，使深度强化学习智能体最终能够引导至目标位姿状态。之后，将第一超声图像输入超声探头引导算法模型计算后输出期望值Q最大的第一动作参数，数据处理计算机根据第一动作参数，生成可视化的第一位姿控制指令。即可实现基于实时超声图像的探头引导，辅助医生进行经食道超声心动图检查，直至到达指定的心脏标准视图，满足临床上实时决策的需求。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

为了实现上述实施例所提供的方法，参见图6，提供了一种能够实现本申请中经食管超声心动图处理方法的设备，在原有的超声探头、检查床、操作手柄和超声机的基础上，还增加了数据处理计算机。其中，超声探头连接检查床旁的超声机，用于采集超声图像，并传输到数据处理计算机。检查时，病人平躺于检查床上，医生使用操作手柄控制超声探头，将其插入病人食道，超声探头采集超声图像。数据处理计算机根据超声探头采集到的超声图像数据，基于超声探头引导算法模型实时输出探头位姿控制指令。医生参考计算机输出的超声探头位姿控制指令，操作探头在患者食道内作出与超声探头位姿控制指令对应的动作，以最终完成对心脏标准视图的超声图像采集。数据处理计算机中保存有超声探头引导算法模型，通过向超声探头引导算法模型输入超声图像，数据处理计算机可以生成超声探头位姿控制指令，能够直接显示在数据处理计算机上，或者可视化的显示在超声机上。

本发明不依赖于人工规划探头扫描轨迹或术前图像，而是模拟临床医生进行超声心动图检查的手法，仅根据采集的超声图像进行探头的控制。通过基于深度强化学习的超声图像自动理解，实时预测超声探头的最佳位姿控制指令，以辅助医生操作经食道超声探头直至找到目标心脏标准视图，完成超声图像采集。该方法可以避免传统方法带来的操作困难、学习周期长、耗时耗力、成像质量难以保证的问题。

实施例3

本申请还提供了一种经食管超声心动图处理系统，参见图7，该系统包括：

引导模块，用于在用户界面上显示第一位姿控制指令；

图像保存模块，用于在图像匹配模块匹配成功时，输出第一超声图像。

当操作人员对超声探头根据第一位姿控制指令对超声探头进行操作，获取第二超声图像后，

引导模块，还用于在用户界面上显示第二位姿控制指令；

图像保存模块，还用于在图像匹配模块匹配成功时，输出第二超声图像。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

参见图8，该实施例的经食管超声心动图处理终端设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个经食管超声心动图处理方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示各模块的功能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims

1.一种经食管超声心动图的处理方法，其特征在于，包括：

获取超声探头采集的第一超声图像，所述超声探头位于食道内，所述第一超声图像为所述超声探头针对心脏部位采集的经食管超声心动图；

在所述第一超声图像与预设的心脏参考图像不匹配的情况下，将所述第一超声图像和所述预设的心脏参考图像输入超声探头引导算法模型，预测得到针对所述超声探头的第一位姿控制指令；其中，所述超声探头引导算法模型通过所述超声探头的样本位姿和对应的样本超声图像对深度强化学习网络训练获得；

在用户界面上显示所述第一位姿控制指令；其中，所述第一位姿控制指令用于指示用户根据所述第一位姿控制指令，调整所述超声探头的移动方向和/或旋转角度和/或弯曲角度；

在所述超声探头改变移动方向和/或旋转角度和/或弯曲角度的情况下，获取所述超声探头对患者心脏部位采集的第二超声图像；

若所述第二超声图像与所述预设的心脏参考图像匹配，则保存所述第二超声图像。

2.如权利要求1所述的方法，其特征在于，在获取所述超声探头对患者心脏部位采集的第二超声图像之后，方法还包括：

若所述第二超声图像与所述预设的心脏参考图像不匹配，则将所述第二超声图像和所述预设的心脏参考图像输入所述超声探头引导算法模型，预测得到针对所述超声探头的第二位姿控制指令；

在所述用户界面上显示所述第二位姿控制指令；其中，所述第二位姿控制指令用于指示用户根据所述第二位姿控制指令，调整所述超声探头的移动方向和/或旋转角度和/或弯曲角度。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

基于所述超声探头的样本位姿和对应的超声图像序列对深度强化学习网络进行学习训练，获取所述超声探头引导算法模型。

4.如权利要求3所述的方法，其特征在于，所述基于所述超声探头的样本位姿和对应的超声图像序列对所述深度强化学习网络进行学习训练，获取所述超声探头引导算法模型，包括：

记录单位时间内所述超声探头在食道内的交互数据，所述交互数据包括所述超声探头的状态参数s、所述超声探头在所述状态参数下的动作参数a、所述超声探头在所述状态参数下执行所述动作参数获得的奖励值r和所述超声探头在所述状态参数下执行所述动作参数后的下一步的状态参数s'，其中，所述状态参数s包括所述超声探头的位姿参数和对应的超声图像序列；

构建深度强化学习网络学习架构，基于所述交互数据对所述深度强化学习网络进行训练，获得所述超声探头引导算法模型。

5.如权利要求4所述的方法，其特征在于，所述超声探头引导算法模型通过奖励值r计算对应动作参数a未来累积奖励的期望值Q来衡量动作参数a的好坏，计算所述奖励值r的函数表达式为：

r＝r_pos+r_ori+α*r_comp

6.如权利要求5所述的方法，其特征在于，所述位置奖励函数r_pos的计算公式为：

其中，l_t为深度强化学习智能体当前位姿状态相对于目标位姿状态的位置差异值，l_t+1为深度强化学习智能体执行当前时间步动作后的位姿状态相对于目标位姿状态的位置差异值，l_step为深度强化学习智能体执行当前时间步动作后的位姿状态与当前位姿状态的位置差异值；

所述角度奖励参数r_ori的计算公式为：

所述顺应性参数r_comp用于惩罚当前时间步动作中对食道壁施加压力的动作，其计算公式为：

其中，p为压力系数。

7.如权利要求1或2所述的方法，其特征在于，所述将所述第一超声图像和所述预设的心脏参考图像输入所述超声探头引导算法模型，预测得到针对所述超声探头的第一位姿控制指令，包括：

基于所述第一超声图像构建所述超声探头的深度强化学习智能体；

基于所述预设的心脏参考图像对所述深度强化学习智能体设定目标任务，所述目标任务包括深度强化学习智能体的目标位姿状态；

将所述第一超声图像输入所述深度强化学习智能体，所述深度强化学习智能体通过所述超声探头引导算法模型计算后输出期望值Q最大的第一动作参数；

基于所述第一动作参数，生成所述超声探头的第一位姿控制指令。

8.如权利要求1或2所述的方法，其特征在于，所述调整所述超声探头的移动方向和/或旋转角度和/或弯曲角度，包括：

构建所述超声探头的探头坐标系；

在所述探头坐标系上沿所述探头坐标系x轴正、负方向分别平移一个单位距离，以控制所述超声探头的移动方向；

和/或绕所述探头坐标系x轴顺时针/逆时针旋转一个单位角度，以控制所述超声探头的旋转角度；

和/或绕所述探头坐标系y轴顺时针/逆时针旋转一个单位角度，以控制所诉超声探头的弯曲角度。

9.一种经食管超声心动图的处理系统，其特征在于，包括：

引导模块，用于在用户界面上显示第一位姿控制指令；

10.如权利要求9所述的一种经食管超声心动图的处理系统，其特征在于，

所述超声图像获取模块，还用于在所述超声探头改变移动方向和/或旋转角度和/或弯曲角度后，采集第二超声图像；

所述图像匹配模块，还用于将所述预设的心脏参考图像与所述第二超声图像匹配；

所述预测模块，还用于在所述图像匹配模块匹配失败时，将所述第二超声图像和所述预设的心脏参考图像输入所述超声探头引导算法模型，预测得到针对所述超声探头的第二位姿控制指令；

所述引导模块，还用于在所述用户界面上显示所述第二位姿控制指令；

所述图像保存模块，还用于在所述图像匹配模块匹配成功时，保存所述第二超声图像。

11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项方法的步骤。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项方法的步骤。