CN113274051B - 超声辅助扫查方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明提供一种超声辅助扫查方法、装置、电子设备和存储介质，其中方法包括：获取当前超声图像，以及超声探头的上一移动信息和当前状态信息；将所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到所述扫查路径规划模型输出的下一步的推荐移动信息；其中，所述扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的。本发明提供的超声辅助扫查方法、装置、电子设备和存储介质，连续指导超声探头移动的方向和角度，最终定位至标准切面，提高了超声辅助扫查的准确性和适用范围。

Description

超声辅助扫查方法、装置、电子设备和存储介质

技术领域

本发明涉及超声成像领域，尤其涉及一种超声辅助扫查方法、装置、电子设备和存储介质。

背景技术

超声扫查作为疾病诊断的一种有效辅助手段，得到了广泛应用。然而，由于超声扫查路径多样、检查内容丰富、学习周期长，需要精细调节探头位置、方向及角度，显示出标准切面(即超声扫查中解剖结构清晰、个体差异小、所示解剖结构位置相对恒定的切面及探查成功的肾动脉切面图像)，操作者常因经验技巧不足难以获得规范的声像图而影响诊断，造成漏诊误诊。因此，需要一种能够准确、客观、实时动态地辅助进行超声扫查的方法。

现有的超声辅助扫查方法通常需要预先构建一个标准切面图像数据库，然后根据当前超声图像与预置的标准切面图像做比对，得到探头的偏移数据，进而根据该偏移数据提示探头下一步的移动方向和旋转角度。

然而，在临床场景中，由于患者身体条件、患病情况千差万别，扫查到的标准切面不尽相同，而且探查到标准切面时，超声探头的角度和位置也差异较大，很难提前设定一个标准切面和探头位姿(探头位置和角度)数据库涵盖所有可能性。因此，这种通过与预置的标准切面图像数据比对的方法，当预置的图像数量有限或预置图像与当前被扫查的患者图像存在差异时，无法准确提示探头下一步的移动方向和旋转角度，实际可操作性较差。

发明内容

本发明提供一种超声辅助扫查方法、装置、电子设备和存储介质，用以解决现有技术中辅助扫查效果欠佳的缺陷。

本发明提供一种超声辅助扫查方法，包括：

获取当前超声图像，以及超声探头的上一移动信息和当前状态信息；

将所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到所述扫查路径规划模型输出的下一步的推荐移动信息；

其中，所述扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的。

根据本发明提供一种的超声辅助扫查方法，所述将所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到所述扫查路径规划模型输出的下一步的推荐移动信息，具体包括：

基于所述扫查路径规划模型的动作预测层，对所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息进行动作预测，得到初始移动信息；

基于所述初始移动信息，生成多个候选移动信息；

基于每一候选移动信息及其对应的奖励，确定所述推荐移动信息。

根据本发明提供的一种超声辅助扫查方法，所述基于所述初始移动信息，生成多个候选移动信息，具体包括：

将所述初始移动信息作为当前基准移动信息；

基于当前基准移动信息，生成多个候选移动信息，并基于每一候选移动信息对应的奖励，选择若干个候选移动信息生成当前基准移动信息，直至到达预设停止条件。

根据本发明提供的一种超声辅助扫查方法，任一候选移动信息对应的奖励是基于如下步骤确定的：

基于所述扫查路径规划模型的状态预测层，根据所述当前超声图像以及所述任一候选移动信息进行超声图像预测，得到所述任一候选移动信息对应的预测超声图像；

基于所述任一候选移动信息对应的预测超声图像，确定所述任一候选移动信息对应的奖励。

根据本发明提供的一种超声辅助扫查方法，所述基于所述任一候选移动信息对应的预测超声图像，确定所述任一候选移动信息对应的奖励，具体包括：

基于标准切面识别模型，对所述任一候选移动信息对应的预测超声图像进行标准切面识别，得到所述预测超声图像的识别结果；

基于所述识别结果，确定所述任一候选移动信息对应的奖励；

所述标准切面识别模型是基于样本超声图像及其样本识别结果训练得到的。

根据本发明提供的一种超声辅助扫查方法，所述状态预测层构成状态预测模型；

所述状态预测模型是基于样本超声扫查路径及其对应的环境状态数据集训练得到的；

所述环境状态数据集中包括超声探头被移动到所述样本超声扫查路径中的每一状态后进行多角度偏移所采集的样本超声图像。

根据本发明提供的一种超声辅助扫查方法，所述超声探头的当前状态信息是基于室内定位技术，对所述超声探头的位移和旋转进行跟踪得到的。

本发明还提供一种超声辅助扫查装置，包括：

信息获取单元，用于获取当前超声图像，以及超声探头的上一移动信息和当前状态信息；

探头移动推荐单元，用于将所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到所述扫查路径规划模型输出的推荐移动信息；

其中，所述扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述超声辅助扫查方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述超声辅助扫查方法的步骤。

本发明提供的超声辅助扫查方法、装置、电子设备和存储介质，利用扫查路径规划模型，根据当前超声图像，以及超声探头的上一移动信息和当前状态信息进行路径规划，找到能更快扫查到标准切面的路径，并给出超声探头下一步的推荐移动信息，从而连续指导超声探头移动的方向和角度，最终定位至标准切面，提高了超声辅助扫查的准确性和适用范围。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的超声辅助扫查方法的流程示意图之一；

图2为本发明实施例提供的超声扫查过程的分解示意图；

图3为本发明实施例提供的扫查路径规划方法的示意图；

图4为本发明实施例提供的扫查路径规划方法的示意图；

图5为本发明实施例提供的标准切面识别方法的示意图；

图6为本发明实施例提供的室内定位设备的示意图；

图7为本发明实施例提供的超声辅助扫查方法的流程示意图之二；

图8为本发明实施例提供的超声辅助扫查装置的结构示意图；

图9为本发明提供的电子设备的结构示意图；

附图标记：

610：支架； 620：灯塔基站；

630：超声探头； 640：追踪器。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的超声辅助扫查方法的流程示意图之一，如图1所示，该方法包括：

步骤110，获取当前超声图像，以及超声探头的上一移动信息和当前状态信息。

具体地，在操作人员手持超声探头进行超声扫查的过程中，获取当前超声图像，以及超声探头的上一移动信息和当前状态信息。其中，超声探头的上一移动信息是操作人员在上一次对超声探头采取的动作信息，包括超声探头移动的位移和角度的调整等。超声探头的当前状态信息是指当操作人员在上一次移动超声探头后，超声探头所处的状态，包括超声探头的位置和角度，还可以包括操作人员手持超声探头时手部的弯曲程度以及手指的压力等。当前超声图像则是当操作人员在上一次移动超声探头后，超声探头采集的超声图像。

步骤120，将当前超声图像，以及超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到扫查路径规划模型输出的下一步的推荐移动信息；

其中，扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的。

具体地，图2为本发明实施例提供的超声扫查过程的分解示意图，如图2所示，本发明实施例将超声扫查过程分解为通过不断调整超声探头位置、方向及角度，逐步改变采集到的超声图像，直到将非标准切面图像转换为标准切面图像的连续过程。因此，可以利用扫查路径规划模型根据当前超声图像，以及超声探头的上一移动信息和当前状态信息进行路径规划，找到能更快扫查到标准切面的路径，并给出超声探头下一步的推荐移动信息，从而连续指导超声探头移动的方向和角度，最终定位至标准切面。其中，推荐移动信息可以包括超声探头下一步可以移动的距离和方向，以及超声探头角度的调整方式，除此之外还可以包括操作人员手持超声探头的力度等，本发明实施例对此不作具体限定。

此处，扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的。图3为本发明实施例提供的扫查路径规划方法的示意图，如图3所示，扫查路径规划模型根据当前“环境”反馈的“状态”信息和执行上一步“动作”获得的“奖励”，来评估“智能体”下一步应当采取的最优的“动作”。其中，“智能体”(Agent)即超声扫查的操作人员，“环境”(Environment)即超声仪器，“动作”(Action)即探头如何进行移动，“奖励”(Reward)取决于采集的超声图像与标准切面的接近程度，“状态”(State)指当前超声仪器返回的超声图像。本发明实施例利用深度强化学习技术对连续控制和决策任务建模的优势，构建扫查路径规划模型，从而可以一步步给出合适的移动建议，使得操作人员可以尽快扫查到标准切面。由于给出的推荐移动信息是在三维空间坐标系中的位置和角度偏移，难以直观理解和感知，因此可以将推荐移动信息进行可视化并给出提示。

在执行步骤120之前，可以预先训练得到扫查路径规划模型，具体可通过如下方式训练得到扫查路径规划模型：首先，采集有经验的超声医师的超声扫查过程，记录每次超声扫查过程中的样本超声扫查路径及其对应的样本超声图像序列。其中，样本超声扫查路径中包括单次扫查过程中超声医师每次移动超声探头后超声探头所处的状态，例如位置和角度等，样本超声图像序列则包括超声医师每次移动超声探头后采集的超声图像。基于样本超声扫查路径及其对应的样本超声图像序列对初始模型进行训练，从而得到扫查路径规划模型。

本发明实施例提供的方法，利用扫查路径规划模型，根据当前超声图像，以及超声探头的上一移动信息和当前状态信息进行路径规划，找到能更快扫查到标准切面的路径，并给出超声探头下一步的推荐移动信息，从而连续指导超声探头移动的方向和角度，最终定位至标准切面，提高了超声辅助扫查的准确性和适用范围。

基于上述实施例，步骤120具体包括：

基于扫查路径规划模型的动作预测层，对当前超声图像，以及超声探头的上一移动信息和当前状态信息进行动作预测，得到初始移动信息；

基于初始移动信息，生成多个候选移动信息；

基于每一候选移动信息及其对应的奖励，确定推荐移动信息。

具体地，利用扫查路径规划模型中的动作预测层，根据当前超声图像，以及超声探头的上一移动信息和当前状态信息进行动作预测，得到初始移动信息。其中，初始移动信息中包括预测得到的移动动作，例如超声探头移动的距离、方向以及调整的角度。此处，动作预测层用于指导下一步超声探头的移动方式。

图4为本发明实施例提供的扫查路径规划方法的示意图，如图4所示，为了预测超声探头下一步的移动方式，动作预测层可以以卷积神经网络(Convolutional NeuralNetwork，CNN)作为骨架(backbone)，对当前超声图像S_t进行特征提取，其中骨架网络可采用VGG-Net、ResNet、EfficientNet、MobileNet等网络结构；然后将骨架网络图像特征提取的结果与超声探头的上一移动信息A_t-1和当前状态信息P_t一起输入到多层神经网络中，以输出预测的初始移动信息A_t。此处，多层神经网络可以是循环神经网络、卷积神经网络或全连接网络，也可以是不同类型网络的组合，本发明实施例对此不作具体限定。

动作预测层输出初始移动信息后，可以直接将初始移动信息作为推荐移动信息输出，从而提示给操作人员。然而，为了进一步提高超声探头移动规划的准确性，可以基于初始移动信息，生成多个候选移动信息。例如，可以利用交叉熵方式生成候选移动信息，构建多元高斯分布，以动作预测层预测的初始移动信息为均值向量，从该分布中随机采样出N个向量，作为候选移动信息。在生成的候选移动信息基础上，还可以通过类似方式生成更多的候选移动信息。

随后，基于每一候选移动信息及其对应的奖励，确定推荐移动信息。其中，候选移动信息对应的奖励可以表征基于该候选移动信息移动超声探头后采集的超声图像与标准切面图像的相似性，也能表征若利用该候选移动信息移动超声探头后，能够最快采集到标准切面图像的可能性。根据每一候选移动信息对应的奖励，可以选择奖励最大的候选移动信息，作为推荐移动信息。

本发明实施例提供的方法，基于动作预测层进行动作预测，得到初始移动信息后，基于初始移动信息，生成多个候选移动信息，再基于每一候选移动信息及其对应的奖励，确定推荐移动信息，进一步提高了超声辅助扫查的准确性。

基于上述任一实施例，基于初始移动信息，生成多个候选移动信息，具体包括：

将初始移动信息作为当前基准移动信息；

基于当前基准移动信息，生成多个候选移动信息，并基于每一候选移动信息对应的奖励，选择若干个候选移动信息生成当前基准移动信息，直至到达预设停止条件。

具体地，首先将动作预测层输出的初始移动信息作为当前基准移动信息。基于当前基准移动信息，生成多个候选移动信息。例如，可以构建多元高斯分布，以动作预测层预测的初始移动信息为均值向量，从该分布中随机采样出N个向量，作为候选移动信息。然后，基于每一候选移动信息对应的奖励，选取奖励最高的K个候选移动信息，利用选取出的候选移动信息生成新的移动信息，作为当前基准移动信息，并重复执行上述步骤，直至到达预设停止条件，例如达到预设循环次数。此处，可以基于选取出的候选移动信息，重新拟合多元高斯分布，将拟合后的高斯分布的均值向量作为当前基准移动信息。

基于上述任一实施例，任一候选移动信息对应的奖励是基于如下步骤确定的：

基于扫查路径规划模型的状态预测层，根据当前超声图像以及该候选移动信息进行超声图像预测，得到该候选移动信息对应的预测超声图像；

基于该候选移动信息对应的预测超声图像，确定该候选移动信息对应的奖励。

具体地，利用扫查路径规划模型中的状态预测层，根据当前超声图像以及该候选移动信息进行超声图像预测，得到该候选移动信息对应的预测超声图像。其中，预测超声图像是当操作人员基于该候选移动信息移动超声探头后可能采集到的超声图像。此处，状态预测层可以预测超声探头的位置和角度发生改变时探查到的超声图像的变化情况，从而确定预测超声图像。

为了预测候选移动信息对应的预测超声图像，如图4所示，状态预测层可以利用卷积神经网络对当前超声图像S_t进行特征提取，并将特征提取的结果与候选移动信息A_t进行特征合并，再利用多层卷积神经网络进行特征融合，然后通过多层反卷积对移动探头后的超声图像进行预测，得到预测超声图像S_t+1。

基于该候选移动信息对应的预测超声图像，可以分析该预测超声图像与标准切面图像之间的相似性，从而确定该候选移动信息对应的奖励。

基于上述任一实施例，基于该候选移动信息对应的预测超声图像，确定该候选移动信息对应的奖励，具体包括：

基于标准切面识别模型，对该候选移动信息对应的预测超声图像进行标准切面识别，得到预测超声图像的识别结果；

基于识别结果，确定该候选移动信息对应的奖励；

标准切面识别模型是基于样本超声图像及其样本识别结果训练得到的。

具体地，利用标准切面识别模型对该候选移动信息对应的预测超声图像进行标准切面识别，分析该预测超声图像与标准切面之间的相似性，得到预测超声图像的识别结果。其中，识别结果可以包括该预测超声图像与标准切面之间的相似程度。

基于预测超声图像的识别结果，计算该候选移动信息对应的奖励。此处，可以直接将识别结果中该预测超声图像与标准切面之间的相似程度作为奖励，也可以对识别结果进行数据处理后，得到该候选移动信息对应的奖励，本发明实施例对此不作具体限定。

图5为本发明实施例提供的标准切面识别方法的示意图，如图5所示，标准切面识别模型还可以在超声扫查过程中，判定扫查图像是否为标准切面图像，若是，则可以停止移动探头，否则，利用扫查路径规划模型进行超声探头下一步的移动动作预测。将预测超声图像或扫查的超声图像输入至标准切面识别模型中，可以输出超声图像与标准切面图像之间的相似程度，即超声图像属于标准切面图像的概率。标准切面识别模型可以基于多层卷积神经网络构建得到，例如VGG-Net、GoogleNet和ResNet等模型，其可以基于样本超声图像及其样本识别结果训练得到的。其中，收集的数据集中，样本超声图像可以包括标准切面图像，还可以包括非标准切面图像。随机选取数据集中的部分数据作为训练集，构建标准切面识别模型，用于识别标准切面；其余数据作为验证集，用于评估模型性能。为保证临床实用性，可以用识别准确率及识别速度两个指标评估模型性能。

此外，构建数据集时，以肾动脉超声检查为例，数据采集可以以两种方式进行：(1)纳入经临床评估，具有肾动脉超声检查指征的患者1000例，每例患者采集肾动脉超声扫查中标准切面8张及非标准切面24张，建立标准切面数据集和非标准切面数据集。其中标准切面包括腹主动脉长轴切面、肾动脉主干的腹正中横切面、侧腰部冠状切面、前腹肋间或肋缘下横切面、经背部检查切面、肾内动脉的经侧腰部冠状切的肾脏最大冠状切面、肾脏最大冠状切面及经肾门肾脏短轴切面声像图各1张。非标准切面图可以在标准切面的基础上随机移动或改变探头方向后采集；(2)纳入经临床评估，具有肾动脉超声检查指征的患者1000例，以视频方式采集每例肾动脉超声扫查过程中所有超声图像。

数据处理包括两部分：(1)建立临床优化数据集：基于所采集的视频数据，提取所有帧频中清晰可辨的图像，由高年资医师(例如具有肾动脉超声检查经验≥10年)挑选其中所有标准切面图像用于构建标准切面临床优化数据集，其余图像则纳入非标准切面临床优化数据集；(2)图片归一化处理：自动提取图像像素信息，并对图像进行亮度和尺寸的归一化处理。

将标准切面数据集及非标准切面数据集随机划分为训练集和验证集，每个集合中标准切面与非标准切面数据比例为1：3，训练集用于模型构建，验证集用于模型评估。根据模型评估结果，调整模型结构及参数，同时可以结合EfficientNet、MobileNetV3和ResNetSt等技术，对模型进行优化与改进。

基于上述任一实施例，状态预测层构成状态预测模型；

状态预测模型是基于样本超声扫查路径及其对应的环境状态数据集训练得到的；

环境状态数据集中包括超声探头被移动到样本超声扫查路径中的每一状态后进行多角度偏移所采集的样本超声图像。

具体地，状态预测层可以单独构成状态预测模型。该模型可以基于样本超声扫查路径及其对应的环境状态数据集训练得到。其中，由于在超声扫查过程中，有经验的医生会基于临床经验快速寻找标准切面，不会遍历所有可能的图像变化，因此采集的样本超声图像序列难以覆盖所有可能的超声图像。因此，为了提高状态预测模型的预测准确性，本发明实施例可以构建环境状态数据集对状态预测模型进行训练，以更详尽地记录在探头发生可能的移动时超声图像的变化，增强状态预测模型的鲁棒性及图像预测的准确性。

为构建环境状态数据集，需对每个扫查对象进行完整的超声扫查，并在每个扫查过程中，当超声探头被移动到样本超声扫查路径中的每一状态后进行多角度偏移，然后采集样本超声图像。以肾动脉超声扫查为例，可以对扫查对象的两侧肾动脉进行完整的超声扫查。医师将从腹主动脉长轴切面、肾动脉主干的腹正中横切面、侧腰部冠状切面、前腹肋间横切面、肋缘下横切面、经背部切面、肾内动脉经侧腰部冠状切、肾脏最大冠状切面及经肾门肾脏短轴切面等各角度进行扫查，并变换扫查起始位置和扫查路径，重复多次，以便完整记录超声图像的动态变化情况。同时，在扫查过程中缓慢移动探头，在每次小幅移动后将探头朝各个方向进行多角度偏移，重复该过程直到定位到标准切面。

基于上述任一实施例，超声探头的当前状态信息是基于室内定位技术，对超声探头的位移和旋转进行跟踪得到的。

具体地，由于利用位姿传感器获取超声探头状态的方法容易产生累计误差，因此，为了提高状态信息的准确性，可以利用室内定位技术，对超声探头的位移和旋转进行跟踪，实时获取超声探头的当前状态信息。例如，可以利用灯塔室内定位技术(Lighthouse)实现精准的超声探头定位。图6为本发明实施例提供的室内定位设备的示意图，如图6所示，可以在超声检查台两侧放置支架610并固定两个灯塔基站620，在超声探头630末端固定由多个惯性传感器构成的追踪器640，用于跟踪超声探头的位移和旋转，即可实时获取超声探头的三维坐标(x,y,z)和俯仰、偏移、转动角度(α，β，γ)。同时记录对应的不同时刻的超声图像序列，即可实现对超声图像和探头移动的同步动态跟踪。

基于上述任一实施例，图7为本发明实施例提供的超声辅助扫查方法的流程示意图之二，如图7所示，该方法包括：

获取t时刻超声仪器采集的超声影像S_t，以及超声探头的上一探头动作A_t-1和探头位置P_t。

构建扫查路径规划模型，该模型包括两个子模型：状态预测模型和动作预测模型。基于动作预测模型，对超声影像S_t，以及上一探头动作A_t-1和探头位置P_t进行动作预测，得到初始移动信息A_pred。利用交叉熵(Crosss-entropy method,CEM)方法生成多个可能的动作A_pred ⁽¹⁾、A_pred ⁽²⁾、A_pred ⁽³⁾、A_pred ⁽⁴⁾......

基于状态预测模型，根据超声影像S_t以及每个可能的动作进行超声图像预测，得到每个可能动作对应的预测超声图像S_pred ⁽¹⁾、S_pred ⁽²⁾、S_pred ⁽³⁾、S_pred ⁽⁴⁾......随后，利用标准切面模型，基于每个可能动作对应的预测超声图像，确定每个可能动作对应的奖励，即奖励⁽¹⁾、奖励⁽²⁾、奖励⁽³⁾、奖励⁽⁴⁾，并根据奖励挑选最优动作A_t＝(δx，δy，δz，δα，δβ，δγ)。将最优动作可视化后，可以以文字方式提示给医师，例如“向右下方移动1cm，向前倾斜30度”。

然后，获取医师采取的探头动作A_t，以及t+1时刻的超声影像和探头位置，并重复执行上述步骤，直至扫查到标准切面。

基于上述任一实施例，图8为本发明实施例提供的超声辅助扫查装置的结构示意图，如图8所示，该装置包括：信息获取单元810和探头移动推荐单元820。

其中，信息获取单元810用于获取当前超声图像，以及超声探头的上一移动信息和当前状态信息；

探头移动推荐单元820用于将当前超声图像，以及超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到扫查路径规划模型输出的下一步的推荐移动信息；

其中，扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的。

本发明实施例提供的装置，利用扫查路径规划模型，根据当前超声图像，以及超声探头的上一移动信息和当前状态信息进行路径规划，找到能更快扫查到标准切面的路径，并给出超声探头下一步的推荐移动信息，从而连续指导超声探头移动的方向和角度，最终定位至标准切面，提高了超声辅助扫查的准确性和适用范围。

基于上述任一实施例，探头移动推荐单元820具体用于：

基于扫查路径规划模型的动作预测层，对当前超声图像，以及超声探头的上一移动信息和当前状态信息进行动作预测，得到初始移动信息；

基于初始移动信息，生成多个候选移动信息；

基于每一候选移动信息及其对应的奖励，确定推荐移动信息。

本发明实施例提供的装置，基于动作预测层进行动作预测，得到初始移动信息后，基于初始移动信息，生成多个候选移动信息，再基于每一候选移动信息及其对应的奖励，确定推荐移动信息，进一步提高了超声辅助扫查的准确性。

基于上述任一实施例，基于初始移动信息，生成多个候选移动信息，具体包括：

将初始移动信息作为当前基准移动信息；

基于当前基准移动信息，生成多个候选移动信息，并基于每一候选移动信息对应的奖励，选择若干个候选移动信息生成当前基准移动信息，直至到达预设停止条件。

基于上述任一实施例，该装置还包括奖励确定单元，用于：

基于扫查路径规划模型的状态预测层，根据当前超声图像以及该候选移动信息进行超声图像预测，得到该候选移动信息对应的预测超声图像；

基于该候选移动信息对应的预测超声图像，确定该候选移动信息对应的奖励。

基于上述任一实施例，基于该候选移动信息对应的预测超声图像，确定该候选移动信息对应的奖励，具体包括：

基于标准切面识别模型，对该候选移动信息对应的预测超声图像进行标准切面识别，得到预测超声图像的识别结果；

基于识别结果，确定该候选移动信息对应的奖励；

标准切面识别模型是基于样本超声图像及其样本识别结果训练得到的。

基于上述任一实施例，状态预测层构成状态预测模型；

状态预测模型是基于样本超声扫查路径及其对应的环境状态数据集训练得到的；

环境状态数据集中包括超声探头被移动到样本超声扫查路径中的每一状态后进行多角度偏移所采集的样本超声图像。

基于上述任一实施例，超声探头的当前状态信息是基于室内定位技术，对超声探头的位移和旋转进行跟踪得到的。

图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行超声辅助扫查方法，该方法包括：获取当前超声图像，以及超声探头的上一移动信息和当前状态信息；将所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到所述扫查路径规划模型输出的下一步的推荐移动信息；其中，所述扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的。

此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的超声辅助扫查方法，该方法包括：获取当前超声图像，以及超声探头的上一移动信息和当前状态信息；将所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到所述扫查路径规划模型输出的下一步的推荐移动信息；其中，所述扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的超声辅助扫查方法，该方法包括：获取当前超声图像，以及超声探头的上一移动信息和当前状态信息；将所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到所述扫查路径规划模型输出的下一步的推荐移动信息；其中，所述扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种超声辅助扫查方法，其特征在于，包括：

获取当前超声图像，以及超声探头的上一移动信息和当前状态信息；

将所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到所述扫查路径规划模型输出的下一步的推荐移动信息；

其中，所述扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的；

所述将所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到所述扫查路径规划模型输出的下一步的推荐移动信息，具体包括：

基于所述扫查路径规划模型的动作预测层，对所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息进行动作预测，得到初始移动信息；

基于所述初始移动信息，生成多个候选移动信息；

基于每一候选移动信息及其对应的奖励，确定所述推荐移动信息。

2.根据权利要求1所述的超声辅助扫查方法，其特征在于，所述基于所述初始移动信息，生成多个候选移动信息，具体包括：

将所述初始移动信息作为当前基准移动信息；

基于当前基准移动信息，生成多个候选移动信息，并基于每一候选移动信息对应的奖励，选择若干个候选移动信息生成当前基准移动信息，直至到达预设停止条件。

3.根据权利要求1或2所述的超声辅助扫查方法，其特征在于，任一候选移动信息对应的奖励是基于如下步骤确定的：

基于所述扫查路径规划模型的状态预测层，根据所述当前超声图像以及所述任一候选移动信息进行超声图像预测，得到所述任一候选移动信息对应的预测超声图像；

基于所述任一候选移动信息对应的预测超声图像，确定所述任一候选移动信息对应的奖励。

4.根据权利要求3所述的超声辅助扫查方法，其特征在于，所述基于所述任一候选移动信息对应的预测超声图像，确定所述任一候选移动信息对应的奖励，具体包括：

基于标准切面识别模型，对所述任一候选移动信息对应的预测超声图像进行标准切面识别，得到所述预测超声图像的识别结果；

基于所述识别结果，确定所述任一候选移动信息对应的奖励；

所述标准切面识别模型是基于样本超声图像及其样本识别结果训练得到的。

5.根据权利要求3所述的超声辅助扫查方法，其特征在于，所述状态预测层构成状态预测模型；

所述状态预测模型是基于样本超声扫查路径及其对应的环境状态数据集训练得到的；

所述环境状态数据集中包括超声探头被移动到所述样本超声扫查路径中的每一状态后进行多角度偏移所采集的样本超声图像。

6.根据权利要求1或2所述的超声辅助扫查方法，其特征在于，所述超声探头的当前状态信息是基于室内定位技术，对所述超声探头的位移和旋转进行跟踪得到的。

7.一种超声辅助扫查装置，其特征在于，包括：

信息获取单元，用于获取当前超声图像，以及超声探头的上一移动信息和当前状态信息；

探头移动推荐单元，用于将所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息输入至扫查路径规划模型，得到所述扫查路径规划模型输出的推荐移动信息；

其中，所述扫查路径规划模型是基于样本超声扫查路径及其对应的样本超声图像序列进行深度强化学习得到的；

所述探头移动推荐单元具体用于：

基于所述扫查路径规划模型的动作预测层，对所述当前超声图像，以及所述超声探头的上一移动信息和当前状态信息进行动作预测，得到初始移动信息；

基于所述初始移动信息，生成多个候选移动信息；

基于每一候选移动信息及其对应的奖励，确定所述推荐移动信息。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述超声辅助扫查方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述超声辅助扫查方法的步骤。

Images