CN110974299A - 超声扫查机器人系统、超声扫查方法及介质 - Google Patents

Abstract

本发明提供了一种超声扫查机器人系统、超声扫查方法及介质，包括：根据超声图像识别当前扫查部位，根据超声图像识别当前扫查切面，根据当前扫查部位和/或当前扫描切面以及场景图像，输出操作超声换能器到预定方位的导航信息至机械臂。本发明能够准确识别扫查部位与切面，从而使机械臂操纵超声换能器快速、准确地定位目标部位和切面，获取相应的超声图像。

Description

超声扫查机器人系统、超声扫查方法及介质

技术领域

本发明涉及超声技术领域，具体地，涉及一种超声扫查机器人系统、超声扫查方法及介质。

背景技术

超声利用声波的反射来反映组织的纹理和解剖结构，并形成图像。超声经历数十年的发展，模态不断丰富，主要包括灰阶成像、多普勒成像、弹性成像、造影成像等。超声凭借其低成本、安全、实时性等优势逐渐成为应用最为普遍的医学影像技术，同时在产科、心脏等领域发挥着不可替代的重要作用。

超声是医学影像设备便携化的先驱，既有传统的大型台车超声设备，也有中型的笔记本超声设备。近年来，还出现了小型的掌上超声设备。超声设备的便携性使得超声可以进入新的应用场景，同时被内/外科、麻醉科、急诊科等非超声医生所接受和使用。这些新场景和新用户为超声开辟新天地的同时，也对超声提出了新的需求和挑战。

近年来，以达芬奇手术机器人为代表的医疗机器人快速发展，临床应用逐渐从腹腔镜手术扩展至骨科、神经、心血管等领域。高效的机器人技术是超声的有力补充，两者的有机结合充满前景。

主流超声技术由操作者手持探头通过特定的声窗扫描人体内的二维结构切面，视角和视场都会受到一定的空间限制。因此，超声成像的空间定位和图像质量很大程度上依赖于操作者的经验与技巧，存在一定的主观性，标准化程度和可重复性较低。便携超声的逐渐普及加剧了超声操作者严重不足的形势。快速、准确地定位目标解剖部位，获取可靠、标准的超声切面图像面临挑战。

目前已有一些公司研发利用机械臂操纵超声换能器执行多种动作，但是，在保证被检查对象安全和超声图像质量等方面，以及在高效、准确定位目标扫查部位和扫查切面等方面，还有待突破。例如专利：CN109998590A；WO2019075719A1；CN209004045U；CN208822821U；CN108577886A。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种超声扫查机器人系统、超声扫查方法及介质。

根据本发明提供的一种超声扫查机器人系统，包括：

超声换能器，安装在机械臂上，配置为发射和接收超声成像信号，所述超声换能器配置有压力传感器，所述压力传感器实时获取被扫查对象的接触信息；

摄像头，配置为拍摄被扫查对象与超声换能器当前位置，得到场景图像；

波束合成模块，配置为对接收到的多个超声成像信号进行波束合成，得到合成信号；

超声图像处理模块，配置为根据所述合成信号生成对应的超声图像；

部位识别模块，配置为根据所述超声图像识别当前扫查部位；

切面识别模块，配置为根据所述超声图像识别当前扫查切面；

扫查控制模块，配置为根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制所述机械臂。

优选地，还包括语音提示模块，配置为为被检查对象提供语音指导信息。

优选地，还包括三维重建模块，配置为根据同一部位的多个切面对应的超声图像进行图像重建得到三维图像。

优选地，所述部位识别模块包括部位识别神经网络模型，用于根据所述超声图像识别当前扫查部位，所述部位识别神经网络模型通过以下步骤训练得到：

获得部位识别训练数据，所述部位识别训练数据包括多种人体部位的超声图像及对应的部位标签；

使用所述部位识别训练数据训练一个卷积神经网络，得到所述部位识别神经网络模型。

优选地，所述切面识别模块包括切面识别神经网络模型，用于根据所述超声图像识别当前扫查切面，所述切面识别神经网络模型通过以下步骤训练得到：

获得切面识别训练数据，所述切面识别训练数据包括人体同一部位多种切面的超声图像及对应的切面标签；

使用所述切面识别训练数据训练一个卷积神经网络，得到所述切面识别神经网络模型。

优选地，所述卷积神经网络模型由卷积层、池化层、批归一化层组成，训练所述卷积神经网络模型的损失函数为：

或

其中：loss表示损失函数；weight表示权重；x表示预测概率；class表示对应的类别；j表示所有类别的序号。

优选地，所述部位识别模块配置为根据所述超声图像识别当前扫查部位是目标部位的部位识别概率；所述切面识别模块配置为根据所述超声图像识别当前扫查切面是目标切面的切面识别概率。

优选地，所述超声扫查机器人系统还包括图像质控模块，所述图像质控模块包括图像评分神经网络模型，用于对所述超声图像的质量进行评分，所述图像评分神经网络模型通过以下步骤训练得到：

获得图像评分训练数据，所述图像评分训练数据包括不同部位、不同切面的超声图像及对应的评分；

使用所述图像评分训练数据训练一个卷积神经网络，得到所述图像评分神经网络模型。

优选地，所述机械臂上配置有耦合剂喷涂装置；所述扫查控制模块还配置为获取所述图像质控模块得到的评分，当所述评分低于设定阈值时，控制所述耦合剂喷涂装置喷涂耦合剂。

优选地，所述切面识别模块配置为根据所述超声图像识别到的当前扫查部位来识别当前扫查切面。

根据本发明提供的一种超声扫查方法，包括：

对接收到的多个超声成像信号进行波束合成，得到合成信号；

实时获取超声换能器与被扫查对象的接触信息；

实时拍摄被扫查对象与超声换能器当前位置，得到场景图像；

根据所述合成信号生成对应的超声图像；

根据所述超声图像识别当前扫查部位；

根据所述超声图像识别当前扫查切面；

根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到机械臂操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制机械臂。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的超声扫查方法。

与现有技术相比，本发明具有如下的有益效果：

本发明能够准确识别扫查部位与切面，从而使机械臂操纵超声换能器快速、准确地定位目标部位和切面，获取相应的超声图像；

本发明能够提升超声扫查的准确性、可重复性和标准化程度；降低超声的使用门槛，节约医疗人力资源。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的结构示意图；

图2为本发明超声换能器的结构示意图；

图3为本发明的工作流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本发明提供的一种超声扫查机器人系统，包括：超声换能器1、处理系统2以及摄像头(图中未示出)。

超声换能器1安装在机械臂上，配置为发射和接收超声成像信号，超声换能器1配置有压力传感器11，实时获取被扫查对象的接触信息。摄像头拍摄被扫查对象与超声换能器当前位置，得到场景图像。

当超声图像是三维图像时，超声三维空间结构重建通过多个三维超声图像的拼接来实现。运动补偿等图像处理算法用于优化拼接效果。运动补偿包括两个方面，一是补偿被检查对象呼吸、心跳等组织运动造成的图像错位，二是用于补偿超声换能器的运动造成的图像错位。当超声图像为二维图像时，不同方位的二维超声图像实现对超声三维空间结构的稀疏重建。

处理系统2可以是各类具备数据处理功能的设备，如计算机等。具体的，处理系统2中包括：

波束合成模块，配置为对接收到的多个超声成像信号进行波束合成，得到合成信号。

超声图像处理模块，配置为根据所述合成信号生成对应的超声图像。

部位识别模块，配置为根据所述超声图像识别当前扫查部位。

切面识别模块，配置为根据所述超声图像识别当前扫查切面。

三维重建模块，配置为根据同一部位的多个切面对应的超声图像进行图像重建得到三维图像。

扫查控制模块：配置为根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到机械臂操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制机械臂。

语音提示模块，配置为被检查对象提供语音指导信息，语音指导信息包括指导被检查对象躺在检查床上、掀起衣物等信息。

依据被检查对象超声检查项目，所述语音提示模块通过发出语音指导信息指导被检查对象在超声检查床上保持特定的体位，显露待扫查体表皮肤。机械臂起始位置位于超声检查床正上方。摄像头获取被检查对象在超声检查床上的图像，扫查控制模块利用计算机视觉/机器学习等算法结合摄像头图像判断被检查对象体位是否符合超声检查项目的要求，如不符合，语音提示模块向被检查对象发出语音指导信息。

被检查对象体位满足要求后，扫查控制模块利用计算机视觉/机器学习等算法结合摄像头采集到的图像确定针对超声检查项目的超声换能器位于被检查对象体表的位置。扫查控制模块控制机械臂移动至已确定的被检查对象体表位置，进一步控制机械臂将超声换能器放置于已确定的被检查对象体表位置。

扫查控制模块控制机械臂操作超声换能器对被检查对象体表施加适当的压力，实时获取超声图像。图像质控模块根据超声换能器实时获取的超声图像评估超声图像质量并提供定量评分，超声图像质控模块还能够分析超声图像质量欠佳的潜在原因，包括耦合剂不足、肋骨遮挡、超声换能器位置偏离、超声成像参数不匹配、被检查对象成像条件较差等，并提供相应的解决方案，如系统调整机械臂借助超声换能器对被检查对象体表施加的压力，在保证被检查对象安全的前提下，使超声换能器保持在持续稳定获取优质超声图像的状态。

扫查控制模块根据计算得到的导航信息控制机械臂操纵超声换能器，执行平移、倾斜、摆动或旋转等动作，实时获取不同时刻的多帧超声图像，并记录对应时刻的超声图像的方位信息。三维重建模块根据超声图像和对应的方位信息，重建得到相应部位的三维图像。

部位识别模块利用计算机视觉/机器学习等算法结合重建的超声三维空间结构能够较为准确地识别出扫查部位。部位识别算法的一个实例是基于神经网络模型构建部位分类器，部位分类器预先利用大量不同部位的超声三维空间结构与对应的部位标签进行训练，经训练的部位分类器预测出输入的超声三维空间结构属于特定部位的概率。部位识别算法的另一个实例是基于神经网络模型构建部位分类器，部位分类器预先利用大量不同部位的二维超声图像与对应的部位标签进行训练，经训练的部位分类器预测出输入的二维超声图像属于特定部位的概率。

所述分类器为经训练的卷积神经网络模型，由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：

或

其中：loss表示损失函数；weight表示权重；x表示预测概率；class表示对应的类别；j表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。

超声图像是实时获取的，因此部位识别概率也是实时更新的。部位识别概率的计算不只是基于当前时刻获取的超声图像，也基于之前时刻获取的超声图像。所以，随着超声换能器在第一个位置停留时间的延长，部位识别的准确性和可信度将不断提升。在本实施例中，部位识别模块包括部位识别神经网络模型，用于根据超声图像识别当前扫查部位，部位识别神经网络模型通过以下步骤训练得到：获得部位识别训练数据，部位识别训练数据包括多种人体部位的超声图像及对应的部位标签；使用部位识别训练数据训练一个卷积神经网络，得到部位识别神经网络模型。

如果目标扫查部位的部位识别概率最大，并且高于95％，则认为别出来的扫查部位为实际扫查的部位。然后进入切面识别环节。

上述扫查部位定位环节获取的重建的超声三维空间结构能够协助系统定位目标扫查平面。控制倾斜、摆动或旋转超声换能器，用于采集多帧超声图像，扫查控制模块处理超声图像，利用机器视觉、机器学习等算法识别出当前扫查的切面，并推断出识别到的切面是特定切面的概率。在本发明中，由于是通过机械臂来控制超声换能器，将识别到的概率最高或到达指定概率之上的结果作为导航信息计算的输入，计算得到用于控制机械臂的导航信息。

在本实施例中，切面识别模块同样包括切面识别神经网络模型，用于根据超声图像识别当前扫查切面，切面识别神经网络模型通过以下步骤训练得到：获得切面识别训练数据，切面识别训练数据包括人体同一部位多种切面的超声图像及对应的切面标签；使用切面识别训练数据训练一个卷积神经网络，得到切面识别神经网络模型。

所述卷积神经网络模型由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：

或

其中：loss表示损失函数；weight表示权重；x表示预测概率；class表示对应的类别；j表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。

在本实施例中，部位识别模块配置为根据超声图像识别当前扫查部位是目标部位的部位识别概率；切面识别模块配置为根据超声图像识别当前扫查切面是目标切面的切面识别概率。识别信息输出模块配置为以柱状图或扇形图的方式显示部位识别概率或切面识别概率。

超声换能器的方向、角度和旋转信息被其内部嵌入的加速度计、陀螺仪、磁力计等传感器检测并记录。超声换能器的空间方位与超声图像以及切面识别概率一一对应。

超声换能器被放置在被检查对象体表的某一个位置，操作者控制超声换能器进行倾斜、摆动、旋转、成角等非滑动操作。任意时刻的超声图像与该时刻的超声换能器的方位、角度信息为一一对应地记录和保存。每个时刻的二维超声图像都是对超声成像三维空间的一次二维采样。利用该时刻的超声换能器的方位、角度信息能够将二维超声图像唯一地映射到超声成像三维空间中。多帧带有超声换能器方位、角度的超声图像能够形成超声成像三维空间的稀疏重建。理论上，当这样的超声图像足够多，覆盖的方位、角度足够丰富时，超声成像三维空间能够被完整的重建。

基于多帧超声图像对超声成像三维空间的稀疏重建，利用计算机视觉、机器学习等算法，识别出超声换能器正在扫查的部位。同时，利用计算机视觉、机器学习等算法还可以推断出已识别部位相应的若干目标标准超声扫查切面所在的大致方位。

在其他实施例中，超声扫查机器人系统还包括图像质控模块，图像质控模块包括图像评分神经网络模型，用于对超声图像的质量进行评分，图像评分神经网络模型通过以下步骤训练得到：获得图像评分训练数据，图像评分训练数据包括不同部位、不同切面的超声图像及对应的评分；使用图像评分训练数据训练一个卷积神经网络，得到图像评分神经网络模型。利用计算机视觉、机器学习等算法建立一个超声图像质量评估系统。同时，结合超声图像、超声换能器内嵌的传感器、力反馈装置等信息，利用计算机视觉、机器学习等算法向操作者超声图像质量欠佳的潜在原因，包括耦合剂不足、肋骨遮挡、超声换能器位置偏离、超声成像参数不匹配、被检查对象成像条件较差等，与相应的解决方案。在此基础上，机械臂上还配置有耦合剂喷涂装置，扫查控制模块还可配置为获取所述图像质控模块得到的评分，当所述评分低于设定阈值时，控制所述耦合剂喷涂装置喷涂耦合剂，以便于提高后续获取的超声图像的质量。

本发明记载的部位识别神经网络模型、切面识别神经网络模型、图像评分神经网络模型是使用训练数据训练一个卷积神经网络的到的。在一个实施例中，卷积神经网络包括：输入层，配置为将超声图像输入卷积神经网络；卷积层，配置为对超声图像进行特征提取；池化层，配置为对卷积层提取到的特征降采样；全连接层，配置为将池化层降采样得到的特征映射到样本标记空间；输出层，配置为输出结果。

以部位识别神经网络模型为例，其训练过程如下：

(1)在获得超声图像之后，对得到的超声图像进行标注，根据不同的部位分为不同的类别，例如：肝脏、脾脏、肾脏...等。

(2)将70％的数据作为训练数据，输入到卷积神经网络中进行训练。

(3)将20％的数据用于计算训练中每一次参数迭代更新之后的损失值，来评估模型的质量，当损失值下降到较小的值并且不再继续下降时，模型训练完成。

(4)将10％的数据作为测试数据，用于测试训练好的模型，这些数据既不参与模型拟合，也不参与计算损失值，也就是完全没有参与到训练过程中，因此测试结果更加客观。测试结果的准确率就是模型在标注数据上预期可以达到的准确率。

扫查控制模块和图像质控模块可以以专用芯片的形式安装运行在本地的超声换能器或机械臂上，也可以以专用芯片或软件的形式安装运行在本地或远程的手机、平板/台式电脑、独立硬件或超声主机等设备中。扫查控制模块和图像质控模块还可以以软件的形式安装运行在云端，同时辅助多个位于不同地理位置的机械臂操纵超声换能器。

如图3所示，在上述一种超声扫查系统的基础上，本发明还提供一种超声扫查方法，包括：

对接收到的多个超声成像信号进行波束合成，得到合成信号。

实时获取超声换能器与被扫查对象的接触信息。

实时拍摄被扫查对象与超声换能器当前位置，得到场景图像。

根据所述合成信号生成对应的超声图像。

根据所述超声图像识别当前扫查部位。

根据所述超声图像识别当前扫查切面。

根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到机械臂操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制机械臂。

本发明还提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的超声扫查方法。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统的一部分及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种超声扫查机器人系统，其特征在于，包括：

超声换能器，安装在机械臂上，配置为发射和接收超声成像信号，所述超声换能器配置有压力传感器，所述压力传感器实时获取被扫查对象的接触信息；

摄像头，配置为拍摄被扫查对象与超声换能器当前位置，得到场景图像；

波束合成模块，配置为对接收到的多个超声成像信号进行波束合成，得到合成信号；

超声图像处理模块，配置为根据所述合成信号生成对应的超声图像；

部位识别模块，配置为根据所述超声图像识别当前扫查部位；

切面识别模块，配置为根据所述超声图像识别当前扫查切面；

扫查控制模块，配置为根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制所述机械臂。

2.根据权利要求1所述的超声扫查机器人系统，其特征在于，还包括三维重建模块，配置为根据同一部位的多个切面对应的超声图像进行图像重建得到三维图像。

3.根据权利要求1所述的超声扫查机器人系统，其特征在于，所述部位识别模块包括部位识别神经网络模型，用于根据所述超声图像识别当前扫查部位，所述部位识别神经网络模型通过以下步骤训练得到：

获得部位识别训练数据，所述部位识别训练数据包括多种人体部位的超声图像及对应的部位标签；

使用所述部位识别训练数据训练一个卷积神经网络，得到所述部位识别神经网络模型。

4.根据权利要求1所述的超声扫查机器人系统，其特征在于，所述切面识别模块包括切面识别神经网络模型，用于根据所述超声图像识别当前扫查切面，所述切面识别神经网络模型通过以下步骤训练得到：

获得切面识别训练数据，所述切面识别训练数据包括人体同一部位多种切面的超声图像及对应的切面标签；

使用所述切面识别训练数据训练一个卷积神经网络，得到所述切面识别神经网络模型。

5.根据权利要求1所述的超声扫查机器人系统，其特征在于，所述部位识别模块配置为根据所述超声图像识别当前扫查部位是目标部位的部位识别概率；所述切面识别模块配置为根据所述超声图像识别当前扫查切面是目标切面的切面识别概率。

6.根据权利要求1所述的超声扫查机器人系统，其特征在于，所述超声扫查机器人系统还包括图像质控模块，所述图像质控模块包括图像评分神经网络模型，用于对所述超声图像的质量进行评分，所述图像评分神经网络模型通过以下步骤训练得到：

获得图像评分训练数据，所述图像评分训练数据包括不同部位、不同切面的超声图像及对应的评分；

使用所述图像评分训练数据训练一个卷积神经网络，得到所述图像评分神经网络模型。

7.根据权利要求6所述的超声扫查机器人系统，其特征在于，所述机械臂上配置有耦合剂喷涂装置；所述扫查控制模块还配置为获取所述图像质控模块得到的评分，当所述评分低于设定阈值时，控制所述耦合剂喷涂装置喷涂耦合剂。

8.根据权利要求1所述的超声扫查机器人系统，其特征在于，所述切面识别模块配置为根据所述超声图像识别到的当前扫查部位来识别当前扫查切面。

9.一种超声扫查方法，其特征在于，包括：

对接收到的多个超声成像信号进行波束合成，得到合成信号；

实时获取超声换能器与被扫查对象的接触信息；

实时拍摄被扫查对象与超声换能器当前位置，得到场景图像；

根据所述合成信号生成对应的超声图像；

根据所述超声图像识别当前扫查部位；

根据所述超声图像识别当前扫查切面；

根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到机械臂操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制机械臂。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求9所述的超声扫查方法。

Images