CN112998749A - 一种基于视觉伺服的自动超声检查系统 - Google Patents

Abstract

本发明公开了一种基于视觉伺服的自动超声检查系统，该系统硬件部分包括轻量型六轴机械臂，超声探头，3D结构光相机，耦合剂涂抹装置，音箱和机械臂关节距离传感器；该系统软件模块部分包括基于CT数据的患者表面点云提取模块，点云配准模块，力觉控制模块，目标跟踪模块，质量评估模块和轨迹规划模块。本发明可应用于代替超声科医生执行体检筛查和部分疾病的诊断任务，其不仅可以代替医生执行简单的超声体检任务，缓解医生的工作压力。同时还可以让医疗资源(特别是严重缺乏熟练超声科医生的地区)匮乏的地区享受到基础的超声检查服务。

Description

一种基于视觉伺服的自动超声检查系统

技术领域

本发明属于人工智能和医疗器械技术领域，具体而言，本发明是一种基于视觉伺服的完全自主的医学超声检查系统。

背景技术

医学超声因为其可以实时成像、设备成本低廉等优势已经越来越多的被用于医学诊断，甚至由于其无放射性而成为妊娠检查的主要手段。然而，又由于操作医师之间操作手法的高度可变性和不可重复性导致熟练的超声医师资源匮乏；同时，长时间检查期间手动操作超声探头是繁琐的工作，一些研究报告指出超声医师中存在肌肉骨骼疾病等职业病。此外，由于培养一个成熟的超声医生往往需要3至5年时间，而这些医师多集中在医疗资源较为丰富的地区，而偏远地区的超声医师资源严重匮乏。因此，开发一种智能超声筛查系统不仅可以缓解超声医师的工作压力，同时还可以解决偏远地区的医师资源匮乏的问题。

发明内容

本发明的目的在于提供一种基于视觉伺服的完全自主的医学超声检查系统，主要用于缓解超声科医生的工作压力和弥补偏远地区医疗资源不足的问题；其不同于其他超声采集的辅助设备系统和远程超声采集系统，本系统首先会在CT图像上标定出每个器官的初始声窗位置并逐个编号及其感兴趣区域，然后利用点云配准模块获得患者到CT图像的标定并利用轨迹规划模块实现机械臂初始位置的定位，最后，利用力觉控制模块、目标跟踪以及质量评估模块获取最优超声图像。

为实现上述目的，本发明采取的技术方案是：一种基于视觉伺服的自动超声检查系统，该系统包括硬件平台以及控制硬件平台运行的软件模块，所述硬件平台包括：

轻量型六轴机械臂，其作为平台的主体设备，用于模拟医生的手臂；

超声探头，其与机械臂的末端固定连接；

3D结构光相机，用于采集提取患者在实际空间中上身胸腹部的点云数据PC₁；

耦合剂涂抹装置，用于自动涂抹耦合剂；

音箱，用于提示患者在检查床上应保持何种姿态。

进一步的，所述机械臂的各关节处安装有距离传感器，用于计算机械臂各关节距离患者或者其他物体的距离。

进一步的，所述系统还包括基于CT数据的患者表面点云提取模块，点云配准模块，力觉控制模块，目标跟踪模块，质量评估模块和轨迹规划模块；所述基于CT数据的患者表面点云提取模块用于将患者上身胸腹部的CT数据建模成三维模型并将该模型生成三维点云数据PC₂；所述点云配准模块用于配准PC₁和PC₂；所述力觉控制模块用于控制超声探头与患者之间的接触力，该模块与质量评估模块结合可调整图像质量；所述目标跟踪模块用于选择最佳的器官切面，同时该模块同时可期待补偿患者呼吸引起误差；所述轨迹规划模块用于对超声探头初始位置的定位以及遍历感兴趣区域。

更进一步的，所述基于CT数据的患者表面点云提取模块中，从CT图像中提取患者皮肤表面是通过对包含随后的膨胀和侵蚀的阈值图像执行形态闭合，然后从图像数据中检索表面，其中仅保留覆盖总像素的最高比率的连接表面分量以供进一步处理

Ω_B＝arg max∑Ω_i,Ω_i＝{x₁,x₂,...,x_m}

其中x_m是3D空间中分量Ω_i中包含的点的表面位置。

更进一步的，所述点云配准模块中，利用3D结构光相机采集的实际空间的点云数据与患者表面点云数据进行匹配，然后获取CT图像中标定的初始声窗位置在实际空间中的三维坐标，最后，利用机械臂逆运动学求解算法求出机械臂关节的位姿。

更进一步的，所述力觉控制模块中，将超声探头在空间中的运动分解成为六个维度。

更进一步的，所述目标跟踪模块中，在图像清晰度指标大于0.5时开始进行模板匹配。

更进一步的，所述质量评估模块中，通过算法利用图像的梯度信息将图像建模成一个二阶Ising点阵系统，然后利用Ising model的理论建立图像的清晰度评估模型。

更进一步的，利用图像的梯度信息将图像分割成N个尺寸为5*8的cell，然后将像素的梯度方向分成6个方向，最终将每个cell表示成1*6的特征向量；通过计算每个cell特征向量与标准特征向量之间的余弦距离来计算建立二阶点阵模型，该指标的具体表达式如下：

其中，E表示使用Ising model计算结果，其表达式如下：

其中，E表示对整张图像进行质量评估的量化结果，N_cell表示被评估图像中cell的总数，w是超参数，为了平衡超声图像中那些没有像素的空白区域，cell(x,y)表示当前cell的位置，j表示自旋s_i周围的其他自旋s_i的状态。

更进一步的，所述轨迹规划模块中，首先，利用CT图像获取患者的切面数据，以方便定位器官的位置和初始声窗切入口的位置；同时，利用标定好的深度相机获取对应声窗切入位置在世界坐标系中的位置，从而直接控制超声探头定位到期望的初始声窗切入口，进而为后续的机械臂自动控制提供基础；针对机械臂的运动轨迹，只需在CT数据中选择轨迹的起点和终点P_s，P_e，便可获取路径方向。

本发明的有益效果是：本系统采用轻量型机械臂作为主体设备并利用人工智能算法是实现对超声探头的智能控制，因此其能替代超声科医生百分之八十的功能，缓解医生的工作压力。此外，本系统可以节省人力资源，降低对超声科医生的损伤；同时，还可以普及到医疗资源较为匮乏的地区，从而有效提高其医疗水平，让医疗资源(特别是严重缺乏熟练超声科医生的地区)匮乏的地区享受到基础的超声检查服务。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1基于视觉伺服的自动超声检查系统结构图；

图2自动超声检查系统主要模块及其功能示意图；

图3动超声检查系统控制流程图；

图4超声探头在空间中的运动状态示意图；

图5超声探头轨迹规划示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例1：

本实施例提出了一种基于视觉伺服的自动超声检查系统的硬件结构。

请参考图1，所述的自动超声检查系统的硬件结构包括：专用超声探头；轻量型六轴机械臂，3D结构光相机，耦合剂涂抹装置，音箱和机械臂关节距离传感器。

所述专用超声探头：该探头是专门设计的一种超声探头，该探头的末端具有6个螺孔，螺孔的尺寸和位置与机械臂末端法兰的螺孔尺寸和位置相同。因此，我们可以通过该设置将超声探头刚性的连接到机械臂末端。

所述轻量型六轴机械臂：该硬件设备是该系统的主体部件，我们使用该机械臂代替超声科医生，实现对超声科医生手法的模拟。此外，需要提出的是，轻量型机械臂的另一个优点是不会对患者造成伤害。

所述3D结构光相机：该相机垂直安装在或者所趟的床上方1到1.5米处，用于采集患者上身胸腹部的点云数据。为了提高算法的效率，我们会让患者穿上规定颜色的上衣(专用的)，从而利用颜色信息直接分割出患者胸腹部信息。

所述耦合剂涂抹装置：该装置固定在机械臂末端，并通过软管向还这皮肤表面输送耦合剂。当需要耦合剂时，该软管自动伸出；当耦合剂输送完毕后自动缩回。本装置也可采用目前现有自动涂抹装置来实现。

所述音箱，用于提示患者在检查床上应保持何种姿态。

所述机械臂关节距离传感器：我们在机械臂的几个关节处安装距离传感器，用于计算机械臂各关节距离患者或者其他物体的距离。由于机械臂你运动学求解往往是有多解的，为了让机械臂在准确控制末端探头的同时还能保证机械臂不接触患者或其他物体，我们引入机械臂雅可比矩阵零空间规划系统，当机械臂某各关节距离物体较近时，系统会自动选另一个解。

实施例2：

本实施例提出了基于视觉伺服的自动超声检查系统的软件结构，即算法控制模块和算法控制流程。

主要思想是：利用三维相机和医生在CT图像上的标定的位置实现机械臂初始位置的定位，然后可利用超声探头采集的图像实现对探头状态的控制，最终得到期望的器官切面。

图2中显示了不同模块在该系统中的位置和作用。所述的自动超声检查系统的软件模块包括：基于CT数据的患者表面点云提取模块；点云配准模块；力觉控制模块；目标跟踪模块；质量评估模块；轨迹规划模块。

所述基于CT数据的患者表面点云提取模块的主要作用和设置如下：首先，我们无法采集每个患者的CT数据，因此，为了应对患者的性别和身材上的差异，我们建立了四个CT数据库：男(正常身材和偏胖身材)，女(正常身材和偏胖身材)，我们通过这种方式来让系统能适应更广泛的人群。我们让医生分别在CT图像上标定每个器官对应的声窗位置及其感兴趣区域。然后，我们将CT图像建模成三维模型，并利用该模型提取表面伪点云数据。

为了从CT图像中提取患者皮肤表面，我们采用了一种不需要复杂分割的方法，因为提取和匹配的表面将在整个采集过程中使用基于图像的配准进行细化。由于所得到的掩模包含孔洞并且是部分不规则的，因此对包含随后的膨胀和侵蚀的阈值图像执行形态闭合。然后可以从图像数据中检索表面，其中仅保留覆盖总像素的最高比率的连接表面分量以供进一步处理

Ω_B＝arg max∑Ω_i,Ω_i＝{x₁,x₂,...,x_m} (1)

其中x_m是3D空间中分量Ω_i中包含的点的表面位置。

所述点云配准模块主要可以将3D相机采集的实际空间的点云数据与患者表面点云数据进行匹配，然后可以获取CT图像中标定的初始声窗位置在实际空间中的三维坐标。最后，利用机械臂逆运动学求解算法求出机械臂关节的位姿。

所述力觉控制模块用于控制超声探头与患者表面的接触力。如图3所示，我们将超声探头在空间中的运动分解成如下六个维度。现有技术，向下的平移分量y由力控制器控制。具有弹性接头的机械臂的恒定力控制通常是通过平衡作用在末端执行器上的笛卡尔外力F所需的力F_d使F_ext-F_d＝0来实现的。对于实时行为，所有机器人关节中的扭矩传感器都利用雅可比矩阵和已知的机械臂逆动力学系统来计算外力。虽然压力太小会损害在超声采集过程中良好的声耦合和足够的图像质量，但是过大的力可能会使解剖结构过度变形甚至损害患者。

所述目标跟踪模块用于实现对使用模板匹配的方法实现对标准器官的的识别。为了提高算法的运行效率，我们在图像清晰度指标大于0.5时才开始进行模板匹配(该指标参见质量评估模块)。

所述质量评估模块用于实现对所采集的超声图像的清晰度进行评估。该算法利用图像的梯度信息将图像建模成一个二阶Ising点阵系统，然后利用Ising model的理论建立图像的清晰度评估模型。具体来讲，我们利用图像的梯度信息将图像分割成N个尺寸为5*8的cell，然后将像素的梯度方向分成6个方向，最终将每个cell表示成1*6的特征向量。我们通过计算每个cell特征向量与标准特征向量之间的余弦距离来计算建立二阶点阵模型。该指标的具体表达式如下：

其中，E表示使用Ising model计算结果，其表达式如下：

其中，E表示对整张图像进行质量评估的量化结果。N_cell表示被评估图像中cell的总数，w是超参数，为了平衡超声图像中那些没有像素的空白区域。cell(x,y)表示当前cell的位置，j表示自旋s_i周围的其他自旋s_i的状态。

所述轨迹规划模块用于对超声探头初始位置的定位以及遍历感兴趣区域。我们将超声医生的手法初步分解为：确定初始声窗位置并遍历感兴趣区域，从而获取期望的图像。超声筛查的难点之一在于如何精确定位超声探头的初始声窗切入位置，而我们在CT图像上标定的轨迹也是由多个不同点组成，因此，我们可以将定轨迹规划问题当作定位问题。在该项目中，能够将计划的采集路径转移到世界坐标系的模型。首先，我们利用CT图像获取患者的切面数据，以方便定位器官的位置和初始声窗切入口的位置；同时，我们利用标定好的深度相机获取对应声窗切入位置在世界坐标系中的位置，从而直接控制超声探头定位到期望的初始声窗切入口，从而为后续的机械臂自动控制提供基础。针对机械臂的运动轨迹，医生只需在CT数据中选择轨迹的起点和终点P_s，P_e，这些点定义了获取路径方向

轨迹规划如图5所示。

最后，本发明的主要控制流程如图3所示。

实施例3：

本实施例是在对患者进行自动的全身器官检查设置及其应用

根据上所述基于CT数据的患者表面点云提取模块的内容，我们将对每个器官的声窗位置进行编号。患者首先平躺与检查床上，然后操作员按全自动检查启动按钮。患者根据语音提示在检查床上做出相应的睡姿，从而方便检查。

实施例4：

本实施例是在对患者某个器官进行自动检查设置及其应用

患者首先平躺与检查床上，然后操作员根据患者需求在操作界面选择对应器官选项。患者根据语音提示在检查床上做出相应的睡姿，从而方便检查。

以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解，上述实施例不以任何形式限制本发明的保护范围，凡采用等同替换等方式所获得的技术方案，均落于本发明的保护范围内。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (10)

1.一种基于视觉伺服的自动超声检查系统，该系统包括硬件平台以及控制硬件平台运行的软件模块，其特征在于，所述硬件平台包括：

轻量型六轴机械臂，其作为平台的主体设备，用于模拟医生的手臂；

超声探头，其与机械臂的末端固定连接；

3D结构光相机，用于采集提取患者在实际空间中上身胸腹部的点云数据PC₁；

耦合剂涂抹装置，用于自动涂抹耦合剂；

音箱，用于提示患者在检查床上应保持何种姿态。

2.根据权利要求1所述的一种基于视觉伺服的自动超声检查系统，其特征在于，所述机械臂的各关节处安装有距离传感器，用于计算机械臂各关节距离患者或者其他物体的距离。

3.根据权利要求1所述的一种基于视觉伺服的自动超声检查系统，其特征在于，所述系统还包括基于CT数据的患者表面点云提取模块，点云配准模块，力觉控制模块，目标跟踪模块，质量评估模块和轨迹规划模块；所述基于CT数据的患者表面点云提取模块用于将患者上身胸腹部的CT数据建模成三维模型并将该模型生成三维点云数据PC₂；所述点云配准模块用于配准PC₁和PC₂；所述力觉控制模块用于控制超声探头与患者之间的接触力，该模块与质量评估模块结合可调整图像质量；所述目标跟踪模块用于选择最佳的器官切面，同时该模块同时可期待补偿患者呼吸引起误差；所述轨迹规划模块用于对超声探头初始位置的定位以及遍历感兴趣区域。

4.根据权利要求3所述的一种基于视觉伺服的自动超声检查系统，其特征在于，所述基于CT数据的患者表面点云提取模块中，从CT图像中提取患者皮肤表面是通过对包含随后的膨胀和侵蚀的阈值图像执行形态闭合，然后从图像数据中检索表面，其中仅保留覆盖总像素的最高比率的连接表面分量以供进一步处理

Ω_B＝arg max∑Ω_i,Ω_i＝{x₁,x₂,...,x_m}

其中x_m是3D空间中分量Ω_i中包含的点的表面位置。

5.根据权利要求3所述的一种基于视觉伺服的自动超声检查系统，其特征在于，所述点云配准模块中，利用3D结构光相机采集的实际空间的点云数据与患者表面点云数据进行匹配，然后获取CT图像中标定的初始声窗位置在实际空间中的三维坐标，最后，利用机械臂逆运动学求解算法求出机械臂关节的位姿。

6.根据权利要求3所述的一种基于视觉伺服的自动超声检查系统，其特征在于，所述力觉控制模块中，将超声探头在空间中的运动分解成为六个维度。

7.根据权利要求3所述的一种基于视觉伺服的自动超声检查系统，其特征在于，所述目标跟踪模块中，在图像清晰度指标大于0.5时开始进行模板匹配。

8.根据权利要求3所述的一种基于视觉伺服的自动超声检查系统，其特征在于，所述质量评估模块中，通过算法利用图像的梯度信息将图像建模成一个二阶Ising点阵系统，然后利用Ising model的理论建立图像的清晰度评估模型。

9.根据权利要求8所述的一种基于视觉伺服的自动超声检查系统，其特征在于，利用图像的梯度信息将图像分割成N个尺寸为5*8的cell，然后将像素的梯度方向分成6个方向，最终将每个cell表示成1*6的特征向量；通过计算每个cell特征向量与标准特征向量之间的余弦距离来计算建立二阶点阵模型，该指标的具体表达式如下：

其中，E表示使用Ising model计算结果，其表达式如下：

其中，E表示对整张图像进行质量评估的量化结果，N_cell表示被评估图像中cell的总数，w是超参数，为了平衡超声图像中那些没有像素的空白区域，cell(x,y)表示当前cell的位置，j表示自旋s_i周围的其他自旋s_i的状态。

10.根据权利要求3所述的一种基于视觉伺服的自动超声检查系统，其特征在于，所述轨迹规划模块中，首先，利用CT图像获取患者的切面数据，以方便定位器官的位置和初始声窗切入口的位置；同时，利用标定好的深度相机获取对应声窗切入位置在世界坐标系中的位置，从而直接控制超声探头定位到期望的初始声窗切入口，进而为后续的机械臂自动控制提供基础；针对机械臂的运动轨迹，只需在CT数据中选择轨迹的起点和终点P_s，P_e，便可获取路径方向。

Images