CN114795289A

CN114795289A - 一种血管超声图像视觉伺服的机器人扫描方法及装置

Info

Publication number: CN114795289A
Application number: CN202210429392.8A
Authority: CN
Inventors: 闫琳; 李淼; 张少华; 韩冬; 付中涛; 刘辰; 黄雄杰; 于天水; 万志林; 宋程
Original assignee: Wuhan Cobot Technology Co ltd
Current assignee: Wuhan Cobot Technology Co ltd
Priority date: 2022-04-22
Filing date: 2022-04-22
Publication date: 2022-07-29

Abstract

本公开提供了一种血管超声图像视觉伺服的机器人扫描方法及装置，涉及智慧医疗或超声影像技术领域，包括获取人体扫描血管的超声图像，通过改变机械臂末端探头移动控制方向，直至获取血管的超声图像的轮廓中心在超声图像的预设位置并且人体血管轮廓面积达到预设数值。本公开提供的一种血管超声图像视觉伺服的机器人扫描方法，该方法可有效提高血管纵切面扫描的效率，可在纵切扫描时实时调整超声探头的位姿，避免扫描过程中血管纵向轮廓丢失。

Description

一种血管超声图像视觉伺服的机器人扫描方法及装置

技术领域

本公开涉及智慧医疗或超声影像技术领域，尤其涉及一种血管超声图像视觉伺服的机器人扫描方法及装置。

背景技术

在血管超声诊断过程中，医生经常需要在横切扫描与纵切扫描两种手法之间切换，以便测量不同的血管特征，实现准确的血管超声诊断。其中，横切扫描是扫描血管的横切面；纵切扫描需要借助横切扫描先找到血管位置，然后在旋转超声探头，找到血管纵切面，实现对血管纵切面的扫描。由于血管是细长的，因此在纵切扫描时很容易丢失血管图像，进而导致自主纵切扫描的难度增大。对于机器人的超声扫描，由于末端探头控制误差、血管管径的不规则等因素的影响，导致很难一次旋转就得到准确、完整的血管纵切面超声图像。

发明内容

本公开的目的在于提出一种血管超声图像视觉伺服的机器人扫描方法、装置、电子设备及存储介质，以解决上述技术问题之一。

为实现上述目的，本公开第一方面提供了一种血管超声图像视觉伺服的机器人扫描方法，包括：

获取血管的超声图像；

通过改变机械臂末端探头控制方向，直至获取血管的超声图像的轮廓中心在超声图像的预设位置并且血管轮廓面积达到预设数值。

为实现上述目的，本公开第二方面提供了一种血管图像视觉伺服的机器人扫描装置，包括：

机器人本体、安装在机械臂末端超声探头、设置在所述机器人本体上的超声诊断仪、通过视频采集卡与安装有扫描监控软件的工控机相连的超声诊断仪，使得扫描监控软件实时获取所述超声诊断仪采集的血管超声图像，根据图像视觉伺服算法控制机械臂末端探头的位置调整。

由上可见，本公开提供的一种血管超声图像视觉伺服的机器人扫描方法，该方法可有效提高血管纵切扫描的效率，可在纵切扫描时实时调整超声探头的位置，避免扫描过程中血管轮廓丢失。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例中的血管超声图像视觉伺服的机器人扫描方法流程图；

图2为本公开实施例中的血管超声图像视觉伺服的机器人扫描方法另一流程图；

图3为图2中的坐标系示意图；

图4为图1中的超声图像示意图

图5为图1中的伺服控制示意图；

图6为图1中的相同的超声图像示意图；

图7为图1中的采用线性回归拟合血管轮廓面积变化示意图；

图8为本公开实施例中的血管图像视觉伺服的机器人扫描装置示意图。

附图标记：

1、机器人本体；2、超声探头；3、机械臂；4、工控机；5、超声诊断仪。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。

如图1所示，本发明公开了一种血管超声图像视觉伺服的机器人扫描方法，包括：

S101、获取血管的超声图像；

如图2所示，所述获取血管的超声图像之前包括：

S201、判断获取的图像中是否存在血管轮廓；

S202、若未检测到所述血管轮廓，则需要控制超声探头沿X轴方向进行平移搜索，如图3所示，其中，与超声探头中心线垂直的平面两个分量分别为X轴方向和Y轴方向，Z轴沿探头轴向向下并且垂直于X轴方向和Y轴方向所在平面。

所述若未检测到所述血管轮廓，则需要控制超声探头沿X轴方向进行平移搜索还包括：

为避免超声探头脱离人体表面，对平移搜索范围进行约束，当到达搜索边界之后则改变搜索方向，控制策略为：

AP_tcp＝(dir*dx，0，0)，若x＞x_max或x＜x_min则dir＝-dir (I)

其中，ΔP_tcp表示机械臂末端探头的位置变化控制量；dx表示沿X轴的位移增量；dir表示平移搜索X轴方向的切换量，初始值为1；x_max和x_min分别表示平移搜索X轴方向的上边界与下边界。

如图4和5所示，所述获取血管的超声图像包括：控制机械臂末端探头的Y方向与血管纵向平行，获取血管的超声图像。

S102、通过改变机械臂末端探头控制方向，直至获取血管的超声图像的轮廓中心在超声图像的预设位置并且血管轮廓面积达到预设数值。

如图7所示，所述获取血管的超声图像之后，并在通过改变机械臂末端探头控制方向，直至获取血管的超声图像的轮廓中心在超声图像的预设位置并且血管轮廓面积达到预设数值之前还包括：采用机器学习中的线性回归模型对预设时间内的所述血管轮廓面积值进行线性拟合，进而得到所述血管轮廓面积的变化趋势。

采用机器学习中的线性回归模型对预设时间内的所述血管轮廓面积值进行线性拟合，进而得到所述血管轮廓面积的变化趋势包括：

若所述血管轮廓面积正在变小，说明当前伺服控制方向是远离血管纵切面的方向，则需要改变控制方向，若所述血管面积正在变大，说明当前控制方向是接近标准血管纵切面的方向，则不需要改变控制方向；

k＝LR(a_i-m，a_i-m+1，...a_i) (4)

其中，LR()表示线性回归模型；a_i-m，a_i-m+1，...a_i表示前m个所述血管轮廓的面积；dir表示平移搜索X轴方向的切换量，初始值为1；k表示线性拟合之后的斜率。

所述通过改变机械臂末端探头控制方向，直至获取血管的超声图像的轮廓中心在超声图像的预设位置并且血管轮廓面积达到预设数值包括：

如图6所示，若检测到的血管轮廓在超声图像坐标系的Y轴正方向，则需要分别调整沿X轴位移和绕Z轴旋转的控制方式分别为：

dx＝dir*PID_p(p_y，0) (2)

dr_z＝dir*PID_r(1-a_i/a_max，0) (3)

若检测到的血管轮廓在超声图像坐标系的Y轴负方向，则需要分别调整沿X轴位移和绕Z轴旋转的控制方式分别为：

dx＝dir*PID_p(p_y,0) (6)

dr_z＝-dir*PID_r(1-a_i/a_max，0) (7)

其中，dx表示沿X轴的位移增量；dir表示平移搜索X轴方向的切换量，初始值为1；PID_p()表示为沿X轴平移的PID控制器；p_y表示血管轮廓中心点在超声图像Y轴的像素位置；0表示PID控制的目标值；dr_z表示超声探头绕Z轴的旋转角度；PID_r表示为绕Z轴旋转的PID控制器；a_i表示当前血管轮廓的面积；a_max表示血管轮廓的最大面积。

直至血管轮廓中心在超声图像的中轴线上并且血管轮廓面积达到最大，即可获取准确、完整的血管纵切面超声图像，该方法可以应用于其他人体血管的超声图像的获取。

本公开提供的一种血管超声图像视觉伺服的机器人扫描方法，该方法可有效提高血管纵切扫描的效率，可在纵切扫描时实时调整超声探头的位置，避免扫描过程中血管轮廓丢失；控制机械臂末端探头的位置调整，获取准确、完整的血管纵切面超声图像。

如图8所示，一种血管图像视觉伺服的机器人扫描装置，包括：机器人本体1、安装在机械臂3末端超声探头2、设置在所述机器人本体上1的超声诊断仪5、通过视频采集卡与安装有扫描监控软件的工控机相连的超声诊断仪5，使得扫描监控软件实时获取所述超声诊断仪采集的血管超声图像，根据图像视觉伺服算法控制机械臂末端探头的位置调整。

以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims

1.一种血管超声图像视觉伺服的机器人扫描方法，其特征在于，包括：

获取血管的超声图像；

2.根据权利要求1所述的方法，其特征在于，所述获取血管的超声图像包括：控制机械臂末端探头的Y方向与血管纵向平行，获取血管的超声图像。

3.根据权利要求1所述的方法，其特征在于，所述获取血管的超声图像之后，并在通过改变机械臂末端探头控制方向，直至获取血管的超声图像的轮廓中心在超声图像的预设位置并且血管轮廓面积达到预设数值之前还包括：采用机器学习中的线性回归模型对预设时间内的所述血管轮廓面积值进行线性拟合，进而得到所述血管轮廓面积的变化趋势。

4.根据权利要求1所述的方法，其特征在于，所述获取血管的超声图像之前包括：

判断获取的图像中是否存在血管轮廓；

若未检测到所述血管轮廓，则需要控制超声探头沿X轴方向进行平移搜索。

5.根据权利要求4所述的方法，其特征在于，所述若未检测到所述血管轮廓，则需要控制超声探头沿X轴方向进行平移搜索还包括：

当到达搜索边界之后则改变搜索方向，控制策略为：

ΔP_tcp＝(dir*dx，0，0)，若x＞x_max或x＜x_min则dir＝-dir

其中，ΔP_tcp表示机械臂末端探头的位置变化控制量；d^x表示沿X轴的位移增量；dir表示平移搜索X轴方向的切换量，初始值为1；x_max和x_min分别表示平移搜索X方向的上边界与下边界。

6.根据权利要求3所述的方法，其特征在于，采用机器学习中的线性回归模型对预设时间内的所述血管轮廓面积值进行线性拟合，进而得到所述血管轮廓面积的变化趋势包括：

若所述血管轮廓面积正在变小，则需要改变控制方向，若所述血管面积正在变大，则不需要改变控制方向；

k＝LR(a_i-m，a_i-m+1，...a_i)

其中，LR( )表示线性回归模型；a_i-m，a_i-m+1，...a_i表示前m个所述血管轮廓的面积；dir表示平移搜索X轴方向的切换量，初始值为1；k表示线性拟合之后的斜率。

7.根据权利要求1所述的方法，其特征在于，所述通过改变机械臂末端探头控制方向，直至获取血管的超声图像的轮廓中心在超声图像的预设位置并且血管轮廓面积达到预设数值包括：

若检测到的血管轮廓在超声图像坐标系的Y轴正方向，则需要分别调整沿X轴位移和绕Z轴旋转的控制方式分别为：

dx＝dir*PID_p(p_y，0)

dr_z＝dir*PID_r(1-a_i/a_max，0)

dx＝dir*PID_p(p_y，0)

dr_z＝-dir*PID_r(1-a_i/a_max，0)

其中，d^x表示沿X轴的位移增量；dir表示平移搜索X轴方向的切换量，初始值为1；PID_p( )表示为沿X轴平移的PID控制器；p_y表示血管轮廓中心点在超声图像Y轴的像素位置；0表示PID控制的目标值；dr_z表示超声探头绕Z轴的旋转角度；PID_r表示为绕Z轴旋转的PID控制器；a_i表示当前血管轮廓的面积；a_max表示血管轮廓的最大面积。

8.一种血管图像视觉伺服的机器人扫描装置，其特征在于，包括：机器人本体、安装在机械臂末端超声探头、设置在所述机器人本体上的超声诊断仪、通过视频采集卡与安装有扫描监控软件的工控机相连的超声诊断仪，使得扫描监控软件实时获取所述超声诊断仪采集的血管超声图像，根据图像视觉伺服算法控制机械臂末端探头的位置调整。