CN112168349A - 一种静脉穿刺机器人的针头跟踪与路径显示方法 - Google Patents

Abstract

本发明涉及一种静脉穿刺机器人的针头跟踪与路径显示方法，包括以下步骤：标定机器人和4D超声探头的相对位置，根据机器人的运动先验缩小体素空间，利用3D直线滤波器，强化穿刺针和背景区域的体素亮度对比；应用随机采样一致性算法确定穿刺针的初始轴线方向；在穿刺针的初始轴线方向上标记为针尖位置；构造一个穿刺针跟踪候选区；在穿刺针跟踪候选区内，实时更新穿刺针的轴线方向以及针尖位置；确定的平面获得二维超声截面；通过针尖位置和静脉径向截面的相对位置，确定两个正交的、显示穿刺针和静脉轴向情况的轴向截面。与现有技术相比，本发明能够实时清晰地追踪和显示穿刺针整段长度在静脉被穿刺的局部轴向截面中的进针情况。

Description

一种静脉穿刺机器人的针头跟踪与路径显示方法

技术领域

本发明涉及静脉穿刺机器人领域，尤其是涉及一种静脉穿刺机器人的针头跟踪与路径显示方法。

背景技术

静脉穿刺是医学上对人体内环境进行检测和干预的重要手段。由于人工徒手穿刺存在静脉难以定位，依赖个人经验的问题，通常需要引入超声对静脉穿刺过程进行跟踪或引导。专利CN201510437528.X提出了一种将超声探头和穿刺针刚性固定的方法，可用于医护人员在手握穿刺的过程中进行针尖探测和引导。

对于能够进一步提高静脉穿刺效率的静脉穿刺机器人来说，利用超声对穿刺针的运动进行跟踪和引导同样是常用的方式。如文献“The System Design and Evaluation ofa 7-DOF Image-Guided Venipuncture Robot”中提出了一种在穿刺机器人中通过2D超声图像进行穿刺针跟踪的方案。但是其仍然存在以下问题：其中穿刺针和超声探头没有刚性固定，在操作过程中，需要时刻保证2D超声探头的扫面截面能够完整截取极细的穿刺针整段，若受到微小扰动导致角度偏差，将使得穿刺针整段在超声图像中收缩为一个点，从而丢失对针头的跟踪，造成隐患。

作为同样能够获取三维组织信息的方案，4D超声相较于3D超声，多出了时间维度，能够形成探测对象的视频流，从而实现实时探测。但是利用4D超声立体图像进行穿刺针的跟踪和引导，会存在三维人体组织对针头穿刺区域造成遮挡和干扰的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种静脉穿刺机器人的针头跟踪与路径显示方法。

本发明的目的可以通过以下技术方案来实现：

一种静脉穿刺机器人的针头跟踪与路径显示方法，包括以下步骤：

S1、标定机器人和4D超声探头的相对位置，根据机器人的运动先验缩小体素空间，利用3D直线滤波器，强化穿刺针和背景区域的体素亮度对比；

S2、对于亮度高于特定阈值的体素，应用随机采样一致性算法进行三维直线拟合，确定穿刺针的初始轴线方向；

S3、在穿刺针的初始轴线方向上，搜索亮度变化最剧烈的体素，标记为针尖位置；

S4、在穿刺针沿前述轴线前进方向上，距离针尖d处选择体素点P_start，并在该点沿穿刺反方向距离为穿刺针半长L_needle处选择体素点P_end，以上述体素点P_start和体素点P_end为轴线，R_ROI为半径，构造一个穿刺针跟踪候选区；

S5、在穿刺针跟踪候选区内，再次执行步骤S1到步骤S3，实时更新穿刺针的轴线方向以及针尖位置；

S6：利用实时更新的穿刺针轴线方向和针尖位置确定的平面，截取探测体积，获得二维超声截面，该二维超声截面显示了针尖位置和静脉近似的径向截面；

S7：通过针尖位置和静脉径向截面的相对位置，确定两个正交的、显示穿刺针和静脉轴向情况的轴向截面。

进一步地，所述步骤S7具体包括：

S71、在步骤S6中获取的二维超声截面中搜索距离针尖点最近的代表静脉径向截面的黑色连通域，并对连通域中每个像素的位置加以存储；

S72、计算上述黑色连通域的形心位置；

S73、在该平面中，创建以针尖为端点，指向黑色连通域形心方向，以及垂直于该方向的两个单位向量；

S74、在三维空间中创建以针尖为端点，指向穿刺针轴线前进方向的单位向量；

S75、利用步骤S73和步骤S74中创建的三个同一针尖为端点，且两两正交的单位向量，创建两个正交的平面，即为两个静脉被刺部分局部的轴向截面。

进一步地，所述步骤S72中，形心位置的计算表达式为：

其中，S_vein表示连通域，x_c和y_c分别为形心P_c的横坐标与纵坐标，x_i和y_i分布表示连通域中像素点的横坐标与纵坐标，n表示像素的个数。

进一步地，所述步骤S1中，缩小体素空间V_workspace的表达式为：

V_workspace＝V_whole∩V_{robo_ex}

其中，V_whole表示4D超声探测体素范围，V_{robot_ex}为对于机器人穿刺针运动体素范围V_robot进行偏置后的表面等距扩充范围。

进一步地，本方法还包括：

S8、在步骤S7获得的两个正交截面中规划当前最佳进针路线，传输至穿刺机器人控制器，进行实时路径规划和调整。

进一步地，所述的步骤S8具体包括：

S81、在步骤S7获得的两个正交截面中对静脉轮廓进行分割；

S82、对静脉轮廓在各个竖直方向上的上下对应点对进行采样，求取每对点对的y坐标均值，生成若干静脉中线估计点；

S83、对上述静脉中线估计点和针尖点用多项式曲线进行拟合，生成进针指导路线，传回穿刺机器人的控制器。

进一步地，分割算法可采用训练完成的U-Net算法或者活动轮廓算法。

进一步地，步骤S82中，竖直方向x_i上的上下对应点对(x_i,y_i1),(x_i,y_i2)生成的静脉中线估计点为

与现有技术相比，本发明具有以下有益效果：

1、本发明先在三维空间中精准地定位穿刺针的轴线方向和针尖位置，并以两者作为后续所有二维截面选取和显示的基准，因此能够实时清晰地追踪和显示穿刺针整段长度在静脉被穿刺的局部轴向截面中的进针情况。由于穿刺针轴线方向指示了微小时间段内的进针方向，针尖位置是针对人体造成微创的关键点，该方法还能够为穿刺机器人控制器实时地引导规划出较优的进针路线。

2、本发明步骤S1通过引入机器人穿刺针部分的运动范围作为先验，将4D超声图像的搜索和计算限定在稍大于该区域的范围中，能够有效避免无用的搜索和计算；同时本发明通过使用3D直线滤波器能够突显穿刺针部分的体素亮度，配合后续亮度阈值的设定，减小周边组织亮度带来的干扰。

3、本发明步骤S2基于穿刺针部分的体素亮度大于剩余99％的体素亮度的假设，进一步过滤非穿刺针部分的体素，减小计算量，提高运行速度；由于剩余的待拟合体素中仍然存在非穿刺针部分的体素，相较于用最小二乘拟合三维直线，应用随机采样一致性算法，能够从剩余体素中选取一部分进行直线拟合，并迭代优化，能够有效排除非穿刺针部分的体素或超声噪点带来的干扰，准确率更高；相较于应用于三维情形的霍夫变换直线检测器，该方法也有速度快、占用内存小的优点。

4、本发明步骤S4和S5通过检测的方式进行跟踪，每步跟踪仅在上一步位置附近的优先区域内进行搜索拟合，能够有效提高计算速度，满足实时性能要求。

5、本发明步骤S7中时刻以穿刺针轴线和针尖为基准引导，显示静脉被刺部分局部轴向截面，有效地规避了2D超声难以完整截取穿刺针整段截面，以及操作过程中静脉变形的问题。

附图说明

图1为实施例的整体流程图。

图2为4D超声图像中穿刺针位置实时跟踪目标区域选取示意图。

图3为4D超声图像中穿刺针位置更新示意图。

图4为穿刺针两正交的最优二维截面确定方法示意图。

图5为穿刺针路径二维化引导示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

首先对本实施例的应用场景进行约束，本实施例涉及的静脉穿刺机器人应用场景满足如下特征：1、入针前，系统已经选定好最优候选静脉，因此在刚入针时，静脉将在穿刺针下方不远处；2、由于静脉穿刺机器人仅对人体浅表静脉进行穿刺操作，入针距离较小，因此穿刺针的运动速度较为缓慢；3、在4D超声探测到的三维图像中，穿刺针部分的体素亮度大于周围组织。

如图1所示，本实施例提供了一种静脉穿刺机器人的针头跟踪与路径显示方法，包括4D超声图像中穿刺针初始位置检测、4D超声图像中穿刺针位置实时跟踪，以及4D超声图像截面中穿刺针路径二维化显示的三个部分，具体展开如下：

一、4D超声图像中穿刺针初始位置检测：

步骤S1：标定机器人和4D超声探头的相对位置，根据机器人的运动先验缩小体素计算空间，利用3D直线滤波器，强化穿刺针和背景区域的体素亮度对比。设4D超声探测体素范围为V_whole，机器人穿刺针运动体素范围为V_robot，由于图像显示范围的边界略大于机器人操作范围，所以对V_robot进行偏置距离为d的表面等距扩充，得V_{robot_ex}。因此，最终的搜索和计算体素空间可表示为：

V_workspace＝V_whole∩V_{robo_ex}

在V_workspace中，运用3D直线滤波器，强化线状的穿刺针区域和背景区域亮度对比。

步骤S2：设定亮度阈值I_thre，对于步骤S1中亮度高于I_thre的体素集合V_thre，应用随机采样一致性算法进行三维直线拟合，确定穿刺针的初始轴线方向。

对于每次迭代过程，随机选择P₁,P₂∈V_thre，两点确定空间中一条直线

设预定的穿刺针半径为R_needle，则当前情况下直线拟合的内点体素集合为：

其中，

代表体素P_i到直线

的距离。

定义迭代中的评价分数

其中||运算代表求集合中元素个数，

代表第m次迭代形成的内点体素集合。即如果最新一次迭代的评价分数更高，则更新保存评价分数以及当前直线

的选用情况，然后进入下一次迭代；否则直接进入下一次迭代。

对于迭代上限，初始设定为m_max，并在每次迭代中以下述方式更新缩小：

C_m为可以人为调整的常量参数。

当迭代次数达到当前的m_max时，停止迭代，所得直线

指示了穿刺针轴线的初始方向。

步骤S3、在穿刺针的初始轴线方向上，搜索亮度变化最剧烈的体素，标记为针尖位置。设用坐标轴X指示当前穿刺针轴线指示的方向，对于该轴上的每个体素P_i∈V_X，求最小值点

即亮度沿穿刺针轴线突变最大的体素代表针尖的位置。

二、4D超声图像中穿刺针位置实时跟踪，图2和图3所示：

步骤S4：在穿刺针沿前述轴线前进方向上，距离针尖d处选择体素点P_start，并在该点沿穿刺反方向距离为穿刺针半长L_needle处选择体素点P_end，以上述两点为轴线，R_ROI为半径，构造一圆柱体区域V_ROI，作为跟踪穿刺针的候选区域。在较短的时间间隔内，穿刺针仅会出现在该区域中，且该区域大小远小于前述区域V_workspace，与穿刺针尺寸处于同一数量级，能够有效降低跟踪过程的计算量。

步骤S5：在步骤S4中限定的跟踪候选区V_ROI内，再次执行步骤S1到步骤S3，实时更新穿刺针的轴线方向X以及针尖位置X_tip。

三、4D超声图像截面中穿刺针路径二维化显示引导：

步骤S6：利用由步骤S5中实时更新的穿刺针轴线方向X和针尖位置X_tip确定的平面A，截取工作区域V_workspace，获得二维超声截面A。该二维图像显示了针尖位置和静脉近似的径向截面。

步骤S7：通过针尖和静脉径向截面的相对位置，确定两个正交的，能最佳显示穿刺针和静脉轴向情况的轴向截面。

如图4所示，步骤S7具体包含如下步骤：

步骤S71：针对步骤S6中获取的二维超声截面A，设置初始考察点P位于针尖点P_tip处。以P为圆心，R_near为半径的邻域S_near，若其中超过比例90％的像素均0亮度值，则说明针尖点P_tip已经处于当前穿刺的静脉径向截面之内；否则，将P更新为其下方距离为ΔP处点，继续采用相同考察步骤，直到确认待考察点P已经位于静脉径向截面之中。

以上述求得的P作为起始点，采用广度优先搜索算法，搜索点P所在的像素均为0亮度值的连通域S_vein，存储每个像素点P_i的位置(x_i,y_i)以及符合要求的像素点总数n。

步骤S72：根据形心位置计算公式：

计算上述连通域S_vein形心P_c的位置(x_c,y_c)。

步骤S73：在该二维超声截面A中，创建以针尖P_tip为端点，指向黑色连通域形心P_c的单位向量

以及垂直于该方向且同端点的单位向量

步骤S74：在三维工作空间V_workspace中创建以针尖P_tip为端点，指向穿刺针轴线前进方向的单位向量

步骤S75：利用

这三个同以针尖为端点，且两两正交的单位向量，创建剩余的两个正交的平面，获得能清晰展示穿刺针整段截面和静脉被刺部分局部的轴向截面图B和C。

步骤S8：在步骤S7中获取的两个正交轴向截面B和C中规划当前最佳的进针路线，传回穿刺机器人控制器，进行实时路径规划和调整；

如图5所示，步骤S8具体包含如下步骤：

步骤S81：对于S7中获取的两张静脉轴向截面图B和C，对静脉轮廓进行分割。可采用训练完成的U-Net或者活动轮廓算法等；

步骤S82：对静脉轮廓在各个竖直方向x_i上的上下对应点对(x_i,y_i1),(x_i,y_i2)进行采样，生成若干静脉中线估计点

步骤S83：对上述静脉中线估计点

和针尖点(x_tip,y_tip)用正弦曲线进行拟合，生成进针指导路线Path，传回穿刺机器人的控制器。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种静脉穿刺机器人的针头跟踪与路径显示方法，其特征在于，包括以下步骤：

S1、标定机器人和4D超声探头的相对位置，根据机器人的运动先验缩小体素空间，利用3D直线滤波器，强化穿刺针和背景区域的体素亮度对比；

S2、对于亮度高于特定阈值的体素，应用随机采样一致性算法进行三维直线拟合，确定穿刺针的初始轴线方向；

S3、在穿刺针的初始轴线方向上，搜索亮度变化最剧烈的体素，标记为针尖位置；

S4、在穿刺针沿前述轴线前进方向上，距离针尖d处选择体素点P_start，并在该点沿穿刺反方向距离为穿刺针半长L_needle处选择体素点P_end，以上述体素点P_start和体素点P_end为轴线，R_ROI为半径，构造一个穿刺针跟踪候选区；

S5、在穿刺针跟踪候选区内，再次执行步骤S1到步骤S3，实时更新穿刺针的轴线方向以及针尖位置；

S6：利用实时更新的穿刺针轴线方向和针尖位置确定的平面，截取探测体积，获得二维超声截面，该二维超声截面显示了针尖位置和静脉近似的径向截面；

S7：通过针尖位置和静脉径向截面的相对位置，确定两个正交的、显示穿刺针和静脉轴向情况的轴向截面。

2.根据权利要求1所述的一种静脉穿刺机器人的针头跟踪与路径显示方法，其特征在于，所述步骤S7具体包括：

S71、在步骤S6中获取的二维超声截面中搜索距离针尖点最近的代表静脉径向截面的黑色连通域，并对连通域中每个像素的位置加以存储；

S72、计算上述黑色连通域的形心位置；

S73、在该平面中，创建以针尖为端点，指向黑色连通域形心方向，以及垂直于该方向的两个单位向量；

S74、在三维空间中创建以针尖为端点，指向穿刺针轴线前进方向的单位向量；

S75、利用步骤S73和步骤S74中创建的三个同一针尖为端点，且两两正交的单位向量，创建两个正交的平面，即为两个静脉被刺部分局部的轴向截面。

3.根据权利要求2所述的一种静脉穿刺机器人的针头跟踪与路径显示方法，其特征在于，所述步骤S72中，形心位置的计算表达式为：

其中，S_vein表示连通域，x_c和y_c分别为形心P_c的横坐标与纵坐标，x_i和y_i分布表示连通域中像素点的横坐标与纵坐标，n表示像素的个数。

4.根据权利要求1所述的一种静脉穿刺机器人的针头跟踪与路径显示方法，其特征在于，所述步骤S1中，缩小体素空间V_workspace的表达式为：

V_workspace＝V_whole∩V_{robo_ex}

其中，V_whole表示4D超声探测体素范围，V_{robot_ex}为对于机器人穿刺针运动体素范围V_robot进行偏置后的表面等距扩充范围。

5.根据权利要求1所述的一种静脉穿刺机器人的针头跟踪与路径显示方法，其特征在于，还包括：

S8、在步骤S7获得的两个正交截面中规划当前最佳进针路线，传输至穿刺机器人控制器，进行实时路径规划和调整。

6.根据权利要求5所述的一种静脉穿刺机器人的针头跟踪与路径显示方法，其特征在于，所述的步骤S8具体包括：

S81、在步骤S7获得的两个正交截面中对静脉轮廓进行分割；

S82、对静脉轮廓在各个竖直方向上的上下对应点对进行采样，求取每对点对的y坐标均值，生成若干静脉中线估计点；

S83、对上述静脉中线估计点和针尖点用多项式曲线进行拟合，生成进针指导路线，传回穿刺机器人的控制器。

7.根据权利要求6所述的一种静脉穿刺机器人的针头跟踪与路径显示方法，其特征在于，所述步骤S81中，分割算法可采用训练完成的U-Net算法或者活动轮廓算法。

8.根据权利要求6所述的一种静脉穿刺机器人的针头跟踪与路径显示方法，其特征在于，步骤S82中，竖直方向x_i上的上下对应点对(x_i,y_i1),(x_i,y_i2)生成的静脉中线估计点为

Images