CN111789634A - 一种人体脊柱自动化超声扫查的路径规划方法 - Google Patents

Abstract

本发明公开了一种人体脊柱自动化超声扫查的路径规划方法，该方法采用深度相机获取人体背部区域的彩色图与深度图，重建出人体背部三维点云模型，并进行平滑处理。在彩色图上绘制超声扫查轨迹，并将其投影到三维点云模型，从而获得一组三维空间坐标点。将这一组三维坐标点分段，每段采用五次及以上多项式拟合，以每两段交点处的位置、速度、加速度作为边界条件，以近似曲线在实际坐标点处的偏差的平方和作为代价函数，将其转换为二次规划问题，求解各段多项式的参数，从而得到一条光滑的人体脊柱扫查曲线。本发明方法可较为快速的获得较高质量的脊柱扫查曲线，从而指导人体脊柱的自动化超声扫查。

Description

一种人体脊柱自动化超声扫查的路径规划方法

技术领域

本发明涉及到医学超声扫查领域，尤其是机器人辅助的人体脊柱超声扫查，具体涉及一种人体脊柱自动化超声扫查的路径规划方法。

背景技术

脊柱已经成为人类的第二大常见病，约60-80％的人在一生中会受到脊柱疾病的困扰，其中约10-20％可能需要手术干预。目前，微创手术已成为脊柱疾病主流手术治疗方式，其较高的技术门槛需要辅助诊疗设备与技术支持，因此导航技术在脊柱脊髓相关疾病的手术过程中发挥出越发重要的作用。医学超声由于其具有无辐射性，在软组织及脏器导航中的作用日益显著，业界也在不断探究其用于脊柱脊髓手术导航的可行性与实用性。

聚焦于机器人辅助医学超声扫查领域，为实现人体脊柱的自动化超声扫查过程，需要规划出贴合人体脊柱曲线的路径。然而，目前现有的方法大多聚焦于脊柱中线的提取，常见的处理方法包括莫尔(Moire)图像测量法、X光片测量法、结构光测量法、激光扫描仪测量法等。其估计的人体脊柱曲线缺乏深度信息，故而存在较大偏差。虽然也有针对三维点云的脊柱中线提取方案，但是其主要针对的是脊柱侧弯场景，利用脊柱两侧点云是否对称判断脊柱侧弯程度。

发明内容

本发明的发明目的是：为了解决现有技术中存在的以上问题，本发明提出了一种人体脊柱自动化超声扫查的路径规划方法。

本发明的技术方案是：一种人体脊柱自动化超声扫查的路径规划方法，包括以下步骤：

A、采用深度相机获取人体背部区域的彩色图与深度图，重建出人体背部三维点云模型，并进行平滑处理；

B、在彩色图绘制人体脊柱的超声扫查轨迹，将该轨迹上的二维像素坐标点投影到三维点云模型，从而获得轨迹的三维空间坐标点；

C、将步骤B中的得到三维空间坐标点进行分段，每段采用五次及以上多项式拟合，以每两段交点处的位置、速度、加速度对应相等作为边界条件，以近似曲线在实际坐标点处的偏差的平方和作为代价函数，转换为二次规划问题，求解各段多项式的参数，从而得到一条光滑的人体脊柱扫查曲线。

进一步地，步骤A具体包括如下步骤：

A1、采用深度相机获取同一时刻人体背部区域的彩色图与深度图；

A2、利用步骤A1得到的彩色图与深度图以及深度相机的内参信息重建人体背部三维点云模型；

A3、可以采用双边滤波算法对步骤A2得到的三维点云模型进行平滑处理。

进一步地，步骤B具体包括如下步骤：

B1、使用OpenGL的画笔工具手动在彩色图人体背部区域绘制人体脊柱的超声扫查轨迹；

B2、利用深度相机内参信息，将超声扫查轨迹上的二维像素坐标点投影到三维点云模型，从而获得轨迹的三维空间坐标点，可以与重建人体背部三维点云模型过程一致。

进一步地，步骤C具体包括如下步骤：

C1、将步骤B中得到的轨迹的三维空间坐标点按照每五点为一组的形式分段；

C2、每段采用五次及以上多项式拟合，并以两段交点处的位置、速度、加速度对应相等作为边界条件；

C3、以近似曲线在实际坐标点处的偏差的平方和作为代价函数，以步骤C2中的边界条件作为约束项，转换为具有等式约束条件的二次规划问题，使用二次规划求解器求解多项式的参数。

进一步地，步骤A2利用相机内参信息重建人体背部三维点云模型的公式具体为：

其中，μ,v是彩色图像坐标系下的坐标值，μ₀,v₀是深度相机的标定中心，f为理想的焦距值，d是深度图像上对应于μ,v坐标点的深度值，x_w,y_w,z_w是三维点云空间下的三维坐标值。

进一步地，步骤A3中采用双边滤波算法对三维点云进行平滑处理的公式具体为：

其中，p_i为滤波前的点的坐标，

为滤波后的点的坐标，λ为双边滤波因子，

为滤波前的点的法向量，N_k(p_i)表示滤波点邻域内的k个点所组成的集合，p_j表示邻域内第j点坐标，

表示邻域内第j点的法向量，

表示邻域内第j点的向量，

表示滤波前的点的向量。W_c,W_s分别表示双边滤波函数的空间域和频率域权重函数，||p_i-p_j||表示p_i-p_j的模长。

进一步地，步骤C2中每段采用多项式拟合的公式具体为：

其中，t为多项式的自变量，即每段上的点的横坐标，i为自变量的幂，l_i为多项式中对应于t第i次幂的系数，即为多项式拟合的参数，p(t)多项式的因变量，即每段上的点的纵坐标，m为多项式的阶次。

进一步地，步骤C2中以两段交点处的位置、速度、加速度对应相等作为边界条件的公式具体为：

其中，

表示第j段多项式曲线的k阶导数在T_j点的坐标值，T_j为第j段多项式曲线的末尾点，也为第j+1段多项式曲线的起始点，

表示第j+1段多项式曲线的k阶导数在T_j点的坐标值，

表示拟合的曲线经过的路径点的第k阶导数的值，k＝0,1,2。k＝0时，对应两段交点处的位置约束，k＝1时，对应两段交点处的速度约束，k＝2时，对应两段交点处的加速度约束。

进一步地，步骤C3中以近似曲线在实际坐标点处的偏差的平方和作为代价函数的公式具体为：

采用矩阵形式，可表示为：

其中，t_i表示拟合曲线所用到的路径点的横坐标，y_i表示拟合曲线所用到的路径点的横坐标的纵坐标，P_j(t_i)表示拟合的第j段曲线在t_i处的值，X_j表示第j段曲线的参数l_i组成的列向量，A_j表示拟合第j段曲线所用到的每一个路径点的横坐标的第0次到第m次幂的值组成的矩阵，B_j表示拟合第j段曲线所用到的路径点的纵坐标，L_j表示第j段曲线的损失，L表示全段轨迹的损失和，j表示拟合的某一段多项式曲线的标号，

分别为矩阵

的转置矩阵。

进一步地，步骤C3中以步骤C2中的边界条件作为约束项，将其转换为具有等式约束条件的二次规划问题的公式具体为：

与现有技术相比，本发明的有益效果是：采用深度相机获取人体背部区域的彩色图与深度图，重建出人体背部三维点云模型，并进行平滑处理。在彩色图上绘制人体脊柱的超声扫查轨迹，并将其投影到三维点云模型，从而获得三维空间坐标点。将三维空间坐标点进行多段，每段采用五次及以上多项式拟合，以两段交点处的位置、速度、加速度约束对应相等作为边界条件，以近似曲线在实际坐标点处的偏差的平方和作为代价函数，将其转换为二次规划问题，求解各段多项式的参数，从而获得一条光滑的人体脊柱扫查曲线。该方法充分利用了深度相机所得到的深度信息，可较为快速的获得较高质量的扫描轨迹，从而指导人体脊柱的自动化超声扫查。

附图说明

图1是本发明的一种用于人体脊柱自动化超声扫查的路径规划方法的程序流程图。

图2是本发明实施例中采用深度相机获取的人体背部区域的三维点云的俯视图。

图3是本发明实施例中优化后得到的用于人体脊柱超声扫查的三维轨迹示意图，坐标单位为m。

图4是本发明实施例中优化后得到的点云模型空间下的超声扫查轨迹示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明的人体脊柱自动化超声扫查的路径规划方法的流程示意图。一种人体脊柱自动化超声扫查的路径规划方法，包括以下步骤：

A、采用深度相机获取人体背部区域的彩色图与深度图，重建出人体背部三维点云模型，并进行平滑处理；具体如下：

A1、采用深度相机获取同一时刻人体背部区域的彩色图与深度图；

A2、利用步骤A1得到的彩色图与深度图以及深度相机的内参信息重建人体背部三维点云模型；公式具体为：

其中，μ,v是彩色图像坐标系下的坐标值，μ₀,v₀是深度相机的标定中心，f为理想的焦距值，d是深度图像上对应于μ,v坐标点的深度值，x_w,y_w,z_w是三维点云空间下的三维坐标值。

A3、采用双边滤波算法对步骤A2得到的三维点云模型进行平滑处理。公式具体为：

其中，p_i为滤波前的点的坐标，

为滤波后的点的坐标，λ为双边滤波因子，

为滤波前的点的法向量，N_k(p_i)表示滤波点邻域内的k个点所组成的集合，p_j表示邻域内第j点坐标，

表示邻域内第j点的法向量，

表示邻域内第j点的向量，

表示滤波前的点的向量，W_c,W_s分别表示双边滤波函数的空间域和频率域权重函数，||p_i-p_j||表示p_i-p_j的模长。如图2所示，为本发明实施例中采用深度相机获取的经过平滑处理后的人体背部区域三维点云模型，可见重建后的点云模型整体较为光滑。

B、在彩色图绘制人体脊柱的超声扫查轨迹，将该轨迹上的二维像素坐标点投影到三维点云模型，从而获得轨迹的三维空间坐标点；具体如下：

B1、使用OpenGL的画笔工具手动在彩色图人体背部区域绘制人体脊柱的超声扫查轨迹；

B2、利用深度相机内参信息，将超声扫查轨迹上的二维像素坐标点投影到三维点云模型，从而获得轨迹的三维空间坐标点，与重建人体背部三维点云模型过程一致。

C、将步骤B中的得到三维空间坐标点进行分段，每段采用五次及以上多项式拟合，以每两段交点处的位置、速度、加速度对应相等作为边界条件，以近似曲线在实际坐标点处的偏差的平方和作为代价函数，转换为二次规划问题，求解各段多项式的参数，从而得到一条光滑的人体脊柱扫查曲线；具体如下：

C1、将步骤B中得到的轨迹的三维空间坐标点按照每五点为一组的形式分段；

C2、每段采用五次及以上多项式拟合，优选为七次，并以两段交点处的位置、速度、加速度对应相等作为边界条件；每段采用多项式拟合的公式具体为：

其中，t为多项式的自变量，即每段上的点的横坐标，i为自变量的幂，l_i为多项式中对应于t第i次幂的系数，即为多项式拟合的参数，p(t)多项式的因变量，即每段上的点的纵坐标，m为多项式的阶次。

以两段交点处的位置、速度、加速度对应相等作为边界条件的公式具体为：

其中，

表示第j段多项式曲线的k阶导数在T_j点的坐标值，T_j为第j段多项式曲线的末尾点，

表示第j+1段多项式曲线的k阶导数在T_j点的坐标值，

表示拟合的曲线经过的路径点的第k阶导数的值，k＝0,1,2，k＝0时，对应两段交点处的位置约束，k＝1时，对应两段交点处的速度约束，k＝2时，对应两段交点处的加速度约束。

C3、以近似曲线在实际坐标点处的偏差的平方和作为代价函数，以步骤C2中的边界条件作为约束项，转换为具有等式约束条件的二次规划问题，使用二次规划求解器求解多项式的参数。

采用矩阵形式，可表示为：

其中，t_i表示拟合曲线所用到的路径点的横坐标，y_i表示拟合曲线所用到的路径点的横坐标的纵坐标，P_j(t_i)表示拟合的第j段曲线在t_i处的值，X_j表示第j段曲线的参数l_i组成的列向量，A_j表示拟合第j段曲线所用到的每一个路径点的横坐标的第0次到第m次幂的值组成的矩阵，B_j表示拟合第j段曲线所用到的路径点的纵坐标，L_j表示第j段曲线的损失，L表示全段轨迹的损失和，j表示拟合的某一段多项式曲线的标号，

分别为矩阵

的转置矩阵。

以步骤C2中的边界条件作为约束项，将其转换为具有等式约束条件的二次规划问题的公式具体为：

如图4所示，为本发明实施例中优化后得到的全段轨迹在三维点云模型上的投影图，本发明实施例使用realsense D435i深度相机获取同一时刻人体背部的深度图与彩色图，并构建人体背部三维点云模型。在彩色图上绘制出一条扫描轨迹，并采样200个点，投影到三维点云模型上，获得了200个三维空间坐标点。以每5个点为一段，对这40段曲线分别进行五次多项式拟合。首先选择x轴坐标为横坐标，y轴坐标为纵坐标，将每一段之间的交点处的位置、速度、加速度对应相等作为约束条件，以近似曲线在实际坐标点处的偏差的平方和作为代价函数，从而构成了带约束条件的二次规划问题，列写出矩阵形式后，使用matlab的quadprog函数求解，最终可以得到50段多项式曲线的参数值，从而得到一条以x轴坐标为横坐标，y轴坐标为纵坐标的光滑曲线。同理，以x轴坐标为横坐标，z轴坐标为纵坐标，采用相同方法构建带约束条件的二次规划问题，最终可以得到50段多项式曲线的参数值，从而得到一条以x轴坐标为横坐标，z轴坐标为纵坐标的光滑曲线。最后，根据x轴坐标值，便可以得到对应的y轴坐标值与z轴坐标值，从而形成一条光滑的三维空间扫查轨迹。从图4可见整段轨迹可以较好的拟合出人体背部的复杂轮廓。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (10)

1.一种人体脊柱自动化超声扫查的路径规划方法，其特征在于，包括以下步骤：

A、采用深度相机获取人体背部区域的彩色图与深度图，重建出人体背部三维点云模型，并进行平滑处理；

B、在彩色图绘制人体脊柱的超声扫查轨迹，将该轨迹上的二维像素坐标点投影到三维点云模型，从而获得轨迹的三维空间坐标点；

C、将步骤B中的得到三维空间坐标点进行分段，每段采用五次及以上多项式拟合，以每两段交点处的位置、速度、加速度对应相等作为边界条件，以近似曲线在实际坐标点处的偏差的平方和作为代价函数，转换为二次规划问题，求解各段多项式的参数，从而得到一条光滑的人体脊柱扫查曲线。

2.根据权利要求1所述的一种人体脊柱自动化超声扫查的路径规划方法，其特征在于，步骤A具体包括如下步骤：

A1、采用深度相机获取同一时刻人体背部区域的彩色图与深度图；

A2、利用步骤A1得到的彩色图与深度图以及深度相机的内参信息重建人体背部三维点云模型；

A3、可以采用双边滤波算法对步骤A2得到的三维点云模型进行平滑处理。

3.根据权利要求1所述的一种人体脊柱自动化超声扫查的路径规划方法，其特征在于，步骤B具体包括如下步骤：

B1、使用OpenGL的画笔工具手动在彩色图人体背部区域绘制人体脊柱的超声扫查轨迹；

B2、利用深度相机内参信息，将超声扫查轨迹上的二维像素坐标点投影到三维点云模型，从而获得轨迹的三维空间坐标点，可以与重建人体背部三维点云模型过程一致。

4.根据权利要求1所述的一种人体脊柱自动化超声扫查的路径规划方法，其特征在于，步骤C具体包括如下步骤：

C1、将步骤B中得到的轨迹的三维空间坐标点按照每五点为一组的形式分段；

C2、每段采用五次及以上多项式拟合，并以两段交点处的位置、速度、加速度对应相等作为边界条件；

C3、以近似曲线在实际坐标点处的偏差的平方和作为代价函数，以步骤C2中的边界条件作为约束项，转换为具有等式约束条件的二次规划问题，使用二次规划求解器求解多项式的参数。

5.根据权利要求2所述的一种人体脊柱自动化超声扫查的路径规划方法，其特征在于，步骤A2利用相机内参信息重建人体背部三维点云模型的公式具体为：

其中，μ,v是彩色图像坐标系下的坐标值，μ₀,v₀是深度相机的标定中心，f为理想的焦距值，d是深度图像上对应于μ,v坐标点的深度值，x_w,y_w,z_w是三维点云空间下的三维坐标值。

6.根据权利要求2所述的一种人体脊柱自动化超声扫查的路径规划方法，其特征在于，步骤A3中采用双边滤波算法对三维点云进行平滑处理的公式具体为：

其中，p_i为滤波前的点的坐标，

为滤波后的点的坐标，λ为双边滤波因子，

为滤波前的点的法向量，N_k(p_i)表示滤波点邻域内的k个点所组成的集合，p_j表示邻域内第j点坐标，

表示邻域内第j点的法向量，

表示邻域内第j点的向量，

表示滤波前的点的向量。W_c,W_s分别表示双边滤波函数的空间域和频率域权重函数，||p_i-p_j||表示p_i-p_j的模长。

7.根据权利要求4所述的一种人体脊柱自动化超声扫查的路径规划方法，其特征在于，步骤C2中每段采用多项式拟合的公式具体为：

其中，t为多项式的自变量，即每段上的点的横坐标，i为自变量的幂，l_i为多项式中对应于t第i次幂的系数，即为多项式拟合的参数，p(t)多项式的因变量，即每段上的点的纵坐标，m为多项式的阶次。

8.根据权利要求4所述的一种人体脊柱自动化超声扫查的路径规划方法，其特征在于，步骤C2中以两段交点处的位置、速度、加速度对应相等作为边界条件的公式具体为：

其中，

表示第j段多项式曲线的k阶导数在T_j点的坐标值，T_j为第j段多项式曲线的末尾点，也为第j+1段多项式曲线的起始点，

表示第j+1段多项式曲线的k阶导数在T_j点的坐标值，

表示拟合的曲线经过的路径点的第k阶导数的值，k＝0,1,2。k＝0时，对应两段交点处的位置约束，k＝1时，对应两段交点处的速度约束，k＝2时，对应两段交点处的加速度约束。

9.根据权利要求4所述的一种人体脊柱自动化超声扫查的路径规划方法，其特征在于，步骤C3中以近似曲线在实际坐标点处的偏差的平方和作为代价函数的公式具体为：

采用矩阵形式，可表示为：

其中，t_i表示拟合曲线所用到的路径点的横坐标，y_i表示拟合曲线所用到的路径点的横坐标的纵坐标，P_j(t_i)表示拟合的第j段曲线在t_i处的值，X_j表示第j段曲线的参数l_i组成的列向量，A_j表示拟合第j段曲线所用到的每一个路径点的横坐标的第0次到第m次幂的值组成的矩阵，B_j表示拟合第j段曲线所用到的路径点的纵坐标，L_j表示第j段曲线的损失，L表示全段轨迹的损失和，j表示拟合的某一段多项式曲线的标号，

分别为矩阵X_j、A_j、B_j的转置矩阵。

10.根据权利要求4所述的一种人体脊柱自动化超声扫查的路径规划方法，其特征在于，步骤C3中以步骤C2中的边界条件作为约束项，将其转换为具有等式约束条件的二次规划问题的公式具体为：

Images