CN109758355A - 一种基于人体穴位二维图像处理和三维立体定位方法 - Google Patents

Abstract

一种基于人体穴位二维图像处理和三维立体定位方法，包括以下步骤：步骤1，相机标定；步骤2，在人体穴位点上贴易于识别的标志点；步骤3，平行双目相机到指定位置拍摄贴有标志点的人体部位，获得人体在不同位置拍摄的两幅图像；步骤4，将左、右图分别进行校正后进行预处理，得到图RegionOut，并对图RegionOut进行孔洞填充；步骤5，提取左右图像中人体轮廓曲线；步骤6，机械臂手眼标定；步骤7确定机械臂坐标；相较于现有的按摩设备，定位精度更高且不受位姿影响。

Description

一种基于人体穴位二维图像处理和三维立体定位方法

技术领域

本发明属于理疗机器人技术领域，特别涉及一种基于人体穴位二维图像处理和三维立 体定位方法。

背景技术

近几年随着人工智能、物联网、控制以及传感器等技术不断发展，使得机器人的应用前景也越来越广阔。理疗领域是机器人应用的一个重要方向，由于人口老龄化日益加剧，导致劳动力短缺、人力成本激增、医疗保健资源紧张等问题。在某些方面，机器比人更具 优势，机器人可以基于数据和图像分析进行高精度按摩，同时也能完成繁重、重复的任务。 按摩机器人不但可以减轻理疗师的体力负担，还可以解决人工成本上涨与劳动力不足带来的矛盾。因此人们逐渐将机器人技术应用于理疗按摩等领域。

基于人体穴位的按摩机器人是以中医基础理论为指导，同时结合一些按摩手法，作 用于特定的穴位。该按摩机器人可以起到放松、减轻疲劳的作用。

目前市场上的按摩产品未能结合人体穴位知识对人体不同的位置来使用不同的理疗 按摩方案(手法与按摩力度结合)，从而导致理疗效果不佳或按摩损伤。考虑到目前市场 上按摩产品及现有发明中存在的缺点，且基于人体穴位的按摩机器人是以寻找到精确地穴 位坐标为基础的，本发明提出了一种基于人体穴位二维图像处理和三维立体定位的方法。 该方法采用二维图像检测轮廓曲线的算法流程，对人体背部轮廓曲线进行提取，获得中轴 线与特殊点。通过对标志点进行识别，标志点中心与中轴线和特殊点的偏移，根据偏移量 确定穴位名称，并经过匹配等一系列操作，获得所有标志点的三维点云。该方法首先通过 视觉算法精确地定位用户的穴位，然后根据不同的穴位制定不同的理疗方案，以达到最佳 的理疗效果。由于受到人体胖瘦、高矮、人体移动(异动)、胎记、姿势或者位置的调整 等影响，使得穴位定位与识别难度较大。因此如何准确定位穴位成为亟待解决的关键问题。 基于单纯的二维图像处理或者三维人体穴位识别定位的方式，存在精度差、效率低、可靠 性不强和对穴位的描述不全面等不足，难以满足高精度的人体穴位识别定位要求。

发明内容

本发明的目的在于提供一种基于人体穴位二维图像处理和三维立体定位方法，以解 决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种基于人体穴位二维图像处理和三维立体定位方法，包括以下步骤：

步骤1，相机标定；

步骤2，在人体穴位点上贴易于识别的标志点；

步骤3，平行双目相机到指定位置拍摄贴有标志点的人体部位，获得人体在不同位置 拍摄的左、右图像；

步骤4，将左、右图像分别进行校正后进行预处理，得到图RegionOut，并对图RegionOut进行孔洞填充；

步骤5，分别提取左、右图像中人体轮廓曲线，包括腰部曲线和肩部曲线，根据腰部曲线离散点的中值形成背部中轴曲线l_l，l_r，然后使用最小二乘法将曲线拟合成直线l_l1，l_r1； 腰部曲线延长线与肩部曲线交叉点确定直线l_l2，l_r2；l_l1与l_l2，l_r2与l_r2的交点定义为特殊点分 别为O_l(u_l，v_l)，O_r(u_r，v_r)；

步骤6，机械臂手眼标定：利用机械手移动相机在不同位置获得图像，读取不同位置 机械手的参数，提取不同位置标定板图像的标志点数据，计算机械手移动不同位置下的相 机的位置姿态，根据李群和李代数知识构建优化方程，优化求解相机相对于机械手的位置 和姿态。

步骤7，读入左、右图像，高精度提取左右图像中的标志点，通过高斯滤波，计算得到梯度图，连通域位置提取，加权对偶拟合曲线，计算得到人工标志点中心像素坐标(u_l，v_l)，(u_r，v_r)，对人工标志点中心像素坐标进行畸变校正(u_c，vc_l)，(uc_r，vc_r)，计算 人工标志点中心像素是否在左腰、右腰的范围内，若在范围内分别计算标志点中心像素坐 标与特殊点、中轴线之间的偏移量，根据偏移量确定穴位名称，利用核线关系得到同名点， 根据平行双目视觉三角测量公式1计算出以左相机为坐标原点的穴位的对应的三维空间 坐标(x，y，z)，根据步骤6中的参数计算该学位点在机械臂坐标系中的位置(X，Y，Z)。

其中b是基线距离，d＝u_r-v_l是视差，f是焦距，v＝v_l＝v_r，v₀，v₀是摄像机内参。

进一步的，步骤1中的相机标定为：分别求解双目相机的左、右相机的内外参数和畸 变参数，使用光束法平差优化左、右相机参数；求解双目相机的相对位置参数、内外参数以及畸变参数，使用光束法平差优化双目相机的参数。

进一步的，步骤4中，将左、右图的RGB图像转换至HSV空间，并将H色调、S饱和 度、V数值三个分量分别进行阈值分割得到图Region1、图Region2、图Region3，对图 Region1和图Region2进行并行操作得到图Region4，图Region4和图Region3进行并行 操作得到图RegionOut。

进一步的，步骤5中，分割人体轮廓曲线，将距离图片中心线最短的两条线作为腰部 曲线，靠近头的曲线为肩部曲线。

进一步的，步骤7中，中轴线的计算为：设中轴线l₂₁＝k₁x+b₁，l_r1＝k₂x+b₂，其 中k₁，k₂，b₁，b₂根据步骤5计算得到；腰部曲线离散点的中值形成背部中轴曲线，然后使用 最小二乘法将曲线拟合成直线l_l1，l_r1即得到k₁，k₂，b₁，b₂；其中：k₁，k₂分别为直线的斜率， b1，b2分别为截距。

进一步的，步骤7中，偏移量分别为公式2、公式3、公式4、公式5：

其中：公式2为左图标志点中心像素坐标与特殊点的偏移量；

公式3为右图标志点中心像素坐标与特殊点；

公式4为左图标志点中心像素坐标与中轴线；

公式5为右图标志点中心像素坐标与中轴线。

与现有技术相比，本发明有以下技术效果：

本发明提供上述二维轮廓曲线提取方法，在图像处理中，采用HSV色度空间，对图像进行处理，使得算法不受人体肤色影响，具有一定的自适应性。

本发明利用对人体轮廓信息的提取，基于现有的穴位提取，不受人体的胖瘦、高矮、 人体移动(异动)、胎记、姿势或者位置的调整等影响的缺陷影响

本发明对识别的穴位与二维轮廓提取获取的腰线进行判断，提高了穴位点三维定位 精确，且对按摩机器人行为规划的准确度。

本发明突破受到人体的胖瘦、高矮、人体移动(异动)、胎记、姿势或者位置的调整等影响，构建二维轮廓曲线提取方法。

附图说明

图1是本发明系统拓扑图

图2是本发明的结构示意图。

图3是本发明的整体流程图。

图4是本发明的二维轮廓曲线提取方法流程图。

图5是本发明的二维轮廓曲线提取效果图。

图6是本发明的穴位点三维定位计算流程图。

图7是本发明的定位结果与穴位实际值得比较。

具体实施方式

为了更清晰地说明本发明地具体步骤，下面结合附图进一步说明。

参照图1，理疗师可以远端监测并干预用户理疗的过程，同时为用户提供综合的保健、 理疗建议。基于中医的按摩机器人可以使用户通过多种途径享受到健康服务，并且建立个 人的健康管理中心。

参照图2，本发明所述的基于人体穴位二维图像处理和三维立体定位方法。包括五大部分，分别为图像采集、相机标定、二维轮廓提取、三维点云获取以及定位.通过对采 集的图像进行预处理，根据平行双目视觉三角测量算法算出以左相机为坐标原点的各穴位的空间坐标，然后计算出各穴位在机器人基坐标系下的坐标，各部分具体步骤如下：

参照图3，以拍摄的左、右图像为输入，分别对图像进行二维图像处理后，得到人体轮廓曲线，具体步骤如下：

1、相机标定：求解左、右相机的内外参数和畸变参数，使用光束法平差优化左、右相机参数。

2、平行双目相机到指定位置拍摄人体图像；

3、将左、右图进行校正后进行预处理，然后将RGB图像转换至HSV空间，并将H、S、 V三个分量分别进行阈值分割后得到图Region1、图Region2、图Region3，对图Region1 和图Region2进行并行操作得到图Region4，图Region4和图Region3进行并行操作得到 图RegionOut。接着对图RegionOut进行孔洞填充。

4、提取左、右图像中人体轮廓曲线，分割轮廓曲线，将距离图片中心线最短的两条线作为腰部曲线，靠近头的曲线为肩部曲线，根据腰部曲线离散点的中值形成背部中轴曲线l_l，l_r，然后使用最小二乘法将曲线拟合成直线l_l1，l_r1。腰部曲线延长线与肩膀交叉点确定直线l_l2，l_r2。l_l1与l_l2，l_r2与l_r2的交点定义为特殊点分别为O_l(u_l，v_l)，O_r(u_r，v_r)。

参照图5，图中401是经过步骤3对原图像处理后获得的H分量二值化的结果，402是对原图像处理后获得的S分量二值化的结果，403是对原图像处理后获得的V分量二值 化的结果，404是将H分量进行阈值分割后得到图Region1，405是将S分量进行阈值分 割后得到图Region2，406是将V分量进行阈值分割后得到图Region3，407对图Region1 和图Region2进行并行操作得到图Region4，408是并行操作后的图像RegionOut结果， 409是孔洞填充后的结果，410是提取的轮廓结果，411是轮廓曲线分割的结果，412是中 轴线以及腰部曲线延长线与肩膀交叉点确定直线。

参照图5，通过对标志点提取、相机标定、手眼标定、匹配等一系列操作，获得所有标志点的三维点云。

1、相机标定：求解双目相机的相对位置参数、内外参数以及畸变参数，使用光束法平差优化双目相机的参数。

2、在穴位点上贴易于识别的标志点。

3、平行双目相机到指定位置拍摄贴有标志点的人体部位，获得人体在不同位置拍摄 的两幅图像；

4、机械臂手眼标定：利用机械手移动相机在不同位置获得图像，读取不同位置机械 手的参数，提取不同位置标定板图像的标志点数据，计算机械手移动不同位置下的相机的 位置姿态，根据李群和李代数知识构建优化方程，优化求解相机相对于机械手的位置和姿 态。

5、读入左、右图像，高精度提取左右图像中的标志点，通过高斯滤波，计算得到梯度图，连通域位置提取，加权对偶拟合曲线，计算得到人工标志点中心像素坐标 (u_l，v_l)，(u_r，v_r)，对人工标志点中心像素坐标进行畸变校正(uc_；，vc_l)，(uc_r，vc_r)，计算 人工标志点中心像素是否在左腰、右腰范围内，若在范围内分别计算标志点中心像素坐标 与特殊点、中轴线(设中轴线l_l1＝k₁x+b₁，l_r1＝k₂x+b₂，其中k₁，k₂，b₁，b₂根据步骤5 计算得到)之间的偏移量分别为公式1、公式2、公式3、公式4：

根据偏移量确定穴位名称，利用核线关系得到同名点，根据平行双目视觉三角测量公式5 计算出以左相机为坐标原点的穴位的对应的三维空间坐标(x，y，z)，根据步骤6中的参 数计算该学位点在机械臂坐标系中的位置(X，Y，Z)。

其中b是基线距离，d＝u_r-v_l是视差，f是焦距，v＝v_l＝v_r，v₀，v₀是摄像机内参。

参照图6，利用本发明进行20次试验，其中相机基线为：63mm，双目相机安放在6 轴机械臂的第六轴，基本平行于拍摄平面。采用本方法与实际定位进行对照。从图中可以 看出，本发明地定位坐标平均误差在4mm内，验证了本发明地定位精度比较高。

其中平均误差使用公式2

平均误差＝(|X2-X1|+|Y2-Y1|+|Z2-Z1|)/3 (2)。

参照图7，本发明的结构示意图由：1-双目相机，2-触摸显示器，3-显示器支架， 4-六轴机器人，5-控制台，6-按摩床组成。其中双目相机1安装在六轴机器人第六轴末端， 触摸显示器2通过显示器支架3连接在控制台5上方一侧，六轴机器人4安装于控制台5 上方靠按摩床一侧。

Claims (6)

1.一种基于人体穴位二维图像处理和三维立体定位方法，其特征在于，包括以下步骤：

步骤1，相机标定；

步骤2，在人体穴位点上贴易于识别的标志点；

步骤3，平行双目相机到指定位置拍摄贴有标志点的人体部位，获得人体在不同位置拍摄的左、右图像；

步骤4，将左、右图像分别进行校正后进行预处理，得到图RegionOut，并对图RegionOut进行孔洞填充；

步骤5，分别提取左、右图像中人体轮廓曲线，包括腰部曲线和肩部曲线，根据腰部曲线离散点的中值形成背部中轴曲线l₁，l_r，然后使用最小二乘法将曲线拟合成直线l_l1，l_r1；腰部曲线延长线与肩部曲线交叉点确定直线l_l2，l_r2；l_l1与l_l2，l_r2与l_r2的交点定义为特殊点分别为O_l(u_l，v_l)，O_r(u_r，v_r)；

步骤6，机械臂手眼标定：利用机械手移动相机在不同位置获得图像，读取不同位置机械手的参数，提取不同位置标定板图像的标志点数据，计算机械手移动不同位置下的相机的位置姿态，根据李群和李代数知识构建优化方程，优化求解相机相对于机械手的位置和姿态；

步骤7，读入左、右图像，高精度提取左右图像中的标志点，通过高斯滤波，计算得到梯度图，连通域位置提取，加权对偶拟合曲线，计算得到人工标志点中心像素坐标(u_l，v_l)，(u_r，v_r)，对人工标志点中心像素坐标进行畸变校正(uc_l，vc_l)，(uc_r，vc_r)，计算人工标志点中心像素是否在左腰、右腰的范围内，若在范围内分别计算标志点中心像素坐标与特殊点、中轴线之间的偏移量，根据偏移量确定穴位名称，利用核线关系得到同名点，根据平行双目视觉三角测量公式1计算出以左相机为坐标原点的穴位的对应的三维空间坐标(x，y，z)，根据步骤6中的参数计算该学位点在机械臂坐标系中的位置(X，Y，Z)；

其中b是基线距离，d＝u_r-v_l是视差，f是焦距，v＝v_l＝v_r，v₀，v₀是摄像机内参。

2.根据权利要求1所述的一种基于人体穴位二维图像处理和三维立体定位方法，其特征在于，步骤1中的相机标定为：分别求解双目相机的左、右相机的内外参数和畸变参数，使用光束法平差优化左、右相机参数；求解双目相机的相对位置参数、内外参数以及畸变参数，使用光束法平差优化双目相机的参数。

3.根据权利要求1所述的一种基于人体穴位二维图像处理和三维立体定位方法，其特征在于，步骤4中，将左、右图的RGB图像转换至HSV空间，并将H色调、S饱和度、V数值三个分量分别进行阈值分割得到图Region1、图Region2、图Region3，对图Region1和图Region2进行并行操作得到图Region4，图Region4和图Region3进行并行操作得到图RegionOut。

4.根据权利要求1所述的一种基于人体穴位二维图像处理和三维立体定位方法，其特征在于，步骤5中，分割人体轮廓曲线，将距离图片中心线最短的两条线作为腰部曲线，靠近头的曲线为肩部曲线。

5.根据权利要求1所述的一种基于人体穴位二维图像处理和三维立体定位方法，其特征在于，步骤7中，中轴线的计算为：设中轴线l_l1＝k₁x+b₁，l_r1＝k₂x+b₂，其中k₁，k₂，b₁，b₂根据步骤5计算得到；腰部曲线离散点的中值形成背部中轴曲线，然后使用最小二乘法将曲线拟合成直线l_l1，l_r1得到k₁，k₂，b₁，b₂；其中：k₁，k₂分别为直线的斜率，b1,b2分别为截距。

6.根据权利要求1所述的一种基于人体穴位二维图像处理和三维立体定位方法，其特征在于，步骤7中，偏移量分别为公式2、公式3、公式4、公式5：

其中：公式2为左图标志点中心像素坐标与特殊点的偏移量；

公式3为右图标志点中心像素坐标与特殊点；

公式4为左图标志点中心像素坐标与中轴线；

公式5为右图标志点中心像素坐标与中轴线。