CN110930374A - 一种基于双深度相机的腧穴定位方法 - Google Patents

Abstract

本发明提供了一种基于双深度相机的腧穴定位方法，借助机器视觉及图像处理技术对腧穴进行准确三维定位。该方法包括：利用标定后的全局相机对人体进行分割，确定目标腧穴所在肢体区域；在对应区域上方利用手眼相机获取肢体图像，对不同肢体部位采用不同腧穴定位方法；手部等特征复杂部位，基于openpose深度学习网络进行关键点检测，得到关键点后结合指寸法确定腧穴位置；手臂等较规则部位，对图像进行肤色检测、边缘检测、拐点检测等获取关键点，并结合骨度分寸法进行腧穴定位；然后利用深度相机结构光对目标腧穴进行深度估计，并输出腧穴三维坐标。本发明实施例提供的技术方案，可以实现人体腧穴的自动定位，为针灸机器人提供精确的目标腧穴位置。

Description

一种基于双深度相机的腧穴定位方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于双深度相机的腧穴定位方法。

背景技术

无论国内国外，自动取穴的相关技术还不成熟，多数在研究阶段，而临床应用的实例几乎没有。腧穴识别还存在只是对局部腧穴的识别、腧穴识别不够准确、只能够对静止的人体进行腧穴识别等不足。

另外在针灸治疗过程中一般需要沿一条经脉依次将其上的腧穴进行刺激治疗，而经脉分布很广大部分都是从手部到头部或者从头部到脚部，因此很难用一种方法智能识别一条经络上的全部腧穴。

发明内容

有鉴于此，本发明实施例提供了一种基于双深度相机的腧穴定位方法，能够实现人体腧穴的自动定位，并且达到定位精确的效果。

本发明实施例提供了一种基于双深度相机的腧穴定位方法，包括如下步骤：

使用全局相机获取人体图像并进行骨架提取、姿态匹配，确定目标腧穴所在肢体区域；

使用手眼相机依次获取目标腧穴所在肢体图像，并判断肢体类别；

对于手部图像，采用基于openpose深度学习网络进行手部关键点检测，将得到的关键点位置信息结合指寸法确定手部腧穴位置；

对于手臂图像，对图像进行预处理、拐点检测等图像处理技术后获取关键点，并结合骨度分寸法进行腧穴定位；

利用深度相机对所述腧穴进行深度估计，并输出腧穴三维坐标。

上述方法中，所述依据所述全局相机获取人体图像并进行骨架提取、姿态匹配确定目标腧穴所在肢体区域，具体为：

全局相机获取到的人体全身图像，根据深度数据将人体与环境分割，并通过Kinect骨骼追踪技术获取20个人体关节节点，完成骨架提取；

获取骨架后对骨骼数据进行特征提取，并根据骨架序列的角度特征进行标准姿态匹配，辅助肢体位置的确定；

根据腧穴所在的肢体位置，结合骨骼点坐标信息计算出手眼相机需要到达的位置。

上述方法中，所述依据所述使用手眼相机依次获取目标腧穴所在肢体图像，并判断肢体类别，具体为：

根据上述全局深度相机确定出手眼相机需要到达的位置坐标后，由机械臂带动手眼相机运动到指定位置，并根据模板判断肢体类别。

上述方法中，所述依据所述对于手部图像，采用基于openpose深度学习网络进行手部关键点检测，将得到的关键点位置信息结合指寸法确定手部腧穴位置，具体为：

输入为手部图像，输出结果是22个矩阵，每个矩阵代表某个特定关键点的位置；

本发明采用中指指寸法，即以被取穴者的中指中节桡侧两端纹头之间的距离作为1寸。

上述方法中，所述依据所述对于手臂图像，对图像进行预处理、拐点检测等图像处理技术后获取关键点，并结合骨度分寸法进行腧穴定位，具体为：

图像预处理包含，对所述图像肤色检测、二值化处理、滤波、开运算；

预处理后的图像，进行基于弯曲度变化的拐点检测，对拐点进行矩形拟合，提取感兴趣区域，霍夫线变换后获得肘横纹以及腕横纹的端点坐标位置；

骨度分寸法，肘横纹到腕横纹之间的距离为十二寸，即以肘横纹到腕横纹之间的距离的十二等份，每一等份为1寸。

上述方法中，所述依据所述利用深度相机对所述腧穴进行深度估计，并输出腧穴三维坐标，具体为：

深度相机彩色图通过内参矩阵进行变换可以转换到深度图，将二维的目标腧穴进行矩阵变换后找到深度图中对应的腧穴深度坐标，保存所述腧穴三维坐标。

由以上技术方案可以看出，本发明实施例具有以下有益效果:

本发明实施例提供的一种双深度相机的腧穴定位方法，包括利用标定后的全局相机对人体进行分割，确定目标腧穴所在肢体区域；在对应区域上方利用手眼相机获取肢体图像，对不同肢体部位采用不同腧穴定位方法；手部等特征复杂部位，基于openpose深度学习网络进行关键点检测，得到关键点后结合指寸法确定腧穴位置；手臂等较规则部位，对图像进行肤色检测、边缘检测、拐点检测等获取关键点，并结合骨度分寸法进行腧穴定位；然后利用深度相机结构光对目标腧穴进行深度估计，并输出腧穴三维坐标。本发明实施例提供的技术方案，可以实现人体腧穴的自动定位，为针灸机器人提供精确的目标腧穴位置。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明提供的一种基于双深度相机的腧穴定位方法的实施例的流程示意图；

图2是骨架提取效果示意图；

图3是中指指寸法效果示意图；

图4是骨度分寸法效果示意图；

图5是利用本发明绘制出的手太阴肺经部分腧穴效果示意图。

具体实施方式

本发明提供了一种基于双深度相机的腧穴定位方法，该腧穴定位方法可以实现人体腧穴的自动定位，为针灸机器人提供精确的目标腧穴位置。

如图1所示，本发明提供了一种基于双深度相机的腧穴定位方法，该腧穴定位方法包括如下步骤：

步骤S1，当接收到腧穴定位指令时，开启全局相机获取个人体图像，为后续的腧穴定位做准备。

步骤S2，使用全局相机获取人体图像并进行骨架提取、姿态匹配，确定目标腧穴所在肢体区域。

具体的，首先在腧穴定位之前需要对深度相机进行相机标定，从Kinect获取的k时刻原始深度图用I_k(u)表示，u＝(u,v)^T表示图像坐标系中的点，深度相机的空间位姿为T_g,k，即相机的外参，下标g表示全局坐标系下的值，

表示相机坐标系与世界坐标之间的转换关系，即如果有相机坐标系点p_k，那么在世界坐标系下为p_g＝T_g,kp_k。本发明利用这一特性实现视点位置在相机坐标系和投影面坐标系之间的转换实现相机标定。

其次，获取到的图像数据进行滤波处理后，利用深度数据计算得到能够较好分割人体深度图像的最佳深度阈值，再利用该深度阈值自定义二次分割阈值对分割结果进行补偿，将各部分图像得到的肢体骨架连接组合，并通过Kinect获取的20个人体关节节点的三维坐标进行关节点定位，完成人体骨架提取如图2所示。

最后，实时获取骨架特征，对标准治疗动作的骨骼数据进行采集，并且进行特征提取，获得动作的角度特征集合，每一个动作进行10次数据采集步骤，将取得的特征集合做均值处理后，作为最后该动作的模板特征。在完成了特定动作的采集工作后，将得到的所有特征集合按照动作的采集顺序分别记录下来，并利用利用基于骨架序列的角度特征判断人体姿态是否规范。

步骤S3，使用手眼相机依次获取目标腧穴所在肢体图像，并判断肢体类别。

具体的，根据上述获得的骨骼点的位置信息计算骨架的距离特征，根据相邻骨骼点之间的距离，以及手眼相机的视角，最终找到手眼相机需要到达肢体区域上方的位置信息，由机械臂带动手眼相机运动到指定位置。

步骤S4，对于手部图像，采用基于openpose深度学习网络进行手部关键点检测，将得到的关键点位置信息结合指寸法确定手部腧穴位置。

具体的，输入为手部图像，输出结果是22个矩阵，每个矩阵是关键点的概率图，代表关键的位置。为了找到确切的关键点，首先，我们将概率图缩放到原始图像的大小，然后通过查找概率图的最大值来找到关键点的位置。检测器需要手周围的边界框来预测关键点。因此，为了获得更加精确的位置，手应靠近相机，在屏幕的中央。

如图3所示，根据中指指寸法作为基准，结合上述找到的关键点，找到腧穴基准点，并结合腧穴的位置特征进行腧穴的定位。

步骤S5，对于手臂图像，对图像进行预处理、拐点检测等图像处理技术后获取关键点，并结合骨度分寸法进行腧穴定位。

具体的，首先采用基于YCbCr的颜色空间进行肤色分割，在YCbCr颜色空间中，对亮度抽离，留下CbCr分量，此时肤色聚类性比较好，在二维CbCr颜色空间中进行人工阈值法处理，分离肤色区域与非肤色区域，并且二值化操作，进行开运算优化图像。该发明所用阈值模型如下：

然后，进行拐点检测，获取图像变化明显处的拐点，将这些拐点进行矩形拟合然后提取出感兴趣区域，通过图像掩膜进行二次分割，canny边缘检测后进行霍夫线变换从而获得肘横纹以及腕横纹两端坐标。

如图4所示，肘横纹到腕横纹距离12等份，每一份为一寸作为基准，其中尺泽和太渊属于定位穴，需要首先计算位置，经过大量人群分析以及中医医生经验可以得出尺泽穴大致位于肘横纹内侧五分之二处，太渊穴大致位于肘横纹外侧五分之一处，定位出这两个腧穴后再根据其他腧穴的医学定义进行定位。最终效果图如图5所示。

步骤S6，利用深度相机对所述腧穴进行深度估计，并输出腧穴三维坐标。

具体的，上述步骤均在RGB图像中进行处理获得腧穴的二维坐标，深度相机彩色图通过内参矩阵进行变换可以转换到深度图，将二维的目标腧穴进行矩阵变换后找到深度图中对应的腧穴深度坐标，保存所述腧穴三维坐标，最终将腧穴的三维坐标输出，为后续机器人进行腧穴治疗提供目标的精确三维坐标。

本发明实施例具有以下有益效果:

本发明实施例提供的一种双深度相机的腧穴定位方法，包括利用标定后的全局相机对人体进行分割，确定目标腧穴所在肢体区域；在对应区域上方利用手眼相机获取肢体图像，对不同肢体部位采用不同腧穴定位方法；手部等特征复杂部位，基于openpose深度学习网络进行关键点检测，得到关键点后结合指寸法确定腧穴位置；手臂等较规则部位，对图像进行肤色检测、边缘检测、拐点检测等获取关键点，并结合骨度分寸法进行腧穴定位；然后利用深度相机结构光对目标腧穴进行深度估计，并输出腧穴三维坐标。本发明实施例提供的技术方案，可以实现人体腧穴的自动定位，为针灸机器人提供精确的目标腧穴位置。

仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种基于双深度相机的腧穴定位方法，其特征在于，包括如下步骤：

使用全局相机获取人体图像并进行骨架提取、姿态匹配，确定目标腧穴所在肢体区域；

使用手眼相机依次获取目标腧穴所在肢体图像，并判断肢体类别；

对于手部图像，采用基于openpose深度学习网络进行手部关键点检测，将得到的关键点位置信息结合指寸法确定手部腧穴位置；

对于手臂图像，对图像进行预处理、拐点检测等图像处理技术后获取关键点，并结合骨度分寸法进行腧穴定位；

利用深度相机对所述腧穴进行深度估计，并输出腧穴三维坐标。

2.根据权利要求1所述的一种基于双深度相机的腧穴定位方法，其特征在于，所述全局相机获取人体图像并进行骨架提取、姿态匹配确定目标腧穴所在肢体区域，具体为：

全局相机获取到的人体全身图像，根据深度数据将人体与环境分割，并通过Kinect骨骼追踪技术获取20个人体关节节点，完成骨架提取；

获取骨架后对骨骼数据进行特征提取，并根据骨架序列的角度特征进行标准姿态匹配，辅助肢体位置的确定；

根据腧穴所在的肢体位置，结合骨骼点坐标信息计算出手眼相机需要到达的位置。

3.根据权利要求1所述的一种基于双深度相机的腧穴定位方法，其特征在于，所述使用手眼相机依次获取目标腧穴所在肢体图像，并判断肢体类别，具体为：

根据上述全局深度相机确定出手眼相机需要到达的位置坐标后，由机械臂带动手眼相机运动到指定位置，并根据模板判断肢体类别。

4.根据权利要求1所述的一种基于双深度相机的腧穴定位方法，其特征在于，所述对于手部图像，采用基于openpose深度学习网络进行手部关键点检测，将得到的关键点位置信息结合指寸法确定手部腧穴位置，具体为：

输入为手部图像，输出结果是22个矩阵，每个矩阵代表某个特定关键点的位置；

本发明采用中指指寸法，即以被取穴者的中指中节桡侧两端纹头之间的距离作为1寸。

5.根据权利要求1所述的一种基于双深度相机的腧穴定位方法，其特征在于，所述对于手臂图像，对图像进行预处理、拐点检测等图像处理技术后获取关键点，并结合骨度分寸法进行腧穴定位，具体为：

图像预处理包含，对所述图像肤色检测、二值化处理、滤波、开运算；

预处理后的图像，进行基于弯曲度变化的拐点检测，对拐点进行矩形拟合，提取感兴趣区域，霍夫线变换后获得肘横纹以及腕横纹的端点坐标位置；

骨度分寸法，肘横纹到腕横纹之间的距离为十二寸，即以肘横纹到腕横纹之间的距离的十二等份，每一等份为1寸。

6.根据权利要求1所述的一种基于双深度相机的腧穴定位方法，其特征在于，所述利用深度相机对所述腧穴进行深度估计，并输出腧穴三维坐标，具体为：

深度相机彩色图通过内参矩阵进行变换可以转换到深度图，将二维的目标腧穴进行矩阵变换后找到深度图中对应的腧穴深度坐标，保存所述腧穴三维坐标。

Images