CN106355598A - 一种腕部及手指关节活动度的自动测量方法 - Google Patents

Abstract

本发明提出一种基于Kinect深度图像的腕部及手指关节活动度自动测量方法。本方法通过Kinect传感器采集人体上肢的深度图像，运用OpenNI进行手势识别、手心追踪，以手部中心为矩形区域的中心分割提取手部区域的深度图像，进一步对手部图像进行阈值化、平滑、图像形态学及轮廓检测分析处理，提取手指指尖、指根的位置，自动计算并在屏幕显示腕部尺偏/桡偏、食指掌指关节外展及拇指桡侧外展关节活动度的测量值。本方法可以简化人体腕部及手指关节活动度测量过程，提高测量效率和精度。

Description

一种腕部及手指关节活动度的自动测量方法

技术领域：

本发明涉及一种腕部及手指关节活动度的自动测量方法。

背景技术：

关节活动度是指关节活动时通过的运动弧或角度。关节活动度测量是评价人体运动系统功能最基本、最重要的手段之一。传统的关节活动度测量方式主要依靠通用量角器、方盘量角器及电子量角器等仪器。但采用传统测量方式进行活动度测量时存在一些难以消除的缺点。采用量角器进行测量时，因人体肢体软组织的存在，量角器活动臂、固定臂及旋转中心的放置受到不同程度的影响，从而影响测量结果。并且，不同测量人员放置量角器方法的差异也会对测量结果造成影响。

目前，有一种新的关节活动度测量方法，直接在数码相机拍摄的图片上实现了关节活动角度的测量。这种方法由于数码相机的存储卡容量有限，在拍摄一定数量的照片后需取出存储卡，将数据传输到计算机，在测量的实时性及便捷性上存在问题。

发明内容：

本发明的目的在于利用Kinect深度图像的优势，简化人体腕部及手指关节活动度测量过程，提高测量效率和精度，提供一种不借助传统测量仪器的人体腕部及手指活动度自动测量方法。

本发明通过以下的技术方案实现的：

一种腕部及手指关节活动度的自动测量方法，具体步骤如下：

A、使用Kinect传感器获取人体上肢的深度图像；

B、手部图像分割方法：进行手势识别、手心追踪，以手部中心为矩形区域的中心，分割提取手部区域的深度图像；

C、手部特征提取方法：对手部深度图像进行阈值化、平滑、图像形态学及轮廓检测分析处理，确定手指指尖、指根的位置，提取手部特征点；

D、关节活动度计算方法：根据手指指尖、指根点的坐标信息，自动计算并显示腕部及手指关节活动度测量值。

本发明的进一步改进在于：步骤A的具体步骤如下：

使用OpenNI中的深度生成器DepthGenerator生成深度图像，采用GetAlternativeViewPointCap()函数消除由Kinect彩色和深度摄像头位置偏差造成的彩色与深度图像的视角偏差。

本发明的进一步改进在于：步骤B中的手部图像分割方法，具体步骤如下：

(1)、采用OpenNI中NITE的手势生成器添加需要识别检测的特定手势；

(2)、采用OpenNI SDK中的手心生成器进行手部追踪；

(3)、利用追踪到的手心位置分割手部图像，提取出100mm×100mm的深度图像，并将此范围内的所有的像素点提取出来作为手部区域。

本发明的进一步改进在于：步骤C中的手部特征提取方法，具体步骤如下：

(1)、以手心深度值及手掌厚度设定阈值并两次调用OpenCV中的cvThreshod()函数去除小阈值前及大阈值后的深度信息，实现图像的阈值化处理；

(2)、采用高斯滤波方法对手部二值图像进行平滑处理；

(3)、采用先膨胀再腐蚀的闭运算对手部图像进行形态学处理；

(4)、确定手部轮廓，对手部轮廓做多边形拟合后提取轮廓凸包和凹陷，识别指尖、指根，并绘制手的轮廓线。

本发明的进一步改进在于：步骤D中的关节活动度计算方法为：

(1)、腕部尺偏、桡偏的关节活动度计算方法：提取手部外轮廓特征多边形的顶点A、B、C作为计算依据，对腕部尺偏、桡偏的关节活动度作近似计算，点A为腕部特征点，点B为小拇指指尖点，点C为手臂外轮廓特征点，腕部尺偏、桡偏科目的测量以腕部特征点A为轴心，AC为固定臂，AB为移动臂，计算∠CAB的大小，∠CAB的补角即为腕部桡偏或尺偏的角度；

(2)、四指掌指关节外展活动度计算方法：提取小拇指指尖点A、无名指指尖点B、中指指尖点C、食指指尖点D、大拇指指尖点H及小拇指与无名指指根点E、无名指与中指指根点F、中指与食指指根点G的位置信息，计算相邻手指指尖点与其中间指根点的夹角，即∠AEB、∠BFC、∠CGD，以相邻指根点之间的距离作为一边，以手指长度为另一边建立手指的外接矩形，指尖点视作矩形短边中点，将各相邻矩形长边的夹角α1、α2及α3近似作为相应手指掌指关节的外展角度；

食指关节外展角度a₃可通过食指指尖、指根连线DG与食指外接矩形边的夹角δ1、中指指尖、指根连线CG与中指外接矩形边的夹角δ2以及∠CGD获得，所测手指指尖、指根连线与其外接矩形的夹角可根据人体手指结构尺寸取近似值，将中指两侧指根点F、G之间的距离作为各手指外接矩形的短边进行近似计算，食指指尖点D可看作食指外接矩形短边的中点，根据其几何关系可计算得出食指指尖、指根连线DG与食指外接矩形的夹角δ1；

${\mathrm{\δ}}_1=\arcsin \frac{d}{2\×GD}$

同理，

d为食指外接矩形的宽，d＝FG；

则可进一步计算食指掌指关节外展角度a₃；

a₃＝∠CGD-δ₁-δ₂

其中∠CGD可根据各顶点的坐标信息利用余弦定理计算获得；

根据上述计算原理可依次计算得到无名指与中指夹角a2以及小拇指与无名指的夹角a1；

(3)、拇指桡侧外展活动度计算方法：拇指桡侧外展的测量以拇指掌骨根部O为轴心，固定臂与桡骨平行，移动臂与拇指掌骨平行，提取大拇指指尖点A和指根点C，建立大拇指外接矩形，矩形短边为AB，长边为BC，提取食指指尖点D，拇指桡侧外展的测量角θ用下式计算：

θ≈∠BCD＝∠ACD-∠ACB

其中∠ACB、∠ACD可以根据A、C、D的位置坐标通过三角函数关系求得：

$\∠ACD=\arccos \frac{{\mathrm{AC}}^2+{\mathrm{CD}}^2-{\mathrm{AD}}^2}{2AC\×CD}$

$\∠ACB=\arcsin \frac{AB}{AC}.$

本发明与现有技术相比具有如下优点：

本发明提出的腕部及手指活动度测量方法，测量方便，测量效率高。测量过程无需依靠量角器等仪器或贴画标记，被测试者只需站在Kinect传感器视场内距离Kinect传感器1m-2m的距离做测量姿势，即可自动显示腕部及手指关节活动度测量值。

本发明提出的关节活动度测量方法是通过对Kinect深度图像的处理获取测量目标点，避免了传统量角器测量时的人为误差，在测量准确性上比传统的关节活动度测量方法有优势。

附图说明

图1为手部关节活动度自动测量流程图；

图2为手部指尖、指根点的定位识别图；

图3为腕部尺偏桡偏测量示意图；

图4(a)为腕部桡偏活动度计算关键点示意图；

图4(b)为腕部尺偏活动度计算关键点示意图；

图5为四指掌指关节外展角度计算原理图；

图6为拇指桡侧外展测量示意图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

本发明提出一种腕部及手指关节活动度自动测量方法，具体步骤如下：

1.使用Kinect传感器获取人体上肢的深度图像。

使用OpenNI中的深度生成器DepthGenerator生成深度图像，采用GetAlternativeViewPointCap()函数消除由Kinect彩色和深度摄像头位置偏差造成的彩色与深度图像的视角偏差。

2.通过手势识别、手心追踪，以手部中心为矩形区域的中心分割提取手部区域的深度图像。

2.1通过手势生成器调用RegisterGestureCallbacks()函数注册回调函数，选用GRecogized回调函数进行手势识别，手势识别成功后回调函数返回一个代表用户手部位置的XnPoint3D类型的点，将此点作为手部追踪的初始化数据。

2.2采用OpenNI SDK中的手心生成器进行手部追踪，将手心生成器的回调函数获取的手心的实际空间坐标值转化为深度图像中的像素值。

2.3采用追踪到的手心位置分割手部图像。采用OpenCV计算机视觉库实现手部图像的分割，以手部中心位置定义感兴趣区域ROI(region of interest)，提取出100mm×100mm的深度图像，并将此范围内的所有的像素点提取出来作为手部区域。

3.对手部深度图像进行阈值化、平滑、图像形态学及轮廓检测分析处理，确定手指指尖、指根的位置，提取手部特征点。

3.1根据手心深度值及手掌厚度设定阈值并两次调用OpenCV中的cvThreshod()函数去除小阈值前(手掌前)及大阈值后(手掌后)的深度信息，获取手部二值图像，实现手部图像的阈值化处理。

3.2采用OpenCV提供的平滑函数cvSmooth中的高斯滤波方法对手部图像进行平滑处理，采用先膨胀再腐蚀的闭运算对手部图像进行形态学处理，迭代次数为1。

3.3确定手部轮廓，对手部轮廓做多边形拟合后提取轮廓凸包和凹陷，识别指尖、指根，并绘制手的轮廓线。

利用OpenCV中的findContours()函数从手部二值图像中寻找轮廓。检测到手部图像的轮廓后通过drawContours()函数进一步绘制图像轮廓，为后续将轮廓转换为可利用的特征做准备。

本发明通过轮廓拟合处理，使用近似多边形逼近手部轮廓。轮廓拟合减少了轮廓的顶点数，有利于计算轮廓凸缺陷，提取手部凸包及凹陷点。本发明通过道格拉斯-普克算法求出轮廓的拟合近似多边形并保存。

在检测手部图像轮廓并拟合后获取了手状封闭多边形，本发明通过计算手部图像的凸包(convex hull)及其凸缺陷(convexity defects)分别实现手部指尖及指根的定位。具体过程如下：首先，利用拟合多边形的顶点集找到点集的凸包集合，识别定位指尖点。此过程通过OpenCV中的convexHull()函数实现。其次，根据手部图像及凸包集合检测轮廓的凸型缺陷。凸缺陷的检测通过OpenCV中的convexityDefects()函数实现。最后，利用OpenCV提供的findConvexityDefects()函数分析获取手部图像的缺陷点，识别定位指根。

4、根据手指指尖、指根点的坐标信息，自动计算并显示腕部及手指关节活动度测量值。

4.1腕部尺偏/桡偏的测量：

依据康复评定学中关于关节活动度测量的规定，腕部活动度测量的轴心为腕关节背侧第三掌骨的根部(A点)，固定臂与桡骨长轴平行(AC)，移动臂为第三掌骨背侧纵轴线(AB)(如图3所示)。本发明提出的方法是通过对深度图像的处理获取手部外轮廓特征点(如图4(a)和图4(b)中的A、B、C点)作为计算依据，对腕部尺偏、桡偏的关节活动度作近似计算。如图4(a)所示，腕部桡偏科目的测量以腕部凹点A为轴心，AC为固定臂，AB为移动臂。根据点A、B、C坐标信息及余弦定理计算得到的∠CAB。其中AC、AB、BC为三点构成的三角形边的长度，可根据A、B、C三点坐标计算任两点间的欧式距离获得。

$\∠CAB=\arccos \frac{{\mathrm{AB}}^2+{\mathrm{AC}}^2-{\mathrm{BC}}^2}{2AB\×AC}$

∠CAB的补角即为腕部的桡偏角度。同理，腕部尺偏角度可计算图4(b)中∠CAB的补角获得。

4.2四指掌指关节外展：

依据康复评定学，该指标的测量以掌指关节背侧为轴心，所测量手指的掌骨背侧中线为固定臂，所测量手指的近节指骨背侧中线为移动臂。如图5所示，通过对手部图像的处理获取手指指尖点A、B、C、D及指根点E、F、G的位置信息。根据各点坐标信息计算相邻手指指尖点与其中间指根点的夹角(∠AEB、∠BFC、∠CGD)。以相邻指根点之间的距离作为一边，以手指长度为另一边建立手指的外接矩形，指尖点视作矩形短边中点。根据临床测量方法的测量要求，将各相邻矩形长边的夹角α1、α2及α3近似作为相应手指掌指关节的外展角度(如图5所示)。

以食指关节外展角度a3为例，a3通过食指指尖、指根连线DG与食指外接矩形边的夹角δ1、中指指尖、指根连线CG与中指外接矩形边的夹角δ2以及∠CGD获得。所测手指指尖、指根连线与其外接矩形的夹角可根据人体手指结构尺寸取近似值。将中指两侧指根点F、G之间的距离作为各手指外接矩形的短边进行近似计算。在图5中，d为食指外接矩形的宽，d＝FG。指尖点D可看作食指外接矩形短边的中点，根据其几何关系可计算得出食指指尖、指根连线DG与食指外接矩形的夹角δ1。

${\mathrm{\δ}}_1=\arcsin \frac{d}{2\×GD}$

同理，

则可进一步计算食指掌指关节外展角度a3。

a₃＝∠CGD-δ₁-δ₂

其中∠CGD可根据各顶点的坐标信息利用余弦定理计算获得。

根据上述计算原理可依次计算得到无名指与中指夹角a2以及小拇指与无名指的夹角a1。

4.3拇指桡侧外展：

如图6所示，拇指桡侧外展的测量以拇指掌骨根部O为轴心，固定臂与桡骨平行，移动臂与拇指掌骨平行，提取大拇指指尖点A和指根点C，建立大拇指外接矩形，矩形短边为AB，长边为BC，提取食指指尖点D，拇指桡侧外展的测量角θ用下式计算。

θ≈∠BCD＝∠ACD-∠ACB

其中∠ACB、∠ACD可以根据A、C、D的位置坐标通过三角函数关系求得：

$\∠ACD=\arccos \frac{{\mathrm{AC}}^2+{\mathrm{CD}}^2-{\mathrm{AD}}^2}{2AC\×CD}$

$\∠ACB=\arcsin \frac{AB}{AC}.$

本发明提出的腕部及手指活动度测量方法，测量方便，测量效率高。测量过程无需依靠量角器等仪器或贴画标记，被测试者只需站在Kinect传感器视场内距离Kinect传感器1m-2m的距离做测量姿势，即可自动显示腕部及手指关节活动度测量值。本发明提出的关节活动度测量方法是通过对Kinect深度图像的处理获取测量目标点，避免了传统量角器测量时的人为误差，在测量准确性上比传统的关节活动度测量方法有优势。

Claims (5)

1.一种腕部及手指关节活动度的自动测量方法，其特征在于：具体步骤如下：

A、使用Kinect传感器获取人体上肢的深度图像；

B、手部图像分割方法：进行手势识别、手心追踪，以手部中心为矩形区域的中心，分割提取手部区域的深度图像；

C、手部特征提取方法：对手部深度图像进行阈值化、平滑、图像形态学及轮廓检测分析处理，确定手指指尖、指根的位置，提取手部特征点；

D、关节活动度计算方法：根据手指指尖、指根点的坐标信息，自动计算并显示腕部及手指关节活动度测量值。

2.根据权利要求1所述一种腕部及手指关节活动度的自动测量方法，其特征在于：步骤A的具体步骤如下：

使用OpenNI中的深度生成器DepthGenerator生成深度图像，采用GetAlternativeViewPointCap()函数消除由Kinect彩色和深度摄像头位置偏差造成的彩色与深度图像的视角偏差。

3.根据权利要求1所述的一种腕部及手指关节活动度自动测量方法，其特征在于：所述步骤B中的手部图像分割方法，具体步骤如下：

(1)、采用OpenNI中NITE的手势生成器添加需要识别检测的特定手势；

(2)、采用OpenNI SDK中的手心生成器进行手部追踪；

(3)、利用追踪到的手心位置分割手部图像，提取出100mm×100mm的深度图像，并将此范围内的所有的像素点提取出来作为手部区域。

4.根据权利要求1所述的一种腕部及手指关节活动度自动测量方法，其特征在于：所述步骤C中的手部特征提取方法，具体步骤如下：

(1)、以手心深度值及手掌厚度设定阈值并两次调用OpenCV中的cvThreshod()函数去除小阈值前及大阈值后的深度信息，实现图像的阈值化处理；

(2)、采用高斯滤波方法对手部二值图像进行平滑处理；

(3)、采用先膨胀再腐蚀的闭运算对手部图像进行形态学处理；

(4)、确定手部轮廓，对手部轮廓做多边形拟合后提取轮廓凸包和凹陷，识别指尖、指根，并绘制手的轮廓线。

5.根据权利要求1所述的一种腕部及手指关节活动度自动测量方法，其特征在于：所述步骤D中的关节活动度计算方法为：

(1)、腕部尺偏、桡偏的关节活动度计算方法：提取手部外轮廓特征多边形的顶点A、B、C作为计算依据，对腕部尺偏、桡偏的关节活动度作近似计算，点A为腕部特征点，点B为小拇指指尖点，点C为手臂外轮廓特征点，腕部尺偏、桡偏科目的测量以腕部特征点A为轴心，AC为固定臂，AB为移动臂，计算∠CAB的大小，∠CAB的补角即为腕部桡偏或尺偏的角度；

(2)、四指掌指关节外展活动度计算方法：提取小拇指指尖点A、无名指指尖点B、中指指尖点C、食指指尖点D、大拇指指尖点H及小拇指与无名指指根点E、无名指与中指指根点F、中指与食指指根点G的位置信息，计算相邻手指指尖点与其中间指根点的夹角，即∠AEB、∠BFC、∠CGD，以相邻指根点之间的距离作为一边，以手指长度为另一边建立手指的外接矩形，指尖点视作矩形短边中点，将各相邻矩形长边的夹角α1、α2及α3近似作为相应手指掌指关节的外展角度；

食指关节外展角度a3可通过食指指尖、指根连线DG与食指外接矩形边的夹角δ1、中指指尖、指根连线CG与中指外接矩形边的夹角δ2以及∠CGD获得，所测手指指尖、指根连线与其外接矩形的夹角可根据人体手指结构尺寸取近似值，将中指两侧指根点F、G之间的距离作为各手指外接矩形的短边进行近似计算，食指指尖点D可看作食指外接矩形短边的中点，根据其几何关系可计算得出食指指尖、指根连线DG与食指外接矩形的夹角δ1；

${\mathrm{\δ}}_1=\arcsin \frac{d}{2\×\mathrm{GD}}$

同理，

d为食指外接矩形的宽，d＝FG；

则可进一步计算食指掌指关节外展角度a3；

a₃＝∠CGD-δ₁-δ₂

其中∠CGD可根据各顶点的坐标信息利用余弦定理计算获得；

根据上述计算原理可依次计算得到无名指与中指夹角a2以及小拇指与无名指的夹角a1；

(3)、拇指桡侧外展活动度计算方法：拇指桡侧外展的测量以拇指掌骨根部O为轴心，固定臂与桡骨平行，移动臂与拇指掌骨平行，提取大拇指指尖点A和指根点C，建立大拇指外接矩形，矩形短边为AB，长边为BC，提取食指指尖点D，拇指桡侧外展的测量角θ用下式计算：

θ≈∠BCD＝∠ACD-∠ACB

其中∠ACB、∠ACD可以根据A、C、D的位置坐标通过三角函数关系求得：

$\∠ACD=arccos\frac{{\mathrm{AC}}^2+{\mathrm{CD}}^2-{\mathrm{AD}}^2}{2AC\×CD}$

$\∠ACB=arcsin\frac{AB}{AC}.$