CN108875586A - 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 - Google Patents

Abstract

本发明公开了一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法，该方法包括以下步骤：使用Kinect设备获取人体的深度图像和骨骼图像；提取深度图像的运动特征F_D；统一骨骼节点的坐标系；计算骨骼图的运动节点；将运动节点通过计算转换为轨迹；提取底层骨骼特征F_B；对底层骨骼特征F_B进行变换得到骨骼特征F_S；深度特征F_D与骨骼特征F_S进行权重融合得到识别分类模型；根据模型判断当前行为是否为训练康复运动，进行相应的操作。本发明的有效效果：减少数据量、加快计算速度，对康复动作的检测正确率高。

Description

一种基于深度图像与骨骼数据多特征融合的功能性肢体康复 训练检测方法

技术领域

本申请涉及行为识别、计算机视觉等领域，尤其涉及功能性肢体康复训练检测的方法。

背景技术

功能性肢体问题的症状主要症状为运动不能、肌力下降。功能性肢体问题对患者的日常生活造成极大的不便，采取及时有效的肢体康复方法，可以部分甚至完全恢复患者的肢体功能。常用的康复方法包括运动疗法、作业疗法、物理疗法等。由于康复训练过程的时间漫长，动作的重复性高，且需要患者具有积极性，导致了只有极少数的患者能够完全完成康复训练，此外由他人进行训练的监督增加了他人和社会的负担，所以迫切需要自动检测康复训练的方法。

康复训练包括了一系列的动作，与行为识别领域具有很大的相似性。基于机器视觉的行为识别具有广泛的应用前景，例如视频的监控，危险行为的检测，人机的交互，视频的检索等。几十年来，学者对行为识别的研究热度从未消退。Kinect设备是微软推出的体感周边外设，可以获取RGB图像和深度信息。与RGB图像相比，深度图像基本不受自然光线影响，还提供具有三维信息的数据，也可以通过微软的SDK提取骨骼数据，准确描述有关关节的具体位置。

在视频图像中，人体行为包含了大量的冗余数据，如果将冗余数据和行为特征一同计算，首先需要大的计算能力，此外冗余数据还会对识别的精度造成一定的影响。

发明内容

本发明针对以上问题，提出一种基于深度图像与骨骼图像多特征融合的功能性肢体康复训练检测的方法，该方法从骨骼数据中提取运动节点，增强了行为的可辨别性并提高计算速度，并将深度特征与骨骼特征结合，减少了行为的歧义性。

为了实现上述技术目的，达到上述的技术效果，本发明专利包括以下步骤：

使用Kinect设备获取人体的深度图像和骨骼图像；提取深度图像的运动特征F_D；统一骨骼节点的坐标系；计算骨骼图的运动节点；将运动节点通过计算转换为轨迹；提取底层骨骼特征F_B；对底层骨骼特征F_B进行变换得到骨骼特征F_S；深度特征F_D与骨骼特征F_S进行权重融合得到识别分类模型；根据模型判断当前行为是否为训练康复运动，进行相应的操作。

图1是本发明方法的流程图，下面结合流程图对本发明所提出的方法做进一步说明。

所述使用Kinect设备获取人体的深度图像和骨骼图像，就是将Kinect设备与装有Windows操作系统的台式机连接在一起，实时获取数据；

所述提取深度图像的运动特征F_D，就是使用DMM描述行为的3D结构和形状信息，即将具有时间信息的深度图投影到笛卡尔积平面上。若一个深度图序列具有N帧，则DMM_v特征计算公式：

其中表示第i帧深度图在v方向上的投影图；对投影图进行GLAC处理，对深度图序列进行STACOG处理，计算梯度空间和方向自相关性，得到深度特征F_D1和F_D2，用梯度大小n和方向θ稀疏表示。如图2，每个点r被编码为B＝8个方向角，其梯度角度θ与邻近的方向角的权重构成梯度方向向量f，计算梯度在邻域内的特征：

0阶特征：

1阶特征：

其中a₁是邻近点到r的位移矢量，取a₁∈{±Δr，0}，f_d是向量f的第d个元素；进行ROI操作使得相同视角图像大小相同，得到深度特征F_D＝{F_D1,F_D2}；

所述统一骨骼节点的坐标系，就是以脊柱点为原点统一新的坐标系；

所述计算骨骼图的运动节点，就是运用骨骼节点到原点的方差来定义各部分肢体的活跃程度，方差越大说明该节点变化越剧烈，当方差大于平均值时，认为该点就是运动节点；

所述将运动节点通过计算转换为轨迹，就是将方差最大的节点运动转换为轨迹，用轨迹特征来表述行为的骨骼特征；

所述提取底层骨骼特征F_B，就是运动节点和轨迹中提取帧间距离D、外接立方体轮廓比O和帧间角度差A作为底层骨骼特征F_B；

所述对底层骨骼特征F_B进行变换得到骨骼特征F_S，就是通过归一化克服不同人体间的差异，然后对底层骨骼特征F_B进行高斯混合模型的Fisher Vector处理，大小变为2pK×1，K在高斯混合模型中取128，p是F_B的行数，得到骨骼特征F_S；

所述深度特征与骨骼特征进行权重融合得到识别分类模型，就是将骨骼特征F_S和深度特征F_D1,F_D2输入到分类器中，分配不同权重μ₁,μ₂,(1-μ₁-μ₂)，通过对数函数估计全局隶属度，计算公式：

logP(l_c|F)＝

μ₁p₁(l_c|F_S)+μ₂p₂(l_c|F_D1)+(1-μ₁-μ₂)p₃(l_c|F_D2)

隶属度最大时即得到最终标签l^*，计算公式：

其中，p₁(l_c|F_S)、p₂(l_c|F_D1)与p₃(l_c|F_D2)是F_S,F_D1,F_D2通过Sigmoid函数计算得到的后验概率。

所述根据模型判断当前行为是否为训练康复运动，进行相应的操作，就是将当前行为用得到的识别模型进行判断，得到最终的结果；

进一步的，对提取底层骨骼特征F_B，做具体说明：

(1)帧间距离

在行为运动中，运动节点的距离变化最明显，以求得的轨迹为标准，将轨迹上每个节点的大小称为帧间距离；

P∈R³表示在空间坐标系下的关节点坐标，计算公式：

(2)外接立方体轮廓比

行为不同形成的外接立方体是有差别的，计算运动节点构造的轮廓比，第i帧骨骼数据的轮廓比计算公式

其中，xⁱ表示第i帧运动节点在笛卡尔坐标系中x轴上的值，人体第i帧外接立方体轮廓比特征Oⁱ计算公式：

Oⁱ＝[LWⁱ,HWⁱ,LHⁱ]^T

(3)帧间角度差

由所求轨迹获得，即求运动节点相邻两帧之间的角度差，而不通过节点之间的角度差，可以避免其他相对静止节点的干扰，计算公式：

其中，Pⁱ关节点第i帧的坐标值；

底层骨骼特征F_B由3类特征构成，如式：

进一步地，对底层骨骼特征F_B进行变换得到骨骼特征F_S，做具体说明：

构建过程伪代码如下:

对F_B进行高斯混合模型的Fisher Vector处理，大小变为2pK×1，K在高斯混合模型中取128，p是F_B的行数；

输入：M张图像的底层骨骼特征

输出：归一化后的fisher vector：

1.初始化：平均值μ_k为随机数，方差σ_k为单位矩阵E，概率w_k＝1/K

2.计算混合高斯模型GMM参数λ＝{w_k,μ_k,σ_k,k＝1,…,K}

for|p(F_B|Φ)-p(F_B|Φ)′|<ε

概率

平均值:

方差:

权值:

end

3.计算统计量

for k←1to K

end

for j←1to M

计算特征由第k个高斯分布生成的概率γ_j(k)

for k←1to K

end

end

计算fisher vector，通过求关于GMM参数偏导获得

for k←1to K

end

取fisher vector：

向量归一化

由于采用了上述技术方案，本发明提供的深度图像与骨骼数据多特征融合的功能性肢体康复训练检测的方法具有以下优势

(1)剔除了与行为无关的信息，突出了运动肢体的变化，减少了数据量。

(2)权重融合了深度特征和骨骼特征，提高了识别率。

附图说明

为了更清楚的说明本发明的实施或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出任何创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1描述发明方法流程图

图2稀疏向量计算过程

图3为发明实施例中深度图像与骨骼图像多特征融合的算法流程图

图4为发明实施例中深度运动图的形成过程

图5为发明实施例中运动节点的行为

图6为发明实施例中外接立方体

具体实施方式

一、实现过程

本发明所提供的方法主要步骤如下：使用Kinect设备获取人体的深度图像和骨骼图像；提取深度图像的运动特征F_D；统一骨骼节点的坐标系；计算骨骼图的运动节点；将运动节点通过计算转换为轨迹；提取底层骨骼特征F_B；对底层骨骼特征F_B进行变换得到骨骼特征F_S；深度特征F_D与骨骼特征F_S进行权重融合得到识别分类模型；根据模型判断当前行为是否为训练康复运动，进行相应的操作。

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明的附图3，对本发明实施例中的技术方案进行完整清晰的描述：

步骤S201：使用Kinect体感摄像机获取人体的深度图像和骨骼图像；

步骤S202：用DMM描述行为的3D结构和形状信息，即将具有时间信息的深度图投影到笛卡尔积平面上。假设一个深度图序列具有N帧，则DMM_v特征计算公式：

其中表示第i帧深度图在v方向上的投影图。

步骤S203：对投影图进行GLAC处理，对深度图序列进行STACOG处理，计算梯度空间和方向自相关性，用梯度大小n和方向θ稀疏表示，得到深度特征F_D1和F_D2。如图2，每个点r被编码为B＝8个方向角，其梯度角度θ与邻近的方向角的权重构成梯度方向向量f。

计算梯度在邻域内的特征：

0阶特征：

1阶特征：

其中a₁是邻近点到r的位移矢量，取a₁∈{±Δr，0}，f_d是向量f的第d个元素。

以high wave的GLAC处理为例，图4(a)是深度图序列，图4(b)为主视图。为避免极大或极小值对DMM_v的影响，须将DMM_v分布于[0,1]，同时进行ROI操作使得相同视角图像大小相同，如图4(c)。深度特征F_D1可以表示为式：

F_D1＝{F₀,F₁}；

步骤S204：统一骨骼节点的坐标系，就是以Spine为原点统一新的坐标系；

步骤S205：计算骨骼节点到原点的方差来定义各部分肢体的活跃程度，方差越大说明该节点变化越剧烈，当方差大于平均值时，认为该点就是运动节点；

步骤S206：将运动节点通过计算转换为轨迹，就是将方差最大的节点运动转换为轨迹，用轨迹特征来表述行为的骨骼特征，如图5，high wave的运动节点为9、11、13，其表现为左手行为；

步骤S207：在运动节点和轨迹中提取帧间距离D、外接立方体轮廓比O和帧间角度差A作为底层骨骼特征F_B；

步骤S208：通过归一化克服不同人体间的差异，然后对底层骨骼特征F_B进行高斯混合模型的Fisher Vector处理，大小变为2pK×1，K在高斯混合模型中取128，p是F_B的行数，得到骨骼特征F_S；

步骤S209：将骨骼特征F_S和深度特征F_D1,F_D2输入到分类器中，分配不同权重μ₁,μ₂,(1-μ₁-μ₂)，通过对数函数估计全局隶属度，计算公式：

log P(l_c|F)＝

μ₁p₁(l_c|F_S)+μ₂p₂(l_c|F_D1)+(1-μ₁-μ₂)p₃(l_c|F_D2)

隶属度最大时即得到最终标签l^*，计算公式：

其中，p₁(l_c|F_S)、p₂(l_c|F_D1)与p₃(l_c|F_D2)是F_S,F_D1,F_D2通过Sigmoid函数计算得到的后验概率。

步骤S210：将当前行为用得到的识别模型进行判断，得到最终的结果；

对步骤S207提取底层骨骼特征F_B，做进一步说明：

(1)帧间距离

在行为运动中，运动节点的距离变化最明显，以求得的轨迹为标准，将轨迹上每个节点的大小称为帧间距离。P∈R³表示在空间坐标系下的关节点坐标，以LH为例，LH到Spine的距离即为帧间距离特征如式:

(2)外接立方体轮廓比

行为不同形成的外接立方体是有差别的，计算运动节点构造的轮廓比，图6是highwave某一帧的左手轮廓，第i帧骨骼数据的轮廓比计算公式

其中，xⁱ表示第i帧运动节点在笛卡尔坐标系中x轴上的值，人体第i帧外接立方体轮廓比特征Oⁱ计算公式：

Oⁱ＝[LWⁱ,HWⁱ,LHⁱ]^T

(3)帧间角度差

帧间角度差由所求轨迹获得，即求运动节点相邻两帧之间的角度差，而不通过节点之间的角度差，可以避免其他相对静止节点的干扰，以LH为例，计算LH关节点的角度变化特征A_LH，如式:

其中，为LH关节点第i帧的坐标值。

底层骨骼特征F_B由3类特征构成，如式：

对步骤S208对底层骨骼特征F_B进行变换得到骨骼特征F_S，做进一步说明：

构建过程伪代码如下:

输入：M张图像的底层骨骼特征

输出：归一化后的fisher vector：

1.初始化：平均值μ_k为随机数，方差σ_k为单位矩阵E，概率w_k＝1/K

2.计算混合高斯模型GMM参数λ＝{w_k,μ_k,σ_k,k＝1,…,K}

for|p(F_B|Φ)-p(F_B|Φ)′|<ε

概率

平均值:

方差:

权值:

end

3.计算统计量

for k←1to K

end

for j←1to M

计算特征由第k个高斯分布生成的概率γ_j(k)

for k←1to K

end

end

4.计算fisher vector，通过求关于GMM参数偏导获得

for k←1to K

end

取fisher vector：

5.向量归一化

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应该在本发明的保护范围内。

Claims (4)

1.一种基于深度图像与骨骼数据的多特征融合的功能性肢体康复训练检测方法，其特征在于，包括以下步骤：

(1)使用Kinect设备获取人体的深度图像和骨骼图像；

(2)提取深度图像的运动特征F_D；

(3)统一骨骼节点的坐标系；

(4)计算骨骼图的运动节点；

(5)将运动节点通过计算转换为轨迹；

(6)提取底层骨骼特征F_B；

(7)对底层骨骼特征F_B进行变换得到骨骼特征F_S；

(8)深度特征F_D与骨骼特征F_S进行权重融合得到识别分类模型；

(9)根据模型判断当前行为是否为训练康复运动，进行相应的操作。

2.根据权利要求1所述的，深度图像与骨骼数据多特征融合的功能性肢体康复训练检测的方法，其特征在于，所述提取深度图像的运动特征F_D，就是使用DMM描述行为的3D结构和形状信息，即将具有时间信息的深度图投影到笛卡尔积平面上。若一个深度图序列具有N帧，则DMM_v特征计算公式：

其中表示第i帧深度图在v方向上的投影图；对投影图进行GLAC处理，对深度图序列进行STACOG处理，计算梯度空间和方向自相关性，得到深度特征F_D1和F_D2，用梯度大小n和方向θ稀疏表示。如图2，每个点r被编码为B＝8个方向角，其梯度角度θ与邻近的方向角的权重构成梯度方向向量f，计算梯度在邻域内的特征：

0阶特征：

1阶特征：

其中a₁是邻近点到r的位移矢量，取a₁∈{±Δr，0}，f_d是向量f的第d个元素；进行ROI操作使得相同视角图像大小相同，得到深度特征F_D＝{F_D1，F_D2}；

所述统一骨骼节点的坐标系，即以脊柱点为原点统一新的坐标系；

计算骨骼图的运动节点，就是运用骨骼节点到原点的方差来定义各部分肢体的活跃程度，方差越大说明该节点变化越剧烈，当方差大于平均值时，认为该点就是运动节点；

将运动节点通过计算转换为轨迹，就是将方差最大的节点运动转换为轨迹，用轨迹特征来表述行为的骨骼特征；

提取底层骨骼特征F_B，就是运动节点和轨迹中提取帧间距离D、外接立方体轮廓比O和帧间角度差A作为底层骨骼特征F_B；

对底层骨骼特征F_B进行变换得到骨骼特征F_S，就是通过归一化克服不同人体间的差异，然后对底层骨骼特征F_B进行高斯混合模型的Fisher Vector处理，大小变为2pK×1，K在高斯混合模型中取128，p是F_B的行数，得到骨骼特征F_S；

深度特征与骨骼特征进行权重融合得到识别分类模型，就是将骨骼特征F_S和深度特征F_D1，F_D2输入到分类器中，分配不同权重μ₁，μ₂，(1-μ₁-μ₂)，通过对数函数估计全局隶属度，计算公式：

logP(l_c|F)＝μ₁p₁(l_c|F_S)+μ₂p₂(l_c|F_D1)+(1-μ₁-μ₂)p₃(l_c|F_D2)

隶属度最大时即得到最终标签l^*，计算公式：

其中，p₁(l_c|F_S)、p₂(l_c|F_D1)与p₃(l_c|F_D2)是F_S，F_D1，F_D2通过Sigmoid函数计算得到的后验概率。

所述根据模型判断当前行为是否为训练康复运动，进行相应的操作，就是将当前行为用得到的识别模型进行判断，得到最终的结果。

3.根据权利要求2所述的深度图像与骨骼数据多特征融合的功能性肢体康复训练检测的方法，其特征在于提取底层骨骼特征，具体为：

(1)帧间距离

在行为运动中，运动节点的距离变化最明显，以求得的轨迹为标准，将轨迹上每个节点的大小称为帧间距离；

P∈R³表示在空间坐标系下的关节点坐标，计算公式：

(2)外接立方体轮廓比

行为不同形成的外接立方体是有差别的，计算运动节点构造的轮廓比，第i帧骨骼数据的轮廓比计算公式

其中，xⁱ表示第i帧运动节点在笛卡尔坐标系中x轴上的值，人体第i帧外接立方体轮廓比特征Oⁱ计算公式：Oⁱ＝[LWⁱ，HWⁱ，LHⁱ]^T

(3)帧间角度差

由所求轨迹获得，即求运动节点相邻两帧之间的角度差，而不通过节点之间的角度差，可以避免其他相对静止节点的干扰，计算公式：

其中，Pⁱ关节点第i帧的坐标值；

底层骨骼特征F_B由3类特征构成，如式：

。

4.根据权利要求3所述的深度图像与骨骼数据多特征融合的功能性肢体康复训练检测的方法，其特征在于，对底层骨骼特征F_B进行变换得到骨骼特征F_S，具体为：

对F_B进行高斯混合模型的Fisher Vector处理，大小变为2pK×1，K在高斯混合模型中取128，p是F_B的行数；

构建过程伪代码如下:

输入：M张图像的底层骨骼特征

输出：归一化后的fisher vector：

(1)初始化：平均值μ_k为随机数，方差σ_k为单位矩阵E，概率w_k＝1/K

(2)计算混合高斯模型GMM参数λ＝{w_k，μ_k，σ_k，k＝1，…，K}

for|p(F_B|Φ)-p(F_B|Φ)′|＜ε

概率

平均值:

方差:

权值:

end

(3)计算统计量

for k←1 to K

end

for j←1 to M

计算特征由第k个高斯分布生成的概率γ_j(k)

for k←1 to K

end

end

计算fisher vector，通过求关于GMM参数偏导获得

for k←1 to K

end

取fisher vector：

向量归一化

。