CN108776775B - 一种基于权重融合深度及骨骼特征的老年人室内跌倒检测方法 - Google Patents

Abstract

本发明公开了一种基于权重融合深度图像与骨骼关键帧的老年人室内跌倒检测的方法，该方法包括以下步骤：使用Kinect设备获取人体的深度图像和骨骼图像；对深度图像进行特征提取；对骨骼图节点进行坐标转换；计算互信息得到关键帧，表征具体的行为；提取关键帧的三个模型组成骨骼特征；将深度特征与骨骼特征进行权重融合得到识别分类模型；根据行为识别模型进行判断；判断跌倒后，发出跌倒警报。本发明的有效效果：减少了冗余信息，跌倒的检测率高，仅需要简单的设备就可以实现，价格低廉、容易实现。

Description

一种基于权重融合深度及骨骼特征的老年人室内跌倒检测 方法

技术领域

本发明涉及计算机视觉、行为识别等领域，尤其涉及一种老年人室内跌倒检测方法。

背景技术

跌倒问题，是老年人面临的主要健康威胁。跌倒可以导致心理创伤、骨折及软组织损伤等严重后果，直接影响了老年人的心身健康，间接增加了家庭和社会的负担，现已成为老年临床医学中一项很受重视的课题。采用合理有效的检测方法能够对跌倒情况进行及时的分析，进而对老年人的跌倒进行处理。由于跌倒行为与普通行为类似，所以可以使用人体行为识别的方法进行检测。

人体行为识别应用范围广泛，在视频监控、人机交互、虚拟现实等应用中较为突出。传统的人体行为识别方面的研究都是针对2D信息下RGB图像序列的，而RGB图像受到光照、背景等方面的影响，成为研究人体行为识别最大的挑战。与RGB图像相比，RGB-D图像不仅可以成功捕捉3D信息，还可以提供深度信息。深度信息代表了在可视范围内目标与深度摄像机的距离，可以忽略光照、背景等外来因素的影响。

尽管人体行为识别的研究取得了很大的进步，但其挑战性仍是巨大的，特别是在数据冗余和数据处理方面。在视频图像序列中，行为含有大量冗余数据。如果行为特征中包括所有的行为数据，那么冗余信息可能会降低识别方法的精度。

发明内容

本发明针对以上问题，提供了一种基于权重融合深度特征和骨骼特征的老年人室内跌倒检测方法，利用互信息对Kinect设备获取到的数据进行处理，保留对识别分类有效的信息，剔除大量冗余信息，对数据进行处理，并反馈结果，达到实时监测老年人室内跌倒的目的。

为了实现上述技术目的，达到上述的技术效果，本发明专利包括以下步骤：

使用Kinect设备获取人体的深度图像和骨骼图像；对深度图像进行特征提取；对骨骼图节点进行坐标转换；计算互信息得到关键帧，表征具体的行为；提取关键帧的三个模型组成骨骼特征；将深度特征与骨骼特征进行权重融合得到识别分类模型；根据行为识别模型进行判断；判断跌倒后，发出跌倒警报。

所述使用Kinect设备获取人体的深度图像和骨骼图像，就是将Kinect设备与Windows操作系统的台式机连接，实时获取数据；

所述对深度图像进行特征提取，就是将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上，获得3个视角的投影图。对深度运动图进行截取感兴趣区域操作，用以保证并保证相同角度的投影图大小一致。然后从时间和空间上通过深度运动图上像素的梯度大小和方向获得2D、3D深度特征F D。假设一个深度图像序列具有M帧，则深度运动图I计算方式为其中v t表示深度图像序列在第t帧深度投影图；

所述对骨骼图节点进行坐标转换，就是以脊柱点为原点统一新的坐标系，将骨骼图节点统一到该坐标系下；

所述计算互信息得到关键帧，表征具体的行为，就是计算相邻两帧骨骼图之间的互信息，运用互信息判断相邻两帧骨骼图之间的相似度，若值越大，两帧的差异就越大，若值越小，两帧的相似度就越高，选取平均互信息作为判别依据，用多帧来表征具体的行为；

所述提取关键帧的三个模型组成骨骼特征，就是提取静态姿态模型f cc、当前运动模型f cp、全局偏移模型f co，将三个模型得到的特征组成一帧骨骼图的底层特征F c＝[f cc，f cp，f co]，对求得的特征进行归一化，避免一些较小元素范围中的较大元素占主导地位的情况，由于每个骨骼图序列获得关键帧的数量是不同的，故用基于高斯混合模型的费希尔向量处理不同长度的特征，得到骨骼特征F S；

所述将深度特征与骨骼特征进行权重融合得到识别分类模型，就是将深度特征FD与骨骼特征F S分别输入到极限学习分类器中，将得到的预测标签分配不同权重μ，最终得到最可能的分类标签l*，得到识别模型；

所述根据行为识别模型进行判断，就是将当前行为用得到的识别模型进行判断，得到最终的结果；

所述判断跌倒后，发出跌倒警报，就是若当前行为为老年人跌倒，则利用短信发送设备，发送短信给老年人的子女等，以便及时的处理；

进一步地，对计算互信息得到关键帧，表征具体的行为，做具体说明：

(1)使用Kinect设备获取人体的深度图像和骨骼图像；

(2)对深度图像进行特征提取；

(3)对骨骼图节点进行坐标转换；

(4)计算互信息得到关键帧，表征具体的行为；

(5)提取关键帧的三个模型组成骨骼特征；

(6)将深度特征与骨骼特征进行权重融合得到识别分类模型；

(7)根据行为识别模型进行判断；

(8)判断跌倒后，发出跌倒警报。

进一步地，所述对深度图像进行特征提取，就是将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上，获得3个视角的投影图。对深度运动图进行截取感兴趣区域操作，用以保证并保证相同角度的投影图大小一致。然后从时间和空间上通过深度运动图上像素的梯度大小和方向获得2D、3D深度特征F。假设一个深度图像序列具有M帧，则深度运动图I计算方式为

其中v表示深度图像序列在第t帧深度投影图；

对骨骼图节点进行坐标转换，就是以脊柱点为原点统一新的坐标系，将骨骼图节点统一到该坐标系下；

计算互信息得到关键帧，表征具体的行为，就是计算相邻两帧骨骼图之间的互信息，运用互信息判断相邻两帧骨骼图之间的相似度，若值越大，两帧的差异就越大，若值越小，两帧的相似度就越高，选取平均互信息作为判别依据，用多帧来表征具体的行为；

提取关键帧的三个模型组成骨骼特征，就是提取静态姿态模型f_cc、当前运动模型f_cp、全局偏移模型f_co，将三个模型得到的特征组成一帧骨骼图的底层特征F_c＝[f_cc，f_cp，f_co]，对求得的特征进行归一化，避免一些较小元素范围中的较大元素占主导地位的情况，由于每个骨骼图序列获得关键帧的数量是不同的，故用基于高斯混合模型的费希尔向量处理不同长度的特征，得到骨骼特征F_s；

将深度特征与骨骼特征进行权重融合得到识别分类模型，就是将深度特征F_D与骨骼特征F_S分别输入到极限学习分类器中，将得到的预测标签分配不同权重μ，最终得到最可能的分类标签l^*，得到识别模型；

根据行为识别模型进行判断，就是将当前行为使用得到的识别模型进行判断，得到最终的结果；

判断跌倒后，发出跌倒警报，就是若当前行为为老年人跌倒，则利用短信发送设备，发送短信给老年人的子女等，以便及时的处理。

进一步地，计算互信息得到关键帧，表征具体的行为，具体为：

1)互信息(mutual information，MI)是一种有用的信息度量，可看成是一个随机变量中包含的关于另一个随机变量的信息量，其计算方式为MI＝h(S^t)+h(S^t+1)-h(S^t，S^t+1)。附图3的符合描述。熵h(S^t)衡量了第t帧骨骼图S的活跃程度，熵h(S^t，S^t+1)表示相邻两帧骨骼图之间的相似度，h(S^t)与h(S^t，S^t+1)之间的数学关系如图2所示；

2)h(S)的计算方式为

3)两帧骨骼图之间的h(S^t，S^t+1)的计算方式：

其中，r，k表示骨骼图第t帧和第t+1的值，r的概率分布函数是

具体方法步骤如下：

输入：骨骼图序列的节点坐标值，该骨骼图序列共有M帧，每帧有N个节点

输出：骨骼图序列的关键帧

Step1.对骨骼图节点进行坐标转换，获得以脊柱点为原点的新骨骼节点坐标

Step2.计算相邻两帧骨骼图之间的MI及平均互信息

Step3.标记每个MI对应的骨骼图，如果

则记为1，否则记为0

Step4.保留符合条件的帧对应的骨骼图

①.第d×(a-1)+1帧到第d×a帧对应骨骼图的标记之和不为0，保留所有标记为1对应的骨骼图，否则保留第帧骨骼图，其中初始值a＝1

②.a←a+1

③.重复①，②，直到

对提取关键帧的三个模型组成骨骼特征，做进一步说明：

1)静态姿态模型f_cc：指人体在某个时刻的姿态，对于挥手动作而言，脚步动作是相对静止的，而手部的位置变化较大。该模型可以突出变化明显的部位，计算方式：

f_cc＝{s_i-s_j|i∈[1，N-1]，j∈[2，N]，i<j}

其中，表示当前帧，s_i表示第i个节点的坐标值，即s_i＝(x_i，y_i，z_i)，i，j表示不同骨骼节点，N是人体骨骼节点的个数；

2)当前运动模型f_cp：指相邻两帧骨骼图节点间的变化，可以突出当前节点的变化幅度，计算方式：

其中，p表示当前帧c的前一帧，s^c _i指当前帧c的第i个节点的坐标值，一帧骨骼图记为S＝[s₁，s₂，…s_N]，S∈R^N×3，S^c表示当前帧c的骨骼图；

3)全局偏移模型f_co：指c相对初始帧o的节点动态位置变化，该模型可以反应当前节点的变化趋势，具有全局性，计算方式：

由于采用了上述技术方案，本发明提供的权重融合深度图像与骨骼关键帧的行为识别的方法具有以下优势

(1)在关键帧的基础上建立了静态姿态模型、当前运动模型和动态偏移模型，获得丰富的局部特征和全局特征，提高人体行为识别率。

(2)针对骨骼图序列来提取关键帧，减少了骨骼的数据量，加快了特征提取速度。

附图说明

为了更清楚的说明本发明的实施或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出任何创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于权重融合深度特征和骨骼特征的老年人室内跌倒检测方法的流程图

图2为发明实施例中权重融合深度图像和骨骼关键帧的算法流程图

图3为发明实施例中互信息示意图

图4为发明实施例中关键帧示意图

具体实施方式

一、实现过程

本发明所提供的方法主要步骤如下:使用Kinect设备获取人体的深度图像和骨骼图像；对深度图像进行特征提取；对骨骼图节点进行坐标转换；计算互信息得到关键帧，表征具体的行为；提取关键帧的三个模型组成一帧骨骼特征；将深度特征与骨骼特征进行权重融合得到识别分类模型；根据行为识别模型进行判断；判断跌倒后，发出跌倒警报。

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明的附图2，对本发明实施例中的技术方案进行完整清晰的描述：

步骤S201：使用Kinect设备获取人体的深度图像和骨骼图像；

步骤S202：将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上，获得3个视角的投影图v。一个深度图像序列具有M帧，则深度运动图I计算方式为

其中v表示深度图像序列在第t帧深度投影图

步骤S203：对深度运动图进行截取感兴趣区域操作，并保证相同角度的投影图大小一致，本实例中的正视图大小为102×54，侧视图大小为102×75，俯视图大小为75×54；

步骤S204：分别从时间和空间上通过深度运动图上像素(x，y)的梯度大小和方向获得2D、3D深度特征F D；

步骤S205：对骨骼图节点进行坐标转换，获得以脊柱点为原点的新骨骼节点坐标；

步骤S206：计算相邻两帧骨骼图之间的互信息，运用互信息来判别相邻两帧骨骼图之间的相似度，若值越大，两帧的差异就越大，若值越小，两帧的相似度就越高，选取平均互信息作为判别依据，用多帧来表征具体的行为；

步骤S207：提取骨骼图序列的3个模型：静态姿态模型f cc、当前运动模型f cp和全局偏移模型f co；

步骤S208：对三个模型得到的特征组成一帧骨骼图的底层特征F c＝[f cc，f cp，f co]，对求得的特征进行归一化；

步骤S209：使用基于高斯混合模型的费希尔向量处理不同长度的特征，得到骨骼特征F S；

步骤S210：将深度特征与骨骼特征分别输入到极限学习分类器中，将得到的预测标签分配不同权重，最终得到最可能的分类标签，得到识别模型；

步骤S211：对当前行为进行识别判断，并进行相应处理；

对步骤S206中运用互信息来判别相邻两帧骨骼图之间的相似度的做进一步说明，其步骤为：

输入：骨骼图序列的节点坐标值，该骨骼图序列共有M帧，每帧有N个节点

输出：骨骼图序列的关键帧

Step1.对骨骼图节点进行坐标转换，获得以脊柱点为原点的新骨骼节点坐标

Step2.计算相邻两帧骨骼图之间的MI及平均互信息

Step3.标记每个MI对应的骨骼图，如果

则记为1，否则记为0

Step4.保留符合条件的帧对应的骨骼图

①.第d×(a-1)+1帧到第d×a帧对应骨骼图的标记之和不为0，保留所有标记为1对应的骨骼图，否则保留第帧骨骼图，其中初始值a＝1

②.a←a+1

③.重复①，②，直到

对提取关键帧的三个模型组成骨骼特征，做进一步说明：

1)静态姿态模型f_cc：指人体在某个时刻的姿态，对于挥手动作而言，脚步动作是相对静止的，而手部的位置变化较大。该模型可以突出变化明显的部位，计算方式：

f_cc＝{s_i-s_j|i∈[1，N-1]，j∈[2，N]，i<j}

其中，表示当前帧，s_i表示第i个节点的坐标值，即s_i＝(x_i，y_i，z_i)，i，j表示不同骨骼节点，N是人体骨骼节点的个数；

2)当前运动模型f_cp：指相邻两帧骨骼图节点间的变化，可以突出当前节点的变化幅度，计算方式：

其中，p表示当前帧c的前一帧，s^c _i指当前帧c的第i个节点的坐标值，一帧骨骼图记为S＝[s₁，s₂，…s_N]，S∈R^N×3，S^c表示当前帧c的骨骼图；

3)全局偏移模型f_co：指c相对初始帧o的节点动态位置变化，该模型可以反应当前节点的变化趋势，具有全局性，计算方式：

对步骤S210将深度特征与骨骼特征分别输入到极限学习分类器中，将得到的预测标签分配不同权重，最终得到最可能的分类标签做进一步说明：

通过对数函数来估计全局的隶属度lgP(l k|F)＝μp 1(l k|F S)+(1-μ)p 2(l k|F D)，当隶属度最大时得到的标签则为测试得到的标签其中，p 1(l k|F S)与p 2(l k|FD)分别是F S，F D通过Sigmoid函数计算得到的后验概率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应该在本发明的保护范围内。

Claims (1)

1.一种基于权重融合深度特征和骨骼特征的老年人室内跌倒检测方法，其特征在于，包括以下步骤：

(1)使用Kinect设备获取人体的深度图像和骨骼图像；

(2)对深度图像进行特征提取；

(3)对骨骼图节点进行坐标转换；

(4)计算互信息得到关键帧，表征具体的行为；

(5)提取关键帧的三个模型组成骨骼特征；

(6)将深度特征与骨骼特征进行权重融合得到识别分类模型；

(7)根据行为识别模型进行判断；

(8)判断跌倒后，发出跌倒警报；

所述对深度图像进行特征提取，就是将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上，获得3个视角的投影图；对深度运动图进行截取感兴趣区域操作，用以保证并保证相同角度的投影图大小一致；然后从时间和空间上通过深度运动图上像素的梯度大小和方向获得2D、3D深度特征F；假设一个深度图像序列具有M帧，则深度运动图I计算方式为

其中v表示深度图像序列在第t帧深度投影图；

对骨骼图节点进行坐标转换，就是以脊柱点为原点统一新的坐标系，将骨骼图节点统一到该坐标系下；

计算互信息得到关键帧，表征具体的行为，就是计算相邻两帧骨骼图之间的互信息，运用互信息判断相邻两帧骨骼图之间的相似度，若值越大，两帧的差异就越大，若值越小，两帧的相似度就越高，选取平均互信息作为判别依据，用多帧来表征具体的行为；

提取关键帧的三个模型组成骨骼特征，就是提取静态姿态模型f_cc、当前运动模型f_cp、全局偏移模型f_co，将三个模型得到的特征组成一帧骨骼图的底层特征F_c＝[f_cc，f_cp，f_co]，对求得的特征进行归一化，避免一些小元素范围中的大元素占主导地位的情况，由于每个骨骼图序列获得关键帧的数量是不同的，故用基于高斯混合模型的费希尔向量处理不同长度的特征，得到骨骼特征F_s；

将深度特征与骨骼特征进行权重融合得到识别分类模型，就是将深度特征F_D与骨骼特征F_S分别输入到极限学习分类器中，将得到的预测标签分配不同权重μ，最终得到分类标签l^*，得到识别模型；

根据行为识别模型进行判断，就是将当前行为使用得到的识别模型进行判断，得到最终的结果；

判断跌倒后，发出跌倒警报，就是若当前行为为老年人跌倒，则利用短信发送设备，发送短信给老年人的子女，以便及时的处理；

计算互信息得到关键帧，表征具体的行为，具体为：

1)互信息(mutual information，MI)是一种有用的信息度量，看成是一个随机变量中包含的关于另一个随机变量的信息量，其计算方式为MI＝h(S^t)+h(S^t+1)-h(S^t，S^t+1)；熵h(S^t)衡量了第t帧骨骼图S的活跃程度，熵h(S^t，S^t+1)表示相邻两帧骨骼图之间的相似度；

2)h(S)的计算方式为

3)两帧骨骼图之间的h(S^t，S^t+1)的计算方式：

其中，r，k表示骨骼图第t帧和第t+1的值，r的概率分布函数是

具体方法步骤如下：

输入：骨骼图序列的节点坐标值，该骨骼图序列共有M帧，每帧有N个节点

输出：骨骼图序列的关键帧

Step1.对骨骼图节点进行坐标转换，获得以脊柱点为原点的新骨骼节点坐标

Step2.计算相邻两帧骨骼图之间的互信息MI及平均互信息

Step3.标记每个互信息MI对应的骨骼图，如果

则记为1，否则记为0

Step4.保留符合条件的帧对应的骨骼图

①.第d×(a-1)+1帧到第d×a帧对应骨骼图的标记之和不为0，保留所有标记为1对应的骨骼图，否则保留第帧骨骼图，其中初始值a＝1

②.a←a+1

③.重复①，②，直到

对提取关键帧的三个模型组成骨骼特征，做进一步说明：

1)静态姿态模型f_cc：指人体在某个时刻的姿态，对于挥手动作而言，脚步动作是相对静止的，而手部的位置变化较大；该模型突出变化明显的部位，计算方式：

f_cc＝{s_i-s_j|i∈[1，N-1]，j∈[2，N]，i<j}

其中，表示当前帧，s_i表示第i个节点的坐标值，即s_i＝(x_i，y_i，z_i)，i，j表示不同骨骼节点，N是人体骨骼节点的个数；

2)当前运动模型f_cp：指相邻两帧骨骼图节点间的变化，突出当前节点的变化幅度，计算方式：

其中，p表示当前帧c的前一帧，s^c _i指当前帧c的第i个节点的坐标值，一帧骨骼图记为S＝[s₁，s₂，…s_N]，S∈R^N×3，S^c表示当前帧c的骨骼图；

3)全局偏移模型f_co：指c相对初始帧o的节点动态位置变化，该模型反应当前节点的变化趋势，具有全局性，计算方式：

Images