CN108182410A - 一种联合目标区域定位和深度特征学习的跌倒识别算法 - Google Patents

Abstract

本发明提出了一种联合目标区域定位和深度特征学习的跌倒识别算法，该算法首先利用Kinect采集和分析彩色图像和深度图像；然后根据图象中目标区域所处的位置，实现目标区域的自适应定位，优化图像；最后对优化后的图像进行深度特征学习，获取分类特征，判断是否跌倒。通过对大量的人体行为样本进行测试，本发明算法的识别率达到了100%。本发明通过利用目标区域定位和深度特征学习相结合的方法，解决了传统视频图像处理存在的实时性问题和隐私问题，进一步提高识别率；避免了传统算法中复杂的模型建立，减小计算成本；不仅具有好的鲁棒性，而且提高了识别效率。

Description

一种联合目标区域定位和深度特征学习的跌倒识别算法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种联合目标区域定位和深度特征学习的跌倒识别算法。

背景技术

智能养老备受研究人员关注，而居家老人的跌倒识别是其重要的一部分。目前，许多国内外研究人员利用可穿戴设备、雷达、Kinect等对跌倒检测系统进行研究。一方面，许多已有的解决方案采用加速度传感器和角度传感器等检测对象的运动参数。虽然其取得了较好的结果，但它们仍存在一些关键性的不足，同步问题、电池寿命以及舒适性和扩展性较差。另一方面，通过Kinect采集的彩色图像和深度图像进行检测。Maldonado等人(C.S.Maldonado,H.V.Rios,E.Mezura-montes,and A.Marin,“Feature selection todetect fallen pose using depth images,”International Conference onElectronics,Communications,and Computers,pp.94-100,2016.)选取不同关节点信息来构建不同类别的特征实现跌倒识别功能，但是跌倒识别的准确性取决于所选特征，如果选择的特征不合适，则识别率低。Kumar等人(D.P.Kumar,Y.Yun,and I.Y.Gu,“Falldetection in RGB-D videos by combining shape and motionfeatures.International Conference on Acoustics,Speech,and Signal Processing,”pp.1337-1341,2016.)运用RGB-D视频数据集进行跌倒检测，利用深度图获取目标轮廓并提取局部动态的外形和运动特征。采用方向梯度直方图和光流特征梯度直方图将RGB图像中整体的动态外形和运动通过进行编码，结合不同的外形和运动特征加强识别。Kepski和Kwolek(B.Kwolek,M.Kepski,“Fuzzy inference-based fall detection using kinectand body-worn accelerometer,”Applied Soft Computing,40:305-318,2016.)将Kinect和加速度传感器结合来检测人体跌倒。算法在深度图像上通过不同的处理技术检测前景对象，计算人体重心与地面的距离，根据传感器获得的状态信息和预定义规则，判断跌倒事件是否发生。

Ramasinghe等人(S.Ramasinghe,R.Rodrigo,“Action Recognition by SingleStream Convolutional Neural Networks:An Approach using Combined Motion andStatic Information,”3rd IAPR Asian Conference on Pattern Recognition,pp.101-105,2015.)提出了一种卷积神经网络结构以动态和静态信息作为输入流。它主要研究动作识别和视频数据的分类。利用长期短时记忆单元的递归神经网络进行训练和分类，但识别精度相对较低。Cheron等人(G.Chéron,I.Laptev,and C.Schmid.“P-CNN:Pose-Based CNNFeatures for Action Recognition,”In Proceedings ofthe IEEE InternationalConference on Computer Vision,pp.3218-3226,2016.)提出一种基于卷积神经网络的姿态识别描述子，通过跟踪人体识别某些部位来描述其运动信息。Lisowska等人(A.Lisowska,G.Wheeler,V.C.Inza,and I.Poole.“An Evaluation of Supervised,Novelty-Based and Hybrid Approaches to Fall Detection Using SilmeeAccelerometer Data,”IEEE International Conference on Computer VisionWorkshop.IEEE,pp.402-408,2015.)将机器学习识别与加速度传感器检测的性能进行比较，提出了利用监督方法进行特征学习的混合技术。但是这些算法运算复杂度比较高，不能较好满足实际需求。

发明内容

本发明目的在于克服现有技术的不足，利用深度图采集信息，运用目标区域的自适应定位法优化图像，采用深度特征学习获取分类特征，提供了联合目标区域定位和深度特征学习的跌倒识别算法，具体由以下技术方案实现：

所述联合目标区域定位和深度特征学习的跌倒识别算法，包括如下步骤：

步骤1)图像采集与分析：通过Kinect将人体动作信息作为输入图像，计算向人体投射的红外光束被接收器接收的时间，获得距离信息，绘制深度图；

步骤2)计算图像灰度值：通过Kinect测得人体与设备之间的距离d，根据d值得出深度图的灰度值为g_d：

步骤3)目标区域高度计算：将深度图中的人体区域设定为目标区域，根据式(2)计算目标区域高度h，

式(2)中，H是已知量人的实际身高；

步骤4)目标区域宽度计算：根据式(3)计算目标区域宽度w，

式(3)中，W是已知量人的实际宽度；

步骤5)基于卷积神经网络进行卷积操作：所述卷积神经网络包括卷积层、池化层和全连接层，卷积层包含固定的特征映射，每个特征映射由固定的神经元组成，每个神经元和下一层特征映射的突触连接，实现卷积操作；

步骤6)进行下采样和局部平均：所述每个神经元具有接受域一个可训练系数，一个可训练偏置和sigmoid激活函数，所述训练系数和可训练偏置控制神经元的操作实现下采样和局平均。

步骤7)交替执行步骤5)与步骤6)，在全连接层提取深度特征，得到输出量，判断是否跌倒。

所述联合目标区域定位和深度特征学习的跌倒识别算法的进一步设计在于，所述步骤2)具体为：Kinect采集深度图像的有效距离为500～4500mm，在500mm、4500mm处的灰度值分别为255、0，人机距离小于500mm时，灰度值默认为255，人机距离大于4500mm时，灰度值默认为0，在500～4500mm范围内根据式(1)对灰度值进行等间隔梯度划分，得到距离与灰度值的关系定义式：

所述联合目标区域定位和深度特征学习的跌倒识别算法的进一步设计在于，所述步骤5)具体为：对图像中的每个像素进行编号，用x_i,j表示图像的第i行第j列元素；卷积核的大小为k×k，对卷积核的每个权重进行编号，用w_m,n表示第m行第n列权重，用w_b表示偏置项；对特征映射的每个元素进行编号，用a_i,j表示特征映射的第i行第j列元素；用f表示激活函数，计算卷积如式(5)：

w_b表示偏置值。

所述联合目标区域定位和深度特征学习的跌倒识别算法的进一步设计在于，所述步骤7)中根据式(6)进行深度特征学习：

f(x)＝f_L(...f₂(f₁(x；w₁)；w₂)...w_L) (6)

式(6)中，x表示输入图像或在前一层的特征映射，参数向量{w₁,w₂,…,w_L}表示对应于各神经网络层的数学习的权重，{f₁,f₂,…,f_L}表示是输入x和w的函数，L是神经网络的层数，f(x)是神经网络的输出。

本发明的优点如下：

本发明联合目标区域定位和深度特征学习的跌倒识别算法，是一种识别率高、鲁棒性好的算法。方法中Kinect采集的深度图像，不仅解决了传统视频图像处理存在的隐私问题，而且深度图像的成像只与空间距离有关，可以根据图像中的深度信息完成目标区域定位，减小图像噪声，提高系统的识别率和鲁棒性。因此，通过深度信息将前景人体和背景区分开就变得非常容易，提高系统的鲁棒性。同时，深度特征学习方法缩短了训练时间，减小了计算成本，提高系统的识别效率、增强系统的实时性。

附图说明

图1本发明方法的流程框图。

图2本发明图像采集图。

图3本发明灰度值计算原理图。

图4本发明识别误差收敛性图。

具体实施方式

结合具体实施例与附图对本发明的技术方案进一步说明。

如图1，本发明提供的一种联合目标区域定位和深度特征学习的跌倒识别算法，针对目标对象，在使用优化后的深度图像的基础上，利用深度特征判断出运动人体是否跌倒；其具体实现包括以下步骤：

步骤1)：通过Kinect将人体动作信息作为输入，采集RGB图像和深度图像，参见图2；对Kinect进行参数分析，如下表所示。

表1 Kinect参数分析

由上表可知，本发明中Kinect以30帧每秒的速度采集图像，所采集的RGB图像和深度图像的分辨率分别为1920×1080、512×484，Kinect可以采集水平方向-35°～35°、垂直方向-30°～30°范围内的景物，其可识别的距离为500-4500毫米。

步骤2)：图像灰度值的计算。通过Kinect测得人体与Kinect设备之间的距离d，结合Kinect的测量参数，得出图像的灰度值为g_d，参见图3：

步骤3)：目标区域高度h的计算。深度图像中的人体区域即为目标区域，H是已知量人的实际身高，目标区域高度为：

步骤4)：目标区域宽度w的计算。在理想情况下，W是已知量人的实际宽度，目标区域宽度为：

步骤5)：首先对图像的每个像素进行编号，用x_i,j表示图像的第i行第j列元素；对卷积核的每个权重进行编号，用w_m,n表示第m行第n列权重，用w_b表示偏置项；对特征映射的每个元素进行编号，用a_i,j表示特征映射的第i行第j列元素；用f表示激活函数(选择relu函数作为激活函数)。然后，使用下列公式计算卷积：

第一隐藏层进行卷积，由6个特征映射组成，每个特征映射由28×28个神经元组成，每个神经元指定一个5×5的接受域，这28×28个神经元共享5×5个权值参数，即卷积核；第二隐藏层实现下抽样和局部平均，它由6个特征映射组成，每个特征映射由14×14个神经元组成。每个神经元具有一个2×2的接受域，一个可训练系数，一个可训练偏置和一个sigmoid激活函数。训练系数和偏置可控制神经元的操作。

步骤6)：第三隐藏层进行第二次卷积，它由12个特征映射组成，每个特征映射由10×10个神经元组成。该隐藏层中的每个神经元和下一个隐藏层几个特征映射的突触连接，实现卷积操作。第四个隐藏层实现第二次下抽样和局部平均计算。它由12个特征映射组成，但每个特征映射由5×5个神经元组成，它与第一次采样有相似的方式操作。

步骤7)：卷积和下抽样之间交替进行计算后，在全连接层提取特征，得到输出量，判别跌倒与非跌倒。深度特征学习函数：

f(x)＝f_L(...f₂(f₁(x；w₁)；w₂)...w_L)

(11)

其中{f₁,f₂,…,f_L}是输入x(输入图像，或在前一层的特征映射)和参数向量(学习的权重){w₁,w₂,…,w_L}的函数。L是神经网络的层数，f(x)是神经网络的输出。深度特征学习函数的实现是通过卷积神经网络，包括卷积层、池化层和全连接层。函数的类型和序列通常被选择，参数可以从样本数据中学习。因此产生的功能可以实现有用的映射。

本申请的发明人对本发明方法的收敛性进行验证，实验结果参见图4，无论是RGB图还是深度图像，该算法都收敛。但是，深度图的收敛速度快于RGB图，当迭代次数为20时，深度图的识别误差收敛接近0，而RGB图像的识别误差刚刚开始收敛。由实验数据可知，使用深度图像可以提高算法的识别效率

本申请的发明人对本发明方法的效果进行了实验验证，在对大约4520幅不同类型人体行为图像(其中RGB图像2260幅，深度图像2260幅，包含非跌倒2520幅，跌倒2000幅)进行分类测试后，得出的识别结果如下表：

表2算法识别率及其效率

从表中可知，实验选取三组不同尺寸的图像进行测试，无论哪一种尺寸，深度图像的识别率和识别效率都明显由于RGB图像；采用目标区域定位优化后的图像识别率和识别效率优于未优化的图像；对于深度图像，经过多次实验，发现使用大小为32×32的图像的识别率远高于其他两组图像，对未优化图像的识别率为95.4％，优化后的识别率为100％。由实验数据可知，本发明方法不仅对识别的鲁棒性都有提高，而且提高了识别率和识别效率。实验设备配置为，操作系统和版本Windows 10/Visual Studio 2013，2.5Ghz主频四核Corei5CPU，支撑环境.net framework 4.0及以上，Microsoft Xbox驱动，USB 3.0数据接口，Microsoft Kinect 2.0，64位(x64)处理器，专用的USB 3.0总线(英特尔和瑞萨控制器)，2GB RAM，NVIDIA Geforce 610m显卡，Windows Server 2012及以上网络环境。

本发明方法利用Kinect采集的深度图像进行研究，深度图像的成像只与空间距离有关，提高了算法的鲁棒性；且使用目标区域定位方法优化采集到的图像，提高算法的识别率。同时，深度特征学习避免了复杂的模型建立，计算成本小，提高算法的识别效率。因此，在识别效率方面，本发明方法的识别效率高，在实时性方面有很大的优势；在识别率方面，本发明提高了对人体跌倒和非跌倒行为的识别能力。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种联合目标区域定位和深度特征学习的跌倒识别算法，其特征在于包括如下步骤：

步骤1)图像采集与分析：通过Kinect将采集到的人体动作信息作为输入，计算向人体投射的红外光束被接收器接收的时间，获得距离信息，绘制深度图；

步骤2)计算图像灰度值：通过Kinect测得人体与设备之间的距离d，根据d值得出深度图的灰度值为g_d；

步骤3)目标区域高度计算：将深度图中的人体区域设定为目标区域，根据式(2)计算目标区域的高度h，

式(2)中，H是已知量人的实际身高；

步骤4)目标区域宽度计算：根据式(3)计算目标区域宽度w，

式(3)中，W是已知量人的实际宽度；

步骤5)基于卷积神经网络进行卷积操作：所述卷积神经网络包括卷积层、池化层和全连接层，卷积层包含固定的特征映射，每个特征映射由固定的神经元组成，每个神经元和下一层特征映射的突触连接，实现卷积操作；

步骤6)进行下采样和局部平均：所述每个神经元具有接受域一个可训练系数，一个可训练偏置和sigmoid激活函数，所述训练系数和可训练偏置控制神经元的操作实现下采样和局平均。

步骤7)交替执行步骤5)与步骤6)，在全连接层提取深度特征，得到输出量，判断是否跌倒。

2.根据权利要求1所述的联合目标区域定位和深度特征学习的跌倒识别算法，其特征在于所述步骤2)具体为：Kinect采集深度图像的有效距离为500～4500mm，在500mm、4500mm处的灰度值分别为255、0，人机距离小于500mm时，灰度值默认为255，人机距离大于4500mm时，灰度值默认为0，在500～4500mm范围内根据式(1)对灰度值进行等间隔梯度划分，得到距离与灰度值的关系定义式：

3.根据权利要求1所述的联合目标区域定位和深度特征学习的跌倒识别算法，其特征在于所述步骤5)具体为：对图像中的每个像素进行编号，用x_i,j表示图像的第i行第j列元素；卷积核的大小为k×k，对卷积核的每个权重进行编号，用w_m,n表示第m行第n列权重，用w_b表示偏置项；对特征映射的每个元素进行编号，用a_i,j表示特征映射的第i行第j列元素；用f表示激活函数，计算卷积如式(5)：

w_b表示偏置值。

4.根据权利要求1所述的联合目标区域定位和深度特征学习的跌倒识别算法，其特征在于所述步骤7)中根据式(6)进行深度特征学习：

f(x)＝f_L(...f₂(f₁(x；w₁)；w₂)...w_L) (6)

式(6)中，x表示输入图像或在前一层的特征映射，参数向量{w₁,w₂,…,w_L}表示学习的权重，{f₁,f₂,…,f_L}表示是输入x和w的函数，L是神经网络的层数，f(x)是神经网络的输出。