CN107578036A

CN107578036A - 一种基于小波矩的深度图像跌倒识别算法

Info

Publication number: CN107578036A
Application number: CN201710913400.5A
Authority: CN
Inventors: 李洪均; 李超波; 丁宇鹏; 胡伟; 谢正光; 许可
Original assignee: Nantong University
Current assignee: Nantong University
Priority date: 2017-09-28
Filing date: 2017-09-28
Publication date: 2018-01-12

Abstract

本发明提出了一种基于小波矩的深度图像跌倒识别算法。该算法首先根据图像中各像素点相对于质心的距离做归一化，然后对归一化的图像极坐标化、FFT变换，最后对图像进行小波变换获取特征向量，并结合最小距离分类法识别人体行为。通过对大量的人体行为样本进行测试，本发明算法的识别率达到了90%。本发明通过利用深度图像和小波矩特征的平移、缩放和旋转不变性，解决了传统视频图像处理存在的隐私问题，提高识别性能。本发明不仅提高了对人体跌倒行为的识别能力，而且具有更好的鲁棒性，有很好的应用前景。

Description

一种基于小波矩的深度图像跌倒识别算法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于小波矩的深度图像跌倒识别算法。

背景技术

跌倒检测是人体异常行为检测的热点问题，国内外许多人员对此展开研究。目前，主要的有以下几种方法：(1)基于可穿戴设备[文献1](P.Pierleoni,A.Belli,L.Palma,M.Pellegrini,L.Pernini,S.Valenti.A high reliability wearable device forelderly fall detection[J].IEEE Sensor.2015,15(5):4544-4553.)：使用加速度计等传感器检测对象的运动参数，舒适性和扩展性较差。(2)基于声频信息[文献2](Litvak D,Zigel Y,Gannot I.Fall Detection of Elderly through Floor Vibrations and Sound[C].Engineering in Medicine and Biology Society,International Conference ofthe IEEE.2008:4632-4635.)：该方法利用跌倒时身体与地面发生碰击产生的震动频率信号进行判断人体的跌倒，但是易受噪音干扰。(3)基于2D视频图像捕捉[文献3](MaldonadoC,Ríos H,Mezura-Montes E,et al.Feature selection to detect fallen pose usingdepth images[C].International Conference on Electronics,Communications andComputers.IEEE,2016:94-100.)：通过图像处理技术检测视频监测系统获取的对象信息，然而图像传输的延迟性导致行为检测的实时性有限，光线不足和阴影下检测效果急剧下降。2010年Kinect设备的出现(提供了深度信息)为优化先前人体跌倒检测方法提供了可能，基于Kinect检测更具有舒适性和私密性的优点。

研究人员将Kinect应用于人体跌倒检测的方法大致分为两类，一类是利用Kinect骨架信息进行跌倒检测，如Kawatsu[文献4](Kawatsu C,Jiaxing L,Chung CJ.Development of a Fall Detection System with Microsoft Kinect[J].Robot

Intelligence Technology and Applications,2012:623-630.)等人的研究，通过Kinect获取人体骨架关节点的空间位置，设计摔倒识别特征，采用阈值法或支持向量机等技术进行跌倒检测。利用骨架信息进行跌倒检测算法简单，计算量小，但由于Kinect获取的关节点数据不稳定，当人体被障碍物遮挡时，一些重要的关节点会丢失，造成计算错误而误报。另一类是通过Kinect获取的彩色或深度图像进行跌倒检测。如Rougier[文献5](Rougier C.Monocular 3D head tracking to detect falls of elderly people[C].Annual International Conference of the IEEE Engineering in Medicine andBiology-Proceedings.2006,1(1):6384-6387.)从前景图中分割出人体图像，提取质心高度，用人体质心与地面的距离以及人体质心的速度进行跌倒识别，提出的算法能在遮挡场景中识别慢速坐、蹲等活动，但对于速度较快的动作(如快速下蹲捡拾物品，迅速坐下等)易产生误报。Kepski[文献6](Kepski M,Kwolek B.Fall detection using ceiling-mounted3D depth camera[C].Proceedings of the 9th International Conference onComputer Vision Theory and Applications.2014:640-647.)等人将Kinect与加速度传感器结合检测人体跌倒事件，通过对深度图像的不同处理技术检测出前景物体(人)，计算人体重心点以及人体重心与地面的高度距离，根据两种传感器获取的人体状态信息和预定义规则，综合评估跌倒事件的发生。瞿畅等人[文献7](瞿畅,孙杰,王君泽等.基于Kinect体感传感器的老年人跌倒自动检测[J].传感技术学报,2016,29(3):378-383.)通过建立人体3D(高、宽、深)包围盒，计算包围盒高度方向和深-宽度方向的速度,进行跌倒检测，对行走过程中的跌倒具有较高检测准确率。王力玄[文献8](王力玄.基于RGBD跌倒检测综述[J].电脑知识与技术:学术交流,2015(4):172-176.)通过对彩色深度图像的开发，提出了一种在Kinect俯视视角下的人体识别与跌倒检测方法，并可检测与跟踪多个人体。目前相关研究处于起步阶段，有较大研究空间。

发明内容

本发明目的在于克服现有技术的不足，利用深度图像采集信息，运用小波矩的尺度、平移不变性提取特征，在时域、频域同时表征信号局部特征，提供了一种基于小波矩的深度图像跌倒识别算法，具体由以下技术方案实现：

所述基于小波矩的深度图像跌倒识别算法，包括如下步骤：

步骤1)深度图像采集：通过Kinect将人体自然身体运动作为输入，通过在人体上投射红外光并计算每个光束需要被传感器的红外光接收器接收的时间，绘制深度图，并二值化；

步骤2)图像归一化：确定图形的灰度质心坐标，取质心坐标再根据像素点相对于质心的距离做归一化处理，归一化后的坐标为(x,y)；

步骤3)图像极坐标化：对于连续函数f(x,y)其相应的极坐标函数表示为f(r,θ)，其中x＝rcos(θ)，y＝rsin(θ)，r为极径、θ为极角，图像的(p+q)矩特征定义如式(1)：

F_pq＝∫∫f(r,θ)g_p(r)e^jqθrdrdθ p,q＝0,1,2,...(1)其中,g_p(r)是变换核的径分量，e^jqθ为变换的角度分量，p、q为常数，e为自然对数的底数；

步骤4)FFT变换：设定角度间隔Δθ＝2π/N，则角度积分为：N表示变换点数，m表示[0，N-1]的常数；

步骤5)小波变换获取特征：对步骤4)的积分结果利用小波函数在径向区域内提取特征；

步骤6)采用最小距离分类法，将未知类别的图像的特征点和特征空间中标准样本中心之间的距离作为分类的准则，并根据特征数据，得出识别结论。

所述基于小波矩的深度图像跌倒识别算法的进一步设计在于，所述步骤2)中质心坐标满足m₁₀、m₀₁为一阶矩、m₀₀为零阶矩；归一化后的坐标为(x,y)满足其中α为缩放因子满足M为归一化半径。

所述基于小波矩的深度图像跌倒识别算法的进一步设计在于，所述步骤2)中根据式(2)将特征提取从二维转化到一维，

F_pq＝∫S_q(r)g_p(r)rdrdθ

(2)

S_q(r)＝∫f(r,θ)e^jqθdθ

S_q(r)代表图像f(r,θ)在相位空间[0,2π]中的第q个特征量。

所述基于小波矩的深度图像跌倒识别算法的进一步设计在于，所述步骤4)具体为：

通过g_p(r)构造小波矩，设小波函数ψ_jk(r)，如式(3)：

式(3)中，j、k分别表示尺度因子和位移因子，将j、k分别取做整数离散形式，则有j＝j₀ ⁿ，n为整数，j₀的值设为0.5且k₀>0，随着j取值的不同，ψ_jk(r)将含有表现不同频率分量的特征；

小波矩不变量的定义，如式(4)：

对于某一固定的r，(0≤r≤1)，取不同的尺度因子j、位移因子k，根据式(4)提供f(r,θ)在不同尺度水平上的特征，记特征量 D^j为高频细节特征、S^j为低频信息特征；以D^j与S^j为特征量进行识别。

所述基于小波矩的深度图像跌倒识别算法的进一步设计在于，所述步骤5)中通过选择尺度为5的Daubechies4小波构造小波矩，提取特征值。

所述基于小波矩的深度图像跌倒识别算法的进一步设计在于，所述步骤6)中，将人体行为分为非跌倒和跌倒两类，分别用T₁、T₂表示，每一类有10个标准样本特征向量，分别为(x₁,x₂,....,x₁₀)和(y₁,y₂,...,y₁₀)，则未知类别的待检测图像的特征向量(z₁,z₂,...,z₁₀)和T₁以及T₂类模板特征向量之间的欧几里德距离分别为：

相应的判别准则为：把未知图像的特征向量(z₁,z₂,...,z₁₀)和两类人体行为图像模板的特征向量分别求距离，得到一个距离集d₁、d₂，将未知人体行为分到与未知人体行为距离最小的那一类型，d₁、d₂分别代表待检测图像特征向量与非跌倒、跌倒模板中特征向量之间的距离，若d₁＜d₂，则未知图像中人体行为的类别为非跌倒。本发明的优点如下：

本发明基于小波矩的深度图像跌倒识别算法，是一种复杂度低、鲁棒性高的算法。方法中Kinect采集的深度图像，解决了传统视频图像处理存在的隐私问题；并且深度图像的成像只与空间距离有关，受到光照、阴影、复杂背景的影响非常小，在暗室中仍然能够成像，图像噪声小提高系统的鲁棒性。因此，通过深度信息将前景人体和背景区分开就变得非常容易，并且不受环境的影响，提高系统的鲁棒性。同时，小波矩特征具有平移、缩放和旋转不变性，小波分析可以兼顾图像的全局性和局域性；因此，算法提高了对人体行为的识别能力。

附图说明

图1本发明方法的流程框图。

图2本发明图像采集与预处理结果图。

图3本发明非跌倒行为下的各尺度下的小波系数特征图。

图4本发明跌倒行为下的各尺度下的小波系数特征图。

具体实施方式

结合具体实施例与附图对本发明的技术方案进一步说明。

如图1，本实施例提供的一种基于小波矩的深度图像跌倒识别算法，针对目标对象，在使用深度图像的基础上，利用小波矩不变量判断出运动人体是否跌倒，其具体实现包括以下步骤：

步骤1)通过Kinect将人体自然身体运动作为输入，进行图像采集，并进行预处理，参见图2。Kinect是发布的XBOX系列的体感周边外设。

步骤2)对图像进行尺度和平移归一化。具体方法为：首先确定图形的灰度质心坐标，取质心坐标其中定义缩放因子α，M为归一化半径，根据像素点相对于质心的距离做归一化，

步骤3)图像极坐标化，对于连续函数f(x,y)其相应的极坐标函数表示为f(r,θ)，其中x＝rcos(θ)，y＝rsin(θ)。它的(p+q)矩特征定义为：

F_pq＝∫∫f(r,θ)g_p(r)e^jqθrdrdθp,q＝0,1,2,...其中g_p(r)是变换核的径分量，e^jqθ为变换的角度分量。可将上式写成：

F_pq＝∫S_q(r)g_p(r)rdrdθ

S_q(r)＝∫f(r,θ)e^jqθdθ

S_q(r)表示图像f(r,θ)在相位区域{0≤θ≤2π}内的特征分布，这样就将特征提取从二维转化到一维。

证明矩特征||F_pq||的不变性。设旋转后的函数为f(r,θ+△θ)，△θ为旋转角度，则旋转后的矩F_p'_q为：

F_p'_q＝∫∫f(r,θ₀)g(r)re^jq(θ+△θ)drdθ＝e^jq△θF_pq

即||F_pq||＝||F′_pq||，即证明了矩的旋转不变性，其中θ₀为θ的初始状态。若g_p(r)是定义在r的整个定义域，{0≤r≤1}，{0≤θ≤2π}则提取的F_pq表示图像的全局特征，若g_p(r)是定义在r局部的，则相应的F_pq为图像的局部特征。如果F_pq是关于变量r的局部定义的函数，则样本特征的变化区域可能重叠的机会必然会减小。这就是利用小波变换从图像中提取不变矩的关键构想。

步骤4)角度积分S_q(r)＝∫f(r,θ)e^jqθdθ，因是关于变量r的一维序列，实际进行的是离散的变换，因此需把积分离散化：选取适当的角度间隔Δθ＝2π/N，一般情况下N＝2ⁿ，在本发明的实验中取N为64。则角度积分为：这是Fourier级数的形式，可采用FFT实现计算。

步骤5)本发明通过选择尺度为5的Daubechies4小波来构造小波矩，提取特征值。图3、图4给出跌倒和非跌倒样本下，不同尺度系数下的特征。由图可知S⁴和S⁵为4尺度和5尺度下的低频分量，D⁴和D⁵分别代表4尺度和5尺度下的高频分量；S⁴、S⁵和D⁴在特征系数差异不明显，不利于跌倒检测；D⁵高频细节分量比低频细节分量的特征描述更为详细，且在该尺度和方向上的特征分类能力最强，因此，选择高频细节分量D⁵的信号作为特征量。具体数值参见表1，表1列出了4组数据，其中两组为非跌倒状态，两组为跌倒状态。

表1 非跌倒与跌倒的特征值

步骤6)人体行为分为非跌倒和跌倒两类，分别用T₁、T₂表示，每一类有10个标准样本特征向量，分别为(x₁,x₂,....,x₁₀)和(y₁,y₂,...,y₁₀)。则未知类别的待检测图像的特征向量(z₁,z₂,...,z₁₀)和T₁以及T₂类模板特征向量之间的欧几里德距离分别为：

相应的判别准则为：把未知图像的特征向量(z₁,z₂,...,z₁₀)和两类人体行为图像模板的特征向量分别求距离，可以得到一个距离集d₁、d₂，将未知人体行为分到与它距离最近的类别，即取与未知人体行为距离最小的那一类型。如果d₁、d₂分别代表待检测图像与非跌倒、跌倒模板的距离，且d₁＜d₂，则未知人体行为的类别为非跌倒，如表2中待检测图像，d₁＝1.97，d₂＝21.31,因为d₁＜d₂，故图中人未跌倒。

表2 未知图像与标准图像比较

本申请的发明人对本发明方法的效果进行了实验验证，在对100幅不同类型人体行为图像(其中非跌倒58幅，跌倒42幅)进行分类测试后，得出的识别结果为：非跌倒图像正确识别52幅，正确率约为90％；跌倒图像正确识别37幅，正确率约为88％。由实验数据可知，本发明方法在主观和客观方面对识别的鲁棒性都有了提高。实验设备配置为，操作系统和版本Windows 10/Visual Studio 2013，2.5Ghz主频四核Core i5CPU，支撑环境.netframework 4.0及以上，Microsoft Xbox驱动，USB 3.0数据接口，Microsoft Kinect 2.0，64位(x64)处理器，专用的USB 3.0总线(英特尔和瑞萨控制器)，2GB RAM，NVIDIA Geforce610m显卡，Windows Server 2012及以上网络环境。

本发明方法采用Kinect采集的深度图像进行研究，受光照影响小，提高了算法的鲁棒性；且使用小波矩特征具有平移、缩放和旋转不变性，同时，小波分析又兼顾了图像的全局性和局域性。因此，本发明方法在实时性方面有很大的优势，从识别率来看，本发明提高了对人体行为的识别能力。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种基于小波矩的深度图像跌倒识别算法，其特征在于包括如下步骤：

步骤3)图像极坐标化：对于连续函数f(x,y)其相应的极坐标函数表示为f(r,θ)，其中x＝r cos(θ)，y＝r sin(θ)，r为极径、θ为极角，图像的(p+q)矩特征定义如式(1)：

F_pq＝∫∫f(r,θ)g_p(r)e^jqθrdrdθ p,q＝0,1,2,...(1)

其中,g_p(r)是变换核的径分量，e^jqθ为变换的角度分量，p、q为常数，e为自然对数的底数；

2.根据权利要求1所述的基于小波矩的深度图像跌倒识别算法，其特征在于所述步骤2)中质心坐标满足m₁₀、m₀₁为一阶矩、m₀₀为零阶矩；归一化后的坐标为(x,y)满足其中α为缩放因子满足M为归一化半径。

3.根据权利要求1所述的基于小波矩的深度图像跌倒识别算法，其特征在于所述步骤2)中根据式(2)将特征提取从二维转化到一维，

F_pq＝∫S_q(r)g_p(r)rdrdθ

(2)

S_q(r)＝∫f(r,θ)e^jqθdθ

S_q(r)代表图像f(r,θ)在相位空间[0,2π]中的第q个特征量。

4.根据权利要求1所述的基于小波矩的深度图像跌倒识别算法，其特征在于所述步骤4)具体为：

通过g_p(r)构造小波矩，设小波函数ψ_jk(r)，如式(3)：

小波矩不变量的定义，如式(4)：

<mrow> <mtable> <mtr> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>F</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>k</mi> <mo>,</mo> <mi>q</mi> </mrow> </msub> <mo>=</mo> <mo>|</mo> <mo>|</mo> <mo>=</mo> <mo>|</mo> <mo>|</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>r</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>1</mn> </munderover> <msub> <mi>S</mi> <mi>q</mi> </msub> <mrow> <mo>(</mo> <mi>r</mi> <mo>)</mo> </mrow> <msub> <mi>&psi;</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>r</mi> <mo>)</mo> </mrow> <mi>r</mi> <mo>|</mo> <mo>|</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>q</mi> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

5.根据权利要求1所述的基于小波矩的深度图像跌倒识别算法，其特征在于所述步骤5)中通过选择尺度为5的Daubechies4小波构造小波矩，提取特征值。

6.根据权利要求1所述的基于小波矩的深度图像跌倒识别算法，其特征在于所述步骤6)中，将人体行为分为非跌倒和跌倒两类，分别用T₁、T₂表示，每一类有10个标准样本特征向量，分别为(x₁,x₂,....,x₁₀)和(y₁,y₂,...,y₁₀)，则未知类别的待检测图像的特征向量(z₁,z₂,...,z₁₀)和T₁以及T₂类模板特征向量之间的欧几里德距离分别为：

相应的判别准则为：把未知图像的特征向量(z₁,z₂,...,z₁₀)和两类人体行为图像模板的特征向量分别求距离，得到一个距离集d₁、d₂，将未知人体行为分到与未知人体行为距离最小的那一类型，d₁、d₂分别代表待检测图像特征向量与非跌倒、跌倒模板中特征向量之间的距离，若d₁＜d₂，则未知图像中人体行为的类别为非跌倒。