CN111243230A - 基于两台深度相机的人体跌倒检测装置和方法 - Google Patents

Abstract

本发明公开了一种基于两台深度相机的人体跌倒检测装置和方法，包括第一深度相机，还包括第二深度相机，所述第一深度相机距离地面一定高度，垂直于竖直墙面放置，朝向门，第二深度相机移动设置在天花板上的直线导轨上，第一深度相机、第二深度相机采集的图像发送给图像处理器，所述图像处理器运行权利要求4‑8任一项所述的检测方法。本发明只对登记的用户进行追踪和跌倒检测，减少了无意义的计算。第二深度相机能够有效捕捉到被遮挡的目标，防止由于目标跌倒时被遮挡而导致的漏检，特别适合在复杂遮挡情况下的人体跌倒检测。

Description

基于两台深度相机的人体跌倒检测装置和方法

技术领域

本发明涉及一种基于两台深度相机的人体跌倒检测装置和方法，属于图像智能处理技术领域。

背景技术

现有的人体跌倒检测算法可以分为三类：一是通过穿戴式传感器采集人在各种状态下的姿态、运动等信息，利用这些信息判断佩戴者的是否发生跌倒，可穿戴相机成本低、计算量小、监控范围大，但穿戴式相机准确度不高，舒适性低，老年人易忘记佩戴；二是通过架设在场景中的环境传感器对场景中的声音、压力、地板震动等信息进行分析以检测跌倒事件，环境传感器方法简单，对受试者无侵入伤害，但是环境传感器易受环境中其他事物影响，误报率较高；三是通过监控摄像头，借助图像处理技术对于目标图像实时分析以检测跌倒事件的发生，基于视频监控的方法拥有最高的准确率，但摄像机位置一般固定，所以监控范围有限，而且存在暴露隐私的风险。

深度相机利用自身的红外摄像机发出激光覆盖场景中的物体，再接受物体表面的漫反射，利用光编码技术，对空间进行编码。深度相机对于具有三维纵深的编码进行解码运算，获得深度图像数据流。深度相机不依赖可见光，不会泄露隐私，且可以获取物体的三维信息进行有效的跌倒检测，但是监控范围有限，室内环境复杂时，目标跌倒时容易被遮挡，进而因为无法捕捉到目标而难以进行有效地跌倒检测。

发明内容

目的：为了解决单个深度相机监控范围有限，目标跌倒时容易被遮挡，进而因为无法捕捉到目标而难以进行有效地跌倒检测的问题，本发明提供一种基于两台深度相机的人体跌倒检测装置和方法。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

基于两台深度相机的人体跌倒检测装置，包括第一深度相机，还包括第二深度相机，所述第一深度相机距离地面一定高度，垂直于竖直墙面放置，朝向门，第二深度相机移动设置在天花板上的直线导轨上，第一深度相机、第二深度相机采集的图像发送给图像处理器，所述图像处理器运行权利要求4-8任一项所述的检测方法。

作为优选方案，所述直线导轨设置在天花板中线上。

作为优选方案，所述直线导轨上每隔一段距离设置一处巡航点，第二深度相机在巡航点处采集图像。

一种基于两台深度相机的人体跌倒检测方法，其特征在于：包括如下步骤：

第一深度相机采集图像进行目标身份验证；

第一深度相机采集图像对已登记身份用户进行目标追踪，并对被追踪目标提取特征判断是否跌倒；

当第一深度相机追踪目标失败进而无法判断目标是否跌倒时，第二深度相机利用直线导轨移动到第一深度相机追踪失败的目标的上方的巡航点处，确认目标是否跌倒。

作为优选方案，通过身份验证检测到已登记人员后，第一深度相机开始对已登记人员对应的前景区域进行目标追踪，所述目标追踪的步骤如下：

步骤1：使用检测到的已登记人员对应的前景区域的外接矩形作为初始搜索窗口，计算目标的深度直方图，将此深度直方图作为深度直方图模板。

步骤2：利用目标的深度直方图模板计算反向投影图中每个像素点的概率；

D＝||(x_center,y_center)-(x,y)||₂

式中，R代表搜索窗口；f_R(x,y)代表搜索窗口(x,y)坐标处的深度值；M，N分别代表搜索窗口的长、宽；n代表某一深度值，H(n)代表深度值在深度直方图模板中的归一化比值；(x_center,y_center)代表搜索窗口中心，D代表窗口(x,y)坐标到搜索窗口中心的距离；c₂代表距离衰减半径，c₁代表衰减半径处的衰减幅度；I(x,y)为反向投影图中每个像素点的概率，δ(·)代表冲激函数。

步骤3：计算搜索窗口的零阶矩M₀₀，x坐标的一阶矩M₁₀，y坐标的一阶矩M₀₁分别如下：

步骤4：计算搜索窗口的质心(x_c,y_c)：

步骤5：将搜索窗口质心移动到新的质心(x_c,y_c)处，如果移动距离大于预设的固定阈值，则重新计算调整后的搜索窗口质心，直到窗口中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到最大次数，认为收敛条件满足，获取下一帧图像进行新的搜索，用得到的搜索窗口的中心和大小来初始化当前帧的搜索窗口，重新计算当前搜索窗口深度直方图后转到步骤2。

作为优选方案，第一深度相机对追踪目标提取特征进行跌倒检测的步骤如下：

对于被追踪目标计算其高度状态特征，具体计算公式如下：

式中，H_state代表高度状态特征；H_max、H_cent代表追踪目标的最大高度和质心高度；k_max为已登记用户的平均高度，k_cent为已登记用户的平均高度的一半；当高度状态特征H_state在一段时间内与1的差值，小于设定的阈值，第一深度相机判断目标跌倒。

作为优选方案，当第一深度相机目标追踪失败时，将第二深度相机移动到被遮挡目标上方巡航点处确认目标是否跌倒；第二深度相机移动到被遮挡目标上方的第N号巡航点，N的计算公式如下：

D＝|L-Z_cent|

N＝D/d

式中，Z_cent为目标的质心在第一深度相机中的Z轴坐标，L为房间长度，D为目标质心到第二深度相机的距离在地面上的投影距离，d为巡航点间的距离间隔，N为巡航点的编号。

作为优选方案，第二深度相机移动到追踪失败的目标的上方的巡航点后，第二深度相机采集图像确认目标是否跌倒的步骤如下：

深度相机2需要在进行跌倒检测之前对场景进行背景建模。首先，在室内没有行人的情况下，在每一个巡航点处，第二深度相机采集一帧深度图像，然后使用采集的图像建立该巡航点处的背景模型，具体如公式所示：

B(x)＝{v₁,v₂,...,v_N}

式中，x代表巡航点处采集的深度图中的一个像素点，B(x)代表该像素点处的背景模型，v_i代表在采集的深度图中从像素点x的邻域内随机选择的深度值；

对于从该巡航点采集的深度图中的像素点，通过计算其当前像素值与背景模型中样本的匹配数目，若背景模型中与之匹配的样本数目超过预定的数目阈值，则该像素点判为前景点，否则，判为背景点。

具体过程如下式所示：

式中，#{S_R(v(x))∩B(x)}代表背景模型中与像素点的当前像素值匹配的样本数目；

#_min代表预定的数目阈值，foreground代表前景点、background代表后景点；

第二深度相机采用滞留物提取的方式提取出可能的跌倒目标，滞留物提取采用如下公式：

式中，delay(x)用于度量像素持续为前景的时间长度，若像素为前景且delay(x)小于最大值上限th_delay+ΔT，则delay(x)增加ΔD₁，若delay(x)大于等于最大值上限th_delay+ΔT，delay(x)保持不变，若像素为背景，则delay(x)减小ΔD₂；若delay(x)大于设定的阈值th_delay，则认为像素为滞留物，其中：abandoned代表滞留像素、ΔD₁代表滞留时间增幅的一个单位、ΔD₂代表滞留时间减幅的一个单位、ΔT代表滞留像素阈值的允许波动范围；

若在规定的时间段内未提取到滞留物，则结束判断，若提取到滞留物，则对滞留物进行身份验证，确认是否为已登记的用户，若为已登记的用户，则进行跌倒判断。跌倒判断的方式为计算被遮挡目标中距离地面高度低于40cm的像素数目占被遮挡目标总像素数目的比值，若比值在一段时间内持续大于设定的阈值，则认为目标跌倒。

有益效果：本发明提供的基于两台深度相机的人体跌倒检测装置和方法，与现有技术相比具有以下优点：

(1)、与现有的基于深度相机的人体跌倒检测技术相比，本发明通过使用第一深度相机进行身份验证以识别出已登记的容易跌倒的用户，然后只对登记的用户进行追踪和跌倒检测，减少了无意义的计算。

(2)、与现有的基于单个深度相机的人体跌倒检测技术相比，本发明通过第一深度相机追踪目标，在发生遮挡的情况下记录目标的位置，然后使用直线导轨将第二深度相机移动到目标所在位置上方以捕捉被遮挡目标，能够有效捕捉到被遮挡的目标，防止由于目标跌倒时被遮挡而导致的漏检，特别适合在复杂遮挡情况下的人体跌倒检测。

附图说明

图1是两台深度相机和直线导轨在检测环境中的安装位置的正视图。

图2是两台深度相机和直线导轨在检测环境中的安装位置的俯视图。

图3是直线型导轨的巡航点位置图，图中圆型代表巡航点。

图4是第一深度相机捕捉的直立状态的用户的深度图像。

图5是第一深度相机捕捉的无遮挡条件下的跌倒的用户的深度图像。

图6是第一深度相机捕捉的遮挡条件下的跌倒的用户深度图像。

图7是第二深度相机(俯拍)捕捉的在第一深度相机中被遮挡的跌倒的用户的深度图像。

图8是第一深度相机追踪的目标的高度状态特征变化曲线图。

图9是第二深度相机捕捉的被遮挡目标中低于指定高度的点的比例变化曲线图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明提出一种基于两台深度相机的人体跌倒检测装置和方法，该方法适合于存在复杂遮挡的室内环境中的跌倒检测。如图6所示，当人体在室内环境中跌倒时，有可能被环境中的家具遮挡住大部分或者整个人体，这种情况下，深度相机因为无法捕捉到目标进而无法有效进行跌倒检测。若只使用一台放置在室内一角的相机，则由于位置和角度原因难以保证人体在跌倒时不被遮挡。使用安装在天花板上的朝向地面的深度相机可以有效的避免被跌倒的人体被家具遮挡，但是，这种布置方式下，深度相机的视野较小而难以覆盖整个室内。采用将深度相机安装在直线导轨上，然后将直线型导轨布置在天花板上可以有效解决上述的视野较小的问题，但是，这种布置方式需要深度相机追踪目标而时刻移动，计算量大且易产生噪声，舒适性差。因而，本发明提出了使用两台深度相机协同工作的方式进行人体跌倒检测的装置和方法。

人体跌倒检测装置包括第一深度相机1、第二深度相机2、直线型导轨以及图像处理器，所述图像处理器如个人计算机。其中，第一深度相机1、第二深度相机2用于采集不同角度的图像，直线型导轨用于通过巡航的方式扩大第二深度相机的视野范围，图像处理器用于图像处理与分析。

第一深度相机1、第二深度相机2、直线型导轨布置方式如图1、2、3所示，第一深度相机距离地面一定高度，垂直于竖直墙面放置，朝向门；直线导轨布置在天花板的中线上且每隔一段距离设置一处巡航点；第二深度相机布置在直线导轨上，并且朝向地面，在第二深度相机巡航过程中仅在巡航点处采集图像。

基于该装置的人体跌倒检测的方法，使用第一深度相机对目标进行身份认证提取出已登记的用户，然后使用改进的Camshift追踪算法在深度图像中对目标进行追踪，若追踪过程中未发生遮挡，则通过对第一深度相机的追踪目标计算高度状态特征来判断目标是否跌倒，若发生遮挡，则保存目标的最后追踪位置，接下来，根据目标的最后追踪位置将第二深度相机移动到被遮挡目标上方的巡航点处，第二深度相机提取出被遮挡目标并对其进行身份认证，若为已登记用户，则通过计算目标中低于指定高度的点所占的比例确认目标是否跌倒。这种检测方法既保证了视野不会被家具遮挡，又减少了计算量并且不必时刻移动第二深度相机，减少了噪声，提高了舒适性。具体检测过程如下：

(1)、第一深度相机对于目标进行身份验证。

通过计算当前帧的前景区域和上一帧的已追踪目标对应的前景区域的交并比，此处两个区域的交并比定义为两个区域的重合面积占两个区域面积和的比值，若最大交并比大于第一阈值，第一阈值优选为0.5，则认为当前帧的前景区域是已存在的前景区域，否则，则认为是新出现的前景区域，对于新出现的前景区域进行身份认证，若为已登记的用户，则开始对其进行追踪。

具体的身份认证步骤如下：

训练阶段：首先从深度视频流中提取出人体轮廓前景图像，然后进行膨胀腐蚀操作填充空洞，接下来利用人体轮廓的外接矩形将人体轮廓图像抠出，获取人体轮廓图像后，使用填充全零行或列的方式将人体轮廓图像宽高比限制为2，最后，将填充好的人体轮廓图像统一缩放到同一尺寸，缩放尺寸如32*64。

获取归一化的人体轮廓图像之后，将人体轮廓图像分为两类：一类为已登记的用户，另一类为未登记的用户，下述基于主元分析的训练过程。

令x_i,j是类i的第j张人体轮廓图像，N_i为类i中图像的张数，整个样本集为

则样本集的均值m_x和方差

为

对方差矩阵进行奇异值分解后，对特征值按绝对值大小排列，并使用第二阈值，第二阈值优选90％，绝对值小于第二阈值的特征值被忽略。

接下来可以构建转换矩阵T＝[t₁,t₂,...,t_k]，其中t_i代表筛选的特征值对应的特征向量，i取[1，k]，利用T对每个训练样本降维：

P_i,j＝[t₁,t₂,...,t_k]^Tx_i,j

得到训练好的数据P_i,j。

分类阶段：对于待分类的数据，使用转换矩阵将其降维后与已降维的训练数据集进行最近邻匹配，完成人体轮廓的识别。

(2)、第一深度相机对于目标进行追踪。

通过身份验证检测到已登记人员后，第一深度相机开始对已登记人员对应的前景区域进行追踪，此处将已登记人员对应的前景区域称为目标区域。追踪方式为使用改进的Camshift追踪算法实现深度图像中的目标追踪。Camshift追踪算法原本为针对彩色图像的追踪算法，此处将其更改为针对深度图像，追踪效果如图4、5所示。具体步骤如下：

第1步：使用检测到的已登记人员对应的前景区域的外接矩形作为初始搜索窗口，计算目标的深度直方图，将此深度直方图作为深度直方图模板。

第2步：利用目标的深度直方图模板计算反向投影图。传统的Camshift追踪算法在计算反向投影图时，没有使用核函数进行加权处理，这意味着反向投影图中每个像素点的概率仅为像素点的深度在直方图模板中归一化比值。反向投影图中坐标点的概率应该和与目标之间的距离成反比，并且应该和像素点的深度在深度直方图模板中归一化比值成正比。本发明中根据这一事实建立如下公式计算反向投影图中每个坐标点的概率。

D＝||(x_center,y_center)-(x,y)||₂

式中，R代表搜索窗口；f_R(x,y)代表窗口(x,y)坐标处的深度值；M，N分别代表搜索窗口的长、宽；n代表某一深度值，H(n)代表深度值在深度直方图模板中的归一化比值；(x_center,y_center)代表搜索窗口中心，D代表窗口(x,y)坐标到搜索窗口中心的距离；c₂代表距离衰减半径，此处设为搜索窗口长宽的较大值，c₁代表衰减半径处的衰减幅度；I(x,y)为反向投影图中每个像素点的概率，δ(·)代表冲激函数。

第3步：在反向投影图中，计算目标的质心。假定(x,y)为搜索窗口的任意像素位置；I(x,y)为反向投影图中(x,y)位置的概率值。计算搜索窗口的零阶矩M₀₀，x的一阶矩M₁₀，y的一阶矩M₀₁分别如下：

计算搜索窗口的质心(x_c,y_c)：

第4步：将搜索窗口质心移动到新的质心(x_c,y_c)处。如果移动距离大于预设的固定阈值，则重新计算调整后的搜索窗口质心，直到窗口中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到最大次数，认为收敛条件满足，获取下一帧图像进行新的搜索，用得到的搜索窗口的中心和大小来初始化当前帧的搜索窗口，重新计算当前搜索窗口深度直方图后转到步骤2。

(3)、第二深度相机定位到被遮挡目标上方的巡航点。

若第一深度相机对于目标进行追踪的过程中，目标追踪失败，则认为目标可能被遮挡。接下来，根据目标的最后追踪位置(目标质心的最后追踪位置)将第二深度相机移动到被遮挡目标上方的巡航点，根据第一深度相机的特殊放置方式，具体移动到哪一号巡航点可由如下公式确定：

D＝|L-Z_cent|

N＝D/d

式中，Z_cent为目标的质心在第一深度相机中的Z轴坐标，L为房间长度，D为目标质心到第二深度相机的距离在地面上的投影距离，d为巡航点间的距离间隔，N为巡航点的编号。

(4)、第二深度相机提取被遮挡目标。

第二深度相机移动到特定的巡航点后基于背景减除法提取出被遮挡目标。具体包括四个步骤：背景建模、前景提取、滞留物提取、身份认证。

背景建模：由于直线型导轨上设置有多个巡航点并且每个巡航点处深度相机视野不同，所以每个巡航点处需要分别进行背景建模。具体步骤如下：在室内没有行人的情况下，在每一个巡航点处，第二深度相机采集一帧深度图像，然后使用采集的图像建立该巡航点处的背景模型，具体如公式所示：

B(x)＝{v₁,v₂,...,v_N}

式中，x代表巡航点处采集的深度图中的一个像素点，B(x)代表该像素点处的背景模型，v_i代表在采集的深度图中从像素点x的邻域内随机选择的深度值。

前景提取：建立好巡航点处的背景模型后，对于从该巡航点采集的深度图中的像素点，通过计算其当前像素值与背景模型中样本的匹配数目确定该像素是否为前景点。若背景模型中与之匹配的样本数目超过预定的数目阈值，则该像素点判为前景点，否则，判为背景点。

具体过程如下式所示：

式中，#{S_R(v(x))∩B(x)}代表背景模型中与像素点的当前像素值匹配的样本数目；

#_min代表预定的数目阈值，foreground代表前景点、background代表后景点；

滞留物提取：若目标在第一深度相机中追踪失败，则目标可能被物体遮挡，若目标恰好在被跌倒时被遮挡(比如摔倒在椅子、沙发等家具的后面)，则第一深度相机就会出现对于跌倒行为的漏检，如图6-7所示。第二深度相机的目的就在于确认在目标被遮挡的位置是否发生了跌倒，若发生跌倒，则报警，若没有跌倒行为发生，判断完成后复位。由于跌倒行为总是以目标停留在地板上一段时间无法大幅运动结束，所以，采用滞留物提取的方式可以提取出可能的跌倒目标，而且，可以过滤很多其他非跌倒目标。滞留物提取采用如下公式：

式中，delay(x)用于度量像素持续为前景的时间长度，若像素为前景且delay(x)小于最大值上限th_delay+ΔT，则delay(x)增加ΔD₁，ΔD₁一般可设置为5，若delay(x)大于等于最大值上限th_delay+ΔT，delay(x)保持不变，若像素为背景，则delay(x)减小ΔD₂，ΔD₂一般可设置为3，其中ΔT用于保证徘徊或有轻微运动的的滞留物体被检测的准确度。若delay(x)大于设定的阈值th_delay，则认为像素为滞留物。abandoned代表滞留像素、ΔD₁代表滞留时间增幅的一个单位、ΔD₂代表滞留时间减幅的一个单位、ΔT代表滞留像素阈值的允许波动范围；

身份认证：若在规定的时间段内未提取到滞留物，则结束判断，若提取到滞留物，则对滞留物进行身份认证，确认是否为已登记的用户，确认方式与之前所述的一致。若为已登记的用户，则利用第二深度相机采集的深度图像进行跌倒检测，否则，结束判断。

(5)、跌倒检测

由于两台深度相机放置方式不同，因此利用两台深度相机采集的图像进行跌倒判断的方式也有所差异。第一深度相机和第二深度相机中跌倒判断方式分别如下：

如图8所示，第一深度相机跌倒判断：第一深度相机使用改进的Camshift算法追踪目标，计算由追踪目标的质心高度和最大高度组成的高度状态特征的大小，利用高度状态特征判断目标是否跌倒。具体包括如下两个步骤：

第1步：地面估计。地面估计用于计算目标与地面之间的距离，即目标的高度。由于第一深度相机垂直于竖直墙面放置，如图1所示，相机的x轴所在的直线即为地面所在平面的法线，因此地面的方程为x＝x_max。其中，x_max为第一深度相机捕捉的最大x值。获取地面方程后，点到地面的距离可通过如下公式计算，

此公式为空间中点到平面的距离公式，其中，A、B、C、D为平面方程系数，(x,y,z)为空间点的坐标。代入地平面方程x＝x_max后，可以得到点到地平面的距离公式如下：

d＝|x-x_max|

式中，d代表点到地平面的距离，即为点的高度。

第2步：计算高度状态特征并利用高度状态特征进行跌倒判断，如图8所示。高度状态特征具体计算公式如下：

式中，H_state代表高度状态特征；H_max、H_cent代表追踪的目标的最大高度和质心高度，其中，最大高度和质心高度通过公式d＝|x-x_max|求得；k_max设置为已登记用户的平均高度，k_cent设置为平均高度的一半；|H_max-k_max|、|H_cent-k_cent|分别代表追踪目标当前最大高度和质心高度对于男性平均高度和质心高度的偏差；当目标跌倒或靠近地面时，高度状态变量值接近于1。若目标的高度状态特征在一段时间内持续接近于1，则可以认为目标跌倒。

如图9所示，第二深度相机跌倒判断：在第一深度相机追踪目标失败的情况下，由第二深度相机进行跌倒检测。第二深度相机定位到目标最后追踪位置上方的巡航点后，开始提取滞留目标并进行身份识别，若滞留目标为已登记用户，则开始进行跌倒判断，如图9所示。具体包括如下两个步骤：

第1步地面估计。第二深度相机进行地面估计的方式与第一深度相机类似，区别在于地面方程变为z＝z_max，相应地，点到地面的距离方程变为d＝|z-z_max|。

第2步跌倒判断方式为计算被遮挡目标中距离地面高度低于40cm(正常男性膝盖的高度)的像素数目占被遮挡目标总像素数目的比值，若比值在一段时间内持续大于设定的阈值，则认为目标跌倒。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.基于两台深度相机的人体跌倒检测装置，包括第一深度相机，其特征在于：还包括第二深度相机，所述第一深度相机距离地面一定高度，垂直于竖直墙面放置，朝向门，第二深度相机移动设置在天花板上的直线导轨上，第一深度相机、第二深度相机采集的图像发送给图像处理器，所述图像处理器运行权利要求4-8任一项所述的检测方法。

2.根据权利要求1所述的基于两台深度相机的人体跌倒检测装置，其特征在于：所述直线导轨设置在天花板中线上。

3.根据权利要求1所述的基于两台深度相机的人体跌倒检测装置，其特征在于：所述直线导轨上每隔一段距离设置一处巡航点，第二深度相机在巡航点处采集图像。

4.一种基于两台深度相机的人体跌倒检测方法，其特征在于：包括如下步骤：

第一深度相机采集图像进行目标身份验证；

第一深度相机采集图像对已登记身份用户进行目标追踪，并对被追踪目标提取特征判断是否跌倒；

当第一深度相机追踪目标失败进而无法判断目标是否跌倒时，第二深度相机利用直线导轨移动到第一深度相机追踪失败的目标的上方的巡航点处，确认目标是否跌倒。

5.根据权利要求4所述的基于两台深度相机的人体跌倒检测方法，其特征在于：通过身份验证检测到已登记人员后，第一深度相机开始对已登记人员对应的前景区域进行目标追踪，所述目标追踪的步骤如下：

步骤1：使用检测到的已登记人员对应的前景区域的外接矩形作为初始搜索窗口，计算目标的深度直方图，将此深度直方图作为深度直方图模板。

步骤2：利用目标的深度直方图模板计算反向投影图中每个像素点的概率；

D＝||(x_center,y_center)-(x,y)||₂

式中，R代表搜索窗口；f_R(x,y)代表搜索窗口(x,y)坐标处的深度值；M，N分别代表搜索窗口的长、宽；n代表某一深度值，H(n)代表深度值在深度直方图模板中的归一化比值；(x_center,y_center)代表搜索窗口中心，D代表窗口(x,y)坐标处到搜索窗口中心的距离；c₂代表距离衰减半径，c₁代表衰减半径处的衰减幅度；I(x,y)为反向投影图中每个坐标点的概率，δ(·)代表冲激函数。

步骤3：计算搜索窗口的零阶矩M₀₀，x坐标的一阶矩M₁₀，y坐标的一阶矩M₀₁分别如下：

步骤4：计算搜索窗口的质心(x_c,y_c)：

步骤5：将搜索窗口质心移动到新的质心(x_c,y_c)处，如果移动距离大于预设的固定阈值，则重新计算调整后的搜索窗口质心，直到窗口中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到最大次数，认为收敛条件满足，获取下一帧图像进行新的搜索，用得到的搜索窗口的中心和大小来初始化当前帧的搜索窗口，重新计算当前搜索窗口深度直方图后转到步骤2。

6.根据权利要求4所述的基于两台深度相机的人体跌倒检测方法，其特征在于：第一深度相机对追踪目标提取特征进行跌倒检测的步骤如下：

对于被追踪目标计算其高度状态特征，具体计算公式如下：

式中，H_state代表高度状态特征；H_max、H_cent代表追踪目标的最大高度和质心高度；k_max为已登记用户的平均高度，k_cent为已登记用户的平均高度的一半；当高度状态特征H_state在一段时间内与1的差值，小于设定的阈值，第一深度相机判断目标跌倒。

7.根据权利要求4所述的基于两台深度相机的人体跌倒检测方法，其特征在于：当第一深度相机目标追踪失败时，将第二深度相机移动到被遮挡目标上方巡航点处确认目标是否跌倒；第二深度相机移动到被遮挡目标上方的第N号巡航点，N的计算公式如下：

D＝|L-Z_cent|

N＝D/d

式中，Z_cent为目标的质心在第一深度相机中的Z轴坐标，L为房间长度，D为目标质心到第二深度相机的距离在地面上的投影距离，d为巡航点间的距离间隔，N为巡航点的编号。

8.根据权利要求4所述的基于两台深度相机的人体跌倒检测方法，其特征在于：第二深度相机移动到追踪失败的目标的上方的巡航点后，第二深度相机采集图像确认目标是否跌倒的步骤如下：

深度相机2需要在进行跌倒检测之前对场景进行背景建模。首先，在室内没有行人的情况下，在每一个巡航点处，第二深度相机采集一帧深度图像，然后使用采集的图像建立该巡航点处的背景模型，具体如公式所示：

B(x)＝{v₁,v₂,...,v_N}

式中，x代表巡航点处采集的深度图中的一个像素点，B(x)代表该像素点处的背景模型，v_i代表在采集的深度图中从像素点x的邻域内随机选择的深度值；

对于从该巡航点采集的深度图中的像素点，通过计算其当前像素值与背景模型中样本的匹配数目，若背景模型中与之匹配的样本数目超过预定的数目阈值，则该像素点判为前景点，否则，判为背景点。

具体过程如下式所示：

式中，#{S_R(v(x))∩B(x)}代表背景模型中与像素点的当前像素值匹配的样本数目；#_min代表预定的数目阈值，foreground代表前景点、background代表后景点；

第二深度相机采用滞留物提取的方式提取出可能的跌倒目标，滞留物提取采用如下公式：

式中，delay(x)用于度量像素持续为前景的时间长度，若像素为前景且delay(x)小于最大值上限th_delay+ΔT，则delay(x)增加ΔD₁，若delay(x)大于等于最大值上限th_delay+ΔT，delay(x)保持不变，若像素为背景，则delay(x)减小ΔD₂；若delay(x)大于设定的阈值th_delay，则认为像素为滞留物，其中：abandoned代表滞留像素、ΔD₁代表滞留时间增幅的一个单位、ΔD₂代表滞留时间减幅的一个单位、ΔT代表滞留像素阈值的允许波动范围；

若在规定的时间段内未提取到滞留物，则结束判断，若提取到滞留物，则对滞留物进行身份验证，确认是否为已登记的用户，若为已登记的用户，则进行跌倒判断。跌倒判断的方式为计算被遮挡目标中距离地面高度低于40cm的像素数目占被遮挡目标总像素数目的比值，若比值在一段时间内持续大于设定的阈值，则认为目标跌倒。

Images