CN105868707A - 一种基于深度图像信息的坠床行为实时检测方法 - Google Patents

Abstract

本发明公开了一种基于深度图像信息的坠床行为实时检测方法，包括：(1)通过深度传感器获取室内场景的深度图像；(2)更新深度图像中的跟踪区域；(3)通过不断变化偏移尺度，提取步骤(2)得到的跟踪区域中各像素的八邻域差分特征；(4)获取头部区域；(5)定位头部中心；(6)获取上半身区域；(7)优化头部定位；(8)人体确认；(9)提取高度特征；(10)坠床检测：采用训练好的坠床分类器对上述高度特征向量进行分类检测，获取坠床检测结果。本发明提出的基于深度图像的坠床行为实时检测方法，通过随机森林分类器获取头部区域，优化头部定位保证定位准确性，使用支撑向量机检测坠床，保证了本方法具有较高的准确度与鲁棒性。

Description

一种基于深度图像信息的坠床行为实时检测方法

技术领域

本发明属于数字图像识别技术领域，更具体地，涉及一种基于深度图像信息的坠床行为实时检测方法。

背景技术

在医院护理与家庭看护中，坠床的发生对于病人、老年人和婴幼儿会造成严重伤害。如果坠床行为能够被及时发现，则可极大地降低其造成的伤害。因此，坠床的自动检测就显得尤为重要。目前，针对坠床行为的检测方法主要分为三种：基于穿戴式设备的坠床检测方法，基于压力传感器的坠床检测方法和基于视频图像的坠床检测方法。

基于穿戴式设备的坠床检测方法通过检测加速度判断人体的坠床行为，计算量小，但需要用户时刻穿戴，会影响用户的日常生活；基于压力传感器的坠床检测方法，通过检测床上的压力变化判断用户的坠床行为，但是无法精准判断是正常起床还是坠床，虚警率较高；基于视频图像的坠床检测方法，通过视频图像信息检测坠床，但易受光照影响，不能全天候监控，隐私保护性差，精确度与实时性均未能达到很好的效果。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度图像信息的坠床行为实时检测方法，其目的在于通过对深度图像中的人体跟踪，根据头部高度特征向量，识别出坠床行为，解决现有坠床检测方法易受光照影响，精确度低，实时性差的问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度图像信息的坠床行为实时检测方法，包括以下步骤：

(1)获取深度图像：通过深度传感器获取室内场景的深度图像，由于深度图像不受光照影响，可全天候用于坠床检测；并且深度图像不能辨识用户具体身份，可有效保护隐私。

特别的，获取深度图像是一个持续的过程，当程序完成一帧深度图像的坠床检测后，会继续读入下一帧深度图像；

(2)更新跟踪区域：获取深度图像后，更新图像中的跟踪区域S_p。更新跟踪区域一方面减少后续步骤中所需要计算的区域面积，可减少计算量，提高速度；另一方面确定头部的大致范围，提高算法精度。

更新跟踪区域具体分为两种情况：

(2.1)当该深度图像为第一帧或者之前连续多帧图像没有检测到人体时，则更新跟踪区域为整个深度图像；

(2.2)当在该深度图像之前的一定帧数图像中检测到人体时，则根据人体头部位置更新跟踪区域。跟踪区域为圆面，圆心为圆面半径为r_p＝3·k·r_head；

其中，k表示当前图像帧与上一次检测到人体的深度图像帧的间隔帧数，特别的，

其中，表示处的深度值，是对半径长度做深度不变性处理；α是常数，其值标定方法如下：在安装好深度传感器后，进行坠床检测前，获取一张深度图，人工确定头部中心与半径r_head，依据上式计算得到α，同一深度传感器的α值相同；特别的，α的标定是离线过程；

(3)提取深度差分特征：通过不断变化偏移尺度，提取步骤(2)得到的跟踪区域中各像素的八邻域差分特征，构成多维向量；深度差分特征计算简单，减少了复杂度，可有效提高检测速度。在某一特定偏移尺度下，像素s点的深度差分特征的某一维为

其中，d(s)是图像在像素s点处的深度，表示偏移向量，是对偏移向量进行深度不变性处理，是像素s点的偏移位置深度；

其中，八邻域差分特征是指分别向八个方向取八个像素点与样本点做差；每次做差选取不同偏移向量通过不断变换偏移尺度，即偏置向量v等差变化变换I次，构成I×8维特征向量；

(4)获取头部区域：根据步骤(3)获取跟踪区域内所有像素的深度差分特征后，通过之前训练好的头部分类器对所有像素点进行分类判别，获得头部像素点，确定头部区域。头部较为稳定，形状较少变化，且多数情况下不会被遮挡，相对于其他的部位，更容易检测。

其中，头部分类器具体使用的是随机森林分类器，选择此分类器的原因：一方面，它可以自动选择分类能力强的特征维度，舍弃分类能力不强的特征维度，减少分类判断所需的特征维度，提高运算速度；另一方面，该分类器为多棵决策树并行预测，可极大地提高预测速度，保证实时性；

具体步骤如下：

(4.1)训练分类器，获得具体的分类模型：获取至少2000张包含人体在不同场景下的多种动作形态的深度图像；计算图像中所有像素点的深度差分特征同时标记出人体头部区域与其他区域，获得每个像素点的所属类别c，由此构成每个像素点的样本信息将所有训练样本信息集合作为输入，训练随机森林，得到具体的分类器模型；

步骤(4.1)是离线步骤；在开始坠床检测之前完成获取深度差分特征的训练样本和训练随机森林的步骤；

(4.2)进行头部区域的预测：将步骤(3)中各像素点的深度差分特征输入离线训练好的头部分类器，分类器中的每一棵树对该特征进行分类判别，每一棵树将得到像素s_i所属类别的概率分布P_i(c|s_i)，则像素s_i的最终类别概率分布为：

$P\left(c\right|s_i)=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{P}_i\left(c\right|s_i)$

其中，N表示随机森林中决策树的数目，P_i(c|s_i)表示一棵决策树中像素s_i的所属类别概率分布；

获取到像素s_i的所属类别概率分布后，选取概率值最大的类别作为像素s_i的类别；判断出所有输入像素的所属类别，即完成头部区域的获取。

(5)定位头部中心：根据步骤(4)获取头部像素区域后，通过不断迭代寻找头部像素密度最大的位置，即确定头部中心的位置

具体步骤如下：

(5.1)求取所有头部像素点坐标的平均值，即横纵坐标的值求和取平均，获得初始中心位置x_h1；

(5.2)以为圆心，r_h＝r_head为半径，确定圆面区域S_h；

(5.3)在圆面区域S_h内，统计属于头部的像素点，再次求坐标的平均值，获取中心位置

(5.4)比较与位置是否相同，若不相同，则令返回步骤(5.2)；若相同，则头部中心位置

(6)获取上半身区域：通过步骤(5)获得头部中心位置后通过区域生长方式获取上半身区域；

具体步骤如下：

(6.1)标定床面：通过深度传感器获得室内场景的深度图像后，标定床面的四条边线，人工确定每条边上的两个点，则可计算出两点确定的直线，确定四条边后，即可确认封闭四边形，即为床面S_bed；

步骤(6.1)是离线步骤；在安装好深度传感器之后，开始坠床检测之前，先获取一张深度图，人工标定上述八个点，从而确定床面；

(6.2)确认区域生长的最大范围S_b：S_b为正方形区域，以覆盖人体上半身为原则，正方形的形心为边长为l＝4·r_head；

(6.3)初始化上半身像素集合S_u＝{s_h}，其中s_h是位置的像素点；

(6.4)计算S_u中像素点s_u与相邻像素s_n的深度差，若|d(s_u)-d(s_n)|＜d_t，取d_t＝80mm，则将s_n纳入到集合S_u中；重复步骤(6.4)，直至没有满足条件的像素点为止；

其中，s_u须要满足条件：之前没有计算过其与相邻像素的深度差值，s_n须要满足条件：不属于集合S_u；同时，s_u和s_n要同时属于S_b范围内的像素点，且不属于S_bed范围内的像素点；

(7)优化头部定位：通过步骤(6)获取上半身区域后，根据上半身区域范围优化进一步调整头部位置。步骤(4)中头部分类器获取的头部区域存在一定的误差，会出现头部像素预测不完整或者其他像素错误判断为头部像素的情况。而通过步骤(6)区域生长获取上半身时，像素的漏判误判情况较少，可用于进一步优化头部定位。

具体方法如下：

(7.1)定位上半身中心：求取所有上半身区域像素的坐标平均值，即得到上半身中心位置

(7.2)确定躯干区域S_t：以为圆心，为半径，圈定躯干部分S_t。

(7.3)以步骤(5)中确定的头部中心为圆心，r_h＝r_head为半径，确定头部搜索范围S_s；

(7.4)确定初始位置

(7.5)以为圆心，r_h＝r_head为半径，确定圆面区域S_h；在圆面区域S_s和S_h交集内，统计属于上半身S_u但不属于S_t的像素点，再次求其坐标的平均值，获取中心位置

(7.6)比较与位置是否相同，若不相同，则令返回步骤(7.5)；若相同，则头部中心位置

(8)人体确认：通过构建人体上半身三维模型，与步骤(6)得到的上半身区域S_u进行比较，同时结合之前图像帧的人体检测结果，判断该上半身区域是否为人体。人体确认的目的是，防止其他相近物体被误判为人。

具体步骤为：

(8.1)构建上半身简单三维模型M_a，将上半身分为头部与躯干两个部分，并分别用两个圆柱体来模拟。根据实际人体的头部大小与躯干大小，分别确定两个圆柱体的半径与高度；

(8.2)获得和的坐标值后，根据和结合深度传感器的内参数，将二者的坐标从二维图像坐标系分别映射到三维世界坐标系，得到三维坐标和作为人体模型的两个圆柱体的形心；

(8.3)将步骤(7)获取的上半身区域所有像素点坐标，根据(8.2)的方法全部转化到三维世界坐标系中，构成实际上半身的三维模型M_r；

(8.4)计算M_a与M_r的重合部分体积V_overlap，计算在重叠部分的比重其中，V_a为人体模型M_a的体积；

(8.5)当该帧深度图像为第一帧或者之前一定帧数范围n内没有检测到人体时，当p＞p_t1大于一定阈值时，则确认M_r为人体，否则不是人体；

当该帧深度图像之前一定帧数范围n内检测到人体时，当且p＞p_t2时，则确认M_r为人体，否则不是人体；

其中，x_nh为之前第n帧的头部中心的二维坐标，p_t1和p_t2为判定阈值，且p_t1＞p_t2；

(9)提取高度特征：确认为人体后，根据头部位置选取连续多帧与地面的距离构成高度特征向量；高度特征是连续多帧的高度值组成的多维向量；

具体步骤如下：

(9.1)地面识别：通过深度传感器获得室内场景的深度图像，人工确认其中属于地面的三个点(其中，i＝1,2,3)，提取其深度值结合深度传感器的内参数，将其从二维图像坐标系分别映射到三维世界坐标系，则得到样本点真实世界三维坐标(x_i,y_i,z_i)，地面描述如下：

$\left\{\begin{array}{c}{\mathrm{Ax}}_i+{\mathrm{By}}_i+{\mathrm{Cz}}_i+D=0\\ A^2+B^2+C^2=1\end{array}\right.$

其中，A，B，C，D四个系数通过代入三个样本点(x_i,y_i,z_i)的坐标联立方程求解获取；获取系数后则确定地面的方程表示形式；

步骤(9.1)是离线步骤；在安装好深度传感器之后，开始坠床检测之前，先获取一张深度图，人工选择其中属于地面的三个点(其中，i＝1,2,3)，从而确定地面；

(9.2)高度特征提取：选择连续多帧头部中心的高度，构成高度特征向量。

特别地，为保证整个检测方法的鲁棒性，当出现某一帧人体跟踪失败无法生成高度特征时，根据前后帧的高度信息，线性拟合出丢失高度帧的高度特征；

(10)坠床检测：采用训练好的坠床分类器对上述高度特征向量进行分类检测，获取坠床检测结果。

具体步骤如下：

(10.1)人工合成高度特征的训练样本，包括高度特征的正样本和高度特征的负样本；

(10.1.1)正样本合成：坠床过程中，头部高度h(t)由床面的高度h_f逐渐变小为接近地面的高度，中间变化过程可快可慢，构造高度变化函数：

$h\left(t\right)=\left\{\begin{array}{cc}{h}_f+\frac{1}{2}{a}_f{t}^2+\mathrm{\&epsiv;},& h_f+\frac{1}{2}{a}_f{t}^2+\mathrm{\&epsiv;}>0\\ 0,& h_f+\frac{1}{2}{a}_f{t}^2+\mathrm{\&epsiv;}<0\end{array}\right.$

通过上式，给定时间t，从0以固定步长连续增加，根据实际坠床时加速度的变化范围，不断调节a_f的大小，获取对应的h(t)的值，也就是坠床时连续多帧的人体头部的高度，构成高度特征正样本；

(10.1.2)负样本合成：模拟除坠床外，其他的人体动作时的高度特征作为负样本，构造高度变化函数：

$h\left(t\right)=\left\{\begin{array}{cc}{h}_{other}+\frac{1}{2}{a}_{other}{t}^2+\mathrm{\&epsiv;},& h_{other}+\frac{1}{2}{a}_{other}{t}^2+\mathrm{\&epsiv;}>0\\ 0,& h_{other}+\frac{1}{2}{a}_{other}{t}^2+\mathrm{\&epsiv;}<0\end{array}\right.$

其中，h_other变化范围为0到人体身高，a_other变化范围为(-a_max,a_max)，其中a_max为人体活动中加速度的最大值。给定时间t，从0以固定步长连续增加，不断调节h_other与a_other，获取对应的h(t)的值，构成高度特征负样本；注意调节过程中，避免h_other＝h_f与a_other＝a_f同时成立的情况即可。

其中，ε是随机变量，加入该随机变量以增加h(t)的鲁棒性，使其更符合实际情况，

人体高度特征在坠床时是持续变化的，不同的个体坠床的加速度也具有差异；故需要构造尽可能多的正样本与负样本，使得样本尽量覆盖所有坠床的情况。

(10.2)训练坠床分类器：采用上述高度特征的训练样本训练支撑向量机分类器，获取该分类器的具体模型；

(10.3)坠床检测：将步骤(9)所述的高度特征向量实时输入上述分类器的具体模型，若判定为坠床后，再检测头部中心和躯干中心与地面之间的距离，当所述距离在预设的时间段内持续不变，判定为坠床；若在预设的时间段内头部中心恢复正常高度，则判定为未坠床；

特别地，步骤(10.1)和(10.2)是离线步骤；在进行坠床检测之前，离线完成高度特征训练样本获取与支撑向量机分类器的训练；再将训练好的坠床分类器用于坠床检测。

在上述步骤(10.3)中，当判定为坠床时发出警报，判定为非坠床时取消警报。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够达到下列的有益效果：

(1)本发明提出的基于深度图像的坠床行为实时检测方法，通过随机森林分类器获取头部区域，优化头部定位保证定位准确性，使用支撑向量机检测坠床，保证了本方法具有较高的准确度与鲁棒性；

(2)本发明提出的基于深度图像的坠床行为实时检测方法，通过更新跟踪区域缩小检测范围，选择计算复杂度低的深度差分特征，使用具有并行预测能力的随机森林分类器获取头部区域，提高了运算速度，保证达到检测的实时性要求；

(3)本发明提出的基于深度图像的坠床行为实时检测方法，只利用深度图像信息进行坠床检测，不受光照影响，保证夜间的工作效果，同时避免具体用户的识别，保护用户的隐私性；

(4)本发明提出的基于深度图像的坠床行为实时检测方法，其硬件支撑只需要一台深度传感器，具有成本低的特点。

附图说明

图1是本发明提供的坠床行为检测方法的流程示意图；

图2是室内场景的深度图像；

图3是更新跟踪区域；

图4是八邻域深度差分特征；

图5是随机森林训练过程；

图6是随机森林的分类过程；

图7是床面的标定过程；

图8是获取的上半身区域；

图9是人体三维模型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供的基于深度图像信息的坠床行为实时检测方法，其流程如图1所示，包括深度图像获取，更新跟踪区域，提取深度差分特征，获取头部区域，定位头部中心，获取上半身区域，优化头部定位，人体确认，提取高度特征，坠床检测步骤；以下结合实施例来具体阐述本发明提供的这种坠床行为实时检测方法。

实施例提供的基于深度图像信息的坠床行为实时检测方法，具体步骤如下：

(1)获取深度图像：通过深度传感器获取室内场景的深度图像，如图2，深度图像每一个像素点的数值代表的含义是场景中该点与深度传感器的距离；由于深度图像不受光照影响，可全天候用于坠床检测；并且深度图像不能辨识用户具体身份，可有效保护隐私。

特别的，获取深度图像是一个持续的过程，如图1，当程序完成一帧深度图像的坠床检测后，会继续读入下一帧深度图像；

(2)更新跟踪区域：获取深度图像后，更新图像中的跟踪区域S_p。更新跟踪区域的主要目的是，一方面减少后续步骤中所需要计算的区域面积，可减少计算量，提高速度；另一方面确定头部的大致范围，提高算法精度。

更新跟踪区域具体分为两种情况：

(2.1)当该深度图像为第一帧或者之前连续多帧(n＞20)没有检测到人体时，则更新跟踪区域为整个深度图像；

(2.2)当在该深度图像之前的一定帧数(n＜20)中检测到人体时，则根据人体头部中心位置更新跟踪区域，如图3。跟踪区域为圆面，圆心位置为圆面半径为r_p＝3·k·r_head；

其中，k表示当前帧与上一次检测到人体的深度图像帧的间隔帧数，特别的，

其中，表示处的深度值，是对半径长度做深度不变性处理；α是常数，其值标定方法如下：在安装好深度传感器后，进行坠床检测前，获取一张深度图，人工确定头部中心与半径r_head，依据上式计算得到α，同一深度传感器的α值相同；特别的，α的标定是离线过程；

(3)提取深度差分特征：通过不断变化偏移尺度，在步骤(2)得到的跟踪区域中，提取各像素的八邻域差分特征，构成多维向量。深度差分特征计算简单，减少了复杂度，可有效提高检测速度。在某一特定偏移尺度下，像素s点的深度差分特征的某一维为

其中，是图像在像素点处的深度，表示偏移向量，是对偏移向量进行深度不变性处理，是像素s点的偏移位置深度；

其中，八邻域差分特征是指分别向八个方向取八个像素点与样本点做差；每次做差选取不同偏移向量通过不断变换偏移尺度，即偏置向量v等差变化变换I次，此处取I＝64，构成I×8维特征向量构成512维深度差分特征，如图3；

(4)获取头部区域：根据步骤(3)获取跟踪区域内所有像素的深度差分特征后，通过之前训练好的头部分类器对所有像素点进行分类判别，获得头部像素点集合，确定头部区域。其中，头部分类器具体使用的是随机森林分类器；

具体步骤如下：

(4.1)训练头部分类器，获得具体分类模型：获取至少2000张包含人体在不同场景下的多种动作形态的深度图像；计算图像中所有像素点的深度差分特征同时标记出人体头部区域与其他区域，获得每个像素点的所属类别c，由此构成每个像素点的样本信息如图4，将所有训练样本信息集合作为输入，训练随机森林，得到分类器模型；

(4.1.1)分类器初始化：使用标准随机森林；森林中有4棵随机决策树，每棵决策树的最大深度为20，最小样本数为100；

(4.1.2)样本输入：将训练样本集合随机分为4个子集合输入分类器的四棵决策树；

(4.1.3)分类器训练：训练过程是每棵决策树的生成过程：

a、输入样本集合后，生成决策树的根节点；

b、根据(4.1.1)初始化条件，若决策树深度未超过20，且节点的样本数未小于100，则执行步骤c，否则执行步骤e；

c、生成子节点：以熵最小原则为依据，从深度差分特征所有维度中选择使生成子节点后可使熵最小的维度，假设为第j维，作为该节点的判别条件，并生成判别阈值t；当前节点生成左右子节点Q_left和Q_right的判别式为：

$\left\{\begin{array}{cc}{s}_i\&Element;Q_{left},& g_{i,j}<t\\ s_i\&Element;Q_{right},& g_{i,j}\&GreaterEqual;t\end{array}\right.$

其中，s_i为像素点，表示该像素点的深度差分特征，g_i,j表示该像素点深度差分特征的第j维；

d、返回b；

e、生成叶子节点，计算叶子节点中类别概率分布P(c)，结束；

步骤(4.1)是离线步骤；在开始坠床检测之前完成获取深度差分特征的训练样本和训练随机森林的步骤；

(4.2)进行头部区域的预测：将步骤(3)中各像素点的深度差分特征输入离线训练好的头部分类器，分类器中的每一棵树对该特征进行分类判别，将得到像素s所属头部类别的概率分布P_i(c|s)；每棵决策树对像素s_i的分类过程如下：

(4.2.1)输入待分类像素s_i的深度差分特征至决策树的根节点；

(4.2.2)判断该节点是否为叶子节点，若是，则进入(4.2.5)，如不是则进入(4.2.3)；

(4.2.3)根据该节点的判别条件(即深度差分特征中某一特征维度，假设为第j维)，将输入的特征中的相应特征维度与阈值t比较，根据如下判别准则，将像素划分到相应子节点：

$\left\{\begin{array}{cc}{s}_i\&Element;Q_{left},& g_{i,j}<t\\ s_i\&Element;Q_{right},& g_{i,j}\&GreaterEqual;t\end{array}\right.$

(4.2.4)返回步骤(4.2.2)；

(4.2.5)输出该像素所在叶子节点的头部类别的概率分布P_i(c|s_i)，停止预测，结束；

得到像素s_i在N棵树的分类结果后，像素s_i的最终类别概率分布为：

$P\left(c\right|s_i)=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{P}_i\left(c\right|s_i)$

其中，N表示随机森林中决策树的数目，P_i(c|s_i)表示一棵决策树中像素s的属于头部的概率分布；

获取到像素s_i的所属头部概率分布后，根据选取概率值最大的类别作为像素s_i的类别；判断出所有输入像素的所属类别，即完成头部区域的获取。

(5)定位头部中心：根据步骤(4)获取头部像素区域后，通过不断迭代寻找头部像素密度最大的位置，即确定头部中心的位置具体步骤如下：

(5.1)求取所有头部像素点坐标的平均值，即横纵坐标的值求和取平均，获得初始中心位置x_h1；

(5.2)以为圆心，r_h＝r_head为半径，确定圆面区域S_h；

(5.3)在圆面区域S_h内，统计属于头部的像素点，再次求坐标的平均值，获取中心位置

(5.4)比较与位置是否相同，若不相同，则令返回步骤(5.2)；若相同，则获得头部中心位置

(6)获取上半身区域：通过步骤(5)获得头部中心位置后，在标定床面的情况下，通过区域生长方式获取上半身区域，如图7；

具体步骤如下：

(6.1)标定床面：通过深度传感器获得室内场景的深度图像后，标定床面的四条边线，人工确定每条边上的两个点，则可计算出两点确定的直线，确定四条边后，即可确认封闭四边形为床面S_bed，如图6；

步骤(6.1)是离线步骤；在安装好深度传感器之后，开始坠床检测之前，先获取一张深度图，人工标定上述八个点，从而确定床面；(6.2)确认区域生长的最大范围S_b：S_b为正方形区域，以覆盖人体上半身为原则，正方形的形心为边长为l＝4·r_head；

(6.3)初始化上半身像素集合S_u＝{s_h}，其中s_h是位置的像素点；(6.4)计算集合S_u中像素点s_h与相邻像素s_n的深度差，|d(s_h)-d(s_n)|＜d_t，取d_t＝80mm，则将s_n纳入到集合S_u中；重复步骤(6.4)，直至没有满足条件的像素点为止；

其中，s_u须要满足条件：之前没有计算过其与相邻像素的深度差值；s_n须要满足条件：不属于集合S_u；同时，s_u和s_n要同时属于S_b范围内的像素点，且不属于S_bed范围内的像素点；

(7)优化头部定位：通过步骤(6)获取上半身区域后，根据上半身区域范围优化进一步调整头部位置。

之所以做进一步优化的原因是，步骤(4)中头部分类器获取的头部区域存在一定的误差，会出现头部像素预测不完整或者其他像素错误判断为头部像素的情况。而通过步骤(6)区域生长获取上半身时，像素的漏判误判情况较少，可用于进一步优化头部定位。

具体方法如下：

(7.1)定位上半身中心：求取所有上半身区域像素的坐标平均值，即得到上半身中心位置

(7.2)确定躯干区域S_t：以为圆心，为半径，圈定躯干部分S_t。

(7.3)以步骤(5)中确定的头部中心为圆心，r_h＝r_head为半径，确定头部搜索范围S_s；

(7.4)确定初始位置

(7.5)以为圆心，r_h＝r_head为半径，确定圆面区域S_h；在圆面区域S_s和S_h交集内，统计属于上半身S_u但不属于S_t的像素点，再次求其坐标的平均值，获取中心位置

(7.6)比较与位置是否相同，若不相同，则令返回步骤(7.5)；若相同，则头部中心位置

(8)人体确认：通过构建人体上半身三维模型，与步骤(6)得到的上半身区域S_u进行比较，同时结合之前图像帧的人体检测结果，判断该上半身区域是否为人体。

具体步骤为：

(8.1)构建上半身简单三维模型M_a，如图8，将上半身分为头部与躯干两个部分，并分别用两个圆柱体来模拟。根据实际人体的头部大小与躯干大小，分别确定两个圆柱体的半径与高度；

(8.2)获得和的坐标值后，根据和结合深度传感器的内参数，将二者的坐标从二维图像坐标系分别映射到三维世界坐标系，得到三维坐标和作为人体模型的两个圆柱体的形心；

(8.3)将步骤(7)获取的上半身区域所有像素点坐标，根据(8.2)的方法全部转化到三维世界坐标系中，构成实际上半身的三维模型M_r；

(8.4)计算M_a与M_r的重合部分体积V_overlap，计算在重叠部分的比重其中，V_a为人体模型M_a的体积；

(8.5)当该帧深度图像为第一帧或者之前一定帧数范围n内没有检测到人体时，当p＞p_t1大于一定阈值时，则确认M_r为人体，否则不是人体；

当该帧深度图像之前的一定帧数n范围内检测到人体时，当且p＞p_t2时，则确认M_r为人体，否则不是人体；

其中，x_nh为之前第n帧的头部中心的二维坐标，p_t1和p_t2为判定阈值，且p_t1＞p_t2，此处p_t1＝0.8，p_t2＝0.5，n＝10；

(9)提取高度特征：确认为人体后，根据头部位置选取连续多帧与地面的距离构成高度特征向量；高度特征是连续多帧的高度值组成的多维向量；

具体步骤如下：

(9.1)地面识别：通过深度传感器获得室内场景的深度图像，人工确认其中属于地面的三个点(其中，i＝1,2,3)，提取其深度值结合深度传感器的内参数，将其从二维图像坐标系分别映射到三维世界坐标系，则得到样本点真实世界三维坐标(x_i,y_i,z_i)，地面描述如下：

$\left\{\begin{array}{c}{\mathrm{Ax}}_i+{\mathrm{By}}_i+{\mathrm{Cz}}_i+D=0\\ A^2+B^2+C^2=1\end{array}\right.$

其中，A，B，C，D四个系数通过代入三个样本点(x_i,y_i,z_i)的坐标联立方程求解获取；获取系数后则确定地面的方程表示形式；

步骤(9.1)是离线步骤；在安装好深度传感器之后，开始坠床检测之前，先获取一张深度图，人工选择其中属于地面的三个点(其中，i＝1,2,3)，从而确定地面；

(9.2)高度特征提取：选择连续多帧头部中心距离地面高度，构成高度特征向量。

特别地，为保证整个方法的鲁棒性，当出现连续m(m＜10)帧图像人体跟踪失败无法生成高度特征，但是m帧的前后帧均检测到人体时，根据前后帧的高度信息h₀和h_m+1，拟合出丢失高度帧的高度特征，具体的拟合方法为，根据该帧前后帧的高度信息，线性拟合出m帧的高度信息h_i，如下式：

$\begin{array}{cc}{h}_i=h_0+i\&CenterDot;\frac{h_{m+1}-h_0}{m+1},& i=1,2,\mathrm{...},m\end{array}$

(10)坠床检测：采用训练好的坠床分类器对上述高度特征向量进行分类检测，获取坠床检测结果。

具体步骤如下：

(10.1)人工合成高度特征的训练样本，包括高度特征的正样本和高度特征的负样本；

(10.1.1)正样本合成：坠床过程中，头部高度h(t)由床面的高度h_f逐渐变小为接近地面的高度，中间变化过程可快可慢，构造高度变化函数：

$h\left(t\right)=\left\{\begin{array}{cc}{h}_f+\frac{1}{2}{a}_f{t}^2+\mathrm{\&epsiv;},& h_f+\frac{1}{2}{a}_f{t}^2+\mathrm{\&epsiv;}>0\\ 0,& h_f+\frac{1}{2}{a}_f{t}^2+\mathrm{\&epsiv;}<0\end{array}\right.$

通过上式，给定时间t，从0以固定步长连续增加，根据实际坠床时加速度的变化范围，不断调节a_f的大小，获取对应的h(t)的值，也就是坠床时连续多帧的人体头部的高度，构成高度特征正样本；

(10.1.2)负样本合成：模拟除坠床外，其他的人体动作时的高度特征作为负样本，构造高度变化函数：

$h\left(t\right)=\left\{\begin{array}{cc}{h}_{other}+\frac{1}{2}{a}_{other}{t}^2+\mathrm{\&epsiv;},& h_{other}+\frac{1}{2}{a}_{other}{t}^2+\mathrm{\&epsiv;}>0\\ 0,& h_{other}+\frac{1}{2}{a}_{other}{t}^2+\mathrm{\&epsiv;}<0\end{array}\right.$

其中，h_other变化范围为0到人体身高，a_other变化范围为(-a_max,a_max)，其中a_max为人体活动中加速度的最大值。给定时间t，从0以固定步长连续增加，不断调节h_other与a_other，获取对应的h(t)的值，构成高度特征负样本；注意调节过程中，避免h_other＝h_f与a_other＝a_f同时成立的情况即可。

其中，ε是随机变量，加入该随机变量以增加h(t)的鲁棒性，使其更符合实际情况，

(10.2)训练坠床分类器：采用上述高度特征的训练样本训练支撑向量机分类器，获取该分类器的具体模型；

(10.3)坠床检测：将步骤(9)所述的高度特征向量实时输入上述分类器的具体模型，若判定为坠床后，再检测头部中心和躯干中心与地面之间的距离，在预设的时间10s内持续不变，判定为坠床，发出警报；若在10s内头部中心恢复正常高度，则判定为未坠床。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度图像信息的坠床行为实时检测方法，其特征在于，所述方法包括如下步骤：

(1)获取深度图像：通过深度传感器获取室内场景的深度图像；

(2)更新跟踪区域：获取深度图像后，更新深度图像中的跟踪区域；

(3)提取深度差分特征：通过不断变化偏移尺度，提取步骤(2)得到的跟踪区域中各像素的八邻域差分特征，构成多维向量；

(4)获取头部区域：根据步骤(3)获取跟踪区域内所有像素的深度差分特征后，通过之前训练好的头部分类器对所有像素点进行分类判别，获得头部像素点，确定头部区域；

(5)定位头部中心：根据步骤(4)获取头部像素区域后，通过不断迭代寻找头部像素密度最大的位置，即确定头部中心的位置

(6)获取上半身区域：通过步骤(5)获得头部中心位置后通过区域生长方式获取上半身区域；

(7)优化头部定位：通过步骤(6)获取上半身区域后，根据上半身区域范围优化进一步调整头部位置；

(8)人体确认：通过构建人体上半身三维模型，与步骤(6)得到的上半身区域进行比较，同时结合之前图像帧的人体检测结果，判断该上半身区域是否为人体；

(9)提取高度特征：确认为人体后，根据头部位置选取连续多帧与地面的距离构成高度特征向量；高度特征是连续多帧的高度值组成的多维向量；

(10)坠床检测：采用训练好的坠床分类器对上述高度特征向量进行分类检测，获取坠床检测结果。

2.如权利要求1所述的方法，其特征在于，所述步骤(2)具体包括：

(2.1)当该深度图像为第一帧或者之前连续多帧图像没有检测到人体时，则更新跟踪区域为整个深度图像；

(2.2)当在该深度图像之前的一定帧数图像中检测到人体时，则根据人体头部位置更新跟踪区域；跟踪区域为圆面，圆心为圆面半径为r_p＝3·k·r_head；

其中，k表示当前图像帧与上一次检测到人体的深度图像帧的间隔帧数，特别的，表示处的深度值，是对半径长度做深度不变性处理；α是常数，其值标定方法如下：在安装好深度传感器后，进行坠床检测前，获取一张深度图，人工确定头部中心与半径r_head，依据上式计算得到α，同一深度传感器的α值相同。

3.如权利要求1或2所述的方法，其特征在于，所述步骤(3)具体包括：

在某一特定偏移尺度下，像素s点的深度差分特征的某一维为

其中，d(s)是图像在像素s点处的深度，表示偏移向量，是对偏移向量进行深度不变性处理，是像素s点的偏移位置深度；其中，八邻域差分特征是指分别向八个方向取八个像素点与样本点做差；每次做差选取不同偏移向量通过不断变换偏移尺度，即偏置向量v等差变化变换I次，构成I×8维特征向量。

4.如权利要求1或2所述的方法，其特征在于，所述步骤(4)具体包括：

(4.1)训练分类器，获得具体的分类模型：获取设定数量的包含人体在不同场景下的多种动作形态的深度图像；计算图像中所有像素点的深度差分特征同时标记出人体头部区域与其他区域，获得每个像素点的所属类别c，由此构成每个像素点的样本信息将所有训练样本信息集合作为输入，训练随机森林，得到具体的分类器模型；

(4.2)进行头部区域的预测：将步骤(3)中各像素点的深度差分特征输入离线训练好的头部分类器，分类器中的每一棵树对该特征进行分类判别，每一棵树将得到像素s_i所属类别的概率分布P_i(c|s_i)，则像素s_i的最终类别概率分布为：

$P\left(c\right|s_i)=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{P}_i\left(c\right|s_i)$

其中，N表示随机森林中决策树的数目，P_i(c|s_i)表示一棵决策树中像素s_i的所属类别概率分布；

获取到像素s_i的所属类别概率分布后，选取概率值最大的类别作为像素s_i的类别；判断出所有输入像素的所属类别，即完成头部区域的获取。

5.如权利要求1或2所述的方法，其特征在于，所述步骤(5)具体包括：

(5.1)求取所有头部像素点坐标的平均值，即横纵坐标的值求和取平均，获得初始中心位置x_h1；

(5.2)以为圆心，r_h＝r_head为半径，确定圆面区域S_h；

(5.3)在圆面区域S_h内，统计属于头部的像素点，再次求坐标的平均值，获取中心位置

(5.4)比较与位置是否相同，若不相同，则令返回步骤(5.2)；若相同，则头部中心位置

6.如权利要求1或2所述的方法，其特征在于，所述步骤(6)具体包括：

(6.1)标定床面：通过深度传感器获得室内场景的深度图像后，标定床面的四条边线，人工确定每条边上的两个点，则可计算出两点确定的直线，确定四条边后，即可确认封闭四边形，即为床面S_bed；

(6.2)确认区域生长的最大范围S_b：S_b为正方形区域，以覆盖人体上半身为原则，正方形的形心为边长为l＝4·r_head；

(6.3)初始化上半身像素集合S_u＝{s_h}，其中s_h是位置的像素点；

(6.4)计算S_u中像素点s_u与相邻像素s_n的深度差，若|d(s_u)-d(s_n)|＜d_t，取d_t＝80mm，则将s_n纳入到集合S_u中；重复步骤(6.4)，直至没有满足条件的像素点为止；

其中，s_u应满足条件：之前没有计算过其与相邻像素的深度差值，s_n须要满足条件：不属于集合S_u；同时，s_u和s_n要同时属于S_b范围内的像素点，且不属于S_bed范围内的像素点。

7.如权利要求1或2所述的方法，其特征在于，所述步骤(7)具体包括：

(7.1)定位上半身中心：求取所有上半身区域像素的坐标平均值，即得到上半身中心位置

(7.2)确定躯干区域S_t：以为圆心，为半径，圈定躯干部分S_t；

(7.3)以步骤(5)中确定的头部中心为圆心，r_h＝r_head为半径，确定头部搜索范围S_s；

(7.4)确定初始位置

(7.5)以为圆心，r_h＝r_head为半径，确定圆面区域S_h；在圆面区域S_s和S_h交集内，统计属于上半身S_u但不属于S_t的像素点，再次求其坐标的平均值，获取中心位置

(7.6)比较与位置是否相同，若不相同，则令返回步骤(7.5)；若相同，则头部中心位置

8.如权利要求1或2所述的方法，其特征在于，所述步骤(8)具体包括：

(8.1)构建上半身简单三维模型M_a，将上半身分为头部与躯干两个部分，并分别用两个圆柱体来模拟；根据实际人体的头部大小与躯干大小，分别确定两个圆柱体的半径与高度；

(8.2)获得和的坐标值后，根据和结合深度传感器的内参数，将二者的坐标从二维图像坐标系分别映射到三维世界坐标系，得到三维坐标和作为人体模型的两个圆柱体的形心；

(8.3)将步骤(7)获取的上半身区域所有像素点坐标，根据(8.2)的方法全部转化到三维世界坐标系中，构成实际上半身的三维模型M_r；

(8.4)计算M_a与M_r的重合部分体积V_overlap，计算在重叠部分的比重其中，V_a为人体模型M_a的体积；

(8.5)当该帧深度图像为第一帧或者之前一定帧数范围n内没有检测到人体时，当p＞p_t1大于一定阈值时，则确认M_r为人体，否则不是人体；

当该帧深度图像之前一定帧数范围n内检测到人体时，当且p＞p_t2时，则确认M_r为人体，否则不是人体；

其中，x_nh为之前第n帧的头部中心的二维坐标，p_t1和p_t2为判定阈值，且p_t1＞p_t2。

9.如权利要求1或2所述的方法，其特征在于，所述步骤(9)具体包括：

(9.1)地面识别：通过深度传感器获得室内场景的深度图像，人工确认其中属于地面的三个点其中，i＝1,2,3，提取其深度值结合深度传感器的内参数，将其从二维图像坐标系分别映射到三维世界坐标系，则得到样本点真实世界三维坐标(x_i,y_i,z_i)，地面描述如下：

$\left\{\begin{array}{c}A{x}_i+B{y}_i+C{z}_i+D=0\\ A^2+B^2+C^2=1\end{array}\right.$

其中，A，B，C，D四个系数通过代入三个样本点(x_i,y_i,z_i)的坐标联立方程求解获取；获取系数后则确定地面的方程表示形式；

步骤(9.1)是离线步骤；在安装好深度传感器之后，开始坠床检测之前，先获取一张深度图，人工选择其中属于地面的三个点其中，i＝1,2,3，从而确定地面；

(9.2)高度特征提取：选择连续多帧头部中心的高度，构成高度特征向量。

10.如权利要求1或2所述的方法，其特征在于，所述步骤(4)具体包括：

(10.1)人工合成高度特征的训练样本，包括高度特征的正样本和高度特征的负样本；

(10.1.1)正样本合成：坠床过程中，头部高度h(t)由床面的高度h_f逐渐变小为接近地面的高度，中间变化过程可快可慢，构造高度变化函数：

$h\left(t\right)=\left\{\begin{array}{cc}{h}_f+\frac{1}{2}{a}_f{t}^2+\mathrm{\&epsiv;},& h_f+\frac{1}{2}{a}_f{t}^2+\mathrm{\&epsiv;}>0\\ 0,& h_f+\frac{1}{2}{a}_f{t}^2+\mathrm{\&epsiv;}<0\end{array}\right.$

通过上式，给定时间t，从0以固定步长连续增加，根据实际坠床时加速度的变化范围，不断调节a_f的大小，获取对应的h(t)的值，即坠床时连续多帧的人体头部的高度，构成高度特征正样本；

(10.1.2)负样本合成：模拟除坠床外，其他的人体动作时的高度特征作为负样本，构造高度变化函数：

$h\left(t\right)=\left\{\begin{array}{cc}{h}_{other}+\frac{1}{2}{a}_{other}{t}^2+\mathrm{\&epsiv;},& h_{other}+\frac{1}{2}{a}_{other}{t}^2+\mathrm{\&epsiv;}>0\\ 0,& h_{other}+\frac{1}{2}{a}_{other}{t}^2+\mathrm{\&epsiv;}<0\end{array}\right.$

其中，h_other变化范围为0到人体身高，a_other变化范围为(-a_max,a_max)，其中a_max为人体活动中加速度的最大值；给定时间t，从0以固定步长连续增加，不断调节h_other与a_other，获取对应的h(t)的值，构成高度特征负样本；其中，ε是随机变量；

(10.2)训练坠床分类器：采用上述高度特征的训练样本训练支撑向量机分类器，获取该分类器的具体模型；

(10.3)坠床检测：将步骤(9)所述的高度特征向量实时输入上述分类器的具体模型，若判定为坠床后，再检测头部中心和躯干中心与地面之间的距离，当所述距离在预设的时间段内持续不变，判定为坠床；若在预设的时间段内头部中心恢复正常高度，则判定为未坠床。