CN108737785B - 基于tof 3d摄像机的室内跌倒自动检测系统 - Google Patents

Abstract

本发明涉及一种基于TOF 3D摄像机的室内跌倒自动检测系统，属于自动监控的技术领域。本发明的室内跌倒自动检测系统，包括前端子系统和后台监控响应子系统；前端子系统包括摄像模块、识别模块、图像存储模块和无线通信模块；后台监控响应子系统包括数据响应模块、数据存储模块、分析决策模块和应急响应模块；前端子系统的识别模块根据摄像模块拍摄的深度图像数据中的连续深度分布数据的变化分割并标记出室内移动物体；并通过对移动的室内物体的连续运动过程时深度数据进行分析，判断是否发生了人员跌倒。本发明采用3D摄像机拍摄序列的深度图像数据，使用时无须担心隐私泄露，且不受环境亮度变化的影响，无需室内照明，不会影响正常的室内生活。

Description

基于TOF 3D摄像机的室内跌倒自动检测系统

技术领域

本发明涉及自动监控的技术领域，更具体地说，本发明涉及一种基于TOF 3D摄像机的室内跌倒自动检测系统。

背景技术

我国正快速进入老龄化社会，老年人口数量众多，老年人由于身体各种功能衰退，患病以及服药都有可能引起跌倒。由于社会经济的发展和家庭结构的变化，独居空巢的老年人家庭正在急剧的增多，很多跌倒经常发生在生活居住的室内，如起床站立、上厕所、洗澡等，只有少数跌倒是发生在有危险的活动中，如爬梯子、搬重物等。发生跌倒如果不能及时的进行救助，就会引起严重的后果甚至死亡。检测室内人体在移动时发生的跌倒行为，目前的主要方法基本分为三类：1、利用移动人体随身携带可以检测运动加速度的3D重力传感器，检测人体的重心是否发生突然变化来判断是否跌倒；这种方式尽管设置和操作简单，但是携带的舒适性差等原因，造成老年人在晚上睡觉或洗澡等易发生跌倒的时间恰恰没有携带或由于其它原因而忘记携带，无法真正有效的在跌倒发生时报警；2、利用视频摄像机进行运动视频采集，分析移动人体的各个关节点和重心，根据人体重心或形态的变化判断是否跌倒；这种方法由于监控范围内可能有多个移动对象以及移动对象身体位置的多变，拍摄效果受环境光的影响大等原因，因此跌倒判断的准确性不高；同时由于判断需要不间断的采集家庭内的彩色或黑白图像可能造成隐私泄露，因此在家庭室内使用很少；3、利用基于室内环境而预先布设的传感器进行移动人体跌倒的检测，例如在地面铺设带有压力传感器的地毯等，这种方法的局限性很强，布设成本高，布设难度大，因此也很少得到实际的应用。

发明内容

为了解决现有技术中的上述技术问题，本发明的目的在于提供一种基于TOF 3D摄像机的室内跌倒自动检测系统。

为了实现上述发明目的，本发明采用了以下技术方案：

本发明的基于TOF 3D摄像机的室内跌倒自动检测系统，包括前端子系统和后台监控响应子系统；其特征在于：所述前端子系统包括摄像模块、识别模块、图像存储模块和无线通信模块；所述后台监控响应子系统包括数据响应模块、数据存储模块、分析决策模块和应急响应模块；前端子系统的摄像模块包括基于TOF(Time-of-flight)的3D摄像机；前端子系统的识别模块根据摄像模块拍摄的深度图像数据中的连续深度分布数据的变化分割并标记出室内移动物体；并通过对移动的室内物体的连续运动过程时深度数据进行分析，初步判断是否发生了人员跌倒；初步判断发生了人员跌倒时，前端子系统通过无线通信模块，发送报警信息及做出跌倒判断所依据的连续深度图像到后台监控响应子系统；后台监控响应子系统对前端子系统做出初步判断依据的深度数据做进一步的分析，最终由分析决策模块自动或结合人工的方式做出是否发生跌倒的判断，应急响应模块进行相应的救助处理。

其中，所述3D摄像机采集的图像数据是所拍摄对象到3D摄像机的空间的连续深度分布数据，而并非一般意义所述的人眼可见的黑白或彩色图像。

其中，所述识别模块根据摄像模块采集的连续深度数据，利用所述连续深度数据的变化分割并标记出室内移动物体，并通过对室内移动物体的连续运动过程时的深度数据的变化进行分析，做出是否发生了人员跌倒的初步判断。

其中，所述数据存储模块存储有一定时间长度的由摄像模块拍摄的深度图像数据，特别是包括识别模块做出人员跌倒初步判断所依据的深度图像数据。

其中，所述无线通信模块以无线的方式与后台监控响应子系统进行数据通信，在识别模块做出发生人员跌倒的初步判断后，将保存在存储模块中的识别模块做出人员跌倒判断时间点前一定时间长度的深度图像数据上传到后台监控响应子系统。

其中，所述数据响应模块用于与所述前端子系统进行及时的数据交互。

其中，所述分析决策模块根据前端子系统的具体应用环境进行个性化的学习，通过对跌倒的实际结果与系统判断的对比进行深度学习，通过个性化的学习和优化以及对大量不同前端子系统所依据的深度数据和结果的迭代学习，不断地改进判断方法，提高跌倒判断的准确率。

其中，所述应急响应模块根据系统跌倒的最终判断，按照设定进行跌倒的应急响应处理；记录并跟踪是否发生实际跌倒以及跌倒引起的原因和处理方案。

与现有技术相比，本发明的基于TOF 3D摄像机的室内跌倒自动检测系统具有以下有益效果：

本发明采用基于TOF的3D深度摄像机直接获取室内移动物体的深度变化数据来作为是否发生了人物跌倒行为的判断，方法简单实用。使用3D深度摄像机在前端子系统以简单算法将拍摄范围内发生对象移动以及疑似跌倒的时间区间内的序列图像传输到后台系统做进一步的分析，既可以降低对前端子系统的软硬件计算能力的要求，降低前端子系统的实现成本，方便大规模的推广使用，也可以减少没意义的数据传输量；在本发明中，前端子系统以可能的高疑报而避免漏报，通过后台系统进行复杂的识别处理以及人工判断，最终实现不漏报；采用3D摄像机拍摄序列的深度图像而非传统的彩色或黑白图像，使用时也无须担心隐私泄露，3D摄像机使用红外光辅助取得深度数据，不受环境亮度变化的影响，同时也无需室内照明，不会影响正常的室内生活。

附图说明

图1为本发明的基于TOF 3D摄像机的室内跌倒自动检测系统的示意图。

图2为集成有一个前端子系统的房间示意图。

图3为站立姿势人物发生跌倒的示意图。

图4为坐姿人物发生跌倒的示意图。

具体实施方式

以下将结合具体实施例对本发明所述的基于TOF 3D摄像机的室内跌倒自动检测系统做进一步的阐述，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

如图1所示，本发明的基于TOF 3D摄像机的室内跌倒自动检测系统，包括前端子系统和后台监控响应子系统。所述前端子系统包括摄像模块、识别模块、图像存储模块和无线通信模块；所述后台监控响应子系统包括数据响应模块、数据存储模块、分析决策模块和应急响应模块。如图2所示，前端子系统的摄像模块、识别模块、图像存储模块、无线通信模块集成在一起安装在室内房间中间位置高处。前端子系统中的摄像模块采用瑞士ESPROS光电子公司生产的型号为EPC635的3D深度摄像芯片，采集分辨率为160X60像素，全幅采集频率可在128幅/秒内调整，本实施例中采集频率设定为10幅/秒，所采用镜头测量的深度距离范围为0.1cm到1000cm，深度分辨率最高可到12Bits，即可以测量出少于1cm的深度变化。如图2所示，一般房屋室内的深度(高度)在300cm左右，以面积为500cm×700cm的房间为例，深度摄像机单像素对应的空间尺寸在5cm×7cm左右。正常人的身体尺寸一般为身高为150-200cm，肩宽为25-45cm，胸厚为15-30cm，上身：下身的比例约为45％∶65％。当人物处在摄像机的正下方时，摄像机拍摄到的是人物的最小面积的深度数据，所对应的像素数也在2×3-2×5以上，可以测量的最小深度变化可到1cm左右，进行人物移动的分析足够用。如图3所示，在室内的跌倒一般表现为从站姿或坐姿跌倒俯卧在地面，如图4所示，从站姿或坐姿跌倒靠坐在地面。跌倒发生的最显著的特征就是在一个比较短的时间内人体的最高点从一个时间点到另外一个时间点发生了比较明显的降低，并且维持了这种一定时间的状态改变；

在本实施例中，前端子系统的摄像模块在时间点t和t+1采集的深度图像数据分别为D(t)[x，y]，D(t+1)[x，y]，利用后一时间点的深度图像数据减前一时间点的深度图像得到差值图像S(t+1)[x，y]＝D(t+1)[x，y]-D(t)[x，y]；

根据各个位置点差值数据绝对值与设定的最小深度有效变化阈值H1进行比较，可以对拍摄区域中的不同移动的物体进行标注，得到每一移动物体的移动范围的标识矩阵P(t+1)数据。

本实施例中假定只有一个移动物体，H1为通过实验取得的用作判断物体发生有效移动的阈值；

∑P(i+1)[x，y]≠0，则表示区域内有物体移动并且移动物体的深度发生了可以确认的改变；

∑P(t+1)[x，y]由0变化为非0，意味着物体发生移动；

∑P(t+1)[x，y]由非0变化为0，意味着物体停止移动；

在∑P(t+1)[x，y]≠0时，P(i+1)[x，y]中数值为1对应的区域就是移动物体从一个深度状态变动到另一深度状态时对应的发生了深度变化的区域；

计算基于P(t+1)[x，y]对应的各个移动物体深度发生变动的区域内的最小深度值Dmin(t+1)

Dmin(t+1)＝MIN{D(t+1)[x，y]∩P(t+1)[x，y]}

对于摄像模块在t+1时刻采集的深度图像中的移动物体计算得到连续的Dmin(t+1)，根据移动物体在不同时刻的深度最小值Dmin(t+1)，计算出移动物体在时间段T内的移动过程中深度对应的最大值DMAX和最小值DMIN

DMIN(t)＝MIN{Dmin(i)}；i∈(t-T，t)

DMAX(t)＝MAX{Dmin(i)}；i∈(t-T，t)

T是识别模块由系统设定的作为判断在人物的移动过程中是否发生跌倒行为的时间区间，该时间区间足以包含一个跌倒行为的全过程，例如设定T为2分钟，则可得到T＝2(分钟)×60(秒/分钟)×10(幅/秒)＝1200

根据DMAX(t)和DMIN(t)的比例与判定跌倒发生的阈值H2进行比较，判定是否发生跌倒。

房间的高度Droom为摄像区域内深度的最大值Droom＝MAX{D(t)[x，y]}

Droom-DMAX(t)相当于人物在跌倒后身体最高处离开地面的高度；

Droom-DMIN(t)相当于人物在跌倒前身体最高处离开地面的高度；

例如根据人体的结构，可以选择H2＝50％；

P(t)＝1则前端子系统识别模块做出移动物体发生疑似跌倒的判决；在实际的应用中根据DMAX(t)、DMIN(t)以及其比例关系就可以容易的判断出移动物体是人物还是在室内跑动的动物。

在前端子系统做出跌倒判决时，前端子系统的无线通信模块将做出判决依据的阈值H1、H2、时间区间参数T以及在存储模块中存储的序列深度图像D(t-T)[x，y]、D(t-T+1)[x，y]、.....D(t)[x，y]的数据通过后台系统的数据响应模块传输到后台系统的数据存储模块保存。

后台监控响应子系统的分析决策模块根据存储在数据存储模块的序列深度图像数据，利用后台服务器的所具有的比前端子系统更强的运算能力以更完善的识别算法进行发生人物跌倒可靠度计算，分析决策子系统在识别得到的人物跌倒可靠度不足以完全确认的情况下，再通过人工的方式对储存的序列图像进行研判并做出最终的判断，同时将分析决策子系统的决策算法、相关参数、可靠度和人工研判的结果等存储到存储子系统中，作为后期根据实际是否发生跌倒进行识别算法优化的数据依据。

分析决策模块根据最终跌倒的真实性结果结合储存的做出跌倒判断依据的序列深度图像、阈值H1、H2、积累的前期数据和判断结果进行迭代和深度学习改进前端子系统和后台系统进行跌倒判断的参数和方法，提高系统的整体判断准确性；

前端子系统中的存储模块、无线通讯模块，后台系统中的各个子系统涉及到有关技术和实现方法，基本都是目前相关领域的公有技术，具体的实现方案并不会影响本发明的实际应用，前端子系统中的识别模块及后台系统的分析决策子系所使用的识别方法也会随着积累数据的增加而发生修改和改变，但这并不影响本发明专利的核心特征。

对于本领域的普通技术人员而言，具体实施例只是对本发明进行了示例性描述，但本发明的范围并不受上述方式的限制，只要采用了本发明的技术方案进行的各种非实质性的改进，或未经改进将本发明的技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (8)

1.一种基于TOF 3D摄像机的室内跌倒自动检测系统，包括前端子系统和后台监控响应子系统；其特征在于：所述前端子系统包括摄像模块、识别模块、图像存储模块和无线通信模块；所述后台监控响应子系统包括数据响应模块、数据存储模块、分析决策模块和应急响应模块；前端子系统的摄像模块包括基于TOF的3D摄像机；前端子系统的识别模块根据摄像模块拍摄的深度图像数据中的连续深度分布数据的变化分割并标记出室内移动物体；并通过对移动的室内物体的连续运动过程时深度数据进行分析，初步判断是否发生了人员跌倒；初步判断发生了人员跌倒时，前端子系统通过无线通信模块，发送报警信息及做出跌倒判断所依据的连续深度图像到后台监控响应子系统；后台监控响应子系统对前端子系统做出初步判断依据的深度数据做进一步的分析，最终由分析决策模块自动或结合人工的方式做出是否发生跌倒的判断，应急响应模块进行相应的救助处理；

其中，所述识别模块根据3D摄像机采集的深度图像数据，利用所述连续深度数据的变化分割并标记出室内移动物体，并通过对室内移动物体的连续运动过程时的深度数据的变化进行分析，做出是否发生了人员跌倒的初步判断；所述3D摄像机在时间点t和t+1采集的深度图像数据分别为D(t)[x，y]，D(t+1)[x，y]，所述识别模块利用后一时间点的深度图像数据减前一时间点的深度图像得到差值图像S(t+1)[x，y]＝D(t+1)[x，y]-D(t)[x，y]；根据各个位置点差值数据绝对值与设定的最小深度有效变化阈值H1进行比较，对拍摄区域中的不同移动的物体进行标注，得到每一移动物体的移动范围的标识矩阵P(t+1)数据；计算基于P(t+1)[x，y]对应的各个移动物体深度发生变动的区域内的最小深度值DMIN(t+1)；

其中，Dmin(t+1)＝MIN{D(t+1)[x，y]∩P(t+1)[x，y]}

对于3D摄像机在t+1时刻采集的深度图像中的移动物体计算得到连续的Dmin(t+1)，根据移动物体在不同时刻的深度最小值Dmin(t+1)，计算出移动物体在时间段T内的移动过程中深度对应的最大值DMAX和最小值DMIN；其中，

DMIN(t)＝MIN{Dmin(i)}；i∈(t-T，t)

DMAX(t)＝MAX{Dmin(i)}；i∈(t-T，t)

T是识别模块由系统设定的作为判断在人物的移动过程中是否发生跌倒行为的时间区间；根据DMAX(t)和DMIN(t)的比例与判定跌倒发生的阈值H2进行比较，判定是否发生跌倒。

2.根据权利要求1所述的室内跌倒自动检测系统，其特征在于：所述3D摄像机采集的深度图像数据是所拍摄对象到3D摄像机的空间的深度分布数据。

3.根据权利要求1所述的室内跌倒自动检测系统，其特征在于：所述数据存储模块存储有一定时间长度的由摄像模块拍摄的深度图像数据。

4.根据权利要求1所述的室内跌倒自动检测系统，其特征在于：所述无线通信模块以无线的方式与后台监控响应子系统进行数据通信，在识别模块做出发生人员跌倒的初步判断后，将保存在存储模块中的识别模块做出人员跌倒判断时间点前一定时间长度的深度图像数据上传到后台监控响应子系统。

5.根据权利要求4所述的室内跌倒自动检测系统，其特征在于：所述前端子系统的无线通信模块将做出判决依据的阈值H1、H2、时间区间参数T以及在存储模块中存储的序列深度图像D(t-T)[x，y]、D(t-T+1)[x，y]、.....D(t)[x，y]的数据通过数据响应模块传输到数据存储模块保存。

6.根据权利要求1所述的室内跌倒自动检测系统，其特征在于：所述数据响应模块用于与所述前端子系统进行及时的数据交互。

7.根据权利要求1所述的室内跌倒自动检测系统，其特征在于：所述分析决策模块根据前端子系统的具体应用环境进行个性化的学习，通过对跌倒的实际结果与系统判断的对比进行深度学习，通过个性化的学习和优化以及对大量不同前端子系统所依据的深度数据和结果的迭代学习改进判断方法。

8.根据权利要求1所述的室内跌倒自动检测系统，其特征在于：所述应急响应模块根据系统跌倒的最终判断，按照设定进行跌倒的应急响应处理；记录并跟踪是否发生实际跌倒以及跌倒引起的原因和处理方案。

Images