CN108876822B - 一种行为危险度评估方法及家庭安防看护系统 - Google Patents

Abstract

本发明公开了一种行为危险度评估方法及家庭安防看护系统，构建卷积神经网络模型，选定待识别的目标种类并进行识别及定位，其中，待识别的目标种类包含危险物与看护对象类别；得到目标种类中各个类别的位置坐标后，对移动的看护对象的运动轨迹进行预测，得到看护对象的移动方向与看护对象和危险物连线方向夹角并记为θ，及看护对象与危险物的距离记作d；建立危险度评估模型，根据看护对象与危险物相对位置信息d，以及预测移动方向θ，实时计算行为危险度。并设定安全阈值，当危险度超过安全阈值时，发出提示警报。本发明协助看护人对看护对象做出及时看护，规避意外伤害。

Description

一种行为危险度评估方法及家庭安防看护系统

技术领域

本发明涉及家庭安防技术领域，特别是涉及一种行为危险度评估方法及家庭安防看护系统。

背景技术

家庭是温暖的避风港湾，但对于某些特殊群体而言，同时也存在诸多潜在安全隐患。例如，低龄儿童活动能力、好奇心强，对家庭环境中潜在危险因素的判断力较弱，因而往往导致意外伤害；高龄或患有痴呆症状老人由于身体机能衰退，感官行动迟缓，对环境的危险感知能力严重下降，同样容易引发意外事故。而家庭环境中，造成伤害的主要原因多为坠落、锐器伤、烫伤、触电等。而看护人由于其精力有限，往往无法时时看护。因此，能够智能、精准、有效协助家庭成员看护此类特殊群体的家庭安防系统成为了全社会关注的热点技术。

已有的家庭安防系统及设施大多采用硬件传感器报警方式。根据环境中的特征物理量(如烟雾、温度、光线等)评估其是否出现危险情况。但这种结果后验的方式往往对危险情况“后知后觉”。无法起到针对潜在的危险因素及可能的危险行为“提前感知”的功效。使用基于计算机视觉的风险评估与行为感知模型，为解决此类问题提供了更好的解决方案。

综上所述，现有技术中对于家庭安防中的实时性及准确性问题，尚缺乏有效的解决方案。

发明内容

本发明的目的之一是提供了一种行为危险度评估方法，该方法对潜在的危险性目标做出准确的识别与定位，对待看护目标的行为进行预测，及时评估其行为危险度并预警，从而协助看护人对看护对象做出及时看护，规避意外伤害。

一种行为危险度评估方法，包括：

构建卷积神经网络模型，选定待识别的目标种类并进行识别及定位，其中，待识别的目标种类包含危险物与看护对象类别；

得到目标种类中各个类别的位置坐标后，对移动的看护对象的运动轨迹进行预测，得到看护对象的移动方向与看护对象和危险物连线方向夹角并记为θ，及看护对象与危险物的距离记作d；

建立危险度评估模型，根据看护对象与危险物相对位置信息d，以及预测移动方向θ，实时计算行为危险度。并设定安全阈值，当危险度超过安全阈值时，发出提示警报。

进一步优选的技术方案，构建卷积神经网络模型时，搜集训练数据，制作数据集，并按照一定比例分为训练集和测试集；

数据集中的每张图片标有类标号及边界框参数信息，每个边界框包含五个预测值：x，y，w，h，confidence。其中(x,y)表示边界框中心坐标，w，h表示边界框的宽、高，置信度confidence表示识别为相应类的概率；

将整张图片作为输入，训练得到的卷积神经网络能够输出识别不同类别的置信度及对应边界框，由此得到家居环境中危险物的分布状况及看护对象相对这些危险物所处的位置。

本申请中，边界框与置信度一一对应。即图片中识别出来的每一类目标都会由一个外接边界框标注；并且给出该识别结果的“可信赖”程度。

进一步优选的技术方案，对移动的看护对象的运动轨迹进行预测时，采用卡尔曼滤波器对看护对象进行轨迹预测。

进一步优选的技术方案，采用卡尔曼滤波器对看护对象进行轨迹预测时，假定看护对象的位置状态方程为：

其中t表示第t时刻，L_t表示t时刻目标位置状态，U_t-1为控制输入，Q_t-1为预测噪声；Z_t为测量值，R_t为测量噪声。卡尔曼滤波器以最小化预测值与实际值之差为目标，通过最小二乘法来实现优化，得到对实际位置状态Location的最优估计

测量及更新方程如下：

A为从上一时刻t-1到当前时刻t的状态转移矩阵；B为控制矩阵，表征控制量如何作用于当前状态；H为状态变量到观测值的转换矩阵；K_t为卡尔曼系数。式中

表示根据上一时刻状态预测的当前位置状态，以区分位置状态的最优估计

同理，

及P_t分别表示根据上一时刻预测的协方差矩阵和协方差矩阵的最优估计；

其中，U_t-1＝0，单位矩阵

整个卡尔曼滤波器是对看护目标边界框的中心坐标点L(x,y)进行预测。之所以要预测，是因为实际移动与实际观测均存在误差；具体使用时，使用前述的卷积神经网络能够获得看护目标边界框实时中心坐标，作为观测量，对应于公式中的Z_t；然后通过公式中的计算方式，计算出对下一时刻位置的最优位置估计P_t，即做出对位置的预测；由于卡尔曼滤波器是一种递归算法，随着方程的不断更新，会逐渐得到对于看护目标位置状态的最优估计。

使用卡尔曼滤波器，获得相对当前时刻的下一时刻的位置最优估计，从而计算出看护目标的移动方向，完成对于移动目标的轨迹预测，预测移动方向与看护对象和危险物连线方向夹角记为θ；

同时，在实际家庭环境中，危险物大多为静止或非连续运动的物体，看护对象与危险物的距离distance记作d为：

其中，看护目标边界框中心坐标(x₁,y₁)；危险物边界框中心坐标(x₂,y₂)。

进一步优选的技术方案，根据二维高斯函数建立危险度评估计算模型：

其中，λ_θ，λ_d为角度θ和距离d的校正参数。

为简化模型的建立，θ与d的方差统一为σ²；上述参数的取值是经过大量室内仿真测试取得的较优解。

本申请的目的之二是提供了一种家庭安防看护系统，该系统利用上述行为危险度评估方法，采用包括微型计算机及与该微型计算机通信的摄像机模块及无线通讯模块，所述摄像机模块为高清云Wifi相机，便于图像的采集、处理、传输，所述相机装载在步进电机平台之上，可对室内场景360°全覆盖监视，所述无线通讯模块，用于当检测出看护对象的运动行为存在极大的安全隐患时立即向监控终端发出警报。

进一步优选的技术方案，所述监控终端为上位机计算机或移动终端。

进一步优选的技术方案，通过监控端的上位机进行起止控制和监护模式设定；

模式1为循环模式：即安防系统固定于设定好的区域位置，启动相机旋转平台，对环境中的物体进行360°全方位监控；

模式2为跟随模式，即保证安防系统始终在视频画面中“看到”看护对象，当看护对象移动时，摄像头可随之转动，从而完成对看护对象的跟随；

当监护终端收到危机预警时，首先调出安防系统传输的监控视频，以防出现误检测，当确认存在危机情况后，便可立即做出响应，从而规避意外风险。

本申请的目的之三是提供了一种服务机器人，所述用于执行上述行为危险度评估方法的流程。结合方式主要为：服务机器人添加摄像头及微型计算机部分，使得服务机器人除完成常见服务任务外，可以通过运行本发明涉及的危险度评估模，从而起到协助看护特殊群体的作用。

具体为将上述方法运行在服务机器人的视觉系统上。

与现有技术相比，本发明的有益效果是：

本发明对家庭中常见具有潜在危险因素物体进行目标识别，并分析看护对象的行为意图，评估其可能带来的危险度。当危险度超过警戒阈值时，系统会向监控终端发出警报，看护人通过观察监控画面确定看护对象是否存在安全隐患，从而协助看护人对看护对象做出及时看护，规避意外伤害。

本发明风险评估要求对场景中具有潜在危险性目标(如刀具、插座、锅、门窗等)做出准确识别与定位。基于深度学习的特征表达具有强大的分层自学习能力，能够深度地挖掘隐含在数据内部间的潜在关系，而卷积神经网络的实现效果尤为突出。卷积神经网络以原始图像作为输入，使用大量图像数据训练网络模型。训练后的模型能够自主提取图像的多层特征，最终输出各目标定位及分类结果，具有良好的鲁棒性及泛化能力。

本发明危险目标识别定位后，对视频中的看护目标(幼儿、老人)分析其行为或移动规律，进而判别其是否存在遭遇危险的可能性。卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。卡尔曼滤波的动态轨迹预测，通过使用前一时刻的估计值和当前时刻的观测值更新对状态变量的估计，进而对下一时刻的轨迹位置做出预测。精度较高且时效性良好。

本发明构建卷积神经网络模型，对家庭中常见的具有潜在危险因素的物体进行目标识别，使用卡尔曼滤波器分析看护目标的移动轨迹，并建立行为危险度评估预测模型。该模型能够根据看护目标的移动方向及与危险物的相对位置信息，实时计算出行为危险度量化数值。当超越警戒阈值时，系统将发出警报，从而协助看护人对看护对象做出及时看护，规避意外伤害。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为一种评估幼儿行为危险度以及危机预警的家庭安防系统的整体结构图；

图2为训练卷积神经网络流程示意图；

图3为评估幼儿行为危险度以及危机预警的流程示意图；

图4为危险度评估模型原理示意图；

图5为危险物识别效果示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本申请的一种典型的实施方式中，提供了为实例化本发明所涉及的一种评估行为危险度方法，下面以看护低龄儿童群体为例，详细阐述搭建家庭安防看护系统的具体实施方式(以下简称为安防系统)。

如图1所示，系统主体为一个硬件监控平台。其上搭载高清云Wifi相机，便于图像的采集、处理、传输。相机装载在步进电机平台之上，可对室内场景360°全覆盖监视。系统同时配备无线通讯模块，当系统检测出幼儿的运动行为存在极大的安全隐患时立即向监控终端发出警报，便于协助看护人(家长)及时处理，规避意外伤害。并在监控终端设计上位机软件，对系统的起止状态、运行模式施以控制。

首先，训练卷积神经网络模型，用于对环境中的危险目标识别及定位。以识别5类目标(危险物以刀具、插座、锅、窗户为例，看护对象为幼儿，共5类)为例。如附图2所示，为卷积神经网络制作数据集。数据集中每类目标按比例划分为训练集图片和测试集图片。为数据集图片打上类标，使用Python编写的BBox-Label-Tool软件为各目标类别标记边界框。得到的边界框数据形式为Bounding box:A(x_A,y_A)，B(x_B,y_B)(A点代表边界框左上角顶点，B点代表边界框右下角顶点)。由于最终使用到的边界框数据形式为x，y，w，h，其中(x,y)表示边界框中心坐标，w，h表示边界框的宽，高，二者形式不一。所以编写Python脚本对其进行批量转化，最终得到符合实际使用标准的训练数据集。

将制作好的训练集喂入卷积神经网络，迭代一定步数后，观察训练后的平均损失值、召回率，精准度等参考指标。并将训练好的网络在测试集上进行测试。若测试结果符合使用标准，则保存最终训练的权重文件；反之继续训练，直到模型符合使用标准(使用标准为在测试集上，检测结果的平均召回率较高)。

其次，设计危险度评估模型，计算看护对象(幼儿)的行为危险度。如附图3所示，卷积神经网络载入权重文件后，能够对摄像头捕获的实时图像进行目标识别，从而获得每一时刻看护对象(幼儿)的位置信息。使用卡尔曼滤波器对看护目标进行轨迹预测，得到对下一时刻看护目标位置的最优估计，即对看护对象做出运动方向的预测。如附图4所示，在监控画面中，看护目标的预测轨迹方向与看护对象及危险物连线方向夹角为θ；看护对象与危险物距离为d。θ、d即为描述看护对象运动行为的具体参量。

本申请中，由于家庭环境中，常见危险物无自主移动能力，所以卡尔曼滤波器只对看护运动目标进行轨迹预测分析，减小系统的计算开销，提高实时性。

根据分析，θ接近0时，此时看护对象沿着危险物方向移动，危险度增加；而θ接近180°时，看护对象沿着与危险物相反方向移动，危险度减小；同时，距离d减小，危险度增加；距离d增大，危险度减小。建立行为危险度评估方程：

危险度Venture取值在0和1之间，且满足θ，d对评估结果的作用规律。其中，λ_θ，λ_d为在不同情况下，角度θ和距离d的校正参数。经过行为危险度计算模型，安防系统能够对看护对象在每一时刻下评估其行为危险度。当危险度大于警戒阈值时，安防系统向监控终端发出危机预警。

看护人通过监控端的上位机对安防系统进行起止控制和监护模式设定。

设置两种监控模式。模式1为循环模式。即安防系统固定于设定好的区域位置，启动相机旋转平台，对环境中的物体进行360°全方位监控。模式2为跟随模式，即保证安防系统始终在视频画面中“看到”看护对象。当看护对象移动时，摄像头可随之转动，从而完成对看护对象的跟随。用户可根据实际需要设定监护模式。当监护终端收到危机预警时，用户可首先调出安防系统传输的监控视频，以防出现误检测。当确认存在危机情况后，便可立即做出相应，从而规避意外风险。

具体的，整体工作流程为：

S1：确定待识别种类，标注数据集，数据集按比例分为训练集和测试集

S2：确定所使用的卷积神经网络的结构；

S3：输入训练集，训练网络模型；

S4：在测试集上检测识别效果，若不满足使用标准，返回S3；

S5：保存训练权重文件；

S6：系统开启，摄像头捕捉监控画面；

S7：载入权重文件

S8：实时检测，输出危险物及看护对象识别效果及位置坐标；

S9：对看护目标进行轨迹预测；

S10：根据方向角θ及距离d使用行为危险度评估模型计算危险度Venture；

S11：若危险度小于设定安全阈值，返回S8；

S12：否则系统向监控终端发出警报，危机预警。

图5为危险物识别效果示意图，具体为：该图反映的是危险度评估方法实际使用时的效果示意图。共有三组图片(一行为一组)。第一、二组图片中，当看护目标朝向危险物移动时，危险度逐渐增加，且最终计算的危险度评估值均超过安全阈值，系统发出警报；第三组图片中，当看护目标远离危险物时，危险度计算结果逐渐减小，且不超过安全阈值，符合实际情况。通过图5，可以证明该危险度评估方法能够较好对看护目标的危险行径做出预警，降低非危险情境下的错误判定。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种行为危险度评估方法，其特征是，包括：

构建卷积神经网络模型，选定待识别的目标种类并进行识别及定位，其中，待识别的目标种类包含危险物与看护对象类别；

构建卷积神经网络模型时，搜集训练数据，制作数据集，并按照一定比例分为训练集和测试集；

数据集中的每张图片标有类标号及边界框参数信息，每个边界框包含五个预测值：x，y，w，h，confidence，其中(x,y)表示边界框中心坐标，w，h表示边界框的宽、高，置信度confidence表示识别为相应类的概率；

将整张图片作为输入，训练得到的卷积神经网络能够输出识别不同类别的置信度及对应边界框，由此得到家居环境中危险物的分布状况及看护对象相对这些危险物所处的位置；

得到目标种类中各个类别的位置坐标后，对移动的看护对象的运动轨迹进行预测，得到看护对象的移动方向与看护对象和危险物连线方向夹角并记为θ，及看护对象与危险物的距离记作d；

建立危险度评估模型，根据看护对象与危险物相对位置信息d，以及预测移动方向θ，实时计算行为危险度，并设定安全阈值，当危险度超过安全阈值时，发出提示警报；

所述危险度评估计算模型为：

其中，λ_θ，λ_d为角度θ和距离d的校正参数，θ与d的方差统一为σ²。

2.如权利要求1所述的一种行为危险度评估方法，其特征是，对移动的看护对象的运动轨迹进行预测时，采用卡尔曼滤波器对看护对象进行轨迹预测。

3.如权利要求1所述的一种行为危险度评估方法，其特征是，采用卡尔曼滤波器对看护对象进行轨迹预测时，假定看护对象的位置状态方程为：

其中，t表示第t时刻，L_t表示t时刻目标位置状态，U_t-1为控制输入，Q_t-1为预测噪声；Z_t为测量值，R_t为测量噪声；

A为从上一时刻t-1到当前时刻t的状态转移矩阵；B为控制矩阵，表征控制量如何作用于当前状态；H为状态变量到观测值的转换矩阵。

4.如权利要求3所述的一种行为危险度评估方法，其特征是，测量及更新方程如下：

K_t为卡尔曼系数，式中

表示根据上一时刻状态预测的当前位置状态，以区分位置状态的最优估计

同理，P_t ^-及P_t分别表示根据上一时刻预测的协方差矩阵和协方差矩阵的最优估计；

其中，U_t-1＝0，单位矩阵

使用卡尔曼滤波器，获得相对当前时刻的下一时刻的位置最优估计，从而计算出看护目标的移动方向，完成对于移动目标的轨迹预测，预测移动方向与看护对象和危险物连线方向夹角记为θ；

同时，在实际家庭环境中，危险物大多为静止或非连续运动的物体，看护对象与危险物的距离distance记作d为：

5.一种家庭安防看护系统，其特征是，该系统利用上述权利要求1-4任一所述的行为危险度评估方法，采用包括微型计算机或嵌入式系统及与该微型计算机或嵌入式系统通信的摄像机模块及无线通讯模块，所述摄像机模块为高清云Wifi相机，便于图像的采集、处理、传输，所述相机装载在步进电机平台之上，对室内场景360°全覆盖监视，所述无线通讯模块，用于当检测出看护对象的运动行为存在极大的安全隐患时立即向监控终端发出警报。

6.如权利要求5所述的一种家庭安防看护系统，其特征是，所述监控终端为上位机计算机或移动终端。

7.如权利要求5所述的一种家庭安防看护系统，其特征是，通过监控端的上位机进行起止控制和监护模式设定；

模式1为循环模式：即安防系统固定于设定好的区域位置，启动相机旋转平台，对环境中的物体进行360°全方位监控；

模式2为跟随模式，即保证安防系统始终在视频画面中“看到”看护对象，当看护对象移动时，摄像头可随之转动，从而完成对看护对象的跟随；

当监护终端收到危机预警时，首先调出安防系统传输的监控视频，以防出现误检测，当确认存在危机情况后，便可立即做出响应，从而规避意外风险。

8.一种服务机器人，其特征是，用于执行权利要求1-4任一所述的行为危险度评估方法的流程。

Images