CN112418045A - 一种安全监测方法、系统以及智能家电 - Google Patents

Abstract

本申请提供了一种安全监测方法、系统以及智能家电，该方法包括：步骤1、监测环境中的异常声音；步骤2、根据监测到的异常声音启动人脸图像识别，以确定目标对象身份；步骤3、当确定该目标对象属于预设的待监测目标集合时，启动该目标对象的动作行为监测，并将监测到的动作行为输入图像分类模型中，判断是否属于危险动作；以及步骤4、根据匹配结果判断是否发出警示信号。通过该方法，使用人脸识别技术识别目标对象，并对其进行动作检测，与数据库中的危险动作进行比对，当与数据库中危险动作匹配吻合时，发出预警。

Description

一种安全监测方法、系统以及智能家电

技术领域

本发明涉及人工智能技术领域，并且更具体地，涉及一种安全监测方法、系统以及智能家电。

背景技术

夜间，儿童往往有不规律作息时间，会在半夜醒来，这时候大人刚好进入深度睡眠，会感觉不到儿童的苏醒，没办法照看到，无人照看的儿童此时就容易发生意外。例如儿童走出房间、儿童磕碰、甚至有可能发生儿童爬上窗台，假使不幸掉落，就造成惨剧。另外，针对年长的老人或者身体残疾人士在夜间例如上洗手间期间也会发生摔倒等意外事件，此时同样也需要及时地通知家中的其他人员进行帮助。

因此，需要开发一种安全监测系统，其能够及时识别儿童或老人等在家中发生的安全意外事件，并及时安抚并通知他人。

发明内容

针对上述现有技术中的问题，本申请提出了一种安全监测方法、系统以及包含该系统的智能家电，其能够通过运动目标监测识别儿童或老人的危险行为，及时同时他人，避免危险发生。

第一方面，本申请提供了一种安全监测方法，包括：步骤1、监测环境中的异常声音；步骤2、根据监测到的异常声音启动人脸图像识别，以确定目标对象身份；步骤3、当确定该目标对象属于预设的待监测目标集合时，启动该目标对象的动作行为监测，并将监测到的动作行为输入图像分类模型中，判断是否属于危险动作；以及步骤4、根据匹配结果判断是否发出警示信号。通过该方法，使用人脸识别技术识别目标对象，并对其进行动作检测，与数据库中的危险动作进行比对，当与数据库中危险动作匹配吻合时，发出预警。

在第一方面的一个可能的该方式中，步骤3具体包括：获取与该目标对象相关的动作视频，并从该动作视频中截取连续的多个动作图像帧；从多个该动作图像帧中提取该目标对象的动作姿势；将编码为向量的该动作姿势输入该图像分类模型中，判断该动作姿势是否属于危险动作集合。

在第一方面的一个可能的该方式中，步骤1具体包括：采集环境中的声音片段；将编码为向量的声音片段输入声音分类模型中；根据该声音分类模型的输出结果判断该声音片段是否包含异常声音集合中的异常声音。通过该方式，能够通过环境中的异常声音监测结果启动人脸识别。

在第一方面的一个可能的该方式中，步骤2具体包括：获取该目标对象的人脸视频，并从该人脸视频中截取人脸图像帧；从该人脸图像帧中提取该目标对象的人脸特征值；将该人脸特征值输入图像识别模型中进行匹配；以及根据匹配结果判断该目标对象是否属于该待监测目标集合。

在第一方面的一个可能的该方式中，根据匹配结果判断是否发出警示信号，包括：向移动终端推送提醒消息；或者发出蜂鸣声。

在第一方面的一个可能的该方式中，该危险动作集合包括摔倒、撞击和攀爬。

在第一方面的一个可能的该方式中，该异常声音包括哭泣声、求救声、呻吟声、撞击声和摔倒声。

在第一方面的一个可能的该方式中，在步骤2之前，还包括：启动摄像头拍摄环境视频或图片；根据环境视频或图片确定环境亮度；以及当该环境亮度小于或等于亮度阈值时，控制开启环境中的灯，并执行人脸图像识别；或者当该环境亮度大于亮度阈值时，直接执行人脸图像识别。通过该方式，能够更加高效地进行人脸图像识别，提高识别准确性。

在第一方面的一个可能的该方式中，还包括：步骤5、当该目标对象为儿童时，启动安抚程序。通过该方式，使得危险环境中的儿童能够尽快安静下来，等待紧急联系人到来。

在第一方面的一个可能的该方式中，该图像识别模型为支持向量机分类器。

第二方面，本申请还提供了一种应用第一方面及其任一可能的该方式中的任意一项的安全监测方法的系统，该系统包括：声音监测模块，其用于监测环境中的异常声音；人脸识别模块，其用于基于该声音监测模块的监测结果进行环境中的人脸图像识别，以确定目标对象的身份；动作行为监测模块，其用于对目标对象的动作行为进行监测，并将监测到的动作行为输入图像分类模型中进行匹配；以及警示模块，其根据该动作行为监测模块的匹配结果发出警示信号。

在第二方面的一个可能的该方式中，还包括视频采集模块，其用于拍摄该目标对象的人脸视频和动作视频，以分别用于该人脸识别模块和该动作行为监测模块。

第三方面，本申请提供了一种智能家电，其包括如第二方面及其可能的该方式中的任一项的系统。

在第三方面的一个可能的该方式中，该智能家电为空调、冰箱、洗衣机、微波炉或电视机。

本申请提供的安全监测方法、系统以及智能家电，相较于现有技术，能够通过人脸识别技术识别目标对象，并对其进行动作检测，与数据库中的危险动作进行比对，当与数据库中危险动作匹配吻合时，发出预警，同时针对儿童可以启动安抚程序，等待父母的响应。

上述技术特征可以各种适合的方式组合或由等效的技术特征来替代，只要能够达到本发明的目的。

附图说明

在下文中将基于实施例并参考附图来对本发明进行更详细的描述。其中：

图1和图2显示了根据本发明实施例的安全监测方法的示意性流程图；

图3显示了根据本发明实施例的异常声音监测的示意性流程图；

图4显示了根据本发明实施例的人脸图像识别的示意性流程图；

图5显示了根据本发明实施例的动作行为监测的示意性流程图；

图6显示了根据本发明实施例的系统的结构框图。

在附图中，相同的部件使用相同的附图标记。附图并未按照实际的比例绘制。

具体实施方式

下面将结合附图对本发明作进一步说明。

本申请提供的上述安全监测方法的适用场景为在家居环境中，儿童、老人或者行动不便的残疾人士独处的房间内发生安全意外的情况下，根据其发出的异常声音进行人脸识别以确定其身份，并监测器其是否处于危险动作中，如果是，则及时通知紧急联系人，避免危险发生。

图1为本申请提供的安全监测方法的流程图。如图1所示，该方法包括如下步骤：

S110，监测环境中的异常声音；

S120，根据监测到的异常声音启动人脸图像识别，以确定目标对象身份；

S130，当确定该目标对象属于预设的待监测目标集合时，启动该目标对象的动作行为监测，并将监测到的动作行为输入图像分类模型中，判断是否属于危险动作；以及

S140，根据匹配结果判断是否发出警示信号。

在下文中，为了说明的目的，将以儿童为例对本发明的安全监测方法进行介绍。本领域技术人员应当理解，上文提到的老人或者行动不便的残疾人士也会适用于该方法。

在本文的实施例中，用于执行该安全监测方法的系统可以集成在房间内的智能家电中，例如空调、冰箱、洗衣机、微波炉或电视机等。优选地，系统集成在空调中，这是由于空调一般安装位置较高，能够更全面地监测房间内的事件，包括音频和视频等，避免发生遗漏。

可选地，如图2所示，用户可以在适当的时候(例如睡觉之前)选择开启该系统，启动安全监测模式，也可以使该系统全时段保持开启状态，本文在此不作限定。

在S110中，在该安全监测系统的开启状态下，其可以监测房间(环境)内的异常声音。

具体地，如图3所示，首先，系统通过音频采集设备(如麦克风)采集房间内的声音时间片段(该片段的持续时间可以由用户设定，例如为10s)；其次，将采集到的声音片段通过编码过程转为向量，使其可被识别；最后，将该向量化的声音片段输入准备好的声音分类模型中，以判断该声音片段中是否包含异常声音集合中的异常声音，如果是，则表明发出该声音片段的目标对象可能存在危险状况中，即启动人脸图像识别，并同时可选地发出警示信号(如向紧急联系人手机发送推送消息，或者发出蜂鸣声)。

在这里，异常声音集合是由预先确定和采集的多个异常声音所组成，异常声音包括但不限于哭泣声、求救声、呻吟声、撞击声和摔倒声等。

如图3所示，该声音分类模型可以通过如下的步骤获得：

1)采集所述待监测目标集合的成员的全部异常声音。在该系统所针对的待监测目标中的所有成员(如家中的儿童、老人以及行动不便的残疾人士等)，采集它们的异常声音集合中的至少一部分。例如，针对儿童，采集他们的哭泣声、求救声、摔倒声等；针对老人和残疾人士，采集他们的哭泣声、求救声、摔倒声、撞击声和呻吟声等。

2)将全部所述异常声音通过S110中提到的编码过程转换为向量，获得多个向量化的异常声音数据，并将它们存储在声音数据库中；以及

3)利用全部异常声音数据建立所述声音分类模型并输出。具体地，利用存储在声音数据库中的向量化的全部异常声音数据建立声音分类模型，并利用这些声音数据对其进行训练，并将最终得到的训练后的声音分类模型输出。训练后的声音分类模型能够准确地对输入的向量化声音片段进行匹配，判断其是否包括声音数据库中的部分异常声音。

可选地，在该实施例中，该系统可以通过音频采集设备实时性或者周期性地采集房间内的声音片段。例如，在实时采集的实施例中，每次采集时间为固定的10s，在采集一次完成后立即进行下一次采集，没有停顿，这样可以确保目标对象发出的异常声音不被遗漏，确保采集的全面性；而在周期性采集实施例中，例如每隔5s采集一次，每次采集时间例如为固定的10s，这样可以在保证一定的采集效率的同时，达到节能的效果。

在S110中系统监测到异常声音以后，立即启动进行S120的人脸图像识别程序。人脸检测是对人脸进行识别和处理的第一步，主要用于检测并定位图片中的人脸，返回高精度的人脸框坐标及人脸特征点坐标。人脸识别会进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。

如图4所示，具体地，首先，视频采集设备采集房间内的目标对象的人脸视频，并从该人脸视频中截取人脸图像帧；其次，从所述人脸图像帧中提取所述目标对象的人脸特征值；具体地为利用caffe提取图像中人脸感兴趣区域RO1，并利用torch提取出RO1特征值(人脸特征值)，即256维面部嵌入；然后，将所述人脸特征值输入训练好的图像识别模型中进行匹配；以及最后，根据匹配结果判断所述目标对象是否属于所述待监测目标集合，将匹配度最高的人判断是否为儿童，如果是，则启动动作行为监测(下文详细描述)。

在本发明的该实施例中，图像识别模型可以是本领域技术人员所熟知的模型，例如支持向量机(SVM)分类器，其可以通过如下的步骤进行训练：

1)采集所述待监测目标集合的成员的全部人脸图片，即儿童、老人和行动不便的残疾人士等的全部人脸图片，并存储在人脸数据库中。该步骤可以通过使该系统与移动终端连接，用户通过移动终端app录入人脸图片完成；

2)读取人脸数据库中的所述待监测目标集合的成员的多张人脸图片；

3)利用caffe提取每张人脸图片中的人脸感兴趣区域RO1；

4)利用torch提取出RO1的特征值，即256维面部嵌入；

5)利用提取的多个人脸特征值对该图像识别模型进行训练。

在S120识别出房间中的目标对象为待监测目标集合中的儿童之后，接下来S130和S140中，触发启动对该儿童的动作行为进行监测，以判断其是否存在危险动作，并根据判断结果确定是否需要发出警示信号，如图5所示。

具体地，首先，获取与该儿童相关的动作视频，并从所述动作视频中截取连续的多个动作图像帧；在这里应理解，仅仅凭借一个图像帧很难判断出确切的做东，因此需要获取该动作的多个连续图像帧；其次，从多个动作图像帧中提取该儿童的动作姿势，如爬行动作、伸懒腰动作、走路动作、摔倒动作、撞击动作或者攀爬高处动作等；以及最后，将提取出的动作姿势输入预先建立的图像分类模型中，判断所述动作姿势是否属于危险动作集合，如果是属于危险动作，则发出警示信号；如果不属于危险动作，则继续监测其动作行为。

例如，该名儿童正在攀爬栏杆，则系统在该图像分类模型中匹配该动作为高危险动作(危险系数高)，并及时向该儿童的紧急联系人(如其父母)的移动终端推送提醒消息或者发出蜂鸣声。

在这里，用户可以预先设定危险动作集合中的危险动作种类，例如摔倒动作、撞击动作和攀爬动作等。

在本发明的实施例中，该图像分类模型可以通过如下的步骤建立：

1)系统收集各类危险动作图像，并将这些危险动作图像存入危险动作数据库中。这里的危险动作可以包括该待监测目标集合以外的人员所作出的危险动作，例如上文提到的摔倒动作、撞击动作和攀爬动作等；

2)在这些危险动作图像的基础上，利用图像分隔技术建立图像分类模型，并利用这些图像对该模型进行训练，最后将训练好的图像分类模型输出。

另外可选地，针对目标对象为儿童的情况，系统还可以在发出警示信号的同时，启动安抚程序，例如播放儿歌，讲故事，模拟父母说话等等，使其及时停止危险动作，并等待父母的到来。

通过以上介绍的步骤S110至S140，使得可以及时地识别儿童在房间内的一系列行为是否属于危险动作，并对其中的危险动作进行警示并对儿童进行安抚，能够避免危险的发生。

在可选的实施例中，如图2所示，为了更加高效地进行人脸图像识别，可以在S120之前检测环境的光线明暗。具体地，系统可以启动上述的视频采集模块采集当前环境的环境视频或图片，然后根据该视频或图片确定环境的亮度；其中，当环境亮度小于或等于预设的亮度阈值时，例如在夜间，则控制开启环境中的灯，然后进行人脸图像识别；当环境亮度大于预设的亮度阈值时，则直接在当前环境下执行人脸图像识别。

此外，如图6所示，本申请还提出了一种安全监测系统200，其包括：

声音监测模块210，其用于监测环境中的异常声音；

人脸识别模块220，其用于基于所述声音监测模块210的监测结果进行环境中的人脸图像识别，以确定目标对象的身份；

动作行为监测模块230，其用于对目标对象的动作行为进行监测，并将监测到的动作行为输入图像分类模型中进行匹配；

警示模块240，其根据所述动作行为监测模块230的匹配结果发出警示信号；以及

视频采集模块250，其用于拍摄所述目标对象的人脸视频和动作视频，以分别用于所述人脸识别模块和所述动作行为监测模块。

在上文已经对上述模块210-250的功能以及执行的步骤进行了详细的介绍，在此不作赘述。

本申请提供的安全监测方法、系统以及智能家电，能够通过人脸识别技术识别目标对象，并对其进行动作检测，与数据库中的危险动作进行比对，当与数据库中危险动作匹配吻合时，发出预警，同时针对儿童可以启动安抚程序，等待父母的响应。

在本发明的描述中，需要理解的是，术语“上”、“下”、“底”、“顶”、“前”、“后”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (15)

1.一种安全监测方法，其特征在于，包括：

步骤1、监测环境中的异常声音；

步骤2、根据监测到的异常声音启动人脸图像识别，以确定目标对象身份；

步骤3、当确定所述目标对象属于预设的待监测目标集合时，启动所述目标对象的动作行为监测，并将监测到的动作行为输入图像分类模型中，判断是否属于危险动作；以及

步骤4、根据匹配结果判断是否发出警示信号。

2.根据权利要求1所述的安全监测方法，其特征在于，步骤3具体包括：

获取与所述目标对象相关的动作视频，并从所述动作视频中截取连续的多个动作图像帧；

从多个所述动作图像帧中提取所述目标对象的动作姿势；以及

将编码为向量的所述动作姿势输入所述图像分类模型中，判断所述动作姿势是否属于危险动作集合。

3.根据权利要求1或2所述的安全监测方法，其特征在于，步骤1具体包括：

采集环境中的声音片段；

将编码为向量的声音片段输入声音分类模型中；

根据所述声音分类模型的输出结果判断所述声音片段是否包含异常声音集合中的异常声音。

4.根据权利要求1或2所述的安全监测方法，其特征在于，步骤2具体包括：

获取所述目标对象的人脸视频，并从所述人脸视频中截取人脸图像帧；

从所述人脸图像帧中提取所述目标对象的人脸特征值；

将所述人脸特征值输入图像识别模型中进行匹配；以及

根据匹配结果判断所述目标对象是否属于所述待监测目标集合。

5.根据权利要求1或2所述的安全监测方法，其特征在于，所述警示信号包括：

向移动终端推送提醒消息；或者

发出蜂鸣声。

6.根据权利要求2所述的安全监测方法，其特征在于，所述危险动作集合包括摔倒、撞击和攀爬。

7.根据权利要求1或2所述的安全监测方法，其特征在于，所述异常声音包括哭泣声、求救声、呻吟声、撞击声和摔倒声。

8.根据权利要求1或2所述的安全监测方法，其特征在于，在步骤2之前，还包括：

启动摄像头拍摄环境视频或图片；

根据环境视频或图片确定环境亮度；以及

当所述环境亮度小于或等于亮度阈值时，控制开启环境中的灯，并执行人脸图像识别；或者

当所述环境亮度大于亮度阈值时，直接执行人脸图像识别。

9.根据权利要求1或2所述的安全监测方法，其特征在于，所述待监测目标集合包括儿童、老人和行动不便的残疾人士。

10.根据权利要求9所述的安全监测方法，其特征在于，还包括：

步骤5、当所述目标对象为儿童时，启动安抚程序。

11.根据权利要求2所述的安全监测方法，其特征在于，所述图像识别模型为支持向量机分类器。

12.一种应用如权利要求1至11中任一项所述的安全监测方法的系统，其特征在于，所述系统包括：

声音监测模块，其用于监测环境中的异常声音；

人脸识别模块，其用于基于所述声音监测模块的监测结果进行环境中的人脸图像识别，以确定目标对象的身份；

动作行为监测模块，其用于对目标对象的动作行为进行监测，并将监测到的动作行为输入图像分类模型中进行匹配；以及

警示模块，其根据所述动作行为监测模块的匹配结果发出警示信号。

13.根据权利要求12所述的系统，其特征在于，还包括视频采集模块，其用于拍摄所述目标对象的人脸视频和动作视频，以分别用于所述人脸识别模块和所述动作行为监测模块。

14.一种智能家电，其特征在于，包括如权利要求12或13所述的系统。

15.根据权利要求14所述的智能家电，其特征在于，所述智能家电为空调、冰箱、洗衣机、微波炉或电视机。

Images