CN115601797A - 一种智能设备监控方法、装置、智能设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种智能设备监控方法、装置、智能设备和存储介质；本申请实施例可以启动监控，对监测到的异常情况进行视频采集，得到包括异常情况的视频数据；对视频数据进行信息筛选处理，得到目标特征图像，其中，目标特征图像包括异常情况的异常特征；将目标特征图像发送给目标应用程序，以使得目标应用程序根据目标特征图像的异常特征，输出相应的告警提示，可以提高智能设备对环境监控的效率。

Description

一种智能设备监控方法、装置、智能设备和存储介质

技术领域

本申请涉及通讯技术领域，具体涉及一种智能设备监控方法、装置、智能设备和存储介质。

背景技术

目前的智能设备由于具备摄像头和传感器，所以可以对周围的环境进行监控。其中，当智能设备监控到环境存在异常情况时，可以对异常情况进行视频采集，并将采集到的视频传输到应用程序，使得用户可以根据视频发现异常情况中。在对现有技术的研究和实践过程中，本申请的发明人发现，将视频传输到程序中显示时，由于视频的信息量较大，从而使得用户不能马上发现到异常情况，这将降低智能设备对环境监控的效率。

发明内容

本申请实施例提出了一种智能设备监控方法、装置、智能设备和存储介质，可以提高智能设备对环境监控的效率。

本申请实施例提供了一种智能设备监控方法，包括：

启动监控，对监测到的异常情况进行视频采集，得到包括所述异常情况的视频数据；

对所述视频数据进行信息筛选处理，得到目标特征图像，其中，所述目标特征图像包括所述异常情况的异常特征；

将所述目标特征图像发送给目标应用程序，以使得目标应用程序根据所述目标特征图像的异常特征，输出相应的告警提示。

相应的，本申请实施例还提供了一种智能设备监控装置，包括：

视频采集单元，用于启动监控，对监测到的异常情况进行视频采集，得到包括所述异常情况的视频数据；

信息筛选单元，用于对所述视频数据进行信息筛选处理，得到目标特征图像，其中，所述目标特征图像包括所述异常情况的异常特征；

发送单元，用于将所述目标特征图像发送给目标应用程序，以使得目标应用程序根据所述目标特征图像的异常特征，输出相应的告警提示。

在一实施例中，所述信息筛选单元，包括：

分帧子单元，用于对所述视频数据进行分帧处理，得到所述视频数据的多个视频帧；

特征识别子单元，用于对每个视频帧进行特征识别处理，得到所述每个视频帧的特征信息；

筛选子单元，用于根据所述每个视频帧的特征信息，从所述多个视频帧中筛选出目标特征图像。

在一实施例中，所述特征识别子单元，包括：

特征采样模块，用于利用特征识别模型对所述视频帧进行信息采样，得到至少一个采样特征信息；

信息融合模块，用于利用特征识别模型将每个采样特征信息进行信息融合，得到融合后特征信息；

非线性转换模块，用于利用特征识别模型将融合后特征信息进行非线性转换处理，得到所述特征信息。

在一实施例中，所述筛选子单元，包括：

判别模块，用于对所述每个视频帧的特征信息进行判别处理，得到所述视频帧的判别结果；

筛选模块，用于根据所述视频帧的判别结果，从所述多个视频帧中筛选出目标特征图像。

在一实施例中，所述判别模块，包括：

第一匹配子模块，用于将所述人脸特征信息和预设人脸特征判别信息进行匹配，得到第一匹配结果；

第二匹配子模块，用于将所述清晰度特征信息和预设清晰度判别条件进行匹配，得到第二匹配结果；

生成子模块，用于根据所述第一匹配结果和所述第二匹配结果生成所述视频帧的判别结果。

在一实施例中，所述筛选模块，包括：

第一筛选子模块，用于当所述视频帧的人脸特征信息不满足所述预设人脸特征信息，且所述视频帧的清晰度特征信息满足所述预设清晰度判别条件时，将所述视频帧确定为目标特征图像；

识别模块，用于当每个视频帧的人脸特征信息不满足所述预设人脸特征信息，且每个视频帧的清晰度特征信息不满足所述预设清晰度判别条件时，识别每个视频帧的时间信息；

第二筛选子模块，用于根据所述视频帧的时间信息从多个视频帧中筛选出目标特征信息。

相应的，本申请实施例还提供一种智能设备，所述智能设备包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本申请实施例任一提供的智能设备监控方法。

相应的，本申请实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例任一提供的智能设备监控方法。

本申请实施例可以启动监控，对监测到的异常情况进行视频采集，得到包括异常情况的视频数据；对视频数据进行信息筛选处理，得到目标特征图像，其中，目标特征图像包括异常情况的异常特征；将目标特征图像发送给目标应用程序，以使得目标应用程序根据目标特征图像的异常特征，输出相应的告警提示，可以提高智能设备对环境监控的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的智能设备监控方法的场景示意图；

图2是本申请实施例提供的智能设备监控方法的流程示意图；

图3是本申请实施例提供的特征点的示意图；

图4是本申请实施例提供的监控装置的结构示意图；

图5是本申请实施例提供的监控装置的又一结构示意图；

图6是本申请实施例提供的智能设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，然而，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提出了一种智能设备监控方法，该智能设备监控方法可以由监控装置执行，该监控装置可以集成在具有监控功能的智能设备中。其中，该智能设备可以包括智能电视、智能空调、智能门锁等智能家居。

其中，智能家居(smart home,home automation)是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。

在一实施例中，如图1所示，本申请实施例提出的监控装置可以集成在智能家居等智能设备上，以实施本申请实施例提出的智能设备监控方法。具体地，智能设备启动监控，对监测到的异常情况进行视频采集，得到包括异常情况的视频数据；对视频数据进行信息筛选处理，得到目标特征图像，其中，目标特征图像包括异常情况的异常特征；将目标特征图像发送给目标应用程序，以使得目标应用程序根据目标特征图像的异常特征，输出相应的告警提示。

以下分别进行详细说明，需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本申请实施例将从监控装置的角度进行描述，该智能设备监控装置可以集成在智能设备中，该智能设备可以包括智能门锁、智能冰箱、智能电视等智能家居。

如图2所示，提供了一种智能设备监控方法，具体流程包括：

101、启动监控，对监测到的异常情况进行视频采集，得到包括异常情况的视频数据。

其中，异常情况包括各种有可能会对智能家居的监控环境构成危险的情况。例如，当智能家居为智能门锁时，若智能门锁监控到有人从在门前逗留、强行入室或者撬门锁时，此时便为异常情况。又例如，当智能家居为监控摄像头时，若监控摄像头监控到有人的运动轨迹异常，此时便为异常情况。又例如，当智能家居为智能冰箱时，若智能冰箱监控到室内的温度存在异常，此时便为异常情况。又例如，当智能家居为智能空调时，若智能空调监控到室内有人的运动轨迹存在异常，此时便为异常行为。需要说明的是，本申请实施例中举的例子只是一部分例子，只要有可能对智能家居的监控环境构成危险的情况，都可以属于异常情况。

在一实施例中，当接收到监控启动指令时，智能家居可以根据该监控启动指令启动对家居环境的监控。例如，当人们外出时，人们便可以启动智能家居对家居环境进行监控。此时，智能家居便会接收到监控启动指令，并根据监控启动指令启动对家居环境进行监控。

在一实施例中，智能家居可以采用多种方式对家居环境进行监控。例如，当智能家居中包括传感器时，智能家居可以根据监控启动指令启动传感器对家居环境进行监控。又例如，当智能家居中包括监控摄像头时，智能家居可以启动监控摄像头对家居环境进行监控。又例如，当智能家居即包括监控摄像头，又包括传感器时，智能家居可以启动传感器和监控摄像头对家居环境进行监控。其中，监控摄像头可以包括普通摄像头和热成像摄像头，等等。其中，传感器可以包括温度传感器、湿度传感器、烟雾传感器，等等。

其中，家居环境可以包括室内以及室外一定范围内的环境。例如，家居环境可以包括室内以及室外2米范围内的环境。

在一实施例中，当监控到异常情况时，智能家居便可以对对异常情况进行视频采集。

其中，当智能家居包括视频采集装置时，若监控到异常情况，智能家居可以利用监控摄像头对异常情况进行视频采集。其中，视频采集装置可以包括普通摄像头、热成像摄像头，等等。例如，当智能门锁上包括摄像头时，若智能门锁监控到门口前有人逗留，则智能门锁可以利用摄像头对异常情况进行视频采集，从而得到视频数据。

其中，当智能家居不包括视频采集装置时，若智能家居监控到异常情况，则没有视频采集装置的智能家居可以控制有视频采集装置的智能家居对异常情况进行视频采集。例如，智能空调上没有包括摄像头，而智能冰箱存在热成像摄像头，若智能空调检测到室内温度存在异常，此时，智能空调可以控制智能冰箱对异常情况进行视频采集，从而得到视频数据。

102、对视频数据进行信息筛选处理，得到目标特征图像，其中，目标特征图像包括异常情况的异常特征。

其中，目标特征图像包括具有异常情况的异常特征的图像。其中，目标特征图像可以是视频数据中的其中一帧。

例如，当异常情况为有人在门前停留时，该目标特征图像可以是最清晰的，可以看清人脸的图像。又例如，当异常情况为室内温度异常时，且视频数据是热成像视频数据时，该目标特征图像可以是温度特征最明显的图像。

其中，异常特征包括可以体现出异常情况的特征。例如，异常特征可与包括人脸特征、清晰度特征、温度特征等等。

其中，人脸特征可以包括视频数据的视频帧中人脸的轮廓和五官形成的特征点。例如，如图3所示，图3中的1021为特征点。

其中，清晰度特征可以包括视频数据的视频帧的清晰度情况。

其中，当视频数据是热成像视频时，温度特征可以包括视频数据的视频帧反映出来的温度高低。例如，当视频数据的视频帧反映出来的温度越高时，视频帧中红色区域会越鲜艳。相反，当视频数据的视频帧放映出来的温度越低时，视频帧中红色区域会越暗淡。

在一实施例中，在对视频数据进行信息筛选处理，得到目标特征图像时，可以首先对视频数据进行分帧处理，得到视频数据的多个视频帧。然后，对每个视频帧进行特征识别处理，得到每个视频帧的特征信息。接下来，根据每个视频帧的特征信息，从多个视频帧中筛选出目标特征图像。具体的，步骤“对视频数据进行信息筛选处理，得到目标特征图像”，可以包括：

对视频数据进行分帧处理，得到视频数据的多个视频帧；

对每个视频帧进行特征识别处理，得到每个视频帧的特征信息；

根据每个视频帧的特征信息，从多个视频帧中筛选出目标特征图像。

其中，视频帧的特征信息包括可以表示视频帧的特征的信息。例如，特征信息可以包括人脸特征信息、清晰度特征信息和温度特征信息，等等。

其中，人脸特征信息可以包括视频帧中人脸的轮廓和五官形成的特征点的位置信息。例如，可以在视频帧的中间建立一个笛卡尔坐标系，然后，通过笛卡尔坐标系确定特征点的位置信息。

其中，清晰度特征信息包括可以表示视频帧的清晰度强弱的信息。例如，清晰度特征信息可以包括视频帧的分辨率或像素值，等等。

其中，温度特征信息可以包括视频帧中颜色通道的信息量。例如，当视频帧的中红色区域会越鲜艳时，视频帧中红颜色通道的信息量就会越高。又例如，当视频帧的中红色区域会越暗淡时，视频帧中红颜色通道的信息量就会越低。

在一实施例中，可以利用多种方式对视频数据进行分帧处理。例如，可以利用开源计算机视觉库(Open Source Computer Vision Library，openCV)对视频帧进行分帧处理。又例如，还可以利用自开发的视频分帧函数对视频数据进行分帧处理，等等。其中，openCV是一个跨平台计算机视觉和机器学习软件库，可以运行在多个操作系统上，同时提供了多种编程语言的接口，实现了图像处理和计算机视觉方向的很多通用算法。

在一实施例中，在得到视频数据的多个视频帧之后，可以对视频帧进行特征识别处理，从而得到每个视频帧的特征信息。其中，在对视频帧进行特征识别处理时，可以利用人工智能的方法对视频帧进行特征识别处理。例如，可以利用特征识别模型对视频帧进行特征识别处理。具体的，步骤“对每个视频帧进行特征识别处理，得到每个视频帧的特征信息”，可以包括：

利用特征识别模型对视频帧进行特征采样，得到至少一个采样特征信息；

利用特征识别模型将每个采样特征信息进行信息融合，得到融合后特征信息；

利用特征识别模型将融合后特征信息进行非线性转换处理，得到特征信息。

其中，特征识别模型可以是各种机器学习模型。例如，特征识别模型可以是卷积神经网络(Convolutional Neural Networks,CNN)、反卷积神经网络(De-ConvolutionalNetworks,DN)、深度神经网络(Deep Neural Networks,DNN)、深度卷积逆向图网络(DeepConvolutional Inverse Graphics Networks,DCIGN)、基于区域的卷积网络(Region-based Convolutional Networks，RCNN)、基于区域的快速卷积网络(Faster Region-basedConvolutional Networks，Faster RCNN)和双向编解码(Bidirectional EncoderRepresentations from Transformers，BERT)模型等等中的任意一种。

其中，根据不同类型的视频数据，特征识别模型可以具有不同的功能。例如，当视频数据是普通视频数据时，特征识别模型可以识别出视频帧中的人脸特征信息和清晰度特征信息。又例如，当视频帧是热成像视频数据时，特征识别模型可以识别出视频帧中的温度特征信息。

在一实施例中，特征识别模型可以包括特征采样层、信息融合层和激活函数层。

其中，特征采样层中可以包括多个卷积核，在利用特征识别模型对视频帧进行特征采样时，可以利用多个卷积核对视频帧进行特征采样，从而得到至少一个采样特征信息。例如，可以将卷积核和视频帧中的像素进行卷积，从而得到采样特征信息。

譬如，特征采样层中包括3个卷积核a1、a2和a3。然后，可以分别利用a1、a2和a3和视频帧中的像素进行卷积，从而得到采样特征信息b1、b2和b3。

其中，信息融合层可以将每个采样特征信息进行信息融合，从而得到融合后特征信息。例如，信息融合层可以将每个采样特征信息进行相加，从而得到融合后特征信息。又例如，信息融合层可以将每个采样特征信息加权后相加，从而得到融合后特征信息。又例如，信息融合层还可以将每个采样特征信息进行拼接，从而得到融合后特征信息。

譬如，可以将采样特征信息b1、b2和b3进行相加，从而得到融合后特征信息C。又例如，可以将采样特征信息b1、b2和b3进行拼接，从而得到融合后特征信息C＝b1b2b3。

其中，激活函数层中包括激活函数，因此可以利用激活函数将融合后特征信息进行非线性转换处理，从而得到特征信息。其中，激活函数可以包括Sigmoid函数、Tanh函数、ReLU函数，等等。

例如，当利用Sigmoid函数对融合后特征信息C进行非线性转换处理时，可以如下式所示：

其中，D为视频帧的特征信息。

在一实施例中，在得到每个视频帧的特征信息之后，便可以根据每个视频帧的特征信息，从多个视频帧中筛选出目标特征信息。具体的，步骤“根据每个视频帧的特征信息，从多个视频帧中筛选出目标特征图像”，可以包括：

对每个视频帧的特征信息进行判别处理，得到视频帧的判别结果；

根据视频帧的判别结果，从多个视频帧中筛选出目标特征图像。

其中，在对每个视频帧进行判别处理时，根据视频数据类型和应用场景的不同，可以有不同的判别处理方式。

例如，当视频数据为普通视频，且智能家居监测到有人在门前逗留、强行入室或者撬门锁时，可以利用视频帧的人脸特征信息和清晰度特征信息对视频帧进行判别处理。又例如，当视频数据为热成像视频，且智能家居监测到室内的温度存在异常时，可以利用视频帧的温度特征信息对视频帧进行判别处理。

在一实施例中，当视频帧的特征信息包括人脸特征信息和清晰度特征信息时，在对每个视频帧的特征信息进行判别处理时，可以分别将每个视频帧的人脸特征信息和清晰度特征信息和预设判别条件进行匹配，从而得到判别结果。具体的，步骤“对每个视频帧的特征信息进行判别处理，得到视频帧的判别结果”，可以包括：

将人脸特征信息和预设人脸特征判别信息进行匹配，得到第一匹配结果；

将清晰度特征信息和预设清晰度判别条件进行匹配，得到第二匹配结果；

根据第一匹配结果和第二匹配结果生成视频帧的判别结果。

其中，预设人脸特征信息包括预先设置好的，可以对人脸特征信息进行判别的信息。

例如，预设人脸特征信息可以是拥有使用智能家居权限的用户的人脸特征信息。例如，当智能家居为门锁时，预设人脸特征信息可以是可以进入室内的用户的人脸特征信息。又例如，当智能设备为智能冰箱时，预设人脸特征信息可以是可以打开冰箱们的用户的人脸特征信息，等等。

其中，预设清晰度判别条件包括预先设置好的，可以判断清晰度特征信息是否符合要求的条件。例如，该预设清晰度判别条件可以是分辨率或者像素值，等等。

在一实施例中，根据应用场景的不同，可以有多种匹配方。

例如，当应用场景是智能家居监测到有人在门前逗留、强行入室或者撬门锁时，若人脸特征信息和预设人脸特征信息相匹配时，说明智能家居监测到的人具有进入室内的权限。若人脸特征信息和预设人脸特征信息不匹配时，说明用户智能家居监测到的人不具有进入室内的权限，或者视频数据中并没有采集到具体的人脸信息。

又例如，当应用场景是智能家居监测到有人要打开冰箱时，若人脸特征信息和预设人脸特征信息相匹配时，说明智能家居监测到的人不具有打开冰箱的权限。若人脸特征信息和预设人脸特征信息不匹配时，说明用户智能家居监测到的人具有打开冰箱的权限，等等。

在一实施例中，将清晰度特征信息和预设清晰度判别条件进行匹配时，可以判断清晰度特征信息是否大于或等于预设清晰度判别条件。当清晰度特征信息大于或等于预设清晰度判别条件时，说明视频帧的清晰度特征信息符合要求。而当清晰度特征信息小于预设清晰度判别条件时，说明视频帧的清晰度特征信息不符合要求。

在一实施例中，在得到第一匹配结果和第二匹配结果之后，可以根据第一匹配结果和第二匹配结果生成视频帧的判别结果，然后根据视频帧的匹配结果，从多个视频帧中筛选出目标特征图像。具体的，步骤“根据视频帧的判别结果，从多个视频帧中筛选出目标特征图像”，可以包括：

当视频帧的人脸特征信息不满足所述人脸特征判别条件，且视频帧的清晰度特征信息满足预设清晰度判别条件时，将视频帧确定为目标特征图像；

当每个视频帧的人脸特征信息不满足人脸特征判别条件，且每个视频帧的清晰度特征信息不满足预设清晰度判别条件时，识别每个视频帧的时间信息；

根据视频帧的时间信息从多个视频帧中筛选出目标特征图像。

在一实施例中，当视频帧的人脸特征信息不满足所述人脸特征判别条件，说明智能家居监测到的人没有进入室内的权限。例如，智能家居监测到的人可能是陌生人、小偷或劫匪，等等。其中，当视频帧的人脸特征信息不满足所述人脸特征判别条件且视频帧的清晰度特征信息满足预设清晰度判别条件时，说明智能家居筛选出的视频帧中有清晰的人脸图像。

其中，当视频数据中的多个视频帧的人脸特征信息不满足所述人脸特征判别条件，且所述视频帧的清晰度特征信息满足所述预设清晰度判别条件时，可以对多个视频帧进行二次筛选。例如，可以从多个视频帧中筛选出清晰度最好的视频帧作为目标特征图像。

其中，当视频数据中只有一个视频帧的人脸特征信息不满足所述人脸特征判别条件，且所述视频帧的清晰度特征信息满足所述预设清晰度判别条件时，便可以直接将该视频帧确定为目标特征图像。

在一实施例中，当视频数据中的视频帧的人脸特征信息不满足预设人脸特征信息，且每个视频帧的清晰度特征信息不满足预设清晰度判别条件时，可以识别视频帧的时间信息。然后，根据视频帧的时间信息从多个视频帧中筛选出目标特征图像。其中，时间信息可以包括视频帧的时间顺序，等等。

例如，视频数据帧有10个视频帧，识别到10个视频帧中的人脸特征信息不满足预设人脸特征信息，但是这个10个视频帧中的清晰度信息都不满足预设清晰度判别条件时，可以识别每个视频帧在视频数据中的时间顺序，然后选择时间顺序在中间的视频帧作为目标特征图像。

在一实施例中，当视频帧的特征信息包括温度特征信息时，可以将每个视频帧的温度特征信息和预设温度特征判别条件进行匹配。当视频帧温度特征信息不满足预设温度特征判别条件时，说明室内环境的温度异常。而当视频帧的温度特征信息满足预设温度特征判别条件时，说明室内环境的温度没有存在异常。

103、将目标特征图像发送给目标应用程序，以使得目标应用程序根据目标特征图像的异常特征，输出相应的告警提示。

在一实施例中，在智能家居筛选出目标特征图像之后，可以将目标特征图像和视频数据发送给云存储器，从而使得视频数据和目标特征图像不用存储在智能家居中，可以存储在云存储器中，节省了智能家居的内存。具体的，在步骤“将目标特征图像发送给目标应用程序”之前，还包括：

将视频数据发送给云存储器，并接收云存储器发送的视频存储链接；

将目标特征图像发送给云存储器，并接收云存储器发送的图像存储链接；

根据视频存储链接和图像存储链接，利用目标时间戳生成图像显示信息。

在一实施例中，当智能家居将视频数据发送到云存储器后，云存储器会给智能家居返回视频存储链接，该视频存储链接为视频数据在云存储器中的存储地址。其中，该视频存储链接可以是统一资源定位器(Uniform Resource Locator，URL)，等等。

在一实施例中，当智能家居将目标特征图像发送给云存储器后，云存储器也会给智能家居返回图像存储链接，该图像存储链接为视频数据在云存储器中的存储地址。其中，该图像存储链接可以是URL，等等。

在一实施例中，智能家居接收到视频存储链接和图像存储链接时，智能家居可以根据视频存储链接和图像存储链接，利用目标时间戳生成图像显示信息。

其中，图像显示信息的作用是将视频数据和目标特征图像关联起来，从而使得视频数据的封面是目标特征图像。

其中，时间戳是使用数字签名产生的数据，签名的对象包括了原始文件信息、签名参数、签名时间等信息。时间戳系统用来产生和管理时间戳，对签名对象进行数字签名产生时间戳，以证明原始文件在签名时间之前已经存在。时间戳的主要目的在于通过一定的技术手段，对数据产生的时间进行认证，从而验证这段数据在产生后是否经过篡改。所以时间戳服务的提供者必须证明服务中使用的时间源是可信的，所提供的时间戳服务是安全的。

其中，根据视频存储链接和图像存储链接，利用目标时间戳生成图像显示信息时，可以将视频存储链接和图像存储链接进行拼接后，利用目标时间戳为拼接后链接添加时间戳信息，从而得到图像显示信息具有安全保障，提高了信息的安全性。

例如，视频存储链接为L1，图像存储链接为L2，将L1和L2进行拼接后得到L。然后，可以利用目标时间戳为L添加时间戳信息T，从而得到图像显示信息X。

在一实施例中，在得到图像显示信息之后，智能家居可以通过云服务器将信息发送给目标应用程序。具体的，步骤“将目标特征图像发送给目标应用程序，以使得目标应用程序根据目标特征图像的异常特征，输出相应的告警提示”，可以包括：

将视频存储链接、图像存储链接以及图像显示信息发送给云服务器，以使得云服务器将视频存储链接、图像存储链接以及图像显示信息，发送给目标应用程序，以使得目标应用程序根据视频存储链接、图像存储链接以及图像显示信息显示目标特征图像，并根据目标特征图像的异常特征，输出相应的告警提示。

其中，目标应用程序包括安装在用户的终端设备上的，可以接收智能家居发送的信息，并对智能家居进行控制的应用程序。

其中，当智能家居将视频存储链接、图像存储链接以及图像显示信息通过云服务器发送给目标应用程序时，可以保证信息的安全性，避免他人恶意截取信息。

在一实施例中，当目标应用程序接收到视频存储链接、图像存储链接以及图像显示信息时，目标应用程序可以根据视频存储链接获取到视频数据，以及可以根据图像存储链接获取到目标特征图像。

然后，目标应用程序可以对目标特征图像进行识别，得到目标特征图像的异常特征，并根据异常特征输出告警提示。

其中，告警提示可以包括多种方式。例如，告警提示可以包括目标应用程序给用户发送告警短信、打告警电话、弹出告警弹窗或者使得终端设备发出告警震动，等等。

例如，当智能门锁监测到有有人从在门前逗留、强行入室或者撬门锁，目标应用程序便可以弹出告警弹窗，提醒用户有人在这用户门前逗留、强行入室或者撬门锁。

此外，目标应用程序还可以根据图像显示信息，将目标特征图像作为视频数据的封面显示，并将具有封面的视频数据存储在目标应用程序的异常日志列表界面中。因此，当用户接收到告警提示后，打开目标应用程序中的异常日志后，便可以首先看到目标特征图像，从而得到视频数据的关键信息。而当用户想进一步地了解异常情况时，用户可以点击目标特征图像，然后目标应用程序便会播放视频数据，从而使得用户可以进一步地查看异常情况。

本申请实施例提出了一个智能设备监控方法，该方法可以启动监控，对监测到的异常情况进行视频采集，得到包括所述异常情况的视频数据；对所述视频数据进行信息筛选处理，得到目标特征图像，其中，所述目标特征图像包括所述异常情况的异常特征；将所述目标特征图像发送给目标应用程序，以使得所述目标应用程序根据所述目标特征图像的异常特征，输出相应的告警提示。本申请实施例通过从采集到的视频数据中筛选出目标特征图像，从而使得用户可以根据目标特征图像里面获取到视频数据的关键信息，从而提高了智能设备对环境监控的效率。而当用户想进一步地了解异常情况时，用户可以点击目标特征图像，从而观看到智能设备采集的视频数据，提高了用户了解异常情况的便捷性。

为了更好地实施本申请实施例提供的智能设备监控方法，在一实施例中还提供了一种监控装置，该监控装置可以集成于智能设备中。其中名词的含义与上述智能设备监控方法中相同，具体实现细节可以参考方法实施例中的说明。

在一实施例中，提供了一种监控装置，该监控装置具体可以集成在智能设备，例如智能门锁、智能电视、智能冰箱等智能家居中。例如，如图4所示，该监控装置包括：视频采集单元201、信息筛选单元202、发送单元203，具体如下：

视频采集单元201，用于启动监控，对监测到的异常情况进行视频采集，得到包括所述异常情况的视频数据；

信息筛选单元202，用于对所述视频数据进行信息筛选处理，得到目标特征图像，其中，所述目标特征图像包括所述异常情况的异常特征；

发送单元203，用于将所述目标特征图像发送给目标应用程序，以使得目标应用程序根据所述目标特征图像的异常特征，输出相应的告警提示。

在一实施例中，如图5所示，所述信息筛选单元202，包括：

分帧子单元2021，用于对所述视频数据进行分帧处理，得到所述视频数据的多个视频帧；

特征识别子单元2022，用于对每个视频帧进行特征识别处理，得到所述每个视频帧的特征信息；

筛选子单元2033，用于根据所述每个视频帧的特征信息，从所述多个视频帧中筛选出目标特征图像。

在一实施例中，所述特征识别子单元2022，包括：

特征采样模块，用于利用特征识别模型对所述视频帧进行信息采样，得到至少一个采样特征信息；

信息融合模块，用于利用特征识别模型将每个采样特征信息进行信息融合，得到融合后特征信息；

非线性转换模块，用于利用特征识别模型将融合后特征信息进行非线性转换处理，得到所述特征信息。

在一实施例中，所述筛选子单元2023，包括：

判别模块，用于对所述每个视频帧的特征信息进行判别处理，得到所述视频帧的判别结果；

筛选模块，用于根据所述视频帧的判别结果，从所述多个视频帧中筛选出目标特征图像。

在一实施例中，所述判别模块，包括：

第一匹配子模块，用于将所述人脸特征信息和预设人脸特征判别信息进行匹配，得到第一匹配结果；

第二匹配子模块，用于将所述清晰度特征信息和预设清晰度判别条件进行匹配，得到第二匹配结果；

生成子模块，用于根据所述第一匹配结果和所述第二匹配结果生成所述视频帧的判别结果。

在一实施例中，所述筛选模块，包括：

第一筛选子模块，用于当所述视频帧的人脸特征信息不满足所述预设人脸特征信息，且所述视频帧的清晰度特征信息满足所述预设清晰度判别条件时，将所述视频帧确定为目标特征图像；

识别模块，用于当每个视频帧的人脸特征信息不满足所述预设人脸特征信息，且每个视频帧的清晰度特征信息不满足所述预设清晰度判别条件时，识别每个视频帧的时间信息；

第二筛选子模块，用于根据所述视频帧的时间信息从多个视频帧中筛选出目标特征信息。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

通过上述的监控装置可以实现可以提高智能设备对环境监控的效率。

本申请实施例还提供一种智能设备，该智能设备可以包括智能门锁、智能空调、智能冰箱等智能家居。如图6所示，其示出了本申请实施例所涉及的终端的结构示意图，具体来讲：

该智能设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图6中示出的智能设备结构并不构成对智能设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该智能设备的控制中心，利用各种接口和线路连接整个智能设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行智能设备的各种功能和处理数据，从而对智能设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

智能设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该智能设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，智能设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，智能设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

启动监控，对监测到的异常情况进行视频采集，得到包括所述异常情况的视频数据；

对所述视频数据进行信息筛选处理，得到目标特征图像，其中，所述目标特征图像包括所述异常情况的异常特征；

将所述目标特征图像发送给目标应用程序，以使得所述目标应用程序根据所述目标特征图像的异常特征，输出相应的告警提示。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种智能设备监控方法中的步骤。例如，该计算机程序可以执行如下步骤：

启动监控，对监测到的异常情况进行视频采集，得到包括所述异常情况的视频数据；

对所述视频数据进行信息筛选处理，得到目标特征图像，其中，所述目标特征图像包括所述异常情况的异常特征；

将所述目标特征图像发送给目标应用程序，以使得所述目标应用程序根据所述目标特征图像的异常特征，输出相应的告警提示。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种智能设备监控方法中的步骤，因此，可以实现本申请实施例所提供的任一种智能设备监控方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种智能设备监控方法、装置、智能设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种智能设备监控方法，其特征在于，包括：

启动监控，对监测到的异常情况进行视频采集，得到包括所述异常情况的视频数据；

对所述视频数据进行信息筛选处理，得到目标特征图像，其中，所述目标特征图像包括所述异常情况的异常特征；

将所述目标特征图像发送给目标应用程序，以使得所述目标应用程序根据所述目标特征图像的异常特征，输出相应的告警提示。

2.如权利要求1所述的智能设备监控方法，其特征在于，所述对所述视频数据进行信息筛选处理，得到目标特征图像，包括：

对所述视频数据进行分帧处理，得到所述视频数据的多个视频帧；

对每个视频帧进行特征识别处理，得到所述每个视频帧的特征信息；

根据所述每个视频帧的特征信息，从所述多个视频帧中筛选出目标特征图像。

3.如权利要求2所述的智能设备监控方法，其特征在于，所述对每个视频帧进行特征识别处理，得到所述每个视频帧的特征信息，包括：

利用特征识别模型对所述视频帧进行信息采样，得到至少一个采样特征信息；

利用特征识别模型将每个采样特征信息进行信息融合，得到融合后特征信息；

利用特征识别模型将融合后特征信息进行非线性转换处理，得到所述特征信息。

4.如权利要求2所述的智能设备监控方法，其特征在于，所述根据所述每个视频帧的特征信息，从所述多个视频帧中筛选出目标特征图像，包括：

对所述每个视频帧的特征信息进行判别处理，得到所述视频帧的判别结果；

根据所述视频帧的判别结果，从所述多个视频帧中筛选出目标特征图像。

5.如权利要求4所述的智能设备监控方法，其特征在于，所述特征信息包括人脸特征信息和清晰度特征信息；所述对所述每个视频帧的特征信息进行判别处理，得到所述视频帧的判别结果，包括：

将所述人脸特征信息和预设人脸特征信息进行匹配，得到第一匹配结果；

将所述清晰度特征信息和预设清晰度判别条件进行匹配，得到第二匹配结果；

根据所述第一匹配结果和所述第二匹配结果生成所述视频帧的判别结果。

6.如权利要求5所述的智能设备监控方法，其特征在于，所述根据所述视频帧的判别结果，从所述多个视频帧中筛选出目标特征图像，包括：

当所述视频帧的人脸特征信息不满足所述预设人脸特征信息，且所述视频帧的清晰度特征信息满足所述预设清晰度判别条件时，将所述视频帧确定为目标特征图像；

当每个视频帧的人脸特征信息不满足所述预设人脸特征信息，且每个视频帧的清晰度特征信息不满足所述预设清晰度判别条件时，识别每个视频帧的时间信息；

根据所述视频帧的时间信息从多个视频帧中筛选出目标特征图像。

7.如权利要求1所述的智能设备监控方法，其特征在于，所述将所述目标特征图像发送给目标应用程序之前，还包括：

将所述视频数据发送给云存储器，并接收所述云存储器发送的视频存储链接；

将所述目标特征图像发送给云存储器，并接收所述云存储器发送的图像存储链接；

根据所述视频存储链接和所述图像存储链接，利用目标时间戳生成图像显示信息。

8.如权利要求7所述的智能设备监控方法，其特征在于，所述将所述目标特征图像发送给目标应用程序，以使得目标应用程序根据所述目标特征图像的异常特征，输出相应的告警提示，包括：

将所述视频存储链接、所述图像存储链接以及所述图像显示信息发送给云服务器，以使得所述云服务器将所述视频存储链接、所述图像存储链接以及所述图像显示信息，发送给所述目标应用程序，以使得所述目标应用程序根据所述视频存储链接、所述图像存储链接以及所述图像显示信息显示所述目标特征图像，并根据所述目标特征图像的异常特征，输出相应的告警提示。

9.一种智能设备监控设备，其特征在于，包括：

视频采集单元，用于启动监控，对监测到的异常情况进行视频采集，得到包括所述异常情况的视频数据；

信息筛选单元，用于对所述视频数据进行信息筛选处理，得到目标特征图像，其中，所述目标特征图像包括所述异常情况的异常特征；

发送单元，用于将所述目标特征图像发送给目标应用程序，以使得目标应用程序根据所述目标特征图像的异常特征，输出相应的告警提示。

10.一种智能设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至8任一项所述的智能设备监控方法。

11.一种存储介质，其特征在于，所述存储介质存储有多条计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求1至8任一项所述的智能设备监控方法。

Images