CN113393486A - 一种异常事件监测方法、智能监测终端及系统 - Google Patents

Abstract

本发明实施例提供了一种异常事件监测方法、智能监测终端及系统，涉及图像处理技术领域，能够更全面地监测建筑物的安全隐患。本发明实施例的技术方案包括：获取对建筑物外部的第一监测范围进行监测过程中采集到的sRGB图像。并获取对建筑物外部的第二监测范围进行监测过程中采集到的热像图，第一监测范围包括所述第二监测范围。然后根据sRGB图像和热像图，判断sRGB图像中是否存在异常区域。如果sRGB图像中存在异常区域，则向云平台发送告警消息，以使得云平台展示sRGB图像中的异常区域和/或向告警终端发送告警消息。

Description

一种异常事件监测方法、智能监测终端及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种异常事件监测方法、智能监测终端及系统。

背景技术

社区是社会治理的基本单元，平安智慧社区更是建设社会治安防控体系、构建和谐社会和平安社会的重要组成部分。然而当今社区生活中存在着林林总总的安全隐患，威胁着人们的健康生活。例如，高空抛物现象被称为“悬在城市上空的痛”，这种不文明的行为会给居民生活带来很大的社会危害。又例如，建筑物由于建成年限较早，饱经风霜的外墙极易脱落，危害居民安全。还例如，建筑物发生火灾时，会给居民带来严重的财产损失甚至威胁生命。

相关技术中，难以同时检测上述多种安全隐患，且难以及时对安全隐患进行预警，导致无法及时发现并处理建筑物的安全隐患。

发明内容

本发明实施例的目的在于提供一种异常事件监测方法、智能监测终端及系统，以更全面地监测建筑物的安全隐患。具体技术方案如下：

第一方面，本发明实施例提供了一种异常事件监测方法，应用于智能监测终端，所述方法包括：

获取对建筑物外部的第一监测范围进行监测过程中采集到的sRGB图像；

获取对建筑物外部的第二监测范围进行监测过程中采集到的热像图，所述第一监测范围包括所述第二监测范围；

根据所述sRGB图像和所述热像图，判断所述sRGB图像中是否存在异常区域；

如果所述sRGB图像中存在异常区域，则向云平台发送告警消息，以使得所述云平台展示所述sRGB图像中的异常区域和/或向告警终端发送告警消息。

可选的，所述根据所述sRGB图像和所述热像图，判断所述sRGB图像中是否存在异常区域，包括：

对采集到的每帧sRGB图像进行图像分割，得到每帧sRGB图像包括的前景目标，所述前景目标为下落的物体在sRGB图像中对应的区域；

每确定一帧sRGB图像的前景目标，按照时间顺序，将该sRGB图像的前景目标与相邻的第一预设数量帧sRGB图像的前景目标进行叠加，得到叠加图像；

对所述叠加图像进行轨迹检测，得到包含相同物体的前景目标，并将得到的前景目标所属的sRGB图像作为候选sRGB图像；

若后续连续第二预设数量帧sRGB图像中不存在前景目标，则确定当前的各候选sRGB图像包括的前景目标为异常区域。

可选的，所述对采集到的每帧sRGB图像进行图像分割，得到每帧sRGB图像包括的前景目标，包括：

将每帧sRGB图像输入目标检测模型，得到所述目标检测模型输出的sRGB图像中的前景目标；

其中，所述目标检测模型为利用多张训练图像对深度学习模型进行训练得到的模型，所述训练图像为包括下落的物体图像以及建筑物外部图像的sRGB图像，所述训练图像对应有包括下落的物体的位置的训练标签。

可选的，所述根据所述sRGB图像和所述热像图，判断所述sRGB图像中是否存在异常区域，包括：

根据所述热像图包括的各像素点的颜色值，确定所述热像图中的色差异常区域，其中，所述色差异常区域内像素点的颜色值与周围像素点的颜色值之间的颜色差值超过第一预设差值；

将所述热像图中的色差异常区域在所述sRGB图像中对应的区域作为异常区域。

可选的，所述根据所述sRGB图像和所述热像图，判断所述sRGB图像中是否存在异常区域，包括：

根据所述热像图包括的各像素点的颜色值，确定所述热像图中的颜色突变区域，其中，所述颜色突变区域内像素点的颜色值与前指定数量帧热像图中相同位置的像素点的颜色平均值之间的颜色差值超过第二预设差值；

将所述颜色突变区域在所述sRGB图像中对应的区域作为候选区域；

利用预先训练的烟火检测模型，检测所述候选区域内是否存在烟火图像；

若是，则将所述候选区域作为异常区域。

可选的，所述获取对建筑物外部的第二监测范围进行监测过程中采集到的热像图，包括：

通过红外感光电路探测所述建筑物外墙的第二监测范围内的温度分布，得到热像图。

可选的，在所述获取对建筑物外部的第一监测范围进行监测过程中采集到的sRGB图像之前，所述方法还包括：

从所述云平台处获取所述第一监测范围，所述第一监测范围为所述云平台在用户配置界面识别用户对异常监测区域的框定操作得到的范围，或者所述第一监测范围为所述智能监测终端的全视野范围；

在所述获取对建筑物外部的第二监测范围进行监测过程中采集到的热像图之前，所述方法还包括：

从所述云平台处的所述第二监测范围，所述第二监测范围为所述云平台在所述用户配置界面识别用户对外墙监测区域以及火灾监测区域进行的框定操作得到的范围，或者，所述第二监测范围为所述智能监测终端的全视野范围。

第二方面，本发明实施例提供了一种智能监测终端，所述智能监测终端包括：可见光感光电路、红外感光电路和主控芯片；

所述可见光感光电路，用于对建筑物外部的第一监测范围进行监测，采集得到sRGB图像，并向所述主控芯片发送采集得到的sRGB图像；

所述红外感光电路，用于对建筑物外部的第二监测范围进行监测，采集得到热像图，所述第一监测范围包括所述第二监测范围，并向所述主控芯片发送采集得到的热像图；

所述主控芯片，用于接收sRGB图像和热像图，根据所述sRGB图像和所述热像图，判断所述sRGB图像中是否存在异常区域；

所述主控芯片，还用于如果所述sRGB图像中存在异常区域，则向云平台发送告警消息，以使得所述云平台展示所述sRGB图像中的异常区域和/或向告警终端发送告警消息。

可选的，所述主控芯片，具体用于：

对采集到的每帧sRGB图像进行图像分割，得到每帧sRGB图像包括的前景目标，所述前景目标为下落的物体在sRGB图像中对应的区域；

每确定一帧sRGB图像的前景目标，按照时间顺序，将该sRGB图像的前景目标与相邻的第一预设数量帧sRGB图像的前景目标进行叠加，得到叠加图像；

对所述叠加图像进行轨迹检测，得到包含相同物体的前景目标，并将得到的前景目标所属的sRGB图像作为候选sRGB图像；

若后续连续第二预设数量帧sRGB图像中不存在前景目标，则确定当前的各候选sRGB图像包括的前景目标为异常区域。

可选的，所述主控芯片，具体用于：

将每帧sRGB图像输入神经网络处理单元NPU，以使得NPU将每帧图像输入目标检测模型，并接收NPU发送的所述目标检测模型输出的sRGB图像中的前景目标；

其中，所述目标检测模型为利用多张训练图像对深度学习模型进行训练得到的模型，所述训练图像为包括下落的物体图像以及建筑物图像的sRGB图像，所述训练图像对应有包括下落的物体的位置的训练标签。

可选的，所述主控芯片，具体用于：

根据所述热像图包括的各像素点的颜色值，确定所述热像图中的色差异常区域，其中，所述色差异常区域内像素点的颜色值与周围像素点的颜色值之间的颜色差值超过第一预设差值；

将所述热像图中的色差异常区域在所述sRGB图像中对应的区域作为异常区域。

可选的，所述主控芯片，具体用于：

根据所述热像图包括的各像素点的颜色值，确定所述热像图中的颜色突变区域，其中，所述颜色突变区域内像素点的颜色值与前指定数量帧热像图中相同位置的像素点的颜色平均值之间的颜色差值超过第二预设差值；

将所述颜色突变区域在所述sRGB图像中对应的区域作为候选区域；

利用预先训练的烟火检测模型，检测所述候选区域内是否存在烟火图像；

若是，则将所述候选区域作为异常区域。

第三方面，本发明实施例提供了一种异常事件监测系统，所述系统包括云平台、指定告警终端和如第一方面任一项所述的智能监测终端，所述云平台分别与所述智能监测终端和所述指定告警终端通信连接；

所述云平台，用于接收告警消息；

所述云平台，还用于展示所述sRGB图像中的异常区域和/或向告警终端发送告警消息。

可选的，所述云平台包括：告警消息接收模块、告警消息分发模块和多种告警消息处理模块；

所述告警消息接收模块，用于接收所述告警消息，根据所述告警消息的消息格式，确定所述告警消息的消息类型，以及向所述告警消息分发模块发送所述告警消息以及所述告警消息的消息类型；

所述告警消息分发模块，用于向所述告警消息的消息类型对应的告警消息处理模块发送所述告警消息；

所述告警消息处理模块，用于展示所述sRGB图像中的异常区域和/或向告警终端发送告警消息。

可选的，每个sRGB图像设置有一个帧编号，所述告警消息还包括sRGB图像中的异常区域的位置对应的帧编号，所述告警消息处理模块包括高抛报警处理模块，所述高抛报警处理模块，用于：

针对所述告警消息包括的每个异常区域的位置，在该位置对应的帧编号的sRGB图像中，按照该位置对异常区域进行标记；

将标记后的各sRGB图像构建为告警视频，在用户预览界面展示所述告警视频和/或向所述指定告警终端发送所述告警视频。

本发明实施例提供的异常事件监测方法、智能监测终端及系统，智能监测终端可以确定被监测建筑物的sRGB图像中的异常区域，并向云平台发送告警消息，以使得云平台展示sRGB图像中的异常区域和/或向告警终端发送告警消息。本发明实施例可以利用智能监测设备监测建筑物存在的安全隐患，并利用云平台对安全隐患进行展示和预警，保障居民安全。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的一种异常事件监测方法流程图；

图2为本发明实施例提供的一种监测区域的示例性示意图；

图3为本发明实施例提供的一种确定高空抛物区域的方法流程图；

图4为本发明实施例提供的一种确定建筑物的外墙缺陷区域的方法流程图；

图5为本发明实施例提供的一种建筑物外部的热像图的示例性示意图；

图6为本发明实施例提供的一种确定火灾发生区域的方法流程图；

图7为本发明实施例提供的一种智能监测终端的结构示意图；

图8为本发明实施例提供的另一种智能监测终端的结构示意图；

图9为本发明实施例提供的一种异常事件监测系统的结构示意图；

图10为本发明实施例提供的一种云平台的用户界面子系统的示例性示意图。

图11为本发明实施例提供的一种云平台的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。

目前常规的建筑物安全隐患检测方法包括以下三种：

第一种是采用摄像头监测建筑物外部的高空物体，对高空物体进行多时刻抓拍，并对抓拍的图像进行特征提取。根据提取到的特征，确定图像中的物体是否为被抛下的物体，以确定是否存在高空抛物现象。

第二种是在无人机上安装测温仪，无人机在建筑物外墙附近飞行，由无人机上的测温仪在无人机飞行过程中检测墙体温度，进而根据墙体温度判断可能发生脱落的外墙区域。

第三种是利用建筑物内部的烟雾报警器监测烟雾，在建筑物内存在烟雾时，确定建筑物发生火灾。

可以看出，这三种方式分别只能监测一种安全隐患，对建筑物安全隐患的监测不够全面，检测效果不好。

本发明实施例为了更全面地监测建筑物的安全隐患，提供了一种异常事件监测方法，应用于智能监测终端，如图1所示，该方法包括如下步骤。

S101，获取对建筑物外部的第一监测范围进行监测过程中采集到的sRGB图像。

一种实施方式中，可以通过智能监测终端中的可见光感光电路探测建筑物外墙的第一监测范围内的可见光分布，得到原始图像数据，并从原始图像数据中恢复sRGB图像。其中，sRGB为standard Red Green Blue，是一种色彩语言协议，可见光感光电路得到的原始图像可以为黑白图像。

S102，获取对建筑物外部的第二监测范围进行监测过程中采集到的热像图。其中，第一监测范围包括第二监测范围。

一种实施方式中，可以通过红外感光电路探测建筑物外墙的第二监测范围内的温度分布，得到热像图。可选的，可以从红外感光电路得到的原始数据中恢复出二维热像图，红外感光电路得到的原始数据可以为黑白图像。

S103，根据sRGB图像和热像图，判断sRGB图像中是否存在异常区域。

在本发明实施例中，异常区域包括：高空抛物区域、外墙缺陷区域和火灾发生区域。

S104，如果sRGB图像中存在异常区域，则向云平台发送告警消息，以使得云平台展示sRGB图像中的异常区域和/或向告警终端发送告警消息。

在本发明实施例中，智能监测终端向云平台发送的告警消息包括sRGB图像和sRGB图像中异常区域的位置。使得云平台接收到告警消息后，按照异常区域的位置，对sRGB图像中的异常区域进行标记，并展示标记后的sRGB图像，和/或向告警终端发送标记后的sRGB图像。

本发明实施例提供的异常事件监测方法，智能监测终端可以确定被监测建筑物的sRGB图像中的异常区域，并向云平台发送告警消息，以使得云平台展示sRGB图像中的异常区域和/或向告警终端发送告警消息。本发明实施例可以利用智能监测设备监测建筑物存在的安全隐患，并利用云平台对安全隐患进行展示和预警，保障居民安全。

在上述S101之前，智能监测终端还可以从云平台处获取第一监测范围。其中，第一监测范围为云平台在用户配置界面识别用户对异常监测区域的框定操作得到的范围，或者第一监测范围为智能监测终端的全视野范围。

可选的，在用户未配置异常监测区域时，第一监测范围为全视野范围。

可以理解的，异常监测区域包含高抛监测区域、外墙监测区域和火灾监测区域。这三个区域的位置和大小可以相同也可以不同。例如，高抛监测区域、外墙监测区域和火灾监测区域分别在sRGB图像中的位置如图2所示(图2中的虚线框内部表示监测区域)。在监测各种异常时，可以在各种异常对应的监测区域内监测。

在上述S102之前，智能监测终端还可以从云平台处获取第二监测范围。其中，第二监测范围为云平台在用户配置界面识别用户对外墙监测区域以及火灾监测区域进行的框定操作得到的范围，或者，第二监测范围为智能监测终端的全视野范围。

可选的，在用户未配置外墙监测区域以及火灾监测区域时，第二监测范围为全视野范围。

上述S103包括检测sRGB图像中是否存在高空抛物区域、外墙缺陷区域和火灾发生区域。智能监测终端检测sRGB图像中高空抛物区域的过程如图3所示，包括如下步骤：

S301，对采集到的每帧sRGB图像进行图像分割，得到每帧sRGB图像包括的前景目标。

在本发明实施例中，前景目标为下落的物体在sRGB图像中对应的区域。除前景目标以外，sRGB图像中的其余区域为背景区域。

一种实施方式中，可以利用帧差法或者混合高斯模型，确定每帧sRGB图像包括的前景目标。

另一种实施方式中，智能监测终端可以将每帧sRGB图像输入目标检测模型，得到目标检测模型输出的sRGB图像中的前景目标。

其中，目标检测模型为利用多张训练图像对深度学习模型进行训练得到的模型，训练图像为包括下落的物体图像以及建筑物外部图像的sRGB图像，训练图像对应有包括下落的物体的位置的训练标签。

在本发明实施例中，S101按照一定的采样间隔获取sRGB图像，并实时经过步骤S102-S104进行处理。在S301中，每接收到一帧sRGB图像，确定该sRGB图像中是否包含前景目标，并在包含前景目标时，执行S302，在不包含前景目标时，转至S304，进一步判断在包含该帧sRGB图像在内，是否已有连续第二预设数量帧sRGB图像中不存在前景目标，若是，则表示目标丢失，执行S304。

S302，每确定一帧sRGB图像的前景目标，按照时间顺序，将该sRGB图像的前景目标与相邻的第一预设数量帧sRGB图像的前景目标进行叠加，得到叠加图像。

一种实施方式中，对于每一帧包括前景目标的sRGB图像，按照时间顺序，将该sRGB图像的前景目标与其之前相邻的第一预设数量帧的sRGB图像的前景目标，在RGB域依据各自的位置进行叠加，得到叠加图像。可以理解的，由于sRGB图像是实时获取的，因此叠加时将该sRGB图像的前景目标与其之前的sRGB图像的前景目标进行叠加。

例如，第一预设数量帧利用是300帧，假设针对帧号为500的sRGB图像，在执行S302时，按照时间顺序，将该sRGB图像的前景目标与帧号为200-499的sRGB图像的前景目标进行叠加，得到叠加图像。

S303，对叠加图像进行轨迹检测，得到包含相同物体的前景目标，并将得到的前景目标所属的sRGB图像作为候选sRGB图像。

一种实施方式中，可以将叠加图像输入预先训练好的轨迹检测模型，由轨迹检测模型进行轨迹检测，得到包含相同物体的前景目标。由于高空抛下的物体的运动轨迹为抛物线，对各前景目标进行轨迹检测，能够过滤掉不属于抛物线上的前景目标，减少识别误差。其中轨迹检测模型可以基于深度学习算法。

S304，若后续连续第二预设数量帧sRGB图像中不存在前景目标，则确定当前的各候选sRGB图像包括的前景目标为异常区域。

需要说明的是，每确定一个包含前景目标的sRGB图像，均确定一次候选sRGB图像，并利用当前确定的候选sRGB图像替代上一次确定的候选sRGB图像。直到后续连续第二预设数量帧sRGB图像中不存在前景目标时，确定当前的各候选sRGB图像包括的前景目标为异常区域。

可以理解的，在连续第二预设数量帧sRGB图像中不存在前景目标时，说明高空抛下的物体落地，感兴趣目标丢失。例如，第二预设数量可以是100帧。

传统的轨迹跟踪监测一般采用卡尔曼滤波算法，这种算法仅能够监测匀速直线运动的物体。然而高空抛下的物体具有加速度，而且运动轨迹也不是直线运动，因此利用卡尔曼滤波算法进行轨迹检测的准确度不高。

本发明实施例采用基于深度学习的轨迹检测模型，能够使用模型中的卷积神经网络提取叠加图像中的特征，使得训练后得到的轨迹检测模型具有更强大的适应能力和泛化能力，并且对于前景目标中的噪声有更强的抑制能力，可以提高轨迹检测的鲁棒性。

针对S104，若sRGB图像中存在高空抛物区域，则智能监测终端可以向云平台发送告警消息。其中，告警消息包括：sRGB图像、高空抛物区域的位置和每个位置对应的帧编号。

云平台接收到告警消息后，可以针对告警消息包括的每个位置，在该位置对应的帧编号的sRGB图像中，按照该位置对高空抛物区域进行标记。然后将标记后的各sRGB图像构建为告警视频，在用户预览界面中展示告警视频和/或向指定告警终端发送告警视频。

上述S103中，智能监测终端检测sRGB图像中外墙缺陷区域的过程如图4所示，包括如下步骤：

S401，根据热像图包括的各像素点的颜色值，确定热像图中的色差异常区域。其中，色差异常区域内像素点的颜色值与周围像素点的颜色值之间的颜色差值超过第一预设差值。

热像图中像素点的灰度值与像素点对应的物理位置的实际温度之间成线性关系，温度越高的区域在热像图中对应的区域灰度值越大。在确定外墙缺陷区域之前，首先需要预先标定灰度值与温度之间的关系，红外感光电路前放置有均匀的散热板，并将温度传感器的探头紧贴散热板中央，在散热板逐步加热的过程中，记录相同时刻散热板温度与热像图中散热板的灰度值。然后，绘制出温度与热像图灰度值之间的曲线关系。本发明实施例中，散热板的初始温度与加热完成后的温度称为温度观测区间，例如温度观测区间选取20摄氏度～80摄氏度。

示例性的，第一预设差值设置为10，一个区域内像素点与其周围区域像素点之间的颜色差值超过10时，表示该区域对应的物理区域与该周围区域对应的物理区域之间的温度差值超过5摄氏度。例如，一个外墙区域的温度为31摄氏度，其周围区域的温度为25摄氏度，外墙区域与其周围区域在热像图中颜色值差值超过10，因此将该外墙区域在灰度图中的区域作为色差异常区域。

可选的，色差异常区域的周围像素点为：色差异常区域周围指定范围内的像素点。例如与色差异常区域内的像素点间隔5个像素以内的像素点。

由于建筑物的外墙温度随着外界气温或太阳辐射的变化而发生改变，并且也会因为外墙不同区域的热传导率差异而有所变化。因此本发明实施例中通过红外感光电路探测建筑物外墙的温度分布，以二维热像图的形式表现外墙的温度分布情况。

在阳光的照射下，外墙吸收热辐射后通过传导的方式向基底传输。但是，当外墙与基底之间出现空鼓或缝隙时，二者之间充满空气，由于空气是热的不良导体，导致了空鼓或缝隙区域的外墙温度高于其他完好区域。同时完好的区域温度均匀，因此在热像图中对应的颜色分布均匀，没有明显的相对色差。因此空鼓或缝隙区域在热像图中的颜色与完好的外墙区域在热像图中的颜色对比明显。

例如，如图5所示，图5中的数字表示外墙区域的温度，图5中颜色较深的区域为外墙缺陷区域。需要说明的是，图5可以为彩色图，与灰度图相比，更容易确定出色差异常区域。

S402，将热像图中的色差异常区域在sRGB图像中对应的区域作为异常区域。

本发明实施例采用热像图辅助确定sRGB图像中的外墙缺陷区域，与利用无人机上的测温仪检测外墙缺陷区域的方式相比，本发明实施例更容易操作，且检测速度更快。

针对S104，若sRGB图像中存在外墙缺陷区域，则智能监测终端可以向云平台发送告警消息。其中，告警消息包括：sRGB图像和外墙缺陷区域的位置。

云平台接收到告警消息后，可以按照外墙缺陷区域的位置，在sRGB图像中对外墙缺陷区域进行标记。然后在用户预览界面中展示标记后的sRGB图像和/或向指定告警终端发送标记后的sRGB图像。

上述S103中，智能监测终端检测sRGB图像中火灾发生区域的过程如图6所示，包括如下步骤：

S601，根据热像图包括的各像素点的颜色值，确定热像图中的颜色突变区域。

其中，颜色突变区域内像素点的颜色值与前指定数量帧热像图中相同位置的像素点的颜色平均值之间的颜色差值超过第二预设差值。

例如，指定数量可以是1000帧，第二预设差值为60，一个区域内像素点颜色值与之前热像图中相同位置像素点的颜色平均值之间的差值超过60，说明该区域对应的物理区域的温度，与之前1000帧所包含的时间内该物理区域平均温度，之间的温度差超过30摄氏度。

例如，针对一帧热像图中一个区域，该区域灰度值为170，在该热像图之前的1000帧热像图中，该区域的灰度值平均值为100，170-100＝70>60，因此该区域对应的物理区域短时间内温度升高超过30摄氏度，因此将该区域作为颜色突变区域。

当发生火灾时，建筑物的着火区域温度急剧上升。因此热像图中温度突变的区域，一般是火灾发生区域。

S602，将颜色突变区域在sRGB图像中对应的区域作为候选区域。

S603，利用预先训练的烟火检测模型，检测候选区域内是否存在烟火图像。若是，则执行S604。若否，则确定sRGB图像中不存在火灾发生区域。

其中，烟火检测模型可以是对深度学习模型进行训练得到的模型。

S604，将候选区域作为异常区域。

本发明实施例采用热像图辅助确定sRGB图像中的火灾发生区域，与利用烟雾报警器的方式相比，本发明实施例确定火灾发生区域的同时，还能确定外墙缺陷区域和高空抛物区域，即利用一种设备能够监测多种异常事件，因此提高了异常事件的监测效率。

针对S104，若sRGB图像中存在火灾发生区域，则智能监测终端可以向云平台发送告警消息。其中，告警消息包括：sRGB图像和火灾发生区域的位置。

云平台接收到告警消息后，可以按照火灾发生区域的位置，在sRGB图像中对火灾发生区域进行标记。然后在用户预览界面中展示标记后的sRGB图像和/或向指定告警终端发送标记后的sRGB图像。

参见图7，本发明实施例中的智能监测终端包括：可见光感光电路701、红外感光电路702和主控芯片703；

可见光感光电路701，用于对建筑物外部的第一监测范围进行监测，采集得到sRGB图像，并向主控芯片发送采集得到的sRGB图像。

红外感光电路702，用于对建筑物外部的第二监测范围进行监测，采集得到热像图，第一监测范围包括所述第二监测范围，并向主控芯片发送采集得到的热像图。

主控芯片703，用于接收sRGB图像和热像图，根据sRGB图像和热像图，判断sRGB图像中是否存在异常区域；

主控芯片703，还用于如果sRGB图像中存在异常区域，则向云平台发送告警消息，以使得云平台展示sRGB图像中的异常区域和/或向告警终端发送告警消息。

本发明实施例提供的智能监测终端，可以确定被监测建筑物的sRGB图像中的异常区域，并向云平台发送告警消息，以使得云平台展示sRGB图像中的异常区域和/或向告警终端发送告警消息。本发明实施例可以利用智能监测设备监测建筑物存在的安全隐患，并利用云平台对安全隐患进行展示和预警，保障居民安全。

在本发明实施例中，参见图8，可见光感光电路701包括前置的红外滤光片7011和第一光传感器7012。红外滤光片7011用于在自然光进入第一光传感器7012之前过滤自然光中的红外光，然后将可见光输入到第一光传感器7012中进行成像，可以得到彩色的sRGB图像。

红外感光电路702包括前置的可见光滤光片7021和第二光传感器7022。可见光滤光片7021用于在自然光进入第二光传感器7022之前过滤自然光中的可见光，只保留红外光部分输入到第二光传感器7022中。然后将红外光输入到第二光传感器7022中进行成像，可以得到黑白的红外图像，经过图像处理，可以生成二维热像图。

补光电路707包括红外补光灯7071、可见光补光灯7072和光敏传感器7073。通过光敏传感器7073感知到外部环境光照强度的变化，并将感知到的光照强度传输至主控芯片703。当外部环境光照强度变低的时，主控芯片703启动红外补光灯7071和可见光补光灯7072，以提升可见光和红外光的成像质量，提高异常事件监测的准确度。

主控芯片703可以通过无线网络接入设备704，向云平台发送告警消息。

神经网络处理单元(Neural Network Processing Unit，NPU)706能够加速深度学习模型的推理运算和训练，解决传统芯片运算时效率低下的问题。

现场告警设备705，用于在接收到主控芯片703监测到异常事件而发出的告警通知时，基于现场告警设备705内预设的声光电等装置，发出现场告警信号。

可选的，主控芯片703，具体用于：

对采集到的每帧sRGB图像进行图像分割，得到每帧sRGB图像包括的前景目标，前景目标为下落的物体在sRGB图像中对应的区域；

每确定一帧sRGB图像的前景目标，按照时间顺序，将该sRGB图像的前景目标与相邻的第一预设数量帧sRGB图像的前景目标进行叠加，得到叠加图像；

对叠加图像进行轨迹检测，得到包含相同物体的前景目标，并将得到的前景目标所属的sRGB图像作为候选sRGB图像；

若后续连续第二预设数量帧sRGB图像中不存在前景目标，则确定当前的各候选sRGB图像包括的前景目标为异常区域。

可选的，主控芯片703，具体用于：

将每帧sRGB图像输入神经网络处理单元NPU 706，以使得NPU 706将每帧图像输入目标检测模型，并接收NPU 706发送的目标检测模型输出的sRGB图像中的前景目标；

其中，目标检测模型为利用多张训练图像对深度学习模型进行训练得到的模型，训练图像为包括下落的物体图像以及建筑物外部图像的sRGB图像，训练图像对应有包括下落的物体的位置的训练标签。

可选的，主控芯片703，具体用于：

根据热像图包括的各像素点的颜色值，确定热像图中的色差异常区域，其中，色差异常区域内像素点的颜色值与周围像素点的颜色值之间的颜色差值超过第一预设差值；

将热像图中的色差异常区域在sRGB图像中对应的区域作为异常区域。

可选的，主控芯片703，具体用于：

根据热像图包括的各像素点的颜色值，确定热像图中的颜色突变区域，其中，颜色突变区域内像素点的颜色值与前指定数量帧热像图中相同位置的像素点的颜色平均值之间的颜色差值超过第二预设差值；

将颜色突变区域在sRGB图像中对应的区域作为候选区域；

利用预先训练的烟火检测模型，检测候选区域内是否存在烟火图像；

若是，则将候选区域作为异常区域。

在本发明实施例中，主控芯片703可以向NPU 706发送候选区域，NPU 706利用预先训练的烟火检测模型，检测候选区域内是否存在烟火图像，并向主控芯片703发送检测结果。

可选的，红外感光电路702，具体用于：通过红外感光电路探测建筑物外墙的第二监测范围内的温度分布，得到热像图。

可选的，主控芯片703，还用于：

在获取对建筑物外部的第一监测范围进行监测过程中采集到的sRGB图像之前，从云平台处获取第一监测范围，第一监测范围为云平台在用户配置界面识别用户对异常监测区域的框定操作得到的范围，或者第一监测范围为智能监测终端的全视野范围；

在获取对建筑物外部的第二监测范围进行监测过程中采集到的热像图之前，从云平台处的第二监测范围，第二监测范围为云平台在用户配置界面识别用户对外墙监测区域以及火灾监测区域进行的框定操作得到的范围，或者，第二监测范围为智能监测终端的全视野范围。

基于相同的发明构思，本发明实施例提供了一种异常事件监测系统，如图9所示，该系统包括云平台902、指定告警终端和上述智能监测终端901。云平台902分别与智能监测终端901和指定告警终端通信连接。

云平台902，用于接收告警消息。

云平台902，还用于展示sRGB图像中的异常区域和/或向告警终端发送告警消息。

本发明实施例提供的异常事件监测系统，智能监测终端可以确定被监测建筑物的sRGB图像中的异常区域，并向云平台发送告警消息，以使得云平台展示sRGB图像中的异常区域和/或向告警终端发送告警消息。本发明实施例可以利用智能监测设备监测建筑物存在的安全隐患，并利用云平台对安全隐患进行展示和预警，保障居民安全。

可选的，参见图9，智能监测终端901和云平台902之间可以通过数据网络通信。指定终端可以包括社区接收终端903和报警联动终端904。

在本发明实施例中，云平台902包括：消息处理子系统、用户界面子系统和对外接口。对外接口包括网络通信接口和联动终端接口，网络通信接口用于与智能监测终端901通信，联动终端接口用于与指定终端通信。示例性的，如图10所示，用户界面子系统包括用户配置界面和用户预览界面。

可选的，如图11所示，云平台902包括：告警消息接收模块9021、告警消息分发模块9022和多种告警消息处理模块。可选的，告警消息接收模块9021、告警消息分发模块9022和多种告警消息处理模块属于云平台902包括的消息处理子系统。

告警消息接收模块9021，用于接收告警消息，根据告警消息的消息格式，确定告警消息的消息类型，以及向告警消息分发模块9022发送告警消息以及告警消息的消息类型。

告警消息分发模块9022，用于向告警消息的消息类型对应的告警消息处理模块发送告警消息。

告警消息处理模块，用于展示sRGB图像中的异常区域和/或向告警终端发送告警消息。

在本发明实施例中，参见图11，告警消息处理模块包括：高抛报警处理模块9024、外墙报警处理模块9025和火灾报警处理模块9026。

可选的，每个sRGB图像设置有一个帧编号，告警消息还包括sRGB图像中的异常区域的位置对应的帧编号。如图11所示，告警消息处理模块包括高抛报警处理模块9024。高抛报警处理模块9024，用于：针对告警消息包括的每个异常区域的位置，在该位置对应的帧编号的sRGB图像中，按照该位置对异常区域进行标记。然后将标记后的各sRGB图像构建为告警视频，在用户预览界面展示告警视频和/或向指定告警终端发送告警视频。

高抛报警处理模块9024，具体用于向社区接收终端903发送告警视频。

可选的，外墙报警处理模块9025，用于根据sRGB图像中的外墙缺陷区域的位置，在sRGB图像中标记外墙缺陷区域，并在用户预览预览界面中展示标记后的sRGB图像和/或向指定告警终端发送标记后的sRGB图像。

外墙报警处理模块9025，具体用于向社区接收终端903发送标记后的sRGB图像。

可选的，火灾报警处理模块9026，用于根据sRGB图像中的火灾发生区域的位置，在sRGB图像中标记火灾发生区域，并在用户预览预览界面中展示标记后的sRGB图像和/或向指定告警终端发送标记后的sRGB图像。

火灾报警处理模块9026，具体用于向社区接收终端903和报警联动终端904发送标记后的sRGB图像。

参见图11，本发明实施例中的云平台902还包括：告警消息存储模块9023。可选的，告警消息存储模块9023属于云平台902包括的消息处理子系统。

告警消息存储模块9023，用于根据告警消息的消息类型，将不同消息类型的告警消息缓存到云平台902不同的数据库中。以便用户对异常事件的查询与浏览。

需要说明的是，图11中的条形方框表示数据传输总线，用于模块之间的数据传输。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于智能监测终端实施例和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (15)

1.一种异常事件监测方法，其特征在于，应用于智能监测终端，所述方法包括：

获取对建筑物外部的第一监测范围进行监测过程中采集到的sRGB图像；

获取对建筑物外部的第二监测范围进行监测过程中采集到的热像图，所述第一监测范围包括所述第二监测范围；

根据所述sRGB图像和所述热像图，判断所述sRGB图像中是否存在异常区域；

如果所述sRGB图像中存在异常区域，则向云平台发送告警消息，以使得所述云平台展示所述sRGB图像中的异常区域和/或向告警终端发送告警消息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述sRGB图像和所述热像图，判断所述sRGB图像中是否存在异常区域，包括：

对采集到的每帧sRGB图像进行图像分割，得到每帧sRGB图像包括的前景目标，所述前景目标为下落的物体在sRGB图像中对应的区域；

每确定一帧sRGB图像的前景目标，按照时间顺序，将该sRGB图像的前景目标与相邻的第一预设数量帧sRGB图像的前景目标进行叠加，得到叠加图像；

对所述叠加图像进行轨迹检测，得到包含相同物体的前景目标，并将得到的前景目标所属的sRGB图像作为候选sRGB图像；

若后续连续第二预设数量帧sRGB图像中不存在前景目标，则确定当前的各候选sRGB图像包括的前景目标为异常区域。

3.根据权利要求2所述的方法，其特征在于，所述对采集到的每帧sRGB图像进行图像分割，得到每帧sRGB图像包括的前景目标，包括：

将每帧sRGB图像输入目标检测模型，得到所述目标检测模型输出的sRGB图像中的前景目标；

其中，所述目标检测模型为利用多张训练图像对深度学习模型进行训练得到的模型，所述训练图像为包括下落的物体图像以及建筑物外部图像的sRGB图像，所述训练图像对应有包括下落的物体的位置的训练标签。

4.根据权利要求1所述的方法，其特征在于，所述根据所述sRGB图像和所述热像图，判断所述sRGB图像中是否存在异常区域，包括：

根据所述热像图包括的各像素点的颜色值，确定所述热像图中的色差异常区域，其中，所述色差异常区域内像素点的颜色值与周围像素点的颜色值之间的颜色差值超过第一预设差值；

将所述热像图中的色差异常区域在所述sRGB图像中对应的区域作为异常区域。

5.根据权利要求1所述的方法，其特征在于，所述根据所述sRGB图像和所述热像图，判断所述sRGB图像中是否存在异常区域，包括：

根据所述热像图包括的各像素点的颜色值，确定所述热像图中的颜色突变区域，其中，所述颜色突变区域内像素点的颜色值与前指定数量帧热像图中相同位置的像素点的颜色平均值之间的颜色差值超过第二预设差值；

将所述颜色突变区域在所述sRGB图像中对应的区域作为候选区域；

利用预先训练的烟火检测模型，检测所述候选区域内是否存在烟火图像；

若是，则将所述候选区域作为异常区域。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述获取对建筑物外部的第二监测范围进行监测过程中采集到的热像图，包括：

通过红外感光电路探测所述建筑物外墙的第二监测范围内的温度分布，得到热像图。

7.根据权利要求1-5任一项所述的方法，其特征在于，在所述获取对建筑物外部的第一监测范围进行监测过程中采集到的sRGB图像之前，所述方法还包括：

从所述云平台处获取所述第一监测范围，所述第一监测范围为所述云平台在用户配置界面识别用户对异常监测区域的框定操作得到的范围，或者所述第一监测范围为所述智能监测终端的全视野范围；

在所述获取对建筑物外部的第二监测范围进行监测过程中采集到的热像图之前，所述方法还包括：

从所述云平台处的所述第二监测范围，所述第二监测范围为所述云平台在所述用户配置界面识别用户对外墙监测区域以及火灾监测区域进行的框定操作得到的范围，或者，所述第二监测范围为所述智能监测终端的全视野范围。

8.一种智能监测终端，其特征在于，所述智能监测终端包括：可见光感光电路、红外感光电路和主控芯片；

所述可见光感光电路，用于对建筑物外部的第一监测范围进行监测，采集得到sRGB图像，并向所述主控芯片发送采集得到的sRGB图像；

所述红外感光电路，用于对建筑物外部的第二监测范围进行监测，采集得到热像图，所述第一监测范围包括所述第二监测范围，并向所述主控芯片发送采集得到的热像图；

所述主控芯片，用于接收sRGB图像和热像图，根据所述sRGB图像和所述热像图，判断所述sRGB图像中是否存在异常区域；

所述主控芯片，还用于如果所述sRGB图像中存在异常区域，则向云平台发送告警消息，以使得所述云平台展示所述sRGB图像中的异常区域和/或向告警终端发送告警消息。

9.根据权利要求8所述的智能监测终端，其特征在于，所述主控芯片，具体用于：

对采集到的每帧sRGB图像进行图像分割，得到每帧sRGB图像包括的前景目标，所述前景目标为下落的物体在sRGB图像中对应的区域；

每确定一帧sRGB图像的前景目标，按照时间顺序，将该sRGB图像的前景目标与相邻的第一预设数量帧sRGB图像的前景目标进行叠加，得到叠加图像；

对所述叠加图像进行轨迹检测，得到包含相同物体的前景目标，并将得到的前景目标所属的sRGB图像作为候选sRGB图像；

若后续连续第二预设数量帧sRGB图像中不存在前景目标，则确定当前的各候选sRGB图像包括的前景目标为异常区域。

10.根据权利要求9所述的智能监测终端，其特征在于，所述主控芯片，具体用于：

将每帧sRGB图像输入神经网络处理单元NPU，以使得NPU将每帧图像输入目标检测模型，并接收NPU发送的所述目标检测模型输出的sRGB图像中的前景目标；

其中，所述目标检测模型为利用多张训练图像对深度学习模型进行训练得到的模型，所述训练图像为包括下落的物体图像以及建筑物外部图像的sRGB图像，所述训练图像对应有包括下落的物体的位置的训练标签。

11.根据权利要求8所述的智能监测终端，其特征在于，所述主控芯片，具体用于：

根据所述热像图包括的各像素点的颜色值，确定所述热像图中的色差异常区域，其中，所述色差异常区域内像素点的颜色值与周围像素点的颜色值之间的颜色差值超过第一预设差值；

将所述热像图中的色差异常区域在所述sRGB图像中对应的区域作为异常区域。

12.根据权利要求8所述的智能监测终端，其特征在于，所述主控芯片，具体用于：

根据所述热像图包括的各像素点的颜色值，确定所述热像图中的颜色突变区域，其中，所述颜色突变区域内像素点的颜色值与前指定数量帧热像图中相同位置的像素点的颜色平均值之间的颜色差值超过第二预设差值；

将所述颜色突变区域在所述sRGB图像中对应的区域作为候选区域；

利用预先训练的烟火检测模型，检测所述候选区域内是否存在烟火图像；

若是，则将所述候选区域作为异常区域。

13.一种异常事件监测系统，其特征在于，所述系统包括云平台、指定告警终端和如权利要求8-12任一项所述的智能监测终端，所述云平台分别与所述智能监测终端和所述指定告警终端通信连接；

所述云平台，用于接收告警消息；

所述云平台，还用于展示所述sRGB图像中的异常区域和/或向告警终端发送告警消息。

14.根据权利要求13所述的系统，其特征在于，所述云平台包括：告警消息接收模块、告警消息分发模块和多种告警消息处理模块；

所述告警消息接收模块，用于接收所述告警消息，根据所述告警消息的消息格式，确定所述告警消息的消息类型，以及向所述告警消息分发模块发送所述告警消息以及所述告警消息的消息类型；

所述告警消息分发模块，用于向所述告警消息的消息类型对应的告警消息处理模块发送所述告警消息；

所述告警消息处理模块，用于展示所述sRGB图像中的异常区域和/或向告警终端发送告警消息。

15.根据权利要求13所述的系统，其特征在于，每个sRGB图像设置有一个帧编号，所述告警消息还包括sRGB图像中的异常区域的位置对应的帧编号，所述告警消息处理模块包括高抛报警处理模块，所述高抛报警处理模块，用于：

针对所述告警消息包括的每个异常区域的位置，在该位置对应的帧编号的sRGB图像中，按照该位置对异常区域进行标记；

将标记后的各sRGB图像构建为告警视频，在用户预览界面展示所述告警视频和/或向所述指定告警终端发送所述告警视频。

Images