CN116052004B

CN116052004B - 一种异常事件双向监测方法、装置、电子设备及存储介质

Info

Publication number: CN116052004B
Application number: CN202310127262.3A
Authority: CN
Inventors: 陈旭林; 周涛; 张宇; 杨伟强; 刘东剑
Original assignee: Santachi Video Technology Shenzhen Co ltd
Current assignee: Santachi Video Technology Shenzhen Co ltd
Priority date: 2023-02-17
Filing date: 2023-02-17
Publication date: 2023-07-21
Anticipated expiration: 2043-02-17
Also published as: CN116052004A

Abstract

本发明提供的一种异常事件双向监测方法、装置、电子设备及存储介质，当选择红外光工作模式时，先获取发生异常事件隐患置信度较高的红外光图像，通过红外光图像中的温度信息筛选出第一可疑区域，而后通过第一可疑区域的可见光图像进行二次确认；当选择可见光工作模式时，则先获取发生异常事件隐患置信度较高的可见光图像，通过可见光图像筛选出第二可疑区域，而后通过第二可疑区域的红外光图像进行二次确认。通过设置两种不同的工作模式实现双向检测，区别于现有技术中的单向检测方法，双向检测方式可以有效避免即使在第二步隐患检测置信度较高，但由于第一步隐患检测的置信度较低却无法进一步确认的情况，以此来提高异常事件检出率。

Description

一种异常事件双向监测方法、装置、电子设备及存储介质

技术领域

本发明涉及图像识别领域，尤其涉及一种异常事件双向监测方法、装置、电子设备及存储介质。

背景技术

输电线网在日常运行过程中经常发生一些突发情况，如电网线路中的零部件损坏脱落以及遭遇雷击等问题，并且由于输电线网通常架设于山林之中，覆盖面积大，地势偏远，输电线网常年面临着突发的山火威胁，当山火蔓延后，不仅严重破坏了森林资源以及环境，而且烧毁林区输电线路造成线路跳闸，若火势持续蔓延并扩大，则有可能导致铁塔烧毁，造成重大电力事故。而在山火灾难中，许多灭火人员也付出了生命的代价。因此，如何及早发现异常情况，及时维护或救援，将损失减少到最小，是当前急需解决的问题。

在现有技术中公开了多种技术方案来实现隐患检测。例如专利公开号为CN114266893A公开了一种烟火隐患识别方法和设备，该方法虽然可以达到快速检测烟火的目的，但是过分依赖红外热成像仪（即初始筛选隐患区域），缺乏与可见光摄像机的联动交互。且红外热成像仪视野一般很小，没有充分利用可见光学摄像机可提供的高变焦及广视野功能。又例如专利公开号为CN111027541A公开了一种基于可见光和热成像的火焰检测方法、系统及存储介质，其采用图像配准方法进行火焰检测，而图像配准方法利用的是基于Canny以及SURF特征点匹配方法，其存在误匹配或匹配失败的风险，影响最终烟火的判断，精确度不高。

发明内容

本发明所要解决的技术问题是：提供一种异常事件双向监测方法、装置、电子设备及存储介质，充分利用可见光学摄像机可提供的高变焦及广视野功能，提高异常事件检测的精确度。

为了解决上述技术问题，本发明采用的技术方案为：一种异常事件双向监测方法，包括步骤：

接收检测信号，获取所述检测信号的发送源，根据所述发送源选择对应的工作模式，所述工作模式包括红外光工作模式和可见光工作模式；

若为红外光工作模式，则获取第一红外光图像，根据所述第一红外光图像的第一温度信息进行筛选得到第一可疑区域，获取所述第一可疑区域的第一可见光图像，将所述第一可见光图像输入神经网络模型进行检测，得到异常事件检测结果；

若为可见光工作模式，则获取第二可见光图像，将所述第二可见光图像输入神经网络模型进行检测得到第二可疑区域，获取所述第二可疑区域的第二红外光图像，对所述第二红外光图像进行温度计算，得到异常事件检测结果。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种异常事件双向监测装置，包括：

选择模块，用于接收检测信号，获取所述检测信号的发送源，根据所述发送源选择对应的工作模式，所述工作模式包括红外光工作模式和可见光工作模式；

第一工作模块，用于若为红外光工作模式，则获取第一红外光图像，根据所述第一红外光图像的第一温度信息进行筛选得到第一可疑区域，获取所述第一可疑区域的第一可见光图像，将所述第一可见光图像输入神经网络模型进行检测，得到异常事件检测结果；

第二工作模块，用于若为可见光工作模式，则获取第二可见光图像，将所述第二可见光图像输入神经网络模型进行检测得到第二可疑区域，获取所述第二可疑区域的第二红外光图像，将所述第二红外光图像进行温度计算，得到异常事件检测结果。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种异常事件双向监测方法中的各个步骤。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种异常事件双向监测方法中的各个步骤。

本发明的有益效果在于：当选择红外光工作模式时，先获取发生异常事件隐患置信度较高的红外光图像，通过红外光图像中的温度信息筛选出第一可疑区域，而后通过第一可疑区域的可见光图像进行二次确认；当选择可见光工作模式时，则先获取发生异常事件隐患置信度较高的可见光图像，通过可见光图像筛选出第二可疑区域，而后通过第二可疑区域的红外光图像进行二次确认。通过设置两种不同的工作模式实现双向检测，区别于现有技术中的单向检测方法，双向检测方式可以有效避免即使在第二步隐患检测置信度较高，但由于第一步隐患检测的置信度较低却无法进一步确认的情况，以此来提高异常事件检出率。此外，红外光图像与可见光图像的互联性高，有效提高异常事件检测的精度。

附图说明

图1为本发明实施例提供的一种异常事件双向监测方法的步骤流程图；

图2为本发明实施例提供的红外光工作模式程序流程图；

图3为本发明实施例提供的可见光工作模式程序流程图；

图4为本发明实施例提供的一种异常事件双向监测方法的监控终端结构示意图；

图5为本发明实施例提供的一种异常事件双向监测装置的结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图；

标号说明：

400、一种异常事件双向监测装置；401、选择模块；402、第一工作模块；403、第二工作模块；500、一种电子设备；501、存储器；502、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，本发明实施例提供了一种异常事件双向监测方法，包括步骤：

从上述描述可知，本发明的有益效果在于：当选择红外光工作模式时，先获取发生异常事件隐患置信度较高的红外光图像，通过红外光图像中的温度信息筛选出第一可疑区域，而后通过第一可疑区域的可见光图像进行二次确认；当选择可见光模式时，则先获取发生异常事件隐患置信度较高的可见光图像，通过可见光图像筛选出第二可疑区域，而后通过第二可疑区域的红外光图像进行二次确认。通过设置两种不同的工作模式实现双向检测，区别于现有技术中的单向检测方法，双向检测方式可以有效避免即使在第二步隐患检测置信度较高，但由于第一步隐患检测的置信度较低却无法进一步确认的情况，以此来提高异常事件检出率。此外，红外光图像与可见光图像的互联性高，有效提高异常事件检测的精度。

进一步的，所述发送源包括红外光相机和可见光相机；

所述根据所述发送源选择对应的工作模式具体为：

若所述发送源为红外光相机，则选择红外光工作模式；

若所述发送源为可见光相机，则选择可见光工作模式。

由上述描述可知，通过最先发现异常事件隐患的相机去选择对应的工作模式，即红外光相机在巡检过程中发现疑似异常事件隐患，则选择红外光工作模式；可见光相机在巡检过程中发现疑似异常事件隐患，则选择可见光工作模式；这种选择工作模式的方法能够有效避免红外光或可见光在隐患检测置信度较低的情况下无法执行下一步检测确认的问题。

进一步的，所述第一可见光图像包括第一全景图像；

所述根据所述第一红外光图像的第一温度信息进行筛选得到第一可疑区域，获取所述第一可疑区域的第一可见光图像包括：

将所述第一红外光图像转换为灰度图像，将所述灰度图像进行阈值分割得到二值化图像；

计算所述二值化图像中每一区域的第一温度信息，判断所述每一区域的第一温度信息是否符合预设温度，若否，则将所述区域标记为第一可疑区域；

调用所述可见光相机获取全景图像，将所述第一可疑区域映射至所述全景图像中得到第一全景图像。

由上述描述可知，红外热成像仪存在视野小的问题，故本发明通过调用可见光相机，获取全景图像，充分利用可见光相机的广视野功能以解决红外光图像视野小的问题，从而避免红外光图像在采用图像特征点识别时，由于视野小造成特征点少可能存在匹配失败的情况。

进一步的，所述第一可见光图像还包括第一高清图像；

所述将所述区域标记为第一可疑区域之后还包括：

获取所述第一可疑区域的范围信息，若所述范围信息小于预设范围信息，则根据红外光相机与可见光相机的映射关系，获取所述第一可疑区域在所述可见光相机中的映射位置；

调用所述可见光相机获取所述映射位置的高清图像，得到第一高清图像。

由上述描述可知，当可疑火点在距离红外光相机较远处或者事件发生的面积较小时，通过调用可见光相机的变焦放大功能，获取高清图像进行检测，能够有效提高异常事件隐患的检出率，并且提升发现异常事件隐患的效率。

进一步的，所述将所述第一可见光图像输入神经网络模型进行检测，得到异常事件检测结果包括：

将所述第一可见光图像输入分类神经网络进行识别分类，得到分类结果；

根据所述分类结果判断所述第一可见光图像中是否存在异常事件发生区域。

由上述描述可知，通过红外光图像进行温度筛选后，再通过可见光图像的特征点输入分类神经网络进行检测，区别于现有技术中基于特征点将二者进行图像融合的方式，本发明采用了分步检测方式，有效降低了匹配算法的复杂度，并且这种检测方式的准确度更高。

进一步的，所述第二可见光图像包括第二全景图像和第二高清图像；

所述将所述第二可见光图像输入神经网络模型得到第二可疑区域包括：

将所述第二全景图像输入目标识别神经网络进行检测，得到目标可疑区域；

调用所述可见光相机获取所述目标可疑区域的第二高清图像，将所述第二高清图像输入分类神经网络进行检测，得到第二可疑区域。

由上述描述可知，当可见光图像中发现异常事件隐患的置信度较高时，则通过可见光工作模式分别将全景图像和高清图像输入深度学习神经网络进行检测和判别，充分利用了可见光学摄像机可提供的高变焦及广视野功能，通过全景图像和高清图像的双重检测与确认，有效提高了异常事件检测精度。

进一步的，所述获取所述第二可疑区域的第二红外光图像，将所述第二红外光图像进行温度计算，得到异常事件检测结果包括：

调用所述红外光相机获取所述第二可疑区域的第二红外光图像；

计算所述第二红外光图像中每一区域的第二温度信息；

判断所述第二温度信息是否符合预设温度，若否，则标记所述区域为异常事件发生区域。

由上述描述可知，在第二可见光图像已经确定可疑区域后，通过第二红外光图像进一步确认该区域的温度信息是否超过预设温度阈值，提高异常事件检测精度。

本发明另一实施例提供了一种异常事件双向监测装置，包括：

本发明又一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种异常事件双向监测方法中的各个步骤。

本发明再一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种异常事件双向监测方法中的各个步骤。

本发明提供了一种异常事件双向监测方法、装置、电子设备及存储介质，可用于检测输电线路中的山火事件以及电网零部件的运维异常等其他领域，充分利用可见光学摄像机可提供的高变焦及广视野功能以及红外摄像机的测温功能实现异常事件检测，提高异常事件检测的精确度，以下以检测输电线路中的山火事件为具体实施例来说明：

请参照图1至图3，本发明的实施例一为：

一种异常事件双向监测方法，包括步骤：

S101、接收检测信号，获取所述检测信号的发送源；

S102、根据所述发送源选择对应的工作模式，所述工作模式包括红外光工作模式和可见光工作模式。

其中，所述发送源包括红外光相机和可见光相机；

所述S102具体为：

S1021、若所述发送源为红外光相机，则选择红外光工作模式，并跳转执行步骤S201-S203。

S1022、若所述发送源为可见光相机，则选择可见光工作模式，并跳转执行步骤S301-S303。

需要说明的是，检测信号是指当红外光相机或可见光相机其中一者发现疑似山火目标后所产生的信号；红外光相机或可见光相机通过检测信号调用所述一种异常事件双向监测方法进行进一步的校验和确认。

若红外光相机以及可见光相机同时检测到山火，不论二者检测时间的先后，均要完成其对应的工作模式；即红外光相机以及可见光相机同时检测到异常事件，则通过红外光相机发送的检测信号执行红外光工作模式，同时通过可见光相机发送的检测信号执行可见光工作模式。因为在一种具体情况中，可能存在多处异常情况，两者发现的并不一定是同一处的异常事件，故采用双重工作模式并行的方式分别进行校验和确认。

本发明通过最先发现疑似山火的相机选择对应的工作模式，例如，当红外光相机由于阈值设置不当、分割的区域不对、区域太大或者太小等原因暂时检测不到疑似山火的目标，但是在可见光相机中检测到了，这时可见光相机就可以反向联动利用红外光相机再次确认，从而避免单向山火检测模式（例如：先采用红外光相机检测，后采用可见光相机检测）中即使在可见光相机隐患检测置信度较高，但由于红外光相机隐患检测的置信度较低却无法调用可见光相机进行进一步确认的情况，以此来提高山火检出率以及准确率。

需要说明的是，下述第一可疑区域为红外光图像中所对应的可疑区域，第二可疑区域为可见光图像中所对应的可疑区域。

参照图2，S201、若为红外光工作模式，则获取第一红外光图像；

S202、根据所述第一红外光图像的第一温度信息进行筛选得到第一可疑区域，获取所述第一可疑区域的第一可见光图像；

S203、将所述第一可见光图像输入分类神经网络进行检测，得到山火检测结果。

其中，所述第一可见光图像包括第一全景图像。

具体的，所述S202包括：

S2021、将所述第一红外光图像转换为灰度图像，将所述灰度图像进行阈值分割得到二值化图像。

在本实施例中，所述阈值分割采用自适应的大津法（Ostu）。

S2022、计算所述二值化图像中每一区域的第一温度信息，判断所述每一区域的第一温度信息是否符合预设温度，若否，则将所述区域标记为第一可疑区域。

在本实施例中，通过遍历计算所述二值化图像中每一分割区域的平均温度T_avg和最高温度T_max，将平均温度T_avg或最高温度T_max大于预设温度阈值T_thres的区域标记为第一可疑区域。

S2023、调用所述可见光相机获取全景图像，将所述第一可疑区域映射至所述全景图像中得到第一全景图像。

具体的，可见光相机包括球机监控端和枪机监控端；其中，球机监控端与红外光相机设置于云台上，可进行旋转和角度调节，用于获取高清图像；枪机监控端具有多个，固定于底座上，均采用广角摄像头，用于获取全景图像。

其中，所述第一可见光图像还包括第一高清图像；

具体的，所述S2022之后还包括：

S2024、获取所述第一可疑区域的范围信息，若所述范围信息小于预设范围信息，则根据红外光相机与可见光相机的映射关系，获取所述第一可疑区域在所述可见光相机中的映射位置；

需要说明的是，所述范围信息是指第一可疑区域在红外光图像中的区域面积。

在本实施例中，预设范围信息为4个像素值，即当红外热图像的高温区域面积小于4个像素值时，则调用所述球机监控端进行变焦放大第一可疑区域，从而获取所述第一可疑区域的高清图像，得到第一高清图像。

具体的，所述S203包括：

S2031、将所述第一可见光图像输入分类神经网络进行识别分类，得到分类结果；其中，所述分类神经网络包括特征提取层、分类层等；分类结果即为置信度。在本实施例中，分类神经网络采用resnet分类网络。

S2032、根据所述分类结果判断所述第一可见光图像中是否存在山火发生区域。在本实施例中，通过根据输出的置信度是否大于预设阈值来判断所述第一可见光图像中是否存在山火发生区域。

参照图3，S301、若为可见光工作模式，则获取第二可见光图像；

S302、将所述第二可见光图像分别输入目标识别神经网络以及分类神经网络进行检测得到第二可疑区域；

S303、获取所述第二可疑区域的第二红外光图像，对所述第二红外光图像进行温度计算，得到山火检测结果。

其中，所述第二可见光图像包括第二全景图像和第二高清图像；

具体的，所述S302包括：

S3021、将所述第二全景图像输入目标识别神经网络进行检测，得到目标可疑区域；其中，目标识别神经网络包括特征提取层、边框分类回归层等，在本实施例中，目标识别神经网络采用yolov5。

需要说明的是，所述第二全景图像是由枪机监控端实时拍摄图像后根据预设的周期不断更新和拼接生成的。

S3022、调用所述可见光相机获取所述目标可疑区域的第二高清图像，将所述第二高清图像输入分类神经网络进行检测，得到第二可疑区域。

具体的，所述S303包括：

S3031、调用所述红外光相机获取所述第二可疑区域的第二红外光图像；

S3032、计算所述第二红外光图像中每一区域的第二温度信息；

S3033、判断所述第二温度信息是否符合预设温度，若否，则标记所述区域为山火发生区域。

在本实施例中，第二温度信息为平均温度T_avg，平均温度T_avg超过预设温度的区域则标记为山火发生区域。

请参照图4，本发明的实施例二为：

一种异常事件双向监测方法中调用可见光相机获取全景图像和高清图像以及调用红外光相机获取红外光图像的实现方式。

参照图4，在本实施例中，可见光相机包括枪机监控端和球机监控端，枪机监控端的数量为3个，固定于设备底部；球机监控端固定于设备云台；红外光相机固定于设备云台。

D1、所述调用所述可见光相机获取全景图像具体为：

其中，可见光相机中的枪机监控端数量为多个，在后面枪机监控端称为相机，一个枪机监控端所获取的图像为单画面，全景图像由多个单画面拼接生成。

随机定义两个相机分别为P₁、P₂（要求相机无畸变）。

约定固定P₁，将P₂画面变化到P₁，即可得到拼接图片1，重复执行上述步骤即可得到全景图像。

D11、对两个相机进行立体标定，得到：

;

其中，K₁、K₂分别是两个相机的内参矩阵，（I，O）、（R，t）分别是两个相机的外参矩阵。

D12、对两个相机进行立体校正，分别得到旋转矩阵R₁、R₂，并且得到两个新的相机，表示为，则有：

;

将两个相机从原图到立体校正图的变换关系定义为T₁。

D13、计算视差。输入拼接距离dis，记b是baseline长度（两个相机中光学中心点的距离），f是新相机的焦距，则有：

;

D14、将的主点水平坐标移动，得到新的相机/>。

D15、因为两个相机画面在立体校正之后，只存在一个水平的平移差距，所以计算得到的相机的画面与相机/>的画面重合。因为/>的画面和/>的画面重合，所以可以认为/>画面是相机/>拍摄的。那么将两个画面都按照成像过/>程的逆过程变换，就得到原相机P₁、P₂的拼接图。将从/>的画面到原相机P₁、P₂的拼接图的变换关系定义为T₂。

D16、对原相机P₁、P₂的拼接图做球面投影，就得到球面投影的全景图。这个变换关系定义为T₃。

前向映射：将单画面的点映射到全景图中的点X：

；

后向映射：将全景图中的点映射到单画面的点x：

;

。

给定全景图像的一个点X，可通过后向映射得到单画面对应的点x。反之，给定单画面的一个点x，可通过前向映射得到全景画面对应的点X。

即，全景图像与单画面之间存在映射关系。

D2、所述调用所述可见光相机获取所述目标可疑区域的第二高清图像具体为：

D21、高清图像由可见光相机中的球机监控端所获取，而目标可疑区域位于第二全景图像中，第二全景图像由多个单画面拼接生成，则获取目标可疑区域的第二高清图像，需要单画面与球机监控端的调节角度相互映射。

定义为K枪机内参矩阵，R为枪机旋转矩阵，x为单画面点，α为球机角度，S为球面坐标转换关系，可以将α转成单位球面上的点。

因为α可以认为是经纬度，那么通过球面坐标转换关系S，可以将α转成空间单位球面上的点。又因为枪球光心重合，则球机所在的世界坐标系原点和枪机自身的摄像机坐标系原点重合，所以有：

;

其中，球面坐标转换关系定义如下：

输入经纬度坐标，输出/>，其中/>位于单位球面上，则有：

;

给定单画面的一个点x，通过枪球联动映射关系得到球机监控端上的点α（即角度或者经纬度），其中α表示的是pan（经度）和tilt（纬度）。反之，给定球机监控端的角度或经纬度α，可得到单画面对应的点x。

即，单画面与球机角度之间存在映射关系。

D22、通过调节球机监控端的角度或经纬度α，即可获取指定区域内的可见光图像。给定球机角度α，球机监控端就可以转动到角度α，使得α处的物体位于球机监控端的画面中心。反之，给定球机监控端画面中的某一点A，球机可以调用自身的3D控球功能，得到可以使得点A处的物体位于球机监控端画面中心的球机角度α。

即，球机角度与高清图像之间存在映射关系。

D3、所述调用所述红外光相机获取所述第二可疑区域的第二红外光图像具体为：

第二可疑区域位于第二高清图像中，而第二高清图像由可见光相机所获取，红外光图像由红外光相机获取，则获取第二可疑区域的第二红外光图像，需要球机监控端获取的高清图像与红外光相机获取的红外光图像相互映射。

因为球机监控端和红外光相机的光心距离远远小于球机与观测物体的距离，所以可以认为球机监控端和红外光相机的光心重合。两者的画面之间存在一个对应关系，这一对应关系可以用单应性矩阵H来进行描述。

定义为X’球机监控端画面上的点，x’为红外光相机画面中的点，那么:

;

其中、X’、x’均是图片上的点（像素坐标）的齐次坐标；H是单应性矩阵，通过提前标定若干个点对求得。

即，高清图像与红外光图像之间存在映射关系。

D4、基于步骤D1至步骤D3，实现全景图像、红外光图像以及高清图像之间的相互映射：

定义全景图像到单画面的映射关系为G1，单画面到球机角度的映射关系为G2，球机角度到高清图像的映射关系为G3，高清图像到红外光图像的映射关系为G4，则全景图像到红外光图像的映射关系为：

；

红外光图像到全景图像的映射关系为：

；

在本实施例中，步骤D1至步骤D4的实现方式为：

（1）模型标定。对单个相机标定多张不同角度图片，得到单个相机的内参矩阵；对两两相邻相机标定多张不同角度图片，得到双个相机的相对位置关系矩阵；保存模型标定矩阵cal文件。

（2）产线标定。将相机放置于球型棋盘格中心，拍摄单张球形棋盘格图片，并加载模型标定矩阵cal文件，调用预设的优化算法，得到新的矩阵cal文件。

（3）标定单画面和球机监控端。将每一单画面相机分别与球机监控端做枪球联动标定；用户输入多个点对（X，x），其中X是枪机监控端画面点的坐标，x是球机监控端画面点的坐标，x=(pan,tilt)。调用预设算法，输出两者之间的相互映射关系矩阵。

（4）标定高清图像和红外光图像。用户输入多个点对（X₁，x₁），其中X₁是高清图像中像素点的坐标，x₁是红外光图像中像素点的坐标。调用opencv函数findHomography，输出两者之间的相互映射关系矩阵。

（5）基于步骤1至步骤4的输出结果进行计算，实现全景图像、红外光图像以及高清图像之间的相互映射。

请参照图5，本发明的实施例三为：

一种异常事件双向监测装置400，包括：

选择模块401，用于接收检测信号，获取所述检测信号的发送源，根据所述发送源选择对应的工作模式，所述工作模式包括红外光工作模式和可见光工作模式。

第一工作模块402，用于若为红外光工作模式，则获取第一红外光图像，根据所述第一红外光图像的第一温度信息进行筛选得到第一可疑区域，获取所述第一可疑区域的第一可见光图像，将所述第一可见光图像输入分类神经网络进行检测，得到异常事件检测结果。

第二工作模块403，用于若为可见光工作模式，则获取第二可见光图像，将所述第二可见光图像分别输入目标识别神经网络以及分类神经网络进行检测得到第二可疑区域，获取所述第二可疑区域的第二红外光图像，将所述第二红外光图像进行温度计算，得到异常事件检测结果。

请参照图6，本发明的实施例四为：

一种电子设备500，包括存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序，所述处理器502执行所述计算机程序时实现实施例一至实施例二中的各个步骤。

本发明的实施例五为：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例一至实施例二中的各个步骤。

综上所述，本发明提供的一种异常事件双向监测方法、装置、电子设备及存储介质，当选择红外光工作模式时，先获取发生异常事件隐患置信度较高的红外光图像，通过红外光图像中的温度信息筛选出第一可疑区域，而后通过第一可疑区域的可见光图像进行二次确认；当选择可见光工作模式时，则先获取发生异常事件隐患置信度较高的可见光图像，通过可见光图像筛选出第二可疑区域，而后通过第二可疑区域的红外光图像进行二次确认。通过设置两种不同的工作模式实现双向检测，区别于现有技术中的单向检测方法，双向检测方式可以有效避免即使在第二步隐患检测置信度较高，但由于第一步隐患检测的置信度较低却无法进一步确认的情况，以此来提高异常事件检出率。此外，红外光图像与可见光图像的互联性高，充分利用了可见光学摄像机可提供的高变焦及广视野功能，通过全景图像和高清图像的双重检测与确认，有效提高了异常事件检测精度。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种异常事件双向监测方法，其特征在于，包括步骤：

若为可见光工作模式，则获取第二可见光图像，将所述第二可见光图像输入神经网络模型进行检测得到第二可疑区域，获取所述第二可疑区域的第二红外光图像，对所述第二红外光图像进行温度计算，得到异常事件检测结果；

所述第二可见光图像包括第二全景图像和第二高清图像；

调用可见光相机获取所述目标可疑区域的第二高清图像，将所述第二高清图像输入分类神经网络进行检测，得到第二可疑区域。

2.根据权利要求1所述的一种异常事件双向监测方法，其特征在于，所述发送源包括红外光相机和可见光相机；

所述根据所述发送源选择对应的工作模式具体为：

若所述发送源为红外光相机，则选择红外光工作模式；

若所述发送源为可见光相机，则选择可见光工作模式。

3.根据权利要求1所述的一种异常事件双向监测方法，其特征在于，所述第一可见光图像包括第一全景图像；

调用可见光相机获取全景图像，将所述第一可疑区域映射至所述全景图像中得到第一全景图像。

4.根据权利要求3所述的一种异常事件双向监测方法，其特征在于，所述第一可见光图像还包括第一高清图像；

所述将所述区域标记为第一可疑区域之后还包括：

5.根据权利要求1所述的一种异常事件双向监测方法，其特征在于，所述将所述第一可见光图像输入神经网络模型进行检测，得到异常事件检测结果包括：

6.根据权利要求1所述的一种异常事件双向监测方法，其特征在于，所述获取所述第二可疑区域的第二红外光图像，将所述第二红外光图像进行温度计算，得到异常事件检测结果包括：

调用红外光相机获取所述第二可疑区域的第二红外光图像；

计算所述第二红外光图像中每一区域的第二温度信息；

7.一种异常事件双向监测装置，其特征在于，包括：

第二工作模块，用于若为可见光工作模式，则获取第二可见光图像，将所述第二可见光图像输入神经网络模型进行检测得到第二可疑区域，获取所述第二可疑区域的第二红外光图像，将所述第二红外光图像进行温度计算，得到异常事件检测结果；

所述第二可见光图像包括第二全景图像和第二高清图像；

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的一种异常事件双向监测方法中的各个步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的一种异常事件双向监测方法中的各个步骤。