CN115775365A - 一种文物古建筑受控烟火干扰辨识方法、装置及计算设备 - Google Patents

Abstract

本发明提供了一种文物古建筑受控烟火干扰辨识方法、装置及计算设备，方法包括：读取古建筑的视频流，通过帧间差分法得到视频流中的视频图像帧的前景图像区域；计算前景累积图像并对前景累积图像进行分块得到多个图像块；基于图像块进行烟火识别并判断发生火灾时，利用目标检测算法检测火焰位置的周围存在目标物体时，根据目标物体与火焰位置点的距离判断火灾是否受控，火灾受控时基于火焰位置在古建筑的视频流显示界面添加第一标记；火灾不受控时基于火焰位置在古建筑的视频流显示界面添加第二标记，并控制报警器发出报警信号。本发明为火灾烟火特征提供有效辨识的同时，及时对火灾进行监测和报警，降低了因受控火干扰因素带来的频繁误报。

Description

一种文物古建筑受控烟火干扰辨识方法、装置及计算设备

技术领域

本发明涉及火灾探测技术领域，特别是一种文物古建筑受控烟火干扰辨识方法、装置及计算设备。

背景技术

古建筑是我国五千年文明的重要文化遗产，价值不可估量。但近年来，随着旅游业的发展，对文物古建筑的开发利用日益增多，生活娱乐用电用火也随之大幅增加，加之古建筑往往以木结构为主体，或者采用土木、竹木或者砖木结构，火灾荷载大、耐火性等级低，导致人为造成的古建筑火灾和重特大火灾频发。因此，针对文物古建筑特殊场景的火灾探测预警非常重要。

但是，大型单体古建筑多为古建筑群使用功能的核心，宗教祭拜、观赏表演和节日庆典等活动多，为祭拜、照明或营造氛围一般都存在大量和长时间的烧香、点火等情况，而且很难彻底杜绝，火灾危险极高，对建筑内设置的常规点型感烟、吸气式、线型光束和图像型火灾探测器产生严重的干扰和影响，导致误报率高，甚至无法正常使用。而由于上述技术手段均为针对单一或者多个烟火参数采用量化阈值的判别方式，只能针对烟火本身特征属性进行辨识，理论上无法区分火灾烟气和祭拜等活动用烟火的“行为”特征，技术瓶颈难以突破。

古建筑中存在常见烛台、焚香等受控火的干扰，对现有的火灾探测报警产生极大干扰。在文物古建筑的防火措施上，通常配置一定的定期巡查检测人员，但是检测点多且巡查周期长，增加了防火的运营成本，同时降低了防火安全水平。基于传统的火灾探测方法，容易受到外界环境变化的干扰，难以适应复杂多变环境下的火灾实时探测要求。基于图像型火灾探测的方式利用摄像头采集图像数据，通过计算机图像处理和视频火灾探测的方式从而实现远程无人检测，自动检测监控图像内疑似的火焰和烟雾，同时，工作人员可以对一丝火灾进行确认并报警，极大降低了误报率。但是，针对文物古建筑特殊环境中，传统和图像型火灾探测方式无法正确识别受控烟火和非受控烟火。因此，将深度学习算法应用到图像火灾探测系统中，实现古建筑真实火灾和受控烟火的“行为”辨识，解决大型古建筑火灾防控技术难题。

现有深度学习算法应用到图像火灾探测领域。DeepFireNet算法可用于检测监控设备采集的实时视频。该方法将监控设备视频流作为输入，基于火灾的静态和动态特性，对视频流中的大量非火灾图像进行过滤。在此过程中，对于视频流中的火灾图像，提取图像中的疑似火灾区域。消除光源干扰源的影响，减少复杂环境对火灾探测的干扰。该算法对提取的区域进行编码，并将其输入到DeepFireNet卷积网络，该网络提取图像的深度特征，最后判断图像中是否存在火灾(Zhang B,Sun L,Song Y,et al.DeepFireNet:A real-timevideo fire detection method based on multi-feature fusion[J].MathematicalBiosciences and Engineering,2020,17(6):7804-7818.)。如吴雪慧(Wu X,Lu X,LeungH.An adaptive threshold deep learning method for fire and smoke detection[C]//2017 IEEE International Conference on Systems,Man and Cybernetics(SMC).IEEE,2017.)使用Alexnet网络，从动态和静态信息中提取复合特征，实现视频中火灾和烟雾的检测；Wu X等人将深度学习和手工制作的功能结合起来识别火灾和烟雾区域(Wu,X.；Lu,X.；Leung,H.An adaptive threshold deep learning method for fire and smokedetection.In Proceedings of the 2017 IEEE International Conference onSystems,Man,and Cybernetics(SMC),Banff,AB,Canada,5–8 October 2017；pp.1954–1959.)。对于静态特性，采用了AlexNet体系结构，而对于动态特征采用自适应加权方向算法。由于可公开获取的野火数据集数量仍然有限，Sousa等人采用一种基于数据增强和迁移学习的火灾探测方法，在ImageNet Inception-v3模型上进行预训练，实现了较高的火灾探测准确率(Sousa,M.J.；Moutinho,A.；Almeida,M.Wildfire detection using transferlearning on augmented datasets.Expert Syst.Appl.2020,142,112975)。王少韩等人使用YOLO v5网络模型，在树莓派嵌入式设备中进行实时火灾检测(王少韩,刘淼.基于YOLOv5和树莓派的火灾识别研究[J].农业装备与车辆工程,2022,60(08):115-118.)；计雪伟等人使用Xception网络，通过深度可分离卷积提取图像中的火焰特征完成对火灾的检测([1]计雪伟,霍兴赢,薛端,伍晓平.基于Xception网络的无人机森林火灾监测方法[J].消防界(电子版),2021,7(24):45-47.DOI:10.16859/j.cnki.cn12-9204/tu.2021.24.019.)；张玉萍设计了基于双边滤波理论和背景差分的脉冲耦合神经网络对火灾疑似区域进行提取，有效实现了对噪声的去除，并能更加准确的提取火灾疑似区域。(张玉萍.基于PCNN的森林火灾图像识别方法研究[D].哈尔滨理工大学,2021.DOI:10.27063/d.cnki.ghlgu.2021.000692.)。是，应用于图像火灾探测领域的深度学习算法，均是针对火焰、烟雾图像识别，即识别到火焰或烟雾即判别火灾发生，未见有专门针对古建筑受控烟火进行识别的方法。

发明内容

鉴于上述问题，本发明提出一种克服上述问题或者至少部分地解决上述问题的文物古建筑受控烟火干扰辨识方法、装置及计算设备。根据本发明的一方面，提供了一种文物古建筑受控烟火干扰辨识方法，所述方法包括：

读取古建筑的视频流，通过帧间差分法得到所述视频流中的视频图像帧的前景图像区域；

计算前景累积图像，并对所述前景累积图像进行分块得到多个图像块；基于所述图像块进行烟火识别，得到所述视频图像帧的烟火识别结果；

根据所述烟火识别结果判断发生火灾，且利用目标检测算法检测火焰位置的周围存在目标物体时，判断所述目标物体与火焰位置点的距离是否小于预设距离阈值；

若所述目标物体与火焰位置点的距离小于预设距离阈值，则判定火灾是否受控；

若判定火灾受控，则基于火焰位置在所述古建筑的视频流显示界面添加第一标记；

若判定火灾不受控，则基于火焰位置在所述古建筑的视频流显示界面添加第二标记，并控制报警器发出报警信号。

可选地，所述利用目标检测算法检测火焰位置的周围存在目标物体包括：

预先采集多类目标物体的物体图像，基于所述物体图像利用目标检测算法提前进行对多个类型的目标物体进行训练得到目标检测模型；

利用所述目标检测模型通过特征提取网络对所述视频图像帧进行特征提取，并检测所述视频图像帧各个位置存在的目标检测对象的概率，进而判断火焰位置的周围存在目标物体。

可选地，所述目标检测模型中的特征提取网络采用Darknet-53的网络结构，包含53个神经网络卷积层；预测对象类别采用Logistic函数输出进行预测。

可选地，所述判断所述目标物体与火焰位置点的距离是否小于预设距离阈值包括：

以所述视频流显示界面的左下角的点为原点，建立直角坐标系，横纵坐标的刻度以单位像素点为单位；

分别获取火焰位置的第一坐标点和目标物体的第二坐标点，利用以下方式计算目标物体与火焰位置之间的距离；

其中，(x₁,y₁)代表火焰位置的第一坐标点，(x₂,y₂)代表目标物体的第二坐标点，k为当前烟火的距离权重系数，D为预设距离阈值，P为计算参考量；

P≥1时，视为烟火与检测到的受控火载体的距离超过预设距离阈值；

P<1时，视为烟火与检测到的受控火载体的距离未超过预设距离阈值。

可选地，所述判定火灾是否受控包括：

统计所述视频图像帧的火灾像素点的第一面积，并与所述视频图像帧之后的第n帧图像帧的火灾像素点的第二面积进行对比，以计算火灾像素点的面积变化数据；

若所述火灾像素点的面积变化数据大于固定阈值，则利用深度学习算法对所述古建筑中是否存在人员进行判定；

若所述古建筑中没有人员存在，则判定为火灾不受控；

若所述火灾像素点的面积变化数据小于或等于所述固定阈值，或所述古建筑中有人员存在，则判定为受控火灾。

可选地，所述计算火灾像素点的面积变化数据包括：

计算所述第二面积相对于第一面积增加的像素个数。

可选地，所述利用深度学习算法对所述古建筑中是否存在人员进行判定包括：

构建包含人员的正样本图像数据集以及不包含人员的负样本图像数据集；

使用所述正样本图像数据集和负样本图像数据集训练支持向量机SVM模型；

利用训练好的SVM模型对所述古建筑中是否存在人员进行判定。

可选地，所述基于火焰位置在所述古建筑的视频流显示界面添加第一标记之后，所述方法还包括：

在所述古建筑的视频流显示界面弹出包含有等待人工确认是否为受控火灾的提示框；

若基于所述提示框检测到为受控火灾确认操作，则关闭所述提示框；

若基于所述提示框检测到为不受控火灾的确认操作，则控制报警器发出报警信号。

根据本发明的另一方面，提供了一种文物古建筑受控烟火干扰辨识装置，所述装置包括包括一个或多个处理器以及存储有程序指令的非暂时性计算机可读存储介质，当所述一个或多个处理器执行所述程序指令时，所述一个或多个处理器用于实现根据上述任意一项所述的方法。

根据本发明的又一方面，提供了一种计算设备，所述计算设备包括权利要求上述所述的装置。

本发明提供了一种文物古建筑受控烟火干扰辨识方法、装置及计算设备，本发明的方法通过对视频图像帧处理；利用帧间差分法对视频图像进行处理后得到前景图像，再计算前景累积图像并对图像进行分块进行烟火识别，判别是否发生火灾。如果判别为非火灾烟火，返回帧间差分法步骤，继续处理下一帧图像；如果判别为火灾烟火，则利用目标检测算法判定烟火位置附近是否存在祭祀、烛台等环境特有物体。若烟火火灾邻近不存在特有物体，烟火在监控器中的图像标记红框，则判定为非受控火灾，控制报警器发出报警信号；若烟火火灾邻近存在特有物体，烟火在监控器中的图像标记黄框，进入受控火灾确认。针对火灾受控与否的判断结果进行不同的提示和标记，为火灾烟火特征提供有效辨识的同时，及时对火灾进行监测和报警，降低了因受控火干扰因素带来的频繁误报。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一实施例的文物古建筑受控烟火干扰辨识方法流程示意图；

图2示出了根据本发明实施例的系统构成示意图；

图3示出了根据本发明另一实施例的文物古建筑受控烟火干扰辨识方法流程示意图；

图4示出了示出了根据本发明实施例的烟火与受控火载体位置示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种文物古建筑受控烟火干扰辨识方法，如图1所示，本实施例的一种文物古建筑受控烟火干扰辨识方法至少可以包括以下步骤S101～S106。

S101，读取古建筑的视频流，通过帧间差分法得到视频流中的视频图像帧的前景图像区域。古建筑视频流可以是利用设置在古建筑内的摄像头(如可视波段CCD摄像机)采集古建筑内/外的视频图像，对于摄像头所采集的视频图像通过采集卡传给视频监控主机进行视频图像数据处理，如图2所示。

对于读取到的古建筑视频流，通过帧间差分法得到视频流中的视频图像帧的前景图像区域。帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。

本实例通过帧间差分法得到前景图像区域可以包括：利用计算机将由监控摄像头得到的视频图像数据分解成一帧帧的RGB彩色图像，目前视频火灾探测大多采用彩色摄像头，颜色分量也可以用来作为火灾判据，专门有火焰的颜色模型。本发明方法是针对黑白图像进行处理，彩转黑白的方法在图像中为通用的固定方法，因此需要先将彩色图像转变为亮度值范围为0到255的黑白图像，然后将相邻两帧图像按照下列方程进行计算：

式(1)中(x,y)为以图像长方向为x轴，宽方向为y轴建立的坐标系中像素点的坐标，I(x,y,k)为当前帧图像中点(x,y)的像素值，I(x,y,k-1)为前一帧图像中的点的像素值，k表示帧数，是阈值，需要根据监控图像背景情况进行设定，由于火焰区域较亮，L设定要能够清楚提取出火焰区域，一般L数值设定在150到200左右，也可采用动态阈值法获得L；差分结果图像中的点(x,y)的像素值为1的部分标识出前景图像区域。

S102，计算前景累积图像，并对前景累积图像进行分块得到多个图像块；基于图像块进行烟火识别，得到视频图像帧的烟火识别结果；进行烟火识别时，可以统计每个图像块中各个像素在前景累积图像中的亮度值；根据计算得到的亮度值和预先设定好的灵敏度进行判别

S103，根据烟火识别结果判断发生火灾，且利用目标检测算法检测火焰位置的周围存在目标物体时，判断目标物体与火焰位置点的距离是否小于预设距离阈值；

假设根据烟火识别结果判断是火灾，则利用目标检测算法检测火焰位置的周围是否存在物体，并计算目标物体与火焰位置点的距离，判断该距离是否小于预设距离阈值。如果不是火灾，则重新返回到步骤S101。

本实施例利用目标检测算法识别火灾邻近是否存在提前预训练好的祭祀、烛台等环境特有目标物体，如果存在，则判断预测的火焰与目标物体之间的图像直线距离是否在阈值内，如果在，火灾图像位置标记黄框提示并进一步确认火灾是否受控。

S104，若目标物体与火焰位置点的距离小于预设距离阈值，则判定火灾是否受控。本实施例的预设距离阈值可以根据古建筑场景大小进行设置，本发明实施例对此不做限定。

S105，若判定火灾受控，则基于火焰位置在古建筑的视频流显示界面添加第一标记；该第一标记可以为黄色框；

S106，若判定火灾不受控，则基于火焰位置在古建筑的视频流显示界面添加第二标记，并控制报警器发出报警信号。该第二标记可以为红色框。

本发明实施例提供了一种文物古建筑受控烟火干扰辨识方法，通过对视频图像帧处理；利用帧间差分法对视频图像进行处理后得到前景图像，再计算前景累积图像并对图像进行分块进行烟火识别，判别是否发生火灾。如果判别为非火灾烟火，返回帧间差分法步骤，继续处理下一帧图像；如果判别为火灾烟火，则利用目标检测算法判定烟火位置附近是否存在祭祀、烛台等环境特有物体。若烟火火灾邻近不存在特有物体，烟火在监控器中的图像标记红框，则判定为非受控火灾，控制报警器发出报警信号；若烟火火灾邻近存在特有物体，烟火在监控器中的图像标记黄框，进入受控火灾确认。针对火灾受控与否的判断结果进行不同的提示和标记，为火灾烟火特征提供有效辨识的同时，及时对火灾进行监测和报警，降低了因受控火干扰因素带来的频繁误报。

上述步骤S102提及，计算前景累积图像，并对所述前景累积图像进行分块得到多个图像块，进而利用图像块进行烟火识别。

在本实施例汇总，计算前景累积图像并对图像进行分块进行火灾判别，判断是否发生火灾，如果是火灾，触发深度学习受控位置判别模块；如果否，则处理连续帧的下一帧图像。

前景累积图像的概念定义如下：

由方程(2)计算得到的图像称为前景累积图像，该图像每个点的像素值表示的是在一个连续时间内，前景图像在该点连续出现的次数。前景累积图像同样利用了连续帧图像中前景区域图像轮廓在空间上的相关性，但并不仅仅随着时间推进，而是加强了和上一帧图像的相关性，通过将连续帧图像中前景图像加权叠加形成前景累积图像，在连续帧前景图像中同一区域图像连续出现的次数越多，则灰度值越大(越亮)，当同一区域图像不再出现在前景图像中时，其前景累积图像像素亮度值逐渐变小(变暗)，直至被清零。

判别前景累积图像的步骤如下：首先将当前帧图像分块处理，分成8×8的图像块。例如对于本实施例中采用的摄像机获得的图像分辨率为795×596，则将图像分成了98×74个块，然后查找每个图像块中H(x，y，k)＞T的像素点，T为时间窗口，本发明通过对大量火焰和干扰源图像视频进行计算后发现，T设置为50，识别效果较好；接下来统计每个像素块中的像素点的个数，如果一个图像块中有一半以上的像素点(8×8的图像块一共64个像素点)满足H(x，y，k)＞T，则认为该图像块为火焰图像块，设整幅图像火焰图像块个数为B，如果B>B1，则认为存在发生火灾，发出警报信号，继续处理连续帧图像中的下一帧。B1可根据灵敏度要求设置，当B1＝1时，设置的灵敏度最高，整幅图像只要有一个火焰图像块，即发出火灾报警信号。随着B1数值的增加，灵敏度逐渐降低。通常最低灵敏度设置为一幅图像所有块数的三分之一。

参见上述步骤S103，根据所述烟火识别结果判断发生火灾，可进一步利用目标检测算法检测火焰位置的周围是否存在目标物体，结合图2，若存在在进一步判断所述目标物体与火焰位置点的距离是否小于预设距离阈值。其中，利用目标检测算法检测火焰位置的周围存在目标物体可以包括：

A1，预先采集多类目标物体的物体图像，基于所述物体图像利用目标检测算法提前进行对多个类型的目标物体进行训练得到目标检测模型；

A2，利用所述目标检测模型通过特征提取网络对所述视频图像帧进行特征提取，并检测所述视频图像帧各个位置存在的目标检测对象的概率，进而判断火焰位置的周围存在目标物体。所述目标检测模型中的特征提取网络采用Darknet-53的网络结构，包含53个神经网络卷积层；，预测对象类别采用Logistic函数输出进行预测。

利用深度学习目标检测算法识别火灾邻近是否存在提前预训练好的祭祀、烛台等环境特有目标物体。所述深度学习受控位置判别模块，针对所述文物古建筑群环境特有的例如祭祀台、烛台等物体图像的基于目标检测算法YOLO v3的深度学习。利用目标检测算法提前进行对特有物体进行训练，采集文物古建筑群中祭祀台、烛台、香炉等受控火载体的物体图像，利用Labellmg标记软件进行目标框的标记，作为训练数据集进行训练。模型采用YOLO v3目标检测算法，对场景特有物体识别。该算法首先通过特征提取网络对祭祀、烛台等环境特有目标物体的图像进行特征提取，得到一定大小的特征映射，特征提取采用Darknet-53的网络结构，包含53个神经网络卷积层，再将其映射到3个尺度的输出张量，代表图像各个位置存在的目标检测对象的概率，预测对象类别采用Logistic函数输出进行预测。

如果检测到目标物体，则判断预测的火焰与目标物体之间的图像直线距离是否在阈值内，如果在，火灾图像位置标记黄框提示并进入受控火灾确认模块；如果否或未检测到目标物体，则火灾图像标记红框，同时控制报警器发出报警信号。其中，所述判断所述目标物体与火焰位置点的距离是否小于预设距离阈值包括：以所述视频流显示界面的左下角的点为原点，建立直角坐标系，横纵坐标的刻度以单位像素点为单位；分别获取火焰位置的第一坐标点和目标物体的第二坐标点，利用以下方式计算目标物体与火焰位置之间的距离；

其中，(x₁,y₁)代表火焰位置的第一坐标点，(x₂,y₂)代表目标物体的第二坐标点，k为当前烟火的距离权重系数，D为预设距离阈值，P为计算参考量；

P≥1时，视为烟火与检测到的受控火载体的距离超过预设距离阈值；

P<1时，视为烟火与检测到的受控火载体的距离未超过预设距离阈值。

例如对于本实施例中采用的摄像机获得的图像分辨率为795×596，横纵坐标的刻度以单位像素点为单位，一组(x,y)表示物体的位置坐标。其中，火焰和检测到的目标物体选取对角线交点作为物体的位置坐标。容易解释的，如图3所示，图中以摄像机获得的图像区域进行简化演示，包括检测到的受控火载体B和两处疑似烟火位置A和C，以当前图像分辨率795×596为参考，设定烟火与检测到的受控火载体的距离不超过298，即对应的当前烟火的距离权重系数k＝1，阈值D＝298。

可选地，如果上述步骤S103中未检测到目标物体或者目标物体与火焰位置点的距离大于或等于预设距离。则在所述古建筑的视频流显示界面添加第二标记，并控制报警器发出报警信号，如火灾图像标记红框，同时控制报警器发出声音报警信号。也就是说，如果存在受控火载体且与检测的烟火位置不超过阈值，则火灾图像位置标记黄框提示并进入受控火灾确认模块；如果否，则火灾图像标记红框，同时控制报警器发出报警信号。警报模块，包含声音警报和光线警报模块，在接收火灾识别结果后，算法进行火灾图像标记红框，并触发警报。

参见上述步骤S104，若所述目标物体与火焰位置点的距离小于预设距离阈值，则判定火灾是否受控。所述判定火灾是否受控包括：

S104-1，统计所述视频图像帧的火灾像素点的第一面积，并与所述视频图像帧之后的第n帧图像帧的火灾像素点的第二面积进行对比，以计算火灾像素点的面积变化数据；其中，所述计算火灾像素点的面积变化数据包括：计算所述第二面积相对于第一面积增加的像素个数。

S104-2，若所述火灾像素点的面积变化数据大于固定阈值，则利用深度学习算法对所述古建筑中是否存在人员进行判定；若所述古建筑中没有人员存在，则判定为火灾不受控；

S104-3，若所述火灾像素点的面积变化数据小于或等于所述固定阈值，或所述古建筑中有人员存在，则判定为受控火灾。

在本实施例中，进行火灾受控确认时分为两部分，首先统计火灾像素点面积并与下n帧火灾像素点面积进行对比，计算火灾像素点面积变化，如果火灾像素点面积变化超过固定阈值，则利用深度学习算法对是否存在人员进行判定；如果否，则判定为受控火灾，继续标记黄框。接下来，利用支持向量机SVM进行人员检测，判断监控画面是否有人员存在，如果存在人员，则判定为受控火灾，继续标记黄框。如果否，则判定为非受控火，火灾图像标记红色，同时控制报警器发出报警信号。

火灾像素点面积变化超过固定阈值用于判别火焰的蔓延情况，该蔓延情况考虑为人为导致受控火面积的增加，也可为受控火燃烧周围物体导致火灾蔓延。由于火焰频率一般在2Hz到12Hz之间，因此一般的25帧每秒的摄像机可以拍摄到火焰一个周期内的运动。利用帧间差分法提取到的火焰前景区域一般为火焰间歇区和部分火焰连续区，在某个时间窗口T内，记录当前帧的烟火图像块个数，若第25帧烟火的图像块个数增加超过1/2个的8×8的图像块的个数，则判定为存在火灾蔓延，再利用深度学习算法对是否存在人员进行判定。如果未超过，则判定为受控火灾，继续标记黄框。

本实施例进行火灾确认时，利用分块方式统计各个像素点在前景累积图像中的相邻位置变化面积进行判别，若分块后火灾像素点无变化(无蔓延变化)，则判定为受控火灾；若分块后火灾像素点有变化，利用深度学习对人员是否存在在监控画面中进行判断，如果存在人，则判定为受控火，继续标记黄框；如果不存在人，则判定为非受控火，黄框标记的火灾信息弹出等待监控人员确认是否发生火灾。基于本实施例提供的方法，通过统计时间窗口内前景图像在某个像素点重复出现的次数可以很好的提取火焰备选区域。而非有源物体，如复杂灯光干扰、阳光干扰等，则可以被很好区分开。此外，通过计算前景累积图像，某些噪声点会在连续帧的计算中被衰减掉，因此本实施例的方法也具有很好的抗噪声能力。

上述步骤S104-2所述利用深度学习算法对所述古建筑中是否存在人员进行判定包括：构建包含人员的正样本图像数据集以及不包含人员的负样本图像数据集；使用所述正样本图像数据集和负样本图像数据集训练支持向量机SVM模型；利用训练好的SVM模型对所述古建筑中是否存在人员进行判定。

本实施例利用支持向量机SVM进行人员检测，首先，构建一个包含人员的图像数据集(正样本)，构建一个不包含人员的图像数据集(负样本)，使用构建的数据集训练一个SVM，利用训练好的模型进行人员的识别，对测试图像每一个可能的块应用SVM以检测整个图像是否包含人员。

其中，使用MIT人物数据集来获取样本，对其采用方向梯度直方图(HOG图像特征描述子)将图像中的对象的局部形状和外观使用边缘方向的分布来表示。使用自举来提升分类器的性能，并将SVM分类过程和多尺度检测过程相结合，对图像中的每个可能的块重复进行分类，需要在图像中的所有可能的块进行循环，每次将感兴趣区域移动一个小的stride像素点，选出感兴趣区域并对其预处理和分类，若分类为人员，将其添加到成功检查的列表中。由于人员不仅会出现在监控的不同位置，还会以不同的大小出现，需要对图像进行重新缩放并重复上述过程。

如果识别到人员，则判定为受控火灾，继续标记黄框，进入步骤六；如果否，则判定为非受控火，火灾图像标记红色，同时控制报警器发出报警信号。

可选地，上述步骤S105基于火焰位置在所述古建筑的视频流显示界面添加第一标记之后之后，还可以包括：在所述古建筑的视频流显示界面弹出包含有等待人工确认是否为受控火灾的提示框；若基于所述提示框检测到为受控火灾确认操作，则关闭所述提示框；若基于所述提示框检测到为不受控火灾的确认操作，则控制报警器发出报警信号。也就是说，上述火灾图像标记黄框，监控器弹出提示等待火灾监视人员再次确认是否为受控火灾，如果是，则关闭弹窗；如果否，控制报警器发出报警信号。

本实施例提供的方法利用先进前沿的“人工智能”技术，分析了古建筑典型火灾探测干扰因素，特别是焚香、篝火等受控火的行为特征要素，建立了深度学习“非受控火”识别模型，首次实现了古建筑典型场景下环境干扰因素、祭拜庆典等人为“受控”烟火行为与真实火灾烟火特征的全方位感知和“智能”辨识，并优化设计了图像火灾探测处理架构，建立了与火灾探测报警系统总线兼容的动态智能火灾图像编码技术，开发一种文物古建筑特殊场景下，针对受控烟火干扰辨识的装置，该装置具有图像采集与传输功能，可对环境干扰因素、祭拜庆典等人为“受控”烟火行为与真实火灾烟火特征有效辨识。

本发明实施例实现了诸多技术的结合与创新，利用前景累积和深度学习算法进行火焰图像实时探测，在取得了较好的实时探测效果的同时，能够有效判别受控火对于图像火焰探测技术的干扰。进一步解决了火焰图像探测技术的误报率问题，有效解决大型古建筑火灾早期全面、精准预警探测的核心技术难题，为我们古建筑在开发利用的同时有效保障消防安全提供了重要的创新性技术手段。“人工智能”火灾探测技术领域的探索和研究尚属起步阶段，亟待与消防安全现实需求结合，服务社会消防安全建设。本方案实现了图像火灾探测技术瓶颈问题的突破，准确辨识火灾烟雾和祭拜烟、山区云雾等干扰源，其意义将不仅仅在于图像火灾探测技术本身的升级，而是将带动整个消防技术智能化的发展，成功解决现有火灾探测技术在实际应用中尚存在的众多棘手问题，引领行业技术的革新进步。

本发明实施例还提供了一种文物古建筑受控烟火干扰辨识装置，所述装置包括包括一个或多个处理器以及存储有程序指令的非暂时性计算机可读存储介质，当所述一个或多个处理器执行所述程序指令时，所述一个或多个处理器用于实现根据上述实施例所述的文物古建筑受控烟火干扰辨识方法。

本发明实施例还提供了一种计算设备所述计算设备包括上述实施例所述的文物古建筑受控烟火干扰辨识装置。

所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。

另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。

本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。

或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。

Claims (10)

1.一种文物古建筑受控烟火干扰辨识方法，其特征在于，所述方法包括：

读取古建筑的视频流，通过帧间差分法得到所述视频流中的视频图像帧的前景图像区域；

计算前景累积图像，并对所述前景累积图像进行分块得到多个图像块；基于所述图像块进行烟火识别，得到所述视频图像帧的烟火识别结果；

根据所述烟火识别结果判断发生火灾，且利用目标检测算法检测火焰位置的周围存在目标物体时，判断所述目标物体与火焰位置点的距离是否小于预设距离阈值；

若所述目标物体与火焰位置点的距离小于预设距离阈值，则判定火灾是否受控；

若判定火灾受控，则基于火焰位置在所述古建筑的视频流显示界面添加第一标记；

若判定火灾不受控，则基于火焰位置在所述古建筑的视频流显示界面添加第二标记，并控制报警器发出报警信号。

2.根据权利要求1所述的方法，其特征在于，所述利用目标检测算法检测火焰位置的周围存在目标物体包括：

预先采集多类目标物体的物体图像，基于所述物体图像利用目标检测算法提前进行对多个类型的目标物体进行训练得到目标检测模型；

利用所述目标检测模型通过特征提取网络对所述视频图像帧进行特征提取，并检测所述视频图像帧各个位置存在的目标检测对象的概率，进而判断火焰位置的周围存在目标物体。

3.根据权利要求2所述的方法，其特征在于，所述目标检测模型中的特征提取网络采用Darknet-53的网络结构，包含53个神经网络卷积层；预测对象类别采用Logistic函数输出进行预测。

4.根据权利要求1所述的方法，其特征在于，所述判断所述目标物体与火焰位置点的距离是否小于预设距离阈值包括：

以所述视频流显示界面的左下角的点为原点，建立直角坐标系，横纵坐标的刻度以单位像素点为单位；

分别获取火焰位置的第一坐标点和目标物体的第二坐标点，利用以下方式计算目标物体与火焰位置之间的距离；

其中，(x₁,y₁)代表火焰位置的第一坐标点，(x₂,y₂)代表目标物体的第二坐标点，k为当前烟火的距离权重系数，D为预设距离阈值，P为计算参考量；

P≥1时，视为烟火与检测到的受控火载体的距离超过预设距离阈值；

P<1时，视为烟火与检测到的受控火载体的距离未超过预设距离阈值。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述判定火灾是否受控包括：

统计所述视频图像帧的火灾像素点的第一面积，并与所述视频图像帧之后的第n帧图像帧的火灾像素点的第二面积进行对比，以计算火灾像素点的面积变化数据；

若所述火灾像素点的面积变化数据大于固定阈值，则利用深度学习算法对所述古建筑中是否存在人员进行判定；

若所述古建筑中没有人员存在，则判定为火灾不受控；

若所述火灾像素点的面积变化数据小于或等于所述固定阈值，或所述古建筑中有人员存在，则判定为受控火灾。

6.根据权利要求5所述的方法，其特征在于，所述计算火灾像素点的面积变化数据包括：

计算所述第二面积相对于第一面积增加的像素个数。

7.根据权利要求5所述的方法，其特征在于，所述利用深度学习算法对所述古建筑中是否存在人员进行判定包括：

构建包含人员的正样本图像数据集以及不包含人员的负样本图像数据集；

使用所述正样本图像数据集和负样本图像数据集训练支持向量机SVM模型；

利用训练好的SVM模型对所述古建筑中是否存在人员进行判定。

8.根据权利要求1-4中任一项所述的方法，其特征在于，所述基于火焰位置在所述古建筑的视频流显示界面添加第一标记之后，所述方法还包括：

在所述古建筑的视频流显示界面弹出包含有等待人工确认是否为受控火灾的提示框；

若基于所述提示框检测到为受控火灾确认操作，则关闭所述提示框；

若基于所述提示框检测到为不受控火灾的确认操作，则控制报警器发出报警信号。

9.一种文物古建筑受控烟火干扰辨识装置，其特征在于，所述装置包括包括一个或多个处理器以及存储有程序指令的非暂时性计算机可读存储介质，当所述一个或多个处理器执行所述程序指令时，所述一个或多个处理器用于实现根据权利要求1-8任意一项所述的方法。

10.一种计算设备，其特征在于，所述计算设备包括权利要求9所述的装置。

Images