CN107437318B - 一种可见光智能识别算法 - Google Patents

Abstract

本发明公开了一种可见光智能识别算法，可见光智能识别系统通过烟火探测模块，对多帧的图像进行运动侦测，分割出运动的画面；提取一段时期的视频图像，根据烟火的形态、颜色、纹理及运动形态进行预处理，判断出烟火时域和空域的区域；进行烟火特征的二次判别，排除记忆学习的干扰，多重概率计算；得到真实数据，给出报警提示；具体包括以下步骤：(1)环境学习；(2)运动物体识别；(3)划区编号；(4)烟雾识别；(5)火焰识别；(6)概率分析；(7)本体模拟、记忆存储。本发明主要应用于林火监控识别，农业烧荒识别及可燃明火，具有烟雾和火焰形态等状态；基于图像技术判别是否着火行为。

Description

一种可见光智能识别算法

技术领域

本发明涉及烟火识别技术领域，具体是一种可见光智能识别算法。

背景技术

一直以来，森林在国民经济中都占有着重要地位，它不仅能提供国家建设和人民生活所需的木材及林副产品，而且还肩负着释放氧气、调节气候、涵养水源、保持水土、防风固沙、美化环境、净化空气、减少噪音及旅游保健等多种使命。然而，森林火灾会给森林带来严重危害。现如今面临着林火隐患和森林火灾的威胁，森林防火的任务也日益艰巨，如何能对突发性及隐蔽性等森林火灾做到准确、及时发现火情并报警是我们的首要任务和发展目标。

森林防火领域对森林数字远程视频监控系统提出了许多具有强烈行业特征的需求，林火视频监控系统需要具备以下特点是智能的林火火情分析和早期预警。系统能够准确的识别，不漏报，提高分析排除误报。系统可及时自动发现火情、告警并联动报警录像，提醒值班人员察看显示画面，实现“打早、打小”。对于森林防火而言，“早发现、早应对”是将火灾损失降到最低的唯一方法，如何有效的及早发现早期火情，如何有效应对已经发生的火灾是世界级的难题。

森林火灾是森林最危险的敌人，也是林业最可怕的灾害，它会给森林带来毁灭性的后果。目前我国森林防火形势严峻、任务艰巨，每年发生火灾次数上万起，受灾面积数万公顷。对于森林防火而言，“早发现、早应对”是将火灾损失降到最低的唯一方法，“早应对”必须准确报出火点准确位置，围绕火点位置，调集附近的扑火力量，找到合适的道路，及时扑救，将灾害损失到最小。

现有的技术主要是分析亮度、光谱、颜色等特征信息录入数据库，识别时调取阈值等判别；有的只做烟雾识别，有的做火焰识别等。现有技术的缺点：(1)根据颜色光谱的分析，发现烟火和环境背景的颜色重叠，影响颜色改变；不利于识别颜色的像素点颜色改变，不利于报警，产生漏报。(2)根据烟雾的亮度的分析，容易受到环境因素的影响。物体和流水反光影响系统判别，造成误报。(3)没有识别技术的多重判别，进一步校正识别的准确性。

发明内容

本发明的目的在于提供一种可见光智能识别算法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种可见光智能识别算法，可见光智能识别系统通过烟火探测模块，对多帧的图像进行运动侦测，分割出运动的画面；提取一段时期的视频图像，根据烟火的形态、颜色、纹理及运动形态进行预处理，判断出烟火时域和空域的区域；进行烟火特征的二次判别，排除记忆学习的干扰，多重概率计算；得到真实数据，给出报警提示；具体包括以下步骤：

(1)环境学习:

可见光智能识别设备是通过云台旋转，设定不同角度抓拍图片，进行编号进行存储；设计云台水平角度正北为0°，顺时针旋转为0～359°；垂直角度水平平行为0°，向上为0～90°，向下为0～-90°；云台水平旋转每10°抓拍一张图片留存，这些为原始数据信息，等环境再学习排除干扰时，替换原始数据图片；

(2)运动物体识别：

检测运动物体采用帧间差法，采用计算帧差绝对值来实现；判断是否大于某个亮度阈值视频或图像序列的运动特性，判断图像序列中有无运动物体存在；

对于检测某个图像的区域，运动判断条件为：

Max│{f(x，y，n)-f(x，y，n-1)}>＝T

f(x，y，n)为像素的n帧图片的x，y的特征值，T为阈值；T决定了运动检测的报警灵敏度，运动检测的需求；

(3)划区编号：

选择运动识别出的区域图片及当时抓取图片时的俯仰角度和时间，为图片进行编号；

(4)烟雾识别：

运动识别的图片，进行烟雾的识别，在计算机上设定亮度和颜色对比阈值分析；根据烟雾的亮度，进行边界和质地分析，根据颜色进行光谱分析，对形状空间拓扑分析，对边界和质地分析、光谱分析以及拓扑分析的结果进行形态处理，通过模式识别做出烟雾判定；

(5)火焰识别：

火焰识别在排除干扰区的图片，进行再次识别；主要采取色彩值的确定火焰的形态和范围，火焰图像颜色分布及灰度分布有一定规律，根据火焰燃烧现象，用三原色分布配比来确定火焰的燃烧情况：R为红色，G为绿色，B为蓝色；

r＝R/(R+G+B)

g＝G/(R+G+B)

b＝B/(R+G+B)

根据实际火焰图片推算出r、g、b为区段值

x<r<y

x1<g<y1

x2<b<y2

当r、g、b同时满足区段值时视为火焰所部署的区域是火焰；

(6)概率分析：

烟雾识别出的为100％疑似的图片进行对比判别，火焰识别通过二次分析得出率高于80％，则视为火警，反之不是火警；

(7)本体模拟、记忆存储：

将环境学习的图片，按照摄像机的视角和角度，贴图在三维GIS上，进行留存存储；使用时按照云台的角度信息，切除对比的视角，进行环境对比分析，排除干扰区域。

作为本发明再进一步的方案：步骤(1)环境学习中，环境学习扫描现场真实环境，形成的带有方位位置影像图层，自动区分并标记出区域和天际线，可对视频图像中非火情区域的烟火目标进行甄别；环境再学习主要排除了其他的非烟火目标及后续可能影响烟火识别做出误判的情况；形成图层根据角度和视角，画面分割叠加到GIS系统上，形成模拟现场的三维地图；形成空间像素点位置x，y，n，提供空间环境数据便于烟雾识别后的对比分析。

作为本发明再进一步的方案：步骤(2)中运动物体识别后，以每帧图片抠图方法形成运动范围，在记录图片数据时，反调取云台俯仰角度信息；整体以需要的运动图片数据形成本体附带客体数据的组。

作为本发明再进一步的方案：步骤(4)和步骤(5)中，烟雾识别和火焰识别二次识别及多重判别的方法为：

首先进行烟雾识别，在亮度和光谱上分析确定区分判别出烟雾报警信息判别；其次对比本体模拟数据图层排除干扰项；再进行真实火焰光谱的占比，判别是否火警；对于烟雾分析的每帧图片识别后，火焰二次识别；以100％烟雾识别报警+80％火焰识别概率，才确定火警的产生。

作为本发明再进一步的方案：所述可见光智能识别系统的处理方式，包括以下步骤：

(a)通过BNC接口与编码器相连，以实现对可见光视频或红外热图像进行压缩编码；

(b)编码器通过网络传输将压缩编码后的模拟视频图像传送给监控平台；

(c)监控平台进行解码并编码后分别传送给可见光客户端；

(d)可见光客户端对平台传送的视频进行解码分析，判断是否发生了火情，是否需要报警；

(e)可见光的分析结果若符合设定的报警阀值，则在客户端实时视频图像中自动用红框标出火情发生的位置和报警文字提示信息，并向值班人员发出报警信号，经值班人员确认的火情，自动将火情发生的图像位置、云台编号、水平角度和俯仰角信息输出到系统，并由系统自动向监控人员发出报警信息；

(f)分析结果若不符合设定的报警阀值，系统会按照已设定好的预置位继续进行巡航扫描识别，每个预置位的停留时间不低于10秒，实时监控，有效预防火情的发生。

作为本发明再进一步的方案：所述可见光智能识别系统还能使用温度传感器识别，即被动红外成像仪监控的技术。

作为本发明再进一步的方案：所述的可见光智能识别算法在可燃明火识别上的应用。

本发明具有以下优势：

(1)基于颜色、纹理及运动特征对图像提前分割，滤过非烟火前景区域。

(2)基于帧间差法对连续帧进行动态分析，提取动态运动特征，排除干扰。

(3)系统采用真实环境使用，本体模拟分析对比，判别误报区域并记忆学习；排除干扰区域和环境，减少误报。

(4)算法采用烟火二次判别，多帧概率计算判别；多重计算，减少误报。

与现有技术相比，本发明的有益效果是：现场真实标记区域和天际轮廓，真实影像图层叠加到三维GIS上，模拟出现场轮廓和环境。对比分析可以排除水雾、反光等现场发生点真实信息；烟火分离识别，可以排除烟雾和火焰识别时交叉信息，识别不明确，尤其是颜色特征识别不明显和叠加串色；再者识别方法二次相互印证，提高识别准确性。

附图说明

图1为可见光智能识别算法的识别流程图。

图2为可见光智能识别算法中可见光智能识别系统流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～2，本发明实施例中，系统应用先进的数字图像处理和模式识别算法和技术对视频数据流进行分析，该视频可以是普通的可见光视频，也可以是基于激光红外的夜视图像视频，还可以是红外被动成像的伪彩色视频。在森林背景下，根据不同的视频源选择不同的分析模块，提取烟火目标有效图像特征，使该系统实现了高概率的森林火情的自动识别。系统通过烟火探测模块，对多帧的图像进行运动侦测，分割出运动的画面；提取一段时期的视频图像，根据烟火的形态、颜色、纹理及运动形态进行预处理，判断出烟火时域和空域的区域；进行烟火特征的二次判别，排除记忆学习的干扰，多重概率计算；得到真实数据，给出报警提示。

可见光识别流程，基于识别图像接入开始，到得出识别结果为主的过程。到摄像机抓拍视频图像，采用帧间差法判别移动或运动物体，扣取每帧间的变化区域按照数字、时间进行编号，对应云台的每个方位角度；依次进行烟雾识别分析，判别出疑似火警。根据设备真实环境试运行环境学习的分割图形，对比相应方位角的编号图片判别，排除干扰，视为初步判别火警；再次火焰识别再次校正，概率识别准确高于测算值为火警。

一种可见光智能识别算法，包括以下步骤：

(1)环境学习:

可见光智能识别设备是通过云台旋转，设定不同角度抓拍图片，进行编号进行存储；设计云台水平角度正北为0°，顺时针旋转为0～359°；垂直角度水平平行为0°，向上为0～90°，向下为0～-90°；云台水平旋转每10°抓拍一张图片(记忆角度、时间信息)留存，这些为原始数据信息，等环境再学习排除干扰时，替换原始数据图片；

环境学习扫描现场真实环境，形成的带有方位位置影像图层，可自动区分并标记出区域和天际线，可对视频图像中非火情区域(如村落、湖泊等)的烟火目标进行甄别；环境再学习主要排除了其他的非烟火目标(如飞行物、车辆等)及后续可能影响烟火识别做出误判的情况。形成图层根据角度和视角，画面分割叠加到GIS系统上，形成模拟现场的三维地图；形成空间像素点位置(x，y，n)，提供空间环境数据便于烟雾识别后的对比分析；

(2)运动物体识别：

检测运动物体采用帧间差法，采用计算帧差绝对值来实现；判断是否大于某个亮度阈值视频或图像序列的运动特性，判断图像序列中有无运动物体存在；

对于检测某个图像的区域，运动判断条件为：

Max│{f(x，y，n)-f(x，y，n-1)}>＝T

f(x，y，n)为像素的n帧图片的x，y的特征值，T为阈值；T决定了运动检测的报警灵敏度，运动检测的需求；

步骤(2)运动物体识别中，运动物体识别的划分为：运动物体识别后，以每帧图片抠图方法形成运动范围，在记录图片数据时，反调取云台俯仰角度信息；整体以需要的运动图片数据形成本体附带客体数据的组。

(3)划区编号：

选择运动识别出的区域图片及当时抓取图片时的俯仰角度和时间，为图片进行编号；

(4)烟雾识别：

□运动识别的图片，进行烟雾的识别，在计算机上设定亮度和颜色对比阈值分析；根据烟雾的亮度，进行边界和质地分析，根据颜色进行光谱分析，对形状空间拓扑分析，对边界和质地分析、光谱分析以及拓扑分析的结果进行形态处理，通过模式识别做出烟雾判定；

(5)火焰识别：

火焰识别在排除干扰区的图片，进行再次识别；主要采取色彩值的确定火焰的形态和范围，火焰图像颜色分布及灰度分布有一定规律，根据火焰燃烧现象，用三原色分布配比来确定火焰的燃烧情况：R为红色，G为绿色，B为蓝色；

r＝R/(R+G+B)

g＝G/(R+G+B)

b＝B/(R+G+B)

根据实际火焰图片推算出r、g、b为区段值

x<r<y

x1<g<y1

x2<b<y2

当r、g、b同时满足区段值时视为火焰所部署的区域是火焰；

烟雾识别和火焰识别二次识别及多重判别的方法为：

首先进行烟雾识别，在亮度和光谱上分析确定区分判别出烟雾报警信息判别；其次对比本体模拟数据图层排除干扰项；再进行真实火焰光谱的占比，判别是否火警；对于烟雾分析的每帧图片识别后，火焰二次识别；以100％烟雾识别报警+80％火焰识别概率，才确定火警的产生；

(6)概率分析：

烟雾识别出的为100％疑似的图片进行对比判别，火焰识别通过二次分析得出率高于80％，则视为火警，反之不是火警；

(7)本体模拟、记忆存储：

将环境学习的图片，按照摄像机的视角和角度，贴图在三维GIS上，进行留存存储；使用时按照云台的角度信息，切除对比的视角，进行环境对比分析，排除干扰区域。

智能识别与报警系统的业务流程设计清晰明确、指导性强，符合火情识别报警管理业务流程的需要。本系统中，前端的设备主要实现对监控点的视频数据、开关量报警数据的采集以及对视频编码压缩、网络传输和云台的控制。

系统的处理方式，包括以下步骤：

(a)通过BNC接口与编码器相连，以实现对可见光视频或红外热图像进行压缩编码；

(b)编码器通过网络传输将压缩编码后的模拟视频图像传送给监控平台；

(c)监控平台进行解码并编码后分别传送给可见光客户端；

(d)可见光客户端对平台传送的视频进行解码分析，判断是否发生了火情，是否需要报警；

(e)可见光的分析结果若符合设定的报警阀值，则在客户端实时视频图像中自动用红框标出火情发生的位置(系统会根据烟雾或火焰的范围进行跟踪，显示不同的状态)和报警文字提示信息，并向值班人员发出报警信号，经值班人员确认的火情，自动将火情发生的图像位置、云台编号、水平角度和俯仰角信息输出到系统，并由系统自动向监控人员发出报警信息；

(f)分析结果若不符合设定的报警阀值，系统会按照已设定好的预置位继续进行巡航扫描识别，每个预置位的停留时间不低于10秒(可按用户要求进行设置)，实时监控，有效预防火情的发生。

本发明改变传统识别方法，加入真实环境模拟及环境学习、再学习排除干扰项；分离烟火识别，以烟雾识别在先，排除干扰后，再进行火焰识别；以二次判别及准确率概率的方式得出结论。具有以下优点：现场真实标记区域和天际轮廓，真实影像图层叠加到三维GIS上，模拟出现场轮廓和环境。对比分析可以排除水雾、反光等现场发生点真实信息；烟火分离识别，可以排除烟雾和火焰识别时交叉信息，识别不明确，尤其是颜色特征识别不明显和叠加串色；再者识别方法二次相互印证，提高识别准确性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种可见光智能识别算法，可见光智能识别系统通过烟火探测模块，对多帧的图像进行运动侦测，分割出运动的画面；提取一段时期的视频图像，根据烟火的形态、颜色、纹理及运动形态进行预处理，判断出烟火时域和空域的区域；进行烟火特征的二次判别，排除记忆学习的干扰，多重概率计算；得到真实数据，给出报警提示；其特征在于，具体包括以下步骤：

(1)环境学习:

可见光智能识别设备是通过云台旋转，设定不同角度抓拍图片，进行编号进行存储；设计云台水平角度正北为0°，顺时针旋转为0～359°；垂直角度水平平行为0°，向上为0～90°，向下为0～-90°；云台水平旋转每10°抓拍一张图片留存，这些为原始数据信息，等环境再学习排除干扰时，替换原始数据图片；

(2)运动物体识别：

检测运动物体采用帧间差法，采用计算帧差绝对值来实现；判断是否大于某个亮度阈值视频或图像序列的运动特性，判断图像序列中有无运动物体存在；

对于检测某个图像的区域，运动判断条件为：

Max│{f(x，y，n)-f(x，y，n-1)}>＝T

f(x，y，n)为像素的n帧图片的x，y的特征值，T为阈值；T决定了运动检测的报警灵敏度，运动检测的需求；

(3)划区编号：

选择运动识别出的区域图片及当时抓取图片时的俯仰角度和时间，为图片进行编号；

(4)烟雾识别：

运动识别的图片，进行烟雾的识别，在计算机上设定亮度和颜色对比阈值分析；根据烟雾的亮度，进行边界和质地分析，根据颜色进行光谱分析，对形状空间拓扑分析，对边界和质地分析、光谱分析以及拓扑分析的结果进行形态处理，通过模式识别做出烟雾判定；

(5)火焰识别：

火焰识别在排除干扰区的图片，进行再次识别；主要采取色彩值的确定火焰的形态和范围，火焰图像颜色分布及灰度分布有一定规律，根据火焰燃烧现象，用三原色分布配比来确定火焰的燃烧情况：R为红色，G为绿色，B为蓝色；

r＝R/(R+G+B)

g＝G/(R+G+B)

b＝B/(R+G+B)

根据实际火焰图片推算出r、g、b为区段值

x<r<y

x1<g<y1

x2<b<y2

当r、g、b同时满足区段值时视为火焰所部署的区域是火焰；

(6)概率分析：

烟雾识别出的为100％疑似的图片进行对比判别，火焰识别通过二次分析得出率高于80％，则视为火警，反之不是火警；

(7)本体模拟、记忆存储：

将环境学习的图片，按照摄像机的视角和角度，贴图在三维GIS上，进行留存存储；使用时按照云台的角度信息，切除对比的视角，进行环境对比分析，排除干扰区域。

2.根据权利要求1所述的可见光智能识别算法，其特征在于，步骤(1)环境学习中，环境学习扫描现场真实环境，形成的带有方位位置影像图层，自动区分并标记出区域和天际线，可对视频图像中非火情区域的烟火目标进行甄别；环境再学习主要排除了其他的非烟火目标及后续可能影响烟火识别做出误判的情况；形成图层根据角度和视角，画面分割叠加到GIS系统上，形成模拟现场的三维地图；形成空间像素点位置x，y，n，提供空间环境数据便于烟雾识别后的对比分析。

3.根据权利要求1所述的可见光智能识别算法，其特征在于，步骤(2)中运动物体识别后，以每帧图片抠图方法形成运动范围，在记录图片数据时，反调取云台俯仰角度信息；整体以需要的运动图片数据形成本体附带客体数据的组。

4.根据权利要求1所述的可见光智能识别算法，其特征在于，步骤(4)和步骤(5)中，烟雾识别和火焰识别二次识别及多重判别的方法为：

首先进行烟雾识别，在亮度和光谱上分析确定区分判别出烟雾报警信息判别；其次对比本体模拟数据图层排除干扰项；再进行真实火焰光谱的占比，判别是否火警；对于烟雾分析的每帧图片识别后，火焰二次识别；以100％烟雾识别报警+80％火焰识别概率，才确定火警的产生。

5.根据权利要求1所述的可见光智能识别算法，其特征在于，所述可见光智能识别系统的处理方式，包括以下步骤：

(a)通过BNC接口与编码器相连，以实现对可见光视频或红外热图像进行压缩编码；

(b)编码器通过网络传输将压缩编码后的模拟视频图像传送给监控平台；

(c)监控平台进行解码并编码后分别传送给可见光客户端；

(d)可见光客户端对平台传送的视频进行解码分析，判断是否发生了火情，是否需要报警；

(e)可见光的分析结果若符合设定的报警阀值，则在客户端实时视频图像中自动用红框标出火情发生的位置和报警文字提示信息，并向值班人员发出报警信号，经值班人员确认的火情，自动将火情发生的图像位置、云台编号、水平角度和俯仰角信息输出到系统，并由系统自动向监控人员发出报警信息；

(f)分析结果若不符合设定的报警阀值，系统会按照已设定好的预置位继续进行巡航扫描识别，每个预置位的停留时间不低于10秒，实时监控，有效预防火情的发生。

6.根据权利要求1或5所述的可见光智能识别算法，其特征在于，所述可见光智能识别系统还能使用温度传感器识别。

7.一种如权利要求1-6任一所述的可见光智能识别算法在可燃明火识别上的应用。

Images