CN110853287A - 一种基于物联网分布式架构的火焰实时监控系统及方法 - Google Patents
一种基于物联网分布式架构的火焰实时监控系统及方法 Download PDFInfo
- Publication number
- CN110853287A CN110853287A CN201910916335.0A CN201910916335A CN110853287A CN 110853287 A CN110853287 A CN 110853287A CN 201910916335 A CN201910916335 A CN 201910916335A CN 110853287 A CN110853287 A CN 110853287A
- Authority
- CN
- China
- Prior art keywords
- fire
- real
- area
- algorithm
- intranet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 38
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000007726 management method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000013136 deep learning model Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 6
- 230000002688 persistence Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 239000000779 smoke Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本发明公开了一种基于物联网分布式架构的火焰实时监控系统及方法，属于消防物联网、人工智能算法研究应用技术领域，一种基于物联网分布式架构的火焰实时监控系统及方法，包括多个内网子系统、数据处理中心和客户端，可以实现当前监控环境火焰目标智能识别，在火灾发生初期就能自动警报的效果，火灾发生情况可视化，当检测到火灾产生时可立即产生文字信息和声光信息的报警信号，同时将火灾报警信息和火灾现场图片上传到云服务器，云服务器会向用户手机终端推送该报警信息，手机终端接收到报警推送信息后会以振铃形式提醒用户。深度学习算法实现了早期火灾报警处理，提高了火灾报警的可靠性实时性，云技术远程通信降低了消防管理成本。
Description
技术领域
本发明涉及消防物联网、人工智能算法研究应用技术领域，更具体地说， 涉及一种基于物联网分布式架构的火焰实时监控系统及方法。
背景技术
火灾自动报警系统是由触发装置、火灾报警装置、联动输出装置以及具 有其它辅助功能装置组成的，它具有能在火灾初期，将燃烧产生的烟雾、热 量、火焰等物理量，通过火灾探测器变成电信号，传输到火灾报警控制器， 并同时以声或光的形式通知整个楼层疏散，控制器记录火灾发生的部位、时 间等，使人们能够及时发现火灾，并及时采取有效措施，扑灭初期火灾，最 大限度的减少因火灾造成的生命和财产的损失，是人们同火灾做斗争的有力 工具。
专利公开号为CN109493561A公开了一种基于图像处理的火灾监控系统， 其主体由视频监控系统、中间连接设备和火眼火灾探测平台三大部分组成。 所述视频监控系统通过中间连接设备与火眼火灾探测平台连接，所述火眼火 灾探测平台包括服务器和平台架构，所述服务器连接端设有图像识别分析模 块和GPS定位系统，所述图像识别分析模块连接端设有数据库，所述服务器 输出端设有数据存储模块和图像报警显示模块。该火灾探测系统主要有以下 特点：a)、以计算机为核心，结合光电成像技术和计算机图像处理技术，能够实时探测监控区域早期火灾产生的火焰和烟雾；b)、系统中引入声光报警以 及火情监控模块，能直观快速通过图像的方式快速识别火情并呈现报警区域， 方便消控室核实火灾情况，便于相关人员采取最方便、快捷、高效的手段及 时扑救。C)、采用算法分析与监控系统分离的系统架构，将算法分析以及业 务相关的逻辑融合到平台服务中实现，有效的提升了该系统部署的灵活性， 重点是支持服务的横向扩展，支持存量监控系统接入智能火灾探测系统。d)、 该发明采用图像型的火灾检测算法进行火情识别，火灾探测速度可达到10秒 以内；另外，基于图片型的火灾检测算法可实现大空间场所的火灾识别。而 传统模式的点型感温或感烟探测器需要探测器处的温度或烟雾浓度达到设定 数量值才能报警，在一般公共场所的探测时间通常长达几分钟并且在大型空 间无法发挥作用。
但是该方案存在以下缺点：
该系统将算法分析以及数据库、声光报警模块、可视化模块、GPS定位 系统等业务相关的逻辑融合到一个服务平台，属于单点部署，如果该机器出 现故障，数据无法及时备份，存在安全隐患以及事后回溯取证困难；
平台侧负责多路监控设备视频的实时处理，对服务器的计算资源要求高， 需要用到高计算性能的GPU服务器，价格贵，不利于实际工程应用推广；
该系统架构属于同一内网方式部署，无法提供设备管理以及火情数据云 端备份，无法向火情管理机构提供专业化的数据分析；
火灾分析算法采用当前实时视频帧与数据库中预存火情图片进行比对的 方式实现，该算法对环境适应能力比较弱，对与预存火情图片场景不同的应 用场景判断率比较高，无法做到自适应。
发明内容
1.要解决的技术问题
针对现有技术中存在的问题，本发明的目的在于提供一种基于物联网分 布式架构的火焰实时监控系统及方法，可以实现当前监控环境火焰目标智能 识别，在火灾发生初期就能自动警报的效果，火灾发生情况可视化，具有火 灾信息视频帧的识别以及起火位置自动标注，火警警情分等级设置，当检测 到火灾产生时可立即产生文字信息和声光信息的报警信号，同时将火灾报警 信息和火灾现场图片上传到云服务器，云服务器会向用户手机终端推送该报 警信息，手机终端接收到报警推送信息后会以振铃形式提醒用户，使用户无论在何处都能及时接收到报警信息并及时排除险情。深度学习算法实现了早 期火灾报警处理，提高了火灾报警的可靠性实时性，云技术远程通信降低了 消防管理成本。
2.技术方案
为解决上述问题，本发明采用如下的技术方案。
一种基于物联网分布式架构的火焰实时监控系统，包括多个内网子系统、 数据处理中心和客户端，多个所述内网子系统与所述数据处理中心之间通过 分布式架构连接，多个所述内网子系统之间并联设置，每个所述内网子系统 均可独立完成基于监控系统的火灾智能检测。
进一步的，每个所述内网子系统均包括监控摄像头、交换机、算法盒子、 应用服务器、显示屏和声光报警器，所述监控摄像头均通过网线与所述交换 机的输入端连接，所述交换机的输出端与所述算法盒子的输入端连接，所述 算法盒子的输出端与所述应用服务器的输入端连接，所述应用服务器的输出 端与所述显示屏、所述声光报警器的信号接收端。
进一步的，所述监控摄像头用于采集区域内的视频；
所述交换机用于对所述监控摄像头采集到的视频进行处理；
所述算法盒子使用arm构架芯片作为硬件平台，通过IP地址获取相应的 所述监控摄像头采集到的实时视频流，作为所述算法盒子分析的输入信号， 对视频帧中进行火灾目标检测，智能判断当前监控画面中是否存在火情，并 且与应用服务器相连，将分析的结果传输到应用服务器；
所述应用服务器接收到所述算法盒子分析的结果，并且对分析结果进行 可视化转换；
所述显示屏用于显示所述监控摄像头采集到的实时视频；
所述声光报警器用于算法盒子分析出异常的火情信息时进行声光报警。
进一步的，所述数据处理中心用于管理所有内网子系统，包括所有所述 内网子系统中的设备以及分析结果；每个所述内网子系统，通过所述应用服 务器与数据处理中心进行通讯连接，定时将设备管理信息以及分析结果同步 到数据处理中心；数据处理中心接收到所有内网子系统同步过来的数据，然 后进行数据库持久化以及数据分析，将分析的结果面向web、pc以及客户端 进行推送。
进一步的，所述客户端包括移动设备和显示终端设备，用于接收数据处 理中心分析得到的结果，并对用户进行远程报警。
一种基于物联网分布式架构的火焰实时监控方法，包括以下步骤：
S1、监控摄像头采集视频并经过交换机进行处理；
S2、算法盒子利用火灾目标检测算法对进行计算分析，确定区域内有无 火灾，如有火灾，声光报警器进行声光报警，并将分析结果传输到应用服务 器；
S3、应用服务器对分析结果进行可视化转换，在显示屏上进行实时显示， 并将分析结果传输至数据处理中心；
S4、数据处理中心接收到内网子系统传输的数据，进行数据库持久化以 及数据分析，并将分析结果推送至客户端。
进一步的，所述S2中，火灾目标检测算法具体包括以下步骤：
S21、火灾静态特征判断得到疑似火灾区域M；
S22、火灾动态特征识别计算得到火灾区域A’和火灾区域B’；
S23、采用IOU算法计算得到符合火灾颜色特征的火灾目标区域N。
进一步的，所述S21中，火灾静态特征判断具体过程为：火焰区域像素 点(x,y)在YCbCr颜色空间中满足下式的约束关系：
将待检测的视频帧颜色模型由RGB转化为YCbCr，遍历每一个像素点， 如果像素点的取值满足上述数学模型约束关系，则该像素点被判别为疑似火 灾像素点，得到符合火灾颜色特征的疑似火灾区域，疑似火灾区域M和真火 灾区域N的关系可表达为：
进一步的，所述S22中，火灾动态特征识别计算包括大目标检测算法以 及小目标检测算法，大目标检测算法由深度学习模型A得到，小目标检测算 法由深度学习模型B得到，从大目标检测算法输出的结果中取得区域像素点 大于30区域的火灾区域A’，从小目标检测算法输出的结果中取得区域像素小 于30区域的火灾区域B’。
进一步的，所述S23中，火灾目标区域N、区域像素点大于30的火灾区 域A’、区域像素点小于30的火灾区域B’、真实火灾区域M四者之间的关系 可表达为：(N∩A’)∪(N∩B’)＝M且
且
且采用IOU算法 计算大目标、小目标与颜色模型区域之间的关系，设定大目标IOU阀值为0.9， 小目标IOU阀值为0.95，对疑似火灾区域M进行二次确认，最终得到火灾目 标区域N。
3.有益效果
相比于现有技术，本发明的优点在于：
1、本发明使用了当下流行的深度学习目标检测算法来进行火灾目前的检 测，该算法模型使用了十万数量级别不同场景下的烟雾和火焰图像进行训练， 火情判别结果直接收算法模型输出，无需与存量的火灾图片进行比对分析。1) 使得算法具有更高的准确的烟雾火焰识别率(达到99％)；2)对环境具有更 强的抗干扰能力(经过大规模的测试能适应强光、弱光、闪光等光源影响；适 应室内、室外环境场景)。
2、本发明将算法分析功能独立出来，研发成算法盒子，该盒子采用低成 本的arm构架芯片作为硬件平台。该盒子主要的功能为实现火情识别，从监 控设备中获取到实时视频帧，经过算法分析，然后将处理结果传输到应用服 务器，再由应用服务器进行可视化、声光报警、人工二次确认，以及火灾数 据消息推送、上云。将算法模块独立成算法盒子，实际上相当于将算法分析 的计算边缘化，从多路摄像头对应一台服务器的方案优化为一路摄像头对应 该一个低成本轻量级盒子的方式。整体来看，盒子使用低成本arm硬件，平 台服务器使用普通CPU服务器(原来方案使用高成本GPU服务器)，大幅 度降低系统硬件成本，并且能达到更加实时处理的效果。
3、应用服务器、算法盒子、监控摄像头通过内网通信的方式组成一个独 立的子系统，该子系统功能包括：基于监控系统的火灾智能识别以及声光报 警、火情数据本地存储、指定时间火情报表自动生成、显示器端对火情图像 画面实时展示、人工根据系统提供信息进行二次确认。以内网方式部署该系 统可以保障摄像头、算法盒子以及应用服务器之间的通讯更加安全、可靠、 快速。通常按照应用的地点不同进行子系统划分，比如同一栋大厦组成一个 子系统，共用一台应用服务器进行业务集中式处理，为值守人员带来极大的 方便。另外，该架构为分布式方案，支持独立子系统的横向扩展，支持根据 实际的需要对同一内网的摄像头进行随意增减，灵活便捷。
4、创新性的设置数据处理中心，该中心属于云端平台，实际的功能包括： 1)子系统数据备份以及摄像头。2)算法盒子、应用服务器等硬件设备管理、 各个子系统分析数据。3)以更高级别的方式进行统一分析挖掘、实现火情消 息推送，支持各种终端平台的消息推送(支持web、IOS、Android)。4)整 个中心数据的统一处理以及指定时间报表输出；5)将所有的设备以及子系统进 行平台化，方便大规模系统的管理，极大提升火灾识别以及处理的效率，实 现多方位协同管理。
5、应用服务器与数据处理中心通过公网的形式建立联系，一个处理中心 可以管理多个应用服务器(子系统)，该方式可解决内网子系统由于单点问 题引起的安全问题(假设子系统中的应用服务器发生故障，则服务以及数据 无法复原)，应用服务器定时向数据中心进行数据同步，云端备份，提升整 个系统的容灾能力；
综上所述，从最前端的监控摄像头到算法盒子到应用服务器再到数据处 理中心，通过功能解耦，由边缘到中心分层处理，逻辑分明，平台化管理， 以最高的效率解决系统维护以及火情处理的问题。通过内网加外网的方案实 现子系统快速响应，云端中心定时备份，实时推送，随时生成报表的理想效 果，该系统具有极大的优越性。
附图说明
图1为本发明的系统流程图；
图2为本发明中的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图；对本发明实施例中的技术方案进行 清楚、完整地描述；显然；所描述的实施例仅仅是本发明一部分实施例；而 不是全部的实施例，基于本发明中的实施例；本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例；都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/ 底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了 便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有 特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重 要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安 装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是 固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以 是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元 件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术 语在本发明中的具体含义。
实施例1：
请参阅图1，本发明的系统包括内网子系统、数据处理中心以及客户端三大 部分。其中内网子系统由监控摄像头、交换机、算法盒子、应用服务器、显示屏、 声光报警器六个小模块组成。
每个子系统可独立完成基于监控系统的火灾智能检测。同一个网段的摄 像头通过网线接入到交换机，算法盒子输入端与交换机连接，通过ip获取相 应摄像机的实时视频流，作为算法盒子分析的输入信号。算法盒子主要是功 能为：通过自研的人工智能算法对视频帧中进行火灾目标检测，智能判断当 前监控画面中是否存在火情，并且与应用服务器相连，将分析的结果传输到 应用服务器。应用服务器接收该子系统中所有算法盒子处理的结果，并且对 分析结果进行可视化，如若某个算法盒子分析出异常的火情信息，会产生声光报警并且在显示屏上的监控画面中自研标注出火情的信息(摄像头编号以 及火灾出现的位置)。值守人员只需要在值守室即可掌控整个子系统所以布 点的安防情况，人工智能自动检测火灾目标使得值守人员不需要每时每刻观 察监控画面，声光报警器产生报警的情况下，只需要对着监控画面进行人工 确认即可。
每个子系统设计分布式的技术架构，可以根据实际的工程情况灵活增减 布控点的数量，增加监控点只需要将新增的摄像头连接到交换机，增加一个 算法盒子，并且在应用服务器中增加算法盒子的设备管理信息，反之减少监 控点的情况，直接将相应的摄像头以及算法盒子撤消即可。无论是增加还是 减少布控点数量对原有部署设备不产生影响，方便快捷高效。
数据处理中心用于管理所有子系统，包括所有子系统中的设备以及产生 的结果。每个子系统，通过应用服务器与中心数据处理中心进行通讯，定时 将本地的数据(设备管理信息以及分析结果)同步到数据处理中心。数据处 理中心接收到所有子系统同步过来的数据，然后进行数据库持久化以及数据 分析，将分析的结果面向web、pc以及移动端进行推送。具备访问权限的部 门以及人员可通过客户端访问的方式，随时了解整个系统的情况。平台化的 架构，实现监控设备以及监控情况的集中式管理以及智能分析，极大程度释 放人力。
横向来看，所有的子系统统一由数据处理中心管理；纵向来看，子系统与 子系统之间相互独立。各子系统与数据处理中心之间通过分布式架构建立联 系，支持纵向增删子系统。
一种基于物联网分布式架构的火焰实时监控方法，包括以下步骤：
S1、监控摄像头采集视频并经过交换机进行处理；
S2、算法盒子利用火灾目标检测算法对进行计算分析，确定区域内有无 火灾，如有火灾，声光报警器进行声光报警，并将分析结果传输到应用服务 器；
S3、应用服务器对分析结果进行可视化转换，在显示屏上进行实时显示， 并将分析结果传输至数据处理中心；
S4、数据处理中心接收到内网子系统传输的数据，进行数据库持久化以 及数据分析，并将分析结果推送至客户端。
S2中，算法盒子中运行的火灾目标检测算法处理流程如图2，核心算法 分为三大部分：
1、火灾静态特征判断，研究学者们通过大量的实验测试和对比统计分析 得出火焰区域像素点(x,y)在YCbCr颜色空间中满足下式的约束关系：
待检测的视频帧颜色模型由RGB转化为YCbCr，遍历每一个像素点，如 果像素点的取值满足以上数学模型约束关系，则该像素点被判别为疑似火灾 像素点，通过该方法得到的疑似火灾区域，只是符合火灾颜色特征，无法排 除一些具备火灾颜色特征的干扰(比如黄色的物体)，但是所有火灾的区域 会正确被识别出来，简单来说疑似火灾区域M和真火灾区域N的关系可表达 为：
(即M包含N)。
2、火灾动态特征识别算法分为大目标检测算法以及小目标检测算法，两 种目标检测算法均采用深度学习网络模型进行设计以及训练得到。之所以区 分大目标和小目标是因为在大量的研究以及实验得到的结论，单个深度学习 模型算法无法同时对大火灾目标以及小火灾目标达到理想的效果，深度学习 模型A对明显的火灾区域(区域像素点在30个以上)识别准确率可达到99.5％ 以上，但是对于小目标区域的识别准确率只有85％，会存在小火灾区域漏判 的情况。深度学习模型B对阴燃到火焰过渡期间的小火焰目标(区域像素点 小于30)准确率同样可达到99.3％,但是对于大目标通常存在误判的情况(即 将非火灾的大区域识别为火灾目标)。为了达到理想的识别效果，本发明通 过综合考虑A和B算法的优缺点，分别对视频帧进行目标检测，从A算法输 出的结果中取得像素大于30区域的疑似火灾区域A’，从B算法输出的结果 中取得像素小于30区域的疑似火灾区域B’。
3、经过静态以及动态火灾特征识别算法的检测得到符合火灾颜色特征的 目标区域N，区域像素点大于30的火灾区域A’，区域像素点小于30的火灾 区域B’，真实火灾区域M。四者之间的关系可表达为：(N∩A‘)∪(N∩B’)＝M 且
且
且
根据该逻辑关系，采用IOU算法计算大目标、 小目标与颜色模型区域之间的关系，经过大量实验数据统计分析设定大目标 IOU阀值为0.9，小目标IOU阀值为0.95。经过该逻辑对疑似火灾区域进行二 次确认，最终得到可信度高达99.3％的火灾目标区域。
相对于现有技术中的，本发明使用了当下流行的深度学习目标检测算法 来进行火灾目前的检测，该算法模型使用了十万数量级别不同场景下的烟雾 和火焰图像进行训练，火情判别结果直接收算法模型输出，无需与存量的火 灾图片进行比对分析。1)使得算法具有更高的准确的烟雾火焰识别率(达到 99％)；2)对环境具有更强的抗干扰能力(经过大规模的测试能适应强光、弱 光、闪光等光源影响；适应室内、室外环境场景)。
本发明将算法分析功能独立出来，研发成算法盒子，该盒子采用低成本 的arm构架芯片作为硬件平台。该盒子主要的功能为实现火情识别，从监控 设备中获取到实时视频帧，经过算法分析，然后将处理结果传输到应用服务 器，再由应用服务器进行可视化、声光报警、人工二次确认，以及火灾数据 消息推送、上云。将算法模块独立成算法盒子，实际上相当于将算法分析的 计算边缘化，从多路摄像头对应一台服务器的方案优化为一路摄像头对应该 一个低成本轻量级盒子的方式。整体来看，盒子使用低成本arm硬件，平台 服务器使用普通CPU服务器(原来方案使用高成本GPU服务器)，大幅度 降低系统硬件成本，并且能达到更加实时处理的效果。
应用服务器、算法盒子、监控摄像头通过内网通信的方式组成一个独立 的子系统，该子系统功能包括：基于监控系统的火灾智能识别以及声光报警、 火情数据本地存储、指定时间火情报表自动生成、显示器端对火情图像画面 实时展示、人工根据系统提供信息进行二次确认。以内网方式部署该系统可 以保障摄像头、算法盒子以及应用服务器之间的通讯更加安全、可靠、快速。 通常按照应用的地点不同进行子系统划分，比如同一栋大厦组成一个子系统， 共用一台应用服务器进行业务集中式处理，为值守人员带来极大的方便。另 外，该架构为分布式方案，支持独立子系统的横向扩展，支持根据实际的需 要对同一内网的摄像头进行随意增减，灵活便捷。
创新性的设置数据处理中心，该中心属于云端平台，实际的功能包括：1) 子系统数据备份以及摄像头。2)算法盒子、应用服务器等硬件设备管理、各 个子系统分析数据。3)以更高级别的方式进行统一分析挖掘、实现火情消息 推送，支持各种终端平台的消息推送(支持web、IOS、Android)。4)整个 中心数据的统一处理以及指定时间报表输出；5)将所有的设备以及子系统进行 平台化，方便大规模系统的管理，极大提升火灾识别以及处理的效率，实现 多方位协同管理。
应用服务器与数据处理中心通过公网的形式建立联系，一个处理中心可 以管理多个应用服务器(子系统)，该方式可解决内网子系统由于单点问题 引起的安全问题(假设子系统中的应用服务器发生故障，则服务以及数据无 法复原)，应用服务器定时向数据中心进行数据同步，云端备份，提升整个 系统的容灾能力；
综上所述，从最前端的监控摄像头到算法盒子到应用服务器再到数据处 理中心，通过功能解耦，由边缘到中心分层处理，逻辑分明，平台化管理， 以最高的效率解决系统维护以及火情处理的问题。通过内网加外网的方案实 现子系统快速响应，云端中心定时备份，实时推送，随时生成报表的理想效 果，该系统具有极大的优越性。
以上所述；仅为本发明较佳的具体实施方式；但本发明的保护范围并不 局限于此；任何熟悉本技术领域的技术人员在本发明揭露的技术范围内；根 据本发明的技术方案及其改进构思加以等同替换或改变；都应涵盖在本发明 的保护范围内。
Claims (10)
1.一种基于物联网分布式架构的火焰实时监控系统，其特征在于：包括多个内网子系统、数据处理中心和客户端，多个所述内网子系统与所述数据处理中心之间通过分布式架构连接，多个所述内网子系统之间并联设置，每个所述内网子系统均可独立完成基于监控系统的火灾智能检测。
2.根据权利要求1所述的一种基于物联网分布式架构的火焰实时监控系统，其特征在于：每个所述内网子系统均包括监控摄像头、交换机、算法盒子、应用服务器、显示屏和声光报警器，所述监控摄像头均通过网线与所述交换机的输入端连接，所述交换机的输出端与所述算法盒子的输入端连接，所述算法盒子的输出端与所述应用服务器的输入端连接，所述应用服务器的输出端与所述显示屏、所述声光报警器的信号接收端。
3.根据权利要求2所述的一种基于物联网分布式架构的火焰实时监控系统，其特征在于：
所述监控摄像头用于采集区域内的视频；
所述交换机用于对所述监控摄像头采集到的视频进行处理；
所述算法盒子使用arm构架芯片作为硬件平台，通过IP地址获取相应的所述监控摄像头采集到的实时视频流，作为所述算法盒子分析的输入信号，对视频帧中进行火灾目标检测，智能判断当前监控画面中是否存在火情，并且与应用服务器相连，将分析的结果传输到应用服务器；
所述应用服务器接收到所述算法盒子分析的结果，并且对分析结果进行可视化转换；
所述显示屏用于显示所述监控摄像头采集到的实时视频；
所述声光报警器用于算法盒子分析出异常的火情信息时进行声光报警。
4.根据权利要求1所述的一种基于物联网分布式架构的火焰实时监控系统，其特征在于：所述数据处理中心用于管理所有内网子系统，包括所有所述内网子系统中的设备以及分析结果；每个所述内网子系统，通过所述应用服务器与数据处理中心进行通讯连接，定时将设备管理信息以及分析结果同步到数据处理中心；数据处理中心接收到所有内网子系统同步过来的数据，然后进行数据库持久化以及数据分析，将分析的结果面向web、pc以及客户端进行推送。
5.根据权利要求1所述的一种基于物联网分布式架构的火焰实时监控系统，其特征在于：所述客户端包括移动设备和显示终端设备，用于接收数据处理中心分析得到的结果，并对用户进行远程报警。
6.一种基于物联网分布式架构的火焰实时监控方法，其特征在于：包括以下步骤：
S1、监控摄像头采集视频并经过交换机进行处理；
S2、算法盒子利用火灾目标检测算法对进行计算分析，确定区域内有无火灾，如有火灾，声光报警器进行声光报警，并将分析结果传输到应用服务器；
S3、应用服务器对分析结果进行可视化转换，在显示屏上进行实时显示，并将分析结果传输至数据处理中心；
S4、数据处理中心接收到内网子系统传输的数据，进行数据库持久化以及数据分析，并将分析结果推送至客户端。
7.根据权利要求6所述的一种基于物联网分布式架构的火焰实时监控方法，其特征在于：
所述S2中，火灾目标检测算法具体包括以下步骤：
S21、火灾静态特征判断得到疑似火灾区域M；
S22、火灾动态特征识别计算得到火灾区域A’和火灾区域B’；
S23、采用IOU算法计算得到符合火灾颜色特征的火灾目标区域N。
8.根据权利要求6所述的一种基于物联网分布式架构的火焰实时监控方法，其特征在于：所述S21中，火灾静态特征判断具体过程为：火焰区域像素点(x,y)在YCbCr颜色空间中满足下式的约束关系：
将待检测的视频帧颜色模型由RGB转化为YCbCr，遍历每一个像素点，如果像素点的取值满足上述数学模型约束关系，则该像素点被判别为疑似火灾像素点，得到符合火灾颜色特征的疑似火灾区域，疑似火灾区域M和真火灾区域N的关系可表达为：
9.根据权利要求6所述的一种基于物联网分布式架构的火焰实时监控方法，其特征在于：所述S22中，火灾动态特征识别计算包括大目标检测算法以及小目标检测算法，大目标检测算法由深度学习模型A得到，小目标检测算法由深度学习模型B得到，从大目标检测算法输出的结果中取得区域像素点大于30区域的火灾区域A’，从小目标检测算法输出的结果中取得区域像素小于30区域的火灾区域B’。
10.根据权利要求6所述的一种基于物联网分布式架构的火焰实时监控方法，其特征在于：所述S23中，火灾目标区域N、区域像素点大于30的火灾区域A’、区域像素点小于30的火灾区域B’、真实火灾区域M四者之间的关系可表达为：(N∩A’)∪(N∩B’)＝M且
且
且
采用IOU算法计算大目标、小目标与颜色模型区域之间的关系，设定大目标IOU阀值为0.9，小目标IOU阀值为0.95，对疑似火灾区域M进行二次确认，最终得到火灾目标区域N。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910916335.0A CN110853287A (zh) | 2019-09-26 | 2019-09-26 | 一种基于物联网分布式架构的火焰实时监控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910916335.0A CN110853287A (zh) | 2019-09-26 | 2019-09-26 | 一种基于物联网分布式架构的火焰实时监控系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110853287A true CN110853287A (zh) | 2020-02-28 |
Family
ID=69597049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910916335.0A Pending CN110853287A (zh) | 2019-09-26 | 2019-09-26 | 一种基于物联网分布式架构的火焰实时监控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110853287A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112309075A (zh) * | 2020-10-20 | 2021-02-02 | 东南大学 | 一种光伏电站火灾预警系统 |
| CN113132685A (zh) * | 2021-04-02 | 2021-07-16 | 浙江安防职业技术学院 | 一种基于物联网的消防远程控制系统 |
| CN113808361A (zh) * | 2021-09-13 | 2021-12-17 | 深圳市长江鑫电气有限公司 | 高温提前预警的防火装置及其预警系统 |
| CN114038147A (zh) * | 2021-06-16 | 2022-02-11 | 武汉光阴南北网络技术咨询中心 | 消防救援通信方法、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150856B (zh) * | 2013-02-28 | 2014-12-03 | 江苏润仪仪表有限公司 | 火灾火焰视频监测预警系统 |
| CN106845443A (zh) * | 2017-02-15 | 2017-06-13 | 福建船政交通职业学院 | 基于多特征融合的视频火焰检测方法 |
| CN109462654A (zh) * | 2018-11-30 | 2019-03-12 | 深圳市中电数通智慧安全科技股份有限公司 | 一种智慧应急控制系统 |
| CN208673492U (zh) * | 2018-01-18 | 2019-03-29 | 阳江核电有限公司 | 一种核电厂火警联动视频监控系统 |
| CN109639797A (zh) * | 2018-12-12 | 2019-04-16 | 深圳市中电数通智慧安全科技股份有限公司 | 一种智慧安全监管系统 |
| CN109800802A (zh) * | 2019-01-10 | 2019-05-24 | 深圳绿米联创科技有限公司 | 视觉传感器及应用于视觉传感器的物体检测方法和装置 |
| CN109951574A (zh) * | 2019-04-23 | 2019-06-28 | 广州市技安电子科技有限公司 | 基于边缘计算的物联网设备联动方法及系统 |
| CN110032977A (zh) * | 2019-04-18 | 2019-07-19 | 北京华正明天信息技术股份有限公司 | 一种基于深度学习图像火灾识别的安全预警管理系统 |
| CN110263654A (zh) * | 2019-05-23 | 2019-09-20 | 深圳市中电数通智慧安全科技股份有限公司 | 一种火焰检测方法、装置及嵌入式设备 |
-
2019
- 2019-09-26 CN CN201910916335.0A patent/CN110853287A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150856B (zh) * | 2013-02-28 | 2014-12-03 | 江苏润仪仪表有限公司 | 火灾火焰视频监测预警系统 |
| CN106845443A (zh) * | 2017-02-15 | 2017-06-13 | 福建船政交通职业学院 | 基于多特征融合的视频火焰检测方法 |
| CN208673492U (zh) * | 2018-01-18 | 2019-03-29 | 阳江核电有限公司 | 一种核电厂火警联动视频监控系统 |
| CN109462654A (zh) * | 2018-11-30 | 2019-03-12 | 深圳市中电数通智慧安全科技股份有限公司 | 一种智慧应急控制系统 |
| CN109639797A (zh) * | 2018-12-12 | 2019-04-16 | 深圳市中电数通智慧安全科技股份有限公司 | 一种智慧安全监管系统 |
| CN109800802A (zh) * | 2019-01-10 | 2019-05-24 | 深圳绿米联创科技有限公司 | 视觉传感器及应用于视觉传感器的物体检测方法和装置 |
| CN110032977A (zh) * | 2019-04-18 | 2019-07-19 | 北京华正明天信息技术股份有限公司 | 一种基于深度学习图像火灾识别的安全预警管理系统 |
| CN109951574A (zh) * | 2019-04-23 | 2019-06-28 | 广州市技安电子科技有限公司 | 基于边缘计算的物联网设备联动方法及系统 |
| CN110263654A (zh) * | 2019-05-23 | 2019-09-20 | 深圳市中电数通智慧安全科技股份有限公司 | 一种火焰检测方法、装置及嵌入式设备 |
Non-Patent Citations (1)
| Title |
|---|
| 杜晨锡等: ""基于YOLOv2的视频火焰检测方法"", 《计算机科学》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112309075A (zh) * | 2020-10-20 | 2021-02-02 | 东南大学 | 一种光伏电站火灾预警系统 |
| CN113132685A (zh) * | 2021-04-02 | 2021-07-16 | 浙江安防职业技术学院 | 一种基于物联网的消防远程控制系统 |
| CN114038147A (zh) * | 2021-06-16 | 2022-02-11 | 武汉光阴南北网络技术咨询中心 | 消防救援通信方法、电子设备及存储介质 |
| CN114038147B (zh) * | 2021-06-16 | 2023-11-14 | 武汉光阴南北网络技术咨询中心 | 消防救援通信方法、电子设备及存储介质 |
| CN113808361A (zh) * | 2021-09-13 | 2021-12-17 | 深圳市长江鑫电气有限公司 | 高温提前预警的防火装置及其预警系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110853287A (zh) | 一种基于物联网分布式架构的火焰实时监控系统及方法 | |
| CN101334924B (zh) | 一种火灾探测系统及其火灾探测方法 | |
| EP3279700B1 (en) | Security inspection centralized management system | |
| CN111047818A (zh) | 一种基于视频图像的森林火灾预警系统 | |
| CN108389359B (zh) | 一种基于深度学习的城市火灾报警方法 | |
| CN103927838A (zh) | 一种烟雾热成像火灾自动定位探测系统及方法 | |
| CN102176270A (zh) | 安全监控及火灾预警一体化系统及方法 | |
| KR102407327B1 (ko) | 화재감지장치 및 이를 포함하는 화재감지시스템 | |
| KR102149832B1 (ko) | 딥러닝 기반의 자동 폭력 감지 시스템 | |
| CN213518557U (zh) | 一种城市消防物联网监控管理系统 | |
| CN201897856U (zh) | 安全监控及火灾预警一体化系统 | |
| CN113542411B (zh) | 一种消防物联网综合管理平台 | |
| CN105279878A (zh) | 无线视频防盗自动报警系统及其方法 | |
| CN201091014Y (zh) | 一种火灾探测装置 | |
| CN116165981A (zh) | 一种工业行业安全生产智能监控系统 | |
| CN112084963B (zh) | 一种监控预警方法、系统及存储介质 | |
| CN104954744A (zh) | 烟雾检测系统 | |
| CN115297305A (zh) | 一种基于边缘计算的多视频流安全风险预警系统及方法 | |
| CN112785803A (zh) | 一种基于物联网的监控系统 | |
| CN110928305B (zh) | 用于铁路客运车站巡更机器人的巡更方法及系统 | |
| CN113095160A (zh) | 基于人工智能和5g的电力系统人员安全行为识别方法及系统 | |
| CN112001810A (zh) | 基于机器视觉的智能林业巡护系统及方法 | |
| CN115664006B (zh) | 一种增量配电网智能管控一体化平台 | |
| CN115880631A (zh) | 一种配电站故障识别系统、方法、介质 | |
| CN206058456U (zh) | 一种用于火灾识别可实时监控的图像处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200228 |