CN113375712A - 一种特殊作业视嗅融合安全识别柔性物联系统 - Google Patents

一种特殊作业视嗅融合安全识别柔性物联系统 Download PDF

Info

Publication number
CN113375712A
CN113375712A CN202110482790.1A CN202110482790A CN113375712A CN 113375712 A CN113375712 A CN 113375712A CN 202110482790 A CN202110482790 A CN 202110482790A CN 113375712 A CN113375712 A CN 113375712A
Authority
CN
China
Prior art keywords
special operation
module
fusion
olfactory
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110482790.1A
Other languages
English (en)
Inventor
马登龙
毛维高
吴瑞涛
刘元
高建民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110482790.1A priority Critical patent/CN113375712A/zh
Publication of CN113375712A publication Critical patent/CN113375712A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

本申请公开了一种特殊作业视嗅融合安全识别柔性物联系统,包含人工嗅觉视嗅融合终端与特殊作业监控监测物联网系统;所述人工嗅觉视嗅融合终端包括:微控制器、人工嗅觉模块、摄像头阵列模块、环境监测模块、交互模块、供电模块和通信模块;所述特殊作业监控监测物联网系统包括特殊作业现场全要素感知系统、特殊作业监测数据通信网络系统和特殊作业视嗅融合安全隐患识别与智能预警服务系统;人工嗅觉视嗅融合终端作为视嗅融合物联网系统的组成部分,共同构建特殊作业现场的监控监测终端‑网络系统,获得特殊作业现场多源信息获取方法;本发明解决特殊作业现场人工监管安全信息缺乏、检测要素少、检测精度低等问题。

Description

一种特殊作业视嗅融合安全识别柔性物联系统
技术领域
本发明属于化学品生产单位特殊作业自动化监控监测过程中用于安全隐患识别与风险预警的终端设备,特别涉及一种特殊作业视嗅融合安全识别柔性物联系统。
背景技术
化学品生产单位特殊作业诱发的安全生产事故层出不穷,特殊作业人员受限空间窒息、不规范行为与穿戴、装备失效状态、物料泄漏引发燃爆等是造成特殊作业安全事故和作业人员重伤、死亡,造成重大生命财产损失的主要原因。当前特殊作业的安全监管主要由企业按照企业自行制定的特殊作业安全管理制度实行人工管理,缺乏信息化、定量化的检测识别技术,隐患识别力不足,预警能力缺失,风险隐患不能及时发现,无法适应国家对生产安全精准管理的要求。特殊作业过程中安全隐患识别、风险预警等尚缺乏相关的终端设备。
发明内容
为解决当前特殊作业过程中存在的安全隐患管理不足、危险状态监测缺失、风险预警速度滞后、安全事故应急处置效率和效果不佳等问题,提高特殊作业监测监护的准确性、高效性和自动化水平,本发明提出一种特殊作业视嗅融合安全识别柔性物联系统,该系统为典型特殊作业环境介质、作业人员行为、作业人员装备、作业现场物料等的监测提供硬件支持,解决目前特殊作业中人工监护、安全监测信息缺乏、识别要素不全、检测准确度低、预警滞后等问题。
为达到上述目的,本发明采用的技术手段是:
一种特殊作业视嗅融合安全识别柔性物联系统,包含人工嗅觉视嗅融合终端与特殊作业监控监测物联网系统;
所述人工嗅觉视嗅融合终端包括:微控制器、人工嗅觉模块、摄像头阵列模块、环境监测模块、交互模块、供电模块和通信模块;
所述特殊作业监控监测物联网系统包括特殊作业现场全要素感知系统、特殊作业监测数据通信网络系统和特殊作业视嗅融合安全隐患识别与智能预警服务系统;
所述人工嗅觉模块用于采集监测特殊作业现场挥发性气体组分数据,所述摄像头阵列模块用于采集监测特殊作业现场的画面,所述环境监测模块监测特殊作业环境的环境参数,人工嗅觉模块、摄像头阵列模块、环境监测模块均与微控制器连接收集数据,并通过通信模块发送至特殊作业监测数据通信网络系统;
所述特殊作业现场全要素感知系统用于采集监测特殊作业现场的气体浓度数据和现场画面,监测数据发送到特殊作业监测数据通信网络系统;
所述特殊作业监测数据通信网络系统用于采集监测到的特殊作业现场气体浓度数据与视频画面数据到特殊作业视嗅融合安全隐患识别与智能预警服务系统的传输,也用于特殊作业视嗅融合安全隐患识别与智能预警服务系统指令的下发,以及人工嗅觉数据的信号处理、模式识别判断气体种类及浓度、数据备份;
所述特殊作业视嗅融合安全隐患识别与智能预警服务系统用于接收来自感知层的现场气体浓度数据和现场视频图像数据,进行特殊作业现场图像目标检测、特殊作业过程视频行为识别;根据现场视频画面进行场景匹配;基于气体浓度数据与视频画面数据进行视嗅融合安全隐患识别和视嗅融合风险预警。
作为本发明的进一步改进,所述人工嗅觉模块包括弯曲式气体取样通道、气体传感器阵列、MEMS气体自富集装置、负压风扇和过滤网,弯曲式气体取样通道内部具有富集室,MEMS气体自富集装置与气体传感器阵列分别配置在富集室的上部和下部;弯曲式气体取样通道的一端部设置所述负压风扇,另一端部设置所述过滤网。
作为本发明的进一步改进,所述摄像头阵列模块包括视嗅融合芯片、红外发生器、红外相机和可见光相机,红外发生器内部包括红外光源与编码光栅,双视融合芯片用于视频采集与处理,红外发生器发出红外光,由红外相机捕获,在可见光相机直接获取特殊作业现场的可见光图像;红外相机的红外图像和可见光相机可见光图像均发送至双视融合芯片中完成双视融合。
作为本发明的进一步改进,所述环境监测模块包括视嗅融合终端温湿度传感器和视嗅融合终端定位模块。
作为本发明的进一步改进,所述特殊作业监测数据通信网络系统包括局域网、网关、通信网络;
由特殊作业现场全要素感知系统检测到的人工嗅觉数据和特殊作业现场视频图像经过局域网输入网关,网关对人工嗅觉信号进行信号处理,并通过模式识别算法识别气体种类,检测气体浓度;在网关中人工嗅觉数据会进行数据备份,人工嗅觉数据和特殊作业现场视频图像由网关发送至网络通信;网关接收来自特殊作业视嗅融合安全隐患识别与智能预警服务系统的指令,进行解析并下发至特殊作业现场全要素感知系统;
网关将人工嗅觉响应和现场实时视频图像经过网络协议上传至特殊作业视嗅融合安全隐患识别与智能预警服务系统;移动终端的5G通信接入通信网络,以获取特殊作业现场实时数据,或发送指令。
作为本发明的进一步改进,所述特殊作业视嗅融合安全隐患识别与智能预警服务系统包括服务器、图像目标检测模块、视频行为识别模块、场景匹配模块、视嗅融合隐患识别模块、视嗅融合风险预警模块、智能决策与下发指令模块及生成报表并存档模块;
服务器接收来自通信网络的人工嗅觉响应数据和特殊作业现场视频图像数据;所述图像目标检测模块用于特殊作业现场的图像数据经过图像预处理后进行图像目标检测,以检测作业现场的安全隐患;所述视频行为识别模块用于特殊作业现场的视频数据经过预处理后进行视频行为识别以检测危险行为;所述场景匹配模块用于特殊作业现场图像的目标检测可以进行特殊作业场景识别与相关识别分析参数匹配;所述视嗅融合隐患识别模块用于特殊作业环境的气体组分信息与图像视频信息进行视嗅融合,实现特殊作业现场全要素的安全隐患识别;所述视嗅融合风险预警模块用于特殊作业过程中气体组分信息与作业人员工作的视频图像信息进行视嗅融合,实现特殊作业过程的风险评级与安全预警;所述智能决策与下发指令模块用于当出现风险预警时,触发智能决策服务,将分析当前特殊作业种类、发生预警的事故信息和相关数据,判断当前特殊作业是否需要改善作业条件及提供作业条件改善建议,并将最终决策转换成指令,下发至特殊作业监测数据通信网络系统;所述生成报表并存档模块用于特殊作业过程中将量化数据生成实时工作看板,作业结束后生成作业报表,并作业过程中重要数据存档;移动终端能够通过登录至通信网络实时查看特殊作业状态和作业报表。
作为本发明的进一步改进,所述人工嗅觉模块还包括气体传感器阵列初始校准模块与在线漂移校准模块;
初始校准模块对大量不同气体传感器阵列响应特征建立气体传感器阵列响应特征数据集,构建传感器阵列初始校准模型,在更换气体传感器探头后的初次使用时,气体传感器阵列在初始校准模型修正下实现气体传感器阵列的初始校准;
在线漂移校准模块根据大量气体传感器的漂移特性建立数据集和模型,在气体传感器阵列长时间使用后发生气体传感器漂移时,对气体传感器漂移进行补偿。
作为本发明的进一步改进,所述特殊作业监测数据通信网络系统连接多个人工嗅觉视嗅融合终端,多个人工嗅觉视嗅融合终端通过通信模块进行柔性组网,后加入的人工嗅觉视嗅融合终端作为从机,先加入的人工嗅觉视嗅融合终端作为主机;
多个视嗅融合终端传输的数据包括:由微控制器读取的气体传感器阵列响应信号、由微控制器读取视嗅融合终端定位模块的位置数据和由微控制器读取视嗅融合终端温湿度传感器的温湿度响应数据;并形成实时终端位置-泄漏气体浓度的信息矩阵,上传至特殊作业监测数据通信网络系统;特殊作业监测数据通信网络系统读取实时终端位置-泄漏气体浓度的信息矩阵,解析浓度数据,基于气体扩散模型进行基于稀疏静态气体传感器的泄漏溯源,确定泄漏源位置。
作为本发明的进一步改进,所述人工嗅觉视嗅融合终端还包括:交互模块和供电模块;
所述交互模块用于人机交互处理;供电模块用于提供供电,交互模块、供电模块和通信模块均与微控制器电连接;
所述交互模块包括声光报警装置和液晶显示屏,声光报警装置和液晶显示屏均与微控制器连接;所述声光报警装置在特殊作业过程中发生异常情况时发出警报,所述液晶显示屏用于展示特殊作业现场信息;
所述供电模块包括内置电源、开关和USB数据传输/供电。所述内置电源为锂电池;所述开关为视嗅融合终端的启停开关;所述USB数据传输/供电用于通过USB接口的有源供电;所述USB数据传输/供电还可用于通过USB接口的数据传输。
作为本发明的进一步改进,所述通信模块包括无线模块、天线、有线模块和RJ45接口;所述无线模块和天线用于无线通信;所述有线模块与RJ45接口用于网线有线通信。
与现有技术相比,本发明的内容及优点为:
本发明一种特殊作业视嗅融合安全识别柔性物联系统,人工嗅觉模块采集监测特殊作业现场挥发性气体组分数据,摄像头阵列模块采集监测特殊作业现场的画面,环境监测模块监测特殊作业现场的温湿度数据和位置数据,由微控制器采集并通过无线方法发送至特殊作业监控监测物联网系统。视嗅融合终端包含一种具有弯曲式取样通道和MEMS气体自富集装置的人工嗅觉模块和一种具有主动红外发射装置的摄像头阵列模块;视嗅融合物联网系统包含一种人工嗅觉在线校准算法和一种视嗅融合柔性组网泄漏溯源算法。人工嗅觉视嗅融合终端作为视嗅融合物联网系统的组成部分,共同构建特殊作业现场的监控监测终端-网络系统,获得特殊作业现场多源信息获取方法;本发明解决特殊作业现场人工监管安全信息缺乏、检测要素少、检测精度低等问题。
进一步,本发明的人工嗅觉特殊作业视嗅融合终端,基于气体传感器阵列、摄像头阵列、环境监测模块和通信模块等硬件,用于特殊作业过程中环境气体检测和特殊作业现场画面监控。气体传感器阵列采集特殊作业环境中的气体数据,产生的人工嗅觉响应信号经过微控制器采集,并由无线方式发送至特殊作业监测数据通信网络系统;摄像头阵列采集特殊作业中的现场画面,由微控制器采集,并由无线方式发送至特殊作业监测数据通信网络系统;人工嗅觉响应信号、现场图像视频信号在特殊作业视嗅融合安全隐患识别与智能预警服务系统内完成信号处理与识别;
进一步,本发明的具有弯曲式取样通道和MEMS气体自富集装置的人工嗅觉模块,人工嗅觉模块采集监测特殊作业现场区域的气体,在负压风扇作用下形成负压,特殊作业现场的气体进入弯曲式取样通道,沿着弯曲式取样通道进入气体富集室,被MEMS气体自富集装置富集吸收,在设定时间后,负压风扇停止转动,MEMS气体自富集装置迅速解吸附,解吸附的气体释放在气体富集室,被气体传感器阵列检测,由微控制器采集并发送数据;
进一步,本发明的具有主动红外发射装置的摄像头阵列模块,由红外发生器中的红外光源发出红外镭射光,透过编码光栅,形成带编码的红外光,投射到特殊作业场景中,经过特殊作业操作人员、作业场景反射,由红外相机捕获,经过红外图像处理,获得图像深度信息;可见光相机直接获取特殊作业现场的可见光图像;红外图像和可见光图像在双视融合芯片中完成双视融合;红外/可见光的静态图像双视融合可以增强静态画面的细节,用于目标检测;红外/可见光动态视频的双视融合可以形成包含人体骨架信息的视频,用于行为检测;摄像头阵列模块数据由微控制器采集并由无线模块发送至特殊作业监测数据通信网络系统;
进一步,本发明的一种视嗅融合物联网系统,包括特殊作业现场全要素感知系统、特殊作业监测数据通信系统和特殊作业视嗅融合安全隐患识别与智能预警服务系统。服务器接收来自通信网络的人工嗅觉响应数据和特殊作业现场视频图像数据;特殊作业现场的图像数据经过图像预处理后进行图像目标检测,以检测作业现场的安全隐患;特殊作业现场的视频数据经过预处理后进行视频行为识别以检测危险行为;特殊作业现场图像的目标检测可以进行特殊作业场景识别与相关识别分析参数匹配;特殊作业环境的气体组分信息与图像视频信息进行视嗅融合,实现特殊作业现场全要素的安全隐患识别;特殊作业过程中气体组分信息与作业人员工作的视频图像信息进行视嗅融合,实现特殊作业过程的风险评级与安全预警;当出现风险预警时,触发智能决策服务,将分析当前特殊作业种类、发生预警的事故信息和相关数据,判断当前特殊作业是否需要改善作业条件及提供作业条件改善建议,并将最终决策转换成指令,下发至特殊作业监测数据通信网络系统;特殊作业过程中将量化数据生成实时工作看板,作业结束后生成作业报表,并作业过程中重要数据存档;移动终端可以通过登录至通信网络实时查看特殊作业状态和作业报表
进一步,本发明的人工嗅觉在线校准模块,包括在线初始校准模块与在线漂移校准模块。初始校准模块对大量不同气体传感器阵列响应特征建立气体传感器阵列响应特征数据集,构建传感器阵列初始校准模型,在更换气体传感器探头后的初次使用时,气体传感器阵列在初始校准模型修正下实现气体传感器阵列的初始校准;在线漂移校准模块根据大量气体传感器的漂移特性建立数据集和模型,在气体传感器阵列长时间使用后发生气体传感器漂移时,对气体传感器漂移进行补偿,解决气体传感器因制造离散性的初始校准问题和长时间使用后的漂移问题。
进一步,本发明的视嗅融合柔性组网泄漏溯源模块,在特殊作业过程中,当发现气体泄漏时:多个视嗅融合终端补充放置在特殊作业现场,多个视嗅融合终端通过无线模块进行柔性组网,后加入的视嗅融合终端作为从机向最先加入的视嗅融合终端主机传输数据,最终由主机汇总数据并上传至特殊作业监测数据通信网络系统;特殊作业监测数据通信网络系统读取终端位置-泄漏气体浓度的信息包,解析数据,基于稀疏静态气体传感器进行泄漏溯源,确定泄漏源位置。
附图说明
图1为本发明整体人工嗅觉特殊作业视嗅融合终端结构图;其中,1微控制器;2人工嗅觉模块;3摄像头阵列模块;4环境监测模块;5交互模块;6供电模块;7通信模块;
图2为本发明具有弯曲式取样通道和MEMS气体自富集装置的人工嗅觉模块;
图3为本发明的摄像头阵列模块,包括红外发生器、红外相机、可见光相机、双视融合芯片;
图4为本发明的物联网系统框架结构,包含特殊作业现场全要素感知系统、特殊作业监测数据通信网络系统、视嗅融合安全隐患识别与智能预警服务系统
图5为本发明在线校准算法流程图;
图6为本发明视嗅融合终端柔性组网泄漏溯源算法原理图。
具体实施方式
下面结合具体的实例和附图对本发明做进一步的详细说明,所述是对本发明的解释而不是限定。
本发明一种特殊作业视嗅融合安全识别柔性物联系统,包含人工嗅觉视嗅融合终端与特殊作业监控监测物联网系统。人工嗅觉视嗅融合终端构成包括:微控制器1、人工嗅觉模块2、摄像头阵列模块3、环境监测模块4、交互模块5、供电模块6、通信模块7;特殊作业监控监测物联网系统由特殊作业现场全要素感知系统8、特殊作业监测数据通信网络系统9和特殊作业视嗅融合安全隐患识别与智能预警服务系统10;物联网系统包含的人工嗅觉相关算法有:人工嗅觉在线校准算法11、视嗅融合终端柔性组网泄漏溯源算法12。
所述人工嗅觉模块2用于采集监测特殊作业现场挥发性气体组分数据,数据由微控制器1采集,后由无线模块700以无线形式发送至特殊作业监测数据通信网络系统9;数据也可通过有线模块702和RJ45接口703发送至特殊作业监测数据通信网络系统9;
所述摄像头阵列模块3用于采集监测特殊作业现场的画面,画面由微控制器1采集并编码,后经过由无线模块700以无线形式发送至特殊作业监测数据通信网络系统9;
所述环境监测模块4包括温湿度传感器400和定位模块401。所述温湿度传感器400监测特殊作业环境的温度和湿度,由微控制器1采集数据;所述定位模块401监测视嗅融合终端的位置,由微控制器1采集数据;环境监测模块采集到的数据通过无线模块700发送至特殊作业监测数据通信网络系统9;
所述交互模块5包括声光报警装置500和液晶显示屏501。所述声光报警装置500在特殊作业过程中发生异常情况时,由微控制器1通过无线模块700接收特殊作业监测数据通信网络系统9的指令,调用声光报警装置500发出警报,提醒作业人员停止作业;所述液晶显示屏501展示特殊作业现场环境中氧气含量信息、有害气体监测信息、温湿度信息、内置电源电量信息、无线模块信号强度信息、无线连接速率信息等的展示,信息由微控制器1采集或接收;
所述供电模块6包括内置电源600、开关601和USB数据传输/供电602。所述内置电源600为锂电池,可供视嗅融合终端无源工作2个小时以上;所述开关601为视嗅融合终端的启停开关;所述USB数据传输/供电602用于通过USB接口的有源供电;所述USB数据传输/供电602还可用于通过USB接口的数据传输;
所述通信模块7包括无线模块700、天线701、有线模块702和RJ45接口703。所述无线模块700和天线701用于无线通信;所述有线模块702与RJ45接口703用于网线有线通信;
所述特殊作业现场全要素感知系统8用于采集监测特殊作业现场的气体浓度数据和现场画面,监测数据由无线方式发送到特殊作业监测数据通信网络系统9中,进行后续数据传输和部分数据处理;所述特殊作业现场全要素感知系统8由一个或多个特殊作业现场感知终端构成。特殊作业现场感知终端包括固定式视嗅融合终端和头戴式多感知终端两种。
所述特殊作业监测数据通信网络系统9用于采集监测到的特殊作业现场气体浓度数据与视频画面数据到特殊作业视嗅融合安全隐患识别与智能预警服务系统10的传输,也用于特殊作业视嗅融合安全隐患识别与智能预警服务系统10指令的下发;人工嗅觉数据的信号处理、模式识别判断气体种类及浓度、数据备份等也在特殊作业监测数据通信网络系统9中完成;
所述特殊作业视嗅融合安全隐患识别与智能预警服务系统10用于接收来自感知层的现场气体浓度数据和现场视频图像数据,进行特殊作业现场图像目标检测、特殊作业过程视频行为识别;根据现场视频画面进行场景匹配;基于气体浓度数据与视频画面数据进行视嗅融合安全隐患识别和视嗅融合风险预警。
以下结合附图对发明的内容进行详细说明:
如图1所示,本发明人工嗅觉视嗅融合终端主要由7部分组成:微控制器1、人工嗅觉模块2、摄像头阵列模块3、环境监测模块4、交互模块5、供电模块6、通信模块7。
各部分主要功能为:微控制器1负责各模块数据的采集、处理、分析、连接、整合;人工嗅觉模块2负责采集特殊作业现场气体数据;摄像头阵列模块3负责采集特殊作业现场的视频画面;环境监测模块4负责采集特殊作业现场的温湿度数据和终端的位置数据;交互模块5负责操作者与终端的信息展示、操作;供电模块6负责视嗅融合终端的供电;通信模块7负责终端与物联网系统的通信。
如图2所示,本发明的弯曲式取样通道与MEMS气体自富集装置结构,由弯曲式取样通道200、气体传感器阵列201、MEMS气体自富集装置202、负压风扇203、过滤网204、富集室205构成,MEMS气体自富集装置202与气体传感器阵列201分别配置在富集室的上部和下部;人工嗅觉模块2采集监测特殊作业现场区域的气体,在负压风扇203的作用下,风扇右侧形成负压,特殊作业现场的气体由过滤网204进入,过滤灰尘,沿着弯曲式取样通道200进入富集室205,被MEMS气体自富集装置202富集吸收,在设定时间后,负压风扇203停止转动,MEMS气体自富集装置202迅速解吸附,吸附的气体被释放在富集室205,被安装在下部的气体传感器阵列201检测并产生人工嗅觉响应,由微控制器1采集并发送;产生人工嗅觉响应后,负压风扇203启动,排空富集室205内空气并进行新一轮的气体自富集-解吸附检测。
如图3所示,本发明摄像头阵列模块结构,由视嗅融合芯片300、红外发生器301、红外相机302和可见光相机303构成,红外发生器300内部包括红外光源与编码光栅。摄像头阵列模块3的视频采集与处理依靠内设的双视融合芯片300,摄像头阵列模块工作时,红外发生器301中的红外光源发出红外镭射光,透过编码光栅,形成带编码的红外光,投射到特殊作业场景中,经过特殊作业操作人员、作业场景反射,由红外相机302捕获,在视嗅融合芯片300中进行红外图像处理,获得图像深度信息;可见光相机303直接获取特殊作业现场的可见光图像;红外图像和可见光图像在双视融合芯片300中完成双视融合;双视融合芯片300中可以实现红外/可见光静态图像融合,增强静态画面的细节;双视融合芯片300中可以实现红外/可见光动态视频融合,形成包含人体骨架信息的可见光视频;双视融合后的增强静态图像、人体骨架视频经微控制器1的无线模块700发送至特殊作业监测数据通信网络系统9。
如图4所示,本发明特殊作业监控监测物联网系统架构,由特殊作业现场全要素感知系统8、特殊作业监测数据通信网络系统9和特殊作业视嗅融合安全隐患识别与智能预警服务系统10构成;特殊作业监测数据通信网络系统9包括局域网900、网关901、通信网络902;特殊作业视嗅融合安全隐患识别与智能预警服务系统10由服务器1000及一系列功能与服务构成。
特殊作业现场全要素感知系统8采集监测特殊作业现场的气体浓度数据和现场画面,监测数据由无线方式发送到特殊作业监测数据通信网络系统9中,进行后续数据传输和部分数据处理;由特殊作业现场全要素感知系统8检测到的人工嗅觉数据和特殊作业现场视频图像经过局域网900输入网关901,网关901对人工嗅觉信号进行信号处理,并通过模式识别算法识别气体种类,检测气体浓度;在网关901中人工嗅觉数据会进行数据备份,人工嗅觉数据和特殊作业现场视频图像由网关发送至网络通信902;网关901接收来自特殊作业视嗅融合安全隐患识别与智能预警服务系统10的指令,进行解析并下发至特殊作业现场全要素感知系统8。网关901将人工嗅觉响应和现场实时视频图像经过网络协议904上传至特殊作业视嗅融合安全隐患识别与智能预警服务系统10;可以使用移动终端906的5G通信905接入通信网络902,以获取特殊作业现场实时数据,或发送指令。
特殊作业视嗅融合安全隐患识别与智能预警服务系统10由服务器1000及一系列功能与服务构成;服务器1000接收来自通信网络的人工嗅觉响应数据和特殊作业现场视频图像数据;特殊作业现场的图像数据经过图像预处理后进行图像目标检测,以检测作业现场的安全隐患;特殊作业现场的视频数据经过预处理后进行视频行为识别以检测危险行为;特殊作业现场图像的目标检测可以进行特殊作业场景识别与相关识别分析参数匹配;特殊作业环境的气体组分信息与图像视频信息进行视嗅融合,实现特殊作业现场全要素的安全隐患识别;特殊作业过程中气体组分信息与作业人员工作的视频图像信息进行视嗅融合,实现特殊作业过程的风险评级与安全预警;当出现风险预警时,触发智能决策服务,将分析当前特殊作业种类、发生预警的事故信息和相关数据,判断当前特殊作业是否需要改善作业条件及提供作业条件改善建议,并将最终决策转换成指令,下发至特殊作业监测数据通信网络系统9;特殊作业过程中将量化数据生成实时工作看板,作业结束后生成作业报表,并作业过程中重要数据存档;移动终端906可以通过登录至通信网络902实时查看特殊作业状态和作业报表。
如图5所示,本发明的人工嗅觉传感器在线校准算法11,包括气体传感器阵列初始校准模块与气体传感器阵列长时间使用后的在线漂移校准模块。人工嗅觉模块2具备传感器在线校准功能。包括气体传感器阵列初始校准模块1100与气体传感器阵列长时间使用后的在线漂移校准模块1101。气体传感器阵列201的气体传感器探头为可更换类型,可以根据特殊作业现场环境检测的需要而更换气体传感器探头,形成新的气体传感器阵列,以适应不同特殊作业环境气体检测需要;初始校准模块1100对大量不同气体传感器阵列响应特征建立气体传感器响应特征数据集和传感器主板数据集,构建传感器阵列初始校准模型,在更换气体传感器探头后的初次使用时,气体传感器阵列在初始校准模型修正下实现气体传感器阵列的初始校准;在线漂移校准模块1101根据大量气体传感器的漂移特性建立传感器漂移数据集,构建传感器阵列漂移校准模型,在气体传感器阵列长时间使用后发生气体传感器漂移时,对气体传感器漂移进行补偿。
如图6所示,本发明的视嗅融合终端柔性组网泄漏溯源算法12,具有柔性组网与泄漏源反演定位功能。
在特殊作业过程中,当发现气体泄漏时:操作人员人为将多个视嗅融合终端稀疏放置在特殊作业现场,特殊作业监测数据通信网络系统9连接多个视嗅融合终端,多个视嗅融合终端通过无线模块700进行柔性组网,后加入的视嗅融合终端作为从机,先加入的视嗅融合终端作为主机,主从机之间通过柔性组网传输数据,数据最终由主机汇总并上传至特殊作业监测数据通信网络系统9。
视嗅融合终端人工嗅觉模块2停止使用MEMS气体自富集装置202,负压风扇203调整转速,此时,气体传感器阵列201直接检测流过富集室206中的。
多个视嗅融合终端传输的数据包括:由微控制器1读取的气体传感器阵列201响应信号、由微控制器1读取视嗅融合终端定位模块401的位置数据和由微控制器1读取视嗅融合终端温湿度传感器400的温湿度响应数据;并形成实时终端位置-泄漏气体浓度的信息矩阵,由无线模块700上传至特殊作业监测数据通信网络系统9。
特殊作业监测数据通信网络系统9读取实时终端位置-泄漏气体浓度的信息矩阵,解析浓度数据,基于气体扩散模型进行基于稀疏静态气体传感器的泄漏溯源,确定泄漏源位置。
综上所述,本申请一种特殊作业视嗅融合安全识别柔性物联系统。介绍了一种由微控制器、人工嗅觉模块、摄像头阵列模块、环境监测模块、交互模块、供电模块、通信模块构成的人工嗅觉终端;一种由特殊作业现场全要素感知系统、特殊作业监测数据通信网络系统和特殊作业视嗅融合安全隐患识别与智能预警服务系统构成的特殊作业监控监测物联网系统;一种用于人工嗅觉的在线校准算法、一种视嗅融合终端柔性组网泄漏溯源算法。人工嗅觉模块采集监测特殊作业现场挥发性气体组分数据,摄像头阵列模块采集监测特殊作业现场的画面,环境监测模块监测特殊作业现场的温湿度数据和位置数据,由微控制器采集并通过无线方法发送至特殊作业监控监测物联网系统。视嗅融合终端包含一种具有弯曲式取样通道和MEMS气体自富集装置的人工嗅觉模块和一种具有主动红外发射装置的摄像头阵列模块;视嗅融合物联网系统包含一种人工嗅觉在线校准算法和一种视嗅融合柔性组网泄漏溯源算法。人工嗅觉视嗅融合终端作为视嗅融合物联网系统的组成部分,共同构建特殊作业现场的监控监测终端-网络系统,获得特殊作业现场多源信息获取方法;本发明解决特殊作业现场人工监管安全信息缺乏、检测要素少、检测精度低等问题。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。

Claims (10)

1.一种特殊作业视嗅融合安全识别柔性物联系统,其特征在于,包含人工嗅觉视嗅融合终端与特殊作业监控监测物联网系统;
所述人工嗅觉视嗅融合终端包括:微控制器(1)、人工嗅觉模块(2)、摄像头阵列模块(3)、环境监测模块(4)、交互模块(5)、供电模块(6)和通信模块(7);
所述特殊作业监控监测物联网系统包括特殊作业现场全要素感知系统(8)、特殊作业监测数据通信网络系统(9)和特殊作业视嗅融合安全隐患识别与智能预警服务系统(10);
所述人工嗅觉模块(2)用于采集监测特殊作业现场挥发性气体组分数据,所述摄像头阵列模块(3)用于采集监测特殊作业现场的画面,所述环境监测模块(4)监测特殊作业环境的环境参数,人工嗅觉模块(2)、摄像头阵列模块(3)、环境监测模块(4)均与微控制器(1)连接收集数据,并通过通信模块(7)发送至特殊作业监测数据通信网络系统(9);
所述特殊作业现场全要素感知系统(8)用于采集监测特殊作业现场的气体浓度数据和现场画面,监测数据发送到特殊作业监测数据通信网络系统(9);
所述特殊作业监测数据通信网络系统(9)用于采集监测到的特殊作业现场气体浓度数据与视频画面数据到特殊作业视嗅融合安全隐患识别与智能预警服务系统(10)的传输,也用于特殊作业视嗅融合安全隐患识别与智能预警服务系统(10)指令的下发,以及人工嗅觉数据的信号处理、模式识别判断气体种类及浓度、数据备份;
所述特殊作业视嗅融合安全隐患识别与智能预警服务系统(10)用于接收来自感知层的现场气体浓度数据和现场视频图像数据,进行特殊作业现场图像目标检测、特殊作业过程视频行为识别;根据现场视频画面进行场景匹配;基于气体浓度数据与视频画面数据进行视嗅融合安全隐患识别和视嗅融合风险预警。
2.根据权利要求1所述的一种特殊作业视嗅融合安全识别柔性物联系统,其特征在于,所述人工嗅觉模块(2)包括弯曲式气体取样通道(200)、气体传感器阵列(201)、MEMS气体自富集装置(202)、负压风扇(203)和过滤网(204),弯曲式气体取样通道(200)内部具有富集室(205),MEMS气体自富集装置(202)与气体传感器阵列(201)分别配置在富集室(205)的上部和下部;弯曲式气体取样通道(200)的一端部设置所述负压风扇(203),另一端部设置所述过滤网(204)。
3.根据权利要求1所述的一种特殊作业视嗅融合安全识别柔性物联系统,其特征在于,所述摄像头阵列模块(3)包括视嗅融合芯片(300)、红外发生器(301)、红外相机(302)和可见光相机(303),红外发生器(300)内部包括红外光源与编码光栅,双视融合芯片(300)用于视频采集与处理,红外发生器(301)发出红外光,由红外相机(302)捕获,在可见光相机(303)直接获取特殊作业现场的可见光图像;红外相机(302)的红外图像和可见光相机(303)可见光图像均发送至双视融合芯片(300)中完成双视融合。
4.根据权利要求1所述的一种特殊作业视嗅融合安全识别柔性物联系统,其特征在于,所述环境监测模块(4)包括视嗅融合终端温湿度传感器(400)和视嗅融合终端定位模块(401)。
5.根据权利要求1所述的一种特殊作业视嗅融合安全识别柔性物联系统,其特征在于,所述特殊作业监测数据通信网络系统(9)包括局域网(900)、网关(901)、通信网络(902);
由特殊作业现场全要素感知系统(8)检测到的人工嗅觉数据和特殊作业现场视频图像经过局域网(900)输入网关(901),网关(901)对人工嗅觉信号进行信号处理,并通过模式识别算法识别气体种类,检测气体浓度;在网关(901)中人工嗅觉数据会进行数据备份,人工嗅觉数据和特殊作业现场视频图像由网关发送至网络通信(902);网关(901)接收来自特殊作业视嗅融合安全隐患识别与智能预警服务系统(10)的指令,进行解析并下发至特殊作业现场全要素感知系统(8);
网关(901)将人工嗅觉响应和现场实时视频图像经过网络协议(904)上传至特殊作业视嗅融合安全隐患识别与智能预警服务系统(10);移动终端(906)的5G通信(905)接入通信网络(902),以获取特殊作业现场实时数据,或发送指令。
6.根据权利要求1所述的一种特殊作业视嗅融合安全识别柔性物联系统,其特征在于,所述特殊作业视嗅融合安全隐患识别与智能预警服务系统(10)包括服务器(1000)、图像目标检测模块、视频行为识别模块、场景匹配模块、视嗅融合隐患识别模块、视嗅融合风险预警模块、智能决策与下发指令模块及生成报表并存档模块;
服务器(1000)接收来自通信网络的人工嗅觉响应数据和特殊作业现场视频图像数据;所述图像目标检测模块用于特殊作业现场的图像数据经过图像预处理后进行图像目标检测,以检测作业现场的安全隐患;所述视频行为识别模块用于特殊作业现场的视频数据经过预处理后进行视频行为识别以检测危险行为;所述场景匹配模块用于特殊作业现场图像的目标检测可以进行特殊作业场景识别与相关识别分析参数匹配;所述视嗅融合隐患识别模块用于特殊作业环境的气体组分信息与图像视频信息进行视嗅融合,实现特殊作业现场全要素的安全隐患识别;所述视嗅融合风险预警模块用于特殊作业过程中气体组分信息与作业人员工作的视频图像信息进行视嗅融合,实现特殊作业过程的风险评级与安全预警;所述智能决策与下发指令模块用于当出现风险预警时,触发智能决策服务,将分析当前特殊作业种类、发生预警的事故信息和相关数据,判断当前特殊作业是否需要改善作业条件及提供作业条件改善建议,并将最终决策转换成指令,下发至特殊作业监测数据通信网络系统(9);所述生成报表并存档模块用于特殊作业过程中将量化数据生成实时工作看板,作业结束后生成作业报表,并作业过程中重要数据存档;移动终端(906)能够通过登录至通信网络(902)实时查看特殊作业状态和作业报表。
7.根据权利要求1所述的一种特殊作业视嗅融合安全识别柔性物联系统,其特征在于,所述人工嗅觉模块(2)还包括气体传感器阵列初始校准模块(1100)与在线漂移校准模块(1101);
初始校准模块(1100)对大量不同气体传感器阵列响应特征建立气体传感器阵列响应特征数据集,构建传感器阵列初始校准模型,在更换气体传感器探头后的初次使用时,气体传感器阵列在初始校准模型修正下实现气体传感器阵列的初始校准;
在线漂移校准模块(1101)根据大量气体传感器的漂移特性建立数据集和模型,在气体传感器阵列长时间使用后发生气体传感器漂移时,对气体传感器漂移进行补偿。
8.根据权利要求1所述的一种特殊作业视嗅融合安全识别柔性物联系统,其特征在于,所述特殊作业监测数据通信网络系统(9)连接多个人工嗅觉视嗅融合终端,多个人工嗅觉视嗅融合终端通过通信模块(7)进行柔性组网,后加入的人工嗅觉视嗅融合终端作为从机,先加入的人工嗅觉视嗅融合终端作为主机;
多个视嗅融合终端传输的数据包括:由微控制器(1)读取的气体传感器阵列(201)响应信号、由微控制器(1)读取视嗅融合终端定位模块(401)的位置数据和由微控制器(1)读取视嗅融合终端温湿度传感器(400)的温湿度响应数据;并形成实时终端位置-泄漏气体浓度的信息矩阵,上传至特殊作业监测数据通信网络系统(9);特殊作业监测数据通信网络系统(9)读取实时终端位置-泄漏气体浓度的信息矩阵,解析浓度数据,基于气体扩散模型进行基于稀疏静态气体传感器的泄漏溯源,确定泄漏源位置。
9.根据权利要求1所述的一种特殊作业视嗅融合安全识别柔性物联系统,其特征在于,所述人工嗅觉视嗅融合终端还包括:交互模块(5)和供电模块(6);
所述交互模块(5)用于人机交互处理;供电模块(6)用于提供供电,交互模块(5)、供电模块(6)和通信模块(7)均与微控制器(1)电连接;
所述交互模块(5)包括声光报警装置(500)和液晶显示屏(501),声光报警装置(500)和液晶显示屏(501)均与微控制器(1)连接;所述声光报警装置(500)在特殊作业过程中发生异常情况时发出警报,所述液晶显示屏(501)用于展示特殊作业现场信息;
所述供电模块(6)包括内置电源(600)、开关(601)和USB数据传输/供电(602);所述内置电源(600)为锂电池;所述开关(601)为视嗅融合终端的启停开关;所述USB数据传输/供电(602)用于通过USB接口的有源供电;所述USB数据传输/供电(602)还可用于通过USB接口的数据传输。
10.根据权利要求1所述的一种特殊作业视嗅融合安全识别柔性物联系统,其特征在于,所述通信模块(7)包括无线模块(700)、天线(701)、有线模块(702)和RJ45接口(703);所述无线模块(700)和天线(701)用于无线通信;所述有线模块(702)与RJ45接口(703)用于网线有线通信。
CN202110482790.1A 2021-04-30 2021-04-30 一种特殊作业视嗅融合安全识别柔性物联系统 Pending CN113375712A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110482790.1A CN113375712A (zh) 2021-04-30 2021-04-30 一种特殊作业视嗅融合安全识别柔性物联系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110482790.1A CN113375712A (zh) 2021-04-30 2021-04-30 一种特殊作业视嗅融合安全识别柔性物联系统

Publications (1)

Publication Number Publication Date
CN113375712A true CN113375712A (zh) 2021-09-10

Family

ID=77570452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110482790.1A Pending CN113375712A (zh) 2021-04-30 2021-04-30 一种特殊作业视嗅融合安全识别柔性物联系统

Country Status (1)

Country Link
CN (1) CN113375712A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1381006A2 (en) * 2002-07-11 2004-01-14 Sony Corporation Monitoring system and monitoring method
CN204989947U (zh) * 2015-09-15 2016-01-20 泰山医学院 一种可视化智能监控数据安防控制分站系统
CN106096885A (zh) * 2016-06-12 2016-11-09 石化盈科信息技术有限责任公司 基于物联网技术的危化品物流监管方法及监管系统
CN106249679A (zh) * 2016-08-29 2016-12-21 重庆博安科创科技有限公司 基于物联网的高危险性实验室监控系统
CN107462380A (zh) * 2017-07-26 2017-12-12 西安交通大学 一种基于智能嗅觉视觉的气体泄漏自主定位装置及方法
CN107896253A (zh) * 2017-11-24 2018-04-10 上海璞玫信息科技有限公司 一种危险品港区储运安全监管系统
CN207947802U (zh) * 2018-01-19 2018-10-09 苏州市职业大学(苏州开放大学) 基于物联网的井下安全作业监测预警系统
CN109828513A (zh) * 2018-12-29 2019-05-31 宁波中一石化科技股份有限公司 一种化工生产巡控系统
CN110022000A (zh) * 2019-05-22 2019-07-16 上海拜安实业有限公司 变电站中实现多参量融合智能感知功能的终端装置
WO2020215907A1 (zh) * 2019-04-23 2020-10-29 北京海益同展信息科技有限公司 机房巡检系统
KR20210012550A (ko) * 2019-07-25 2021-02-03 주식회사 티포엘 대기질 원격 관리가 가능한 IoT 가스센서 디바이스 및 이를 이용하는 시스템

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1381006A2 (en) * 2002-07-11 2004-01-14 Sony Corporation Monitoring system and monitoring method
CN204989947U (zh) * 2015-09-15 2016-01-20 泰山医学院 一种可视化智能监控数据安防控制分站系统
CN106096885A (zh) * 2016-06-12 2016-11-09 石化盈科信息技术有限责任公司 基于物联网技术的危化品物流监管方法及监管系统
CN106249679A (zh) * 2016-08-29 2016-12-21 重庆博安科创科技有限公司 基于物联网的高危险性实验室监控系统
CN107462380A (zh) * 2017-07-26 2017-12-12 西安交通大学 一种基于智能嗅觉视觉的气体泄漏自主定位装置及方法
CN107896253A (zh) * 2017-11-24 2018-04-10 上海璞玫信息科技有限公司 一种危险品港区储运安全监管系统
CN207947802U (zh) * 2018-01-19 2018-10-09 苏州市职业大学(苏州开放大学) 基于物联网的井下安全作业监测预警系统
CN109828513A (zh) * 2018-12-29 2019-05-31 宁波中一石化科技股份有限公司 一种化工生产巡控系统
WO2020215907A1 (zh) * 2019-04-23 2020-10-29 北京海益同展信息科技有限公司 机房巡检系统
CN110022000A (zh) * 2019-05-22 2019-07-16 上海拜安实业有限公司 变电站中实现多参量融合智能感知功能的终端装置
KR20210012550A (ko) * 2019-07-25 2021-02-03 주식회사 티포엘 대기질 원격 관리가 가능한 IoT 가스센서 디바이스 및 이를 이용하는 시스템

Similar Documents

Publication Publication Date Title
CN105306925B (zh) 一种视频监控前端设备监测系统及监测方法
CN108039016B (zh) 一种地铁地下运营空间安全监测与预警系统
CN110543986A (zh) 一种输电线路外部隐患智能监控系统及其监控方法
CN213518557U (zh) 一种城市消防物联网监控管理系统
CN106559270B (zh) 一种城轨信号设备的数据分析方法及装置
CN101059897A (zh) 一种新型隧道火灾预警系统及控制方法
CN206331548U (zh) 一种温湿度监控及火灾报警机器人系统
CN205388766U (zh) 一种建筑工程安全施工信息化监管系统
CN208538288U (zh) 一种感烟火灾探测器电路和感烟火灾探测器
CN105139471A (zh) 一种电力设备的巡检方法
CN205427566U (zh) 一种基于互联网的远程基站监护系统
CN113093634A (zh) 一种光纤通信管道的故障报警监控系统
CN115393340A (zh) 一种基于5g算法的ai视觉产品质量检测系统
CN112966552B (zh) 一种基于智能识别的例行巡视方法及系统
CN110445763A (zh) 一种具有安全性的弱电智能监控系统
CN207709510U (zh) 一种智能型通风柜系统
CN211878472U (zh) 一种智慧工厂mes系统
CN208537961U (zh) 基于物联网技术的智慧消防监控管理系统
CN113375712A (zh) 一种特殊作业视嗅融合安全识别柔性物联系统
CN201035400Y (zh) 测温式电气火灾监控系统
CN205209536U (zh) 一种配电箱用的环境在线监控系统
CN113379082A (zh) 一种洁净工业环境及设备的云智慧监测节能及运维管理平台
CN113011698A (zh) 一种智能装备管控平台
CN208781011U (zh) 一种设备指示灯状态采集装置
CN203414453U (zh) 一种气体监控、预警和分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910

RJ01 Rejection of invention patent application after publication