CN117314907B - 基于机器视觉的工业厂房生产安全预警方法及系统 - Google Patents
基于机器视觉的工业厂房生产安全预警方法及系统 Download PDFInfo
- Publication number
- CN117314907B CN117314907B CN202311599107.8A CN202311599107A CN117314907B CN 117314907 B CN117314907 B CN 117314907B CN 202311599107 A CN202311599107 A CN 202311599107A CN 117314907 B CN117314907 B CN 117314907B
- Authority
- CN
- China
- Prior art keywords
- leakage
- gas
- gray
- trusted
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 28
- 230000008859 change Effects 0.000 claims abstract description 89
- 238000009792 diffusion process Methods 0.000 claims abstract description 45
- 230000005484 gravity Effects 0.000 claims description 95
- 230000001788 irregular Effects 0.000 claims description 13
- 230000005855 radiation Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 20
- 238000012545 processing Methods 0.000 abstract description 5
- 238000012216 screening Methods 0.000 abstract 1
- 239000007789 gas Substances 0.000 description 169
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009965 odorless effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- VGGSQFUCUMXWEO-UHFFFAOYSA-N Ethene Chemical compound C=C VGGSQFUCUMXWEO-UHFFFAOYSA-N 0.000 description 1
- 239000005977 Ethylene Substances 0.000 description 1
- 229910018503 SF6 Inorganic materials 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 229910021529 ammonia Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- SFZCNBIFKDRMGX-UHFFFAOYSA-N sulfur hexafluoride Chemical compound FS(F)(F)(F)(F)F SFZCNBIFKDRMGX-UHFFFAOYSA-N 0.000 description 1
- 229960000909 sulfur hexafluoride Drugs 0.000 description 1
- 239000002341 toxic gas Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Examining Or Testing Airtightness (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及基于机器视觉的工业厂房生产安全预警方法及系统,采集工业管道红外视频图像及可见光视频图像,通过同时刻红外图像与可见光图像的对比获取红外图像的各疑似气体泄漏区域,筛选得到各可信泄漏区域,根据其灰度重心变化情况得到各灰度重心变化轨迹的灰度重心波动指数,根据红外视频图像中主成分图像得到各灰度重心变化轨迹的气体扩散程度,结合灰度重心波动指数得到当前时刻各可信泄漏区域的气体泄漏指数,通过泄漏阈值进行判断得到气体泄漏区域,并进行预警。从而实现工业厂房生产安全预警,提高了工业厂房生产安全性,提高了气体泄漏检测准确性,具有较高气体泄漏检测效率。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及基于机器视觉的工业厂房生产安全预警方法及系统。
背景技术
在工业发展进程中,难免会出现有毒气体的泄漏,大多数危险气体为挥发性有机气体,因其具有无色无味的特点,在发生泄漏时不易被工作人员察觉,如果对于这些气体不能及时采取措施,将会引发恶劣的影响。当前,电子化工企业中主要依靠传统传感器式检测设备对化工园区进行排察。检测设备可分为移动式、便携式和固定式气体检测器三大类。随着科技的发展,传感器的检测精度在不断提高,检测方式也多样化,但仍有检测范围小、难以定位,需要人为干涉等问题。
为此,如何快速检测到气体泄漏的存在,有效评估泄漏气体在空间中的分布状态和扩散趋势,准确定位气体泄漏源,以便相关部门和人员迅速采取有效措施,防止重大气体泄漏事故的发生成为迫切需要解决的问题。
综上所述,本发明提出基于机器视觉的工业厂房生产安全预警方法及系统,通过对红外视频图像与可见光视频图像对比获取各红外图像中的疑似气体泄漏区域,根据各疑似气体泄漏区域形状、灰度重心变化得到当前时刻各可信泄漏区域的气体泄漏指数,与泄漏阈值比较得到气体泄漏区域,并进行预警。
发明内容
为了解决上述技术问题,本发明的目的在于提供基于机器视觉的工业厂房生产安全预警方法及系统,所采用的技术方案具体如下:
第一方面,本发明实施例提供了基于机器视觉的工业厂房生产安全预警方法,该方法包括以下步骤:
采集工业管道各时刻红外图像及可见光图像;
通过高斯混合模型获取各时刻红外图像及可见光图像的运动区域,分别记为红外运动图像及可见光运动图像;将各时刻红外及可见光运动图像的差分图像中各运动区域作为各时刻红外图像中各疑似气体泄漏区域;根据各疑似气体泄漏区域的各方向辐射线长度得到各可信泄漏区域;获取当前时刻红外图像中各可信泄漏区域的灰度重心变化轨迹;根据各灰度重心变化轨迹的波动情况得到各灰度重心变化轨迹的灰度重心波动指数;
通过方向梯度直方图特征及主成分分析获取红外视频图像中的主成分图像;将主成分图像中、灰度重心处于同一灰度重心变化轨迹的各可信泄漏区域组成的序列作为第一序列;根据第一序列中元素变化得到第一序列中各相邻可信泄漏区域之间的气体递变程度;根据气体递变程度得到第一序列中各相邻可信泄漏区域之间的气体扩散指数;根据气体扩散指数得到各灰度重心变化轨迹的气体扩散程度;
根据各灰度重心变化轨迹的灰度重心波动指数及气体扩散程度得到当前时刻各可信泄漏区域的气体泄漏指数;根据当前时刻各可信泄漏区域的气体泄漏指数得到气体泄漏区域。
优选的,所述根据各疑似气体泄漏区域的各方向辐射线长度得到各可信泄漏区域,具体为:
对于各疑似气体泄漏区域,将疑似气体泄漏区域的各方向辐射线长度输入半径形状指数计算公式得到疑似气体泄漏区域的半径形状指数;预设不规则阈值;将半径形状指数大于不规则阈值的疑似气体泄漏区域作为可信泄漏区域。
优选的,所述获取当前时刻红外图像中各可信泄漏区域的灰度重心变化轨迹,具体为:
对于当前时刻红外图像中各可信泄漏区域,获取可信泄漏区域在各时刻红外图像中对应的各可信泄漏区域的灰度重心,将灰度重心随时间变化的轨迹作为当前时刻红外图像中可信泄漏区域的灰度重心变化轨迹。
优选的,所述根据各灰度重心变化轨迹的波动情况得到各灰度重心变化轨迹的灰度重心波动指数,具体包括:
对于各灰度重心变化轨迹,通过曲线拟合获取灰度重心变化轨迹的拟合曲线,通过梯度下降算法获取拟合曲线的各极值点;分别获取所有极值点横、纵坐标平均值组成的坐标记为中心坐标;将所有极值点到中心坐标之间欧氏距离的均值作为灰度重心变化轨迹的灰度重心波动指数。
优选的,所述根据第一序列中元素变化得到第一序列中各相邻可信泄漏区域之间的气体递变程度,具体包括:
对于第一序列中各对相邻可信泄漏区域,获取相邻可信泄漏区域中各相互对应的辐射线,其中相互对应指辐射线方向相同;计算各相互对应的辐射线之间的长度差值绝对值;计算各相互对应的辐射线上边缘像素点的灰度值差值绝对值;将所述长度差值绝对值与所述灰度值差值绝对值的比值作为相邻可信泄漏区域之间的气体递变程度。
优选的,所述根据气体递变程度得到第一序列中各相邻可信泄漏区域之间的气体扩散指数,具体包括:
将第一序列中相邻可信泄漏区域中各同角度辐射线的长度差值输入半径形状指数计算公式得到第一序列中相邻可信泄漏区域之间的形状变化指数;
对于第一序列中各相邻可信泄漏区域,将相邻可信泄漏区域之间的形状变化指数与气体递变程度的乘积作为相邻可信泄漏区域之间的气体扩散指数。
优选的,所述根据气体扩散指数得到各灰度重心变化轨迹的气体扩散程度,具体包括:将各第一序列中相邻可信泄漏区域之间的气体扩散指数的均值作为各灰度重心变化轨迹的气体扩散程度。
优选的,所述当前时刻各可信泄漏区域的气体泄漏指数为:将各灰度重心变化轨迹的灰度重心波动指数与气体扩散程度之和的平均值作为当前时刻各可信泄漏区域的气体泄漏指数。
优选的,所述根据当前时刻各可信泄漏区域的气体泄漏指数得到气体泄漏区域,具体为:预设泄漏阈值,将气体泄漏指数大于泄漏阈值的可信泄漏区域作为气体泄漏区域。
第二方面,本发明实施例还提供了基于机器视觉的工业厂房生产安全预警系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
本发明实施例至少具有如下有益效果:
本发明通过机器视觉结合工业管道气体泄漏特点,对疑似气体泄漏区域的边缘不规则特征、扩散递变特征进行分析和量化,同时分析气体的飘动特征,使其能够准确的区分泄漏气体区域和干扰区域,并实现准确定位,解决了气体传感器检测时,检测范围小、难以定位的问题,避免了因气体泄漏检测不及时导致重大气体泄漏事故发生的问题,提高了工业厂房生产安全性,提高了气体泄漏检测准确性,具有较高检测效率;
本发明提出一种基于机器视觉的工业厂房生产安全预警方法及系统,采集工业管道红外视频图像及可见光视频图像,通过对同时刻红外图像与可见光图像中的运动物体对比获取各时刻红外图像中的疑似气体泄漏区域,通过疑似气体泄漏区域的半径形状指数筛选出可信泄漏区域,根据各可信泄漏区域的灰度重心变化情况得到各灰度重心变化轨迹的灰度重心波动指数,根据红外视频图像中主成分图像的可信泄漏区域的形状及灰度变化得到各灰度重心变化轨迹的气体扩散程度,结合灰度重心波动指数得到当前时刻各可信泄漏区域的气体泄漏指数,通过泄漏阈值进行判断得到气体泄漏区域,并进行预警,提高了气体泄漏检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的基于机器视觉的工业厂房生产安全预警方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于机器视觉的工业厂房生产安全预警方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于机器视觉的工业厂房生产安全预警方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于机器视觉的工业厂房生产安全预警方法的步骤流程图,该方法包括以下步骤:
步骤S001,采集工业管道各时刻红外图像及可见光图像。
选用美国FLIR公司生产的光学气体成像仪FLIR G306作为气体红外成像设备对工业管道进行拍摄,采集工业管道红外图像,该成像仪可将各种环境中的六氟化硫()、氨(/>)、乙烯(/>)等工业气体可视化,内置/>和蓝牙功能,可以连接到智能手机或平板电脑,方便编辑图像并存储到云端,并且具有小于15/>的热灵敏度,可对极微量的气体泄漏进行成像,满足大多数气体检测需求。
由于泄漏的气体可能是无色无味的,仅在红外图像中可见,而由其他运动目标产生的干扰在红外和可见光图像中均可见,故在采集红外图像的同时,采集同视角的工业管道的可见光图像,进行辅助性的疑似泄漏区域提取,排除可见光下的运动干扰。
采集工业管道的红外图像及可见光图像的视频图像,获取的视频图像可看作一系列短时间间隔的图像集合,视频图像的帧率为30FPS,即每秒拍摄30张图像,采集的视频图像具体为当前时刻前10分钟内的图像。需要说明的是,帧率及拍摄时间段实施者可自行设定,本实施例不做具体限制。至此,得到各时刻的红外图像及可见光图像。
考虑到工业园区内管线分布广,危险气体可能会在园区多个区域出现泄漏,故预先设定若干个监控区域,具体设置地点此处不做讨论。
步骤S002,通过对同时刻红外图像与可见光图像中的运动物体对比获取各时刻红外图像中疑似气体泄漏区域,根据各疑似气体泄漏区域形状、灰度重心变化得到当前时刻红外图像中各可信泄漏区域的气体泄漏指数。
将采集到的图像中最新时刻的红外及可见光图像作为当前时刻的红外及可见光图像。为获取当前时刻图像中的气体泄漏区域,由于管道泄漏点泄漏的气体是运动的,可首先获取视频图像中的运动区域,然后通过同一时刻的红外图像与可见光图像中的运动物体对比获取各时刻红外图像中的疑似气体泄漏区域,具体为:
首先,为获取红外图像及可见光图像中的运动区域,可通过背景消减法对运动目标进行提取,但该方法容易受到环境变化(如光线、微风等)的影响。而高斯混合模型通过对每个高斯分布的参数的在线更新,能够很好地表征缓慢变化的背景,较好地解决多模态背景问题及消除环境光照变化的干扰。因此,本实施例选用高斯混合模型获取图像中运动区域,其中,高斯混合模型输入为红外视频图像及可见光视频图像,输出为每张图像中的运动区域,高斯混合模型为公知技术,具体过程不再赘述。
然后为获取图像中的气体泄漏区域,由光学气体成像原理可知,大多数有机气体在红外条件下可见,但在可见光图像中不可见,因此将红外图像中运动区域组成的图像作为红外运动图像,将可见光图像中运动区域组成的图像作为可见光运动图像。将各红外运动图像与同时刻的可见光运动图像进行差分处理,即将两张图像中对应位置的像素值相减,从而将两幅图像中的相同运动区域消除,最终得到两张图像的差分图像,该图像保留了仅在红外图像下出现的运动区域,即为红外图像中各疑似气体泄漏区域。
由于管道中气体在泄漏时,在管道压强的影响下所展现的形状特征有着明显的竖直上升的形态,且气体具有边缘不规则特征、扩散特征、飘动特征。通过各疑似泄漏区域的边缘不规则特征、扩散特征获取红外图像中各可信泄漏区域,具体为:
首先,对于各疑似气体泄漏区域,通过Canny算子对疑似气体泄漏区域进行边缘检测获取其闭合轮廓;获取各疑似气体泄漏区域的灰度重心,以疑似气体泄漏区域的灰度重心为中心,在其个方向上寻找闭合轮廓上的边缘像素点,其中,每相邻两个方向之间间隔/>,将寻找到的边缘像素点分别与灰度重心相连,将各连线作为疑似泄漏区域的各辐射线。其中Canny算子及灰度重心获取为公知技术,具体过程不再赘述。由于可能存在多个边缘像素点的辐射线重叠,即多个边缘像素点在同一辐射线上,为降低计算量,当多个边缘像素点的辐射线与水平夹角相同时,仅保留辐射线长度最长的边缘像素点,作为该方向角度的最终辐射线。
然后,将边缘像素点与灰度重心之间的位置距离作为对应辐射线的长度。在各疑似气体泄漏区域中,根据疑似气体泄漏区域中各方向角度的辐射线的长度计算疑似气体泄漏区域的半径形状指数,半径形状指数为公知技术,具体计算过程不再赘述。
最后,设定不规则阈值,需要说明的是,/>的值实施者可自行设定,本实施例将/>的值设定为0.7。若疑似气体泄漏区域的半径形状指数大于不规则阈值,则说明疑似气体泄漏区域的边缘轮廓的不规则程度较高,该疑似气体泄漏区域为真正的工业管道气体泄漏区域的可能性较大,将此疑似气体泄漏区域作为可信泄漏区域;若小于不规则阈值,则说明疑似气体泄漏区域的边缘轮廓的不规则程度较低,为真正的工业管道气体泄漏区域的可能性较小,将此疑似气体泄漏区域舍弃。通过上述方法获取各可信泄漏区域。
为对同一管道泄漏点在不同图像中产生的气体泄漏区域进行边缘形状的比较,需要先获取当前时刻红外图像中各可信泄漏区域的灰度重心在视频图像中的变化轨迹,记为当前时刻各可信泄漏区域的灰度重心变化轨迹,具体获取过程为:
首先,获取各可信泄漏区域中像素点的坐标及各像素点在其红外图像灰度图中的灰度值,将各像素点灰度值作为各像素点坐标的权重,计算加权后像素点横、纵坐标均值,将其作为可信泄漏区域的灰度重心的坐标,从而得到各可信泄漏区域的灰度重心。
然后,由于相邻两个采集时刻之间间隔较短,同一管道泄漏点在相邻两个红外图像中产生的气体泄漏区域的灰度重心位置变化不大,因此,将当前时刻红外图像中第个灰度重心所在的可信泄漏区域记为/>区域,在前一时刻的红外图像中与A区域对应区域内寻找灰度重心,重复上述步骤寻找剩余时刻图像中对应的灰度重心,这些灰度重心随时间变化的轨迹即为当前时刻红外图像中/>区域的灰度重心变化轨迹,即以灰度重心坐标的横坐标为x轴,纵坐标为y轴建立直角坐标系,直角坐标系中各点对应各灰度重心坐标,将各灰度重心坐标点按所处图像的时间先后顺序进行连接,得到的连线即为/>区域的灰度重心变化轨迹。通过上述方法获取当前时刻红外图像中各可信泄漏区域的灰度重心变化轨迹。
泄漏气体的扩散过程为从扩散中心到边缘、从高浓度到低浓度的动态变化过程,在气体红外视频图像中表现为,气体分子从泄漏点持续向四周扩散,气体形状和流动方向会不断发生变化,而视频中的其它物体,如管道等一般形状固定且亮度分布均匀。由于空气流动影响,泄漏气体的形状很难保持稳定,会以泄漏点为中心向外扩散,气体泄漏区域内气体浓度不断变化,但气体泄漏区域的灰度中心随时间总在泄漏点附近不断波动变化。根据各灰度重心变化轨迹的波动变化计算其灰度重心波动指数,具体为:
通过最小二乘法对各灰度重心变化轨迹进行曲线拟合,得到拟合曲线作为各灰度重心变化曲线。最小二乘法拟合曲线为公知技术,此处不再赘述。对于各灰度重心变化曲线,通过梯度下降算法获取灰度重心变化曲线的各极值点,获取所有极值点横、纵坐标的平均值组成的坐标,记为中心坐标,计算各灰度重心变化轨迹的灰度重心波动指数:
式中,为第/>个灰度重心变化轨迹的灰度重心波动指数,/>为第/>个灰度重心变化曲线上极值点个数,/>为第/>个灰度重心变化曲线上第/>个极值点坐标,/>为第/>个灰度重心变化曲线上所有极值点横、纵坐标的平均值组成的坐标,/>为归一化函数。/>越小,说明可信泄漏区域的灰度重心随时间变化的移动范围越小,/>越小,当前时刻红外图像中该灰度重心变化轨迹对应的可信泄漏区域越可能为真正的气体泄漏区域。
由于气体泄漏为气体分子从高浓度区域到低浓度区域的扩散过程,反映在红外图像中灰度值在气体浓度较高区域灰度值变化快,浓度较低区域灰度值变化慢。因此,对各红外图像,通过计算图像中所有可信泄漏区域内像素点的方向梯度直方图特征(HOG)获取每帧红外图像的HOG特征向量图像;将每帧红外图像的HOG特征向量图像作为训练集进行主成分(PCA)分析,取方差累计贡献率最大的前50个红外图像,将其作为主成分图像。其中方向梯度直方图特征(HOG)及主成分分析(PCA)为公知技术,此处不再赘述。
获取主成分图像中灰度重心处于同一灰度重心变化轨迹上的各可信泄漏区域,将其按所处主成分图像的帧数降序排列,组成的序列记为第一序列。计算第一序列中各相邻可信泄漏区域之间的气体递变程度:
式中,为第一序列中第/>对相邻可信泄漏区域之间的气体递变程度,/>为各可信泄漏区域中辐射线的个数,由上述可知/>,/>为第/>对相邻可信泄漏区域中第/>对同角度的辐射线之间的气体递变程度,/>、/>分别为第一序列中第/>个、第/>个可信泄漏区域中第/>个角度的辐射线的长度,/>、/>分别为第一序列中第/>个、第/>个可信泄漏区域中第/>个角度的辐射线上可信泄漏区域边缘像素点在所属红外图像灰度图中的灰度值。两个辐射线上边缘像素点灰度值差别越大、两个辐射线长度差别越小,说明单位长度灰度值变化量越大,相邻两个可信泄漏区域之间的气体递变程度越大。
对于各第一序列,将第一序列中相邻可信泄漏区域中同角度辐射线的长度差值作为该角度新的辐射线长度,通过各角度新的辐射线长度计算半径形状指数,将计算结果作为相邻可信泄漏区域之间的形状变化指数。第一序列中相邻可信泄漏区域之间的形状差别越大,气体扩散程度越大,从而形状变化指数越大。
通过第一序列中各相邻可信泄漏区域之间的气体递变程度及形状变化指数计算第一序列中各相邻可信泄漏区域之间的气体扩散指数:
式中,为第一序列中第/>对相邻可信泄漏区域之间的气体扩散指数,/>为第一序列中第/>对相邻可信泄漏区域之间的气体递变程度,/>为第一序列中第/>对相邻可信泄漏区域之间的形状变化指数,/>为归一化函数。气体在扩散过程中是不规则的,且气体浓度具有递变特征。形状变化越大,且递变程度越大,越符合气体扩散特征,气体扩散指数越大。
通过每个第一序列中各相邻可信泄漏区域之间的气体扩散指数计算各灰度重心变化轨迹的气体扩散程度:
式中,为第/>个灰度重心变化轨迹的气体扩散程度,/>为第/>个第一序列中可信泄漏区域个数,/>为第/>个第一序列中第/>对相邻可信泄漏区域之间的气体扩散指数。其中,第/>个第一序列中各可信泄漏区域的灰度重心均在第/>个灰度重心变化轨迹上。气体扩散程度越大,该灰度重心变化轨迹对应的可信泄漏区域越可能为真正的气体泄漏区域。
由于气体特征受多因素的影响,其状态多种多样,故构建气体泄漏指数:
式中,为当前时刻红外图像中第/>个可信泄漏区域的气体泄漏指数,/>第/>个灰度重心变化轨迹的灰度重心波动指数,/>为第/>个灰度重心变化轨迹的气体扩散程度。其中,当前时刻第/>个可信泄漏区域的灰度重心在第/>个灰度重心变化轨迹上。/>越大、/>越大,灰度重心变化轨迹对应的当前时刻的气体泄漏区域越可能为真正的气体泄漏区域。
步骤S003,根据当前时刻红外图像中各可信泄漏区域的气体泄漏指数得到当前时刻红外图像中的气体泄漏区域,进行预警。
设定泄漏阈值,需要说明的是,/>的值实施者可自行设定,本实施例将/>的值设定为0.7。若气体泄漏指数大于泄漏阈值/>,则认为可信泄漏区域为真实气体泄漏区域,并发出气体泄漏警报,通知相关工作人员进行处理;若气体泄漏指数小于泄漏阈值/>,则认为可信泄漏区域不是真实气体泄漏区域,不对其进行报警。
根据红外成像中的气体泄漏区域对应可见光图像中的具体位置实现精确定位,工作人员可根据定位图像快速找到对应位置进行检查,及时采取处理措施。
基于与上述方法相同的发明构思,本发明实施例还提供了基于机器视觉的工业厂房生产安全预警系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于机器视觉的工业厂房生产安全预警方法中任意一项所述方法的步骤。
综上所述,本发明实施例提供了基于机器视觉的工业厂房生产安全预警方法,通过机器视觉结合工业管道气体泄漏特点,对疑似气体泄漏区域的边缘不规则特征、扩散递变特征进行分析和量化,同时分析气体的飘动特征,使其能够准确的区分泄漏气体区域和干扰区域,并实现准确定位,解决了气体传感器检测时,检测范围小、难以定位的问题,避免了因气体泄漏检测不及时导致重大气体泄漏事故发生的问题,提高了工业厂房生产安全性,提高了气体泄漏检测准确性,具有较高检测效率;
本实施例采集工业管道红外视频图像及可见光视频图像,通过对同时刻红外图像与可见光图像中的运动物体对比获取各时刻红外图像中的疑似气体泄漏区域,通过疑似气体泄漏区域的半径形状指数筛选出可信泄漏区域,根据各可信泄漏区域的灰度重心变化情况得到各灰度重心变化轨迹的灰度重心波动指数,根据红外视频图像中主成分图像的可信泄漏区域的形状及灰度变化得到各灰度重心变化轨迹的气体扩散程度,结合灰度重心波动指数得到当前时刻各可信泄漏区域的气体泄漏指数,通过泄漏阈值进行判断得到气体泄漏区域,并进行预警,提高了气体泄漏检测精度。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.基于机器视觉的工业厂房生产安全预警方法,其特征在于,该方法包括以下步骤:
采集工业管道各时刻红外图像及可见光图像;
通过高斯混合模型获取各时刻红外图像及可见光图像的运动区域,分别记为红外运动图像及可见光运动图像;将各时刻红外及可见光运动图像的差分图像中各运动区域作为各时刻红外图像中各疑似气体泄漏区域;根据各疑似气体泄漏区域的各方向辐射线长度得到各可信泄漏区域;获取当前时刻红外图像中各可信泄漏区域的灰度重心变化轨迹;根据各灰度重心变化轨迹的波动情况得到各灰度重心变化轨迹的灰度重心波动指数;
通过方向梯度直方图特征及主成分分析获取红外视频图像中的主成分图像;将主成分图像中、灰度重心处于同一灰度重心变化轨迹的各可信泄漏区域组成的序列作为第一序列;根据第一序列中元素变化得到第一序列中各相邻可信泄漏区域之间的气体递变程度;根据气体递变程度得到第一序列中各相邻可信泄漏区域之间的气体扩散指数;根据气体扩散指数得到各灰度重心变化轨迹的气体扩散程度;
根据各灰度重心变化轨迹的灰度重心波动指数及气体扩散程度得到当前时刻各可信泄漏区域的气体泄漏指数;根据当前时刻各可信泄漏区域的气体泄漏指数得到气体泄漏区域;
所述根据各灰度重心变化轨迹的波动情况得到各灰度重心变化轨迹的灰度重心波动指数,具体包括:对于各灰度重心变化轨迹,通过曲线拟合获取灰度重心变化轨迹的拟合曲线,通过梯度下降算法获取拟合曲线的各极值点;分别获取所有极值点横、纵坐标平均值组成的坐标记为中心坐标;将所有极值点到中心坐标之间欧氏距离的均值作为灰度重心变化轨迹的灰度重心波动指数;
所述根据第一序列中元素变化得到第一序列中各相邻可信泄漏区域之间的气体递变程度,具体包括:对于第一序列中各对相邻可信泄漏区域,获取相邻可信泄漏区域中各相互对应的辐射线,其中相互对应指辐射线方向相同;计算各相互对应的辐射线之间的长度差值绝对值;计算各相互对应的辐射线上边缘像素点的灰度值差值绝对值;将所述长度差值绝对值与所述灰度值差值绝对值的比值作为相邻可信泄漏区域之间的气体递变程度;
所述根据气体递变程度得到第一序列中各相邻可信泄漏区域之间的气体扩散指数,具体包括:将第一序列中相邻可信泄漏区域中各同角度辐射线的长度差值输入半径形状指数计算公式得到第一序列中相邻可信泄漏区域之间的形状变化指数;对于第一序列中各相邻可信泄漏区域,将相邻可信泄漏区域之间的形状变化指数与气体递变程度的乘积作为相邻可信泄漏区域之间的气体扩散指数;
所述根据气体扩散指数得到各灰度重心变化轨迹的气体扩散程度,具体包括:将各第一序列中相邻可信泄漏区域之间的气体扩散指数的均值作为各灰度重心变化轨迹的气体扩散程度。
2.如权利要求1所述的基于机器视觉的工业厂房生产安全预警方法,其特征在于,所述根据各疑似气体泄漏区域的各方向辐射线长度得到各可信泄漏区域,具体为:
对于各疑似气体泄漏区域,将疑似气体泄漏区域的各方向辐射线长度输入半径形状指数计算公式得到疑似气体泄漏区域的半径形状指数;预设不规则阈值;将半径形状指数大于不规则阈值的疑似气体泄漏区域作为可信泄漏区域。
3.如权利要求1所述的基于机器视觉的工业厂房生产安全预警方法,其特征在于,所述获取当前时刻红外图像中各可信泄漏区域的灰度重心变化轨迹,具体为:
对于当前时刻红外图像中各可信泄漏区域,获取可信泄漏区域在各时刻红外图像中对应的各可信泄漏区域的灰度重心,将灰度重心随时间变化的轨迹作为当前时刻红外图像中可信泄漏区域的灰度重心变化轨迹。
4.如权利要求1所述的基于机器视觉的工业厂房生产安全预警方法,其特征在于,所述当前时刻各可信泄漏区域的气体泄漏指数为:将各灰度重心变化轨迹的灰度重心波动指数与气体扩散程度之和的平均值作为当前时刻各可信泄漏区域的气体泄漏指数。
5.如权利要求1所述的基于机器视觉的工业厂房生产安全预警方法,其特征在于,所述根据当前时刻各可信泄漏区域的气体泄漏指数得到气体泄漏区域,具体为:预设泄漏阈值,将气体泄漏指数大于泄漏阈值的可信泄漏区域作为气体泄漏区域。
6.基于机器视觉的工业厂房生产安全预警系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-5任意一项方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311599107.8A CN117314907B (zh) | 2023-11-28 | 2023-11-28 | 基于机器视觉的工业厂房生产安全预警方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311599107.8A CN117314907B (zh) | 2023-11-28 | 2023-11-28 | 基于机器视觉的工业厂房生产安全预警方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117314907A CN117314907A (zh) | 2023-12-29 |
CN117314907B true CN117314907B (zh) | 2024-02-02 |
Family
ID=89273979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311599107.8A Active CN117314907B (zh) | 2023-11-28 | 2023-11-28 | 基于机器视觉的工业厂房生产安全预警方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117314907B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016208317A1 (ja) * | 2015-06-25 | 2016-12-29 | コニカミノルタ株式会社 | 流体漏洩箇所検出装置および該方法 |
CN112907522A (zh) * | 2021-02-03 | 2021-06-04 | 北京遥感设备研究所 | 一种智能红外气体泄漏监测装置及监测方法 |
CN116883887A (zh) * | 2023-06-05 | 2023-10-13 | 上海开放大学 | 一种针对红外视频的泄漏气体检测方法 |
-
2023
- 2023-11-28 CN CN202311599107.8A patent/CN117314907B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016208317A1 (ja) * | 2015-06-25 | 2016-12-29 | コニカミノルタ株式会社 | 流体漏洩箇所検出装置および該方法 |
CN112907522A (zh) * | 2021-02-03 | 2021-06-04 | 北京遥感设备研究所 | 一种智能红外气体泄漏监测装置及监测方法 |
CN116883887A (zh) * | 2023-06-05 | 2023-10-13 | 上海开放大学 | 一种针对红外视频的泄漏气体检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117314907A (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | HDCB-Net: A neural network with the hybrid dilated convolution for pixel-level crack detection on concrete bridges | |
CN103632158B (zh) | 森林防火监控方法及森林防火监控系统 | |
CN104680519B (zh) | 基于轮廓和颜色的七巧板识别方法 | |
CN101499168B (zh) | 基于脊线跟踪与海森矩阵的结构光光条中心提取方法 | |
CN107403175A (zh) | 一种运动背景下的视觉跟踪方法及视觉跟踪系统 | |
CN111047568A (zh) | 一种漏汽缺陷检测识别方法及系统 | |
CN107292879B (zh) | 一种基于图像分析的金属板材表面异常检测方法 | |
CN106846362A (zh) | 一种目标检测跟踪方法和装置 | |
CN112613454A (zh) | 一种电力基建施工现场违章识别方法及系统 | |
CN104112279B (zh) | 一种目标检测方法及装置 | |
CN116229052B (zh) | 一种基于孪生网络的变电站设备状态变化检测方法 | |
Li et al. | A weak supervision machine vision detection method based on artificial defect simulation | |
CN108229524A (zh) | 一种基于遥感图像的烟囱和冷凝塔检测方法 | |
CN111368756A (zh) | 一种基于可见光的明火烟雾快速识别方法和系统 | |
CN101316371A (zh) | 火焰侦测方法及装置 | |
CN114049490B (zh) | 一种智能化职业卫生预警方法及系统 | |
CN116678826A (zh) | 一种基于快速立体重建的外观缺陷检测系统及方法 | |
Lin et al. | A new prediction method for edge detection based on human visual feature | |
CN117314907B (zh) | 基于机器视觉的工业厂房生产安全预警方法及系统 | |
Lyu et al. | Automated visual inspection expert system for multivariate statistical process control chart | |
CN107729811B (zh) | 一种基于场景建模的夜间火焰检测方法 | |
CN113469938A (zh) | 基于嵌入式前端处理服务器的管廊视频分析方法及系统 | |
CN116110006B (zh) | 一种用于智慧旅游系统的景区游客异常行为识别方法 | |
Zhu et al. | An abnormal behavior detection method using optical flow model and OpenPose | |
Chen et al. | Efficient Micro-LED defect detection based on microscopic vision and deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |