CN115114476A - 基于图像处理的洗煤传输设备监控视频存储方法 - Google Patents
基于图像处理的洗煤传输设备监控视频存储方法 Download PDFInfo
- Publication number
- CN115114476A CN115114476A CN202210880973.3A CN202210880973A CN115114476A CN 115114476 A CN115114476 A CN 115114476A CN 202210880973 A CN202210880973 A CN 202210880973A CN 115114476 A CN115114476 A CN 115114476A
- Authority
- CN
- China
- Prior art keywords
- image
- coal
- block
- storage
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003245 coal Substances 0.000 title claims abstract description 256
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 title claims abstract description 25
- 238000005406 washing Methods 0.000 title claims abstract description 23
- 230000005540 biological transmission Effects 0.000 title claims abstract description 22
- 230000006870 function Effects 0.000 claims description 52
- 238000009792 diffusion process Methods 0.000 claims description 27
- 238000000638 solvent extraction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 12
- 230000002269 spontaneous effect Effects 0.000 description 7
- 238000002485 combustion reaction Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 208000026139 Memory disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009838 combustion analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000006984 memory degeneration Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及基于图像处理的洗煤传输设备监控视频存储方法。该方法首先采集煤炭传输带图像和仅含煤炭区域的煤炭图像;将煤炭图像划分成多个图像块,根据图像块的平均热度值的波动情况和高温像素点数量的波动情况计算图像块的危险程度;每帧煤炭图像中的危险程度的和、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量;将煤炭图像输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽。本发明实施例通过将煤炭图像输入训练好的存储块划分网络,得到存储块的起始坐标和存储块的长宽,实现了根据危险程度划分存储块进行存储,避免了直接对视频图像数据进行存储导致耗费大量存储空间的问题。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及基于图像处理的洗煤传输设备监控视频存储方法。
背景技术
煤炭是古代植物埋藏在地下经历了复杂的生物化学和物理化学变化逐渐形成的固体可燃性矿物,是非常重要的能源,也是冶金、化学工业的重要原料。随着社会经济的发展、工业化水平的提高,人们对能源的需要也随之提高。煤炭作为人们生活中所需的重要能源之一,其使用量也随之增大。直接开采出的煤炭由于存在夹杂物质,如果此时直接使用容易造成危险发生,因此需将开采出的煤炭进行一系列加工,洗煤工艺就是去除煤炭中夹杂物质的过程。在洗煤过程中存在一段较长的煤炭传输过程,在传输过程中由于煤炭为易燃物,传输过程中摩擦导致煤炭出现自燃现象,如果不能及时发现就会造成不可挽回的经济损失,甚至还会影响生命安全。故为了防止煤炭传输过程中煤炭自燃现象的发生,需利用相机实时监控煤炭传输过程中的煤炭图像。
目前,常见的对煤炭传输过程中的监控视频的存储方法为直接对视频数据进行存储。但是由于采集的视频数据量较大,直接对视频数据进行存储会耗费大量的存储空间,且大量视频数据中有很多数据是无需高精度存储的,如存在自燃概率较低的图像区域,这些图像数据对于自燃分析的影响不大。
发明内容
为了解决上述技术问题,本发明的目的在于提供基于图像处理的洗煤传输设备监控视频存储方法,所采用的技术方案具体如下:
采集煤炭传输带图像和对应的热度图;分割出所述煤炭传输带图像中的煤炭区域,得到仅含所述煤炭区域的煤炭图像;
将所述煤炭图像划分成多个图像块,获取所述热度图中对应的各图像块内像素点的平均热度值;计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度;
获取每帧所述煤炭图像中各像素点的热度值,将热度值大于预设热度阈值的像素点划分为高温像素点,其中每个图像块对应多个高温像素点;计算相邻两帧所述煤炭图像中同一图像块的高温像素点数量的差值作为高温扩散面积;
对于任意图像块,根据所述平均热度值、高温扩散面积的波动程度、所述温度增加速度和温度增加速度的波动程度计算图像块的危险程度;
计算每帧所述煤炭图像中的所述危险程度的和作为总危险程度;所述总危险程度、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量;
将所述煤炭图像输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽;所述存储块划分网络的损失函数由所述存储块数量、所述危险程度和存储块的面积构建。
优选的,所述将热度值大于预设热度阈值的像素点划分为高温像素点,其中每个图像块对应多个高温像素点,包括:
对于任意图像块,以所述图像块为中心,判断预设半径内的像素点的热度值,将所述预设半径内的热度值大于预设热度阈值的像素点划分所述图像块对应的高温像素点。
优选的,所述对于任意图像块,根据所述平均热度值、高温扩散面积的波动程度、所述温度增加速度和温度增加速度的波动程度计算图像块的危险程度,包括:
所述危险程度的计算公式为:
其中,为第帧煤炭图像中的第个图像块的危险程度;为第帧煤炭图像中的第个图像块的平均热度值;为第帧煤炭图像中的第个图像块的高温扩散面积的波动程度;为第帧煤炭图像中的第个图像块的温度增加速度;为第帧煤炭图像中的第个图像块的温度增加速度的波动程度。
优选的,所述高温扩散面积的波动程度的获取方法为:
对于任意煤炭图像,获取前面的多帧煤炭图像中同一图像块的高温扩散面积,将所述高温扩散面积大于零的煤炭图像作为面积波动图像,图像块对应的面积波动图像的数量占比作为图像块的高温扩散面积的波动程度。
优选的,所述温度增加速度的波动程度的获取方法为:
对于任意煤炭图像,获取前面的多帧煤炭图像中同一图像块的温度增加速度,将所述温度增加速度大于零的煤炭图像作为温度波动图像,图像块对应的温度波动图像的数量占比作为图像块的温度增加速度的波动程度。
优选的,所述存储块划分网络的损失函数,包括:
优选的,所述存储块划分网络的损失函数,还包括:
优选的,所述存储块划分网络的损失函数,还包括:
所述存储块划分网络的损失函数为第一损失函数和第二损失函数之和。
优选的,所述计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度,包括:
获取每个图像块的中心坐标;所述中心坐标包括横坐标和纵坐标;
以煤炭传输带的运动速度和每帧煤炭图像之间的拍摄时间间隔的乘积,作为横坐标移动位置;在上一帧煤炭图像中选取任意图像块作为目标图像块,目标图像块的中心坐标的横坐标加上所述横坐标移动位置,得到匹配中心横坐标,所述纵坐标保持不变;所述匹配中心横坐标和所述纵坐标构成匹配中心坐标;
基于当前帧煤炭图像,获取以所述匹配中心坐标为中心坐标的图像块作为第一图像块,当前帧煤炭图像中的所述第一图像块和在上一帧煤炭图像中的所述目标图像块互为相匹配图像块;
计算当前帧煤炭图像中所述第一图像块与上一帧煤炭图像中的所述目标图像块的平均热度值的差值作为温度增加速度。
本发明实施例至少具有如下有益效果:
本发明实施例涉及图像处理技术领域,首先由于在洗煤过程中实时监控会产生大量视频,将所有视频图像无损图像进行传输时需将所有视频进行无损存储就需要大量存储空间,而视频中的大部分图像无需保留那么完整,只需对危险程度高的图像区域进行高清保留,因而需要根据危险程度来对监控视频进行有损存储。
在进行存储时通过图像块进行存储,也即通过存储块进行存储,将一个存储块的所有像素均值表示这个存储块的信息,无需对存储块中的各像素值进行存储。但是存储块的划分方式不同,其存储损失不同,因而将存储块的信息量尽可能小。本发明通过构建网络,设计损失函数实现存储块划分,使通过该存储块划分方式使得高危险区域的存储块比低危险区域的存储块的信息损失小,同时整个图像的综合信息损失尽可能小。
本发明实施例将煤炭图像输入训练好的存储块划分网络,得到存储块的起始坐标和存储块的长宽,即实现了使得每个图像块的信息量尽可能小,同时危险程度大的存储块的信息量相较于危险程度小的存储块的信息量尽可能小,又实现了划分的任意两个存储块的交集信息尽可能小,同时划分的所有图像块的总面积应该等于整个图像的总面积的目的,避免了直接对视频数据进行存储导致耗费大量的存储空间的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的基于图像处理的洗煤传输设备监控视频存储方法的方法流程图;
图2为本发明一个实施例所提供的存储块划分网络在不同迭代次数中损失函数的变化曲线的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于图像处理的洗煤传输设备监控视频存储方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了基于图像处理的洗煤传输设备监控视频存储方法的具体实施方法,该方法适用于洗煤传输设备监控视频存储场景。在煤炭传输带的一侧安装相机,用于采集煤炭传输带图像,其中,煤炭传输带为直线传输带。为了解决直接对视频数据进行存储会耗费大量的存储空间的问题。本发明实施例将煤炭图像输入训练好的存储块划分网络,得到存储块的起始坐标和存储块的长宽,即实现了使得每个图像块的信息量尽可能小,同时危险程度大的存储块的信息量相较于危险程度小的存储块的信息量尽可能小,又实现了划分的任意两个存储块的交集信息尽可能小,同时划分的所有图像块的总面积应该等于整个图像的总面积的目的,避免了直接对视频数据进行存储导致耗费大量的存储空间的问题。
下面结合附图具体的说明本发明所提供的基于图像处理的洗煤传输设备监控视频存储方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于图像处理的洗煤传输设备监控视频存储方法的步骤流程图,该方法包括以下步骤:
步骤S100,采集煤炭传输带图像和对应的热度图;分割出煤炭传输带图像中的煤炭区域,得到仅含煤炭区域的煤炭图像。
在煤炭传输带的一侧安装相机。需要说明的是,该相机即能采集煤炭传输带图像,又能采集对应的热度图,其中煤炭传输带图像为RGB图像,采集到的煤炭传输带图像难以做到每采集一帧就及时存储,故将采集到的20s内的视频数据对应的煤炭传输带图像以及对应的热度图进行缓存,再对缓存的煤炭传输带图像和热度图进行分析,根据危险程度以及损失情况实现最佳的存储。
由于煤炭在传输过程中通常是会堆积在一起传输,很难划分单个煤炭,故根据煤炭的堆积簇对煤炭进行分区域划分。采集到的煤炭传输带图像中不仅有传输的煤炭,同时还包含有一些背景,故可根据煤炭的颜色来分割出煤炭区域,进而分析同一煤炭区域的煤炭的温度变化情况。分割出煤炭传输带图像中的煤炭区域,具体的:将煤炭传输带图像进行灰度化得到灰度图。将该灰度图中灰度值小于预设煤炭像素阈值的像素点作为煤炭像素点,由煤炭像素点构成煤炭区域。在本发明实施例中预设煤炭像素阈值的取值为5,在其他实施例中实施者可根据实际情况调整该取值。
根据分割出的煤炭传输带中的煤炭区域,得到仅含有该煤炭区域的煤炭图像。具体的:将煤炭区域打上标签,标签为1;将背景区域打上标签为0,得到0-1掩膜图像,该0-1掩膜图像和煤炭传输带图像相乘,得到仅含有煤炭区域的煤炭图像。
步骤S200,将煤炭图像划分成多个图像块,获取热度图中对应的各图像块内像素点的平均热度值;计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度。
煤炭出现自燃危险时会存在先是一个小区域的煤炭出现温度连续的快速提升,然后带动周围的温度也会增大,当温度升高时说明该处的煤炭存在自燃的可能性较大,故需计算对应的危险程度。
同时由于在传输过程中煤炭在实时移动而相机则是固定的,但煤炭在连续帧煤炭图像中的位置与煤炭传输带的运动位置呈现一定的关系。由于分析煤炭的温度变化需对同一煤炭区域进行分析,煤炭不停的随着煤炭传输带进行移动,因而可利用煤炭传输带的运动速度来定位同一煤炭区域在各帧煤炭图像中的位置,需要说明的是煤炭在传输过程中虽然存在抖动导致利用传输带速度定位的位置不准,但是本处无需特别精确定位,只需保障大体符合就行。
将煤炭图像均匀的划分成多个50*50的图像块,并获取每个图像块的中心坐标。该图像块的煤炭随着传输带运动,也即煤炭随着运动速度为的传输带运动。需要说明的是,传输带的速度向量可直接获得。基于煤炭传输带的运动速度,获取各图像块在每帧煤炭图像中的中心坐标,其中,中心坐标包括横坐标和纵坐标。由于传输带一直在运动,故不同帧煤炭图像中同一物体对应的图像块也在运动,将不同帧煤炭图像中正在运动中的同一物体对应的图像块互相作为相匹配图像块。
获取当前帧煤炭图像和上一帧煤炭图像中的相匹配图像块的步骤,具体的:获取每个图像块的中心坐标;中心坐标包括横坐标和纵坐标;以煤炭传输带的运动速度和每帧煤炭图像之间的拍摄时间间隔的乘积,作为横坐标移动位置;在上一帧煤炭图像中选取任意图像块作为目标图像块,目标图像块的中心坐标的横坐标加上横坐标移动位置,得到匹配中心横坐标,纵坐标保持不变;匹配中心横坐标和纵坐标构成匹配中心坐标;基于当前帧煤炭图像,获取以匹配中心坐标为中心坐标的图像块作为第一图像块,当前帧煤炭图像中的第一图像块和在上一帧煤炭图像中的目标图像块互为相匹配图像块。
需要说明的是,由于传输带为直线传输带,且在煤炭传输带图像中传输带与水平线保持平行,故各图像块的中心坐标的纵坐标保持不变。例如第一帧的煤炭图像中第i个图像块的中心坐标中横坐标为,则在第二帧的煤炭图像中第i个图像块的中心坐标中横坐标为,其中,为运动速度,为两帧煤炭图像之间的时间间隔;获取含有第i个图像块的煤炭图像中第i个图像块的中心坐标,构建中心坐标序列,,其中为,为中心坐标纵坐标,为煤炭图像的总帧数,中心坐标序列中的各中心坐标对应的图像块均互为相匹配图像块。需要说明的,当煤炭图像中不含有第i个图像块时,对应的中心坐标置为0。
步骤S300,获取每帧煤炭图像中各像素点的热度值,将热度值大于预设热度阈值的像素点划分为高温像素点,其中每个图像块对应多个高温像素点;计算相邻两帧煤炭图像中同一图像块的高温像素点数量的差值作为高温扩散面积。
获取每帧煤炭图像中各像素点的热度值。对于任意图像块z,以图像块为中心,判断预设半径内的像素点的热度值,将预设半径内的热度值大于预设热度阈值的像素点划分该图像块z对应的高温像素点。在本发明实施例中预设半径的取值为1000个像素长,也即以图像块z为中心,1000个像素长为半径内的所有像素点;预设热度阈值的取值为100,在其他实施例中实施者可根据实际情况调整该取值。其中,每个图像块均有各自对应的多个高温像素点。
利用相邻两帧中第i个图像块周围高温像素点数量相减得到高温扩散面积,也即计算相邻两帧煤炭图像中同一图像块的高温像素点数量的差值作为高温扩散面积。
步骤S400,对于任意图像块,根据平均热度值、高温扩散面积的波动程度、温度增加速度和温度增加速度的波动程度计算图像块的危险程度。
由于当从某帧煤炭图像开始第i个图像块出现自燃危险时,会出现从该帧开始第i个图像块的温度会出现增速较大,也即从该帧开始第i个图像块的热度值会出现增速较大,同时温度出现持续增长。并且从第i个像素为中心高温向周围扩散,自燃造成的危险程度越来越大,基于此构建如下公式来计算图像块的危险程度。
其中,为第帧煤炭图像中的第个图像块的危险程度;为第帧煤炭图像中的第个图像块的平均热度值;为第帧煤炭图像中的第个图像块的高温扩散面积的波动程度;为第帧煤炭图像中的第个图像块的温度增加速度;为第帧煤炭图像中的第个图像块的温度增加速度的波动程度。
其中,高温扩散面积的波动程度的获取方法为:对于任意煤炭图像,获取前面的多帧煤炭图像中同一图像块的高温扩散面积,将高温扩散面积大于零的煤炭图像作为面积波动图像,图像块对应的面积波动图像的数量占比作为图像块的高温扩散面积的波动程度。温度增加速度的波动程度的获取方法为:对于任意煤炭图像,获取前面的多帧煤炭图像中同一图像块的温度增加速度,将温度增加速度大于零的煤炭图像作为温度波动图像,图像块对应的温度波动图像的数量占比作为图像块的温度增加速度的波动程度。需要说明的是,对于第t帧煤炭图像,对应的前面的多帧煤炭图像为,从第一帧开始至第t帧煤炭图像所包含的所有帧的煤炭图像。
通过该方式得到各图像块的危险程度,因而各图像块中各像素的危险程度取图像块的危险程度值。自燃造成的危险程度越来越大,基于此构建该公式来表示图像块的危险程度。
步骤S500,计算每帧煤炭图像中的危险程度的和作为总危险程度;总危险程度、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量。
利用图像块得到像素的危险程度,根据危险程度来自适应的划分存储块,通过该划分存储块的方式使危险程度大的像素信息存储损失较小,危险程度小的像素信息存储损失较大。需要说明的是使危险程度大的像素信息存储损失较小是为了更清楚的捕获像素信息,因为危险程度较大,故应对图像中像素信息的捕获更精确,所以使得危险程度大的像素信息存储损失较小;而危险程度小的像素信息存储损失较大是因为危险程度小的像素信息可以降低警惕度,对图像中信息的捕获不用更精确。也即视频中的大部分图像无需保留那么完整,只需对危险程度高的图像区域进行高清保留,因而需要根据危险程度来对监控视频进行有损存储。
为了使危险程度大图像信息存储损失较小,使危险程度小的图像信息存储损失较大,需给危险程度大的图像划分更多的存储块,给危险程度较小的图像划分更少的存储块,因而根据视频中各图像的危险程度确定各图像的划分的总存储块数。
计算每帧煤炭图像中的危险程度的和作为总危险程度,总危险程度、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量。
步骤S600,将煤炭图像输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽;存储块划分网络的损失函数由存储块数量、危险程度和存储块的面积构建。
将煤炭图像和存储块数量输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽。其中,存储块划分网络所采用为yolov5的网络结构。该存储块划分网络的输入为煤炭图像,输出为划分好的存储块的起始坐标以及存储块的长宽。需要说明的是存储块的起始坐标为存储块左上角的坐标。如划分好的第i个存储块的起始坐标为(10,15),存储块的长宽为(5,9)。其中,该存储块的长为纵向像素点的数量,宽为横向像素点的数量,故由存储块的长宽相乘得到存储块的面积。
为了让该存储块划分网络实现划分存储块的功能,需设计相应的损失函数来监督该网络。该损失函数需要满足划分的危险程度小的存储块信息损失尽可能的大,危险程度大的存储块信息损失尽可能的小。同时,使该存储块的划分方式使图像的综合信息损失尽可能的小,故基于危险程度设计存储块划分网络的第一损失函数。
在后续训练神经网络过程中令损失函数最小化,便可以达到使得每个图像块的信息量尽可能小,同时危险程度大的存储块的信息量相较于危险程度小的存储块的信息量尽可能小的目的。
在划分存储块时需满足划分的存储块的包含的图像信息等于总图像信息。同时划分的存储块之间包含重复信息尽可能小。因而基于存储块之间的重复信息设计存储块划分网络的第二损失函数。
在后续训练神经网络过程中令损失函数最小化,便可以达到划分的任意两个存储块的交集信息尽可能小,同时划分的所有图像块的总面积应该等于整个图像的总面积。
进一步的,由于存储块划分网络既能实现使得每个图像块的信息量尽可能小,同时危险程度大的存储块的信息量相较于危险程度小的存储块的信息量尽可能小,又要实现划分的任意两个存储块的交集信息尽可能小,同时划分的所有图像块的总面积应该等于整个图像的总面积。故将第一损失函数和第二损失函数相加作为存储块划分网络的综合损失函数,也即存储块划分网络的损失函数为第一损失函数和第二损失函数之和。
该存储块划分网络的损失函数为:
利用损失函数,将经过处理后的煤炭图像输入到存储块划分网络中,利用损失函数训练存储块划分网络,训练过程中利用随机梯度下降法更新神经网络参数,存储块划分网络经过多次迭代训练会逐渐收敛。请参阅图2,图2为存储块划分网络在不同迭代次数中损失函数的变化曲线的示意图,图2中的LOSS为存储块划分网络的损失函数,LOSS1为存储块划分网络的第一损失函数,LOSS2为存储块划分网络的第二损失函数。随着迭代训练次数的增加,损失函数变化趋势逐渐趋于稳定。在训练过程中使损失值逐渐变小,直至损失值收敛训练完成,具体的:在训练过程中神经网络每迭代10次就求出一次损失函数的均值,将对应的损失函数的均值与预设收敛阈值进行比较,当损失函数的均值小于预设收敛阈值时说明存储块划分网络的损失函数已经收敛,无需再进行迭代训练,当损失函数的均值大于等于预设收敛阈值时,说明存储块划分网络的损失函数还未达到收敛条件,需要继续对损失函数进行迭代训练,直至损失函数的均值达到收敛条件时,也即损失函数的均值小于预设收敛阈值时,停止迭代完成训练。在本发明实施例中预设收敛阈值的取值为5,在其他实施例中实施者可根据实际情况调整该取值。获取各煤炭图像的输出结果,每张煤炭图像有对应的煤炭传输带图像,故也即获取各煤炭传输带图像对应的输出结果。需要说明的是,将作为存储块划分网络的数据集为历史数据中多张经过处理后的煤炭图像。
最后将煤炭图像输入到网络中完成存储块划分,基于单个存储块进行研究,将存储块的所有像素点求均值,将像素均值作为存储块的压缩后的存储值。得到各存储块压缩后的存储值,将压缩后的存储值进行存储,也即实现了对实时得到的监控视频对应的每帧视频图像进行了存储。如划分的存储块数量为100,即将这100个存储块内的像素点求均值,只压缩保存这100个均值即可,会节省大量的存储空间。
综上所述,本发明实施例涉及图像处理技术领域,首先采集煤炭传输带图像、对应的热度图和仅含煤炭区域的煤炭图像;将煤炭图像划分成多个图像块,计算相邻两帧煤炭图像中同一图像块的平均热度值的差值作为温度增加速度;获取每帧煤炭图像中各像素点的热度值,将热度值大于预设热度阈值的像素点划分为高温像素点;计算相邻两帧煤炭图像中同一图像块的高温像素点数量的差值作为高温扩散面积;对于任意图像块,根据平均热度值、高温扩散面积的波动程度、温度增加速度和温度增加速度的波动程度计算图像块的危险程度;每帧煤炭图像中的危险程度的和、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量;将煤炭图像输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽。本发明实施例通过将煤炭传输带图像进行初步处理得到煤炭图像,将煤炭图像输入训练好的存储块划分网络,得到存储块的起始坐标和存储块的长宽,即实现了使得每个图像块的信息量尽可能小,同时危险程度大的存储块的信息量相较于危险程度小的存储块的信息量尽可能小,又实现了划分的任意两个存储块的交集信息尽可能小,同时划分的所有图像块的总面积应该等于整个图像的总面积的目的,避免了直接对视频数据进行存储导致耗费大量的存储空间的问题。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.基于图像处理的洗煤传输设备监控视频存储方法,其特征在于,该方法包括以下步骤:
采集煤炭传输带图像和对应的热度图;分割出所述煤炭传输带图像中的煤炭区域,得到仅含所述煤炭区域的煤炭图像;
将所述煤炭图像划分成多个图像块,获取热度图中对应的各图像块内像素点的平均热度值;计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度;
获取每帧所述煤炭图像中各像素点的热度值,将热度值大于预设热度阈值的像素点划分为高温像素点,其中每个图像块对应多个高温像素点;计算相邻两帧所述煤炭图像中同一图像块的高温像素点数量的差值作为高温扩散面积;
对于任意图像块,根据所述平均热度值、高温扩散面积的波动程度、所述温度增加速度和温度增加速度的波动程度计算图像块的危险程度;
计算每帧所述煤炭图像中的所述危险程度的和作为总危险程度;所述总危险程度、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量;
将所述煤炭图像输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽;所述存储块划分网络的损失函数由所述存储块数量、所述危险程度和存储块的面积构建。
2.根据权利要求1所述的基于图像处理的洗煤传输设备监控视频存储方法,其特征在于,所述将热度值大于预设热度阈值的像素点划分为高温像素点,其中每个图像块对应多个高温像素点,包括:
对于任意图像块,以所述图像块为中心,判断预设半径内的像素点的热度值,将所述预设半径内的热度值大于预设热度阈值的像素点划分所述图像块对应的高温像素点。
4.根据权利要求1所述的基于图像处理的洗煤传输设备监控视频存储方法,其特征在于,所述高温扩散面积的波动程度的获取方法为:
对于任意煤炭图像,获取前面的多帧煤炭图像中同一图像块的高温扩散面积,将所述高温扩散面积大于零的煤炭图像作为面积波动图像,图像块对应的面积波动图像的数量占比作为图像块的高温扩散面积的波动程度。
5.根据权利要求1所述的基于图像处理的洗煤传输设备监控视频存储方法,其特征在于,所述温度增加速度的波动程度的获取方法为:
对于任意煤炭图像,获取前面的多帧煤炭图像中同一图像块的温度增加速度,将所述温度增加速度大于零的煤炭图像作为温度波动图像,图像块对应的温度波动图像的数量占比作为图像块的温度增加速度的波动程度。
8.根据权利要求1所述的基于图像处理的洗煤传输设备监控视频存储方法,其特征在于,所述存储块划分网络的损失函数,还包括:
所述存储块划分网络的损失函数为第一损失函数和第二损失函数之和。
9.根据权利要求1所述的基于图像处理的洗煤传输设备监控视频存储方法,其特征在于,所述计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度,包括:
获取每个图像块的中心坐标;所述中心坐标包括横坐标和纵坐标;
以煤炭传输带的运动速度和每帧煤炭图像之间的拍摄时间间隔的乘积,作为横坐标移动位置;在上一帧煤炭图像中选取任意图像块作为目标图像块,目标图像块的中心坐标的横坐标加上所述横坐标移动位置,得到匹配中心横坐标,所述纵坐标保持不变;所述匹配中心横坐标和所述纵坐标构成匹配中心坐标;
基于当前帧煤炭图像,获取以所述匹配中心坐标为中心坐标的图像块作为第一图像块,当前帧煤炭图像中的所述第一图像块和在上一帧煤炭图像中的所述目标图像块互为相匹配图像块;
计算当前帧煤炭图像中所述第一图像块与上一帧煤炭图像中的所述目标图像块的平均热度值的差值作为温度增加速度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210880973.3A CN115114476B (zh) | 2022-07-26 | 2022-07-26 | 基于图像处理的洗煤传输设备监控视频存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210880973.3A CN115114476B (zh) | 2022-07-26 | 2022-07-26 | 基于图像处理的洗煤传输设备监控视频存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115114476A true CN115114476A (zh) | 2022-09-27 |
CN115114476B CN115114476B (zh) | 2022-11-15 |
Family
ID=83334324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210880973.3A Expired - Fee Related CN115114476B (zh) | 2022-07-26 | 2022-07-26 | 基于图像处理的洗煤传输设备监控视频存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115114476B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1970843A1 (de) * | 2007-02-28 | 2008-09-17 | Oeko-Consult Glock AG | Verfahren und Vorrichtung zur Bestimmung des Fliessverhaltens von Gefahrstoffen bei Havarien |
US20120308997A1 (en) * | 2011-06-06 | 2012-12-06 | Abbott Laboratories | Spatially resolved ligand-receptor binding assays |
CN103111030A (zh) * | 2013-01-05 | 2013-05-22 | 神华集团有限责任公司 | 防止煤炭自燃或使煤炭自燃熄灭的系统和方法 |
WO2014209234A1 (en) * | 2013-06-26 | 2014-12-31 | Agency For Science, Technology And Research | Method and apparatus for hot data region optimized dynamic management |
CN105257332A (zh) * | 2015-11-03 | 2016-01-20 | 四川省科建煤炭产业技术研究院有限公司 | 一种煤矿井下雾化阻燃防灭火方法及系统 |
US20180073929A1 (en) * | 2016-09-13 | 2018-03-15 | Safe-Fire Technology LLC | System and Method for Measuring Coal Burner Flame Temperature Profile Using Optical Device |
WO2018121035A1 (zh) * | 2016-12-29 | 2018-07-05 | 山东科技大学 | 一种个性化确定采煤工作面底板突水危险等级的方法 |
CN110748381A (zh) * | 2019-09-20 | 2020-02-04 | 山东科技大学 | 用于煤矿井下的采空区高温火区位置声波探测方法及系统 |
CN111814711A (zh) * | 2020-07-15 | 2020-10-23 | 中国矿业大学 | 一种应用于矿井机器视觉的图像特征快速匹配方法及系统 |
WO2021018256A1 (zh) * | 2019-08-01 | 2021-02-04 | 青岛理工大学 | 一种矿井井筒用故障监测系统及方法 |
JP2021147819A (ja) * | 2020-03-18 | 2021-09-27 | セイコーエプソン株式会社 | 計測方法、計測装置、計測システム及び計測プログラム |
CN114006998A (zh) * | 2021-10-29 | 2022-02-01 | 浙江舜宇智领技术有限公司 | 一种车载摄像模组温度保护系统及其保护方法 |
-
2022
- 2022-07-26 CN CN202210880973.3A patent/CN115114476B/zh not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1970843A1 (de) * | 2007-02-28 | 2008-09-17 | Oeko-Consult Glock AG | Verfahren und Vorrichtung zur Bestimmung des Fliessverhaltens von Gefahrstoffen bei Havarien |
US20120308997A1 (en) * | 2011-06-06 | 2012-12-06 | Abbott Laboratories | Spatially resolved ligand-receptor binding assays |
CN103111030A (zh) * | 2013-01-05 | 2013-05-22 | 神华集团有限责任公司 | 防止煤炭自燃或使煤炭自燃熄灭的系统和方法 |
WO2014209234A1 (en) * | 2013-06-26 | 2014-12-31 | Agency For Science, Technology And Research | Method and apparatus for hot data region optimized dynamic management |
CN105257332A (zh) * | 2015-11-03 | 2016-01-20 | 四川省科建煤炭产业技术研究院有限公司 | 一种煤矿井下雾化阻燃防灭火方法及系统 |
US20180073929A1 (en) * | 2016-09-13 | 2018-03-15 | Safe-Fire Technology LLC | System and Method for Measuring Coal Burner Flame Temperature Profile Using Optical Device |
WO2018121035A1 (zh) * | 2016-12-29 | 2018-07-05 | 山东科技大学 | 一种个性化确定采煤工作面底板突水危险等级的方法 |
WO2021018256A1 (zh) * | 2019-08-01 | 2021-02-04 | 青岛理工大学 | 一种矿井井筒用故障监测系统及方法 |
CN110748381A (zh) * | 2019-09-20 | 2020-02-04 | 山东科技大学 | 用于煤矿井下的采空区高温火区位置声波探测方法及系统 |
JP2021147819A (ja) * | 2020-03-18 | 2021-09-27 | セイコーエプソン株式会社 | 計測方法、計測装置、計測システム及び計測プログラム |
CN111814711A (zh) * | 2020-07-15 | 2020-10-23 | 中国矿业大学 | 一种应用于矿井机器视觉的图像特征快速匹配方法及系统 |
CN114006998A (zh) * | 2021-10-29 | 2022-02-01 | 浙江舜宇智领技术有限公司 | 一种车载摄像模组温度保护系统及其保护方法 |
Non-Patent Citations (2)
Title |
---|
李雨成等: "煤尘爆炸危险等级模糊结构元综合决策研究", 《中国安全科学学报》 * |
陈国良等: "采煤工作面顺槽煤炭自燃危险性评估", 《煤矿安全》 * |
Also Published As
Publication number | Publication date |
---|---|
CN115114476B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107958044A (zh) | 基于深度时空记忆网络的高维序列数据预测方法和系统 | |
CN113989716B (zh) | 煤矿井下输送带异物目标检测方法、系统、设备及终端 | |
CN112819802A (zh) | 基于风口信息深度学习的监督及预测高炉炉况异常的方法 | |
CN112766102B (zh) | 一种基于空谱特征融合的无监督高光谱视频目标跟踪方法 | |
CN114996661B (zh) | 一种冷藏车温度监控方法及系统 | |
CN103414853A (zh) | 支持多自由度运动的视频图像序列实时稳定装置与方法 | |
CN106952304A (zh) | 一种利用视频序列帧间相关性的深度图像计算方法 | |
CN108629291A (zh) | 一种抗网格效应的人脸深度预测方法 | |
CN110175670A (zh) | 一种基于FPGA实现YOLOv2检测网络的方法及系统 | |
CN111242026A (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
CN111598918A (zh) | 一种基于参考帧优选和前后景分离的视频稳像运动估计方法 | |
CN115114476B (zh) | 基于图像处理的洗煤传输设备监控视频存储方法 | |
CN109145964A (zh) | 一种实现图像颜色聚类的方法和系统 | |
CN116168270A (zh) | 基于并行深度残差网络的轻量化煤矸石检测模型及方法 | |
CN116664478A (zh) | 一种基于深度学习的钢材表面缺陷检测算法 | |
CN118018035B (zh) | 一种装修进度智能监管系统的信息传输方法 | |
CN115223056A (zh) | 基于多尺度特征增强的光学遥感图像舰船目标检测方法 | |
CN111784679A (zh) | 一种基于cnn和svm的挡土墙裂缝识别方法 | |
CN114743027B (zh) | 弱监督学习引导的协同显著性检测方法 | |
CN103024247A (zh) | 一种基于改进块匹配的电子稳像方法 | |
CN112560799B (zh) | 基于自适应目标区域搜索和博弈的无人机智能车辆目标检测方法和应用 | |
CN111832641B (zh) | 一种基于级联下采样卷积神经网络的图像识别方法 | |
CN116403071B (zh) | 基于特征重构的少样本混凝土缺陷检测方法及装置 | |
CN103716639B (zh) | 一种帧图像运动估计的搜索算法 | |
CN113744220A (zh) | 一种基于pynq的无预选框检测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221115 |