CN115114476B - 基于图像处理的洗煤传输设备监控视频存储方法 - Google Patents

基于图像处理的洗煤传输设备监控视频存储方法 Download PDF

Info

Publication number
CN115114476B
CN115114476B CN202210880973.3A CN202210880973A CN115114476B CN 115114476 B CN115114476 B CN 115114476B CN 202210880973 A CN202210880973 A CN 202210880973A CN 115114476 B CN115114476 B CN 115114476B
Authority
CN
China
Prior art keywords
image
coal
block
image block
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210880973.3A
Other languages
English (en)
Other versions
CN115114476A (zh
Inventor
丁希阳
王崇景
刘占
耿新国
仇振泉
仪孝辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenshang Yiqiao Coal Mine Co ltd
Original Assignee
Wenshang Yiqiao Coal Mine Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenshang Yiqiao Coal Mine Co ltd filed Critical Wenshang Yiqiao Coal Mine Co ltd
Priority to CN202210880973.3A priority Critical patent/CN115114476B/zh
Publication of CN115114476A publication Critical patent/CN115114476A/zh
Application granted granted Critical
Publication of CN115114476B publication Critical patent/CN115114476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明涉及图像处理技术领域，具体涉及基于图像处理的洗煤传输设备监控视频存储方法。该方法首先采集煤炭传输带图像和仅含煤炭区域的煤炭图像；将煤炭图像划分成多个图像块，根据图像块的平均热度值的波动情况和高温像素点数量的波动情况计算图像块的危险程度；每帧煤炭图像中的危险程度的和、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量；将煤炭图像输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽。本发明实施例通过将煤炭图像输入训练好的存储块划分网络，得到存储块的起始坐标和存储块的长宽，实现了根据危险程度划分存储块进行存储，避免了直接对视频图像数据进行存储导致耗费大量存储空间的问题。

Description

基于图像处理的洗煤传输设备监控视频存储方法
技术领域
本发明涉及图像处理技术领域，具体涉及基于图像处理的洗煤传输设备监控视频存储方法。
背景技术
煤炭是古代植物埋藏在地下经历了复杂的生物化学和物理化学变化逐渐形成的固体可燃性矿物，是非常重要的能源，也是冶金、化学工业的重要原料。随着社会经济的发展、工业化水平的提高，人们对能源的需要也随之提高。煤炭作为人们生活中所需的重要能源之一，其使用量也随之增大。直接开采出的煤炭由于存在夹杂物质，如果此时直接使用容易造成危险发生，因此需将开采出的煤炭进行一系列加工，洗煤工艺就是去除煤炭中夹杂物质的过程。在洗煤过程中存在一段较长的煤炭传输过程，在传输过程中由于煤炭为易燃物，传输过程中摩擦导致煤炭出现自燃现象，如果不能及时发现就会造成不可挽回的经济损失，甚至还会影响生命安全。故为了防止煤炭传输过程中煤炭自燃现象的发生，需利用相机实时监控煤炭传输过程中的煤炭图像。
目前，常见的对煤炭传输过程中的监控视频的存储方法为直接对视频数据进行存储。但是由于采集的视频数据量较大，直接对视频数据进行存储会耗费大量的存储空间，且大量视频数据中有很多数据是无需高精度存储的，如存在自燃概率较低的图像区域，这些图像数据对于自燃分析的影响不大。
发明内容
为了解决上述技术问题，本发明的目的在于提供基于图像处理的洗煤传输设备监控视频存储方法，所采用的技术方案具体如下：
采集煤炭传输带图像和对应的热度图；分割出所述煤炭传输带图像中的煤炭区域，得到仅含所述煤炭区域的煤炭图像；
将所述煤炭图像划分成多个图像块，获取所述热度图中对应的各图像块内像素点的平均热度值；计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度；
获取每帧所述煤炭图像中各像素点的热度值，将热度值大于预设热度阈值的像素点划分为高温像素点，其中每个图像块对应多个高温像素点；计算相邻两帧所述煤炭图像中同一图像块的高温像素点数量的差值作为高温扩散面积；
对于任意图像块，根据所述平均热度值、高温扩散面积的波动程度、所述温度增加速度和温度增加速度的波动程度计算图像块的危险程度；
计算每帧所述煤炭图像中的所述危险程度的和作为总危险程度；所述总危险程度、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量；
将所述煤炭图像输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽；所述存储块划分网络的损失函数由所述存储块数量、所述危险程度和存储块的面积构建。
优选的，所述将热度值大于预设热度阈值的像素点划分为高温像素点，其中每个图像块对应多个高温像素点，包括：
对于任意图像块，以所述图像块为中心，判断预设半径内的像素点的热度值，将所述预设半径内的热度值大于预设热度阈值的像素点划分所述图像块对应的高温像素点。
优选的，所述对于任意图像块，根据所述平均热度值、高温扩散面积的波动程度、所述温度增加速度和温度增加速度的波动程度计算图像块的危险程度，包括：
所述危险程度的计算公式为：
Figure DEST_PATH_IMAGE001
其中，
Figure 195519DEST_PATH_IMAGE002
为第
Figure 432466DEST_PATH_IMAGE003
帧煤炭图像中的第
Figure 95528DEST_PATH_IMAGE004
个图像块的危险程度；
Figure 417925DEST_PATH_IMAGE005
为第
Figure 824636DEST_PATH_IMAGE003
帧煤炭图像中的第
Figure 641720DEST_PATH_IMAGE004
个图像块的平均热度值；
Figure 475684DEST_PATH_IMAGE006
为第
Figure 19798DEST_PATH_IMAGE003
帧煤炭图像中的第
Figure 964620DEST_PATH_IMAGE004
个图像块的高温扩散面积的波动程度；
Figure 379421DEST_PATH_IMAGE007
为第
Figure 915444DEST_PATH_IMAGE003
帧煤炭图像中的第
Figure 681275DEST_PATH_IMAGE004
个图像块的温度增加速度；
Figure 432718DEST_PATH_IMAGE008
为第
Figure 498763DEST_PATH_IMAGE003
帧煤炭图像中的第
Figure 940109DEST_PATH_IMAGE004
个图像块的温度增加速度的波动程度。
优选的，所述高温扩散面积的波动程度的获取方法为：
对于任意煤炭图像，获取前面的多帧煤炭图像中同一图像块的高温扩散面积，将所述高温扩散面积大于零的煤炭图像作为面积波动图像，图像块对应的面积波动图像的数量占比作为图像块的高温扩散面积的波动程度。
优选的，所述温度增加速度的波动程度的获取方法为：
对于任意煤炭图像，获取前面的多帧煤炭图像中同一图像块的温度增加速度，将所述温度增加速度大于零的煤炭图像作为温度波动图像，图像块对应的温度波动图像的数量占比作为图像块的温度增加速度的波动程度。
优选的，所述存储块划分网络的损失函数，包括：
Figure 927656DEST_PATH_IMAGE009
其中，
Figure 745440DEST_PATH_IMAGE010
为存储块划分网络的第一损失函数；
Figure 134833DEST_PATH_IMAGE011
为所述存储块数量；
Figure 750009DEST_PATH_IMAGE012
为第
Figure 490432DEST_PATH_IMAGE004
个存储块中所有像素点对应的图像块的危险程度的均值；
Figure 111906DEST_PATH_IMAGE013
为第
Figure 621385DEST_PATH_IMAGE004
个存储块中第
Figure 138954DEST_PATH_IMAGE014
个颜色值出现的概率；
Figure 366673DEST_PATH_IMAGE015
为第
Figure 529189DEST_PATH_IMAGE004
个存储块中颜色值的数量。
优选的，所述存储块划分网络的损失函数，还包括：
Figure 158753DEST_PATH_IMAGE016
其中，
Figure 847223DEST_PATH_IMAGE017
为所述存储块划分网络的第二损失函数；
Figure 562239DEST_PATH_IMAGE018
为第
Figure 259936DEST_PATH_IMAGE004
个存储块和第
Figure 212849DEST_PATH_IMAGE014
个存储块的交集面积；
Figure 72220DEST_PATH_IMAGE019
为第
Figure 289180DEST_PATH_IMAGE004
个存储块的面积；
Figure 524989DEST_PATH_IMAGE020
为煤炭图像的面积；
Figure 129146DEST_PATH_IMAGE011
为所述存储块数量。
优选的，所述存储块划分网络的损失函数，还包括：
所述存储块划分网络的损失函数为第一损失函数和第二损失函数之和。
优选的，所述计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度，包括：
获取每个图像块的中心坐标；所述中心坐标包括横坐标和纵坐标；
以煤炭传输带的运动速度和每帧煤炭图像之间的拍摄时间间隔的乘积，作为横坐标移动位置；在上一帧煤炭图像中选取任意图像块作为目标图像块，目标图像块的中心坐标的横坐标加上所述横坐标移动位置，得到匹配中心横坐标，所述纵坐标保持不变；所述匹配中心横坐标和所述纵坐标构成匹配中心坐标；
基于当前帧煤炭图像，获取以所述匹配中心坐标为中心坐标的图像块作为第一图像块，当前帧煤炭图像中的所述第一图像块和在上一帧煤炭图像中的所述目标图像块互为相匹配图像块；
计算当前帧煤炭图像中所述第一图像块与上一帧煤炭图像中的所述目标图像块的平均热度值的差值作为温度增加速度。
本发明实施例至少具有如下有益效果：
本发明实施例涉及图像处理技术领域，首先由于在洗煤过程中实时监控会产生大量视频，将所有视频图像无损图像进行传输时需将所有视频进行无损存储就需要大量存储空间，而视频中的大部分图像无需保留那么完整，只需对危险程度高的图像区域进行高清保留，因而需要根据危险程度来对监控视频进行有损存储。
在进行存储时通过图像块进行存储，也即通过存储块进行存储，将一个存储块的所有像素均值表示这个存储块的信息，无需对存储块中的各像素值进行存储。但是存储块的划分方式不同，其存储损失不同，因而将存储块的信息量尽可能小。本发明通过构建网络，设计损失函数实现存储块划分，使通过该存储块划分方式使得高危险区域的存储块比低危险区域的存储块的信息损失小，同时整个图像的综合信息损失尽可能小。
本发明实施例将煤炭图像输入训练好的存储块划分网络，得到存储块的起始坐标和存储块的长宽，即实现了使得每个图像块的信息量尽可能小，同时危险程度大的存储块的信息量相较于危险程度小的存储块的信息量尽可能小，又实现了划分的任意两个存储块的交集信息尽可能小，同时划分的所有图像块的总面积应该等于整个图像的总面积的目的，避免了直接对视频数据进行存储导致耗费大量的存储空间的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的基于图像处理的洗煤传输设备监控视频存储方法的方法流程图；
图2为本发明一个实施例所提供的存储块划分网络在不同迭代次数中损失函数的变化曲线的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于图像处理的洗煤传输设备监控视频存储方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了基于图像处理的洗煤传输设备监控视频存储方法的具体实施方法，该方法适用于洗煤传输设备监控视频存储场景。在煤炭传输带的一侧安装相机，用于采集煤炭传输带图像，其中，煤炭传输带为直线传输带。为了解决直接对视频数据进行存储会耗费大量的存储空间的问题。本发明实施例将煤炭图像输入训练好的存储块划分网络，得到存储块的起始坐标和存储块的长宽，即实现了使得每个图像块的信息量尽可能小，同时危险程度大的存储块的信息量相较于危险程度小的存储块的信息量尽可能小，又实现了划分的任意两个存储块的交集信息尽可能小，同时划分的所有图像块的总面积应该等于整个图像的总面积的目的，避免了直接对视频数据进行存储导致耗费大量的存储空间的问题。
下面结合附图具体的说明本发明所提供的基于图像处理的洗煤传输设备监控视频存储方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于图像处理的洗煤传输设备监控视频存储方法的步骤流程图，该方法包括以下步骤：
步骤S100，采集煤炭传输带图像和对应的热度图；分割出煤炭传输带图像中的煤炭区域，得到仅含煤炭区域的煤炭图像。
在煤炭传输带的一侧安装相机。需要说明的是，该相机即能采集煤炭传输带图像，又能采集对应的热度图，其中煤炭传输带图像为RGB图像，采集到的煤炭传输带图像难以做到每采集一帧就及时存储，故将采集到的20s内的视频数据对应的煤炭传输带图像以及对应的热度图进行缓存，再对缓存的煤炭传输带图像和热度图进行分析，根据危险程度以及损失情况实现最佳的存储。
由于煤炭在传输过程中通常是会堆积在一起传输，很难划分单个煤炭，故根据煤炭的堆积簇对煤炭进行分区域划分。采集到的煤炭传输带图像中不仅有传输的煤炭，同时还包含有一些背景，故可根据煤炭的颜色来分割出煤炭区域，进而分析同一煤炭区域的煤炭的温度变化情况。分割出煤炭传输带图像中的煤炭区域，具体的：将煤炭传输带图像进行灰度化得到灰度图。将该灰度图中灰度值小于预设煤炭像素阈值的像素点作为煤炭像素点，由煤炭像素点构成煤炭区域。在本发明实施例中预设煤炭像素阈值的取值为5，在其他实施例中实施者可根据实际情况调整该取值。
根据分割出的煤炭传输带中的煤炭区域，得到仅含有该煤炭区域的煤炭图像。具体的：将煤炭区域打上标签，标签为1；将背景区域打上标签为0，得到0-1掩膜图像，该0-1掩膜图像和煤炭传输带图像相乘，得到仅含有煤炭区域的煤炭图像。
步骤S200，将煤炭图像划分成多个图像块，获取热度图中对应的各图像块内像素点的平均热度值；计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度。
煤炭出现自燃危险时会存在先是一个小区域的煤炭出现温度连续的快速提升，然后带动周围的温度也会增大，当温度升高时说明该处的煤炭存在自燃的可能性较大，故需计算对应的危险程度。
同时由于在传输过程中煤炭在实时移动而相机则是固定的，但煤炭在连续帧煤炭图像中的位置与煤炭传输带的运动位置呈现一定的关系。由于分析煤炭的温度变化需对同一煤炭区域进行分析，煤炭不停的随着煤炭传输带进行移动，因而可利用煤炭传输带的运动速度来定位同一煤炭区域在各帧煤炭图像中的位置，需要说明的是煤炭在传输过程中虽然存在抖动导致利用传输带速度定位的位置不准，但是本处无需特别精确定位，只需保障大体符合就行。
将煤炭图像均匀的划分成多个50*50的图像块，并获取每个图像块的中心坐标。该图像块的煤炭随着传输带运动，也即煤炭随着运动速度为
Figure 159419DEST_PATH_IMAGE021
的传输带运动。需要说明的是，传输带的速度向量可直接获得。基于煤炭传输带的运动速度，获取各图像块在每帧煤炭图像中的中心坐标，其中，中心坐标包括横坐标和纵坐标。由于传输带一直在运动，故不同帧煤炭图像中同一物体对应的图像块也在运动，将不同帧煤炭图像中正在运动中的同一物体对应的图像块互相作为相匹配图像块。
获取当前帧煤炭图像和上一帧煤炭图像中的相匹配图像块的步骤，具体的：获取每个图像块的中心坐标；中心坐标包括横坐标和纵坐标；以煤炭传输带的运动速度和每帧煤炭图像之间的拍摄时间间隔的乘积，作为横坐标移动位置；在上一帧煤炭图像中选取任意图像块作为目标图像块，目标图像块的中心坐标的横坐标加上横坐标移动位置，得到匹配中心横坐标，纵坐标保持不变；匹配中心横坐标和纵坐标构成匹配中心坐标；基于当前帧煤炭图像，获取以匹配中心坐标为中心坐标的图像块作为第一图像块，当前帧煤炭图像中的第一图像块和在上一帧煤炭图像中的目标图像块互为相匹配图像块。
需要说明的是，由于传输带为直线传输带，且在煤炭传输带图像中传输带与水平线保持平行，故各图像块的中心坐标的纵坐标保持不变。例如第一帧的煤炭图像中第i个图像块的中心坐标中横坐标为
Figure 849026DEST_PATH_IMAGE022
，则在第二帧的煤炭图像中第i个图像块的中心坐标中横坐标为
Figure 888526DEST_PATH_IMAGE023
，其中，
Figure 84540DEST_PATH_IMAGE024
为运动速度，
Figure 551293DEST_PATH_IMAGE025
为两帧煤炭图像之间的时间间隔；获取含有第i个图像块的煤炭图像中第i个图像块的中心坐标，构建中心坐标序列，
Figure 462617DEST_PATH_IMAGE026
，其中
Figure 305809DEST_PATH_IMAGE027
为
Figure 618978DEST_PATH_IMAGE028
，
Figure 991054DEST_PATH_IMAGE029
为中心坐标纵坐标，
Figure 658183DEST_PATH_IMAGE030
为煤炭图像的总帧数，中心坐标序列中的各中心坐标对应的图像块均互为相匹配图像块。需要说明的，当煤炭图像中不含有第i个图像块时，对应的中心坐标置为0。
获取以各中心坐标位置为中心的50*50图像块,得到对应的图像块序列
Figure 39486DEST_PATH_IMAGE031
。获取每帧热度图中的对应坐标的图像块，得到热度图中的图像块序列为
Figure 207162DEST_PATH_IMAGE032
。即可得到相邻两帧煤炭图像中的同一图像块。
获取热度图中对应的各图像块内像素点的平均热度值，所有帧热度图中对应的第i个图像块的平均热度值序列为
Figure 15718DEST_PATH_IMAGE033
。计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度。
步骤S300，获取每帧煤炭图像中各像素点的热度值，将热度值大于预设热度阈值的像素点划分为高温像素点，其中每个图像块对应多个高温像素点；计算相邻两帧煤炭图像中同一图像块的高温像素点数量的差值作为高温扩散面积。
获取每帧煤炭图像中各像素点的热度值。对于任意图像块z，以图像块为中心，判断预设半径内的像素点的热度值，将预设半径内的热度值大于预设热度阈值的像素点划分该图像块z对应的高温像素点。在本发明实施例中预设半径的取值为1000个像素长，也即以图像块z为中心，1000个像素长为半径内的所有像素点；预设热度阈值的取值为100，在其他实施例中实施者可根据实际情况调整该取值。其中，每个图像块均有各自对应的多个高温像素点。
利用相邻两帧中第i个图像块周围高温像素点数量相减得到高温扩散面积，也即计算相邻两帧煤炭图像中同一图像块的高温像素点数量的差值作为高温扩散面积。
步骤S400，对于任意图像块，根据平均热度值、高温扩散面积的波动程度、温度增加速度和温度增加速度的波动程度计算图像块的危险程度。
由于当从某帧煤炭图像开始第i个图像块出现自燃危险时，会出现从该帧开始第i个图像块的温度会出现增速较大，也即从该帧开始第i个图像块的热度值会出现增速较大，同时温度出现持续增长。并且从第i个像素为中心高温向周围扩散，自燃造成的危险程度越来越大，基于此构建如下公式来计算图像块的危险程度。
第
Figure 636055DEST_PATH_IMAGE034
帧煤炭图像中的第
Figure 821049DEST_PATH_IMAGE004
个图像块的危险程度
Figure 846161DEST_PATH_IMAGE002
为：
Figure 825618DEST_PATH_IMAGE001
其中，
Figure 198831DEST_PATH_IMAGE002
为第
Figure 921936DEST_PATH_IMAGE003
帧煤炭图像中的第
Figure 798625DEST_PATH_IMAGE004
个图像块的危险程度；
Figure 214563DEST_PATH_IMAGE005
为第
Figure 543913DEST_PATH_IMAGE003
帧煤炭图像中的第
Figure 61921DEST_PATH_IMAGE004
个图像块的平均热度值；
Figure 793116DEST_PATH_IMAGE006
为第
Figure 379955DEST_PATH_IMAGE003
帧煤炭图像中的第
Figure 462181DEST_PATH_IMAGE004
个图像块的高温扩散面积的波动程度；
Figure 527089DEST_PATH_IMAGE007
为第
Figure 378370DEST_PATH_IMAGE003
帧煤炭图像中的第
Figure 139040DEST_PATH_IMAGE004
个图像块的温度增加速度；
Figure 442983DEST_PATH_IMAGE008
为第
Figure 311582DEST_PATH_IMAGE003
帧煤炭图像中的第
Figure 282949DEST_PATH_IMAGE004
个图像块的温度增加速度的波动程度。
其中，高温扩散面积的波动程度的获取方法为：对于任意煤炭图像，获取前面的多帧煤炭图像中同一图像块的高温扩散面积，将高温扩散面积大于零的煤炭图像作为面积波动图像，图像块对应的面积波动图像的数量占比作为图像块的高温扩散面积的波动程度。温度增加速度的波动程度的获取方法为：对于任意煤炭图像，获取前面的多帧煤炭图像中同一图像块的温度增加速度，将温度增加速度大于零的煤炭图像作为温度波动图像，图像块对应的温度波动图像的数量占比作为图像块的温度增加速度的波动程度。需要说明的是，对于第t帧煤炭图像，对应的前面的多帧煤炭图像为，从第一帧开始至第t帧煤炭图像所包含的所有帧的煤炭图像。
通过该方式得到各图像块的危险程度，因而各图像块中各像素的危险程度取图像块的危险程度值。自燃造成的危险程度越来越大，基于此构建该公式来表示图像块的危险程度。
步骤S500，计算每帧煤炭图像中的危险程度的和作为总危险程度；总危险程度、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量。
利用图像块得到像素的危险程度，根据危险程度来自适应的划分存储块，通过该划分存储块的方式使危险程度大的像素信息存储损失较小，危险程度小的像素信息存储损失较大。需要说明的是使危险程度大的像素信息存储损失较小是为了更清楚的捕获像素信息，因为危险程度较大，故应对图像中像素信息的捕获更精确，所以使得危险程度大的像素信息存储损失较小；而危险程度小的像素信息存储损失较大是因为危险程度小的像素信息可以降低警惕度，对图像中信息的捕获不用更精确。也即视频中的大部分图像无需保留那么完整，只需对危险程度高的图像区域进行高清保留，因而需要根据危险程度来对监控视频进行有损存储。
为了使危险程度大图像信息存储损失较小，使危险程度小的图像信息存储损失较大，需给危险程度大的图像划分更多的存储块，给危险程度较小的图像划分更少的存储块，因而根据视频中各图像的危险程度确定各图像的划分的总存储块数。
计算每帧煤炭图像中的危险程度的和作为总危险程度，总危险程度、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量。
该第
Figure 946011DEST_PATH_IMAGE003
帧煤炭图像的存储块数量
Figure 2829DEST_PATH_IMAGE035
的计算公式为：
Figure 409539DEST_PATH_IMAGE036
其中，
Figure 503922DEST_PATH_IMAGE037
为第
Figure 337886DEST_PATH_IMAGE003
帧煤炭图像的图像总危险程度；
Figure 882000DEST_PATH_IMAGE038
为预设调节权重；
Figure DEST_PATH_IMAGE039
为煤炭图像的总像素点数量。在本发明实施例中预设调节权重的取值为0.05，在其他实施例中实施者可根据实际情况调整该取值。
步骤S600，将煤炭图像输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽；存储块划分网络的损失函数由存储块数量、危险程度和存储块的面积构建。
将煤炭图像和存储块数量输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽。其中，存储块划分网络所采用为yolov5的网络结构。该存储块划分网络的输入为煤炭图像，输出为划分好的存储块的起始坐标以及存储块的长宽。需要说明的是存储块的起始坐标为存储块左上角的坐标。如划分好的第i个存储块的起始坐标为（10,15），存储块的长宽为（5,9）。其中，该存储块的长为纵向像素点的数量，宽为横向像素点的数量，故由存储块的长宽相乘得到存储块的面积。
为了让该存储块划分网络实现划分存储块的功能，需设计相应的损失函数来监督该网络。该损失函数需要满足划分的危险程度小的存储块信息损失尽可能的大，危险程度大的存储块信息损失尽可能的小。同时，使该存储块的划分方式使图像的综合信息损失尽可能的小，故基于危险程度设计存储块划分网络的第一损失函数。
该第一损失函数
Figure 420297DEST_PATH_IMAGE010
为：
Figure 100677DEST_PATH_IMAGE040
其中，
Figure 639630DEST_PATH_IMAGE041
为存储块数量；
Figure 671040DEST_PATH_IMAGE012
为第
Figure 419554DEST_PATH_IMAGE004
个存储块中所有像素点对应的图像块的危险程度的均值；
Figure 220019DEST_PATH_IMAGE013
为第
Figure 395786DEST_PATH_IMAGE004
个存储块中第
Figure 648912DEST_PATH_IMAGE014
个颜色值出现的概率；
Figure 950186DEST_PATH_IMAGE015
为第
Figure 605158DEST_PATH_IMAGE004
个存储块中颜色值的数量。
在后续训练神经网络过程中令损失函数最小化，便可以达到使得每个图像块的信息量尽可能小，同时危险程度大的存储块的信息量相较于危险程度小的存储块的信息量尽可能小的目的。
在划分存储块时需满足划分的存储块的包含的图像信息等于总图像信息。同时划分的存储块之间包含重复信息尽可能小。因而基于存储块之间的重复信息设计存储块划分网络的第二损失函数。
该第二损失函数
Figure 217405DEST_PATH_IMAGE017
为：
Figure 957828DEST_PATH_IMAGE042
其中，
Figure 48144DEST_PATH_IMAGE043
为第
Figure 823202DEST_PATH_IMAGE004
个存储块和第
Figure 609280DEST_PATH_IMAGE014
个存储块的交集面积；
Figure 836999DEST_PATH_IMAGE019
为第
Figure 465426DEST_PATH_IMAGE004
个存储块的面积；
Figure 94990DEST_PATH_IMAGE044
为煤炭图像的面积；
Figure 783461DEST_PATH_IMAGE011
为存储块数量。需要说明的是，本发明实施例中提到的面积均为像素点数量，也即将像素点的数量作为面积的大小。
在后续训练神经网络过程中令损失函数最小化，便可以达到划分的任意两个存储块的交集信息尽可能小，同时划分的所有图像块的总面积应该等于整个图像的总面积。
进一步的，由于存储块划分网络既能实现使得每个图像块的信息量尽可能小，同时危险程度大的存储块的信息量相较于危险程度小的存储块的信息量尽可能小，又要实现划分的任意两个存储块的交集信息尽可能小，同时划分的所有图像块的总面积应该等于整个图像的总面积。故将第一损失函数和第二损失函数相加作为存储块划分网络的综合损失函数，也即存储块划分网络的损失函数为第一损失函数和第二损失函数之和。
该存储块划分网络的损失函数为：
Figure 498476DEST_PATH_IMAGE045
其中，
Figure 196173DEST_PATH_IMAGE010
为存储块划分网络的第一损失函数；
Figure 683174DEST_PATH_IMAGE017
为存储块划分网络的第二损失函数。
利用损失函数
Figure 808125DEST_PATH_IMAGE046
，将经过处理后的煤炭图像输入到存储块划分网络中，利用损失函数训练存储块划分网络，训练过程中利用随机梯度下降法更新神经网络参数，存储块划分网络经过多次迭代训练会逐渐收敛。请参阅图2，图2为存储块划分网络在不同迭代次数中损失函数的变化曲线的示意图，图2中的LOSS为存储块划分网络的损失函数，LOSS1为存储块划分网络的第一损失函数，LOSS2为存储块划分网络的第二损失函数。随着迭代训练次数的增加，损失函数变化趋势逐渐趋于稳定。在训练过程中使损失值逐渐变小，直至损失值收敛训练完成，具体的：在训练过程中神经网络每迭代10次就求出一次损失函数的均值，将对应的损失函数的均值与预设收敛阈值进行比较，当损失函数的均值小于预设收敛阈值时说明存储块划分网络的损失函数已经收敛，无需再进行迭代训练，当损失函数的均值大于等于预设收敛阈值时，说明存储块划分网络的损失函数还未达到收敛条件，需要继续对损失函数进行迭代训练，直至损失函数的均值达到收敛条件时，也即损失函数的均值小于预设收敛阈值时，停止迭代完成训练。在本发明实施例中预设收敛阈值的取值为5，在其他实施例中实施者可根据实际情况调整该取值。获取各煤炭图像的输出结果，每张煤炭图像有对应的煤炭传输带图像，故也即获取各煤炭传输带图像对应的输出结果。需要说明的是，将作为存储块划分网络的数据集为历史数据中多张经过处理后的煤炭图像。
最后将煤炭图像输入到网络中完成存储块划分，基于单个存储块进行研究，将存储块的所有像素点求均值，将像素均值作为存储块的压缩后的存储值。得到各存储块压缩后的存储值，将压缩后的存储值进行存储，也即实现了对实时得到的监控视频对应的每帧视频图像进行了存储。如划分的存储块数量为100，即将这100个存储块内的像素点求均值，只压缩保存这100个均值即可，会节省大量的存储空间。
综上所述，本发明实施例涉及图像处理技术领域，首先采集煤炭传输带图像、对应的热度图和仅含煤炭区域的煤炭图像；将煤炭图像划分成多个图像块，计算相邻两帧煤炭图像中同一图像块的平均热度值的差值作为温度增加速度；获取每帧煤炭图像中各像素点的热度值，将热度值大于预设热度阈值的像素点划分为高温像素点；计算相邻两帧煤炭图像中同一图像块的高温像素点数量的差值作为高温扩散面积；对于任意图像块，根据平均热度值、高温扩散面积的波动程度、温度增加速度和温度增加速度的波动程度计算图像块的危险程度；每帧煤炭图像中的危险程度的和、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量；将煤炭图像输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽。本发明实施例通过将煤炭传输带图像进行初步处理得到煤炭图像，将煤炭图像输入训练好的存储块划分网络，得到存储块的起始坐标和存储块的长宽，即实现了使得每个图像块的信息量尽可能小，同时危险程度大的存储块的信息量相较于危险程度小的存储块的信息量尽可能小，又实现了划分的任意两个存储块的交集信息尽可能小，同时划分的所有图像块的总面积应该等于整个图像的总面积的目的，避免了直接对视频数据进行存储导致耗费大量的存储空间的问题。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于图像处理的洗煤传输设备监控视频存储方法，其特征在于，该方法包括以下步骤：
采集煤炭传输带图像和对应的热度图；分割出所述煤炭传输带图像中的煤炭区域，得到仅含所述煤炭区域的煤炭图像；
将所述煤炭图像划分成多个图像块，获取热度图中对应的各图像块内像素点的平均热度值；计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度；
获取每帧所述煤炭图像中各像素点的热度值，将热度值大于预设热度阈值的像素点划分为高温像素点，其中每个图像块对应多个高温像素点；计算相邻两帧所述煤炭图像中同一图像块的高温像素点数量的差值作为高温扩散面积；
对于任意图像块，根据所述平均热度值、高温扩散面积的波动程度、所述温度增加速度和温度增加速度的波动程度计算图像块的危险程度；
计算每帧所述煤炭图像中的所述危险程度的和作为总危险程度；所述总危险程度、煤炭图像的总像素点数量和预设调节权重的乘积作为存储块数量；
将所述煤炭图像输入存储块划分网络输出划分的存储块的起始坐标和存储块的长宽；所述存储块划分网络的损失函数由所述存储块数量、所述危险程度和存储块的面积构建；
其中，危险程度的计算公式为：
Figure 511392DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
为第
Figure 530824DEST_PATH_IMAGE004
帧煤炭图像中的第
Figure DEST_PATH_IMAGE005
个图像块的危险程度；
Figure 237557DEST_PATH_IMAGE006
为第
Figure 826800DEST_PATH_IMAGE004
帧煤炭图像中的第
Figure 64138DEST_PATH_IMAGE005
个图像块的平均热度值；
Figure DEST_PATH_IMAGE007
为第
Figure 162243DEST_PATH_IMAGE004
帧煤炭图像中的第
Figure 413978DEST_PATH_IMAGE005
个图像块的高温扩散面积的波动程度；
Figure 224937DEST_PATH_IMAGE008
为第
Figure 646917DEST_PATH_IMAGE004
帧煤炭图像中的第
Figure 95607DEST_PATH_IMAGE005
个图像块的温度增加速度；
Figure DEST_PATH_IMAGE009
为第
Figure 673837DEST_PATH_IMAGE004
帧煤炭图像中的第
Figure 736207DEST_PATH_IMAGE005
个图像块的温度增加速度的波动程度；
其中，高温扩散面积的波动程度的获取方法为：对于任意煤炭图像，获取前面的多帧煤炭图像中同一图像块的高温扩散面积，将所述高温扩散面积大于零的煤炭图像作为面积波动图像，图像块对应的面积波动图像的数量占比作为图像块的高温扩散面积的波动程度；
其中，温度增加速度的波动程度的获取方法为：对于任意煤炭图像，获取前面的多帧煤炭图像中同一图像块的温度增加速度，将所述温度增加速度大于零的煤炭图像作为温度波动图像，图像块对应的温度波动图像的数量占比作为图像块的温度增加速度的波动程度；
其中，存储块划分网络的损失函数为：第一损失函数和第二损失函数之和；
其中，第一损失函数为：
Figure DEST_PATH_IMAGE011
其中，
Figure 494303DEST_PATH_IMAGE012
为存储块划分网络的第一损失函数；
Figure DEST_PATH_IMAGE013
为所述存储块数量；
Figure 345763DEST_PATH_IMAGE014
为第
Figure 434905DEST_PATH_IMAGE005
个存储块中所有像素点对应的图像块的危险程度的均值；
Figure DEST_PATH_IMAGE015
为第
Figure 80778DEST_PATH_IMAGE005
个存储块中第
Figure 844561DEST_PATH_IMAGE016
个颜色值出现的概率；
Figure DEST_PATH_IMAGE017
为第
Figure 768835DEST_PATH_IMAGE005
个存储块中颜色值的数量；
其中，第二损失函数为：
Figure DEST_PATH_IMAGE019
其中，
Figure 80820DEST_PATH_IMAGE020
为所述存储块划分网络的第二损失函数；
Figure DEST_PATH_IMAGE021
为第
Figure 830825DEST_PATH_IMAGE005
个存储块和第
Figure 625395DEST_PATH_IMAGE016
个存储块的交集面积；
Figure 667299DEST_PATH_IMAGE022
为第
Figure 632332DEST_PATH_IMAGE005
个存储块的面积；
Figure DEST_PATH_IMAGE023
为煤炭图像的面积；
Figure 228962DEST_PATH_IMAGE013
为所述存储块数量。
2.根据权利要求1所述的基于图像处理的洗煤传输设备监控视频存储方法，其特征在于，所述将热度值大于预设热度阈值的像素点划分为高温像素点，其中每个图像块对应多个高温像素点，包括：
对于任意图像块，以所述图像块为中心，判断预设半径内的像素点的热度值，将所述预设半径内的热度值大于预设热度阈值的像素点划分所述图像块对应的高温像素点。
3.根据权利要求1所述的基于图像处理的洗煤传输设备监控视频存储方法，其特征在于，所述计算煤炭图像中图像块与上一帧煤炭图像中相匹配图像块的平均热度值的差值作为温度增加速度，包括：
获取每个图像块的中心坐标；所述中心坐标包括横坐标和纵坐标；
以煤炭传输带的运动速度和每帧煤炭图像之间的拍摄时间间隔的乘积，作为横坐标移动位置；在上一帧煤炭图像中选取任意图像块作为目标图像块，目标图像块的中心坐标的横坐标加上所述横坐标移动位置，得到匹配中心横坐标，所述纵坐标保持不变；所述匹配中心横坐标和所述纵坐标构成匹配中心坐标；
基于当前帧煤炭图像，获取以所述匹配中心坐标为中心坐标的图像块作为第一图像块，当前帧煤炭图像中的所述第一图像块和在上一帧煤炭图像中的所述目标图像块互为相匹配图像块；
计算当前帧煤炭图像中所述第一图像块与上一帧煤炭图像中的所述目标图像块的平均热度值的差值作为温度增加速度。
CN202210880973.3A 2022-07-26 2022-07-26 基于图像处理的洗煤传输设备监控视频存储方法 Active CN115114476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210880973.3A CN115114476B (zh) 2022-07-26 2022-07-26 基于图像处理的洗煤传输设备监控视频存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210880973.3A CN115114476B (zh) 2022-07-26 2022-07-26 基于图像处理的洗煤传输设备监控视频存储方法

Publications (2)

Publication Number Publication Date
CN115114476A CN115114476A (zh) 2022-09-27
CN115114476B true CN115114476B (zh) 2022-11-15

Family

ID=83334324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210880973.3A Active CN115114476B (zh) 2022-07-26 2022-07-26 基于图像处理的洗煤传输设备监控视频存储方法

Country Status (1)

Country Link
CN (1) CN115114476B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1970843A1 (de) * 2007-02-28 2008-09-17 Oeko-Consult Glock AG Verfahren und Vorrichtung zur Bestimmung des Fliessverhaltens von Gefahrstoffen bei Havarien
CN103111030A (zh) * 2013-01-05 2013-05-22 神华集团有限责任公司 防止煤炭自燃或使煤炭自燃熄灭的系统和方法
WO2014209234A1 (en) * 2013-06-26 2014-12-31 Agency For Science, Technology And Research Method and apparatus for hot data region optimized dynamic management
CN105257332A (zh) * 2015-11-03 2016-01-20 四川省科建煤炭产业技术研究院有限公司 一种煤矿井下雾化阻燃防灭火方法及系统
WO2018121035A1 (zh) * 2016-12-29 2018-07-05 山东科技大学 一种个性化确定采煤工作面底板突水危险等级的方法
CN110748381A (zh) * 2019-09-20 2020-02-04 山东科技大学 用于煤矿井下的采空区高温火区位置声波探测方法及系统
JP2021147819A (ja) * 2020-03-18 2021-09-27 セイコーエプソン株式会社 計測方法、計測装置、計測システム及び計測プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10190986B2 (en) * 2011-06-06 2019-01-29 Abbott Laboratories Spatially resolved ligand-receptor binding assays
US10378957B2 (en) * 2016-09-13 2019-08-13 Safe-Fire Technology LLC System and method for measuring coal burner flame temperature profile using optical device
CN110821566B (zh) * 2019-08-01 2021-12-28 青岛理工大学 一种矿井井筒用故障监测系统及方法
CN111814711B (zh) * 2020-07-15 2023-08-08 中国矿业大学 一种应用于矿井机器视觉的图像特征快速匹配方法及系统
CN114006998B (zh) * 2021-10-29 2023-08-04 浙江舜宇智领技术有限公司 一种车载摄像模组温度保护系统及其保护方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1970843A1 (de) * 2007-02-28 2008-09-17 Oeko-Consult Glock AG Verfahren und Vorrichtung zur Bestimmung des Fliessverhaltens von Gefahrstoffen bei Havarien
CN103111030A (zh) * 2013-01-05 2013-05-22 神华集团有限责任公司 防止煤炭自燃或使煤炭自燃熄灭的系统和方法
WO2014209234A1 (en) * 2013-06-26 2014-12-31 Agency For Science, Technology And Research Method and apparatus for hot data region optimized dynamic management
CN105257332A (zh) * 2015-11-03 2016-01-20 四川省科建煤炭产业技术研究院有限公司 一种煤矿井下雾化阻燃防灭火方法及系统
WO2018121035A1 (zh) * 2016-12-29 2018-07-05 山东科技大学 一种个性化确定采煤工作面底板突水危险等级的方法
CN110748381A (zh) * 2019-09-20 2020-02-04 山东科技大学 用于煤矿井下的采空区高温火区位置声波探测方法及系统
JP2021147819A (ja) * 2020-03-18 2021-09-27 セイコーエプソン株式会社 計測方法、計測装置、計測システム及び計測プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
煤尘爆炸危险等级模糊结构元综合决策研究;李雨成等;《中国安全科学学报》;20160215(第02期);全文 *
采煤工作面顺槽煤炭自燃危险性评估;陈国良等;《煤矿安全》;20030405(第04期);全文 *

Also Published As

Publication number Publication date
CN115114476A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN112329658B (zh) 一种对于yolov3网络的检测算法改进方法
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN108629291B (zh) 一种抗网格效应的人脸深度预测方法
CN112819802A (zh) 基于风口信息深度学习的监督及预测高炉炉况异常的方法
CN112508090A (zh) 一种外包装缺陷检测方法
CN103402042A (zh) 基于分块式误差扩散的半色调图像生成方法
CN106952304A (zh) 一种利用视频序列帧间相关性的深度图像计算方法
CN115114476B (zh) 基于图像处理的洗煤传输设备监控视频存储方法
CN111598918A (zh) 一种基于参考帧优选和前后景分离的视频稳像运动估计方法
CN109145964A (zh) 一种实现图像颜色聚类的方法和系统
CN116630748A (zh) 一种基于熔盐图像特征的稀土电解槽状态多参数监测方法
CN111784679A (zh) 一种基于cnn和svm的挡土墙裂缝识别方法
CN112419231A (zh) 能见度确定方法、装置、计算机设备和存储介质
Jiang et al. Attention M-net for automatic pixel-level micro-crack detection of photovoltaic module cells in electroluminescence images
CN114743027A (zh) 弱监督学习引导的协同显著性检测方法
US20190147641A1 (en) A real-time rendering method based on energy consumption-error precomputation
CN112766102A (zh) 一种基于空谱特征融合的无监督高光谱视频目标跟踪方法
CN115082734B (zh) 铝电解槽火眼视频巡检系统及过热度深度学习识别方法
CN110991230A (zh) 基于旋转候选框的任意方向遥感影像舰船检测方法及系统
CN113744220A (zh) 一种基于pynq的无预选框检测系统
CN111832641B (zh) 一种基于级联下采样卷积神经网络的图像识别方法
CN113989793A (zh) 一种石墨电极钢印文字识别方法
CN112908257A (zh) 显示面板的补偿方法、装置及系统
CN103716639A (zh) 一种帧图像运动估计的搜索算法
Wang et al. Automatic area measurement of ring cooler corner images based on EU-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant