CN116612436B - 基于煤矿掘进工作面关键特征的视频编码注意力标定系统 - Google Patents

基于煤矿掘进工作面关键特征的视频编码注意力标定系统 Download PDF

Info

Publication number
CN116612436B
CN116612436B CN202310882455.XA CN202310882455A CN116612436B CN 116612436 B CN116612436 B CN 116612436B CN 202310882455 A CN202310882455 A CN 202310882455A CN 116612436 B CN116612436 B CN 116612436B
Authority
CN
China
Prior art keywords
data
matching
gray value
pixel point
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310882455.XA
Other languages
English (en)
Other versions
CN116612436A (zh
Inventor
赵金升
王皓
袁峰
丁宇辉
王猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayang Communication Technology Co ltd
Original Assignee
Huayang Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayang Communication Technology Co ltd filed Critical Huayang Communication Technology Co ltd
Priority to CN202310882455.XA priority Critical patent/CN116612436B/zh
Publication of CN116612436A publication Critical patent/CN116612436A/zh
Application granted granted Critical
Publication of CN116612436B publication Critical patent/CN116612436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及视频编码压缩领域,具体涉及基于煤矿掘进工作面关键特征的视频编码注意力标定系统,该系统包括:采集煤矿掘进工作面视频,对视频进行标定,根据标定结果以及像素点的灰度值获取像素点的损失阈值;构建待压缩序列,将待压缩序列中的数据依次作为前缀以及后缀,根据前缀以及后缀对应像素点的损失阈值获取共识字典中对应的前缀匹配灰度值,进一步得到预压缩数据以及匹配结果,根据预压缩数据的匹配率获取待压缩数据,对待压缩数据的进行编码,进一步得到视频压缩数据。本发明压缩效率高,损失的信息量少,确保了根据视频压缩数据识别煤矿各类隐患的准确性以及实时性。

Description

基于煤矿掘进工作面关键特征的视频编码注意力标定系统
技术领域
本发明涉及视频编码压缩领域,具体涉及基于煤矿掘进工作面关键特征的视频编码注意力标定系统。
背景技术
绝大多数煤矿具有地质条件复杂、开采难度大、灾害类型多、分布面广、人的不安全行为和环境、物的不安全状态等隐患众多等特点,导致煤矿安全生产事故时有发生,致使人身伤亡。为了及时发现煤矿隐患问题,遏制矿山重特大事故发生,煤矿开采单位通常会对煤矿掘进工作面进行视频监控,通过视频对煤矿各类隐患进行分析研判。
目前通常使用“前端采集+后台分析”的视频分析模式,但该模式从视频图像采集、分析、判断、决策、反馈的整个过程会产生较长的时间延迟,无法第一时间识别出各类隐患。
针对以上问题,本发明提出一种云-边-端协同分析模型,使得煤矿各类隐患分析研判由云平台和边缘节点互相配合进行,通过边缘节点对视频中煤矿掘进工作面的关键特征进行识别标定,结合标定内容对视频进行压缩,并传输至云平台,云平台根据标定内容进行煤矿各类隐患的识别。通过云-边-端协同分析的模式,减少云端的计算量,节省视频响应时间,提高各类隐患的识别效率。
发明内容
为了解决上述问题,本发明提供基于煤矿掘进工作面关键特征的视频编码注意力标定系统,所述系统包括:
视频采集模块,采集煤矿掘进工作面视频;
视频标定模块,边缘节点获取视频帧的标定结果;
损失阈值获取模块,根据标定结果以及像素点的灰度值获取像素点的损失阈值;
视频压缩模块,S1:构建初始的共识字典;将视频帧中所有像素点的灰度值构成待压缩序列;
S2:将待压缩序列中第一个灰度值作为前缀,根据前缀对应像素点的损失阈值在共识字典中获取多个前缀匹配灰度值;
S3:对每个前缀匹配灰度值分别执行匹配操作,得到预压缩数据以及匹配结果,包括:
S301:将待压缩序列中前缀的下一个灰度值作为后缀,获取后缀对应像素点的损失阈值;根据共识字典以及后缀获取第一差值;
当前缀匹配灰度值与前缀相同且第一差值小于或等于,或前缀匹配灰度值与前缀不同且第一差值为0时,获取新的前缀以及新的前缀匹配灰度值;否则,将前缀作为预压缩数据,将前缀匹配灰度值作为匹配结果;
S302:当未获得预压缩数据以及匹配结果时,重复S301,直到获取预压缩数据以及匹配结果时停止迭代;
S4:根据预压缩数据以及匹配结果获取预压缩数据的匹配率;将匹配率最大的预压缩数据作为待压缩数据,获取待压缩数据的编码,对共识字典以及待压缩序列进行更新;
S5:重复S2到S4,直到待压缩序列为空时停止迭代;将所有待压缩数据的编码构成编码序列;对编码序列以及标定结果进行压缩得到视频压缩数据;
视频传输模块,将视频压缩数据至传输云平台;
风险隐患识别预警模块,对视频压缩数据进行解压以及风险隐患识别预警。
优选的,所述获取视频帧的标定结果,包括的步骤为:
利用语义分割网络将视频帧中所有像素点分为多个类别,将语义分割网络输出的视频帧中每个像素点的类别作为视频帧的标定结果。
优选的,所述根据标定结果以及像素点的灰度值获取像素点的损失阈值,包括的步骤为:
根据标定结果预设每个像素点的重要程度,同一类别的像素点的重要程度相同,重要程度最大为1,最小为0;
根据视频帧中像素点的灰度值获取每个像素点的显著性:
其中/>为视频帧中第i个像素点的显著性;m为视频帧中第i个像素点的邻域范围;/>为视频帧中第i个像素点的灰度值;/>为视频帧中第i个像素点的m邻域内第k个像素点的灰度值;/>为超参数;/>为双曲正切函数;
根据每个像素点的重要程度以及显著性获取每个像素点的损失阈值:
其中/>为视频帧中第i个像素点的损失阈值;/>为超参数;/>为视频帧中第i个像素点的显著性;/>为视频帧中第i个像素点的重要程度;/>为以自然常数为底的指数函数。
优选的,所述构建初始的共识字典,包括的步骤为:
统计历史的煤矿掘进工作面视频中[0,255]范围内的每个灰度值的频率,按照所有灰度值的频率从大到小的顺序对所有灰度值进行排列,将排列结果作为初始的共识字典。
优选的,所述根据前缀对应像素点的损失阈值在共识字典中获取多个前缀匹配灰度值,包括的步骤为:
将前缀在视频帧中所对应的像素点的损失阈值记为,获取共识字典中与前缀的差值绝对值小于或等于/>所有灰度值,分别作为前缀匹配灰度值。
优选的,所述根据共识字典以及后缀获取第一差值,包括的步骤为:
获取前缀匹配灰度值中最后一个灰度值,将所述最后一个灰度值在共识字典中的前一个灰度值作为目标灰度值,将目标灰度值与后缀的差值绝对值作为第一差值。
优选的,所述获取新的前缀以及新的前缀匹配灰度值,包括的步骤为:
将后缀拼接在前缀之后,作为新的前缀;将目标灰度值作为后缀匹配灰度值,将后缀匹配灰度值拼接前缀匹配灰度值之后,作为新的前缀匹配灰度值。
优选的,所述根据预压缩数据以及匹配结果获取预压缩数据的匹配率,包括的步骤为:
判断预压缩数据与匹配结果中同一个位置的灰度值是否相同,若不同,则将预压缩数据中对应位置的灰度值作为损失灰度值,将预压缩数据的匹配结果中对应位置的灰度值作为损失匹配灰度值;
当预压缩数据存在损失灰度值时,计算损失灰度值与匹配结果中的损失匹配灰度值的差值绝对值,将所得结果除以损失灰度值在视频帧对应的像素点的损失阈值,作为预压缩数据的损失率;当预压缩数据不存在损失灰度值时,将0作为预压缩数据的损失率;
根据损失率以及预压缩数据的长度获取预压缩数据的匹配率:
其中/>为第j个预压缩数据的匹配率;/>为第j个预压缩数据的损失率;/>为第j个预压缩数据的长度。
优选的,所述获取待压缩数据的编码,对共识字典以及待压缩序列进行更新,包括的步骤为:
获取待压缩数据对应的匹配结果中第一个灰度值在共识字典中的索引,作为第一索引,记为d;将待压缩数据的长度记为L;将第一索引d与待压缩数据的长度L作为待压缩数据的编码(d,L);将共识字典中索引为d-L到d的灰度值一同提取到共识字典开始的位置;将待压缩数据从待压缩序列中删除。
本发明至少具有如下有益效果:
1.本发明通过为对视频帧中像素点进行标定来为不同类别的像素点设置不同的重要程度,根据每个像素点与周围像素点的灰度值的差异获取每个像素点的显著性,结合重要程度以及显著性获取每个像素点的损失阈值,使得根据损失阈值对视频帧进行压缩时更加关注重要程度大且包含信息量大的像素点,进一步使得最终得到的视频压缩数据中损失的信息量少,确保了云平台根据视频压缩数据识别煤矿各类隐患的准确性;
2.本发明结合MTF编码的思想,根据视频帧具有局部相似性以及纹理规律性的特征,对MTF编码进行改进,实现了对视频帧中多个像素点的灰度值在共识字典中同时进行逆向匹配,并结合了每个像素点的损失阈值,使得最终的匹配结果长度尽可能长的同时损失的信息量尽可能少,进一步使得得到的编码序列长度尽可能短,从而使得改进之后的MTF编码具有压缩效果的同时,还保留了改进之前MTF编码的编码结果中数字的重复率高的特点,利用霍夫曼编码等压缩算法对编码序列进行进一步压缩的效率更高,提高了视频传输的效率,确保了根据视频压缩数据识别煤矿各类隐患的准确性以及实时性。
3.传统的“前端采集+后台分析”的视频分析模式,从视频图像采集、分析、判断、决策、反馈的整个过程会产生较长的时间延迟,无法第一时间识别出各类隐患。而本发明采用的云-边-端协同分析模式,通过边缘节点对视频中煤矿掘进工作面的关键特征进行识别标定,通过云平台根据标定内容进行煤矿各类隐患的识别,从而使得煤矿各类隐患分析研判由云平台和边缘节点互相配合进行,减少云端的计算量,节省视频响应时间,提高各类隐患的识别效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的基于煤矿掘进工作面关键特征的视频编码注意力标定系统的系统框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于煤矿掘进工作面关键特征的视频编码注意力标定系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于煤矿掘进工作面关键特征的视频编码注意力标定系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于煤矿掘进工作面关键特征的视频编码注意力标定系统,该系统包括以下模块:
视频采集模块S101,采集煤矿掘进工作面视频。
在掘进工作面安装智能摄像仪、电源等设备,通过智能摄像仪对煤矿掘进工作面进行实时监控,采集煤矿掘进工作面视频。
视频标定模块S102,对煤矿掘进工作面视频中的关键特征进行注意力标定。
智能摄像仪将煤矿掘进工作面视频实时传输至部署在智能摄像仪附近的边缘节点。边缘节点将每个视频帧输入到语义分割网络中识别视频帧中的关键特征。
需要说明的是,煤矿掘进工作面的关键工序包括敲帮问顶、临时支护、挂网、掘进等。敲帮问顶涉及敲帮问顶工具,临时支护涉及临时支护工具,挂网涉及锚杆钻机以及挂网,掘进涉及掘进机,因此视频帧的关键特征包括人员、敲帮问顶工具、临时支护工具、锚杆钻机、挂网、掘进机。
语义分割网络的内容具体如下:
语义分割网络的输入为视频帧,输出为视频帧中所有像素点的标签;语义分割网络训练使用的数据集历史的煤矿掘进工作面图像数据集;语义分割网络需要分割的像素共分为7类,即训练集对应标签标注过程为:对应位置像素属于人员的标注为1、对应位置像素属于敲帮问顶工具的标注为2、对应位置像素属于临时支护工具的标注为3、对应位置像素属于锚杆钻机的标注为4、对应位置像素属于挂网的标注为5、对应位置像素属于掘进机的标注为6、对应位置像素属于背景的标注为0;语义分割网络使用的损失函数为交叉熵损失函数。
常用的语义分割网络有DeepLabV3、U-net、SegNet等,本发明实施例使用DeepLabV3语义分割网络识别视频帧中的关键特征,在其他实施例中实施者可根据实际情况选择语义分割网络。
将语义分割网络输出的视频帧中每个像素点的标签作为对煤矿掘进工作面视频的视频帧的标定结果。
至此,实现了对煤矿掘进工作面视频中的关键特征的注意力标定。
损失阈值获取模块S103,获取煤矿掘进工作面视频中每个像素点的损失阈值。
需要说明的是,在煤矿掘进工作面的关键工序中,人员的安全为重中之重,由人员不规范操作造成的安全隐患也需及时识别消除。人员的安全检测依赖于视频中的人员,由人员不规范操作造成的安全隐患的识别依赖于视频中的敲帮问顶工具、临时支护工具、锚杆钻机、挂网以及掘进机等的状态。因此需要为视频帧中不同类别的像素点设置不同的重要程度,结合重要程度为不同类别的像素点设置不同的损失阈值,以便后续根据损失阈值进行视频帧的压缩。重要程度越大的类别越重要,在本发明实施例中,属于人员的像素点的重要程度最大,为1;属于敲帮问顶工具、临时支护工具、锚杆钻机、挂网以及锚杆钻机的像素点的重要程度次之,为0.8;属于背景的像素点的重要程度最低,为0.5。在其他实施例中,实施人员可根据需要设置不同类别的像素点的重要程度,但为确保后续压缩的顺利进行,重要程度的取值范围需在[0,1]之间。
至此,获取了每个像素点的重要程度。
需要说明的是,视频帧中平滑区域所包含的信息量小,纹理复杂区域所包含的信息量大,为了确保最终的压缩结果中损失的信息量小,可对平滑区域的像素点设置较大的损失阈值,对纹理复杂区域的像素点设置较小的损失阈值。本发明实施例计算视频帧中每个像素点的显著性来反应像素点所处区域的纹理复杂程度,根据显著性来进一步获取每个像素点的损失阈值。
在本发明实施例中,视频帧中每个像素点的显著性的计算方法如下:
视频帧中第i个像素点的显著性为:
其中m为视频帧中第i个像素点的邻域范围,在本发明实施例中,视频帧中第i个像素点的邻域范围为24邻域,即m=24,在其他实施例中,实施人员可根据需要设置邻域范围;/>为视频帧中第i个像素点的灰度值;/>为视频帧中第i个像素点的m邻域内第k个像素点的灰度值;/>为超参数,在本发明实施例中,/>的经验值为10;/>为双曲正切函数,由于/>恒大于等于0,因此/>用作于对进行归一化;当视频帧中第i个像素点的m邻域内像素点与第i个像素点的差异越大时,第i个像素点的显著性越大,当视频帧中第i个像素点的m邻域内像素点与第i个像素点的差异越小时,第i个像素点的显著性越小。
结合重要程度以及显著性获取视频帧中每个像素点的损失阈值,如视频帧中第i个像素点的损失阈值为为:
其中/>为超参数,经验值为10;/>为视频帧中第i个像素点的显著性;/>为视频帧中第i个像素点的重要程度;/>为以自然常数为底的指数函数;当第i个像素点的重要程度越大,且显著性越大时,第i个像素点在视频帧中为关键像素点,包含的信息量较大,此时第i个像素点的损失阈值越小;当第i个像素点的重要程度越小,或显著性越小时,第i个像素点包含的信息量较少,此时第i个像素点的损失阈值越大。
至此,获取了煤矿掘进工作面视频中每个像素点的损失阈值。
需要说明的是,本发明实施例通过为不同类别的像素点设置不同的重要程度,根据每个像素点与周围像素点的差异获取每个像素点的显著性,结合重要程度以及显著性获取每个像素点的损失阈值,使得后续根据损失阈值对视频帧进行压缩时更加关注重要程度大且包含信息量大的像素点,进一步使得最终得到的压缩数据中损失的信息量少,确保了后续云平台根据压缩数据识别煤矿各类隐患的准确性。
视频压缩模块S104,对煤矿掘进工作面视频进行压缩,得到视频压缩数据。
需要说明的是,MTF编码是一种数据转换编码,通过构建共识字典对数据进行编码,利用当前待编码的字符在共识字典中对应的字符的索引对当前待编码的字符进行编码,并将当前待编码的字符在共识字典中对应的字符提到共识字典开始的位置,使得后续出现相同的字符时,对此相同的字符编码成较小的数字。MTF编码根据数据的冗余性进行编码,若数据的冗余性较大,即数据中重复的字符个数较多时,大部分的字符被编码成较小的数字,使得最终的编码结果中数字的重复率越高,利用霍夫曼编码方法对MTF编码的编码结果进行压缩,相较于直接对数据进行压缩的压缩效率更高。
需要进一步说明的是,MTF编码仅能实现数据的编码,无法实现压缩。由于视频帧具有局部相似性以及纹理规律性,例如视频帧中相同的多个像素值10,11,12可能多次出现,在首次出现时,利用MTF编码会依次将共识字典中的10,11,12提到共识字典最开始的位置,使得共识字典中像素值10,11,12的排列顺序为12,11,10,当视频帧中像素值10,11,12再次出现时,利用常规的MTF编码会对共识字典中的10,11,12依次匹配并依次提到共识字典最开始的位置,使得视频帧中像素值10,11,12的编码结果的长度仍然为3。本发明实施例结合共识字典中的10,11,12排布规律,对视频帧中像素值10,11,12进行统一逆向匹配,将视频帧中像素值10,11,12与共识字典中的12,11,10匹配,进一步利用共识字典中10的索引以及匹配长度来对像素值10,11,12进行编码,从而实现编码长度的减小,一定程度上实现压缩。
在本发明实施例中,对视频帧进行压缩的具体步骤如下:
1.首先统计历史的煤矿掘进工作面视频中[0,255]范围内的每个灰度值的频率,按照所有灰度值的频率从大到小的顺序对所有灰度值进行排列,将最终的排列结果作为初始的共识字典。初始的共识字典长度为256,包含[0,255]范围内的所有灰度值。
2.对视频帧中所有像素点进行扫描,按照扫描的顺序将所有像素点的灰度值组成一个一维的序列,作为待压缩序列。在本发明实施例中,对视频帧中所有像素点进行扫描的方式为Hilbert扫描,在其他实施例中,实施人员可采用其他扫描方式,如Zigzag 扫描、光栅扫描、蛇形扫描等。
3.将待压缩序列中第一个灰度值作为前缀,将前缀在视频帧中所对应的像素点的损失阈值作为前缀的损失阈值,记为,获取共识字典中与前缀的差值绝对值小于或等于所有灰度值,分别作为前缀匹配灰度值,构成前缀匹配灰度值序列。
4.对于前缀匹配灰度值序列中任意一个前缀匹配灰度值执行匹配操作,获取预压缩数据以及匹配结果,具体包括:
1).将待压缩序列中前缀的下一个灰度值作为后缀,获取后缀在视频帧中所对应的像素点的损失阈值作为后缀的损失阈值,记为。获取前缀匹配灰度值中的最后一个灰度值,将该灰度值在共识字典中的前一个灰度值作为目标灰度值,将目标灰度值与后缀的差值绝对值作为第一差值。需要说明的是,当不存在第一差值时,即共识字典中前缀匹配灰度值之前不存在灰度值时,此时共识字典中目标灰度值为第一个灰度值,将前缀作为预压缩数据,将前缀匹配灰度值作为匹配结果。
当前缀匹配灰度值与前缀相同且第一差值小于或等于,或前缀匹配灰度值与前缀不同且第一差值为0时,将后缀拼接在前缀之后,作为新的前缀,同时将目标灰度值作为后缀匹配灰度值,将后缀匹配灰度值拼接前缀匹配灰度值之后,作为新的前缀匹配灰度值;
当前缀匹配灰度值与前缀相同且第一差值大于,或前缀匹配灰度值与前缀不同且第一差值不为0时,将前缀作为预压缩数据,将前缀匹配灰度值作为匹配结果。
2).当未获得预压缩数据以及匹配结果时,重复执行步骤1),直到获取预压缩数据以及匹配结果时停止迭代。
5.对于前缀匹配灰度值序列中每个前缀匹配灰度值执行步骤4的操作,获得多个预压缩数据以及匹配结果。
每个预压缩数据包含一个或多个灰度值,每个匹配结果包含的灰度值个数与预压缩数据相同。判断预压缩数据与对应的匹配结果中同一个位置的灰度值是否相同,若不同,则将预压缩数据中该位置的灰度值作为损失灰度值,将对应的匹配结果中该位置的灰度值作为损失匹配灰度值。需要说明的是,每个预压缩数据最多仅有一个损失灰度值,每个匹配结果最多仅有一个损失匹配灰度值。
当预压缩数据存在损失灰度值时,计算损失灰度值与预压缩数据对应的匹配结果中的损失匹配灰度值的差值绝对值,将该差值绝对值除以损失灰度值在视频帧对应的像素点的损失阈值,作为该预压缩数据的损失率;当预压缩数据不存在损失灰度值时,说明预压缩数据与匹配结果完全相同,此时预压缩数据的损失率为0。
计算每个预压缩数据的匹配率,如第j个预压缩数据的匹配率为:
其中/>为第j个预压缩数据的损失率;/>为第j个预压缩数据的长度;当第j个预压缩数据的损失率越小,长度越长时,第j个预压缩数据的匹配率越大。
6.将匹配率最大的预压缩数据作为最终的待压缩数据,获取待压缩数据对应的匹配结果中第一个灰度值在共识字典中的索引,作为第一索引,记为d。将待压缩数据的长度记为L。将第一索引d与待压缩数据的长度L作为待压缩数据的编码(d,L)。将共识字典中索引为d-L到d的灰度值一同提取到共识字典开始的位置。
将待压缩数据从待压缩序列中删除。
7.重复步骤3到6,直到待压缩序列为空时停止迭代。将所有待压缩数据的编码构成编码序列。
利用霍夫曼编码对编码序列进行进一步压缩,得到视频帧压缩结果。利用霍夫曼编码对视频标定模块中视频帧的标定结果进行压缩,得到标定压缩结果。将视频帧压缩结果以及标定压缩结果作为视频压缩数据。
需要说明的是,本发明实施例结合MTF编码的思想,根据视频帧具有局部相似性以及纹理规律性的特征,对MTF编码进行改进,实现了对视频帧中多个像素点的灰度值在共识字典中同时进行逆向匹配,并结合了每个像素点的损失阈值,使得最终的匹配结果长度尽可能长的同时损失的信息量尽可能少,进一步使得得到编码序列长度尽可能短。使得改进之后的MTF编码具有压缩效果的同时,还保留了改进之前MTF编码的编码结果中数字的重复率高的特点,利用霍夫曼编码对编码序列进行进一步压缩的效率更高。
视频传输模块S105,对视频压缩数据进行传输。
边缘节点将视频压缩数据传输至云平台。
风险隐患识别预警模块S106,对视频压缩数据进行解压,根据解压结果进行风险隐患识别以及预警。
云平台对视频压缩数据进行解压,具体的步骤为:
1.利用霍夫曼编码对视频压缩数据中的视频帧压缩结果以及标定压缩结果分别进行解压,得到视频帧对应的编码序列以及标定结果。
2.将编码序列中每个元素作为待解码元素,依次对每个待解码元素进行解码:
将待解码元素记为(d,L),获取共识字典中索引为d-L到d的灰度值,将此些灰度值进行反序,得到的结果作为待解码元素的解码结果。将共识字典中索引为d-L到d的灰度值一同提取到共识字典开始的位置。
3.将所有待解码元素的解码结果拼接在一起得到一个一维的序列。构建一个与标定结果同样大小的空矩阵,利用视频压缩模块中的扫描方式,对空矩阵进行扫描,按照扫描顺序将一维的序列中每个元素依次填入到空矩阵中,最终得到的结果即为视频帧。
至此,完成了视频压缩数据的解压,获取了视频帧。
云平台根据连续多个视频帧以及每个视频帧标定结果进行风险隐患识别预警,具体为:
1.在敲帮问顶工序中,识别视频人员个数,正常情况下,负责敲帮问顶工序的人员为2人,其中1人为操作人员,另1人为观察人员,当检测到人数为2人以下或2人以上时,进行报警以及语音提示;
2.当视频中包含敲帮问顶工具时,敲帮问顶工序即开始,此时进行工具姿态检测,识别人员是否在持工具敲击顶板及侧帮,若人员持工具长时间未敲击顶板及侧帮,进行报警以及语音提示;
3.当视频中包含临时支护工具时,敲帮问顶工序即结束,此时分析临时支护工具的数量是否满足要求,背板接顶姿态是否满足要求,若不满足要求,进行报警以及语音提示;
4.当视频中包含检测到锚杆钻机时,临时支护工序结束,对人员施工时是否挂网防护进行识别,若人员施工时未设置挂网防护,进行报警以及语音提示;
5.当视频中掘进机运行时,对掘进工作面进行划线设防,划定危险区域,当危险区域有人闯入时,识别闯入人员,进行报警以及语音提示。
需要说明的是,传统的“前端采集+后台分析”的视频分析模式,从视频图像采集、分析、判断、决策、反馈的整个过程会产生较长的时间延迟,无法第一时间识别出各类隐患。而本发明实施例采用的云-边-端协同分析模式,通过边缘节点对视频中煤矿掘进工作面的关键特征进行识别标定,通过云平台根据标定内容进行煤矿各类隐患的识别,从而使得煤矿各类隐患分析研判由云平台和边缘节点互相配合进行,减少云端的计算量,节省视频响应时间,提高各类隐患的识别效率。
综上所述,本发明的系统包括视频采集模块、视频标定模块、损失阈值获取模块、视频压缩模块、视频传输模块,风险隐患识别预警模块。本发明通过为对视频帧中像素点进行标定来为不同类别的像素点设置不同的重要程度,根据每个像素点与周围像素点的灰度值的差异获取每个像素点的显著性,结合重要程度以及显著性获取每个像素点的损失阈值,使得根据损失阈值对视频帧进行压缩时更加关注重要程度大且包含信息量大的像素点,进一步使得最终得到的视频压缩数据中损失的信息量少,确保了云平台根据视频压缩数据识别煤矿各类隐患的准确性;本发明结合MTF编码的思想,根据视频帧具有局部相似性以及纹理规律性的特征,对MTF编码进行改进,实现了对视频帧中多个像素点的灰度值在共识字典中同时进行逆向匹配,并结合了每个像素点的损失阈值,使得最终的匹配结果长度尽可能长的同时损失的信息量尽可能少,进一步使得得到的编码序列长度尽可能短,从而使得改进之后的MTF编码具有压缩效果的同时,还保留了改进之前MTF编码的编码结果中数字的重复率高的特点,利用霍夫曼编码等压缩算法对编码序列进行进一步压缩的效率更高,提高了视频传输的效率,确保了根据视频压缩数据识别煤矿各类隐患的准确性以及实时性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.基于煤矿掘进工作面关键特征的视频编码注意力标定系统,其特征在于,所述系统包括:
视频采集模块,采集煤矿掘进工作面视频;
视频标定模块,边缘节点获取视频帧的标定结果;
损失阈值获取模块,根据标定结果以及像素点的灰度值获取像素点的损失阈值;
视频压缩模块,S1:构建初始的共识字典;将视频帧中所有像素点的灰度值构成待压缩序列;
S2:将待压缩序列中第一个灰度值作为前缀,根据前缀对应像素点的损失阈值在共识字典中获取多个前缀匹配灰度值;
S3:对每个前缀匹配灰度值分别执行匹配操作,得到预压缩数据以及匹配结果,包括:
S301:将待压缩序列中前缀的下一个灰度值作为后缀,获取后缀对应像素点的损失阈值;根据共识字典以及后缀获取第一差值;
当前缀匹配灰度值与前缀相同且第一差值小于或等于,或前缀匹配灰度值与前缀不同且第一差值为0时,获取新的前缀以及新的前缀匹配灰度值;否则,将前缀作为预压缩数据,将前缀匹配灰度值作为匹配结果;
S302:当未获得预压缩数据以及匹配结果时,重复S301,直到获取预压缩数据以及匹配结果时停止迭代;
S4:根据预压缩数据以及匹配结果获取预压缩数据的匹配率;将匹配率最大的预压缩数据作为待压缩数据,获取待压缩数据的编码,对共识字典以及待压缩序列进行更新;
S5:重复S2到S4,直到待压缩序列为空时停止迭代;将所有待压缩数据的编码构成编码序列;对编码序列以及标定结果进行压缩得到视频压缩数据;
视频传输模块,将视频压缩数据至传输云平台;
风险隐患识别预警模块,对视频压缩数据进行解压以及风险隐患识别预警。
2.根据权利要求1所述的基于煤矿掘进工作面关键特征的视频编码注意力标定系统,其特征在于,所述获取视频帧的标定结果,包括的步骤为:
利用语义分割网络将视频帧中所有像素点分为多个类别,将语义分割网络输出的视频帧中每个像素点的类别作为视频帧的标定结果。
3.根据权利要求1所述的基于煤矿掘进工作面关键特征的视频编码注意力标定系统,其特征在于,所述根据标定结果以及像素点的灰度值获取像素点的损失阈值,包括的步骤为:
根据标定结果预设每个像素点的重要程度,同一类别的像素点的重要程度相同,重要程度最大为1,最小为0;
根据视频帧中像素点的灰度值获取每个像素点的显著性:
其中/>为视频帧中第i个像素点的显著性;m为视频帧中第i个像素点的邻域范围;/>为视频帧中第i个像素点的灰度值;/>为视频帧中第i个像素点的m邻域内第k个像素点的灰度值;/>为超参数;/>为双曲正切函数;
根据每个像素点的重要程度以及显著性获取每个像素点的损失阈值:
其中/>为视频帧中第i个像素点的损失阈值;/>为超参数;/>为视频帧中第i个像素点的显著性;/>为视频帧中第i个像素点的重要程度;/>为以自然常数为底的指数函数。
4.根据权利要求1所述的基于煤矿掘进工作面关键特征的视频编码注意力标定系统,其特征在于,所述构建初始的共识字典,包括的步骤为:
统计历史的煤矿掘进工作面视频中[0,255]范围内的每个灰度值的频率,按照所有灰度值的频率从大到小的顺序对所有灰度值进行排列,将排列结果作为初始的共识字典。
5.根据权利要求1所述的基于煤矿掘进工作面关键特征的视频编码注意力标定系统,其特征在于,所述根据前缀对应像素点的损失阈值在共识字典中获取多个前缀匹配灰度值,包括的步骤为:
将前缀在视频帧中所对应的像素点的损失阈值记为,获取共识字典中与前缀的差值绝对值小于或等于/>所有灰度值,分别作为前缀匹配灰度值。
6.根据权利要求1所述的基于煤矿掘进工作面关键特征的视频编码注意力标定系统,其特征在于,所述根据共识字典以及后缀获取第一差值,包括的步骤为:
获取前缀匹配灰度值中最后一个灰度值,将所述最后一个灰度值在共识字典中的前一个灰度值作为目标灰度值,将目标灰度值与后缀的差值绝对值作为第一差值。
7.根据权利要求6所述的基于煤矿掘进工作面关键特征的视频编码注意力标定系统,其特征在于,所述获取新的前缀以及新的前缀匹配灰度值,包括的步骤为:
将后缀拼接在前缀之后,作为新的前缀;将目标灰度值作为后缀匹配灰度值,将后缀匹配灰度值拼接前缀匹配灰度值之后,作为新的前缀匹配灰度值。
8.根据权利要求1所述的基于煤矿掘进工作面关键特征的视频编码注意力标定系统,其特征在于,所述根据预压缩数据以及匹配结果获取预压缩数据的匹配率,包括的步骤为:
判断预压缩数据与匹配结果中同一个位置的灰度值是否相同,若不同,则将预压缩数据中对应位置的灰度值作为损失灰度值,将预压缩数据的匹配结果中对应位置的灰度值作为损失匹配灰度值;
当预压缩数据存在损失灰度值时,计算损失灰度值与匹配结果中的损失匹配灰度值的差值绝对值,将所得结果除以损失灰度值在视频帧对应的像素点的损失阈值,作为预压缩数据的损失率;当预压缩数据不存在损失灰度值时,将0作为预压缩数据的损失率;
根据损失率以及预压缩数据的长度获取预压缩数据的匹配率:
其中/>为第j个预压缩数据的匹配率;/>为第j个预压缩数据的损失率;/>为第j个预压缩数据的长度。
9.根据权利要求1所述的基于煤矿掘进工作面关键特征的视频编码注意力标定系统,其特征在于,所述获取待压缩数据的编码,对共识字典以及待压缩序列进行更新,包括的步骤为:
获取待压缩数据对应的匹配结果中第一个灰度值在共识字典中的索引,作为第一索引,记为d;将待压缩数据的长度记为L;将第一索引d与待压缩数据的长度L作为待压缩数据的编码(d,L);将共识字典中索引为d-L到d的灰度值一同提取到共识字典开始的位置;将待压缩数据从待压缩序列中删除。
CN202310882455.XA 2023-07-19 2023-07-19 基于煤矿掘进工作面关键特征的视频编码注意力标定系统 Active CN116612436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310882455.XA CN116612436B (zh) 2023-07-19 2023-07-19 基于煤矿掘进工作面关键特征的视频编码注意力标定系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310882455.XA CN116612436B (zh) 2023-07-19 2023-07-19 基于煤矿掘进工作面关键特征的视频编码注意力标定系统

Publications (2)

Publication Number Publication Date
CN116612436A CN116612436A (zh) 2023-08-18
CN116612436B true CN116612436B (zh) 2023-10-03

Family

ID=87685654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310882455.XA Active CN116612436B (zh) 2023-07-19 2023-07-19 基于煤矿掘进工作面关键特征的视频编码注意力标定系统

Country Status (1)

Country Link
CN (1) CN116612436B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828209B (zh) * 2023-08-30 2023-10-31 华洋通信科技股份有限公司 一种矿下智能视频监控数据传输方法及系统
CN116828210B (zh) * 2023-08-30 2023-11-14 华洋通信科技股份有限公司 一种用于矿下视频采集智能传输方法及系统
CN117236566B (zh) * 2023-11-10 2024-02-06 山东顺发重工有限公司 一种全程可视的法兰盘包装管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107318000A (zh) * 2017-06-22 2017-11-03 重庆邮电大学 一种基于云平台的无线视频监控系统
CN107426533A (zh) * 2017-05-19 2017-12-01 国网天津市电力公司 一种基于视频加密压缩和影像识别的视频监控影像识别系统
CN109714435A (zh) * 2019-01-22 2019-05-03 苏州宏裕千智能设备科技有限公司 一种云平台视频收集和处理系统及其方法
CN116032293A (zh) * 2023-03-28 2023-04-28 国网山东省电力公司平阴县供电公司 一种具有主动响应功能的社区电力安全管理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609179B2 (en) * 2008-01-08 2009-10-27 International Business Machines Corporation Method for compressed data with reduced dictionary sizes by coding value prefixes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426533A (zh) * 2017-05-19 2017-12-01 国网天津市电力公司 一种基于视频加密压缩和影像识别的视频监控影像识别系统
CN107318000A (zh) * 2017-06-22 2017-11-03 重庆邮电大学 一种基于云平台的无线视频监控系统
CN109714435A (zh) * 2019-01-22 2019-05-03 苏州宏裕千智能设备科技有限公司 一种云平台视频收集和处理系统及其方法
CN116032293A (zh) * 2023-03-28 2023-04-28 国网山东省电力公司平阴县供电公司 一种具有主动响应功能的社区电力安全管理系统

Also Published As

Publication number Publication date
CN116612436A (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN116612436B (zh) 基于煤矿掘进工作面关键特征的视频编码注意力标定系统
CN113611085B (zh) 岩土工程中地质灾害的监测预警方法及系统
CN107205137A (zh) 一种监控识别方法和装置
CN116032293B (zh) 一种具有主动响应功能的社区电力安全管理系统
CN117375630B (zh) 一种针对带电作业预警系统的监控数据压缩方法
CN116095347B (zh) 基于视频分析的建筑工程安全施工方法及系统
CN118075457B (zh) 一种基于视频监测的设备智能控制方法
CN107071451A (zh) 一种基于可变输入数据流的大动态实时解压缩系统
CN114065340A (zh) 基于机器学习的施工场地安全监测方法及系统、存储介质
CN112861135B (zh) 基于注意力机制的恶意代码检测方法
US10211851B2 (en) Method and system for compressing data from smart meter
CN115830533A (zh) 基于K-means聚类改进YOLOv5算法的安全帽佩戴检测方法
JP2006351001A (ja) コンテンツ特徴量抽出方法及び装置及びコンテンツ同一性判定方法及び装置
CN115866251B (zh) 基于语义分割的图像信息快速传输方法
CN116128413B (zh) 一种基于蓝牙通信的智能仓储物料统计系统
CN116090830B (zh) 一种作业风险监控方法
CN115871745B (zh) 一种应用于轨道交通的智能维护方法与装置
EP2784695A1 (en) Fast storage method for image data, valuable-file identifying method and identifying device thereof
US6487311B1 (en) OCR-based image compression
CN108600046A (zh) 基于感知哈希的设备状态监测终端、系统及方法
CN113179450B (zh) 一种用于大数据环境下分析城市运营管理的工作方法
CN115205747A (zh) 一种基于图像识别的道路自动化检测系统
CN110957016B (zh) 基于健康云管理平台的体检数据智能识别系统及方法
CN113642530A (zh) 基于深度神经网络的智慧医疗管理系统
CN117891926B (zh) 一种基于人工智能的文本特征诈骗预警系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant