CN116896638A - 一种面向输电运检场景的数据压缩编码技术 - Google Patents
一种面向输电运检场景的数据压缩编码技术 Download PDFInfo
- Publication number
- CN116896638A CN116896638A CN202310574213.4A CN202310574213A CN116896638A CN 116896638 A CN116896638 A CN 116896638A CN 202310574213 A CN202310574213 A CN 202310574213A CN 116896638 A CN116896638 A CN 116896638A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- compression
- inspection
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 21
- 238000013144 data compression Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 238000005516 engineering process Methods 0.000 title claims abstract description 12
- 238000007906 compression Methods 0.000 claims abstract description 90
- 230000006835 compression Effects 0.000 claims abstract description 88
- 238000007689 inspection Methods 0.000 claims abstract description 62
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 29
- 238000005457 optimization Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 238000013139 quantization Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000007667 floating Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 2
- 230000005611 electricity Effects 0.000 claims 1
- 238000001914 filtration Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向输电运检场景的数据压缩编码技术;结合视觉注意机制和深度学习的巡检图像高性能压缩方法,基于图形的流行排序GMR算法的Block CNN网络实现对巡检图像中感兴趣区域和非感兴趣区域的区域分割以及高效压缩,实现了巡检图像中部分冗余信息的滤除,有效降低了单幅巡检图像的传输时间,与传统图像压缩算法相比,本文提出的压缩框架可有效应用于无人机电力巡检系统中对巡检图像的压缩。
Description
技术领域
本发明属于输电运检领域,尤其涉及一种面向输电运检场景的数据压缩编码技术。
背景技术
近年来,随着我国经济的持续快速发展,中国电网的规模和输送能力日益壮大。线路运维工作日益繁重,运检部门迫切需要自动化、现代化、高效率的巡线技术和手段[1]。通过多年的技术研发和实践应用,无人机巡检已经发展成一种高效、低成本、低风险的空中巡检技术,是提升输电线路运行可靠性的重要手段之一。在电力系统无人机巡检任务中,无人机拍摄的巡线图像数量巨大、冗余度高,占用大量存储空间的同时严重影响图像处理效率,因此对图像数据的压缩逐渐成为智能电力系统的一项重要任务。传统图像压缩算法的主要问题是在高压缩比情况下,会产生严重的失真以及方块效应,很难实现高效压缩,不利于图像的快速处理与分析。
例如,一种在中国专利文献上公开的“一种对图像数据进行压缩编码的方法和装置”,其公告号CN102238374B;该方法主要包括:获取解码端选取的图像中的指定区域,根据所述指定区域设定所述图像中每一个区域对应的量化系数;利用所述图像中每一个区域对应的量化系数,对所述图像数据进行压缩编码,将压缩编码处理后的图像传输给解码端。利用该发明,在视频通信系统中支持用户在图像数据中选取干兴趣的区域,并对用户选取的指定区域进行清晰传输,可以满足某些用户关注图像中某一细节的需求。然而该发明将图像中所有部分进行压缩,对每一帧的压缩方式相同,这在处理大量图片时,容易因为图像数量巨大、冗余度高,占用大量存储空间的同时严重影响图像处理效率。
发明内容
本发明主要解决传统图像压缩算法的主要问题是在高压缩比情况下,会产生严重的失真以及方块效应,很难实现高效压缩,不利于图像的快速处理与分析的问题;提供了一种面向输电运检场景的数据压缩编码技术;结合视觉注意机制和深度学习的巡检图像高性能压缩方法,基于图形的流行排序GMR算法的Block CNN网络实现对巡检图像中感兴趣区域和非感兴趣区域的区域分割以及高效压缩,实现了巡检图像中部分冗余信息的滤除,有效降低了单幅巡检图像的传输时间,与传统图像压缩算法相比,本文提出的压缩框架可有效应用于无人机电力巡检系统中对巡检图像的压缩。
本发明的上述技术问题主要是通过下述技术方案得以解决的:
一种面向输电运检场景的数据压缩编码技术,包括:
步骤S1、检验巡检过程中线路本体、附属设施和线路走廊;获取巡检图像;
步骤S2、通过卷积神经网络图像压缩算法压缩巡检图像,重建图像并降低压缩码率;
步骤S3、基于视觉注意机制压缩巡检图像,采用GMR算法提取巡检图像中感兴趣区域和非感兴趣区域;利用Block CNN网络分别对感兴趣区域和非感兴趣区域进行压缩;获得压缩后的巡检图像。
结合视觉注意机制和深度学习的巡检图像高性能压缩方法,基于图形的流行排序GMR算法的Block CNN网络实现对巡检图像中感兴趣区域和非感兴趣区域的区域分割以及高效压缩,实现了巡检图像中部分冗余信息的滤除,有效降低了单幅巡检图像的传输时间,与传统图像压缩算法相比,本文提出的压缩框架可有效应用于无人机电力巡检系统中对巡检图像的压缩。
作为优选,所述步骤S2具体包括:
步骤S21、将巡检图像输入卷积神经网络;通过自编码器重建巡检图像,实现数据升维,输出浮点型图像特征矩阵;
步骤S22、将自编码器输出的浮点型图像特征矩阵通过量化转换为整型图像特征矩阵;
步骤S23、将整型图像特征矩阵通过反量化和自解码器,获取重建图像;通过熵编码器去除整型图像特征矩阵的冗余,并估计图像码率;
步骤S24、率-失真优化对重建图像的失真和熵编码器图像码率估计结果进行联合调优,优化网络参数,获取新的重建图像。
自编码器、量化结构、熵编码、率-失真优化等环节构成了卷积神经网络图像压缩算法。自编码器通过卷积操作不断变换图像数据矩阵,将数据矩阵进行一定程度的压缩,降低数据的维度,在此过程中对图像实现了第一次压缩。熵编码用于量化后特征向量的编码,去除特征向量中存在的冗余,还需对图像的码率进行估计,得到准确的码流,方便卷积神经网络图像压缩算法进行端到端的联合优化。率-失真优化通过不断优化网络参数,得到更好的重建图像。卷积神经网络图像压缩算法通过设计合理和高效的自编码器、量化结构、熵编码、率-失真优化等环节,提高图像压缩的效率,提升图像的重建质量。
作为优选,通过PSNR对新的重建图像进行评估,包括:
式中,n代表每像素的比特数:MSE代表原始图像和重建图像之间的均方误差。
PSNR代表了像素间差异。但是由于未考虑人眼对某个区域的感知结果会受到邻近区域影响等人眼视觉特性,因此PSNR的结果可能与人眼主观感受有差异。但是PSNR算法简单、检查速度快,PSNR越大,代表重建图像质量越好。通过PSNR评估图像重建好坏,有效的通过数据筛除掉其中重建效果差的图片数据,避免在后续的传输判断过程中二次压缩,造成数据冗余。
作为优选,通过SSIM对新的重建图像进行评估,包括:
式中,μx是x的平均值,μy是y的平均值,σxy是x和y的协方差,是x的方差,/>是y的方差,c1和c2是维持稳定的两个系数。SSIM是一种衡量两幅图像相似度的指标,它分别从亮度、对比度、结构三个方面度量图像相似性。SSIM越大,表示重建图像和原始图像的差距越小,即图像质量越好。通过SSIM和PSNR两种方式同时对重建的图像进行分析,互相弥补评估方法间存在的缺陷,避免因为单一评估无法对非结构性失真进行有效的度量判断。通过客观的判断对比,筛除掉原始图像与重建图像差异过大的图片数据,避免二次压缩冗余数据。
作为优选,所述压缩流程包括:
步骤S51、采用基于GMR算法分割得到巡检图像中的感兴趣区域和非感兴趣区域;
步骤S52、对感兴趣区域和非感兴趣区域采用不同的压缩比进行压缩,即部分区域压缩,压缩流程如下图所示;
步骤S53、采用GMR算法提取巡检图像中的感兴趣区域;
步骤S54、利用Block CNN网络对两部分区域分别进行压缩,采用小压缩比对感兴趣区域进行压缩,采用大压缩比对非感兴趣区域进行压缩。
针对无人机巡检图像占用存储空间较大的问题,对感兴趣区域(region ofinterest,ROI)和非感兴趣区域(background,BG)采用不同的压缩方式,有效地对数据进行存储和快速分析,使得在相同的存储空间下储存更多的巡检图像。在特定码率要求下,能够为ROI区域保留更多的码率,在降低图像大小的前提下,为后续分析提供高质量的图像来源。并且分别对感兴趣区域和不感兴趣区域进行不同的压缩方式,可以降低压缩时需要占用的空间,且保留关键数据信息。
作为优选,所述基于GMR的图像分割包括:
步骤S61、对巡检图像进行超像素分割,获得超像素节点;对图像区域与前景先验信息的相关性进行排序,对图像区域与背景先验信息的相关性进行排序,通过给定查询节点的相关性定义图像区域的显著性,分为前景特征显著图和背景特征显著图;
步骤S62、将前景特征显著图二值化作为前景种子;将背景特征显著图二值化作为背景种子;前景种子和背景种子结合成为显著区域图;所述显著区域图分为感兴趣区域和非感兴趣区域;通过给定查询节点的相关性定义图像区域的显著性;通过GMR算法将先验扩散并增加得到对前景的可靠估计;
步骤S63、利用关联矩阵,基于背景种子和前景种子对节点进行相关性排序。
通过不同的排序获得相关性,将图像有效的分割为感兴趣区域和非感兴趣区域,方便后续的压缩操作。
作为优选,所述背景种子点排序包括:采用图像四个边界上的节点作为背景种子,对每一个边界先验构建其相对应的显著图;将四个显著图集成到最终的映射中;
其具体包括:
将边界上单一节点作为种子点,其他节点视为未标记数据,通过下述公式对所有节点进行排序:
f*=(D-αW)-1y;
式中,f*是一个N维向量,N为图中节点总数;W是关联矩阵;D是基于边的权重得到的度矩阵,是平滑约束和自适应约束的比例,y为二进制指示向量;
向量f*中的元素表示每个节点与背景种子点之间的相关性,将向量f*归一化到区间0到1,通过边界先验进行显著性映射,其中显著性映射S如下:
其中,i表示节点在图上的索引,表示归一化向量;Sj为St或Sb或Sl或Sr;
Sj通过下式集成四个显著图:
Sbq(i)=St(i)×Sb(i)×Sl(i)×Sr(i)。
该方式只是其中一个排序方式,显著性映射由不同的指标向量y计算,而矩阵W和D是固定的。因此,需要对每幅检测图像计算一次矩阵(D-αW)的逆矩阵。由于节点的数量较少,可以有效地计算式显著性映射S的逆矩阵,且计算负荷不大。
作为优选,前景种子点排序包括如下步骤:
步骤S81、采用自适应阈值进行二值分割,分割显著前景和背景;
步骤S82、分割阈值设为整个显著图的平均显著性,形成指标向量y,通过下述公式对所有节点进行排序:
f*=(D-αW)-1y;
式中,f*是一个N维向量,N为图中节点总数;W是关联矩阵;D是基于边的权重得到的度矩阵,是平滑约束和自适应约束的比例,y为二进制指示向量;
步骤S83、向量f*中的元素表示每个节点与背景种子点之间的相关性,将向量f*归一化到区间0到1,由下式形成最终的显著性映射:
可以尽可能多的覆盖显著对象区域的节点作为种子点。
作为优选,所述Block CNN通过如下方式训练:
步骤S91、初始化Block CNN模型的网络参数,建立网络训练基础,包括批量大小、迭代次数、学习率、权重衰减和优化器;
步骤S92、将分辨率为1920X1080的巡检图像划分为若干大小为10X10的块;
步骤S93、将每个块及其相邻块输入网络进行训练;采用MSE作为损失函数,通过卷积和残差操作,网络输出处理后的块。
残差块由三个卷积模块、一个求和器和一个Leaky ReLU激活函数组成。每个卷积模块由一个卷积层和两个数据处理操作组成:批处理归一化和Leaky ReLU激活函数。通过在压缩后去除伪影,可以进一步提高修复图像的质量。该算法简单快速,可以显著提高巡检图像的压缩性能。
本发明的有益效果是:
1.结合了基于图论的流行排序与Block CNN的图像压缩方法,将视觉注意机制和深度学习算法应用于无人机电力巡检当中,实现海量图像的高性能压缩;
2.实现了巡检图像中部分冗余信息的滤除,有效降低了单幅巡检图像的传输时间。
附图说明
图1为本发明流程图;
图2为CNN图像压缩流程图;
图3为图像压缩流程图;
图4为Block CNN网络结构图。
具体实施方式
应理解,实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
下面通过实施例,并结合附图,对本发明的技术方案作进一步具体的说明。
一种面向输电运检场景的数据压缩编码技术,包括:
步骤S1、检验巡检过程中线路本体、附属设施和线路走廊;获取巡检图像;
步骤S2、通过卷积神经网络图像压缩算法压缩巡检图像,重建图像并降低压缩码率;
步骤S3、基于视觉注意机制压缩巡检图像,采用GMR算法提取巡检图像中感兴趣区域和非感兴趣区域;利用Block CNN网络分别对感兴趣区域和非感兴趣区域进行压缩;获得压缩后的巡检图像。
在步骤S2中,卷积神经网络图像压缩算法是由自编码器、量化结构、熵编码、率-失真优化几个功能模块构成,使用其进行图像压缩的流程如图2所示。
自编码器通过学习网络输入与输出之间的差异,在学习过程中不断更新参数,使得输出结果与输入数据更加拟合。自编码器在各种图像处理任务中均有非常广泛的应用,其通过卷积操作不断变换图像数据矩阵,将数据矩阵进行一定程度的压缩,降低数据的维度,在此过程中对图像实现了第一次压缩。
卷积神经网络的自编码器包含两个部分,分别是自编码网络和自解码网络。自编码网络包含卷积层、激活函数等结构,自编码网络对图像进行卷积下采样操作,对图像进行非线性变换,实现数据降维。自解码网络采用和自编码网络完全对称的网络结构,自解码器通过上采样和反卷积操作恢复数据矩阵,通过反卷积、IGDN激活函数等操作实现数据升维,实现图像的重建。
量化结构将自编码器输出的结果进行量化,在此过程中对图像实现了第二次压缩。自编码器输出特征矩阵的数据格式为浮点型,浮点型数据占据了巨大的存储空间,不利于数据的存储、传输与计算,量化将浮点型数据进行转换,将浮点型数据转换为整型。
熵编码用于量化后特征向量的编码,去除特征向量中存在的冗余,熵编码采用无损编码的方式,通常采用算术编码、霍夫曼编码等无损编码方式去除特征向量的冗余。熵编码还对图像的码率进行估计,得到准确的码流,方便卷积神经网络图像压缩算法进行端到端的联合优化。
率-失真优化对重建图像的失真和熵编码码率估计的结果进行联合调优,率-失真优化是对图像失真和图像码率的权衡,既要保证图像质量,又要获得较大的压缩比。率-失真优化通过不断优化网络参数,得到更好的重建图像。率-失真优化在整个卷积神经网络图像压缩框架中起到平衡图像质量与压缩效率的作用,在整个端到端图像压缩框架中决定着图像压缩的质量与效率。
同时率-失真优化需要综合考虑网络收敛后模型的性能,采用合适的损失函数。
综上所述,自编码器、量化结构、熵编码、率-失真优化等环节构成了卷积神经网络图像压缩算法。卷积神经网络图像压缩算法通过合理和高效的自编码器、量化结构、熵编码、率-失真优化等环节,提高图像压缩的效率,提升图像的重建质量。
在进行图像重建后,需要对重建的图像进行评估,筛除掉不符合要求的图像,减少后续的压缩工作。图像压缩的目的,是在重建出高质量图像的同时,使得压缩码率尽可能低。因此常用码率和重建质量这两个指标来衡量图像压缩方法性能的好坏。
客观评价指标中对图像质量的量化是通过构建对应的数学模型来进行的,这些通过计算模型自动感知得到的图像质量量化值与人眼主观质量评估方式具有相关一致性。客观评价方法是对原始图像与重建图像的差异进行定量的计算。本发明采用两种方式对重建的图像进行评价。
(1)峰值信噪比PSNR:
PSNR代表了像素间差异。但是由于未考虑人眼对某个区域的感知结果会受到邻近区域影响等人眼视觉特性,因此PSNR的结果可能与人眼主观感受有差异。但是PSNR具有算法简单、检查速度快等优点,至今仍被广为使用。其计算方式如下所示:
式中,n代表每像素的比特数:MSE代表原始图像和重建图像之间的均方误差。PSNR越大,代表重建图像质量越好。
(2)结构相似性SSIM:
SSIM是一种衡量两幅图像相似度的指标,它分别从亮度、对比度、结构三个方面度量图像相似性。SSIM大大改进了PSNR的缺陷。然而当图像出现非结构性失真时会无法有效的度量。SSIM越大,表示重建图像和原始图像的差距越小,即图像质量越好。其计算方式如下所示:
式中,μx是x的平均值,μy是y的平均值,σxy是x和y的协方差,是x的方差,/>是y的方差,c1和c2是维持稳定的两个系数。
针对无人机巡检图像占用存储空间较大的问题,为了有效地对数据进行存储和快速分析,使得在相同的存储空间下储存更多的巡检图像,本文将视觉注意机制引入到巡检图像压缩中,实现对巡检图像的分区以及高效压缩。首先采用基于图形的流行排序(Graph-Based Manifold Ranking,GMR)算法分割得到巡检图像中的感兴趣区域(region ofinterest,ROI)和非感兴趣区域(background,BG),其次对ROI区域和BG区域采用不同的压缩比进行压缩,即部分区域压缩,压缩流程如图3所示。
采用GMR算法提取巡检图像中的感兴趣区域。图像分为ROI,包含电力部件:绝缘子、防震锤和背景。其次,利用Block CNN网络对两部分区域分别进行压缩,采用较小的压缩比对ROI区域进行压缩,采用较大的压缩比对BG区域进行压缩。通过上述压缩流程,在特定码率要求下,能够为ROI区域保留更多的码率,在降低图像大小的前提下,为后续分析提供高质量的图像来源。
采用GMR算法实现对巡检图像的分割得到ROI区域和BG区域,GMR算法主要利用图像区域与前景或背景先验信息的相关性进行排序,通过给定查询节点的相关性定义图像区域的显著性,采用GMR将先验扩散并增加得到对前景的可靠估计,利用关联矩阵实现这些节点基于背景和前景种子的相似性排序。算法主要通过两个步骤提取背景区域和前景显著对象。
一,背景种子点排序:
算法在第一阶段采用图像四个边界上的节点作为背景种子,对于每一个边界先验构建相对应的显著图,然后将这四个显著图集成到最终的映射中,即分离/组合方法。以图像上边界为例,将此侧的节点作为种子点,其他节点视为未标记数据,基于公式(1)对所有节点排序:
f*=(D-αW)-1y;#(1)
式中,f*是一个N维向量(图中节点总数),W是关联矩阵,D是基于边的权重得到的度矩阵,是其中平滑约束和自适应约束的比例,y为二进制指示向量。向量f*中的每个元素表示节点与背景种子点之间的相关性,将该向量归一化到区间0到1,利用上边界先验进行显著性映射,St如下所示:
其中,i表示节点在图上的索引,表示归一化向量。
同样,该算法使用图像的下、左、右边界作为种子点,计算另外三个边界Sb、Sl、Sr的显著性映射。显著性映射由不同的指标向量y计算,而矩阵W和D是固定的。因此,需要对每幅检测图像计算一次矩阵(D-αW)的逆矩阵。由于节点的数量较少,可以有效地计算式(1)中的逆矩阵,且计算负荷不大。通过式(3)集成四个显著图:
Sbq(i)=St(i)×Sb(i)×Sl(i)×Sr(i);#(3)
二,前景种子点排序:
第一阶段采用自适应阈值进行二值分割分割显著前景和背景,为了尽可能多的覆盖显著对象区域的节点作为种子点,则分割阈值可以设为整个显著图的平均显著性,则可以形成指标向量y,排序向量f*由式(1)计算得到。与第一阶段一样,f*归一化到区间0到1,由式(4)形成最终的显著性映射:
Block CNN的主要结构如图4所示,将一幅30×30的图像送入网络,最后输出一幅10×10的图像。
从图中可以看出,网络由一些卷积层和残差块组成,其中卷积层提取大小为10×10的图像细节特征。网络采用的卷积核大小分别为1×1和3×3。残差块由三个卷积模块、一个求和器和一个Leaky ReLU(Leaky Rectified Linear Unit)激活函数组成。每个卷积模块由一个卷积层和两个数据处理操作组成:批处理归一化和Leaky ReLU激活函数。残差块表示为:G(x)=F(x)+x;#(5)
其中F(x)是一个学习残差的前馈神经网络,x表示恒等映射。该网络的残差块收敛速度快,精度高,它可以有效地避免过拟合、梯度消失和梯度爆炸。
Block CNN实现图像压缩主要包括伪影去除和图像生成两个过程,伪影是指原本被拍摄或扫描物体并不存在而在图像上却出现的各种形态的影像,伪影的存在对电力巡线图像的识别和分析会产生干扰。Block CNN中的伪影去除实现如图所示。
Block CNN参考了JPEG的压缩原理,它将图像划分为数个10×10的块,对每个块分别进行压缩,因此会产生块压缩伪影。像素伪影的统计特性取决于其在块中的位置,因此在实现伪影去除技术之前结合像素的位置是有利的。为了去除每个块中的伪影,模型在一个10×10的块上运行,并将这个块与其8个相邻的块一起输入,利用像素位置先验信息可以有效地解决压缩伪影问题。
当每个10×10的块被压缩时,算法根据相邻的四个块来预测该中心块,对中心块的预测包含了原始块的残差,网络存储的残差比原始块节省了大量的空间。由于图像预测是确定性过程,因此在解压缩过程中,首先预测块的内容,然后累积所有存储的残差。通过解压缩后的伪影去除,可以进一步提高修复图像的质量。该算法简单快速,可以显著提高巡检图像的压缩性能。
本文中Block CNN的训练过程主要包括以下三个步骤:
步骤S31、初始化Block CNN模型的网络参数,建立网络训练的基础,包括批量大小(64)、迭代次数(100000)、学习率(初始值:0.01,自适应变化)、权重衰减(0.0002)、优化器(Adam)等。
步骤S32、与JPEG的处理方法类似,将分辨率为1920×1080的巡检图像划分出数个10×10的块,接着分别进行处理。
步骤S33、将每个块及其相邻块(即30×30的图像)输入网络进行训练。通过一系列卷积和残差操作,网络输出图像中心经过处理的10×10的块。
设置完网络参数后,下一步是开始网络训练。在训练过程中,Block CNN采用MSE作为损失函数。
通过视觉注意算法GMR提取出巡检图像中的ROI后,对3种图像压缩算法(BlockCNN、JPEG和JPEG2000)进行对比实验分析。通过bpp可以衡量压缩比,当bpp小于0.30时,相比于JPEG和CAE,Block CNN算法得到的压缩图像具有相对较高的PSNR和SSIM。当bpp为0.25左右时,通过JPEG和JPEG2000压缩的每幅巡检图像的平均处理时间分别为0.471s和0.582s,而采用Block CNN压缩每幅图像需要0.511s,其平均耗时介于其它两种算法之间。但是,Block CNN的压缩比为33.34%,为三者中最低,因此综合时间及空间因素考虑,本文提出的压缩算法相较于传统压缩算法具有一定优势。
Claims (9)
1.一种面向输电运检场景的数据压缩编码技术,其特征在于,包括:
步骤S1、检验巡检过程中线路本体、附属设施和线路走廊;获取巡检图像;
步骤S2、通过卷积神经网络图像压缩算法压缩巡检图像,重建图像并降低压缩码率;
步骤S3、基于视觉注意机制压缩巡检图像,采用GMR算法提取巡检图像中感兴趣区域和非感兴趣区域;利用Block CNN网络分别对感兴趣区域和非感兴趣区域进行压缩;获得压缩后的巡检图像。
2.根据权利要求1所述的一种面向输电运检场景的数据压缩编码技术,其特征在于:所述步骤S2具体包括:
步骤S21、将巡检图像输入卷积神经网络;通过自编码器重建巡检图像,实现数据升维,输出浮点型图像特征矩阵;
步骤S22、将自编码器输出的浮点型图像特征矩阵通过量化转换为整型图像特征矩阵;
步骤S23、将整型图像特征矩阵通过反量化和自解码器,获取重建图像;通过熵编码器去除整型图像特征矩阵的冗余,并估计图像码率;
步骤S24、率-失真优化对重建图像的失真和熵编码器图像码率估计结果进行联合调优,优化网络参数,获取新的重建图像。
3.根据权利要求2所述的一种面向输电运检场景的数据压缩编码技术,其特征在于,通过PSNR对新的重建图像进行评估,包括:
式中,n代表每像素的比特数:MSE代表原始图像和重建图像之间的均方误差。
4.根据权利要求2所述的一种面向输电运检场景的数据压缩编码技术,其特征在于,通过SSIM对新的重建图像进行评估,包括:
式中,μx是x的平均值,μy是y的平均值,σxy是x和y的协方差,是x的方差,/>是y的方差,c1和c2是维持稳定的两个系数。
5.根据权利要求1所述的一种面向输电运检场景的数据压缩编码技术,其特征在于,所述压缩流程包括:
步骤S1、采用基于GMR算法分割得到巡检图像中的感兴趣区域和非感兴趣区域;
步骤S2、对感兴趣区域和非感兴趣区域采用不同的压缩比进行压缩,即部分区域压缩,压缩流程如下图所示;
步骤S3、采用GMR算法提取巡检图像中的感兴趣区域;
步骤S4、利用Block CNN网络对两部分区域分别进行压缩,采用小压缩比对感兴趣区域进行压缩,采用大压缩比对非感兴趣区域进行压缩。
6.根据权利要求5所述的一种面向输电运检场景的数据压缩编码技术,其特征在于,所述基于GMR的图像分割包括:
步骤S1、对巡检图像进行超像素分割,获得超像素节点;对图像区域与前景先验信息的相关性进行排序,对图像区域与背景先验信息的相关性进行排序,通过给定查询节点的相关性定义图像区域的显著性,分为前景特征显著图和背景特征显著图;
步骤S2、将前景特征显著图二值化作为前景种子;将背景特征显著图二值化作为背景种子;前景种子和背景种子结合成为显著区域图;所述显著区域图分为感兴趣区域和非感兴趣区域;通过给定查询节点的相关性定义图像区域的显著性;通过GMR算法将先验扩散并增加得到对前景的可靠估计;
步骤S3、利用关联矩阵,基于背景种子和前景种子对节点进行相关性排序。
7.根据权利要求6所述的一种面向输电运检场景的数据压缩编码技术,其特征在于,所述背景种子点排序包括:采用图像四个边界上的节点作为背景种子,对每一个边界先验构建其相对应的显著图;将四个显著图集成到最终的映射中;
其具体包括:
将边界上单一节点作为种子点,其他节点视为未标记数据,通过下述公式对所有节点进行排序:
f*=(D-αW)-1y;
式中,f*是一个N维向量,N为图中节点总数;W是关联矩阵;D是基于边的权重得到的度矩阵,是平滑约束和自适应约束的比例,y为二进制指示向量;
向量f*中的元素表示每个节点与背景种子点之间的相关性,将向量f*归一化到区间0到1,通过边界先验进行显著性映射,其中显著性映射S如下:
其中,i表示节点在图上的索引,表示归一化向量;Sj为St或Sb或Sl或Sr;
Sj通过下式集成四个显著图:
Sbq(i)=St(i)×Sb(i)×Sl(i)×Sr(i)。
8.根据权利要求6所述的一种面向输电运检场景的数据压缩编码技术,其特征在于,前景种子点排序包括如下步骤:
步骤S81、采用自适应阈值进行二值分割,分割显著前景和背景;
步骤S82、分割阈值设为整个显著图的平均显著性,形成指标向量y,通过下述公式对所有节点进行排序:
f*=(D-αW)-1y;
式中,f*是一个N维向量,N为图中节点总数;W是关联矩阵;D是基于边的权重得到的度矩阵,是平滑约束和自适应约束的比例,y为二进制指示向量;
步骤S83、向量f*中的元素表示每个节点与背景种子点之间的相关性,将向量f*归一化到区间0到1,由下式形成最终的显著性映射:
9.根据权利要求1所述的一种面向输电运检场景的数据压缩编码技术,其特征在于,所述Block CNN通过如下方式训练:
步骤S91、初始化Block CNN模型的网络参数,建立网络训练基础,包括批量大小、迭代次数、学习率、权重衰减和优化器;
步骤S92、将分辨率为1920X1080的巡检图像划分为若干大小为10X10的块;
步骤S93、将每个块及其相邻块输入网络进行训练;采用MSE作为损失函数,通过卷积和残差操作,网络输出处理后的块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310574213.4A CN116896638A (zh) | 2023-05-18 | 2023-05-18 | 一种面向输电运检场景的数据压缩编码技术 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310574213.4A CN116896638A (zh) | 2023-05-18 | 2023-05-18 | 一种面向输电运检场景的数据压缩编码技术 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116896638A true CN116896638A (zh) | 2023-10-17 |
Family
ID=88309923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310574213.4A Pending CN116896638A (zh) | 2023-05-18 | 2023-05-18 | 一种面向输电运检场景的数据压缩编码技术 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116896638A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117395424A (zh) * | 2023-12-11 | 2024-01-12 | 深圳市视晶无线技术有限公司 | 一种用于视频无线传输监控系统的视频优化方法 |
-
2023
- 2023-05-18 CN CN202310574213.4A patent/CN116896638A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117395424A (zh) * | 2023-12-11 | 2024-01-12 | 深圳市视晶无线技术有限公司 | 一种用于视频无线传输监控系统的视频优化方法 |
CN117395424B (zh) * | 2023-12-11 | 2024-03-22 | 深圳市视晶无线技术有限公司 | 一种用于视频无线传输监控系统的视频优化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cui et al. | Convolutional neural networks based intra prediction for HEVC | |
CN109889839B (zh) | 基于深度学习的感兴趣区域图像编码、解码系统及方法 | |
CN111355956B (zh) | 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法 | |
CN108028941A (zh) | 用于通过超像素编码和解码数字图像的方法和装置 | |
CN110971901B (zh) | 卷积神经网络的处理方法、装置、设备及存储介质 | |
CN111147862B (zh) | 一种基于目标编码的端到端图像压缩方法 | |
CN114286093A (zh) | 一种基于深度神经网络的快速视频编码方法 | |
CN113822147B (zh) | 一种协同机器语义任务的深度压缩方法 | |
CN116896638A (zh) | 一种面向输电运检场景的数据压缩编码技术 | |
Kim et al. | Efficient deep learning-based lossy image compression via asymmetric autoencoder and pruning | |
CN112738533A (zh) | 一种机巡图像分区域压缩方法 | |
CN115941943A (zh) | 一种hevc视频编码方法 | |
CN114449276B (zh) | 一种基于学习的超先验边信息补偿图像压缩方法 | |
CN116916036A (zh) | 视频压缩方法、装置及系统 | |
CN108810534A (zh) | 物联网下基于方向提升小波及改进spiht的图像压缩方法 | |
CN110677644B (zh) | 一种视频编码、解码方法及视频编码帧内预测器 | |
CN112770116B (zh) | 用视频压缩编码信息提取视频关键帧的方法 | |
Hu et al. | Sensitivity-aware bit allocation for intermediate deep feature compression | |
CN113194312B (zh) | 结合视觉显著性的行星科学探测图像自适应量化编码系统 | |
CN113822954B (zh) | 一种面向资源约束下人机协同场景的深度学习图像编码方法 | |
CN111163320A (zh) | 一种视频压缩方法及系统 | |
CN113784147B (zh) | 一种基于卷积神经网络的高效视频编码方法及系统 | |
CN114708343A (zh) | 基于图字典学习的三维点云编解码方法、压缩方法及装置 | |
CN113163199A (zh) | 一种基于h265的视频快速预测方法、快速编码方法和系统 | |
CN114189695A (zh) | 一种基于gan的hevc压缩视频视觉感知提升方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |