CN113747178A - 一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统 - Google Patents
一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统 Download PDFInfo
- Publication number
- CN113747178A CN113747178A CN202111031580.7A CN202111031580A CN113747178A CN 113747178 A CN113747178 A CN 113747178A CN 202111031580 A CN202111031580 A CN 202111031580A CN 113747178 A CN113747178 A CN 113747178A
- Authority
- CN
- China
- Prior art keywords
- image
- image data
- compression
- data
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 81
- 238000007906 compression Methods 0.000 title claims abstract description 67
- 230000006835 compression Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012800 visualization Methods 0.000 title claims abstract description 29
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000013139 quantization Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000000903 blocking effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims 3
- 230000008901 benefit Effects 0.000 abstract description 7
- 238000013144 data compression Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提出了一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，其中方法具体包括以下步骤：步骤一、通过监控设备获取实际工况下的图像数据；步骤二、采用构建于边缘设备的压缩模型对图像数据进行压缩；步骤三、将压缩后的数据发送至服务器中进行存储；步骤四、后端读取存储在服务器中的压缩数据，并对其进行图像恢复；步骤五、根据图像恢复结果实时监测电力设备作业情况。本发明实现图像数据压缩过程与图像恢复采用相对独立的实现模型，不存在传统意义上的编码与解码关联，因此本发明的技术方案具备较好的可扩展性。本发明还能够直接复用电网现有设备，通用性强，同时能够复用现有电力通道可视化设备，使得经济效益可实现最大化。
Description
技术领域
本发明涉及一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统，特别是涉及图像数据处理的技术领域。
背景技术
随着智能化产业的推进，国网公司以“坚强的智能电网”为基础导向，推进智能化作业在电力产业中的应用。近年来全面探索发展人工智能在电力领域不同业务场景的深度融合应用，形成了以人工智能、电力物联网为代表的大批新型成果并推广应用。随着可视化的基本普及和无人机的大量配备，图像智能识别技术、激光扫描技术、倾斜摄影技术等已在输电等专业落地应用并初见成效，但随着应用领域的扩大、应用频次的提升，将会形成超大量级图像数据，不可避免的形成高额数据通讯费用、存储设备的大量投资等情况。除经济效益外，过大的数据集因为传输速度慢，同样对部署于后台的智能识别手段造成极大的时间延迟，对各领域识别周期存在极大的影响，不利于大电网运行安全稳定。
发明内容
发明目的：提出一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统，以解决现有技术存在的上述问题。同时，极大程度上的节省传输流量和存储设备投资，以及缩短缺陷识别周期，保障电网安全运行。
技术方案：第一方面，提出了一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，该方法具体包括以下步骤：
步骤一、通过监控设备获取实际工况下的图像数据；
步骤二、采用构建于边缘设备的压缩模型对图像数据进行压缩；
步骤三、将压缩后的数据发送至服务器中进行存储；
步骤四、后端读取存储在服务器中的压缩数据，并对其进行图像恢复；
步骤五、根据图像恢复结果实时监测电力设备作业情况。
在第一方面的一些可实现方式中，实现图像数据压缩过程与图像恢复采用相对独立的实现模型，不存在传统意义上的编码与解码关联，因此直接决定了当前技术方案具备较好的可扩展性。另外，将图像数据压缩部署在边缘设备中，部署过程便捷且对边缘端设备算力要求较低，从而使得对硬件的需求降低，减少硬件投入成本。除此之外，能够直接复用电网现有设备，通用性强，同时能够复用现有电力通道可视化设备的特征，使得经济效益可实现最大化。
在第一方面的一些可实现方式中，步骤二图像数据压缩的过程中，根据压缩比例，以固定的压缩质量，对图像数据进行处理并在压缩为WEBP数据后传输至步骤三的服务器中。
其中压缩的过程进一步包括：
步骤2.1、将获取到的图像数据进行分块处理；
步骤2.2、对分块后的图像数据进行帧内预测编码；
步骤2.3、将预测部分的原图像数据减去预测出来的数据，得到差值矩阵，
步骤2.4、对差值矩阵进行离散余弦变换，从而生成一个频率系数矩阵，并获取图像数据中的高频区域和低频区域；
步骤2.5、将高频区域的图像数据舍弃，并对频率系数表和量化表进行计算，生成一个量化矩阵；
步骤2.6、对图像数据进行编码压缩。
在第一方面的一些可实现方式中，步骤四中通过一种深度学习恢复模型实现压缩后的图像重建；所述深度学习恢复模型包括：输入层、卷积层、池化层、残差块、全连接层、输出层；通过损失函数进行最小化训练，从而优化网络参数。
所述深度学习恢复模型在实现图像数据恢复时，首先读取压缩后的图像数据，并对压缩后的图像数据进行归一化处理。
为了提高所述深度学习恢复模型的学习能力，构建训练集用于对深度学习恢复模型进行训练。
所述训练集按照预设比例进行划分，并根据目标函数进行深度学习恢复模型参数优化；当选取(x,t)作为训练集时，其中，x表示压缩后的图像数据，t表示原始高分辨率未经过压缩的图像，所述目标函数表达式为：
式中，f(w,b,x)表示深度学习恢复模型的预测结果；t表示原始高分辨率未经过压缩的图像；w、b表示深度学习恢复模型的权重；N表示输入图像的像素个数。
所述深度学习恢复模型接收经过压缩后的图像数据时，首先通过修订量化表及图切原则进行图像预处理。
所述深度学习恢复模型训练过程中使用随机切块的方式进行训练，并使用随机梯度下降法在每次迭代过程中，计算梯度并更新模型参数；当达到预设迭代次数的时候，使用尺寸更大的块对训练结果进行微调。
所述深度学习恢复模型在输出高质量图像时，采用分块推理的方式进行，输出时将不同块的数据进行合并。
进一步的，将步骤一中获取到的图像数据划分为一系列带有重叠区域的块，输入深度学习恢复模型后，将输出块图像按固定位置拼接，重叠部分使用距离更近的块作为输出数据。
在使用距离更近的块作为输出数据时，若采用的是距离更近的块，则表达方式为：
VALp＝VALk
dis(centerk，p)＝min(dis(centerk，p))，k∈[0，…，n)
式中，VALp表示最终被选中的分割快；VALk表示第k个被选择的分割快；p表示重叠区域的像素点；[0，…，n)表示带有重叠区域的n个图像块；centerk表示第k个图像块的中心；dis(x，y)表示像素点x到像素点y的距离。
所述深度学习恢复模型在输出高质量图像时，将输出块图像按固定位置拼接时，重叠部分还可使用所有带有该重叠部分的块的距离加权数据作为输出数据。
当使用所有带有该重叠部分的块的距离加权数据作为输出数据时，则采用的图像数据块表达式为：
式中，VALp表示最终被选中的分割快；VALk表示第k个被选择的分割快；p表示重叠区域的像素点；[0，…，n)表示带有重叠区域的n个图像块；centerk表示第k个图像块的中心；dis(x，y)表示像素点x到像素点y的距离。
第二方面，提出一种电力通道可视化场景下的图像边缘端压缩及后端恢复系统，该系统具体包括：
监控设备，被设置为获取实际工况下的图像数据；
压缩模型，被设置为接收监控设备获取到的图像数据并进行压缩；
服务器，被设置为接收压缩模型压缩后的图像数据并存储；
深度学习恢复模型，被设置为读取服务器中经过压缩后的图像数据并输出恢复后的图像数据。
第二方面的一些可实现方式中，压缩模型位于前端边缘端中，用于接收监控设备获取到的图像数据，并进行压缩；压缩后的数据传输之服务器中进行存储；深度学习恢复模型部署在后端，用于读取存储在服务器中的压缩数据，对其进行图像恢复，并将恢复的图像数据结果作为智能识别检测的依据。
边缘端中压缩模型进行压缩的过程与后端深度学习恢复模型恢复图像数据的过程相对独立，可单独或组合使用。
其中，深度学习恢复模型采用带重叠区域的块分割方法进行输入图像数据的划分，输出的数据采用按固定位置拼接的方式进行图像数据拼接重建。
有益效果：本发明提出了一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统，其中实现图像数据压缩过程与图像恢复采用相对独立的实现模型，不存在传统意义上的编码与解码关联，因此直接决定了本发明提出的技术方案具备较好的可扩展性。
另外，将图像数据压缩部署在边缘设备中，部署过程便捷且对边缘端设备算力要求较低，从而使得对硬件的需求降低，减少硬件投入成本。
除此之外，本发明还能够直接复用电网现有设备，通用性强，同时能够复用现有电力通道可视化设备的特征，使得经济效益可实现最大化。
附图说明
图1为本发明实施例的数据处理流程图。
图2为本发明实施例深度学习恢复模型数据处理示意图。
图3为本发明实施例分块操作与现有技术的对比示意图。
图4为本发明实施例系统架构示意图。
图5为本发明实施例分析结果的差异结果图。
图6为本发明实施例压缩比与PSNR的统计结果。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
实施例一
随着可视化的基本普及和无人机的大量配备，图像智能识别技术、激光扫描技术、倾斜摄影技术等在输电等专业落地应用并初见成效，因此形成的超大量级图像数据，不可避免的形成高额数据通讯费用、存储设备的大量投资等情况。同时，针对过大的数据集因为传输速度慢，会对部署于后台的智能识别模块造成极大的时间延迟，因此，本实施例提出一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，如图1所示，划分为压缩和恢复两个处理阶段，本实施例提出的方法具体包括以下步骤：
步骤一、通过监控设备获取实际工况下的图像数据；
步骤二、采用构建于边缘设备的压缩模型对图像数据进行压缩；
步骤三、将压缩后的数据发送至服务器中进行存储；
步骤四、后端读取存储在服务器中的压缩数据，并对其进行图像恢复；
步骤五、根据图像恢复结果实时监测电力设备作业情况。
其中，实现图像数据压缩过程与图像恢复采用相对独立的实现模型，不存在传统意义上的编码与解码关联，因此直接决定了本事实例中的技术方案具备较好的可扩展性。另外，本实施例提出的技术方案将图像数据压缩部署在边缘设备中，部署过程便捷且对边缘端设备算力要求较低，从而使得对硬件的需求降低，减少硬件投入成本。除此之外，本实施例能够直接复用电网现有设备，通用性强，同时能够复用现有电力通道可视化设备的特征，使得经济效益可实现最大化。
实施例二
在实施例一基础上的进一步实施例中，为了解决图像压缩高质量算法边缘端部署困难、老旧设备不可复用问题，本实施例在步骤二图像数据压缩的过程中，根据压缩比例以固定的压缩质量，对图像数据进行处理并在压缩为WEBP数据后传输至服务器中。
具体的，在实际工况中，首先将获取到的图像数据进行分块处理；其次，对分块后的图像数据进行帧内预测编码；再次，将预测部分的原图像数据减去预测出来的数据，得到差值矩阵后，并对差值进行离散余弦变换，从而生成一个频率系数矩阵，获取图像数据中的高频区域和低频区域；从次，将高频区域的图像数据舍弃，并对频率系数表和量化表进行计算，生成一个量化矩阵；最后，对图像数据进行编码压缩。相比于对图像数据原值进行编码，本实施例采用对图片进行分块，然后对待填充的宏块使用了帧间预测技术，根据其附近已编码宏块的数据，预测出当前块数据。其中，编码的是预测值和原值的差值，使得压缩实现的代码数体积更小。优选实施例中，本实施例提出的压缩方案的压缩比大于15倍是，高分辨率图像压缩比可达50倍以上。
与现有技术相比，本实施例采用的压缩技术实现过程简单，运行代码数量少，摆脱了传统编码大算力、长时间束缚的问题。同时，可复用电力公司现有设备，通过软件升级等方式直接部署至边缘端，克服了传统复杂神经网络对算力的要求，以及对硬件要求较低的特点，满足了前端部署要求。
实施例三
在实施例一基础上的进一步实施例中，为了更好的获取到压缩后的图像数据，服务器在接收到压缩后的图像后，利用深度学习的图像高质量重建方法把压缩图像还原为高质量图像，用于后续人工智能识别、检测应用等使用。
具体的，通过一种深度学习恢复模型实现深度学习的图像高质量重建方法，其中深度学习恢复模型是一个卷积神经网，通过损失函数进行最小化训练，从而优化网络参数，实现低质量图像到高质量图像的恢复。如图2所示，深度学习恢复模型包括：输入层、卷积层、池化层、残差块、输出层。针对webp压缩算法，将原始输入中的jpeg压缩量化因子更改为webp相关参数，提高了网络的收敛速度。设置了64个残差模块。Webp 压缩质量较高，需要优化的主要是图像细节，因此去除上采样和下采样模块，在原始尺度上进行残差计算。
在进一步的实施例中，深度学习恢复模型在实现图像数据恢复时，首先读取压缩后的WEBP数据，并对压缩后的WEBP数据进行归一化处理。为了提高模型的学习能力，对选取的训练集按照预设比例进行划分。优选实施例中，选取(x,t)作为训练集，其中，x 表示压缩后的图像数据，t表示原始高分辨率未经过压缩的图像，并按照百分之九十的数据为输入数据，百分之十为测试集的比例，并根据目标函数进行深度学习恢复模型参数优化。其中目标函数表达式为：
式中，f(w,b,x)表示深度学习恢复模型的预测结果；t表示原始高分辨率未经过压缩的图像；w、b表示深度学习恢复模型的权重；N表示输入图像的像素个数。
在进一步的实施例中，针对压缩后的图片部分信息丢失，导致目视及智能识别精度不够的问题，本实施例提出的深度学习恢复模型在接收压缩后的图像数据时，首先通过修订量化表及图切原则进行图像预处理。通过预处理后的图像数据，在进行图像恢复后高度切合现有领域需求，在恢复时间及精度方面有一定提升，而且恢复后图像满足智能识别需求，且目视几乎无差异。
在进一步的实施例中，为了提高深度学习恢复模型的图像恢复性能，在使用前先对其进行模型训练。具体的，模型训练过程中使用随机切块的方式进行训练，并使用随机梯度下降法求解神经网络模型的参数w和b，学习率设置为0.001，在每次迭代过程中，计算梯度并更新模型参数。100次迭代后使用尺寸更大的块对训练结果进行微调。训练完成后，利用训练完的深度学习恢复模型参数进行测试，从而将低质量，高压缩比的输入图像输出为高质量图像。
在进一步的实施例中，由于大部分电网数据的分辨率都比较高，在推理过程中高分辨率数据会占用大量显卡内存，因此深度学习恢复模型在输出高质量图像时，采用分块推理的方式进行，输出时将不同块的数据进行合并。具体的，如图3所示，分块的操作过程为将图像拆分为n块，每一块输入神经网络后，将所有输出按照固定位置拼接为输出图像。其中，块的大小根据显卡内存情况确定，但是这种方法会导致拼接块的接缝处出现分割线，因此，根据在分割块的过程中，相邻块的边缘有一定像素的重叠块，本实施例进一步提出一种带重叠区域的块分割方法，将原图划分为一系列带有重叠区域的块，输入深度学习恢复模型后，将输出块图像按固定位置拼接，重叠部分使用距离更近的块作为输出数据，或者使用所有带有该重叠部分的块的距离加权数据。
具体的，在使用距离更近的块作为输出数据时，若采用的是距离更近的块，则表达方式为：
VALp＝VALk
dis(centerk，p)＝min(dis(centerk，p))，k∈[0，…，n)
式中，VALp表示最终被选中的分割快；VALk表示第k个被选择的分割快；p表示重叠区域的像素点；[0，…，n)表示带有重叠区域的n个图像块；centerk表示第k个图像块的中心；dis(x，y)表示像素点x到像素点y的距离。
当使用所有带有该重叠部分的块的距离加权数据作为输出数据时，则采用的图像数据块表达式为：
式中，VALp表示最终被选中的分割快；VALk表示第k个被选择的分割快；p表示重叠区域的像素点；[0，…，n)表示带有重叠区域的n个图像块；centerk表示第k个图像块的中心；dis(x，y)表示像素点x到像素点y的距离。
在进一步的实施例中，传统压缩算法与本实施例提出的技术方案获取的技术效果对比如下表1所示。
| 问题 | 压缩比 | PSNR | 重建时间 | 目视效果 | 智能识别 |
| JPEG | 10 | 29 | / | 较差 | 较差 |
| JPEG2000 | 10 | 28.4 | / | 较差 | 较差 |
| 自研超分x6 | 30 | 27 | 2s | 一般 | 较差 |
| 本实施例技术方案 | 15 | 35 | 1s | 优 | 优 |
其中，自研超分x6采用的技术方案为基于超分算法的图像压缩及恢复，采用单纯下采样改变图像分变率，后端基于深度学习的超分算法进行图像恢复及分辨率重建。该方法通过直接下采样的压缩算法，虽然可以满足便捷部署、算力要求低等需求，但通道可视化场景下不论压缩比大小设置的大小情况，通过恢复算法得到的恢复图像psnr值相对较低，实际工况中，6倍超分(压缩比36)，平均psnr为27，部分复杂背景图像甚至恢复效果甚至不如直接使用JEPG压缩后的影像效果。图像压缩质量较差，恢复重建模型对图像恢复效果有限，并不能满足电力业务应用需求。
在进一步的优选实施例中，通过选取1000张测试图集，并对其进行先处理分析，从而验证本实施例提出方案的技术效果。具体的，选取的1000测试图集组成如下表2 所示。
表2测试图集构成表
| 名称 | 数量 | 尺寸 |
| 大图 | 500 | 2000P以上 |
| 中图 | 400 | 1000P～2000P |
| 小图 | 100 | 1000P以下 |
通过提出的图像边缘端压缩及后端恢复方法对构建的测试图集进行压缩及恢复，测试数据与传统JPEG压缩算法为对照组，通过对比两种算法的压缩比和PSNR，以及将原图和还原图，用YOLOv5模型进行分析，从而找出分析结果的差异，从侧面反映还原图还原情况，进而进行技术效果的验证。最终的分析结果如图5所示为分析结果的差异结果图，如图6所示为压缩比与PSNR的统计结果。
如下表3所示，为本实施例技术方案与JPEG算法压缩比和PSNR的对比结果，表3本实施例技术方案与JPEG算法压缩比和PSNR的对比结果
表中“中科”表示本发明实施例提出的图像边缘端压缩及后端恢复方法。
表中的中科算法，大图压缩平均时间0.44s/张，还原时间0.94s/张；中图压缩平均时间0.25s/张，还原时间0.85s/张；小图压缩平均时间0.06s/张，还原时间0.21s/张。因此，中科算法，压缩大图时压缩比更大，压缩小图时，压缩比较小；无论大图小图，PSNR 表现比较好，其均值都在35以上。
实际分析结果中，涉及到的中科压缩算法在对比分析结果与原图分析结果时还存在隐患数量差异和隐患目标置信度差异，进一步的细节如下表4所示。
表4还原图与原图分析结果之间存在的差异表
实施例四
在实施例一基础上的进一步实施例中，为了实现实施例一中提出的一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，本实施例提出一种电力通道可视化场景下的图像边缘端压缩及后端恢复系统，该系统具体包括：
监控设备，被设置为获取实际工况下的图像数据；
压缩模型，被设置为接收监控设备获取到的图像数据并进行压缩；
服务器，被设置为接收压缩模型压缩后的图像数据并存储；
深度学习恢复模型，被设置为读取服务器中经过压缩后的图像数据并输出恢复后的图像数据。
在进一步的实施例中，如图4所示，压缩模型位于前端边缘端中，用于接收监控设备获取到的图像数据，并进行压缩；压缩后的数据传输之服务器中进行存储；深度学习恢复模型部署在后端，用于读取存储在服务器中的压缩数据，对其进行图像恢复，并将恢复的图像数据结果作为智能识别检测的依据。
在进一步的实施例中，边缘端中压缩模型进行压缩的过程与后端深度学习恢复模型恢复图像数据的过程相对独立，可单独或组合使用，使得本实施例中的技术方案具备高扩展性及通用性。深度学习恢复模型采用带重叠区域的块分割方法进行输入图像数据的划分，输出的数据采用按固定位置拼接的方式进行图像数据拼接重建，从而克服大部分电网数据的分辨率都比较高，在推理过程中高分辨率数据会占用大量显卡内存的问题。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。
Claims (10)
1.一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，其特征在于，具体包括以下步骤：
步骤一、通过监控设备获取实际工况下的图像数据；
步骤二、采用构建于边缘设备的压缩模型对图像数据进行压缩；
步骤三、将压缩后的数据发送至服务器中进行存储；
步骤四、后端读取存储在服务器中的压缩数据，并对其进行图像恢复；
步骤五、根据图像恢复结果实时监测电力设备作业情况。
2.根据权利要求1所述的一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，其特征在于，步骤二图像数据压缩的过程中，根据压缩比例，以固定的压缩质量，对图像数据进行处理并在压缩为WEBP数据后传输至步骤三的服务器中；
其中压缩的过程进一步包括：
步骤2.1、将获取到的图像数据进行分块处理；
步骤2.2、对分块后的图像数据进行帧内预测编码；
步骤2.3、将预测部分的原图像数据减去预测出来的数据，得到差值矩阵，
步骤2.4、对差值矩阵进行离散余弦变换，从而生成一个频率系数矩阵，并获取图像数据中的高频区域和低频区域；
步骤2.5、将高频区域的图像数据舍弃，并对频率系数表和量化表进行计算，生成一个量化矩阵；
步骤2.6、对图像数据进行编码压缩。
3.根据权利要求1所述的一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，其特征在于，步骤四中通过一种深度学习恢复模型实现压缩后的图像重建；
所述深度学习恢复模型包括：输入层、卷积层、池化层、残差块、全连接层、输出层；通过损失函数进行最小化训练，从而优化网络参数。
4.根据权利要求3所述的一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，其特征在于，
所述深度学习恢复模型在实现图像数据恢复时，首先读取压缩后的图像数据，并对压缩后的图像数据进行归一化处理。
5.根据权利要求3所述的一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，其特征在于，为了提高所述深度学习恢复模型的学习能力，构建训练集用于对深度学习恢复模型进行训练；
所述训练集按照预设比例进行划分，并根据目标函数进行深度学习恢复模型参数优化；当选取(x,t)作为训练集时，其中，x表示压缩后的图像数据，t表示原始高分辨率未经过压缩的图像，所述目标函数表达式为：
式中，
表示深度学习恢复模型的预测结果；t表示原始高分辨率未经过压缩的图像；w、b表示深度学习恢复模型的权重；N表示输入图像的像素个数；
所述深度学习恢复模型接收经过压缩后的图像数据时，首先通过修订量化表及图切原则进行图像预处理。
6.根据权利要求3所述的一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，其特征在于，
所述深度学习恢复模型训练过程中使用随机切块的方式进行训练，并使用随机梯度下降法在每次迭代过程中，计算梯度并更新模型参数；当达到预设迭代次数的时候，使用尺寸更大的块对训练结果进行微调。
7.根据权利要求3所述的一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，其特征在于，
所述深度学习恢复模型在输出高质量图像时，采用分块推理的方式进行，输出时将不同块的数据进行合并；
进一步的，将步骤一中获取到的图像数据划分为一系列带有重叠区域的块，输入深度学习恢复模型后，将输出块图像按固定位置拼接，重叠部分使用距离更近的块作为输出数据；
在使用距离更近的块作为输出数据时，若采用的是距离更近的块，则表达方式为：
式中，
表示最终被选中的分割快；
表示第k个被选择的分割快；p表示重叠区域的像素点；
表示带有重叠区域的n个图像块；
表示第k个图像块的中心；
表示像素点x到像素点
的距离。
8.根据权利要求7所述的一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法，其特征在于，
所述深度学习恢复模型在输出高质量图像时，将输出块图像按固定位置拼接时，重叠部分还可使用所有带有该重叠部分的块的距离加权数据作为输出数据；
当使用所有带有该重叠部分的块的距离加权数据作为输出数据时，则采用的图像数据块表达式为：
式中，
表示最终被选中的分割快；
表示第k个被选择的分割快；p表示重叠区域的像素点；
表示带有重叠区域的n个图像块；
表示第k个图像块的中心；
表示像素点x到像素点
的距离。
9.一种电力通道可视化场景下的图像边缘端压缩及后端恢复系统，用于实现权利要求1-8任意一项方法，其特征在于，具体包括：
监控设备，被设置为获取实际工况下的图像数据；
压缩模型，被设置为接收监控设备获取到的图像数据并进行压缩；
服务器，被设置为接收压缩模型压缩后的图像数据并存储；
深度学习恢复模型，被设置为读取服务器中经过压缩后的图像数据并输出恢复后的图像数据；
压缩模型位于前端边缘端中，用于接收监控设备获取到的图像数据，并进行压缩；压缩后的数据传输之服务器中进行存储；深度学习恢复模型部署在后端，用于读取存储在服务器中的压缩数据，对其进行图像恢复，并将恢复的图像数据结果作为智能识别检测的依据。
10.根据权利要求9所述的一种电力通道可视化场景下的图像边缘端压缩及后端恢复系统，其特征在于，
边缘端中压缩模型进行压缩的过程与后端深度学习恢复模型恢复图像数据的过程相对独立，可单独或组合使用；
所述深度学习恢复模型采用带重叠区域的块分割方法进行输入图像数据的划分，输出的数据采用按固定位置拼接的方式进行图像数据拼接重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111031580.7A CN113747178A (zh) | 2021-09-03 | 2021-09-03 | 一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111031580.7A CN113747178A (zh) | 2021-09-03 | 2021-09-03 | 一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113747178A true CN113747178A (zh) | 2021-12-03 |
Family
ID=78735370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111031580.7A Pending CN113747178A (zh) | 2021-09-03 | 2021-09-03 | 一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113747178A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114615507A (zh) * | 2022-05-11 | 2022-06-10 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种图像编码方法、解码方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104581173A (zh) * | 2015-01-13 | 2015-04-29 | 中国电子科技集团公司第三十二研究所 | 软解码验证模型平台 |
| CN110730352A (zh) * | 2019-11-12 | 2020-01-24 | 智洋创新科技股份有限公司 | 基于变分自编码的输电线路图像解码方法 |
| CN111510774A (zh) * | 2020-04-21 | 2020-08-07 | 济南浪潮高新科技投资发展有限公司 | 一种结合边缘计算与深度学习的智能终端图像压缩算法 |
| CN112184587A (zh) * | 2020-09-29 | 2021-01-05 | 中科方寸知微(南京)科技有限公司 | 一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及系统 |
| CN112907449A (zh) * | 2021-02-22 | 2021-06-04 | 西南大学 | 一种基于深度卷积稀疏编码的图像超分辨率重建方法 |
-
2021
- 2021-09-03 CN CN202111031580.7A patent/CN113747178A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104581173A (zh) * | 2015-01-13 | 2015-04-29 | 中国电子科技集团公司第三十二研究所 | 软解码验证模型平台 |
| CN110730352A (zh) * | 2019-11-12 | 2020-01-24 | 智洋创新科技股份有限公司 | 基于变分自编码的输电线路图像解码方法 |
| CN111510774A (zh) * | 2020-04-21 | 2020-08-07 | 济南浪潮高新科技投资发展有限公司 | 一种结合边缘计算与深度学习的智能终端图像压缩算法 |
| CN112184587A (zh) * | 2020-09-29 | 2021-01-05 | 中科方寸知微(南京)科技有限公司 | 一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及系统 |
| CN112907449A (zh) * | 2021-02-22 | 2021-06-04 | 西南大学 | 一种基于深度卷积稀疏编码的图像超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| 王佩瑶: "基于模型驱动的深度神经网络的图像恢复", 《中国优秀硕士学位论文全文数据库》, no. 2, 15 February 2020 (2020-02-15), pages 2 * |
| 王佩瑶: "基于模型驱动的深度神经网络的图像恢复", 《中国优秀硕士学位论文全文数据库》, no. 2, pages 2 * |
| 苏星河: "WebP 技术原理及应用", pages 3, Retrieved from the Internet <URL:https://www.jianshu.com/p/7fb720ec57cd> * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114615507A (zh) * | 2022-05-11 | 2022-06-10 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种图像编码方法、解码方法及相关装置 |
| CN114615507B (zh) * | 2022-05-11 | 2022-09-13 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种图像编码方法、解码方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112399176B (zh) | 一种视频编码方法、装置、计算机设备及存储介质 | |
| Moorthy et al. | Efficient motion weighted spatio-temporal video SSIM index | |
| CN113163203B (zh) | 深度学习特征压缩和解压缩方法、系统及终端 | |
| CN101551902B (zh) | 基于学习的压缩视频超分辨率的特征匹配方法 | |
| CN114374846B (zh) | 视频压缩方法、装置、设备及存储介质 | |
| CN105046725A (zh) | 低比特率视频通话中基于模型和对象的头肩图像重建方法 | |
| Löhdefink et al. | On low-bitrate image compression for distributed automotive perception: Higher peak snr does not mean better semantic segmentation | |
| CN111163314A (zh) | 一种图像压缩方法及系统 | |
| CN114627002A (zh) | 一种基于自适应特征融合的图像去雾方法 | |
| CN113747178A (zh) | 一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统 | |
| CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
| US20150296207A1 (en) | Method and Apparatus for Comparing Two Blocks of Pixels | |
| Katakol et al. | Distributed learning and inference with compressed images | |
| CN101720043B (zh) | 基于多模式预测的成像光谱图像压缩方法 | |
| CN116896638A (zh) | 一种面向输电运检场景的数据压缩编码技术 | |
| CN113194312B (zh) | 结合视觉显著性的行星科学探测图像自适应量化编码系统 | |
| CN111163320A (zh) | 一种视频压缩方法及系统 | |
| CN115131673A (zh) | 一种面向任务的遥感影像压缩方法及系统 | |
| CN112468826B (zh) | 一种基于多层gan的vvc环路滤波方法及系统 | |
| CN111107360B (zh) | 一种光谱-空间维联合的高光谱图像无损压缩方法及系统 | |
| de Oliveira et al. | Simplified entropy model for reduced-complexity end-to-end variational autoencoder with application to on-board satellite image compression | |
| WO2023178662A1 (en) | Image and video coding using multi-sensor collaboration and frequency adaptive processing | |
| Krivenko et al. | MSE prediction in DCT-based lossy compression of noise-free and noisy remote sensing | |
| CN112565756B (zh) | 基于量化策略的含云遥感图像压缩方法 | |
| WO2023050381A1 (en) | Image and video coding using multi-sensor collaboration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |