CN117939158A - 自适应频域滤波辅助空间转换的分布式信源编码方法 - Google Patents
自适应频域滤波辅助空间转换的分布式信源编码方法 Download PDFInfo
- Publication number
- CN117939158A CN117939158A CN202410117893.1A CN202410117893A CN117939158A CN 117939158 A CN117939158 A CN 117939158A CN 202410117893 A CN202410117893 A CN 202410117893A CN 117939158 A CN117939158 A CN 117939158A
- Authority
- CN
- China
- Prior art keywords
- frequency domain
- side information
- affine
- input image
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 41
- 238000001228 spectrum Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 230000006835 compression Effects 0.000 claims abstract description 12
- 238000007906 compression Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 239000002689 soil Substances 0.000 claims abstract description 7
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于分布式信源编码技术领域，具体为一种自适应频域滤波辅助空间转换的分布式信源编码方法。本发明包括：在编码端，将输入图像转换至频域，利用神经网络根据幅度谱和相位谱生成滤波器，并进行滤波；对通过滤波的频域成分采用自编码器进行编码；采用可训练的墒编码器对特征编码；在译码端，利用输入图像与边信息中相同频域成分计算仿射系数，对边信息仿射以消除图像间由于视差带来的畸变，实现对齐；结合对齐后的边信息重建输入图像。与现有技术相比，本发明将设计重点转移到编码端，通过主动的自适应频域滤波有效的筛选出各个压缩率下最重要的频域成分，提高了压缩效率，在译码端利用仿射变换提高边信息的匹配度，提高了重建效果。
Description
技术领域
本发明属于分布式信源编码技术领域，具体涉及自适应频域滤波辅助空间转换的分布式信源编码方法。
背景技术
在数字通信不断发展的背景下，编码技术在数据高效传输和存储中扮演着关键角色。在这些技术中，分布式源编码能独立编码多个相关源，且允许这些相关信源被联合解码。
分布式信源编码适用于多个信源间相关性强但源间通信受限或成本高昂的情景，例如无线传感器网络以及多摄像头视频系统等。尽管有Slepian-Wolf定理和Wyner-Ziv理论的支撑，分布式信源编码的实际应用依然面临着重大挑战，主要是由于很难在解码器端准确的捕捉和利用信源间的相关性，同时还需保持编码器端独立的分布式操作。本发明关注分布式信源编码中的一个特殊场景，当译码端存在相关图像作为边信息的情况下，去压缩传输输入图像。
近年来深度学习的新进展推动了该领域的创新。当前方法主要分为两类：一是利用神经网络在图像级别进行块匹配来处理空间冗余和挖掘图像间相似性；二是在特征级别利用边信息。这些方法通过优化边信息的使用显著提高了重建效果。然而，这些进展主要通过译码端的设计来反向优化编码端，没有针对编码端进行设计，一般都采用自编码器实现编码。此外，在利用边信息时没有消除两个视角下图像间的畸变，没有准确的利用边信息。
发明内容
本发明的目的是克服现有技术中的技术缺陷，提出一种自适应频域滤波辅助空间转换的分布式信源编码方法。
本发明提供的自适应频域滤波辅助空间转换的分布式信源编码方法，包括：在编码端，进行主动优化，具体通过添加一个自适应、自学习的频域滤波模块来主动筛选需要编码的频域成分，提高编码效率，实现高效压缩；在译码端，利用输入图像与边信息相同的频域成分学习仿射系数然后通过仿射变换消除不同视角引起的畸变，从而更加准确的利用边信息，实现高质量的重建。具体步骤为：
(1)在编码端，输入二维图像，利用快速傅立叶变换生成其频域表示，并计算幅度谱和相位谱，利用滤波器生成模块根据幅度谱和相位谱生成滤波器；该滤波器生成模块包含两个卷积层和两个残差层；最后添加sigmoid激活函数作为正则项，来保证生成的滤波器有物理意义，参见图2所示；
(2)利用生成的滤波器对输入图像进行滤波，滤波后通过逆快速傅立叶变换，将图像返回空域；
(3)利用自编码器对滤波后的图像进行特征提取和压缩，该编码器包含四层卷积结构，每两个卷积层间添加一个广义除法归一化(GDN)激活函数来做归一化；当然，其他结构的自编码器也可以用作编码；
(4)采用可训练的墒编码模块对压缩后的特征进行墒编码；添加墒编码模块是便于估计压缩率；
(5)在译码端，通过墒解码得到输入图像的压缩特征；
(6)译码端对边信息依次进行步骤(2)、(3)操作，得到滤波且编码后的边信息特征；
(7)将步骤(5)得到的输入图像的特征和步骤(6)中得到的边信息特征拼接，将特征维度变换成一维向量，采用线性层降维后送入仿射系数学习模块，学习仿射系数；该仿射系数计算模块具体采用转换器(Transformer)结构实现，输出采用线性层进行降维，最后得到一个的仿射矩阵；
(8)根据步骤(7)中得到的仿射系数对边信息进行仿射变换(具体包含旋转、平移，缩放，侧切等运算)，在不损失信息量的前提下实现边信息对齐；
(9)将步骤8)中对齐后的边信息送入神经网络自编码器提取公共特征，该编码器与步骤(3)中的编码器结构一致，但参数独立；
(10)将步骤(5)中得到的输入图像的压缩特征和步骤(9)中得到的边信息中的公共特征进行拼接，送入译码器得到重建结果；
(11)在训练阶段，将输入图像送入步骤(9)中的自编码器提取公共特征作为仿射变换标签，与步骤(9)中从边信息中得到的公共特征计算仿射损失来约束仿射过程，该损失在MSE度量下进行计算；
(12)在训练阶段，将输入图像作为标签，计算标签与重建结果间的损失作为重建损失，将重建损失与步骤(11)中的仿射损失组成整个网络的损失函数，迭代训练神经网络。
步骤(1)中，利用幅度谱和相位谱自适应的学习滤波器。
步骤(10)中，通过仿射结果的特征与输入图像的特征来计算仿射损失。
在步骤(11)中，利用仿射变换后提取的边信息特征来辅助重建。
与现有技术相比，本发明将设计的重点转移到编码端，通过主动的自适应频域滤波有效的筛选出各个压缩率下最重要的频域成分，提高压缩效率；在译码端利用仿射变换提高边信息的匹配度，提高重建效果。
附图说明
图1为本发明的总体框架图示。
图2左为本发明的滤波器生成模块，图2右为滤波器生成模块中的残差模块。
图3为本发明的频域滤波过程。
具体实施方式
下面通过实施例结合附图进一步介绍本发明。
参见图1，自适应频域滤波辅助空间转换的分布式信源编码方法。首先将输入图片转换至频域，计算幅度谱和相位谱并据此生成滤波器，对输入图像进行滤波后利用神经网络进行压缩，随后进行墒编码，发送至译码端。译码端首先进行墒解码得到输入图像的特征。随后对译码端的相关图像进行与输入图像相同的滤波和压缩得到特征，利用两幅图像的相似特征学习仿射系数，并对相关图像进行仿射变换以消除不同视角带来的畸变。从仿射变换后的相关图像中提取特征辅助输入图像的重建。
现以KITTI Stereo数据集为例来介绍本发明，该数据集包含1576对立体图像作为训练集，另外790对作为测试集。将图像尺寸为375×1242的原始数据进行中心裁剪，得到370×740的局部图，然后将其下采样至128×256。
(1)将输入图像进行快速傅立叶变换(FFT)，得到频域表示计算幅度谱A相位谱φ。
φ＝arctan2(Im(Xf),Re(Xf))
(2)将A和φ在第一个维度进行拼接，输入滤波器生成模块生成滤波器该模块包含两个卷积层和两个残差层，结构如附图2所示。随后对Xf进行滤波，即将频谱图与滤波器进行点乘，生成/>滤波过程如附图3所示。
(3)将利用逆快速傅立叶变换(IFFT)转换回空域，利用编码器Ex进行编码，得到编码特征/>该编码器包含四层卷积结构，每两个卷积层间添加了广义除法归一化(GDN)激活函数来做归一化。这里的编码器结构不唯一，其他结构的下采样模块也可以作为这里的编码器；输出特征的通道数不唯一，可以降低或增加。
(4)将编码特征进行量化后进行墒编码。由于量化的不可微分性影响网络训练中的梯度反传，在训练阶段将量化过程转化为叠加均匀采样的随机噪声来模拟量化带来的损失，叠加的噪声的范围为区间[-0.5,0.5)内。在测试阶段，直接对编码特征进行取整操作来实现量化。
(5)采用形如LDPC的信道码保护量化比特安全的通过信道，其余信道码也可以用作此处的信道编码，译码端通过墒解码得到编码特征xenc。
(6)采用两幅图片相似的成分能更加准确的找到二者的关联从而得到更加准确的仿射系数，因此我们对相关图像yt依次进行与输入图像相同的处理，首先利用FFT将yt转换到频域，然后利用步骤(2)中得到的滤波器对其进行滤波，利用IFFT将其转换回空域后，利用步骤(3)中的编码器对其进行编码，得到压缩特征
(7)将步骤(5)中得到的xenc和步骤(6)中得到的yxenc在第一个维度进行拼接，拉成一维向量后，利用线性层将其降为256个维度，送入仿射系数计算模块，该模块采用Transformer结构来实现，将Transformer的输出通过线性层降维成6维，输出一个的向量，将输出进行维度变换，得到仿射系数矩阵/>
(8)利用仿射矩阵对相关图像yt进行仿射变换，得到
(9)利用神经网络编码器Ey提取仿射变化后yaffine的特征来辅助输入图像进行重建。该编码器与步骤(3)中编码器的结构一致，参数独立。
(10)利用神经网络编码器Ey提取输入图像xt的特征，得到并与(9)中得到的yenc计算均方差损失，得到仿射损失/>
(11)将步骤(5)中得到的xenc与步骤(9)中得到的yenc在第一个维度进行拼接，利用解码器Dx进行译码，得到重建结果计算x与/>间的均方差损失，得到重建损失。该解码器Dx由四层反卷积层构成，每两层反卷积间添加了逆广义除法归一化(GDN)激活函数。此处的解码器也可选用其他上采样结构。
(12)计算网络的整体损失：
其中，R为xenc的码率，用bpp来计算，利用该损失迭代优化网络。
Claims (4)
1.一种自适应频域滤波辅助空间转换的分布式信源编码方法，其特征，包括：在编码端，进行主动优化，具体通过添加一个自适应、自学习的频域滤波模块来主动筛选需要编码的频域成分，提高编码效率，实现高效压缩；在译码端，利用输入图像与边信息相同的频域成分学习仿射系数，然后通过仿射变换消除不同视角引起的畸变，从而更加准确的利用边信息，实现高质量的重建；具体步骤为：
(1)在编码端，输入二维图像，利用快速傅立叶变换生成其频域表示，并计算幅度谱和相位谱，利用滤波器生成模块根据幅度谱和相位谱生成滤波器；该滤波器生成模块包含两个卷积层和两个残差层；
(2)利用生成的滤波器对输入图像进行滤波，滤波后通过逆快速傅立叶变换，将图像返回空域；
(3)利用自编码器对滤波后的图像进行特征提取和压缩；
(4)采用可训练的墒编码模块对压缩后的特征进行墒编码；
(5)在译码端，通过墒解码得到输入图像的压缩特征；
(6)译码端对边信息依次进行步骤(2)、(3)操作，得到滤波且编码后的边信息特征；
(7)利用仿射系数计算模块，根据步骤(5)得到的输入图像的特征和步骤(6)中得到的边信息特征，学习仿射系数；该仿射系数计算模块具体采用转换器结构实现；
(8)根据步骤(7)中得到的仿射系数对边信息进行仿射变换，实现边信息对齐；
(9)利用神经网络编码器，提取步骤(8)中对齐后边信息的特征；
(10)利用步骤(9)中的神经网络编码器提取输入图像的特征，与步骤(9)得到的边信息特征计算仿射损失；
(11)将步骤(5)和(9)中得到的特征进行拼接，送入译码器得到重建结果；
(12)计算图像重建损失和仿射变换损失，构建损失函数，迭代训练神经网络。
2.如权利要求1所述的自适应频域滤波辅助空间转换的分布式信源编码方法，其特征在于，在步骤(1)中，利用幅度谱和相位谱自适应的学习滤波器。
3.如权利要求1所述的自适应频域滤波辅助空间转换的分布式信源编码方法，其特征在于，在步骤10)中，通过仿射结果的特征与输入图像的特征来计算仿射损失。
4.如权利要求1所述的自适应频域滤波辅助空间转换的分布式信源编码方法，其特征在于，在步骤(11)中，利用仿射变换后提取的边信息特征来辅助重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410117893.1A CN117939158A (zh) | 2024-01-29 | 2024-01-29 | 自适应频域滤波辅助空间转换的分布式信源编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410117893.1A CN117939158A (zh) | 2024-01-29 | 2024-01-29 | 自适应频域滤波辅助空间转换的分布式信源编码方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117939158A true CN117939158A (zh) | 2024-04-26 |
Family
ID=90752084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410117893.1A Pending CN117939158A (zh) | 2024-01-29 | 2024-01-29 | 自适应频域滤波辅助空间转换的分布式信源编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117939158A (zh) |
-
2024
- 2024-01-29 CN CN202410117893.1A patent/CN117939158A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9438930B2 (en) | Systems and methods for wavelet and channel-based high definition video encoding | |
| US10834425B2 (en) | Image compression/decompression method and device, and image processing system | |
| JP2527874B2 (ja) | 局所的デ―タ損失に対する頑強性を圧縮化画像デ―タに付与するための装置 | |
| US10194175B2 (en) | Video coding with embedded motion | |
| KR101773279B1 (ko) | 업샘플링 및 신호 향상 | |
| CN114449276B (zh) | 一种基于学习的超先验边信息补偿图像压缩方法 | |
| Mander et al. | An improved image compression-decompression technique using block truncation and wavelets | |
| Dardouri et al. | Dynamic neural network for lossy-to-lossless image coding | |
| US6760479B1 (en) | Super predictive-transform coding | |
| Zhang et al. | Semantic communication approach for multi-task image transmission | |
| Can et al. | Compression of hyperspectral images using luminance transform and 3D-DCT | |
| CN111080729A (zh) | 基于Attention机制的训练图片压缩网络的构建方法及系统 | |
| CN117939158A (zh) | 自适应频域滤波辅助空间转换的分布式信源编码方法 | |
| CN101193285A (zh) | 影像压缩编码及解码的方法和装置 | |
| Naidu et al. | A novel framework for JPEG image compression using baseline coding with parallel process | |
| CN116916033B (zh) | 一种基于随机自适应傅里叶分解的联合时空视频压缩方法 | |
| CN116916034B (zh) | 基于safd的图像处理方法、装置、设备及存储介质 | |
| Altaay | Developed a Method for Satellite Image Compression Using Enhanced Fixed Prediction Scheme | |
| CN111246205B (zh) | 基于方向双四元数滤波器组的图像压缩方法 | |
| Al-Timimi | Lossy Images Compression Based on Multiresolution | |
| Liu et al. | A Novel Light Field Image Compression Method Using EPI Restoration Neural Network | |
| Bao et al. | Image Compression Based on Hybrid Domain Attention and Postprocessing Enhancement | |
| Singh et al. | COMPARATIVE STUDIES OF VARIOUS TECHNIQUES FOR IMAGE COMPRESSION ALGORITHM | |
| Yin et al. | Learned distributed image compression with decoder side information | |
| Manjunatha et al. | Performance Analysis of Image Coders, ANN, DTCWT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |