CN115767108A - 一种基于特征域匹配的分布式图像压缩方法、系统 - Google Patents
一种基于特征域匹配的分布式图像压缩方法、系统 Download PDFInfo
- Publication number
- CN115767108A CN115767108A CN202211285499.6A CN202211285499A CN115767108A CN 115767108 A CN115767108 A CN 115767108A CN 202211285499 A CN202211285499 A CN 202211285499A CN 115767108 A CN115767108 A CN 115767108A
- Authority
- CN
- China
- Prior art keywords
- image
- side information
- quantized
- main
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006835 compression Effects 0.000 title claims abstract description 69
- 238000007906 compression Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005070 sampling Methods 0.000 claims abstract description 75
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于特征域匹配的分布式图像压缩方法、系统，所述方法包括：获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；再使用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；接着对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；最后使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像。本实施例通过基于特征域多尺度块匹配方法取得更好的率失真表现。
Description
技术领域
本发明涉及图像压缩技术领域，尤其涉及的是一种基于特征域匹配的分布式图像压缩方法、系统、装置、计算机设备及存储介质。
背景技术
随着计算机图像处理技术的不断发展，图像压缩技术的使用越来越普及。图像压缩即减少表示数字图像需要的数据量。目前对分布式图像压缩的研究比通常所知的单一图像压缩研究更少，因为从不同视点拍摄的图像之间的内在关联性难以把握。在过去的十年中，随着立体相机、相机阵列、自动驾驶系统和多个无人机/监视器相机系统的发展，高容量的多视角图像成为大规模数字通信的主要数据源。由于多视角图像通常是在同一时间从同一场景的不同角度拍摄的，这些图像之间存在着高度相关的重叠区域。为了提高这种分布式压缩场景的压缩效率，必须利用固有的相关性来消除数据的冗余。
现有技术中已经提出的分布式图像压缩算法，仅在图像域上进行想关性匹配操作。然而，图像域的相关性匹配对不同视角造成的尺度、形状和光照的差异鲁棒性较差，也不能充分利用侧面信息图像的丰富纹理信息。同时，现有技术中相关性矩阵的计算需要消耗大量时间并对硬件资源的存储要求较高，造成无法降低硬件成本。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于特征域匹配的分布式图像压缩方法、系统、计算机设备及存储介质，本发明针对高容量、多视角的分布式图像场景设计一种利用特征域中的多尺度块匹配的图像压缩方法，旨在填补分布式场景图像压缩算法方向的空白，并解决图像域分布式图像压缩算法对不同视角造成的尺度、形状和光照的差异鲁棒性较差的问题。
本发明解决问题所采用的技术方案如下：
一种基于特征域匹配的分布式图像压缩方法，其中，所述方法包括：
获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；
采用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；
对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像。
所述的基于特征域匹配的分布式图像压缩方法，其中，所述获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征的步骤包括：
所述主图像量化采样信号从所述分布式场景图像采集设备中获取得到：
通过分布式场景图像采集设备的非线性编码器获取目标图像，并将所述目标图像进行分离采样处理，得到采样信号；
通过所述非线性编码器采用可学习量化将所述采样信号转换为量化采样信号；
通过所述非线性编码器将所述量化采样信号用算术编码器进行熵编码，得到所述量化采样信号的比特流。
所述的基于特征域匹配的分布式图像压缩方法，其中，所述获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征的步骤还包括：
接收所述量化采样信号的比特流；即接收获取主图像量化采样信号的比特流；
将所述量化采样信号的比特流输入单一深度解码器中；将所述量化采样信号的比特流采用算术解码器进行熵解码，得到所述量化采样信号；
将所述量化的采样信号进行逐层解码，得到解码主信息特征和初步重构图像。
所述的基于特征域匹配的分布式图像压缩方法，其中，所述采用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征的步骤包括：
从所述分布式场景图像采集设备中获得无损边信息特征和量化的边信息图像采样信号；
获取量化的边信息图像采样信号，并将所述量化的边信息图像采样信号使用单一深度解码器获得解码边信息特征。
所述的基于特征域匹配的分布式图像压缩方法，其中，所述从所述分布式场景图像采集设备中获得无损边信息特征和量化的边信息图像采样信号，包括：
通过和主编码器具有相同结构的非线性编码器获取边信息图像，并将所述边信息图像进行分离采样处理，得到无损边信息特征和边信息图像采样信号；
通过所述非线性编码器采用可学习量化将所述边信息图像采样信号转换为量化的边信息图像采样信号；
通过所述非线性编码器将所述量化的边信息图像采样信号用算术编码器进行熵编码，得到所述量化采样信号的比特流。
其中，所述获取量化的边信息图像采样信号，并使使用单一深度解码器获得解码边信息特征，包括：
接收所述量化采样信号的比特流；
将所述量化采样信号的比特流输入单一深度解码器中；
将所述量化采样信号的比特流采用算术解码器进行熵解码，得到所述量化采样信号；
将所述量化的采样信号进行逐层解码，得到解码边信息特征。
所述的基于特征域匹配的分布式图像压缩方法，其中，所述对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征的步骤包括：
将所述解码主信息特征和所述解码边信息特征分别进行不重叠块划分和细粒度块划分；
对解码主信息特征每一个划分快计算解码边信息特征所有块的相关性系数，根据相关性系数选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
将第一层匹配特征复用得到所有层的匹配特征。
所述的基于特征域匹配的分布式图像压缩方法，其中，所述使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像的步骤包括：
对所述初步重构图像和匹配特征进行通道维度上的融合；
将融合后的特征输入特征融合网络得到最终重构图像；
根据所述重构图像，得到为评价图像重构失真的损失；
根据所述为评价图像重构失真的损失和比特流，得到率失真优化目标；
基于率失真优化目标，得到率失真损失函数；
用所述率失真损失函数训练所述边信息线深度压缩模型。
一种基于特征域匹配的分布式图像压缩装置，其中，所述装置包括：
主图像处理模块，用于获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；
边信息图像模块，用于采用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；
相关性匹配模块，用于对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
融合重构模块，用于使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像。
一种计算机设备，其中，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序时，实现任意一项所述的方法的步骤。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行任意一项所述的方法。
本发明的有益效果：本发明实施例提供了一种基于特征域匹配的分布式图像压缩方法、系统、计算机设备及存储介质，公开了一种面向分布式场景的利用特征域多尺度块匹配的图像压缩方法，所述方法包括：获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；使用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像。本发明通过基于特征域中的多尺度块匹配并利用分布式场景中的边信息图像取得更好的率失真表现，相关性匹配特征的复用缩短了训练时间并降低了对硬件设备的存储要求，基于特征域中的多尺度块匹配更加强调纹理和结构，对边信息的亮度和尺度变化具有更强的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于特征域匹配的分布式图像压缩方法的流程示意图。
图2是本发明实施例提供的基于特征域匹配的分布式图像压缩方法的网络构架图。
图3是本发明实施例提供的基于特征域匹配的分布式图像压缩方法的相关性匹配过程示意图。
图4是本发明实施例提供的基于特征域匹配的分布式图像压缩方法的特征复用的过程示意图。
图5是本发明实施例提供的基于特征域匹配的分布式图像压缩方法的不同压缩算法在KITTI Stereo与KITTI General数据集上的率失真表现示意图。
图6是本发明实施例提供的基于特征域匹配的分布式图像压缩方法的步骤S200细化流程示意图。
图7是本发明实施例提供的基于特征域匹配的分布式图像压缩方法的步骤S300细化流程示意图。。
图8是本发明实施例提供的基于特征域匹配的分布式图像压缩方法的步骤S400处理过程举例示意图。
图9是本发明实施例提供的基于特征域匹配的分布式图像压缩装置的原理框图。
图10是本发明实施例提供的计算机设备的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
随着计算机图像处理技术的发展，图像压缩技术的使用越来越普及。图像压缩即减少表示数字图像需要的数据量。现有技术中已经提出的分布式图像压缩算法，仅在图像域上进行想关性匹配操作。然而，图像域的相关性匹配对不同视角造成的尺度、形状和光照的差异鲁棒性较差，也不能充分利用侧面信息图像的丰富纹理信息。同时，现有技术中相关性矩阵的计算需要消耗大量时间并对硬件资源的存储要求较高，造成无法降低硬件成本。
为了解决现有技术的问题，本发明提供一种基于特征域匹配的分布式图像压缩方法，本发明通过基于特征域中的多尺度块匹配并利用分布式场景中的边信息图像取得更好的率失真表现，相关性匹配特征的复用缩短了训练时间并降低了对硬件设备的存储要求，基于特征域中的多尺度块匹配更加强调纹理和结构，对边信息的亮度和尺度变化具有更强的鲁棒性。
示例性方法
如图1中所示，本发明实施例提供一种基于特征域匹配的分布式图像压缩方法，包括如下步骤：
步骤S100：获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；
在本发明一种实施例中，所述主图像量化采样信号从所述分布式场景图像采集设备中获取得到，所述分布式场景图像采集设备用于：
通过分布式场景图像采集设备的非线性编码器获取目标图像，并将所述目标图像进行分离采样处理，得到采样信号；其中，如图2所示，所述目标图像为需要进行压缩的图像，即也叫主图像X；
通过所述非线性编码器采用可学习量化将所述采样信号转换为量化采样信号；
通过所述非线性编码器将所述量化采样信号用算术编码器进行熵编码，得到所述量化采样信号的比特流；
通过所述非线性编码器将所述比特流上传到服务器。
在本发明一种实施方式中，所述步骤S100的获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征具体包括：
接收所述量化采样信号的比特流；即接收获取主图像量化采样信号的比特流；
将所述量化采样信号的比特流输入单一深度解码器中；将所述量化采样信号的比特流采用算术解码器进行熵解码，得到所述量化采样信号；
本发明实施例中，所述单一深度解码器即为单个解码器，本发明通过单一的深度解码器就能将所述量化采样信号的比特流采用算术解码器进行熵解码，得到所述量化采样信号，可以减少硬件成本。
将所述量化的采样信号进行逐层解码，得到解码主信息特征和初步重构图像。本发明实施例中，所述主信息特征主要是指主图像/待重构图像的特征，初步重构图像指主图像的初始重构。
步骤S200：使用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；
本发明实施例中所述主图像是需要压缩的图像，所述边信息图像是接收端得到的辅助图形，例如与主图像不同视角的另外一个视角拍的图片。本实施例中的单一深度图像压缩模型即为单个深度图像压缩模型。
本发明实施例中，如图6所示，所述步骤S200的使用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征，包括：
步骤S201、从所述分布式场景图像采集设备中获得无损边信息特征和量化的边信息图像采样信号；
步骤S202、获取量化的边信息图像采样信号，并将所述量化的边信息图像采样信号使用单一深度解码器获得解码边信息特征。
本发明实施例中，无损边信息特征是指边信息图像初始提取的无损特征，解码边信息特征是预处理后的边信息特征，更有利于后面步骤特征融合对齐。
其中，所述步骤S201的从所述分布式场景图像采集设备中获得无损边信息特征和量化的边信息图像采样信号，包括：
通过和主编码器具有相同结构的非线性编码器获取边信息图像，并将所述边信息图像进行分离采样处理，得到无损边信息特征和边信息图像采样信号；
通过所述非线性编码器采用可学习量化将所述边信息图像采样信号转换为量化的边信息图像采样信号；
通过所述非线性编码器将所述量化的边信息图像采样信号用算术编码器进行熵编码，得到所述量化采样信号的比特流。
其中，所述步骤S202的获取量化的边信息图像采样信号，并使使用单一深度解码器获得解码边信息特征，包括：
接收所述量化采样信号的比特流；
将所述量化采样信号的比特流输入单一深度解码器中；
将所述量化采样信号的比特流采用算术解码器进行熵解码，得到所述量化采样信号；
将所述量化的采样信号进行逐层解码，得到解码边信息特征。
步骤S300：对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
本发明中，如图7所示，所述步骤S300的对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征，具体包括：
步骤S301、将解码主信息特征和解码边信息特征分别进行不重叠块划分和细粒度块划分；
步骤S302、对解码主信息特征每一个划分快计算解码边信息特征所有块的相关性系数，根据相关性系数选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
如图3所示，图3是本发明实施例提供的基于特征域匹配的分布式图像压缩方法的相关性匹配过程示意图。图3中(a)图像域块匹配时，从解码的主图像到解码边信息图像，到无损边信息图像、然后到对齐的边信息图像的线条指示过程示意图；以及图3中(b)多尺度特征域块匹配时，从解码的主特征到解码的边信息特征、再从解码的边信息特征到无损的边信息特征，然后到对齐的边信息特征，体现对解码的主图像的解码主信息特征每一个划分快计算解码边信息特征所有块的相关性系数，根据相关性系数选取无损边信息特征进行特征域相关块对齐操作获得匹配特征的过程。
步骤S303、将第一层匹配特征复用得到所有层的匹配特征。
其中，在一种实施方式中，所述步骤S301的将解码主信息特征和解码边信息特征分别进行不重叠块划分和细粒度块划分，包括：
定义在三维张量T∈RH×W×C上用宽高为B的窗口以跨度s选取到的小块集合为
表示在三维张量T∈RH ×W×C上用宽高为B的窗口以跨度s选取到的小块集合中第i行、第j列的块；三维张量中H、W、C分别代表长度、宽度和特征维度层数。
分别对解码主信息特征和解码边信息特征行不重叠块划分和细粒度块划分，可以得到
其中，
分别为在张量
上用宽高为B的窗口以跨度为B选取到的小块集合、在张量
上用宽高为B的窗口以跨度为1选取到的小块集合。
和
分别代表第一层解码主信息特征和第一层解码边信息特征，如图3所示。
其中，所述步骤S302的对解码主信息特征每一个划分快计算解码边信息特征所有块的相关性系数，根据相关性系数选取无损边信息特征进行特征域相关块对齐操作获得匹配特征，具体包括：
计算关系矩阵并定义函数
其中r(·)代表皮尔逊系数，由公示
计算得到。该函数用于计算在三维张量
上用宽高为B的窗口以跨度B选取到的小块集合中第i行、第j列的块和在三维张量
上用宽高为B的窗口以跨度1选取到的小块集合中第k行、第l列的块的相似度。
定义函数f3:
f4:
得到第一层特征域的块匹配表示
表示无损边信息特征。
其中，所述步骤S303的将第一层匹配特征复用得到所有层的匹配特征，具体包括：
根据图4，可以得出结论：
如图4所示，其中，
表示在三维张量
上用宽高为B的窗口以跨度B选取到的小块集合中第i行、第j列的块和在三维张量
上用宽高为
的窗口以跨度
选取到的小块集合中第i行、第j列的块是相对应的、
表示在三维张量
上用宽高为B的窗口以跨度1选取到的小块集合中第2*i行、第2*j列的块和在三维张量
上用宽高为
的窗口以跨度1选取到的小块集合中第i行、第j列的块是相对应的；
和
分别由
和
通道维度数不变，高和宽分别缩小为原来一半得到。
定义函数：f5:
f6:
f5(·)表示在特征域中找到和当前块最相似的边信息块位置；f6(·)表示将特征域中最相似块映射到图像域对应位置的边信息块。
得到第二层特征域快匹配表示：
根据第二层特征域快匹配表示可以递归定义第n层的特征域块匹配表示。如图2所示，MSFDPM编码器是多尺度特征域块匹配解码器。
步骤S400：使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像。
在一种实现方式中，如图8所示，所述步骤S400的使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像，具体包括：
步骤S401、对初步重构图像和匹配特征进行通道维度上的融合；
步骤S402、将融合后的特征输入特征融合网络得到最终重构图像；
步骤S403、根据所述重构图像，得到为评价图像重构失真的损失；
步骤S404、根据所述为评价图像重构失真的损失和比特流，得到率失真优化目标；
步骤S405、基于率失真优化目标，得到率失真损失函数；
如图5所示，图5为本发明实施例提供的不同压缩算法在KITTI Stereo与KITTIGeneral数据集上的率失真表现示意图。本专利提出的模型相比于传统压缩算法JPEG2000、BPG以及图像域的特征匹配模型在率失真性能MS-SSIM、PSNR上都有了较为明显的提升。
步骤S406、用所述率失真损失函数训练所述边信息线深度压缩模型。
在一种实现方式中，所述率失真优化目标包括估计的比特率损失，初步重构图像失真损失，最终重构图像失真损失；
所述率失真损失函数为：L＝H(Z)+λ((1-α)d(X,X1)+αd(X,X2)))
其中，
是编码和量化后的向量，如图2所示，X是所述目标图像(也叫主图像)，
是所述初步重构图像，
是所述最终重构图像，d(·)为MS-SSIM、PSNR或其他评价图像重构质量的损失，λ是控制压缩率和失真之间权衡的权重，α是控制两个失真之间权衡的权重。
由上可见，本发明实施例提供了一种面向分布式场景的利用特征域多尺度块匹配的图像压缩方法。本实例首先获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；再使用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；接着对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；最后使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像。本实施例通过基于特征域多尺度块匹配方法取得更好的率失真表现。
示例性设备
如图9中所示，本发明实施例提供一种基于特征域匹配的分布式图像压缩装置，该装置包括：
主图像处理模块91，用于获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；
边信息图像模块92，用于采用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；
相关性匹配模块93，用于对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
融合重构模块94，用于使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像，具体如上所述。
基于上述实施例，本发明还提供了一种计算机设备，其原理框图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于特征域匹配的分布式图像压缩方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图10中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；
采用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；
对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像，具体如上所述。
所述获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征的步骤包括：
所述主图像量化采样信号从所述分布式场景图像采集设备中获取得到：
通过分布式场景图像采集设备的非线性编码器获取目标图像，并将所述目标图像进行分离采样处理，得到采样信号；
通过所述非线性编码器采用可学习量化将所述采样信号转换为量化采样信号；
通过所述非线性编码器将所述量化采样信号用算术编码器进行熵编码，得到所述量化采样信号的比特流。
所述获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征的步骤还包括：
接收所述量化采样信号的比特流；即接收获取主图像量化采样信号的比特流；
将所述量化采样信号的比特流输入单一深度解码器中；将所述量化采样信号的比特流采用算术解码器进行熵解码，得到所述量化采样信号；
将所述量化的采样信号进行逐层解码，得到解码主信息特征和初步重构图像。
所述采用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征的步骤包括：
从所述分布式场景图像采集设备中获得无损边信息特征和量化的边信息图像采样信号；
获取量化的边信息图像采样信号，并将所述量化的边信息图像采样信号使用单一深度解码器获得解码边信息特征。
所述从所述分布式场景图像采集设备中获得无损边信息特征和量化的边信息图像采样信号，包括：
通过和主编码器具有相同结构的非线性编码器获取边信息图像，并将所述边信息图像进行分离采样处理，得到无损边信息特征和边信息图像采样信号；
通过所述非线性编码器采用可学习量化将所述边信息图像采样信号转换为量化的边信息图像采样信号；
通过所述非线性编码器将所述量化的边信息图像采样信号用算术编码器进行熵编码，得到所述量化采样信号的比特流。
其中，所述获取量化的边信息图像采样信号，并使使用单一深度解码器获得解码边信息特征，包括：
接收所述量化采样信号的比特流；
将所述量化采样信号的比特流输入单一深度解码器中；
将所述量化采样信号的比特流采用算术解码器进行熵解码，得到所述量化采样信号；
将所述量化的采样信号进行逐层解码，得到解码边信息特征。
所述对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征的步骤包括：
将所述解码主信息特征和所述解码边信息特征分别进行不重叠块划分和细粒度块划分；
对解码主信息特征每一个划分快计算解码边信息特征所有块的相关性系数，根据相关性系数选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
将第一层匹配特征复用得到所有层的匹配特征。
所述使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像的步骤包括：
对所述初步重构图像和匹配特征进行通道维度上的融合；
将融合后的特征输入特征融合网络得到最终重构图像；
根据所述重构图像，得到为评价图像重构失真的损失；
根据所述为评价图像重构失真的损失和比特流，得到率失真优化目标；
基于率失真优化目标，得到率失真损失函数；
用所述率失真损失函数训练所述边信息线深度压缩模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种基于特征域匹配的分布式图像压缩方法、系统、计算机设备及存储介质，公开了一种面向分布式场景的利用特征域多尺度块匹配的图像压缩方法，所述方法包括：获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；使用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像。本发明通过基于特征域中的多尺度块匹配并利用分布式场景中的边信息图像取得更好的率失真表现，相关性匹配特征的复用缩短了训练时间并降低了对硬件设备的存储要求，基于特征域中的多尺度块匹配更加强调纹理和结构，对边信息的亮度和尺度变化具有更强的鲁棒性。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，例如可通过改变特征匹配方法或计算方法、改变编码器网络结构或采用图像域匹配提出回避设计方案，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于特征域匹配的分布式图像压缩方法，其特征在于，所述方法包括：
获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；
采用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；
对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像。
2.根据权利要求1所述的基于特征域匹配的分布式图像压缩方法，其特征在于，所述获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征的步骤包括：
所述主图像量化采样信号从所述分布式场景图像采集设备中获取得到：
通过分布式场景图像采集设备的非线性编码器获取目标图像，并将所述目标图像进行分离采样处理，得到采样信号；
通过所述非线性编码器采用可学习量化将所述采样信号转换为量化采样信号；
通过所述非线性编码器将所述量化采样信号用算术编码器进行熵编码，得到所述量化采样信号的比特流。
3.根据权利要求2所述的基于特征域匹配的分布式图像压缩方法，其特征在于，所述获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征的步骤还包括：
接收所述量化采样信号的比特流；即接收获取主图像量化采样信号的比特流；
将所述量化采样信号的比特流输入单一深度解码器中；将所述量化采样信号的比特流采用算术解码器进行熵解码，得到所述量化采样信号；
将所述量化的采样信号进行逐层解码，得到解码主信息特征和初步重构图像。
4.根据权利要求1所述的基于特征域匹配的分布式图像压缩方法，其特征在于，所述采用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征的步骤包括：
从所述分布式场景图像采集设备中获得无损边信息特征和量化的边信息图像采样信号；
获取量化的边信息图像采样信号，并将所述量化的边信息图像采样信号使用单一深度解码器获得解码边信息特征。
5.根据权利要求4所述的基于特征域匹配的分布式图像压缩方法，其特征在于，所述从所述分布式场景图像采集设备中获得无损边信息特征和量化的边信息图像采样信号，包括：
通过和主编码器具有相同结构的非线性编码器获取边信息图像，并将所述边信息图像进行分离采样处理，得到无损边信息特征和边信息图像采样信号；
通过所述非线性编码器采用可学习量化将所述边信息图像采样信号转换为量化的边信息图像采样信号；
通过所述非线性编码器将所述量化的边信息图像采样信号用算术编码器进行熵编码，得到所述量化采样信号的比特流。
其中，所述获取量化的边信息图像采样信号，并使使用单一深度解码器获得解码边信息特征，包括：
接收所述量化采样信号的比特流；
将所述量化采样信号的比特流输入单一深度解码器中；
将所述量化采样信号的比特流采用算术解码器进行熵解码，得到所述量化采样信号；
将所述量化的采样信号进行逐层解码，得到解码边信息特征。
6.根据权利要求1所述的基于特征域匹配的分布式图像压缩方法，其特征在于，所述对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征的步骤包括：
将所述解码主信息特征和所述解码边信息特征分别进行不重叠块划分和细粒度块划分；
对解码主信息特征每一个划分快计算解码边信息特征所有块的相关性系数，根据相关性系数选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
将第一层匹配特征复用得到所有层的匹配特征。
7.根据权利要求1所述的基于特征域匹配的分布式图像压缩方法，其特征在于，所述使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像的步骤包括：
对所述初步重构图像和匹配特征进行通道维度上的融合；
将融合后的特征输入特征融合网络得到最终重构图像；
根据所述重构图像，得到为评价图像重构失真的损失；
根据所述为评价图像重构失真的损失和比特流，得到率失真优化目标；
基于率失真优化目标，得到率失真损失函数；
用所述率失真损失函数训练所述边信息线深度压缩模型。
8.一种基于特征域匹配的分布式图像压缩装置，其特征在于，所述装置包括：
主图像处理模块，用于获取主图像量化采样信号，并将所述主图像量化采样信号通过单一深度解码器处理获得初步重构图像和解码主信息特征；
边信息图像模块，用于采用单一深度图像压缩模型获得边信息图像的无损边信息特征和解码边信息特征；
相关性匹配模块，用于对解码主信息特征和解码边信息特征进行相关性匹配，并选取无损边信息特征进行特征域相关块对齐操作获得匹配特征；
融合重构模块，用于使用特征融合网络对初步重构图像和匹配特征进行迭代融合获得最终重构图像。
9.一种计算机设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序时，实现如权利要求1-7中任意一项所述的方法的步骤。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211285499.6A CN115767108B (zh) | 2022-10-20 | 2022-10-20 | 一种基于特征域匹配的分布式图像压缩方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211285499.6A CN115767108B (zh) | 2022-10-20 | 2022-10-20 | 一种基于特征域匹配的分布式图像压缩方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115767108A true CN115767108A (zh) | 2023-03-07 |
| CN115767108B CN115767108B (zh) | 2023-11-07 |
Family
ID=85352387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211285499.6A Active CN115767108B (zh) | 2022-10-20 | 2022-10-20 | 一种基于特征域匹配的分布式图像压缩方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115767108B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102026000A (zh) * | 2011-01-06 | 2011-04-20 | 西安电子科技大学 | 像素域-变换域联合的分布式视频编码系统 |
| US20110128353A1 (en) * | 2009-11-30 | 2011-06-02 | Canon Kabushiki Kaisha | Robust image alignment for distributed multi-view imaging systems |
| CN102291582A (zh) * | 2011-09-21 | 2011-12-21 | 北京邮电大学 | 一种基于运动补偿精化的分布式视频编码方法 |
| CN105430406A (zh) * | 2015-12-04 | 2016-03-23 | 中国矿业大学 | 一种分布式视频编码框架 |
| US20200314435A1 (en) * | 2019-03-25 | 2020-10-01 | Apple Inc. | Video based point cloud compression-patch alignment and size determination in bounding box |
| CN114915786A (zh) * | 2022-04-26 | 2022-08-16 | 哈尔滨工业大学（深圳） | 一种面向物联网场景的非对称语义图像压缩方法 |
-
2022
- 2022-10-20 CN CN202211285499.6A patent/CN115767108B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110128353A1 (en) * | 2009-11-30 | 2011-06-02 | Canon Kabushiki Kaisha | Robust image alignment for distributed multi-view imaging systems |
| CN102026000A (zh) * | 2011-01-06 | 2011-04-20 | 西安电子科技大学 | 像素域-变换域联合的分布式视频编码系统 |
| CN102291582A (zh) * | 2011-09-21 | 2011-12-21 | 北京邮电大学 | 一种基于运动补偿精化的分布式视频编码方法 |
| CN105430406A (zh) * | 2015-12-04 | 2016-03-23 | 中国矿业大学 | 一种分布式视频编码框架 |
| WO2017092072A1 (zh) * | 2015-12-04 | 2017-06-08 | 中国矿业大学 | 一种分布式视频编码框架 |
| US20200314435A1 (en) * | 2019-03-25 | 2020-10-01 | Apple Inc. | Video based point cloud compression-patch alignment and size determination in bounding box |
| CN114915786A (zh) * | 2022-04-26 | 2022-08-16 | 哈尔滨工业大学（深圳） | 一种面向物联网场景的非对称语义图像压缩方法 |
Non-Patent Citations (3)
| Title |
|---|
| YUEQI XIE 等: "Enhanced invertible encoding for learned image compression", ACM MULTIMEDIA * |
| YUJUN HUANG等: "Learned Distributed Image Compression with Multi-Scale Patch Matching in Feature Domain", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 蔺毓敏，周俊伟: "基于深度学习的光流插帧边信息生成算法", 计算机应用研究 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115767108B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200329233A1 (en) | Hyperdata Compression: Accelerating Encoding for Improved Communication, Distribution & Delivery of Personalized Content | |
| Wang et al. | Towards analysis-friendly face representation with scalable feature and texture compression | |
| CN114079779B (zh) | 图像处理方法、智能终端及存储介质 | |
| Perra et al. | JPEG 2000 compression of unfocused light field images based on lenslet array slicing | |
| US11259046B2 (en) | Processing of equirectangular object data to compensate for distortion by spherical projections | |
| CN110933429A (zh) | 基于深度神经网络的视频压缩感知与重构方法和装置 | |
| KR20200089635A (ko) | 다수의 상이한 비트레이트로 영상 압축을 하기 위한 시스템들 및 방법들 | |
| US11949879B2 (en) | Video coding method and apparatus, computer device, and storage medium | |
| Perra | Assessing the quality of experience in viewing rendered decompressed light fields | |
| WO2022155974A1 (zh) | 视频编解码以及模型训练方法与装置 | |
| JP2023548507A (ja) | セグメンテーション情報のシグナリングを用いた復号化 | |
| CN114915786B (zh) | 一种面向物联网场景的非对称语义图像压缩方法 | |
| Liu et al. | Fast depth intra coding based on depth edge classification network in 3D-HEVC | |
| WO2022194137A1 (zh) | 视频图像的编解码方法及相关设备 | |
| Perra et al. | Raw light field image compression of sliced lenslet array | |
| CN113822824B (zh) | 视频去模糊方法、装置、设备及存储介质 | |
| CN115767108B (zh) | 一种基于特征域匹配的分布式图像压缩方法、系统 | |
| CN114066914A (zh) | 一种图像处理方法以及相关设备 | |
| WO2023098688A1 (zh) | 图像编解码方法和装置 | |
| WO2023225808A1 (en) | Learned image compress ion and decompression using long and short attention module | |
| WO2023050433A1 (zh) | 视频编解码方法、编码器、解码器及存储介质 | |
| WO2023085962A1 (en) | Conditional image compression | |
| Zhang et al. | Rate-accuracy optimized quantization algorithm based on ROI image coding in power line inspection | |
| Milani | A distributed source autoencoder of local visual descriptors for 3D reconstruction | |
| Zhang et al. | Dense correspondence based prediction for image set compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |