CN116452696B - 一种基于双域特征采样的图像压缩感知重构方法及系统 - Google Patents

一种基于双域特征采样的图像压缩感知重构方法及系统 Download PDF

Info

Publication number
CN116452696B
CN116452696B CN202310712409.5A CN202310712409A CN116452696B CN 116452696 B CN116452696 B CN 116452696B CN 202310712409 A CN202310712409 A CN 202310712409A CN 116452696 B CN116452696 B CN 116452696B
Authority
CN
China
Prior art keywords
convolution
image
sampling
convolution layer
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310712409.5A
Other languages
English (en)
Other versions
CN116452696A (zh
Inventor
仝丰华
向鑫鑫
赵大伟
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Qilu University of Technology
Priority to CN202310712409.5A priority Critical patent/CN116452696B/zh
Publication of CN116452696A publication Critical patent/CN116452696A/zh
Application granted granted Critical
Publication of CN116452696B publication Critical patent/CN116452696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理领域，为了解决现有技术没有充分利用图像特征信息的问题，提出了一种基于双域特征采样的图像压缩感知重构方法及系统，将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值；将采样值进行卷积操作和第一像素混洗操作，得到初始重构图像；将初始重构图像经过深度重建子网络得到最终重构图像；深度重建子网络包括多个依次连接的更新模块和去噪模块，更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，去噪模块用于对更新模块的输出基于对不同分辨率特征分别去噪后融合输出。对原始图像双域特征提取，充分利用图像特征，提高后续图像重建质量。

Description

一种基于双域特征采样的图像压缩感知重构方法及系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于双域特征采样的图像压缩感知重构方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
压缩感知(Compressive Sensing，CS)为稀疏信号的采集和重建提供了新的样式。当原始信号在某个域/>是稀疏时，压缩感知保证原始信号/>可以从线性投影中以高概率重构，其中/>是采样矩阵且/>。
在压缩感知的不断发展中，不同的图像压缩感知优化方法相继被提出，例如贪婪算法和凸优化方法。然而，传统的优化方法耗费的计算资源较大，图像的重建质量较低。随着深度学习技术在各个领域的不断突破，越来越多的研究人员将深度学习应用到图像压缩感知中来提高图像的重建质量。
基于深度神经网络的图像压缩感知在采样上，将固定矩阵设置成可学习的采样矩阵与图像进行卷积操作。然而，这种直接在图像域上进行采样的方式，忽略了图像本身的特征信息。在图像重建上，可以分为普通神经网络和受优化启发的重构网络。对于普通的神经网络，它是利用优化网络结构来提高图像的重建质量和重建速度。然而，这种方法是在黑盒模式下进行的，不具备可解释性。对于受优化启发的神经网络，它结合了传统压缩感知算法的可解释性和深度压缩感知网络重建质量高、重建速度快的优点。然而，现有的优化启发网络的重建过程是在像素域完成的，没有充分利用图像特征的信息。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于双域特征采样的图像压缩感知重构方法及系统，通过对原始图像进行图像域和特征域的双域特征提取，对不同分辨率的特征进行去噪后融合，在保留图像更多信息的同时能够进行去噪，充分利用图像特征，提高后续图像重建质量。
为实现上述目的，本发明的第一个方面提供一种基于双域特征采样的图像压缩感知重构方法，包括：
将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值；
将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像；
将初始重构图像经过深度重建子网络得到最终重构图像；
其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于对不同分辨率特征分别去噪后融合输出。
本发明的第二个方面提供一种基于双域特征采样的图像压缩感知重构系统，包括：
获取采样值模块：将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值；
初始重构模块：将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像；
最终重构模块：将初始重构图像经过深度重建子网络得到最终重构图像；
其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于不同分辨率特征分别去噪后融合输出。
以上一个或多个技术方案存在以下有益效果：
在本发明中，通过对原始图像进行图像域和特征域的双域特征提取，充分利用图像特征，提高后续图像重建质量。
在本发明中，深度重建网络中的更新模块在不同特征维度下约束结合，提高了信息更新的准确性。深度重建网络中的去噪模块对不同分辨率的特征进行去噪后融合，在去噪的同时能够保留图像更多信息。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一中基于双域特征采样的图像压缩感知重构网络结构示意图；
图2为本发明实施例一中双域特征提取和分块采样流程图；
图3为本发明实施例一中更新模块流程图；
图4为本发明实施例一中去噪模块流程图；
图5为本发明实施例一中残差卷积单元结构示意图；
图6为本发明实施例一中多尺度残差块结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了一种基于双域特征采样的图像压缩感知重构方法，包括：
将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值；
将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像；
将初始重构图像经过深度重建子网络得到最终重构图像；
其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于对不同分辨率特征分别去噪后融合输出。
如图1所示，在本实施例中，一种基于双域特征采样的图像压缩感知重构方法具体包括以下步骤：
步骤1：将原始图像按块进行拆分作为训练数据集，具体为：
步骤1-1：选用BSD500数据集中的200张训练集和200张测试集作为训练图像；
步骤2-2：将训练图像进行随机裁剪为大小为96×96的子图像，对子图像进行翻转和旋转以及灰度化处理。
步骤2：如图2所示，对步骤1的训练数据集基于采样子网络进行双域特征提取和分块采样操作，获得压缩后的采样值，具体为：
步骤2-1：利用三个卷积对图像进行特征提取，第一个卷积的输入为经过步骤1处理后的原始图像像素域，第二个卷积层的输入为经过步骤1处理后的原始图像像素域/>和第一个卷积层输出的特征域，第三个卷积层的输入为经过步骤1处理后的原始图像像素域/>、第一个卷积层输出的特征域和第二个卷积层输出的特征域，具体表示为：
（1）
（2）
（3）
其中，、/>、/>分别表示第一个卷积层、第二个卷积层、第三个卷积层的执行结果；/>表示第一个卷积层的卷积核大小为3×3，/>表示第二个卷积层的卷积核大小为3×3，/>表示第三个卷积层的卷积核大小为3×3；/>为第一卷积层的偏置，/>为第二卷积层的偏置，/>为第三卷积层的偏置，/>表示卷积操作。
步骤2-2：将步骤2-1中第三个卷积层的执行结果分成/>大小的不重叠块，传统分块采样过程是通过将每个图像块展开成向量/>，通过与固定采样矩阵执行矩阵乘法完成采样操作，当采样率为/>时，固定采样矩阵为/>，其中/>表示图像高度、/>表示图像宽度、/>=32、/>。
需要说明的是，为/>带有图像特征高度/>、图像宽度/>的形式。
在本实施例中，将固定采样矩阵设置为可学习矩阵，利用卷积操作来模拟传统矩阵乘法实现采样，具体操作为：将/>设置为/>个/>的卷积核，该卷积层的步长为/>、填充为0、不含偏置项，该过程可表示为：
（4）
其中，表示/>个/>的卷积核，/>表示采样值，/>为对执行结果/>进行采样的采样函数，/>为步骤2-1中第三个卷积层的执行结果，/>表示卷积操作。
步骤3：对步骤2得到的采样值基于初始重建子网络执行卷积和PixelShuffle即第一像素混洗操作以获得初始重构图像，具体为：
步骤3-1：传统分块的压缩感知优化方法是利用来获得图像块的向量表示，该过程可表示为：
其中，表示原始图像/>的第/>个分块/>的采样值的向量表示，/>为固定采样矩阵/>的伪逆矩阵。
在本实施例中，使用卷积操作执行上采样代替传统分块的压缩感知优化方法，将重组为/>个/>的卷积核，该过程可表示为：
（5）
其中，表示/>个/>的卷积核，/>为采样值，/>表示卷积操作，/>表示1×1×B2的向量，/>为固定采样矩阵/>的伪逆矩阵。
步骤3-2：为了获得整幅图像的初始重建图像，添加PixelShuffle操作把步骤3-1的结果进行重塑，该过程可表示为：
（6）
其中，表示初始重建图像，/>表示对/>执行像素混洗操作的函数，PixelShuffle为像素混洗操作。
步骤4：对步骤3的初始重构图像执行卷积操作，具体为：
对初始重建图像设置一个卷积层，以获得更多的特征信息，该卷积层的具体参数为：输入通道数1、输出通道数16、卷积核大小3×3、有偏置设置。
步骤5：对步骤4的输出结果基于深度重建子网络进行处理，设置个优化阶段，每个阶段包括更新模块和去噪模块，具体为：
该步骤为深度重建网络，深度重建具体包括两个模块：更新模块和去噪模块；深度重建网络优化阶段数，即将N个更新模块和去噪模块依次连接进行图像处理，模块设计原理依赖于近端梯度下降法，该下降法可表示为：
（7）
（8）
其中，上标（k）、（k-1）表示优化阶段数，为采样值，/>为采样矩阵，变换/>通常是人为定义的，/>表示更新步长，/>是正则化参数，上标T表示转置，/>为经步骤1处理后的原始图像，/>表示近端投影，/>为第k个优化阶段更新模块的输出。
步骤5-1：如图3所示，更新模块的具体操作为：
步骤5-1-1：更新模块的输入为；对/>执行第一卷积操作，将其通道数变为1，该卷积层的具体参数为：输入通道数16、输出通道数1、卷积核大小3×3、有偏置设置。
需要说明的是，当k=1时，即第一个优化阶段时，更新模块的输入就是步骤4处理后的输出。
步骤5-1-2：利用第二像素混洗来模拟过程，其中，/>与步骤2-2中的/>一致，/>与步骤3-1中的/>一致，为步骤5-1-1的输出，/>表示卷积操作，/>表示更新步长，此处/>设置为1。
步骤5-1-3：将步骤5-1-2的输出与相加并进行第二卷积操作得到/>，该过程可表示为：
（9）
其中，表示步骤5-1-3中卷积层的卷积核大小3×3；PixelShuffle表示像素混洗操作；/>表示卷积操作；/>表示更新步长；/>表示/>个/>的卷积核；/>为采样值；/>表示/>个/>的卷积核，/>为步骤5-1-1的输出结果，/>表示卷积操作。
步骤5-1-4：对与/>的差值执行残差卷积单元Res的操作，并将其结果与/>相加得到/>，该过程可表示为：
（10）
其中，表示残差卷积单元，/>为第（k-1）个优化阶段更新模块的输入，为步骤5-1-3的输出结果。
其中，如图5所示，残差卷积单元包括依次连接的第四卷积层、激活函数和第五卷积层，将第五卷积层的输出与四卷积层的输入进行相加。
在本实施例中，更新模块是在特征域完成的，充分发挥了卷积神经网络的表征学习能力，梯度在一维特征和多维特征约束相结合下完成的，提高了信息更新的准确性，以及对整幅图像利用残差卷积单元有效实现对图像由于分块操作带来的伪影。
步骤5-2：如图4所示，本实施例中去噪模块的具体操作为：
步骤5-2-1：去噪模块的输入为，对/>执行上采样和降通道数操作获得高分辨率特征，通过上采样获得的高分辨率是经过步骤1处理后的原始图像一的2倍，然后，通过降通道获得的通道数是/>通道数的/>。
步骤5-2-2：对步骤5-2-1的结果依次执行残差卷积单元、下采样和卷积操作，其中，通过下采样将残差卷积单元输出的高分辨率特征降到与经过步骤1处理后的原始图像一样，通过卷积操作将残差卷积单元输出的通道数升至与一致。
步骤5-2-3：设置一个多尺度残差块，对执行多尺度残差操作，如图6所示，多尺度残差块含有6个分支，右边三个分支利用3×3、5×5、7×7的卷积层提取图像的浅层特征，直接进行最后特征的融合。左边三个分支使用3×3、5×5、7×7的卷积层学习图像的深层特征，每一个分支的输出分别与下一层的分支相连，其中下一层的分支有三个，分别是连接层和3×3卷积层、连接层和5×5卷积层、连接层和7×7卷积层。最后使用依次的连接层、1×1卷积层和1×1卷积层连接上面6个分支，除最后的两个1×1卷积层外，6个分支的网络中的卷积层后均跟有relu函数。将最后依次连接的连接层、1×1卷积层和1×1卷积层的输出S与去噪模块的输入/>相加后得到多尺度残差块最终的输出结果。
步骤5-2-4：将步骤5-2-3的输出结果和步骤5-2-2的输出结果用连接层进行拼接，因为此拼接操作会使其通道数变为的2倍，随后设置卷积层进行降通道数，使其通道数与/>一致，将步骤5-2-4的输出设为/>，/>为第k个优化阶段去噪模块的输出结果。
步骤6：将步骤5的结果作为最终重构图像，设置损失函数进行反向传播，完成网络参数更新，具体为：
步骤5循环结束后的输出为最终的重构图像，损失函数Loss可表示为：
（11）
（12）
（13）
其中，表示原始图像/>和最终重建图像/>之间的损失，/>表示正交约束，/>为采样矩阵，/>表示单位矩阵，/>，重构图像/>与原始图像/>、/>与/>之间的距离采用/>范数来约束，/>为正则化参数。
在本实施例中，去噪模块通过连接高分辨率和低分辨率图像，有效实现图像去噪功能，提高图像重建质量。
表1、表2、表3和表4分别是本实施例方法与其他方法的对比情况，结果充分表明本实施例方法图像重构任务上的优越性。
其它先进方法包括：一种应用于图像压缩感知的可伸缩卷积神经网络称为SCSNet、一种使用浮点值采样矩阵和基于残差学习深度重建网络的CSNet框架称为CSNet+、一种基于块的图像压缩感知的多通道深度神经网络称为BCSnet、用于图像压缩感知的基于去噪的深度展开网络称为AMP-Net。
表1在不同采样率的数据集Set5上，对不同代表性的CS算法进行了平均峰值信噪比即PSNR和结构相似性即SSIM比较。粗体表示最佳结果。
表1
表2在不同采样率的数据集Set11上，对不同代表性的CS算法进行了平均峰值信噪比即PSNR和结构相似性即SSIM比较。粗体表示最佳结果。
表2
表3在不同采样率的数据集BSD100上，对不同代表性的CS算法进行了平均峰值信噪比即PSNR和结构相似性即SSIM比较。粗体表示最佳结果。
表3
表4在不同采样率的数据集Set14上，对不同代表性的CS算法进行了平均峰值信噪比即PSNR和结构相似性即SSIM比较。粗体表示最佳结果。
表4
实施例二
本实施例的目的是提供一种基于双域特征采样的图像压缩感知重构系统，包括：
获取采样值模块：将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值；
初始重构模块：将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像；
最终重构模块：将初始重构图像经过深度重建子网络得到最终重构图像；
其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于对不同分辨率特征分别去噪后融合输出。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于双域特征采样的图像压缩感知重构方法，其特征在于，包括：
将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值，采用三个卷积层对原始图像基于图像域和特征域进行特征提取，具体包括：第一卷积层的输入为原始图像像素域，第二卷积层的输入为原始图像像素域/>和第一个卷积层输出的特征域，第三卷积层的输入为原始图像像素域/>、第一个卷积层输出的特征域和第二个卷积层输出的特征域，具体表示为：
其中，、/>、/>分别表示第一个卷积层、第二个卷积层、第三个卷积层的执行结果；表示第一个卷积层的卷积核大小为3×3，/>表示第二个卷积层的卷积核大小为3×3，/>表示第三个卷积层的卷积核大小为3×3；/>为第一卷积层的偏置，/>为第二卷积层的偏置，/>为第三卷积层的偏置，/>表示卷积操作；
将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像，具体为：
将固定采样矩阵设置为可学习矩阵，利用卷积操作模拟固定采样矩阵乘法对原始图像所提取的特征进行采样，得到采样值；
将采样值执行上采样操作，得到采样值对应的向量；
将采样值对应的向量执行第一像素混洗操作，得到初始重建图像；
将初始重构图像经过深度重建子网络得到最终重构图像；
其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于不同分辨率特征分别去噪后融合输出。
2.如权利要求1所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，在所述更新模块中，具体操作包括：
对更新模块的输入特征进行第一卷积操作，将第一卷积操作的结果、采样值进行第二像素混洗操作；
将第一卷积操作的结果与第二像素混洗操作的结果相加后再进行第二卷积操作；
将第二卷积操作的结果与更新模块的输入特征的差值执行残差卷积操作后并将残差卷积操作的结果与更新模块的输入特征相加，得到更新模块的输出。
3.如权利要求2所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，对更新模块的输入特征进行第一卷积操作，将第一卷积操作的结果、采样值进行第二像素混洗操作，具体为：
将第一卷积操作的结果基于可学习矩阵利用卷积操作进行采样；
利用卷积操作对采样后的第一卷积操作的结果与所述采样值的差值执行上采样操作，得到上采样结果；
将上采样结果与第一卷积操作的结果执行第二像素混洗操作。
4.如权利要求1所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，在所述去噪模块中，具体操作包括：
对所述更新模块的输出进行上采样和降通道操作，得到高分辨率图像特征；
对高分辨率图像特征依次进行残差卷积、下采样和卷积操作，使所得到的特征与原始图像的特征一致且与所述更新模块的输出特征的通道数一致；
利用多尺度残差块对所述更新模块的输出进行多尺度残差操作，得到多尺度融合特征；
将经过残差卷积、下采样和卷积操作的高分辨率图像特征与多尺度融合特征进行拼接，得到所述去噪模块的输出。
5.如权利要求2或4所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，利用残差卷积单元执行残差卷积操作，所述残差卷积单元包括依次连接的第四卷积层、激活函数层和第五卷积层，将第五卷积层的输出与四卷积层的输入进行相加。
6.如权利要求4所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，所述多尺度残差块由多尺度特征融合和局部残差学习构成；
所述多尺度特征融合包括6个支路，其中三个支路分别为3×3卷积层、5×5卷积层、7×7卷积层，用于提取浅层图像特征；
另外三个支路由3×3卷积层、5×5卷积层、7×7卷积层分别与并列的3×3卷积层、5×5卷积层、7×7卷积层进行连接所组成，用于提取深层图像特征。
7.如权利要求1所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，对所述最终重构图像，设置损失函数进行反向传播，完成网络参数更新，所述损失函数包括重构图像与原始图像的差值、采样矩阵与单位矩阵正交约束。
8.一种基于双域特征采样的图像压缩感知重构系统，其特征在于，包括：
获取采样值模块：将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值，采用三个卷积层对原始图像基于图像域和特征域进行特征提取，具体包括：第一卷积层的输入为原始图像像素域，第二卷积层的输入为原始图像像素域/>和第一个卷积层输出的特征域，第三卷积层的输入为原始图像像素域/>、第一个卷积层输出的特征域和第二个卷积层输出的特征域，具体表示为：
其中，、/>、/>分别表示第一个卷积层、第二个卷积层、第三个卷积层的执行结果；表示第一个卷积层的卷积核大小为3×3，/>表示第二个卷积层的卷积核大小为3×3，/>表示第三个卷积层的卷积核大小为3×3；/>为第一卷积层的偏置，/>为第二卷积层的偏置，/>为第三卷积层的偏置，/>表示卷积操作；
初始重构模块：将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像，具体为：
将固定采样矩阵设置为可学习矩阵，利用卷积操作模拟固定采样矩阵乘法对原始图像所提取的特征进行采样，得到采样值；
将采样值执行上采样操作，得到采样值对应的向量；
将采样值对应的向量执行第一像素混洗操作，得到初始重建图像；
最终重构模块：将初始重构图像经过深度重建子网络得到最终重构图像；其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于不同分辨率特征分别去噪后融合输出。
CN202310712409.5A 2023-06-16 2023-06-16 一种基于双域特征采样的图像压缩感知重构方法及系统 Active CN116452696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310712409.5A CN116452696B (zh) 2023-06-16 2023-06-16 一种基于双域特征采样的图像压缩感知重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310712409.5A CN116452696B (zh) 2023-06-16 2023-06-16 一种基于双域特征采样的图像压缩感知重构方法及系统

Publications (2)

Publication Number Publication Date
CN116452696A CN116452696A (zh) 2023-07-18
CN116452696B true CN116452696B (zh) 2023-08-29

Family

ID=87132405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310712409.5A Active CN116452696B (zh) 2023-06-16 2023-06-16 一种基于双域特征采样的图像压缩感知重构方法及系统

Country Status (1)

Country Link
CN (1) CN116452696B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0546843A2 (en) * 1991-12-10 1993-06-16 Xerox Corporation Image recognition method using finite state networks
CN110675321A (zh) * 2019-09-26 2020-01-10 兰州理工大学 一种基于渐进式的深度残差网络的超分辨率图像重建方法
WO2020015167A1 (zh) * 2018-07-17 2020-01-23 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
WO2020037960A1 (zh) * 2018-08-21 2020-02-27 深圳大学 一种sar目标识别方法、装置、计算机设备及存储介质
WO2020056791A1 (zh) * 2018-09-21 2020-03-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN112215755A (zh) * 2020-10-28 2021-01-12 南京信息工程大学 一种基于反投影注意力网络的图像超分辨率重建方法
CN112419150A (zh) * 2020-11-06 2021-02-26 中国科学技术大学 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
CN113256496A (zh) * 2021-06-11 2021-08-13 四川省人工智能研究院(宜宾) 一种轻量级渐进式特征融合的图像超分辨率系统及方法
CN114331853A (zh) * 2020-09-30 2022-04-12 四川大学 基于目标向量更新模块的单幅图像复原迭代框架
CN114529519A (zh) * 2022-01-25 2022-05-24 河南大学 基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统
CN115294429A (zh) * 2021-04-17 2022-11-04 华为技术有限公司 一种基于特征域网络训练方法和装置
CN115601237A (zh) * 2022-10-12 2023-01-13 太原科技大学（Cn） 视图间差异强化的光场图像超分辨率重构网络
CN115760638A (zh) * 2022-11-30 2023-03-07 杭电(丽水)研究院有限公司 一种基于深度学习的端到端去模糊超分辨率的方法
CN115953303A (zh) * 2023-03-14 2023-04-11 山东省计算中心（国家超级计算济南中心） 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN116228616A (zh) * 2023-03-07 2023-06-06 太原科技大学 基于边界约束的可解释压缩感知图像重建方法
WO2023098688A1 (zh) * 2021-12-03 2023-06-08 华为技术有限公司 图像编解码方法和装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0546843A2 (en) * 1991-12-10 1993-06-16 Xerox Corporation Image recognition method using finite state networks
WO2020015167A1 (zh) * 2018-07-17 2020-01-23 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
WO2020037960A1 (zh) * 2018-08-21 2020-02-27 深圳大学 一种sar目标识别方法、装置、计算机设备及存储介质
WO2020056791A1 (zh) * 2018-09-21 2020-03-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN110675321A (zh) * 2019-09-26 2020-01-10 兰州理工大学 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN114331853A (zh) * 2020-09-30 2022-04-12 四川大学 基于目标向量更新模块的单幅图像复原迭代框架
CN112215755A (zh) * 2020-10-28 2021-01-12 南京信息工程大学 一种基于反投影注意力网络的图像超分辨率重建方法
CN112419150A (zh) * 2020-11-06 2021-02-26 中国科学技术大学 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
CN115294429A (zh) * 2021-04-17 2022-11-04 华为技术有限公司 一种基于特征域网络训练方法和装置
CN113256496A (zh) * 2021-06-11 2021-08-13 四川省人工智能研究院(宜宾) 一种轻量级渐进式特征融合的图像超分辨率系统及方法
WO2023098688A1 (zh) * 2021-12-03 2023-06-08 华为技术有限公司 图像编解码方法和装置
CN114529519A (zh) * 2022-01-25 2022-05-24 河南大学 基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统
CN115601237A (zh) * 2022-10-12 2023-01-13 太原科技大学（Cn） 视图间差异强化的光场图像超分辨率重构网络
CN115760638A (zh) * 2022-11-30 2023-03-07 杭电(丽水)研究院有限公司 一种基于深度学习的端到端去模糊超分辨率的方法
CN116228616A (zh) * 2023-03-07 2023-06-06 太原科技大学 基于边界约束的可解释压缩感知图像重建方法
CN115953303A (zh) * 2023-03-14 2023-04-11 山东省计算中心（国家超级计算济南中心） 结合通道注意力的多尺度图像压缩感知重构方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于解析器树的日志压缩优化方法;刘吉强，何嘉豪，张建成，黄学臻;信息网络安全(第4期);全文 *

Also Published As

Publication number Publication date
CN116452696A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN108537733B (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN111932461B (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN108921786B (zh) 基于残差卷积神经网络的图像超分辨率重构方法
CN108805814B (zh) 基于多频段深度卷积神经网络的图像超分辨重建方法
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
CN107563965A (zh) 基于卷积神经网络的jpeg压缩图像超分辨率重建方法
Luo et al. Lattice network for lightweight image restoration
CN112699844B (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN111768340B (zh) 一种基于密集多路径网络的超分辨图像重构方法和系统
CN115953303B (zh) 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN115100039B (zh) 一种基于深度学习的轻量级图像超分辨率重建方法
CN114494047B (zh) 一种基于双增强残差网络的生物图像去噪方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN111461978A (zh) 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法
CN117132472B (zh) 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN112150356A (zh) 基于级联框架的单幅压缩图像超分辨率重建方法
CN116452696B (zh) 一种基于双域特征采样的图像压缩感知重构方法及系统
CN109272450A (zh) 一种基于卷积神经网络的图像超分方法
CN110766612A (zh) 一种基于深度学习的图像超分辨率方法
CN116563110A (zh) 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法
CN108596831B (zh) 一种基于AdaBoost实例回归的超分辨率重建方法
CN116883265A (zh) 一种基于增强特征融合机制的图像去模糊方法
CN116228616A (zh) 基于边界约束的可解释压缩感知图像重建方法
CN116152060A (zh) 一种双特征融合引导的深度图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230718

Assignee: Shandong Geek Security Technology Co.,Ltd.

Assignor: SHANDONG COMPUTER SCIENCE CENTER(NATIONAL SUPERCOMPUTER CENTER IN JINAN)|Qilu University of Technology (Shandong Academy of Sciences)

Contract record no.: X2024980000068

Denomination of invention: A method and system for image compression perception reconstruction based on dual domain feature sampling

Granted publication date: 20230829

License type: Common License

Record date: 20240104