CN116468812A - 一种基于多分支和多尺度的图像压缩感知重构方法及系统 - Google Patents

一种基于多分支和多尺度的图像压缩感知重构方法及系统 Download PDF

Info

Publication number
CN116468812A
CN116468812A CN202310548454.1A CN202310548454A CN116468812A CN 116468812 A CN116468812 A CN 116468812A CN 202310548454 A CN202310548454 A CN 202310548454A CN 116468812 A CN116468812 A CN 116468812A
Authority
CN
China
Prior art keywords
image
layer
sampling
output
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310548454.1A
Other languages
English (en)
Inventor
仝丰华
向鑫鑫
赵大伟
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Qilu University of Technology
Priority to CN202310548454.1A priority Critical patent/CN116468812A/zh
Publication of CN116468812A publication Critical patent/CN116468812A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于多分支和多尺度的图像压缩感知重构方法及系统，包括：步骤1：获取并预处理训练数据集；步骤2：对图像进行多分支分块采样，获得采样值；步骤3：对采样值执行上采样、整形和拼接操作来完成初始重建；步骤4：设置一个卷积层进行特征提取；步骤5：对融合层Z使用三次卷积进行降通道并将其结果与初始重建相加形成最终重建图像。本发明提取的丰富特征信息，对重建效果起到了关键作用；多尺度特征融合残差块通过不同的卷积核获取不同层次的空间特征信息，进一步提高了图像的重建质量；局部残差的设计，提高了网络模型的稳定性，解决了网络随深度的增加所引发的梯度消失、网络退化等一系列问题。

Description

一种基于多分支和多尺度的图像压缩感知重构方法及系统
技术领域
本发明涉及图像压缩感知的技术领域，尤其涉及一种基于多分支和多尺度的图像压缩感知重构方法及系统。
背景技术
信号采样模式对压缩感知信号重构的质量有重要的影响。传统采样方法通过构造满足约束等距准则(RIP)的采样矩阵对原始信号进行矩阵乘法完成采样。基于深度学习的CS采样方法利用卷积神经网络提取相应的特征信息，将特征信息作为采样值，这种方式突破了约束等距准则，保留更多的图像结构化信息。
压缩感知的目标是从测量值中有效的恢复原始信号/>在给定测量矩阵/>和测量值y的情况下，传统的基于优化的CS重建方法通过求解以下问题来重建原始信号x：
其中，Ψ为稀疏基矩阵，λ为正则化参数，Ψx的稀疏性由δ范数表征。当δ＝0时，即稀疏性由l0表征，此时求解过程是非凸且NP难问题。当δ＝1时，即稀疏性由l1表征，此时求解过程是凸优化问题，可以很好的重构出原始信号。为了求解原始信号，研究人员提出了很多经典的方法，例如，基于贪婪规则的OMP、SAMP、ROMP和基于凸优化的基追踪算法ISTA、BP、FISTA。为了进一步提高重建质量，研究人员将图像的结构信息考虑到算法设计中，比如：TV、CoSaMP和NLR。然而，传统CS重建方法需要大规模的迭代运算，具有较高的时间复杂度，且优化参数都是预先设定的，不具有普适性，很难预先达到最佳值。
深度学习的快速发展为图像重建提供了新的方法。这些方法主要分为两类：1)可解释性的重构网络；2)将重构网络训练为黑盒。可解释性的CS重构网络是深度网络与传统优化算法相结合，它有较低的计算复杂度，较高的重构质量，以及良好的可解释性。这些算法有基于可解释优化的深度网络ISTA-Net、受优化启发的深度网络OPINE-Net、基于去噪的深度展开网络AMP-Net等。然而，它们的神经网络结构设计较为简单，不能充分发挥先验信息的表现力。将重构网络训练为黑盒是一种端到端映射，它通过优化网络结构和学习大量的样本来提高图像的重建质量。这些算法有非迭代图像重建网络ReconNet、端到端的网络CSNet+、可伸缩卷积神经网络SCSNet等。然而，它们倾向于通过增加网络深度来提高网络性能。随着网络层的增加，会带来梯度不稳定和网络退化等问题，因此，需要更多的设计技巧。
为了加快网络训练速度，提高模型稳定性，研究人员提出了基于残差网络的重建方法。这些算法有端到端多尺度残差网络MSRNet、多尺度残差重构网络MSRN、多通道深度网BCSnet等。然而，这些方法在重构过程中将关注点放在了图像某一特征的提取上，忽略了图像具有浅层、中层特征、深层特征，且不同特征在重构过程中都非常重要。
发明内容
本发明的目的在于，针对目前采样和重建方法存在的不足，提出了一种基于多分支和多尺度的图像压缩感知重构方法。
本发明还提供了一种基于多分支和多尺度的图像压缩感知重构系统。
术语解释：
1、DIV2K数据集：源自NTIRE2017和NTIRE2018超分辨率挑战赛，是图像超分辨率中最流行使用的数据集之一。该数据集由800幅训练集图片，100幅验证集图片和100幅测试集图片组成，每张图片具有2K分辨率。
2、图像浅层特征：指浅层网络提取的特征，它和输入比较近，蕴含更多的像素点的信息，主要为一些细粒度的信息，比如颜色、纹理、边缘、棱角信息。
3、图像深层特征：指深层网络提取的特征，它离输出较近，蕴含更抽象的信息，即语义信息，主要为一些粗粒度的信息。
4、图像中层特征：介于图像浅层和深层之间的特征，位于网络提取特征的中间部分。
为了克服现有技术的不足，本发明采用如下技术方案：
一种基于多分支和多尺度的图像压缩感知重构方法，包括如下步骤：
步骤1：获取并预处理训练数据集；
步骤2：对图像进行多分支分块采样，获得采样值；
步骤3：对步骤2的采样值执行上采样、整形和拼接操作来完成初始重建；
步骤4：在初始重建后设置一个卷积层进行特征提取，设置八个多尺度特征融合残差块(MSFFRB)提取不同尺度的图像特征信息，将卷积层和八个多尺度特征融合残差块的输出借助融合层进行相加；
步骤5：对融合层使用三次卷积进行降通道并将其结果与初始重建相加形成最终重建图像。
根据本发明优选的，步骤1包括如下步骤：
步骤1.1：获取训练集，同时对训练集进行预处理；
步骤1.2：对训练集预处理：随机位置将分辨率图像裁剪、随机水平和垂直翻转的分辨率图像，将分辨率图像转换成灰度图像和Tensor类型。
根据本发明优选的，步骤2包括如下步骤：
步骤2.1：采用三个分支对步骤1预处理后得到的原始图像x进行采样，三个分支分别负责提取图像浅层特征、图像中层特征、图像深层特征，三个分支均包括卷积层和池化层；
步骤2.2：每个分支在采样时均采用卷积和平均池化运算；
步骤2.3：将三个分支在步骤2.2操作的卷积和平均池化运算结果进行相加，得到最终的采样值y，即y＝y1+y2+y3+y4+y5+y6，其中，y1、y3、y5分别是三个分支的卷积结果，y2、y4、y6分别是三个分支的池化结果。
根据本发明优选的，步骤3包括如下步骤：
步骤3.1：采用卷积层完成上采样操作，具体的是指：对于每个灰度图像块，多分支分块采样的输出是1×1×nB的向量，其中，nB＝B×B×r，B代表分块大小，r代表采样率，利用卷积层将1×1×nB的向量变成1×1×B2，以完成上采样；
步骤3.2：上采样得到每个灰度图像块的初始重建向量表示后，将每个灰度图像块进行整形操作，将其变成B×B×1的块，将所有的块按照原始图像块的位置进行拼接，从而得到初始重建图像，这个过程表示为：
其中，y是1×1×nB的分块采样值，Iij(y)表示第i行第j列的块执行上采样操作得到的1×1×B2的向量，γ(·)是将1×1×B2整形成B×B×1的整形函数，κ(·)是将所有块按照位置进行拼接的拼接函数，xint是初始重建图像，h和w分别表示步骤1预处理后的图像按照行和列被分块后的图像块的数量。
根据本发明优选的，步骤4包括如下步骤：
步骤4.1：添加一个卷积层对步骤3输出的初始重建图像进行特征提取，且在卷积层后添加一个激活函数；
步骤4.2：将步骤4.1的输出作为第一个多尺度特征融合残差块的输入，第一个多尺度特征融合残差块的输出作为第二个多尺度特征融合残差块的输入，以此类推，前一个多尺度特征融合残差块的输出作为后一个多尺度特征融合残差块的输入，共设置八个多尺度特征融合残差块；
多尺度特征融合残差块包括6旁路，左边两旁路提取图像中层特征且通过Concat与下一层所有左边旁路进行连接实现信息共享，中间两旁路提取浅层特征，右边两旁路提取深层特征且通过Concat与下一层所有右边旁路进行连接实现信息共享；
步骤4.3：用Concat来连接右边两旁路的输出和左边两旁路以及中间两旁路的输出；
步骤4.4：用卷积层对步骤4.3的结果进行卷积；
步骤4.5：每个多尺度特征融合残差块的输出包括由上一层的输出和本多尺度特征融合残差块学习的残差值s，这个过程表示为：
Cn＝Cn-1+s (2)
其中，Cn-1是Cn的上一层的输出；
步骤4.6：添加融合层Z，用于将步骤4.1的输出和八个多尺度特征融合残差块的输出进行相加。
根据本发明优选的，步骤5包括如下步骤：
步骤5.1：采用三个卷积层对Z通道进行压缩，每个卷积层后都跟随ReLu函数；
步骤5.2：将步骤3.2得到的初始重建图像与步骤5.1的输出相加得到最终的重建图像，这个过程表示为：
其中，是最终输出的高质量图像，xdeep是初始重建图像xint和高质量图像/>之间的残差。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于多分支和多尺度的图像压缩感知重构方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于多分支和多尺度的图像压缩感知重构方法的步骤。
一种基于多分支和多尺度的图像压缩感知重构系统，包括：
训练数据集获取并预处理模块，被配置为：获取并预处理训练数据集；
多分支分块采样模块，被配置为：对图像进行多分支分块采样，获得采样值；
初始重建模块，被配置为：对采样值执行上采样、整形和拼接操作来完成初始重建；
特征提取模块，被配置为：在初始重建后设置一个卷积层进行特征提取，设置八个多尺度特征融合残差块提取不同尺度的图像特征信息，将卷积层和八个多尺度特征融合残差块的输出借助融合层Z进行相加；
重建图像形成模块，被配置为：对融合层Z使用三次卷积进行降通道并将其结果与初始重建相加形成最终重建图像。
以上一个或多个技术方案存在以下有益效果：
在本发明中，通过多分支采样分别提取图像的浅层、中层、深层特征，提取的丰富特征信息，对重建效果起到了关键作用；多尺度特征融合残差块通过不同的卷积核获取不同层次的空间特征信息，通过浅层、中层、深层特征的提取，进一步提高了图像的重建质量；局部残差的设计，提高了网络模型的稳定性，解决了网络随深度的增加所引发的梯度消失、网络退化等一系列问题。
附图说明
图1为一种基于多分支和多尺度的图像压缩感知重构方法流程示意图；
图2为一种基于多分支和多尺度的图像压缩感知重构方法的详细实现过程流程示意图；
图3为多分支分块采样的流程示意图；
图4为多尺度特征融合残差块的结构示意图；
图5为在Set 11测试集采样率0.2情况下的重构视觉实例图集。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
一种基于多分支和多尺度的图像压缩感知重构方法，如图1、图2所示，包括如下步骤：
步骤1：获取并预处理训练数据集；
步骤2：对图像进行多分支分块采样，获得采样值；
步骤3：对步骤2的采样值执行上采样、整形和拼接操作来完成初始重建；
步骤4：在初始重建后设置一个卷积层进行特征提取，设置八个多尺度特征融合残差块(MSFFRB)提取不同尺度的图像特征信息，将卷积层和八个多尺度特征融合残差块的输出借助融合层Z进行相加；
步骤5：对融合层Z使用三次卷积进行降通道并将其结果与初始重建相加形成最终重建图像。
实施例2
根据实施例1所述的一种基于多分支和多尺度的图像压缩感知重构方法，其区别在于：
步骤1包括如下步骤：
步骤1.1：获取DIV2K数据集公开的800张高分辨率图像作为训练集，同时对训练集进行预处理；
步骤1.2：对训练集预处理：随机位置将分辨率图像裁剪成96×96大小、随机水平和垂直翻转的分辨率图像，将分辨率图像转换成灰度图像和Tensor类型。
如图3所示，步骤2包括如下步骤：
步骤2.1：采用三个分支对步骤1预处理后得到的原始图像x进行采样，三个分支分别负责提取图像浅层特征、图像中层特征、图像深层特征，三个分支均包括卷积层和池化层；每个分支的卷积层均采用3×3的卷积核；
步骤2.2：每个分支在采样时均采用卷积和平均池化运算；卷积层的卷积核和步长均设置为块B的大小，池化层的窗口和步长均设置为块B的大小，其中，B代表分块大小。如果直接对整幅图像直接采样，将导致需要的采样矩阵比较大，占据更多的存储空间。因此，本发明采用分块的方法，即：将图像按照分块，本发明将96×96的图像划分成8×8的块，再对每个块进行单独的采样，B＝8，该过程可表示为：
y1＝W8×8*(W3×3*x)
y2＝Avg·(W3×3*x)
y3＝W8×8*(W3×3*(W3×3*x))
y4＝Avg·(W3×3*(W3×3*x))
y5＝W8×8*(W3×3*(W3×3*(W3×3*x)))
y6＝Avg·(W3×3*(W3×3*(W3×3*x)))
其中，W表示权重，下标为卷积核大小，*和·分别表示卷积和池化操作，Avg表示平均池化；
步骤2.3：将三个分支在步骤2.2操作的卷积和平均池化运算结果进行相加，得到最终的采样值y，即y＝y1+y2+y3+y4+y5+y6，其中，y1、y3、y5分别是三个分支的卷积结果，y2、y4、y6分别是三个分支的池化结果。
步骤3包括如下步骤：
步骤3.1：采用卷积层完成上采样操作，具体的是指：对于每个灰度图像块(灰度图像块是指的步骤2.2中的B)，多分支分块采样的输出是1×1×nB的向量，其中，nB＝B×B×r，B代表分块大小，r代表采样率，利用卷积层将1×1×nB的向量变成1×1×B2，以完成上采样；该卷积层的具体参数为：输入通道数：B×B×r，输出通道数：B×B，卷积核大小：1×1，步长：1，填充：0；
步骤3.2：上采样得到每个灰度图像块的初始重建向量表示后，将每个灰度图像块进行整形操作，将其变成B×B×1的块，将所有的块按照原始图像块(采样前图像块)的位置进行拼接，从而得到初始重建图像，这个过程表示为：
其中，y是1×1×nB的分块采样值，Iij(y)表示第i行第j列的块执行上采样操作得到的1×1×B2的向量，γ(·)是将1×1×B2整形成B×B×1的整形函数，κ(·)是将所有块按照位置进行拼接的拼接函数，xint是初始重建图像，h和w分别表示步骤1预处理后的图像按照行和列被分块后的图像块的数量。
步骤4包括如下步骤：
步骤4.1：添加一个卷积层对步骤3输出的初始重建图像进行特征提取，该卷积层的具体参数为：输入通道数：1，输出通道数：64，卷积核大小：3×3，步长：1，填充：1，且在卷积层后添加一个激活函数；
步骤4.2：将步骤4.1的输出作为第一个多尺度特征融合残差块(MSFFRB)的输入，第一个多尺度特征融合残差块的输出作为第二个多尺度特征融合残差块的输入，以此类推，前一个多尺度特征融合残差块的输出作为后一个多尺度特征融合残差块的输入，共设置八个多尺度特征融合残差块；
多尺度特征融合残差块包括6旁路，左边两旁路提取图像中层特征且通过Concat与下一层所有左边旁路进行连接实现信息共享，中间两旁路提取浅层特征，右边两旁路提取深层特征且通过Concat与下一层所有右边旁路进行连接实现信息共享；
如图4所示，左边两旁路的5×5卷积为例，阐述提取中间层特征的每个卷积层的具体参数，第一层卷积层的具体参数为：输入通道数：64，输出通道数：64，卷积核大小：5×5，步长：1，填充：2；且在卷积层后添加一个激活函数。Concat用于连接上层所有的输出，因此，第二层卷积层的具体参数为：输入通道数：128，输出通道数：128，卷积核大小：5×5，步长：1，填充：2；且在卷积层后添加一个激活函数。以此类推最左边的3×3卷积，其除卷积核大小为3×3，填充为1外其余参数和5×5一致；
中间的5×5卷积为例，阐述提取浅层特征的每个卷积层的具体参数，该卷积层的具体参数为：输入通道数：64，输出通道数：64，卷积核大小：5×5，步长：1，填充：2；且在卷积层后添加一个激活函数。以此类推中间的3×3卷积，其除卷积核大小为3×3，填充为1外其余参数和5×5一致；
最右边的5×5卷积为例，阐述提取深层特征的每个卷积层的具体参数，第一层卷积层的具体参数为：输入通道数：64，输出通道数：64，卷积核大小：5×5，步长：1，填充：2；且在卷积层后添加一个激活函数。Concat用于连接上层所有的输出，因此，第二层卷积层的具体参数为：输入通道数：128，输出通道数：128，卷积核大小：5×5，步长：1，填充：2；且在卷积层后添加一个激活函数。Concat用于连接上层所有的输出，第三层卷积层的具体参数为：输入通道数：256，输出通道数：256，卷积核大小：5×5，步长：1，填充：2。以此类推最右边的3×3卷积，其除卷积核大小为3×3，填充为1外其余参数和5×5一致；
由于右边两旁路用于提取深度特征，设置卷积层的层数过多导致通道数过多，因此，右边旁路比左边和中间的旁路多了一个Concat和卷积操作，其中，卷积层的具体参数为：输入通道数：512，输出通道数：128，卷积核大小：1×1，步长：1，填充：0。
步骤4.3：用Concat来连接右边两旁路的输出和左边两旁路以及中间两旁路的输出；
步骤4.4：用卷积层对步骤4.3的结果进行卷积；卷积层的具体参数为：输入通道数：512，输出通道数：64，卷积核大小：1×1，步长：1，填充：0；
步骤4.5：每个多尺度特征融合残差块的输出包括由上一层的输出和本多尺度特征融合残差块学习的残差值s，这个过程表示为：
Cn＝Cn-1+s(2)
其中，Cn-1是Cn的上一层的输出；
步骤4.6：添加融合层Z，用于将步骤4.1的输出和八个多尺度特征融合残差块的输出进行相加。以防止随着网络深度的增加，丢失部分特征信息。
步骤5包括如下步骤：
步骤5.1：采用三个卷积层对Z通道进行压缩，第一个卷积层的具体参数为：输入通道数：576，输出通道数：192，卷积核大小：1×1，步长：1，填充：0；第二个卷积层的具体参数为：输入通道数：192，输出通道数：64，卷积核大小：1×1，步长：1，填充：0；第三个卷积层的具体参数为：输入通道数：64，输出通道数：1，卷积核大小：3×3，步长：1，填充：1。其中，第一个卷积层的输入通道数576是由步骤4.1的64通道和八个64通道的多尺度特征融合残差块组成，每个卷积层后都跟随ReLu函数；
步骤5.2：将步骤3.2得到的初始重建图像与步骤5.1的输出相加得到最终的重建图像，这个过程表示为：
其中，是最终输出的高质量图像，xdeep是初始重建图像xint和高质量图像/>之间的残差。
图5为在Set11测试集采样率0.2情况下的重构视觉实例图集。
表1在不同采样率的Set5、Set11、Set14和BSD100(表格新加了Set14和BSD100的实验结果)数据集上，对不同代表性的CS算法进行了平均PSNR和SSIM比较。粗体表示最佳结果。
表1
表1中，其他先进方法包括：用于图像压缩感知的可伸缩卷积神经网络(SCSNet：Scalable Convolutional Neural Network for Image Compressed Sensing)、基于卷积神经网络的图像压缩感知(CSNet+：Image Compressed Sensing Using ConvolutionalNeural Network)、基于块的图像压缩感知的多通道深度网络(BCSnet：Multi-ChannelDeep Networks for Block-Based Image Compressive Sensing)、用去噪器实现压缩感知的深度展开网络(HQSRED-Net：Deep Unfolding for Compressed Sensing withDenoiser)。
图像重建质量的指标为峰值信噪比(PSNR)和结构相似性(SSIM)：
其中，MSE为图像的均方误差，表示为x和之间的像素值差异。
其中，μx和是图像x的均值和方差，/>和/>是/>的均值和方差，/>是图像x和图像/>的协方差，C1＝(0.01×255)2和C2＝(0.03×255)2是两个用来维持稳定的常量。
表1中的结果充分表明本发明方法图像重构任务上的优越性。
实施例3
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1或2所述的基于多分支和多尺度的图像压缩感知重构方法的步骤。
实施例4
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1或2所述的基于多分支和多尺度的图像压缩感知重构方法的步骤。
实施例5
一种基于多分支和多尺度的图像压缩感知重构系统，包括：
训练数据集获取并预处理模块，被配置为：获取并预处理训练数据集；
多分支分块采样模块，被配置为：对图像进行多分支分块采样，获得采样值；
初始重建模块，被配置为：对采样值执行上采样、整形和拼接操作来完成初始重建；
特征提取模块，被配置为：在初始重建后设置一个卷积层进行特征提取，设置八个多尺度特征融合残差块(MSFFRB)提取不同尺度的图像特征信息，将卷积层和八个多尺度特征融合残差块的输出借助融合层Z进行相加；
重建图像形成模块，被配置为：对融合层Z使用三次卷积进行降通道并将其结果与初始重建相加形成最终重建图像。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
以上结合附图所述，仅为本发明的具体实施方式及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方式做出多种变化和替换，而不背离本发明的实质内容。本发明的范围仅由所附权利要求书限定。

Claims (10)

1.一种基于多分支和多尺度的图像压缩感知重构方法，其特征在于，包括如下步骤：
步骤1：获取并预处理训练数据集；
步骤2：对图像进行多分支分块采样，获得采样值；
步骤3：对步骤2的采样值执行上采样、整形和拼接操作来完成初始重建；
步骤4：在初始重建后设置一个卷积层进行特征提取，设置八个多尺度特征融合残差块提取不同尺度的图像特征信息，将卷积层和八个多尺度特征融合残差块的输出借助融合层进行相加；
步骤5：对融合层使用三次卷积进行降通道并将其结果与初始重建相加形成最终重建图像。
2.根据权利要求1所述的一种基于多分支和多尺度的图像压缩感知重构方法，其特征在于，步骤1包括如下步骤：
步骤1.1：获取训练集，同时对训练集进行预处理；
步骤1.2：对训练集预处理：随机位置将分辨率图像裁剪、随机水平和垂直翻转的分辨率图像，将分辨率图像转换成灰度图像和Tensor类型。
3.根据权利要求1所述的一种基于多分支和多尺度的图像压缩感知重构方法，其特征在于，步骤2包括如下步骤：
步骤2.1：采用三个分支对步骤1预处理后得到的原始图像x进行采样，三个分支分别负责提取图像浅层特征、图像中层特征、图像深层特征，三个分支均包括卷积层和池化层；
步骤2.2：每个分支在采样时均采用卷积和平均池化运算；
步骤2.3：将三个分支在步骤2.2操作的卷积和平均池化运算结果进行相加，得到最终的采样值y，即y＝y1+y2+y3+y4+y5+y6，其中，y1、y3、y5分别是三个分支的卷积结果，y2、y4、y6分别是三个分支的池化结果。
4.根据权利要求1所述的一种基于多分支和多尺度的图像压缩感知重构方法，其特征在于，步骤3包括如下步骤：
步骤3.1：采用卷积层完成上采样操作，具体的是指：对于每个灰度图像块，多分支分块采样的输出是1×1×nB的向量，其中，nB＝B×B×r，B代表分块大小，r代表采样率，利用卷积层将1×1×nB的向量变成1×1×B2，以完成上采样；
步骤3.2：上采样得到每个灰度图像块的初始重建向量表示后，将每个灰度图像块进行整形操作，将其变成B×B×1的块，将所有的块按照原始图像块的位置进行拼接，从而得到初始重建图像，这个过程表示为：
其中，y是1×1×nB的分块采样值，Iij(y)表示第i行第j列的块执行上采样操作得到的1×1×B2的向量，γ(·)是将1×1×B2整形成B×B×1的整形函数，κ(·)是将所有块按照位置进行拼接的拼接函数，xint是初始重建图像，h和w分别表示步骤1预处理后的图像按照行和列被分块后的图像块的数量。
5.根据权利要求4所述的一种基于多分支和多尺度的图像压缩感知重构方法，其特征在于，B＝8。
6.根据权利要求1所述的一种基于多分支和多尺度的图像压缩感知重构方法，其特征在于，步骤4包括如下步骤：
步骤4.1：添加一个卷积层对步骤3输出的初始重建图像进行特征提取，且在卷积层后添加一个激活函数；
步骤4.2：将步骤4.1的输出作为第一个多尺度特征融合残差块的输入，第一个多尺度特征融合残差块的输出作为第二个多尺度特征融合残差块的输入，以此类推，前一个多尺度特征融合残差块的输出作为后一个多尺度特征融合残差块的输入，共设置八个多尺度特征融合残差块；
多尺度特征融合残差块包括6旁路，左边两旁路提取图像中层特征且通过Concat与下一层所有左边旁路进行连接实现信息共享，中间两旁路提取浅层特征，右边两旁路提取深层特征且通过Concat与下一层所有右边旁路进行连接实现信息共享；
步骤4.3：用Concat来连接右边两旁路的输出和左边两旁路以及中间两旁路的输出；
步骤4.4：用卷积层对步骤4.3的结果进行卷积；
步骤4.5：每个多尺度特征融合残差块的输出包括由上一层的输出和本多尺度特征融合残差块学习的残差值s，这个过程表示为：
Cn＝Cn-1+s (2)
其中，Cn-1是Cn的上一层的输出；
步骤4.6：添加融合层Z，用于将步骤4.1的输出和八个多尺度特征融合残差块的输出进行相加。
7.根据权利要求1所述的一种基于多分支和多尺度的图像压缩感知重构方法，其特征在于，步骤5包括如下步骤：
步骤5.1：采用三个卷积层对Z通道进行压缩，每个卷积层后都跟随ReLu函数；
步骤5.2：将步骤3.2得到的初始重建图像与步骤5.1的输出相加得到最终的重建图像，这个过程表示为：
其中，是最终输出的高质量图像，xdeep是初始重建图像xint和高质量图像/>之间的残差。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7任一所述的基于多分支和多尺度的图像压缩感知重构方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一所述的基于多分支和多尺度的图像压缩感知重构方法的步骤。
10.一种基于多分支和多尺度的图像压缩感知重构系统，其特征在于，包括：
训练数据集获取并预处理模块，被配置为：获取并预处理训练数据集；
多分支分块采样模块，被配置为：对图像进行多分支分块采样，获得采样值；
初始重建模块，被配置为：对采样值执行上采样、整形和拼接操作来完成初始重建；
特征提取模块，被配置为：在初始重建后设置一个卷积层进行特征提取，设置八个多尺度特征融合残差块提取不同尺度的图像特征信息，将卷积层和八个多尺度特征融合残差块的输出借助融合层Z进行相加；
重建图像形成模块，被配置为：对融合层Z使用三次卷积进行降通道并将其结果与初始重建相加形成最终重建图像。
CN202310548454.1A 2023-05-16 2023-05-16 一种基于多分支和多尺度的图像压缩感知重构方法及系统 Pending CN116468812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310548454.1A CN116468812A (zh) 2023-05-16 2023-05-16 一种基于多分支和多尺度的图像压缩感知重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310548454.1A CN116468812A (zh) 2023-05-16 2023-05-16 一种基于多分支和多尺度的图像压缩感知重构方法及系统

Publications (1)

Publication Number Publication Date
CN116468812A true CN116468812A (zh) 2023-07-21

Family

ID=87175572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310548454.1A Pending CN116468812A (zh) 2023-05-16 2023-05-16 一种基于多分支和多尺度的图像压缩感知重构方法及系统

Country Status (1)

Country Link
CN (1) CN116468812A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117272119A (zh) * 2023-11-21 2023-12-22 国网山东省电力公司营销服务中心(计量中心) 用户画像分类模型训练方法、用户画像分类方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN110084862A (zh) * 2019-04-04 2019-08-02 湖北工业大学 基于多尺度小波变换与深度学习的图像压缩感知算法
CN112330718A (zh) * 2020-11-12 2021-02-05 重庆邮电大学 一种基于cnn的三级信息融合视觉目标跟踪方法
CN112365554A (zh) * 2020-10-26 2021-02-12 天津大学 基于多尺度残差神经网络的压缩感知图像重建方法
US10970526B1 (en) * 2019-11-01 2021-04-06 Industrial Technology Research Institute Facial image reconstruction method and system
CN114764856A (zh) * 2021-01-13 2022-07-19 华为技术有限公司 图像语义分割方法和图像语义分割装置
US20220253974A1 (en) * 2020-02-07 2022-08-11 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, computer readable storage medium, and computer device
CN115358932A (zh) * 2022-10-24 2022-11-18 山东大学 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN115761484A (zh) * 2022-11-02 2023-03-07 武汉大学 一种基于遥感图像的云检测方法及装置
CN115953303A (zh) * 2023-03-14 2023-04-11 山东省计算中心（国家超级计算济南中心） 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN116071243A (zh) * 2023-03-27 2023-05-05 江西师范大学 一种基于边缘增强的红外图像超分辨率重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN110084862A (zh) * 2019-04-04 2019-08-02 湖北工业大学 基于多尺度小波变换与深度学习的图像压缩感知算法
US10970526B1 (en) * 2019-11-01 2021-04-06 Industrial Technology Research Institute Facial image reconstruction method and system
US20220253974A1 (en) * 2020-02-07 2022-08-11 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, computer readable storage medium, and computer device
CN112365554A (zh) * 2020-10-26 2021-02-12 天津大学 基于多尺度残差神经网络的压缩感知图像重建方法
CN112330718A (zh) * 2020-11-12 2021-02-05 重庆邮电大学 一种基于cnn的三级信息融合视觉目标跟踪方法
CN114764856A (zh) * 2021-01-13 2022-07-19 华为技术有限公司 图像语义分割方法和图像语义分割装置
CN115358932A (zh) * 2022-10-24 2022-11-18 山东大学 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN115761484A (zh) * 2022-11-02 2023-03-07 武汉大学 一种基于遥感图像的云检测方法及装置
CN115953303A (zh) * 2023-03-14 2023-04-11 山东省计算中心（国家超级计算济南中心） 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN116071243A (zh) * 2023-03-27 2023-05-05 江西师范大学 一种基于边缘增强的红外图像超分辨率重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117272119A (zh) * 2023-11-21 2023-12-22 国网山东省电力公司营销服务中心(计量中心) 用户画像分类模型训练方法、用户画像分类方法及系统
CN117272119B (zh) * 2023-11-21 2024-03-22 国网山东省电力公司营销服务中心(计量中心) 用户画像分类模型训练方法、用户画像分类方法及系统

Similar Documents

Publication Publication Date Title
CN111369487B (zh) 一种高光谱和多光谱图像融合方法、系统及介质
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
CN102332153B (zh) 基于核回归的图像压缩感知重构方法
CN109146787B (zh) 一种基于插值的双相机光谱成像系统的实时重建方法
CN113269818B (zh) 一种基于深度学习的地震数据纹理特征重建方法
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN111028153A (zh) 图像处理和神经网络训练方法、装置及计算机设备
CN109785279B (zh) 一种基于深度学习的图像融合重建方法
CN112949636B (zh) 一种车牌超分辨率识别方法、系统及计算机可读介质
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
CN115953303B (zh) 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN116468812A (zh) 一种基于多分支和多尺度的图像压缩感知重构方法及系统
CN113902622B (zh) 基于深度先验联合注意力的光谱超分辨率方法
CN113327218A (zh) 一种基于级联网络的高光谱与全色图像融合方法
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN114841856A (zh) 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN112241939A (zh) 一种基于多尺度和非局部的轻量去雨方法
CN114138919A (zh) 一种基于非局部注意力卷积神经网络的地震数据重建方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN115565045A (zh) 基于多尺度空谱变换的高光谱与多光谱图像融合方法
CN113160078B (zh) 雨天交通车辆图像去雨方法、装置、设备及可读存储介质
CN113705340A (zh) 一种基于雷达遥感数据的深度学习变化检测方法
CN105931184B (zh) 基于联合优化的sar图像超分辨率方法
CN110728728B (zh) 一种基于非局部正则的压缩感知网络图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination