CN114742911A - 图像压缩感知重建方法、系统、设备及介质 - Google Patents
图像压缩感知重建方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN114742911A CN114742911A CN202210462697.9A CN202210462697A CN114742911A CN 114742911 A CN114742911 A CN 114742911A CN 202210462697 A CN202210462697 A CN 202210462697A CN 114742911 A CN114742911 A CN 114742911A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- unit
- module
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000013135 deep learning Methods 0.000 claims abstract description 35
- 238000012546 transfer Methods 0.000 claims abstract description 33
- 230000006835 compression Effects 0.000 claims abstract description 30
- 238000007906 compression Methods 0.000 claims abstract description 30
- 230000015556 catabolic process Effects 0.000 claims abstract description 20
- 238000006731 degradation reaction Methods 0.000 claims abstract description 20
- 230000008447 perception Effects 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims description 95
- 238000012549 training Methods 0.000 claims description 46
- 230000004927 fusion Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims 1
- 238000005070 sampling Methods 0.000 description 17
- 238000012360 testing method Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000001131 transforming effect Effects 0.000 description 5
- 241000287531 Psittacidae Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像压缩感知重建方法、系统、设备及介质，方法包括：利用预设的第一去噪器模型，对待处理的原始图像进行退化处理，得到退化后的图像；利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果；其中，所述改进的基于深度学习的近似消息传递算法，为将基于深度学习的近似消息传递算法中的去噪器替换为预设的第二去噪器模型的算法；所述预设的第一去噪器模型和预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声去噪器网络模型；本发明利用去噪器的噪声统计分布以及去噪能力曲线对算法所用到的噪声区间进行了进一步的精细化划分，有效提升了的图像重建能力。
Description
技术领域
本发明属于数字图像处理技术领域，特别涉及一种图像压缩感知重建方法、系统、设备及介质。
背景技术
随着信息技术的不断发展，信息总量也在不断增加，庞大的信息量和更高的实时性对信号的传输和存储提出了更高的要求；图像和视频作为信息的主要载体之一，图像和视频的交互技术极大地影响了通信技术的发展；因此，高效的图像和视频压缩算法逐渐成为学术界和工业研究的热点。
压缩感知理论是一种新型的图像压缩理论，其指出当信号可稀疏表示时，就可以以远小于奈奎斯特采样定律要求的采样频率进行采样，并对原始信号进行精确恢复。由于压缩感知低采样率恢复图像的性质，其在星载卫星监控、CT图像重建以及军事领域都有广泛的应用；现有的基于压缩感知理论的图像重建方法可以分为传统的压缩感知重建算法和基于深度神经网络的压缩感知重构算法。
传统的压缩感知重建算法包括AMP、NLRCS及CoSaMP等算法，上述算法往往需要极大的算力，从欠定问题中预测重建图像；因此，传统的压缩感知重建算法往往存在计算复杂度高，重建性能不稳定等问题。
基于深度神经网络的压缩感知重构算法，包括LDAMP、ADMM-Net及OPINE-Net等算法，其利用神经网络代替传统的压缩感知重建算法中一些复杂的预测部分，在压缩感知重构性能上取得了明显的提高；但是在极低采样率下，基于压缩感知的编码重构算法相比于传统图像压缩算法存在着率失真性能低，重建效果差的问题。
发明内容
针对现有技术中存在的技术问题，本发明提供了一种图像压缩感知重建方法、系统、设备及介质，以解决在极低采样率下，基于压缩感知的编码重构算法相比于传统图像压缩算法存在着率失真性能低，重建效果差的技术问题。
为达到上述目的，本发明采用的技术方案为：
本发明提供了一种图像压缩感知重建方法，包括：
利用预设的第一去噪器模型，对待处理的原始图像进行退化处理，得到退化后的图像；
利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果；
其中，所述改进的基于深度学习的近似消息传递算法，为将基于深度学习的近似消息传递算法中的去噪器替换为预设的第二去噪器模型的算法；所述预设的第一去噪器模型和预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声去噪器网络模型。
进一步的，所述基于图像先验建模的灰度图像高斯噪声去噪网络模型包括若干级噪声模型；其中，每一级噪声模型包括第一卷积层、第一多尺度融合模块、第一监督注意力模块、第二多尺度融合模块、通道合并模块、第二监督注意力模块、第二卷积层、注意力模块、第一残差连接模块、第三卷积层及第二残差连接模块；其中，上一级噪声模型为下一级噪声模型的预处理模型，用于对下一级噪声模型进行微调训练；
第一卷积层，用于对含噪灰度图像进行卷积操作，得到初始特征图Fhea；
第一多尺度融合模块，用于对所述初始特征图Fhead进行特征提取，得到特征图Fm1；
第一监督注意力模块，用于对所述特征图Fm1进行特征校准，并改变通道数目，得到第一阶段去噪图像
第二多尺度融合模块，用于对所述特征图Fm1进行特征提取，得到特征图Fm2；
通道合并模块，用于对所述特征图Fm1及所述特征图Fm2进行通道合并处理，得到通道合并后的特征图Fm12；
第一监督注意力模块，用于对所述通道合并后的特征图Fm12进行特征校准，并改变通道数目，得到第二阶段去噪图像
第二卷积层，用于对所述通道合并后的特征图Fm12进行特征提取，得到特征图Fc2；
注意力模块，用于对所述特征图特征图Fc2，进行通道及空间注意力特征提取，得到特征图Fcsa；
第一残差连接模块，用于对所述初始特征图Fhead和所述特征图Fcsa进行求和处理，得到特征图Fres1；
第三卷积层，用于对所述特征图Fres1进行特征提取，得到特征图Fc3；
第二残差连接模块，用于对所述含噪灰度图像与所述特征图Fc3进行求和处理，得到第三阶段去噪图像
本发明还提供了一种图像压缩感知重建系统，包括
退化模块，用于利用预设的第一去噪器模型，对待处理的原始图像进行退化处理，得到退化后的图像；
重建模块，用于利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果；
其中，所述改进的基于深度学习的近似消息传递算法，为将基于深度学习的近似消息传递算法中的去噪器替换为预设的第二去噪器模型的算法；所述的预设的第一去噪器模型和预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声去噪器网络模型。
本发明还提供了一种图像压缩感知重建设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述一种图像压缩感知重建方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述一种图像压缩感知重建方法的步骤。
与现有技术相比，本发明的有益效果为：
本发明提供了一种图像压缩感知重建方法及系统，利用基于图像先验建模的灰度图像高斯噪声去噪器网络模型对待处理的原始图像进行退化处理，通过退化预处理降低了压缩感知重建过程中图像高频细节对低频信息的干扰，大幅度提升了该算法的图像重建效果；同时，利用基于图像先验建模的灰度图像高斯噪声去噪器网络模型对基于深度学习的近似消息传递算法进行改进，并利用改进后的算法进行图像压缩重建，利用去噪器的噪声统计分布以及去噪能力曲线对算法所用到的噪声区间进行了进一步的精细化划分，有效提升了的图像重建能力；深度神经网络架构具有广泛的适用性，可以用于多种低层次计算机视觉任务，如图像去噪、图像去雾，图像增强等，具有广泛的应用前景。
进一步的，所述的基于图像先验建模的灰度图像高斯噪声去噪器网络模型，以MWCNN网络为基础，分别通过设计不同的子网络获取图像的局部和局部特征并进行融合，在获取图像局部特征的子网络中，在每一层特征提取过程中加入自主设计的可变形注意力模块，完成了各种不同图像特征的综合利用；在网络中加入了通道注意力机制以及空间注意力机制，使网络更关注于特征图中有用的空间像素信息以及通道信息，抑制特征图中无用的信息。
附图说明
图1为本发明中的噪声模型的结构图；
图2为本发明中的多尺度特征融合模块的结构图；
图3为本发明中的可变形注意力模块的结构图；
图4为本发明中的自注意力模块的结构图；
图5为本发明中的监督注意力模块的结构图；
图6为实施例中改进的基于深度学习的近似消息传递算法的流程图；
图7为实施例中的测试图像；其中，图7a为测试图像Parrot，图7b为测试图像House；
图8为实施例中测试图像Parrot的压缩感知重建测试结果的对比示意图；
图9为实施例中测试图像House的压缩感知重建测试结果的对比示意图。
具体实施方式
为了使本发明所解决的技术问题，技术方案及有益效果更加清楚明白，以下具体实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种图像压缩感知重建方法，包括以下步骤：
步骤1、利用预设的第一去噪器模型，对待处理的原始图像进行退化处理，得到退化后的图像。
步骤2、利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果；具体的，当进行第t层迭代重建计算时，第t级噪声模型的散度
为：
第t层迭代重建计算的计算重建结果与真实测量值之间的偏差zt为：
第t层迭代重建计算的计算重建结果与真实测量值之间的估算标准差σt为：
第t层迭代重建计算产生尺寸为[1，N]的标准正态分布的数据b为：
b＝rand(1，N)
其中，x为待处理的原始图像，xD为退化后的图像，y为退化后的图像xD经过测量矩阵之后的测量值；M为测量值的个数；N为图像的整体像素数，xt为第t层的重建数据向量；||x||∞代表x的无穷范数，bH为b的转置，A为测量矩阵，AH为测量矩阵的转置，
代表噪声模型。
本发明中，所述改进的基于深度学习的近似消息传递算法，为将基于深度学习的近似消息传递算法中的去噪器替换为预设的第二去噪器模型的算法；所述预设的第一去噪器模型和所述预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声去噪网络模型。
所述基于图像先验建模的灰度图像高斯噪声去噪网络模型，包括若干级噪声模型；其中，其中，上一级噪声模型为下一级噪声模型的预处理模型，用于对下一级噪声模型进行微调训练；如附图1所示，所述每一级噪声模型包括第一卷积层、第一多尺度融合模块、第一监督注意力模块、第二多尺度融合模块、通道合并模块、第二监督注意力模块、第二卷积层、注意力模块、第一残差连接模块、第三卷积层及第二残差连接模块。
本发明中，所述第一卷积层，用于对含噪灰度图像进行卷积操作，得到初始特征图Fhead；第一多尺度融合模块，用于对所述初始特征图Fhead进行特征提取，得到特征图Fm1；第一监督注意力模块，用于对所述特征图Fm1进行特征校准，并改变通道数目，得到第一阶段去噪图像
第二多尺度融合模块，用于对所述特征图Fm1进行特征提取，得到特征图Fm2；通道合并模块，用于对所述特征图Fm1及所述特征图Fm2进行通道合并处理，得到通道合并后的特征图Fm12；第一监督注意力模块，用于对所述通道合并后的特征图Fm1进行特征校准，并改变通道数目，得到第二阶段去噪图像
第二卷积层，用于对所述通道合并后的特征图Fm12进行特征提取，得到特征图Fc2；注意力模块，用于对所述特征图特征图Fc2，进行通道及空间注意力特征提取，得到特征图Fcsa；第一残差连接模块，用于对所述初始特征图Fhead和所述特征图Fcsa进行求和处理，得到特征图Fres1；第三卷积层，用于对所述特征图Fres1进行特征提取，得到特征图Fc3；第二残差连接模块，用于对所述含噪灰度图像与所述特征图Fc3进行求和处理，得到第三阶段去噪图像
本发明中，对每一级噪声模型进行训练的过程，具体如下：
构建训练数据集；其中，所述训练数据集包括若干对训练数据；所述每一对训练数据包括真实数据和噪声数据，所述真实数据为从DIV2K数据集和SIDD数据集中选取的干净的灰度图像，所述噪声数据为用于在所述干净的灰度图像上添加的预设噪声等级的高斯噪声；优选的，所述每一级噪声模型的级别与待处理的原始图像的噪声等级相适应；其中，所述待处理的原始图像的噪声等级，利用高斯噪声的标准差作为分级标准，对所述待处理的原始图像的噪声区间进行划分得到。
对每个训练数据进行归一化处理，得到归一化处理后的训练数据。
将所述归一化后的训练数据作为当前噪声模型的输入，基于目标损失函数，对当前噪声模型进行训练；其中，所述目标损失函数根据所述干净的灰度图像、所述第一阶段去噪图像
所述第二阶段去噪图像
及所述第三阶段去噪图像
计算得到；
其中，所述目标损失函数为：
其中，MSE(*)为均方误差；x为干净的灰度图像；
为第一阶段去噪图像；
为第二阶段去噪图像；
为第三阶段去噪图像。
当前噪声模型训练完成后，将训练好的当前噪声模型作为下一级噪声模型的预处理模型，对下一级噪声模型进行微调训练；依此操作，完成所有噪声模型的训练。
本发明中，所述第一多尺度融合模块及所属第二多尺度融合模块，均为多尺度特征融合模块；如附图2所示，所述多尺度特征融合模块，包括Transformer支路、CNN支路、第一通道合并-卷积单元、第二通道合并-卷积单元、第三通道合并-卷积单元、第四通道合并-卷积单元及第五通道合并-卷积单元。
所述Transformer支路包括依次连接的第一卷积层单元、第一自注意力模块、第一离散小波变换单元、第二卷积层单元、第二自注意力模块、第二离散小波变换单元、第三卷积层单元、第三自注意力模块、第四卷积层单元、第一离散小波变换的逆变换单元、第四自注意力模块、第五卷积层单元、第二离散小波变换的逆变换单元、第五自注意力模块、第六卷积层单元及第一输出单元。
所述第一卷积层单元，用于对所述初始特征图Fhead进行卷积操作，得到特征图FTrans-c7；所述第一自注意力模块，用于对所述特征图FTrans-c7进行自注意力特征提取，得到特征图FTrans-sa1；所述第一离散小波变换单元，用于对所述特征图FTrans-sa1进行离散小波变换下采样处理，得到特征图FTrans-dwt3；所述第二卷积层单元，用于对所述特征图FTrans-dwt3进行卷积操作，得到特征图FTrans-c8；所述第二自注意力模块，用于对所述特征图FTrans-c8进行自注意力特征提取，得到特征图FTrans-sa2；所述第二离散小波变换单元，用于对所述特征图FTrans-sa进行离散小波变换下采样处理，得到特征图FTrans-dwt4；所述第三卷积层单元，用于对所述特征图FTrans-dwt进行卷积操作，得到到特征图FTrans-c9；所述第三自注意力模块，用于对所述特征图FTrans-c9进行自注意力特征提取，得到特征图FTrans-sa3；所述第四卷积层单元，用于对所述特征图FTrans-sa3进行卷积操作，得到到特征图FTrans-c10；所述第一离散小波变换的逆变换单元，用于对所述特征图FTrans-c10进行离散小波变换的逆变换上采样处理，得到特征图FTrans-iwt3；所述第四自注意力模块，用于对所述特征图FTrans-iwt进行自注意力特征提取，得到特征图FTrans-sa4；所述第五卷积层单元，用于对所述特征图FTrans-sa4进行卷积操作，得到特征图FTrans-c1；所述第二离散小波变换的逆变换单元，用于对所述特征图FTrans-c11进行离散小波变换的逆变换上采样处理，得到特征图FTrans-twt4；第五自注意力模块，用于对所述特征图FTrans-iwt进行自注意力特征提取，得到特征图FTrans-sa；第六卷积层单元，用于对所述特征图FTrans-sa5进行卷积操作，得到Transformer支路的输出特征图FY2；所述第一输出单元，用于对所述Transformer支路的输出特征图FY2进行输出。
本发明中，所述CNN支路，包括依次连接的第七卷积层单元、第一可变形注意力模块、第三离散小波变换单元、第八卷积层单元、第二可变形注意力模块、第四离散小波变换单元、第九卷积层单元、第三可变形注意力模块、第十卷积层单元、第三离散小波变换的逆变换单元、第四可变形注意力模块、第十一卷积层单元、第四离散小波变换的逆变换单元、第五可变形注意力模块、第十二卷积层单元及第二输出单元。
所述第七卷积层单元，用于对所述初始特征图Fhead进行卷积操作，得到特征图FCNN-；所述第一可变形注意力模块，用于对所述特征图FCNN-c1进行边缘特征以及注意力特征提取，得到特征图FCNN-dcs1；第三离散小波变换单元，用于对所述特征图FCNN-dcs1进行离散小波变换下采样，得到特征图FCNN-dwt1；第八卷积层单元，用于对所述特征图FCNN-dwt1进行卷积操作，得到特征图FCNN-；第二可变形注意力模块，用于对所述特征图FCNN-c2进行边缘特征以及注意力特征提取，得到特征图FCNN-dcs2；第四离散小波变换单元，用于所述特征图FCNN-dcs2进行离散小波变换下采样，得到特征图FCNN-dwt2；第九卷积层单元，用于对所述特征图FCNN-dwt2进行卷积操作，得到特征图FCNN-c3；第三可变形注意力模块，用于对所述特征图FCNN-c3进行边缘特征以及注意力特征提取，得到特征图FCNN-dcs3；第所述十卷积层单元，用于对所述特征图FCNN-dcs3进行卷积操作，得到特征图FCNN-c4；所述第三离散小波变换的逆变换单元，用于对所述特征图FCNN-c进行离散小波变换的逆变换上采样处理，得到特征图FCNN-iwt1；所述第四可变形注意力模块，用于对所述特征图FCNN-iwt1进行边缘特征以及注意力特征提取，得到特征图FCNN-dcs4；所述第十一卷积层单元，用于对所述特征图FCNN-dcs4进行卷积操作，得到特征图FCNN-c5；所述第四离散小波变换的逆变换单元，用于对特征图FCNN-c5进行离散小波变换的逆变换上采样处理，得到特征图FCNN-iwt；所述第五可变形注意力模块，用于对所述特征图FCNN-iwt2进行边缘特征以及注意力特征提取，得到特征图FCNN-dcs5；所述第十二卷积层单元，用于对所述特征图FCNN-dcs5进行卷积操作，得到CNN支路的输出特征图FY1；第二输出单元，用于对所述CNN支路的输出特征图FY1进行输出。
所述第一自注意力模块的输出和所述第一可变形注意力模块的输出还均与所述第一通道合并-卷积单元的输入相连，所述第一通道合并-卷积单元的输出与所述第三离散小波变换单元的输入相连；其中，所述第一通道合并-卷积单元，用于对第一自注意力模块的输出结果与第一可变形注意力模块的输出结果进行通道合并操作，并对通道合并后的结果进行卷积操作，以将所述通道合并后的结果的通道数减半，并作为所述第三离散小波变换单元的输入。
所述第二自注意力模块的输出和所述第二可变形注意力模块的输出还均与所述第二通道合并-卷积单元的输入相连，所述第二通道合并-卷积单元的输出与所述第四离散小波变换单元的输入相连；其中，所述第二通道合并-卷积单元，用于对第二自注意力模块的输出结果与第二可变形注意力模块的输出结果进行通道合并操作，并对通道合并后的结果进行卷积操作，以将所述通道合并后的结果的通道数减半，并作为所述第四离散小波变换单元的输入。
所述第三自注意力模块的输出和所述第三可变形注意力模块的输出还均与所述第三通道合并-卷积单元的输入相连，所述第三通道合并-卷积单元的输出与所述第十卷积层单元的输入相连；其中，所述第三通道合并-卷积单元，用于对第三自注意力模块的输出结果与第三可变形注意力模块的输出结果进行通道合并操作，并对通道合并后的结果进行卷积操作，以将所述通道合并后的结果的通道数减半，并作为所述第十卷积层单元的输入。
所述第四自注意力模块的输出和所述第四可变形注意力模块的输出还均与所述第四通道合并-卷积单元的输入相连，所述第四通道合并-卷积单元的输出与所述第十一卷积层单元的输入相连；其中，所述第四通道合并-卷积单元，用于对第四自注意力模块的输出结果与第四可变形注意力模块的输出结果进行通道合并操作，并对通道合并后的结果进行卷积操作，以将所述通道合并后的结果的通道数减半，并作为所述第十一卷积层单元的输入。
所述第五自注意力模块的输出和所述第五可变形注意力模块的输出还均与所述第五通道合并-卷积单元的输入相连，所述第五通道合并-卷积单元的输出与所述第十二卷积层单元的输入相连；其中，所述第五通道合并-卷积单元，用于对第五自注意力模块的输出结果与第五可变形注意力模块的输出结果进行通道合并操作，并对通道合并后的结果进行卷积操作，以将所述通道合并后的结果的通道数减半，并作为所述第十二卷积层单元的输入。
本发明中，所述第一可变形注意力模块、所述第二可变形注意力模块、所述第三可变形注意力模块、所述第四可变形注意力模块及所述第五可变形注意力模块，均采用可变形注意力模块；如附图3所示，所述可变形注意力模块，包括可变形卷积单元、第十三卷积层单元、空间注意力单元、通道注意力单元、通道合并单元、第十四卷积层单元及第三残差连接模块。
所述可变形卷积单元，用于对所述特征图FCNN-c进行边缘特征提取，得到特征图FCNN-dc；所述第十三卷积层单元，用于对所述特征图FCNN进行卷积操作，得到特征图FCNN；所述空间注意力单元，用于对所述特征图FCNN-c进行像素域权重重新分配操作，得到特征图FCNN；所述通道注意力单元，用于对所述特征图FCNN-c13进行特征通道权重重新分配操作，得到特征图FCNN-ca；所述通道合并单元，用于对所述特征图FCNN-s及所述特征图FCNN-ca进行通道间合并操作，得到特征图FCNN-c；所述第十四卷积层单元，用于对所述特征图FCNN-csa进行卷积操作，得到特征图FCNN-c14；所述第三残差连接模块，用于对所述特征图FCNN-c14以及所述特征图FCNN-c13进行残差连接操作，得到可变形注意力的输出特征FCNN-dcsa。
本发明中，所述第一自注意力模块、所述第二自注意力模块、所述第三自注意力模块、所述第四自注意力模块及所述第五自注意力模块，均采用自注意力模块；如附图4所示，所述自注意力模块，包括第十五卷积层单元、第一重构单元、第二重构单元、第三重构单元、第一矩阵内积单元、第一归一化单元、第二矩阵内积单元及第四重构单元。
所述第十五卷积层单元，用于对所述特征图FTrans-c7进行特征提取操作，得到特征图FTrans、特征图FTrans及特征图FTrans；所述第一重构单元，用于对所述特征图FTrans进行重构展开操作，将三维特征图展开为二维矩阵形式，得到特征图
所述第二重构单元，用于对所述特征图FTrans进行重构展开操作，将三维特征图展开为二维矩阵形式，得到特征图
所述第三重构单元，用于对所述特征图FTrans进行重构展开操作，将三维特征图展开为二维矩阵形式，得到特征图
所述第一矩阵内积单元，用于对所述特征图
以及所述特征图
进行矩阵内积操作，得到特征图
所述第一归一化单元，用于将所述特征图
进行归一化，得到特征图FTrans-Sig；所述第二矩阵内积单元，用于对所述特征图FTrans-Sig以及所述特征图
进行矩阵内积操作，得到特征图
所述第四重构单元，用于对所述特征图
进行重构合并操作，将二维特征图合并为三维特征矩阵形式，得到特征图FTrans-QKV；其中，所述特征图FTrans-QKV即为自注意力模块的输出特征。
本发明中，所述第一监督注意力模块及所述第二监督注意力模块的结构相同，操作过程类型；如附图5所示，以第一监督注意力模块为例；所述监督注意力模块，包括第十六卷积层单元、第十七卷积层单元、第四残差连接模块、第十八卷积层单元、第二归一化单元、矩阵点乘单元及第四残差连接单元。
所述第十六卷积层单元，用于对所述特征图Fm1进行特征提取操作，得到特征图Fc16；所述第十七卷积层单元，用于对所述特征图Fm1进行特征通道数目变换操作，得到噪声图像Fnoise；所述第四残差连接模块，用于对所述噪声图像Fnoise及原始含噪图像进行残差连接操作，得到第一阶段去噪图像
所述第十八卷积层单元，用于对所述去噪图像
进行特征通道数目变换操作，得到特征图Fc18；所述第二归一化单元，用于将所述特征图Fc18进行归一化，得到注意力特征图FSig；所述矩阵点乘单元，用于将所述特征图Fc18与所述特征图Fc1进行矩阵点乘操作，得到特征图Fdot；所述第四残差连接单元，用于将所述特征图Fm1与所述特征图Fdot进行残差连接操作，得到监督注意力模块的输出结果FSAM。
本发明中，第一卷积层、第二卷积层及第三卷积层的卷积核均为1×1；所述第一至第十六卷积层单元的卷积核均为3×3，且卷积后均使用Relu激活函数。
本发明所述的图像压缩感知重建方法，以MWCNN网络为基础，分别通过设计不同的子网络获取图像的局部和局部特征并进行融合，在获取图像局部特征的子网络中，在每一层特征提取过程中加入自主设计的可变形注意力模块，完成了各种不同图像特征的综合利用，最后在网络中加入了通道注意力机制以及空间注意力机制，使网络更关注于特征图中有用的空间像素信息以及通道信息，抑制特征图中无用的信息；将提出的深度神经网络结构应用于基于深度去噪的近似消息传递算法LDAMP，并利用去噪器的噪声统计分布以及去噪能力曲线对算法所用到的噪声区间进行了进一步的精细化划分，进一步提升了该算法的图像重建能力；本发明提出的深度神经网络架构具有广泛的适用性，可以用于多种低层次计算机视觉任务，如图像去噪、图像去雾，图像增强等，具有广泛的应用前景；将所提出的精细化噪声分布的灰度高斯去噪网络结构应用于LDAMP算法之前作为压缩感知重建前的预处理过程，通过预处理降低了压缩感知重建过程中图像高频细节对低频信息的干扰，大幅度提升了该算法的图像重建效果。
本发明还提供了一种图像压缩感知重建系统，包括退化模块及重建模块；所述退化模块，用于利用预设的第一去噪器模型，对待处理的原始图像进行退化处理，得到退化后的图像；所述重建模块，用于利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果；其中，所述改进的基于深度学习的近似消息传递算法，为将基于深度学习的近似消息传递算法中的去噪器替换为预设的第二去噪器模型的算法；所述的预设的第一去噪器模型和预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声去噪器网络模型。
本发明还提供了一种图像压缩感知重建设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现图像压缩感知重建方法的步骤。
所述处理器执行所述计算机程序时实现上述图像压缩感知重建方法的步骤，例如：利用预设的第一去噪器模型，对待处理的原始图像进行退化处理，得到退化后的图像；
利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果；
其中，所述改进的基于深度学习的近似消息传递算法，为将基于深度学习的近似消息传递算法中的去噪器替换为预设的第二去噪器模型的算法；所述预设的第一去噪器模型和预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声去噪器网络模型。
或者，所述处理器执行所述计算机程序时实现上述系统中各模块的功能，例如：退化模块，用于利用预设的第一去噪器模型，对待处理的原始图像进行退化处理，得到退化后的图像；重建模块，用于利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果；其中，所述改进的基于深度学习的近似消息传递算法，为将基于深度学习的近似消息传递算法中的去噪器替换为预设的第二去噪器模型的算法；所述的预设的第一去噪器模型和预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声去噪器网络模型。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成预设功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序在所述图像压缩感知重建设备中的执行过程。例如，所述计算机程序可以被分割成退化模块及重建模块，各模块具体功能如下：退化模块，用于利用预设的第一去噪器模型，对待处理的原始图像进行退化处理，得到退化后的图像；重建模块，用于利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果；其中，所述改进的基于深度学习的近似消息传递算法，为将基于深度学习的近似消息传递算法中的去噪器替换为预设的第二去噪器模型的算法；所述的预设的第一去噪器模型和预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声去噪器网络模型。
所述图像压缩感知重建设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像压缩感知重建设备可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，上述仅仅是图像压缩感知重建设备的示例，并不构成对图像压缩感知重建设备的限定，可以包括比上述更多的部件，或者组合某些部件，或者不同的部件，例如所述图像压缩感知重建设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器也可以是任何常规的处理器等，所述处理器是所述图像压缩感知重建设备的控制中心，利用各种接口和线路连接整个图像压缩感知重建设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述图像压缩感知重建设备的各种功能。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种图像压缩感知重建方法的步骤。
所述图像压缩感知重建系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
基于这样的理解，本发明实现上述图像压缩感知重建方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述图像压缩感知重建方法的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或预设中间形式等。
所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
实施例
本实施例提供了一种图像压缩感知重建方法，具体包括以下步骤：
步骤1、构建所述基于图像先验建模的灰度图像高斯噪声去噪网络模型；所述基于图像先验建模的灰度图像高斯噪声去噪网络模型包括若干级噪声模型；其中，每一级噪声模型包括第一卷积层、第一多尺度融合模块、第一监督注意力模块、第二多尺度融合模块、通道合并模块、第二监督注意力模块、第二卷积层、注意力模块、第一残差连接模块、第三卷积层及第二残差连接模块；其中，上一级噪声模型为下一级噪声模型的预处理模型，用于对下一级噪声模型进行微调训练。
所述每个噪声模型的工作原理，具体如下：
步骤11、设原始干净图像记为x，输入的含噪灰度图像记为xn，通过所述第一卷积层进行卷积操作，使图像尺寸不变，通道数变为64，得到初始特征图Fhead。
步骤12、将所述初始特征图作Fhead为第一多尺度融合模块的输入，进行特征提取，得到特征图Fm1；其中，所述特征提取的过程，具体如下：
步骤121、针对所述初始特征图Fhead，经过一层3×3卷积之后通道数减半，然后经过可变形注意力模块进行特征提取；其中，可变形注意力模块包括一层可变形卷积以及之后并联的空间注意单元Special Attention(SA)和通道注意力单元Channel Attention(CA)；可变形卷积的结果经过一层3×3卷积层输入到SA单元和CA单元，SA单元和CA单元的输出特征经过通道合并之后通过一层3×3卷积与SA单元和CA单元的输入特征进行残差运算，可变形注意力模块的输入输出特征尺寸保持一致。
步骤122、针对于所述初始特征图Fhead，经过另一层3×3卷积之后通道数减半，然后经过自注意力模块进行特征提取；其中，自注意力模块将输入特征经过一层3×3卷积之后的结果按通道划分为三个特征矩阵，特征矩阵通过整形之后进行点乘以及Sigmoid归一化操作得到自注意力模块的输出特征。
步骤123、将步骤121和步骤122得到的输出特征进行通道合并，并通过一层3×3卷积之后将通道数减半。
步骤124、将所述初始特征图Fhead作为过程步骤122的输入，得到的输出特征图通过离散小波变换进行下采样，特征尺寸减半，通道数变为原来的二倍，得到特征图ft1；将所述初始特征图Fhead作为步骤123的输入，得到的特征图通过离散小波变换进行下采样，特征尺寸减半，通道数变为原来的二倍，得到特征图fc1。
步骤125、特征图fc1作为步骤121的输入，特征图ft1作为步骤122的输入，重复执行两次步骤121和步骤122，特征图fc1得到最底层特征fcn，特征图ft1得到最底层特征ftn。
步骤126、针对于输入特征，经过一层3×3卷积层之后将通道数扩展为原来的二倍，然后通过离散小波变换的逆变换IWT进行上采样，图像特征尺寸变为原来的二倍，通道数变为原来的四分之一，再经过然后经过可变形注意力模块进行特征提取。
步骤127、针对于输入特征，经过一层3×3卷积层之后将通道数扩展为原来的二倍，然后通过离散小波变换的逆变换IWT进行上采样，图像特征尺寸变为原来的二倍，通道数变为原来的四分之一，再经过自注意力模块进行特征提取。
步骤128、将步骤126和步骤127得到的特征进行通道合并，并通过一层3×3卷积之后将通道数减半。
步骤129、将特征图fcn作为步骤126的输入，将特征图ftn作为步骤127的输入，重复执行两次步骤126到步骤128，特征图fcn得到原始尺寸特征fcg，特征图ftn得到原始尺寸特征ftg。
步骤1210、将特征图fcg与特征图ftg分别经过一层3×3卷积进行特征提取，通道数以及特征尺寸保持不变，再通过通道合并将两特征进行融合，得到多尺度特征融合模块的特征输出Fm1。
步骤13、特征图Fm1经过一个监督注意力模块SAM之后得到第一阶段去噪图像
步骤14、特征图Fm1经过第二个多尺度特征融合模块的输入进行特征提取获得特征图Fm2，特征图Fm1与特征图Fm2进行通道合并后经过注意力特征提取模块得到第二阶段去噪图像
步骤15、特征图Fm1与特征图Fm2进行通道合并后经过通道及空间注意力机制，与原始图像计算残差之后再通过一层1×1的卷积层将特征通道数变为1，得到最终的噪声图像，输入图像与噪声图像进行残差相减得到第三阶段去噪图像
此处用到的通道及空间注意力机制与可变形注意力模块中的CA和SA相同，以一层3×3的卷积层开始，以CA和SA的输出特征进行通道合并结束。
步骤2、噪声细致化分层，将噪声分为42层；即，42个噪声等级；其中，所述噪声细致化的过程，具体为：
以高斯噪声的标准差作为分级标准，将近似消息传递算法重建过程中所需要的噪声区间划分为42个噪声等级，每一个噪声等级对应一级所设计的噪声模型；其中，噪声等级划分与噪声标准差的对应关系，如表1所示：
表1噪声等级划分与噪声标准差的对应关系表
在噪声标准差为0～30的情况下，以噪声标准差为0开始，以区间长度为1对该范围噪声标准差进行细化，该范围工细化划分得到30个噪声区间；噪声标准差为30～40范围内按照区间长度为5划分为两个噪声区间；噪声标准差为40～100范围内按照区间长度为10划分为6个区间；噪声标准差大于100时，由于引入的高斯噪声过大，是否细化噪声区间对去噪器去噪性能影响不大，因此采用原LDAMP的划分方案；噪声区间划分可以以任意噪声标准差Sigma_L为左端点，以任意正数长度λ∈R+为步长，划分区间为[SigmaL，SigmaL+λ]。
步骤3、构造训练数据集；其中，在DIV2K数据集和SIDD数据集中选取共1120张干净的灰度图像作为真实数据集，在干净图像上添加不同等级的高斯噪声作为噪声数据集，真实图像和噪声图像对作为一组训练数据；具体过程如下：
步骤31、选取DIV2K中的800张图像以及SIDD中的320张图像，将其转换为灰度图像作为干净对比图像。
步骤32、将图像裁剪为256*256大小，裁剪之后图像数量为26K张。
步骤33、在训练过程中，针对于不同噪声等级对干净图像进行加噪，噪声均值为0，标准差为每个噪声等级对应标准差范围内的随机值，加噪图像以及对应的干净图像作为一对训练数据送入网络中进行训练。
步骤4、渐进训练每级噪声模型
根据步骤2所划分的噪声等级，采用步骤3中所述的训练数据集，对步骤1所设计的噪声模型进行迭代训练。具体训练方案如下。
步骤41、训练图像尺寸为256×256，每个训练图像送入网络前均归一化至[0,1]范围内，批处理大小选为8，初始学习率设置为0.0001，总学习epoch数设置为300，整个训练数据集迭代120次后学习率下降为原来的1/2，之后每对训练数据集迭代60次将学习率减少1/2；
步骤42、训练过程中采用所有去噪结果
与原始干净图像的均方误差(MSE)作为损失函数，损失函数具体表达式为：
步骤43、首先对噪声范围最小的模型进行训练，训练完毕后将训练好的噪声模型作为下一个噪声等级噪声模型的预处理模型，对下一个噪声模型进行微调训练，以此类推对42个噪声模型进行训练。
步骤5、图像预处理退化
在待处理的原始图像进行压缩重建之前，首先将待处理的原始图像经过一个噪声等级的去噪模型进行退化，降低图像中压缩重建过程中难以恢复的高频细节部分，从而提升整体压缩感知重建的图像质量；其中，所述噪声模型从42个噪声等级对应的噪声模型中遍历得到。
步骤6、将训练后的基于图像先验建模的灰度图像高斯噪声去噪器网络模型作为迭代重建过程中的去噪模型带入LDAMP框架中，进行整体的压缩感知迭代重建；改进之后LDAMP框架结构即改进的基于深度学习的近似消息传递算法，如附图6所示。
对比实验方案：
为验证本实施例所述的压缩感知重建方法的性能，本实施例分别完成了以下两组实验：
实验1、本实施例所提出的去噪器与LDAMP所用的去噪器以及现有的高性能去噪器之间的灰度图像高斯去噪性能对比。
实验2、本实施例所提出的去噪器带入LDAMP框架后，基于先验建模的深度学习近似消息传递算法(PLDAMP)的性能与原始LDAMP的性能对比；采用本实施例所提出的去噪器后，是否对噪声等级精细化设计对图像重建质量的性能对比；采用本实施例所提出的精细化噪声区间划分的去噪器模型对图像进行退化前后图像重建质量的性能对比。
实验条件为：Python 3.7；Windows10系统；NVIDIA GTX 1080ti GPU；CUDA9.0；Pytorch1.1，采用峰值信噪比(PSNR:Peak Singal to Noise Ratio)作为图像质量评价标准。
在实验1中，采用灰度图像高斯去噪标准测试集Set12作为测试集进行实验，对比算法有原LDAMP中采用的DnCNN，以及性能优良的深度神经网络去噪器EDSR，RCAN；对比的噪声标准差为15，25及50；其中，PMCNN为本实施例所提出的基于先验建模的深度神经网络去噪器。
在实验2中，采用两幅8比特位深的256×256大小的图像Barbara和Lena进行测试，测试图像参照附图7，测试采样率采用1％，5％及10％；对比算法采用原始LDAMP。
实验结果：
表2给出了实验一中Set12测试集在噪声标准差为15，25及50下，各个不同方法图像去噪的质量指标，具体如下：
表2不同方法图像去噪的质量指标
其中，PMCNN表示本实施例中的基于图像先验建模的深度神经网络；从上表2中可以看出，在PSNR指标下，本实施例的网络结构在各个噪声等级下都优于常见的灰度图像去噪算法，特别是在噪声标准差为50的高噪声等级下，在测试集Set12上比别的网络高0.1dB以上，比LDAMP使用的DnCNN网络高1dB左右；说明本实施例提出的基于图像先验建模的深度神经网络在灰度图像高斯去噪方面相较于别的神经网络有较大提升。
表3给出了实验2中测试图像Barbara和Lena经过本实施例所提出的基于精细化先验建模的压缩感知重建算法在不同采样率下各个中间算法的图像重建质量指标：
表3不同采样率下各个中间算法的图像重建质量指标
其中PMLDAMP为将LDAMP中的去噪器替换为本实施例所提出的基于图像先验建模的深度神经网络的重建算法，Fine-PMLDAMP为本实施例所提出的基于精细化图像先验建模的重建算法，Pre-PMLDAMP是采用本实施例所提出的精细化噪声区间划分的去噪器模型对图像进行退化后经过压缩重建之后的图像重建结果。
如附图8-9所示，图8和图9分别给出了Parrot和House在5％采样率下，PMLDAMP、Fine-PMLDAMP和Pre-PMLDAMP的重建图像，从上表3、附图8-9可以看出，本实施例所提出的基于图像先验建模的深度神经网络可以大幅度提升LDAMP算法的图像压缩感知重建性能，并且精细化噪声等级分布能够进一步提升重建算法的性能，最后添加的精细化图像特征先验的预处理过程能够进一步大幅度提升算法的重建性能。
本实施例提供的图像压缩感知重建系统、设备及计算机可读存储介质中相关部分的说明可以参见本实施例所述的一种图像压缩感知重建方法中对应部分的详细说明，在此不再赘述。
上述实施例仅仅是能够实现本发明技术方案的实施方式之一，本发明所要求保护的范围并不仅仅受本实施例的限制，还包括在本发明所公开的技术范围内，任何熟悉本技术领域的技术人员所容易想到的变化、替换及其他实施方式。
Claims (10)
1.一种图像压缩感知重建方法，其特征在于，包括：
利用预设的第一去噪器模型，对待处理的原始图像进行退化处理，得到退化后的图像；
利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果；
其中，所述改进的基于深度学习的近似消息传递算法，为将基于深度学习的近似消息传递算法中的去噪器替换为预设的第二去噪器模型的算法；所述预设的第一去噪器模型和预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声去噪器网络模型。
2.根据权利要求1所述的一种图像压缩感知重建方法，其特征在于，所述基于图像先验建模的灰度图像高斯噪声去噪网络模型包括若干级噪声模型；其中，每一级噪声模型包括第一卷积层、第一多尺度融合模块、第一监督注意力模块、第二多尺度融合模块、通道合并模块、第二监督注意力模块、第二卷积层、注意力模块、第一残差连接模块、第三卷积层及第二残差连接模块；其中，上一级噪声模型为下一级噪声模型的预处理模型，用于对下一级噪声模型进行微调训练；
第一卷积层，用于对含噪灰度图像进行卷积操作，得到初始特征图Fhea；
第一多尺度融合模块，用于对所述初始特征图Fhea进行特征提取，得到特征图Fm1；
第一监督注意力模块，用于对所述特征图Fm1进行特征校准，并改变通道数目，得到第一阶段去噪图像
第二多尺度融合模块，用于对所述特征图Fm1进行特征提取，得到特征图Fm2；
通道合并模块，用于对所述特征图Fm1及所述特征图Fm2进行通道合并处理，得到通道合并后的特征图Fm12；
第一监督注意力模块，用于对所述通道合并后的特征图Fm12进行特征校准，并改变通道数目，得到第二阶段去噪图像
第二卷积层，用于对所述通道合并后的特征图Fm12进行特征提取，得到特征图Fc2；
注意力模块，用于对所述特征图特征图Fc2，进行通道及空间注意力特征提取，得到特征图Fcsa；
第一残差连接模块，用于对所述初始特征图Fhead和所述特征图Fcsa进行求和处理，得到特征图Fres；
第三卷积层，用于对所述特征图Fews1进行特征提取，得到特征图Fc3；
第二残差连接模块，用于对所述含噪灰度图像与所述特征图Fc3进行求和处理，得到第三阶段去噪图像
3.根据权利要求2所述的一种图像压缩感知重建方法，其特征在于，对每一级噪声模型进行训练的过程，具体如下：
构建训练数据集；其中，所述训练数据集包括若干对训练数据；所述每一对训练数据包括真实数据和噪声数据，所述真实数据为从DIV2K数据集和SIDD数据集中选取的干净的灰度图像，所述噪声数据为用于在所述干净的灰度图像上添加的预设噪声等级的高斯噪声；
对每个训练数据进行归一化处理，得到归一化处理后的训练数据；
将所述归一化后的训练数据作为当前噪声模型的输入，基于目标损失函数，对当前噪声模型进行训练；其中，所述目标损失函数根据所述干净的灰度图像、所述第一阶段去噪图像
所述第二阶段去噪图像
及所述第三阶段去噪图像
计算得到；
当前噪声模型训练完成后，将训练好的当前噪声模型作为下一级噪声模型的预处理模型，对下一级噪声模型进行微调训练；依此操作，完成所有噪声模型的训练。
4.根据权利要求3所述的一种图像压缩感知重建方法，其特征在于，所述目标损失函数为：
其中，MSE(*)为均方误差；x为干净的灰度图像；
为第一阶段去噪图像；
为第二阶段去噪图像；
为第三阶段去噪图像。
5.根据权利要求2所述的一种图像压缩感知重建方法，其特征在于，所述每一级噪声模型的级别与待处理的原始图像的噪声等级相适应；其中，所述待处理的原始图像的噪声等级，利用高斯噪声的标准差作为分级标准，对所述待处理的原始图像的噪声区间进行划分得到。
6.根据权利要求2所述的一种图像压缩感知重建方法，其特征在于，所述第一多尺度融合模块及所属第二多尺度融合模块，均为多尺度特征融合模块；所述多尺度特征融合模块，包括Transformer支路、CNN支路、第一通道合并-卷积单元、第二通道合并-卷积单元、第三通道合并-卷积单元、第四通道合并-卷积单元及第五通道合并-卷积单元；
所述Transformer支路包括依次连接的第一卷积层单元、第一自注意力模块、第一离散小波变换单元、第二卷积层单元、第二自注意力模块、第二离散小波变换单元、第三卷积层单元、第三自注意力模块、第四卷积层单元、第一离散小波变换的逆变换单元、第四自注意力模块、第五卷积层单元、第二离散小波变换的逆变换单元、第五自注意力模块、第六卷积层单元及第一输出单元；
所述CNN支路，包括依次连接的第七卷积层单元、第一可变形注意力模块、第三离散小波变换单元、第八卷积层单元、第二可变形注意力模块、第四离散小波变换单元、第九卷积层单元、第三可变形注意力模块、第十卷积层单元、第三离散小波变换的逆变换单元、第四可变形注意力模块、第十一卷积层单元、第四离散小波变换的逆变换单元、第五可变形注意力模块、第十二卷积层单元及第二输出单元；
所述第一自注意力模块的输出和所述第一可变形注意力模块的输出还均与所述第一通道合并-卷积单元的输入相连，所述第一通道合并-卷积单元的输出与所述第三离散小波变换单元的输入相连；
所述第二自注意力模块的输出和所述第二可变形注意力模块的输出还均与所述第二通道合并-卷积单元的输入相连，所述第二通道合并-卷积单元的输出与所述第四离散小波变换单元的输入相连；
所述第三自注意力模块的输出和所述第三可变形注意力模块的输出还均与所述第三通道合并-卷积单元的输入相连，所述第三通道合并-卷积单元的输出与所述第十卷积层单元的输入相连；
所述第四自注意力模块的输出和所述第四可变形注意力模块的输出还均与所述第四通道合并-卷积单元的输入相连，所述第四通道合并-卷积单元的输出与所述第十一卷积层单元的输入相连；
所述第五自注意力模块的输出和所述第五可变形注意力模块的输出还均与所述第五通道合并-卷积单元的输入相连，所述第五通道合并-卷积单元的输出与所述第十二卷积层单元的输入相连。
7.根据权利要求1所述的一种图像压缩感知重建方法，其特征在于，利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果的过程，具体如下：
当进行第t层迭代重建计算时，第t级噪声模型的散度
为：
第t层迭代重建计算的计算重建结果与真实测量值之间的偏差zt为：
第t层迭代重建计算的计算重建结果与真实测量值之间的估算标准差σt为：
第t层迭代重建计算产生尺寸为[1,N]的标准正态分布的数据b为：
b＝rand(1,N)
其中，x为待处理的原始图像，xD为退化后的图像，y为退化后的图像xD经过测量矩阵之后的测量值；M为测量值的个数；N为图像的整体像素数，xt为第t层的重建数据向量；||x||∞为待处理的原始图像x的无穷范数，bH为数据b的转置，A为测量矩阵，AH为测量矩阵的转置，
代表噪声模型。
8.一种图像压缩感知重建系统，其特征在于，包括
退化模块，用于利用预设的第一去噪器模型，对待处理的原始图像进行退化处理，得到退化后的图像；
重建模块，用于利用改进的基于深度学习的近似消息传递算法，对所述退化后的图像进行压缩重建处理，得到所述的图像压缩感知重建结果；
其中，所述改进的基于深度学习的近似消息传递算法，为将基于深度学习的近似消息传递算法中的去噪器替换为预设的第二去噪器模型的算法；所述的预设的第一去噪器模型和预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声去噪器网络模型。
9.一种图像压缩感知重建设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-7任一项所述一种图像压缩感知重建方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述一种图像压缩感知重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210462697.9A CN114742911A (zh) | 2022-04-28 | 2022-04-28 | 图像压缩感知重建方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210462697.9A CN114742911A (zh) | 2022-04-28 | 2022-04-28 | 图像压缩感知重建方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114742911A true CN114742911A (zh) | 2022-07-12 |
Family
ID=82285085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210462697.9A Pending CN114742911A (zh) | 2022-04-28 | 2022-04-28 | 图像压缩感知重建方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114742911A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116228903A (zh) * | 2023-01-18 | 2023-06-06 | 北京长木谷医疗科技有限公司 | 基于csa模块及深度学习模型的高清ct图像重建方法 |
| CN116611995A (zh) * | 2023-04-06 | 2023-08-18 | 江苏大学 | 一种基于深度展开网络的手写文本图像超分辨率重建方法 |
| CN117914657A (zh) * | 2024-03-15 | 2024-04-19 | 齐鲁工业大学(山东省科学院) | 基于FFDNet的毫米波大规模MIMO系统信道估计方法 |
-
2022
- 2022-04-28 CN CN202210462697.9A patent/CN114742911A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116228903A (zh) * | 2023-01-18 | 2023-06-06 | 北京长木谷医疗科技有限公司 | 基于csa模块及深度学习模型的高清ct图像重建方法 |
| CN116228903B (zh) * | 2023-01-18 | 2024-02-09 | 北京长木谷医疗科技股份有限公司 | 基于csa模块及深度学习模型的高清ct图像重建方法 |
| CN116611995A (zh) * | 2023-04-06 | 2023-08-18 | 江苏大学 | 一种基于深度展开网络的手写文本图像超分辨率重建方法 |
| CN117914657A (zh) * | 2024-03-15 | 2024-04-19 | 齐鲁工业大学(山东省科学院) | 基于FFDNet的毫米波大规模MIMO系统信道估计方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859147B (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
| CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| CN109671026B (zh) | 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法 | |
| CN114742911A (zh) | 图像压缩感知重建方法、系统、设备及介质 | |
| CN110490816B (zh) | 一种水下异构信息数据降噪方法 | |
| CN110533614B (zh) | 一种结合频域和空域的水下图像增强方法 | |
| CN110648292A (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
| CN111986275B (zh) | 一种多模态半色调图像的逆半色调化方法 | |
| Liu et al. | True wide convolutional neural network for image denoising | |
| Thakur et al. | PReLU and edge‐aware filter‐based image denoiser using convolutional neural network | |
| US20240054605A1 (en) | Methods and systems for wavelet domain-based normalizing flow super-resolution image reconstruction | |
| CN111489305B (zh) | 基于强化学习的图像增强方法 | |
| CN112801889A (zh) | 图像去噪方法、系统、设备及存储介质 | |
| CN114862731A (zh) | 低秩先验与空谱信息引导的多-高光谱影像融合方法 | |
| CN112270646A (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
| CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
| CN110838089A (zh) | 一种基于OctBlock密集块的快速图像去噪方法 | |
| CN109003247B (zh) | 彩色图像混合噪声的去除方法 | |
| CN116977651B (zh) | 一种基于双分支和多尺度特征提取的图像去噪方法 | |
| CN113222856A (zh) | 一种逆半色调图像处理方法、终端设备及可读存储介质 | |
| CN113256519A (zh) | 图像的恢复方法、设备、存储介质及程序产品 | |
| CN111489306A (zh) | 基于强化学习的图像去噪方法 | |
| CN115272131B (zh) | 基于自适应多光谱编码的图像去摩尔纹系统及方法 | |
| CN115393452A (zh) | 一种基于非对称自编码器结构的点云几何压缩方法 | |
| CN114998107A (zh) | 一种图像盲超分辨网络模型、方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |