CN113191948A - 多分辨率特征交叉融合的图像压缩感知重构系统及其方法 - Google Patents

多分辨率特征交叉融合的图像压缩感知重构系统及其方法 Download PDF

Info

Publication number
CN113191948A
CN113191948A CN202110436038.3A CN202110436038A CN113191948A CN 113191948 A CN113191948 A CN 113191948A CN 202110436038 A CN202110436038 A CN 202110436038A CN 113191948 A CN113191948 A CN 113191948A
Authority
CN
China
Prior art keywords
unit
resolution
feature
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110436038.3A
Other languages
English (en)
Other versions
CN113191948B (zh
Inventor
熊承义
秦鹏飞
高志荣
刘川鄂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN202110436038.3A priority Critical patent/CN113191948B/zh
Publication of CN113191948A publication Critical patent/CN113191948A/zh
Application granted granted Critical
Publication of CN113191948B publication Critical patent/CN113191948B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多分辨率特征交叉融合的图像压缩感知重构系统及其方法，及图像成像与重建技术领域。本系统包括输入的图像测量值Y，设置有多分辨率初始重构模块(10)、多分辨率增强重构模块(20)，系统输出为重构的高分辨率图像XH和重构的低分辨率图像XL；本方法包括：①多分辨率初始重构；②多分辨率增强重构；③重构系统的训练。与现有技术相比，本发明可得到系统重构性能的进一步提升，同时得到多个分辨率图像的高质量重构；适用于压缩成像。

Description

多分辨率特征交叉融合的图像压缩感知重构系统及其方法
技术领域
本发明涉及图像成像与重建技术领域，尤其涉及一种多分辨率特征交叉融合的图像压缩感知重构系统及其方法；详细地说，本发明是一种基于测量矩阵与深度重构联合优化框架，利用多分辨率特征交叉融合技术提升图像恢复质量的压缩感知重构系统及其方法。
背景技术
压缩感知是一种新的信号采样理论。比较传统的香农采样，压缩感知证明了可实现对稀疏信号降维采样的准确重构，因此可大大减少采样的数据量，从而有效减少数据存储空间和数据传输带宽。压缩感知在图像成像中已得到广泛应用。图像压缩感知重构是压缩感知成像涉及的核心问题，自压缩感知理论提出至今一直是该领域关注的研究热点。近年来，随着深度学习在图像识别领域取得的成功应用，基于深度网络的压缩感知重构实现得到了极大关注和飞速发展。【参见文献：[1]Mousavi A，Patel A B，Baraniuk R G,etal.A deep learning approach to structured signal recovery[C]//IEEE.IEEECommunication，Control，and Computing.Monticello：IEEE,2016：1336-1343；[2]Shi W，Jiang F，Liu S，et al.Image compressed sensing using convolutional neuralnetwork[J].IEEE Transactions on Image Processing,2019，29：375-388；[3]Zhang Z，Liu Y，Liu J，et al.AMP-Net：Denoising based Deep Unfolding for CompressiveImage Sensing[J].IEEE Transactions on Image Processing，2021，30：1487-1500】
深度学习方法与传统方法比较，能够极大地提升压缩感知图像的重构质量，并且因为采用端对端映射，因此可以得到重构速度的极大提升。深度学习方法还可以实现压缩感知编码端的测量矩阵与重构网络的联合优化，因而可以更加有效地提升测量效率和重构性能。尽管多尺度特征提取可有益于提升深度网络的特征学习表示能力，从而有助于增强压缩感知图像的深度重构性能【参见文献：[4]Liu R,Li S and Hou C,An End-to-EndMulti-Scale Residual Reconstruction Network for Image Compressive Sensing.[C]//2019IEEE International Conference on Image Processing(ICIP).IEEE,2019:2070-2074】。但是，现有方案基本上基于单一分辨率图像内的多尺度特征增强，因此限制了深度网络的特征表达能力及系统重构性能。
发明内容
本发明的目的就在于克服上述背景技术的缺点和不足，提供一种基于多分辨率特征交叉融合的图像压缩感知重构系统及其方法；具体地说，本发明是基于深度卷积网络，采用多分辨率图像特征并行提取与交叉融合增强的策略，提升深度网络的特征学习能力，从而更好地提升重构性能的图像压缩感知重构系统及其方法，通过通道注意力机制，利用更容易准确重构的低分辨率图像的通道注意力信息辅助高分辨率图像的深度特征判别增强，从而得到原始图像的高质量重建结果。
本发明的技术思路是：
首先采用并行处理技术对输入的图像测量值进行原始图像的多分辨率初始重构，得到多个分辨率的初始重构图像；然后，利用并行的多个通路，分别对不同分辨率的初始重构图像进行深度细化重构，得到原始图像的高质量重构及其分辨率减少的高质量重构结果。为了改进深度重构图像质量，本发明采用低分辨率重构通路的深度特征的通道注意力信息，辅助高分辨率通路的深度特征的判别增强，并且对不同分辨率通路的深度特征进行交叉融合以实现信息互补增强。另外，在深度网络的训练阶段，本发明设计损失函数为多个分辨率图像的重构损失的加权和，优化参数学习。
具体地说，本发明的技术方案是：
一、多分辨率特征交叉融合的图像压缩感知重构系统(简称系统)
本系统包括输入的图像测量值Y，设置有多分辨率初始重构模块、多分辨率增强重构模块，系统输出为重构的高分辨率图像XH和重构的低分辨率图像XL；
多分辨率初始重构模块设置有并行的高分辨率初始重构单元和低分辨率初始重构单元，多分辨率增强重构模块设置有深度特征提取1单元、深度特征提取2单元、通道注意力单元、特征判别增强1单元、特征判别增强2单元、特征交叉融合单元、高分辨率残差重构单元、低分辨率深度重构单元和加法器单元；
其交互关系是：
输入的图像测量值Y、高分辨率初始重构单元、深度特征提取1单元、特征判别增强1单元、特征交叉融合单元、高分辨率残差重构单元和加法器单元依次交互；
输入的图像测量值Y、低分辨率初始重构单元、深度特征提取2单元、特征判别增强2单元、特征交叉融合单元和低分辨率深度重构单元依次交互；
深度特征提取2单元的输出同时与通道注意力单元的输入端交互，通道注意力单元的输出端同时与特征判别增强1单元的另一输入端和特征判别增强2单元的另一输入端交互；
加法器单元的输出为重构的高分辨率图像XH，低分辨率深度重构单元的输出为重构的低分辨率图像XL。
二、多分辨率特征交叉融合的图像压缩感知重构方法(简称方法)
本方法包括下列步骤：
①多分辨率初始重构
a)高分辨率初始重构单元接收输入的图像测量值Y，通过单层卷积运算，生成原始图像的高分辨率初始估计IH；
b)低分辨率初始重构单元接收输入的图像测量值Y，通过单层卷积运算，生成原始图像的低分辨率初始估计IL，比如分辨率减少为原来的1/2；
②多分辨率增强重构
i)深度特征提取
i.1)深度特征提取1单元接收输入的原始图像的高分辨率初始估计IH，通过多层卷积运算，提取IH的第一深度特征DF1；
i.2)深度特征提取2单元接收输入的原始图像的低分辨率初始估计IL，通过多层卷积运算，提取IL的第二深度特征DF2；
ii)特征判别增强
ii.1)通道注意力单元，接收输入的深度特征提取2单元提取第二深度特征DF2，通过多层卷积运算，提取第二深度特征DF2的通道重要性权值W；
ii.2)特征判别增强1单元，接收输入的深度特征提取1单元生成IH的深度特征DF1和通道注意力单元生成的通道重要性权值W，通过乘法运算，得到判别增强的第一深度特征EF1，即EF1＝W×DF1；
ii.3)特征判别增强2单元，接收输入的深度特征提取2单元生成IL的深度特征DF2和通道注意力单元生成的通道重要性权值W，通过乘法运算，得到判别增强的第二深度特征EF2，即EF2＝W×DF2；
iii)特征交叉融合
iii.1)特征交叉融合单元，接收输入的特征判别增强1单元输出的第一深度特征EF1和特征判别增强2单元输出的第二深度特征EF2，采用卷积与下采样运算，生成维数与第二深度特征EF2相同的第一深度特征EF1的下采样表示dEF1，采用卷积和上采样运算，生成维数与第一深度特征EF1相同的第二深度特征EF2的上采样表示uEF2；
iii.2)通过卷积运算，将第一深度特征EF1与第二深度特征EF2的上采样表示uEF1融合，生成第一融合特征FF1，将第二深度特征EF2与第一深度特征EF1的下采样表示dEF1融合，生成第二融合特征FF2；
iv)图像重构
iv.1)高分辨率残差重构单元接收输入的特征交叉融合单元输出的第一融合特征FF1，通过卷积运算，生成高分辨率图像的残差图像XR；
iv.2)加法器单元接收输入的高分辨率初始重构单元输出的原始图像的高分辨率初始估计IH和高分辨率残差重构单元输出的高分辨率图像的残差图像XR，通过相加运算，得到重构的高分辨率图像XH；
iv.3)低分辨率深度重构单元接收输入的特征交叉融合单元输出的第二融合特征FF2，通过卷积运算，得到重构的低分辨率图像XL；
③重构系统的训练
为了保证本系统生成高质量的最后重构，采用深度学习的网络训练方法，对系统参数进行训练优化，所用的损失函数为原始图像X及其分辨率减少的低分辨率图像LX与初始估计IH、IL和最后的增强重构图像XH、XL的均方误差的加权和，即Loss＝MSE(X，XH)+α×MSE(LX，XL)+β×MSE(X，IH)+γ×MSE(LX,IL)，MSE()表示求均方误差运算，α、β、γ为加权因子，通常设定在区间0.01～1.0。
工作机理：
本发明的实现总体分为两个阶段：
第一阶段，采用多分辨率初始重构，由已知的图像的测量值得到原始图像的高分辨率初始估计和低分辨率初始估计；
第二阶段，利用多分辨率初始重构模块输出的原始图像的高分辨率初始估计和低分辨率初始估计，以及多分辨率增强重构模块，通过多层的卷积网络的变换处理，得到原始图像及其分辨率减少图像的高质量重建。
与现有技术相比，本发明具有下列优点和积极效果：
本发明可得到系统重构性能的进一步提升，同时得到多个分辨率图像的高质量重构；适用于压缩成像。
附图说明
图1是本系统的结构方框图；
1)标记及其指代
10—多分辨率初始重构模块，
11—高分辨率初始重构单元，
12—低分辨率初始重构单元；
20—多分辨率增强重构模块，
21—深度特征提取1单元，
22—深度特征提取2单元，
23—通道注意力单元，
24—特征判别增强1单元，
25—特征判别增强2单元，
26—特征交叉融合单元，
27—高分辨率残差重构单元，
28—低分辨率深度重构单元，
29—加法器单元。
2)名称及其符号：
输入的图像测量值Y；
重构的高分辨率图像XH，重构的低分辨率图像XL；
原始图像的高分辨率初始估计IH，原始图像的低分辨率初始估计IL；
IH的深度特征DF1，IL的深度特征DF2；
通道重要性权值W；
第一深度特征EF1，第二深度特征EF2；
下采样表示dEF1，上采样表示uEF2；
第一融合特征FF1，第二融合特征FF2；
残差图像XR。
图2是本方法与同类方法的系统重构性能比较表。
具体实施方式
下面结合附图和实施例详细说明：
一、系统
1、总体
如图1，本系统包括输入的图像测量值Y，设置有多分辨率初始重构模块10、多分辨率增强重构模块20，系统输出为重构的高分辨率图像XH和重构的低分辨率图像XL；
多分辨率初始重构模块10设置有并行的高分辨率初始重构单元11和低分辨率初始重构单元12，多分辨率增强重构模块20设置有深度特征提取1单元21、深度特征提取2单元22、通道注意力单元23、特征判别增强1单元24、特征判别增强2单元25、特征交叉融合单元26、高分辨率残差重构单元27、低分辨率深度重构单元28和加法器单元29；
其交互关系是：
输入的图像测量值Y、高分辨率初始重构单元11、深度特征提取1单元21、特征判别增强1单元24、特征交叉融合单元26、高分辨率残差重构单元27和加法器单元29依次交互；
输入的图像测量值Y、低分辨率初始重构单元12、深度特征提取2单元22、特征判别增强2单元25、特征交叉融合单元26和低分辨率深度重构单元28依次交互；
深度特征提取2单元22的输出同时与通道注意力单元23的输入端交互，通道注意力单元23的输出端同时与特征判别增强1单元24的另一输入端和特征判别增强2单元25的另一输入端交互；
加法器单元29的输出为重构的高分辨率图像XH，低分辨率深度重构单元28的输出为重构的低分辨率图像XL。
2、功能模块
1)多分辨率初始重构模块10
高分辨率初始重构单元11接收输入的图像测量值Y，通过单层的卷积网络，生成原始图像的高分辨率初始估计IH；
低分辨率初始重构单元12接收输入的图像测量值Y，通过单层的卷积网络，生成原始图像的低分辨率初始估计IL。
2)多分辨率增强重构模块20
深度特征提取1单元21接收输入的原始图像的高分辨率初始估计IH，通过多层卷积网络，提取IH的深度特征DF1；
深度特征提取2单元22接收输入的原始图像的低分辨率初始估计IL，通过多层卷积网络，提取IL的深度特征DF2；
通道注意力单元23，接收输入的深度特征提取2单元22提取IL的深度特征DF2，通过多层卷积网络，提取IL的深度特征DF2的通道重要性权值W；
特征判别增强1单元24，接收输入的深度特征提取1单元21生成的深度特征DF1和通道注意力单元23生成的通道重要性权值W，通过乘法运算，得到判别增强的第一深度特征EF1；
特征判别增强2单元25，接收输入的深度特征提取2单元22生成的第二深度特征DF2和通道注意力单元23生成的通道重要性权值W，通过乘法运算，得到判别增强的第二深度特征EF2；
特征交叉融合单元26，接收输入的特征判别增强1单元24输出的第一深度特征EF1和特征判别增强2单元25输出的第二深度特征EF2，通过卷积网络，首先将第一深度特征EF1进行下采样运算使其维数与第二深度特征EF2相同，生成第一深度特征EF1的下采样表示dEF1，同时将第二深度特征EF2进行上采样运算使其维数与第一深度特征EF1相同，生成第二深度特征EF2的上采样表示uEF2，然后将第一深度特征EF1与第二深度特征EF2的上采样表示uEF2融合，生成第一融合特征FF1，将第二深度特征EF2与第一深度特征EF1的下采样表示dEF1融合，生成第二融合特征FF2；
高分辨率残差重构单元27，接收输入的特征交叉融合单元26输出的第一融合特征FF1，通过卷积网络，生成高分辨率图像的残差图像XR；
低分辨率深度重构单元28，接收输入的特征交叉融合单元26输出的第二融合特征FF2，通过卷积网络，得到原始图像分辨率减少的重构的低分辨率图像XL；
加法器单元29，接收输入的高分辨率初始重构单元11输出的原始图像的高分辨率初始估计IH和高分辨率残差重构单元27输出的高分辨率图像的残差图像XR，通过相加运算，得到重构的原始图像的高分辨率图像XH。
二、方法
步骤①
高分辨率初始重构单元11接收输入的图像测量值Y，通过单层卷积网络，生成原始图像的分辨率相同的初始估计IH，数学公式表示为：IH＝CONVihr(Y,θihr)，其中，CONVihr()表示卷积运算，θihr表示网络参数；
低分辨率初始重构单元12接收输入的图像测量值Y，通过单层卷积网络，生成原始图像的分辨率减少的初始估计IL，比如分辨率减少为原来的1/2，数学公式表示为：IL＝CONVilr(Y,θilr)，其中，CONVilr()表示卷积运算，θilr表示网络参数；
步骤②
深度特征提取1单元21接收输入的原始图像的同分辨率的初始估计IH，通过多层卷积网络，提取图像初始估计IH的深度特征DF1，数学公式表示为：DF1＝CONVdfe1(IH,θdfe)，其中，CONVdfe1()表示卷积运算，θdfe1表示网络参数；
深度特征提取2单元22接收输入的原始图像的分辨率减少的初始估计IL，通过多层卷积网络，提取图像初始估计IL的深度特征DF2，数学公式表示为：DF2＝CONVdfe2(IL,θdfe2)，其中，CONVdfe2()表示卷积运算，θdfe2表示网络参数；
通道注意力单元23接收输入的深度特征提取2单元22提取的深度特征DF2，通过多层卷积网络，提取深度特征DF2的通道重要性权值W，数学公式表示为：W＝CONVca(DF2,θca)，其中，CONVca()表示卷积运算，θca表示网络参数；
特征判别增强1单元24，接收输入的深度特征提取1单元21生成的深度特征DF1和通道注意力单元23生成的通道重要性权值W，通过乘法运算，得到判别增强的深度特征EF1，即EF1＝W×DF1；
特征判别增强2单元25，接收输入的深度特征提取2单元22生成的深度特征DF2和通道注意力单元23生成的通道重要性权值W，通过乘法运算，得到判别增强的深度特征EF2，即EF2＝W×DF2；
特征交叉融合单元26，首先接收输入的特征判别增强1单元24输出的深度特征EF1和特征判别增强2单元25输出的深度特征EF2，采用卷积与下采样运算，生成维数与深度特征EF2相同的深度特征EF1的下采样表示dEF1，数学公式表示为：dEF1＝CONVd(DF1，θd)，其中，CONVd()表示卷积运算，θd表示网络参数；采用卷积和上采样运算，生成维数与深度特征EF1相同的深度特征EF2的上采样表示uEF2，数学公式表示为：uEF2＝CONVu(DF2，θu)，其中，CONVu()表示卷积运算，θu表示网络参数；
特征交叉融合单元26，接下来通过卷积网络，将深度特征EF1与深度特征EF2的上采样表示uEF1融合，生成融合特征FF1，数学公式表示为：FF1＝CONVf1(DF1，uEF2，θf1)，其中，CONVf1()表示卷积运算，θf1表示网络参数；特征交叉融合单元26，接下来通过卷积网络，将深度特征EF2与深度特征EF1的下采样表示dEF1融合，生成融合特征FF2，数学公式表示为：FF2＝CONVf2(DF2,dEF1,θf2)，其中，CONVf2()表示卷积运算，θf2表示网络参数；
高分辨率残差重构单元27接收输入的特征交叉融合单元26输出的融合特征FF1，通过卷积网络，生成高分辨率图像的残差图像XR，数学公式表示为：XR＝CONVrr(FF1，θrr)，其中，CONVrr()表示卷积运算，θrr表示网络参数；
加法器单元29接收输入的高分辨率初始重构单元11输出的原始图像的初始估计IH和高分辨率残差重构单元27输出的高分辨率图像的残差图像XR，通过相加运算，得到重构的原始图像的高分辨率图像XH，数学公式表示：XH＝XR+IH；
低分辨率深度重构单元28接收输入的特征交叉融合单元26输出的融合特征FF2，通过卷积网络，得到重构的原始图像分辨率减少的低分辨率图像XL，数学公式表示为：XL＝CONVdr(FF2，θdr)，其中，CONVdr()表示卷积运算，θdr表示网络参数；
步骤③
为了保证本系统生成高质量的最后重构，采用深度学习的网络训练方法，对系统的网络参数进行训练优化，所用的损失函数为原始图像X及其分辨率减少的低分辨率图像LX与初始估计IH、IL和最后的增强重构图像XH、XL的均方误差的加权和，即Loss＝MSE(X，XH)+α×MSE(LX，XL)+β×MSE(X，IH)+γ×MSE(LX，IL)，MSE()表示求均方误差运算，α、β、γ为加权因子，通常设定在区间0.01～1.0。
三、实验评估
为了证明本发明实施例的有效性，发明人在pytorch深度学习框架下进行了实验评估。实验平台配置2张Nvidia GeForce GTX 1080Ti显卡；测试系统重构性能用平均PSNR和SSIM指标度量图像重构质量；训练方法选用Adam法，相关参数设置为β1＝0.9,β2＝0.999和ε＝10-8；学习率为0.002，Batch size大小为64；α＝β＝γ＝1。
图2给出了本发明方法与同类方法的在Set5和Set14测试数据集对应不同采样率的重构性能比较。
由此可见：本发明得到了重构图像质量的进一步提升。
本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (3)

1.一种多分辨率特征交叉融合的图像压缩感知重构系统，其特征在于：
包括输入的图像测量值Y，设置有多分辨率初始重构模块(10)、多分辨率增强重构模块(20)，系统输出为重构的高分辨率图像XH和重构的低分辨率图像XL；
多分辨率初始重构模块(10)设置有并行的高分辨率初始重构单元(11)和低分辨率初始重构单元(12)，多分辨率增强重构模块(20)设置有深度特征提取1单元(21)、深度特征提取2单元(22)、通道注意力单元(23)、特征判别增强1单元(24)、特征判别增强2单元(25)、特征交叉融合单元(26)、高分辨率残差重构单元(27)、低分辨率深度重构单元(28)和加法器单元(29)；
其交互关系是：
输入的图像测量值Y、高分辨率初始重构单元(11)、深度特征提取1单元(21)、特征判别增强1单元(24)、特征交叉融合单元(26)、高分辨率残差重构单元(27)和加法器单元(29)依次交互；
输入的图像测量值Y、低分辨率初始重构单元(12)、深度特征提取2单元(22)、特征判别增强2单元(25)、特征交叉融合单元(26)和低分辨率深度重构单元(28)依次交互；
深度特征提取2单元(22)的输出同时与通道注意力单元(23)的输入端交互，通道注意力单元(23)的输出端同时与特征判别增强1单元(24)的另一输入端和特征判别增强2单元(25)的另一输入端交互；
加法器单元(29)的输出为重构的高分辨率图像XH，低分辨率深度重构单元(28)的输出为重构的低分辨率图像XL。
2.按权利要求1所述的图像压缩感知重构系统，其特征在于：
所述的高分辨率初始重构单元(11)接收输入的图像测量值Y，通过单层的卷积网络，生成原始图像的高分辨率初始估计IH；
所述的低分辨率初始重构单元(12)接收输入的图像测量值Y，通过单层的卷积网络，生成原始图像的低分辨率初始估计IL；
所述的深度特征提取1单元(21)接收输入的原始图像的高分辨率初始估计IH，通过多层卷积网络，提取IH的深度特征DF1；
所述的深度特征提取2单元(22)接收输入的原始图像的低分辨率初始估计IL，通过多层卷积网络，提取IL的深度特征DF2；
所述的通道注意力单元(23)，接收输入的深度特征提取2单元(22)提取IL的深度特征DF2，通过多层卷积网络，提取IL的深度特征DF2的通道重要性权值W；
所述的特征判别增强1单元(24)，接收输入的深度特征提取1单元(21)生成的深度特征DF1和通道注意力单元(23)生成的通道重要性权值W，通过乘法运算，得到判别增强的第一深度特征EF1；
所述的特征判别增强2单元(25)，接收输入的深度特征提取2单元(22)生成的第二深度特征DF2和通道注意力单元(23)生成的通道重要性权值W，通过乘法运算，得到判别增强的第二深度特征EF2；
所述的特征交叉融合单元(26)，接收输入的特征判别增强1单元(24)输出的第一深度特征EF1和特征判别增强2单元(25)输出的第二深度特征EF2，通过卷积网络，首先将第一深度特征EF1进行下采样运算使其维数与第二深度特征EF2相同，生成第一深度特征EF1的下采样表示dEF1，同时将第二深度特征EF2进行上采样运算使其维数与第一深度特征EF1相同，生成第二深度特征EF2的上采样表示uEF2，然后将第一深度特征EF1与第二深度特征EF2的上采样表示uEF2融合，生成第一融合特征FF1，将第二深度特征EF2与第一深度特征EF1的下采样表示dEF1融合，生成第二融合特征FF2；
所述的高分辨率残差重构单元(27)，接收输入的特征交叉融合单元(26)输出的第一融合特征FF1，通过卷积网络，生成高分辨率图像的残差图像XR；
所述的低分辨率深度重构单元(28)，接收输入的特征交叉融合单元(26)输出的第二融合特征FF2，通过卷积网络，得到原始图像分辨率减少的重构的低分辨率图像XL；
所述的加法器单元(29)，接收输入的高分辨率初始重构单元(11)输出的原始图像的高分辨率初始估计IH和高分辨率残差重构单元(27)输出的高分辨率图像的残差图像XR，通过相加运算，得到重构的原始图像的高分辨率图像XH。
3.基于权利要求1或2所述系统的多分辨率特征交叉融合的图像压缩感知重构方法，其特征在于：
①多分辨率初始重构
a)高分辨率初始重构单元(11)接收输入的图像测量值Y，通过单层卷积运算，生成原始图像的高分辨率初始估计IH；
b)低分辨率初始重构单元(12)接收输入的图像测量值Y，通过单层卷积运算，生成原始图像的低分辨率初始估计IL，比如分辨率减少为原来的1/2；
②多分辨率增强重构
i)深度特征提取
i.1)深度特征提取1单元(21)接收输入的原始图像的高分辨率初始估计IH，通过多层卷积运算，提取IH的第一深度特征DF1；
i.2)深度特征提取2单元(22)接收输入的原始图像的低分辨率初始估计IL，通过多层卷积运算，提取IL的第二深度特征DF2；
ii)特征判别增强
ii.1)通道注意力单元(23)，接收输入的深度特征提取2单元(22)提取第二深度特征DF2，通过多层卷积运算，提取第二深度特征DF2的通道重要性权值W；
ii.2)特征判别增强1单元(24)，接收输入的深度特征提取1单元(21)生成IH的深度特征DF1和通道注意力单元(23)生成的通道重要性权值W，通过乘法运算，得到判别增强的第一深度特征EF1，即EF1＝W×DF1；
ii.3)特征判别增强2单元(25)，接收输入的深度特征提取2单元(22)生成IL的深度特征DF2和通道注意力单元(23)生成的通道重要性权值W，通过乘法运算，得到判别增强的第二深度特征EF2，即EF2＝W×DF2；
iii)特征交叉融合
iii.1)特征交叉融合单元(26)，接收输入的特征判别增强1单元(24)输出的第一深度特征EF1和特征判别增强2单元(25)输出的第二深度特征EF2，采用卷积与下采样运算，生成维数与第二深度特征EF2相同的第一深度特征EF1的下采样表示dEF1，采用卷积和上采样运算，生成维数与第一深度特征EF1相同的第二深度特征EF2的上采样表示uEF2；
iii.2)通过卷积运算，将第一深度特征EF1与第二深度特征EF2的上采样表示uEF1融合，生成第一融合特征FF1，将第二深度特征EF2与第一深度特征EF1的下采样表示dEF1融合，生成第二融合特征FF2；
iv)图像重构
iv.1)高分辨率残差重构单元(27)接收输入的特征交叉融合单元(26)输出的第一融合特征FF1，通过卷积运算，生成高分辨率图像的残差图像XR；
iv.2)加法器单元(29)接收输入的高分辨率初始重构单元(11)输出的原始图像的高分辨率初始估计IH和高分辨率残差重构单元(27)输出的高分辨率图像的残差图像XR，通过相加运算，得到重构的高分辨率图像XH；
iv.3)低分辨率深度重构单元(28)接收输入的特征交叉融合单元(26)输出的第二融合特征FF2，通过卷积运算，得到重构的低分辨率图像XL；
③重构系统的训练
为了保证本系统生成高质量的最后重构，采用深度学习的网络训练方法，对系统参数进行训练优化，所用的损失函数为原始图像X及其分辨率减少的低分辨率图像LX与初始估计IH、IL和最后的增强重构图像XH、XL的均方误差的加权和，即Loss＝MSE(X，XH)+α×MSE(LX，XL)+β×MSE(X，IH)+γ×MSE(LX,IL)，MSE()表示求均方误差运算，α、β、γ为加权因子，通常设定在区间0.01～1.0。
CN202110436038.3A 2021-04-22 2021-04-22 多分辨率特征交叉融合的图像压缩感知重构系统及其方法 Expired - Fee Related CN113191948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110436038.3A CN113191948B (zh) 2021-04-22 2021-04-22 多分辨率特征交叉融合的图像压缩感知重构系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436038.3A CN113191948B (zh) 2021-04-22 2021-04-22 多分辨率特征交叉融合的图像压缩感知重构系统及其方法

Publications (2)

Publication Number Publication Date
CN113191948A true CN113191948A (zh) 2021-07-30
CN113191948B CN113191948B (zh) 2022-05-03

Family

ID=76978644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436038.3A Expired - Fee Related CN113191948B (zh) 2021-04-22 2021-04-22 多分辨率特征交叉融合的图像压缩感知重构系统及其方法

Country Status (1)

Country Link
CN (1) CN113191948B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359419A (zh) * 2021-11-02 2022-04-15 上海大学 一种基于注意力机制的图像压缩感知重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780399A (zh) * 2017-01-10 2017-05-31 南开大学 基于多尺度组稀疏的压缩感知图像重构方法
CN109978785A (zh) * 2019-03-22 2019-07-05 中南民族大学 多级递归特征融合的图像超分辨率重构系统及其方法
CN111798377A (zh) * 2020-07-08 2020-10-20 广东工业大学 基于多分辨率学习策略的磁共振图像超分辨率重建方法
CN111986085A (zh) * 2020-07-31 2020-11-24 南京航空航天大学 一种基于深度反馈注意力网络系统的图像超分辨率方法
CN112070702A (zh) * 2020-09-14 2020-12-11 中南民族大学 多尺度残差特征判别增强的图像超分辨率重构系统及方法
CN112200725A (zh) * 2020-10-26 2021-01-08 深圳大学 一种超分辨率重建方法、装置、存储介质及电子设备
CN112381746A (zh) * 2020-11-16 2021-02-19 中南民族大学 学习采样与分组的图像压缩感知重构系统及其方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780399A (zh) * 2017-01-10 2017-05-31 南开大学 基于多尺度组稀疏的压缩感知图像重构方法
CN109978785A (zh) * 2019-03-22 2019-07-05 中南民族大学 多级递归特征融合的图像超分辨率重构系统及其方法
CN111798377A (zh) * 2020-07-08 2020-10-20 广东工业大学 基于多分辨率学习策略的磁共振图像超分辨率重建方法
CN111986085A (zh) * 2020-07-31 2020-11-24 南京航空航天大学 一种基于深度反馈注意力网络系统的图像超分辨率方法
CN112070702A (zh) * 2020-09-14 2020-12-11 中南民族大学 多尺度残差特征判别增强的图像超分辨率重构系统及方法
CN112200725A (zh) * 2020-10-26 2021-01-08 深圳大学 一种超分辨率重建方法、装置、存储介质及电子设备
CN112381746A (zh) * 2020-11-16 2021-02-19 中南民族大学 学习采样与分组的图像压缩感知重构系统及其方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YULUN ZHANG ET AL: "Residual Dense Network for Image Super-Resolution", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
杨学峰 等: "一种多尺度压缩感知的遥感图像超分辨重建方法", 《应用科技》 *
熊承义、秦鹏飞 等: "基于双路信息互补增强的压缩感知深度重构", 《中南民族大学学报（自然科学版）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359419A (zh) * 2021-11-02 2022-04-15 上海大学 一种基于注意力机制的图像压缩感知重建方法
CN114359419B (zh) * 2021-11-02 2024-05-17 上海大学 一种基于注意力机制的图像压缩感知重建方法

Also Published As

Publication number Publication date
CN113191948B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN107240066A (zh) 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN111161150A (zh) 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111311490A (zh) 基于多帧融合光流的视频超分辨率重建方法
CN111681166A (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN112070702B (zh) 多尺度残差特征判别增强的图像超分辨率重构系统及方法
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN114049261B (zh) 一种关注前景信息的图像超分辨率重建方法
CN112699844B (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN111340744A (zh) 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN110889895A (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN112767243B (zh) 一种高光谱图像超分辨率的实现方法及系统
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN111861884A (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN113191948B (zh) 多分辨率特征交叉融合的图像压缩感知重构系统及其方法
CN114463183A (zh) 基于频域和空域的图像超分辨率方法
CN113902620A (zh) 一种基于可变形卷积网络的视频超分辨率系统及方法
CN109118428B (zh) 一种基于特征增强的图像超分辨率重建方法
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
CN112734645B (zh) 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法
CN109272450B (zh) 一种基于卷积神经网络的图像超分方法
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
CN112862675A (zh) 时空超分辨率的视频增强方法和系统
CN112381746B (zh) 学习采样与分组的图像压缩感知重构系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220503