CN115170916A - 一种多尺度特征融合的图像重建方法及系统 - Google Patents

一种多尺度特征融合的图像重建方法及系统 Download PDF

Info

Publication number
CN115170916A
CN115170916A CN202211081419.5A CN202211081419A CN115170916A CN 115170916 A CN115170916 A CN 115170916A CN 202211081419 A CN202211081419 A CN 202211081419A CN 115170916 A CN115170916 A CN 115170916A
Authority
CN
China
Prior art keywords
feature
features
image
dense
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211081419.5A
Other languages
English (en)
Other versions
CN115170916B (zh
Inventor
付章杰
何卓豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202211081419.5A priority Critical patent/CN115170916B/zh
Publication of CN115170916A publication Critical patent/CN115170916A/zh
Application granted granted Critical
Publication of CN115170916B publication Critical patent/CN115170916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了图像重建领域的一种多尺度特征融合的图像重建方法及系统，包括：对原图像进行压缩测量得到测量向量；根据测量向量生成初始重建图像；采用多个残差模块对初始重建图像依次进行特征提取，获得残差特征集合；将残差特征En输入至多种尺度卷积核的密集模块提取密集特征T1；采用注意力模块将密集特征T1和残差特征En‑1进行局部特征融合形成密集特征T2；重复迭代直至全局的残差特征融合完成，获得全局融合特征；计算全局融合特征的残差后与初始重建图像相加得到最终重建图像；本发明提升了图像重建质量并减少网络的计算量。

Description

一种多尺度特征融合的图像重建方法及系统
技术领域
本发明属于图像重建领域，具体涉及图像压缩感知重建方法及系统。
背景技术
图像压缩感知重建技术是一种将图像压缩然后再恢复的方法。在信息传输中，压缩对于传输有着至关重要的重用，相较于奈奎斯特采样，压缩感知对采样条件要求更低，它的特殊采样方式打破了奈奎斯特采样定律的限制，拥有更高的计算效率。近年来，在压缩与解压缩运算量激增的大数据时代背景下，压缩感知受到学术界与业界的广泛关注。传统的图像压缩感知重建算法中，在较低采样率下的图像恢复质量较差，重建图像如何得到更好重建精度，并减少空间占用，成为相关安全部门的迫切需求。
近年来，随着基于深度学习的图像压缩感知重建技术的算法出现，通过卷积网络、残差网络或注意力网络来提升图像的重建质量，这在恢复图像中的纹理复杂区域提供了极大的帮助。但是现有的算法为了尽可能的提高图像的重建精度，提升网络深度导致模型训练时间偏长。而且大多数网络在特征融合阶段对局部特征的学习效率低下，对纹理复杂区域的学习效果不明显。
发明内容
本发明的目的在于提供一种多尺度特征融合的图像重建方法及系统，提升图像重建质量并减少网络的计算量。
为达到上述目的，本发明所采用的技术方案是：
本发明第一方面提供了一种多尺度特征融合的图像重建方法，包括：
对原图像进行压缩测量得到测量向量；根据测量向量生成初始重建图像；
采用多个残差模块对初始重建图像依次进行特征提取，获得残差特征集合E={E1，E2，…，En}；将残差特征En输入至多种尺度卷积核的密集模块提取密集特征T1；
采用注意力模块将密集特征T1和残差特征En-1进行局部特征融合形成密集特征T2；重复迭代直至全局的残差特征融合完成，获得全局融合特征；
计算全局融合特征的残差后与初始重建图像相加得到最终重建图像。
优选的，对原图像进行压缩测量得到测量向量的方法包括：
将原图像转为灰度图后进行区块处理获得图像块，将图像块进行旋转和翻转后构建图像块数据集；
对图像块数据集中的图像块进行采样后，通过测量矩阵对图像块行压缩测量得到测量向量，表达公式为：
Figure 226543DEST_PATH_IMAGE001
公式中，𝚽表示为测量矩阵；
Figure 826151DEST_PATH_IMAGE002
表示为第i个图像块；
Figure 230588DEST_PATH_IMAGE003
表示为第i个图像块对应的测量向量。
优选的，根据测量向量生成初始重建图像的方法包括：
将测量向量转化为初始重建图像块的表达公式为：
Figure 17278DEST_PATH_IMAGE004
公式中，
Figure 532573DEST_PATH_IMAGE005
表示由全连接层组成的线性映射关系函数，
Figure 471842DEST_PATH_IMAGE006
表示为第i个图像块的权重；
Figure 47179DEST_PATH_IMAGE007
表示为第i个初始重建图像块；
将各初始重建图像块进行叠加生成初始重建图像。
优选的，采用多个残差模块对初始重建图像依次进行特征提取，获得残差特征集合的方法包括：
将初始重建图像输入至残差模块，对初始重建图像分别进行3×3卷积和5×5卷积后进行相互连接，获得叠加特征；将叠加特征进7×7卷积获得残差特征E1；
重新采用残差模块对残差特征E1进行特征提取获得残差特征E2，采用残差模块对残差特征E2进行特征提取获得残差特征E3；构建残差特征集合E={E1，E2，E3}。
优选的，将残差特征En输入至多种尺度卷积核的密集模块提取密集特征的方法包括：
通过DensNet分别对残差特征En进行3×3卷积后，使用1×1卷积降维获得初始密集特征P1；通过另一DensNet分别对残差特征En进行5×5卷积后，使用1×1卷积降维获得初始密集特征P2；将初始密集特征P1与初始密集特征P2连接后依次进行1×1卷积和ReLU函数处理后获得密集特征。
优选的，采用注意力模块将密集特征T1和残差特征En-1进行局部特征融合形成密集特征T2的方法包括：
通过空间注意力对残差特征En-1进行重要性加权生成残差融合特征；通过通道注意力对密集特征T1进行重要性加权生成密集融合特征；将残差融合特征和密集融合特征执行Concat连接后依次进行1×1卷积和ReLU函数处理后获得密集特征T2。
优选的，通过通道注意力对密集特征进行重要性加权生成密集融合特征的方法包括：
将第k次生成的密集特征
Figure 321166DEST_PATH_IMAGE008
重塑为密集特征
Figure 640152DEST_PATH_IMAGE009
，
Figure 683194DEST_PATH_IMAGE010
；C表示为密集特征
Figure 429433DEST_PATH_IMAGE011
的通达数量；H表示为密集特征
Figure 190716DEST_PATH_IMAGE011
的高度；W表示为密集特征
Figure 500343DEST_PATH_IMAGE011
的宽度；
计算密集特征
Figure 460209DEST_PATH_IMAGE012
在各通道之间的影响程度，计算公式为：
Figure 315033DEST_PATH_IMAGE013
公式中，
Figure 625928DEST_PATH_IMAGE014
表示为第a个通道的密集特征
Figure 224400DEST_PATH_IMAGE012
对第b个通道的密集特征
Figure 38772DEST_PATH_IMAGE012
的影响程度；
Figure 330076DEST_PATH_IMAGE015
表示为第a个通道的密集特征
Figure 819613DEST_PATH_IMAGE012
；
Figure 18513DEST_PATH_IMAGE016
表示为第b个通道的密集特征
Figure 890654DEST_PATH_IMAGE012
；
根据密集特征和影响程度计算得到尺寸为
Figure 415177DEST_PATH_IMAGE017
的密集融合特征，计算公式为：
Figure 107189DEST_PATH_IMAGE018
公式中，
Figure 375359DEST_PATH_IMAGE019
表示为第b个通道的密集融合特征；
Figure 102007DEST_PATH_IMAGE020
表示为设定的比例参数；
Figure 531851DEST_PATH_IMAGE021
表示为第b个通道的密集特征
Figure 226007DEST_PATH_IMAGE011
。
优选的，通过空间注意力对残差特征进行重要性加权生成残差融合特征的方法包括：
将第t次生成的残差特征
Figure 32289DEST_PATH_IMAGE022
输入至卷积函数生成映射特征
Figure 613443DEST_PATH_IMAGE023
、映射特征
Figure 479767DEST_PATH_IMAGE024
和映射特征
Figure 146372DEST_PATH_IMAGE025
；将映射特征
Figure 225187DEST_PATH_IMAGE026
、映射特征
Figure 677159DEST_PATH_IMAGE027
和映射特征
Figure 448806DEST_PATH_IMAGE028
分别重塑为映射特征
Figure 868286DEST_PATH_IMAGE029
、映射特征
Figure 16370DEST_PATH_IMAGE030
和映射特征
Figure 572117DEST_PATH_IMAGE031
；
将映射特征
Figure 514665DEST_PATH_IMAGE032
和映射特征
Figure 155862DEST_PATH_IMAGE033
进行矩阵计算，表示公式为：
Figure 107637DEST_PATH_IMAGE034
公式中，
Figure 767157DEST_PATH_IMAGE035
表示为第c个位置的特征
Figure 146186DEST_PATH_IMAGE036
对第d个位置的特征
Figure 274679DEST_PATH_IMAGE037
的影响程度；
Figure 764566DEST_PATH_IMAGE038
表示为第c个位置的映射特征
Figure 294905DEST_PATH_IMAGE036
；
Figure 844835DEST_PATH_IMAGE039
表示为第d个位置的映射特征
Figure 195045DEST_PATH_IMAGE037
；
根据影响程度
Figure 488623DEST_PATH_IMAGE035
和映射特征
Figure 670206DEST_PATH_IMAGE028
计算得到尺寸为
Figure 342102DEST_PATH_IMAGE017
的残差融合特征，计算公式为：
Figure 445187DEST_PATH_IMAGE040
公式中，
Figure 276877DEST_PATH_IMAGE041
表示为第b个通道的残差融合特征；
Figure 516228DEST_PATH_IMAGE042
表示为第c个位置的映射特征
Figure 407961DEST_PATH_IMAGE043
，
Figure 732763DEST_PATH_IMAGE044
表示为第d个位置的残差特征
Figure 368144DEST_PATH_IMAGE022
；
Figure 524319DEST_PATH_IMAGE045
表示为设定的比例参数。
本发明第二方面提供了一种多尺度特征融合的图像重建系统，包括：
图像重建模块，用于对原图像进行压缩测量得到测量向量；根据测量向量生成初始重建图像；
特征提取模块，用于采用多个残差模块对初始重建图像依次进行特征提取，获得残差特征集合E={E1，E2，…，En}；将残差特征En输入至多种尺度卷积核的密集模块提取密集特征T1；
特征融合模块，用于采用注意力模块将密集特征T1和残差特征En-1进行局部特征融合形成密集特征T2；重复迭代直至全局的残差特征融合完成，获得全局融合特征；
图像生成模块，用于计算全局融合特征的残差后与初始重建图像相加得到最终重建图像。
本发明第三方面提供了计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现所述图像重建方法的步骤。
与现有技术相比，本发明的有益效果：
本发明中采用多个残差模块对初始重建图像依次进行特征提取，获得残差特征集合E={E1，E2，…，En}；将残差特征En输入至多种尺度卷积核的密集模块提取密集特征T1；采用注意力模块将密集特征T1和残差特征En-1进行局部特征融合形成密集特征T2；重复迭代直至全局的残差特征融合完成，获得全局融合特征，更高效的融合所有局部特征，实现局部与全局依赖性的集成；计算全局融合特征的残差后与初始重建图像相加得到最终重建图像；本发明提升图像重建质量并减少网络的计算量。
附图说明
图1是本发明实施例提供的一种多尺度特征融合的图像重建方法的概括流程图；
图2是本发明实施例提供的一种多尺度特征融合的图像重建方法的具体流程图；
图3是本发明实施例提供的一种多尺度特征融合的图像重建系统的结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1至图3所示，一种多尺度特征融合的图像重建方法，包括：
对原图像进行压缩测量得到测量向量的方法包括：
将原图像转为灰度图后进行区块处理获得图像块，将图像块进行旋转和翻转后构建图像块数据集；
对图像块数据集中的图像块进行采样后，通过测量矩阵对图像块行压缩测量得到测量向量，表达公式为：
Figure 773903DEST_PATH_IMAGE001
公式中，𝚽表示为测量矩阵；
Figure 648318DEST_PATH_IMAGE002
表示为第i个图像块；
Figure 759494DEST_PATH_IMAGE003
表示为第i个图像块对应的测量向量。
根据测量向量生成初始重建图像的方法包括：
将测量向量转化为初始重建图像块的表达公式为：
Figure 239017DEST_PATH_IMAGE004
公式中，
Figure 472552DEST_PATH_IMAGE005
表示由全连接层组成的线性映射关系函数，
Figure 771946DEST_PATH_IMAGE006
表示为第i个图像块的权重；
Figure 749130DEST_PATH_IMAGE007
表示为第i个初始重建图像块；
将各初始重建图像块进行叠加生成初始重建图像。
采用多个残差模块对初始重建图像依次进行特征提取，获得残差特征集合；方法包括：
将初始重建图像输入至残差模块，对初始重建图像分别进行3×3卷积和5×5卷积后进行相互连接，获得叠加特征；将叠加特征进7×7卷积获得残差特征E1；
重新采用残差模块对残差特征E1进行特征提取获得残差特征E2，采用残差模块对残差特征E2进行特征提取获得残差特征E3；构建残差特征集合E={E1，E2，E3}。
将残差特征En输入至多种尺度卷积核的密集模块提取密集特征的方法包括：
通过DensNet分别对残差特征En进行3×3卷积后，使用1×1卷积降维获得初始密集特征P1；通过另一DensNet分别对残差特征En进行5×5卷积后，使用1×1卷积降维获得初始密集特征P2；将初始密集特征P1与初始密集特征P2连接后依次进行1×1卷积和ReLU函数处理后获得密集特征。
采用注意力模块将密集特征T1和残差特征En-1进行局部特征融合形成密集特征T2的方法包括：
通过空间注意力对残差特征En-1进行重要性加权生成残差融合特征；通过通道注意力对密集特征T1进行重要性加权生成密集融合特征；将残差融合特征和密集融合特征执行Concat连接后依次进行1×1卷积和ReLU函数处理后获得密集特征T2；注意力模块拥有更高的性能与更少的参数以减少网络的计算量。
通过通道注意力对密集特征进行重要性加权生成密集融合特征的方法包括：
将第k次生成的密集特征
Figure 833891DEST_PATH_IMAGE008
重塑为密集特征
Figure 238328DEST_PATH_IMAGE009
，
Figure 759439DEST_PATH_IMAGE010
；C表示为密集特征
Figure 540313DEST_PATH_IMAGE011
的通达数量；H表示为密集特征
Figure 728849DEST_PATH_IMAGE011
的高度；W表示为密集特征
Figure 304187DEST_PATH_IMAGE011
的宽度；
计算密集特征
Figure 312594DEST_PATH_IMAGE012
在各通道之间的影响程度，计算公式为：
Figure 631580DEST_PATH_IMAGE013
公式中，
Figure 923890DEST_PATH_IMAGE014
表示为第a个通道的密集特征
Figure 670129DEST_PATH_IMAGE012
对第b个通道的密集特征
Figure 431412DEST_PATH_IMAGE012
的影响程度；
Figure 288509DEST_PATH_IMAGE015
表示为第a个通道的密集特征
Figure 451637DEST_PATH_IMAGE012
；
Figure 368778DEST_PATH_IMAGE016
表示为第b个通道的密集特征
Figure 351777DEST_PATH_IMAGE012
；
根据密集特征和影响程度计算得到尺寸为
Figure 12566DEST_PATH_IMAGE017
的密集融合特征，计算公式为：
Figure 795581DEST_PATH_IMAGE018
公式中，
Figure 883623DEST_PATH_IMAGE019
表示为第b个通道的密集融合特征；
Figure 353919DEST_PATH_IMAGE020
表示为设定的比例参数；
Figure 818398DEST_PATH_IMAGE021
表示为第b个通道的密集特征
Figure 690539DEST_PATH_IMAGE011
。
通过空间注意力对残差特征进行重要性加权生成残差融合特征的方法包括：
将第t次生成的残差特征
Figure 949482DEST_PATH_IMAGE022
输入至卷积函数生成映射特征
Figure 907074DEST_PATH_IMAGE023
、映射特征
Figure 627774DEST_PATH_IMAGE024
和映射特征
Figure 151159DEST_PATH_IMAGE025
；将映射特征
Figure 581004DEST_PATH_IMAGE026
、映射特征
Figure 25891DEST_PATH_IMAGE027
和映射特征
Figure 35436DEST_PATH_IMAGE028
分别重塑为映射特征
Figure 678907DEST_PATH_IMAGE029
、映射特征
Figure 482915DEST_PATH_IMAGE030
和映射特征
Figure 211836DEST_PATH_IMAGE031
；
将映射特征
Figure 510225DEST_PATH_IMAGE032
和映射特征
Figure 8202DEST_PATH_IMAGE033
进行矩阵计算，表示公式为：
Figure 983111DEST_PATH_IMAGE034
公式中，
Figure 199329DEST_PATH_IMAGE035
表示为第c个位置的特征
Figure 285097DEST_PATH_IMAGE036
对第d个位置的特征
Figure 903160DEST_PATH_IMAGE037
的影响程度；
Figure 48970DEST_PATH_IMAGE038
表示为第c个位置的映射特征
Figure 752484DEST_PATH_IMAGE036
；
Figure 891210DEST_PATH_IMAGE039
表示为第d个位置的映射特征
Figure 363780DEST_PATH_IMAGE037
；
根据影响程度
Figure 680492DEST_PATH_IMAGE035
和映射特征
Figure 871302DEST_PATH_IMAGE028
计算得到尺寸为
Figure 298872DEST_PATH_IMAGE017
的残差融合特征，计算公式为：
Figure 891527DEST_PATH_IMAGE040
公式中，
Figure 113561DEST_PATH_IMAGE041
表示为第b个通道的残差融合特征；
Figure 791667DEST_PATH_IMAGE042
表示为第c个位置的映射特征
Figure 819666DEST_PATH_IMAGE043
，
Figure 217893DEST_PATH_IMAGE044
表示为第d个位置的残差特征
Figure 876408DEST_PATH_IMAGE046
；
Figure 776230DEST_PATH_IMAGE045
表示为设定的比例参数。
重复迭代直至全局的残差特征融合完成，获得全局融合特征；更高效的融合所有局部特征，实现局部与全局依赖性的集成。
采用均方差函数作为损失函数，表达公式为：
Figure 545603DEST_PATH_IMAGE047
M表示为原图像中图像块的数量，根据损失函数对图像重建方法进行优化。
计算全局融合特征的残差后与初始重建图像相加得到最终重建图像，表达公式为：
Figure 112851DEST_PATH_IMAGE048
Figure 942267DEST_PATH_IMAGE049
公式中，
Figure 329386DEST_PATH_IMAGE050
表示残差网络的计算函数，
Figure 151717DEST_PATH_IMAGE051
表示为第i个图像块的残差权重。
实施例二
如图3所示，一种多尺度特征融合的图像重建系统，本实施例提供的所述图像重建系统可以应用于实施例一所述的图像重建方法，图像重建系统包括：
图像重建模块，用于对原图像进行压缩测量得到测量向量；根据测量向量生成初始重建图像；
特征提取模块，用于采用多个残差模块对初始重建图像依次进行特征提取，获得残差特征集合E={E1，E2，…，En}；将残差特征En输入至多种尺度卷积核的密集模块提取密集特征T1；
特征融合模块，用于采用注意力模块将密集特征T1和残差特征En-1进行局部特征融合形成密集特征T2；重复迭代直至全局的残差特征融合完成，获得全局融合特征；
图像生成模块，用于计算全局融合特征的残差后与初始重建图像相加得到最终重建图像。
实施例三
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述图像重建方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种多尺度特征融合的图像重建方法，其特征在于，包括：
对原图像进行压缩测量得到测量向量；根据测量向量生成初始重建图像；
采用多个残差模块对初始重建图像依次进行特征提取，获得残差特征集合E={E1，E2，…，En}；将残差特征En输入至多种尺度卷积核的密集模块提取密集特征T1；
采用注意力模块将密集特征T1和残差特征En-1进行局部特征融合形成密集特征T2；重复迭代直至全局的残差特征融合完成，获得全局融合特征；
计算全局融合特征的残差后与初始重建图像相加得到最终重建图像。
2.根据权利要求1所述的一种多尺度特征融合的图像重建方法，其特征在于，对原图像进行压缩测量得到测量向量的方法包括：
将原图像转为灰度图后进行区块处理获得图像块，将图像块进行旋转和翻转后构建图像块数据集；
对图像块数据集中的图像块进行采样后，通过测量矩阵对图像块行压缩测量得到测量向量，表达公式为：
Figure 362422DEST_PATH_IMAGE001
公式中，𝚽表示为测量矩阵；
Figure 901988DEST_PATH_IMAGE002
表示为第i个图像块；
Figure 220974DEST_PATH_IMAGE003
表示为第i个图像块对应的测量向量。
3.根据权利要求2所述的一种多尺度特征融合的图像重建方法，其特征在于，根据测量向量生成初始重建图像的方法包括：
将测量向量转化为初始重建图像块的表达公式为：
Figure 264016DEST_PATH_IMAGE004
公式中，
Figure 10255DEST_PATH_IMAGE005
表示由全连接层组成的线性映射关系函数,
Figure 505959DEST_PATH_IMAGE006
表示为第i个图像块的权重；
Figure 628635DEST_PATH_IMAGE007
表示为第i个初始重建图像块；
将各初始重建图像块进行叠加生成初始重建图像。
4.根据权利要求1或权利要求3所述的一种多尺度特征融合的图像重建方法，其特征在于，采用多个残差模块对初始重建图像依次进行特征提取，获得残差特征集合的方法包括：
将初始重建图像输入至残差模块，对初始重建图像分别进行3×3卷积和5×5卷积后进行相互连接，获得叠加特征；将叠加特征进7×7卷积获得残差特征E1；
重新采用残差模块对残差特征E1进行特征提取获得残差特征E2，采用残差模块对残差特征E2进行特征提取获得残差特征E3；构建残差特征集合E={E1，E2，E3}。
5.根据权利要求1所述的一种多尺度特征融合的图像重建方法，其特征在于，将残差特征En输入至多种尺度卷积核的密集模块提取密集特征的方法包括：
通过DensNet分别对残差特征En进行3×3卷积后，使用1×1卷积降维获得初始密集特征P1；通过另一DensNet分别对残差特征En进行5×5卷积后，使用1×1卷积降维获得初始密集特征P2；将初始密集特征P1与初始密集特征P2连接后依次进行1×1卷积和ReLU函数处理后获得密集特征。
6.根据权利要求1所述的一种多尺度特征融合的图像重建方法，其特征在于，采用注意力模块将密集特征T1和残差特征En-1进行局部特征融合形成密集特征T2的方法包括：
通过空间注意力对残差特征En-1进行重要性加权生成残差融合特征；通过通道注意力对密集特征T1进行重要性加权生成密集融合特征；将残差融合特征和密集融合特征执行Concat连接后依次进行1×1卷积和ReLU函数处理后获得密集特征T2。
7.根据权利要求6所述的一种多尺度特征融合的图像重建方法，其特征在于，通过通道注意力对密集特征进行重要性加权生成密集融合特征的方法包括：
将第k次生成的密集特征
Figure 775452DEST_PATH_IMAGE008
重塑为密集特征
Figure 692592DEST_PATH_IMAGE009
，
Figure 941171DEST_PATH_IMAGE010
；C表示为密集特征
Figure 601959DEST_PATH_IMAGE011
的通达数量；H表示为密集特征
Figure 354015DEST_PATH_IMAGE011
的高度；W表示为密集特征
Figure 707636DEST_PATH_IMAGE011
的宽度；
计算密集特征
Figure 177931DEST_PATH_IMAGE012
在各通道之间的影响程度，计算公式为：
Figure 642411DEST_PATH_IMAGE013
公式中，
Figure 999705DEST_PATH_IMAGE014
表示为第a个通道的密集特征
Figure 524227DEST_PATH_IMAGE012
对第b个通道的密集特征
Figure 481819DEST_PATH_IMAGE012
的影响程度；
Figure 484410DEST_PATH_IMAGE015
表示为第a个通道的密集特征
Figure 211058DEST_PATH_IMAGE012
；
Figure 906481DEST_PATH_IMAGE016
表示为第b个通道的密集特征
Figure 85790DEST_PATH_IMAGE012
；根据密集特征和影响程度计算得到尺寸为
Figure 892072DEST_PATH_IMAGE017
的密集融合特征，计算公式为：
Figure 988073DEST_PATH_IMAGE018
公式中，
Figure 588818DEST_PATH_IMAGE019
表示为第b个通道的密集融合特征；
Figure 521002DEST_PATH_IMAGE020
表示为设定的比例参数；
Figure 865396DEST_PATH_IMAGE021
表示为第b个通道的密集特征
Figure 566636DEST_PATH_IMAGE011
。
8.根据权利要求7所述的一种多尺度特征融合的图像重建方法，其特征在于，通过空间注意力对残差特征进行重要性加权生成残差融合特征的方法包括：
将第t次生成的残差特征
Figure 338282DEST_PATH_IMAGE022
输入至卷积函数生成映射特征
Figure 757762DEST_PATH_IMAGE023
、映射特征
Figure 905847DEST_PATH_IMAGE024
和映射特征
Figure 474975DEST_PATH_IMAGE025
；将映射特征
Figure 417524DEST_PATH_IMAGE026
、映射特征
Figure 58720DEST_PATH_IMAGE027
和映射特征
Figure 744917DEST_PATH_IMAGE028
分别重塑为映射特征
Figure 420749DEST_PATH_IMAGE029
、映射特征
Figure 534198DEST_PATH_IMAGE030
和映射特征
Figure 662691DEST_PATH_IMAGE031
；
将映射特征
Figure 152578DEST_PATH_IMAGE032
和映射特征
Figure 932184DEST_PATH_IMAGE033
进行矩阵计算，表示公式为：
Figure 482114DEST_PATH_IMAGE034
公式中，
Figure 97904DEST_PATH_IMAGE035
表示为第c个位置的特征
Figure 329165DEST_PATH_IMAGE036
对第d个位置的特征
Figure 776327DEST_PATH_IMAGE037
的影响程度；
Figure 434841DEST_PATH_IMAGE038
表示为第c个位置的映射特征
Figure 600243DEST_PATH_IMAGE036
；
Figure 120348DEST_PATH_IMAGE039
表示为第d个位置的映射特征
Figure 156438DEST_PATH_IMAGE037
；
根据影响程度
Figure 48170DEST_PATH_IMAGE035
和映射特征
Figure 638552DEST_PATH_IMAGE028
计算得到尺寸为
Figure 8353DEST_PATH_IMAGE017
的残差融合特征，计算公式为：
Figure 367790DEST_PATH_IMAGE040
公式中，
Figure 633686DEST_PATH_IMAGE041
表示为第b个通道的残差融合特征；
Figure 508102DEST_PATH_IMAGE042
表示为第c个位置的映射特征
Figure 681594DEST_PATH_IMAGE043
，
Figure 144805DEST_PATH_IMAGE044
表示为第d个位置的残差特征
Figure 378340DEST_PATH_IMAGE045
；
Figure 677735DEST_PATH_IMAGE046
表示为设定的比例参数。
9.一种多尺度特征融合的图像重建系统，其特征在于，包括：
图像重建模块，用于对原图像进行压缩测量得到测量向量；根据测量向量生成初始重建图像；
特征提取模块，用于采用多个残差模块对初始重建图像依次进行特征提取，获得残差特征集合E={E1，E2，…，En}；将残差特征En输入至多种尺度卷积核的密集模块提取密集特征T1；
特征融合模块，用于采用注意力模块将密集特征T1和残差特征En-1进行局部特征融合形成密集特征T2；重复迭代直至全局的残差特征融合完成，获得全局融合特征；
图像生成模块，用于计算全局融合特征的残差后与初始重建图像相加得到最终重建图像。
10.计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至权利要求8任意一项所述的一种多尺度特征融合的图像重建方法的步骤。
CN202211081419.5A 2022-09-06 2022-09-06 一种多尺度特征融合的图像重建方法及系统 Active CN115170916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211081419.5A CN115170916B (zh) 2022-09-06 2022-09-06 一种多尺度特征融合的图像重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211081419.5A CN115170916B (zh) 2022-09-06 2022-09-06 一种多尺度特征融合的图像重建方法及系统

Publications (2)

Publication Number Publication Date
CN115170916A true CN115170916A (zh) 2022-10-11
CN115170916B CN115170916B (zh) 2023-01-31

Family

ID=83481768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211081419.5A Active CN115170916B (zh) 2022-09-06 2022-09-06 一种多尺度特征融合的图像重建方法及系统

Country Status (1)

Country Link
CN (1) CN115170916B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147589A1 (en) * 2017-11-10 2019-05-16 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image reconstruction
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN114049251A (zh) * 2021-09-01 2022-02-15 中国矿业大学 一种用于ai视频分析的模糊图像超分辨率重建方法及装置
CN114821100A (zh) * 2022-04-13 2022-07-29 桂林电子科技大学 基于结构组稀疏网络的图像压缩感知重建方法
CN114841856A (zh) * 2022-03-07 2022-08-02 中国矿业大学 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147589A1 (en) * 2017-11-10 2019-05-16 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image reconstruction
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN114049251A (zh) * 2021-09-01 2022-02-15 中国矿业大学 一种用于ai视频分析的模糊图像超分辨率重建方法及装置
CN114841856A (zh) * 2022-03-07 2022-08-02 中国矿业大学 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法
CN114821100A (zh) * 2022-04-13 2022-07-29 桂林电子科技大学 基于结构组稀疏网络的图像压缩感知重建方法

Also Published As

Publication number Publication date
CN115170916B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN110992270A (zh) 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN111368662A (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
CN113077377B (zh) 一种基于生成对抗网络的彩色图像隐写方法
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
CN109300128B (zh) 基于卷积神经网隐含结构的迁移学习图像处理方法
CN111860138A (zh) 基于全融合网络的三维点云语义分割方法及系统
CN110598601A (zh) 一种基于分布式热力图的人脸3d关键点检测方法及系统
CN113516133B (zh) 一种多模态图像分类方法及系统
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN109447897B (zh) 一种真实场景图像合成方法及系统
Huai et al. Zerobn: Learning compact neural networks for latency-critical edge systems
CN112529862A (zh) 一种交互循环特征重塑的显著性图像检测方法
CN111738435A (zh) 一种基于移动设备的在线稀疏训练方法及系统
CN113313077A (zh) 基于多策略和交叉特征融合的显著物体检测方法
CN115170916B (zh) 一种多尺度特征融合的图像重建方法及系统
CN113222160A (zh) 一种量子态的转换方法及装置
CN114493971A (zh) 媒体数据转换模型训练、数字水印嵌入方法和装置
CN115100599A (zh) 基于掩码transformer的半监督人群场景异常检测方法
CN113496228A (zh) 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法
Lin et al. Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression
CN116071275B (zh) 基于在线知识蒸馏和预训练先验的人脸图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant