CN113256497A - 图像重建方法及系统 - Google Patents

图像重建方法及系统 Download PDF

Info

Publication number
CN113256497A
CN113256497A CN202110682426.XA CN202110682426A CN113256497A CN 113256497 A CN113256497 A CN 113256497A CN 202110682426 A CN202110682426 A CN 202110682426A CN 113256497 A CN113256497 A CN 113256497A
Authority
CN
China
Prior art keywords
image
grad
resolution
texture
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110682426.XA
Other languages
English (en)
Other versions
CN113256497B (zh
Inventor
郭克华
陈良
朱湘源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110682426.XA priority Critical patent/CN113256497B/zh
Publication of CN113256497A publication Critical patent/CN113256497A/zh
Application granted granted Critical
Publication of CN113256497B publication Critical patent/CN113256497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像重建方法及系统，从参考图像中获取所需的高分辨率特征、将高分辨率特征和给定的低分辨率信息高效融合、超分辨率重建。从参考图像中获取所需的高分辨率特性指首先利用特定的特征提取器提取关键特征，再通过选择策略将参考图像的特性组合为所需的高分辨率特征。将高分辨率特征和给定的低分辨率信息高效融合指将高低分辨率特征共同输入构建好的神经网络，通过网络的学习优化输出一个包含丰富高分辨率信息的特征。

Description

图像重建方法及系统
技术领域
本发明涉及图像重建领域，特别是一种图像重建方法及系统。
背景技术
在互联网高速发展的新时代，每天都涌现出海量的数据。图像数据因其传播速度快，易于大众接受等特点成为人们获取信息的重要载体，准确高效的获取图像数据中的信息对人们的生活、工作具有重要的意义。如在新冠肺炎疫情之下，各种组织搭建了许多医疗平台，医疗工作者通过图像检测[1]等技术可准确地观察各类医学影像，了解病人肺部的变化，最终对病人的病情做出准确的判断；公共安全人员通过观察人群视频，定位到嫌疑人画面，利用2D人脸识别技术[2]对比嫌疑人和罪犯的人脸信息，帮助抓捕罪犯和维护公共安全。这就要求人们捕获的图像必须是高分辨率的，即具有清晰的细节和真实的纹理特征的图像，但是在实际应用中，由于成像环境的干扰、物理成像系统的局限性以及传输过程中信息损失等原因，我们采集到的图像产生了不同程度的退化，此时的图像变为了低分辨率的图像，即结构扭曲且视觉模糊的图像，直接导致了图像数据的信息丢失。这不仅不能帮助人们快速的获取图像信息，甚至可能误导观察者做出错误的判断。如果从提升硬件设施的角度解决这些问题，往往需要很大的人力和经济成本。因此通过一定的算法对退化后的低分辨率图像进行高清重建显的尤为重要，图像超分辨率技术是指通过特定的算法将低分辨率图像重建为对应的高分辨率图像，从而恢复出人们所需要的关键细节信息。这很大程度地帮助了观察者获取并分析图像信息，对医疗、公共安全等领域具有重要意义。
近年来，随着深度学习的不断发展，卷积神经网络作为一个强有力的工具在计算机视觉领域被广泛应用。各种基于卷积神经网络的图像超分辨率方法被先后提出，相应的客观指标不断提高，生成的图像也越来越符合人类视觉感知。目前的图像超分辨率重建方法可以被归纳为两类：单图像超分辨率和基于参考的图像超分辨率[3]。传统的单图像超分辨率是指直接将低分辨率图像作为输入，并通过卷积神经网络学习输入输出之间的映射关系，最终输出高分辨率图像。尽管RCAN[4]和DRN[5]等复杂且有效的网络被提出，但是由于高分辨率图像的纹理信息在退化过程中被过度破坏，传统单图像超分辨率的生成结果依然比较模糊。随着生成对抗网络[6]的兴起，一些基于生成对抗网络的图像重建方法被提出来解决上述问题，但由此产生的图像伪影问题给图像超分辨率任务带来了更大的挑战。基于参考的图像超分辨率最近取得了一定的进展，它从给定的参考图像中传输丰富的高分辨率纹理信息至低分辨率图像，以产生视觉上令人满意的结果。然而，目前最先进的方法通常是采用一种直接的方式来转移纹理，这可能会导致超分辨率后的图像结构扭曲和细节部分不清晰。例如，Zheng等人[7]采用了一种基于流的方法，但是当低分辨率图像和参考图像之间存在大的视点差异时，该方法可能会搜索和迁移不准确的纹理信息。Zhang等人[8]引入了一种预训练的分类模型定义的特征空间，利用该空间在低分辨率图像和参考图像之间搜索和迁移纹理特征。然而，这些高级语义特征并不能有效地表示高分辨率纹理信息，依然无法恢复出清晰的细节信息和真实的纹理特征。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种图像重建方法及系统，改善图像边缘轮廓等细节信息的重建效果。
为解决上述技术问题，本发明所采用的技术方案是：一种图像重建方法，包括以下步骤：
S1、对图像数据集中的输入图像、参考图像进行预处理，融合预处理后的图像，得到初步融合后的纹理特征Lx；其中，x=1，2,…,d；将待重建的低分辨率图像经过卷积处理，得到浅层特征F；d为纹理特征数量；
S2、对浅层特征F、前d-1个纹理特征依次进行上采样和卷积操作，将Ld、卷积操作后的F、卷积操作后的前d-1个纹理特征进行维度拼接，对拼接后的特征进行卷积操作，得到再次融合后的纹理特征Lz；
对待重建的低分辨率图像的每个通道（共R、G、B三个通道）信息进行卷积操作，再将卷积操作后的结果进行维度拼接，得到LR grad，对LR grad继续进行多次卷积操作，并将多次卷积操作的结果与LR grad逐元素相加得到初始的Rec grad；
对LR grad进行卷积操作，得到LR gradc，将LR gradc与初始的Rec grad逐元素相加，对相加后的结果进行上采样，对上采样后的图像进行卷积处理，得到重建的梯度特征Recon Grad；
S3、将重建的梯度特征Recon Grad与纹理特征Lz进行维度拼接，得到拼接特征x_f_cat；对拼接特征x_f_cat进行卷积操作，得到的卷积操作结果与拼接特征x_f_cat逐元素相加得到x_cat，将x_cat再经过多次卷积操作，得到最终的超分辨率重建结果x_out。
本发明可更为准确的将高分辨率纹理特征迁移至低分辨率图像，同时，本发明综合考虑了图像的纹理特征和梯度特征，并将其高效融合，令重建后的图像具有更自然的结构和更真实的纹理。本发明的纹理特征Lx在被输出前进行了权重调节处理，有效的规范化了纹理特征；在纹理分支网络的基础上引入了梯度分支网络，该网络不仅可用来恢复高分辨率梯度特征，同时约束了纹理分支网络的优化过程，令超分辨率的结果更为真实。
步骤S1中，初步融合后的纹理特征Lx的获取过程包括：
1）将图像数据集中的输入图像、参考图像分别依次进行下采样和上采样，对应得到上采样后的输入图像LR’和参考图像Ref’；
2）提取所述上采样后的输入图像LR’的纹理特征，得到LR’Tex；提取所述上采样后的参考图像Ref’和输入参考图像Ref的纹理特征，得到Ref’Tex以及RefTex；
3）将LR’Tex和Ref’Tex分块，通过计算块间内积得到相关性矩阵Re，矩阵Re的大小为M×N，取矩阵Re每一列的最大值的下标组成ID矩阵H，取矩阵Re每一列的最大值组成矩阵S；利用ID矩阵H对RefTex进行纹理匹配，得到d个与给定低分辨率图像相关的高分辨率纹理特征T1、T2、…、Td；
4）组合F、S和高分辨率纹理特征，得到d个组合：F、S、T1；F、S、T2；…；F 、S、Td；
5）对于每个所述组合，先对该组合中的浅层特征F和高分辨率纹理特征Tx进行维度拼接，将拼接结果与矩阵S相乘，得到中间结果，对所述中间结果取均值，得到权重W；对所述中间结果进行残差处理，得到特征P；将特征P与权重W相乘，得到初步融合后的纹理特征Lx。
本发明的方法能更高效地进行纹理迁移，得到的Lx具有更真实的纹理细节。原因：一方面，第3步中本发明采用了ID矩阵对RefTex进行纹理匹配，得到高分辨率纹理特征。将这种纹理特征和低分辨率纹理特征融合能更加快速有效的弥补低分辨率图像丢失的纹理细节。另一方面，第5步中发明将特征P与权重W相乘规范了特征P的范围，令生成的Lx更接近真实的纹理特征。
所述下采样方法为4倍双三次插值下采样；所述上采样方法为4倍双三次插值上采样。本发明采用双三次插值采样更容易获取到成对的高低分辨率数据集，令发明的方法更加简洁。
利用纹理提取器提取相关图像的特征，所述纹理提取器采用VGG19的前12层网络结构。VGG19是预训练的模型，可以直接加载使用，相比其他网络，VGG19结构简单，采用3×3卷积核，模型参数量小，用前12层就能准确的提取图像的纹理特征。
步骤S2中，初始的Rec grad的具体获取过程包括：将LR grad、L1、L2、…、Ld输入Grad Block；所述Grad Block对所述LR grad和L1、L2、…、Ld进行维度拼接，再对拼接后的结果进行多次卷积操作，并将卷积操作后的结果乘以权重系数将所述Grad Block的输出结果与LR grad逐元素相加，得到初始的Rec grad。借助L1、…Ld中的梯度信息有效的帮助LRgrad恢复高分辨率梯度特征。将Grad Block的输出结果与LR grad逐元素相加可将高低分辨率的梯度特征高效融合，有利于恢复出更自然的结构特征。
所述权重系数为0.2。权重系数设置为0.2可以规范化特征范围。
本发明中，d=3。超过3个纹理特征时，模型参数量大，计算耗时长；低于3个纹理特征时，模型性能下降。实验证明，3个纹理特征时效果最优。
步骤S3中，对x_cat再经过两次卷积操作，得到最终的超分辨率重建结果x_out。第一次卷积是为了提取出x_cat的高维特征，第二次卷积是为了将特征通道数变为3(一般图像为RGB图像，通道数目为3)，从而得到最终结果。这里增加卷积次数不仅不会增加模型性能，反而增加了模型参数量，因此本发明进行了2次卷积操作。
作为一个发明构思，本发明还提供了一种图像重建系统，其包括计算机设备；所述计算机设备被配置或编程为用于执行上述方法的步骤。
与现有技术相比，本发明所具有的有益效果为：本发明不仅将高分辨率纹理特性高效地迁移至低分辨率图像，而且结合梯度特征和梯度损失函数进一步优化了整体的超分辨率过程，大大缩小了高低分辨率图像之间的映射空间。同时本发明的纹理分支网络的输出可用来帮助进行图像梯度特征的恢复，纹理分支网络和梯度分支网络的优化也是互相促进的。本发明最终实现了端到端（即输入一幅图像，输出也是一幅图像）的高效率、结构自然且纹理清晰的参考图像超分辨率重建。
附图说明
图1为本发明实施例纹理提取部分原理图；
图2为本发明实施例特征融合部分原理图；
图3为本发明实施例融合纹理和梯度特征的参考图像超分辨率模型图。
具体实施方式
本发明实施例图像重建方法包括三个步骤：从参考图像中获取所需的高分辨率特征、将高分辨率特征和给定的低分辨率信息高效融合、超分辨率重建。从参考图像中获取所需的高分辨率特性指首先利用特定的特征提取器提取关键特征，再通过选择策略将参考图像的特性组合为所需的高分辨率特征。将高分辨率特征和给定的低分辨率信息高效融合指将高低分辨率特征及矩阵S共同输入纹理分支网络，通过网络的学习优化输出一个包含丰富高分辨率信息的特征。超分辨率重建是最后一个过程，具体指将前面梯度分支网络和纹理分支网络的输出结果输入到融合模块，最终输出符合限定条件的超分辨率结果。为了训练出基于梯度指导的参考图像超分辨率模型，本发明在CUFED5数据集(包含11871张输入图像和11871张参考图像)上，使用双三次插值将输入图像缩放成4倍大小得到HR和LR图像对，并随机裁剪为40×40大小的低分辨率图像块作为模型的输入，设置批次大小为9，学习率为1e-4，采用ADAM优化器对模型参数进行220轮的优化。
为了重建出细节信息清晰且结构自然的图像，本发明在纹理转换器网络[9]的基础上提出了一种融合纹理和梯度特征的参考图像超分网络。该网络主要包括3个部分：纹理搜索网络、纹理分支网络和梯度分支网络。首先通过纹理搜索网络对处理后的参考图像和低分辨率图像进行纹理获取得到高分辨率纹理特征，再将高分辨率纹理特征和初提取后的低分辨率特征输入纹理分支网络得到融合后的纹理特征。对低分辨率图像进行梯度提取，将提取到的梯度特征送入梯度分支网络得到高分辨率梯度特征，最终将上采样后的高分辨率梯度特征和纹理分支网络的输出再次融合。本发明提出的3个子网络又由多个小模块组成，其中纹理搜索网络包括纹理提取器、相似性搜索和纹理匹配模块；纹理分支网络包括3个不同尺度的自适应融合模块和Merge Block；梯度分支网络主要包括1个Grad Block。
本发明的具体实现流程如下：
第一步：数据预处理，首先将CUFED5输入图像经过4×bicubic-downsampling（双三次插值下采样）和4×bicubic-upsampling处理得到上采样输入图像(LR’)，再将CUFED5参考图像直接作为参考图像(Ref)。同时对CUFED5参考图像进行4×bicubic-downsampling和4×bicubic-upsampling处理得到Ref’。
第二步：纹理特征提取，将第一步得到的LR’，Ref和Ref’同时输入纹理提取器(纹理提取器采用VGG19的前12层网络结构),得到LR’Tex和Ref’Tex以及RefTex。
第三步：纹理特征搜索，将LR’Tex和Ref’Tex分别以网格状均分为M，N块，每块大小为 2×2通过公式Rei,j=
Figure 712120DEST_PATH_IMAGE001
计算块nj和mi内积，所有的内积组成相关性矩阵Re，Re的大 小为M×N。取矩阵Re每一列的最大值的下标组成ID矩阵H，取矩阵Re每一列的最大值组成矩 阵S。利用ID矩阵H对RefTex进行纹理匹配得到3个与给定低分辨率图像相关的高分辨率纹理 特征T1,T2和T3。
第四步：纹理融合准备，输入的低分辨率图像(LR)通过一层卷积层和Relu处理得到浅层特征F，再将F ,S和T1；F ,S和T2；F ,S和T3这3个组合依次送入3个不同尺度的自适应融合模块。
第五步：纹理特征融合，每个模块首先对输入特征F和Tx进行维度拼接，拼接后的结果和权重矩阵S相乘得到Intermediate State(中间态)，对中间态进行adaptive_avg_pool2d处理得到权重W。中间态通过残差块(5个卷积层)得到特征P，P再和W相乘，将相乘结果通过一层卷积层得到初步融合后的纹理特征Lx。3个纹理融合模块分别输出L1，L2和L3。x=1,2,3。
第六步：纹理特征再次融合，将L1，L2和L3以及第2步得到的特征F输入MergeBlock。Merge Block先对F，L1和L2进行bicubic上采样和卷积处理，令每个特征的尺寸和L3一致，将L3和上采样后的特征进行维度拼接，再对拼接后的特征进行卷积处理得到再次融合后的纹理特征Lz。
第七步：初始梯度特征重建，首先对输入低分辨率图像进行梯度特征获取得到LRgrad, LR grad被输入Grad Block，Grad Block对输入LR grad进行5层卷积处理，卷积后的结果乘以0.2，再将该结果和LR grad逐元素相加得到初始的Rec grad。
第八步：梯度特征重建，将第七步得到的LR grad送入一层卷积层得到LR gradc，将LR gradc和第七步的结果Rec grad进行逐元素级相加。将相加后的结果上采样令上采样后图像的尺寸和高分辨率图像一致，再通过一层1×1的卷积处理得到最终重建的梯度特征Recon Grad。
第九步：纹理和梯度特征融合，首先将第八步得到的Recon Grad和第六步的输出结果Lz进行维度拼接得到x_f_cat。x_f_cat被送入Fusion Block，Fusion Block先对x_f_cat层卷积处理，卷积后结果和x_f_cat逐元素相加得到x_cat，x_cat再通过两层卷积处理得到最终的超分辨率结果x_out。
为了证明本发明的效果，本发明实施例进行了模型测试实验并开展了用户体验活动。
实验在CentOS Linux release 7.5.1804 系统上完成，使用Nvidia Tesla V100s集群的GPU进行模型训练。训练和测试都是采用Pytorch深度学习框架，本发明的模型也可以在cpu上测试。训练数据采用CUFED5的11871对输入图像和参考图像，测试数据为CUFED5测试集。我们设置每次输入的批处理大小为9，并从低分辨率图像中随机裁剪出40×40的图像块作为输入。实验过程的优化采用Adam优化器，学习率始终保持1e-4。为了证明本发明提出模块和梯度损失函数的有效性，我们分别做了3组对比试验：
(1)完整网络和没有梯度分支网络的对比。为了证明本发明提出的梯度分支网络的有效性，我们在实验中去除了梯度分支网络，并将纹理分支网络的结果作为超分辨率的结果。实验表明，本发明设计的梯度分支网络可以有效地学习到丰富的高分辨率梯度特征，生成图像具有更自然的结构。
(2)完整网络和没有自适应融合模块的对比。本实验将验证自适应融合模块对模型性能的影响，将三个自适应融合模块都替换为一层普通卷积层，其他设置均保持不变。实验结果表明，自适应融合模块可以高效地将高分辨率纹理特征迁移至低分辨率图像，该模块可将CUFED5测试集的PSNR值提升0.82dB。
(3)梯度损失函数对性能的影响。为了证明梯度损失函数对模型性能的影响，我们分别在仅使用L1-loss和L1-loss+梯度损失函数下对整体网络进行训练得到两个模型，模型测试结果表明，采用梯度损失优化模型重建出的图像在视觉质量上更为清晰。对不同模型生成的图像计算SSIM，采用梯度损失函数可将CUFED5测试集的SSIM值从0.803提升至0.810。
模型测试实验结果证明，本发明重建出的图像在定量指标(峰值信噪比PSNR和结构相似度SSIM)上远优于其他方法(RCAN、DRN和SRNTT)。用户体验活动表明，有超过90%的用户认为本发明重建出的图像在视觉质量上要优于其他方法。利用本发明可以有效地恢复出模糊的医学图像中的关键信息，来帮助医疗工作者准确且高效的获取并分析图像信息，从而对患者的情况及时做出正确的判断。利用本发明更可以将人群视频中不清晰的人脸图像进行高精度的恢复，继而将恢复后的图像和罪犯信息进行比对，这有效减轻了观察员的工作压力，维护了公共安全。
参考文献：
[1]Ghattamaneni U, Snehalatha J. Medical Image Detection with ImageProcessing Using Machine Learning[J]. Design Engineering, 2021: 808-816.
[2]Gupta S, Thakur K, Kumar M. 2D-human face recognition using SIFTand SURF descriptors of face’s feature regions[J]. The Visual Computer, 2020:1-10.
[3]Yang F, Yang H, Fu J, et al. Learning texture transformer networkfor image super-resolution[C]//Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition. 2020: 5791-5800.
[4]Zhang Y, Li K, Li K, et al. Image super-resolution using very deepresidual channel attention networks[C]//Proceedings of the Europeanconference on computer vision (ECCV). 2018: 286-301.
[5]Guo Y, Chen J, Wang J, et al. Closed-loop matters: Dual regressionnetworks for single image super-resolution[C]//Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition. 2020: 5407-5416.
[6]Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generativeadversarial networks[J]. arXiv preprint arXiv:1406.2661, 2014.
[7]Zheng H, Ji M, Wang H, et al. Crossnet: An end-to-end reference-based super resolution network using cross-scale warping[C]//Proceedings ofthe European conference on computer vision (ECCV). 2018: 88-104.
[8]Zhang Z, Wang Z, Lin Z, et al. Image super-resolution by neuraltexture transfer[C]//Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition. 2019: 7982-7991.
[9]Yang F, Yang H, Fu J, et al. Learning texture transformer networkfor image super-resolution[C]//Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition. 2020: 5791-5800.

Claims (9)

1.一种图像重建方法，其特征在于，包括以下步骤：
S1、对图像数据集中的输入图像、参考图像进行预处理，融合预处理后的图像，得到初步融合后的纹理特征Lx；其中，x=1，2,…,d；将待重建的低分辨率图像经过卷积处理，得到浅层特征F；d为初步融合后的纹理特征数量；
S2、对浅层特征F、前d-1个纹理特征依次进行上采样和卷积操作，将Ld、卷积操作后的F、前d-1个纹理特征进行维度拼接，对拼接后的特征进行卷积操作，得到再次融合后的纹理特征Lz；
对待重建的低分辨率图像的每个通道信息进行卷积操作，再将卷积操作后的结果进行维度拼接，得到LR grad，对LR grad继续进行多次卷积操作，并将多次卷积操作的结果与LRgrad逐元素相加得到初始的Rec grad；
对LR grad进行卷积操作，得到LR gradc，将LR gradc与初始的Rec grad逐元素相加，对相加后的结果进行上采样，对上采样后的图像进行卷积处理，得到重建的梯度特征ReconGrad；
S3、将重建的梯度特征Recon Grad与纹理特征Lz进行维度拼接，得到拼接特征x_f_cat；对拼接特征x_f_cat进行卷积操作，得到的卷积操作结果与拼接特征x_f_cat逐元素相加得到x_cat，将x_cat再经过多次卷积操作，得到最终的超分辨率重建结果x_out。
2.根据权利要求1所述的图像重建方法，其特征在于，步骤S1中，初步融合后的纹理特征Lx的获取过程包括：
1）将图像数据集中的输入图像、参考图像分别依次进行下采样和上采样，对应得到上采样后的输入图像LR’和参考图像Ref’；
2）提取所述上采样后的输入图像LR’的纹理特征，得到LR’Tex；提取所述上采样后的参考图像Ref’和输入参考图像Ref的纹理特征，得到Ref’Tex以及RefTex；
3）将LR’Tex和Ref’Tex分块，通过计算块间内积得到相关性矩阵Re，矩阵Re的大小为M×N，取矩阵Re每一列的最大值的下标组成ID矩阵H，取矩阵Re每一列的最大值组成矩阵S；利用ID矩阵H对RefTex进行纹理匹配，得到d个与给定低分辨率图像相关的高分辨率纹理特征T1、T2、…、Td；
4）组合F、S和高分辨率纹理特征，得到d个组合：F、S、T1；F、S、T2；…；F 、S、Td；
5）对于每个所述组合，先对该组合中的浅层特征F和高分辨率纹理特征Tx进行维度拼接，将拼接结果与矩阵S相乘，得到中间结果，对所述中间结果取均值，得到权重W；对所述中间结果进行残差处理，得到特征P；将特征P与权重W相乘，得到初步融合后的纹理特征Lx。
3.根据权利要求2所述的图像重建方法，其特征在于，所述下采样方法为4倍双三次插值下采样；所述上采样方法为4倍双三次插值上采样。
4.根据权利要求2所述的图像重建方法，其特征在于，利用纹理提取器提取相关图像的特征，所述纹理提取器采用VGG19的前12层网络结构。
5.根据权利要求1～4之一所述的图像重建方法，其特征在于，步骤S2中，初始的Recgrad的具体获取过程包括：将LR grad、L1、L2、…、Ld输入Grad Block；所述Grad Block对所述LR grad和L1、L2、…、Ld进行维度拼接，再对拼接后的结果进行多次卷积操作，并将卷积操作后的结果乘以权重系数将所述Grad Block的输出结果与LR grad逐元素相加，得到初始的Rec grad。
6.根据权利要求5所述的图像重建方法，其特征在于，所述权重系数为0.2。
7.根据权利要求5所述的图像重建方法，其特征在于，d=3。
8.根据权利要求1～4之一所述的图像重建方法，其特征在于，步骤S3中，对x_cat再经过两次卷积操作，得到最终的超分辨率重建结果x_out。
9.一种图像重建系统，其特征在于，包括计算机设备；所述计算机设备被配置或编程为用于执行权利要求1～7之一所述方法的步骤。
CN202110682426.XA 2021-06-21 2021-06-21 图像重建方法及系统 Active CN113256497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110682426.XA CN113256497B (zh) 2021-06-21 2021-06-21 图像重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110682426.XA CN113256497B (zh) 2021-06-21 2021-06-21 图像重建方法及系统

Publications (2)

Publication Number Publication Date
CN113256497A true CN113256497A (zh) 2021-08-13
CN113256497B CN113256497B (zh) 2021-09-24

Family

ID=77188747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110682426.XA Active CN113256497B (zh) 2021-06-21 2021-06-21 图像重建方法及系统

Country Status (1)

Country Link
CN (1) CN113256497B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593832A (zh) * 2013-09-25 2014-02-19 重庆邮电大学 一种基于高斯二阶差分特征检测算子的图像拼接方法
CN104217449A (zh) * 2014-09-19 2014-12-17 西安电子科技大学 基于相关性向量分组的压缩感知图像重构方法
CN107292317A (zh) * 2017-06-26 2017-10-24 西安电子科技大学 基于浅层特征与t矩阵深度学习的极化sar分类方法
CN108830326A (zh) * 2018-06-21 2018-11-16 河南工业大学 一种mri图像的自动分割方法及装置
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN109559359A (zh) * 2018-09-27 2019-04-02 东南大学 基于深度学习实现的稀疏角度数据重建图像的伪影去除方法
CN109712150A (zh) * 2018-12-26 2019-05-03 航天恒星科技有限公司 基于稀疏表示的光学微波图像融合重建方法和装置
WO2019109613A1 (en) * 2017-12-07 2019-06-13 Shenzhen United Imaging Healthcare Co., Ltd. Systems and methods for image processing
US20190318463A1 (en) * 2016-12-27 2019-10-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for fusing infrared image and visible light image
CN110826467A (zh) * 2019-11-22 2020-02-21 中南大学湘雅三医院 一种电子显微镜图像重建系统及其方法
EP3709224A1 (en) * 2017-10-30 2020-09-16 Shanghai Cambricon Information Technology Co., Ltd Information processing method and terminal device
US20200327662A1 (en) * 2019-04-12 2020-10-15 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image generation
CN112508794A (zh) * 2021-02-03 2021-03-16 中南大学 医疗图像超分辨率重建方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593832A (zh) * 2013-09-25 2014-02-19 重庆邮电大学 一种基于高斯二阶差分特征检测算子的图像拼接方法
CN104217449A (zh) * 2014-09-19 2014-12-17 西安电子科技大学 基于相关性向量分组的压缩感知图像重构方法
US20190318463A1 (en) * 2016-12-27 2019-10-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for fusing infrared image and visible light image
CN107292317A (zh) * 2017-06-26 2017-10-24 西安电子科技大学 基于浅层特征与t矩阵深度学习的极化sar分类方法
EP3709224A1 (en) * 2017-10-30 2020-09-16 Shanghai Cambricon Information Technology Co., Ltd Information processing method and terminal device
WO2019109613A1 (en) * 2017-12-07 2019-06-13 Shenzhen United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN108830326A (zh) * 2018-06-21 2018-11-16 河南工业大学 一种mri图像的自动分割方法及装置
CN109559359A (zh) * 2018-09-27 2019-04-02 东南大学 基于深度学习实现的稀疏角度数据重建图像的伪影去除方法
CN109712150A (zh) * 2018-12-26 2019-05-03 航天恒星科技有限公司 基于稀疏表示的光学微波图像融合重建方法和装置
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
US20200327662A1 (en) * 2019-04-12 2020-10-15 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image generation
CN110826467A (zh) * 2019-11-22 2020-02-21 中南大学湘雅三医院 一种电子显微镜图像重建系统及其方法
CN112508794A (zh) * 2021-02-03 2021-03-16 中南大学 医疗图像超分辨率重建方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KRAFT U R等: "Array Factor Forming for Image Reconstruction of One-Dimensional Nonuniform Aperture Synthesis Radiometers", 《GEOSCIENCE AND REMOTE SENSING LETTERS》 *
周涛等: "残差神经网络及其在医学图像处理中的应用研究", 《电子学报》 *
高昭昭等: "非规则采样综合孔径无源成像重建算法分析", 《电子信息对抗技术》 *

Also Published As

Publication number Publication date
CN113256497B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
Liang et al. Details or artifacts: A locally discriminative learning approach to realistic image super-resolution
Zhou et al. UGIF-Net: An efficient fully guided information flow network for underwater image enhancement
CN110728628B (zh) 一种基于条件生成对抗网络的人脸去遮挡方法
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
Wang et al. Haze concentration adaptive network for image dehazing
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
Zhang et al. Self-supervised image denoising for real-world images with context-aware transformer
CN110689482A (zh) 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
CN111696196B (zh) 一种三维人脸模型重建方法及装置
Hong et al. WSUIE: Weakly supervised underwater image enhancement for improved visual perception
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
Yan et al. Attention-guided dynamic multi-branch neural network for underwater image enhancement
CN116664435A (zh) 一种基于多尺度人脸解析图融入的人脸复原方法
Wang et al. Underwater image super-resolution using multi-stage information distillation networks
CN113962878B (zh) 一种低能见度图像去雾模型方法
Wang et al. Rca-cyclegan: unsupervised underwater image enhancement using red channel attention optimized cyclegan
Cherian et al. A Novel AlphaSRGAN for Underwater Image Super Resolution.
Wu et al. Lightweight asymmetric convolutional distillation network for single image super-resolution
CN105844589A (zh) 一种基于混合成像系统的实现光场图像超分辨的方法
Xu et al. Degradation-aware dynamic fourier-based network for spectral compressive imaging
Tang et al. MPCFusion: Multi-scale parallel cross fusion for infrared and visible images via convolution and vision Transformer
CN113256497B (zh) 图像重建方法及系统
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
CN116258632A (zh) 一种基于文本辅助的文本图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant