CN112508794B - 医疗图像超分辨率重建方法及系统 - Google Patents

医疗图像超分辨率重建方法及系统 Download PDF

Info

Publication number
CN112508794B
CN112508794B CN202110145097.5A CN202110145097A CN112508794B CN 112508794 B CN112508794 B CN 112508794B CN 202110145097 A CN202110145097 A CN 202110145097A CN 112508794 B CN112508794 B CN 112508794B
Authority
CN
China
Prior art keywords
feature
layer
features
output
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110145097.5A
Other languages
English (en)
Other versions
CN112508794A (zh
Inventor
郭克华
朱翡虹
任盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110145097.5A priority Critical patent/CN112508794B/zh
Publication of CN112508794A publication Critical patent/CN112508794A/zh
Application granted granted Critical
Publication of CN112508794B publication Critical patent/CN112508794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种医疗图像超分辨率重建方法及系统，构建一个蒸馏渐进式细化模块，逐步提取层次结构特征，并能够通过对比度感知注意力模块协作，逐步筛选出最有用的特征信息，这不仅能提取深层特征，还能保留图像高频部分，如边缘、结构等，最终经过组合式上采样模块，可将低分辨率医疗图像重建成边缘、细节信息清晰的超分辨率图像，能够提升医疗图像超分辨率效率（重建单张图像的时间约为38毫秒）。经过实验证明，本发明的基于多重特征蒸馏的医疗图像超分辨率方法，能够提升医疗超分辨率图像的质量和效率，图像的客观指标和重建时间都优于对比的方法，模型的参数量相对于对比模型少了6倍左右。

Description

医疗图像超分辨率重建方法及系统
技术领域
本发明涉及图像处理技术，特别是一种医疗图像超分辨率重建方法及系统。
背景技术
随着计算机技术和现代医学技术的发展，人工智能技术广泛应用于医疗领域。基于卷积神经网络CNN的辅助诊断模型对共聚焦激光扫描显微镜产生的皮肤病图像分类几乎与皮肤科医生的分类一样准确[1]。在CNN的基础上，美国电信开发了远程医疗，医生可以通过在线视频通信与有需要的患者进行交流，为患者提供诊疗选择；现有的远程医疗系统为我国癌症、心血管疾病、家族遗传病等重大疾病患者提供美国顶级医疗机构的专家医疗建议诊断；在新冠肺炎疫情的之下，美国已全面开放患者跨州接受远程医疗，加州大学三藩市分校(UCSF)为流感设计的数字医疗工具正用于新冠病毒感染患者的分类，不管是在门诊环境中的姑息治疗和非姑息治疗患者还是非门诊的远程会诊环境，都可通过数字医疗远程会诊[2]。在远程医疗等领域，高质量的医疗影像是为患者提供准确治疗选择的重要基础。受目前的硬件制造流程、硬件成本、地域经济等限制，不论是三甲医院，还是基层医院，都会存在部分医疗设备的成像分辨率较低的问题。直接在终端设备上采样低分辨率图像会导致图像模糊，一些小病灶如冠状动脉狭窄、早期肺部肿瘤等无法识别，影响医生观察患者的病灶部位并对其做出准确的诊断。超分辨率方法能够在上采样低分辨率图像的同时保证图像的清晰，能辅助医生更准确地查看病变部位情况。
目前，图像超分辨率方法多是基于深度学习的，如DRCN、VDSR、EDSR[3][4][5]。这些基于深度学习的图像超分辨率方法在单图像超分辨率重建上取得优秀的成果，但它们并不适合直接用于医疗图像超分辨率，因为这些方法忽略了边缘、纹理等高频信息，不能很好地重建出医疗图像病灶部位边缘信息。深度递归网络(DRCN）、深度递归残差网络(DRRN)、深度密集反投影网络(D-DBPN)、串联残差网络(CARN)、基于结构保留的超分辨率网络(SPSR)等是最近被提出的先进超分辨率方法。DRCN采用多次利用相同的卷积层的方式，去学习更多的特征，在增加递归次数的同时，保持网络的参数量不变[6]；DRRN在CNN模型的基础上，加入递归和残差块，模型的深度达到52层，该模型采用增加模型参数复杂度来提升性能，这个体系结构与之前方法在改进趋势中是一致的，都是用更深层的递归结构和残差学习来为模型的学习提供支持[7]。D-DBPN提出一种上下反投影结构，通过交替使用反投影结构的方式来学习LR和HR图像之间的反馈误差，引导模型专注于对丢失的精细细节的重建，该方法填补了目前大多数前馈式网络缺乏反馈机制的空白[8]。CARN应用残差块去学习低分辨率输入和高分辨率输出之间的映射关系，提出了局部和全局级联的方式，充分利用每个特征图的信息[9]。SPSR提出结构保留网络，引用一个额外的梯度分支网络来约束图像梯度信息，该模型是基于GAN网络，虽然能保留更精细的结构，能够生成清晰的高分辨率图像[10]。这些方法[6][7][8][9][10]利用残差补全、递归学习及梯度学习等各种方式去学习输入图像的更多信息，虽然提高了图像超分辨率重建的效果，但牺牲了计算效率，不能兼顾质量和效率，不适合直接用于医疗图像超分重建。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种医疗图像超分辨率重建方法及系统，在保证重建精度的同时，提高计算效率。
为解决上述技术问题，本发明所采用的技术方案是：一种医疗图像超分辨率重建方法，包括以下步骤：
1）将医疗图像输入到超分辨率网络中，提取出浅层特征
Figure DEST_PATH_IMAGE001
；
2）将所述浅层特征
Figure 972177DEST_PATH_IMAGE001
输入第一个渐进式细化模块，将第一渐进式细化模块的输出作为第二个渐进式细化模块的输入，依此类推，直至得到第L个渐进式细化模块的输出；
3）对L个渐进式细化模块输出的特征降维，利用降维后的特征得到重建后的特征，且所述重建后的特征的维度与所述浅层特征
Figure 444747DEST_PATH_IMAGE001
的维度相同。
对医疗图像进行初始特征提取，是将输入图像从图像空间转换到多维的特征空间，为下一步的卷积层进行特征提取做准备，提高计算效率。适当地采用多个渐进式细化模块的方式可增加网络的深度，以学习到更高层次更抽象的特征，使网络获得拟合复杂问题的表征能力。
所述L个渐进式细化模块的结构相同；其中，第一个渐进式细化模块对所述浅层特征
Figure 495880DEST_PATH_IMAGE001
进行包括如下步骤的处理：
A）对所述浅层特征
Figure 421110DEST_PATH_IMAGE001
进行卷积操作，得到特征
Figure 100002_DEST_PATH_IMAGE002
，复制所述特征
Figure 832369DEST_PATH_IMAGE002
，得到两份特征
Figure 893866DEST_PATH_IMAGE002
；
B）对于其中一份特征，将该份特征分组，获取每组的权重值，并将所述权重值从高到低排序，选取权重值排名最前的M组特征作为保留部分，该保留部分即为蒸馏特征；
C）对于另一份特征，执行步骤A）、B）的操作；
D）重复步骤C）K次，融合所有的蒸馏特征和第K次迭代后得到的细化特征，得到第一融合特征，将所述第一融合特征依次输入到对比度感知通道注意力层和卷积层，卷积层的输出再加上浅层特征
Figure 178217DEST_PATH_IMAGE001
，得到第一个渐进式细化模块的输出
Figure DEST_PATH_IMAGE003
；其中，K＞1。
在渐进式细化模块中，通过将中间特征分成两部分，一部分被保留，一部分做送入卷积层进一步处理，以便提取更好的细化特征，在最后的融合所有特征，有效地将当前信息与部分保留的残差信息聚合在一起，避免在蒸馏过程中特征的丢失。
本发明的方法还包括：
4）融合所述重建后的特征与所述浅层特征
Figure 528426DEST_PATH_IMAGE001
，得到第二融合特征
Figure 100002_DEST_PATH_IMAGE004
；
5）将所述第二融合特征
Figure 556425DEST_PATH_IMAGE004
放大至原尺寸的M倍，将放大后的第二融合特征
Figure 426423DEST_PATH_IMAGE004
转换为三维空间的RGB图像，最终输出超分辨率图像
Figure DEST_PATH_IMAGE005
。
将浅层特征与重建后的特征结合起来，补偿残差信息，同时有助于信息在网络内部流动，确保低层次特征信息不会丢失，提高网络的灵敏度。
步骤3）的具体实现过程包括：对所述L个渐进式细化模块输出的特征进行卷积操作，得到重建后的特征。将得到的L个特征输入到1x1的卷积，以达到高效地压缩特征信息的通道，减少整个网络的信道总数，以约束网络参数量，保持网络轻量级的结构。
本发明还提供了一种医疗图像超分辨率重建系统，其包括：
第一卷积层，用于提取原始医疗图像的浅层特征
Figure 616096DEST_PATH_IMAGE001
；
L个级联的渐进式细化模块，其中第一个渐进式细化模块以所述浅层特征
Figure 453602DEST_PATH_IMAGE001
为输入，第二个渐进式细化模块以所述第一个渐进式细化模块的输出为输入；
第二卷积层，用于对L个渐进式细化模块的输出特征降维；
第三卷积层，用于对第二卷积层输出的降维后的特征进行重建，得到重建后的特征。
所述L个渐进式细化模块的结构相同；其中，第一个渐进式细化模块包括：
输入卷积层，用于对所述浅层特征
Figure 19713DEST_PATH_IMAGE001
进行卷积操作，得到特征
Figure 321381DEST_PATH_IMAGE002
，复制所述特征
Figure 681955DEST_PATH_IMAGE002
，得到两份特征；
多个级联的细化单元，每个细化单元包括一个注意力层和一个分卷积层；相邻的两个细化单元中，上一细化单元的分卷积层与下一细化单元的注意力层、分卷积层连接；所述注意力层执行以下操作：对于其中一份特征，将该份特征分组，获取每组的权重值，并将所述权重值从高到低排序，选取权重值排名最前的M组特征作为保留部分，该保留部分即为蒸馏特征；最后一个分卷积层输出细化特征；
融合层，用于融合每个所述细化单元输出的蒸馏特征和最后一个分卷积层输出的细化特征；
输出注意力层，输入端与所述融合层连接，输出端连接输出卷积层；
输出卷积层，对所述输出注意力层输出的特征进行卷积操作；
叠加单元，用于将所述输出卷积层的输出加上浅层特征
Figure 256025DEST_PATH_IMAGE001
，得到第一个渐进式细化模块的输出
Figure 625827DEST_PATH_IMAGE003
。
本发明的系统还包括：
上采样模块，用于融合所述重建后的特征与浅层特征
Figure 516422DEST_PATH_IMAGE001
，得到第二融合特征
Figure 251160DEST_PATH_IMAGE004
；将所述第二融合特征
Figure 859996DEST_PATH_IMAGE004
放大至原尺寸的4倍；
第四卷积层，用于将放大后的第二融合特征
Figure 33488DEST_PATH_IMAGE004
转换为三维空间的RGB图像，最终输出超分辨率图像
Figure 670268DEST_PATH_IMAGE005
。
作为一个发明构思，本发明还提供了一种医疗图像超分辨率重建系统，包括计算机设备；所述计算机设备被配置或编程为用于执行上述方法的步骤。
与现有技术相比，本发明所具有的有益效果为：本发明采用人工智能中的深度学习方法，结合图像超分辨率技术，实现了利用轻量化模型重建清晰的医疗图像。本发明方法构建一个蒸馏渐进式细化模块，逐步提取层次结构特征，并能够通过对比度感知注意力模块协作，逐步筛选出最有用的特征信息，这不仅能提取深层特征，还能保留图像高频部分，如边缘、结构等，最终经过组合式上采样模块，可将低分辨率医疗图像重建成边缘、细节信息清晰（相对于插值法、基于残差网络或递归网络的方法等）的超分辨率图像，能够提升医疗图像超分辨率效率（重建单张图像的时间约为38毫秒）。经过实验证明，本发明的基于多重特征蒸馏的医疗图像超分辨率方法，能够提升医疗超分辨率图像的质量和效率，图像的客观指标（峰值信噪比PSNR和结构相似度SSIM）和重建时间都优于现有的方法（EDSR、DRCN、DDRN、CARN、SPSR），模型的参数量相对于现有模型少了6倍左右。
附图说明
图1为渐进式细化模块结构框图；
图2为本发明实施例系统结构框图。
具体实施方式
本发明提出一种多重蒸馏的机制，通过使用不同的卷积层提取图像的特征信息，并将提取到的特征信息蒸馏到不同的分支中。每经过卷积层，都会蒸馏出不同的特征信息，这种逐步蒸馏的结构不仅能大大地减少参数量，还能扩大图像的感受野，提取更多的信息，从而构建出轻量级超分模型。针对现有超分辨率模型重建的医疗图像的高频信息不清晰的问题，本发明提出一种基于对比度感知注意力机制(CCA)的选择特征策略，根据CCA层能选择出拥有更多有用信息的特征图，作为保留部分，并将全部的特征图继续送入下一层学习，在最后使用1x1卷积层将所有特征融合，充分挖掘低分辨率图像和超分辨率图像之间的映射关系，从而重建出高频信息清晰的医疗超分图像。针对现有超分辨率方法上采样层对特征图空间的深度信息利用不充分的问题，本发明提出一种最近邻插值和亚像素卷积组合的上采样模块，该模块能提高特征在空间和深度之间的信息交流，使得图像在进行空间转换的同时，也能保持好深度信息。经过组合式上采样结构，最终能重建出具有丰富细节且清晰的超分辨率图像。本模型不仅轻量化，而且避免了使用堆叠网络层次、递归方式或者参数共享策略等方法挖掘低分辨率图像和高分辨率图像之间的非线性映射，能达到与目前最先进方法性能基本一致的效果，以适应高效率的医疗图像超分辨率重建。
具体地，本发明图像超分辨率方法包括三个步骤：初始特征提取、精细特征学习和超分辨率重建。初始特征提取是将输入图像从图像空间转换到多维的特征空间，其仅对图像浅层特征进行粗提取。精细特征学习是由一个渐进式细化学习模块对浅层特征进行再学习，提取更深层次的特征，比如，结构，边缘信息等。超分辨率重建包含两个部分，一是上采样，二是重建，使用前面结构学习到的多层特征作为输入，将特征图上采样至固定的放大倍数，最后重建出图像空间的超分辨率图像。为了训练出端到端的医疗图像超分辨率模型，本发明在DIV2K数据集上，使用双三次插值将图像缩放成4倍大小的HR和LR图像对，并随机裁剪为48x48大小的图像块作为模型的输入，设置批次大小为16，初始学习率为2e-4，每2000轮调整一次学习率，采用ADAM优化器对模型参数进行优化。
为了提升医疗图像超分辨率重建的效率和质量，本发明在信息蒸馏提取[11]基础上，提出一种基于多重特征蒸馏的医疗图像超分辨率网络结构AMDN(Attention MechanismDistillation Networks)。本发明系统结构图如图2所示。AMDN包括特征粗提取，特征融合与精细提取、超分辨率重建三个部分，首先使用一个3x3的卷积层对输入图像进行初提取，并将输入图像转换到64维的特征空间，直接作为下一模块的输入；其次通过构建蒸馏和级联结合的渐进细化模块(distilling-cascading progressive refinement module, DC-PRM)，在每一步，我们使用对比度感知注意力层(CCA)来选择出最好的特征图保留下来，同时不删减保留的部分，将全部特征继续送入下一个计算单元，保留下来的特征可视为细化特征，最后再将特征融合起来。本发明提出设置1个初始提取单元，6个蒸馏级联的渐进式细化模块，1个上采样单元(由最近邻插值和亚像素卷积组合而成，上采样因子为4倍)和1个重建单元的超分辨率网络，首先提供1个初始层提取浅层特征，再通过6个渐进细化模块学习提取出最好的细化特征，最后通过1个上采样单元，把特征图从低维空间放大到高维空间，再使用一个卷积层重建出超分辨率图像。
医疗图像超分辨率重建中初始特征提取、精细特征学习、上采样和重建的步骤如下：
第一步：初始特征提取，把医疗图像输入到超分辨率网络中，经过一个3x3的卷积层提取出64维的浅层特征
Figure 100002_DEST_PATH_IMAGE006
。
第二步：将第一步输出的浅层特征
Figure 638224DEST_PATH_IMAGE006
输入到渐进式细化模块[12]中。
第三步：在渐进式细化模块中，先经过一个3x3的卷积层，输出一个64维的特征
Figure DEST_PATH_IMAGE007
，然后进行拆分学习，将
Figure 921307DEST_PATH_IMAGE007
复制一份，分别输入到左分支和右分支。
第四步：左分支，使用基于对比度感知通道注意力层[12](CCA，本发明提及的所有注意力层即对比度感知通道注意力层)的图像对比度信息作为决策标准。将64维的特征
Figure 632911DEST_PATH_IMAGE007
分成8组，每组4个特征，经过CCA得到8组的权重值，将其值从高到低排序，选出权重值排名前25%的2组特征图像作为保留部分，该部分称为蒸馏特征
Figure 100002_DEST_PATH_IMAGE008
。
第五步：右分支，将64维的特征
Figure 435782DEST_PATH_IMAGE007
，传入一个3x3卷积层再次提取更深层次的特征，得到细化特征
Figure DEST_PATH_IMAGE009
。
第六步：重复执行第三至五步三次，将每步输出的蒸馏特征
Figure 574639DEST_PATH_IMAGE008
和细化特征
Figure 846483DEST_PATH_IMAGE009
融合后，输入一个CCA层和一个3x3卷积层，整合多重蒸馏得到的结果，再与第二步输出的
Figure 96199DEST_PATH_IMAGE007
作融合，避免在蒸馏过程中特征的丢失，最后输出渐进式细化模块的结果
Figure 100002_DEST_PATH_IMAGE010
。
第七步：第二至六步为渐进式细化模块，因为本模型设置了六个渐进式细化模块（设置4或6个模块较为合适，并且6个模块的效果更好），所以，需要重复执行第二至六步的渐进式细化模块五次，完成后输出六个64维的特征
Figure DEST_PATH_IMAGE011
。
第八步：将第七步的六个特征
Figure 19155DEST_PATH_IMAGE011
送入一个1x1的卷积将384的高维度特征降低为64维，再送入一个3x3的卷积，重建出一个64维的特征。
第九步：同样地，为了避免在多次渐进学习过程中的某些特征的丢失，在第八步完成后，将其重建后的特征与第一步的浅层特征
Figure 328914DEST_PATH_IMAGE006
进行融合，得到具有丰富特征信息的融合特征
Figure 100002_DEST_PATH_IMAGE012
。
第十步：将融合特征
Figure 586589DEST_PATH_IMAGE012
送入由最近邻上采样单元和亚像素卷积单元组合而成的上采样模块，先由最近邻上采样单元对融合特征
Figure 639995DEST_PATH_IMAGE012
插值放大2倍，再由亚像素卷积单元继续放大2倍，从而得到大小是原来尺寸的4倍的融合特征
Figure DEST_PATH_IMAGE013
，该模块加强特征图在空间和深度之间的联系，实现从低分辨率特征图到超分辨率特征图的非线性映射。
第十一步：重建，在模型的最后设置一层3x3卷积层，将第十步上采样模块插值放大的多维特征
Figure 417458DEST_PATH_IMAGE013
转换为三维空间的RGB图像，最终输出具有清晰细节的超分辨率图像
Figure 100002_DEST_PATH_IMAGE014
。
本发明实施例实验在Ubuntu Server 16.04 x64系统上完成，训练使用NVIDIATitan_Xp 12G的GPU。训练和测试过程均采用PyTorch深度学习框架，训练过程中采取Adam优化方法。数据来自DIV2K数据集的800张训练图像和100张验证图像。我们设置每次输入的最小批次为16，并从低分辨率图像中随机裁剪出长宽为48大小的图片块作为输入，因此，其对应的高分辨率图像块的尺寸为192x192。在实验中，模型参数的优化是采用动量参数为0.9的Adam优化器，学习率初始值设置为2e-4，每2000轮调整一次学习率。
具体的实验内容为：
1）没有多重蒸馏的基础模块训练。为了验证多重蒸馏模块的有效性，实验采用去除多重蒸馏模块，直接训练基础模型。实验结果表明不使用多重蒸馏的超分辨率网络不能学习到更多的特征信息，重建的PSNR值在Set5测试集上仅有29.88dB。
2）完整的多重蒸馏模型与无蒸馏模块的训练对比。为了验证多重蒸馏模块的有效性，实验采用去除多重蒸馏模块，直接训练基础模型。实验表明，本发明设计的多重蒸馏模块能学习到图像的更多特征信息，相对基础模型能够提升1.92dB PSNR值。
3）不同分组的蒸馏策略对性能的影响。分别设置组数为4、8、16，即调整组别的数量，对于4、8、16组别，最终对应的选择保留的特征组数为1、2、4。实验结果表明组别越多，说明筛选的特征图就越精细，保留下来的特征就越优。无疑，当组数在16的时候基本就能取得最高的性能。
4）单一的上采样方式与组合式上采样方式对性能的影响。本实验将验证不同的上采样方式对性能的影响，分别设置模型的上采样为单一的最近邻插值或亚像素卷积进行训练，对比将两者组合的训练。实验结果表明组合式的上采样方式重建出来的超分辨率图像，在视觉效果上相对更清晰。
参考文献：
[1] Guo K, Li T, Huang R, et al. DDA: A deep neural network-basedcognitive system for IoT-aided dermatosis discrimination. Ad Hoc Networks,2018, 80: 95-103.018
[2]BrookCalton, NauzleyAbedini, Michael Fratkin. Telemedicine in theTime of Coronavirus,Journal of Pain and Symptom Management, 2020, 60: e12-e14.
[3]Kim J, Kwon Lee J, Mu Lee K. Deeply-recursive convolutionalnetwork for image super-resolution. //In CVPR, pages 1646-1654. IEEE ComputerSociety, 2016.
[4]Kim J, Kwon Lee J, Mu Lee K. Accurate image super-resolution usingvery deep convolutional networks. //Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition, 2016: 1646-1654.
[5]Bee Lim, Sanghyun Son, Heewon Kim, Seungjun Nah, and Kyoung MuLee. Enhanced Deep Residual Networks for Single Image SR. 10.1109/CVPRW.2017.151:136-144.
[6] J. Kim, J. Kwon Lee, and K. Mu Lee, “Deeply-recursiveconvolutional network for image super-resolution,” in CVPR, 2016.
[7] Y. Tai, J. Yang, and X. Liu, “Image super-resolution via deeprecursive residual network,” in CVPR, 2017.
[8] M. Haris, G. Shakhnarovich, and N. Ukita, “Deep backprojectionnetworks for super-resolution,” in CVPR, 2018.
[9] N. Ahn, B. Kang, and K.-A. Sohn, “Fast, accurate, and,lightweight super-resolution with cascading residual network,” ECCV, 2018.
[10] Cheng Ma, Yongming Rao, Yean Cheng, Ce Chen, Jiwen Lu, Jie Zhou.Structure-Preserving Super Resolution with Gradient Guidance. CoRR abs/2003.13081 (2020)
[11] Zheng Hui, Xiumei Wang, and XinboGao. 2018. Fast and AccurateSingle ImageSuper-Resolution via Information Distillation Network. In IEEEConference onComputer Vision and Pattern Recognition (CVPR). 723–731.
[12] Hui, Zheng &Gao, Xinbo& Yang, Yunchu& Wang, Xiumei. (2019).Lightweight Image Super-Resolution with Information Multi-distillationNetwork.

Claims (7)

1.一种医疗图像超分辨率重建方法，其特征在于，包括以下步骤：
1）将医疗图像输入到超分辨率网络中，提取出浅层特征
Figure DEST_PATH_IMAGE002
；
2）将所述浅层特征
Figure 116390DEST_PATH_IMAGE002
输入第一个渐进式细化模块，将第一渐进式细化模块的输出作为第二个渐进式细化模块的输入，依此类推，直至得到第L个渐进式细化模块的输出；
3）对L个渐进式细化模块输出的特征降维，利用降维后的特征得到重建后的特征，且所述重建后的特征的维度与所述浅层特征
Figure 751640DEST_PATH_IMAGE002
的维度相同；
其中，所述L个渐进式细化模块的结构相同；其中，第一个渐进式细化模块对所述浅层特征
Figure 265798DEST_PATH_IMAGE002
进行包括如下步骤的处理：
A）对所述浅层特征
Figure 129849DEST_PATH_IMAGE002
进行卷积操作，得到特征
Figure DEST_PATH_IMAGE004
，复制所述特征
Figure 147483DEST_PATH_IMAGE004
，得到两份特征
Figure 704367DEST_PATH_IMAGE004
；
B）对于其中一份特征，将该份特征分组，获取每组的权重值，并将所述权重值从高到低排序，选取权重值排名最前的M组特征作为保留部分，该保留部分即为蒸馏特征；
C）对另一份特征进行卷积操作，得到细化特征，对所述细化特征执行步骤A）、B）的操作；
D）重复步骤C）K次，融合所有的蒸馏特征和和所有的细化特征，得到第一融合特征，将所述第一融合特征依次输入到对比度感知通道注意力层和卷积层，卷积层的输出再加上浅层特征
Figure 190974DEST_PATH_IMAGE002
，得到第一个渐进式细化模块的输出
Figure DEST_PATH_IMAGE006
；其中，K＞1；
4）融合所述重建后的特征与所述浅层特征
Figure 593136DEST_PATH_IMAGE002
，得到第二融合特征
Figure DEST_PATH_IMAGE008
；
5）将所述第二融合特征
Figure 465277DEST_PATH_IMAGE008
放大至原尺寸的M倍，将放大后的第二融合特征
Figure 176750DEST_PATH_IMAGE008
转换为三维空间的RGB图像，最终输出超分辨率图像
Figure DEST_PATH_IMAGE010
。
2.根据权利要求1所述的医疗图像超分辨率重建方法，其特征在于，步骤3）的具体实现过程包括：对所述L个渐进式细化模块输出的特征进行卷积操作，得到重建后的特征。
3.根据权利要求1 或2所述的医疗图像超分辨率重建方法，其特征在于，L=4～6。
4.一种医疗图像超分辨率重建系统，其特征在于，包括：
第一卷积层，用于提取原始医疗图像的浅层特征
Figure 399921DEST_PATH_IMAGE002
；
L个级联的渐进式细化模块，其中第一个渐进式细化模块以所述浅层特征
Figure DEST_PATH_IMAGE012
为输入，第二个渐进式细化模块以所述第一个渐进式细化模块的输出为输入；
第二卷积层，用于对L个渐进式细化模块的输出特征降维；
第三卷积层，用于对第二卷积层输出的降维后的特征进行重建，得到重建后的特征；
其中，所述L个渐进式细化模块的结构相同；其中，第一个渐进式细化模块包括：
输入卷积层，用于对所述浅层特征
Figure 340195DEST_PATH_IMAGE002
进行卷积操作，得到特征
Figure DEST_PATH_IMAGE014
，复制所述特征
Figure 838083DEST_PATH_IMAGE014
，得到两份特征；
多个级联的细化单元，每个细化单元包括一个注意力层和一个分卷积层；相邻的两个细化单元中，上一细化单元的分卷积层与下一细化单元的注意力层、分卷积层连接；所述注意力层执行以下操作：对于其中一份特征，将该份特征分组，获取每组的权重值，并将所述权重值从高到低排序，选取权重值排名最前的M组特征作为保留部分，该保留部分即为蒸馏特征；对另一份特征进行卷积操作，得到细化特征，将所述细化特征作为输入卷积层的输入；
融合层，用于融合每个所述细化单元输出的蒸馏特征和所有的细化特征；
输出注意力层，输入端与所述融合层连接，输出端连接输出卷积层；
输出卷积层，对所述输出注意力层输出的特征进行卷积操作；
叠加单元，用于将所述输出卷积层的输出加上浅层特征
Figure 736769DEST_PATH_IMAGE002
，得到第一个渐进式细化模块的输出
Figure 712815DEST_PATH_IMAGE006
。
5.根据权利要求4所述的医疗图像超分辨率重建系统，其特征在于，还包括：
上采样模块，用于融合所述重建后的特征与浅层特征
Figure 456780DEST_PATH_IMAGE002
，得到第二融合特征
Figure 834672DEST_PATH_IMAGE008
；将所述第二融合特征
Figure 887948DEST_PATH_IMAGE008
放大至原尺寸的4倍；
第四卷积层，用于将放大后的第二融合特征
Figure 85711DEST_PATH_IMAGE008
转换为三维空间的RGB图像，最终输出超分辨率图像
Figure 898946DEST_PATH_IMAGE010
。
6.根据权利要求4或5所述的医疗图像超分辨率重建系统，其特征在于，L=4～6。
7.一种医疗图像超分辨率重建系统，其特征在于，包括计算机设备；所述计算机设备被配置或编程为用于执行权利要求1～3之一所述方法的步骤。
CN202110145097.5A 2021-02-03 2021-02-03 医疗图像超分辨率重建方法及系统 Active CN112508794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145097.5A CN112508794B (zh) 2021-02-03 2021-02-03 医疗图像超分辨率重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145097.5A CN112508794B (zh) 2021-02-03 2021-02-03 医疗图像超分辨率重建方法及系统

Publications (2)

Publication Number Publication Date
CN112508794A CN112508794A (zh) 2021-03-16
CN112508794B true CN112508794B (zh) 2021-04-20

Family

ID=74952501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145097.5A Active CN112508794B (zh) 2021-02-03 2021-02-03 医疗图像超分辨率重建方法及系统

Country Status (1)

Country Link
CN (1) CN112508794B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256497B (zh) * 2021-06-21 2021-09-24 中南大学 图像重建方法及系统
CN113837941B (zh) * 2021-09-24 2023-09-01 北京奇艺世纪科技有限公司 图像超分模型的训练方法、装置及计算机可读存储介质
CN115131242B (zh) * 2022-06-28 2023-08-29 闽江学院 基于注意力与蒸馏机制的轻量级超分辨率重建方法
CN117237190B (zh) * 2023-09-15 2024-03-15 中国矿业大学 用于边缘移动设备的轻量化图像超分辨率重建系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615290B (zh) * 2009-07-29 2012-09-05 西安交通大学 一种基于典型相关分析的人脸图像超分辨率重建方法
WO2013130791A1 (en) * 2012-02-29 2013-09-06 Dana-Farber Cancer Institute, Inc. Compositions, kits, and methods for the identification, assessment, prevention, and therapy of cancer
CN109035252B (zh) * 2018-06-29 2019-09-24 山东财经大学 一种面向医学图像分割的超像素方法
CN110458756A (zh) * 2019-06-25 2019-11-15 中南大学 基于深度学习的模糊视频超分辨率方法及系统
CN110660020B (zh) * 2019-08-15 2024-02-09 天津中科智能识别产业技术研究院有限公司 一种基于融合互信息的对抗生成网络的图像超分辨率方法
CN111353938A (zh) * 2020-02-29 2020-06-30 杭州电子科技大学 一种基于网络反馈的图像超分辨率学习方法
CN111986085A (zh) * 2020-07-31 2020-11-24 南京航空航天大学 一种基于深度反馈注意力网络系统的图像超分辨率方法

Also Published As

Publication number Publication date
CN112508794A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112508794B (zh) 医疗图像超分辨率重建方法及系统
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
Park et al. A dynamic residual self-attention network for lightweight single image super-resolution
Li et al. Dual-stage approach toward hyperspectral image super-resolution
Fu et al. Residual scale attention network for arbitrary scale image super-resolution
CN110889895A (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN111696035A (zh) 一种基于光流运动估计算法的多帧图像超分辨率重建方法
Zhou et al. Cross-MPI: Cross-scale stereo for image super-resolution using multiplane images
Li et al. Wavelet-based texture reformation network for image super-resolution
Cai et al. TDPN: Texture and detail-preserving network for single image super-resolution
Cai et al. HIPA: hierarchical patch transformer for single image super resolution
CN112017116B (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
Wang et al. A group-based embedding learning and integration network for hyperspectral image super-resolution
CN115439329B (zh) 人脸图像超分辨率重建方法及计算机可读取的存储介质
Zhang et al. Deformable and residual convolutional network for image super-resolution
CN114187181B (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
Feng et al. A deep multitask convolutional neural network for remote sensing image super-resolution and colorization
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
Gong et al. Learning deep resonant prior for hyperspectral image super-resolution
Wang et al. Image super-resolution reconstruction based on generative adversarial network model with feedback and attention mechanisms
Liu et al. From coarse to fine: Hierarchical pixel integration for lightweight image super-resolution
Chen et al. Underwater-image super-resolution via range-dependency learning of multiscale features
Yang et al. Hierarchical accumulation network with grid attention for image super-resolution
Lu et al. A lightweight generative adversarial network for single image super-resolution
Li et al. Model-informed Multi-stage Unsupervised Network for Hyperspectral Image Super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant