CN112508794A - 医疗图像超分辨率重建方法及系统 - Google Patents
医疗图像超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN112508794A CN112508794A CN202110145097.5A CN202110145097A CN112508794A CN 112508794 A CN112508794 A CN 112508794A CN 202110145097 A CN202110145097 A CN 202110145097A CN 112508794 A CN112508794 A CN 112508794A
- Authority
- CN
- China
- Prior art keywords
- layer
- output
- feature
- resolution
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000750 progressive effect Effects 0.000 claims abstract description 49
- 238000004821 distillation Methods 0.000 claims abstract description 33
- 230000008447 perception Effects 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 13
- 238000007670 refining Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 abstract description 14
- 238000002474 experimental method Methods 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000004176 Alphacoronavirus Species 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 201000000057 Coronary Stenosis Diseases 0.000 description 1
- 206010011089 Coronary artery stenosis Diseases 0.000 description 1
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 206010022000 influenza Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000009385 viral infection Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种医疗图像超分辨率重建方法及系统,构建一个蒸馏渐进式细化模块,逐步提取层次结构特征,并能够通过对比度感知注意力模块协作,逐步筛选出最有用的特征信息,这不仅能提取深层特征,还能保留图像高频部分,如边缘、结构等,最终经过组合式上采样模块,可将低分辨率医疗图像重建成边缘、细节信息清晰的超分辨率图像,能够提升医疗图像超分辨率效率(重建单张图像的时间约为38毫秒)。经过实验证明,本发明的基于多重特征蒸馏的医疗图像超分辨率方法,能够提升医疗超分辨率图像的质量和效率,图像的客观指标和重建时间都优于对比的方法,模型的参数量相对于对比模型少了6倍左右。
Description
技术领域
本发明涉及图像处理技术,特别是一种医疗图像超分辨率重建方法及系统。
背景技术
随着计算机技术和现代医学技术的发展,人工智能技术广泛应用于医疗领域。基于卷积神经网络CNN的辅助诊断模型对共聚焦激光扫描显微镜产生的皮肤病图像分类几乎与皮肤科医生的分类一样准确[1]。在CNN的基础上,美国电信开发了远程医疗,医生可以通过在线视频通信与有需要的患者进行交流,为患者提供诊疗选择;现有的远程医疗系统为我国癌症、心血管疾病、家族遗传病等重大疾病患者提供美国顶级医疗机构的专家医疗建议诊断;在新冠肺炎疫情的之下,美国已全面开放患者跨州接受远程医疗,加州大学三藩市分校(UCSF)为流感设计的数字医疗工具正用于新冠病毒感染患者的分类,不管是在门诊环境中的姑息治疗和非姑息治疗患者还是非门诊的远程会诊环境,都可通过数字医疗远程会诊[2]。在远程医疗等领域,高质量的医疗影像是为患者提供准确治疗选择的重要基础。受目前的硬件制造流程、硬件成本、地域经济等限制,不论是三甲医院,还是基层医院,都会存在部分医疗设备的成像分辨率较低的问题。直接在终端设备上采样低分辨率图像会导致图像模糊,一些小病灶如冠状动脉狭窄、早期肺部肿瘤等无法识别,影响医生观察患者的病灶部位并对其做出准确的诊断。超分辨率方法能够在上采样低分辨率图像的同时保证图像的清晰,能辅助医生更准确地查看病变部位情况。
目前,图像超分辨率方法多是基于深度学习的,如DRCN、VDSR、EDSR[3][4][5]。这些基于深度学习的图像超分辨率方法在单图像超分辨率重建上取得优秀的成果,但它们并不适合直接用于医疗图像超分辨率,因为这些方法忽略了边缘、纹理等高频信息,不能很好地重建出医疗图像病灶部位边缘信息。深度递归网络(DRCN)、深度递归残差网络(DRRN)、深度密集反投影网络(D-DBPN)、串联残差网络(CARN)、基于结构保留的超分辨率网络(SPSR)等是最近被提出的先进超分辨率方法。DRCN采用多次利用相同的卷积层的方式,去学习更多的特征,在增加递归次数的同时,保持网络的参数量不变[6];DRRN在CNN模型的基础上,加入递归和残差块,模型的深度达到52层,该模型采用增加模型参数复杂度来提升性能,这个体系结构与之前方法在改进趋势中是一致的,都是用更深层的递归结构和残差学习来为模型的学习提供支持[7]。D-DBPN提出一种上下反投影结构,通过交替使用反投影结构的方式来学习LR和HR图像之间的反馈误差,引导模型专注于对丢失的精细细节的重建,该方法填补了目前大多数前馈式网络缺乏反馈机制的空白[8]。CARN应用残差块去学习低分辨率输入和高分辨率输出之间的映射关系,提出了局部和全局级联的方式,充分利用每个特征图的信息[9]。SPSR提出结构保留网络,引用一个额外的梯度分支网络来约束图像梯度信息,该模型是基于GAN网络,虽然能保留更精细的结构,能够生成清晰的高分辨率图像[10]。这些方法[6][7][8][9][10]利用残差补全、递归学习及梯度学习等各种方式去学习输入图像的更多信息,虽然提高了图像超分辨率重建的效果,但牺牲了计算效率,不能兼顾质量和效率,不适合直接用于医疗图像超分重建。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种医疗图像超分辨率重建方法及系统,在保证重建精度的同时,提高计算效率。
为解决上述技术问题,本发明所采用的技术方案是:一种医疗图像超分辨率重建方法,包括以下步骤:
对医疗图像进行初始特征提取,是将输入图像从图像空间转换到多维的特征空间,为下一步的卷积层进行特征提取做准备,提高计算效率。适当地采用多个渐进式细化模块的方式可增加网络的深度,以学习到更高层次更抽象的特征,使网络获得拟合复杂问题的表征能力。
B)对于其中一份特征,将该份特征分组,获取每组的权重值,并将所述权重值从高到低排序,选取权重值排名最前的M组特征作为保留部分,该保留部分即为蒸馏特征;
C)对于另一份特征,执行步骤A)、B)的操作;
D)重复步骤C)K次,融合所有的蒸馏特征和第K次迭代后得到的细化特征,得到第一融合特征,将所述第一融合特征依次输入到对比度感知通道注意力层和卷积层,卷积层的输出再加上浅层特征,得到第一个渐进式细化模块的输出;其中,K>1。
在渐进式细化模块中,通过将中间特征分成两部分,一部分被保留,一部分做送入卷积层进一步处理,以便提取更好的细化特征,在最后的融合所有特征,有效地将当前信息与部分保留的残差信息聚合在一起,避免在蒸馏过程中特征的丢失。
本发明的方法还包括:
将浅层特征与重建后的特征结合起来,补偿残差信息,同时有助于信息在网络内部流动,确保低层次特征信息不会丢失,提高网络的灵敏度。
步骤3)的具体实现过程包括:对所述L个渐进式细化模块输出的特征进行卷积操作,得到重建后的特征。将得到的L个特征输入到1x1的卷积,以达到高效地压缩特征信息的通道,减少整个网络的信道总数,以约束网络参数量,保持网络轻量级的结构。
本发明还提供了一种医疗图像超分辨率重建系统,其包括:
第二卷积层,用于对L个渐进式细化模块的输出特征降维;
第三卷积层,用于对第二卷积层输出的降维后的特征进行重建,得到重建后的特征。
所述L个渐进式细化模块的结构相同;其中,第一个渐进式细化模块包括:
多个级联的细化单元,每个细化单元包括一个注意力层和一个分卷积层;相邻的两个细化单元中,上一细化单元的分卷积层与下一细化单元的注意力层、分卷积层连接;所述注意力层执行以下操作:对于其中一份特征,将该份特征分组,获取每组的权重值,并将所述权重值从高到低排序,选取权重值排名最前的M组特征作为保留部分,该保留部分即为蒸馏特征;最后一个分卷积层输出细化特征;
融合层,用于融合每个所述细化单元输出的蒸馏特征和最后一个分卷积层输出的细化特征;
输出注意力层,输入端与所述融合层连接,输出端连接输出卷积层;
输出卷积层,对所述输出注意力层输出的特征进行卷积操作;
本发明的系统还包括:
作为一个发明构思,本发明还提供了一种医疗图像超分辨率重建系统,包括计算机设备;所述计算机设备被配置或编程为用于执行上述方法的步骤。
与现有技术相比,本发明所具有的有益效果为:本发明采用人工智能中的深度学习方法,结合图像超分辨率技术,实现了利用轻量化模型重建清晰的医疗图像。本发明方法构建一个蒸馏渐进式细化模块,逐步提取层次结构特征,并能够通过对比度感知注意力模块协作,逐步筛选出最有用的特征信息,这不仅能提取深层特征,还能保留图像高频部分,如边缘、结构等,最终经过组合式上采样模块,可将低分辨率医疗图像重建成边缘、细节信息清晰(相对于插值法、基于残差网络或递归网络的方法等)的超分辨率图像,能够提升医疗图像超分辨率效率(重建单张图像的时间约为38毫秒)。经过实验证明,本发明的基于多重特征蒸馏的医疗图像超分辨率方法,能够提升医疗超分辨率图像的质量和效率,图像的客观指标(峰值信噪比PSNR和结构相似度SSIM)和重建时间都优于现有的方法(EDSR、DRCN、DDRN、CARN、SPSR),模型的参数量相对于现有模型少了6倍左右。
附图说明
图1为渐进式细化模块结构框图;
图2为本发明实施例系统结构框图。
具体实施方式
本发明提出一种多重蒸馏的机制,通过使用不同的卷积层提取图像的特征信息,并将提取到的特征信息蒸馏到不同的分支中。每经过卷积层,都会蒸馏出不同的特征信息,这种逐步蒸馏的结构不仅能大大地减少参数量,还能扩大图像的感受野,提取更多的信息,从而构建出轻量级超分模型。针对现有超分辨率模型重建的医疗图像的高频信息不清晰的问题,本发明提出一种基于对比度感知注意力机制(CCA)的选择特征策略,根据CCA层能选择出拥有更多有用信息的特征图,作为保留部分,并将全部的特征图继续送入下一层学习,在最后使用1x1卷积层将所有特征融合,充分挖掘低分辨率图像和超分辨率图像之间的映射关系,从而重建出高频信息清晰的医疗超分图像。针对现有超分辨率方法上采样层对特征图空间的深度信息利用不充分的问题,本发明提出一种最近邻插值和亚像素卷积组合的上采样模块,该模块能提高特征在空间和深度之间的信息交流,使得图像在进行空间转换的同时,也能保持好深度信息。经过组合式上采样结构,最终能重建出具有丰富细节且清晰的超分辨率图像。本模型不仅轻量化,而且避免了使用堆叠网络层次、递归方式或者参数共享策略等方法挖掘低分辨率图像和高分辨率图像之间的非线性映射,能达到与目前最先进方法性能基本一致的效果,以适应高效率的医疗图像超分辨率重建。
具体地,本发明图像超分辨率方法包括三个步骤:初始特征提取、精细特征学习和超分辨率重建。初始特征提取是将输入图像从图像空间转换到多维的特征空间,其仅对图像浅层特征进行粗提取。精细特征学习是由一个渐进式细化学习模块对浅层特征进行再学习,提取更深层次的特征,比如,结构,边缘信息等。超分辨率重建包含两个部分,一是上采样,二是重建,使用前面结构学习到的多层特征作为输入,将特征图上采样至固定的放大倍数,最后重建出图像空间的超分辨率图像。为了训练出端到端的医疗图像超分辨率模型,本发明在DIV2K数据集上,使用双三次插值将图像缩放成4倍大小的HR和LR图像对,并随机裁剪为48x48大小的图像块作为模型的输入,设置批次大小为16,初始学习率为2e-4,每2000轮调整一次学习率,采用ADAM优化器对模型参数进行优化。
为了提升医疗图像超分辨率重建的效率和质量,本发明在信息蒸馏提取[11]基础上,提出一种基于多重特征蒸馏的医疗图像超分辨率网络结构AMDN(Attention MechanismDistillation Networks)。本发明系统结构图如图2所示。AMDN包括特征粗提取,特征融合与精细提取、超分辨率重建三个部分,首先使用一个3x3的卷积层对输入图像进行初提取,并将输入图像转换到64维的特征空间,直接作为下一模块的输入;其次通过构建蒸馏和级联结合的渐进细化模块(distilling-cascading progressive refinement module, DC-PRM),在每一步,我们使用对比度感知注意力层(CCA)来选择出最好的特征图保留下来,同时不删减保留的部分,将全部特征继续送入下一个计算单元,保留下来的特征可视为细化特征,最后再将特征融合起来。本发明提出设置1个初始提取单元,6个蒸馏级联的渐进式细化模块,1个上采样单元(由最近邻插值和亚像素卷积组合而成,上采样因子为4倍)和1个重建单元的超分辨率网络,首先提供1个初始层提取浅层特征,再通过6个渐进细化模块学习提取出最好的细化特征,最后通过1个上采样单元,把特征图从低维空间放大到高维空间,再使用一个卷积层重建出超分辨率图像。
医疗图像超分辨率重建中初始特征提取、精细特征学习、上采样和重建的步骤如下:
第四步:左分支,使用基于对比度感知通道注意力层[12](CCA,本发明提及的所有注意力层即对比度感知通道注意力层)的图像对比度信息作为决策标准。将64维的特征分成8组,每组4个特征,经过CCA得到8组的权重值,将其值从高到低排序,选出权重值排名前25%的2组特征图像作为保留部分,该部分称为蒸馏特征。
第六步:重复执行第三至五步三次,将每步输出的蒸馏特征和细化特征融合后,输入一个CCA层和一个3x3卷积层,整合多重蒸馏得到的结果,再与第二步输出的 作融合,避免在蒸馏过程中特征的丢失,最后输出渐进式细化模块的结果 。
第七步:第二至六步为渐进式细化模块,因为本模型设置了六个渐进式细化模块(设置4或6个模块较为合适,并且6个模块的效果更好),所以,需要重复执行第二至六步的渐进式细化模块五次,完成后输出六个64维的特征。
第十步:将融合特征送入由最近邻上采样单元和亚像素卷积单元组合而成的上采样模块,先由最近邻上采样单元对融合特征插值放大2倍,再由亚像素卷积单元继续放大2倍,从而得到大小是原来尺寸的4倍的融合特征,该模块加强特征图在空间和深度之间的联系,实现从低分辨率特征图到超分辨率特征图的非线性映射。
本发明实施例实验在Ubuntu Server 16.04 x64系统上完成,训练使用NVIDIATitan_Xp 12G的GPU。训练和测试过程均采用PyTorch深度学习框架,训练过程中采取Adam优化方法。数据来自DIV2K数据集的800张训练图像和100张验证图像。我们设置每次输入的最小批次为16,并从低分辨率图像中随机裁剪出长宽为48大小的图片块作为输入,因此,其对应的高分辨率图像块的尺寸为192x192。在实验中,模型参数的优化是采用动量参数为0.9的Adam优化器,学习率初始值设置为2e-4,每2000轮调整一次学习率。
具体的实验内容为:
1)没有多重蒸馏的基础模块训练。为了验证多重蒸馏模块的有效性,实验采用去除多重蒸馏模块,直接训练基础模型。实验结果表明不使用多重蒸馏的超分辨率网络不能学习到更多的特征信息,重建的PSNR值在Set5测试集上仅有29.88dB。
2)完整的多重蒸馏模型与无蒸馏模块的训练对比。为了验证多重蒸馏模块的有效性,实验采用去除多重蒸馏模块,直接训练基础模型。实验表明,本发明设计的多重蒸馏模块能学习到图像的更多特征信息,相对基础模型能够提升1.92dB PSNR值。
3)不同分组的蒸馏策略对性能的影响。分别设置组数为4、8、16,即调整组别的数量,对于4、8、16组别,最终对应的选择保留的特征组数为1、2、4。实验结果表明组别越多,说明筛选的特征图就越精细,保留下来的特征就越优。无疑,当组数在16的时候基本就能取得最高的性能。
4)单一的上采样方式与组合式上采样方式对性能的影响。本实验将验证不同的上采样方式对性能的影响,分别设置模型的上采样为单一的最近邻插值或亚像素卷积进行训练,对比将两者组合的训练。实验结果表明组合式的上采样方式重建出来的超分辨率图像,在视觉效果上相对更清晰。
参考文献:
[1] Guo K, Li T, Huang R, et al. DDA: A deep neural network-basedcognitive system for IoT-aided dermatosis discrimination. Ad Hoc Networks,2018, 80: 95-103.018
[2]BrookCalton, NauzleyAbedini, Michael Fratkin. Telemedicine in theTime of Coronavirus,Journal of Pain and Symptom Management, 2020, 60: e12-e14.
[3]Kim J, Kwon Lee J, Mu Lee K. Deeply-recursive convolutionalnetwork for image super-resolution. //In CVPR, pages 1646-1654. IEEE ComputerSociety, 2016.
[4]Kim J, Kwon Lee J, Mu Lee K. Accurate image super-resolution usingvery deep convolutional networks. //Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition, 2016: 1646-1654.
[5]Bee Lim, Sanghyun Son, Heewon Kim, Seungjun Nah, and Kyoung MuLee. Enhanced Deep Residual Networks for Single Image SR. 10.1109/CVPRW.2017.151:136-144.
[6] J. Kim, J. Kwon Lee, and K. Mu Lee, “Deeply-recursiveconvolutional network for image super-resolution,” in CVPR, 2016.
[7] Y. Tai, J. Yang, and X. Liu, “Image super-resolution via deeprecursive residual network,” in CVPR, 2017.
[8] M. Haris, G. Shakhnarovich, and N. Ukita, “Deep backprojectionnetworks for super-resolution,” in CVPR, 2018.
[9] N. Ahn, B. Kang, and K.-A. Sohn, “Fast, accurate, and,lightweight super-resolution with cascading residual network,” ECCV, 2018.
[10] Cheng Ma, Yongming Rao, Yean Cheng, Ce Chen, Jiwen Lu, Jie Zhou.Structure-Preserving Super Resolution with Gradient Guidance. CoRR abs/2003.13081 (2020)
[11] Zheng Hui, Xiumei Wang, and XinboGao. 2018. Fast and AccurateSingle ImageSuper-Resolution via Information Distillation Network. In IEEEConference onComputer Vision and Pattern Recognition (CVPR). 723–731.
[12] Hui, Zheng &Gao, Xinbo& Yang, Yunchu& Wang, Xiumei. (2019).Lightweight Image Super-Resolution with Information Multi-distillationNetwork.
Claims (8)
1.一种医疗图像超分辨率重建方法,其特征在于,包括以下步骤:
B)对于其中一份特征,将该份特征分组,获取每组的权重值,并将所述权重值从高到低排序,选取权重值排名最前的M组特征作为保留部分,该保留部分即为蒸馏特征;
C)对于另一份特征,执行步骤A)、B)的操作;
3.根据权利要求1所述的医疗图像超分辨率重建方法,其特征在于,步骤3)的具体实现过程包括:对所述L个渐进式细化模块输出的特征进行卷积操作,得到重建后的特征。
4.根据权利要求1~3之一所述的医疗图像超分辨率重建方法,其特征在于,L=4~6。
5.一种医疗图像超分辨率重建系统,其特征在于,包括:
第二卷积层,用于对L个渐进式细化模块的输出特征降维;
第三卷积层,用于对第二卷积层输出的降维后的特征进行重建,得到重建后的特征;
其中,所述L个渐进式细化模块的结构相同;第一个渐进式细化模块包括:
多个级联的细化单元,每个细化单元包括一个注意力层和一个分卷积层;相邻的两个细化单元中,上一细化单元的分卷积层与下一细化单元的注意力层、分卷积层连接;所述注意力层执行以下操作:对于其中一份特征,将该份特征分组,获取每组的权重值,并将所述权重值从高到低排序,选取权重值排名最前的M组特征作为保留部分,该保留部分即为蒸馏特征;最后一个分卷积层输出细化特征;
融合层,用于融合每个所述细化单元输出的蒸馏特征和最后一个分卷积层输出的细化特征;
输出注意力层,输入端与所述融合层连接,输出端连接输出卷积层;
输出卷积层,对所述输出注意力层输出的特征进行卷积操作;
7.根据权利要求5或6所述的医疗图像超分辨率重建系统,其特征在于,L=4~6。
8.一种医疗图像超分辨率重建系统,其特征在于,包括计算机设备;所述计算机设备被配置或编程为用于执行权利要求1~4之一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110145097.5A CN112508794B (zh) | 2021-02-03 | 2021-02-03 | 医疗图像超分辨率重建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110145097.5A CN112508794B (zh) | 2021-02-03 | 2021-02-03 | 医疗图像超分辨率重建方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112508794A true CN112508794A (zh) | 2021-03-16 |
CN112508794B CN112508794B (zh) | 2021-04-20 |
Family
ID=74952501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110145097.5A Active CN112508794B (zh) | 2021-02-03 | 2021-02-03 | 医疗图像超分辨率重建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112508794B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256497A (zh) * | 2021-06-21 | 2021-08-13 | 中南大学 | 图像重建方法及系统 |
CN113837941A (zh) * | 2021-09-24 | 2021-12-24 | 北京奇艺世纪科技有限公司 | 图像超分模型的训练方法、装置及计算机可读存储介质 |
CN115131242A (zh) * | 2022-06-28 | 2022-09-30 | 闽江学院 | 基于注意力与蒸馏机制的轻量级超分辨率重建方法 |
CN117237190A (zh) * | 2023-09-15 | 2023-12-15 | 中国矿业大学 | 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101615290A (zh) * | 2009-07-29 | 2009-12-30 | 西安交通大学 | 一种基于典型相关分析的人脸图像超分辨率重建方法 |
US20150004158A1 (en) * | 2012-02-29 | 2015-01-01 | Dana-Farber Cancer Institute, Inc. | Compositions, Kits, and Methods for the Identification, Assessment, Prevention, and Therapy of Cancer |
CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及系统 |
CN110660020A (zh) * | 2019-08-15 | 2020-01-07 | 天津中科智能识别产业技术研究院有限公司 | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 |
CN111353938A (zh) * | 2020-02-29 | 2020-06-30 | 杭州电子科技大学 | 一种基于网络反馈的图像超分辨率学习方法 |
CN111986085A (zh) * | 2020-07-31 | 2020-11-24 | 南京航空航天大学 | 一种基于深度反馈注意力网络系统的图像超分辨率方法 |
-
2021
- 2021-02-03 CN CN202110145097.5A patent/CN112508794B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101615290A (zh) * | 2009-07-29 | 2009-12-30 | 西安交通大学 | 一种基于典型相关分析的人脸图像超分辨率重建方法 |
US20150004158A1 (en) * | 2012-02-29 | 2015-01-01 | Dana-Farber Cancer Institute, Inc. | Compositions, Kits, and Methods for the Identification, Assessment, Prevention, and Therapy of Cancer |
CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及系统 |
CN110660020A (zh) * | 2019-08-15 | 2020-01-07 | 天津中科智能识别产业技术研究院有限公司 | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 |
CN111353938A (zh) * | 2020-02-29 | 2020-06-30 | 杭州电子科技大学 | 一种基于网络反馈的图像超分辨率学习方法 |
CN111986085A (zh) * | 2020-07-31 | 2020-11-24 | 南京航空航天大学 | 一种基于深度反馈注意力网络系统的图像超分辨率方法 |
Non-Patent Citations (4)
Title |
---|
NAMHYUK AHN: "Fast, Accurate, and Lightweight Super-Resolution with Cascading Residual Network", 《CVF》 * |
SHENG REN: "Medical Video Super-Resolution Based on Asymmetric Back-Projection Network With Multilevel Error Feedback", 《IEEE ON IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY SECTION》 * |
SHENG REN: "Towards efficient medical lesion image super-resolution based on deep residual networks", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 * |
ZHENG HUI: "Lightweight Image Super-Resolution with Information Multi-distillation Network", 《SESSION 4C: SOCIAL COMPUTING & IMAGE PROCESSING》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256497A (zh) * | 2021-06-21 | 2021-08-13 | 中南大学 | 图像重建方法及系统 |
CN113256497B (zh) * | 2021-06-21 | 2021-09-24 | 中南大学 | 图像重建方法及系统 |
CN113837941A (zh) * | 2021-09-24 | 2021-12-24 | 北京奇艺世纪科技有限公司 | 图像超分模型的训练方法、装置及计算机可读存储介质 |
CN113837941B (zh) * | 2021-09-24 | 2023-09-01 | 北京奇艺世纪科技有限公司 | 图像超分模型的训练方法、装置及计算机可读存储介质 |
CN115131242A (zh) * | 2022-06-28 | 2022-09-30 | 闽江学院 | 基于注意力与蒸馏机制的轻量级超分辨率重建方法 |
CN115131242B (zh) * | 2022-06-28 | 2023-08-29 | 闽江学院 | 基于注意力与蒸馏机制的轻量级超分辨率重建方法 |
CN117237190A (zh) * | 2023-09-15 | 2023-12-15 | 中国矿业大学 | 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 |
CN117237190B (zh) * | 2023-09-15 | 2024-03-15 | 中国矿业大学 | 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112508794B (zh) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112508794B (zh) | 医疗图像超分辨率重建方法及系统 | |
Li et al. | Dual-stage approach toward hyperspectral image super-resolution | |
Jo et al. | Deep video super-resolution network using dynamic upsampling filters without explicit motion compensation | |
Hui et al. | Fast and accurate single image super-resolution via information distillation network | |
CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
Fu et al. | Residual scale attention network for arbitrary scale image super-resolution | |
Wang et al. | Wide weighted attention multi-scale network for accurate MR image super-resolution | |
Li et al. | Wavelet-based texture reformation network for image super-resolution | |
CN111696035A (zh) | 一种基于光流运动估计算法的多帧图像超分辨率重建方法 | |
Zhou et al. | Cross-MPI: Cross-scale stereo for image super-resolution using multiplane images | |
Cai et al. | HIPA: hierarchical patch transformer for single image super resolution | |
Wang et al. | A group-based embedding learning and integration network for hyperspectral image super-resolution | |
CN115439329B (zh) | 人脸图像超分辨率重建方法及计算机可读取的存储介质 | |
Li et al. | Model-informed Multi-stage Unsupervised Network for Hyperspectral Image Super-resolution | |
Zhang et al. | Deformable and residual convolutional network for image super-resolution | |
CN110136067A (zh) | 一种针对超分辨率b超影像的实时影像生成方法 | |
CN115239557A (zh) | 轻量化的x光图像超分辨率重建方法 | |
Gong et al. | Learning deep resonant prior for hyperspectral image super-resolution | |
Wang et al. | BAM: A balanced attention mechanism for single image super resolution | |
CN114187181B (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 | |
CN115953294A (zh) | 一种基于浅层通道分离与聚合的单图像超分辨率重建方法 | |
CN117315735A (zh) | 基于先验信息与注意力机制的人脸超分辨率重建方法 | |
Wang et al. | Image super-resolution reconstruction based on generative adversarial network model with feedback and attention mechanisms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |