CN111489291A - 一种基于网络级联的医学图像超分辨率重建方法 - Google Patents

一种基于网络级联的医学图像超分辨率重建方法 Download PDF

Info

Publication number
CN111489291A
CN111489291A CN202010143034.1A CN202010143034A CN111489291A CN 111489291 A CN111489291 A CN 111489291A CN 202010143034 A CN202010143034 A CN 202010143034A CN 111489291 A CN111489291 A CN 111489291A
Authority
CN
China
Prior art keywords
image
network
resolution
super
cascade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010143034.1A
Other languages
English (en)
Inventor
管秋
龚明杰
徐涵杰
胡海根
陈奕州
楼海燕
郑建炜
徐新黎
周乾伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010143034.1A priority Critical patent/CN111489291A/zh
Publication of CN111489291A publication Critical patent/CN111489291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于网络级联的医学图像超分辨率重建方法，包括以下步骤：1)对图像进行预处理，使得图像能更好地参与训练，方便之后的网络进行学习；2)构建图像金字塔，提取图像的级联信息；3)利用级联网络对图像进行超分；4)级联网络的设计基础为拉普拉斯金字塔以及BE‑GAN，网络通过生成残差图像并于原图像加和的方式来生成高清的超分图像；利用残差图像可以减少网络学习所需的信息总量，可以减小网络的训练压力，从而使得网络可以在较小的数据集下获得更好的效果；级联则可以使网络各层级之间相对独立，使得网络可以适应各分辨率下的超分任务。

Description

一种基于网络级联的医学图像超分辨率重建方法
技术领域
本发明涉及一种医学图像超分辨率重建方法。
背景技术
目前医学影像已成为一项重要的临床医学的诊断依据和工具，参与到疾病的诊治过程中。随着现代医学成像技术的不断发展，过去拍摄的图像和现在所拍摄的图像存在显著的清晰度差异。为了更好地对疾病展开相关研究和对患者进行随访就需要减小这一差异，这就需要对图像进行超分处理。常见的主要方法有：双线性插值，双立方插值，凸集投影法(POCS)，最大后验概率估计法(MAP)，领域嵌入法(NE)，稀疏表示法(SC)以及基于神经网络的SRCNN，DCNN，SRGAN，BEGAN等。但传统方法由于其基于插值计算的算法设计，导致其处理的图像普遍清晰度较低，且画面边界模糊、细节丢失等问题也较为严重。而基于传统神经网络模型的方法通常需要大量的训练样本，不适合在医学图像的小样本数据集上进行运用。
存在的技术缺陷为：传统方法处理所得的图像清晰度低，细节容易丢失；基于传统神经网络模型的方法则需要大量的训练样本，不适合医学小数据集。
发明内容
为了克服现有技术的不足，本发明结合图像学中拉普拉斯金字塔模型，提供了一种基于网络级联的医学图像超分辨率重建方法，利用级联思想，提升了神经网络超分在医学图像的小样本数据集上的性能；利用了神经网络，解决了图像超分过程中产生的图像质量下降问题。
本发明解决其技术问题所采用的技术方案是：
一种基于网络级联的医学图像超分辨率重建方法，所述方法包括以下步骤：
1)对图像进行预处理，使得图像能更好地参与训练，方便之后的网络进行学习，过程如下：
(1.1)载入图片，将其大小统一；
(1.2)对图像做归一化处理，将像素值从[0，255]转化到[-1，1]；
(1.3)制作图像数据集，加速之后的训练过程；
2)构建图像金字塔，提取图像的级联信息，过程如下：
(2.1)将原图像A下采样至1/2大小，得到a；
(2.2)将a利用插值法上采样至2倍大小，得到A1；
(2.3)将A与A1相减，得到残差图像A～；
(2.4)重复2.1～2.3的过程，最终得到一系列的残差图像以及下采样后的“原始图像”，所述原始图像由训练集经预处理得到；
3)利用级联网络对图像进行超分，过程如下：
(3.1)将待超分的“原始图像”输入网络；
(3.2)利用级联网络对图像进行超分处理；
(3.3)将生成图像和验证图像进对比，得到比对结果；
(3.4)如果模型不能达到预设要求，则重复(3.1)～(3.3)的步骤进行迭代，如果分类模型达到预设要求，结束迭代过程，输出超分模型；
(3.5)利用超分模型对待处理数据进行处理；
4)级联网络的设计基础为拉普拉斯金字塔以及BE-GAN，网络通过生成残差图像并于原图像加和的方式来生成高清的超分图像；利用残差图像可以减少网络学习所需的信息总量，可以减小网络的训练压力，从而使得网络可以在较小的数据集下获得更好的效果；级联则可以使网络各层级之间相对独立，使得网络可以适应各分辨率下的超分任务。
进一步，所述步骤4)的处理过程为：
(4.1)假设有一个数据集G，则利用以下公式构建拉普拉斯金子塔：
Figure BDA0002399748980000031
其中UP()操作表示上采样，运算法
Figure BDA0002399748980000032
表示高斯上采样过程，Gi表示当前分辨率图像，Li表示当前分辨率下的残差图像，设图像起始的分辨率为n，目标的分辨率为2k×n，则在构建金字塔时需要保留一张n×n的待超分图像和k张残差图像用于训练；
(4.2)BE-GAN的核心为一对自编码器，并通过Wasserstein距离的损失来匹配自编码器的损失分布，其样本误差公式为：
Figure BDA0002399748980000033
根据实验检验可得，自编码器的样本误差分布符合正态分布，因此，得到其Wasserstein距离的计算公式为：
Figure BDA0002399748980000034
其中m1,m2为编码器和解码器的正态分布平均值，c1,c2为其方差，而根据GAN网络的训练原则，生成器的目的为将W最小化，而判别器则需要将W最大化，又根据其误差公式，带入得最终的目标函数：
Figure BDA0002399748980000041
其中，λk为K的学习率，是一个可供设置的值。
再进一步，所述方法还包括以下步骤：
5)网络的实际使用，过程如下：
(5.1)读取需要进行超分处理的原始图像A，并确定其超分倍率2x；
(5.2)将原始图像输入第k-x层，k为训练时网络的总深度；
(5.3)将图像A上采样2倍得到模糊图像a，将a输入与其分辨率对应的第x层网络，得到残差图Lx；
(5.4)将模糊图像a于残差图Lx相，得到超分后的图像A`；
(5.5)重复(5.3)至(5.4)的步骤，直到得到最终超分图像A终。
本发明的技术构思为：为了给临床医生提供更高分辨率的医学图像以提高诊断的准确性的客观需要，该方法针对医学图像基于解剖结构的超分重建，提出了一种基于级联网络的图像超分算法。采用神经网络作为主体，解决了传统超分方法带来的超分后图像峰值信噪比下降，图像内容边缘模糊，图像噪点被放大等问题，又利用拉普拉斯金字塔拆分图像，将网络所需学习的信号量减少，使得网络可以在小样本数据集的情况下取得更好的超分效果。
本发明的有益效果主要表现在：1、利用级联思想，提升了神经网络超分在医学图像的小样本数据集上的性能；2、利用了神经网络，解决了图像超分过程中产生的图像质量下降问题。
附图说明
图1是基于网络级联的医学图像超分辨率重建方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1，一种基于网络级联的医学图像超分辨率重建方法，所述方法包括以下步骤：
1)对图像进行预处理，使得图像能更好地参与训练，方便之后的网络进行学习，过程如下：
(1.1)载入图片，将其大小统一；
(1.2)对图像做归一化处理，将像素值从[0，255]转化到[-1，1]；
(1.3)制作图像数据集，加速之后的训练过程；
2)构建图像金字塔，提取图像的级联信息，过程如下：
(2.1)将原图像A下采样至1/2大小，得到a；
(2.2)将a利用插值法上采样至2倍大小，得到A1；
(2.3)将A与A1相减，得到残差图像A～；
(2.4)重复2.1～2.3的过程，最终得到一系列的残差图像以及下采样后的“原始图像”，所述原始图像由训练集经预处理得到；
3)利用级联网络对图像进行超分，过程如下：
(3.1)将待超分的“原始图像”输入网络；
(3.2)利用级联网络对图像进行超分处理；
(3.3)将生成图像和验证图像进对比，得到比对结果；
(3.4)如果模型不能达到预设要求，则重复(3.1)～(3.3)的步骤进行迭代，如果分类模型达到预设要求，结束迭代过程，输出超分模型；
(3.5)利用超分模型对待处理数据进行处理；
4)级联网络的设计基础为拉普拉斯金字塔以及BE-GAN，网络通过生成残差图像并于原图像加和的方式来生成高清的超分图像；利用残差图像可以减少网络学习所需的信息总量，可以减小网络的训练压力，从而使得网络可以在较小的数据集下获得更好的效果；级联则可以使网络各层级之间相对独立，使得网络可以适应各分辨率下的超分任务；所述步骤4)的处理过程为：
(4.1)假设有一个数据集G，则利用以下公式构建拉普拉斯金子塔：
Figure BDA0002399748980000061
其中UP()操作表示上采样，运算法
Figure BDA0002399748980000062
表示高斯上采样过程，Gi表示当前分辨率图像，Li表示当前分辨率下的残差图像，设图像起始的分辨率为n，目标的分辨率为2k×n，则在构建金字塔时需要保留一张n×n的待超分图像和k张残差图像用于训练；
(4.2)BE-GAN的核心为一对自编码器，并通过Wasserstein距离的损失来匹配自编码器的损失分布，其样本误差公式为：
Figure BDA0002399748980000071
根据实验检验可得，自编码器的样本误差分布符合正态分布，因此，得到其Wasserstein距离的计算公式为：
Figure BDA0002399748980000072
其中m1,m2为编码器和解码器的正态分布平均值，c1,c2为其方差，而根据GAN网络的训练原则，生成器的目的为将W最小化，而判别器则需要将W最大化，又根据其误差公式，带入得最终的目标函数：
Figure BDA0002399748980000073
其中，λk为K的学习率，是一个可供设置的值。
5)网络的实际使用，过程如下：
(5.1)读取需要进行超分处理的原始图像A，并确定其超分倍率2x；
(5.2)将原始图像输入第k-x层，k为训练时网络的总深度；
(5.3)将图像A上采样2倍得到模糊图像a，将a输入与其分辨率对应的第x层网络，得到残差图Lx；
(5.4)将模糊图像a于残差图Lx相，得到超分后的图像A`；
(5.5)重复(5.3)至(5.4)的步骤，直到得到最终超分图像A终。
本实施例采用神经网络作为主体，解决了传统超分方法带来的超分后图像峰值信噪比下降，图像内容边缘模糊，图像噪点被放大等问题，又利用拉普拉斯金字塔拆分图像，将网络所需学习的信号量减少，使得网络可以在小样本数据集的情况下取得更好的超分效果。

Claims (3)

1.一种基于网络级联的医学图像超分辨率重建方法，其特征在于，所述方法包括以下步骤：
1)对图像进行预处理，使得图像能更好地参与训练，方便之后的网络进行学习，过程如下：
(1.1)载入图片，将其大小统一；
(1.2)对图像做归一化处理，将像素值从[0，255]转化到[-1，1]；
(1.3)制作图像数据集，加速之后的训练过程；
2)构建图像金字塔，提取图像的级联信息，过程如下：
(2.1)将原图像A下采样至1/2大小，得到a；
(2.2)将a利用插值法上采样至2倍大小，得到A1；
(2.3)将A与A1相减，得到残差图像A～；
(2.4)重复2.1～2.3的过程，最终得到一系列的残差图像以及下采样后的“原始图像”，所述原始图像由训练集经预处理得到；
3)利用级联网络对图像进行超分，过程如下：
(3.1)将待超分的“原始图像”输入网络；
(3.2)利用级联网络对图像进行超分处理；
(3.3)将生成图像和验证图像进对比，得到比对结果；
(3.4)如果模型不能达到预设要求，则重复(3.1)～(3.3)的步骤进行迭代，如果分类模型达到预设要求，结束迭代过程，输出超分模型；
(3.5)利用超分模型对待处理数据进行处理；
4)级联网络的设计基础为拉普拉斯金字塔以及BE-GAN，网络通过生成残差图像并于原图像加和的方式来生成高清的超分图像；利用残差图像可以减少网络学习所需的信息总量，可以减小网络的训练压力，从而使得网络可以在较小的数据集下获得更好的效果；级联则可以使网络各层级之间相对独立，使得网络可以适应各分辨率下的超分任务。
2.如权利要求1所述的一种基于网络级联的医学图像超分辨率重建方法，其特征在于，所述步骤4)的处理过程为：
(4.1)假设有一个数据集G，则利用以下公式构建拉普拉斯金子塔：
Figure FDA0002399748970000011
其中UP()操作表示上采样，运算法
Figure FDA0002399748970000021
表示高斯上采样过程，Gi表示当前分辨率图像，Li表示当前分辨率下的残差图像，设图像起始的分辨率为n，目标的分辨率为2k×n，则在构建金字塔时需要保留一张n×n的待超分图像和k张残差图像用于训练；
(4.2)BE-GAN的核心为一对自编码器，并通过Wasserstein距离的损失来匹配自编码器的损失分布，其样本误差公式为：
Figure FDA0002399748970000022
根据实验检验可得，自编码器的样本误差分布符合正态分布，因此，得到其Wasserstein距离的计算公式为：
Figure FDA0002399748970000023
其中m1,m2为编码器和解码器的正态分布平均值，c1,c2为其方差，而根据GAN网络的训练原则，生成器的目的为将W最小化，而判别器则需要将W最大化，又根据其误差公式，带入得最终的目标函数：
Figure FDA0002399748970000024
其中，λk为K的学习率，是一个可供设置的值。
3.如权利要求1或2所述的一种基于网络级联的医学图像超分辨率重建方法，其特征在于，所述方法还包括以下步骤：
5)网络的实际使用，过程如下：
(5.1)读取需要进行超分处理的原始图像A，并确定其超分倍率2x；
(5.2)将原始图像输入第k-x层，k为训练时网络的总深度；
(5.3)将图像A上采样2倍得到模糊图像a，将a输入与其分辨率对应的第x层网络，得到残差图Lx；
(5.4)将模糊图像a于残差图Lx相，得到超分后的图像A`；
(5.5)重复(5.3)至(5.4)的步骤，直到得到最终超分图像A终。
CN202010143034.1A 2020-03-04 2020-03-04 一种基于网络级联的医学图像超分辨率重建方法 Pending CN111489291A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010143034.1A CN111489291A (zh) 2020-03-04 2020-03-04 一种基于网络级联的医学图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010143034.1A CN111489291A (zh) 2020-03-04 2020-03-04 一种基于网络级联的医学图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN111489291A true CN111489291A (zh) 2020-08-04

Family

ID=71812417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010143034.1A Pending CN111489291A (zh) 2020-03-04 2020-03-04 一种基于网络级联的医学图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111489291A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102306A (zh) * 2020-09-25 2020-12-18 西安交通大学 一种基于双重gan的边缘修复特征融合的缺陷检测方法
CN112734643A (zh) * 2021-01-15 2021-04-30 重庆邮电大学 一种基于级联网络的轻量图像超分辨率重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170365038A1 (en) * 2016-06-16 2017-12-21 Facebook, Inc. Producing Higher-Quality Samples Of Natural Images
CN109544448A (zh) * 2018-11-09 2019-03-29 浙江工业大学 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法
CN110473144A (zh) * 2019-08-07 2019-11-19 南京信息工程大学 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170365038A1 (en) * 2016-06-16 2017-12-21 Facebook, Inc. Producing Higher-Quality Samples Of Natural Images
CN109544448A (zh) * 2018-11-09 2019-03-29 浙江工业大学 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法
CN110473144A (zh) * 2019-08-07 2019-11-19 南京信息工程大学 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102306A (zh) * 2020-09-25 2020-12-18 西安交通大学 一种基于双重gan的边缘修复特征融合的缺陷检测方法
CN112102306B (zh) * 2020-09-25 2022-10-25 西安交通大学 一种基于双重gan的边缘修复特征融合的缺陷检测方法
CN112734643A (zh) * 2021-01-15 2021-04-30 重庆邮电大学 一种基于级联网络的轻量图像超分辨率重建方法

Similar Documents

Publication Publication Date Title
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN109919838B (zh) 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN110473243B (zh) 基于深度轮廓感知的牙齿分割方法、装置及计算机设备
CN110188792A (zh) 前列腺mri三维图像的图像特征获取方法
CN111275712B (zh) 一种面向大尺度图像数据的残差语义网络训练方法
CN112862805B (zh) 听神经瘤图像自动化分割方法及系统
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN115409733A (zh) 一种基于图像增强和扩散模型的低剂量ct图像降噪方法
CN114037714B (zh) 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN106157249A (zh) 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN112669248A (zh) 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN111489291A (zh) 一种基于网络级联的医学图像超分辨率重建方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN112308835A (zh) 一种融合密集连接与注意力机制的颅内出血分割方法
CN111563843B (zh) 一种图像超分辨重构方法、系统及相关装置
CN115471470A (zh) 一种食管癌ct图像分割方法
CN113052935A (zh) 渐进式学习的单视角ct重建方法
CN114066729A (zh) 一种可恢复身份信息的人脸超分辨率重建方法
CN111681168A (zh) 一种基于并行残差网络的低分辨率细胞超分辨率重建方法
CN116563554A (zh) 基于混合表征学习的低剂量ct图像去噪方法
CN111507918B (zh) 一种基于深度学习技术的医学图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination