CN109584164A - 基于二维影像迁移学习的医学图像超分辨率三维重建方法 - Google Patents

基于二维影像迁移学习的医学图像超分辨率三维重建方法 Download PDF

Info

Publication number
CN109584164A
CN109584164A CN201811549593.1A CN201811549593A CN109584164A CN 109584164 A CN109584164 A CN 109584164A CN 201811549593 A CN201811549593 A CN 201811549593A CN 109584164 A CN109584164 A CN 109584164A
Authority
CN
China
Prior art keywords
layer
image
dimensional
column
detailed structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811549593.1A
Other languages
English (en)
Other versions
CN109584164B (zh
Inventor
侯文广
徐泽楷
陈子轩
易玮玮
邹应诚
桂秋玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201811549593.1A priority Critical patent/CN109584164B/zh
Publication of CN109584164A publication Critical patent/CN109584164A/zh
Application granted granted Critical
Publication of CN109584164B publication Critical patent/CN109584164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于二维影像迁移学习的医学图像超分辨率三维重建方法，包括以下步骤：(1)采集一系列二维医学影像数据作为训练数据；(2)对每张二维医学图像按隔(s‑1)列进行采样得到s个子图像矩阵，重复操作得到多组子图像矩阵；(3)设计三维重建用卷积神经网络，并利用多级图像矩阵进行训练；(4)利用训练后的卷积神经网络对待重建的初始图像序列进行三维重建。本发明将卷积神经网络引入到三维重建中，通过网络自主学习二维影像列之间的位置关系，随后将切片序列转换成二维图像，可将切片序列的层间关系转换为二维影像列之间的位置关系，使得三维重建问题转换成为二维问题，鲁棒性强，重建结果精度高。

Description

基于二维影像迁移学习的医学图像超分辨率三维重建方法
技术领域
本发明属于医学图像三维重建领域，更具体地，涉及一种基于二维影像迁移学习的医学图像超分辨率三维重建方法。
背景技术
医学影像中的断层扫描数据广泛应用于临床诊断与治疗。然而，受到成像设备、安全、经济等方面的约束，实际中往往只能得到层间间距较大的断层序列。为了得到体数据的完整描述，就必须对这些断层序列进行处理。这些处理称之为三维重建。目的是将二维切片代表的人体组织以立体的方式展现出来，进行多角度、多层次的观察，从而做出准确的诊断。
现有三维重建方法主要是基于插值的重建方法。其中分为基于场景的插值与基于对象的插值。前者主要包括最近邻插值以及线性插值等方法；后者主要针对的是三维体积数据包含不同组织结构的情况下，一般包括距离、基于形态学的形状插值等方法。由于这些插值算法仅仅考虑到了像素间的空间关系，并没有引入其他信息。所以只适用于一些组织较为连续的体数据，鲁棒性和精确度较低。为了有效克服传统插值算法存在的问题，本发明提供了一种新颖有效的三维重建方法，大大提高了三维重建的精度。
发明内容
针对现有技术的以上缺陷或改进需求，本发明的目的在于提供一种基于二维影像迁移学习的医学图像超分辨率三维重建方法，将卷积神经网络引入到三维重建中，通过网络自主学习二维影像列之间的位置关系，随后将切片序列转换成二维图像，目的是为了将切片序列的层间关系转换为二维影像列之间的位置关系。从而使得三维重建问题转换成为二维问题。本发明中的三维重建方法鲁棒性强，重建结果精度高。
为实现上述目的，按照本发明，提供了一种基于二维影像迁移学习的医学图像超分辨率三维重建方法，其特征在于，包括以下步骤：
(1)采集一系列二维医学影像数据作为训练数据；
(2)对于所述步骤(1)得到的任意一张二维医学图像，按照隔(s-1)列的方式进行采样，得到s个子图像矩阵；其中，第1个子图像矩阵由该二维医学图像中的第(1+s×0)、(1+s×1)、(1+s×2)…列构成，第2个子图像矩阵由该二维医学图像中的第(2+s×0)、(2+s×1)、(2+s×2)…列构成，第3个子图像矩阵由该二维医学图像中的第(3+s×0)、(3+s×1)、(3+s×2)…列构成，由此类推，得到一组共s个子图像矩阵；对所述步骤(1)得到的一系列二维医学影像重复此操作，由此得到多组子图像矩阵；
其中，s为预先设定的大于等于2的正整数；
(3)设计三维重建用卷积神经网络，输入为单个通道，输出为(s-1)个通道；然后利用所述步骤(2)得到的多组子图像矩阵对该卷积神经网络进行训练，训练完成后即得到训练后的卷积神经网络；
训练时，具体是将任意一组共s个子图像矩阵中的其中一个子图像矩阵作为输入，另外(s-1)个子图像矩阵与(s-1)个输出通道一一对应，作为这(s-1)个输出通道的标签值，由此利用多组子图像矩阵中的每一组对该卷积神经网络进行训练；
(4)对待重建的三维医学影像进行迁移，将待重建的初始图像序列中每一帧I＝[I1，I2，…]都转换为列向量重新组合成一张全新的二维图像；然后将该图像输入至所述步骤(3)得到的训练后的卷积神经网络中，得到(s-1)个输出通道输出的(s-1)个矩阵，任意一个输出矩阵中的第i列数据均与输入矩阵中的第i列数据相对应；接着，将每一个输出矩阵中的每一列转换成H＝[H1，H2，…]，然后按顺序插入到所述初始图像序列中与该列相对应的某一帧图像后，即可得到三维重建后的超分辨率医学图像。
作为本发明的进一步优选，所述步骤(3)中，所述卷积神经网络包括70层细节结构，其中第1层细节结构至第68层细节结构依次相连形成主链结构，该主链结构的末端设置有并列的(s-1)个通道，任意一个所述通道均含有彼此相连的第69层细节结构与第70层细节结构；其中，所述第1层细节结构为输入层，第2层细节结构为卷积层，第3层细节结构至第66层细节结构则对应着16个依次相连的残差块，任意一个残差块均由卷积层、激励层、卷积层和元素叠加层依次连接而成；第67层细节结构、第68层细节结构分别为卷积层和元素叠加层；(s-1)个所述第69层细节结构均为卷积层，(s-1)个所述第70层细节结构均为输出层；
在这70层细节结构中，除第70层细节结构外，每一层的输出均为下一层的输入；
此外，优选的，任意一个卷积层均包含64个滤波器，每个滤波器大小均为3×3，padding大小为1。
作为本发明的进一步优选，所述步骤(1)中，所述二维医学影像数据包括CT数据、MRI不同时期的数据中的至少一种；所述二维医学影像数据的分辨率均优选为1mm×1mm。
作为本发明的进一步优选，所述步骤(4)中，所述超分辨率医学图像相当于是所述初始图像序列放大s倍后得到的。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
1、将超分辨率的思想引入到三维重建中，基于大量的学习样本，建立切片间的空间对应关系，这种方法较传统方法，精度高，鲁棒性好。本发明优选同时采用CT数据、MRI不同时期的数据作为训练集，使训练得到的CNN网络适用性更广。
2、将基于卷积神经网络的学习方法引入到医学三维重建中，只要一经训练，便可以使用于所有切片序列图像的三维重建，算法简单，适用性广。
3、利用迁移学习的思想，用二维影像列之间的位置关系表示切片序列的层间关系。将三维重建问题转换成了二维问题。避免了收集大量高分辨率的体数据的过程，从而使整个算法有更强的实用性。
本发明所使用的三维重建用卷积神经网络，其输入为单通道，输出为多通道，网络描述的是二维影像列之间的位置关系。本发明还通过对卷积神经网络的结构进行优选控制，得到特定内部结构组成的卷积神经网络，一方面能够防止由于网络层数增加而导致的梯度弥散问题与退化问题，另一方面使用多通道的输出，有效地将卷积神经网络与三维重建问题结合起来，能够提高三维重建的精度。
附图说明
图1是本发明实施例的三维重建方法的流程图。
图2是三维重建用卷积神经网络(即，CNN)结构图(图中N为残差块的个数)。
图3中的图(a)、(b)、(c)分别是金标准(体数据其中一帧图像)、传统插值方法结果及本发明实施例的三维重建方法结果。
图4中的图(a)、(b)是传统插值方法结果与金标准的残差图、本发明实施例的三维重建方法与金标准的残差图(其中，金标准为体数据其中一帧图像)。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明中基于二维影像迁移学习的医学图像超分辨率三维重建方法，总体来说，包括以下步骤：(1)采集一系列高分辨率的二维医学影像数据；(2)对采集的数据隔列进行采样，采样得到的图作为训练样本；(3)设计三维重建用卷积神经网络，并对其进行训练；(4)将待重建的切片序列中每一层图像转换为列向量，组成一张全新的图，输入到网络得到输出的对应切片序列；(5)将对应切片序列结果的每一列转换为图像后，按顺序排列，生成最终的三维结果。
实施例1
本实施例的基于二维影像迁移学习的医学图像超分辨率三维重建，如图1所示，包括如下步骤：
(1)采集一系列二维高分辨率医学影像作为训练数据。
优选地，所述训练数据包含不同模态的数据，本例收集了300张CT数据，500张MRI不同时期的数据，分辨率均为1mm×1mm。
(2)对步骤(1)中采集的每一个数据隔(s-1)列进行采样(其中，s为预先设定的放大倍数；s为大于等于2的正整数)，采样得到的图作为训练样本。以切片序列需放大2倍为例(即s＝2)，抽取每个图像数据中的第1,3,5,7,9，…列作为输入值，第2,4,6,8,10，…列作为标签值。再以切片序列需放大3倍为例，抽取每个数据的第1,4,7,10,13，…列作为输入值，第2,5,8,11,14，…列及第3,6,9,12,15，…列作为第一个标签值及第二个标签值；需放大s倍，则同理得到顺序抽取并排列的：输入值，第一个标签值，第二个标签值，……，第(s-1)个标签值；
(3)设计一种三维重建用卷积神经网络，输入为单通道，输出为多通道，网络描述的是二维影像列之间的位置关系。输出通道的总个数与放大倍数s相关，等于s-1。
优选地，所述神经网络仅包含卷积层、元素叠加层、激励层三种结构层，该神经网络结构如图2所示，为全卷积神经网络，输入图像及每个通道输出图像尺寸可以为30×30。所述网络是一种残差网络，在每个残差块中，通过跳跃式传递的方式，将输入跟学习到的残差在元素叠加层内相加，生成输出。这种残差网络的目的是为了防止由于网络层数增加而导致的梯度弥散问题与退化问题。在该网络中，一共有N个残差块。优选地，本文中使用了16个残差块。
正如图2所示，卷积神经网络具体由不同类型的70层以及S-1个通道组成，S为放大倍数，第1层为输入层，S-1个多通道均由1个卷积层跟1个对应的输出层组成(即，任意一个通道包括1个卷积层跟1个对应的输出层，其中的卷积层即卷积神经网络整体70层结构中的第69层，输出层即卷积神经网络整体70层结构中的第70层)，每一层的输出作为下一层的输入；其中，第2、67层为卷积层，第68层为元素叠加层。第3层至第66层对应着16个残差块。每一个残差块由卷积层、激励层、卷积层、元素叠加层依次连接。所有卷积层均包含64个滤波器，每个滤波器大小均为3×3，padding大小为1(padding指的是卷积后在边界补充像素，从而保证图像尺寸不变)，通过这种特定结构的卷积层神经网络，能够增加重建精度。
该网络中一共包含的s-1个不同的通道，分别对应需要重建出的不同的切片序列。激励层均采用ReLU函数(max(0，x))。
优选地，所述神经网络的损失函数为各个输出通道的L1损失函数之和。将步骤(2)中获得的训练数据(780幅医学影像用作训练集，20幅作为验证集)输入步骤(3)中设计的神经网络模型，初始化网络参数，选取适当的优化算法进行迭代更新权重，得到所述三维重建用卷积神经网络。
优选地，本例使用的优化算法为Adam优化法，该方法高效的计算，所需内存少，适合解决含大规模数据和参数的优化问题。同时设置学习率为0.0001，每训练200个epoch(每一个epoch指把当前训练数据全部训练一遍)下降为原学习率的一半。在每个epoch结束后验证集将进行测试并保存最优结果的网络权重。总epoch次数可以设置为300次。
(4)测试阶段，以三维图像数据为待重建对象，将待重建的图像序列中每一帧I＝[I1，I2，…]都转换为列向量后(即，对I按列自左向右依次采集灰度值并排列成新的一个列向量得到I’)，重新组合成一张全新的图像，从而将切片序列的层间关系转换为二维影像列之间的位置关系。将图像输入到网络中，得到其输出的对应不同的切片序列结果，再将为这些切片序列结果每一列转换成图像H＝[H1，H2，…]。随后按顺序组合排列生成最终的三维重建结果。具体的，以切片序列需要放大2倍为例，CNN输出结果与输入结果列与列一一对应，在最终得到放大图像时，可将输入结果的第1列、输出结果的第1列、输入结果的第2列、输出结果的第2列、……依次排列，由此得到放大2倍的切片序列，实现医学图像的三维重建结果。类似的，对于切片序列需要放大3倍的情形，可将输入结果的第1列、第一通道输出结果的第1列、第二通道输出结果的第1列、输入结果的第2列、输出结果的第2列、第二通道输出结果的第2列、……依次排列，由此得到放大3倍的切片序列，实现医学图像的三维重建结果。
表1展示了3组不同时期的MRI影像在放大2倍的情况下的结果。待放大的影像分辨率为1mm×1mm×2mm。目的是为了重建出1mm×1mm×1mm的高分辨率数据。本发明的方法与传统的插值算法进行了定性的质量评价。图3展示了本发明实施例的三维重建方法结果、传统插值方法结果及金标准(选取其中一帧图像作为显示结果)，图3中的(a)为金标准，图3中的(b)为插值结果，图3中的(c)为测试结果。同时，为了突出本例的优越性，在图4中，展示了本发明实施例的三维重建方法、传统插值方法结果分别与金标准的残差图，图4中的(a)对应插值结果，图4中的(b)对应测试结果。
表1质量评价结果(PSNR/dB)
方法 T1 T2 Pd
插值 35.69 27.21 31.16
测试结果 38.70 29.94 34.15
从表1和图3可以明显的看出，我们得到的结果在不同的数据下较传统的插值方法有着显著的精度提升，并且细节更加明显。因此也验证了我们方法的合理性。
从图4中可以明显的看出，相较于传统的插值方法，本发明实施例的三维重建方法所得结果与金标准更为接近。
本发明中三维重建用卷积神经网络中，激励层所采用的ReLU函数(max(0，x))可参考相关现有技术建立，如Nair V,Hinton GE.Rectified linear units improverestricted boltzmann machines.In:International Conference on MachineLearning,2010.pp.807–814。本发明所采用的Adam优化法可参考现有技术，如Kingma D P,Ba J.Adam:A Method for Stochastic Optimization[J].Computer Science,2014。上述实施例中作为参照所采用的传统插值方法具体是使用Keys R G.Cubic convolutioninterpolation for digital image processing[J].IEEE Transactions on AcousticsSpeech&Signal Processing,2003,29(6):1153-1160.中记载的插值方法。
本发明适用的医学图像可以是超声图像、CT图像、MRI图像等医学图像。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于二维影像迁移学习的医学图像超分辨率三维重建方法，其特征在于，包括以下步骤：
(1)采集一系列二维医学影像数据作为训练数据；
(2)对于所述步骤(1)得到的任意一张二维医学图像，按照隔(s-1)列的方式进行采样，得到s个子图像矩阵；其中，第1个子图像矩阵由该二维医学图像中的第(1+s×0)、(1+s×1)、(1+s×2)…列构成，第2个子图像矩阵由该二维医学图像中的第(2+s×0)、(2+s×1)、(2+s×2)…列构成，第3个子图像矩阵由该二维医学图像中的第(3+s×0)、(3+s×1)、(3+s×2)…列构成，由此类推，得到一组共s个子图像矩阵；对所述步骤(1)得到的一系列二维医学影像重复此操作，由此得到多组子图像矩阵；
其中，s为预先设定的大于等于2的正整数；
(3)设计三维重建用卷积神经网络，输入为单个通道，输出为(s-1)个通道；然后利用所述步骤(2)得到的多组子图像矩阵对该卷积神经网络进行训练，训练完成后即得到训练后的卷积神经网络；
训练时，具体是将任意一组共s个子图像矩阵中的其中一个子图像矩阵作为输入，另外(s-1)个子图像矩阵与(s-1)个输出通道一一对应，作为这(s-1)个输出通道的标签值，由此利用多组子图像矩阵中的每一组对该卷积神经网络进行训练；
(4)对待重建的三维医学影像进行迁移，将待重建的初始图像序列中每一帧I＝[I1，I2，…]都转换为列向量重新组合成一张全新的二维图像；然后将该图像输入至所述步骤(3)得到的训练后的卷积神经网络中，得到(s-1)个输出通道输出的(s-1)个矩阵，任意一个输出矩阵中的第i列数据均与输入矩阵中的第i列数据相对应；接着，将每一个输出矩阵中的每一列转换成H＝[H1，H2，…］，然后按顺序插入到所述初始图像序列中与该列相对应的某一帧图像后，即可得到三维重建后的超分辨率医学图像。
2.如权利要求1所述基于二维影像迁移学习的医学图像超分辨率三维重建方法，其特征在于，所述步骤(3)中，所述卷积神经网络包括70层细节结构，其中第1层细节结构至第68层细节结构依次相连形成主链结构，该主链结构的末端设置有并列的(s-1)个通道，任意一个所述通道均含有彼此相连的第69层细节结构与第70层细节结构；其中，所述第1层细节结构为输入层，第2层细节结构为卷积层，第3层细节结构至第66层细节结构则对应着16个依次相连的残差块，任意一个残差块均由卷积层、激励层、卷积层和元素叠加层依次连接而成；第67层细节结构、第68层细节结构分别为卷积层和元素叠加层；(s-1)个所述第69层细节结构均为卷积层，(s-1)个所述第70层细节结构均为输出层；
在这70层细节结构中，除第70层细节结构外，每一层的输出均为下一层的输入；
此外，优选的，任意一个卷积层均包含64个滤波器，每个滤波器大小均为3×3，padding大小为1。
3.如权利要求1所述基于二维影像迁移学习的医学图像超分辨率三维重建方法，其特征在于，所述步骤(1)中，所述二维医学影像数据包括CT数据、MRI不同时期的数据中的至少一种；所述二维医学影像数据的分辨率均优选为1mm×1mm。
4.如权利要求1所述基于二维影像迁移学习的医学图像超分辨率三维重建方法，其特征在于，所述步骤(4)中，所述超分辨率医学图像相当于是所述初始图像序列放大s倍后得到的。
CN201811549593.1A 2018-12-18 2018-12-18 基于二维影像迁移学习的医学图像超分辨率三维重建方法 Active CN109584164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811549593.1A CN109584164B (zh) 2018-12-18 2018-12-18 基于二维影像迁移学习的医学图像超分辨率三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811549593.1A CN109584164B (zh) 2018-12-18 2018-12-18 基于二维影像迁移学习的医学图像超分辨率三维重建方法

Publications (2)

Publication Number Publication Date
CN109584164A true CN109584164A (zh) 2019-04-05
CN109584164B CN109584164B (zh) 2023-05-26

Family

ID=65929892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811549593.1A Active CN109584164B (zh) 2018-12-18 2018-12-18 基于二维影像迁移学习的医学图像超分辨率三维重建方法

Country Status (1)

Country Link
CN (1) CN109584164B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105475A (zh) * 2019-12-24 2020-05-05 电子科技大学 一种基于正交角度x光的骨骼三维重建方法
CN111833251A (zh) * 2020-07-13 2020-10-27 北京安德医智科技有限公司 一种三维医学图像超分辨率重建方法及装置
CN112669209A (zh) * 2020-12-24 2021-04-16 华中科技大学 一种三维医学图像超分辨率重建方法和系统
CN112700534A (zh) * 2020-12-30 2021-04-23 华东师范大学 一种基于特征迁移的超声或ct医学影像三维重建方法
CN112767532A (zh) * 2020-12-30 2021-05-07 华东师范大学 一种基于迁移学习的超声或ct医学影像三维重建方法
WO2021218214A1 (en) * 2020-04-26 2021-11-04 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for generating three-dimensional images
WO2022105623A1 (zh) * 2020-11-23 2022-05-27 西安科锐盛创新科技有限公司 一种基于迁移学习的颅内血管病灶识别方法
CN116805284A (zh) * 2023-08-28 2023-09-26 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295399A (zh) * 2007-04-26 2008-10-29 株式会社东芝 分辨率增强设备和方法
CN101345870A (zh) * 2008-09-04 2009-01-14 上海交通大学 低码率视频超分辨率重构的编码装置和解码装置
US20090080806A1 (en) * 2005-05-02 2009-03-26 Tokyo Institute Of Technology Fast method of super-resolution processing
US20110115793A1 (en) * 2009-11-16 2011-05-19 Grycewicz Thomas J System and Method for Super-Resolution Digital Time Delay and Integrate (TDI) Image Processing
CN102122387A (zh) * 2010-12-18 2011-07-13 浙江大学 一种鲁棒的超分辨率图像重建方法
US20130009959A1 (en) * 2010-03-03 2013-01-10 Brain Research Institute Foundation Pty Ltd. Image Processing System
CN103136727A (zh) * 2012-12-14 2013-06-05 西安电子科技大学 基于梯度一致性与各向异性正则化的超分辨图像重建方法
CN103150713A (zh) * 2013-01-29 2013-06-12 南京理工大学 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
US20130301933A1 (en) * 2012-05-10 2013-11-14 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
US20140125825A1 (en) * 2012-11-08 2014-05-08 Apple Inc. Super-resolution based on optical image stabilization
CN104820966A (zh) * 2015-04-30 2015-08-05 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法
CN105069825A (zh) * 2015-08-14 2015-11-18 厦门大学 基于深度置信网络的图像超分辨率重建方法
CN106447707A (zh) * 2016-09-08 2017-02-22 华中科技大学 一种图像实时配准方法及系统
CN106600553A (zh) * 2016-12-15 2017-04-26 华中科技大学 一种基于卷积神经网络的dem超分辨率方法
CN106910161A (zh) * 2017-01-24 2017-06-30 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
CN107358575A (zh) * 2017-06-08 2017-11-17 清华大学 一种基于深度残差网络的单幅图像超分辨率重建方法
CN108009989A (zh) * 2017-12-18 2018-05-08 华中科技大学 一种基于srcnn的微波遥感图像超分辨率重建方法
CN108335263A (zh) * 2018-01-25 2018-07-27 华中科技大学 一种基于vdsr的微波遥感图像超分辨率重建方法
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
CN108830796A (zh) * 2018-06-20 2018-11-16 重庆大学 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
CN109003229A (zh) * 2018-08-09 2018-12-14 成都大学 基于三维增强深度残差网络的磁共振超分辨率重建方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090080806A1 (en) * 2005-05-02 2009-03-26 Tokyo Institute Of Technology Fast method of super-resolution processing
CN101295399A (zh) * 2007-04-26 2008-10-29 株式会社东芝 分辨率增强设备和方法
CN101345870A (zh) * 2008-09-04 2009-01-14 上海交通大学 低码率视频超分辨率重构的编码装置和解码装置
US20110115793A1 (en) * 2009-11-16 2011-05-19 Grycewicz Thomas J System and Method for Super-Resolution Digital Time Delay and Integrate (TDI) Image Processing
US20130009959A1 (en) * 2010-03-03 2013-01-10 Brain Research Institute Foundation Pty Ltd. Image Processing System
CN102122387A (zh) * 2010-12-18 2011-07-13 浙江大学 一种鲁棒的超分辨率图像重建方法
US20130301933A1 (en) * 2012-05-10 2013-11-14 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
US20140125825A1 (en) * 2012-11-08 2014-05-08 Apple Inc. Super-resolution based on optical image stabilization
CN103136727A (zh) * 2012-12-14 2013-06-05 西安电子科技大学 基于梯度一致性与各向异性正则化的超分辨图像重建方法
CN103150713A (zh) * 2013-01-29 2013-06-12 南京理工大学 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
CN104820966A (zh) * 2015-04-30 2015-08-05 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法
CN105069825A (zh) * 2015-08-14 2015-11-18 厦门大学 基于深度置信网络的图像超分辨率重建方法
CN106447707A (zh) * 2016-09-08 2017-02-22 华中科技大学 一种图像实时配准方法及系统
CN106600553A (zh) * 2016-12-15 2017-04-26 华中科技大学 一种基于卷积神经网络的dem超分辨率方法
CN106910161A (zh) * 2017-01-24 2017-06-30 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
CN107358575A (zh) * 2017-06-08 2017-11-17 清华大学 一种基于深度残差网络的单幅图像超分辨率重建方法
CN108009989A (zh) * 2017-12-18 2018-05-08 华中科技大学 一种基于srcnn的微波遥感图像超分辨率重建方法
CN108335263A (zh) * 2018-01-25 2018-07-27 华中科技大学 一种基于vdsr的微波遥感图像超分辨率重建方法
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
CN108830796A (zh) * 2018-06-20 2018-11-16 重庆大学 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
CN109003229A (zh) * 2018-08-09 2018-12-14 成都大学 基于三维增强深度残差网络的磁共振超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
应自炉等: "面向图像超分辨率的紧凑型多径卷积神经网络算法研究", 《信号处理》 *
陈书贞等: "利用多尺度卷积神经网络的图像超分辨率算法", 《信号处理》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105475A (zh) * 2019-12-24 2020-05-05 电子科技大学 一种基于正交角度x光的骨骼三维重建方法
WO2021218214A1 (en) * 2020-04-26 2021-11-04 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for generating three-dimensional images
CN111833251A (zh) * 2020-07-13 2020-10-27 北京安德医智科技有限公司 一种三维医学图像超分辨率重建方法及装置
WO2022105623A1 (zh) * 2020-11-23 2022-05-27 西安科锐盛创新科技有限公司 一种基于迁移学习的颅内血管病灶识别方法
CN112669209A (zh) * 2020-12-24 2021-04-16 华中科技大学 一种三维医学图像超分辨率重建方法和系统
CN112669209B (zh) * 2020-12-24 2023-06-16 华中科技大学 一种三维医学图像超分辨率重建方法和系统
CN112700534A (zh) * 2020-12-30 2021-04-23 华东师范大学 一种基于特征迁移的超声或ct医学影像三维重建方法
CN112767532A (zh) * 2020-12-30 2021-05-07 华东师范大学 一种基于迁移学习的超声或ct医学影像三维重建方法
CN112767532B (zh) * 2020-12-30 2022-07-08 华东师范大学 一种基于迁移学习的超声或ct医学影像三维重建方法
CN116805284A (zh) * 2023-08-28 2023-09-26 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统
CN116805284B (zh) * 2023-08-28 2023-12-19 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统

Also Published As

Publication number Publication date
CN109584164B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN109584164A (zh) 基于二维影像迁移学习的医学图像超分辨率三维重建方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN106796716B (zh) 用于为低分辨率图像提供超分辨率的设备和方法
CN108629816B (zh) 基于深度学习进行薄层磁共振图像重建的方法
CN105469100B (zh) 基于深度学习的皮肤活检图像病理特性识别方法
Sloan et al. Learning rigid image registration-utilizing convolutional neural networks for medical image registration
CN109360152A (zh) 基于稠密卷积神经网络的三维医学图像超分辨率重建方法
CN113516210B (zh) 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置
CN103854267B (zh) 一种基于变分与分数阶微分的图像融合与超分辨率实现方法
CN109523584A (zh) 图像处理方法、装置、多模态成像系统、存储介质及设备
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN102184559B (zh) 一种基于粒子滤波的静态pet图像重建方法
Kang et al. Fusion of brain PET and MRI images using tissue-aware conditional generative adversarial network with joint loss
CN105678822B (zh) 一种基于Split Bregman迭代的三正则磁共振图像重构方法
CN107146263B (zh) 一种基于张量字典约束的动态pet图像重建方法
CN108596995A (zh) 一种pet-mri最大后验联合重建方法
CN112515653A (zh) 一种基于核磁共振图像的脑网络构建方法
CN106228583A (zh) 一种腹部图像重建的装置
CN104112294B (zh) 基于稀疏约束的强度关联成像高速三维重构系统及方法
CN109741439A (zh) 一种二维mri胎儿图像的三维重建方法
CN109063208A (zh) 一种融合多种特征信息的医学图像检索方法
CN113192151B (zh) 一种基于结构相似性的mri图像重建方法
Li et al. A novel approach to fast medical image fusion based on lifting wavelet transform
Geng et al. Exploring Structural Information for Semantic Segmentation of Ultrasound Images
CN107993207A (zh) 基于图像子块低秩分解的asl图像去噪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant