CN112200725A - 一种超分辨率重建方法、装置、存储介质及电子设备 - Google Patents
一种超分辨率重建方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112200725A CN112200725A CN202011161862.4A CN202011161862A CN112200725A CN 112200725 A CN112200725 A CN 112200725A CN 202011161862 A CN202011161862 A CN 202011161862A CN 112200725 A CN112200725 A CN 112200725A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- resolution image
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000015654 memory Effects 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 abstract description 15
- 238000004458 analytical method Methods 0.000 abstract description 9
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种超分辨率重建方法、装置、存储介质及电子设备，该方法包括：获取高分辨率图像和待处理的低分辨率图像；根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像。本发明实施例充分结合了多分辨率分析的思想，使得网络在重建过程中具有一定的可解释性。该方法采用两个神经网络分别进行采用分解和融合工作，得到超分辨率图像，完成超分辨率重建工作。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种超分辨率重建方法、装置、存储介质及电子设备。
背景技术
高分辨率(High Resolution，HR)医学图像可以提供丰富的结构细节，这对帮助医生发现病变极为重要。然而，由于设备限制、扫描时间或患者舒适度的限制，很难获得HR磁共振成像(Magnetic Resonance Imaging，MRI)。目前，提高MRI分辨率的常用方法有两种：第一是改进设备性能或扫描方法，成本较高；第二是通过超分辨率(Super－resolution，SR)重建技术从已知的低分辨率(Low Resolution，LR)图像中重建HR MRI，从而克服了硬件成本的限制。第二种方法由于具有较高的性价比，故在医学图像超分辨率研究领域引起了广泛的兴趣。
近年来，随着深度学习的快速发展，越来越多的学者成功地将其应用于图像超分辨领域。Dong等人首次将卷积神经网络(Convolutional Neural Network，CNN)应用到图像SR重建中，他们使用三层CNN学习LR/HR图像之间端到端的映射，从而指导HR图像的重建。此后，越来越多优秀的基于CNN的SR重建算法被提出，这极大地促进了MRI图像超分辨率重建的发展。在多模态超分辨率重建方面，Pham等人提出了一种3D残差CNN来执行MRI SR任务，将插值后的LR图像与预测图像以残差的方式相结合，生成HR图像。为了加快重构时间，Xiang等人在Unet的基础上与密集连接网络(Densely connected network)进行组合，提出Dense－Unet来完成重构任务。为了进一步验证参考图像对重建效果的影响，Zeng等人构建了可以同时进行单对比度和多对比度的超分辨率重建网络。
以上多模态重建方法都有一个共同的特点，即LR图像和参考图像都是先通过通道结合的方式输入网络进行特征提取，然后再通过神经网络的强大的学习能力生成HR图像。虽然可以获得更好的重建性能，但多模态重建网络是不可解释的，这可能会导致生成的HR图像不可靠。
发明内容
有鉴于此，本发明实施例提供了一种超分辨率重建方法、装置、存储介质及电子设备，以解决现有的超分辨率重建网络不可靠的技术问题。
本发明提出的技术方案如下：
本发明实施例第一方面提供一种超分辨率重建方法，该方法包括：获取高分辨率图像和待处理的低分辨率图像；根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像。
可选地，所述两种模态高分辨率图像中，第一种模态高分辨率为T1加权像和第二种模态高分辨率为T2加权像，根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像，包括：根据联想记忆网络建立高分辨率T1加权像和高分辨率T2加权像多尺度关联关系，将高分辨率T1加权像分解出多个与高分辨率T2加权像相关的关联图像。
可选地，根据联想记忆网络建立高分辨率T1加权像和高分辨率T2加权像多尺度关联关系，将高分辨率T1加权像分解出多个与高分辨率T2加权像相关的关联图像，包括：将所述高分辨率T1加权像进行特征提取、非线性映射以及特征融合得到第一尺度关联图像；将所述第一尺度关联进行下采样、特征提取、非线性映射以及特征融合得到第二尺度关联图像；将所述第二尺度关联图像进行下采样、特征提取、非线性映射以及特征融合得到第三尺度关联图像。
可选地，该超分辨率重建方法还包括：将所述第三尺度关联图像经过上采样后和所述第二尺度关联图像进行特征相加、非线性映射以及特征融合得到第四尺度关联图像；将所述第四尺度关联图像经过上采样后和所述第一尺度关联图像进行特征相加、非线性映射以及特征融合得到高分辨率T2加权像。
可选地，所述低分辨率图像包括第一倍数降分辨率图像和第二倍数降分辨率图像，采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像，包括：将所述第一倍数降分辨率图像进行特性提取后与所述第三尺度关联图像进行融合得到第一高分辨率图像；将所述第一高分辨率图像进行上采样后和所述第二尺度关联图像进行特征相加、非线性映射以及特征融合得到第二高分辨率图像；将所述第二倍数降分辨率图像进行特性提取后与所述第二高分辨率图像进行融合得到第三高分辨率图像；将所述第三高分辨率图像进行上采样后和所述第一尺度关联图像进行特征相加、非线性映射以及特征融合得到低分辨率图像对应的超分辨率图像。
本发明实施例第二方面提供一种超分辨率重建装置，该装置包括：图像获取模块，用于获取高分辨率图像和待处理的低分辨率图像；多尺度关联图像确定模块，用于根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；融合模块，用于采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像。
本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的超分辨率重建方法。
本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的超分辨率重建方法。
本发明提供的技术方案，具有如下效果：
本发明实施例提供的超分辨率重建方法、装置、存储介质及电子设备，充分结合了多分辨率分析的思想，使得网络在重建过程中具有一定的可解释性。同时，该方法采用了两个类似Unet的网络模型，包括联想记忆网络和多分辨多模态超分辨率重建网络，其中，联想记忆网络可以实现两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；多分辨多模态超分辨率重建网络可以实现将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像，完成超分辨率重建工作。
本发明实施例提供的超分辨率重建方法、装置、存储介质及电子设备，其中，联想记忆网络的主要作用使HR T1w生成与HR T2w相关的不同尺度下的关联特征，多分辨多模态重建网络的作用是将HR T1w生成的不同尺度的关联特征与LR T2w逐步进行融合，最终生成高分辨率的T2w。与现有的一些超分辨率重建方法相比，该重建方法可以同时进行2倍和4倍的重建，并都获得更高的PSNR(峰值信噪比)和SSIM(结构相似性)。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的超分辨率重建方法的流程图；
图2是根据本发明另一实施例的超分辨率重建方法的流程图；
图3是根据本发明实施例的联想记忆网络的结构框图；
图4是根据本发明另一实施例的超分辨率重建方法的流程图；
图5是根据本发明另一实施例的超分辨率重建方法的流程图；
图6是根据本发明实施例的多分辨多模态超分辨率重建网络的结构框图；
图7是根据本发明实施例的超分辨率重建装置的结构框图；
图8是根据本发明实施例提供的计算机可读存储介质的结构示意图；
图9是根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种超分辨率重建方法，如图1所示，该方法包括如下步骤：
步骤S101：获取高分辨率图像和待处理的低分辨率图像；其中，对于高分辨率图像可以获取不同模态的图像，例如可以获取高分辨率T1加权像和高分辨率T2加权像。具体地，在进行医学图像扫描时，对于同一扫描对象，可以根据实际需要调整成像参数，获取不同模态的图像。而不同模态的图像之间具有互补性，可以满足不同的应用需求。而加权像是指突出某种成分的成像，使其所占的比重大、分量多的意思。
加权像主要包括T1加权像和T2加权像。Tl加权像主要反映组织间T1值差别，T2加权像主要反映组织间T2值差别。T1加权成像和T2加权成像可通过调节重复时间(TR，Repetition Time)和回波时间(TE，Echo Time)而获得。T1加权像需要采用短TR和短TE的扫描序列获得，而T2加权像需要设置扫描序列为长TR和长TE；因此T1加权像的成像时间比T2加权像的成像时间短，临床中更容易获得高分辨率的T1加权像。而为了加快T2加权像的成像速度，会以加大层厚为代价，从而产生T2加权像。人体不同组织及病变具有不同的T1、T2值，MRI检查就是根据这些灰度变化进行疾病诊断。其中T1加权像利于观察图像的解剖结构，边缘更清晰，并且具有非常丰富的结构纹理(高频特征丰富)；T2加权像更利于组织病灶的检测。
步骤S102：根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像。
信号空间L2(R)的正交分解为
于是，对于任意测量信号f(x,y)∈L2(R)，多分辨率分析可以把它分解成为细节部分WN和低频大尺度近似部分VN，然后低频部分再进行进一步的分解，可以重复到任意尺度上。信号f(x,y)分解过程用数学公式表述为：
其中，fN(x,y)和dk(x,y)分别表示信号的近似部分与细节部分。由多分辨率分析可知，原始信号可以由低频信号和高频信号来联合表示。由此，可以借鉴这一思想来完成超分辨率重建工作：当只存在近似图像(低分辨率图像)时，可以引入细节图像(高频图像)来重建出原始图像(高分辨率图像)。
因此，可以利用多分辨率分析的思想完成对低分辨率图像的超分辨率重建，但是需要在重建过程中补充细节图像。在以往的脑MRI超分辨率重建工作中，将高分辨率T1加权像作为先验信息去帮助其他模态图像进行超分辨率重建的工作已经被证明有效，因此，细节图像可以由高分辨率T1加权像来生成。第一步，需要将高分辨率T1加权像进行多分辨率分解：
其中fN(T1w)和dk(T1w)分别表示高分辨率T1加权像(HR T1w)的近似图像和细节图像，f0(T1w)为HR T1w。第二步，将HR T1w的细节图像与高分辨率T2加权像(HR T2w)的近似图像进行结合：
经过以上两个步骤完成低分辨率图像的超分辨率重建工作。
在实际重建过程中，可以利用神经网络来模仿多分辨率分析分解与融合的过程。于是建立了两个类似Unet的网络模型。第一个网络是联想记忆网络(Associative MemoryNetwork)，联想记忆网络可以建立高分辨率T1加权像和高分辨率T2加权像的多尺度关联关系，将高分辨率T1加权像分解出多个与高分辨率T2加权像相关的关联图像。
步骤S103：采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像。其中，多分辨多模态超分辨率重建网络(Multi－Resolution Analysis MultimodalSR Reconstruction Network)可以实现超分辨率重建的融合工作，实现由高分辨率T1加权像联想出的多尺度关联图像与T2加权像的低分辨率图像进行融合，得到T2加权像的低分辨率图像对应的超分辨率图像，完成超分辨率重建。
本发明实施例提供的超分辨率重建方法，充分结合了多分辨率分析的思想，使得网络在重建过程中具有一定的可解释性。同时，该方法采用了两个类似Unet的网络模型，包括联想记忆网络和多分辨多模态超分辨率重建网络，其中，联想记忆网络可以实现两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；多分辨多模态超分辨率重建网络可以实现将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像，完成超分辨率重建工作。
在一实施例中，如图2所示，在根据联想记忆网络建立高分辨率T1加权像和高分辨率T2加权像多尺度关联关系，将高分辨率T1加权像分解出多个与高分辨率T2加权像相关的关联图像，包括如下步骤：
步骤S201：将高分辨率T1加权像进行特征提取、非线性映射以及特征融合得到第一尺度关联图像。
具体地，对于联想记忆网络，它建立的是高分辨率T1加权像和T2加权像之间的多尺度关联关系，即联想记忆网络的输入是高分辨率T1加权像，输出的高分辨率T2加权像，因此，分解得到的图像是与高分辨率T2加权像相关的三个不同尺度的关联特征图像。
其中，如图3所示，在生成第一尺度关联图像
时，可以由输入的高分辨率T1加权像进行特征提取、非线性映射以及特征融合得到。具体可以先将HR T1通过1个3D卷积进行浅层的特征提取，然后通过1个密集连接块(DenseBlock)进行非线性映射(学习)，然后再经过1个1＊1＊1的卷积层对密集连接块的特征进行融合，最后得到
步骤S202：将第一尺度关联图像进行下采样、特征提取、非线性映射以及特征融合得到第二尺度关联图像；其中，第二尺度关联图像的生成过程与第一尺度关联图像相同。具体可以将第一尺度关联图像进行下采样、特征提取、非线性映射以及特征融合得到第二尺度关联图像
其中，如图3所示，通过池化层实现下采样，再通过1个3D卷积进行浅层的特征提取，然后通过1个密集连接块(DenseBlock)进行非线性映射(学习)，然后再经过1个1＊1＊1的卷积层对密集连接块的特征进行融合，最后得到
步骤S203：将第二尺度关联图像进行下采样、特征提取、非线性映射以及特征融合得到第三尺度关联图像。其中，第三尺度关联图像的生成过程也与第一尺度关联图像相同。具体可以将第二尺度关联图像进行下采样、特征提取、非线性映射以及特征融合得到第三尺度关联图像
其中，如图3所示，通过池化层实现下采样，再通过1个3D卷积进行浅层的特征提取，然后通过1个密集连接块(DenseBlock)进行非线性映射(学习)，然后再经过1个1＊1＊1的卷积层对密集连接块的特征进行融合，最后得到
在一实施例中，对于联想记忆网络，是通过HR T1加权像生成HR T2加权像的过程，因此，在得到第三尺度关联图像后，还可以通过上采样最终得到HR T2加权像。具体地，如图4所示，该超分辨率重建方法还包括如下步骤：
步骤S301：将第三尺度关联图像经过上采样后和第二尺度关联图像进行特征相加、非线性映射以及特征融合得到第四尺度关联图像；具体地，如图3所示，上采样可以由反卷积实现，即将第三尺度关联图像经过反卷积后和第二尺度关联图像进行特征相加、1个3D卷积进行浅层的特征提取，然后通过1个密集连接块(DenseBlock)进行非线性映射(学习)，然后再经过1个1＊1＊1的卷积层对密集连接块的特征进行融合，得到第四尺度关联图像。
步骤S302：将第四尺度关联图像经过上采样后和第一尺度关联图像进行特征相加、非线性映射以及特征融合得到高分辨率T2加权像。具体地，如图3所示，该上采样也可以由反卷积实现，将第四尺度关联图像经过反卷积后和第一尺度关联图像进行特征相加、1个3D卷积进行浅层的特征提取，然后通过1个密集连接块(DenseBlock)进行非线性映射(学习)，然后再经过1个1＊1＊1的卷积层对密集连接块的特征进行融合，得到第五尺度关联图像，第五尺度关联图像经过1个3D卷积进行特征提取后即可得到高分辨率T2加权像。
在一实施例中，为了实现低分辨率图像和三个尺度关联图像的逐步融合，可以获取4倍下采样的低分辨率图像和2倍下采样的低分辨率图像，即低分辨率图像包括第一倍数降分辨率图像和第二倍数降分辨率图像。
如图5所示，采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像，包括如下步骤：
步骤S401：将第一倍数降分辨率图像进行特性提取后与第三尺度关联图像进行融合得到第一高分辨率图像；具体地，多分辨多模态超分辨率重建网络实现的是低分辨率图像和多尺度关联图像融合生成超分辨率图像的过程。其中，多分辨多模态超分辨率重建网络是在联想记忆网络的下采样网络上搭建的，这部分下采样网络的权重不随重建网络的学习而发生改变。因此，在训练多分辨多模态超分辨率重建网络时，这部分网络权重无需对其进行更新。
如图6所示，在将低分辨率图像和多尺度关联图像融合过程中，先将第一倍数降分辨率图像即4倍下采样的LR T2w通过1个3D卷积进行浅层的特征提取后与第三尺度关联图像进行融合得到第一高分辨率图像，融合方式选择通道连接和1＊1＊1卷积的方式完成。
步骤S402：将第一高分辨率图像进行上采样后和第二尺度关联图像进行特征相加、非线性映射以及特征融合得到第二高分辨率图像；其中，如图6所示，上采样可以采用反卷积实现，将第一高分辨率图像进行反卷积后和第二尺度关联图像进行特征相加、1个3D卷积进行浅层的特征提取，然后通过1个密集连接块(DenseBlock)进行非线性映射(学习)，然后再经过1个1＊1＊1的卷积层对密集连接块的特征进行融合，得到第二高分辨率图像。
步骤S403：将第二倍数降低分辨率图像进行特性提取后与第二高分辨率图像进行融合得到第三高分辨率图像；如图6所示，对于第二高分辨率图像可以再和第二倍数降分辨率图像即2倍下采样的低分辨率图像进行融合，得到第三高分辨率图像，融合方式也选择通道连接和1＊1＊1卷积的方式完成。此外，将第三高分辨率图像进行1个3D卷积的特征提取可以得到2倍下采样的高分辨率T2加权像，实现了2倍的重建。
步骤S404：将第三高分辨率图像进行上采样后和第一尺度关联图像进行特征相加、非线性映射以及特征融合得到低分辨率图像对应的超分辨率图像。其中，如图6所示，上采样可以采用反卷积实现，将第三高分辨率图像进行反卷积后和第一尺度关联图像进行特征相加、1个3D卷积进行浅层的特征提取，然后通过1个密集连接块(DenseBlock)进行非线性映射(学习)，然后再经过1个1＊1＊1的卷积层对密集连接块的特征进行融合，得到第四高分辨率图像。第四高分辨率图像经过1个3D卷积进行特征提取后即可得到低分辨率图像对应的超分辨率图像，实现了4倍的重建。
本发明实施例提供的超分辨率重建方法，其中，联想记忆网络的主要作用使HRT1w生成与HR T2w相关的不同尺度下的关联图像，多分辨多模态重建网络的作用是将HRT1w生成的不同尺度的关联图像与LR T2w逐步进行融合，最终生成高分辨率的T2w。与现有的一些超分辨率重建方法相比，该重建方法可以同时进行2倍和4倍的重建，并都获得更高的PSNR(峰值信噪比)和SSIM(结构相似性)。
在一实施例中，为了更好地描述HR T1w和HR T2w在结构上的映射关系，联想记忆网络的损失函数选择结构相似性损失函数(Structural SIMilarity，SSIM)，多分辨多模态超分辨率重建网络的损失函数选择平均绝对值误差损失函数(Mean Absolute Error，MAE)。
在一实施例中，在对两个网络进行训练前，还可以先对高分辨率图像进行预处理，包括配准、HR T2w降采样、数据增强和图像块的截取等；图像配准是医学图像分析的重要步骤，具体可以采用现有的SPM12软件将T1w和T2w配准至同一标准空间。HR T2w降采样采用高斯滤波+下采样(平均体素)的方式，数据增强包括翻转，最重要的是从T1w和T2w的空间坐标中随机提取二者相对应64＊64＊64的图像块，输入网络前还需对图像块进行归一化处理，保证各个体素值为0～1之间。
此外，除了对图像的预处理过程外，还需要进行网络超参数的设置。两个网络的超参数值可以设置相同。其中，一次训练所选取的样本数(batch＿size)为2，除了重建层和浅层特征提取层的滤波器(filter)个数为1外，各卷积滤波器(filter)个数为64，同时使用自适应矩估计(adam)优化器，学习率设置为0.0001。
本发明实施例还提供一种超分辨率重建装置，如图7所示，该装置包括：
图像获取模块10，用于获取高分辨率图像和待处理的低分辨率图像；详细内容参见上述方法实施例中步骤S101的相关描述。
多尺度关联图像确定模块20，用于根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；详细内容参见上述方法实施例中步骤S102的相关描述。
融合模块30，用于采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像。详细内容参见上述方法实施例中步骤S103的相关描述。
本发明实施例提供的超分辨率重建装置，充分结合了多分辨率分析的思想，使得网络在重建过程中具有一定的可解释性。同时，该装置采用了两个类似Unet的网络模型，包括联想记忆网络和多分辨多模态超分辨率重建网络，其中，联想记忆网络可以实现两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；多分辨多模态超分辨率重建网络可以实现将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像，完成超分辨率重建工作。
本发明实施例提供的超分辨率重建装置的功能描述详细参见上述实施例中超分辨率重建方法描述。
本发明实施例还提供一种存储介质，如图8所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中超分辨率重建方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccess Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本发明实施例还提供了一种电子设备，如图9所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图9中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的超分辨率重建方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1－6所示实施例中的超分辨率重建方法。
上述电子设备具体细节可以对应参阅图1至图6所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (8)
1.一种超分辨率重建方法，其特征在于，包括：
获取高分辨率图像和待处理的低分辨率图像；
根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；
采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像。
2.根据权利要求1所述的超分辨率重建方法，其特征在于，所述两种模态高分辨率图像中，第一种模态高分辨率图像为T1加权像和第二种模态高分辨率为T2加权像，
根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像，包括：根据联想记忆网络建立高分辨率T1加权像和高分辨率T2加权像多尺度关联关系，将高分辨率T1加权像分解出多个与高分辨率T2加权像相关的关联图像。
3.根据权利要求2所述的超分辨率重建方法，其特征在于，根据联想记忆网络建立高分辨率T1加权像和高分辨率T2加权像多尺度关联关系，将高分辨率T1加权像分解出多个与高分辨率T2加权像相关的关联图像，包括：
将所述高分辨率T1加权像进行特征提取、非线性映射以及特征融合得到第一尺度关联图像；
将所述第一尺度关联图像进行下采样、特征提取、非线性映射以及特征融合得到第二尺度关联图像；
将所述第二尺度关联图像进行下采样、特征提取、非线性映射以及特征融合得到第三尺度关联图像。
4.根据权利要求3所述的超分辨率重建方法，其特征在于，还包括：
将所述第三尺度关联图像经过上采样后和所述第二尺度关联图像进行特征相加、非线性映射以及特征融合得到第四尺度关联图像；
将所述第四尺度关联图像经过上采样后和所述第一尺度关联图像进行特征相加、非线性映射以及特征融合得到高分辨率T2加权像。
5.根据权利要求3所述的超分辨率重建方法，其特征在于，所述第二种模态的低分辨率图像包括第一倍数降分辨率图像和第二倍数降分辨率图像，
采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像，包括：
将所述第一倍数降分辨率图像进行特性提取后与所述第三尺度关联图像进行融合得到第一高分辨率图像；
将所述第一高分辨率图像进行上采样后和所述第二尺度关联图像进行特征相加、非线性映射以及特征融合得到第二高分辨率图像；
将所述第二倍数降分辨率图像进行特性提取后与所述第二高分辨率图像进行融合得到第三高分辨率图像；
将所述第三高分辨率图像进行上采样后和所述第一尺度关联图像进行特征相加、非线性映射以及特征融合得到低分辨率图像对应的超分辨率图像。
6.一种超分辨率重建装置，其特征在于，包括：
图像获取模块，用于获取高分辨率图像和待处理的低分辨率图像；
多尺度关联图像确定模块，用于根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；
融合模块，用于采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－5任一项所述的超分辨率重建方法。
8.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1－5任一项所述的超分辨率重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011161862.4A CN112200725B (zh) | 2020-10-26 | 2020-10-26 | 一种超分辨率重建方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011161862.4A CN112200725B (zh) | 2020-10-26 | 2020-10-26 | 一种超分辨率重建方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112200725A true CN112200725A (zh) | 2021-01-08 |
| CN112200725B CN112200725B (zh) | 2023-11-28 |
Family
ID=74012408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011161862.4A Active CN112200725B (zh) | 2020-10-26 | 2020-10-26 | 一种超分辨率重建方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200725B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038267A (zh) * | 2021-03-09 | 2021-06-25 | Oppo广东移动通信有限公司 | 视频处理方法及装置、计算机可读存储介质和电子设备 |
| CN113191948A (zh) * | 2021-04-22 | 2021-07-30 | 中南民族大学 | 多分辨率特征交叉融合的图像压缩感知重构系统及其方法 |
| CN113506222A (zh) * | 2021-07-30 | 2021-10-15 | 合肥工业大学 | 一种基于卷积神经网络的多模态图像超分辨方法 |
| CN114092337A (zh) * | 2022-01-19 | 2022-02-25 | 苏州浪潮智能科技有限公司 | 一种图像任意尺度的超分辨率放大的方法和装置 |
| CN117291855A (zh) * | 2023-09-15 | 2023-12-26 | 杭州一隅千象科技有限公司 | 高分辨率图像融合方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050232512A1 (en) * | 2004-04-20 | 2005-10-20 | Max-Viz, Inc. | Neural net based processor for synthetic vision fusion |
| US20170003368A1 (en) * | 2015-07-02 | 2017-01-05 | The General Hospital Corporation | System and Method For High Resolution Diffusion Imaging |
| CN109146788A (zh) * | 2018-08-16 | 2019-01-04 | 广州视源电子科技股份有限公司 | 基于深度学习的超分辨率图像重建方法和装置 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN111798377A (zh) * | 2020-07-08 | 2020-10-20 | 广东工业大学 | 基于多分辨率学习策略的磁共振图像超分辨率重建方法 |
-
2020
- 2020-10-26 CN CN202011161862.4A patent/CN112200725B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050232512A1 (en) * | 2004-04-20 | 2005-10-20 | Max-Viz, Inc. | Neural net based processor for synthetic vision fusion |
| US20170003368A1 (en) * | 2015-07-02 | 2017-01-05 | The General Hospital Corporation | System and Method For High Resolution Diffusion Imaging |
| CN109146788A (zh) * | 2018-08-16 | 2019-01-04 | 广州视源电子科技股份有限公司 | 基于深度学习的超分辨率图像重建方法和装置 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN111798377A (zh) * | 2020-07-08 | 2020-10-20 | 广东工业大学 | 基于多分辨率学习策略的磁共振图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 武博 等: "图像域自适应线性自回归MRI图像客观质量提升算法研究", 北京生物医学工程, vol. 35, no. 6, pages 626 - 631 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038267A (zh) * | 2021-03-09 | 2021-06-25 | Oppo广东移动通信有限公司 | 视频处理方法及装置、计算机可读存储介质和电子设备 |
| CN113191948A (zh) * | 2021-04-22 | 2021-07-30 | 中南民族大学 | 多分辨率特征交叉融合的图像压缩感知重构系统及其方法 |
| CN113191948B (zh) * | 2021-04-22 | 2022-05-03 | 中南民族大学 | 多分辨率特征交叉融合的图像压缩感知重构系统及其方法 |
| CN113506222A (zh) * | 2021-07-30 | 2021-10-15 | 合肥工业大学 | 一种基于卷积神经网络的多模态图像超分辨方法 |
| CN113506222B (zh) * | 2021-07-30 | 2024-03-01 | 合肥工业大学 | 一种基于卷积神经网络的多模态图像超分辨方法 |
| CN114092337A (zh) * | 2022-01-19 | 2022-02-25 | 苏州浪潮智能科技有限公司 | 一种图像任意尺度的超分辨率放大的方法和装置 |
| CN117291855A (zh) * | 2023-09-15 | 2023-12-26 | 杭州一隅千象科技有限公司 | 高分辨率图像融合方法 |
| CN117291855B (zh) * | 2023-09-15 | 2024-05-31 | 杭州一隅千象科技有限公司 | 高分辨率图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200725B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112200725B (zh) | 一种超分辨率重建方法、装置、存储介质及电子设备 | |
| WO2020134826A1 (zh) | 磁共振并行成像方法及相关设备 | |
| CN113920213B (zh) | 基于长距离注意力模型重建的多层磁共振成像方法及装置 | |
| CN113706388B (zh) | 图像超分辨率重建方法及装置 | |
| CN112037304B (zh) | 基于swi相位图像的两阶段的边缘增强qsm重建方法 | |
| WO2021102644A1 (zh) | 图像增强方法、装置及终端设备 | |
| Qiu et al. | Progressive U-Net residual network for computed tomography images super-resolution in the screening of COVID-19 | |
| Lu et al. | A novel 3D medical image super-resolution method based on densely connected network | |
| Thurnhofer-Hemsi et al. | Deep learning-based super-resolution of 3D magnetic resonance images by regularly spaced shifting | |
| CN106981046B (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
| Manimala et al. | Sparse MR image reconstruction considering Rician noise models: A CNN approach | |
| Pham et al. | Simultaneous super-resolution and segmentation using a generative adversarial network: Application to neonatal brain MRI | |
| CN113313728B (zh) | 一种颅内动脉分割方法及系统 | |
| WO2024021796A1 (zh) | 一种图像处理方法、装置、电子设备、存储介质及程序产品 | |
| CN111681297B (zh) | 图像重建方法、计算机设备和存储介质 | |
| CN117635426A (zh) | 一种基于多尺度注意力的磁共振图像超分辨率重建方法 | |
| Zhang et al. | Multi-scale network with the deeper and wider residual block for MRI motion artifact correction | |
| Qin et al. | A2OURSR: Adaptive adjustment based real MRI super-resolution via opinion-unaware measurements | |
| Revathy et al. | Medical image registration using landmark registration technique and fusion | |
| Han et al. | Arbitrary scale super-resolution diffusion model for brain MRI images | |
| CN114419015A (zh) | 一种基于多模态配准的脑功能融合分析方法 | |
| Aghabiglou et al. | Densely connected wavelet-based autoencoder for MR image reconstruction | |
| CN117333571B (zh) | 磁共振图像的重建方法、系统、设备及介质 | |
| Rani et al. | Efficient fused convolution neural network (EFCNN) for feature level fusion of medical images | |
| CN118483633B (zh) | 一种快速的化学交换饱和转移成像与重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |