CN109544488B - 一种基于卷积神经网络的图像合成方法 - Google Patents
一种基于卷积神经网络的图像合成方法 Download PDFInfo
- Publication number
- CN109544488B CN109544488B CN201811166052.0A CN201811166052A CN109544488B CN 109544488 B CN109544488 B CN 109544488B CN 201811166052 A CN201811166052 A CN 201811166052A CN 109544488 B CN109544488 B CN 109544488B
- Authority
- CN
- China
- Prior art keywords
- magnetic resonance
- image
- network layer
- resonance image
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 35
- 238000001308 synthesis method Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000012360 testing method Methods 0.000 claims abstract description 37
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 241001653634 Russula vesca Species 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 241001181114 Neta Species 0.000 claims 1
- 238000013507 mapping Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于卷积神经网络的图像合成方法，包括以下步骤：步骤1，对3T‑7T训练图像对和测试3T磁共振图像进行预处理，得到预处理后的3T‑7T训练图像对和预处理后的测试3T磁共振图像；步骤2，构建双域卷积神经网络模型，将预处理后的3T‑7T训练图像对输入双域卷积神经网络模型中进行训练，得到训练后的双域卷积神经网络模型；步骤3，将预处理后的测试3T磁共振图像作为当前3T磁共振图像，将当前图像输入训练后的双域卷积神经网络模型中，得到与当前3T磁共振图像所对应的7T磁共振图像。
Description
技术领域
本发明属于图像处理领域，具体涉及一种基于卷积神经网络的图像合成方法。
背景技术
随着磁共振成像技术的迅速发展，磁共振图像的分辨率、信噪比和扫描速度都有了较大提高。然而，目前7T磁共振成像扫描仪价格极其昂贵，分布非常稀少，全世界不足100台。与此对比，作为一种临床常规选择，3T磁共振扫描仪从20世纪初开始成为行业的金标准，至今仍普遍用于科学研究和临床实践。为了提高磁共振图像质量，临床常用措施是使用尺寸较小的体素进行图像采集，能够获得更多的图像细节、更高的分辨率和对比度，但同时造成信噪比较低和扫描时间较长的问题。
现有技术通常采用图像合成的方法来获取7T磁共振图像，图像合成的目标是利用低分辨率3T磁共振图像重建高分辨率7T磁共振图像。由于7T磁共振图像外观和对比度不同于3T磁共振图像外观和对比度，图像合成问题与图像超分辨率问题不同。为了解决这个问题，近年出现了很多基于机器学习的方法，并取得较好效果。这些方法大致可以分为两大类：基于模型的方法和基于深度学习的方法。
其中，基于模型的方法包括基于稀疏表示的方法和基于级联回归的方法。基于稀疏表示的方法，通过对输入图像或外部训练图像学习配对的低分辨率和高分辨率字典，利用稀疏表示对输入的低分辨率图像进行高分辨率重建。然而，基于稀疏表示的方法假设低分辨率图像和高分辨率图像的稀疏系数相同，这与实际情况不符。基于级联回归的方法，通过挖掘输入低分辨率图像和低分辨率训练图像之间的结构相似性先验，利用级联的线性回归模型学习配对的低分辨率训练图像和高分辨率训练图像之间的映射关系，将学习的回归模型用于高分辨率图像重建。但基于级联回归的方法只适用于线性映射建模，难于准确表达3T与7T模态磁共振图像之间复杂的非线性映射关系。基于深度学习的方法能够从训练数据中自适应学习图像模型，其中具有代表性的方法是基于卷积神经网络的方法，其性能通常超过基于模型的方法。基于卷积神经网络的方法，先利用卷积神经网络模型学习一组配对的3T训练磁共振图像亮度及其解剖结构与7T磁共振图像亮度之间的映射关系，然后将学习的网络模型用于7T图像合成。然而，基于卷积神经网络的方法对7T图像合成时需要同时输入3T图像及其组织解剖结构标记，严重制约了该方法的应用范围，其中3T磁共振图像的组织解剖结构标记误差会降低7T磁共振图像合成效果。此外，基于模型的方法，采用手工刻画特征用于图像建模，难以自适应表达图像的复杂分布，从而限制了其应用范围，并且存在参数调节困难和测试计算量大的问题。现有基于卷积神经网络的方法可以避免基于模型的方法存在的弊端，但需要合理高效的网络模型来表达3T与7T模态磁共振图像之间的复杂映射关系。
发明内容
针对现有技术中存在的不足，本发明的目的在于，提供一种基于卷积神经网络的图像合成方法，解决现有技术无法高效利用3T磁共振图像来获取7T磁共振图像的技术问题。
为了解决上述技术问题，本申请采用如下技术方案予以实现：
一种基于卷积神经网络的图像合成方法，包括以下步骤：
步骤1，获取多个三维3T磁共振图像组成三维3T磁共振图像训练集，获取多个三维7T磁共振图像组成三维7T磁共振图像训练集；
将三维3T磁共振图像训练集中的M个连续二维3T磁共振图像切片作为一个3T图像块和三维7T磁共振图像训练集中的M个连续二维7T磁共振图像切片作为一个7T图像块，所述一个3T图像块和一个7T图像块组成一对3T-7T训练图像对；
输入任一个三维3T磁共振图像作为测试3T磁共振图像，所述测试3T磁共振图像不属于三维3T磁共振图像训练集；
对3T-7T训练图像对和测试3T磁共振图像进行预处理，得到预处理后的3T-7T训练图像对和预处理后的测试3T磁共振图像；
步骤2，构建双域卷积神经网络模型，将预处理后的3T-7T训练图像对输入双域卷积神经网络模型中进行训练，得到训练后的双域卷积神经网络模型，所述训练后的双域卷积神经网络模型包括L个网络层，L为大于3的整数；
步骤3，将预处理后的测试3T磁共振图像作为当前3T磁共振图像，将当前3T磁共振图像输入训练后的双域卷积神经网络模型中，得到与当前3T磁共振图像所对应的7T磁共振图像；
包括：
步骤31，在第一网络层，利用nf个第一卷积滤波器提取该当前3T磁共振图像的特征，得到nf个空间域特征；同时将当前3T磁共振图像通过快速傅里叶变换后得到频域当前3T磁共振图像，利用nf个第一卷积滤波器提取该频域当前3T磁共振图像的特征，得到nf个频域特征，nf为大于0的整数；
步骤32，在第l网络层，其中l＝2,…,L-1，其中L是设定的网络层个数，对第l网络层的前一网络层输出的nf个空间域特征和nf个频域特征分别进行拼接和卷积处理，然后将经过拼接和卷积处理后的nf个空间域特征和nf个频域特征通过修正线性单元激活，得到第l网络层输出的nf个空间域特征和nf个频域特征，包括：
步骤321，在第l网络层，将第l网络层的前一网络层输出的nf个空间域特征作为当前网络层输入的nf个空间域特征，将第l网络层的前一网络层输出的nf个频域特征作为第l网络层输入的nf个频域特征；
步骤322，利用快速傅里叶逆变换将当前网络层输入的nf个频域特征转换到空间域，得到nf个转换后的空间域特征，将nf个转换后的空间域特征与第l网络层输入的nf个空间域特征进行拼接得到拼接后的空间域特征，将拼接后的空间域特征依次输入nf个第二卷积滤波器和第一修正线性单元中，得到第l网络层输出的nf个新的空间域特征；
同时，利用快速傅里叶变换将第l网络层输入的nf个空间域特征转换到频域，得到nf个转换后的频域特征，将nf个转换后的频域特征与第l网络层输入的nf个频域特征进行拼接得到拼接后的频域特征，将拼接后的频域特征依次输入nf个第二卷积滤波器和第一修正线性单元中，得到第l网络层输出的nf个新的频域特征；
步骤323，将第l网络层输出的nf个新的空间域特征作为第l网络层的下一网络层输入的nf个空间域特征，将第l网络层输出的nf个新的频域特征作为第l网络层的下一网络层输入的nf个频域特征；
步骤33，将第L网络层输入的nf个空间域特征和nf个频域特征进行拼接，得到拼接后的特征，将该拼接后的特征依次输入c个第三卷积滤波器和第二修正线性单元中，利用均方根准则对复值空间域特征计算复值幅度，得到第L网络层输出的c个特征，该c个输出特征即为由当前3T磁共振图像所合成的7T磁共振图像，其中c为大于0的整数。
进一步地，所述第一卷积滤波器的尺寸为k1×k1×c；第二卷积滤波器的尺寸为kl×kl×2nf；第三卷积滤波器的尺寸为kL×kl×2nf，其中k1、kl、kL均为大于0的整数。
进一步地，所述对3T-7T训练图像对和测试3T磁共振图像进行预处理，得到预处理后的3T-7T训练图像对和预处理后的测试3T磁共振图像，包括：
步骤11，使用FLIRT将3T-7T训练图像对配准到MNI标准空间，得到配准后的3T-7T训练图像对；
步骤12，将配准后的3T-7T训练图像对和测试3T磁共振图像进行归一化处理，得到归一化后的3T-7T训练图像对和归一化后的测试3T磁共振图像，即为预处理后的3T-7T训练图像对和预处理后的测试3T磁共振图像。
本发明与现有技术相比，有益的技术效果是：
本发明对于输入3T图像，通过建立一个新颖的双域卷积神经网络模型，用于学习3T图像到7T图像之间的复杂映射关系，合成逼真的高质量的7T图像。本发明的的性能取决于其网络结构、优化算法、超参数选择、模型参数的数量和训练数据的数量，具有简单结构的本发明所建模型在性能上优于现有技术方法，充分验证了双域策略和蝶形模块的有效性。
本发明将学习的网络模型用于合成7T图像为磁共振成像(MRI)技术在疾病诊断和低成本健康医疗服务中的临床应用奠定技术基础。
附图说明
图1为本发明所构建的双域卷积神经网络模型结构图。
以下结合附图和实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均属于本发明的保护范围。
实施例：
本实施例提供了一种基于卷积神经网络的图像合成方法，包括以下步骤：
步骤1，对于一组个体，获取多个3T磁共振图像组成三维3T磁共振图像训练集，获取多个三维7T磁共振图像组成三维7T磁共振图像训练集；
将三维3T磁共振图像训练集中的M个连续二维3T磁共振图像切片作为一个3T图像块和三维7T磁共振图像训练集中的M个连续二维7T磁共振图像作为一个7T图像块，所述一个3T图像块和一个7T图像块组成一个配准的3T-7T训练图像对；
输入任一三维3T磁共振图像作为测试3T磁共振图像，所述测试3T磁共振图像不属于3T磁共振图像训练集；
对3T-7T训练图像对和测试3T磁共振图像进行预处理，得到预处理后的3T-7T训练图像对和预处理后的测试3T磁共振图像；
其中，对3T-7T训练图像对和测试3T磁共振图像进行预处理，得到预处理后的3T-7T训练图像对和预处理后的测试3T磁共振图像，包括：
步骤11，使用FLIRT将3T-7T训练图像对配准到MNI标准空间，得到配准后的3T-7T训练图像对；
具体包括：
步骤111，利用单独模板将所有7T磁共振图像线性配准到MNI标准空间中；
步骤112，将每个3T磁共振图像刚性配准到对应的7T磁共振图像。
步骤113，将经过配准的3T-7T图像对执行偏差校正和颅骨剥离。
步骤12，将配准后的3T-7T训练图像对和测试3T磁共振图像进行归一化处理，得到归一化后的3T-7T训练图像对和归一化后的测试3T磁共振图像，即为预处理后的3T-7T训练图像对和预处理后的测试3T磁共振图像；
具体包括：
步骤121，将配准后的3T-7T训练图像对和测试3T磁共振图像采用z＝(z-zmin)/(zmax-zmin)归一化到强度范围[0,1]，其中z表示磁共振图像的体素值，zmin表示磁共振图像的最小值，zmax表示磁共振图像的最大值；
步骤122，通过三维直方图匹配，将所有归一化后的3T训练磁共振图像匹配到输入测试3T磁共振图像，以确保所有匹配的3T训练磁共振图像具有相似的对比范围；
步骤123，相应地，通过三维直方图匹配，将所有归一化后的7T训练磁共振图像匹配到与输入测试3T磁共振图像距离最近的3T训练磁共振图像对应的7T训练图像，这样，匹配后的7T训练图像也具有相似的强度和对比度范围。
步骤2，构建双域卷积神经网络模型，将预处理后的3T-7T训练图像对输入双域卷积神经网络模型中进行训练，得到训练后的双域卷积神经网络模型，所述训练后的双域卷积神经网络模型包括L个网络层，L为大于3的整数；
如图1所示为本发明所构建的双域卷积神经网络模型结构图，其中FFT表示快速傅里叶变换，IFFT表示快速傅里叶逆变换，Concat表示拼接操作，Conv表示卷积操作，ReLU表示修正线性单元激活函数。
步骤3，将预处理后的输入测试3T磁共振图像作为当前3T磁共振图像，将当前3T磁共振图像输入训练后的卷积神经网络模型中，得到与当前3T磁共振图像所对应的合成7T磁共振图像；
包括：
步骤31，在第一网络层，利用nf个第一卷积滤波器提取该当前3T磁共振图像的特征，得到nf个空间域特征；同时将当前3T磁共振图像通过快速傅里叶变换后得到频域当前3T磁共振图像，利用nf个第一卷积滤波器提取该频域当前3T磁共振图像的特征，得到nf个频域特征，nf为大于0的整数；
其中，第一卷积滤波器的尺寸为k1×k1×c；
步骤32，在第l网络层，其中l＝2,…,L-1，其中L是设定的网络层个数，对第l网络层的前一网络层输出的nf个空间域特征和nf个频域特征分别进行拼接和卷积处理，然后将经过拼接和卷积处理后的nf个空间域特征和nf个频域特征通过修正线性单元激活，得到第l网络层输出的nf个空间域特征和nf个频域特征，包括：
步骤321，在第l网络层，将第l网络层的前一网络层输出的nf个空间域特征作为当前网络层输入的nf个空间域特征，将第l网络层的前一网络层输出的nf个频域特征作为第l网络层输入的nf个频域特征；
步骤322，利用快速傅里叶逆变换将当前网络层输入的nf个频域特征转换到空间域，得到nf个转换后的空间域特征，将nf个转换后的空间域特征与第l网络层输入的nf个空间域特征进行拼接得到拼接后的空间域特征，将拼接后的空间域特征依次输入nf个第二卷积滤波器和第一修正线性单元中，得到第l网络层输出的nf个新的空间域特征；
本实施例中的修正线性单元可以为卷积神经网络中的任意一种修正线性单元，如ReLU函数、Sigmoid函数、Tanh函数等。
同时，利用快速傅里叶变换将第l网络层输入的nf个空间域特征转换到频域，得到nf个转换后的频域特征，将nf个转换后的频域特征与第l网络层输入的nf个频域特征进行拼接得到拼接后的频域特征，将拼接后的频域特征依次输入nf个第二卷积滤波器和第一修正线性单元中，得到第l网络层输出的nf个新的频域特征；
其中，第二卷积滤波器的尺寸为kl×kl×2nf；
步骤323，将第l网络层输出的nf个新的空间域特征作为第l网络层的下一网络层输入的nf个空间域特征，将第l网络层输出的nf个新的频域特征作为第l网络层的下一网络层输入的nf个频域特征；
步骤33，将第L网络层输入的nf个空间域特征和nf个频域特征进行拼接，得到拼接后的特征，将该拼接后的特征依次输入c个第三卷积滤波器和第二修正线性单元中，利用均方根准则对复值空间域特征计算复值幅度，得到第L网络层输出的c个特征，该c个输出特征即为由当前3T磁共振图像所合成的7T磁共振图像。其中，第三卷积滤波器的尺寸为kL×kl×2nf。
Claims (3)
1.一种基于卷积神经网络的图像合成方法，其特征在于，包括以下步骤：
步骤1，获取多个三维3T磁共振图像组成三维3T磁共振图像训练集，获取多个三维7T磁共振图像组成三维7T磁共振图像训练集；
将三维3T磁共振图像训练集中的M个连续二维3T磁共振图像切片作为一个3T图像块和三维7T磁共振图像训练集中的M个连续二维7T磁共振图像切片作为一个7T图像块，所述一个3T图像块和一个7T图像块组成一对3T-7T训练图像对；
输入任一个三维3T磁共振图像作为测试3T磁共振图像，所述测试3T磁共振图像不属于三维3T磁共振图像训练集；
对3T-7T训练图像对和测试3T磁共振图像进行预处理，得到预处理后的3T-7T训练图像对和预处理后的测试3T磁共振图像；
步骤2，构建双域卷积神经网络模型，将预处理后的3T-7T训练图像对输入双域卷积神经网络模型中进行训练，得到训练后的双域卷积神经网络模型，所述训练后的双域卷积神经网络模型包括L个网络层，L为大于3的整数；
步骤3，将预处理后的测试3T磁共振图像作为当前3T磁共振图像，将当前3T磁共振图像输入训练后的双域卷积神经网络模型中，得到与当前3T磁共振图像所对应的7T磁共振图像；
包括：
步骤31，在第一网络层，利用nf个第一卷积滤波器提取该当前3T磁共振图像的特征，得到nf个空间域特征；同时将当前3T磁共振图像通过快速傅里叶变换后得到频域当前3T磁共振图像，利用nf个第一卷积滤波器提取该频域当前3T磁共振图像的特征，得到nf个频域特征，nf为大于0的整数；
步骤32，在第l网络层，其中l＝2,…,L-1，其中L是设定的网络层个数，对第l网络层的前一网络层输出的nf个空间域特征和nf个频域特征分别进行拼接和卷积处理，然后将经过拼接和卷积处理后的nf个空间域特征和nf个频域特征通过修正线性单元激活，得到第l网络层输出的nf个空间域特征和nf个频域特征，包括：
步骤321，在第l网络层，将第l网络层的前一网络层输出的nf个空间域特征作为当前网络层输入的nf个空间域特征，将第l网络层的前一网络层输出的nf个频域特征作为第l网络层输入的nf个频域特征；
步骤322，利用快速傅里叶逆变换将当前网络层输入的nf个频域特征转换到空间域，得到nf个转换后的空间域特征，将nf个转换后的空间域特征与第l网络层输入的nf个空间域特征进行拼接得到拼接后的空间域特征，将拼接后的空间域特征依次输入nf个第二卷积滤波器和第一修正线性单元中，得到第l网络层输出的nf个新的空间域特征；
同时，利用快速傅里叶变换将第l网络层输入的nf个空间域特征转换到频域，得到nf个转换后的频域特征，将nf个转换后的频域特征与第l网络层输入的nf个频域特征进行拼接得到拼接后的频域特征，将拼接后的频域特征依次输入nf个第二卷积滤波器和第一修正线性单元中，得到第l网络层输出的nf个新的频域特征；
步骤323，将第l网络层输出的nf个新的空间域特征作为第l网络层的下一网络层输入的nf个空间域特征，将第l网络层输出的nf个新的频域特征作为第l网络层的下一网络层输入的nf个频域特征；
步骤33，将第L网络层输入的nf个空间域特征和nf个频域特征进行拼接，得到拼接后的特征，将该拼接后的特征依次输入c个第三卷积滤波器和第二修正线性单元中，利用均方根准则对复值空间域特征计算复值幅度，得到第L网络层输出的c个特征，该c个输出特征即为由当前3T磁共振图像所合成的7T磁共振图像，其中c为大于0的整数。
2.根据权利要求1所述的基于卷积神经网络的图像合成方法，其特征在于，所述第一卷积滤波器的尺寸为k1×k1×c；第二卷积滤波器的尺寸为kl×kl×2nf；第三卷积滤波器的尺寸为kL×kl×2nf，其中k1、kl、kL均为大于0的整数。
3.根据权利要求1所述的基于卷积神经网络的图像合成方法，其特征在于，所述对3T-7T训练图像对和测试3T磁共振图像进行预处理，得到预处理后的3T-7T训练图像对和预处理后的测试3T磁共振图像，包括：
步骤11，使用FLIRT将3T-7T训练图像对配准到MNI标准空间，得到配准后的3T-7T训练图像对；
步骤12，将配准后的3T-7T训练图像对和测试3T磁共振图像进行归一化处理，得到归一化后的3T-7T训练图像对和归一化后的测试3T磁共振图像，即为预处理后的3T-7T训练图像对和预处理后的测试3T磁共振图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811166052.0A CN109544488B (zh) | 2018-10-08 | 2018-10-08 | 一种基于卷积神经网络的图像合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811166052.0A CN109544488B (zh) | 2018-10-08 | 2018-10-08 | 一种基于卷积神经网络的图像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109544488A CN109544488A (zh) | 2019-03-29 |
| CN109544488B true CN109544488B (zh) | 2021-06-01 |
Family
ID=65843433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811166052.0A Active CN109544488B (zh) | 2018-10-08 | 2018-10-08 | 一种基于卷积神经网络的图像合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109544488B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256501B (zh) * | 2020-02-10 | 2022-08-23 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法、存储介质及终端设备 |
| CN111553267B (zh) * | 2020-04-27 | 2023-12-01 | 腾讯科技（深圳）有限公司 | 图像处理方法、图像处理模型训练方法及设备 |
| CN111583356B (zh) * | 2020-05-13 | 2021-05-25 | 首都医科大学附属北京友谊医院 | 一种基于卷积神经网络的磁共振图像合成方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107064845A (zh) * | 2017-06-06 | 2017-08-18 | 深圳先进技术研究院 | 基于深度卷积网的一维部分傅里叶并行磁共振成像方法 |
| CN107182216A (zh) * | 2015-12-30 | 2017-09-19 | 中国科学院深圳先进技术研究院 | 一种基于深度卷积神经网络的快速磁共振成像方法及装置 |
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
| CN108460726A (zh) * | 2018-03-26 | 2018-08-28 | 厦门大学 | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 |
-
2018
- 2018-10-08 CN CN201811166052.0A patent/CN109544488B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107182216A (zh) * | 2015-12-30 | 2017-09-19 | 中国科学院深圳先进技术研究院 | 一种基于深度卷积神经网络的快速磁共振成像方法及装置 |
| CN107064845A (zh) * | 2017-06-06 | 2017-08-18 | 深圳先进技术研究院 | 基于深度卷积网的一维部分傅里叶并行磁共振成像方法 |
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
| CN108460726A (zh) * | 2018-03-26 | 2018-08-28 | 厦门大学 | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Dual-Domain Cascaded Regression for Synthesizing 7T from 3T MRI;Yongqin Zhang et al;《Med Image Comput Comput Assist Interv》;20180930;第11070卷;第410-417页 * |
| 结合多模板的多域卷积神经网络视觉跟踪算法;王鹏翔 et al;《红外技术》;20180131;第40卷(第1期);第47-54页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109544488A (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
| US20190377047A1 (en) | Artifact Reduction by Image-to-Image Network in Magnetic Resonance Imaging | |
| CN109544488B (zh) | 一种基于卷积神经网络的图像合成方法 | |
| CN108090871A (zh) | 一种基于卷积神经网络的多对比度磁共振图像重建方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN108416821B (zh) | 一种深度神经网络的ct图像超分辨重建方法 | |
| CN111127320B (zh) | 基于深度学习的光声图像超分辨重建方法及装置 | |
| Wu et al. | IREM: high-resolution magnetic resonance image reconstruction via implicit neural representation | |
| Zhou et al. | Volume upscaling with convolutional neural networks | |
| WO2023045482A1 (zh) | 基于长距离注意力模型重建的多层磁共振成像方法及装置 | |
| CN113506222B (zh) | 一种基于卷积神经网络的多模态图像超分辨方法 | |
| CN111292240B (zh) | 一种基于成像模型与机器学习的磁共振超分辨率成像方法 | |
| CN108898568B (zh) | 图像合成方法与装置 | |
| CN111598964B (zh) | 一种基于空间自适应网络的定量磁化率图像重建方法 | |
| Gu et al. | Deep generative adversarial networks for thin-section infant MR image reconstruction | |
| CN114565816B (zh) | 一种基于全局信息融合的多模态医学图像融合方法 | |
| CN115578427A (zh) | 基于深度学习的无监督单模态医学图像配准方法 | |
| CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
| CN111353935A (zh) | 基于深度学习的磁共振成像优化方法及其设备 | |
| CN114821259A (zh) | 一种基于孪生卷积神经网络的零学习医学图像融合方法 | |
| Nasser et al. | Perceptual cGAN for MRI Super-resolution | |
| CN111814891A (zh) | 医学图像合成方法、装置及存储介质 | |
| CN111667407A (zh) | 一种深度信息引导的图像超分辨率方法 | |
| Wang et al. | Compressed sensing MRI reconstruction using generative adversarial network with enhanced antagonism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240114 Address after: 710086 Room 301-19, West Building, Building 10, Western Life Science Park, Fengdong New City, Xixian New District, Xi'an City, Shaanxi Province Patentee after: Shaanxi Lianlongchuang Intelligent Technology Co.,Ltd. Address before: 710069 No. 229 Taibai North Road, Shaanxi, Xi'an Patentee before: NORTHWEST University |
|
| TR01 | Transfer of patent right |