CN113469882B - 基于土壤ct图像的超分辨率重建方法及装置 - Google Patents

基于土壤ct图像的超分辨率重建方法及装置 Download PDF

Info

Publication number
CN113469882B
CN113469882B CN202110727642.1A CN202110727642A CN113469882B CN 113469882 B CN113469882 B CN 113469882B CN 202110727642 A CN202110727642 A CN 202110727642A CN 113469882 B CN113469882 B CN 113469882B
Authority
CN
China
Prior art keywords
image
resolution
sequence
super
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110727642.1A
Other languages
English (en)
Other versions
CN113469882A (zh
Inventor
韩巧玲
周希博
赵玥
赵燕东
刘雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Forestry University
Original Assignee
Beijing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Forestry University filed Critical Beijing Forestry University
Priority to CN202110727642.1A priority Critical patent/CN113469882B/zh
Publication of CN113469882A publication Critical patent/CN113469882A/zh
Application granted granted Critical
Publication of CN113469882B publication Critical patent/CN113469882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明提供一种基于土壤CT图像的超分辨率重建方法及装置，包括：获取原始高分辨率CT图像；对原始高分辨率CT图像进行降采样处理，得到低分辨率CT序列图像；将低分辨率CT序列图像输入序列图像生成器模型中，得到序列图像生成器模型输出的超分辨率重建图像；其中，序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络进行对抗训练得到的，鉴别器模型用于鉴别图像可信度。通过基于深度学习神经网络的序列图像生成器模型对土壤CT图像超分辨率重建解决了土壤CT图像清晰度低和孔隙边界模糊的问题，为土壤形态学研究提供了清晰可靠的数据。

Description

基于土壤CT图像的超分辨率重建方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于土壤CT图像的超分辨率重建方法及装置。
背景技术
目前应用于CT图像的超分辨率重建方法主要包括三维凸集投影法、三维高频修正A+法等。现有技术中土壤CT图像存在清晰度低和孔隙边界模糊等问题，且尚未存在将超分辨率重建方法应用于土壤CT图像方面的研究。
传统超分辨率方法存在超分辨率重建图像清晰度较低，需要手动确定模型参数等问题。其中三维凸集投影法需要手动确定修正阈值，不能实现图像自适应超分辨率重建；三维高频修正A+法仅考虑稀疏解，容易导致图像重建时丢失细节，且超分辨率重建图像质量受主观性影响。
因此，研究一种基于深度学习的土壤CT图像超分辨率重建方法成为亟待解决的问题。
发明内容
本发明提供一种基于土壤CT图像的超分辨率重建方法及装置，用以解决现有技术中的土壤CT图像清晰度低和孔隙边界模糊的缺陷，实现能结合图像序列信息的基于深度学习的土壤CT图像超分辨率方法。
第一方面，本发明提供一种基于土壤CT图像的超分辨率重建方法，包括：获取原始高分辨率CT图像；对所述原始高分辨率CT图像进行降采样处理，得到低分辨率CT序列图像；将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像；其中，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络进行对抗训练得到的，所述鉴别器模型用于鉴别图像可信度；所述序列图像生成器模型用于基于对所述低分辨率CT序列图像进行特征提取得到的序列信息，对所述原始高分辨率CT图像进行超分辨率重建。
根据本发明提供的一种基于土壤CT图像的超分辨率重建方法，所述对所述原始高分辨率CT图像进行降采样处理，得到低分辨率CT序列图像，包括：将所述原始高分辨率CT图像通过双三次插值降采样方法获得至少一张低分辨率CT图像，并将至少一张所述低分辨率CT图像合成所述低分辨率CT序列图像。
根据本发明提供的一种基于土壤CT图像的超分辨率重建方法，所述序列图像生成器模型包括序列卷积块，首尾残差连接块及两倍上采样块；所述将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像，包括：将所述低分辨率CT序列图像输入所述序列卷积块，得到序列信息融合图像；将所述序列信息融合图像输入所述首尾残差连接块，得到特征提取图像；将所述特征提取图像输入所述两倍上采样块，得到所述超分辨率重建图像。
根据本发明提供的一种基于土壤CT图像的超分辨率重建方法，所述序列卷积块包括两个子卷积块，所述将所述低分辨率CT序列图像输入所述序列卷积块，得到序列信息融合图像包括：将低分辨率CT序列图像中的目标图像及目标图像的上下两张图像输入其中一个所述子卷积块，对所述目标图像进行序列特征提取，得到序列特征图；将所述序列特征图及目标图像的上下两张图像输入另一个所述子卷积块，得到三张图像序列特征融合的所述序列信息融合图像。
根据本发明提供的一种基于土壤CT图像的超分辨率重建方法，所述首尾残差连接块包括至少一个残差块及首尾连接块；所述将所述序列信息融合图像输入所述首尾残差连接块，得到特征提取图像，包括：将所述序列信息融合图像依次经由所述至少一个残差块进行图像特征的提取，得到输出的图像特征；将所述输出的图像特征与所述序列信息融合图像中的特征叠加后输入所述首尾连接块，输出所述特征提取图像。
根据本发明提供的一种基于土壤CT图像的超分辨率重建方法，所述将所述特征提取图像输入所述两倍上采样块，得到所述超分辨率重建图像，包括：将所述特征提取图像输入所述两倍上采样块进行两倍上采样，输出所述超分辨率重建图像；其中，所述超分辨率重建图像的长宽分别为所述特征提取图像的长宽的2倍，所述超分辨率重建图像的分辨率为所述特征提取图像的分辨率的2倍。
根据本发明提供的一种基于土壤CT图像的超分辨率重建方法，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络进行对抗训练得到的，包括：以所述超分辨率重建图像与原始高分辨率CT图像间的均方误差为损失函数，对所述序列图像生成器模型进行第一设定次数循环优化，使得序列图像生成器模型输出的超分辨率重建图像与原始高分辨率CT图像之间的图像相似度差值小于第一阈值；以鉴别器模型输出可信度为损失函数对序列图像生成器模型与鉴别器模型交替进行第二设定次数循环优化，以使所述鉴别器输出的重建图像的可信度与原始高分辨率CT图像可信度差值小于第二阈值。
第二方面，本发明提供一种基于土壤CT图像的超分辨率重建装置，包括：数据预处理单元，用于获取原始高分辨率CT图像，并进行降采样处理，得到低分辨率CT序列图像；超分辨率重建图像生成单元，用于将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像；其中，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络，通过与鉴别器模型进行对抗训练得到的；其中所述鉴别器模型用于鉴别图像可信度；所述序列图像生成器模型用于基于对所述低分辨率CT序列图像进行特征提取得到的序列信息，对所述原始高分辨率CT图像进行超分辨率重建。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于土壤CT图像的超分辨率重建方法的步骤。
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所基于土壤CT图像的超分辨率重建方法的步骤
本发明提供的基于土壤CT图像的超分辨率重建方法，通过基于深度学习神经网络的序列图像生成器模型对原始高分辨率CT图像降采样处理后的低分辨率序列图像进行序列信息和图像特征的提取对新输入的未知图像的超分辨率重建；通过应用深度学习方法实现对土壤CT图像超分辨率重建具有自适应性，解决了土壤CT图像清晰度低和孔隙边界模糊的问题，为土壤形态学研究提供了清晰可靠的数据。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于土壤CT图像的超分辨率重建方法流程图；
图2是本发明提供的基于土壤CT图像的超分辨率重建方法中序列图像生成器模型的结构示意图；
图3是图1中步骤130过程的具体流程图；
图4是本发明提供的基于土壤CT图像的超分辨率重建方法中鉴别器模型的结构示意图；
图5是本发明提供的基于土壤CT图像的超分辨率重建方法处理图像的效果图；
图6是本发明提供的基于土壤CT图像的超分辨率重建装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基于土壤CT图像的超分辨率重建方法，本发明实施例中的超分辨率重建方法用于解决土壤CT图像清晰度低和孔隙边界模糊的问题，因此下述CT图像指土壤CT图像。
如图1所示，所述方法包括：
步骤110：获取原始高分辨率CT图像；
步骤120：对所述原始高分辨率CT图像进行降采样处理，得到低分辨率CT序列图像；
本步骤具体包括：将所述原始高分辨率CT图像通过双三次插值降采样方法获得至少一张低分辨率CT图像，并将至少一张所述低分辨率CT图像合成所述低分辨率CT序列图像。
本发明实施例中，土壤孔隙是指土粒与土粒或者团聚体之间以及团聚体内部的孔洞。孔隙结构包括孔隙数目、大小等几何形态。降采样方式为双三次线性插值，CT扫描技术，即计算机断层扫描技术，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同对扫描物体的某一个部位做一个接一个的断面扫描，具有扫描时间快，图像清晰等特点。CT扫描技术是孔隙量化研究的有效手段，在步骤110中利用CT扫描方法获得二维土壤CT图像即所述原始高分辨率CT图像；经过步骤120得到超分辨率训练时的输入图像即所述低分辨率CT序列图像。
步骤130：将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像；
其中，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络进行对抗训练得到的，所述鉴别器模型用于鉴别图像可信度；
所述序列图像生成器模型用于基于对所述低分辨率CT序列图像进行特征提取得到的序列信息，对所述原始高分辨率CT图像进行超分辨率重建。
本发明实施例中，对抗训练过程包括：
以所述超分辨率重建图像与原始高分辨率CT图像间的均方误差为损失函数，对所述序列图像生成器模型进行第一设定次数循环优化，使得序列图像生成器模型输出的超分辨率重建图像与原始高分辨率CT图像之间的图像相似度差值小于第一阈值；本步骤的优化目的是使得随着训练序列图像生成器模型输出的超分辨率重建图像逼近原始高分辨率CT图像，两者差异会逐渐减小；例如可对序列图像生成器模型进行优化10轮。
以鉴别器模型输出可信度为损失函数对序列图像生成器模型与鉴别器模型交替进行第二设定次数循环优化，以使所述鉴别器输出的重建图像的可信度与原始高分辨率CT图像可信度差值小于第二阈值。最初训练时假设输出的重建图像的可信度为0.2，随着训练过程重建图像质量提高，可信度上升为0.49，与原始高分辨率CT图像的0.51的可信度差值小于2％，所以几乎可认为重建图像与原始高分辨率CT图像无差异。
具体地：
将一张原始高分辨率CT图像输入鉴别器模型，将目标可信度设为1，进行至少一次优化；
将一张超分辨率重建图像输入鉴别器模型，将目标可信度设为0，进行至少一次优化，并将输出的实际可信度传送至序列图像生成器模型；
以所述实际可信度为损失函数对所述序列图像生成器模型进行一次优化，其中以输出的超分辨率重建图像的可信度为1为序列图像生成器模型的训练目标；
将序列图像生成器模型输出的超分辨率重建图像输入鉴别器模型使得序列图像生成器模型与鉴别器模型交替进行100轮循环优化，以使得鉴别器输出的重建图像的可信度与原始高分辨率CT图像可信度差值小于第二阈值。
对抗训练中，通过鉴别器模型鉴别重建图像可信度，实现对抗训练时特征的间接反馈，提高生成式对抗网络模型泛化能力。
本发明实施例中，如图2所示，所述序列图像生成器模型包括序列卷积块，首尾残差连接块及两倍上采样块。
本发明实施例中，序列图像生成器模型目标函数f(θG)为：
Figure BDA0003139228900000071
其中
Figure BDA0003139228900000072
为鉴别器模型输入图像I的可信度；θD为鉴别器模型的参数；/>
Figure BDA0003139228900000073
为序列图像生成器模型输入低分辨率CT序列图像ILR时输出的超分辨率重建图像；θG为序列图像生成器模型的参数。
如图3所示，步骤130具体包括：
步骤131：将所述低分辨率CT序列图像输入所述序列卷积块，得到序列信息融合图像；
本步骤中，所述序列卷积块包括两个子卷积块。
本步骤具体包括：
步骤1311：将低分辨率CT序列图像中的目标图像及目标图像的上下两张图像输入其中一个所述子卷积块，对所述目标图像进行序列特征提取，得到序列特征图；
步骤1312：将所述序列特征图及目标图像的上下两张图像输入另一个所述子卷积块，得到三张图像序列特征融合的所述序列信息融合图像。
本发明实施例中，每个所述子卷积块包括卷积层、BN(Batch Normalization)层、LReLU(ReLU-Leaky)激活层。
步骤132：将所述序列信息融合图像输入所述首尾残差连接块，得到特征提取图像；
本步骤中，所述首尾残差连接块包括至少一个残差块及首尾连接块。
本步骤具体包括：
步骤1321：将所述序列信息融合图像依次经由所述至少一个残差块进行图像特征的提取，得到输出的图像特征；
步骤1322：将所述输出的图像特征与所述序列信息融合图像中的特征叠加后输入所述首尾连接块，输出所述特征提取图像。
本发明实施例中，每个所述残差块依次包括卷积层、BN层、ReLU(RectifiedLinear Unit)激活层、卷积层、BN层及elements-add层。
步骤133：将所述特征提取图像输入所述两倍上采样块，得到所述超分辨率重建图像。
本步骤具体包括：将所述特征提取图像输入所述两倍上采样块进行两倍上采样，输出所述超分辨率重建图像；其中，所述超分辨率重建图像的长宽分别为所述特征提取图像的长宽的2倍，所述超分辨率重建图像的分辨率为所述特征提取图像的分辨率的2倍。
本发明实施例中，所述两倍上采样块包括卷积层、两倍像素重组层、ReLU激活层、卷积层及tanh激活层。
本发明实施例中，鉴别器模型以最大化真实图像可信度和最小化超分辨率重建图像可信度为目标，输入真实图像即低分辨率CT序列图像(IHR)或序列图像生成器模型输出图像即超分辨率重建图像
Figure BDA0003139228900000091
输出图像可信度，鉴别器模型目标函数f(θD)为：
Figure BDA0003139228900000092
其中
Figure BDA0003139228900000093
为鉴别器模型输入图像I的可信度；θD为鉴别器模型的参数；/>
Figure BDA0003139228900000094
为序列图像生成器模型输入低分辨率CT序列图像ILR时输出的超分辨率重建图像；θG为序列图像生成器模型的参数。
本发明实施例中，鉴别器模型为神经网络模型，如图4所示，依次包括卷积层、LReLU层、7×CBLR(Community-Based Learning&Research)层、Dense(全连接)层、LReLU层和Sigmoid层，其中CBLR层包括卷积层、BN层和LReLU层。鉴别器模型以最大化真实图像可信度和最小化超分辨率重建图像可信度为目标，输入真实图像(IHR)或序列图像生成器模型输出图像
Figure BDA0003139228900000095
输出图像可信度。鉴别器模型的训练目标是输入高分辨率图像，输出可信度就是1，输入重建图像时，输出可信度0，也即目标是能判断重建图像和真实图像的差异，实现对抗训练时特征的间接反馈，提高模型泛化能力。本发明实施例中，超分辨率重建图像输入鉴别器模型，鉴别器模型的对超分辨率重建图像的目标可信度输出值为0，而序列图像生成器模型训练目标为其输出的超分辨率重建图像在鉴别器模型中输出的可信度为1，因此序列图像生成器模型与鉴别器模型之间形成对抗网络。
如图5所示为应用本发明实施例提供的基于土壤CT图像的超分辨率重建方法进行图像处理的效果示意图。其中，(a)图表示输入的待超分辨率的土壤CT图像，(b)图表示超分辨率重建土壤CT图像；(c)图是(a)图中局部孔隙特征放大后的图像，(d)图是(b)图中局部孔隙特征放大后的图像。由图5可知，土壤CT图像经超分辨率重建后，图像清晰度显著增大，有效解决了土壤CT图像中孔隙边界模糊问题。
如图6所示，本发明实施例提供一种基于土壤CT图像的超分辨率重建装置，包括：
图像获取单元610，用于获取原始高分辨率CT图像；
数据预处理单元620，用于对原始高分辨率CT图像进行降采样处理，得到低分辨率CT序列图像；
本发明实施例中，数据预处理单元620对原始高分辨率CT图像进行双三次插值降采样获得至少一张低分辨率土壤CT图像，并将至少一张低分辨率土壤CT图像合成低分辨率土壤CT序列图像。
超分辨率重建图像生成单元630，用于将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像；其中，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络，通过与鉴别器模型进行对抗训练得到的；其中所述鉴别器模型用于鉴别图像可信度；所述序列图像生成器模型用于基于对所述低分辨率CT序列图像进行特征提取得到的序列信息，对所述原始高分辨率CT图像进行超分辨率重建。
本发明实施例中，超分辨率重建图像生成单元630包括：
图像序列信息融合单元，用于将低分辨率CT序列图像输入序列卷积块，得到序列信息融合图像；
图像特征提取单元，用于将序列信息融合图像输入首尾残差连接块，得到特征提取图像；
图像采样单元，用于将特征提取图像输入两倍上采样块，得到所述超分辨率重建图像。
本发明实施例中，序列卷积块包括两个子卷积块，图像序列信息融合单元具体用于将低分辨率CT序列图像中的目标图像及目标图像的上下两张图像输入其中一个所述子卷积块，对所述目标图像进行序列特征提取，得到序列特征图；将所述序列特征图及目标图像的上下两张图像输入另一个所述子卷积块，得到三张图像序列特征融合的所述序列信息融合图像。
本发明实施例中，首尾残差连接块包括至少一个残差块及首尾连接块，图像特征提取单元具体用于将序列信息融合图像依次经由所述至少一个残差块进行图像特征的提取，得到输出的图像特征；将所述输出的图像特征与所述序列信息融合图像中的特征叠加后输入所述首尾连接块，输出所述特征提取图像。
本发明实施例中，图像采样单元具体用于将所述特征提取图像输入两倍上采样块进行两倍上采样，输出所述超分辨率重建图像；其中，所述超分辨率重建图像的长宽分别为所述特征提取图像的长宽的2倍，所述超分辨率重建图像的分辨率为所述特征提取图像的分辨率的2倍。
本发明实施例的所述装置还包括对抗训练单元，抗训练单元用于以所述超分辨率重建图像与原始高分辨率CT图像间的均方误差为损失函数，对所述序列图像生成器模型进行第一设定次数循环优化，使得序列图像生成器模型输出的超分辨率重建图像与原始高分辨率CT图像之间的图像相似度差值小于第一阈值；以鉴别器模型输出可信度为损失函数对序列图像生成器模型与鉴别器模型交替进行第二设定次数循环优化，以使所述鉴别器输出的重建图像的可信度与原始高分辨率CT图像可信度差值小于第二阈值。
本发明实施例提供的系统是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。
下面结合图7描述本发明实施例提供的一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理710，通信接口720，存储730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于土壤CT图像的超分辨率重建方法，该方法包括：获取原始高分辨率CT图像；对所述原始高分辨率CT图像进行降采样处理，得到低分辨率CT序列图像；将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像；其中，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络进行对抗训练得到的，所述鉴别器模型用于鉴别图像可信度；所述序列图像生成器模型用于基于对所述低分辨率CT序列图像进行特征提取得到的序列信息，对所述原始高分辨率CT图像进行超分辨率重建。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于土壤CT图像的超分辨率重建，该方法包括：获取原始高分辨率CT图像；对所述原始高分辨率CT图像进行降采样处理，得到低分辨率CT序列图像；将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像；其中，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络进行对抗训练得到的，所述鉴别器模型用于鉴别图像可信度；所述序列图像生成器模型用于基于对所述低分辨率CT序列图像进行特征提取得到的序列信息，对所述原始高分辨率CT图像进行超分辨率重建。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于土壤CT图像的超分辨率重建方法：获取原始高分辨率CT图像；对所述原始高分辨率CT图像进行降采样处理，得到低分辨率CT序列图像；将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像；其中，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络进行对抗训练得到的，所述鉴别器模型用于鉴别图像可信度；所述序列图像生成器模型用于基于对所述低分辨率CT序列图像进行特征提取得到的序列信息，对所述原始高分辨率CT图像进行超分辨率重建。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.基于土壤CT图像的超分辨率重建方法，其特征在于，包括：
获取原始高分辨率CT图像；
对所述原始高分辨率CT图像进行降采样处理，得到低分辨率CT序列图像；
将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像；
其中，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络进行对抗训练得到的，所述鉴别器模型用于鉴别图像可信度；
所述序列图像生成器模型用于基于对所述低分辨率CT序列图像进行特征提取得到的序列信息，对所述原始高分辨率CT图像进行超分辨率重建；
所述对所述原始高分辨率CT图像进行降采样处理，得到低分辨率CT序列图像，包括：将所述原始高分辨率CT图像通过双三次插值降采样方法获得至少一张低分辨率CT图像，并将至少一张所述低分辨率CT图像合成所述低分辨率CT序列图像；
所述序列图像生成器模型包括序列卷积块，首尾残差连接块及两倍上采样块；所述序列卷积块包括两个子卷积块，所述首尾残差连接块包括至少一个残差块及首尾连接块；
所述将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像，包括：
将所述低分辨率CT序列图像输入所述序列卷积块，得到序列信息融合图像；
所述将所述低分辨率CT序列图像输入所述序列卷积块，得到序列信息融合图像，包括：
将低分辨率CT序列图像中的目标图像及目标图像的上下两张图像输入其中一个所述子卷积块，对所述目标图像进行序列特征提取，得到序列特征图；
将所述序列特征图及目标图像的上下两张图像输入另一个所述子卷积块，得到三张图像序列特征融合的所述序列信息融合图像。
2.根据权利要求1所述的基于土壤CT图像的超分辨率重建方法，其特征在于，
所述将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像，还包括：
将所述序列信息融合图像输入所述首尾残差连接块，得到特征提取图像；
将所述特征提取图像输入所述两倍上采样块，得到所述超分辨率重建图像。
3.根据权利要求2所述的基于土壤CT图像的超分辨率重建方法，其特征在于，所述将所述序列信息融合图像输入所述首尾残差连接块，得到特征提取图像，包括：
将所述序列信息融合图像依次经由所述至少一个残差块进行图像特征的提取，得到输出的图像特征；
将所述输出的图像特征与所述序列信息融合图像中的特征叠加后输入所述首尾连接块，输出所述特征提取图像。
4.根据权利要求2所述的基于土壤CT图像的超分辨率重建方法，其特征在于，所述将所述特征提取图像输入所述两倍上采样块，得到所述超分辨率重建图像，包括：将所述特征提取图像输入所述两倍上采样块进行两倍上采样，输出所述超分辨率重建图像；
其中，所述超分辨率重建图像的长宽分别为所述特征提取图像的长宽的2倍，所述超分辨率重建图像的分辨率为所述特征提取图像的分辨率的2倍。
5.根据权利要求1-4中任一项所述的基于土壤CT图像的超分辨率重建方法，其特征在于，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络进行对抗训练得到的，包括：
以所述超分辨率重建图像与原始高分辨率CT图像间的均方误差为损失函数，对所述序列图像生成器模型进行第一设定次数循环优化，使得序列图像生成器模型输出的超分辨率重建图像与原始高分辨率CT图像之间的图像相似度差值小于第一阈值；
以鉴别器模型输出可信度为损失函数对序列图像生成器模型与鉴别器模型交替进行第二设定次数循环优化，以使所述鉴别器输出的重建图像的可信度与原始高分辨率CT图像可信度差值小于第二阈值。
6.一种基于土壤CT图像的超分辨率重建装置，其特征在于，包括：
数据预处理单元，用于获取原始高分辨率CT图像，并进行降采样处理，得到低分辨率CT序列图像；
超分辨率重建图像生成单元，用于将所述低分辨率CT序列图像输入序列图像生成器模型中，得到所述序列图像生成器模型输出的超分辨率重建图像；
其中，所述序列图像生成器模型是基于与鉴别器模型形成生成式对抗网络，通过与鉴别器模型进行对抗训练得到的；其中所述鉴别器模型用于鉴别图像可信度；所述序列图像生成器模型用于基于对所述低分辨率CT序列图像进行特征提取得到的序列信息，对所述原始高分辨率CT图像进行超分辨率重建；
所述数据预处理单元，具体用于：
将所述原始高分辨率CT图像通过双三次插值降采样方法获得至少一张低分辨率CT图像，并将至少一张所述低分辨率CT图像合成所述低分辨率CT序列图像；
所述序列图像生成器模型包括序列卷积块，首尾残差连接块及两倍上采样块；所述序列卷积块包括两个子卷积块，所述首尾残差连接块包括至少一个残差块及首尾连接块；
所述超分辨率重建图像生成单元，具体用于：
将所述低分辨率CT序列图像输入所述序列卷积块，得到序列信息融合图像；
所述装置还包括图像序列信息融合单元，具体用于：
将低分辨率CT序列图像中的目标图像及目标图像的上下两张图像输入其中一个所述子卷积块，对所述目标图像进行序列特征提取，得到序列特征图；
将所述序列特征图及目标图像的上下两张图像输入另一个所述子卷积块，得到三张图像序列特征融合的所述序列信息融合图像。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于土壤CT图像的超分辨率重建方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于土壤CT图像的超分辨率重建方法的步骤。
CN202110727642.1A 2021-06-29 2021-06-29 基于土壤ct图像的超分辨率重建方法及装置 Active CN113469882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110727642.1A CN113469882B (zh) 2021-06-29 2021-06-29 基于土壤ct图像的超分辨率重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110727642.1A CN113469882B (zh) 2021-06-29 2021-06-29 基于土壤ct图像的超分辨率重建方法及装置

Publications (2)

Publication Number Publication Date
CN113469882A CN113469882A (zh) 2021-10-01
CN113469882B true CN113469882B (zh) 2023-06-23

Family

ID=77873768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110727642.1A Active CN113469882B (zh) 2021-06-29 2021-06-29 基于土壤ct图像的超分辨率重建方法及装置

Country Status (1)

Country Link
CN (1) CN113469882B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984106B (zh) * 2022-12-12 2024-04-02 武汉大学 一种基于双边生成对抗网络的线扫描图像超分辨率方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242841A (zh) * 2018-08-30 2019-01-18 广东工业大学 一种基于生成对抗网络的输电杆塔缺陷检测方法
CN109544555A (zh) * 2018-11-26 2019-03-29 陕西师范大学 基于生成式对抗网络的细小裂缝分割方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
WO2021121108A1 (zh) * 2019-12-20 2021-06-24 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242841A (zh) * 2018-08-30 2019-01-18 广东工业大学 一种基于生成对抗网络的输电杆塔缺陷检测方法
CN109544555A (zh) * 2018-11-26 2019-03-29 陕西师范大学 基于生成式对抗网络的细小裂缝分割方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
WO2021121108A1 (zh) * 2019-12-20 2021-06-24 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xin Jiang et al.A novel super-resolution CT image reconstruction via semi-supervised generative adversarial network.2020,第14563-14578页. *
谢海平 等.图像超分辨率方法研究进展.2020,第34-41页. *

Also Published As

Publication number Publication date
CN113469882A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
Haris et al. Deep back-projection networks for super-resolution
CN109978762B (zh) 一种基于条件生成对抗网络的超分辨率重建方法
CN110827216B (zh) 图像去噪的多生成器生成对抗网络学习方法
US11120582B2 (en) Unified dual-domain network for medical image formation, recovery, and analysis
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN109509235B (zh) Ct图像的重建方法、装置、设备及存储介质
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN110580680B (zh) 基于组合学习的人脸超分辨率方法及装置
CN113554742B (zh) 一种三维图像的重建方法、装置、设备及存储介质
Dong et al. Joint demosaicing and denoising with perceptual optimization on a generative adversarial network
Kwak et al. Fractal residual network and solutions for real super-resolution
CN113160380B (zh) 三维磁共振影像超分辨重建方法、电子设备和存储介质
Rivadeneira et al. Thermal image super-resolution challenge-pbvs 2021
Temiz et al. Super resolution of B-mode ultrasound images with deep learning
CN111080531A (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
Bhowmik et al. Training-free, single-image super-resolution using a dynamic convolutional network
CN113469882B (zh) 基于土壤ct图像的超分辨率重建方法及装置
Le-Tien et al. Deep learning based approach implemented to image super-resolution
Vassilo et al. Multi-step reinforcement learning for single image super-resolution
Wu et al. Image super-resolution reconstruction based on a generative adversarial network
Chen et al. Guided dual networks for single image super-resolution
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法
CN115953317A (zh) 图像增强方法、装置、电子设备及存储介质
CN114708353A (zh) 图像重建方法、装置、电子设备与存储介质
Fuentes-Hurtado et al. CLIDiM: Contrastive learning for image denoising in microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant