CN112446825A - 基于循环生成对抗网络的岩心ct图像超分辨率方法 - Google Patents
基于循环生成对抗网络的岩心ct图像超分辨率方法 Download PDFInfo
- Publication number
- CN112446825A CN112446825A CN201910815110.6A CN201910815110A CN112446825A CN 112446825 A CN112446825 A CN 112446825A CN 201910815110 A CN201910815110 A CN 201910815110A CN 112446825 A CN112446825 A CN 112446825A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- core
- low
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Abstract
本发明提供了一种基于循环生成对抗网络的岩心CT图像超分辨率方法。主要包括如下步骤:采集配对或非配对的低分辨率及高分辨率岩心CT图像,构建用于训练网络模型的图像集;设计用于岩心CT图像超分辨率的循环生成对抗网络(CycleGAN‑based SR,SRCycleGAN);基于所述图像集及网络,定义目标函数,完成训练,获得岩心CT图像超分辨率模型SRCycleGAN;基于所述的SRCycleGAN模型,实现低分辨率岩心CT图像的重建,生成高分辨岩心CT图像。本发明在有/无配对的低分辨率及高分辨率岩心CT图像的情况下均可完成模型的训练,且有非常好的超分辨率重建效果,在石油地质领域有重要的应用价值。
Description
技术领域
本发明涉及图像超分辨率重建,具体涉及一种基于循环生成对抗网络的岩心CT图像超分辨率方法,属于图像处理领域。
背景技术
岩心的孔隙性、渗透性等性质与其油气存储容量、产能等密切相关。因此,通过岩心的微观结构研究其渗透性等宏观性质,对于油气勘探、开发等都具有十分重要的应用价值。X射线断层扫描成像技术(Computed Tomography,CT)在这一研究中发挥着举足轻重的作用。具体而言,技术人员通常利用CT对岩心样本进行扫描以获取二维图像序列,进而重建其三维模型用于微观结构及宏观性质的分析。为了获得更加精细的微观结构和更加准确的宏观性质,需要采集高分辨率的岩心图像。然而,在利用CT对岩心样本成像时,由于其成像原理及现有设备的限制,采集的图像的分辨率和视场通常是相互制约的。具体而言,高分辨率的岩心CT图像的获取通常是以降低岩心样本尺寸、减小扫描视场为代价。由于扫描视场的局限性,这种条件下采集的CT图像通常只能反映岩心样本局部的特性,代表性不足,难以用其对岩心的宏观性质进行准确地分析。相比较而言,针对大尺寸岩心样本获取的大视场CT图像对岩心宏观性质的分析更为有利。但是,在对大尺寸岩心样本进行大视场CT成像时,成像的分辨率会有所下降,导致众多细小的结构不能被体现,同样不利于后续的处理和分析。岩心CT图像的分辨率与岩心样本尺寸、扫描视场之间的矛盾是所属领域亟待解决的难点之一。
单幅图像超分辨率重建(Super-Resolution,SR)是图像复原领域中的核心问题之一,其通常指由一幅给定的低分辨率图像重构出一幅分辨率更高的图像,该技术在遥感、医疗、军事等领域都有广泛的应用前景。近年来单幅图像超分辨率重建技术吸引了越来越多的关注,一系列方法已被提出,重建效果也越来越好。超分辨率重建技术的提出和推进,使得获取同时具备高分辨率、大视场的岩心CT图像成为可能,即利用超分辨率算法提升通过CT采集到的低分辨率、大视场岩心图像的分辨率。但是,众多现有图像超分辨率方法都是针对人为模拟的低分辨率图像,且部分方法需要利用严格配对的高低分辨率图像来训练算法模型,因此这些方法在应用于实际场景时难以取得满意的重建效果。对于面向岩心CT图像等实际应用的单幅图像超分辨率重建算法,仍有许多问题需要研究解决。
发明内容
为了解决以上问题,本发明在不要求严格配对的高低分辨率训练图像的情况下,利用循环生成对抗网络(Cycle-Consistent Generative Adversarial Networks,CycleGAN)模型学习实际应用场景中低分辨率岩心CT图像空间到高分辨率岩心CT图像空间的映射关系,并利用该映射关系从低分辨率、大视场的低分辨率岩心CT图像重建出具有相同视场的高分辨率岩心CT图像,进而更加准确地分析岩心特性。
本发明提供了一种基于循环生成对抗网络的岩心CT图像超分辨率方法,主要包括以下步骤:
(一)采集配对或非配对的低分辨率及高分辨率岩心CT图像,构建用于训练网络模型的图像集;
(二)设计用于岩心CT图像超分辨率的循环生成对抗网络(CycleGAN-based SR,SRCycleGAN);
(三)基于所述图像集及网络,定义目标函数,完成训练,获得岩心CT图像超分辨率模型SRCycleGAN;
(四)基于所述的SRCycleGAN模型,实现低分辨率岩心CT图像的重建,生成高分辨岩心CT图像。
附图说明
图1为本发明基于循环生成对抗网络的岩心CT图像超分辨率方法的流程框图
图2为本发明采集的部分岩心CT图像,其中(a)为低分辨率岩心CT图像,(b)为高分辨率岩心CT图像
图3为本发明用于岩心CT图像超分辨率的循环生成对抗网络SRCycleGAN的框图
图4为本发明SRCycleGAN中生成器及判别器的网络结构图,其中(a)为生成器GX的网络结构图,(b)为生成器GY的网络结构图,(c)为判别器DX和DY的网络结构图
图5为本发明与双三次插值方法对低分辨率岩心CT图像的重建结果的对比图
图6为本发明与双三次插值方法对低分辨率岩心CT图像的重建结果的统计参数比较,其中(a)为两点相关函数S2(r),(b)为线性路径函数L(r),(c)为两点簇函数C2(r)
具体实施方式
下面参照附图更详细地描述本发明的实施方式。虽然附图及下文给出了本发明的实施方式,但是本发明可以多种形式实现,而不被附图及下文描述的实施方式所限制。提供附图及下文描述的实施方式是为了能够让本发明更加完整及准确地被本领域技术人员所理解。
图1中,基于循环生成对抗网络的岩心CT图像超分辨率方法,具体可以分为以下四个步骤:
(一)采集配对或非配对的低分辨率及高分辨率岩心CT图像,构建用于训练网络模型的图像集;
(二)设计用于岩心CT图像超分辨率的循环生成对抗网络(CycleGAN-based SR,SRCycleGAN);
(三)基于所述图像集及网络,定义目标函数,完成训练,获得岩心CT图像超分辨率模型SRCycleGAN;
(四)基于所述的SRCycleGAN模型,实现低分辨率岩心CT图像的重建,生成高分辨岩心CT图像。
具体地,所述步骤(一)中,在不同分辨率下,采集图2所示的岩心CT图像序列。为了不失一般性,假设采集的两组岩心CT图像的分辨率分别为r1和r2,且r1>r2。在分辨率r1下采集的图像为低分辨率岩心CT图像(图2(a)),而在分辨率r2下采集的图像为高分辨率岩心CT图像(图2(b))。进一步地,从低分辨率岩心CT图像序列中随机提取P个尺寸为m×m的低分辨率图像样本,构成低分辨率训练图像集从高分辨率岩心CT图像序列中随机提取Q个尺寸为ms×ms的高分辨率图像样本,构成高分辨率训练图像集其中s=r1/r2代表超分辨率重建因子。与大多数现有超分辨率方法不同,本发明中的低分辨率训练图像集与高分辨率训练图像集中的样本可一一对应,即高低分辨率图像样本严格配对,也可不存在一一匹配的关系。在本发明中,作为实施示例,设置岩心CT图像的分辨率分别为r1=10μm和r2=5μm,低分辨率训练图像集包含12000个尺寸为128×128的低分辨率岩心CT图像样本,高分辨率训练图像集包含3000个尺寸为256×256的高分辨率岩心CT图像样本,高低分辨率图像样本不存在一一对应关系。
所述步骤(二)中,本发明构建的图3所示的用于岩心CT图像超分辨率的循环生成对抗网络SRCycleGAN的框图,其中包括两个生成器(GX和GY)和两个判别器(DX和DY)。生成器GX的功能是将高分辨率空间的岩心CT图像y变换到低分辨率空间的图像而生成器GY的功能是将来自低分辨率空间的岩心CT图像x转换到高分辨率空间的图像判别器DX是用于区分由生成器GX生成的低分辨率岩心CT图像与位于低分辨率空间的真实低分辨率岩心CT图像x,对应地,判别器DY是用于区分由生成器GY生成的高分辨率岩心CT图像与位于高分辨率空间的真实高分辨率岩心CT图像y。
本发明构建的图4(a)所示的生成器GX能够将低分辨率岩心CT图像转换到高分辨率空间。图4(a)中,卷积层、反卷积层、残差模块分别用“Conv”、“ConvT”及“ResBlock”表示。其中,卷积层和反卷积层的参数设置在各层名字后的括号中给出,如“Conv2(k3n128s2)”代表卷积层“Conv2”的卷积核大小为3×3,卷积核数目为128,步长为2。为了简洁清晰,图4(a)所示结构省略了常规使用的激活层和规范化层。生成器GX主要包含三部分。第一部分由3个卷积层(“Conv1”、“Conv2”及“Conv3”)构成,用于提取输入低分辨率岩心CT图像的特征并逐渐降低特征空间分辨率,同时提升特征的通道数;第二部分由9个残差模块构成(“ResBlock1”、“ResBlock2”、....、“ResBlock9”),如图4(a)所示的每个残差模块由两个卷积层构成;在第三部分中,3个反卷积层(“ConvT1”、“ConvT2”及“ConvT3”)逐渐提升特征空间分辨率,降低特征通道数,置于最后的卷积层(“Conv4”)由其输入特征重构出高分辨率岩心CT图像。
本发明构建的图4(b)所示的生成器GY能够将高分辨率岩心CT图像转换到低分辨率空间。图4(b)采用了与图4(a)相同的表示方式。生成器GY主要包含三部分。第一部分由4个卷积层(“Conv1”、“Conv2”、“Conv3”及“Conv4”)构成,提取输入高分辨率岩心CT图像的特征并逐渐降低特征空间分辨率,同时提升特征的通道数;第二部分由9个残差模块构成(“ResBlock1”、“ResBlock2”、....、“ResBlock9”),如图4(b)所示的每个残差模块由两个卷积层构成;在第三部分中,2个反卷积层(“ConvT1”和“ConvT2”)逐渐提升特征空间分辨率,降低特征通道数,置于最后的卷积层(“Conv5”)由其输入特征重构出低分辨率岩心CT图像。
本发明构建的判别器DX和DY具有图4(c)所示的结构,其共包含5个卷积层(“Conv1”、“Conv2”、“Conv3”、“Conv4”及“Conv5”)。前3个卷积层逐渐降低输入岩心图像的特征的空间分辨率,同时提升特征的通道数;第4个卷积层在保持相同空间分辨率的情况下进一步将特征通道数提升到512;位于末端的第5个卷积层将其输入特征映射为通道数为1的输出。
其中,X和Y分别代表训练阶段使用的低分辨率岩心CT图像样本集和高分辨率岩心CT图像样本集;Lgan为对抗损失函数,Lcyc为循环一致损失函数,Lide为单位映射损失函数;λ1、λ2及λ3为用于平衡三项损失函数的常数,本发明中分别设置为1、10和5。
公式(1)中,对抗损失函数Lgan的功能为:一方面促使GX(GY)生成的低(高)分辨率岩心CT图像的分布与低(高)分辨率空间中的真实低(高)分辨率岩心CT图像相似,不能被判别器DX(DY)所区分;另一方面促使判别器DX(DY)能够更加准确地区分出生成器GX(GY)生成的低(高)分辨率岩心CT图像和真实的低(高)分辨率岩心CT图像。基于上述分析,本发明中,Lgan定义为:
公式(1)中,循环一致损失函数Lcyc能够约束生成器GX和GY的一致性。给定低分辨率岩心CT图像样本x,其经过生成器GY得到的高分辨率图像为 在经过生成器GX后,应该与原始输入x较为接近,即有x≈GX(GY(x))。同理有y≈GY(GX(y))。基于上述分析,本发明中,Lcyc定义为:
公式(1)中,单位映射损失函数Lide能够约束生成器GX、GY的输入图像和输出图像的一致性。对于生成器GX,给定低分辨率岩心CT图像x作为输入时,GX应能较好地保持x中的信息,即有IDX(x)≈GX(x),其中IDX为下采样函数,用于匹配x与GX(x)之间的分辨率。同理有IUY(y)≈GY(y),其中IUY为上采样函数,用于匹配y与GY(y)之间的分辨率。基于上述分析,本发明中,Lide定义为:
所述步骤(四)中,对于用于测试的低分辨率岩心CT图像xtest,利用步骤(三)所训练的SRCycleGAN中的生成器GY实现超分辨率重建,即:
为了验证本发明方法的有效性,本发明用实际应用场景中采集的低分辨率岩心CT图像进行了实验。低分辨率岩心CT图像的分辨率为10μm,超分辨率重建的目标分辨率为5μm。选取双三次插值方法作为对比,同时将在5μm分辨率下采集的真实高分辨率岩心CT图像作为参考,对比实验的内容如下:
图5比较了低分辨率岩心CT图像(第一行)、双三次插值方法的重建结果(第二行)、本发明的重建结果(第三行)以及用作参考的真实高分辨率岩心CT图像(第四行)的视觉效果。从图5所示的实验结果可以看出,低分辨率岩心CT图像以及双三次插值方法的重建结果均模糊不清,难以将感兴趣的孔洞与岩石等区域区分开来;相比较而言,本发明重建的高分辨率岩心CT图像的分辨率更高,更加清晰,显然能更为准确地将孔洞区域与岩石区域等相区分。本发明的重建结果与在5μm分辨率下采集的真实高分辨率岩心CT图像较为接近。
图6比较了双三次插值方法的重建结果、本发明的重建结果以及用作参考的真实高分辨率岩心CT图像的三种统计参数,包括图6(a)所示的两点相关函数S2(r)、图6(b)所示的线性路径函数L(r)及图6(c)所示的两点簇函数C2(r),图中r表示以像素(pixels)为单位的长度。从图6所示的实验结果可以看出,与在5μm分辨率下采集的真实高分辨率岩心CT图像的统计参数相比,双三次插值方法的重建结果的统计参数误差比较明显,因此基于此方法重建的结果的可靠性不够。相比较而言,本发明重建的高分辨率岩心CT图像的统计参数与目标值较为接近,显著提升了岩心样本特性分析的准确性,具有较高的可靠性。
结合主观视觉效果及客观统计参数的比较和验证,可以看出本发明方法对于低分辨率岩心CT图像具有较好的重建效果,重建的高分辨率岩心CT图像可靠性较高。综上所述,本发明是一种有效的岩心CT图像超分辨率方法。该发明可以服务于石油地质领域,降低岩心样本图像采集的成本,提高岩心图像分析的准确性,在油气勘探、开采等实际应用中具有较大的价值。
Claims (4)
1.基于循环生成对抗网络的岩心CT图像超分辨率方法,其特征在于包括以下步骤:
步骤(一):采集配对或非配对的低分辨率及高分辨率岩心CT图像,构建用于训练网络模型的图像集;
步骤(二):设计用于岩心CT图像超分辨率的循环生成对抗网络(CycleGAN-based SR,SRCycleGAN);
步骤(三):基于所述图像集及网络,定义目标函数,完成训练,获得岩心CT图像超分辨率模型SRCycleGAN;
步骤(四):基于所述的SRCycleGAN模型,实现低分辨率岩心CT图像的重建,生成高分辨岩心CT图像。
2.根据权利要求1所述的基于循环生成对抗网络的岩心CT图像超分辨率方法,其特征在于步骤(一)所述的构建训练图像集的方式,即利用CT在不同分辨率下采集岩心样本的图像序列,并进一步提取出低分辨率及高分辨率岩心CT图像样本;高低分辨率图像样本既可是严格配对的图像对,也可以是不存在一一对应关系的图像。
3.根据权利要求1所述的基于循环生成对抗网络的岩心CT图像超分辨率方法,其特征在于步骤(二)所述的用于岩心CT图像超分辨率的循环生成对抗网络,其中生成器GX能够将低分辨率岩心CT图像转换到高分辨率空间,实现分辨率的提升;而生成器GY能够将高分辨率岩心CT图像转换到低分辨率空间,实现分辨率的降低。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910815110.6A CN112446825A (zh) | 2019-08-30 | 2019-08-30 | 基于循环生成对抗网络的岩心ct图像超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910815110.6A CN112446825A (zh) | 2019-08-30 | 2019-08-30 | 基于循环生成对抗网络的岩心ct图像超分辨率方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112446825A true CN112446825A (zh) | 2021-03-05 |
Family
ID=74734555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910815110.6A Pending CN112446825A (zh) | 2019-08-30 | 2019-08-30 | 基于循环生成对抗网络的岩心ct图像超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112446825A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272156A (zh) * | 2022-09-01 | 2022-11-01 | 中国海洋大学 | 基于循环生成对抗网络的油气藏高分辨率井筒成像表征法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105006018A (zh) * | 2015-06-30 | 2015-10-28 | 四川大学 | 三维ct岩心图像超分辨率重建方法 |
CN108765297A (zh) * | 2018-06-14 | 2018-11-06 | 厦门大学 | 基于循环训练的超分辨率重建方法 |
US20190066281A1 (en) * | 2017-08-24 | 2019-02-28 | Siemens Healthcare Gmbh | Synthesizing and Segmenting Cross-Domain Medical Images |
CN109934771A (zh) * | 2019-03-08 | 2019-06-25 | 北京航空航天大学 | 基于循环神经网络的无监督遥感图像超分辨率重建方法 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
-
2019
- 2019-08-30 CN CN201910815110.6A patent/CN112446825A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105006018A (zh) * | 2015-06-30 | 2015-10-28 | 四川大学 | 三维ct岩心图像超分辨率重建方法 |
US20190066281A1 (en) * | 2017-08-24 | 2019-02-28 | Siemens Healthcare Gmbh | Synthesizing and Segmenting Cross-Domain Medical Images |
CN108765297A (zh) * | 2018-06-14 | 2018-11-06 | 厦门大学 | 基于循环训练的超分辨率重建方法 |
CN109934771A (zh) * | 2019-03-08 | 2019-06-25 | 北京航空航天大学 | 基于循环神经网络的无监督遥感图像超分辨率重建方法 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
Non-Patent Citations (2)
Title |
---|
CHENYU YOU 等: "CT Super-resolution GAN Constrained by the Identical, Residual, and Cycle Learning Ensemble(GAN-CIRCLE)", 《ELECTRICAL ENGINEERING AND SYSTEMS SCIENCE》, 10 August 2018 (2018-08-10), pages 1 - 15 * |
邵保泰 等: "基于生成对抗网络的单帧红外图像超分辨算法", 《红外与毫米波学报》, vol. 37, no. 4, 15 August 2018 (2018-08-15), pages 427 - 432 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272156A (zh) * | 2022-09-01 | 2022-11-01 | 中国海洋大学 | 基于循环生成对抗网络的油气藏高分辨率井筒成像表征法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110310227A (zh) | 一种基于高低频信息分解的图像超分辨率重建方法 | |
CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
Chen et al. | Super-resolution of real-world rock microcomputed tomography images using cycle-consistent generative adversarial networks | |
CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
CN109087375B (zh) | 基于深度学习的图像空洞填充方法 | |
CN111340046A (zh) | 基于特征金字塔网络和通道注意力的视觉显著性检测方法 | |
CN109712077B (zh) | 一种基于深度字典学习的hardi压缩感知超分辨率重建方法 | |
CN114266957B (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
CN111353935A (zh) | 基于深度学习的磁共振成像优化方法及其设备 | |
CN110288529A (zh) | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 | |
CN112446825A (zh) | 基于循环生成对抗网络的岩心ct图像超分辨率方法 | |
CN110288672A (zh) | 一种基于超深稠密网络的压缩感知磁共振图像重建方法 | |
CN112184552B (zh) | 一种基于高频特征学习的子像素卷积图像超分辨方法 | |
CN117132472A (zh) | 基于前向-反向可分离自注意力的图像超分辨率重建方法 | |
CN117455770A (zh) | 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法 | |
CN117151983A (zh) | 一种基于小波启发和高频增强的图像全色锐化方法 | |
CN116503251A (zh) | 一种结合混合专家的生成对抗网络遥感图像超分辨重建方法 | |
CN112862946A (zh) | 基于级联条件生成对抗网络的灰度岩心图像三维重建方法 | |
CN116071582A (zh) | 一种空间和通道加权和动态非对称卷积的物体识别方法 | |
CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及系统 | |
CN113793263A (zh) | 多尺度空洞卷积的并行残差网络高分辨率图像重建方法 | |
CN115049922A (zh) | 一种遥感图像变化检测方法及系统 | |
CN113191949A (zh) | 多尺度超分辨率病理图像数字化方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210305 |
|
WD01 | Invention patent application deemed withdrawn after publication |