CN112862946A - 基于级联条件生成对抗网络的灰度岩心图像三维重建方法 - Google Patents

Abstract

本发明涉及一种基于级联条件生成对抗网络的灰度岩心图像三维重建方法。即基于岩心二维灰度岩心图像的三维建模问题，而提供一种基于级联条件生成对抗网络的重建方法。该方法将维度提升的概念引入深度学习中，利用深度学习建立二维到三维更好的映射。并提出级联条件生成对抗式网络CCGAN(Cascading Conditional Generative Adversarial Network)进行灰度岩心图像的重建。同时，针对灰度岩心自身特点，我们提出基于图像像素灰度级分布的损失函数作为CCGAN网络损失函数的组成部分，更好地进行灰度岩心图像的重建；重建的三维微观结构为真实岩心微观结构提供了一个很好解释；可用于岩心微观结构及渗流特性的研究，具有实用价值。

Description

基于级联条件生成对抗网络的灰度岩心图像三维重建方法

技术领域

本发明涉及一种基于二维灰度岩心图像的三维建模方法，尤其涉及一种基于级联条件生成对抗网络的灰度岩心图像三维重建方法，属于三维图像重建技术领域。

背景技术

三维岩心CT图像中的像素的灰度值综合反映了不同材料在相应岩石单元中的衰减系数，因而三维灰度岩心图像对于岩心成分及其物理特性的研究具有重要意义。高分辨率二维灰度岩心图像容易获得且成本较低，通过对其进行三维重建，可以直接从二维岩心图像中学习材料属性并预测其三维结构，可以准确描述各种具有不同灰度级的材料和介质。基于以上原因，采用二维灰度岩心图像去重建其三维结构是很有必要的。

Tahmasebi等提出采用基于互相关函数的多点地质统计算法(CCSIM)来重建灰度岩心。该算法是通过计算待模拟模式的边缘块与训练图像各个相同大小区域之间的互相关函数大小来确定选择的模式，能够较好地解决重建时的精度和速度问题。该方法能够很好继承层与层之间的连续性，但是不易控制层与层之间的随机变化性。

相较于二维岩心的重建，如果要通过维度提升灰度岩心图像的重建，建立二维块到三维块的映射关系，其解空间是相当庞大的，远远超过二值图像。进行超维重建，模式数量级的庞大使得字典具有更高的不完备性，重建后期灰度纹理等模式信息逐渐消失。

机器学习(ML)方法通过预测具有二维图像到三维结构端到端的材料特性来加速新材料的设计，变得越来越流行。“深度学习”的最新进展使得能够从非常原始的数据表示中学习，例如，图像的像素，使得构建优于传统专家设计表示的通用模型成为可能。目前机器学习方法多被用于二值化岩心的重建。

基于此，为了更好地进行灰度岩心图像的重建，本发明潜心研究了一种基于级联条件生成对抗网络的灰度岩心图像三维重建方法；该研究项目受国家自然科学基金项目《岩石微观非均质结构三维图像重建及分辨率提升技术研究》(61372174)资助。

发明内容

本发明的目的在于为了解决上述现有技术中所存在的技术问题，而提供一种基于级联条件生成对抗网络的灰度岩心图像三维重建方法。该方法是基于岩心二维图像的三维建模问题，将超维思想中维度提升的概念引入深度学习中，利用深度学习建立二维到三维更好的映射。并提出级联条件生成对抗式网络CCGAN(Cascading Conditional GenerativeAdversarial Network)进行灰度岩心图像的重建。同时，针对灰度岩心自身特点，我们提出基于图像像素灰度级分布的损失函数作为CCGAN网络损失函数的组成部分，更好地进行灰度岩心图像的重建。

本发明是通过以下技术方案来实现上述发明目的的。

本发明提供的一种基于级联条件生成对抗网络的灰度岩心图像三维重建方法，包括以下步骤：

(1)采集并制作二维图像和对应三维图像数据集，用于网络的训练和重建；

(2)将步骤(1)中获取的每个三维样本作为训练样本。为了在信息对等的情况下建立二维到三维的映射，并采用三维卷积学习三维空间信息，对网络的Input，Target设置为两个对等结构(待重建三维空间大小)的三维体，并对每层CCGAN网络中Input，Target结构中嵌入的输入输出信息进行了设计；

(3)在步骤(2)设计好单个网络的基础上，设计针对图像三维空间像素灰度级模式分布的损失函数L_{grey level_3D}，以达到更好地重建效果；

(4)在步骤(3)针对每个网络的灰度岩心图像重建的损失函数L_{grey level_3D}进行设计的基础上，基于上述的数据集、网络和损失函数，完成训练，获得多层图像三维重建的模型及其中训练好的生成器及辨别器；

(5)在步骤(4)完成训练的基础上，将以上已经训练好的生成器进行级联构成进行单张二维灰度岩心图像的重建网络；

(6)在步骤(5)建立完成重建阶段的级联条件生成网络过程基础上，基于所述的模型，完成二维灰度岩心图像的三维重建。

上述方案中，步骤(1)中所述采集并制作二维图像和对应三维图像数据集，用于网络的训练和重建，即对获取的原始CT序列图进行裁剪和缩放等操作，获得1000个128×128×128大小的三维图像样本。

上述方案中，步骤(2)中所述在信息对等的情况下建立二维到三维的映射，并采用三维卷积学习三维空间信息，对每层CCGAN网络中Input，Target结构中嵌入的输入输出信息进行设计，即将Input，Target设置为两个对等结构(待重建三维空间大小)的三维体。在第一层网络中，已知信息为CT单张二维灰度参考图像，其target为CT序列中连续的下一张图像。基于此，Input三维体其内部第一层为参考图像，该三维结构其它层用灰度值127的像素进行填充，然后将这些序列在z方向上concatenate。Target三维体内部第一层为参考图像，第二层CT序列中连续的下一张图像，该三维结构其它层用灰度值127的像素进行填充，然后将这些序列在z方向上concatenate。CCGAN级联网络的第二层为CT序列中的某两张连续图像作为输入条件,它的后两张连续图像为目标的网络。以此类推。同样的CCGAN网络的其它层的训练阶段与其类似。

上述方案中，步骤(3)中所述设计针对图像三维空间像素灰度级模式分布的损失函数L_{grey level_3D}，即用一个N×N×N的模板遍历三维结构得到的像素灰度级模式概率分布与目标三维结构模式概率分布的差异，量化生成器G的输出G(x,z)和目标系统y的灰度级分布的均方误差(MSE)，从而保持重建过程中灰度级分布的一致性。其表达式如式1所示。

其中，L_{grey level_3D}灰度级模式分布的损失，y_{grey level}目标系统y的灰度级分布，(G(x,z))_{grey level}表示生成器G的输出的灰度级分布。具体地，通过扫描图像并获取所有的灰度级，统计0-255这256个灰度级像素出现的频率并进行归一化，从而获得灰度级的分布。然后，通过计算目标系统和重建结果灰度级分布之间的欧氏距离，得到该灰度级分布损失函数。

上述方案中，步骤(4)中所述基于上述的数据集、网络和损失函数，完成训练，获得多层图像三维重建的模型及其中训练好的生成器及辨别器，即针对上述的每层网络进行单独训练，得到训练好的生成器，为后续的级联操作做准备。

上述方案中，步骤(5)中所述将已经训练好的生成器进行级联构成进行单张二维灰度岩心图像的重建网络，即将以上已经训练好的生成器进行级联。以参考图像为第一层，其它层由127像素值填充的三维体作为输入，先送入前向第一层网络，其输出结果一起作为下一层网络的输入。以此类推，可以重建输入参考图像之后的128张图像。将这128张图像进行堆叠，即可重建出整个三维结构。

本发明基于级联条件生成对抗网络的灰度岩心图像三维重建方法的基本原理如下：

本发明的方法所述基于级联条件生成对抗网络的灰度岩心图像三维重建方法，关键在于将维度提升的概念引入深度学习中，利用深度学习建立二维到三维更好的映射。并提出CCGAN(Cascading Conditional Generative Adversarial Network)的算法进行灰度岩心图像的重建。CCGAN级联生成对抗网络在信息对等的情况下建立二维到三维的映射，并采用三维卷积学习三维空间信息。针对灰度岩心自身特点，将基于图像像素灰度级分布的损失函数作为CCGAN网络损失函数的组成部分。

本发明与现有技术相比具有以下的优点及有益的技术效果：

本发明提出的基于级联条件生成对抗网络的灰度岩心图像三维重建方法，该方法采用输入输出都为对等三维结构信息的条件下通过级联条件生成对抗网络结构对岩心进行重建，能够较好地复现二维图像中的灰度纹理等模式信息，克服传统重建方法中重建后期灰度纹理等模式信息逐渐消失的现象。

附图说明

图1是本发明实施例中给定的ccgan单个网络第一层训练过程示意图；

图2是本发明实施例中给定的ccgan单个网络第三层训练过程示意图；

图3是本发明实施例中级联条件生成网络重建过程示意图；

图4是本发明实施例中选取的128×128大小灰度岩心参考图像；

图5是本发明实施例中通过CCGAN网络重建结构；

图6是本发明实施例中的目标系统；

图7是本发明实施例中目标系统和重建结构的灰度直方图；

具体实施方式

下面用具体实施例并结合附图对本发明作进一步详细说明，但所述实施例只是对本发明的实现方法作一个具体的详细说明，而不应理解为是对本发明保护内容的任何限制。

实施例：

为了使本发明所述基于级联条件生成对抗网络的灰度岩心图像三维重建方法更加便于理解和接近于真实应用，下面对采集并制作二维图像和对应三维图像数据集，对每层CCGAN网络中Input，Target结构信息进行设计，再针对图像三维空间像素灰度级模式分布的损失函数L_{grey level_3D}进行设计，将以上已经训练好的生成器进行级联进行单张二维灰度岩心图像的重建的一系列过程的操作流程作整体说明。

其具体操作步骤如下：

(1)对获取的原始CT序列图进行裁剪和缩放等操作，获得1000个128×128×128大小的三维图像样本。

(2)将步骤(1)中获取的每个三维样本作为训练样本。为了在信息对等的情况下建立二维到三维的映射，并采用三维卷积学习三维空间信息，我们将Input，Target设置为两个对等结构(待重建三维空间大小)的三维体，并对每层CCGAN网络中Input，Target结构进行了设计。如图1与图2为ccgan单个网络第一层第三层训练过程。在第一层网络中，已知信息为CT单张二维灰度参考图像，其target为CT序列中连续的下一张图像。基于此，Input三维体其内部第一层为参考图像，该三维结构其它层用灰度值127的像素进行填充，然后将这些序列在z方向上concatenate。Target三维体内部第一层为参考图像，第二层CT序列中连续的下一张图像，该三维结构其它层用灰度值127的像素进行填充，然后将这些序列在z方向上concatenate。CCGAN级联网络的第二层为CT序列中的某两张连续图像作为输入条件,它的后两张连续图像为目标的网络。以此类推。同样的CCGAN网络的其它层的训练阶段与其类似。

(3)在步骤(2)设计好单个网络的基础上，针对每个网络的灰度岩心图像重建的损失函数L_{grey level_3D}进行设计。传统pixel2pixel网络采用CGAN损失函数L_GAN和L₁损失函数L_L1的加权作为最终的损失函数。本发明提出CCGAN网络的目的是用于灰度岩心图像的重建，因而有必要提出新的针对灰度岩心图像重建的损失函数，并通过和之前的L_GAN和L_L1加权求和，达到更好地重建效果。提出的该损失函数是针对图像三维空间像素灰度级模式分布的损失函数，记为L_{grey level_3D}。

L_{grey level_3D}它表示用一个N×N×N的模板遍历三维结构得到的像素灰度级模式概率分布与目标三维结构模式概率分布的差异，能够量化生成器G的输出G(x,z)和目标系统y的灰度级分布的均方误差(MSE)，从而保持重建过程中灰度级分布的一致性。具体地，通过扫描图像并获取所有的灰度级，统计0-255这256个灰度级像素出现的频率并进行归一化，从而获得灰度级的分布。然后，通过计算目标系统和重建结果灰度级分布之间的欧氏距离，得到该灰度级分布损失。

(4)在步骤(3)针对每个网络的灰度岩心图像重建的损失函数L_{grey level_3D}进行设计的基础上，完成训练，获得7层网络模型及其中训练好的生成器及辨别器。

(5)在步骤(4)完成训练的基础上，将以上已经训练好的7个生成器进行级联。以参考图像为第一层，其它层由127像素值填充的三维体作为输入，先送入前向第一层网络，其输出结果一起作为下一层网络的输入。以此类推，可以重建输入参考图像之后的128张图像。将这128张图像进行堆叠，即可重建出整个三维结构。级联条件生成网络重建过程示意图如图3所示。

(6)在步骤(5)建立完成重建阶段的级联条件生成网络过程基础上，选取如图4所示的128×128大小灰度岩心图像作为参考图像，送入图3所示网络进行重建，重建结构如图5所示。其目标系统如图6所示。通过视觉效果上直观比较目标系统和重建结构，它们具有相似的形态特征，说明本发明所述算法可以很好地重建灰度岩心图像。

(7)在步骤(6)进行灰度岩心重建的基础上，为了进一步对重建效果进行量化分析，我们采用灰度直方图作为重建的评价标准。灰度直方图反映了图像中灰度的分布情况，是灰度级的函数。通过灰度直方图，我们可以很直观的了解到图像中每个灰度级的占比，是图像的一个重要特征。灰度直方图的横坐标为灰度级，纵坐标为灰度级出现的频率。目标系统和重建结构的灰度直方图如图7所示。从图中可以看出，它们的灰度级分布基本一致，即成分分布较为一致。同时也说明了本发明提出的重建算法能较好地在三维重建结构中复现训练目标系统的灰度级信息。

上述实施例只是本发明的优选实施例，并不是对本发明所述技术方案的限定，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明内容的保护范围内。

Claims (4)

1.一种基于级联条件生成对抗网络的灰度岩心图像三维重建方法，其特征在于包括以下步骤：

(1)采集并制作二维图像和对应三维图像数据集，用于网络的训练和重建；

(2)将步骤(1)中获取的每个三维样本作为训练样本；为了在信息对等的情况下建立二维到三维的映射，并采用三维卷积学习三维空间信息，对网络的Input，Target设置为两个对等结构(待重建三维空间大小)的三维体，并对每层CCGAN网络中Input，Target结构中嵌入的输入输出信息进行设计；

(3)在步骤(2)设计好单个网络的基础上，设计针对图像三维空间像素灰度级模式分布的损失函数L_{grey level_3D}，以达到更好地重建效果；

(4)在步骤(3)针对每个网络的灰度岩心图像重建的损失函数L_{grey level_3D}进行设计的基础上，基于上述的数据集、网络和损失函数，完成训练，获得多层图像三维重建的模型及其中训练好的生成器及辨别器；

(5)在步骤(4)完成训练的基础上，将以上已经训练好的生成器进行级联构成进行单张二维灰度岩心图像的重建网络；

(6)在步骤(5)建立完成重建阶段的级联条件生成网络过程基础上，基于所述的模型，完成二维灰度岩心图像的三维重建。

2.根据权利要求1所述的方法，其特征在于步骤(2)中所述在信息对等的情况下建立二维到三维的映射，并采用三维卷积学习三维空间信息，对每层CCGAN网络中Input，Target结构中嵌入的输入输出信息进行设计，即将Input，Target设置为两个对等结构(待重建三维空间大小)的三维体；在第一层网络中，已知信息为CT单张二维灰度参考图像，其target为CT序列中连续的下一张图像；基于此，Input三维体其内部第一层为参考图像，该三维结构其它层用灰度值127的像素进行填充，然后将这些序列在z方向上concatenate；Target三维体内部第一层为参考图像，第二层CT序列中连续的下一张图像，该三维结构其它层用灰度值127的像素进行填充，然后将这些序列在z方向上concatenate；CCGAN级联网络的第二层为CT序列中的某两张连续图像作为输入条件，它的后两张连续图像为目标的网络；以此类推，同样的CCGAN网络的其它层的训练阶段与其类似。

3.根据权利要求1所述的方法，其特征在于步骤(3)中所述设计针对图像三维空间像素灰度级模式分布的损失函数L_{grey level_3D}，即用一个N×N×N的模板遍历三维结构得到的像素灰度级模式概率分布与目标三维结构模式概率分布的差异，量化生成器G的输出G(x,z)和目标系统y的灰度级分布的均方误差(MSE)，从而保持重建过程中灰度级分布的一致性；其表达式如下式所示：

其中，L_{grey level_3D}灰度级模式分布的损失，y_{grey level}目标系统y的灰度级分布，(G(x,z))_{grey level}表示生成器G的输出的灰度级分布；具体地，通过扫描图像并获取所有的灰度级，统计0-255这256个灰度级像素出现的频率并进行归一化，从而获得灰度级的分布；然后，通过计算目标系统和重建结果灰度级分布之间的欧氏距离，得到该灰度级分布损失函数。

4.根据权利要求1所述的方法，其特征在于步骤(5)中所述将已经训练好的生成器进行级联构成进行单张二维灰度岩心图像的重建网络，即将以上已经训练好的生成器进行级联；以参考图像为第一层，其它层由127像素值填充的三维体作为输入，先送入前向第一层网络，其输出结果一起作为下一层网络的输入；以此类推，可以重建输入参考图像之后的128张图像；将这128张图像进行堆叠，即可重建出整个三维结构。

Images