CN112634428A - 一种基于双向循环生成网络的多孔介质三维图像重建方法 - Google Patents

Abstract

本发明公开了一种基于双向循环生成网络的多孔介质三维图像重建方法，主要包括如下步骤：采集并制作二维图像和对应三维图像数据集，用于网络的训练和测试；设计基于二维图像重建三维图像的双向循环生成网络的网络结构(3D‑BicycleGAN)；设计三维的GAN损失函数，以对形态进行约束；设计三维的模式分布损失函数，以对重建结构的纹理信息进行约束；设计三维的孔隙度损失函数，以对重建结构的孔隙度进行约束；基于上述的数据集、网络和损失函数，完成训练，获得图像三维重建的模型3D‑BicycleGAN；基于所述的3D‑BicycleGAN模型，完成二维图像的三维重建。本发明可以快速地对输入二维图像进三维重建，在石油地质等领域有重要的应用价值。

Description

一种基于双向循环生成网络的多孔介质三维图像重建方法

技术领域

本发明涉及一种三维图像重建方法，尤其涉及一种基于双向循环生成网络的多孔介质三维图像重建方法，属于图像处理技术领域。

背景技术

在自然界和人们的生活中，多孔介质无处不在。地层中的土壤和岩石、合金材料、木材、陶瓷等均属于多孔介质的范畴。多孔介质材料的宏观性质如渗透率、电导率和一些机械性能等，直接影响着它在实际工程应用中。而它的宏观性质又由其内部的结构所决定，因此研究其内部结构就显得十分重要。

以岩石为例，通常来讲，获取其内部结构的方式主要有：(1)直接成像。(2)基于二维图像的三维重建。在很长一段时间里，这两种方法并行发展，各有优势。值得注意的是，近年来，结合两者优势的方法逐渐涌现。比如最近几年新提出的超维重建方法，就是利用CT图像获取的真实三维结构信息，来指导单张二维图像的三维重建。然而，目前来讲，重建的精度和速度上依然还有较大的提升空间。如何在快速重建的同时，能保持较高的精度仍然是当前急需解决的问题。具体而言，如何根据该问题制作数据集、设计端对端的网络结构以及损失函数等是首先需要面对的问题。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于双向循环生成网络的多孔介质三维图像重建方法。

本发明通过以下技术方案来实现上述目的：

一种基于双向循环生成网络的三维图像重建方法，包括以下步骤：

(1)采集并制作二维图像和对应三维图像数据集，用于网络的训练和测试；

(2)设计基于二维图像重建三维图像的双向循环生成网络的网络结构(3D-BicycleGAN)。

(3)设计三维的GAN损失函数L_{GAN_3D}，以对形态进行约束；

(4)设计三维的模式分布的损失函数L_{pattern_3D}，以对重建结构的局部纹理信息进行约束；

(5)设计三维的孔隙度的损失函数L_{porosity_3D}，以对重建结构的孔隙度进行约束；

(6)基于上述的数据集、网络和损失函数，完成训练，获得图像三维重建的模型3D-BicycleGAN；

(7)基于所述的3D-BicycleGAN模型，完成二维图像的三维重建。

本发明受国家自然科学基金“岩石微观非均质结构三维图像重建及分辨率提升技术研究(61372174)”资助。

附图说明

图1为本发明基于双向循环生成网络的多孔介质三维图像重建方法的流程框图

图2为本发明所采集的部分岩石图像样本，每一个样本均由一张二维图像和对应的三维图像组成。

图3基于双向循环生成网络的多孔介质三维图像重建的框图

图4生成器G的网络架构图

图5鉴别器D的网络架构图

图6编码器E的网络架构图

图7岩石图像三维重建结果视觉对比

图8岩石图像三维重建结果统计参数对比

具体实施方式

下面参照附图更详细地描述本发明的实施方式。虽然附图及下文给出了本发明的实施方式，但是本发明可以多种形式实现，而不被附图及下文描述的实施方式所限制。提供附图及下文描述的实施方式是为了能够让本发明更加完整及准确地被本领域技术人员所理解。

图1中，一种基于双向循环生成网络的三维图像重建方法，具体可分为以下几个步骤：

(1)采集并制作二维图像和对应三维图像数据集，用于网络的训练和测试；

(2)设计基于二维图像重建三维图像的双向循环生成网络的网络结构(3D-BicycleGAN)。

(3)设计三维的GAN损失L_{GAN_3D}，以对形态进行约束；

(4)设计三维的模式分布的损失函数L_{pattern_3D}，以对重建结构的局部纹理信息进行约束；

(5)设计三维的孔隙度的损失函数L_{porosity_3D}，以对重建结构的孔隙度进行约束；

(6)基于上述的数据集、网络和损失函数，完成训练，获得图像三维重建的模型3D-BicycleGAN；

(7)基于所述的3D-BicycleGAN模型，完成二维图像的三维重建。

具体地，所述步骤(1)中,考虑到当前计算机的处理速度和显存的情况，在本发明中，作为实施示例，对获取的原始CT序列图进行裁剪和缩放等操作，获得了1000个128×128×128大小的三维图像样本。然后，将三维图像的底面作为二维图像，并作为网络的输入；同时完整的三维图像作为网络的输出。这样，用于训练的每个样本均由一幅二维图像和一个三维图像组成，如图2所示。

所述步骤(2)中，本发明构建了图3所示的基于双向循环生成网络的多孔介质三维图像重建的框图。3D-BicycleGAN由生成器G，鉴别器D，编码器E组成，整个网络的训练过程可以看成是两个子网络cVAE-GAN和cLR-GAN组成。其中cVAE-GAN可以看做是目标三维结构B的重建，而cLR-GAN可以看做是高斯噪声z的重建。整个网络的更新过程是：1)固定D，更新G和E。2)固定D，E的梯度清零，优化cLR-GAN中的G。3)固定G和E，优化D。

所述步骤(2)中，本发明设计的网络生成器G，鉴别器D，编码器E分别如图4,5,6所示。其中G在经典的U-net架构基础上，设计了最后两个输出层Conv_N×k×k和Conv_N×1×1。设输入为x，则经过这两层网络后，它的输出被定义为：

y＝Conv_N×1×1(Conv_N×k×k(x)) (1)

其中，N表示通道数，k表示卷积核大小。Conv_N×k×k用于将数据变换到指定维度，Conv_N×1×1用于融合高层通道信息。总的来说，整个G网络可以看做四个过程：低层信息提取，下采样，上采样，高层通道信息融合。

本发明设计的网络生成器D的输入为128×128×128，经过4个卷积层Conv和一个均值池化层(AvgPool)后，计算Loss后网络的输出为一个0-1之间的概率值。

本发明设计的网络生成器E的输入为128×128×128，网络的结构组成为1个卷积层Conv,3个残差块(Residual block)，1个均值池化层AvgPool,1个全连接层FC。输出的结果为一个噪声分布。

所述步骤(3)中，本发明设计的GAN损失函数为：

其中，

和

分别为cVAE-GAN和cLR-GAN的中GAN损失函数。具体而言：

其中，λ_L1，λ_KL分别表示损失函数的权重。

表示鉴别器D对生成器G的损失函数；可展开为：

其中，A,B～p(A,B)表示A，B服从联合分布概率函数p(A,B)；

表示log(D(A,B))的数学期望；

表示log(1-D(A,G(A,z)))的数学期望。同时，在本发明中，

被重新定义为：

即生成器的输出G(A,z)在x,y,z三个方向上分别做鉴别和计算损失函数，最终的损失函数为三者之和。

在式(3)中，固定E，有：

用来衡量G的输出G(A,z)与真实值B的差异。

进一步，有：

表示编码器E的输出与标准高斯分布

之间的KL散度。

另一方面，根据式(2)，

其中，λ_latent表示

的权重，

与(4)相同；

定义为：

表示噪声z的重建损失函数。

(4)所述步骤(4)中，本发明在式(2)的基础上，又设计了三维的模式分布的损失函数L_{pattern_3D}，同时它又由x,y,z三个方向的模式损失函数组成，即：

L_{pattern_3D}＝L_{pattern_3Dx}+L_{pattern_3Dy}+L_{pattern_3Dz} (10)

以L_{pattern_3Dx}为例，它表示用一个N×N的模板遍历三维结构x方向的所有切面得到的模式概率分布与目标三维结构x方向模式概率分布的差异，即为：

其中，pattern(·)表示求解模式分布的函数。

(4)所述步骤(5)中，本发明在式(2)和式(10)的基础上，又设计了三维的孔隙度损失函数L_{porosity_3D}，目的是对重建结构的孔隙度进行约束。其中，L_{porosity_3D}为：

其中，porosity(·)表示求解三维孔隙度的函数，其定义为：

这里，P和V分别表示三维结构S的孔隙的数量和岩石及孔隙的总数。

所述步骤(6)中，根据收集的样本，设计的网络和损失函数，完成训练，得到模型3D-BicycleGAN。

基于式(2)，(10)，(12)，本发明设计的总损失函数

为各项损失数的加权，其定义为：

其中，λ_pattern和λ_porosity分别表示L_{pattern_3D}和L_{porosity_3D}权重。

所述步骤(7)中，只需要使用3D-BicycleGAN中的生成器G对输入的2D图像x进行重建，得到三维结构y：

y＝G(x) (15)

具体地，为了验证本发明方法的有效性，本发明进行了相关的实验。

如图7所示，其中(a)和(d)分别表示输入的一幅均质二维图像和对应的目标三维图像，(b)和(c)表示两个重建的结果。可以从视觉上看出，这两个结构很好地复现了孔隙结构的三维连通性质和良好的均质性质，同时也表明了算法对于孔隙连通的复现能力和网络对孔隙结构的刻画能力。

除了视觉比较外，我们还进行了定量的参数比较，包括两点相关函数(S₂)，线性路径函数(L)，两点簇函数C₂，以及局部孔隙度分布，如图8所示。为了验证方法的稳定性，对相同的输入图像，重建了20次，并比较了目标值、20次重建结果、重建结果的平均值。可以看出，这四个参数均呈现出在均值附近轻微振荡的趋势，而且均值与目标值的符合度较高，也说明了本发明方法的准确性和稳定性。

此外，本发明对于128×128×128大小图像的重建，在普通的CPU上只需要0.2s，相比通常需要花费若干个小时的传统方法，有了大幅度的提升。

结合主观视觉效果及客观统计参数的比较和验证，可以看出本发明方法对于岩石图像三维重建的有效性和鲁棒性，可以较好地复现岩石图像的形态和三维连通特性。综上所述，本发明是一种有效的基于二维图像的多孔介质三维图像重建方法。该发明可以服务和应用于石油地质、生物、材料、物理等领域，可以降低岩石图像的采集成本，同时为三维岩石图像缺乏的场景提供有力的技术支撑，在油气勘探、开采、材料设计等实际应用中具有较大的价值。

上述实施例只是本发明的优选实施案例，并不是对本发明所述技术方案的限制，只要是不经过创造性劳动即可在上述实施案例的基础上实现的技术方案，均应视为落入本发明内容的保护范围内。

Claims (6)

1.一种基于双向循环生成网络的端对端的三维图像重建方法，其特征在于：包括以下步骤：

(1)采集并制作二维图像和对应三维图像数据集，用于网络的训练和测试；

(2)设计基于二维图像重建三维图像的双向循环生成网络的网络结构(3D-BicycleGAN)；

(3)设计三维的GAN损失函数L_{GAN_3D}，以对形态进行约束；

(4)设计三维的模式分布的损失函数L_{pattern_3D}，以对重建结构的局部纹理信息进行约束；

(5)设计三维的孔隙度的损失函数L_{porosity_3D}，以对重建结构的孔隙度进行约束；

(6)基于上述的数据集、网络和损失函数，完成训练，获得图像三维重建的模型3D-BicycleGAN；

(7)基于所述的3D-BicycleGAN模型，完成二维图像的三维重建。

2.根据权利要求1所述的基于双向循环生成网络的三维图像重建方法，其特征在于步骤(2)所述的网络结构：其中G在经典的U-net架构基础上，设计了最后两个输出层Conv_N×k×k和Conv_N×1×1；设输入为x，则经过这两层网络后，它的输出被定义为：

y＝Conv_N×1×1(Conv_N×k×k(x))

其中，N表示通道数，k表示卷积核大小，Conv_N×k×k用于将数据变换到指定维度，Conv_N×1×1用于融合高层通道信息。

3.根据权利要求1所述的基于双向循环生成网络的三维图像重建方法，其特征在于步骤(3)所述的三维的GAN损失函数L_{GAN_3D}，从三个方向x，y，z分别计算，其定义为：

其中，A，B～p(A，B)表示A，B服从联合分布概率函数p(A，B)；

表示log(1-D(A，G(A，z)))的数学期望；

和

分别表示log(1-D(A，(G(A，z))_x，log(1-D(A，(G(A，z))_y，和log(1-D(A，(G(A，z))_z的数学期望。

4.根据权利要求1所述的基于双向循环生成网络的三维图像重建方法，其特征在于步骤(4)所述的三维的模式分布的损失函数L_{pattern_3D}，它由x，y，z三个方向的模式损失函数组成，其定义为：

L_{pattern_3D}＝L_{pattern_3Dx}+L_{pattern_3Dy}+L_{pattern_3Dz}

以L_{pattern_3Dx}为例，它表示用一个N×N的模板遍历三维结构x方向的所有切面得到的模式概率分布与目标三维结构x方向模式概率分布的差异，即为：

其中，pattern(·)表示求解模式分布的函数。

5.根据权利要求1所述的基于双向循环生成网络的三维图像重建方法，其特征在于步骤(5)所述的设计三维的孔隙度损失函数L_{porosity_3D}，其定义为：

其中，porosity(·)表示求解三维孔隙度的函数，其定义为：

这里，P和V分别表示三维结构S的孔隙的数量和岩石及孔隙的总数。

6.根据权利要求1所述的基于双向循环生成网络的三维图像重建方法，其特征在于步骤(5)所述的总损失函数

它为各项损失数的加权，其定义为：

其中，λ_pattern和λ_porosity分别表示损失函数L_{pattern_3D}和损失L_{porosity_3D}权重；

表示GAN损失函数。

Images