CN115797489A - 一种基于深度网络的岩石ct数字图像真彩色化处理方法 - Google Patents

一种基于深度网络的岩石ct数字图像真彩色化处理方法 Download PDF

Info

Publication number
CN115797489A
CN115797489A CN202211537349.XA CN202211537349A CN115797489A CN 115797489 A CN115797489 A CN 115797489A CN 202211537349 A CN202211537349 A CN 202211537349A CN 115797489 A CN115797489 A CN 115797489A
Authority
CN
China
Prior art keywords
image
sample
generator
color image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211537349.XA
Other languages
English (en)
Inventor
赵高峰
吴宇航
李一鸣
魏新栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202211537349.XA priority Critical patent/CN115797489A/zh
Publication of CN115797489A publication Critical patent/CN115797489A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度网络的岩石CT数字图像真彩色化处理方法，包括如下步骤：建立试样CT图像与试样彩色图像数据库；对试样CT图像和彩色图像进行预处理，扩充图像数据库；构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；构造适用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；构造试样彩色图像域的判别器和试样CT图像域的判别器；建立CycleGAN的损失函数，用来优化两个生成器；训练并得到双层循环生成对抗网络模型之后，采用第一生成器对CT图像进行彩色化处理。

Description

一种基于深度网络的岩石CT数字图像真彩色化处理方法
技术领域
本发明设计一种将岩石试样微焦点CT三维数字图像真彩色化的方法，属于基于循环生成对抗网络的图像处理领域。
背景技术
对于三维试样利用微计算机断层扫描技术容易获取试样各层CT图像以及重构出的伪彩色试样，但是CT及伪彩色图像不能直接反应试样的结构、物质构成与分布等信息，为了能够更加直观的对岩样内部进行研究，需要获取试样真彩色图像，目前需要依靠切边有损检测获取，但该方法复杂，无普及性，为此考虑利用深度学习训练CT图像彩色化模型，将真实图像的色彩信息迁移到CT图像，解决试样真彩色图像获取困难的问题。
目前，基于深度学习的图像着色技术开始从深度卷积神经网络向生成对抗神经网络进行过渡。基于深度卷积神经网络的图像着色技术在提取图像特征和生成图像的过程中，容易出现丢失图像信息与误着色的问题，而生成式对抗网络通过对损失函数的改进对上述问题进行了优化处理。经检索，专利号为202210252286.7的一种基于生成对抗网络的灰度图像彩色化方法，通过构建生成对抗网络架构，交替训练生成器与判别器，实现了灰度图像的彩色化，减少了人工干预并改善了大尺寸图像像素无法精细上色的弊端，但训练过程中仅用到了生成对抗损失，不能保证生成的彩色图像与真实图像的色调一致，也没有考虑配对图像难以获取的问题；专利号为202111438646.4的基于CycleGan的热红外图像转类可见光彩色图像方法，利用循环一致性损失将热红外图像-彩色可见光图像两个生成器连接起来，构建了循环生成对抗神经网络，实现了图像的彩色化，并解决了图像难以配对的问题，但没有考虑标识映射损失，无法保证生成的彩色图像与正常彩色图像的色调一致；多数基于深度学习网络的图像彩色化专利没有考虑感受野的大小对计算效率的影响，对图像训练前的预处理过程也没有详尽的说明。综上，目前常见的图像彩色化方法容易出现丢失图像信息与误着色的问题，没有考虑配对图像难以收集的问题，且大多数深度网络在输入图像输出图像的尺寸大小方面也没有做过多的说明，无法保证计算效率。
发明内容
本发明的目的是提供一种计算效率高，能够实现更高分辨率图像生成的将岩石试样微焦点CT三维数字图像真彩色化的方法。本发明通过数字化自动切片数字照相系统对一个岩石试样进行扫描，先进行微焦点CT图像无损测试后进行切片有损测试，构造原始数字-CT图像数据集；将数据集的解析度进行统一，并对不稳定的边界像素进行裁剪；接着对图像进行循环边界处理，后指定窗口尺寸及多组窗口参数，对数字-CT图像按照窗口进行切割取样，扩充图像数据库，后采用翻转、平移、调整对比度对图像数据库进一步进行扩充；根据图像数据库中的试样CT图像和彩色图像的图像域转换信息，利用生成对抗损失、循环一致性损失以及标识映射损失对网络进行训练，得到满足预设收敛条件的循环生成对抗网络模型，该模型包含：用于生成试样类彩色图像的第一生成器、用于对第一生成器生成的试样类彩色图像进行判断的判别器、用于生成试样类CT图像的第二生成器、用于对第二生成器生成的试样类CT图像进行判别的判别器。在双层循环生成对抗网络模型满足预设收敛条件的情况下，采用第一生成器对CT图像进行彩色化处理。本发明根据图像数据库中的CT图像和试样彩色图像的图像域转换信息的学习，解决了CT图像真实着色的问题，能够将微焦点CT三维数字图像真彩色化，便于后续直观的对试样内部的结构及物质构成等内容进行分析以及数值仿真建模。本发明的技术方案如下。
一种基于深度网络的岩石CT数字图像真彩色化处理方法，包括如下步骤：
步骤一：建立试样CT图像与试样彩色图像数据库：通过数字化自动切片数字照相系统对岩石试样进行扫描，经过微焦点CT图像无损测试获取微焦点CT三维数字图像；进行切片有损测试获取原始数字图像，建立试样CT图像与试样彩色图像数据库；
步骤二：对试样CT图像和彩色图像进行预处理，扩充图像数据库，方法如下：
步骤2.1：统一试样CT图像和彩色图像的解析度；
步骤2.2：对试样CT图像及彩色图像边界进行裁剪；
步骤2.3：对裁剪后的图像进行循环边界处理；
步骤2.4：扩充图像数据库，并将图像数据库按预设比例分为训练图像数据库和测试图像数据库，所述扩充图像数据库包括如下的方法：设试样CT图像尺寸为[m,n]，彩色图像尺寸为[n1,m1]，随机给定多组窗口参数，扩充图像数据库，对于一组随机给定的窗口参数，处理方法如下：在图像随机位置处生成预定尺寸的窗口[w1,w2]，满足[w1<n,w2<m]，位于循环边界处理前图像的内部，随机给定窗口一个角度thelt、一个偏移：[offx,offy]，offx随机取值范围：[0,n-w1]，offy随机取值范围[0,m-w2]，该窗口的参数：[offx,offy,thelt]；根据窗口参数，以窗口中心坐标为基准，对窗口进行偏移和转转，获取对应窗口的CT图像，并按照相同的窗口参数获取配对的彩色图像；
步骤三：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；构造适用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；
步骤四：构造试样彩色图像域的判别器，通过所述判别器判别第一生成器生成的试样类彩色图像的细节构造与正常试样彩色图像细节构造的差异；构造试样CT图像域的判别器，通过所述判别器判别第二生成器生成的试样类CT图像的细节构造与正常试样CT图像细节构造的差异；
试样彩色图像域的判别器与试样CT图像域的判别器架构基于下采样卷积神经网络，基于PatchGAN判别器，将输入图像进行多次下采样，得到不同局部的图像，并将图像分别送入PatchGAN中进行计算，计算结果通过上采样得到的结果加权相加后作为判别器的最终输出，从而将局部图像特征和整体图像特性相融合；
步骤五：利用试样CT图像转试样类彩色图像的第一生成器与试样彩色图像域的判别器构造生成对抗损失
Figure BDA0003978280340000031
利用试样彩色图像转试样类CT图像的第二生成器与试样CT图像域的判别器构造生成对抗损失
Figure BDA0003978280340000032
上述
Figure BDA0003978280340000033
与
Figure BDA0003978280340000034
共同构成生成对抗损失Lgan；输入试样CT图像，利用第一生成器生成试样类彩色图像，接着通过第二生成器将所生成的试样类彩色图像还原成试样类CT图像，并与真实CT图像进行比较，构成循环一致性损失
Figure BDA0003978280340000035
输入试样彩色图像，利用第二生成器生成试样类CT图像，接着通过第一生成器将所生成的试样类CT图像还原成试样类彩色图像，并与真实彩色图像进行比较，构成循环一致性损失
Figure BDA0003978280340000036
与
Figure BDA0003978280340000037
共同构成循环一致性损失Lcyc；输入试样CT图像，利用第二生成器生成试样类CT图像，并与输入的试样CT图像进行比较，构造标识映射损失
Figure BDA0003978280340000038
输入试样彩色图像，利用第一生成器生成试样类彩色图像，并与输入的试样彩色图像进行比较，构成标识映射损失
Figure BDA0003978280340000039
Figure BDA00039782803400000310
与
Figure BDA00039782803400000311
共同构成了标识映射损失Lide；上述Lgan、Lcyc、Lide共同构成CycleGAN的损失函数，用来优化两个生成器；
步骤六：通过步骤三构建的第一生成器、第二生成器，步骤四构建的试样彩色图像域的判别器、试样CT图像域的判别器，步骤五构造的生成对抗损失、循环一致性损失、标识映射损失组成CycleGAN；根据步骤一和步骤二得到的图像数据库中的试样CT图像和试样彩色图像的图像域转换信息的学习，利用循环生成对抗网络CycleGAN将试样CT图像转试样彩色图像和试样彩色图像转试样CT图像两个生成器联系起来，通过不断迭代进行对抗训练，当epoch值达到预定值时停止训练，得到双层循环生成对抗网络模型之后，采用第一生成器对CT图像进行彩色化处理。
进一步地，利用双线性插值算法，对CT图像与彩色图像进行缩放，统一CT图像与彩色图像的解析度。
进一步地，采用包括翻转、平移、调整对比度在内的处理方法对图像数据库进一步进行扩充。
进一步地，步骤三的方法如下：
步骤3.1：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第一生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数；
步骤3.2：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第二生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数；
步骤3.3：构建的第一生成器与第二生成器网络中所有卷积层的padding使用ReflectionPad2d，将图像沿着边缘上下左右进行对称，以增大图像的分辨率。
进一步地，对裁剪后的图像进行循环边界处理的方法为：利用反射法，以最边缘像素为轴，将像素进行对称，对图像周边进行延拓处理，避免在进行扩充图像时由于旋转导致的边界超越。
本发明的有益效果是：
1.本发明根据图像数据库中的岩石CT图像和岩石彩色图像的图像域转换信息的学习，实现了微焦点CT三维数字图像真彩色化，解决了CT图像真实着色的问题，能够将微焦点CT三维数字图像真彩色化，生成既包含CT图像结构信息又包括真实图像颜色信息的三维试样，便于后续直观的对岩样内部的结构及物质构成等内容进行分析以及数值仿真建模。
2.图像数据库的构建过程中，利用双线性插值，对原始数字-CT图像的解析度进行了统一，同时对原始数字-CT图像边缘不稳定像素进行了裁剪，保证了模型的稳定；在扩充图像数据集之前对图像进行循环边界处理，避免在扩充图像数据库时旋转导致的边界超越；在扩充数据集时采用在图像随机位置处生成预定尺寸的窗口，并随机给定窗口偏移距离和旋转角度，对图像按照窗口进行多次切割进行扩充的方法，控制了模型输入图像的大小，保证了计算效率；
3.构建的第一生成器与第二生成器网络中所有卷积层的padding使用ReflectionPad2d，将图像沿着边缘上下左右进行对称，增大了图像的分辨率。
4.为了更能关注岩石图像的结构细节，使用PatchGAN判别器，能够将局部图像特征和整体图像特性相融合，通实现了局部图像特征的提取和表征，有利于实现更为高分辨率的图像生成；
5.由生成对抗损失、循环一致性损失、标识映射损失共同构成CycleGAN的损失函数，使生成的图像尽量与真实图像相似的同时，解决了试验CT图像和试验彩色图像配对数据集难以获得的问题，无需试验CT图像-试验彩色图像的高精准配对，以达到试样CT图像到类彩色图像的无监督学习的目的，同时保留了输入和输出颜色组成的一致性，使色调不发生变化。
附图说明
图1为整体流程图；
图2为基于CycleGAN的试样CT图像转类彩色图像的流程图；
图3为本发明的CycleGAN的生成器网络结构图；
图4为本发明的CycleGAN的判别器网络结构图；
图5为本发明的结果图，其中(a)为真实试样彩色图像，(b)为试样CT图像，(c)为试样类彩色图像，(d)为试样立体重构图。
具体实施方式
下面结合附图和实施例，对本实发明的具体实施方式作进一步详细描述。
本发明考虑利用深度学习训练CT图像彩色化模型，将真实图像的色彩信息迁移到CT图像，解决试样真彩色图像获取困难的问题。在获取训练集的过程中，由于试样各层的真实图像获取前需要经过机器切割，获取过程较为复杂，难以获得成对的数据集，本发明选用循环对抗神经网络CycleGAN模型，解决CT图像真实着色的问题，能够将微焦点CT三维数字图像真彩色化，即通过生成式循环对抗神经网络生成既包括CT图像结构信息又包括真实图像颜色信息的图像，便于直观的对试样内部的结构及物质构成等内容进行分析以及数值仿真建模。
本发明实施例，参见图1-4所示，本实施例公开的一种基于深度网络的岩石CT数字图像真彩色化处理方法，包括如下步骤：
步骤一：获取三维试样的内部的CT图像与真实彩色图像，通过数字化自动切片数字照相系统对一个岩石试样按照样品尺寸及形状进行分层扫描，先进行微焦点CT图像无损测试，后进行切片有损测试，建立试样CT图像与彩色图像数据库，将数据集分为A域与B域，其中A域为试样CT图像，B域为试样彩色图像；
步骤二：统一试样CT图像和彩色图像的解析度；对CT图像及彩色图像边界进行裁剪，避免周边像素不稳定；对裁剪后的图像进行循环边界处理，避免在扩充图像数据库时旋转导致的边界超越；为控制输入图像大小，保证计算效率，在图像随机位置处生成预定尺寸的窗口，并随机给定窗口偏移距离和旋转角度，对图像按照窗口进行多次切割，扩充图像数据库，后采用翻转、平移、调整对比度对图像数据库进一步进行扩充，并将图像数据库划分为训练库和测试库；
步骤2.1：统一试样CT图像和彩色图像的解析度；
对于试样CT图像解析度与彩色图像解析度的不一致问题，利用双线性插值算法，通过pycharm调用resize函数，并选用Image.ANTIALIAS参数，对CT图像与彩色图像进行缩放，统一CT图像与彩色图像的解析度；
步骤2.2：对试样CT图像及彩色图像边界进行裁剪；
利用Pycharm编译器执行裁剪程序，对距离CT以及彩色图像的上下左右边界一定距离的不稳定像素进行裁剪，避免周边像素不稳定对模型的影响；
步骤2.3：对裁剪后的图像进行循环边界处理；
利用反射法，通过Pycharm调用cv2库，使用copyMakeBorder函数并选用cv2.BORDER_REFLECT_101参数，对图像以最边缘像素为轴，将像素进行对称，对图像周边进行延拓处理，避免在进行扩充图像时由于旋转导致的边界超越；
步骤2.4：为控制输入图像大小，保证计算效率，在图像随机位置处利用Python+Opencv生成预定尺寸的窗口[w1,w2]，满足[w1<n,w2<m]，位于循环边界处理前图像的内部；
随机给定窗口一个角度thelt、一个偏移：[offx,offy]，offx随机取值范围：[0,n-w1]，offy随机取值范围[0,m-w2]，该窗口的参数：[offx,offy,thelt]。
根据窗口参数，以窗口中心的基准，将窗口进行偏移与旋转，进而利用Python+Opencv对窗口进行识别并切割，通过切割获取对应窗口的CT图像，并按照相同的窗口参数获取配对的彩色图像；为了提高图像数据库的样本容量，防止在神经网络的训练中过拟合，随机给定多组窗口参数，对图像按照窗口切割，扩充图像数据库，后通过pycharm调用PIL与skimage库实现翻转、平移、调整对比度对图像数据库进一步进行扩充，并将图像数据库按8:2分为训练图像数据库和测试图像数据库。
步骤三：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；构造适用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器。
步骤3.1：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第一生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数。
步骤3.2：根据图像数据库中的试样CT图像和岩石彩色图像的图像域转换信息，构造用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第二生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数。
第一生成器和第二生成器中的卷积残差结构由9个残差块(Residual block)构成，令CIL表示由卷积(Conv)、正则化(InstanceNorm)、Leaky ReLU激活函数构成的网络层，CTIR表示由反卷积(ConvTranspose)、正则化(InstanceNorm)、ReLU激活函数构成的网络层，CIR表示由卷积(ConV)、正则化(InstanceNorm)、ReLU激活函数构成的网络层，CIT表示由卷积(Conv)、正则化(InstanceNorm)、Tanh激活函数构成的网络层，同时令CILmn-K表示包含K个m×m卷积核、步长为n的CIL，CTIRmn-K表示包含K个m×m卷积核、步长为n的CTIR，CITmn-K表示包含K个m×m卷积核、步长为n的CIT，R×[CIRmn-K]2表示R个包含2组K个m×m卷积核、步长为n的CIR的残差块。则第一生成器和第二生成器的解码器结构、卷积残差结构、编码器结构可以表示为：
解码器结构：CIL71-64，CIL32-128，CIL32-256
卷积残差结构：9×[CTR31-256]2
编码器结构：CTIR32-128，CTIR32-64，CIT71-1
步骤3.3：构建的第一生成器与第二生成器网络中所有卷积层的padding使用ReflectionPad2d，将图像沿着边缘上下左右进行对称，增大图像的分辨率。
步骤四：构造试样彩色图像域的判别器，通过所述判别器判别第一生成器生成的试样类彩色图像的细节构造与正常试样彩色图像细节构造的差异；构造试样CT图像域的判别器，通过所述判别器判别第二生成器生成的试样类CT图像的细节构造与正常试样CT图像细节构造的差异；
试样彩色图像域的判别器与试样CT图像域的判别器架构基于下采样卷积神经网络；为了更能关注试样图像的结构细节，使用PatchGAN判别器；PatchGAN判别器采用卷积模块、IN正则化、Leaky ReLU激活函数，基于PatchGAN判别器，将输入图像进行多次下采样，得到不同局部的图像，并将图像分别送入PatchGAN中进行计算，计算结果通过上采样得到的结果加权相加后作为判别器的最终输出，从而将局部图像特征和整体图像特性相融合，通过每个patch进行差别的判别，实现了局部图像特征的提取和表征，有利于实现更为高分辨率的图像生成；同时，对最后的分类特征图的判别结果进行加权求和平均，也能够判别第一生成器生成的试样类彩色图像、第二生成器生成的试样类CT图像与真实试样图像的整体差异。
令CIR表示由卷积(ConV)、正则化(InstanceNorm)、ReLU激活函数构成的网络层，CIL表示由卷积(Conv)、正则化(InstanceNorm)、Leaky ReLU激活函数构成的网络层，同时令CIRmn-K表示包含K个m×m卷积核、步长为n的CIR，CILmn-K表示包含K个m×m卷积核、步长为n的CIL，则PatchGAN的架构可以表示为：
CIR42-64，CIL42-128，CIL42-256，CIL41-512，CIL41-1
步骤五：利用试样CT图像转试样类彩色图像的第一生成器与试样彩色图像域的判别器构造生成对抗损失
Figure BDA0003978280340000081
利用试样彩色图像转试样类CT图像的第二生成器与试样CT图像域的判别器构造生成对抗损失
Figure BDA0003978280340000091
上述
Figure BDA0003978280340000092
与
Figure BDA0003978280340000093
共同构成生成对抗损失Lgan，使生成的图像尽量与真实图像相似；输入试样CT图像，利用第一生成器生成试样类彩色图像，接着通过第二生成器将试样类彩色图像还原成试样类CT图像，并与真实CT图像进行比较，构成循环一致性损失
Figure BDA0003978280340000094
输入试样彩色图像，利用第二生成器生成试样类CT图像，接着通过第一生成器将试样类CT图像还原成试样类彩色图像，并与真实彩色图像进行比较，构成循环一致性损失
Figure BDA0003978280340000095
与
Figure BDA0003978280340000096
共同构成循环一致性损失Lcyc，解决了试样CT图像和试样彩色图像配对数据集难以获得的问题，无需试样原始数字-CT图像的高精准配对，以达到试样CT图像到类彩色图像的无监督学习的目的；输入试样CT图像，利用第二生成器生成试样类CT图像，并与输入的试样CT图像进行比较，构造标识映射损失
Figure BDA0003978280340000097
输入试样彩色图像，利用第一生成器生成试样类彩色图像，并与输入的试样彩色图像进行比较，构成标识映射损失
Figure BDA0003978280340000098
与
Figure BDA0003978280340000099
共同构成了标识映射损失Lide，保留了输入和输出颜色组成的一致性，使色调不发生变化；上述Lgan、Lcyc、Lide共同构成CycleGAN的损失函数，用来优化两个生成器；
步骤5.1：利用试样CT图像转试样类彩色图像的第一生成器与试样彩色图像域的判别器构造生成对抗损失
Figure BDA00039782803400000910
Figure BDA00039782803400000911
其中，
Figure BDA00039782803400000912
表示将X域图像映射为Y域图像的生成对抗损失；
Figure BDA00039782803400000913
表示Y域图像样本分布的期望值；
Figure BDA00039782803400000914
表示X域图像样本分布的期望值；GY(x)表示将X域图像映射后的Y域图像；DY表示用于区分真实的Y域图像与映射后的Y域图像的判别器；
利用试样彩色图像转试样类CT图像的第二生成器与试样CT图像域的判别器构造生成对抗损失
Figure BDA00039782803400000915
Figure BDA00039782803400000916
其中，
Figure BDA00039782803400000917
表示将Y域图像映射为X域图像的生成对抗损失；
Figure BDA00039782803400000918
表示X域图像样本分布的期望值；
Figure BDA00039782803400000919
表示Y域图像样本分布的期望值；GX(y)表示将Y域图像映射后的X域图像；DX表示用于区分真实的X域图像与映射后的X域图像的判别器；
上述
Figure BDA00039782803400000920
与
Figure BDA00039782803400000921
共同构成生成对抗损失：
Figure BDA0003978280340000101
保证生成的图像尽量与真实图像相似；
步骤5.2：输入试样CT图像，利用第一生成器生成试样类彩色图像，接着通过第二生成器将试样类彩色图像还原成试样类CT图像，并与真实CT图像进行比较，构成循环一致性损失
Figure BDA0003978280340000102
Figure BDA0003978280340000103
其中，
Figure BDA0003978280340000104
表示将X域图像映射为Y域图像后再映射为X域图像与真实图像之间的距离；
Figure BDA0003978280340000105
表示X域图像样本分布的期望值；GY(x)表示将X域图像映射后的Y域图像；GX(y)表示将Y域图像映射后的X域图像；x表示真实的图像；||GX(GY(x))-x||1表示GX(GY(x))-x的L1范数；
输入试样彩色图像，利用第二生成器生成试样类CT图像，接着通过第一生成器将试样类CT图像还原成试样类彩色图像，并与真实彩色图像进行比较，构成循环一致性损失
Figure BDA0003978280340000106
Figure BDA0003978280340000107
其中，
Figure BDA0003978280340000108
表示将Y域图像映射为X域图像后再映射为Y域图像与真实图像之间的距离；
Figure BDA0003978280340000109
表示Y域图像样本分布的期望值；GX(y)表示将Y域图像映射后的X域图像；GY(x)表示将X域图像映射后的Y域图像；y表示真实的图像；||GY(GX(y))-y||1表示GY(GX(y))-y的L1范数；
上述
Figure BDA00039782803400001010
与
Figure BDA00039782803400001011
共同构成循环一致性损失：
Figure BDA00039782803400001012
解决了试样CT图像和试样彩色图像配对数据集难以获得的问题，无需试样原始数字-CT图像的高精准配对，以达到试样CT图像到类彩色图像的无监督学习的目的；
步骤5.3：输入试样CT图像，利用第二生成器生成试样类CT图像，并与输入的试样CT图像进行比较，构造标识映射损失
Figure BDA00039782803400001013
Figure BDA00039782803400001014
其中，
Figure BDA0003978280340000111
表示X域图像映射为X域图像与真实图像之间的距离；
Figure BDA0003978280340000112
表示X域图像样本分布的期望值；GX(x)表示将X域图像映射后的X域图像；x表示真实的图像；||GX(x)-x||1表示GX(x)-x的L1范数；
输入试样彩色图像，利用第一生成器生成试样类彩色图像，并与输入的试样彩色图像进行比较，构成标识映射损失
Figure BDA0003978280340000113
Figure BDA0003978280340000114
其中，
Figure BDA0003978280340000115
表示Y域图像映射为Y域图像与真实图像之间的距离；
Figure BDA0003978280340000116
表示Y域图像样本分布的期望值；GY(y)表示将Y域图像映射后的Y域图像；y表示真实的图像；||GY(y)-y||1表示GY(y)-y的L1范数；
上述
Figure BDA0003978280340000117
与
Figure BDA0003978280340000118
共同构成了标识映射损失：
Figure BDA0003978280340000119
保留了输入和输出颜色组成的一致性，使色调不发生变化；
步骤5.4：上述Lgan、Lcyc、Lide共同构成CycleGAN的损失函数：
L＝λ1Lgan+λ2Lcyc+λ3Lide (7)
其中，L为CycleGAN的损失函数，λ1、λ2、λ3分别表示生成对抗损失、循环一致性损失间、标识映射损失的权重。
步骤六：利用Pycharm通过步骤三构建的第一生成器、第二生成器，步骤四构建的试样彩色图像域的判别器、试样CT图像域的判别器，步骤五构造的生成对抗损失、循环一致性损失、标识映射损失搭建CycleGAN网络模型；根据步骤一和步骤二得到的图像数据库中的试样CT图像和试样彩色图像的图像域转换信息的学习，利用循环生成对抗网络CycleGAN将试样CT图像转试样彩色图像和试样彩色图像转试样CT图像两个生成器联系起来，通过不断迭代进行对抗训练，当epoch值达到预定值时停止训练；
第一生成器：用于接收A域的试样CT图像，根据试样CT图像生成仿B域的类彩色图像fake_B；另外第一生成器还需将第二生成器生成的仿A域的类试样CT图像fake_A接收，并根据fake_A得到B域的重构图像rec_B；
第二生成器：是用于接收B域的试样彩色图像，根据接受得到的岩石彩色图像生成仿A域的试样CT图像fake_A；另外第二生成器还需将第一生成器生成的仿B域的彩色可见光图像fake_B接收，并根据fake_B得到A域的重构图像rec_A；
试样彩色判别器：用于判别B域中的试样彩色图像和第一生成器生成的类彩色图像fake_B的细节构造；
试样CT判别器：用于判别A域中的试样CT图像和第二生成器生成的类彩色CT图像fake_A的细节构造；
步骤七：通过深度学习训练一个双层循环生成对抗网络模型，使得所述双层循环生成对抗网络模型满足预设收敛条件，采用第一生成器对待处理的试样CT图像进行彩色化处理；后将试样各层真彩色化后图像导入到Avizo软件利用插值算法进行三维重构，实现焦点CT三维数字图像真彩色化，反应试样的三维结构信息，并将学习好的网络放在云端，用户通过调用云服务来实现CT图片的彩色化。
步骤7.1：通过深度学习训练一个双层循环生成对抗网络模型，使得所述双层循环生成对抗网络模型满足预设收敛条件，包括：
计算验证集循环生成对抗网络生成的图像与原始图像间的余弦相似度：
Figure BDA0003978280340000121
其中X表示由CycleGan生成的图像各个像素点的RGB值连接构成的一维向量，Y表示由原始图像各个像素点的RGB值连接构成的一维向量；
当余弦相似度达到0.9及以上即证明双层循环生成对抗网络模型满足预设收敛条件；
步骤7.2：采用第一生成器对待处理的试样CT图像进行彩色化处理；后将试样各层真彩色化后图像导入到Avizo软件利用插值算法进行三维重构，实现焦点CT三维数字图像真彩色化，反应试样的三维结构信息，并将学习好的网络放在云端，用户通过调用云服务来实现CT图片的彩色化。
本实施例中以花岗岩试样为例，其中在进行CycleGAN的训练时，按如下步骤进行训练：
1)通过数字化自动切片数字照相系统对一个花岗岩样品进行扫描，经过微焦点CT图像无损测试获取花岗岩微焦点CT三维数字图像，后进行切片有损测试获取花岗岩原始数字图像，建立花岗岩CT图像与彩色图像数据库，共获取144对像素尺寸为1226×1226的CT图像以及像素尺寸为3811×3692彩色图像，将花岗岩CT图像和花岗岩彩色图像的数据集分为A域和B域；
2)利用双线性插值算法，通过pycharm调用resize函数，并选用Image.ANTIALIAS参数，对彩色图像进行缩小，降低解析度，统一CT图像与彩色图像的解析度为1226×1226；
利用Pycharm编译器执行裁剪程序，对距离CT以及彩色图像的上下左右边界一定距离的不稳定像素进行裁剪，裁剪后CT图像与彩色图像的解析度为1024×1024；
利用反射法，通过Pycharm调用cv2库，使用copyMakeBorder函数并选用cv2.BORDER_REFLECT_101参数，对图像以最边缘像素为轴，将像素进行对称，对图像周边进行延拓处理，延拓后的CT图像与彩色图像的解析度为1280×1280；
为控制输入图像大小，保证计算效率，在图像随机位置处生成预定尺寸的窗口[256,256]，位于循环边界处理前图像的内部；随机给定多组窗口参数[offx,offy,thelt]，以窗口中心为基准按照参数对窗口进行偏移和旋转，并对图像按照窗口进行切割，扩充图像数据库，后通过翻转、平移、调整对比度将图像数据库进一步扩充至11520对图像，并将图像数据库按8:2分为训练图像数据库和测试图像数据库。
3)A域中的花岗岩CT图像输入使用pycharm搭建的CycleGAN模型中的第一生成器，通过解码器结构、卷积残差结构、编码器结构后输出大小与输入一致的仿B域图像fake_B，并将仿B域图像fake_B输入第二生成器，得到重构A域图像rec_A；
4)B域中的花岗岩彩色图像输入使用pycharm搭建的CycleGAN模型中的第二生成器，通过解码器结构、卷积残差结构、编码器结构后输出大小与输入一致的仿A域图像fake_A，并将仿A域图像fake_A输入第二生成器，得到重构B域图像rec_B；
5)使用pycharm搭建的CycleGAN模型中的两个判别器分别对A域中的花岗岩CT图像和第二生成器生成的类花岗岩CT图像进行相似度判别，对B域的花岗岩彩色图像与第一生成器生成的花岗岩类彩色图像进行相似性判别，输出结果反馈至损失函数中，以更新生成器的参数，在epoch数达到设定200次时停止迭代。
6)其中循环生成对抗网络模型使用的损失函数包括生成对抗损失、循环一致性损失和标识映射损失，三个损失设置权重为1、10、5，经过不断迭代优化满足最终完成的模型能够使得验证集循环生成对抗网络生成的图像与原始图像间的余弦相似度达到0.9及以上即可作为花岗岩CT图像转换为花岗岩彩色图像的生成器模型。
7)通过生成器模型对1222张花岗岩CT图像进行彩色化处理，后将1222张花岗岩真彩色化图像导入到Avizo软件利用插值算法进行三维重构，实现花岗岩焦点CT三维数字图像真彩色化，反应花岗岩的三维结构信息，并将学习好的花岗岩CT真彩色化网络模型放在云端，用户通过调用云服务来实现花岗岩CT图片的彩色化。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (5)

1.一种基于深度网络的岩石CT数字图像真彩色化处理方法，包括如下步骤：
步骤一：建立试样CT图像与试样彩色图像数据库：通过数字化自动切片数字照相系统对岩石试样进行扫描，经过微焦点CT图像无损测试获取微焦点CT三维数字图像；进行切片有损测试获取原始数字图像，建立试样CT图像与试样彩色图像数据库；
步骤二：对试样CT图像和彩色图像进行预处理，扩充图像数据库，方法如下：
步骤2.1：统一试样CT图像和彩色图像的解析度；
步骤2.2：对试样CT图像及彩色图像边界进行裁剪；
步骤2.3：对裁剪后的图像进行循环边界处理；
步骤2.4：扩充图像数据库，并将图像数据库按预设比例分为训练图像数据库和测试图像数据库，所述扩充图像数据库包括如下的方法：设试样CT图像尺寸为[m,n]，彩色图像尺寸为[n1,m1]，随机给定多组窗口参数，扩充图像数据库，对于一组随机给定的窗口参数，处理方法如下：在图像随机位置处生成预定尺寸的窗口[w1,w2]，满足[w1<n,w2<m]，位于循环边界处理前图像的内部，随机给定窗口一个角度thelt、一个偏移：[offx,offy]，offx随机取值范围：[0,n-w1]，offy随机取值范围[0,m-w2]，该窗口的参数：[offx,offy,thelt]；根据窗口参数，以窗口中心坐标为基准，对窗口进行偏移和转转，获取对应窗口的CT图像，并按照相同的窗口参数获取配对的彩色图像；
步骤三：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；构造适用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；
步骤四：构造试样彩色图像域的判别器，通过所述判别器判别第一生成器生成的试样类彩色图像的细节构造与正常试样彩色图像细节构造的差异；构造试样CT图像域的判别器，通过所述判别器判别第二生成器生成的试样类CT图像的细节构造与正常试样CT图像细节构造的差异；
试样彩色图像域的判别器与试样CT图像域的判别器架构基于下采样卷积神经网络，基于PatchGAN判别器，将输入图像进行多次下采样，得到不同局部的图像，并将图像分别送入PatchGAN中进行计算，计算结果通过上采样得到的结果加权相加后作为判别器的最终输出，从而将局部图像特征和整体图像特性相融合；
步骤五：利用试样CT图像转试样类彩色图像的第一生成器与试样彩色图像域的判别器构造生成对抗损失
Figure FDA0003978280330000021
利用试样彩色图像转试样类CT图像的第二生成器与试样CT图像域的判别器构造生成对抗损失
Figure FDA0003978280330000022
上述
Figure FDA0003978280330000023
与
Figure FDA0003978280330000024
共同构成生成对抗损失Lgan；输入试样CT图像，利用第一生成器生成试样类彩色图像，接着通过第二生成器将所生成的试样类彩色图像还原成试样类CT图像，并与真实CT图像进行比较，构成循环一致性损失
Figure FDA0003978280330000025
输入试样彩色图像，利用第二生成器生成试样类CT图像，接着通过第一生成器将所生成的试样类CT图像还原成试样类彩色图像，并与真实彩色图像进行比较，构成循环一致性损失
Figure FDA0003978280330000031
与
Figure FDA0003978280330000032
共同构成循环一致性损失Lcyc；输入试样CT图像，利用第二生成器生成试样类CT图像，并与输入的试样CT图像进行比较，构造标识映射损失
Figure FDA0003978280330000033
输入试样彩色图像，利用第一生成器生成试样类彩色图像，并与输入的试样彩色图像进行比较，构成标识映射损失
Figure FDA0003978280330000034
与
Figure FDA0003978280330000035
共同构成了标识映射损失Lide；上述Lgan、Lcyc、Lide共同构成CycleGAN的损失函数，用来优化两个生成器；
步骤六：通过步骤三构建的第一生成器、第二生成器，步骤四构建的试样彩色图像域的判别器、试样CT图像域的判别器，步骤五构造的生成对抗损失、循环一致性损失、标识映射损失组成CycleGAN；根据步骤一和步骤二得到的图像数据库中的试样CT图像和试样彩色图像的图像域转换信息的学习，利用循环生成对抗网络CycleGAN将试样CT图像转试样彩色图像和试样彩色图像转试样CT图像两个生成器联系起来，通过不断迭代进行对抗训练，当epoch值达到预定值时停止训练，得到双层循环生成对抗网络模型之后，采用第一生成器对CT图像进行彩色化处理。
2.根据权利要求1所述的岩石CT数字图像真彩色化处理方法，其特征在于，利用双线性插值算法，对CT图像与彩色图像进行缩放，统一CT图像与彩色图像的解析度。
3.根据权利要求1所述的岩石CT数字图像真彩色化处理方法，其特征在于，采用包括翻转、平移、调整对比度在内的处理方法对图像数据库进一步进行扩充。
4.根据权利要求1所述的岩石CT数字图像真彩色化处理方法，其特征在于，步骤三的方法如下：
步骤3.1：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第一生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数；
步骤3.2：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第二生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数；
步骤3.3：构建的第一生成器与第二生成器网络中所有卷积层的padding使用ReflectionPad2d，将图像沿着边缘上下左右进行对称，以增大图像的分辨率。
5.根据权利要求1所述的岩石CT数字图像真彩色化处理方法，其特征在于，对裁剪后的图像进行循环边界处理的方法为：利用反射法，以最边缘像素为轴，将像素进行对称，对图像周边进行延拓处理，避免在进行扩充图像时由于旋转导致的边界超越。
CN202211537349.XA 2022-12-02 2022-12-02 一种基于深度网络的岩石ct数字图像真彩色化处理方法 Pending CN115797489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211537349.XA CN115797489A (zh) 2022-12-02 2022-12-02 一种基于深度网络的岩石ct数字图像真彩色化处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211537349.XA CN115797489A (zh) 2022-12-02 2022-12-02 一种基于深度网络的岩石ct数字图像真彩色化处理方法

Publications (1)

Publication Number Publication Date
CN115797489A true CN115797489A (zh) 2023-03-14

Family

ID=85444899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211537349.XA Pending CN115797489A (zh) 2022-12-02 2022-12-02 一种基于深度网络的岩石ct数字图像真彩色化处理方法

Country Status (1)

Country Link
CN (1) CN115797489A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740211A (zh) * 2023-06-15 2023-09-12 云南大学 一种面向边缘设备的近红外图像彩色化方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740211A (zh) * 2023-06-15 2023-09-12 云南大学 一种面向边缘设备的近红外图像彩色化方法
CN116740211B (zh) * 2023-06-15 2024-01-30 云南大学 一种面向边缘设备的近红外图像彩色化方法

Similar Documents

Publication Publication Date Title
Wang et al. Patchmatchnet: Learned multi-view patchmatch stereo
CN109815893B (zh) 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
CN111652321B (zh) 一种基于改进yolov3算法的海上船舶检测方法
CN110136063B (zh) 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110570353A (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN111028327B (zh) 一种三维点云的处理方法、装置及设备
CN111340944B (zh) 基于隐式函数和人体模板的单图像人体三维重建方法
CN112750201B (zh) 三维重建方法及相关装置、设备
CN114677346A (zh) 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
Kasem et al. Spatial transformer generative adversarial network for robust image super-resolution
Liu et al. Novel cross-resolution feature-level fusion for joint classification of multispectral and panchromatic remote sensing images
CN115147271A (zh) 一种用于光场超分辨率的多视图信息注意力交互网络
CN112200720A (zh) 一种基于滤波器融合的超分辨率图像重建方法及系统
CN115797489A (zh) 一种基于深度网络的岩石ct数字图像真彩色化处理方法
CN114972043A (zh) 基于联合三边特征滤波的图像超分辨率重建方法与系统
CN115375548A (zh) 一种超分辨率的遥感图像生成方法、系统、设备和介质
KR20120000736A (ko) 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법
Pesavento et al. Super-resolution 3d human shape from a single low-resolution image
CN117115359A (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN116071504B (zh) 一种面向高分辨率图像的多视图立体重建方法
CN116703725A (zh) 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法
Bai et al. Digital rock core images resolution enhancement with improved super resolution convolutional neural networks
CN114445726B (zh) 一种基于深度学习的样本库建立方法和装置
CN115588024A (zh) 一种基于人工智能的复杂工业影像边缘提取方法及装置
CN115240057A (zh) 一种基于深度学习的架空输电线路监拍图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination