CN115797489A - 一种基于深度网络的岩石ct数字图像真彩色化处理方法 - Google Patents
一种基于深度网络的岩石ct数字图像真彩色化处理方法 Download PDFInfo
- Publication number
- CN115797489A CN115797489A CN202211537349.XA CN202211537349A CN115797489A CN 115797489 A CN115797489 A CN 115797489A CN 202211537349 A CN202211537349 A CN 202211537349A CN 115797489 A CN115797489 A CN 115797489A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- generator
- color image
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 26
- 239000011435 rock Substances 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 29
- 230000004913 activation Effects 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 125000004122 cyclic group Chemical group 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 11
- 230000003042 antagnostic effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000001066 destructive effect Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 4
- 238000001028 reflection method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 239000010438 granite Substances 0.000 description 20
- 239000010410 layer Substances 0.000 description 20
- 238000009826 distribution Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004040 coloring Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000002355 dual-layer Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度网络的岩石CT数字图像真彩色化处理方法，包括如下步骤：建立试样CT图像与试样彩色图像数据库；对试样CT图像和彩色图像进行预处理，扩充图像数据库；构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；构造适用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；构造试样彩色图像域的判别器和试样CT图像域的判别器；建立CycleGAN的损失函数，用来优化两个生成器；训练并得到双层循环生成对抗网络模型之后，采用第一生成器对CT图像进行彩色化处理。
Description
技术领域
本发明设计一种将岩石试样微焦点CT三维数字图像真彩色化的方法，属于基于循环生成对抗网络的图像处理领域。
背景技术
对于三维试样利用微计算机断层扫描技术容易获取试样各层CT图像以及重构出的伪彩色试样，但是CT及伪彩色图像不能直接反应试样的结构、物质构成与分布等信息，为了能够更加直观的对岩样内部进行研究，需要获取试样真彩色图像，目前需要依靠切边有损检测获取，但该方法复杂，无普及性，为此考虑利用深度学习训练CT图像彩色化模型，将真实图像的色彩信息迁移到CT图像，解决试样真彩色图像获取困难的问题。
目前，基于深度学习的图像着色技术开始从深度卷积神经网络向生成对抗神经网络进行过渡。基于深度卷积神经网络的图像着色技术在提取图像特征和生成图像的过程中，容易出现丢失图像信息与误着色的问题，而生成式对抗网络通过对损失函数的改进对上述问题进行了优化处理。经检索，专利号为202210252286.7的一种基于生成对抗网络的灰度图像彩色化方法，通过构建生成对抗网络架构，交替训练生成器与判别器，实现了灰度图像的彩色化，减少了人工干预并改善了大尺寸图像像素无法精细上色的弊端，但训练过程中仅用到了生成对抗损失，不能保证生成的彩色图像与真实图像的色调一致，也没有考虑配对图像难以获取的问题；专利号为202111438646.4的基于CycleGan的热红外图像转类可见光彩色图像方法，利用循环一致性损失将热红外图像-彩色可见光图像两个生成器连接起来，构建了循环生成对抗神经网络，实现了图像的彩色化，并解决了图像难以配对的问题，但没有考虑标识映射损失，无法保证生成的彩色图像与正常彩色图像的色调一致；多数基于深度学习网络的图像彩色化专利没有考虑感受野的大小对计算效率的影响，对图像训练前的预处理过程也没有详尽的说明。综上，目前常见的图像彩色化方法容易出现丢失图像信息与误着色的问题，没有考虑配对图像难以收集的问题，且大多数深度网络在输入图像输出图像的尺寸大小方面也没有做过多的说明，无法保证计算效率。
发明内容
本发明的目的是提供一种计算效率高，能够实现更高分辨率图像生成的将岩石试样微焦点CT三维数字图像真彩色化的方法。本发明通过数字化自动切片数字照相系统对一个岩石试样进行扫描，先进行微焦点CT图像无损测试后进行切片有损测试，构造原始数字-CT图像数据集；将数据集的解析度进行统一，并对不稳定的边界像素进行裁剪；接着对图像进行循环边界处理，后指定窗口尺寸及多组窗口参数，对数字-CT图像按照窗口进行切割取样，扩充图像数据库，后采用翻转、平移、调整对比度对图像数据库进一步进行扩充；根据图像数据库中的试样CT图像和彩色图像的图像域转换信息，利用生成对抗损失、循环一致性损失以及标识映射损失对网络进行训练，得到满足预设收敛条件的循环生成对抗网络模型，该模型包含：用于生成试样类彩色图像的第一生成器、用于对第一生成器生成的试样类彩色图像进行判断的判别器、用于生成试样类CT图像的第二生成器、用于对第二生成器生成的试样类CT图像进行判别的判别器。在双层循环生成对抗网络模型满足预设收敛条件的情况下，采用第一生成器对CT图像进行彩色化处理。本发明根据图像数据库中的CT图像和试样彩色图像的图像域转换信息的学习，解决了CT图像真实着色的问题，能够将微焦点CT三维数字图像真彩色化，便于后续直观的对试样内部的结构及物质构成等内容进行分析以及数值仿真建模。本发明的技术方案如下。
一种基于深度网络的岩石CT数字图像真彩色化处理方法，包括如下步骤：
步骤一：建立试样CT图像与试样彩色图像数据库：通过数字化自动切片数字照相系统对岩石试样进行扫描，经过微焦点CT图像无损测试获取微焦点CT三维数字图像；进行切片有损测试获取原始数字图像，建立试样CT图像与试样彩色图像数据库；
步骤二：对试样CT图像和彩色图像进行预处理，扩充图像数据库，方法如下：
步骤2.1：统一试样CT图像和彩色图像的解析度；
步骤2.2：对试样CT图像及彩色图像边界进行裁剪；
步骤2.3：对裁剪后的图像进行循环边界处理；
步骤2.4：扩充图像数据库，并将图像数据库按预设比例分为训练图像数据库和测试图像数据库，所述扩充图像数据库包括如下的方法：设试样CT图像尺寸为[m,n]，彩色图像尺寸为[n1,m1]，随机给定多组窗口参数，扩充图像数据库，对于一组随机给定的窗口参数，处理方法如下：在图像随机位置处生成预定尺寸的窗口[w1,w2]，满足[w1<n,w2<m]，位于循环边界处理前图像的内部，随机给定窗口一个角度thelt、一个偏移：[offx,offy]，offx随机取值范围：[0,n-w1]，offy随机取值范围[0,m-w2]，该窗口的参数：[offx,offy,thelt]；根据窗口参数，以窗口中心坐标为基准，对窗口进行偏移和转转，获取对应窗口的CT图像，并按照相同的窗口参数获取配对的彩色图像；
步骤三：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；构造适用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；
步骤四：构造试样彩色图像域的判别器，通过所述判别器判别第一生成器生成的试样类彩色图像的细节构造与正常试样彩色图像细节构造的差异；构造试样CT图像域的判别器，通过所述判别器判别第二生成器生成的试样类CT图像的细节构造与正常试样CT图像细节构造的差异；
试样彩色图像域的判别器与试样CT图像域的判别器架构基于下采样卷积神经网络，基于PatchGAN判别器，将输入图像进行多次下采样，得到不同局部的图像，并将图像分别送入PatchGAN中进行计算，计算结果通过上采样得到的结果加权相加后作为判别器的最终输出，从而将局部图像特征和整体图像特性相融合；
步骤五：利用试样CT图像转试样类彩色图像的第一生成器与试样彩色图像域的判别器构造生成对抗损失
利用试样彩色图像转试样类CT图像的第二生成器与试样CT图像域的判别器构造生成对抗损失
上述
与
共同构成生成对抗损失Lgan；输入试样CT图像，利用第一生成器生成试样类彩色图像，接着通过第二生成器将所生成的试样类彩色图像还原成试样类CT图像，并与真实CT图像进行比较，构成循环一致性损失
输入试样彩色图像，利用第二生成器生成试样类CT图像，接着通过第一生成器将所生成的试样类CT图像还原成试样类彩色图像，并与真实彩色图像进行比较，构成循环一致性损失
与
共同构成循环一致性损失Lcyc；输入试样CT图像，利用第二生成器生成试样类CT图像，并与输入的试样CT图像进行比较，构造标识映射损失
输入试样彩色图像，利用第一生成器生成试样类彩色图像，并与输入的试样彩色图像进行比较，构成标识映射损失
与
共同构成了标识映射损失Lide；上述Lgan、Lcyc、Lide共同构成CycleGAN的损失函数，用来优化两个生成器；
步骤六：通过步骤三构建的第一生成器、第二生成器，步骤四构建的试样彩色图像域的判别器、试样CT图像域的判别器，步骤五构造的生成对抗损失、循环一致性损失、标识映射损失组成CycleGAN；根据步骤一和步骤二得到的图像数据库中的试样CT图像和试样彩色图像的图像域转换信息的学习，利用循环生成对抗网络CycleGAN将试样CT图像转试样彩色图像和试样彩色图像转试样CT图像两个生成器联系起来，通过不断迭代进行对抗训练，当epoch值达到预定值时停止训练，得到双层循环生成对抗网络模型之后，采用第一生成器对CT图像进行彩色化处理。
进一步地，利用双线性插值算法，对CT图像与彩色图像进行缩放，统一CT图像与彩色图像的解析度。
进一步地，采用包括翻转、平移、调整对比度在内的处理方法对图像数据库进一步进行扩充。
进一步地，步骤三的方法如下：
步骤3.1：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第一生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数；
步骤3.2：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第二生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数；
步骤3.3：构建的第一生成器与第二生成器网络中所有卷积层的padding使用ReflectionPad2d，将图像沿着边缘上下左右进行对称，以增大图像的分辨率。
进一步地，对裁剪后的图像进行循环边界处理的方法为：利用反射法，以最边缘像素为轴，将像素进行对称，对图像周边进行延拓处理，避免在进行扩充图像时由于旋转导致的边界超越。
本发明的有益效果是：
1.本发明根据图像数据库中的岩石CT图像和岩石彩色图像的图像域转换信息的学习，实现了微焦点CT三维数字图像真彩色化，解决了CT图像真实着色的问题，能够将微焦点CT三维数字图像真彩色化，生成既包含CT图像结构信息又包括真实图像颜色信息的三维试样，便于后续直观的对岩样内部的结构及物质构成等内容进行分析以及数值仿真建模。
2.图像数据库的构建过程中，利用双线性插值，对原始数字-CT图像的解析度进行了统一，同时对原始数字-CT图像边缘不稳定像素进行了裁剪，保证了模型的稳定；在扩充图像数据集之前对图像进行循环边界处理，避免在扩充图像数据库时旋转导致的边界超越；在扩充数据集时采用在图像随机位置处生成预定尺寸的窗口，并随机给定窗口偏移距离和旋转角度，对图像按照窗口进行多次切割进行扩充的方法，控制了模型输入图像的大小，保证了计算效率；
3.构建的第一生成器与第二生成器网络中所有卷积层的padding使用ReflectionPad2d，将图像沿着边缘上下左右进行对称，增大了图像的分辨率。
4.为了更能关注岩石图像的结构细节，使用PatchGAN判别器，能够将局部图像特征和整体图像特性相融合，通实现了局部图像特征的提取和表征，有利于实现更为高分辨率的图像生成；
5.由生成对抗损失、循环一致性损失、标识映射损失共同构成CycleGAN的损失函数，使生成的图像尽量与真实图像相似的同时，解决了试验CT图像和试验彩色图像配对数据集难以获得的问题，无需试验CT图像-试验彩色图像的高精准配对，以达到试样CT图像到类彩色图像的无监督学习的目的，同时保留了输入和输出颜色组成的一致性，使色调不发生变化。
附图说明
图1为整体流程图；
图2为基于CycleGAN的试样CT图像转类彩色图像的流程图；
图3为本发明的CycleGAN的生成器网络结构图；
图4为本发明的CycleGAN的判别器网络结构图；
图5为本发明的结果图，其中(a)为真实试样彩色图像，(b)为试样CT图像，(c)为试样类彩色图像，(d)为试样立体重构图。
具体实施方式
下面结合附图和实施例，对本实发明的具体实施方式作进一步详细描述。
本发明考虑利用深度学习训练CT图像彩色化模型，将真实图像的色彩信息迁移到CT图像，解决试样真彩色图像获取困难的问题。在获取训练集的过程中，由于试样各层的真实图像获取前需要经过机器切割，获取过程较为复杂，难以获得成对的数据集，本发明选用循环对抗神经网络CycleGAN模型，解决CT图像真实着色的问题，能够将微焦点CT三维数字图像真彩色化，即通过生成式循环对抗神经网络生成既包括CT图像结构信息又包括真实图像颜色信息的图像，便于直观的对试样内部的结构及物质构成等内容进行分析以及数值仿真建模。
本发明实施例，参见图1-4所示，本实施例公开的一种基于深度网络的岩石CT数字图像真彩色化处理方法，包括如下步骤：
步骤一：获取三维试样的内部的CT图像与真实彩色图像，通过数字化自动切片数字照相系统对一个岩石试样按照样品尺寸及形状进行分层扫描，先进行微焦点CT图像无损测试，后进行切片有损测试，建立试样CT图像与彩色图像数据库，将数据集分为A域与B域，其中A域为试样CT图像，B域为试样彩色图像；
步骤二：统一试样CT图像和彩色图像的解析度；对CT图像及彩色图像边界进行裁剪，避免周边像素不稳定；对裁剪后的图像进行循环边界处理，避免在扩充图像数据库时旋转导致的边界超越；为控制输入图像大小，保证计算效率，在图像随机位置处生成预定尺寸的窗口，并随机给定窗口偏移距离和旋转角度，对图像按照窗口进行多次切割，扩充图像数据库，后采用翻转、平移、调整对比度对图像数据库进一步进行扩充，并将图像数据库划分为训练库和测试库；
步骤2.1：统一试样CT图像和彩色图像的解析度；
对于试样CT图像解析度与彩色图像解析度的不一致问题，利用双线性插值算法，通过pycharm调用resize函数，并选用Image.ANTIALIAS参数，对CT图像与彩色图像进行缩放，统一CT图像与彩色图像的解析度；
步骤2.2：对试样CT图像及彩色图像边界进行裁剪；
利用Pycharm编译器执行裁剪程序，对距离CT以及彩色图像的上下左右边界一定距离的不稳定像素进行裁剪，避免周边像素不稳定对模型的影响；
步骤2.3：对裁剪后的图像进行循环边界处理；
利用反射法，通过Pycharm调用cv2库，使用copyMakeBorder函数并选用cv2.BORDER_REFLECT_101参数，对图像以最边缘像素为轴，将像素进行对称，对图像周边进行延拓处理，避免在进行扩充图像时由于旋转导致的边界超越；
步骤2.4：为控制输入图像大小，保证计算效率，在图像随机位置处利用Python+Opencv生成预定尺寸的窗口[w1,w2]，满足[w1<n,w2<m]，位于循环边界处理前图像的内部；
随机给定窗口一个角度thelt、一个偏移：[offx,offy]，offx随机取值范围：[0,n-w1]，offy随机取值范围[0,m-w2]，该窗口的参数：[offx,offy,thelt]。
根据窗口参数，以窗口中心的基准，将窗口进行偏移与旋转，进而利用Python+Opencv对窗口进行识别并切割，通过切割获取对应窗口的CT图像，并按照相同的窗口参数获取配对的彩色图像；为了提高图像数据库的样本容量，防止在神经网络的训练中过拟合，随机给定多组窗口参数，对图像按照窗口切割，扩充图像数据库，后通过pycharm调用PIL与skimage库实现翻转、平移、调整对比度对图像数据库进一步进行扩充，并将图像数据库按8:2分为训练图像数据库和测试图像数据库。
步骤三：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；构造适用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器。
步骤3.1：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第一生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数。
步骤3.2：根据图像数据库中的试样CT图像和岩石彩色图像的图像域转换信息，构造用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第二生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数。
第一生成器和第二生成器中的卷积残差结构由9个残差块(Residual block)构成，令CIL表示由卷积(Conv)、正则化(InstanceNorm)、Leaky ReLU激活函数构成的网络层，CTIR表示由反卷积(ConvTranspose)、正则化(InstanceNorm)、ReLU激活函数构成的网络层，CIR表示由卷积(ConV)、正则化(InstanceNorm)、ReLU激活函数构成的网络层，CIT表示由卷积(Conv)、正则化(InstanceNorm)、Tanh激活函数构成的网络层，同时令CILmn-K表示包含K个m×m卷积核、步长为n的CIL，CTIRmn-K表示包含K个m×m卷积核、步长为n的CTIR，CITmn-K表示包含K个m×m卷积核、步长为n的CIT，R×[CIRmn-K]2表示R个包含2组K个m×m卷积核、步长为n的CIR的残差块。则第一生成器和第二生成器的解码器结构、卷积残差结构、编码器结构可以表示为：
解码器结构：CIL71-64，CIL32-128，CIL32-256
卷积残差结构：9×[CTR31-256]2
编码器结构：CTIR32-128，CTIR32-64，CIT71-1
步骤3.3：构建的第一生成器与第二生成器网络中所有卷积层的padding使用ReflectionPad2d，将图像沿着边缘上下左右进行对称，增大图像的分辨率。
步骤四：构造试样彩色图像域的判别器，通过所述判别器判别第一生成器生成的试样类彩色图像的细节构造与正常试样彩色图像细节构造的差异；构造试样CT图像域的判别器，通过所述判别器判别第二生成器生成的试样类CT图像的细节构造与正常试样CT图像细节构造的差异；
试样彩色图像域的判别器与试样CT图像域的判别器架构基于下采样卷积神经网络；为了更能关注试样图像的结构细节，使用PatchGAN判别器；PatchGAN判别器采用卷积模块、IN正则化、Leaky ReLU激活函数，基于PatchGAN判别器，将输入图像进行多次下采样，得到不同局部的图像，并将图像分别送入PatchGAN中进行计算，计算结果通过上采样得到的结果加权相加后作为判别器的最终输出，从而将局部图像特征和整体图像特性相融合，通过每个patch进行差别的判别，实现了局部图像特征的提取和表征，有利于实现更为高分辨率的图像生成；同时，对最后的分类特征图的判别结果进行加权求和平均，也能够判别第一生成器生成的试样类彩色图像、第二生成器生成的试样类CT图像与真实试样图像的整体差异。
令CIR表示由卷积(ConV)、正则化(InstanceNorm)、ReLU激活函数构成的网络层，CIL表示由卷积(Conv)、正则化(InstanceNorm)、Leaky ReLU激活函数构成的网络层，同时令CIRmn-K表示包含K个m×m卷积核、步长为n的CIR，CILmn-K表示包含K个m×m卷积核、步长为n的CIL，则PatchGAN的架构可以表示为：
CIR42-64，CIL42-128，CIL42-256，CIL41-512，CIL41-1
步骤五：利用试样CT图像转试样类彩色图像的第一生成器与试样彩色图像域的判别器构造生成对抗损失
利用试样彩色图像转试样类CT图像的第二生成器与试样CT图像域的判别器构造生成对抗损失
上述
与
共同构成生成对抗损失Lgan，使生成的图像尽量与真实图像相似；输入试样CT图像，利用第一生成器生成试样类彩色图像，接着通过第二生成器将试样类彩色图像还原成试样类CT图像，并与真实CT图像进行比较，构成循环一致性损失
输入试样彩色图像，利用第二生成器生成试样类CT图像，接着通过第一生成器将试样类CT图像还原成试样类彩色图像，并与真实彩色图像进行比较，构成循环一致性损失
与
共同构成循环一致性损失Lcyc，解决了试样CT图像和试样彩色图像配对数据集难以获得的问题，无需试样原始数字-CT图像的高精准配对，以达到试样CT图像到类彩色图像的无监督学习的目的；输入试样CT图像，利用第二生成器生成试样类CT图像，并与输入的试样CT图像进行比较，构造标识映射损失
输入试样彩色图像，利用第一生成器生成试样类彩色图像，并与输入的试样彩色图像进行比较，构成标识映射损失
与
共同构成了标识映射损失Lide，保留了输入和输出颜色组成的一致性，使色调不发生变化；上述Lgan、Lcyc、Lide共同构成CycleGAN的损失函数，用来优化两个生成器；
步骤5.1：利用试样CT图像转试样类彩色图像的第一生成器与试样彩色图像域的判别器构造生成对抗损失
其中，
表示将X域图像映射为Y域图像的生成对抗损失；
表示Y域图像样本分布的期望值；
表示X域图像样本分布的期望值；GY(x)表示将X域图像映射后的Y域图像；DY表示用于区分真实的Y域图像与映射后的Y域图像的判别器；
利用试样彩色图像转试样类CT图像的第二生成器与试样CT图像域的判别器构造生成对抗损失
其中，
表示将Y域图像映射为X域图像的生成对抗损失；
表示X域图像样本分布的期望值；
表示Y域图像样本分布的期望值；GX(y)表示将Y域图像映射后的X域图像；DX表示用于区分真实的X域图像与映射后的X域图像的判别器；
上述
与
共同构成生成对抗损失：
步骤5.2：输入试样CT图像，利用第一生成器生成试样类彩色图像，接着通过第二生成器将试样类彩色图像还原成试样类CT图像，并与真实CT图像进行比较，构成循环一致性损失
其中，
表示将X域图像映射为Y域图像后再映射为X域图像与真实图像之间的距离；
表示X域图像样本分布的期望值；GY(x)表示将X域图像映射后的Y域图像；GX(y)表示将Y域图像映射后的X域图像；x表示真实的图像；||GX(GY(x))-x||1表示GX(GY(x))-x的L1范数；
输入试样彩色图像，利用第二生成器生成试样类CT图像，接着通过第一生成器将试样类CT图像还原成试样类彩色图像，并与真实彩色图像进行比较，构成循环一致性损失
其中，
表示将Y域图像映射为X域图像后再映射为Y域图像与真实图像之间的距离；
表示Y域图像样本分布的期望值；GX(y)表示将Y域图像映射后的X域图像；GY(x)表示将X域图像映射后的Y域图像；y表示真实的图像；||GY(GX(y))-y||1表示GY(GX(y))-y的L1范数；
上述
与
共同构成循环一致性损失：
步骤5.3：输入试样CT图像，利用第二生成器生成试样类CT图像，并与输入的试样CT图像进行比较，构造标识映射损失
其中，
表示X域图像映射为X域图像与真实图像之间的距离；
表示X域图像样本分布的期望值；GX(x)表示将X域图像映射后的X域图像；x表示真实的图像；||GX(x)-x||1表示GX(x)-x的L1范数；
输入试样彩色图像，利用第一生成器生成试样类彩色图像，并与输入的试样彩色图像进行比较，构成标识映射损失
其中，
表示Y域图像映射为Y域图像与真实图像之间的距离；
表示Y域图像样本分布的期望值；GY(y)表示将Y域图像映射后的Y域图像；y表示真实的图像；||GY(y)-y||1表示GY(y)-y的L1范数；
上述
与
共同构成了标识映射损失：
步骤5.4：上述Lgan、Lcyc、Lide共同构成CycleGAN的损失函数：
L＝λ1Lgan+λ2Lcyc+λ3Lide (7)
其中，L为CycleGAN的损失函数，λ1、λ2、λ3分别表示生成对抗损失、循环一致性损失间、标识映射损失的权重。
步骤六：利用Pycharm通过步骤三构建的第一生成器、第二生成器，步骤四构建的试样彩色图像域的判别器、试样CT图像域的判别器，步骤五构造的生成对抗损失、循环一致性损失、标识映射损失搭建CycleGAN网络模型；根据步骤一和步骤二得到的图像数据库中的试样CT图像和试样彩色图像的图像域转换信息的学习，利用循环生成对抗网络CycleGAN将试样CT图像转试样彩色图像和试样彩色图像转试样CT图像两个生成器联系起来，通过不断迭代进行对抗训练，当epoch值达到预定值时停止训练；
第一生成器：用于接收A域的试样CT图像，根据试样CT图像生成仿B域的类彩色图像fake_B；另外第一生成器还需将第二生成器生成的仿A域的类试样CT图像fake_A接收，并根据fake_A得到B域的重构图像rec_B；
第二生成器：是用于接收B域的试样彩色图像，根据接受得到的岩石彩色图像生成仿A域的试样CT图像fake_A；另外第二生成器还需将第一生成器生成的仿B域的彩色可见光图像fake_B接收，并根据fake_B得到A域的重构图像rec_A；
试样彩色判别器：用于判别B域中的试样彩色图像和第一生成器生成的类彩色图像fake_B的细节构造；
试样CT判别器：用于判别A域中的试样CT图像和第二生成器生成的类彩色CT图像fake_A的细节构造；
步骤七：通过深度学习训练一个双层循环生成对抗网络模型，使得所述双层循环生成对抗网络模型满足预设收敛条件，采用第一生成器对待处理的试样CT图像进行彩色化处理；后将试样各层真彩色化后图像导入到Avizo软件利用插值算法进行三维重构，实现焦点CT三维数字图像真彩色化，反应试样的三维结构信息，并将学习好的网络放在云端，用户通过调用云服务来实现CT图片的彩色化。
步骤7.1：通过深度学习训练一个双层循环生成对抗网络模型，使得所述双层循环生成对抗网络模型满足预设收敛条件，包括：
计算验证集循环生成对抗网络生成的图像与原始图像间的余弦相似度：
其中X表示由CycleGan生成的图像各个像素点的RGB值连接构成的一维向量，Y表示由原始图像各个像素点的RGB值连接构成的一维向量；
当余弦相似度达到0.9及以上即证明双层循环生成对抗网络模型满足预设收敛条件；
步骤7.2：采用第一生成器对待处理的试样CT图像进行彩色化处理；后将试样各层真彩色化后图像导入到Avizo软件利用插值算法进行三维重构，实现焦点CT三维数字图像真彩色化，反应试样的三维结构信息，并将学习好的网络放在云端，用户通过调用云服务来实现CT图片的彩色化。
本实施例中以花岗岩试样为例，其中在进行CycleGAN的训练时，按如下步骤进行训练：
1)通过数字化自动切片数字照相系统对一个花岗岩样品进行扫描，经过微焦点CT图像无损测试获取花岗岩微焦点CT三维数字图像，后进行切片有损测试获取花岗岩原始数字图像，建立花岗岩CT图像与彩色图像数据库，共获取144对像素尺寸为1226×1226的CT图像以及像素尺寸为3811×3692彩色图像，将花岗岩CT图像和花岗岩彩色图像的数据集分为A域和B域；
2)利用双线性插值算法，通过pycharm调用resize函数，并选用Image.ANTIALIAS参数，对彩色图像进行缩小，降低解析度，统一CT图像与彩色图像的解析度为1226×1226；
利用Pycharm编译器执行裁剪程序，对距离CT以及彩色图像的上下左右边界一定距离的不稳定像素进行裁剪，裁剪后CT图像与彩色图像的解析度为1024×1024；
利用反射法，通过Pycharm调用cv2库，使用copyMakeBorder函数并选用cv2.BORDER_REFLECT_101参数，对图像以最边缘像素为轴，将像素进行对称，对图像周边进行延拓处理，延拓后的CT图像与彩色图像的解析度为1280×1280；
为控制输入图像大小，保证计算效率，在图像随机位置处生成预定尺寸的窗口[256,256]，位于循环边界处理前图像的内部；随机给定多组窗口参数[offx,offy,thelt]，以窗口中心为基准按照参数对窗口进行偏移和旋转，并对图像按照窗口进行切割，扩充图像数据库，后通过翻转、平移、调整对比度将图像数据库进一步扩充至11520对图像，并将图像数据库按8:2分为训练图像数据库和测试图像数据库。
3)A域中的花岗岩CT图像输入使用pycharm搭建的CycleGAN模型中的第一生成器，通过解码器结构、卷积残差结构、编码器结构后输出大小与输入一致的仿B域图像fake_B，并将仿B域图像fake_B输入第二生成器，得到重构A域图像rec_A；
4)B域中的花岗岩彩色图像输入使用pycharm搭建的CycleGAN模型中的第二生成器，通过解码器结构、卷积残差结构、编码器结构后输出大小与输入一致的仿A域图像fake_A，并将仿A域图像fake_A输入第二生成器，得到重构B域图像rec_B；
5)使用pycharm搭建的CycleGAN模型中的两个判别器分别对A域中的花岗岩CT图像和第二生成器生成的类花岗岩CT图像进行相似度判别，对B域的花岗岩彩色图像与第一生成器生成的花岗岩类彩色图像进行相似性判别，输出结果反馈至损失函数中，以更新生成器的参数，在epoch数达到设定200次时停止迭代。
6)其中循环生成对抗网络模型使用的损失函数包括生成对抗损失、循环一致性损失和标识映射损失，三个损失设置权重为1、10、5，经过不断迭代优化满足最终完成的模型能够使得验证集循环生成对抗网络生成的图像与原始图像间的余弦相似度达到0.9及以上即可作为花岗岩CT图像转换为花岗岩彩色图像的生成器模型。
7)通过生成器模型对1222张花岗岩CT图像进行彩色化处理，后将1222张花岗岩真彩色化图像导入到Avizo软件利用插值算法进行三维重构，实现花岗岩焦点CT三维数字图像真彩色化，反应花岗岩的三维结构信息，并将学习好的花岗岩CT真彩色化网络模型放在云端，用户通过调用云服务来实现花岗岩CT图片的彩色化。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (5)
1.一种基于深度网络的岩石CT数字图像真彩色化处理方法，包括如下步骤：
步骤一：建立试样CT图像与试样彩色图像数据库：通过数字化自动切片数字照相系统对岩石试样进行扫描，经过微焦点CT图像无损测试获取微焦点CT三维数字图像；进行切片有损测试获取原始数字图像，建立试样CT图像与试样彩色图像数据库；
步骤二：对试样CT图像和彩色图像进行预处理，扩充图像数据库，方法如下：
步骤2.1：统一试样CT图像和彩色图像的解析度；
步骤2.2：对试样CT图像及彩色图像边界进行裁剪；
步骤2.3：对裁剪后的图像进行循环边界处理；
步骤2.4：扩充图像数据库，并将图像数据库按预设比例分为训练图像数据库和测试图像数据库，所述扩充图像数据库包括如下的方法：设试样CT图像尺寸为[m,n]，彩色图像尺寸为[n1,m1]，随机给定多组窗口参数，扩充图像数据库，对于一组随机给定的窗口参数，处理方法如下：在图像随机位置处生成预定尺寸的窗口[w1,w2]，满足[w1<n,w2<m]，位于循环边界处理前图像的内部，随机给定窗口一个角度thelt、一个偏移：[offx,offy]，offx随机取值范围：[0,n-w1]，offy随机取值范围[0,m-w2]，该窗口的参数：[offx,offy,thelt]；根据窗口参数，以窗口中心坐标为基准，对窗口进行偏移和转转，获取对应窗口的CT图像，并按照相同的窗口参数获取配对的彩色图像；
步骤三：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；构造适用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；
步骤四：构造试样彩色图像域的判别器，通过所述判别器判别第一生成器生成的试样类彩色图像的细节构造与正常试样彩色图像细节构造的差异；构造试样CT图像域的判别器，通过所述判别器判别第二生成器生成的试样类CT图像的细节构造与正常试样CT图像细节构造的差异；
试样彩色图像域的判别器与试样CT图像域的判别器架构基于下采样卷积神经网络，基于PatchGAN判别器，将输入图像进行多次下采样，得到不同局部的图像，并将图像分别送入PatchGAN中进行计算，计算结果通过上采样得到的结果加权相加后作为判别器的最终输出，从而将局部图像特征和整体图像特性相融合；
步骤五：利用试样CT图像转试样类彩色图像的第一生成器与试样彩色图像域的判别器构造生成对抗损失
利用试样彩色图像转试样类CT图像的第二生成器与试样CT图像域的判别器构造生成对抗损失
上述
与
共同构成生成对抗损失Lgan；输入试样CT图像，利用第一生成器生成试样类彩色图像，接着通过第二生成器将所生成的试样类彩色图像还原成试样类CT图像，并与真实CT图像进行比较，构成循环一致性损失
输入试样彩色图像，利用第二生成器生成试样类CT图像，接着通过第一生成器将所生成的试样类CT图像还原成试样类彩色图像，并与真实彩色图像进行比较，构成循环一致性损失
与
共同构成循环一致性损失Lcyc；输入试样CT图像，利用第二生成器生成试样类CT图像，并与输入的试样CT图像进行比较，构造标识映射损失
输入试样彩色图像，利用第一生成器生成试样类彩色图像，并与输入的试样彩色图像进行比较，构成标识映射损失
与
共同构成了标识映射损失Lide；上述Lgan、Lcyc、Lide共同构成CycleGAN的损失函数，用来优化两个生成器；
步骤六：通过步骤三构建的第一生成器、第二生成器，步骤四构建的试样彩色图像域的判别器、试样CT图像域的判别器，步骤五构造的生成对抗损失、循环一致性损失、标识映射损失组成CycleGAN；根据步骤一和步骤二得到的图像数据库中的试样CT图像和试样彩色图像的图像域转换信息的学习，利用循环生成对抗网络CycleGAN将试样CT图像转试样彩色图像和试样彩色图像转试样CT图像两个生成器联系起来，通过不断迭代进行对抗训练，当epoch值达到预定值时停止训练，得到双层循环生成对抗网络模型之后，采用第一生成器对CT图像进行彩色化处理。
2.根据权利要求1所述的岩石CT数字图像真彩色化处理方法，其特征在于，利用双线性插值算法，对CT图像与彩色图像进行缩放，统一CT图像与彩色图像的解析度。
3.根据权利要求1所述的岩石CT数字图像真彩色化处理方法，其特征在于，采用包括翻转、平移、调整对比度在内的处理方法对图像数据库进一步进行扩充。
4.根据权利要求1所述的岩石CT数字图像真彩色化处理方法，其特征在于，步骤三的方法如下：
步骤3.1：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样CT图像至试样类彩色图像的生成对抗网络的第一生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第一生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数；
步骤3.2：根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，构造用于试样彩色图像至试样类CT图像的生成对抗网络的第二生成器；
根据图像数据库中的试样CT图像和试样彩色图像的图像域转换信息，在第二生成器网络中设计解码器结构、卷积残差结构、编码器结构，其中解码器结构作为下采样，用于压缩图像特征，采用了卷积模块、IN正则化、Leaky ReLU激活函数；其中卷积残差结构作为特征提取，用于连接解码器结构与编码器结构，并对数据进行恢复增强，采用了卷积模块、IN正则化、ReLU激活函数；其中编码器结构作为上采样，用于还原图像，采用了反卷积模块，IN正则化、ReLU激活函数；
步骤3.3：构建的第一生成器与第二生成器网络中所有卷积层的padding使用ReflectionPad2d，将图像沿着边缘上下左右进行对称，以增大图像的分辨率。
5.根据权利要求1所述的岩石CT数字图像真彩色化处理方法，其特征在于，对裁剪后的图像进行循环边界处理的方法为：利用反射法，以最边缘像素为轴，将像素进行对称，对图像周边进行延拓处理，避免在进行扩充图像时由于旋转导致的边界超越。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211537349.XA CN115797489A (zh) | 2022-12-02 | 2022-12-02 | 一种基于深度网络的岩石ct数字图像真彩色化处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211537349.XA CN115797489A (zh) | 2022-12-02 | 2022-12-02 | 一种基于深度网络的岩石ct数字图像真彩色化处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115797489A true CN115797489A (zh) | 2023-03-14 |
Family
ID=85444899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211537349.XA Pending CN115797489A (zh) | 2022-12-02 | 2022-12-02 | 一种基于深度网络的岩石ct数字图像真彩色化处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797489A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740211A (zh) * | 2023-06-15 | 2023-09-12 | 云南大学 | 一种面向边缘设备的近红外图像彩色化方法 |
-
2022
- 2022-12-02 CN CN202211537349.XA patent/CN115797489A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740211A (zh) * | 2023-06-15 | 2023-09-12 | 云南大学 | 一种面向边缘设备的近红外图像彩色化方法 |
| CN116740211B (zh) * | 2023-06-15 | 2024-01-30 | 云南大学 | 一种面向边缘设备的近红外图像彩色化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Patchmatchnet: Learned multi-view patchmatch stereo | |
| CN111652321B (zh) | 一种基于改进yolov3算法的海上船舶检测方法 | |
| CN109815893B (zh) | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 | |
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN107154023B (zh) | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 | |
| CN110738697A (zh) | 基于深度学习的单目深度估计方法 | |
| CN109934153A (zh) | 基于门控深度残差优化网络的建筑物提取方法 | |
| CN114677346A (zh) | 基于记忆信息的端到端的半监督图像表面缺陷的检测方法 | |
| CN110175986A (zh) | 一种基于卷积神经网络的立体图像视觉显著性检测方法 | |
| CN111340944A (zh) | 基于隐式函数和人体模板的单图像人体三维重建方法 | |
| CN112750201B (zh) | 三维重建方法及相关装置、设备 | |
| CN115147271A (zh) | 一种用于光场超分辨率的多视图信息注意力交互网络 | |
| Kasem et al. | Spatial transformer generative adversarial network for robust image super-resolution | |
| Liu et al. | Novel cross-resolution feature-level fusion for joint classification of multispectral and panchromatic remote sensing images | |
| CN116071504B (zh) | 一种面向高分辨率图像的多视图立体重建方法 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN114972043A (zh) | 基于联合三边特征滤波的图像超分辨率重建方法与系统 | |
| CN115797489A (zh) | 一种基于深度网络的岩石ct数字图像真彩色化处理方法 | |
| CN114677281A (zh) | 一种基于生成对抗网络的fib-sem超分辨率算法 | |
| CN117115359A (zh) | 一种基于深度图融合的多视图电网三维空间数据重建方法 | |
| CN111798530A (zh) | 一种遥感图像分类方法 | |
| CN115375548A (zh) | 一种超分辨率的遥感图像生成方法、系统、设备和介质 | |
| Pesavento et al. | Super-resolution 3D human shape from a single low-resolution image | |
| CN114627299A (zh) | 一种模仿人类视觉系统对伪装目标检测与分割方法 | |
| Bai et al. | Digital rock core images resolution enhancement with improved super resolution convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |