CN109902755B - 一种用于xct切片的多层信息分享与纠正方法 - Google Patents

Abstract

本发明提出了一种用于XCT切片的多层信息分享与纠正方法，是基于全卷积神经网络的后处理算法，能够实现编织陶瓷基复合材料XCT切片细观结构的高精度识别。网络的输入为单张相同分辨率的任意陶瓷基复合材料XCT切片，输出为细观结构的语义分割结果。分割完成后，使用邻近切片之间信息的共同点来纠正当且切片错误的像素类别，增强了标签的连续性，提高了分割的准确率。

Description

一种用于XCT切片的多层信息分享与纠正方法

技术领域

本发明属于陶瓷基复合材料预制体细观结构识别领域，具体涉及一种用于XCT切片的多层信息分享与纠正方法。

背景技术

在无损检测方面，XCT扫描凭借其不破坏物体但可以观察到内部结构的特点，应用广泛。XCT扫描陶瓷基复合材料复杂预制体产生大量连续切片，切片中包含了内部结构信息。将上述连续切片进行细观结构识别，得出每张切片中的细观结构纤维束、基体和孔洞，给每一种细观结构赋予不同的RGB彩色值，使得其内部结构更加容易观察。通常来说，肉眼对彩色的分辨能力远高于灰度的分辨能力。在计算机视觉领域，给图片的每一个像素赋予相应的类别称为语义分割。

陶瓷基复合材料复杂预制体的语义分割目的在于高精度识别XCT切片中的细观结构。对于连续的XCT图片来说，其本质上是一种三维立体结构。连续的上下切片之间的图像内容是有联系的。

并且，据测量对于陶瓷基复合材料连续的XCT切片，每张切片的实际厚度仅有0.033mm左右，由于很微小的厚度，使得相邻切片之间的内容变化非常小，因此可以利用上下层切片之间的联系来增强边缘的识别准确性，提高了识别精度，锐化了图像边缘。

目前，基于深度学习的全卷积神经网络语义分割算法如FCN、U-Net、SegNet等结构。将数据集内的图片分别一张一张地输入到全卷积神经网络中进行端到端训练，神经网络不断通过卷积提取单张图片特征，最后进行分类。训练完成后，得到一个权重文件。然而这种方法使得图像的边缘损失大，鲁棒性不好。为增强标签连续性，通常会将条件随机场附在全卷积神经网络之后。但条件随机场的处理是复杂的，条件随机场的语义分割推断比卷积神经网络的推断要慢两个数量级，这使得基于条件随机场的方法在许多实际应用中的运行速度很慢，在当前的语义分割网络中已经所见不多。

综上，对于XCT图片的语义分割，采用邻近图片内容连续性辅助语义分割的研究未见报道。因此，有必要对于邻近图片的连续性辅助细观结构识别进行研究，提高细观结构识别的准确率并且达到标签连续的目的。

发明内容

本发明针对现有技术中的不足，为实现编织陶瓷基复合材料XCT切片细观结构的高精度识别，提供一种用于XCT切片的多层信息分享与纠正方法。网络的输入为单张相同分辨率的任意陶瓷基复合材料XCT切片，输出为细观结构的语义分割结果。分割完成后，使用邻近切片之间信息的共同点来纠正当且切片错误的像素类别，增强了标签的连续性，提高了分割的准确率。

本发明提供的XCT多层信息分享与纠正算法可以用于不同编织类型的陶瓷基复合材料预制体的连续XCT切片，适用范围广，操作简单。

为实现上述目的，本发明采用以下技术方案：

一种用于XCT切片的多层信息分享与纠正方法，其特征在于，包括以下步骤：

步骤一、构造用于训练陶瓷基复合材料预制体的连续XCT图像数据集和验证集；

步骤二、使用上述数据集对全卷积神经网络进行训练，直至拟合；

步骤三、使用训练好的神经网络对验证集中连续的XCT切片进行语义分割，得到了陶瓷基复合材料预制体连续XCT切片的语义分割图；

步骤四、在得到一系列分割图片之后，采用语义分割完成后的邻近XCT切片的对应位置来纠正误分类像素类别；

步骤五、计算图片的相似度，通过图片的相似度比较来确定当前图片的上下几层图片参与多层信息的分享与纠正；

步骤六、进行多层信息分享与纠正。

为优化上述技术方案，采取的具体措施还包括：

进一步地，所述步骤四中，取决于切片信息的相似度高低，多层信息分享的切片采用当前切片的上i层、下i层、或者上下i层，i＝1，2，3...。

进一步地，所述步骤五中，将多张分割后的图片均转化为double类型。

进一步地，所述步骤五中，假设图片大小为m*n，相邻图片减去当前图片之后，内容相同的部分像素值为零，不相同的部分为非零值；图片相减后，统计像素值为0的像素点数sim_pixel，假设相似度系数为sim_ratio：

通过sim_ratio大于相似度设定的阈值则参与多层信息的分享，以此来确定当前图片的上下几层图片参与多层信息的分享与纠正。

进一步地，所述步骤六中，在进行多层信息分享与纠正时，保存语义分割预测结果文件夹中的第一张图片并使用其后面的图片来进行信息分享与纠正，第一张切片处理完毕后，其后的切片采用上下层切片联合分享当前切片的信息；同理，文件夹的最后一张图片使用前面的图片进行纠正。

进一步地，所述步骤六中，多层信息分享与纠正的具体步骤如下：

1)在确定好信息分享与纠正的层数之后，均分m*n尺寸的图片为j份，给每一份标上标号，确定为当前切片和上下层切片信息进行比较，然后进行修正；其中，当前切片标号为1-j，上层切片标号为A-P，下层切片标号为a-p；

2)对当前切片与上下层切片对应区域分别进行等于“＝＝”逻辑化处理，即：

α＝matrix_A＝＝matrix_1

β＝matrix_a＝＝matrix_1

其中，matrix_A代表上层切片的A区域的矩阵，matrix_1代表当前切片1区域的矩阵，matrix_a代表下层切片a区域的矩阵，α、β是逻辑矩阵；

3)对矩阵α、β进行求反操作，即两矩阵中的0变成1，1变成0，将背景显示为黑色，感兴趣区域设置为白色；

4)得到上层切片和下层切片与中间不同的部分，即当前切片像素错误分类的区域；

5)提取像素错误分类区域的像素位置，在Matlab中，对此二值图片进行形态学操作，先进行闭运算，闭运算是先膨胀再腐蚀，记为A·B：

其次，对闭运算后的图像进行“majority”操作，执行完此步骤的矩阵记为α₁和β₁；

6)在α和β矩阵的所有逻辑矩阵完成上述操作后，进行矩阵相加操作：

γ＝α₁+β₁

在γ矩阵中，逻辑值为1的代表上层切片和下层切片的像素均与当前切片不同的像素位置，即需要通过上下层切片进行信息共享和纠正的位置；

7)将γ矩阵中逻辑值为1的像素坐标提取出来保存在δ矩阵中，并根据此位置，通过上下层切片纠正信息：

δ＝γ(x，y)＝＝1

其中，δ矩阵用来存储γ矩阵中逻辑值为1的横纵坐标；

8)重复上述操作，遍历整个文件夹中的图片；

9)设置迭代的次数数目，以此来结束算法进程。

本发明的有益效果是：

1、通过采用XCT多层信息分享与纠正算法，提高了语义分割后的标签连续性和整体的准确率，且操作简单。

2、此方法可以适用于多种类别的连续XCT图片细观结构识别后的图片，适用范围广，可靠性好。

附图说明

图1是多层信息分享与纠正方法示意图。

图2是语义分割所使用的神经网络。

图3是当前切片与上下层切片的处理过程示意图。

图4a是迭代第一次得到的灰度图。

图4b是迭代第二次得到的灰度图。

图5a是迭代第一次得到的彩色图。

图5b是迭代第二次得到的彩色图。

图6a是α矩阵的示意图。

图6b是提取纠正信息的位置图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

如图1所示的一种用于XCT切片的多层信息分享与纠正方法，包括以下步骤：

一、构造用于训练陶瓷基复合材料预制体的连续XCT图像数据集和验证集。

二、使用上述数据集对全卷积神经网络进行训练，直至拟合。

三、使用训练好的神经网络对验证集中连续的XCT切片进行语义分割，神经网络如图2所示，得到了陶瓷基复合材料预制体连续XCT切片的语义分割图。

四、在得到一系列分割图片之后，发现相邻切片相同像素位置(x，y)的类别不同，然而根据XCT上下层切片信息的连续性与相似性判断连续三张切片的此位置的类别应该是相同的，这对于整体的精确度带来了损失。采用语义分割完成后的邻近XCT切片的对应位置来纠正误分类像素类别。

以上多层信息分享的切片，可以是当前切片的上下层，当前切片的上两层，当前切片的下两层，当前切片的上i层和下i层(i＝1，2，3...)，取决于切片信息的相似度高低。

五、计算图片的相似度。由于XCT原切片的同类别的灰度变化范围很大，如果进行图片的相似化比较得到的结果不准确，然而在经过语义分割后，相同的类都被赋予相同的灰度值，此时进行图片的相似度比较可以得到较为准确的结果。

将多张分割后的图片均转化为double类型，使得无论是前者减后者还是后者减去前者都是相同的。

假设图片大小为m*n，相邻图片减去当前图片之后，内容相同的部分为黑色，像素值为零；不相同的部分为非零值。图片相减后，统计像素值为0的像素点数sim_pixel，假设相似度系数为sim_ratio：

通过sim_ratio大于相似度设定的阈值则参与多层信息的分享，以此来确定当前图片的上下几层图片参与多层信息的分享与纠正。

六、在进行多层信息分享与纠正时，保存语义分割预测结果文件夹中的第一张图片并使用其后面的图片来进行信息分享与纠正。第一张切片处理完毕后，其后的切片采用上下层切片联合分享当前切片的信息。同理，文件夹的最后一张图片使用前面的图片进行纠正。

不同层的图片尺寸是相同的，本发明以352×352尺寸的图片为例，直接比较352×352的图片带来的计算量是巨大的。因此，将图片均分为16块，每一块的大小是88×88像素。在均分为16块之后，每一小块内的像素只与88×88范围内的像素有关，减小了计算量。

具体的步骤如下：

1)在确定好信息分享与纠正的层数之后，均分图像为16份，给每一份标上标号A-P或者a-p或者1-16。本发明确定为当前切片和上下层切片信息进行比较，然后进行修正。如图3所示，当前切片标号为1-16，上层切片标号为A-P，下层切片标号为a-p。每一标号代表每一小份，即88×88的区域。

2)由于图片原本就是一个二维矩阵，因此每一小块所代表的就是一个88×88的矩阵。通过当前切片与上下层切片对应区域分别进行等于“＝＝”逻辑化处理，即：

α＝matrix_A＝＝matrix_1

β＝matrix_a＝＝matrix_1

其中，matrix_A代表上层切片的A区域的矩阵，matrix_1代表当前切片1区域的矩阵，matrix_a代表的是下层切片a区域的矩阵，α、β是逻辑矩阵。

3)对上述矩阵进行求反操作，即两矩阵中的0变为1，1变为0，方便后面的观察。由于上下切片与当前切片的内容大致是相同的，所以α、β矩阵中的值为1的数目很多，显示白色，0的部分很小，显示黑色。通常，将背景显示为黑色，感兴趣区域设置为白色的。

4)此时得到了图6a、6b，可以看出中间的大块白色区域为上层切片和下层切片与中间不同的部分，是当前切片像素错误分类的区域。而细条状的白色区域是由于边缘的变化而产生的，这个是不用进行再处理的。

5)提取中间大块白色区域的像素位置。在Matlab中，对此二值图片进行形态学操作。先进行闭运算，闭运算是先膨胀在腐蚀，记为A.B。此举是为了填充图片中的细小孔洞。

其次，对闭运算后的图像进行“majority”操作，此举是将某像素3×3邻域内的像素值1数目小于5的位置设为0。执行完此步骤的矩阵为α₁和β₁。

6)在α和β矩阵的所有32个逻辑矩阵完成上述操作后，进行矩阵相加操作：

γ＝α₁+β₁

在γ矩阵中，逻辑值为1的代表上层切片和下层切片的像素均与当前切片不同的像素位置，即需要通过上下层切片进行信息共享和纠正的位置。

7)将γ矩阵中逻辑值为1的像素坐标提取出来保存在δ矩阵中。并根据此位置，通过上下层切片纠正信息：

δ＝γ(x，y)＝＝1

δ矩阵用来存储γ矩阵中逻辑值为1的横纵坐标。

8)重复上述操作，遍历整个文件夹中的图片。

9)由于每一次信息分享与纠正后，会使得切片的像素信息发生改变。因此，可以设置迭代的次数数目，以此来结束算法进程。图4a、4b分别是迭代第一次、第二次得到的灰度图，图5a、5b分别是迭代第一次、第二次得到的彩色图。

下面以2.5D预制体为例，详细描述一下具体的操作过程。

1、建立用于训练多解码器全卷积神经网络的XCT图像数据集。

2、建立用于2.5D预制体语义分割的全卷积神经网络的网络模型，进行调试，确保模型可以正常运行，整个网络的训练在RTX 2080显卡上进行。此网络由一个编码器网络和一个对称的解码器网络组成。编码器网络和解码器网络均由10个卷积层构成，卷积核大小为3×3，补白为1，分别由5个编码器和5个解码器组成。卷积层使用msra方式进行权重的初始化，偏置的初始化使用constant。补白操作在于每次卷积处理后图片的大小不变。卷积操作的公式为：

假设图像尺寸为m*m。公式中，m₁为卷积处理后图片尺寸，m为原始图像尺寸，k为卷积核大小，p为补白尺寸，S为步长。

每一个解码器都执行多次卷积层处理，每个卷积层后紧接着使用批正则化和非线性处理(Relu)max(x，0)。批正则化操作可以将卷积处理后的杂乱的图像分布变为正态分布，加快网络的学习。每个编码器后执行2×2池化处理，步长为2，每次池化后图像尺寸减半。每一个解码器与上述编码器操作相同。每一个解码器前面均跟随一个反卷积层，反卷积核2×2，步长为2。反卷积操作公式为：

m₂＝(m₁-1)×S-2p+k

假设反卷积操作处理图片尺寸为m₁*m₁。

将每个解码器的最后一个卷积层与对应编码器的第一个卷积层的特征通道进行连接，充分运用浅层的边缘信息和深层的高级语义信息。

全卷积神经网络在训练时使用交叉熵损失函数计算损失。在进行推断时即进行语义分割时，使用SoftMax函数进行分类。

3、使用XCT图片数据集对神经网络进行训练，使用Adam随机梯度下降算法训练神经网络，设定超参数为学习率0.001，动量分别为0.9和0.999，训练次数设定为30k次。另外，在训练时，使用类别平衡法，即通过以下方式计算每类的频率：

1)确定类别数目，设总图片数目为num，每张图片尺寸为m*n，某一类图片存在于num_class张图片中，在整个数据集中某一类的像素总数为num_pixel，则

4)median_frequency为所有类数的中位数频率。

4、制作用于训练和验证的文本文件，训练文本文件中包括了训练集的图片路径，验证文本文件中包括了验证图片的路径的。

5、选择特定的文件夹，用于储存生成的权值文件。

6、神经网络训练完成后，使用上述权值文件推断验证集的语义分割图。选择特定的文件夹，保存在特定文件夹中。

7、在文件夹中保存一系列的语义分割预测图之后，从第一张切片的标签图开始，按顺序依次读取以下两张图片。

8、在进行多层信息分享与纠正时，保存语义分割预测结果文件夹中的第一张图片使用其后面的图片来进行信息分享与纠正。第一张切片处理完毕后，其后的切片采用上下层切片联合分享当前切片的信息。同理，文件夹的最后一张图片使用前面的图片进行纠正。

9、计算图片的相似度。由于XCT原切片的同类别的灰度变化范围很大，如果进行图片的相似化比较得到的结果不准确，然而在经过语义分割后，相同的类都被赋予相同的灰度值，此时进行图片的相似度比较可以得到较为准确的结果。

将多张分割后的图片均转化为double类型，使得无论是前者减后者还是后者减去前者都是相同的。

设置相似度阈值为93％。

假设图片大小为m*n，相邻图片减去当前图片之后，内容相同的部分为黑色，像素值为零；不相同的部分为非零值。图片相减后，统计像素值为0的像素点数sim_pixel，假设相似度系数为sim_ratio：

计算sim_ratio大于相似度设定阈值的切片参与多层信息的分享，确定当前图片的上下层图片参与多层信息的分享与纠正。

10、将图片均分为16块，每一块的大小是88×88像素。在均分为16块之后，每一小块内的像素只与88×88范围内的像素有关，减小了计算量。给上层标号A-P、当前1-16、下层a-p。每一标号代表每一小份，即88×88的区域。

11、由于图片原本就是一个二维矩阵，因此每一小块所代表的就是一个88×88的矩阵。通过当前切片与上下层切片对应区域分别进行等于“＝＝”逻辑化处理，即

α＝matrix_A＝＝matrix_1

β＝matrix_a＝＝matrix_1

其中，matrix_A代表上层切片的A区域的矩阵，matrix_1代表当前切片1区域的矩阵，matrix_a代表的是下层切片a区域的矩阵，α、β是逻辑矩阵。

12、对上述矩阵进行求反操作，即两矩阵中的0变为1，1变为0，方便后面的观察。由于上下切片与当前切片的内容大致是相同的，所以α、β矩阵中的值为1的数目很多，显示白色，0的部分很小，显示黑色。通常，将背景显示为黑色，感兴趣区域设置为白色的。

13、此时得到了图6a、6b，可以看出中间的大块白色区域为上层切片和下层切片与中间不同的部分，是当前切片像素错误分类的区域。

14、提取中间大块白色区域的像素位置。在Matlab中，对此二值图片进行形态学操作。先进行闭运算，闭运算是先膨胀在腐蚀，记为A·B。此举是为了填充图片中的细小孔洞。

其次，对闭运算后的图像进行“majority”操作，此举是将某像素3×3邻域内的像素值1数目小于5的位置设为0。执行完此步骤的矩阵为α₁和β₁。

15、在α和β矩阵的所有32个逻辑矩阵完成上述操作后，进行矩阵相加操作：

γ＝α₁+β₁

在γ矩阵中，逻辑值为1的代表上层切片和下层切片的像素均与当前切片不同的像素位置，即需要通过上下层切片进行信息共享和纠正的位置。

16、将γ矩阵中逻辑值为1的像素坐标提取出来保存在δ矩阵中。并根据此位置，通过上下层切片纠正信息：

δ＝γ(x，y)＝＝1

δ矩阵用来存储γ矩阵中逻辑值为1的横纵坐标。

17、重复上述操作，遍历整个文件夹中的图片。

18、由于每一次信息分享与纠正后，会使得切片的像素信息发生改变。因此，可以设置迭代的次数数目，以此来结束算法进程。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种用于XCT切片的多层信息分享与纠正方法，其特征在于，包括以下步骤：

步骤一、构造用于训练陶瓷基复合材料预制体的连续XCT切片数据集和验证集；

步骤二、使用上述数据集对全卷积神经网络进行训练，直至拟合；

步骤三、使用训练好的神经网络对验证集中连续的XCT切片进行语义分割，得到了陶瓷基复合材料预制体连续XCT切片的语义分割图；

步骤四、在得到一系列语义分割图之后，采用邻近XCT切片的语义分割图对应位置来纠正误分类像素类别；

步骤五、计算语义分割图的相似度，通过语义分割图的相似度程度来确定当前语义分割图的上下几层语义分割图参与多层信息的分享与纠正；

步骤六、进行多层信息分享与纠正。

2.如权利要求1所述的一种用于XCT切片的多层信息分享与纠正方法，其特征在于：所述步骤四中，邻近XCT切片采用当前XCT切片的上i层、下i层、或者上下i层，i＝1,2,3...。

3.如权利要求1所述的一种用于XCT切片的多层信息分享与纠正方法，其特征在于：所述步骤五中，假设语义分割图大小为m*n，相邻语义分割图减去当前语义分割图之后，内容相同的部分像素值为零，不相同的部分为非零值；语义分割图相减后，统计像素值为0的像素点数sim_pixel，假设相似度系数为sim_ratio：

通过sim_ratio大于相似度设定的阈值则参与多层信息的分享，以此来确定当前语义分割图的上下几层语义分割图参与多层信息的分享与纠正。

4.如权利要求1所述的一种用于XCT切片的多层信息分享与纠正方法，其特征在于：所述步骤六中，在进行多层信息分享与纠正时，保存语义分割预测结果文件夹中的第一张语义分割图并使用其后面的语义分割图来进行信息分享与纠正，第一张语义分割图处理完毕后，其后的语义分割图采用上下层语义分割图联合分享当前语义分割图的信息；同理，文件夹的最后一张语义分割图使用前面的语义分割图进行纠正。

5.如权利要求1所述的一种用于XCT切片的多层信息分享与纠正方法，其特征在于：所述步骤六中，多层信息分享与纠正的具体步骤如下：

1)在确定好信息分享与纠正的层数之后，均分m*n尺寸的语义分割图为j份，给每一份标上标号，确定为当前语义分割图和上下层语义分割图信息进行比较，然后进行修正；其中，当前语义分割图标号为1-j，上层语义分割图标号为A-P，下层语义分割图标号为a-p；

2)对当前语义分割图与上下层语义分割图对应区域分别进行等于“＝＝”逻辑化处理，即：

α＝matrix_A＝＝matrix_1

β＝matrix_a＝＝matrix_1

其中，matrix_A代表上层语义分割图的A区域的矩阵，matrix_1代表当前语义分割图1区域的矩阵，matrix_a代表下层语义分割图a区域的矩阵，α、β是逻辑矩阵；

3)对矩阵α、β进行求反操作，即两矩阵中的0变成1，1变成0，将背景显示为黑色，感兴趣区域设置为白色；

4)得到上层语义分割图和下层语义分割图与中间不同的部分，即当前语义分割图像素错误分类的区域；

5)提取像素错误分类区域的像素位置，在Matlab中，对此二值图片进行形态学操作，先进行闭运算，闭运算是先膨胀再腐蚀，记为A·B：

其次，对闭运算后的图像进行“majority”操作，执行完此步骤的矩阵记为α₁和β₁；

6)在α和β矩阵的所有逻辑矩阵完成上述操作后，进行矩阵相加操作：

γ＝α₁+β₁

在γ矩阵中，逻辑值为1的代表上层语义分割图和下层语义分割图的像素均与当前语义分割图不同的像素位置，即需要通过上下层语义分割图进行信息共享和纠正的位置；

7)将γ矩阵中逻辑值为1的像素坐标提取出来保存在δ矩阵中，并根据此位置，通过上下层语义分割图纠正信息：

δ＝γ(x,y)＝＝1

其中，δ矩阵用来存储γ矩阵中逻辑值为1的横纵坐标；

8)重复上述操作，遍历整个文件夹中的图片；

9)设置迭代的次数数目，以此来结束算法进程。