CN110428009A - 一种全卷积神经网络及相应的细观结构识别方法 - Google Patents
一种全卷积神经网络及相应的细观结构识别方法 Download PDFInfo
- Publication number
- CN110428009A CN110428009A CN201910715162.6A CN201910715162A CN110428009A CN 110428009 A CN110428009 A CN 110428009A CN 201910715162 A CN201910715162 A CN 201910715162A CN 110428009 A CN110428009 A CN 110428009A
- Authority
- CN
- China
- Prior art keywords
- layer
- decoder
- convolutional
- encoder
- convolutional layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 27
- 239000011153 ceramic matrix composite Substances 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 229920002134 Carboxymethyl cellulose Polymers 0.000 claims abstract description 13
- 235000010948 carboxy methyl cellulose Nutrition 0.000 claims abstract description 13
- 229920006184 cellulose methylcellulose Polymers 0.000 claims abstract description 13
- 238000012710 chemistry, manufacturing and control Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000009954 braiding Methods 0.000 claims abstract 9
- 238000012545 processing Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 27
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 claims description 3
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims 7
- 238000013480 data collection Methods 0.000 claims 4
- 230000002708 enhancing effect Effects 0.000 claims 3
- 239000000945 filler Substances 0.000 claims 2
- 238000013507 mapping Methods 0.000 claims 1
- 239000002131 composite material Substances 0.000 abstract description 5
- 239000000919 ceramic Substances 0.000 abstract description 3
- 238000009826 distribution Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- HPNSNYBUADCFDR-UHFFFAOYSA-N chromafenozide Chemical compound CC1=CC(C)=CC(C(=O)N(NC(=O)C=2C(=C3CCCOC3=CC=2)C)C(C)(C)C)=C1 HPNSNYBUADCFDR-UHFFFAOYSA-N 0.000 abstract 1
- 230000007423 decrease Effects 0.000 abstract 1
- 238000011176 pooling Methods 0.000 description 63
- 238000009941 weaving Methods 0.000 description 19
- 239000000463 material Substances 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 12
- 239000000835 fiber Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000005229 chemical vapour deposition Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 238000009659 non-destructive testing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910010293 ceramic material Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011799 hole material Substances 0.000 description 1
- 238000005470 impregnation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种全卷积神经网络及相应的细观结构识别方法，通过在网络中综合采用最大池化索引连接和通道连接的方法，两方法串行处理，充分利用了编码器浅层低级边缘信息和解码器深层语义信息，取得了更好的效果。在放大图像分辨率的过程中，仅采用了上采样的方式，降低了对于显存的消耗，也减少了网络训练的时间。通过交叉对称采用批正则化，尽可能保证卷积之后特征图的原分布状态，进一步增强了卷积神经网络的表达能力，实现对CMCs预制体XCT切片的语义分割，提高了细观结构识别的准确率。采用相同的全卷积神经网络对不同陶瓷基复合材料复杂预制体的编织结构进行细观结构识别，摒弃了不同编织结构采用不同的全卷积神经网络权值文件，简化了识别操作。
Description
技术领域
本发明属于陶瓷基复合材料预制体细观结构识别领域，具体涉及一种用于编织陶瓷基复合材料XCT切片语义分割的全卷积神经网络。
背景技术
陶瓷基复合材料(CMCs，Ceramic Material Composites)通常以连续陶瓷纤维为增强相，是一种可以应用于极端条件下的材料，具有耐高温、耐腐蚀、低密度、耐磨损的优点。
连续的陶瓷纤维构成的骨架称为复杂预制体，其编织结构包括平纹、2.5D、三维四向等，CMCs的制备工艺包括化学气相沉积(CVI)、前驱体浸渍裂解法(PIP)、反应熔融(MI)等方法。通常，采用CVI工艺来制备CMCs，首先在纤维表面沉积界面层，然后在纤维束内部沉积基体，最后在纤维束之间沉积基体，最终形成CMCs。它的上述细观结构决定了CMCs力学性质及失效机制。
目前获得预制体内部细观结构的方法主要是通过无损检测XCT技术扫描陶瓷基复合材料复杂预制体，它可以在不破坏材料的基础上准确观测到材料内部的实际的细观结构，得到一系列的XCT切片。
然而，观察材料内部结构的XCT无损检测技术已经发展的很成熟，但对于XCT切片中的细观结构准确识别技术仍然是一大技术难题。这里的细观结构识别主要是指对每张切片的每个像素进行标记，不同的像素可能属于纤维、基体或孔洞。
对于2.5D编织结构一些学者通过Ostu最大阈值分割法识别XCT图片的细观结构，并建立三维模型。如中国专利申请号为“201610838554.8”，发明名称为“一种复合材料细观结构的计算机图像识别技术和三维建模方法”的专利。该方法首先识别2.5D编织结构XCT图片基体部分，编号基体部分，利用基体左右对称性对其进行配对，选择基体合适的上下边界点进行边界拟合，基体上下之间的是经纱，左右之间是纬纱。然而，该方法由于对基体的识别采用了对称性，这就使得倘若切片中的基体部分只包括左半部分或者右半部分时，识别算法即失效，鲁棒性差。并且，其只是适用于2.5D结构，适用范围窄。
对于三维四向编织结构，一些学者根据预先设定的几何参数建立三维编织复合材料单胞理论模型，与经过阈值和去噪处理的XCT切片图进行计算比对，更改理论模型的预设值，通过优化算法得到最后的识别效果图。如中国专利申请号为“201810537212.1”，发明名称为“一种复合材料细观结构的计算机图像识别技术和三维建模方法”的专利。然而，在使用阈值分割的识别过程中，XCT图片中的不同细观结构的灰度变化范围是很大的，对于每一张切片寻找一个最优的阈值进行分割是困难的。并且，其识别方法只适用在三维结构中。
上述细观结构识别技术在计算机视觉领域，称为语义分割。随着深度学习领域全卷积神经网络的发展，越来越多的学者将神经网络应用于图片的语义分割中，产生了许多性能优异的网络结构，如FCN、SegNet、U-Net等。
对于神经网络在陶瓷基复合材料细观结构识别方面的应用，一些学者之前提出了使用多解码器全卷积神经网络来语义分割CMCs的XCT图片，多解码器网络利用了最大池化解码器网络、通道融合解码器网络以及通道连接解码器网络，三者并行设计，通过训练网络，实现了细观结构的最终识别。如中国专利申请号为“201910165647.2”的专利。然而，多解码器网络在训练过程中的显存占用大，训练时间久。
此外，为加速网络训练以及减小对于超参数调节的依赖程度，众多学者建立网络结构时，在每一层卷积层后加入批正则化BN(Batch Normal)层。然而，实验证明，在每一层卷积层之后均添加BN层得到的网络的准确度并不是最好的。相反按照一定规律在卷积层后添加BN层得到的网络的语义分割的准确度比全部添加BN层效果更好。
综上，尽管已经实现了CMCs细观结构的识别，但均存在一些缺点，包括鲁棒性差、识别精度低、训练时间久的问题。因此，基于深度学习的陶瓷基复合材料复杂预制体XCT切片的语义分割需要进一步研究。
发明内容
本发明针对现有技术中的不足，提供一种全卷积神经网络及相应的细观结构识别方法，用于陶瓷基复合材料预制体XCT切片的细观结构识别，因为应用于CMC领域，因此称为CMCs_Net，解决了全卷积神经网络显存占用大、训练时间久的问题，并进一步提高了网络的准确率。该CMCs_Net可以用于不同编织类型的陶瓷基复合材料预制体，包括平纹编织、2.5维编织、三维四向编织结构等，适用范围广，识别的细观结构包括纤维束(经纱和纬纱)，孔洞，基体。
为实现上述目的，本发明采用以下技术方案：
一种全卷积神经网络，依次由一个编码器网络、一个解码器网络和一层分类层组成，其特征在于：
编码器网络依次由编码器一、编码器二、编码器三、编码器四、编码器五组成，每个编码器依次由多层卷积层和一层池化层组成，池化层用于缩小图片分辨率；前两个编码器具有两层卷积层，后三个编码器具有三层卷积层，每个编码器的各卷积层特征通道数目相同，五个编码器的卷积层特征通道数目分别为64、128、256、512、512；在编码器一和编码器二中，第一层卷积层之后采用非线性处理，第二层卷积层之后采用批正则化和非线性处理，之后池化层进行最大池化来缩小图片分辨率；在编码器三到编码器五中，第一层和第二层卷积层之后均采用非线性处理，第三层卷积层之后采用批正则化和非线性处理，之后池化层进行最大池化来缩小图片分辨率；在最大池化过程中，采集每一个特征通道的最大池化索引，池化索引的通道数与池化层相邻上一层卷积层输出的特征通道数目相同；
编码器网络的输出进入解码器网络，解码器网络依次由解码器一、解码器二、解码器三、解码器四、解码器五组成，每个解码器依次由一层上采样层和多层卷积层组成，上采样层用于放大图像分辨率；解码器的卷积层与编码器的卷积层对称设置，即前三个解码器具有三层卷积层，后两个解码器具有两层卷积层，解码器一的三层卷积层特征通道数目均为512，解码器二的三层卷积层特征通道数目分别为512、512、256，解码器三的三层卷积层特征通道数目分别为256、256、128，解码器四的两层卷积层特征通道数目分别为128、64，解码器五的两层卷积层特征通道数目分别为64、5；在解码器一到解码器三中，第一层卷积层之后采用批正则化和非线性处理，第二层和第三层卷积层之后均采用非线性处理；在解码器四和解码器五中，第一层卷积层之后采用批正则化和非线性处理，第二层卷积层之后均采用非线性处理；
在上采样过程中，输入到上采样层的信息包括上一层输出的特征通道和对应编码器池化层的最大池化索引，在上采样层中，特征通道中的像素值根据最大池化索引被赋予到放大分辨率图像的对应位置，各解码器的具体设置如下：
解码器一对应于编码器五，解码器一的上采样层通过最大池化索引连接获得编码器五池化层的最大池化索引；编码器五池化层的输出依次经过解码器一的上采样层和第一层卷积层之后得到解码器一第一层卷积层的特征通道，复制解码器一第一层卷积层的特征通道并与编码器五第三层卷积层的特征通道相连接，进行卷积计算，形成解码器一第二层卷积层，之后将解码器一第二层卷积层的输出再进行一次卷积计算，形成解码器一第三层卷积层；
解码器二对应于编码器四，解码器二的上采样层通过最大池化索引连接获得编码器四池化层的最大池化索引；解码器一第三层卷积层的输出依次经过解码器二的上采样层和第一层卷积层之后得到解码器二第一层卷积层的特征通道，复制解码器二第一层卷积层的特征通道并与编码器四第三层卷积层的特征通道相连接，进行卷积计算，形成解码器二第二层卷积层，之后将解码器二第二层卷积层的输出再进行一次卷积计算，形成解码器二第三层卷积层；
解码器三对应于编码器三，解码器三的上采样层通过最大池化索引连接获得编码器三池化层的最大池化索引；解码器二第三层卷积层的输出依次经过解码器三的上采样层和第一层卷积层后得到解码器三第一层卷积层的特征通道，复制解码器三第一层卷积层的特征通道并与编码器三第三层卷积层的特征通道相连接，进行卷积计算，形成解码器三第二层卷积层，之后将解码器三第二层卷积层的输出再进行一次卷积计算，形成解码器三第三层卷积层；
解码器四对应于编码器二，解码器四的上采样层通过最大池化索引连接获得编码器二池化层的最大池化索引；解码器三第三层卷积层的输出依次经过解码器四的上采样层和第一层卷积层后得到解码器三第一层卷积层的特征通道，复制解码器三第一层卷积层的特征通道并与编码器二第二层卷积层特征通道相连接，进行卷积计算，形成解码器四第二层卷积层；
解码器五对应于编码器一，解码器五的上采样层通过最大池化索引连接获得编码器一池化层的最大池化索引；解码器四第二层卷积层的输出依次经过解码器五的上采样层和第一层卷积层后得到解码器四第一层卷积层的特征通道，复制解码器四第一层卷积层的特征通道并与编码器一第二层卷积层的特征通道相连接，进行卷积计算，形成解码器五第二层卷积层；
解码器网络输出的特征通道最终进入分类层，其中，解码器五第二层卷积层输出的特征通道数目等于分类层最终分类的数目。
为优化上述技术方案，采取的具体措施还包括：
进一步地，全卷积神经网络中卷积层的卷积核均为3×3，并进行补白操作，补白大小为1；各编码器池化层的池化核均为2*2；各解码器的上采样层核为2*2。
同时，还提出了一种基于上述全卷积神经网络的细观结构识别方法，其特征在于，包括如下步骤：
步骤一、建立用于训练全卷积神经网络的XCT切片数据集，构造不同编织结构的语义分割XCT切片数据集，语义分割XCT切片数据集包括XCT切片图和真值图；
步骤二、对于不同编织结构的语义分割XCT切片数据集进行数据增强，增加样本数量；
步骤三、建立用于CMCs预制体语义分割的全卷积神经网络的网络模型，进行调试，确保模型可以正常运行；
步骤四、设定使用Adam随机梯度算法对全卷积神经网络进行训练，使用MSRA方法对全卷积神经网络进行权重初始化，偏置的初始化使用constant，选择用于储存生成的权值文件的文件夹；
步骤五、将不同编织结构的XCT切片图输入CMCs_Net全卷积神经网络；
步骤六、根据解码器网络最后一层卷积层输出的五个特征通道，计算五个特征通道中每个相同位置处像素的概率并进行比较，选择最大概率所属的类别来确定XCT切片图中此像素的类别，循环计算，直至得到整个XCT切片图的完整的语义分割预测图；使用交叉熵损失函数计算真值图和语义分割预测图之间的差距，得到全卷积神经网络的损失，通过误差逆传播算法和Adam算法来更新全卷积神经网络的权重，训练结束后，得到权值文件；
步骤七、全卷积神经网络训练完成后，选择特定的文件夹，对验证集图片进行语义分割，并保存在该文件夹中。
进一步地，步骤一中，不同编织结构包括2.5D编织结构、三维四向编织结构和平纹编织结构。
进一步地，步骤二中，数据增强包括裁剪、缩放、旋转、亮度变化以及对比度增强。
进一步地，步骤六中，得到的语义分割预测图是灰度图，使用Python程序，将灰度图变为RGB彩色图；训练次数设定为10K次。
本发明的有益效果是：
1、通过在网络中综合采用最大池化索引连接和通道连接的方法，两方法串行处理，充分利用了编码器浅层低级边缘信息和解码器深层语义信息，取得了更好的效果。在放大图像分辨率的过程中，仅采用了上采样的方式，而不是反卷积和上采样的方式，摒弃了多解码器网络中三个解码器的放大方式，降低了对于显存的消耗，也减少了网络训练的时间。
2、通过交叉对称采用批正则化，尽可能保证卷积之后特征图的原分布状态，进一步增强了卷积神经网络的表达能力，实现对CMCs预制体XCT切片的语义分割，提高了细观结构识别的准确率。
3、采用相同的全卷积神经网络对不同陶瓷基复合材料复杂预制体的编织结构进行细观结构识别，摒弃了不同编织结构采用不同的全卷积神经网络权值文件，简化了识别操作。
附图说明
图1是全卷积神经网络CMCs_Net的整体网络结构图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
如图1所示的CMCs_Net全卷积神经网络，由一个编码器网络、一个解码器网络和一层分类层组成，全卷积神经网络中的卷积核均为3x3，并进行补白操作，补白大小为1，保证图片卷积过程中特征的大小不变。
编码器网络部分由五个编码器组成，依次记为编码器一、编码器二、编码器三、编码器四、编码器五。每个编码器均依次由多层卷积层和一层池化层组成，卷积层用于提取图片的特征；池化层用于缩小图片分辨率，池化核均为2*2，即长和宽分别变为原来的1/2。前两个编码器具有两层卷积层，后三个编码器均有3层卷积层。每个编码器的卷积层特征通道数目相同，通道数分别为64，128，256，512，512。前两个编码器中，第一层卷积层之后采用非线性处理，第二层卷积层之后采用批正则化和非线性处理，之后池化层进行最大池化来缩小图片分辨率；后三个编码器中，第一层和第二层卷积层之后均采用非线性处理，第三层卷积层之后采用批正则化和非线性处理，之后池化层进行最大池化来缩小图片分辨率。另外，在最大池化过程中，会采集每一个特征通道的最大池化索引，即每个池化核区域的像素最大值与像素最大值的位置，池化索引的通道数与相邻上一层卷积层输出的特征通道数目相同。
解码器网络部分共由五个解码器组成，依次记为解码器一、解码器二、解码器三、解码器四、解码器五。每个解码器均由一层上采样层和多层卷积层组成。上采样层核为2*2，用于放大图像分辨率，即长和宽均变为原来的2倍。前三个解码器具有三层卷积层，后两个解码器具有两层卷积层，解码器一的三层卷积层特征通道数目均为512，解码器二的三层卷积层特征通道数目分别为512、512、256，解码器三的三层卷积层特征通道数目分别为256、256、128，解码器四的两层卷积层特征通道数目分别为128、64，解码器五的两层卷积层特征通道数目分别为64、5(等于最终分类的数目)。每个解码器的批正则化处理、非线性处理与编码器的处理顺序是对称的，也就是说，在解码器一到解码器三中，第一层卷积层之后采用批正则化和非线性处理，第二层和第三层卷积层之后均采用非线性处理，与编码器五到编码器三的卷积层处理对称；在解码器四和解码器五中，第一层卷积层之后采用批正则化和非线性处理，第二层卷积层之后均采用非线性处理，与编码器二和编码器一的卷积层处理对称。
在上采样过程中，输入到上采样层的信息包括：上一层的卷积特征通道和对应编码器部分池化过程中的最大池化索引值，上采样操作会将最大池化索引的位置和索引值赋予到放大分辨率图像的对应位置，增强了图像中的边缘信息。在每一次上采样并经过第一层卷积层之后得到的特征通道，将其与对应编码器的卷积层特征通道相连接，并继续下面的卷积计算，以此连接浅层编码器的图像边缘信息与深层的图像语义信息。各解码器的具体设置如下：
解码器一对应于编码器五，解码器一的上采样层通过最大池化索引连接获得编码器五的池化层的最大池化索引；编码器五池化层的输出依次经过解码器一的上采样层和第一层卷积层，得到了解码器一第一层卷积层的特征通道，复制并与编码器五第三层卷积层的特征通道相连接，进行卷积计算，形成解码器一第二层卷积层，之后将第二层卷积层的输出再进行一次卷积计算，形成第三层卷积层；
解码器二对应于编码器四，解码器二的上采样层通过最大池化索引连接获得编码器四的池化层的最大池化索引；解码器一最后一层卷积层的输出依次经过解码器二的上采样层和第一层卷积层之后得到特征通道，复制并与编码器四的第三层卷积层的特征通道相连接，进行卷积计算，形成解码器二第二层卷积层，之后将第二层卷积层的输出再进行一次卷积计算，形成第三层卷积层；
解码器三对应于编码器三，解码器三的上采样层通过最大池化索引连接获得编码器三的池化层的最大池化索引；解码器二最后一层卷积层的输出依次经过解码器三的上采样层和第一层卷积层之后得到特征通道，复制并与编码器三的第三层卷积层特征通道相连接，进行卷积计算，形成解码器三第二层卷积层，之后将第二层卷积层的输出再进行一次卷积计算，形成第三层卷积层；
解码器四对应于编码器二，解码器四的上采样层通过最大池化索引连接获得编码器二的池化层的最大池化索引；解码器三最后一层卷积层的输出依次经过解码器四的上采样层和第一层卷积层之后得到特征通道，复制并与编码器二的第二层卷积层特征通道相连接，进行卷积计算，形成解码器四第二层卷积层；
解码器五对应于编码器一，解码器五的上采样层通过最大池化索引连接获得编码器一的池化层的最大池化索引；解码器四最后一层卷积层的输出依次经过解码器五的上采样层和第一层卷积层之后得到特征通道，复制并与编码器一的第二层卷积层特征通道相连接，进行卷积计算，形成解码器五第二层卷积层；
全卷积网络CMCs_Net中的BN批正则化层是交叉对称放置的，而不是在每一层的卷积层之后。可以将批正则化层布置在CMCs_Net的如下位置处：
1)所有卷积层部分；
2)整个解码器网络部分；
3)整个编码器网络部分；
4)每个编码器的第一层卷积层和每个解码器的最后一层卷积层部分；
5)每个编码器的最后一层卷积层和每个解码器的第一层卷积部分；
6)编码器网络前两个编码器的第一层卷积层和后三个编码器的第二层卷积层以及解码器网络前两个解码器的最后一层卷积层和后三个解码器的第二层卷积层；
7)编码器网络前两个编码器的第二层卷积层和后三个编码器的第一层卷积层以及解码器网络前两个解码器的第一层卷积层和后三个解码器的最后一层卷积层，
综合以上实验发现，将批正则化层布置在每个编码器的最后一层卷积层和每个解码器的第一层卷积层部分时，得到的整个网络的准确率是最高的。同时，减少BN层可以减小对于显存的消耗。
接下来，使用相同的网络CMCs_Net对于不同编织结构的陶瓷基复合材料复杂预制体的XCT切片进行细观结构识别，包括以下步骤：
一、构造陶瓷基复合材料的XCT切片数据集。
建立用于训练全卷积神经网络的XCT切片数据集。构造不同编织结构的语义分割XCT切片数据集，包括2.5D编织结构、三维四向编织结构和平纹编织结构的XCT切片图和真值图。
二、对于不同编织结构的语义分割XCT切片数据集进行数据增强，增加样本数量。
数据增强包括裁剪、缩放、旋转、亮度变化以及对比度增强。
三、在Ubuntu 16.04系统下，caffe框架中，建立用于CMCs预制体语义分割的CMC_Net全卷积神经网络的网络模型，进行调试，确保模型可以正常运行，整个网络的训练在RTX2080显卡上进行。此网络主要由一个编码器网络和一个解码器网络组成。
设定使用交叉熵损失函数计算神经网络的损失，使用Softmax对特征通道进行分类。
四、设定使用Adam随机梯度算法对上述网络进行训练，使用MSRA方法对神经网络进行权重初始化，偏置的初始化使用constant。选择特定的文件夹，用于储存生成的权值文件。
五、将不同编织结构的XCT切片图输入CMCs_Net全卷积神经网络，即对于不同编织结构均采用CMCs_Net全卷积神经网络。每种编织结构均包括纤维束、基体、孔洞，但不同编织结构中这些细观结构的形状和分布范围差别是很大的。然而，由于这些细观结构的材料成分是相同的，因此，对于XCT的吸收和透射率是相同的，对于采用相同的神经网络结构是可行的。
六、根据解码器网络最后一层卷积层输出的五个特征图，计算五个特征图中每个对应(相同)位置像素的概率，得到五个概率，并进行比较，选择最大概率所属的类别来确定XCT切片中此像素的类别，循环计算，直至得到整个XCT切片图的完整的语义分割预测图。使用交叉熵损失函数来计算真值图和这里得到的预测图之间的差距，得到了神经网络的损失，通过误差逆传播算法和Adam(Adaptive Moment Estimation)自适应时刻估计方法来更新网络的权重，训练次数设定为10K次。训练结束后，得到权值文件。
上述步骤得到的语义分割预测图是灰度图，每一个像素是0，1，2…255，为了便于观察，将每一个灰度值都赋予对应的RGB三色值。使用Python程序，将灰度图变为RGB彩色图。
七、神经网络训练完成后，选择特定的文件夹，对验证集图片进行语义分割，保存在上述文件夹中。
八、在得到语义分割预测图之后，使用mIoU来对全卷积神经网络进行性能评价。如果结果证明存在过拟合或者欠拟合存在，则调节训练策略，使得性能达到最优。
本发明通过建立CMCs_Net全卷积神经网络对陶瓷基复合材料不同复杂预制体进行细观结构识别，综合采用最大池化索引连接和通道连接，两方法串行连接，可以充分利用卷积网络浅层的边缘信息和深层的语义信息，避免了由于语义鸿沟造成的分割准确率不高的缺点。
本发明还采用深度学习的全卷积神经网络并构建陶瓷基复合材料不同编织结构的标签数据集，适用于多种类别的陶瓷基复合材料复杂预制体的细观结构识别，采用一种方法同时获得基体、孔洞和纤维体积比等形状参数，为复杂预制体的三维建模提供了准确的内部细观结构数据。
需要注意的是，发明中所引用的如“上”、“下”、口左”、口右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (6)
1.一种全卷积神经网络，依次由一个编码器网络、一个解码器网络和一层分类层组成，其特征在于：
编码器网络依次由编码器一、编码器二、编码器三、编码器四、编码器五组成，每个编码器依次由多层卷积层和一层池化层组成，池化层用于缩小图片分辨率；前两个编码器具有两层卷积层，后三个编码器具有三层卷积层，每个编码器的各卷积层特征通道数目相同，五个编码器的卷积层特征通道数目分别为64、128、256、512、512；在编码器一和编码器二中，第一层卷积层之后采用非线性处理，第二层卷积层之后采用批正则化和非线性处理，之后池化层进行最大池化来缩小图片分辨率；在编码器三到编码器五中，第一层和第二层卷积层之后均采用非线性处理，第三层卷积层之后采用批正则化和非线性处理，之后池化层进行最大池化来缩小图片分辨率；在最大池化过程中，采集每一个特征通道的最大池化索引，池化索引的通道数与池化层相邻上一层卷积层输出的特征通道数目相同；
编码器网络的输出进入解码器网络，解码器网络依次由解码器一、解码器二、解码器三、解码器四、解码器五组成，每个解码器依次由一层上采样层和多层卷积层组成，上采样层用于放大图像分辨率；解码器的卷积层与编码器的卷积层对称设置，即前三个解码器具有三层卷积层，后两个解码器具有两层卷积层，解码器一的三层卷积层特征通道数目均为512，解码器二的三层卷积层特征通道数目分别为512、512、256，解码器三的三层卷积层特征通道数目分别为256、256、128，解码器四的两层卷积层特征通道数目分别为128、64，解码器五的两层卷积层特征通道数目分别为64、5；在解码器一到解码器三中，第一层卷积层之后采用批正则化和非线性处理，第二层和第三层卷积层之后均采用非线性处理；在解码器四和解码器五中，第一层卷积层之后采用批正则化和非线性处理，第二层卷积层之后均采用非线性处理；
在上采样过程中，输入到上采样层的信息包括上一层输出的特征通道和对应编码器池化层的最大池化索引，在上采样层中，特征通道中的像素值根据最大池化索引被赋予到放大分辨率图像的对应位置，各解码器的具体设置如下：
解码器一对应于编码器五，解码器一的上采样层通过最大池化索引连接获得编码器五池化层的最大池化索引；编码器五池化层的输出依次经过解码器一的上采样层和第一层卷积层之后得到解码器一第一层卷积层的特征通道，复制解码器一第一层卷积层的特征通道并与编码器五第三层卷积层的特征通道相连接，进行卷积计算，形成解码器一第二层卷积层，之后将解码器一第二层卷积层的输出再进行一次卷积计算，形成解码器一第三层卷积层；
解码器二对应于编码器四，解码器二的上采样层通过最大池化索引连接获得编码器四池化层的最大池化索引；解码器一第三层卷积层的输出依次经过解码器二的上采样层和第一层卷积层之后得到解码器二第一层卷积层的特征通道，复制解码器二第一层卷积层的特征通道并与编码器四第三层卷积层的特征通道相连接，进行卷积计算，形成解码器二第二层卷积层，之后将解码器二第二层卷积层的输出再进行一次卷积计算，形成解码器二第三层卷积层；
解码器三对应于编码器三，解码器三的上采样层通过最大池化索引连接获得编码器三池化层的最大池化索引；解码器二第三层卷积层的输出依次经过解码器三的上采样层和第一层卷积层后得到解码器三第一层卷积层的特征通道，复制解码器三第一层卷积层的特征通道并与编码器三第三层卷积层的特征通道相连接，进行卷积计算，形成解码器三第二层卷积层，之后将解码器三第二层卷积层的输出再进行一次卷积计算，形成解码器三第三层卷积层；
解码器四对应于编码器二，解码器四的上采样层通过最大池化索引连接获得编码器二池化层的最大池化索引；解码器三第三层卷积层的输出依次经过解码器四的上采样层和第一层卷积层后得到解码器三第一层卷积层的特征通道，复制解码器三第一层卷积层的特征通道并与编码器二第二层卷积层特征通道相连接，进行卷积计算，形成解码器四第二层卷积层；
解码器五对应于编码器一，解码器五的上采样层通过最大池化索引连接获得编码器一池化层的最大池化索引；解码器四第二层卷积层的输出依次经过解码器五的上采样层和第一层卷积层后得到解码器四第一层卷积层的特征通道，复制解码器四第一层卷积层的特征通道并与编码器一第二层卷积层的特征通道相连接，进行卷积计算，形成解码器五第二层卷积层；
解码器网络输出的特征通道最终进入分类层，其中，解码器五第二层卷积层输出的特征通道数目等于分类层最终分类的数目。
2.如权利要求1所述的一种全卷积神经网络，其特征在于：全卷积神经网络中卷积层的卷积核均为3×3，并进行补白操作，补白大小为1；各编码器池化层的池化核均为2*2；各解码器的上采样层核为2*2。
3.一种基于权利要求1或2所述的全卷积神经网络的细观结构识别方法，其特征在于，包括如下步骤：
步骤一、建立用于训练全卷积神经网络的XCT切片数据集，构造不同编织结构的语义分割XCT切片数据集，语义分割XCT切片数据集包括XCT切片图和真值图；
步骤二、对于不同编织结构的语义分割XCT切片数据集进行数据增强，增加样本数量；
步骤三、建立用于CMCs预制体语义分割的全卷积神经网络的网络模型，进行调试，确保模型可以正常运行；
步骤四、设定使用Adam随机梯度算法对全卷积神经网络进行训练，使用MSRA方法对全卷积神经网络进行权重初始化，偏置的初始化使用constant，选择用于储存生成的权值文件的文件夹；
步骤五、将不同编织结构的XCT切片图输入CMCs_Net全卷积神经网络；
步骤六、根据解码器网络最后一层卷积层输出的五个特征通道，计算五个特征通道中每个相同位置处像素的概率并进行比较，选择最大概率所属的类别来确定XCT切片图中此像素的类别，循环计算，直至得到整个XCT切片图的完整的语义分割预测图；使用交叉熵损失函数计算真值图和语义分割预测图之间的差距，得到全卷积神经网络的损失，通过误差逆传播算法和Adam算法来更新全卷积神经网络的权重，训练结束后，得到权值文件；
步骤七、全卷积神经网络训练完成后，选择特定的文件夹，对验证集图片进行语义分割，并保存在该文件夹中。
4.如权利要求3所述的细观结构识别方法，其特征在于：步骤一中，不同编织结构包括2.5D编织结构、三维四向编织结构和平纹编织结构。
5.如权利要求3所述的细观结构识别方法，其特征在于：步骤二中，数据增强包括裁剪、缩放、旋转、亮度变化以及对比度增强。
6.如权利要求3所述的细观结构识别方法，其特征在于：步骤六中，得到的语义分割预测图是灰度图，使用Python程序，将灰度图变为RGB彩色图；训练次数设定为10K次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910715162.6A CN110428009B (zh) | 2019-08-02 | 2019-08-02 | 一种全卷积神经网络及相应的细观结构识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910715162.6A CN110428009B (zh) | 2019-08-02 | 2019-08-02 | 一种全卷积神经网络及相应的细观结构识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110428009A true CN110428009A (zh) | 2019-11-08 |
| CN110428009B CN110428009B (zh) | 2020-06-16 |
Family
ID=68412530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910715162.6A Active CN110428009B (zh) | 2019-08-02 | 2019-08-02 | 一种全卷积神经网络及相应的细观结构识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110428009B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259900A (zh) * | 2020-01-13 | 2020-06-09 | 河海大学 | 一种卫星遥感图像的语义分割方法 |
| CN112463999A (zh) * | 2020-12-10 | 2021-03-09 | 中国科学院深圳先进技术研究院 | 视觉位置识别方法及装置、计算机设备及可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106251303A (zh) * | 2016-07-28 | 2016-12-21 | 同济大学 | 一种使用深度全卷积编码‑解码网络的图像降噪方法 |
| CN106469454A (zh) * | 2016-09-21 | 2017-03-01 | 南京航空航天大学 | 一种复合材料细观结构的计算机图形识别技术和三维建模方法 |
| US20180177461A1 (en) * | 2016-12-22 | 2018-06-28 | The Johns Hopkins University | Machine learning approach to beamforming |
| CN109034162A (zh) * | 2018-07-13 | 2018-12-18 | 南京邮电大学 | 一种图像语义分割方法 |
| CN109101975A (zh) * | 2018-08-20 | 2018-12-28 | 电子科技大学 | 基于全卷积神经网络的图像语义分割方法 |
| US10198671B1 (en) * | 2016-11-10 | 2019-02-05 | Snap Inc. | Dense captioning with joint interference and visual context |
| CN109389585A (zh) * | 2018-09-20 | 2019-02-26 | 东南大学 | 一种基于全卷积神经网络的脑组织提取方法 |
| CN109902748A (zh) * | 2019-03-04 | 2019-06-18 | 中国计量大学 | 一种基于多层信息融合全卷积神经网络的图像语义分割方法 |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN109919080A (zh) * | 2019-03-05 | 2019-06-21 | 南京航空航天大学 | 多解码器全卷积神经网络及其相应的细观结构识别方法 |
-
2019
- 2019-08-02 CN CN201910715162.6A patent/CN110428009B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106251303A (zh) * | 2016-07-28 | 2016-12-21 | 同济大学 | 一种使用深度全卷积编码‑解码网络的图像降噪方法 |
| CN106469454A (zh) * | 2016-09-21 | 2017-03-01 | 南京航空航天大学 | 一种复合材料细观结构的计算机图形识别技术和三维建模方法 |
| US10198671B1 (en) * | 2016-11-10 | 2019-02-05 | Snap Inc. | Dense captioning with joint interference and visual context |
| US20180177461A1 (en) * | 2016-12-22 | 2018-06-28 | The Johns Hopkins University | Machine learning approach to beamforming |
| CN109034162A (zh) * | 2018-07-13 | 2018-12-18 | 南京邮电大学 | 一种图像语义分割方法 |
| CN109101975A (zh) * | 2018-08-20 | 2018-12-28 | 电子科技大学 | 基于全卷积神经网络的图像语义分割方法 |
| CN109389585A (zh) * | 2018-09-20 | 2019-02-26 | 东南大学 | 一种基于全卷积神经网络的脑组织提取方法 |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN109902748A (zh) * | 2019-03-04 | 2019-06-18 | 中国计量大学 | 一种基于多层信息融合全卷积神经网络的图像语义分割方法 |
| CN109919080A (zh) * | 2019-03-05 | 2019-06-21 | 南京航空航天大学 | 多解码器全卷积神经网络及其相应的细观结构识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| ANBANG LIU ET AL: "A Deep Fully Convolution Neural Network for Semantic Segmentation Based on Adaptive Feature Fusion", 《 2018 5TH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND CONTROL ENGINEERING (ICISCE)》 * |
| 蒋斌等: "基于DenseNet的复杂交通场景语义分割方法", 《模式识别与人工智能》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259900A (zh) * | 2020-01-13 | 2020-06-09 | 河海大学 | 一种卫星遥感图像的语义分割方法 |
| CN112463999A (zh) * | 2020-12-10 | 2021-03-09 | 中国科学院深圳先进技术研究院 | 视觉位置识别方法及装置、计算机设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110428009B (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919080B (zh) | 多解码器全卷积神经网络及其相应的细观结构识别方法 | |
| CN113807355B (zh) | 一种基于编解码结构的图像语义分割方法 | |
| CN111627019B (zh) | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 | |
| CN112215755B (zh) | 一种基于反投影注意力网络的图像超分辨率重建方法 | |
| CN109993825A (zh) | 一种基于深度学习的三维重建方法 | |
| CN109903292A (zh) | 一种基于全卷积神经网络的三维图像分割方法及系统 | |
| CN110020989A (zh) | 一种基于深度学习的深度图像超分辨率重建方法 | |
| Ali et al. | Efficient processing of μCT images using deep learning tools for generating digital material twins of woven fabrics | |
| CN109035267B (zh) | 一种基于深度学习的图像目标抠取方法 | |
| CN109242985B (zh) | 一种从三维图像确定孔隙结构关键参数的方法 | |
| CN114820579A (zh) | 一种基于语义分割的图像复合缺陷的检测方法及系统 | |
| CN109902755B (zh) | 一种用于xct切片的多层信息分享与纠正方法 | |
| CN110428009A (zh) | 一种全卷积神经网络及相应的细观结构识别方法 | |
| KR20220116270A (ko) | 학습 처리 장치 및 방법 | |
| CN114897781A (zh) | 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法 | |
| Li et al. | A deep learning method for material performance recognition in laser additive manufacturing | |
| Jia et al. | Adopting traditional image algorithms and deep learning to build the finite model of a 2.5 D composite based on X-Ray computed tomography | |
| CN118314341A (zh) | 一种基于深度学习的壁画人物语义分割方法 | |
| CN117197156B (zh) | 基于双解码器UNet和Transformer的病变分割方法及系统 | |
| CN116452619A (zh) | 一种基于高分辨率网络与边界增强的mri图像分割方法 | |
| CN115100165B (zh) | 一种基于肿瘤区域ct图像的结直肠癌t分期方法及系统 | |
| CN109035318B (zh) | 一种图像风格的转换方法 | |
| CN118229695A (zh) | 一种基于PCCTrans的医学图像分割方法 | |
| CN111709992A (zh) | 一种用于编织陶瓷基复合材料经纬纱交叉处定位方法 | |
| CN111340088A (zh) | 图像特征训练方法、模型、装置和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |