CN114298145A - 基于深度学习的透水混凝土孔隙智能识别与分割方法 - Google Patents

Abstract

基于深度学习的透水混凝土孔隙智能识别与分割方法，包括以下步骤：制备透水混凝土试样，对透水混凝土试样进行CT扫描得到试样的切片图像样本，作为初始数据集；对初始数据集进行标准化预处理、数据集标注、数据集增强，得到两组标准数据集；将标准数据集分割为训练集，验证集和测试集；构建Mask R‑CNN深度学习模型，在训练集上设置超参数并对模型进行模型训练，并通过验证集上的表现结果不断自动调整超参数，保存得到最优学习模型；将测试集中的图像输入到最优学习模型中进行孔隙智能识别与分割，输出得到孔隙分割掩模图，孔隙数目，孔隙面积和孔隙率，同时给出评价指标。本发明方法在精度和效率上得到大幅提升，且具有更强的鲁棒性和泛化能力。

Description

基于深度学习的透水混凝土孔隙智能识别与分割方法

技术领域

本发明涉及一种透水混凝土孔隙结构分析方法，具体涉及一种基于深度学习的透水混凝土孔隙智能识别与分割方法。

背景技术

透水混凝土是一种具有渗水、净水、降噪、缓解热岛效应等多种环境效益的新型铺路材料，应用越来越广泛。复杂的孔隙结构是透水混凝土的基本特征，被证明是影响透水混凝土宏观性能的决定性因素。孔隙的识别与分割结果作为分析和表征透水混凝土的孔隙结构的前提条件，其精度将直接决定后续性能分析的准确性。

目前透水混凝土孔隙结构分析方法主要有两种：切片法和计算机断层扫描法即CT法(Computerized Tomography)。这两种方法中，都需要使用图像处理技术中的人工阈值法对图像进行分割，而人工阈值法是根据经验手动确定某个阈值，因整个分析过程依靠人工操作，导致分析效率低，精度不稳定。因此，建立一种高效、准确的透水混凝土孔隙智能识别分析方法将为透水混凝土孔隙结构分析提供良好技术支撑。

发明内容

为解决目前透水混凝土孔隙识别与分割时采用的图像处理技术中的人工阈值法需要人工操作，导致效率低精度不高的问题。本发明提供一种基于深度学习的透水混凝土孔隙智能识别与分割方法，取代人工操作，与现有的人工阈值法相比在精度和效率上得到大幅提升，且具有更强的鲁棒性和泛化能力。

本发明采取的技术方案为：

基于深度学习的透水混凝土孔隙智能识别与分割方法，包括以下步骤：

步骤一：制备透水混凝土试样，对透水混凝土试样进行CT扫描得到透水混凝土试样的切片图像样本，作为初始数据集；

步骤二：对初始数据集进行标准化预处理、数据集标注、数据集增强，得到两组标准数据集；

步骤三：将标准数据集分割为训练集，验证集和测试集；

步骤四：构建Mask R-CNN深度学习模型，

步骤五：在训练集上设置超参数并对Mask R-CNN深度学习模型进行模型训练，并通过验证集上的表现结果不断自动调整超参数，保存得到最优学习模型；

步骤六：将测试集中的图像输入到最优学习模型中进行孔隙智能识别与分割，输出得到孔隙分割掩模图、孔隙数目，孔隙面积和孔隙率，同时给出评价指标。

步骤一中，制备孔隙率为20％、粗集料粒径分别为：4.75mm～9.5mm、10mm～15mm，尺寸为10cm*10cm*10cm的两组透水混凝土试样。

步骤二中，标准化预处理包括先对图像进行边缘裁剪，然后进行格式转换，格式转换后图像文件存储格式统一转换为JPG，形成标准化原始数据集；对标准化原始数据集进行人工标注和存储，形成图像的数据集真值；通过Python程序对带标注的标准化原始数据集进行数据增强，得到透水混凝土标准数据集。

步骤三中，将步骤二中的透水混凝土标准数据集按照8:1:1的比例分割为训练集，验证集和测试集。

步骤四中，Mask R-CNN深度学习模型框架包括:

1)骨干网络：采用ResNet101与FPN相结合作为主体架构，能够对数据集图像进行特征提取，其中，ResNet101是一个具有101次卷积操作的卷积神经网络，能够依次提取出边缘特征和孔隙背景特征，并形成多层不同大小和维度的特征图。

2)区域候选网络：将数据集图像分为孔隙对象和非孔隙的背景对象2个类别，并将孔隙以尽量贴合孔隙大小的方框分别框选出来，得到1个或多个包含目标孔隙的区域；

3)感兴趣区域：包含目标孔隙的区域输入到感兴趣区域中进行对齐并池化为固定大小的特征图，再分别输入到2个分支功能网络中：

其中1个分支功能网络通过感兴趣区域分类器和边框回归器来进行孔隙识别，得到分类结果和孔隙所在的边框；

另1个分支功能网络则进行孔隙分割，孔隙大小形状一致的掩膜对目标孔隙图像进行分割；将识别与分割的结果相结合，得到1张包含孔隙与目标孔隙大小形状数量一致的分割掩膜的图像，并输出孔隙数目，每个孔隙面积和周长，孔隙率。

步骤五中，在训练集上设置超参数并进行模型训练，同时根据实时的训练损失曲线和验证损失曲线调整超参数，并最终确定最优迭代次数，得到损失值。

步骤六中，通过改进和优化Mask R-CNN深度学习模型的损失函数，提升中、小孔隙的识别与分割精度，最终提升Mask R-CNN深度学习模的整体识别与分割精度，具体如下：

对Mask R-CNN深度学习模型的分割误差的损失函数L_mask进行优化改进，损失函数L_mask中的权重值赋予不同的系数，小孔隙赋予大权值，中等孔隙采用权值均值，大孔隙赋予小权值。

L＝L_cls+L_box+L_mask (1)；

式(1)中，L表示模型总损失值，L_cls表示包围框的分类损失值，L_box表示包围框的回归损失值，L_mask表示掩膜损失值。

式(2)中，y是经过二值化后的真值，

是经过二值化后预测的分割结果。

在L_mask中加入边界加权分割损失函数BWSL函数，同时为交叉熵损失函数增加一个可变系数。在训练过程中，BWSL函数利用距离损失对分割的位置、形状和连续性进行正则化，使其更加接近目标边界，如公式(3)所示：

式(3)中：

表示权重系数，B表示分割结果的边界，M_dist表示对真值ground-truth分割边框的距离变换；

公式F(A)作为交叉熵损失函数的可变系数，如公式(4)所示：

式(4)中：A表示面积，A_pore表示孔隙面积，A_total表示总面积，包括孔隙面积，水泥浆面积，集料面积。θ表示权重系数，β表示可变权重系数，β的值根据F(A)确定，若孔隙面积占比小，则权重系数大，若孔隙面积占比大，权重系数小。

L_mask-bwsl为优化后的边界损失函数，如公式(5)所示：

即在原L_mask中，考虑边界影响，增加边界加权损失函数L_dist，同时考虑孔隙大小影响，为平均二值交叉熵损失函数增加可变系数β，从而使分割结果更加精确。试验表明，改进后的损失函数后能够有效提高孔隙整体的分割精度。

步骤六中，从测试集中随机选取n张图像输入到所建立的最优学习模型中进行孔隙的智能识别与分割，输出总孔隙个数和每个孔隙的掩膜图像，以及每个孔隙的面积值和周长值，同时给出评价指标：平均像素精度mPA和平均交并比mIoU的数据结果。

本发明一种基于深度学习的透水混凝土孔隙智能识别与分割方法，技术效果如下：

1)本发明提供的基于深度学习的透水混凝土孔隙识别与分割方法，与常用的手动确定阈值法在精度和效率上得到大幅提升，且具有更强的鲁棒性和泛化能力。

2)本发明一种基于深度学习的透水混凝土孔隙智能识别与分割方法，取代了传统的通过专家根据经验手动确定阈值进行透水混凝土切片图像的孔隙识别与分割，节省了大量的人力及时间同时避免了人为主观性的差异。

3)与传统的图像处理方法分水岭分割算法相比，本发明采用深度学习框架建立模型，得到的结果更精确、更高效。

附图说明

图1为本发明方法流程示意图。

图2为本发明方法实施过程图。

图3(a)为10mm～15mm粒径透水混凝土试样切片图；

图3(b)为4.75mm～9.5mm粒径透水混凝土试样切片图。

图4(a)为图像1(10mm～15mm粒径)原图；

图4(b)为图像1(10mm～15mm粒径)真值图；

图4(c)为图像1(10mm～15mm粒径)分割结果图。

图5(a)为图像2(4.75mm～9.5mm粒径)原图；

图5(b)为图像2(4.75mm～9.5mm粒径)真值图；

图5(c)为图像2(4.75mm～9.5mm粒径)分割结果图。

图6为透水混凝土试件CT扫描过程示意图。

图7(a)为预处理过程图一(原始分辨率1300*1282)；

图7(b)为预处理过程图二(预处理后分辨率512*512)。

图8(a)为用Label me软件标注的真值图；

图8(b)为用Label me软件标注的掩模图。

图9(1)为数据集增强部分的原图示意图；

图9(2)为数据集增强部分的真值示意图；

图9(3)为数据集增强部分的水平翻转示意图；

图9(4)为数据集增强部分的垂直翻转示意图；

图9(5)为数据集增强部分的旋转90度示意图；

图9(6)为数据集增强部分的旋转180度示意图；

图9(7)为数据集增强部分的增加椒盐噪声示意图；

图9(8)为数据集增强部分的增加亮度示意图；

图9(9)为数据集增强部分的降低亮度示意图；

图9(10)为数据集增强部分的降低亮度和旋转示意图。

图10为训练集和验证集的迭代损失曲线图。

图11(1)为图像1(10mm～15mm粒径)原图；

图11(2)为图像1(10mm～15mm粒径)真值示意图；

图11(3)为图像1(10mm～15mm粒径)手工阈值分割示意图；

图11(4)为图像1(10mm～15mm粒径)分水岭分割示意图；

图11(5)为图像1(10mm～15mm粒径)Mask R-CNN分割示意图。

图12(1)为图像1(4.75mm～9.5mm粒径)原图；

图12(2)为图像1(4.75mm～9.5mm粒径)真值示意图；

图12(3)为图像1(4.75mm～9.5mm粒径)手工阈值分割示意图；

图12(4)为图像1(4.75mm～9.5mm粒径)分水岭分割示意图；

图12(5)为图像1(4.75mm～9.5mm粒径)Mask R-CNN分割示意图。

具体实施方式

如图1所示，基于深度学习的透水混凝土孔隙智能识别与分割方法，包括以下步骤：

S1：根据实际应用需求，制备两组不同所需粒径大小的透水混凝土试样。

根据实际的行业应用需求，本次实施中制备了2种不同级配的透水混凝土试样，2种级配中骨料粒径分别为4.75mm～9.5mm、10mm～15mm，如图3(a)、图3(b)所示。试样大小均为10cm*10cm*10cm。

S2：对透水混凝土试样进行CT扫描得到透水混凝土试样的切片图像样本，作为初始数据集。

CT扫描方式从上至下，每0.2mm扫描一次，每组试样能获取500张以上的扫描图像，如图6所示。对试样进行CT扫描，获取切片图像共计525张，去掉顶端和底端CT扫描质量欠缺的图像，从编号50开始到编号500结束，每连续3张取1张图像，共取出180张原始CT切片图像，作为初始数据集。

S3：对选取的原始CT切片图像样本进行标准化预处理：

标准化处理过程分为2步：第1步、边缘裁剪。第2步、格式转换：文件存储格式统一转换为JPG，形成标准化原始数据集。具体为：选取的180张原始CT切片图像的图像格式为BMP文件，图像大小为1300*1282像素，大小为4.76MB左右。由于这些图像分辨率高，占据存储空间大，如果直接将这些原始图像导入深度学习网络会造成网络中参数的指数式增长，不利于网络的训练学习，所以对原始图像进行预处理。由于这些原始图像的边缘部分不规范，为减少边缘图像不规范对后续孔隙识别和分割带来误差，进行图像预处理。先对图像边缘进行裁剪，然后再对图像进行缩放，最终统一图像大小为512*512像素，文件存储格式统一转换为JPG，大小为210KB左右，如图7(a)、图7(b)所示。

S4：数据集标注：

对标准化原始数据集进行人工专家标注工作，形成数据集真值。具体为：采用Labelme图像标注软件对180张原始数据集进行人工标注和存储，形成图像的数据真值。由于Mask R-CNN实现像素级的识别与分割，因此标注的精度将直接决定最后的分割精度，为了尽可能的提高标注精度，在Labelme软件中首先对图像放大400倍，然后贴合孔隙边缘进行多边形点标注，最后还原成原始尺寸保存构成孔隙的真值数据，同时形成其对应的掩模图，供模型训练所用，如图8(a)、图8(b)所示。

S5：数据集增强：

在原始数据集上进行数据集扩充，有利于提高模型收敛的速度和精度，有效避免模型的欠拟合和过拟合。针对本发明前期CT扫描的原始180张图像进行数据增强，采用如下技术对数据集进行增强：图像旋转平移、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动，旋转不同的角度等19种技术进行增强，共形成180*20＝3600张图像，构成模型的数据集，如图9(1)～图9(10)所示。

数据集增强具体实现通过编写Python程序实现图像的增强处理，程序能实现带标注的图像自动变换，增强后的数据集作为自制的透水混凝土数据集。

S6：将标准数据集分割为训练集，验证集和测试集；

将自制的透水混凝土数据集按照8:1:1的比例分割为训练集，验证集和测试集。

S7：构建Mask R-CNN深度学习模型：

服务器配置，图形加速卡和模型训练的软硬件环境。具体实施如下，在Ubuntu服务器上部署Mask R-CNN深度学习模型训练环境，采用图形加速卡NVIDIA T4 GPU，采用Ubuntu18.04作为操作系统，并在其上配置TensorFlow+Keras+Cuda运行环境。训练模型自动存储在存储器中。软硬件环境如下：显卡：NVIDIA T4 GPU，操作系统：Ubuntu18.04；显卡驱动版本：NVIDIA-Linux-x86_64-450.80.02，Cuda版本：cuda_9.0.176_384.81_linux，Cudnn版本：cudnn-9.0-linux-x64-v7.0.5.15，Tensorflow版本：TensorFlow 1.14.0+Keras 2.2.5。

Mask R-CNN深度学习模型包括4个组成部分，分别是：

(1)、骨干网络；

(2)、区域候选网络(Region Proposal Network，RPN)；

(3)、感兴趣区域(ROIAlign)；

(4)、功能性网络；

骨干网络采用ResNet101与FPN相结合作为主体架构对透水混凝土切片图像进行特征提取，其中ResNet101是一个具有101次卷积操作的卷积神经网络，可以依次提取出低级特征(边缘)和高级特征(孔隙和背景)，并形成5层不同大小和维度的特征图。

区域候选网络是一个典型的二分类网络，其作用是将图像分为孔隙对象和非孔隙的背景对象2个类别，并将孔隙以尽量贴合孔隙大小的方框分别框出来，此时只能区分出包含孔隙的大概区域与背景，而无法对孔隙进行细致的分割。

感兴趣区域对齐(ROIAlign)，经过区域候选网络可以得到1个或多个包含目标孔隙的区域，该区域将被输入到感兴趣区域中进行对齐并池化为固定大小的特征图，再分别输入到2个功能分支中。

功能网络包括由感兴趣区域对齐后产生2个分支功能网络，其中1个分支功能网络通过感兴趣区域(ROI)分类器和边框回归器来进行孔隙识别，得到分类结果和孔隙所在的边框，这里孔隙均为1类，无需细分。另1个分支功能网络则进行孔隙分割，由全卷积网络构成的分割掩膜生成网络，该网络会产生于孔隙大小形状一致的掩膜对目标孔隙图像进行分割。模型输出将识别与分割的结果相结合，得到1张包含孔隙与目标孔隙大小形状数量一致的分割掩膜的图像，并输出孔隙总数目，每个孔隙的面积和周长，孔隙率。

S8：在训练集上设置超参数并对步骤四的Mask R-CNN深度学习模型进行模型训练，并通过验证集上的表现结果不断自动调整超参数，保存得到最优学习模型。具体为：

训练过程如下：Mask R-CNN模型的训练在Tensorflow深度学习框架下进行，采用GPU进行加速。首先，选择网络ResNet-101为特征提取骨干网络，使用COCO数据集上的预训练权重初始化网络参数，然后在标准化处理后的孔隙数据集上对模型进行训练，模型的整个训练分为2个阶段：

(Ⅰ)：首先冻结骨干Backbone网络，对未使用COCO预训练权重的随机初始化层(除Backbone外的其他所有层)进行训练。

(Ⅱ)：其次对整个Mask R-CNN模型进行训练。

模型训练时依据孔隙的识别需求，各参数设置如下，类别设置为2(包含孔hole和背景Background 2个类别)，Anchor大小依次设置为8、16、32、64、128，α权重系数设置为1，权重衰减系数设置为0.0005，每个尺寸的Anchor对应生成3种比例(0.5、1.0、2.0)的锚框Anchor box，每幅图像的锚框个数为256。此外，模型采用非线性修正线性单元(Rectifiedlinear unit，简写为：ReLU)作为激活函数，并基于随机梯度下降法(Stochastic GradientDescend，简写为：SGD)进行优化，动量因子为0.9,网络权重参数的初始学习率为0.005。设置超参数迭代次数Epoch为200，训练集中的图像数据全部训练完1次运算同时在验证集上全部验证完1次运算称为1个Epoch，当Epoch达到20时设置学习率减少为0.0001。原始模型在第20个Epoch后曲线才趋于平缓，迭代至第200个Epoch时，损失值降低到0.18，损失曲线趋于收敛。整个训练过程中，训练集上的训练损失和验证集上的验证损失曲线图通过程序实时绘制，如图10所示。

S9：将测试集中的图像输入到最优学习模型中进行孔隙智能识别与分割，实现端到端的孔隙识别与分割，输出得到孔隙数目，孔隙面积和孔隙率，同时给出评价指标。具体如下：

通过改进和优化深度学习模型Mask R-CNN的损失函数，提升中小孔隙的识别与分割精度，最终提升模型的整体识别与分割精度。

Mask R-CNN的损失函数是由三部分组成，分别是分类误差L_cls，检测误差L_box和分割误差L_mask，如公式(1)所示，本发明针对Mask R-CNN中的分割误差的损失函数L_mask进行优化改进。改进思路是考虑到在透水混凝土的实际应用中，小孔隙对混凝土的力学性能影响大，相对于小孔隙，中大孔隙对混凝土的力学性能影响小，因此优化改进边界函数L_mask，针对边界函数L_mask中的权重值赋予不同的系数，小孔隙赋予大权值，中等孔隙采用权值均值，大孔隙赋予小权值。

L＝L_cls+L_box+L_mask (1)；

式(1)中，L表示模型总损失值，L_cls表示包围框的分类损失值，L_box表示包围框的回归损失值，L_mask表示掩膜损失值。

在分割任务中，L_mask为平均二值交叉熵损失函数，如公式(2)所示。公式中，y是经过二值化后的真值，

是经过二值化后预测的分割结果。在透水混凝土的孔隙识别与分割上，中小孔的数量多且中小孔本身对力学性能影响显著，针对此情况，本发明提出在L_mask中加入边界加权分割损失函数，即BWSL(Boundary Weighted Segmentation Loss function)函数，同时为交叉熵损失函数增加一个可变系数。

在训练过程中，BWSL利用距离损失(L_dist)对分割的位置、形状和连续性进行正则化，使其更加接近目标边界，如公式(3)所示：

式中：

为权重系数，B为分割结果的边界，M_dist为对真值ground-truth分割边框的距离变换，相当于一个距离图。

设计公式F(A)，作为交叉熵损失函数的可变系数，如公式(4)所示：

式(4)中：A表示面积，A_pore表示孔隙面积，A_total表示总面积，包括孔隙面积，水泥浆面积，集料面积。θ表示权重系数，β表示可变权重系数，β的值根据F(A)确定，若孔隙面积占比小，则权重系数大，若孔隙面积占比大，权重系数小。

L_mask-bwsl为优化后的边界损失函数，如公式(5)所示：

即在原L_mask中，考虑边界影响，增加边界加权损失函数L_dist，同时考虑孔隙大小影响，为平均二值交叉熵损失函数增加可变系数β，从而使分割结果更加精确。试验表明，改进后的损失函数后能够有效提高孔隙整体的分割精度。

S10：评价所述建立的深度学习模型的方式为2个评价指标：平均像素精度mPA(mean Pixel Accuracy)，即标记正确的像素占总像素的比例；平均交并比mIoU(meanIntersection on Union)，即预测区域和实际区域的交集除以预测区域和实际区域的并集，这两个评价指标能够客观精确地评价模型识别与分割性能，在测试集上对透水混凝土图像进行孔隙识别与分割完成后自动输出。具体如下：

在测试集上采用实例分割框架Mask R-CNN进行孔隙识别与分割，同时与常规的人工阈值分割进行对比实验，并通过图像分割2个评价指标：平均像素精度mPA(mean pixelAccuracy)和平均交并比mIoU(mean Intersection on Union)进行分析。因为手工阈值是语义分割，只能分割出前景和背景，把孔隙作为前景，其余部分作为背景。通过比较前景和背景这两类像素与真值中的前景和背景这两类像素，得到像素精度(PA)和平均像素精确度(mPA)来进行评价。

PA(Pixel Accuracy)像素精度：标记正确的像素占总像素的比例，如公式(6)所示：

式(6)中，k表示类别，下标从0开始，共有k+1类。p_ii表示本是类i的像素同时被预测为类i的像素数量，即预测正确的像素数量；p_ij表示本属于类i但被预测为类j的像素数量，即预测错误的像素数量。在透水混凝土中，采用改进的实例分割模型Mask R-CNN，是把每个孔隙作为单独的类别进行识别和分割。

mPA(mean Pixel Accuracy)：mPA是PA的一种简单升级，即在PA基础上考虑了所有类别，不同类别的像素正确分类概率的平均值。在透水混凝土中，在PA计算结果基础上，把所有孔隙合并作为一类，其余背景(包括水泥浆和集料)作为一类，再求这两类的平均值，如公式(7)所示：

IoU(Intersection-over-Union)：即预测区域和实际区域的交集除以预测区域和实际区域的并集，简称交并比。计算两个集合之间交集和并集的比例，在透水混凝土的孔隙识别与分割的图像中，即真实值(Ground Truth)和预测值两个集合的比例，如公式(8)所示：

式(8)中，k表示类别，下标从0开始，共有k+1类，在透水混凝土的孔隙识别与分割的图像中，k＝0表示孔隙，k＝1表示背景；p_ii表示本是类i的像素同时被预测为类i的像素数量，即预测正确的像素数量，在透水混凝土的孔隙识别与分割的图像中，则表示真值是孔隙同时预测值也是孔隙的像素数目，或真值是背景同时预测值也是背景的像素数目；p_ij表示本属于类i但被预测为类j的像素数量，即预测错误的像素数量，在透水混凝土的孔隙识别与分割的图像中，则表示真值是孔隙但预测值是背景的像素数目，或真值是背景但预测值是孔隙的像素数目。

mIoU(mean Intersection over Union)平均交并比：先在每个类上计算交并比IoU，前景孔隙作为一类，其余背景作为一类，然后求平均得到平均交并比，如公式(9)所示：

p_K表示本属于类j但被预测为类i的像素数量；

实际应用中，输入经过标准化处理的原始CT切片图像，采用改进的实例分割框架Mask R-CNN的最优模型，对其进行孔隙识别与分割，输出该图像对应的孔隙分割掩膜图像，同时得到孔隙总数目和孔隙率，每个孔隙的面积和周长。

S11：从两个不同数据集的测试集中(粒径大小10mm～15mm的数据集和粒径大小4.75mm～9.5mm的数据集)中随机选取2张切片图像，分别采用行业常规的手工阈值分割方法，传统的图像处理方法分水岭分割方法和深度学习Mask R-CNN模型分割方法，进行端到端的孔隙分割结果的对比，识别与分割得到的结果如图11(1)～图11(5)、图12(1)～图12(5)所示，评价指标如表1所示。

表1不同分割方法的分割评价指标结果

由表1分割结果的图像分析可以得出：手工阈值分割算法，效率低，误差波动大，分割结果主观性较大；传统的分水岭算法分割误差较大，小孔隙容易出现漏识别，孔隙边缘损失较大，精度不高，孔隙之间存在误连通和欠连通的情况；深度学习Mask R-CNN模型分割效果精度高，效率高且稳定。

评价指标也验证了该深度学习模型识别与分割结果优于常规的手工阈值分割方法和分水岭方法且具备高精度和高效率。同时给出深度学习模型Mask R-CNN识别与分割结果孔隙数目，孔隙面积和孔隙率如表2所示。

表2孔隙数目，孔隙面积和孔隙率

	图像1	图像2
			孔隙数目	54	152
孔隙面积	36.668	12.842
			孔隙率	19.8％	19.52％

Claims (10)

1.基于深度学习的透水混凝土孔隙智能识别与分割方法，其特征在于包括以下步骤：

步骤一：制备透水混凝土试样，对透水混凝土试样进行CT扫描得到透水混凝土试样的切片图像样本，作为初始数据集；

步骤二：对初始数据集进行标准化预处理、数据集标注、数据集增强，得到标准数据集；

步骤三：将标准数据集分割为训练集，验证集和测试集；

步骤四：构建Mask R-CNN深度学习模型，

步骤五：在训练集上设置超参数并对Mask R-CNN深度学习模型进行模型训练，并通过验证集上的表现结果不断自动调整超参数，保存得到最优学习模型；

步骤六：将测试集中的图像输入到最优学习模型中进行孔隙智能识别与分割，输出得到孔隙分割掩模图、孔隙数目，孔隙面积和孔隙率，同时给出评价指标。

2.根据权利要求1所述基于深度学习的透水混凝土孔隙智能识别与分割方法，其特征在于：步骤一中，制备孔隙率为20％、粗集料粒径分别为：4.75mm～9.5mm、10mm～15mm，尺寸为10cm*10cm*10cm的两组透水混凝土试样。

3.根据权利要求1所述基于深度学习的透水混凝土孔隙智能识别与分割方法，其特征在于：步骤二中，标准化预处理包括先对图像进行边缘裁剪，然后进行格式转换，格式转换后图像文件存储格式统一转换为JPG，形成标准化原始数据集；对标准化原始数据集进行人工标注和存储，形成图像的数据集真值；通过Python程序对带标注的标准化原始数据集进行数据增强，得到透水混凝土标准数据集。

4.根据权利要求1所述基于深度学习的透水混凝土孔隙智能识别与分割方法，其特征在于：步骤三中，将步骤二中的透水混凝土标准数据集按照8:1:1的比例分割为训练集，验证集和测试集。

5.根据权利要求1所述基于深度学习的透水混凝土孔隙智能识别与分割方法，其特征在于：步骤四中，Mask R-CNN深度学习模型框架包括:

1)骨干网络：采用ResNet101与FPN相结合作为主体架构，能够对数据集图像进行特征提取，其中，ResNet101是一个具有101次卷积操作的卷积神经网络，能够依次提取出边缘特征和孔隙背景特征，并形成多层不同大小和维度的特征图；

2)区域候选网络：将数据集图像分为孔隙对象和非孔隙的背景对象2个类别，并将孔隙以尽量贴合孔隙大小的方框分别框选出来，得到1个或多个包含目标孔隙的区域；

3)感兴趣区域：包含目标孔隙的区域输入到感兴趣区域中进行对齐并池化为固定大小的特征图，再分别输入到2个分支功能网络中：

其中1个分支功能网络通过感兴趣区域分类器和边框回归器来进行孔隙识别，得到分类结果和孔隙所在的边框；

另1个分支功能网络则进行孔隙分割，孔隙大小形状一致的掩膜对目标孔隙图像进行分割；将识别与分割的结果相结合，得到1张包含孔隙与目标孔隙大小形状数量一致的分割掩膜的图像，并输出孔隙数目，每个孔隙面积和周长，孔隙率。

6.根据权利要求1所述基于深度学习的透水混凝土孔隙智能识别与分割方法，其特征在于：步骤五中，在训练集上设置超参数并进行模型训练，同时根据实时的训练损失曲线和验证损失曲线调整超参数，并最终确定最优迭代次数，得到损失值。

7.根据权利要求1所述基于深度学习的透水混凝土孔隙智能识别与分割方法，其特征在于：步骤六中，通过改进和优化Mask R-CNN深度学习模型的损失函数，提升中、小孔隙的识别与分割精度，最终提升Mask R-CNN深度学习模的整体识别与分割精度，具体如下：

对Mask R-CNN深度学习模型的分割误差的损失函数L_mask进行优化改进，损失函数L_mask中的权重值赋予不同的系数，小孔隙赋予大权值，中等孔隙采用权值均值，大孔隙赋予小权值；

L＝L_cls+L_hox+L_mask (1)；

式(1)中，L表示模型总损失值，L_cis表示包围框的分类损失值，L_box表示包围框的回归损失值，L_mask表示掩膜损失值；

式(2)中，y是经过二值化后的真值，

是经过二值化后预测的分割结果；

在l_mask中加入边界加权分割损失函数BWSL函数，同时为交叉熵损失函数增加一个可变系数；在训练过程中，BWSL函数利用距离损失对分割的位置、形状和连续性进行正则化，使其更加接近目标边界，如公式(3)所示：

式(3)中：

表示权重系数，B表示分割结果的边界，M_dist表示对真值ground-truth分割边框的距离变换；

公式F(A)作为交叉熵损失函数的可变系数，如公式(4)所示：

式(4)中：A表示面积，A_pore表示孔隙面积，A_total表示总面积，包括孔隙面积，水泥浆面积，集料面积；θ表示权重系数，β表示可变权重系数，β的值根据F(A)确定，若孔隙面积占比小，则权重系数大，若孔隙面积占比大，权重系数小；

L_mask-bwsl为优化后的边界损失函数，如公式(5)所示：

即在原L_mask中，考虑边界影响，增加边界加权损失函数L_dist，同时考虑孔隙大小影响，为平均二值交叉熵损失函数增加可变系数β，使分割结果更加精确。

8.根据权利要求1所述基于深度学习的透水混凝土孔隙智能识别与分割方法，其特征在于：步骤六中，从测试集中随机选取n张图像输入到所建立的最优学习模型中进行孔隙的智能识别与分割，输出总孔隙个数和每个孔隙的掩膜图像，以及每个孔隙的面积值和周长值，同时给出评价指标：平均像素精度mPA和平均交并比mIoU的数据结果。

9.根据权利要求8所述基于深度学习的透水混凝土孔隙智能识别与分割方法，其特征在于：平均像素精度mPA计算如公式(7)所示：

平均交并比平均交并比mIoU计算如公式(9)所示：

上式中，p_ii表示本是类i的像素同时被预测为类i的像素数量，即预测正确的像素数量；

p_ij表示本属于类i但被预测为类j的像素数量，即预测错误的像素数量；

p_ji表示本属于类j但被预测为类i的像素数量；

k＝0表示孔隙，k＝1表示背景。

10.用于透水混凝土孔隙智能识别与分割的Mask R-CNN深度学习模型，其特征在于，该模型框架包括：

骨干网络：采用ResNet101与FPN相结合作为主体架构，用于对数据集图像进行特征提取，其中，ResNet101是一个具有101次卷积操作的卷积神经网络，能够依次提取出边缘特征和孔隙背景特征，并形成多层不同大小和维度的特征图；

区域候选网络：用于将数据集图像分为孔隙对象和非孔隙的背景对象2个类别，并将孔隙以尽量贴合孔隙大小的方框分别框选出来，得到1个或多个包含目标孔隙的区域；

感兴趣区域：包含目标孔隙的区域输入到感兴趣区域中进行对齐并池化为固定大小的特征图，再分别输入到2个分支功能网络中：其中1个分支功能网络通过感兴趣区域分类器和边框回归器来进行孔隙识别，得到分类结果和孔隙所在的边框；另1个分支功能网络则进行孔隙分割，孔隙大小形状一致的掩膜对目标孔隙图像进行分割。

Images