CN113658117B - 一种基于深度学习的沥青混合料中集料边界识别与划分方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的沥青混合料中集料边界识别与划分方法，该方法首先构建沥青混合料截面图像数据集，数据集构建过程采用自定义多阈值二值化的方法增加图像标注精度；而后搭建沥青混合料CT截面分割神经网络，并对神经网络图像分割结果结合分水岭算法进行进一步分割；最后，提取分割后图像中的集料细观信息。本发明实现了沥青混合料中集料细观结构信息的快速、高效获取流程，神经网络有助于更加准确和智能化的进行图像分割，数据集的标注方法以及分水岭算法的引入进一步实现了沥青混合料CT图像分割精度的提高，为沥青混合料中集料细观信息的获取提供便利。

Description

一种基于深度学习的沥青混合料中集料边界识别与划分方法

技术领域

本发明涉及一种基于深度学习的沥青混合料中集料边界识别与划分方法，属于计算机视觉技术和道路工程材料技术领域。

背景技术

道路工程在国民经济的发展中有着举足轻重的地位，沥青路面依据其平整、舒适等特点在道路工程中有着广泛的应用。沥青混合料作为沥青路面的主要材料其性能受内部细观结构的影响较大。沥青混合料主要由集料、胶浆和空隙组成，常常采用切割和工业CT扫描的方式获取沥青混合料内部结构组成，其中工业CT以其无损检测的优势受到学者青睐。为获取CT扫描图像中集料诸如面积、质心等细观信息，对沥青混合料CT截面扫描图像的分割研究则尤为重要。常见的几种应用于沥青混合料CT截面扫描图像的分割的方法如下：

(1)采用单一阈值分割如OTSU，实际中图像各部分灰度是不均匀的，采用单一阈值常常无法对图像进行有效分割，会出现大量集料黏连以及集料未识别出来的情况。

(2)采用多阈值分割的方法，这种方法常常根据一定规则对图像进行裁剪，对每个裁剪寻找最佳阈值而后进行图像分割，能够抑制大量黏连和未识别现象的出现，但识别的集料内部存在较多噪点，裁剪与裁剪之间也需进一步处理以保证连贯。

(3)采用边缘识别的分割方法，这类方法依据图像梯度检索图像边缘如Canny算子边缘识别，基于梯度进行边缘检测能够识别出集料与胶浆的接触边缘，但也容易将噪声视为边界进而产生过度分割。

发明内容

本发明针对现有技术的不足，提出一种基于深度学习的沥青混合料集料边界识别与划分方法，借助深度学习与数字图像处理技术实现沥青混合料CT截面扫描图像更加准确、便捷的分割流程，进而更省时、高效的获取沥青混合料细观结构。

本发明采用的技术方案如下：

一种基于深度学习的沥青混合料集料边界识别与划分方法，具体包括如下步骤：

(1)沥青混合料截面图像获取。

(2)将获得的截面图像输入至一训练好的截面图像分割网络模型，输出获得含有集料的二值图像。其中，所述截面图像分割网络模型通过如下方法训练获得：

(2.1)构建训练数据集，所述数据集由截面图像数据和对应的二值图像数据组成。所述二值图像通过如下步骤处理获得：

用图像处理软件在截面图像上进行集料轮廓的勾勒，勾勒过程应保证集料轮廓的准确清晰。

对勾勒完成的截面图像的不同区域采用不同灰度值作为二值化阈值，进行二值化得到对应的二值图像，其中，区域的划分应当保证选定恰当的二值化阈值时各区域不含有黏连部分同时不存在噪点。

(2.2)构建一图像分割网络，结合训练数据集以截面图像为输入，对应的二值图像为预测目标对图像分割网络进行神经网络训练，获得训练好的截面图像分割网络模型。

(3)采用分水岭算法对含有集料的二值图像进行再次分割，获得沥青混合料集料细观结构图像。

(4)对集料细观结构图像中每个集料进行边缘、质心、面积等细观信息的提取，实现沥青混合料集料细观结构的获取，完成沥青混合料中集料边界识别与划分。

其中，所述步骤1中，可以通过工业CT机断层扫描沥青混合料试件或通过岩石锯片切割机切割沥青混合料试件并结合数码相机拍摄方式，获取沥青混合料截面图像。

进一步地，步骤2.1中，还包括对训练数据集后处理步骤，包括：

对每张截面图像和对应的二值图像采用相同方法进行裁剪成若干份；

和/或对每张截面图像和对应的二值图像进行相同的旋转、翻转等操作。

进一步地，步骤2.2中，图像分割网络结构可以结合深度学习领域已有的FCN网络结构，并对网络结构进行一定调整，搭建截面图像分割网络。具体地，由五个卷积模块组成，每个卷积模块由卷积层、激活函数LeakyRelu和批归一化层以及最大池化层组成，最后一个和倒数第二个还包括Dropout层，最后对后四个卷积模块的输出进行上采样，而后对各上采样结果进行通道融合，并经过一个1*1的卷积和激活函数LeakyRelu激活输出结果特征。

进一步地，步骤2.2中，将训练数据集等分为10份，轮流取其中一份作为验证集其余为训练集进行训练，并以验证集准确率为评价指标，取最优的训练结果作为最终截面图像分割网络模型。

进一步地，步骤3中分水岭算法具体包含以下步骤：

(3.1)对集料的二值图像进行距离变换。计算图像中每个像素点到最近灰度值为零的点的距离，将该距离作为像素点在距离变换图像中的灰度值。

(3.2)分水岭再分割。根据分水岭分割的思想，对距离变换图像模拟注水逐渐淹没地形的过程，对图像进行进一步分割消除集料之间的黏连，进而获得沥青混合料中集料细观结构图像。

进一步地，步骤4具体为：

首先获取沥青混合料中集料细观结构图像中的全部连通区域，每个连通区域代表一个集料，通过对每个连通区域边缘、质心、面积等细观信息的提取获得每个集料的细观信息，通过提取沥青混合料中集料细观结构图像中所有连通区域的细观信息，完成整张图像集料的细观信息提取。

与现有技术相比，本发明有如下有益效果：相比于通用沥青混合料CT截面扫描图像分割方法，能够有效减少识别出的图像中所含有的噪点和目标区域的黏连，数据库构建中采用自定义范围的多阈值二值化方法实现更为准确的数据标定使训练出的截面图像分割网络预测结果更加准确，引入分水岭算法实现对截面图像分割网络分割结果的后处理，进一步减少图像中细颗粒集料的相互黏连提高了分割精度，实现图像分割到集料细观数据获取一体化流程大大减少人为工作量，提高沥青混合料细观结构数据获取效率与获取精度。

附图说明

图1自定义范围的多阈值二值化方法流程图；

图2沥青混合料截面图像数据集示意图；

图3输入图像数据集和二值图像数据集对应关系示意图；

图4沥青混合料截面图像分割网络训练过程图；

图5分水岭算法后处理流程图。

具体实施方式

以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于深度学习的沥青混合料中集料边界识别与划分方法，具体包括如下步骤：

(1)首先，通过工业CT设备结合三维重构、横断面获取软件，获取210张不同集料级配的沥青混合料截面图像。

(2)制作训练数据集，具体包括以下步骤：

(2.1)借助数字图像处理软件，在截面图像上勾勒出集料形态，完成210张图像的勾勒过程，并将图像大小均统一为576×576像素大小的图像。

(2.2)采用图像处理技术中的阈值分割对上一步处理后的图像进行二值化，具体为：先设置阈值一对整张图像进行二值化，再通过手动勾勒图像划分出效果不佳的区域，并设置阈值二对该区域进行二值化，直至整张图像不含有黏连部分同时不存在噪点；对不同区域采用不同阈值，进而达到即保证图像边界清晰又保证石子内部噪点的有效去除，二值化完成后得到截面集料二值图像，分割过程如图1所示，将图像依次进行阈值二值化，最后叠加完成整张图像的二值化。

(2.3)选取数据集中的10张图片作为测试集，对剩余的截面图像(200张)和截面集料二值图像(200张)进行裁剪，每张图像裁剪为16等分得到16张子图，分别得到输入图像初始数据集和二值图像初始数据集，每个初始数据集包含3200张图像，每张图像大小为144×144像素。

(2.4)对上述两个初始数据集进行旋转、翻转等操作实现图像增强，扩大初始数据集得到由输入图像数据集(12800张图像)和二值图像数据集(12800张图像)组成的截面图像数据集，用相同的命名保证输入图像数据集和二值图像数据集中图像的对应，数据集如图2所示，数据集对应关系如图3。

(3)依据FCN网络模型，搭建截面图像分割网络模型，网络共有5个卷积模块构成，第一个到第三个采用卷积层、批标准化层、LeakyRELU激活层和最大池化层，卷积核个数为18、36、72，从第一个到第三个输出尺寸分别为72×72×18、36×36×36、18×18×72(长×宽×通道)，第四个和第五个连接处加入Dropout层，用以减轻过拟合，丰富网络结构，最后对后四个输出进行上采样，而后对各上采样结果进行通道融合，并经过一个1*1的卷积和激活函数LeakyRelu激活输出结果特征。

(4)对截面图像数据集采用截面图像分割网络进行训练，训练过程中将截面图像数据集等分为10份，轮流取其中一份作为验证集其余为训练集通过最小化预测值与真值的损失进行训练，并取验证集准确率最优的训练结果作为最终截面图像分割网络模型，训练过程中模型收敛曲线如图4所示。十次训练过程得到的测试集与验证集准确率如表1所示。表1中的准确率偏差较小也表明了训练结果的可靠性。

表1训练中训练集与验证集的准确率

(5)选取一张需要提取细观结构信息的截面图像，采用截面图像分割网络模型对截面图像进行图像分割，获得含有集料的二值图像。

(6)采用图像处理技术中的分水岭算法对含有集料的二值图像进行后处理，首先依据含有集料的二值图像计算出相应的距离图像，而后根据距离图像确定分水线，进一步分割获得沥青混合料中集料细观结构图像，分水岭分割流程如图5所示。

(7)提取沥青混合料中集料细观结构图像中集料质心、面积，获取沥青混合料中集料细观结构信息，获取部分数据如表2所示。

表2沥青混合料中集料细观结构信息

Claims (6)

1.一种基于深度学习的沥青混合料中集料边界识别与划分方法，其特征在于，具体包括如下步骤：

(1)沥青混合料截面图像获取；

(2)将获得的截面图像输入至一训练好的截面图像分割网络模型，输出获得含有集料的二值图像，其中，所述截面图像分割网络模型通过如下方法训练获得：

(2.1)构建训练数据集，所述数据集由截面图像数据和对应的二值图像数据组成，所述二值图像通过如下步骤处理获得：

用图像处理软件在截面图像上进行集料轮廓的勾勒，勾勒过程应保证集料轮廓的准确清晰；

对勾勒完成的截面图像设置阈值一并进行二值化，再划分出二值化效果不佳的区域并设置阈值二进行二值化，直至整张截面图像不含有黏连部分同时不存在噪点，得到对应的二值图像；

(2.2)构建一图像分割网络，结合训练数据集以截面图像为输入，对应的二值图像为预测目标对图像分割网络进行神经网络训练，获得训练好的截面图像分割网络模型；

(3)采用分水岭算法对含有集料的二值图像进行再次分割，获得沥青混合料集料细观结构图像；

(4)对集料细观结构图像中每个集料进行边缘、质心、面积细观信息的提取，实现沥青混合料集料细观结构的获取，完成沥青混合料中集料边界识别与划分。

2.根据权利要求1所述的方法，其特征在于，步骤2.1中，还包括对训练数据集后处理步骤，包括：

对每张截面图像和对应的二值图像采用相同方法进行裁剪成若干份；

和/或对每张截面图像和对应的二值图像进行相同的旋转、翻转操作。

3.根据权利要求1所述的方法，其特征在于，步骤2.2中，图像分割网络结构由五个卷积模块组成，每个卷积模块由卷积层、激活函数LeakyRelu和批归一化层以及最大池化层组成，最后一个和倒数第二个还包括Dropout层，最后对后四个卷积模块的输出进行上采样，而后对各上采样结果进行通道融合，并经过一个1*1的卷积和激活函数LeakyRelu激活输出结果特征。

4.根据权利要求1所述的方法，其特征在于，步骤2.2中，将训练数据集等分为10份，轮流取其中一份作为验证集其余为训练集进行训练，并以验证集准确率为评价指标，取最优的训练结果作为最终截面图像分割网络模型。

5.根据权利要求1所述的方法，其特征在于，步骤3中分水岭算法具体包含以下步骤：

(3.1)对集料的二值图像进行距离变换，计算图像中每个像素点到最近灰度值为零的点的距离，将该距离作为像素点在距离变换图像中的灰度值；

(3.2)分水岭再分割，根据分水岭分割的思想，对距离变换图像模拟注水逐渐淹没地形的过程，对图像进行进一步分割消除集料之间的黏连，进而获得沥青混合料中集料细观结构图像。

6.根据权利要求1所述的方法，其特征在于，步骤4具体为：

首先获取沥青混合料中集料细观结构图像中的全部连通区域，每个连通区域代表一个集料，通过对每个连通区域边缘、质心、面积细观信息的提取获得每个集料的细观信息，通过提取沥青混合料中集料细观结构图像中所有连通区域的细观信息，完成整张图像集料的细观信息提取。