CN114022474A - 一种基于yolo-v4的颗粒级配快速检测方法 - Google Patents

Abstract

本发明公开了一种基于YOLO‑V4的颗粒级配快速检测方法包括获取石料样本图像制作测试集；制作样本集，将样本集图像进行标准化预处理以及数据增强处理形成数据集；基于训练集与验证集，对原始数据进行训练，获得训练权重；利用YOLO_V4目标检测网络对训练模型进行样本分析；输入测试集，批量导出目标检测框大小，推算样本级配。本发明能准确有效的实现土石颗粒图像分割与粒径大小提取，实现土石颗粒级粒径配自动检测，适用于不同各类石料及不同粒径的自动检测。

Description

一种基于YOLO-V4的颗粒级配快速检测方法

技术领域

本发明涉及一种颗粒级配快速检测方法，尤其涉及一种基于YOLO-V4的颗粒级配快速检测方法。

背景技术

土石料是水利土木工程施工主要填筑材料，是由土料、石料及土石混合料组成。土石材料通常由现场爆破采取，颗粒形状无规则、颗粒粒径大小相差较大且尺寸占比不均匀。土石料粒径级配是决定填筑与碾压层面压实度的重要重要指标参数之一；级配占比良好的土石料中，小颗粒石料可有效填充大颗粒石料堆叠孔隙，可保证填筑层面压实度和强度指标，提升填筑层的稳定性与耐久性，降低孔隙率。

目前土石料粒径级配主要由筛分法获取，而在施工现场则是划分试验单元并挖坑取样，再进行土石料的分析实验。现场挖坑坑径为石料最大粒径2～3倍，坑深为铺填层厚度。对于粒径不大于100mm的石料用尺人工测量，对于粒径小于100mm的石料采用筛析法分析。这种方法耗时长、效率低、经济投入大，且试验单元有限且随机，代表性不强，工程作业中无法进行快速大量的土石料级配检测，无法适配高效机械化施工。

在使用传统数字图像技术对土石料检测分析上，难点主要在于对重叠土石颗粒形状特征的准确划分，以及粒径大小判断。现有方法有引入三维点云技术，通过采取三维点云数据，提取三维集料的特征因子经预处理做质量回归和类别预测，获得集料级配。还有采用otsu优化技术对土石料图像进行自适应阈值分离与形态学变换，提取土石颗粒边界与形态信息。或者通过阈值卷积方法对土石料颗粒进行快速分割与轮廓提取，构建深度阈值卷积模型得到级配数据。上述方法均采用传统数字图像技术，对拍摄获取的图像进行形态学处理，获取颗粒轮廓，计算颗粒级配；但此类方法获得的样本图像数据极易受到灰尘、光线等外界环境的影响，且后期处理精确度低、噪点多，当颗粒堆叠时极易发生错误识别。

因此，亟待解决上述问题。

发明内容

发明目的：本发明的目的在于提出一种基于YOLO-V4的颗粒级配快速检测方法，建立土石级配样本库，构造目标检测卷积神经网络，快速检测土石颗粒粒径大小，提高识别精度和检测速度；可应用于土石坝坝面智能建设中，为坝面碾压施工提供级配信息，辅助建筑施工。

技术方案：为实现以上目的，本发明公开了一种基于YOLO-V4的颗粒级配快速检测方法，包括如下步骤：

(1)、获取石料样本图像制作测试集；

(2)、制作样本集，将样本集图像进行标准化预处理以及数据增强处理形成数据集；

(3)、基于训练集与验证集，对原始数据进行训练，获得训练权重；

(4)、利用YOLO_V4目标检测网络对训练模型进行样本分析；

(5)、输入测试集，批量导出目标检测框大小，推算样本级配。

其中，所述步骤(1)中对实例目标石料多角度、多尺度拍摄，并考虑现场光照条件、岩石表面湿度和表面灰尘环境因素多方面采集样本；固定拍摄高度，制作测试集。

优选的，所述步骤(2)中样本集处理的具体方法包括如下步骤：

(2.1)、将采集的样本图像裁剪为416*416大小用于训练图像格式固定，并进行翻转、平移和拼接形态学变换操作；

(2.2)、再利用LabelImg标注工具对图像进行人工标注并转换为xml格式，标注后的数据集大小为800张，处理的数据集划分为训练集和验证集，其中训练集与验证集的数量比例为9:1；

(2.3)、准备模型训练所需要的txt文件，Train.txt与test.txt文件分别为模型训练集与验证集所需要的索引文件。

再者，所述步骤(3)中获得训练权重的具体方法包括如下步骤：

(3.1)、加载数据集预训练权重，提升训练精度与训练速度，使用YOLO_WIGHT预训练权重；

(3.2)、将步骤(2)获得样本集的样本图像放入YOLO_V4训练网络进行训练得到训练权重；输入网络的样本图片尺寸大小为416*416，使用余弦退火Cosine annealing方法降低学习率，使用mosaic数据增强方法拼接四幅图像来丰富检测物体的背景进行训练；为防止标签结果错误，提高模型泛化能力，使用Label Smoothing标签平滑方法，解决二分类问题中错误标注，避免模型欠拟合，保证模型鲁棒性；训练分为两个阶段，第一阶段lr＝1e-3、Batch_size＝4、Init_Epoch＝0、Freeze_Epoch＝50；第二阶段lr＝1e-4、Batch_size＝2、Freeze_Epoch＝50、Unfreeze_Epoch＝100。

进一步，所述步骤(4)中样本分析的具体方法包括如下步骤：

(4.1)、将待检测图像传入主干特征提取网络CSPDarkNet53中对图像进行卷积处理，该主干特征网络由一系列Resblock_Body残差卷积网络组成，所属Resblock_Body残差卷积网络采用CSPNet网络结构由一次下采样和多次Resblock残差块堆叠构成；

(4.2)、待检测图像经过主干特征提取网络后进入加强特征提取网络进行池化卷积特征融合操作；

(4.3)、调整YoloHead特征层上先验框位置，生成预测框并输出预测结果；YoloHead分为两个部分，分别为尺寸是3*3的卷积模块，卷积模块包含卷积、标准化和激活函数，与尺寸是1*1的单独卷积模块；Conv3*3为特征层核，Conv1*1利用获取到的特征获得最终预测结果其代表每个网格点上3个先验框的内部是否包含物体、物体种类以及先验框的调整参数。

优选的，所述步骤(4.1)中对图像进行卷积处理的具体方法包括如下步骤：

(4.1.1)、Resblock_Body其本质为一系列残差网络构建成的大卷积快，即由卷积、标准化、激活函数构成；Resblock_Body所用残差网络结构为Rseblock，其包含卷积核大小为1*1与3*3的两个基础卷积块，残差结构在前进时将输入特征与经过两次卷积后的特征进行叠加，来构成基础残差块；

(4.1.2)、Resblock_Body是构建CSPDarknet53核心，其使用CSPNet结构；CSPNet会在残差快堆叠时构建大残差边，CSPNet结构分为Part1和Part2两个结构，part2为主干部分，利用卷积网络对特征层进行特征提取，卷积网络的堆叠次数对应每一层Resblock_Body分别为1、2、8、8、4；part1为人为设定残差边以保留原始信息，part1输出会与part2输出进行堆叠；

(4.1.3)、图像传入主干特征提取网络后，会依次经过一个卷积层和五个Resblock_Body残差层；主干特征提取网络利用卷积不断下采样进行特征提取，特征层的尺寸不断得到压缩，通道数不断进行扩张，最终获得三个有效特征层，分别为52*52*256、26*26*512、13*13*1024。

再者，所述步骤(4.2)中进行池化卷积特征融合操作的具体方法包括如下步骤：

(4.2.1)、将步骤(4.1.3)操作后得到的有效特征层分别传入SPP空间金字塔池化网络和PANet路径聚集网络；

(4.2.2)、SPP模块是利用主干特征提取网络最后一个特征层进行三次卷积后的特征层进行三种程度的最大池化，SPP模块利用大小为5、9、13的池化核对输入特征层分别进行的最大池化处理，并将池化结果与短接边进行堆叠合并，输出尺度大小为13*13的SPP特征层；

(4.2.3)、PANet模块融合了上采样、下采样以及特征融合操作；

(4.2.4)、将SPP模块处理后的池化特征图输入PANet模块，依据数据流向依次连接的各采样层进行数据融合；根据模块输出的不同尺度，加强特征提取网络最终输出三个YoloHead预测结构。

进一步，所述步骤(5)中推算样本级配的的具体方法包括如下步骤：

(5.1)、批量输入样本图像，获得预测结果与预测框位置Xmin、Ymin、Xmax、Ymax，将预测数据批量保存；

(5.2)、根据预测框位置，获得颗粒形态边长，根据镜像距计算出目标颗粒粒径D，即可计算土石料颗粒粒径大小；颗粒粒径计算公式为：

D_y＝H×f/(Y_max-Y_min)

D_x＝H×f/(X_max-X_min)

其中H为镜像距高度，f为相机焦距，D_x为颗粒横向长度，D_y为颗粒竖向长度；

对于卷积神经网络预测模型的预测结果评价指标为F1-Score与IOU，

F1-Score又称为平衡F分数(balanced F Score)，被定义为精准率和召回率的调和平均数；

IOU计算的是“预测的边框”和“真实的边框”的交并比，即它们的交集和并集的比值。

有益效果：与现有技术相比，本发明具有以下显著优点：本发明采用单阶段深度学习目标检测网络，并建立土石料级配样本数据库，解决了传统计算机处理方法面临的噪声问题，提高了二分类目标检测精度；还采用Rseblock残差块可有效保留多层次尺度信息，解决多尺度检测问题；其次本发明全面采集现场图片，通过神经网络训练、学习、预测，可全方面检测坝面土石颗粒级配，解决人工筛选效率低、代表性差等问题；最后本发明能准确有效的实现土石颗粒图像分割与粒径大小提取，实现土石颗粒级粒径配自动检测，适用于不同各类石料及不同粒径的自动检测。

附图说明

图1为本发明的流程示意图；

图2为本发明中神经网络工作示意图；

图3为本发明中预测结果评价指标IOU；

图4为本发明中土石颗粒数据集图像；

图5为本发明中模型测试结果。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图1和图2所示，本发明一种基于YOLO-V4的颗粒级配快速检测方法，包括如下步骤：

(1)、获取石料样本图像制作测试集，对实例目标石料多角度、多尺度拍摄，并考虑现场光照条件、岩石表面湿度和表面灰尘环境因素多方面采集样本；固定拍摄高度，制作测试集；

(2)、制作样本集，将样本集图像进行标准化预处理以及数据增强处理形成数据集；

其中样本集处理的具体方法包括如下步骤：

(2.1)、将采集的样本图像裁剪为416*416大小用于训练图像格式固定，并进行翻转、平移和拼接形态学变换操作；

(2.2)、再利用LabelImg标注工具对图像进行人工标注并转换为xml格式，标注后的数据集大小为800张，处理的数据集划分为训练集和验证集，其中训练集与验证集的数量比例为9:1；

(2.3)、准备模型训练所需要的txt文件，Train.txt与test.txt文件分别为模型训练集与验证集所需要的索引文件；

(3)、基于训练集与验证集，对原始数据进行训练，获得训练权重；

其中获得训练权重的具体方法包括如下步骤：

(3.1)、加载数据集预训练权重，提升训练精度与训练速度，使用YOLO_WIGHT预训练权重；

(3.2)、将步骤(2)获得样本集的样本图像放入YOLO_V4训练网络进行训练得到训练权重；输入网络的样本图片尺寸大小为416*416，使用余弦退火Cosine annealing方法降低学习率，使用mosaic数据增强方法拼接四幅图像来丰富检测物体的背景进行训练；为防止标签结果错误，提高模型泛化能力，使用Label Smoothing标签平滑方法，解决二分类问题中错误标注，避免模型欠拟合，保证模型鲁棒性；训练分为两个阶段，第一阶段lr＝1e-3、Batch_size＝4、Init_Epoch＝0、Freeze_Epoch＝50；第二阶段lr＝1e-4、Batch_size＝2、Freeze_Epoch＝50、Unfreeze_Epoch＝100；

(4)、利用YOLO_V4目标检测网络对训练模型进行样本分析，

其中样本分析的具体方法包括如下步骤：

(4.1)、将待检测图像传入主干特征提取网络CSPDarkNet53中对图像进行卷积处理，该主干特征网络由一系列Resblock_Body残差卷积网络组成，所属Resblock_Body残差卷积网络采用CSPNet网络结构由一次下采样和多次Resblock残差块堆叠构成；

(4.1.1)、Resblock_Body其本质为一系列残差网络构建成的大卷积快，即由卷积、标准化、激活函数构成；Resblock_Body所用残差网络结构为Rseblock，其包含卷积核大小为1*1与3*3的两个基础卷积块，残差结构在前进时将输入特征与经过两次卷积后的特征进行叠加，来构成基础残差块；

(4.1.2)、Resblock_Body是构建CSPDarknet53核心，其使用CSPNet结构；CSPNet会在残差快堆叠时构建大残差边，CSPNet结构分为Part1和Part2两个结构，part2为主干部分，利用卷积网络对特征层进行特征提取，卷积网络的堆叠次数对应每一层Resblock_Body分别为1、2、8、8、4；part1为人为设定残差边以保留原始信息，part1输出会与part2输出进行堆叠；

(4.1.3)、图像传入主干特征提取网络后，会依次经过一个卷积层和五个Resblock_Body残差层；主干特征提取网络利用卷积不断下采样进行特征提取，特征层的尺寸不断得到压缩，通道数不断进行扩张，最终获得三个有效特征层，分别为52*52*256、26*26*512、13*13*1024；

(4.2)、待检测图像经过主干特征提取网络后进入加强特征提取网络进行池化卷积特征融合操作，

(4.2.1)、将步骤(4.1.3)操作后得到的有效特征层分别传入SPP空间金字塔池化网络和PANet路径聚集网络；

(4.2.2)、SPP模块是利用主干特征提取网络最后一个特征层进行三次卷积后的特征层进行三种程度的最大池化，SPP模块利用大小为5、9、13的池化核对输入特征层分别进行的最大池化处理，并将池化结果与短接边进行堆叠合并，输出尺度大小为13*13的SPP特征层；

(4.2.3)、PANet模块融合了上采样、下采样以及特征融合操作；

(4.2.4)、将SPP模块处理后的池化特征图输入PANet模块，依据数据流向依次连接的各采样层进行数据融合；根据模块输出的不同尺度，加强特征提取网络最终输出三个YoloHead预测结构；

(4.3)、调整YoloHead特征层上先验框位置，生成预测框并输出预测结果；YoloHead分为两个部分，分别为尺寸是3*3的卷积模块，卷积模块包含卷积、标准化和激活函数，与尺寸是1*1的单独卷积模块；Conv3*3为特征层核，Conv1*1利用获取到的特征获得最终预测结果其代表每个网格点上3个先验框的内部是否包含物体、物体种类以及先验框的调整参数；

(5)、输入测试集，批量导出目标检测框大小，推算样本级配；

(5.1)、批量输入样本图像，获得预测结果与预测框位置Xmin、Ymin、Xmax、Ymax，将预测数据批量保存；

(5.2)、根据预测框位置，获得颗粒形态边长，根据镜像距计算出目标颗粒粒径D，即可计算土石料颗粒粒径大小；颗粒粒径计算公式为：

D_y＝H×f/(Y_max-Y_min)

D_x＝H×f/(X_max-X_min)

其中H为镜像距高度，f为相机焦距，D_x为颗粒横向长度，D_y为颗粒竖向长度；

对于卷积神经网络预测模型的预测结果评价指标为F1-Score与IOU，

F1-Score又称为平衡F分数(balanced F Score)，被定义为精准率和召回率的调和平均数；

IOU计算的是“预测的边框”和“真实的边框”的交并比，即它们的交集和并集的比值，如图3所示。

实施例

如图4和图5所示，为验证YOLO-V4模型的稳定性与准确性，采用人工筛分的试验获取土石料真实粒径大小与土石料图像，本次图像采集所使用的是佳能EOS7D单反相机，相机焦距f为18mm，固定镜头距D为45cm，，通过公式Dy＝H×f/(Ymax-Ymin)计算颗粒大小并换算颗粒质量。本发明对同一级配通过翻整得到5张不同的土石料图像，5张图像经过卷积神经网络处理后的计算出所得级配数据如表1：

表1图像识别结果

将同一土石样本数据集分别使用YOLO_V3、YOLO_V4、Fast-rcnn模型进行对照训练，并将预测精度与预测时间进行对比，见表2。结果显示，相较于YOLO_V3模型，YOLO_V4的各方面性能均有较大幅度提升，在训练过程中YOLO_V4比YOLO_V3有更好的收敛效果且训练速度有小幅提成；在速度上，Fast-rcnn是双阶段目标检测模型，造成他的网络模型较为负载，图像平均检测时间要远高于另外两种模型，平衡分数F1-Score与IOU高于YOLO_V3模型，但仍低于YOLO_V4卷积神经网络模型。结果表明，YOLO_V4采用的单阶段卷积神经网络模型在土石颗粒目标检测中，预测精度、置信度较高，平均检测速度较快。

表2模型预测结果对比

Model	YOLO_V3	Faster-rcnn	YOLO_V4
				F1-Score	0.784	0.926	0.945
IOU	0.846	0.912	0.929
				Average-time	0.316	0.435	0.295

通过验证组与对照组可以表明，本方法在颗粒粒径检测方面具有较高精确度与稳定性。对比传统筛分方法，大大减轻人工筛料的工作量，同时图像采集范围较大，更具有代表性。对比传统图像形态学方法，提高了检测精度与检测效率。对比激光扫描、三维点云的技术，简化了操作流程。本方法自动化程度高，减轻人工负担，不依赖施工经验，避免复杂图像分析，操作简单，适应性强，在保证检测精确度与检测效率同时，可极大限度实现土石颗粒粒径检测。

Claims (8)

1.一种基于YOLO-V4的颗粒级配快速检测方法，其特征在于，包括如下步骤：

(1)、获取石料样本图像制作测试集；

(2)、制作样本集，将样本集图像进行标准化预处理以及数据增强处理形成数据集；

(3)、基于训练集与验证集，对原始数据进行训练，获得训练权重；

(4)、利用YOLO_V4目标检测网络对训练模型进行样本分析；

(5)、输入测试集，批量导出目标检测框大小，推算样本级配。

2.根据权利要求1所述的一种基于YOLO-V4的颗粒级配快速检测方法，其特征在于：所述步骤(1)中对实例目标石料多角度、多尺度拍摄，并考虑现场光照条件、岩石表面湿度和表面灰尘环境因素多方面采集样本；固定拍摄高度，制作测试集。

3.根据权利要求2所述的一种基于YOLO-V4的颗粒级配快速检测方法，其特征在于：所述步骤(2)中样本集处理的具体方法包括如下步骤：

(2.1)、将采集的样本图像裁剪为416*416大小用于训练图像格式固定，并进行翻转、平移和拼接形态学变换操作；

(2.2)、再利用LabelImg标注工具对图像进行人工标注并转换为xml格式，标注后的数据集大小为800张，处理的数据集划分为训练集和验证集，其中训练集与验证集的数量比例为9:1；

(2.3)、准备模型训练所需要的txt文件，Train.txt与test.txt文件分别为模型训练集与验证集所需要的索引文件。

4.根据权利要求3所述的一种基于YOLO-V4的颗粒级配快速检测方法，其特征在于：所述步骤(3)中获得训练权重的具体方法包括如下步骤：

(3.1)、加载数据集预训练权重，提升训练精度与训练速度，使用YOLO_WIGHT预训练权重；

(3.2)、将步骤(2)获得样本集的样本图像放入YOLO_V4训练网络进行训练得到训练权重；输入网络的样本图片尺寸大小为416*416，使用余弦退火Cosine annealing方法降低学习率，使用mosaic数据增强方法拼接四幅图像来丰富检测物体的背景进行训练；为防止标签结果错误，提高模型泛化能力，使用Label Smoothing标签平滑方法，解决二分类问题中错误标注，避免模型欠拟合，保证模型鲁棒性；训练分为两个阶段，第一阶段lr＝1e-3、Batch_size＝4、Init_Epoch＝0、Freeze_Epoch＝50；第二阶段lr＝1e-4、Batch_size＝2、Freeze_Epoch＝50、Unfreeze_Epoch＝100。

5.根据权利要求4所述的一种基于YOLO-V4的颗粒级配快速检测方法，其特征在于：所述步骤(4)中样本分析的具体方法包括如下步骤：

(4.1)、将待检测图像传入主干特征提取网络CSPDarkNet53中对图像进行卷积处理，该主干特征网络由一系列Resblock_Body残差卷积网络组成，所属Resblock_Body残差卷积网络采用CSPNet网络结构由一次下采样和多次Resblock残差块堆叠构成；

(4.2)、待检测图像经过主干特征提取网络后进入加强特征提取网络进行池化卷积特征融合操作；

(4.3)、调整YoloHead特征层上先验框位置，生成预测框并输出预测结果；YoloHead分为两个部分，分别为尺寸是3*3的卷积模块，卷积模块包含卷积、标准化和激活函数，与尺寸是1*1的单独卷积模块；Conv3*3为特征层核，Conv1*1利用获取到的特征获得最终预测结果其代表每个网格点上3个先验框的内部是否包含物体、物体种类以及先验框的调整参数。

6.根据权利要求5所述的一种基于YOLO-V4的颗粒级配快速检测方法，其特征在于：所述步骤(4.1)中对图像进行卷积处理的具体方法包括如下步骤：

(4.1.1)、Resblock_Body其本质为一系列残差网络构建成的大卷积快，即由卷积、标准化、激活函数构成；Resblock_Body所用残差网络结构为Rseblock，其包含卷积核大小为1*1与3*3的两个基础卷积块，残差结构在前进时将输入特征与经过两次卷积后的特征进行叠加，来构成基础残差块；

(4.1.2)、Resblock_Body是构建CSPDarknet53核心，其使用CSPNet结构；CSPNet会在残差快堆叠时构建大残差边，CSPNet结构分为Part1和Part2两个结构，part2为主干部分，利用卷积网络对特征层进行特征提取，卷积网络的堆叠次数对应每一层Resblock_Body分别为1、2、8、8、4；part1为人为设定残差边以保留原始信息，part1输出会与part2输出进行堆叠；

(4.1.3)、图像传入主干特征提取网络后，会依次经过一个卷积层和五个Resblock_Body残差层；主干特征提取网络利用卷积不断下采样进行特征提取，特征层的尺寸不断得到压缩，通道数不断进行扩张，最终获得三个有效特征层，分别为52*52*256、26*26*512、13*13*1024。

7.根据权利要求6所述的一种基于YOLO-V4的颗粒级配快速检测方法，其特征在于：所述步骤(4.2)中进行池化卷积特征融合操作的具体方法包括如下步骤：

(4.2.1)、将步骤(4.1.3)操作后得到的有效特征层分别传入SPP空间金字塔池化网络和PANet路径聚集网络；

(4.2.2)、SPP模块是利用主干特征提取网络最后一个特征层进行三次卷积后的特征层进行三种程度的最大池化，SPP模块利用大小为5、9、13的池化核对输入特征层分别进行的最大池化处理，并将池化结果与短接边进行堆叠合并，输出尺度大小为13*13的SPP特征层；

(4.2.3)、PANet模块融合了上采样、下采样以及特征融合操作；

(4.2.4)、将SPP模块处理后的池化特征图输入PANet模块，依据数据流向依次连接的各采样层进行数据融合；根据模块输出的不同尺度，加强特征提取网络最终输出三个YoloHead预测结构。

8.根据权利要求7所述的一种基于YOLO-V4的颗粒级配快速检测方法，其特征在于：所述步骤(5)中推算样本级配的的具体方法包括如下步骤：

(5.1)、批量输入样本图像，获得预测结果与预测框位置Xmin、Ymin、Xmax、Ymax，将预测数据批量保存；

(5.2)、根据预测框位置，获得颗粒形态边长，根据镜像距计算出目标颗粒粒径D，即可计算土石料颗粒粒径大小；颗粒粒径计算公式为：

D_y＝H×f/(Y_max-Y_min)

D_x＝H×f/(X_max-X_min)

其中H为镜像距高度，f为相机焦距，D_x为颗粒横向长度，D_y为颗粒竖向长度；

对于卷积神经网络预测模型的预测结果评价指标为F1-Score与IOU，

F1-Score又称为平衡F分数(balanced F Score)，被定义为精准率和召回率的调和平均数；

IOU计算的是“预测的边框”和“真实的边框”的交并比，即它们的交集和并集的比值。

Images