CN116258689A - 基于深度学习的集料颗粒识别和级配自动分析方法 - Google Patents

基于深度学习的集料颗粒识别和级配自动分析方法 Download PDF

Info

Publication number
CN116258689A
CN116258689A CN202310106107.3A CN202310106107A CN116258689A CN 116258689 A CN116258689 A CN 116258689A CN 202310106107 A CN202310106107 A CN 202310106107A CN 116258689 A CN116258689 A CN 116258689A
Authority
CN
China
Prior art keywords
aggregate
particles
particle
deep learning
grading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310106107.3A
Other languages
English (en)
Inventor
张蕊
张华�
余帆
曹金露
高张
孙水发
郑子昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202310106107.3A priority Critical patent/CN116258689A/zh
Publication of CN116258689A publication Critical patent/CN116258689A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/50—Reuse, recycling or recovery technologies
    • Y02W30/91—Use of waste materials as fillers for mortars or concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

基于深度学习的集料颗粒识别和级配自动分析方法，包括以下步骤：制作集料的标准数据集，在训练集中训练深度学习模型Mask R‑CNN，得到该材质集料的深度学习模型的最优深度学习模型；根据集料中最小粒径组的识别精度和面积关系，确定符合精度要求的试验平台面积；基于大图像的分割与拼接技术，实现集料颗粒的自动识别与分割；计算集料颗粒的等效粒径，通过颗粒形状确定判定系数，计算集料中每个颗粒的等效粒径；计算集料颗粒的体积，根据颗粒的等效粒径划分，计算粒径范围内所有颗粒的质量占比。本发明方法能够实时输出集料的级配图像和级配数据，精度和效率大幅提升，可有效代替传统的筛分法。

Description

基于深度学习的集料颗粒识别和级配自动分析方法
技术领域
本发明涉及集料级配分析技术领域，具体涉及一种基于深度学习的集料颗粒识别和级配自动分析方法。
背景技术
在土木工程领域里，混凝土和沥青是常用的原材料，而集料作为混凝土和沥青中的重要成分其级配直接决定其各种路用性能，同时也是工程施工的重要指标，因此集料级配分析的精度和效率有着重要的理论意义和应用价值。级配分析是用一定方法反映出一系列不同粒径区间的颗粒分别占颗粒总量的百分比，常用的方法包括激光法、筛分法、显微镜法、超声粒度分析、颗粒图像法等。目前，集料的级配分析主要采用传统的筛分法，方式为机械筛分或人工筛分，但筛分法费时费力精度也不稳定，而且不能实时获取级配数据。因此，建立一种高效精准的集料级配自动识别方法将为工程施工提供必要的技术支撑。
发明内容
本发明提供一种基于深度学习模型Mask R-CNN的集料颗粒识别和级配自动分析方法，与传统的机械或人工筛分法相比，在实际应用中仅需拍摄集料图像，输入集料图像至已训练完成得到的最优模型中，即可得到级配定性和定量分析结果，并实时输出集料的级配图像和级配数据，精度和效率大幅提升，可有效代替传统的筛分法；同时验证了该模型对不同含泥量的集料具有很强的鲁棒性；通过迁移学习技术也在其它材质的集料上验证了该模型的泛化性。
本发明采取的技术方案为：
基于深度学习的集料颗粒识别和级配自动分析方法，包括以下步骤：
步骤一：制作相应材质集料的标准数据集，将标准数据集分割为训练集，验证集和测试集，在训练集中训练深度学习模型Mask R-CNN，得到该材质集料的深度学习模型的最优深度学习模型；
步骤二：根据集料中最小粒径组的识别精度和面积关系，确定符合精度要求的试验平台面积；
步骤三：基于大图像的分割与拼接技术，实现集料颗粒的自动识别与分割；
步骤四：计算集料颗粒的等效粒径，通过颗粒形状确定判定系数，计算集料中每个颗粒的等效粒径；
步骤五：计算集料颗粒的体积，根据颗粒的等效粒径划分，计算粒径范围内所有颗粒的质量占比，即集料的级配；
步骤六：通过不同含泥量的集料颗粒试验，评价含泥量对模型精度和级配分析的影响。
步骤七：通过在其它材质集料中制作标准图像数据集，并采用迁移学习方式，在该模型的基础上增加模型训练，得到其它材质的最优模型。
所述步骤一包括以下步骤:
S1.1:首先，采集该材质的混合不同粒径大小的集料图像，得到原始数据集并完成预处理，接着在标注软件中对原始数据集进行标注，并通过数据增强技术扩充数据集，得到该材质的标准数据集；
S1.2:将标准数据集按比例8:1:1分割为训练集，验证集和测试集，在训练集中训练深度学习模型Mask R-CNN，并在验证集中进行验证，在测测试集中进行测试，最终得到该材质集料的深度学习模型Mask R-CNN的最优超参数和最优深度学习模型，并下载保存最优超参数和最优深度学习模型。
所述步骤二包括以下步骤：
S2.1:先随机选取最小粒径集料，投放在边长a0的正方形面积试验平台中；
S2.2：同一批集料不变，依次按比例缩小面积进行投放，所采用的比例依次为90％，80％，70％，60％，50％，40％，30％。由于实际应用中不低于精度2％即可满足需求，通过试验找出满足精度要求2％的最小面积为S0为原面积70％。
所述步骤三包括以下步骤:
S3.1:根据试验平台面积大小，设计并实现带振动功能的1kg集料的投料平台装置，同时具备垂直声控方式拍摄获取图像。每次进行三组平行试验，每组振动10次获取10张高清图像；
S3.2:采用图像分割技术，将1张超大图像分割成独立的16张局部图像，分别识别与分割后，再采用图像拼接技术合并成原图像大小，最后输出结果图像。
所述步骤四中，类椭圆状采用等效面积径作为粒径，类针状采用等效椭圆Feret短径作为粒径，具体步骤为：
首先通过最优深度学习模型识别与分割出集料颗粒的投影面积，再计算投影面积的最小外接矩形，最后得到最小外接矩形的长短轴之比；通过试验确定划分类椭圆和类针状的长短轴之比系数，作为颗粒形状的判定系数c，最终计算集料中每个颗粒的等效粒径D，如公式(1)所示。
所述步骤五中，通过对比试验，得出颗粒的投影面积A乘以投影面积的费雷特(Feret)短径R，得到的等效体积与颗粒的实际体积最接近，故采用此方法计算集料颗粒的体积，如公式(2)所示。
集料级配如公式(3)所示。
通过集料振动试验研究振动对级配的影响，得到不影响级配精度的振动次数：
设计并实现1kg集料的投料平台，在投料平台上投放混合集料辉绿岩1kg并完成振动10次，每振动1次声控拍摄获取1张图像，共获取10张图像，依次分析每张图像中的集料颗粒级配GIR，并累加求均值，振动数次后得到的累加级配均值GIR已完全稳定，接近筛分级配，精度高。
所述步骤六中，由于实际应用中，集料含泥量一般不高于4％，设计不同集料含泥量试验1％，2％，3％，4％，5％，6％，通过试验平台拍摄获取图像进行预处理后，输入最优深度学习模型进行识别与分割，自动获取集料的级配。
所述步骤七中，通过迁移学习方式，在其它常见材质：辉绿岩，石灰岩，玄武岩，卵石的集料图像中制作标准数据集，并训练深度学习模型Mask R-CNN，均能够得到满足精度要求的级配分析，验证最优深度学习模型Mask R-CNN的迁移性和泛化性。
本发明一种基于深度学习的集料颗粒识别和级配自动分析方法，技术效果如下：
1)本发明提出了一种基于深度学习的集料颗粒识别和级配自动分析方法，首先是集料颗粒识别，接着进行集料级配分析。此方法可应用于不同材质的集料颗粒识别和集料级配的自动分析。与传统筛分法进行对比分析可知，本发明采用深度学习框架建立的级配自动识别模型，得到的结果高效准确且实时获取。
2)本发明提供的一种基于深度学习的集料颗粒识别和级配自动分析方法，与传统的机械或人工筛分法相比，在实际应用中仅需拍摄集料图像，输入集料图像至已训练完成得到的最优模型中，即可得到级配定性和定量分析结果，并实时输出集料的级配图像和级配数据，精度和效率大幅提升，可有效代替传统的筛分法；同时验证了该模型对不同含泥量的集料具有很强的鲁棒性。
3)本发明通过设计不同含泥量试验，验证在不同含泥量的集料上应用此模型进行级配分析均满足精度要求，验证了模型的鲁棒性。通过在其它常见材质石灰岩，玄武岩，卵石集料中制作标准图像数据集，并采用迁移学习方式，在辉绿岩模型的基础上增加模型训练得到其它材质的最优模型，通过模型自动获取集料的级配，验证了模型的迁移性和泛化性。
4)本发明所采用的评估指标总共6个：绝对误差AE(Absolute Error)，平均绝对百分比误差MAPE(Mean Absolute Percentage Error)，平均交并比mIoU(mean Intersectionover Union)，平均精度均值mAP(mean Average Precision)，欧几里得距离ED(EuclideanDistance)，单向距离OWD(One Way Distance)。其中：前4个评价指标能客观精确地评价深度学习模型的性能，后2个评价指标评价集料级配的精度。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为基于深度学习Mask R-CNN框架的混合集料颗粒的识别与分割流程图。
图2(a)为原始混合集料1kg定性分析图；
图2(b)为图2(a)级配识别结果的定性分析图。
其中：不同颜色代表不同的粒径范围。
图3为混合集料1kg累计质量曲线图。
图4为5类大小不同粒径范围的集料颗粒图。
图5为混合集料1kg的振动拍摄系统结构示意图。
图6(a)为混合5种粒径的集料颗粒在Labelme软件中多边形标注的真值图；
图6(b)为图6(a)真值对应的掩模图。
图7为图像采用数据集增强技术的过程示意图。
图8为深度学习模型MaskR-CNN训练过程中的训练损失和验证损失曲线图。
图9(a)为辉绿岩集料50g原图(最小粒径2.36-4.75mm)；
图9(b)为辉绿岩集料50g模型识别与分割结果图。
图10(a)为大图像的处理流程图；
图10(b)为大图像的分割识别与合并实例图。
图11为第1批集料颗粒质量累计分布曲线图。
图12为不同含泥量的辉绿岩集料识别结果图像。
图13(a)为石灰岩原图1模型未训练结果图模型训练后结果图；
图13(b)为石灰岩原图2模型未训练结果图模型训练后结果图。
图14(a)为石灰岩集料颗粒100g原图；
图14(b)为图14(a)模型识别结果图。
图15为石灰岩集料颗粒级配曲线图。
具体实施方式
基于深度学习的集料颗粒识别和级配自动分析方法，包括以下步骤：
第一步：根据实际应用需求，自制相应材质集料的标准数据集；
首先采集该材质的混合不同粒径大小的集料图像得到原始数据集并完成预处理，接着在标注软件中对数据集进行标注，并通过数据增强技术扩充数据集得到该材质的标准数据集。
再将标准数据集按比例8:1:1分割为训练集，验证集和测试集。在训练集中训练深度学习模型Mask R-CNN，并在验证集中进行验证，在测试集中进行测试，最终得到该材质集料的深度学习模型的最优超参数和最优深度学习模型，并下载保存模型。
第二步：根据实际应用的精度要求，确定模型精度不低于精度要求的混合集料1kg投放试验平台的面积；
以常用材料辉绿岩为例，由于拍摄图像分辨率精度高(分辨率为2048像素*2048像素)，为了统一模型单位换算且保证精度，设计集料投放面积为20.48cm*20.48cm，即1像素对应0.1mm。由于颗粒粒径越小，模型识别难度越大，因此为了有效评价模型精度，先随机选取最小粒径2.36-4.75mm集料50g，投放在边长a0为20.48cm的正方形面积(a0*a0＝20.48cm*20.48cm)的试验平台中，尽可能分散不重叠；接下来，同一批集料不变，依次按比例缩小面积进行投放，所采用的比例依次为90％，80％，70％，60％，50％，40％，30％。由于实际应用中不低于精度2％即可满足需求，通过试验找出满足精度要求(2％)的最小面积为S0为原面积70％。
根据集料50g所需最小面积计算1kg所需面积大小S及所对应的边长a，计算过程如下：
集料50g所需最小面积S0和边长a0：
S0＝a0*a0*0.7＝20.48cm*20.48cm*0.7＝293.60128cm2
推导出1kg碎石集料所需最小面积：
Figure BDA0004074888140000051
Figure BDA0004074888140000052
由上述计算可知1kg集料在精度不低于2％的要求下，所需投料平台的标准大小为76.63cm*76.63cm。
第三步：根据试验平台面积大小，设计并实现带振动功能的1kg集料的投料平台装置设备，同时具备垂直声控方式拍摄获取图像。每次进行三组平行试验，每组振动10次获取10张高清图像。
第四步：提出通过大图像的分割与拼接技术解决深度学习模型软硬件资源算力受限的问题。1公斤混合集料的颗粒数约为3000个，且拍摄获取的图像具有高分辨率高精度大容量的特征。由于算力限制，深度学习模型无法一次计算处理1张超大图像，故采用图像分割技术将1张超大图像分割成独立的16张局部图像，分别识别与分割后再采用图像拼接技术合并成原图像大小，最后输出结果图像。若直接对原图像进行分割-识别-合并，会出现处于分割线上的颗粒被一分为二的现象，降低了模型的颗粒识别精度。因此，本发明针对此问题设计了一种顶部为16格子金属框架，底部为水平钢板的可拆卸式集料托盘。试验时，先将1公斤骨料均匀放入托盘的16格中，取出金属框架后对集料颗粒进行拍照，然后对拍照获取的大图像进行分割、模型单独识别和合并，有效解决分割线上颗粒错分割问题。
第五步：提出一种计算集料颗粒的等效粒径的新方法：
由于集料颗粒形状各异，大致可分为类椭圆状和类针状。本发明提出一种新的混合方式计算集料颗粒等效粒径，类椭圆状可采用等效面积径作为粒径，类针状可采用等效椭圆Ferret短径作为粒径。具体步骤为：首先通过深度学习模型识别与分割出集料颗粒的投影面积，再计算投影面积的最小外接矩形，最后得到外接矩形的长短轴之比。通过试验确定划分类椭圆和类针状的长短轴之比系数作为颗粒形状的判定系数c，最终计算集料中每个颗粒的等效粒径D，如公式(1)所示。
Figure BDA0004074888140000061
其中D为等效粒径，a为最小外接矩形短轴，b为最小外接矩形长轴，c为通过试验确定的判定系数。
第六步：计算集料颗粒的体积，并计算粒径范围内(由颗粒的等效粒径划分)所有颗粒的质量占比，即集料的级配。通过对比试验得出颗粒的投影面积A乘以投影面积的费雷特(Feret)短径R得到的等效体积与颗粒的实际体积最接近，故采用此方法计算集料颗粒的体积，如公式(2)所示。
V≈A · R(2)
其中：A表示集料颗粒的投影面积，R表示投影面积所对应的费雷特短径。由此计算各粒径范围内集料颗粒的总体积，并得到质量占比GIR(Gradation in Range)，即集料级配，如公式(3)所示：
Figure BDA0004074888140000071
其中，Q表示集料颗粒质量，A表示集料颗粒投影面积，D表示投影面积所对应的费雷特短径，m,n分别表示集料总颗粒数和某一粒径范围内的颗粒数，ρ表示颗粒密度，v表示颗粒体积，i，j分别表示某一粒径范围内的颗粒序号和总颗粒的颗粒序号。
第七步：通过集料振动试验研究振动对级配的影响，得到不影响级配精度的振动次数。通过传统筛分法得到混合集料的级配曲线，再通过深度学习模型自动得到级配曲线进行对比分析，并由评价指标欧几里得距离ED，来表征样本的级配曲线与筛分曲线的接近程度。
具体过程如下：设计并实现1kg集料的投料平台，在投料平台上投放混合集料辉绿岩1kg并完成振动10次，每振动1次声控拍摄获取1张图像，共获取10张图像，依次分析每张图像中的集料颗粒级配GIR，并累加求均值，振动数次后得到的累加级配均值GIR已完全稳定，接近筛分级配，精度高。
第八步：通过不同含泥量的集料颗粒试验，评价含泥量对模型精度和级配分析的影响。由于实际应用中，集料含泥量一般不高于4％，设计不同集料含泥量1％，2％，3％，4％，5％，6％试验，通过试验平台拍摄获取图像进行预处理后，输入深度学习模型进行识别与分割，自动获取集料的级配。
表1为集料颗粒级配的定性分析结果，不同颜色代表不同的粒径范围。表2为集料颗粒级配的定量分析结果。
表1不同粒径范围大小的对应颜色
Figure BDA0004074888140000072
表2混合集料1kg级配的定量分析数据
Figure BDA0004074888140000073
Figure BDA0004074888140000081
第九步：通过迁移学习方式，在其它常见材质：辉绿岩，石灰岩，玄武岩，卵石的集料图像中制作标准数据集并训练模型，均可得到满足精度要求的级配分析，验证原模型的迁移性和泛化性。
第十步：本发明中所采用的评估指标有，绝对误差AE，平均绝对百分比误差MAPE，平均交并比mIoU，平均像素精度mPA，欧几里得距离ED。
具体计算方式如下：
1)绝对误差AE(Absolute Error)
真值个数和识别个数之差，图像中集料的真值个数作为标准，与模型识别的集料颗粒个数进行对比，其差值作为关键评价指标，差值越小性能越好。
Figure BDA0004074888140000082
其中，
Figure BDA0004074888140000083
表示真值，y表示实际值。
2)平均绝对百分比误差MAPE(Mean Absolute Percentage Error)
所有样本误差的绝对值占实际值的比值，指标越接近于0，模型越准确，模型性能越好
Figure BDA0004074888140000084
其中，
Figure BDA0004074888140000085
表示真值，y表示实际值。
3)交并比IoU(Intersection over Union)
像素评价指标，深度学习识别的集料颗粒图像与集料真值图像的交集像素值与并集像素值之比，越接近1精度越高。即预测区域和实际区域的交集除以预测区域和实际区域的并集，简称交并比。计算两个集合之间交集和并集的比例，在图像分割中，就是真值(Ground Truth)和预测值两个集合的比例。
Figure BDA0004074888140000086
平均交并比mIoU(mean Intersection over Union)
先计算每个类内的交并比，然后求平均得到所有类别的平均交并比。
Figure BDA0004074888140000091
4)精度均值AP(Average Precision)
采用精度均值AP对模型的整体性能进行评估。AP是预测单个目标类别的平均查准率，由精确率和召回率计算得出，以精确率Precision为纵坐标，召回率Recall为横坐标，绘制P-R(Precision-recall)曲线，AP即为P-R曲线的积分。Precision是指在测试集中所有被标记为颗粒的样本中，颗粒正样本所占的比率；Recall是测试集中所有颗粒正样本中，被正确识别为颗粒的比例。
Precision和Recall的计算方式如下：
Figure BDA0004074888140000092
Figure BDA0004074888140000093
其中，TP表示为实际为颗粒且被模型预测为颗粒的个数，即正样本被检测为正样本；FP为实际为背景却被模型预测为颗粒的个数，即负样本被检测出为正样本；FN为实际为颗粒但没有被模型识别为颗粒的个数，即正样本未被检测出为正样本。
AP50,AP75,AP80则分别表示当IoU＝0.5,0.75,0.8时，AP的值。
平均精度均值mAP(mean Average Precision)，每个类别的精度均值AP的算术平均值，即先求出每个类别的精度均值，然后求这些类别的AP的算术平均值，类别分为颗粒和背景两类。
Figure BDA0004074888140000094
其中，K为类别数目。
5)欧几里得距离ED(Euclidean Distance)
ED是距离定义指标，指在n维空间中两个点的真实距离，或者向量的自然长度(即该点到原点的距离)。通过计算不同曲线上的点与点的ED距离，来表征曲线的接近程度，ED值越小，表示曲线越接近，反之，曲线偏离越远。
已知两个点A＝(a1,a2,...,an),B＝(b1,b2,...,bn)，则AB间的距离为：
Figure BDA0004074888140000101
6)单向距离OWD(One Way Distance)
OWD是指两条轨迹所围成的面积。当区域较大时，轨迹之间的距离较远，相似度较低。反之，若包围面积为0，则两条轨迹重合，相似度最高，可根据公式计算。
Figure BDA0004074888140000102
Figure BDA0004074888140000103
其中，T1和T2是两条轨迹，p是T1上的离散点。
验证实施例：
本发明提供了一种基于深度学习的集料颗粒级配自动识别的新方法，流程图如图1所示，所述方法包括：
S1：制备集料。
本实施例中使用的原材料为辉绿岩，根据实际行业应用需求，制备5种不同粒径大小的辉绿岩集料颗粒，粒径分别为2.36mm～4.75mm，4.75mm～7mm，7mm～9.5mm，9.5mm～13.2mm，及13.2mm～16mm，如图4所示。
S2：获取原始数据集。
制备5种不同粒径大小的混合集料，采用高清数码相机固定机位定焦垂直拍摄，获取50张原始高清图像，拍摄系统示意图如图5所示。图像分辨率为2048*2048，拍摄完成后在Photoshop软件里进行梯形校正等图像预处理，形成原始数据集。
S3：数据集标注。
采用Labelme图像标注软件对50张原始数据集进行人工标注，形成集料颗粒图像的真值数据。由于深度学习模型Mask R-CNN能实现图像像素级的识别与分割，标注的精度将直接决定模型对集料颗粒识别的精度，为了尽可能的提高标注精度，首先在标注软件Labelme中对图像放大3倍，然后贴合集料颗粒的边缘进行多边形点标注，标注完成后还原成原始图像尺寸保存构成集料颗粒的真值数据，同时自动形成其对应的掩模图，如图6(a)、图6(b)所示。
S4：数据集增强形成标准数据集。
采用数据集增强技术扩充原始数据集可以有效增加数据的多样性，从而提高模型的精度和泛化性能。在本发明中，采用的增强技术有色彩变化、添加不同比例的高斯噪声、各类镜像变换、图像按不同比例缩放、图像旋转不同角度、剪切变换等，如图7所示。对带标注的50张原始图像数据集进行数据集增强20倍，总计1000张，作为模型训练的标准数据集。
S5：构建深度学习模型的软硬件实验平台。
在Ubuntu服务器上部署深度学习模型Mask R-CNN的运行环境，软硬件配置如下。操作系统：Ubuntu18.04，独立显卡：NVIDIA T4 GPU，显卡驱动版本：NVIDIA-Linux-x86_64-450.80.02，Cuda版本：cuda_9.0.176_384.81_linux，Cudnn版本：cudnn-9.0-linux-x64-v7.0.5.15，Tensorflow版本：TensorFlow 1.14.0+Keras 2.2.5。
S6：训练深度学习模型。
将标准数据集按照比例8:1:1分割为训练集，验证集和测试集。在训练集上训练模型，并通过验证集上的表现结果不断自动调整模型参数得到模型的最优超参数，最后在测试集上给出模型运行结果。训练过程如下：Mask R-CNN模型的训练在Tensorflow深度学习框架下进行，采用GPU加速。首先利用Mask R-CNN模型选择网络ResNet-101为特征提取骨干网络，采用COCO数据集预训练网络进行初始化本模型的网络参数，然后在辉绿岩集料的标准数据集上训练，验证，和测试模型。模型的整个训练分为2个阶段：
S6_1：首先冻结骨干网络，对未使用COCO预训练权重的随机初始化层(除Backbone外的其他所有层)进行训练；
S6_2：其次对整个Mask R-CNN模型进行训练。
深度学习模型Mask R-CNN的整个训练过程在Tensorflow的深度学习框架下进行，并由GPU加速。选择ResNet-101网络作为特征提取的骨干网络。然后，通过COCO数据集上的预训练权重来初始化网络参数。然后在自制辉绿岩集料颗粒的数据集上完成模型训练。模型训练中各种参数设置如下，类别参数设置为2(包括辉绿岩颗粒和背景)；锚框大小依次设置为8、16、32、64、128；锚框的每个大小对应于锚框的三个比例(0.5、1.0、2.0)，每个图像的锚框数量设置为256；α权重系数设置为1；权重衰减系数设置为0.0005。此外，模型的激活函数采用修正线性单元(ReLU)，优化函数采用基于随机梯度下降(SGD)；动量因子设置为0.9；网络权重参数的初始学习率设置为0.005；总共设置400个迭代Epoch完成训练，并设置当Epoch达到20时，学习率降至0.0001。训练过程中实时输出模型的训练损失曲线和验证损失曲线。在此训练过程中，发现原始模型的损失曲线在第50个Epoch后趋于平缓，在迭代到第300个Epoch时趋于收敛。整个训练过程中，训练集上的训练损失和验证集上的验证损失曲线图通过程序实时绘制，如图8所示。
S7：确定混合集料辉绿岩1kg投放试验平台的面积。
S7_1：首先确定辉绿岩集料中的最小粒径组集料50g的识别结果。
根据实际应用中对辉绿岩集料颗粒的识别精度要求不低于2％，计算混合集料辉绿岩1kg投放试验平台的面积。由于等质量的集料，粒径越小数量越多，模型精度要求更高，因此先用模型对等质量的最小粒径(2.36-4.75mm)集料进行识别与分割。具体过程如下：称重辉绿岩集料50g，粒径2.36-4.75mm，拍摄图像的分辨率为2048像素*2048像素，为了统一模型单位换算且保证精度，设计集料投放面积为20.48cm*20.48cm，即1像素对应0.1mm。将50g集料最小粒径组(2.36-4.75mm)投放在面积20.48cm*20.48cm的试验平台上，尽可能不堆叠，进行3组试验，拍摄3组图像，其中1组原图像及深度学习模型识别与分割结果图像如图9(a)、图9(b)所示，3组图像的识别与分割评价指标，如表3所示。
表33组图像的识别与分割评价指标
Figure BDA0004074888140000121
实验结果表明，在面积为20.48cm*20.48cm的平台上投放最小粒径集料50g进行颗粒的识别与分割，其效果理想，识别精度高，个数误差百分比MAPE均小于0.5％，且分割指标mAP75也均高于90％，远高于精度要求。
S7_2：确定辉绿岩集料中最小粒径组50g的最小投料平台面积。
针对同一批辉绿岩集料最小粒径组50g不断缩小投放面积进行投放，然后进行识别与分割并计算出模型精度，找出面积与精度的关系，并最终确定模型精度不低于2％的面积大小。试验过程如下：(1)先随机选取50g最小粒径(2.36-4.75mm)的辉绿岩集料，投放在边长a0为20.48cm的正方形面积(a0*a0＝20.48cm*20.48cm)的试验平台中，尽可能分散不堆叠；接着，同一批集料不变，按比例缩小面积进行投放，所采用的比例依次为90％，80％，70％，60％，50％，40％，30％，比例设置和对应的面积和边长如表4所示。
表4面积按比例缩放后与边长的对应关系
Figure BDA0004074888140000122
Figure BDA0004074888140000131
(2)再随机选取混合5种粒径50g的辉绿岩集料，同样投放和缩放，对比分析单一最小粒径组的识别效果和混合5种粒径组的识别效果和精度。由于实际应用中不低于精度2％即可满足需求，通过试验找出满足精度要求(2％)的最小面积S。
试验的识别结果如表5(1)，表5(2)所示，误差分析结果如表5(3)所示。
表5(1)面积按比例缩放后集料原图和识别结果图及识别个数(最小粒径)
Figure BDA0004074888140000132
/>
Figure BDA0004074888140000141
表5(2)面积按比例缩放后集料原图和识别结果图及识别个数(混合粒径)
Figure BDA0004074888140000142
/>
Figure BDA0004074888140000151
/>
Figure BDA0004074888140000161
表5(3)不同面积比例下最小粒径50g和混合5种粒径50g识别个数和误差
Figure BDA0004074888140000162
试验结果表明，最小粒径集料的识别分割难度高于混合粒径，同等条件下的识别精度低于混合粒径，70％面积满足误差2％以内的精度要求，因此用满足最小粒径的误差要求对应的面积，作为集料50g的投料平台的最小设计面积。
S7_3：确定辉绿岩混合集料1kg的投料平台的最小面积。
根据《公路工程集料试验规程》(JTG E42-2005 T0302)中规定的筛分试验最小取样质量，需称重1公斤辉绿岩混合集料进行级配分析得出级配。根据辉绿岩集料50g所需最小投料面积S0计算出1kg所需面积S及所对应的边长a，计算过程如下：
辉绿岩集料50g所需最小面积：
S0＝a0*a0*0.7＝20.48cm*20.48cm*0.7＝293.60128cm2
推导出辉绿岩集料1kg所需最小面积：
Figure BDA0004074888140000171
Figure BDA0004074888140000172
由上述计算可知1kg集料在模式识别精度不低于2％的要求下，所需投料平台的标准大小为76.63cm*76.63cm。
S8：提出大图像的分割与拼接技术，解决深度学习模型算力受限的问题，并在1kg辉绿岩混合集料上应用。
先将辉绿岩集料大图像1张分割为16张局部图像，采用深度学习模型分别对16张局部图像进行识别与分割，然后采用图像拼接技术将16张局部图像的结果图像合并为1张原始大小的图像进行输出。逻辑流程图如图10(a)所示。
具体描述如下：由于1kg集料的颗粒数目约为3000左右，深度学习模型的软硬件资源算力有限，模型中一次最大识别目标对象数量为300，无法一次直接完成所有颗粒的识别与分割任务。需将原始图像裁剪分割为多张局部图像分别进行识别与分割任务后再拼接为原始图像大小。由于裁剪操作会把位于分割线上的1个颗粒误拆分为2个颗粒，导致模型的整体精度下降。因此，本发明针对此问题设计了一种顶部为16格子金属框架，底部为水平钢板的可拆卸式集料托盘。试验时，先将1公斤骨料均匀放入托盘的16格中，取出金属框架后对集料颗粒进行拍照，然后对拍照获取的大图像进行分割、模型单独识别和合并，有效解决分割线上颗粒错分割问题。
为保证模型的运算精度和效率，将投料平台等分为16个区域，区域之间用厚度为0.5mm的有机塑料膜分隔。投放集料前，将其均分为16等分，依次投放至不同区域中并进行合理振动让集料尽可能不重叠且以稳定的姿态存在，试验平台设计图如图5所示，模型识别与分割效果如图10(b)所示。
S9：计算辉绿岩集料颗粒的等效粒径。
本发明提出一种新的混合方式计算集料颗粒等效粒径，具体描述如下：首先通过试验确立等效粒径的判定系数c(集料颗粒的二维投影图像外接椭圆的长短轴之比作为判定系数)。若集料颗粒投影面积的最小外接矩形的长短轴之比大于等于c，取等效椭圆Feret短径作为等效粒径；长短轴之比小于c，取等效面积径作为等效粒径，如公式(14)所示。
Figure BDA0004074888140000181
其中D为等效粒径，a为最小外接矩形短轴，b为最小外接矩形长轴，c为通过试验确定的判定系数。
在本实例中针对辉绿岩集料颗粒计算等效粒径。为了确定辉绿岩集料颗粒的长短轴之比系数，设计3组平行试验。每组试验分别从5档不同粒径大小的集料中大致等量取样，取样形态各异，每组取样颗粒120个。为了减小取样差异带来的误差，进行3组平行试验即以相同的方式取样3批集料共360个，形成真值数据；为了减小同一颗粒不同姿态产生误差，同一批集料振动10次，共3600个颗粒，共拍摄30张图像，30张图像的数据均值作为取样的结果。
通过深度学习模型对图像中的辉绿岩集料颗粒进行识别和分割得到每个颗粒的最小外接矩形长短轴、等效面积径、等效椭圆Ferret短径，再设定不同的最小外接矩形长短轴之比系数(分别设为1.3，1.4，1.5，1.6，1.7，1.8)计算混合方式的等效粒径，并与真值对比，把与真值最接近的系数作为等效粒径的判定系数，试验数据见表6。
表6等效粒径的判定系数的试验数据
Figure BDA0004074888140000182
由表6可知，5档不同粒径大小的筛分个数以及对应不同系数的个数，当等效粒径取等效面积径时，其值波动较大；当等效粒径取等效椭圆Feret短径时，其值均偏小；当等效粒径取最小外接矩形长短径之比为1.6时，每档个数与真值差值最多为1，最接近筛分数目。
综上所述，本发明实例中针对辉绿岩集料颗粒，提出等效粒径判定系数1.6，作为划分标准来计算颗粒的等效粒径，其精度高于直接采用等效面积径、等效椭圆Feret短径等其它方法，即公式(1)中确定c＝1.6，得到公式(15)。
Figure BDA0004074888140000183
S10：计算辉绿岩集料颗粒的体积，并计算粒径范围内(由颗粒的等效粒径划分)所有颗粒的质量占比GIR，同时研究振动带来集料颗粒姿态的变化对GIR的影响。
具体过程如下：
随机取样称重1kg辉绿岩混合集料(5种粒径从小至大分别为2.36mm-4.75mm，4.75mm-7mm，7mm-9.5mm，9.5mm-13.2mm,13.2mm-16mm)。通过传统筛分法得到混合集料的级配曲线，再通过深度学习模型得到级配曲线进行对比分析。由于不同姿态的颗粒垂直投影面积不同，影响深度学习模型的级配结果，通过试验平台进行振动完成颗粒姿态变换，再拍摄图像通过深度学习模型进行级配分析，研究振动次数对级配的影响。根据深度学习模型训练的要求，将颗粒平铺在设计的投料平台上(尽可能避免颗粒堆叠)，投料平台的面积大小为S＝76.63cm*76.63cm，固定机位进行垂直拍摄。对同一批集料通过投料平台底部滑轮的滚动完成振动操作，每振动1次进行1次拍摄获取原始集料图像。为保证拍摄图像与地面水平无夹角，在Photoshop软件中完成对原始图像的角度校正处理，然后输入到深度学习模型分别进行识别与分割。
为保证试验的精度和可靠性，设计取样六批集料进行六组试验，每一批集料取样1kg，其中第3组和第4组，第5组和第6组为设计级配相同的平行试验。每组首先完成筛分试验得到筛分级配数据，再完成10次振动操作获取10张图像进行预处理后输入深度学习模型进行识别与分割获取集料的级配数据GIR。六组中的一组试验原图和分割结果的级配数据见表7所示。
表7第一批集料颗粒筛分级配数据和深度学习自动识别级配数据
Figure BDA0004074888140000191
其对应的级配曲线图见图11。由表7中的数据可知，随着振动次数的增加，每次振动产生的数据差异微小(实际中也发现每次振动完成后颗粒的姿态变换不多，大部分颗粒以相同的稳定状态存在)，级配分析结果并没有变得更接近筛分试验结果。同时，OWD和ED的值并没有随着振动次数的增加而呈现逐渐减小的趋势，而是呈现不规则的波动。这可能是由于在分析级配时所用集料的质量大于一定值时，不同集料颗粒表现出不同的代表性堆积状态。从而减少因集料堆积状态造成的级配分析误差。因此，可知当采用本发明提出的基于深度学习的图像分析集料级配时，如果所用集料的质量不小于1kg，则只需要一个堆积状态的图像(无需多个不同堆叠状态的图像)。
S11：计算不同含泥量的辉绿岩集料颗粒的模型识别精度。
根据《建设用卵石、碎石标准》砂的含泥量不大于5.0％，粗集料(碎石或卵石)的含泥量不大于2.0％。上述试验均针对不同类型洗净的集料，而原始集料为天然的辉绿岩集料碎石，测得其含泥量为1.9％(100g-98.1g)/100g＝1.9％。因此本试验通过洗净原始集料后添加不同比例含泥量，对比不同含泥量的集料进行深度学习识别与分割效果，研究含泥量对深度学习模型精度的影响。
在实际工程中，含泥量一般不高于5％，由此设计含泥量依次为1％，2％，3％，4％，5％，6％的集料分别进行模型识别与分割，进行四组平行试验，结果见图12，数据见表8。
表8不同含泥量的辉绿岩集料识别个数
Figure BDA0004074888140000201
图12中子图a为不同含泥量的集料图像中左上角颗粒放大10倍的图像，图12中子图b为集料原始图像，图12中子图c为集料颗粒识别结果。由图12可知，模型对不同含泥量的集料均表现出很强的鲁棒性，误识别和漏识别概率低。由表8可知，不同含泥量条件下原始个数和识别个数，除了第二组含泥量3％的集料颗粒识别个数比原始个数多3个，其它几组的个数之差(|真值个数-模型识别个数|)均小于或等于2；IoU75表现稳定，均大于0.98，大部分取值为1。综上所述，说明含泥量对模型的识别与分割精度影响微小，在实际中可以忽略含泥量对模型识别与分割精度的影响。
S12：通过迁移学习方式，在其它常见材质(石灰岩，玄武岩，卵石)的集料图像中制作标准数据集并训练模型，均可得到满足精度要求的级配分析，验证原模型的迁移性和泛化性。
S12_1:石灰岩材质的集料颗粒
(1)石灰岩集料颗粒识别
首先通过迁移学习采用辉绿岩的深度学习模型对石灰岩进行识别与分割，得到识别与分割结果。其次采集石灰岩集料图像10张(约3000左右颗粒)进行专家标注形成石灰岩初始数据集，通过数据增强技术扩充数据集形成石灰岩标准数据集。在标准数据集上训练模型，得到石灰岩最优模型进行识别与分割。随机选取石灰岩图像3张，对比未训练模型和训练模型后的识别结果，评价指标AP50,AP75,AP80见表9所示：
表9基于迁移学习的石灰岩集料图像训练前后数据
Figure BDA0004074888140000211
识别结果见图13(a)、图13(b)。由表9可知，未训练的结果基本在0.98左右，训练后的AP50,AP75,AP80(除图像3的AP80为0.98)均提升达到1。由图13(a)、图13(b)可知，未训练前通过迁移学习直接采用训练辉绿岩的深度学习模型对石灰岩进行识别与分割，可以识别与分割绝大部分石灰岩集料颗粒，偶尔出现某些颗粒的误识别和漏识别，以及边缘分割精度不高的现象(图13中a处误识别，b处漏识别，c处边缘分割精度不高)；采用训练后的石灰岩最优模型，误识别和漏识别降低，边缘分割效果明显改善。综上所述，通过迁移学习在石灰岩标准数据集上训练模型可以提高模型识别石灰岩集料的精度。
(2)石灰岩集料级配识别
取样石灰岩集料100g(含不同粒径大小)，其模型识别结果图像见图14(a)、图14(b)。振动10次拍摄10张图像完成模型识别与分割，进行级配分析。10张图像的级配数据见表10所示，
表10石灰岩集料不同粒径范围内的质量占比
Figure BDA0004074888140000212
Figure BDA0004074888140000221
10张图像的级配曲线与筛分曲线见图15。由表9可知，深度学习模型识别的5档不同粒径大小的质量占比中，除了最小档粒径2.36-4.75质量占比(振动10次中最大值为3.89％)略小于筛分法中的质量占比4.00％，因筛分法中最小档中含有一定量的粉灰导致，其它四档质量占比均围绕筛分质量占比呈现上下微小波动并与之接近。由表9可知，10次振动形成的颗粒级配曲线围绕筛分曲线上下波动，但均在合理的误差范围之内，表明石灰岩以比较稳定的姿态存在，振动对石灰岩级配影响不大，在实际中可以忽略振动对模型精度的影响。
S12_2:卵石材质的集料颗粒：
(1)卵石集料颗粒识别
卵石是自然界中由岩石经过自然条件作用而形成的粒径大于5mm的颗粒，其大小，形状，颜色，纹理特征各异，用传统的图像处理算法进行颗粒识别很难兼顾各种特征导致识别效果不佳，但深度学习模型具备迁移性，且对纹理，光照，颜色等特征均表现出很强的鲁棒性，本发明在卵石集料上应用此模型。
同样，先通过迁移学习技术直接采用辉绿岩的深度学习模型对卵石集料进行识别与分割，然后对10张(约3000左右颗粒)卵石集料图像进行专家标注形成卵石初始数据集，通过数据增强技术扩充数据集形成卵石标准数据集。在卵石标准数据集上进行模型训练，得到最优卵石模型进行识别与分割，随机选取图像给出未训练模型和训练模型后的识别结果，训练后均提升达到1。
(2)卵石集料级配识别
试验同样表明振动对卵石级配影响不大，每次振动完成后形成的级配曲线均在筛分曲线下方，但均在合理的误差范围之内。
针对传统的筛分检测法耗时耗力且无法实时获得结果，而传统图像分析方法的分析精度有限，本发明建立一种基于深度学习的高效、准确的集料颗粒识别方法和集料级配分析方法，该方法的级配分析结果与筛分结果逼近，能够有效替代传统筛分法高效实时的获取集料的级配数据。同时，该发明通过采用迁移学习技术并增加一定的模型训练后，能够识别其它常见材质的集料颗粒并得到级配分析的定性定量结果。

Claims (10)

1.基于深度学习的集料颗粒识别和级配自动分析方法，其特征在于包括以下步骤：
步骤一：制作相应材质集料的标准数据集，将标准数据集分割为训练集，验证集和测试集，在训练集中训练深度学习模型Mask R-CNN，得到该材质集料的深度学习模型的最优深度学习模型；
步骤二：根据集料中最小粒径组的识别精度和面积关系，确定符合精度要求的试验平台面积；
步骤三：基于大图像的分割与拼接技术，实现集料颗粒的自动识别与分割；
步骤四：计算集料颗粒的等效粒径，通过颗粒形状确定判定系数，计算集料中每个颗粒的等效粒径；
步骤五：计算集料颗粒的体积，根据颗粒的等效粒径划分，计算粒径范围内所有颗粒的质量占比，即集料的级配。
2.根据权利要求1所述基于深度学习的集料颗粒识别和级配自动分析方法，其特征在于：还包括：
步骤六：通过不同含泥量的集料颗粒试验，评价含泥量对模型精度和级配分析的影响；
步骤七：通过在其它材质集料中制作标准图像数据集，并采用迁移学习方式，在该模型的基础上增加模型训练，得到其它材质的最优模型。
3.根据权利要求1所述基于深度学习的集料颗粒识别和级配自动分析方法，其特征在于：所述步骤一包括以下步骤:
S1.1:首先，采集该材质的混合不同粒径大小的集料图像，得到原始数据集并完成预处理，接着在标注软件中对原始数据集进行标注，并通过数据增强技术扩充数据集，得到该材质的标准数据集；
S1.2:将标准数据集分割为训练集，验证集和测试集，在训练集中训练深度学习模型Mask R-CNN，并在验证集中进行验证，在测测试集中进行测试，最终得到该材质集料的深度学习模型Mask R-CNN的最优超参数和最优深度学习模型，并下载保存最优超参数和最优深度学习模型。
4.根据权利要求1所述基于深度学习的集料颗粒识别和级配自动分析方法，其特征在于：所述步骤二包括以下步骤:
S2.1:先随机选取最小粒径集料，投放在边长a0的正方形面积试验平台中；
S2.2：同一批集料不变，依次按比例缩小面积进行投放，通过试验找出满足精度要求的最小面积为S0为原面积70％。
5.根据权利要求1所述基于深度学习的集料颗粒识别和级配自动分析方法，其特征在于：所述步骤三包括以下步骤:
S3.1:根据试验平台面积大小，设计并实现带振动功能集料的投料平台装置，同时拍摄获取图像；每次进行三组平行试验，每组振动N次获取N张高清图像；
S3.2:采用图像分割技术，将1张超大图像分割成独立的多张局部图像，分别识别与分割后，再采用图像拼接技术合并成原图像大小，最后输出结果图像。
6.根据权利要求1所述基于深度学习的集料颗粒识别和级配自动分析方法，其特征在于：所述步骤四中，类椭圆状采用等效面积径作为粒径，类针状采用等效椭圆Feret短径作为粒径，具体步骤为：
首先通过最优深度学习模型识别与分割出集料颗粒的投影面积，再计算投影面积的最小外接矩形，最后得到最小外接矩形的长短轴之比；通过试验确定划分类椭圆和类针状的长短轴之比系数，作为颗粒形状的判定系数c，最终计算集料中每个颗粒的等效粒径D，如公式(1)所示；
Figure FDA0004074888130000021
式(1)中：D为等效粒径，a为最小外接矩形短轴，b为最小外接矩形长轴，c为通过试验确定的判定系数。
7.根据权利要求1所述基于深度学习的集料颗粒识别和级配自动分析方法，其特征在于：所述步骤五中，颗粒的投影面积A乘以投影面积的费雷特(Feret)短径R，得到的等效体积与颗粒的实际体积最接近，故采用此方法计算集料颗粒的体积，如公式(2)所示；
V≈A·R(2)式(2)中：A表示集料颗粒的投影面积，R表示投影面积所对应的费雷特短径；由此计算各粒径范围内集料颗粒的总体积，并得到质量占比GIR(Gradation inRange)，即集料级配，如公式(3)所示：
Figure FDA0004074888130000022
式(3)中：Q表示集料颗粒质量，A表示集料颗粒投影面积，D表示投影面积所对应的费雷特短径，m、n分别表示集料总颗粒数和某一粒径范围内的颗粒数，ρ表示颗粒密度，v表示颗粒体积，i，j分别表示某一粒径范围内的颗粒序号和总颗粒的颗粒序号。
8.根据权利要求7所述基于深度学习的集料颗粒识别和级配自动分析方法，其特征在于：通过集料振动试验研究振动对级配的影响，得到不影响级配精度的振动次数：
设计集料的投料平台，在投料平台上投放混合集料辉绿岩并完成振动10次，每振动1次声控拍摄获取1张图像，共获取10张图像，依次分析每张图像中的集料颗粒级配GIR，并累加求均值，振动数次后得到的累加级配均值GIR已完全稳定，接近筛分级配，精度高。
9.根据权利要求7所述基于深度学习的集料颗粒识别和级配自动分析方法，其特征在于：所述步骤七中，通过迁移学习方式，在其它常见材质：辉绿岩，石灰岩，玄武岩，卵石的集料图像中制作标准数据集，并训练深度学习模型Mask R-CNN，均能够得到满足精度要求的级配分析，验证最优深度学习模型Mask R-CNN的迁移性和泛化性。
10.根据权利要求1～9所述任意一项的基于深度学习的集料颗粒识别和级配自动分析方法，其特征在于：
该方法中，所采用的评估指标包括：绝对误差AE，平均绝对百分比误差MAPE，平均交并比mIoU，平均像素精度mPA，欧几里得距离ED、单向距离OWD，具体计算方式如下：
1)绝对误差AE(Absolute Error)：
真值个数和识别个数之差，图像中集料的真值个数作为标准，与模型识别的集料颗粒个数进行对比，其差值作为关键评价指标，差值越小性能越好；
Figure FDA0004074888130000031
式(4)中，
Figure FDA0004074888130000032
表示真值，y表示实际值；/>
2)平均绝对百分比误差MAPE(Mean Absolute Percentage Error)：
所有样本误差的绝对值占实际值的比值，指标越接近于0，模型越准确，模型性能越好
Figure FDA0004074888130000033
式(5)中，
Figure FDA0004074888130000034
表示真值，y表示实际值；
3)交并比IoU(Intersection over Union)：
像素评价指标，深度学习识别的集料颗粒图像与集料真值图像的交集像素值与并集像素值之比，越接近1精度越高；即预测区域和实际区域的交集除以预测区域和实际区域的并集，简称交并比；计算两个集合之间交集和并集的比例，在图像分割中，就是真值(GroundTruth)和预测值两个集合的比例；
Figure FDA0004074888130000041
平均交并比mIoU(mean Intersection over Union)
先计算每个类内的交并比，然后求平均得到所有类别的平均交并比；
Figure FDA0004074888130000042
4)精度均值AP(Average Precision)：
采用精度均值AP对模型的整体性能进行评估；AP是预测单个目标类别的平均查准率，由精确率和召回率计算得出，以精确率Precision为纵坐标，召回率Recall为横坐标，绘制P-R(Precision-recall)曲线，AP即为P-R曲线的积分；Precision是指在测试集中所有被标记为颗粒的样本中，颗粒正样本所占的比率；Recall是测试集中所有颗粒正样本中，被正确识别为颗粒的比例；
Precision和Recall的计算方式如下：
Figure FDA0004074888130000043
Figure FDA0004074888130000044
其中，TP表示为实际为颗粒且被模型预测为颗粒的个数，即正样本被检测为正样本；FP为实际为背景却被模型预测为颗粒的个数，即负样本被检测出为正样本；FN为实际为颗粒但没有被模型识别为颗粒的个数，即正样本未被检测出为正样本；
平均精度均值mAP(mean Average Precision)，每个类别的精度均值AP的算术平均值，即先求出每个类别的精度均值，然后求这些类别的AP的算术平均值，类别分为颗粒和背景两类；
Figure FDA0004074888130000045
其中，K为类别数目；
5)欧几里得距离ED(Euclidean Distance)：
ED是距离定义指标，指在n维空间中两个点的真实距离，或者向量的自然长度；通过计算不同曲线上的点与点的ED距离，来表征曲线的接近程度，ED值越小，表示曲线越接近，反之，曲线偏离越远；
已知两个点A＝(a1,a2,...,an),B＝(b1,b2,...,bn)，则AB间的距离为：
Figure FDA0004074888130000051
6)单向距离OWD(One Way Distance)：
OWD是指两条轨迹所围成的面积；当区域较大时，轨迹之间的距离较远，相似度较低；反之，若包围面积为0，则两条轨迹重合，相似度最高，可根据公式计算；
Figure FDA0004074888130000052
Figure FDA0004074888130000053
其中，T1和T2是两条轨迹，p是T1上的离散点。
CN202310106107.3A 2023-02-13 2023-02-13 基于深度学习的集料颗粒识别和级配自动分析方法 Pending CN116258689A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310106107.3A CN116258689A (zh) 2023-02-13 2023-02-13 基于深度学习的集料颗粒识别和级配自动分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310106107.3A CN116258689A (zh) 2023-02-13 2023-02-13 基于深度学习的集料颗粒识别和级配自动分析方法

Publications (1)

Publication Number Publication Date
CN116258689A true CN116258689A (zh) 2023-06-13

Family

ID=86682079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310106107.3A Pending CN116258689A (zh) 2023-02-13 2023-02-13 基于深度学习的集料颗粒识别和级配自动分析方法

Country Status (1)

Country Link
CN (1) CN116258689A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503845A (zh) * 2023-06-25 2023-07-28 四川省交通勘察设计研究院有限公司 一种再生沥青混合料中的假骨料含量检测方法、系统及介质
CN117237303A (zh) * 2023-09-19 2023-12-15 中南大学 基于机器视觉的非接触式堆石颗粒级配检测方法及装置
CN117611657A (zh) * 2024-01-22 2024-02-27 江西农业大学 一种杏鲍菇体积计算方法
CN117806387A (zh) * 2024-02-29 2024-04-02 青岛英诺包装科技有限公司 一种基于数据处理的加工温度调控方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503845A (zh) * 2023-06-25 2023-07-28 四川省交通勘察设计研究院有限公司 一种再生沥青混合料中的假骨料含量检测方法、系统及介质
CN116503845B (zh) * 2023-06-25 2023-09-12 四川省交通勘察设计研究院有限公司 一种再生沥青混合料中的假骨料含量检测方法、系统及介质
CN117237303A (zh) * 2023-09-19 2023-12-15 中南大学 基于机器视觉的非接触式堆石颗粒级配检测方法及装置
CN117237303B (zh) * 2023-09-19 2024-05-03 中南大学 基于机器视觉的非接触式堆石颗粒级配检测方法及装置
CN117611657A (zh) * 2024-01-22 2024-02-27 江西农业大学 一种杏鲍菇体积计算方法
CN117611657B (zh) * 2024-01-22 2024-04-23 江西农业大学 一种杏鲍菇体积计算方法
CN117806387A (zh) * 2024-02-29 2024-04-02 青岛英诺包装科技有限公司 一种基于数据处理的加工温度调控方法
CN117806387B (zh) * 2024-02-29 2024-05-24 青岛英诺包装科技有限公司 一种基于数据处理的加工温度调控方法

Similar Documents

Publication Publication Date Title
CN116258689A (zh) 基于深度学习的集料颗粒识别和级配自动分析方法
CN110458119B (zh) 一种非接触式测量的混凝土骨料级配快速识别方法
CN110118775B (zh) 厂拌水泥稳定碎石骨料组成快速检测方法
Moaveni et al. Evaluation of aggregate size and shape by means of segmentation techniques and aggregate image processing algorithms
CN109767423B (zh) 一种沥青路面图像的裂缝检测方法
CN110333554B (zh) Nriet暴雨智能相似分析方法
CN108647585A (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN101069192A (zh) 用来从抽样数据抽取整合直方图的计算机实施方法
CN112964712A (zh) 一种快速检测沥青路面状态的方法
CN110796048A (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN102542293A (zh) 一种针对高分辨率sar图像场景解译的一类提取分类方法
CN110852164A (zh) 一种基于YOLOv3的自动检测违章建筑方法及系统
CN105184317A (zh) 一种基于svm分类的车牌字符分割方法
CN112580542A (zh) 一种基于目标检测的钢筋计数方法
CN116091426A (zh) 一种基于编-解码器的路面裂纹检测方法
Azarafza et al. Application of an image processing-based algorithm for river-side granular sediment gradation distribution analysis
CN109886303A (zh) 一种基于粒子群优化的TrAdaboost样本迁移航空影像分类方法
CN116824399A (zh) 基于改进YOLOv5神经网络的路面裂缝识别方法
CN113177949B (zh) 一种大尺寸岩石颗粒特征识别方法及装置
CN114648507A (zh) 对骨料进行在线检测的方法、可读存储介质及终端设备
CN114332006A (zh) 一种城垛缺失自动定量评估方法
Li et al. Multiple structural defect detection for reinforced concrete buildings using YOLOv5s
Hao et al. An improved image segmentation algorithm and measurement methods for asphalt mixtures
CN1959703A (zh) 利用遥感图像实现城市不同类型住宅区自动识别的方法
CN113740216B (zh) 一种宽级配混合骨料空地一体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination