CN113780200A - 基于计算机视觉的路面多种病害面积检测及定位方法 - Google Patents

基于计算机视觉的路面多种病害面积检测及定位方法 Download PDF

Info

Publication number
CN113780200A
CN113780200A CN202111081048.6A CN202111081048A CN113780200A CN 113780200 A CN113780200 A CN 113780200A CN 202111081048 A CN202111081048 A CN 202111081048A CN 113780200 A CN113780200 A CN 113780200A
Authority
CN
China
Prior art keywords
disease
image
diseases
pavement
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111081048.6A
Other languages
English (en)
Inventor
刘玉文
黄友锐
韩涛
方明帅
江灵雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202111081048.6A priority Critical patent/CN113780200A/zh
Publication of CN113780200A publication Critical patent/CN113780200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的路面多种病害面积检测及定位方法，其方法包括：基于计算机视觉的路面病害检测和路面病害计算，基于计算机视觉的路面病害检测包括获取病害数据集、训练病害检测模型、检测目标路面病害，主要功能为实时检测目标路面的病害、获取检测目标路面的病害的类型和个数；路面病害计算包括计算病害中心坐标、计算病害面积，主要功能为获取检测目标路面病害的实际位置与大小；在路面病害检测过程中，通过病害数据集训练出符合要求的模型对目标路面进行实时病害检测得到检测结果，利用检测结果输出并计算病害类型、个数、面积、中心坐标，实现实时检测路面病害的功能，加快路面病害检测效率，提高路面病害检测准确度。

Description

基于计算机视觉的路面多种病害面积检测及定位方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于计算机视觉的路面多种病害面积检测及定位方法。
背景技术
近年来，国家加大了对于道路的相关建设，道路频繁使用导致路面会出现很多病害，所以道路的养护显得尤为重要，提升养护和管控水平，精确发现影响驾驶车辆的道路问题，及时生成道路病害工单并推送到养护单位，缩短道路病害基本工作闭环时间，尽快解决影响车辆驾驶的道路问题。对于路面病害的养护，首先要收集有关路面的病害情况，然后准确检测到路面病害，然后根据检测到的结果提取出病害的类型、个数、病害面积及病害位置等所需信息。但是，目前主要检测路面病害的方法主要是先用图像处理收集信息，再辅以人工判断，这种方法获得的检测结果包含的病害信息有限，仅仅只包含检测到的路面病害类型信息，不仅检测效率低，精准度也不高。道路养护工作效率的提升，需要收集到全面的路面病害信息，不仅要获取到路面病害的类型和数量，还要具体计算出路面病害的面积和位置，为道路养护提供精准实时的方案，提高道路养护效率。
发明内容
针对上述问题，本发明的目的是为了提供一种基于计算机视觉的路面多种病害面积检测及定位方法，该方法提升了检测路面病害的速度，实现实时检测路面病害的功能。在计算路面病害过程中，通过收集到的路面病害图像制作出病害训练集、病害验证集、病害测试集，利用病害训练集与病害验证集对病害检测模型进行训练，并用病害测试集对训练后的模型进行评估，保存符合要求的训练后的模型。在目标路面现场中部署训练后的模型，对目标路面进行实时病害检测，得到检测结果，检测结果中包含病害的个数和类型，获取检测结果中病害图像，利用拟合椭圆计算出检测检测目标路面的病害的实际位置与大小，极大的加快了路面病害检测的效率，提高了路面病害检测的精准度，实现实时检测路面病害的功能，为路面病害的养护提供了更为快捷的方法。
为了达到上述目的，本发明所采用的技术方案为：
基于计算机视觉的路面多种病害面积检测及定位方法，其特征在于，所述方法包括基于计算机视觉的路面病害检测和路面病害计算：所述基于计算机视觉的路面病害检测包括获取病害数据集、训练病害检测模型、检测目标路面病害，主要功能为实时检测目标路面的病害、获取检测目标路面的病害的类型和个数；所述路面病害计算包括计算病害中心坐标、计算病害面积，主要功能为利用拟合椭圆计算所述检测检测目标路面的病害的实际位置与大小。
进一步的，所述获取病害数据集，其步骤如下：
(1)收集路面病害图像，路面病害图像要包括“无异常”、“裂缝”、“车辙”、“松散”、“冻胀翻浆”、“沉陷”、“拥包”、“泛油“、“龟裂唧浆”和“桥头沉降”状态的图像，制作病害样本集；
(2)标注所述病害样本集的每个图像样本，获得病害样本集对应的json样本标签文件，该json样本标签文件中包含每个图像样本的标签值；
(3)所述病害样本集和病害样本集的json文件样本标签，预处理病害样本集，转化为coco数据集格式，转化后的病害样本集按照比例8:1:1分为病害训练集、病害验证集、病害测试集。
进一步的，所述训练病害检测模型，其步骤如下：
(1)设置病害检测模型的初始训练参数：主干网络(backbone)设置为Resnet50、学习率衰减区间(lr_steps)设置为(30000，60000，90000)、训练迭代次数(max_iter)设置为30000、训练批次(batch_size)设置为4、阈值(score_threshold)设置为0.3；
(2)输入病害训练集与病害验证集，训练病害检测模型，其训练过程为：
(2-1)病害训练集与病害验证集的图像样本输入到病害检测模型主干网络(backbone)进行图像样本的特征提取，所述主干网络(backbone)采用：Resnet50残差结构+FPN结构，以及多尺度的特征图，从而可以检测到不同尺寸的病害；Resnet50残差结构共有C1到C5五个卷积模块，FPN网络是由C5卷积模块经过1个卷积层得到P5特征图，对P5特征图采用双线性插值使特征图扩大一倍，与经过卷积的C4卷积模块相加得到P4特征图，再采用同样的方法对P4特征图采用双线性插值使特征图扩大一倍，与经过卷积的C3卷积模块相加得到P3特征图，然后对P5特征图进行卷积和下采样得到P6特征图，对P6特征图进行同样的卷积和下采样得到P7特征图,从而建立P3-P7五个特征图的FPN网络，P3特征图被送入Protonet任务分支，同时P3-P7五个特征图也被送入Prediction Head任务分支中；
(2-2)Protonet任务分支，该任务分支是由若干卷积层组成的全卷积网络(FCN)来生成一组与所述病害原图像尺寸(550*550)一样的原型掩码(P)，Protonet部分对于每张输入的病害图像预测k个原型掩码，由于病害训练集、病害验证集、病害测试集，转化为coco数据集格式，对于coco数据集格式k取32效果最好，所以这部分输出的掩模维度是138*138*32，即32个原型掩码，每个大小是138*138；
(2-3)Prediction Head任务分支，采用共享卷积网络，提高对图像样本的检测速度，从而达到对图像样本的实时检测；P3-P7五个特征图输入到Prediction Head任务分支，每个特征图先生成图像样本中的病害，然后Prediction Head任务分支为每个特征图生成三类输出：类别置信度、位置回归参数、掩模系数，将五个特征图生成的三类输出进行拼接，最终生成图像样本中各个病害的类别置信度、位置回归参数以及掩模系数(C)；
(2-4)所述Protonet任务分支与Prediction Head任务分支是并行任务，对经过NMS后的预测病害，通过线性组合两个任务分支的结果所述原型掩码(P)与所述掩模系数(C)来计算每个病害的掩模，具体做法是采用如下的矩阵乘法：
M＝σ(PCT)
其中P是h×w×k的原型掩码，C是n×k的掩模系数矩阵，h是原型掩码的高，w是原型掩码的宽，n是通过NMS和阈值过滤后每个病害对应的k个掩模系数；
(2-5)将病害框之外的位置置零，以阈值为0.3，对输出的掩模做二值化操作，将掩模中值的范围限制在[0,1]之间；
(3)训练迭代到30000次后，停止训练，保存训练后的模型；
(4)用病害测试集对训练后的模型进行评估,将病害测试集中所有图像依次输入到训练后的模型中，记录下每张图像样本检测后的标签值，并与病害测试集的json文件中标注的对应标签值进行比较，在病害测试集中所有图像样本全部判断完成后，查看病害检测置信度分数，判断训练后的模型在病害测试集中的判断准确率是否符合要求，如果符合要求，则保存训练后的模型；如果不符合要求，则跳转到步骤(1)，修改病害检测模型的初始训练参数：训练迭代次数与阈值，进行再次训练。
进一步的，所述检测目标路面病害，其步骤如下：
(1)使用训练后的模型对目标路面进行实时检测，将训练后的模型部署到目标路面现场中，摄像机对目标路面进行实时拍摄，将拍摄到的视频每一帧图像，作为待检测图像；
(2)对所述待检测图像进行所述预处理后得到检测样本集；
(3)所述检测样本集输入到所述训练后的模型中，提取图像中病害的特征，并对所述特征进行特征分类；
(4)训练后的模型计算出检测结果，在所述检测图像中标出检测到的病害注明其类型作为检测结果输出，保存所述检测结果，检测结果中包含目标路面中病害的类型和个数，从而实现实时检测目标路面病害的功能。
进一步的，所述计算病害中心坐标，其特征为获取检测结果中病害图像，利用OpenCV中拟合椭圆计算病害中心坐标：对病害图像进行二值化操作，对二值化图像进行高斯滤波，提取病害掩模边缘轮廓，输出病害图像中病害掩膜边缘轮廓点坐标、病害掩膜边缘轮廓的关系；将病害掩膜边缘轮廓从左到右进行排序，循环排序后的病害掩膜边缘轮廓，得到图像中病害的拟合椭圆，输出所述拟合椭圆的中心点坐标，按照病害图像像素距离与目标路面实际距离的比值设定比例尺，计算出病害在目标路面的位置。
进一步的，所述计算病害面积，其特征为获取检测结果中病害图像，利用OpenCV中拟合椭圆计算病害中心坐标：对病害图像进行二值化操作，对二值化图像进行高斯滤波，提取病害掩模边缘轮廓，输出病害图像中病害掩膜边缘轮廓点坐标、病害掩膜边缘轮廓的关系；将病害掩膜边缘轮廓从左到右进行排序，循环排序后的病害掩膜边缘轮廓，得到图像中病害的拟合椭圆，输出计算机测量的所述拟合椭圆像素点长轴长度和短轴长度，按照病害图像像素距离与目标路面实际距离的比值设定比例尺，计算出计算机测量的所述拟合椭圆像素点长轴长度和短轴长度与设定比例尺的比值，从而计算出检测到的病害在目标路面中所占面积。
本发明有益效果体现在：
本发明所述的基于计算机视觉的路面多种病害面积检测及定位方法，在检测路面病害过程中，提升了检测路面病害的速度，实现了实时检测路面病害的功能。在计算路面病害过程中，通过收集到的路面病害图像制作出病害训练集、病害验证集、病害测试集，利用病害训练集与病害验证集对病害检测模型进行训练，并用病害测试集对训练后的模型进行评估，保存符合要求的训练后的模型。在目标路面现场中部署训练后的模型，对目标路面进行实时病害检测，得到检测结果，检测结果中包含病害的个数和类型，获取检测结果中病害图像，利用拟合椭圆计算出检测检测目标路面的病害的实际位置与大小。基于计算机视觉的路面多种病害面积检测及定位方法大大降低了路面养护检测期间的工作量，不仅加快了对目标路面的病害检测效率，还提高了路面病害检测结果的准确度，为路面病害检测提供了更为快捷高效的方法。
附图说明
图1为本发明方法的整体框图。
图2为本发明方法获取病害训练集的流程图。
图3为本发明方法训练病害检测模型的流程图。
图4为本发明方法病害检测模型训练流程图。
图5为本发明方法检测目标路面病害的流程图。
图6为本发明方法计算病害中心坐标的流程图。
图7为本发明方法计算病害面积的流程图。
图8为本发明方法实验结果图。
具体实施方式
如图1所示，基于计算机视觉的路面多种病害面积检测及定位方法总体过程为：
本发明方法包括基于计算机视觉的路面病害检测和路面病害计算：所述基于计算机视觉的路面病害检测包括获取病害数据集、训练病害检测模型、检测目标路面病害，主要功能为实时检测目标路面的病害、获取检测目标路面的病害的类型和个数；所述路面病害计算包括计算病害中心坐标、计算病害面积，主要功能为利用拟合椭圆计算所述检测检测目标路面的病害的实际位置与大小。
如图2所示，本发明方法的获取病害训练集过程为：
(1)收集路面病害图像，路面病害图像要包括“无异常”、“裂缝”、“车辙”、“松散”、“冻胀翻浆”、“沉陷”、“拥包”、“泛油“、“龟裂唧浆”和“桥头沉降”状态的图像，制作病害样本集；
(2)标注所述病害样本集的每个图像样本，获得病害样本集对应的json样本标签文件，该json样本标签文件中包含每个图像样本的标签值；
(3)所述病害样本集和病害样本集的json文件样本标签，预处理病害样本集，转化为coco数据集格式，转化后的病害样本集按照比例8:1:1分为病害训练集、病害验证集、病害测试集。
如图3所示，本发明方法的训练病害检测模型过程为：
进一步的，所述训练病害检测模型，其步骤如下：
(1)设置病害检测模型的初始训练参数：主干网络(backbone)设置为Resnet50、学习率衰减区间(lr_steps)设置为(30000，60000，90000)、训练迭代次数(max_iter)设置为30000、训练批次(batch_size)设置为4、阈值(score_threshold)设置为0.3；
(2)输入病害训练集与病害验证集，训练病害检测模型；
(3)训练迭代到30000次后，停止训练，保存训练后的模型；
(4)用病害测试集对训练后的模型进行评估,将病害测试集中所有图像依次输入到训练后的模型中，记录下每张图像样本检测后的标签值，并与病害测试集的json文件中标注的对应标签值进行比较，在病害测试集中所有图像样本全部判断完成后，查看病害检测置信度分数，判断训练后的模型在病害测试集中的判断准确率是否符合要求，如果符合要求，则保存训练后的模型；如果不符合要求，则跳转到步骤(1)，修改病害检测模型的初始训练参数：训练迭代次数与阈值，进行再次训练。
如图4所示，本发明方法的病害检测模型训练过程为：
(1)病害训练集与病害验证集的图像样本输入到病害检测模型主干网络(backbone)进行图像样本的特征提取，所述主干网络(backbone)采用：Resnet50残差结构+FPN结构，以及多尺度的特征图，从而可以检测到不同尺寸的病害；Resnet50残差结构共有C1到C5五个卷积模块，FPN网络是由C5卷积模块经过1个卷积层得到P5特征图，对P5特征图采用双线性插值使特征图扩大一倍，与经过卷积的C4卷积模块相加得到P4特征图，再采用同样的方法对P4特征图采用双线性插值使特征图扩大一倍，与经过卷积的C3卷积模块相加得到P3特征图，然后对P5特征图进行卷积和下采样得到P6特征图，对P6特征图进行同样的卷积和下采样得到P7特征图,从而建立P3-P7五个特征图的FPN网络，P3特征图被送入Protonet任务分支，同时P3-P7五个特征图也被送入Prediction Head任务分支中；
(2)Protonet任务分支，该任务分支是由若干卷积层组成的全卷积网络(FCN)来生成一组与所述病害原图像尺寸(550*550)一样的原型掩码(P)，Protonet部分对于每张输入的病害图像预测k个原型掩码，由于病害训练集、病害验证集、病害测试集，转化为coco数据集格式，对于coco数据集格式k取32效果最好，所以这部分输出的掩模维度是138*138*32，即32个原型掩码，每个大小是138*138；
(3)Prediction Head任务分支，采用共享卷积网络，提高对图像样本的检测速度，从而达到对图像样本的实时检测；P3-P7五个特征图输入到Prediction Head任务分支，每个特征图先生成图像样本中的病害，然后Prediction Head任务分支为每个特征图生成三类输出：类别置信度、位置回归参数、掩模系数，将五个特征图生成的三类输出进行拼接，最终生成图像样本中各个病害的类别置信度、位置回归参数以及掩模系数(C)；
(4)所述Protonet任务分支与Prediction Head任务分支是并行任务，对经过NMS后的预测病害，通过线性组合两个任务分支的结果所述原型掩码(P)与所述掩模系数(C)来计算每个病害的掩模，具体做法是采用如下的矩阵乘法：
M＝σ(PCT)
其中P是h×w×k的原型掩码，C是n×k的掩模系数矩阵，h是原型掩码的高，w是原型掩码的宽，n是通过NMS和阈值过滤后每个病害对应的k个掩模系数；
(5)将病害框之外的位置置零，以阈值为0.3，对输出的掩模做二值化操作，将掩模中值的范围限制在[0,1]之间；
如图5所示，本发明方法的检测目标路面病害过程为：
(1)使用训练后的模型对目标路面进行实时检测，将训练后的模型部署到目标路面现场中，摄像机对目标路面进行实时拍摄，将拍摄到的视频每一帧图像，作为待检测图像；
(2)对所述待检测图像进行所述预处理后得到检测样本集；
(3)所述检测样本集输入到所述训练后的模型中，提取图像中病害的特征，并对所述特征进行特征分类；
(4)训练后的模型计算出检测结果，在所述检测图像中标出检测到的病害注明其类型作为检测结果输出，保存所述检测结果，检测结果中包含目标路面中病害的类型和个数，从而实现实时检测目标路面病害的功能。
如图6所示，本发明方法的计算病害中心坐标过程为：获取检测结果中病害图像，利用OpenCV中拟合椭圆计算病害中心坐标：对病害图像进行二值化操作，对二值化图像进行高斯滤波，提取病害掩模边缘轮廓，输出病害图像中病害掩膜边缘轮廓点坐标、病害掩膜边缘轮廓的关系；将病害掩膜边缘轮廓从左到右进行排序，循环排序后的病害掩膜边缘轮廓，得到图像中病害的拟合椭圆，输出所述拟合椭圆的中心点坐标，按照病害图像像素距离与目标路面实际距离的比值设定比例尺，计算出病害在目标路面的位置。
如图7所示，本发明方法的计算病害面积过程为：获取检测结果中病害图像，利用OpenCV中拟合椭圆计算病害中心坐标：对病害图像进行二值化操作，对二值化图像进行高斯滤波，提取病害掩模边缘轮廓，输出病害图像中病害掩膜边缘轮廓点坐标、病害掩膜边缘轮廓的关系；将病害掩膜边缘轮廓从左到右进行排序，循环排序后的病害掩膜边缘轮廓，得到图像中病害的拟合椭圆，输出计算机测量的所述拟合椭圆像素点长轴长度和短轴长度，按照病害图像像素距离与目标路面实际距离的比值设定比例尺，计算出计算机测量的所述拟合椭圆像素点长轴长度和短轴长度与设定比例尺的比值，从而计算出检测到的病害在目标路面中所占面积。
如图8所示，本发明方法实验结果为：摄像机对目标路面进行实时拍摄到的一帧图像，经过基于计算机视觉的路面多种病害面积检测及定位方法，检测到目标路面病害类型，计算出路面病害的面积和中心坐标。

Claims (6)

1.基于计算机视觉的路面多种病害面积检测及定位方法，其特征在于，所述方法包括基于计算机视觉的路面病害检测和路面病害计算：所述基于计算机视觉的路面病害检测包括获取病害数据集、训练病害检测模型、检测目标路面病害，主要功能为实时检测目标路面的病害、获取检测目标路面的病害的类型和个数；所述路面病害计算包括计算病害中心坐标、计算病害面积，主要功能为利用拟合椭圆计算所述检测检测目标路面的病害的实际位置与大小。
2.权利要求1中所述获取病害数据集，其步骤如下：
(1)收集路面病害图像，路面病害图像要包括“无异常”、“裂缝”、“车辙”、“松散”、“冻胀翻浆”、“沉陷”、“拥包”、“泛油“、“龟裂唧浆”和“桥头沉降”状态的图像，制作病害样本集；
(2)标注所述病害样本集的每个图像样本，获得病害样本集对应的json样本标签文件，该json样本标签文件中包含每个图像样本的标签值；
(3)所述病害样本集和病害样本集的json文件样本标签，预处理病害样本集，转化为coco数据集格式，转化后的病害样本集按照比例8:1:1分为病害训练集、病害验证集、病害测试集。
3.权利要求1中所述训练病害检测模型，其步骤如下：
(1)设置病害检测模型的初始训练参数：主干网络(backbone)设置为Resnet50、学习率衰减区间(lr_steps)设置为(30000，60000，90000)、训练迭代次数(max_iter)设置为30000、训练批次(batch_size)设置为4、阈值(score_threshold)设置为0.3；
(2)输入病害训练集与病害验证集，训练病害检测模型，其训练过程为：
(2-1)病害训练集与病害验证集的图像样本输入到病害检测模型主干网络(backbone)进行图像样本的特征提取，所述主干网络(backbone)采用：Resnet50残差结构+FPN结构，以及多尺度的特征图，从而可以检测到不同尺寸的病害；Resnet50残差结构共有C1到C5五个卷积模块，FPN网络是由C5卷积模块经过1个卷积层得到P5特征图，对P5特征图采用双线性插值使特征图扩大一倍，与经过卷积的C4卷积模块相加得到P4特征图，再采用同样的方法对P4特征图采用双线性插值使特征图扩大一倍，与经过卷积的C3卷积模块相加得到P3特征图，然后对P5特征图进行卷积和下采样得到P6特征图，对P6特征图进行同样的卷积和下采样得到P7特征图,从而建立P3-P7五个特征图的FPN网络，P3特征图被送入Protonet任务分支，同时P3-P7五个特征图也被送入Prediction Head任务分支中；
(2-2)Protonet任务分支，该任务分支是由若干卷积层组成的全卷积网络(FCN)来生成一组与所述病害原图像尺寸(550*550)一样的原型掩码(P)，Protonet部分对于每张输入的病害图像预测k个原型掩码，由于病害训练集、病害验证集、病害测试集，转化为coco数据集格式，对于coco数据集格式k取32效果最好，所以这部分输出的掩模维度是138*138*32，即32个原型掩码，每个大小是138*138；
(2-3)Prediction Head任务分支，采用共享卷积网络，提高对图像样本的检测速度，从而达到对图像样本的实时检测；P3-P7五个特征图输入到Prediction Head任务分支，每个特征图先生成图像样本中的病害，然后Prediction Head任务分支为每个特征图生成三类输出：类别置信度、位置回归参数、掩模系数，将五个特征图生成的三类输出进行拼接，最终生成图像样本中各个病害的类别置信度、位置回归参数以及掩模系数(C)；
(2-4)所述Protonet任务分支与Prediction Head任务分支是并行任务，对经过NMS后的预测病害，通过线性组合两个任务分支的结果所述原型掩码(P)与所述掩模系数(C)来计算每个病害的掩模，具体做法是采用如下的矩阵乘法：
M＝σ(PCT)
其中P是h×w×k的原型掩码，C是n×k的掩模系数矩阵，h是原型掩码的高，w是原型掩码的宽，n是通过NMS和阈值过滤后每个病害对应的k个掩模系数；
(2-5)将病害框之外的位置置零，以阈值为0.3，对输出的掩模做二值化操作，将掩模中值的范围限制在[0,1]之间；
(3)训练迭代到30000次后，停止训练，保存训练后的模型；
(4)用病害测试集对训练后的模型进行评估,将病害测试集中所有图像依次输入到训练后的模型中，记录下每张图像样本检测后的标签值，并与病害测试集的json文件中标注的对应标签值进行比较，在病害测试集中所有图像样本全部判断完成后，查看病害检测置信度分数，判断训练后的模型在病害测试集中的判断准确率是否符合要求，如果符合要求，则保存训练后的模型；如果不符合要求，则跳转到步骤(1)，修改病害检测模型的初始训练参数：训练迭代次数与阈值，进行再次训练。
4.权利要求1中所述检测目标路面病害，其步骤如下：
(1)使用训练后的模型对目标路面进行实时检测，将训练后的模型部署到目标路面现场中，摄像机对目标路面进行实时拍摄，将拍摄到的视频每一帧图像，作为待检测图像；
(2)对所述待检测图像进行所述预处理后得到检测样本集；
(3)所述检测样本集输入到所述训练后的模型中，提取图像中病害的特征，并对所述特征进行特征分类；
(4)训练后的模型计算出检测结果，在所述检测图像中标出检测到的病害注明其类型作为检测结果输出，保存所述检测结果，检测结果中包含目标路面中病害的类型和个数，从而实现实时检测目标路面病害的功能。
5.权利要求1中所述计算病害中心坐标，其特征为获取检测结果中病害图像，利用OpenCV中拟合椭圆计算病害中心坐标：对病害图像进行二值化操作，对二值化图像进行高斯滤波，提取病害掩模边缘轮廓，输出病害图像中病害掩膜边缘轮廓点坐标、病害掩膜边缘轮廓的关系；将病害掩膜边缘轮廓从左到右进行排序，循环排序后的病害掩膜边缘轮廓，得到图像中病害的拟合椭圆，输出所述拟合椭圆的中心点坐标，按照病害图像像素距离与目标路面实际距离的比值设定比例尺，计算出病害在目标路面的位置。
6.权利要求1中所述计算病害面积，其特征为获取检测结果中病害图像，利用OpenCV中拟合椭圆计算病害中心坐标：对病害图像进行二值化操作，对二值化图像进行高斯滤波，提取病害掩模边缘轮廓，输出病害图像中病害掩膜边缘轮廓点坐标、病害掩膜边缘轮廓的关系；将病害掩膜边缘轮廓从左到右进行排序，循环排序后的病害掩膜边缘轮廓，得到图像中病害的拟合椭圆，输出计算机测量的所述拟合椭圆像素点长轴长度和短轴长度，按照病害图像像素距离与目标路面实际距离的比值设定比例尺，计算出计算机测量的所述拟合椭圆像素点长轴长度和短轴长度与设定比例尺的比值，从而计算出检测到的病害在目标路面中所占面积。
CN202111081048.6A 2021-09-15 2021-09-15 基于计算机视觉的路面多种病害面积检测及定位方法 Pending CN113780200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111081048.6A CN113780200A (zh) 2021-09-15 2021-09-15 基于计算机视觉的路面多种病害面积检测及定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111081048.6A CN113780200A (zh) 2021-09-15 2021-09-15 基于计算机视觉的路面多种病害面积检测及定位方法

Publications (1)

Publication Number Publication Date
CN113780200A true CN113780200A (zh) 2021-12-10

Family

ID=78844116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111081048.6A Pending CN113780200A (zh) 2021-09-15 2021-09-15 基于计算机视觉的路面多种病害面积检测及定位方法

Country Status (1)

Country Link
CN (1) CN113780200A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663449A (zh) * 2022-05-25 2022-06-24 深圳思谋信息科技有限公司 道路病害面积计算方法、装置、计算机设备和存储介质
CN115082802A (zh) * 2022-08-18 2022-09-20 深圳市城市交通规划设计研究中心股份有限公司 道路病害识别方法、装置、设备及可读存储介质
GB2610881A (en) * 2021-09-17 2023-03-22 Acad Of Robotics A method, vehicle and system for measuring a dimension of a road defect
WO2024060529A1 (zh) * 2022-09-23 2024-03-28 中路交科科技股份有限公司 一种道路病害识别方法、系统、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537153A (zh) * 2018-03-27 2018-09-14 华南农业大学 一种基于椭圆拟合的原木板材孔洞缺陷检测与定位方法
CN109685124A (zh) * 2018-12-14 2019-04-26 斑马网络技术有限公司 基于神经网络的道路病害识别方法及装置
CN111414853A (zh) * 2020-03-19 2020-07-14 宁波职业技术学院 基于机器视觉的自动驾驶方法、装置、计算机设备和存储介质
CN111784657A (zh) * 2020-06-29 2020-10-16 福建中航赛凡信息科技有限公司 一种基于数字图像的水泥路面病害自动识别的系统及方法
US20200364862A1 (en) * 2018-02-02 2020-11-19 Moleculight Inc. Wound imaging and analysis
CN112598672A (zh) * 2020-11-02 2021-04-02 坝道工程医院(平舆) 一种基于深度学习的路面病害图像分割方法和系统
CN112669346A (zh) * 2020-12-25 2021-04-16 浙江大华技术股份有限公司 一种路面突发状况确定方法及装置
CN112906689A (zh) * 2021-01-21 2021-06-04 南京航空航天大学 一种基于缺陷检测与分割深度卷积神经网络的图像检测方法
KR102288312B1 (ko) * 2020-02-13 2021-08-10 인하대학교 산학협력단 블랙 아이스를 검출하는 방법 및 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200364862A1 (en) * 2018-02-02 2020-11-19 Moleculight Inc. Wound imaging and analysis
CN108537153A (zh) * 2018-03-27 2018-09-14 华南农业大学 一种基于椭圆拟合的原木板材孔洞缺陷检测与定位方法
CN109685124A (zh) * 2018-12-14 2019-04-26 斑马网络技术有限公司 基于神经网络的道路病害识别方法及装置
KR102288312B1 (ko) * 2020-02-13 2021-08-10 인하대학교 산학협력단 블랙 아이스를 검출하는 방법 및 장치
CN111414853A (zh) * 2020-03-19 2020-07-14 宁波职业技术学院 基于机器视觉的自动驾驶方法、装置、计算机设备和存储介质
CN111784657A (zh) * 2020-06-29 2020-10-16 福建中航赛凡信息科技有限公司 一种基于数字图像的水泥路面病害自动识别的系统及方法
CN112598672A (zh) * 2020-11-02 2021-04-02 坝道工程医院(平舆) 一种基于深度学习的路面病害图像分割方法和系统
CN112669346A (zh) * 2020-12-25 2021-04-16 浙江大华技术股份有限公司 一种路面突发状况确定方法及装置
CN112906689A (zh) * 2021-01-21 2021-06-04 南京航空航天大学 一种基于缺陷检测与分割深度卷积神经网络的图像检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DANIEL BOLYA 等: "YOLACT Real-time Instance Segmentation", 《ARXIV:1904.02689V2》, pages 1 - 11 *
LASITHA PIYATHILAKA 等: "Real-Time Concrete Crack Detection and Instance Segmentation using Deep Transfer Learning", 《ENGINEERING PROCEEDINGS》, pages 1 - 7 *
VINCENT8514: "图像分割之YOLACT & YOLACT++", pages 1 - 5, Retrieved from the Internet <URL:《https://blog.csdn.net/wh8514/article/details/105520870》> *
刘玉文 等: "基于深度过参数化卷积的路面病害分割研究", 《湖北民族大学学报( 自然科学版)》, vol. 40, no. 4, pages 437 - 444 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2610881A (en) * 2021-09-17 2023-03-22 Acad Of Robotics A method, vehicle and system for measuring a dimension of a road defect
CN114663449A (zh) * 2022-05-25 2022-06-24 深圳思谋信息科技有限公司 道路病害面积计算方法、装置、计算机设备和存储介质
CN115082802A (zh) * 2022-08-18 2022-09-20 深圳市城市交通规划设计研究中心股份有限公司 道路病害识别方法、装置、设备及可读存储介质
CN115082802B (zh) * 2022-08-18 2023-02-03 深圳市城市交通规划设计研究中心股份有限公司 道路病害识别方法、装置、设备及可读存储介质
WO2024060529A1 (zh) * 2022-09-23 2024-03-28 中路交科科技股份有限公司 一种道路病害识别方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN113780200A (zh) 基于计算机视觉的路面多种病害面积检测及定位方法
Wang et al. RENet: Rectangular convolution pyramid and edge enhancement network for salient object detection of pavement cracks
CN112598672A (zh) 一种基于深度学习的路面病害图像分割方法和系统
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
Lei et al. Automated pavement distress detection and deterioration analysis using street view map
CN104700099A (zh) 识别交通标志的方法和装置
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
CN112200884B (zh) 一种车道线的生成方法及装置
CN110956207B (zh) 一种光学遥感影像全要素变化检测方法
CN112966665A (zh) 路面病害检测模型训练方法、装置和计算机设备
CN114973116A (zh) 一种自注意力特征嵌入夜间机场跑道异物检测方法与系统
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN117351702A (zh) 一种基于车流量进行调节的智慧交通管理方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN115115954A (zh) 基于无人机遥感的松材线虫病疫区变色立木智能识别方法
CN115619719A (zh) 一种基于改进Yolo v3网络模型的松材线虫病疫木检测方法
CN113312987B (zh) 一种基于无人机航拍路面裂缝图像的识别方法
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN117197085A (zh) 基于改进YOLOv8网络的公路快检图像路面病害检测方法
CN110059544B (zh) 一种基于道路场景的行人检测方法和系统
CN116052110B (zh) 一种路面标线缺损智能定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination