CN112200143A - 一种基于候选区域网络和机器视觉的道路病害检测方法 - Google Patents
一种基于候选区域网络和机器视觉的道路病害检测方法 Download PDFInfo
- Publication number
- CN112200143A CN112200143A CN202011205113.7A CN202011205113A CN112200143A CN 112200143 A CN112200143 A CN 112200143A CN 202011205113 A CN202011205113 A CN 202011205113A CN 112200143 A CN112200143 A CN 112200143A
- Authority
- CN
- China
- Prior art keywords
- model
- road
- disease
- detection
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 114
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 114
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000012795 verification Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于深度学习与道路工程技术领域，涉及一种基于候选区域网络和机器视觉的道路病害检测方法，包括：获取路面病害数据集；分类标注病害并分为训练集、验证集和测试集；搭载卷积神经网络模型，将训练集导入模型，进行模型训练；设置不同的超参数，引入验证集图片测试寻找最优超参数；引入测试集图片到最优模型，对模型进行测试；使用检测车进行拍摄并判断检测效率及准确率能否达到所需要求。本发明采用深度学习的方法，研发适用于道路病害特征的目标检测算法，基于道路病害大数据进行模型训练，提高了模型的鲁棒性和泛化能力；同时通过优化基础残差卷积神经网络和候选区域建议网络，提高了模型检测的准确度，实现了路面病害的自动识别。
Description
技术领域
本发明属于深度学习与道路工程技术领域，尤其涉及一种基于候选区域网络和机器视觉的道路病害检测方法。
背景技术
公路是国家的命脉，良好的公路环境便于货物及人员的流动，对国家经济建设起着至关重要的作用。随着车载及冻融循环的影响，路面病害逐渐增加，如果不加以修补，在水平方向将加大路面的破环程度，严重影响车速及行车舒适度；在纵向上将加深道路的损伤程度，甚至扩展至路基，对道路造成严重的结构性破坏。因此，应当及时检测路面病害，用于路面损伤程度的判断和病害的精确维修。
传统的基于计算机视觉的道路病害检测方法主要可以分为两类，第一种方法为基于病害边缘像素值变化大的边缘检测算法，主要包括Soble边缘检测方法、Canny边缘检测方法和小波分析的方法；第二种方法为基于病害区域像素值较大的方法，主要包括HOG直方图检测方法、各向异性检测方法、阈值分割方法和最小路径法等。如今已进入大数据时代，由于路面长期暴露在自然环境中，图像采集设备捕获的图像常常含有雨水，阴影，污渍等噪音和干扰，传统的检测方法泛化能力较低，无法适应各种场景，更无法面对庞大数量的路面病害数据。公开号为CN108197655A的专利文献公开了一种基于主成分分析与神经网络的路面破损病害图像分类方法，该方法首先通过主成分分析的方法对原始病害图像进行归一化处理，再使用神经网络对道路病害图像进行分类，该方法冗增了处理步骤，降低了检测的效率。并且，该方法无法识别病害的具体位置坐标。
发明内容
针对现有技术的不足，本发明的目的是提供一种基于候选区域网络和机器视觉的道路病害检测方法，以解决现有技术中道路病害检测方法检测精度与效率低、鲁棒性与泛化能力差的问题。
为了解决上述技术问题，本发明采用了如下的技术方案：
本发明提供了一种基于候选区域网络和机器视觉的道路病害检测方法，包括以下步骤：
S10、获取路面病害数据集：采集路面病害图像，对所述路面病害图像进行预处理和分割处理，并挑选含有典型病害特征的所述路面病害图像；
S20、数据集处理：根据所述步骤S10获取的所述路面病害数据集，分类标注病害，建立道路病害图像数据库，并按比例分为训练集、验证集和测试集；
S30、模型训练：搭载多层下采样的卷积神经网络模型结构，使用迁移学习方法进行模型初始化，将所述训练集图片导入模型，进行模型训练；
S40、模型调参：根据所述步骤S30的训练结果，设置不同的模型超参数，引入所述验证集图片进行模型测试，对比模型训练过程中的损失值及准确率的变化曲线，寻找最优超参数值；
S50、模型测试：根据所述步骤S40所得到的最优模型，引入所述测试集图片进行模型测试，输出各项检测数值指标，判断是否达到预期值；
S60、实时检测测试：使用检测车进行路面病害视频拍摄，传输回高性能计算机终端检测，判断模型检测效率及准确率能否达到所需要求。
进一步的，所述步骤S10具体包括：
S11、路面病害图像采集方法为：网上爬取或下载指定所述道路病害图像，并结合道路检测车实际采集所述道路病害图像。
S12、使用matlab程序，批量分割所述路面病害数据集为256*256分辨率；
S13、使用数据增强技术对图片数量进行扩增；
S14、由专业人员挑选病害图片。
进一步的，所述步骤S13中所述数据增强技术主要包括平移变换，尺度缩放，旋转变换，对称变换，模糊处理，对比度调整。
进一步的，所述步骤S20具体包括：
S21、使用matlab标注程序分类标注病害，主要分为裂缝，坑槽，龟裂三类病害；
S22、标注图片背景区域像素为0，裂缝区域像素为1，坑槽区域像素为2，龟裂区域像素为3；
S23、将标定后的jpg格式的图片和生成的xml格式的标注信息结合，建立所述道路病害图像数据库；
S24、使用matlab分类程序将所述道路病害图像数据库按6：2：2的比例分为所述训练集、所述验证集和所述测试集。
进一步的，所述步骤S24中的所述训练集、所述验证集和所述测试集的图像互不交叉重合，有利于检验模型的鲁棒性和泛化能力。
进一步的，所述步骤S30具体包括：
S31、搭载Faster RCNN模型框架，所述Faster RCNN模型框架包括基础残差卷积神经网络，候选区域网络和输出网络；
S32、迁移学习是相对于随机参数初始化而言，采用在pascal公开数据集表现良好的VGG-16(Visual Geometry Group Network，视觉几何群网络)预训练模型初始化神经网络，加快训练效率，提高检测精度；
S33、使用小批量梯度下降的方法对设计的卷积神经网络进行训练，观察损失值函数图像，达到平稳时即模型收敛，此时停止训练。
进一步的，所述步骤S40中调整的所述超参数为初始学习率、总迭代次数、动量系数、权重衰减值和候选锚框尺寸。
进一步的，所述步骤S40中调整所述超参数的主要依据为：设置不同所述超参数时，模型在验证集上的检测表现，即识别的效率、准确率上升曲线的最大值和损失值下降曲线的平温度和收敛性。
进一步的，所述步骤S50中，所述检测数值指标主要包括准确率、检测效率、F1分数(
是模型精确率和召回率的调和平均值)及PR曲线(Precision-recall curve，精确率-召回率曲线)。
本发明提供的一种基于候选区域网络和机器视觉的道路病害检测方法与现有技术相比，至少具有如下有益效果：
本发明采用的残差卷积神经网络通过采用残差块将前端特征层直接映射于后端特征层，解决了梯度弥散的问题，从而提高了模型的准确度；采用候选区域建议网络确定目标的位置区域，将候选区域的提取融入到卷积神经网络中，从而实现了端到端的训练与测试，大大加快了识别速度；采用深度学习的方法，通过对大量路面病害学习，模型能够学习到更具鲁棒性的特征表达，从而增加了泛化能力，提高识别的准确度，同时本发明能够对路面病害视频自动识别并标定位置坐标，统计病害数量。
附图说明
为了更清楚地说明本发明的方案，下面将对实施例描述中所需要使用的图作一个简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于候选区域网络和机器视觉的道路病害检测方法的总流程图；
图2为本发明提供的一种基于候选区域网络和机器视觉的道路病害检测方法的总结构图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
如图1所示，本发明提供的一种基于候选区域网络和机器视觉的道路病害检测方法，包括以下步骤：
S10、获取路面病害数据集：采集路面病害图像，对路面病害图像进行预处理和分割处理，并挑选含有典型病害特征的路面病害图像。
S11、路面病害图像采集方法为：网上爬取或下载指定道路病害图像，并结合道路检测车实际采集道路病害图像。
S12、使用matlab程序，批量分割路面病害数据集为256*256分辨率；
S13、使用数据增强技术对图片数量进行扩增，数据增强技术主要包括平移变换，尺度缩放，旋转变换，对称变换，模糊处理，对比度调整。
S14、由专业人员挑选病害图片。
具体地，挑选图片的主要依据有：
1、图片应具有多样性，路面病害数据集应包括光照强度、阴影、杂草、混凝土路面、沥青路面等图片；
2、图片视角应多样化，包括正视图片、侧视图片和斜视图片等；
3、病害目标应具有代表性，具有明显的病害特征；
4、病害应在图片中显示清晰。
S20、数据集处理：根据步骤S10获取的路面病害数据集，分类标注病害，建立道路病害图像数据库，并按比例分为训练集、验证集和测试集，具体过程为：
S21、使用matlab标注程序分类标注病害，主要分为裂缝，坑槽，龟裂三类病害；
S22、标注图片背景区域像素为0，裂缝区域像素为1，坑槽区域像素为2，龟裂区域像素为3；
S23、将标定后的jpg格式的图片和生成的xml格式的标注信息结合，建立道路病害图像数据库；
S24、使用matlab分类程序将道路病害图像数据库按6：2：2的比例分为训练集、验证集和测试集，且互不交叉重合，有利于检验模型的鲁棒性和泛化能力。
具体地，本发明使用矩形框标注病害位置，检测时，也以矩形预测框检测并框选病害。
具体地，标注病害时，应尽量沿边缘划分，对于边界不明显的病害，或病害重合的区域，应由有经验的专业人员进行辨认。
S30、模型训练：搭载多层下采样的卷积神经网络模型结构，使用迁移学习方法进行模型初始化，将训练集图片导入模型，进行模型训练，具体步骤为：
S31、搭载Faster RCNN模型框架，Faster RCNN模型框架包括基础残差卷积神经网络，候选区域网络和输出网络；
S32、迁移学习是相对于随机参数初始化而言，采用在pascal公开数据集表现良好的VGG-16预训练模型初始化神经网络，加快训练效率，提高检测精度；
S33、使用小批量梯度下降的方法对设计的卷积神经网络进行训练，观察损失值函数图像，达到平稳时即模型收敛，此时停止训练。
具体地，传统的全连接神经网络通过矩阵乘法连接输入层和输出层，输入层和输出层的每一个元素间都需要有一个对应的矩阵参数计算，这个过程计算量过于庞大，因此，本发明引入卷积神经网络。卷积有以下两个优点：参数共享，相比于一一对应的全连接权值矩阵，卷积核作用在输入层的每一个位置上，使得神经网络具有了平移不变性；稀疏连接，卷积操作将全连接权值矩阵简化为卷积核，降低了存储需求和计算量。
具体地，通常使用的池化函数包括平均池化和最大池化，平均池化是取相邻矩形区域内的平均值来代替网络在该位置的输出，最大池化是取相邻矩形区域内的最大值来代替网络在该位置的输出。当输入进行局部平移时，因为池化函数的存在，使得输入的表示近似不变，从而保证了模型局部的平移不变性。此外，池化层还能够缩减模型大小，提高计算速度，提高所取特征的鲁棒性。
具体地，对于传统的神经网络，随着网络深度的增加，检测效果呈现先增长后饱和最后迅速下降的问题。这一问题来源于网络深度的增加导致了梯度空间结构的消除，从而引起了网络退化的问题。为了解决这一问题，本发明引入深度残差网络。残差网络由一系列的残差块组成，残差块分为两个部分：直接映射部分和残差部分。残差单元通过跳层连接实现，使得特征信息的前后传播更加顺畅，解决了退化问题，提高了网络检测的准确度。
具体地，候选区域建议网络是一种用来搜索检测目标位置坐标的卷积神经网络，通过引入锚框的概念，将直接计算目标位置坐标转化为，通过计算目标与锚框的相对位置坐标从而间接得到目标位置坐标的方法。该网络与传统的卷积神经网络一样，通过GPU计算，因此，能够融入深度学习算法中，形成端到端的学习与识别模式，提高了计算效率。
具体地，训练算法主要分为前向传播阶段和反向传播阶段。向前传播阶段：采用正向传播算法从第一层开始正向一层一层计算，求出每层经过激活函数ReLU得到的结果，直到最后一层。但是为了使整个网络的损失函数值最小，需要不断迭代来更新神经元前面的参数和偏差。反向传播阶段：通过首先计算最后一层的误差，然后再逐层反向求出各层的误差，利用得到的残差来对权值和偏置进行更新，从而计算出网络模型的最小损失函数。其中，训练过程中，每经过一次前向传播和一次反向传播为一次迭代。
S40、模型调参：根据步骤S30的训练结果，设置不同的模型超参数，引入验证集图片进行模型测试，对比模型训练过程中的损失值及准确率的变化曲线，寻找最优超参数值。
具体地，调整的主要超参数为初始学习率，总迭代次数，动量系数，权重衰减值，候选锚框尺寸。
作为优选方案，本实例调整超参数的主要依据为，设置不同超参数时，模型在验证集上的检测表现，即识别的效率，准确率上升曲线的最大值和损失值下降曲线的平稳度和收敛性。
作为优选方案，本实例经过多次调优，最终模型的超参数为：初始学习率为0.001，每次迭代的小批量图片数量为2，动量系数为0.9，权重衰减值为0.0005，总迭代次数为20000次，经过12000次迭代后，学习率下降为原来的10％。
S50、模型测试：根据步骤S40所得到的最优模型，引入测试集图片进行模型测试，输出各项检测数值指标，判断是否达到预期值。
具体地，检测数值指标主要包括准确率，检测效率，F1分数及PR曲线。
具体地，通过改变置信度阈值，测试集图片能够输出大量一一对应的召回率和精确率。PR曲线是以召回率为横坐标，精确率为纵坐标的变化曲线。通过比较曲线下方面积的大小，确定模型的优劣性。当测试集样本不均衡时，PR曲线比准确率和F1分数更能够直观地评价模型。
S60、实施检测测试：使用检测车进行路面病害视频拍摄，传输回高性能计算机终端检测，判断模型检测效率及准确率能否达到所需要求。
具体地，CCD相机(Charge coupled device，电荷耦合设备相机)主要工作原理为将光线转化为电荷并将电荷存储。CCD相机具有重量轻、体积小和抗震性能强的优点，因此，可应用于路面病害视频的拍摄。
具体地，一般的视频每秒传输的帧数为30FPS(Frames Per Second，画面每秒传输帧数)，因此，应当判断检测视频的效率能否达到30FPS，即能否达到实时检测的目的。
具体地，应当统计正确及错误检测的病害信息，查看各类病害是否均达到95％以上的准确率，用以保证本发明的实际应用能力。如果准确率达不到预计要求，应当统计和归纳误检的病害信息，寻找误检病害的图片按本发明的方法处理后加入道路病害图像数据库，重新训练并调优，直至各项指标均达到预期要求。
以上实施例所述的局域候选区域网络与机器视觉的道路病害检测方法，采用的残差卷积神经网络通过采用残差块将前端特征层直接映射于后端特征层，解决了梯度弥散的问题，从而提高了模型的准确度；采用候选区域建议网络确定目标的位置区域，将候选区域的提取融入到卷积神经网络中，从而实现了端到端的训练与测试，大大加快了识别速度；采用深度学习的方法，通过对大量路面病害学习，模型能够学习到更具鲁棒性的特征表达，从而增加了泛化能力，提高识别的准确度，同时本发明能够对路面病害视频自动识别并标定位置坐标，统计病害数量。
显然，以上所描述的实施例仅仅是本发明较佳实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。
Claims (9)
1.一种基于候选区域网络和机器视觉的道路病害检测方法，其特征在于，包括以下步骤：
S10、获取路面病害数据集：采集路面病害图像，对所述路面病害图像进行预处理和分割处理，并挑选含有典型病害特征的所述路面病害图像；
S20、数据集处理：根据所述步骤S10获取的所述路面病害数据集，分类标注病害，建立道路病害图像数据库，并按比例分为训练集、验证集和测试集；
S30、模型训练：搭载多层下采样的卷积神经网络模型结构，使用迁移学习方法进行模型初始化，将所述训练集图片导入模型，进行模型训练；
S40、模型调参：根据所述步骤S30的训练结果，设置不同的模型超参数，引入所述验证集图片进行模型测试，对比模型训练过程中的损失值及准确率的变化曲线，寻找最优超参数值；
S50、模型测试：根据所述步骤S40所得到的最优模型，引入所述测试集图片进行模型测试，输出各项检测数值指标，判断是否达到预期值；
S60、实时检测测试：使用检测车进行路面病害视频拍摄，传输回高性能计算机终端检测，判断模型检测效率及准确率能否达到所需要求。
2.根据权利要求1所述的一种基于候选区域网络和机器视觉的道路病害检测方法，其特征在于，所述步骤S10具体包括：
S11、路面病害图像采集方法为：网上爬取或下载指定所述道路病害图像，并结合道路检测车实际采集所述道路病害图像。
S12、使用matlab程序，批量分割所述路面病害数据集为256*256分辨率；
S13、使用数据增强技术对图片数量进行扩增；
S14、由专业人员挑选病害图片。
3.根据权利要求2所述的一种基于候选区域网络和机器视觉的道路病害检测方法，其特征在于，所述步骤S13中所述数据增强技术主要包括平移变换，尺度缩放，旋转变换，对称变换，模糊处理，对比度调整。
4.根据权利要求1所述的一种基于候选区域网络和机器视觉的道路病害检测方法，其特征在于，所述步骤S20具体包括：
S21、使用matlab标注程序分类标注病害，主要分为裂缝，坑槽，龟裂三类病害；
S22、标注图片背景区域像素为0，裂缝区域像素为1，坑槽区域像素为2，龟裂区域像素为3；
S23、将标定后的jpg格式的图片和生成的xml格式的标注信息结合，建立所述道路病害图像数据库；
S24、使用matlab分类程序将所述道路病害图像数据库按6：2：2的比例分为所述训练集、所述验证集和所述测试集。
5.根据权利要求4所述的一种基于候选区域网络和机器视觉的道路检测方法，其特征在于，所述步骤S24中的所述训练集、所述验证集和所述测试集的图像互不交叉重合，有利于检验模型的鲁棒性和泛化能力。
6.根据权利要求1所述的一种基于候选区域网络和机器视觉的道路检测方法，其特征在于，所述步骤S30具体包括：
S31、搭载Faster RCNN模型框架，所述Faster RCNN模型框架包括基础残差卷积神经网络，候选区域网络和输出网络；
S32、迁移学习是相对于随机参数初始化而言，采用在pascal公开数据集表现良好的VGG-16预训练模型初始化神经网络，加快训练效率，提高检测精度；
S33、使用小批量梯度下降的方法对设计的卷积神经网络进行训练，观察损失值函数图像，达到平稳时即模型收敛，此时停止训练。
7.根据权利要求1所述的一种基于候选区域网络和机器视觉的道路病害检测方法，其特征在于，所述步骤S40中调整的所述超参数为初始学习率、总迭代次数、动量系数、权重衰减值和候选锚框尺寸。
8.根据权利要求1所述的一种基于候选区域网络和机器视觉的道路病害检测方法，其特征在于，所述步骤S40中调整所述超参数的主要依据为：设置不同所述超参数时，模型在验证集上的检测表现，即识别的效率、准确率上升曲线的最大值和损失值下降曲线的平温度和收敛性。
9.根据权利要求1所述的一种基于候选区域网络和机器视觉的道路病害检测方法，其特征在于，所述步骤S50中，所述检测数值指标主要包括准确率、检测效率、F1分数及PR曲线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011205113.7A CN112200143A (zh) | 2020-11-02 | 2020-11-02 | 一种基于候选区域网络和机器视觉的道路病害检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011205113.7A CN112200143A (zh) | 2020-11-02 | 2020-11-02 | 一种基于候选区域网络和机器视觉的道路病害检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112200143A true CN112200143A (zh) | 2021-01-08 |
Family
ID=74032937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011205113.7A Pending CN112200143A (zh) | 2020-11-02 | 2020-11-02 | 一种基于候选区域网络和机器视觉的道路病害检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200143A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800911A (zh) * | 2021-01-20 | 2021-05-14 | 同济大学 | 一种路面损伤快速检测及自然数据集构建方法 |
| CN112949541A (zh) * | 2021-03-17 | 2021-06-11 | 华东师范大学 | 一种基于Unet+ConvGRU混合模型的车道线检测方法 |
| CN112967240A (zh) * | 2021-02-26 | 2021-06-15 | 江南大学 | 基于深层3d网络与迁移学习的医学图像生成方法 |
| CN113111703A (zh) * | 2021-03-02 | 2021-07-13 | 郑州大学 | 基于多种卷积神经网络融合的机场道面病害异物检测方法 |
| CN113240623A (zh) * | 2021-03-18 | 2021-08-10 | 中国公路工程咨询集团有限公司 | 一种路面病害检测方法及装置 |
| CN113255605A (zh) * | 2021-06-29 | 2021-08-13 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种路面病害检测方法、装置、终端设备及存储介质 |
| CN113671161A (zh) * | 2021-07-13 | 2021-11-19 | 郑州大学 | 一种基于lstm神经网络算法的无人机路面病害检测方法 |
| CN113963212A (zh) * | 2021-10-25 | 2022-01-21 | 郑州大学 | 基于Inception-Resnet神经网络的管道病害图像分类方法及装置 |
| CN114022724A (zh) * | 2021-10-08 | 2022-02-08 | 郑州大学 | 基于风格迁移的生成对抗网络的管道病害图像数据增强方法 |
| CN114022368A (zh) * | 2021-10-08 | 2022-02-08 | 郑州大学 | 基于生成对抗网络的路面病害数据增强方法 |
| CN117237925A (zh) * | 2023-11-16 | 2023-12-15 | 南京萨利智能科技有限公司 | 一种基于计算机视觉的智慧道路病害巡检方法及系统 |
| CN117269954A (zh) * | 2023-08-28 | 2023-12-22 | 哈尔滨工业大学 | 基于yolo的探地雷达道路多重隐蔽病害实时识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107424150A (zh) * | 2017-07-27 | 2017-12-01 | 济南浪潮高新科技投资发展有限公司 | 一种基于卷积神经网络的道路破损检测方法及装置 |
| CN108564563A (zh) * | 2018-03-07 | 2018-09-21 | 浙江大学 | 一种基于Faster R-CNN的轮胎X光病疵检测方法 |
| CN111047585A (zh) * | 2019-12-25 | 2020-04-21 | 苏州奥易克斯汽车电子有限公司 | 一种路面裂缝检测方法 |
| CN111310558A (zh) * | 2019-12-28 | 2020-06-19 | 北京工业大学 | 一种基于深度学习和图像处理法的路面病害智能提取方法 |
-
2020
- 2020-11-02 CN CN202011205113.7A patent/CN112200143A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107424150A (zh) * | 2017-07-27 | 2017-12-01 | 济南浪潮高新科技投资发展有限公司 | 一种基于卷积神经网络的道路破损检测方法及装置 |
| CN108564563A (zh) * | 2018-03-07 | 2018-09-21 | 浙江大学 | 一种基于Faster R-CNN的轮胎X光病疵检测方法 |
| CN111047585A (zh) * | 2019-12-25 | 2020-04-21 | 苏州奥易克斯汽车电子有限公司 | 一种路面裂缝检测方法 |
| CN111310558A (zh) * | 2019-12-28 | 2020-06-19 | 北京工业大学 | 一种基于深度学习和图像处理法的路面病害智能提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张宁: ""基于Faster R-CNN的公路路面病害检测算法的研究"", 《中国优秀博硕士学位论文全文数据库(硕士)·工程科技Ⅱ辑》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800911B (zh) * | 2021-01-20 | 2022-12-16 | 同济大学 | 一种路面损伤快速检测及自然数据集构建方法 |
| CN112800911A (zh) * | 2021-01-20 | 2021-05-14 | 同济大学 | 一种路面损伤快速检测及自然数据集构建方法 |
| CN112967240A (zh) * | 2021-02-26 | 2021-06-15 | 江南大学 | 基于深层3d网络与迁移学习的医学图像生成方法 |
| CN113111703A (zh) * | 2021-03-02 | 2021-07-13 | 郑州大学 | 基于多种卷积神经网络融合的机场道面病害异物检测方法 |
| CN112949541A (zh) * | 2021-03-17 | 2021-06-11 | 华东师范大学 | 一种基于Unet+ConvGRU混合模型的车道线检测方法 |
| CN113240623A (zh) * | 2021-03-18 | 2021-08-10 | 中国公路工程咨询集团有限公司 | 一种路面病害检测方法及装置 |
| CN113240623B (zh) * | 2021-03-18 | 2023-11-07 | 中国公路工程咨询集团有限公司 | 一种路面病害检测方法及装置 |
| CN113255605A (zh) * | 2021-06-29 | 2021-08-13 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种路面病害检测方法、装置、终端设备及存储介质 |
| CN113671161A (zh) * | 2021-07-13 | 2021-11-19 | 郑州大学 | 一种基于lstm神经网络算法的无人机路面病害检测方法 |
| CN114022724A (zh) * | 2021-10-08 | 2022-02-08 | 郑州大学 | 基于风格迁移的生成对抗网络的管道病害图像数据增强方法 |
| CN114022368A (zh) * | 2021-10-08 | 2022-02-08 | 郑州大学 | 基于生成对抗网络的路面病害数据增强方法 |
| CN113963212A (zh) * | 2021-10-25 | 2022-01-21 | 郑州大学 | 基于Inception-Resnet神经网络的管道病害图像分类方法及装置 |
| CN117269954A (zh) * | 2023-08-28 | 2023-12-22 | 哈尔滨工业大学 | 基于yolo的探地雷达道路多重隐蔽病害实时识别方法 |
| CN117269954B (zh) * | 2023-08-28 | 2024-04-16 | 哈尔滨工业大学 | 基于yolo的探地雷达道路多重隐蔽病害实时识别方法 |
| CN117237925A (zh) * | 2023-11-16 | 2023-12-15 | 南京萨利智能科技有限公司 | 一种基于计算机视觉的智慧道路病害巡检方法及系统 |
| CN117237925B (zh) * | 2023-11-16 | 2024-02-13 | 南京萨利智能科技有限公司 | 一种基于计算机视觉的智慧道路病害巡检方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112200143A (zh) | 一种基于候选区域网络和机器视觉的道路病害检测方法 | |
| CN110084292B (zh) | 基于DenseNet和多尺度特征融合的目标检测方法 | |
| Liu et al. | DeepCrack: A deep hierarchical feature learning architecture for crack segmentation | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| CN104700099B (zh) | 识别交通标志的方法和装置 | |
| Ma et al. | A real-time crack detection algorithm for pavement based on CNN with multiple feature layers | |
| CN111833273B (zh) | 基于长距离依赖的语义边界增强方法 | |
| CN111814621A (zh) | 一种基于注意力机制的多尺度车辆行人检测方法及装置 | |
| CN105260749B (zh) | 基于方向梯度二值模式和软级联svm的实时目标检测方法 | |
| CN104392432A (zh) | 基于方向梯度直方图的显示面板缺陷检测方法 | |
| CN114998852A (zh) | 一种基于深度学习的公路路面病害智能检测方法 | |
| Peng et al. | Model and context‐driven building extraction in dense urban aerial images | |
| Xie et al. | A binocular vision application in IoT: Realtime trustworthy road condition detection system in passable area | |
| CN111046856A (zh) | 基于动静态特征提取并行位姿跟踪与地图创建的方法 | |
| CN113111727A (zh) | 一种基于特征对齐的遥感场景下旋转目标检测方法 | |
| CN113052159A (zh) | 一种图像识别方法、装置、设备及计算机存储介质 | |
| CN111680705A (zh) | 适于目标检测的mb-ssd方法和mb-ssd特征提取网络 | |
| CN111353396A (zh) | 一种基于SCSEOCUnet的混凝土裂缝分割方法 | |
| CN113255580A (zh) | 抛洒物识别、车辆抛洒滴漏识别方法和装置 | |
| CN115457277A (zh) | 一种智能化路面病害识别检测方法及系统 | |
| CN116206112A (zh) | 基于多尺度特征融合和sam的遥感图像语义分割方法 | |
| CN116994236A (zh) | 一种基于深度神经网络的低质图像车牌检测方法 | |
| CN115937518A (zh) | 一种基于多源图像融合的路面病害识别方法及系统 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210108 |
|
| RJ01 | Rejection of invention patent application after publication |