CN115393587A - 基于融合卷积神经网络的高速公路沥青路面病害感知方法 - Google Patents
基于融合卷积神经网络的高速公路沥青路面病害感知方法 Download PDFInfo
- Publication number
- CN115393587A CN115393587A CN202211008095.2A CN202211008095A CN115393587A CN 115393587 A CN115393587 A CN 115393587A CN 202211008095 A CN202211008095 A CN 202211008095A CN 115393587 A CN115393587 A CN 115393587A
- Authority
- CN
- China
- Prior art keywords
- network
- asphalt pavement
- disease
- image
- fcnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 137
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 137
- 239000010426 asphalt Substances 0.000 title claims abstract description 83
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 title claims description 16
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000008447 perception Effects 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 230000006872 improvement Effects 0.000 claims abstract description 9
- 230000003044 adaptive effect Effects 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000008358 core component Substances 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 9
- 238000011161 development Methods 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 abstract description 4
- 238000013145 classification model Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Entrepreneurship & Innovation (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于融合卷积神经网络的高速公路沥青路面病害感知方法，包括：使用优化Mobilenet V3网络替换Deeplabv3+骨干网络，构建DL‑M‑PDS网络；改进网络参数，构建用于公路沥青路面病害分割的DL‑M2‑PDS优化网络；通过该优化网络获取路面像素级病害信息，并与原图像叠加；对Faster‑RCNN、Yolov5s、SSD模型进行适应性改进，构建用于公路沥青路面病害检测的FR‑PDD、Yolov5s‑PDD、SSD‑PDD网络模型；输入叠加病害图像，构建用于公路沥青路面病害感知的FCNN‑PDP‑FR、FCNN‑PDP‑Yolov5s和FCNN‑PDP‑SSD网络；训练网络并优化参数，优选模型进行高速公路沥青路面病害感知。本发明将公路沥青路面病害分割模型与公路沥青路面病害检测分类模型进行融合，以实现分割病害的同时提高模型的检测分类精度，可对高速公路养护智能化发展提供技术支持。
Description
技术领域
本发明属于智慧高速、公路养护研究领域，具体涉及一种基于融合卷积神经网络的高速公路沥青路面病害感知方法。
背景技术
近年来，随着我国高速公路规划建设目标的完成以及高速公路交通网络的不断完善与发展，高速公路的养护问题日益凸显，如何通过技术手段提高公路养护的信息化、专业化、智能化水平是是公路养护领域亟待解决的问题之一。实现公路沥青路面病害的检测、分类以及进行像素级的精准定位，能够更直观的呈现出路面病害全貌，对于公路路面的养护具有重要的意义。是实现道路养护智能化的重要基础。
目标检测网络仅能实现公路沥青路面病害的检测与分类，用矩形框或正方形框将所检测到的路面病害检测出来并分出类别，不能直观分割病害区域；语义分割网络能将检测到的路面病害进行像素级别的分割，但其检测定位与分类的能力较差。因此，本发明提出了一种基于融合卷积神经网络的高速公路沥青路面病害感知方法。
发明内容
发明目的：为了克服现有技术中存在的不足，提供基于融合卷积神经网络的高速公路沥青路面病害感知方法，其将Deeplabv3+网络、Mobilenet V3网络和Faster-RCNN、Yolov5s、SSD网络进行优化与融合，构建用于沥青路面病害感知的融合卷积神经网络FCNN-PDP-FR、FCNN-PDP-Yolov5s和FCNN-PDP-SSD，同时实现公路沥青路面病害的精准定位与检测分类，可对高速公路养护智能化发展提供技术支持。
技术方案：为实现上述目的，本发明提供一种基于融合卷积神经网络的高速公路沥青路面病害感知方法，包括如下步骤：
S1：将Deeplabv3+骨干网络替换为优化Mobilenet V3网络，构建用于公路沥青路面病害分割的DL-M-PDS网络；
S2：改进网络参数，构建用于公路沥青路面病害分割的DL-M2-PDS优化网络；
S3：通过DL-M2-PDS路面病害分割模型获取路面像素级的分割病害信息；
S4：将像素级信息与原图像进行叠加；
S5：对Faster-RCNN、Yolov5s、SSD模型进行适应性改进，构建用于公路沥青路面病害检测的FR-PDD、Yolov5s-PDD、SSD-PDD融合卷积神经网络网络模型；
S6：叠加公路沥青路面病害图像分别输入FR-PDD、Yolov5s-PDD、SSD-PDD，构建用于公路沥青路面病害感知的FCNN-PDP-FR、FCNN-PDP-Yolov5s和FCNN-PDP-SSD三种网络；
S7：进行模型训练并优化参数，优选FCNN-PDP-FR、FCNN-PDP-Yolov5s和FCNN-PDP-SSD网络模型进行高速公路沥青路面病害感知。
进一步的，所述步骤S1中优化Mobilenet V3的具体步骤如下：
S1-1：在bneck基本结构中按需要加入空洞卷积(Atrous conv)；
S1-2：在每次bneck深度卷积之后添加额外的批量标准化和NL激活函数。
进一步的，所述步骤S2中改进网络参数的主要内容为：优化输出步幅为16；优化空洞卷积步长rate为[3,5,8,11]。
进一步的，所述步骤S3的具体内容为：
S3-1：输入公路沥青路面病害原图像，规格化分割网络图像尺寸为513×513×3；
S3-2：进行特征提取，设置输入图像与高维特征图的尺度之比为16；
S3-3：采用空间金字塔池化模块提取多尺度信息，将不同尺度的特征图与image-level特征拼接(concat)，融合得到新特征图像；
S3-4：将高维特征图插值到原始图像大小，输出二值化的路面病害分割图像。
进一步的，所述步骤S4的具体内容为：将二值化图像透明度设置为0.3，原图像透明度设置为0.7，采用透明度混合函数将二值化图像与原图像叠加。
进一步的，所述步骤S5的具体内容为：
S5-1：根据路面病害图像的特点，对Faster-RCNN网络进行适应性改进，保持锚框的面积为(128×128、256×256、512×512)不变，将锚框长宽比调整为(1:1、1:4、4:1)，并保持Faster-RCNN基础网络结构不变，构建FR-PDD公路沥青路面病害检测网络；
S5-2：根据路面病害图像的特点，对Yolov5s网络进行适应性改进，对已标注好的数据集进行GT坐标的聚类回归，产生9个最有可能锚框大小，同时去除Yolov5s网络数据增强部分，构建Yolov5s-PDD公路沥青路面病害检测网络；
S5-3：根据路面病害图像的特点，调整SSD网络输入图像参数，以VGG16为骨干网络，设置先验框的长宽比为(1、2、3、1/2、1/3)，构建SSD-PDD公路沥青路面病害检测网络。
进一步的，所述步骤S6中用于沥青路面病害感知的融合卷积神经网络FCNN-PDP-FR的构建方法为：
①提取：网络自动规格化图像，骨干网络VGG16采用共享的卷积层提取全图特征，得到特征图；
②RPN：通过系列锚框滑动卷积操作生成20000个锚框，区分锚框是否包含路面病害目标，并对于包含目标的锚框进行回归；
③分类：将目标候选区域映射到特征图中并调整尺寸，确定类别后再次回归修正以获得路面病害精确位置；
④输出：绘制检测框结果，并得到最终的路面病害感知结果。
进一步的，所述步骤S6中用于沥青路面病害感知的融合卷积神经网络FCNN-PDP-Yolov5s的构建方法为：
①提取：通过Yolov5s的核心组成部分进行特征提取得到特征图，主要步骤包括下采样、切片、分块、拼接等；
②组合：通过FPN+PAN完成金字塔组合得到不同维度的预测结果，Neck对提取到的路面病害特征进行混合与组合；
③预测：对三个维度的特征图产生大小不等的预测框，对预测框进行边框回归操作和目标框筛选操作得到最终的检测分类结果；
④分类：网络根据预测框的坐标在输入路面图像上绘制预测框信息，并标注预测框所对应的路面病害类别。
进一步的，所述步骤S6中用于沥青路面病害感知的融合卷积神经网络FCNN-PDP-SSD的构建方法为：
①提取：规格化图像，通过骨干网络VGG16进行特征提取，最终得到六层特征图；
②生成：在每一层特征图上的每一点上生成大小不同、比例相同的先验框；
③分类：通过卷积完成分类和回归，对每个先验框逐级分类和回归之后进行非极大值抑制操作，即得出目标检测结果；
④输出：将检测结果绘制到输入公路沥青路面病害图像中。
进一步的，所述步骤S7的具体步骤如下：
S7-1：通过损失函数曲线提供验证集数据反馈，依次调节模型迭代次数、学习率、衰减权重等超参数；
S7-2：采用AP和mAP进行FCNN-PDP-FR、FCNN-PDP-Yolov5s、FCNN-PDP-SSD三种网络的性能评价，综合对比选取最优高速公路沥青路面病害感知方法。
有益效果：本发明与现有技术相比，本发明将公路沥青路面病害分割模型与公路沥青路面病害检测分类模型进行融合，以实现分割病害的同时提高模型的检测分类精度，可对高速公路养护智能化发展提供技术支持。
附图说明
图1为空洞卷积结构示意图。
图2为二值化图像叠加示意图，其中(a)为横裂路面图，(b)为坑槽路面图，(c)为网裂路面图，(d)为其他病害路面图，各图中从左至右依次为原图、二值化图像、叠加后图像。
图3为FR-PDD高速公路沥青路面病害检测网络锚框示意图
图4为融合卷积神经网络FCNN-PDP-FR结构图。
图5为融合卷积神经网络FCNN-PDP-Yolov5s结构图。
图6为融合卷积神经网络FCNN-PDP-Yolov5s部分组件图
图7为融合卷积神经网络FCNN-PDP-SSD结构图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
本发明提供基于融合卷积神经网络的高速公路沥青路面病害感知方法，具体包括以下步骤：
S1：将Deeplabv3+骨干网络替换为优化Mobilenet V3网络，构建用于公路沥青路面病害分割的DL-M-PDS网络，其具体为：
S1-1：在bneck基本结构中按需要加入空洞卷积(Atrous conv)，空洞卷积结构如图1所示；
S1-2：在每次bneck深度卷积之后添加额外的批量标准化和NL激活函数，其具体为：
MobileNetV3的网络结构可以分为三个部分：起始部分为1个卷积层，通过3x3的卷积，提取特征；中间部分为多个卷积层；最后部分通过两个1x1的卷积层，代替全连接，输出类别。改进前后MobileNetV3网络结构分别如表1、2所示。其中bneck是网络的基本结构，Expsize为在BottleNeck模块中增加后的通道数，#out为输出的通道数，SE为是否使用通道注意力机制，NL为激活函数的类型，包括HS(h-swish)，RE(ReLU)；NBN为没有BN(归一化)操作，s为stride(步长)，网络采卷积操作进行降采样，没有采用池化操作。
表1MobilenetV3网络结构
表2改进的MobilenetV3网络结构
| Input | Operator | Exp size | #out | SE | Atrous conv | NL | s |
| 2242x3 | conv2d,3x3 | - | 16 | - | - | HS | 2 |
| 1122x16 | bneck,3x3 | 16 | 16 | √ | √ | RE | 2 |
| 562x16 | bneck,3x3 | 72 | 24 | - | √ | RE | 2 |
| 282x24 | bneck,3x3 | 88 | 24 | - | - | RE | 1 |
| 282x24 | bneck,5x5 | 96 | 40 | √ | √ | HS | 2 |
| 142x40 | bneck,5x5 | 240 | 40 | √ | - | HS | 1 |
| 142x40 | bneck,5x5 | 240 | 40 | √ | - | HS | 1 |
| 142x40 | bneck,5x5 | 120 | 48 | √ | - | HS | 1 |
| 142x48 | bneck,5x5 | 144 | 48 | √ | - | HS | 1 |
| 142x48 | bneck,5x5 | 288 | 96 | √ | √ | HS | 2 |
| 72x96 | bneck,5x5 | 576 | 96 | √ | - | HS | 1 |
| 72x96 | bneck,5x5 | 576 | 96 | √ | - | HS | 1 |
| 72x96 | conv2d,1x1 | - | 576 | √ | - | HS | 1 |
| 72x576 | pool,7x7 | - | - | - | - | - | 1 |
| 12x576 | conv2d 1x1,NBN | - | 1280 | - | - | HS | 1 |
| 12x1280 | conv2d 1x1,NBN | - | k | - | - | - | 1 |
S2：改进网络参数，构建用于公路沥青路面病害分割的DL-M2-PDS优化网络：优化输出步幅为16；优化空洞卷积步长rate为[3,5,8,11]。
S3：通过DL-M2-PDS路面病害分割模型获取路面像素级的分割病害信息，其具体为：
S3-1：输入公路沥青路面病害原图像，规格化分割网络图像尺寸为513×513×3；
S3-2：进入分割网络编码部分，将MobilenetV3作为骨干网络进行特征提取，输入图像与高维特征图的尺度之比为16，即特征图大小为(H/16)×(w/16)；
S3-3：采用空间金字塔池化模块ASPP提取多尺度信息，ASPP空洞卷积步长rate为[3,5,8,11]，并将不同尺度的特征图与image-level特征拼接(concat)在一起，并通过1x1的卷积进行融合得到一个新特征图像；
S3-4：通过解码部分将高维特征图插值到原始图像大小并输出预测图像，即得到二值化的路面病害分割图像。
S4：将像素级信息与原图像进行叠加：将分割得到的二值化图像透明度α设置为0.3，原图像透明度α设置为0.7，图像格式均为RGB格式，并采用透明度混合函数将二值化图像与原图像进行叠加得到具有更多语义信息的叠加图像，作为FCNN-PDP-FR的输入，得到部分样例如图2所示，左至右依次为原图、二值化图像、叠加后图像。叠加原理为：
Im gC＝Im gA·(1-α)+Im gB·α
S5：对Faster-RCNN、Yolov5s、SSD模型进行适应性改进，构建用于公路沥青路面病害检测的FR-PDD、Yolov5s-PDD、SSD-PDD融合卷积神经网络网络模型：
S5-1：根据路面病害图像的特点，对Faster-RCNN网络进行适应性改进，根据公路路面病害自身的尺寸特点保持锚框的面积为(128×128、256×256、512×512)不变，将锚框长宽比调整为(1:1、1:4、4:1)，如图3所示并保持Faster-RCNN基础网络结构不变，构建FR-PDD公路沥青路面病害检测网络；
S5-2：根据路面病害图像的特点，对Yolov5s网络进行适应性改进，对已标注好的数据集进行GT坐标的聚类回归，从而产生9个最有可能的锚框大小，以提高自适应锚框的产生效率与精确度，产生的九个锚框长宽分别是[33.75,524.8]、[42.5,263.68]、[45.0,564.48]、[73.75,78.08]、[110.0,117.76]、[197.5,96.0]、[313.75,174.08]、[629.38,153.6]、[631.25,92.16]；因数据已进行增强处理，去掉YOLO-V5s网络中数据增强部分，避免重复操作，构建Yolov5s-PDD公路沥青路面病害检测网络；
S5-3：根据路面病害图像的特点，调整SSD网络输入图像参数为300×300×3，以VGG16为骨干网络，设置先验框的长宽比为(1、2、3、1/2、1/3)，构建SSD-PDD公路沥青路面病害检测网络。
S6：叠加公路沥青路面病害图像分别输入FR-PDD、Yolov5s-PDD、SSD-PDD，构建用于公路沥青路面病害感知的FCNN-PDP-FR、FCNN-PDP-Yolov5s和FCNN-PDP-SSD三种网络：
用于沥青路面病害感知的融合卷积神经网络FCNN-PDP-FR结构如图4所示，其中第三部分为公路沥青路面病害目标检测和分类网络部分，具体包括以下步骤：
①提取：将叠加路面病害图像输入FCNN-PDP-FR网络，网络自动对路面病害图像进行规格化，骨干网络VGG16对路面病害图像的特征进行提取，即采用共享的卷积层提取全图特征，得到特征图；
②RPN：路面病害特征图输入RPN层，RPN网络利用一系列固定尺寸的锚框对特征图进行滑动卷积操作生成20000个锚框，Softmax层区分所生成的锚框是否包含路面病害目标，若包含路面病害目标则为前景进行保留，不包含目标则为背景剔除，同时对包含目标的锚框进行回归并采用bbox reg(bounding box regression)对锚框进行修正，从而获得精确的路面病害目标预测区域。
③分类：池化层将RPN产生的不同大小的路面病害目标候选区域映射到整个路面图像的特征图中，保留其图像特征并调整特征图到固定尺寸，同时通过全连接层回归分类环节的Softmax层计算Pooling后的结果对应到特征图上的范围，以确定类别，并再次通过bbox reg(bounding box regression)进行回归修正获得检测框最终的路面病害精确位置。
④输出：将检测框的结果根据生成的坐标绘制在输入图像上，并输出最终的FCNN-PDP-FR路面病害感知结果。
用于沥青路面病害感知的融合卷积神经网络FCNN-PDP-Yolov5s结构如图5所示，详细部分组件图如图6所示。其中第三部分为公路沥青路面病害目标检测和分类网络部分，具体包括以下步骤：
①提取：将得到的叠加公路沥青路面病害图像输入Yolov5s-PDD骨干网络，对输入路面病害图像的特征进行提取，主要步骤包括下采样、切片、分块、拼接等得到特征图；
②组合：Neck对提取到的路面病害特征进行混合与组合，并把这些特征传递给预测层，Neck部分的核心设计结构为FPN+PAN完成金字塔组合得到不同维度的预测结果，得到的特征图维度分别为76x76x255、38x38x255、19x19x255。
③预测：对三个维度的特征图产生大小不等的预测框，并对每个预测框进行分类损失、定位损失以及置信度损失计算后选择损失最小的预测框，即对预测框进行边框回归(bounding box)操作和目标框筛选(nms非极大值抑制)操作得到最终的检测分类结果。
④分类：网络根据预测框的坐标在输入路面图像上绘制预测框信息，并标注预测框所对应的路面病害类别。
用于沥青路面病害感知的融合卷积神经网络FCNN-PDP-SSD结构如图7所示，其中第三部分为公路沥青路面病害目标检测和分类网络部分，具体包括以下步骤：
①提取：将得到的公路沥青路面病害叠加图像输入SSD-PDD，网络自动将路面图像规格化为300x300x3，并通过骨干网络VGG16对输入路面病害图像的特征进行提取，经过4步卷积(conv4)之后得到相应的特征图，并继续进行卷积操作，最终得到六层特征图；
②生成：在每一层特征图上的每一点上生成大小不同、比例相同的先验框，将每层特征图分为a×a的格子，则每个格子的中心点即为先验框的中心点，每个中心点至少有两个正方形先验框和若干个长方形先验框，设置先验框的长宽比为(1、2、3、1/2、1/3)；
③分类：对先验框进行分类和回归，如结构图中Conv4、Conv7、Conv8、Conv9、Conv10和Conv11都有指向后面的8732分类和最后的非极大值抑制。以Conv4为例，Conv4后得到的特征图尺寸为38×38×512，该特征图上会产生38×38×4＝5776先验框，通过3×3×(4×(Classes+4))的卷积完成分类和回归，其他相类似，对Conv7、Conv8和Conv9特征图中每个像素产生6个先验框，对Conv10和Conv11特征图中的每个像素产生4个先验框，总计产生8732个先验框，对每个先验框逐级分类和回归之后进行非极大值抑制操作，即得出目标检测结果；
④输出：将检测结果绘制到输入公路沥青路面病害图像中。
S7：进行模型训练并优化参数，优选FCNN-PDP-FR、FCNN-PDP-Yolov5s和FCNN-PDP-SSD网络模型进行高速公路沥青路面病害感知：
采用裁剪、翻转、缩放、平移、加入高斯噪声、调节亮度等数据增强方法得到公路沥青路面病害检测、分类及分割图像共3741幅，其中横裂1381幅，纵裂1056幅，其他570幅，坑槽462幅，网裂272幅。对3741幅图像数据集进行人工标注，分别标注为横裂、纵裂、网裂、坑槽、其他五种类型。将FCNN-PDP-FR、FCNN-PDP-Yolov5s、FCNN-PDP-SSD三种融合感知模型训练得到的对各类病害的感知精度(AP)和平均感知精度(mAP)进行统计，结果如表4所示，并与未经过融合处理的FR-PDD、Yolov5s-PDD、SSD-PDD三种公路沥青路面病害检测模型(表3)进行对比。由表3和表4数据分析可得，融合网络模型对横裂和纵裂的检测和分类精度均有较大幅度的提升，在不影响实时性的前提下，平均检测精度mAP均有较大提升。这说明经过分割模型将沥青路面病害图像进行像素级别的分割再叠加能有效提升路面图像所蕴含的信息量，进而提升网络模型的检测和分类精度。对比三种不同结构的融合模型，其综合性能排序为：FCNN-PDP-Yolov5s>FCNN-PDP-FR>FCNN-PDP-SSD，可以看出本专利构建的用于公路沥青路面病害感知的FCNN-PDP-Yolov5s网络具有明显的优越性，具有更高的平均精度和更好的实时性，有利于实际工程应用。
表3非融合模型AP、mAP统计表
表4融合模型AP、mAP统计表
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：包括如下步骤：
S1：将Deeplabv3+骨干网络替换为优化Mobilenet V3网络，构建用于公路沥青路面病害分割的DL-M-PDS网络；
S2：改进网络参数，构建用于公路沥青路面病害分割的DL-M2-PDS优化网络；
S3：通过DL-M2-PDS路面病害分割模型获取路面像素级的分割病害信息；
S4：将像素级信息与原图像进行叠加；
S5：对Faster-RCNN、Yolov5s、SSD模型进行适应性改进，构建用于公路沥青路面病害检测的FR-PDD、Yolov5s-PDD、SSD-PDD融合卷积神经网络网络模型；
S6：叠加公路沥青路面病害图像分别输入FR-PDD、Yolov5s-PDD、SSD-PDD，构建用于公路沥青路面病害感知的FCNN-PDP-FR、FCNN-PDP-Yolov5s和FCNN-PDP-SSD三种网络；
S7：进行模型训练并优化参数，优选FCNN-PDP-FR、FCNN-PDP-Yolov5s和FCNN-PDP-SSD网络模型进行高速公路沥青路面病害感知。
2.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S1中优化Mobilenet V3的具体步骤如下：
S1-1：在bneck基本结构中按需要加入空洞卷积；
S1-2：在每次bneck深度卷积之后添加额外的批量标准化和NL激活函数。
3.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S2中改进网络参数的主要内容为：优化输出步幅为16；优化空洞卷积步长rate为[3,5,8,11]。
4.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S3的具体内容为：
S3-1：输入公路沥青路面病害原图像，规格化分割网络图像尺寸为513×513×3；
S3-2：进行特征提取，设置输入图像与高维特征图的尺度之比为16；
S3-3：采用空间金字塔池化模块提取多尺度信息，将不同尺度的特征图与image-level特征拼接，融合得到新特征图像；
S3-4：将高维特征图插值到原始图像大小，输出二值化的路面病害分割图像。
5.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S4的具体内容为：将二值化图像透明度设置为0.3，原图像透明度设置为0.7，采用透明度混合函数将二值化图像与原图像叠加。
6.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S5的具体内容为：
S5-1：根据路面病害图像的特点，对Faster-RCNN网络进行适应性改进，保持锚框的面积为128×128、256×256、512×512不变，将锚框长宽比调整为1:1、1:4、4:1，并保持Faster-RCNN基础网络结构不变，构建FR-PDD公路沥青路面病害检测网络；
S5-2：根据路面病害图像的特点，对Yolov5s网络进行适应性改进，对已标注好的数据集进行GT坐标的聚类回归，产生9个最有可能锚框大小，同时去除Yolov5s网络数据增强部分，构建Yolov5s-PDD公路沥青路面病害检测网络；
S5-3：根据路面病害图像的特点，调整SSD网络输入图像参数，以VGG16为骨干网络，设置先验框的长宽比为1、2、3、1/2、1/3，构建SSD-PDD公路沥青路面病害检测网络。
7.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S6中构建用于沥青路面病害感知的FCNN-PDP-FR网络的方法为：
①提取：网络自动规格化图像，骨干网络VGG16采用共享的卷积层提取全图特征，得到特征图；
②RPN：通过系列锚框滑动卷积操作生成20000个锚框，区分锚框是否包含路面病害目标，并对于包含目标的锚框进行回归；
③分类：将目标候选区域映射到特征图中并调整尺寸，确定类别后再次回归修正以获得路面病害精确位置；
④输出：绘制检测框结果，并得到最终的路面病害感知结果。
8.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S6中构建用于沥青路面病害感知的FCNN-PDP-Yolov5s网络的方法为：
①提取：通过Yolov5s的核心组成部分进行特征提取得到特征图，主要步骤包括下采样、切片、分块、拼接；
②组合：通过FPN+PAN完成金字塔组合得到不同维度的预测结果，Neck对提取到的路面病害特征进行混合与组合；
③预测：对三个维度的特征图产生大小不等的预测框，对预测框进行边框回归操作和目标框筛选操作得到最终的检测分类结果；
④分类：网络根据预测框的坐标在输入路面图像上绘制预测框信息，并标注预测框所对应的路面病害类别。
9.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S6中构建用于沥青路面病害感知的FCNN-PDP-SSD网络的方法为：
①提取：规格化图像，通过骨干网络VGG16进行特征提取，最终得到六层特征图；
②生成：在每一层特征图上的每一点上生成大小不同、比例相同的先验框；
③分类：通过卷积完成分类和回归，对每个先验框逐级分类和回归之后进行非极大值抑制操作，即得出目标检测结果；
④输出：将检测结果绘制到输入公路沥青路面病害图像中。
10.根据权利要求1所述的基于融合卷积神经网络的高速公路沥青路面病害感知方法，其特征在于：所述步骤S7的具体步骤如下：
S7-1：通过损失函数曲线提供验证集数据反馈，依次调节模型迭代次数、学习率、衰减权重超参数；
S7-2：采用AP和mAP进行FCNN-PDP-FR、FCNN-PDP-Yolov5s、FCNN-PDP-SSD三种网络的性能评价，综合对比选取最优高速公路沥青路面病害感知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211008095.2A CN115393587A (zh) | 2022-08-22 | 2022-08-22 | 基于融合卷积神经网络的高速公路沥青路面病害感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211008095.2A CN115393587A (zh) | 2022-08-22 | 2022-08-22 | 基于融合卷积神经网络的高速公路沥青路面病害感知方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393587A true CN115393587A (zh) | 2022-11-25 |
Family
ID=84120918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211008095.2A Pending CN115393587A (zh) | 2022-08-22 | 2022-08-22 | 基于融合卷积神经网络的高速公路沥青路面病害感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393587A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385401A (zh) * | 2023-04-06 | 2023-07-04 | 浙江理工大学桐乡研究院有限公司 | 一种高精度纺织品缺陷可视化检测方法 |
| CN116503845A (zh) * | 2023-06-25 | 2023-07-28 | 四川省交通勘察设计研究院有限公司 | 一种再生沥青混合料中的假骨料含量检测方法、系统及介质 |
| CN116681657A (zh) * | 2023-05-18 | 2023-09-01 | 中南大学 | 基于改进YOLOv7模型的沥青路面病害检测方法 |
-
2022
- 2022-08-22 CN CN202211008095.2A patent/CN115393587A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385401A (zh) * | 2023-04-06 | 2023-07-04 | 浙江理工大学桐乡研究院有限公司 | 一种高精度纺织品缺陷可视化检测方法 |
| CN116385401B (zh) * | 2023-04-06 | 2023-11-24 | 浙江理工大学桐乡研究院有限公司 | 一种高精度纺织品缺陷可视化检测方法 |
| CN116681657A (zh) * | 2023-05-18 | 2023-09-01 | 中南大学 | 基于改进YOLOv7模型的沥青路面病害检测方法 |
| CN116681657B (zh) * | 2023-05-18 | 2024-03-22 | 中南大学 | 基于改进YOLOv7模型的沥青路面病害检测方法 |
| CN116503845A (zh) * | 2023-06-25 | 2023-07-28 | 四川省交通勘察设计研究院有限公司 | 一种再生沥青混合料中的假骨料含量检测方法、系统及介质 |
| CN116503845B (zh) * | 2023-06-25 | 2023-09-12 | 四川省交通勘察设计研究院有限公司 | 一种再生沥青混合料中的假骨料含量检测方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Pothole detection using location-aware convolutional neural networks | |
| Du et al. | Pavement distress detection and classification based on YOLO network | |
| CN111145174B (zh) | 基于图像语义特征进行点云筛选的3d目标检测方法 | |
| CN115393587A (zh) | 基于融合卷积神经网络的高速公路沥青路面病害感知方法 | |
| CN111401380B (zh) | 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法 | |
| CN110956207B (zh) | 一种光学遥感影像全要素变化检测方法 | |
| CN113392849A (zh) | 一种基于r-cnn的复杂路面裂缝识别方法 | |
| Gupta et al. | Image-based crack detection approaches: a comprehensive survey | |
| EP4174792A1 (en) | Method for scene understanding and semantic analysis of objects | |
| CN108305260A (zh) | 一种图像中角点的检测方法、装置及设备 | |
| CN113033516A (zh) | 对象识别统计方法及装置、电子设备、存储介质 | |
| CN117495735B (zh) | 一种基于结构引导的建筑物立面纹理自动修复方法及系统 | |
| CN111738164B (zh) | 一种基于深度学习的行人检测方法 | |
| Dong et al. | Intelligent segmentation and measurement model for asphalt road cracks based on modified mask R-CNN algorithm | |
| CN115546768A (zh) | 基于多尺度机制和注意力机制的路面标线识别方法及系统 | |
| CN112861970A (zh) | 一种基于特征融合的细粒度图像分类方法 | |
| CN118196740A (zh) | 基于复杂场景的自动驾驶目标检测方法、装置及存储介质 | |
| CN116091911A (zh) | 一种地震勘探工区建筑物自动识别方法及系统 | |
| CN113096079A (zh) | 图像分析系统及其构建方法 | |
| Owor et al. | Image2PCI--A Multitask Learning Framework for Estimating Pavement Condition Indices Directly from Images | |
| CN110348311B (zh) | 一种基于深度学习的道路交叉口识别系统及方法 | |
| CN116863134A (zh) | 一种隧道衬砌裂缝长度与宽度的检测分割方法及系统 | |
| CN113657214B (zh) | 一种基于Mask RCNN的建筑损伤评估方法 | |
| CN115063684A (zh) | 一种基于遥感影像场景划分的农机轨迹识别方法及其应用方法 | |
| CN115273131A (zh) | 基于双通路特征融合的动物识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |