CN111311538A - 一种基于卷积神经网络的多尺度轻量化道路路面检测方法 - Google Patents
一种基于卷积神经网络的多尺度轻量化道路路面检测方法 Download PDFInfo
- Publication number
- CN111311538A CN111311538A CN201911384987.0A CN201911384987A CN111311538A CN 111311538 A CN111311538 A CN 111311538A CN 201911384987 A CN201911384987 A CN 201911384987A CN 111311538 A CN111311538 A CN 111311538A
- Authority
- CN
- China
- Prior art keywords
- pavement
- size
- layer
- convolution
- mobilecrack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims abstract description 9
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000004519 manufacturing process Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 4
- 238000003860 storage Methods 0.000 abstract description 4
- 230000035945 sensitivity Effects 0.000 abstract description 2
- 238000012935 Averaging Methods 0.000 abstract 1
- 238000010200 validation analysis Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000010206 sensitivity analysis Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积神经网络的多尺度轻量化道路路面检测方法，基于VGG和Xception的设计思路，设计了一种全新的CNN结构，MobileCrack，应用于路面裂缝的自动识别。主要结构为堆叠的Core Module和全局平均池化层。具体实施步骤为：使用人工方法对原始破损路面进行采集；批量裁剪、人工标定、数据增强、数据集制作、基于卷积神经网络模型建立即CNN构架——MobileCrack；训练与测试，将处理好的路面数据训练集输入到搭建的神经网络中进行训练，并且做准确度、灵敏度分析。本方法能够根据图像尺度变化调节网络结构，提升其对于多尺度图像的适应性和分类精度。且为MobileCrack的结构提供了相当的灵活度，能够自由地在准确度、运行时间和储存大小三者间进行权衡。
Description
技术领域
本发明属于图像识别领域，涉及一种基于卷积神经网络的多尺度轻量化道路 路面检测模型。本发明应用于路面检测的智能化，以制定出合理且高效的养护管 理决策。
背景技术
近些年，我国公路总里程增速明显放缓，这标志着我国公路行业从大建设周 期迈向大养护时代，而路面破损检测是其中的重点。随着近些年人工智能技术的 兴起，在某些图像分类领域中,一些基于卷积神经网络的分类准确度已经达到甚 至超越人类的识别精度。
目前，考虑实际路面破损图像受曝光度和阴影等因素影响的CrackTree网络， 能够对水泥路面破损图像进行自动化的裂缝识别。其对于非连续的裂缝有很强的 识别能力，但是没有考虑到实际裂缝的宽度问题。
一种CNN-CDM卷积神经网络结构，可以对沥青路面破损图像进行识别分 类，能够自动化的对每张输入图像进行有无裂缝的判断输出。但是该方法会出现 将坑槽误认为裂缝的错误。
经典的深度卷积神经网络AlexNet、VGG等路面检测技术，其神经网络连接 模式过于冗余而低效，模型复杂，参数量大，运行速度慢，计算需求高。
在实际应用中，基于不同检测车所采集的路面站点图像往往具有不同的尺寸， 和由于外部环境变化导致的光影变化大等问题。故，本文提出一种能够解决以上 问题的，能够根据图像尺度变化自适应结构调整的轻量化卷积神经网络 MobileCrack。
发明内容
一种基于卷积神经网络的多尺度轻量化道路路面检测模型，具体内容如下： 本发明基于VGG和Xception的设计思路，设计了一种全新的CNN结构， MobileCrack，适用于路面裂缝的识别。主要结构为堆叠的CoreModule和全局平 均池化层，如图1所示。
本发明公开了一种基于卷积神经网络的多尺度轻量化道路路面检测方法，第 一步图像采集，使用人工方法对原始破损路面进行采集，采集格式为统一像素三 通道灰度图像。
第二步批量裁剪，为了使路面图像数据集满足深度学习要求，将所得路面原 始图片数据集进行裁剪，使路面图片尺寸缩小至一定规模，既能够不破坏路面裂 缝等分类特征，又尽可能的降低图像尺寸过大带来的难以训练问题。首先，通过 双线性插值进行横向缩放至较小的统一像素。然后，对其进行连续剪裁，每张路 面图像剪裁得到50张更小像素的子图像。
第三步人工标定，在本发明中，路面图像数据集的规模和分类特征的一致性 会对网络预测精度造成很大影响。因此使用人工标定法，用labelImg对上一步得 到的路面图片集进行标定，共分为Background、Crack、Sealedcrack、Roadmark 四类。
第四步数据增强，由于深度学习时，训练集的数量越多越有利于学习，因此， 将本发明的路面图片集的每一张图片进行适当的处理步骤来扩大图片集。具体方 法为镜像和旋转。镜像，将每一张分割的路面图像经过镜像对称，扩大一倍路面 图集，最后经过不同角度的旋转，再次扩大数倍路面图集。
第五步数据集制作，把路面图片集按照训练集、验证集和测试集比例为10： 1：1进行划分。
第六步基于卷积神经网络模型建立，建立一种新型的CNN构架—— MobileCrack。
主要结构CoreModule为1个尺寸3*3，步长2的标准卷积层，后接一层1*1 卷积。将输出的路面特征图按通道分为两部分，进行卷积核尺寸为3*3，步长1 的标准卷积，即分组卷积。ConcatLayer将两组输出在通道维度上进行合并，此 为CoreModule的输出。所有的卷积层的填充方式均采用same模式。同时，在 每个卷积层和激活函数间，添加BN层，保证层间数据的稳定性，同时加速训练 效率。在单个CoreModule中，通道数不发生改变，即，cs＝cp＝2*cg＝cc。 其中，cs，cp，cc为标准卷积层、1*1卷积层，和Concat层输出的通道数，cg为 分组卷积层中每个Group的输出通道数。
在CoreModule的堆叠时，后一个CoreModule的第一层标准卷积核数量取 决于前一层最后Concat层的输出通道个数，是其2倍。MobileCrack中的所有卷 积计算，均通过CoreModule中的3类卷积层完成。降采样工作，均由CoreModule 中的标准卷积层完成，由于普通池化层(PoolingLayer)对于数据空间尺寸的缩 小速度过快，故不使用池化层。由于全连接层(FullyConnectedLayer)会将图 像的空间特征破坏，且其全连接特性导致参数量巨大，故MobileCrack不采用全 连接层。用全局平均池化层代替，其不仅能够大幅度减少参数数量，同时能够使 网络具有多尺度的输入特性。全局平均池化，是将每张路面图片特征图均值池化 为一个点数据，其输出的向量尺寸只与输入向量的通道数有关。MobileCrack的结构参数如表1所示：
表1 MobileCrack各层的结构和参数
MobileCrack的损失函数采用交叉熵函数(CategoricalCrossentropy)。优化 器采用Adam，β_1＝0.9，β_2＝0.999，ε＝10-8。在训练时，Mini-Batch尺寸设置为 128，学习率设置为0.001，Decay设置为，将学习率每10个Epoch下调一个数 量级。
第七步训练与测试，将处理好的路面数据训练集输入到搭建的神经网络中进 行训练，稍后进行测试，并且做准确度、灵敏度分析。
附图说明
图1MobileCrack结构图。图中：f为卷积核尺寸，s为卷积核移动步长，same 为一种填充模式，n为堆叠的CoreModule个数。
图2批量剪裁示意图。
图3图像集中4种分类图片：(a)路面背景(b)路面背景(c)未修补裂 缝(d)已修补裂缝。
图4图像增强，(a)图像垂直翻转，(b)(c)(d)图像旋转90°，180°，270°。
图5固定n值下不同输入尺寸对应的MobileCrack(a)训练集损失(b)训 练集准确度(c)验证集损失(d)验证集准确度。
图6固定输入尺寸下不同n值对应的MobileCrack(a)训练集损失(b)训 练集精确度(c)验证集损失(d)验证集精确度。
图7固定输出特征图尺寸下不同n值对应的MobileCrack(a)训练集损失 (b)训练集准确度(c)验证集损失(d)验证集准确度。
图8不同参数下MobileCrack的表现图。
图9不进行正则化的MobileCrack计算结果。
图10不同keep-prob下(a)训练集损失(b)训练集准确度(c)验证集损 失(d)验证集准确度。
图11不同Dropout keep-prob值对应的MobileCrack表现。
图12不同CNN与MobileCrack的表现对比图。
具体实施方式
本发明所采用的原始路面破损图像数据集共有6,380张4,096*2,000像素的 三通道灰度图像。为使数据集满足深度学习要求，对原始图像做如下数据预处理 步骤：
(1)批量剪裁
批量剪裁的目的是将4,096*2,000像素的原始图片进行剪裁，使图片尺寸缩小至一定规模，既不破坏路面裂缝等分类特征，又尽可能的降低图像尺寸过大带来的 难以训练问题。本文针对每张4,096*2,000像素的原始图像：
首先，通过双线性插值进行横向缩放至4,000*2,000像素。
然后，对其进行连续剪裁，每张4,000*2,000像素的图像剪裁得到50张 400*400像素的子图像，如图2所示。
(2)人工标记
人工标记的目的在于对数据集进行分类，以进行监督学习。在监督学习中， 数据集的规模和分类特征的一致性会对网络预测精度造成很大影响。所以在此步 骤中，本发明对每张400*400像素的子图片进行分类和筛选，共得到1,308张路 面背景图像，519张未修补裂缝图像，412张已修补裂缝图像和406张路面标线 图像，如表2所示。图3展示了4种分类的典型图片。
表2数据集构成
(3)数据增强(DataAugmentation)
数据增强的目的在于将数据集的规模扩大，丰富数据及图像的多样性。本发 明通过两种手段进行数据增强，镜像和旋转。
首先，将每张图片进行垂直镜像，如图4(a)所示。
然后，对三张图像分别进行旋转90°，180°和270°变换，如图4(b)(c)(d) 所示。故图像集经过图像增强后，相当于将原图像集的规模增至8倍。所以，得 到最终的数据集构成为路面背景10,464张，未修补裂缝4,152张，已修补裂缝 3,296张和路面标线3,248张，如表2所示。
(4)数据集制作
为满足监督学习的需要，将经过数据增强后的数据集共计21,160张图像， 按照训练集、验证集和测试集比例为10：1：1进行划分。但是考虑到无损路面 和其他三种分类的图像数量差距过大，为保证在学习时每种分类的训练集数据数 量相近，每种分类筛选2,500张作为训练集。得到训练集10,000张，验证集图像 1,000张和测试集图像1,000张，如表2所示。
对于MobileCrack的多尺度输入特性，为降低网络模型的计算量，同时能够 保证裂缝识别的精度衰减程度较低，对输入图像的尺寸做灵敏度分析。即，不同 尺度的相同图像输入，对网络识别精度的影响。同时，最重要的一个超参数n， 即CoreModule的堆叠数量。其与多尺度的输入向量和输出的特征图尺寸挂钩：
其中sizeinput为第一个CoreModule的输入特征图的尺寸，sizeoutput为第n 个CoreModule的输出特征图的尺寸。
在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域 大小，被称作感受野(ReceptiveField)。感受野中的每一个像素值并不是同等重 要。一个像素点越接近感受野中心，对输出特征的计算所起作用越大。这意味着 某一个特征不仅仅是受限在输入图片中某个特定的区域(感受野)，并且呈指数 级聚焦在区域的中心。感受野计算公式：
r1＝1 (2)
r2＝f2 (3)
式中，rk是第k层神经元的感受野,fk第k层的卷积核尺寸,而si是相应的第 i层的卷积步长。.
首先，固定n的大小，即保证MobileCrack的高层神经元的感受野的一致性。 以原始图像400*400，调节size_input为50，100，200。相应的，通过双线性插 值调节数据集中图像的尺寸。图5展示了对应的MobileCrack在训练过程中的损 失和准确度。分别对应的识别精度如表3所示。可以看出，随着sizeinput的减小， 准确度会逐渐降低，但是计算所需要耗费的时间会呈指数级下降。在图像输入尺 寸为50*50时，每张图片的检测只需要2毫秒。
表3固定n值下不同输入尺寸对应的MobileCrack表现
注：运行时间为MobileCrack对单张图像进行预测所需要的时间
然后，固定sizeinput＝100，调整n为3，4，5。由于CoreModule的特性， 当n>＝6，其CoreModule组的sizeoutput将<＝2*2，其信息量过小，无法保留充分 的空间特征。故，只设置n为3，4，5。图6展示了对应的MobileCrack在训练 过程中的损失和准确度。其结果如表4所示。三种形态的MobileCrack的运行时 间基本相当，除去n＝3时MobileCrack的准确度精度较低，网络足够深后(n>＝4)， 其表现基本在同等水平下。故，在网络的结构复杂性和图像sizeinput两者间，存 在一个结构复杂度的阈值，当其超过阈值时，决定模型表现的是输入图像自身所 携带的信息的复杂度；反之，则由结构复杂度决定。
表4固定输入尺寸下不同n值对应的MobileCrack表现
表5显示了每层神经元感受野的大小。与表4相比，输入大小为100的预测 精度相对较高，因为对于n＝4，MobileCrack最高层神经元的感受野为91*91，如 表5所示，最接近sizeinput＝100的感受野。其几乎覆盖了输入图像的所有像素， 同时保证了不存在冗余计算。
将sizeoutput固定不变，如表6所示，调节sizeinput为50，100，200，即固 定全局平均池化层的参数，都是将尺寸为7*7的特征图全局平均池化为单个信息 点。不同的是全局平均池化层的维度有所变化，输入尺寸较大的图像所蕴含的特 征较复杂，需要更多的特征图进行特征提取。图7展示了对应的MobileCrack在 训练过程中的损失和准确度。MobileCrack的准确度随着sizeinput的增加而提升， 但是运行时间也会成倍增加。
表5各层神经元的感受野大小
表6固定输出尺寸下不同输入尺寸对应的MobileCrack表现
图8显示了不同超参数的计算结果。结果表明，模型越复杂，预测精度越高， 但计算速度越慢。输入图像越小，计算速度越快，但会丢失一定的精度。同时， 尺寸为400*400的原始图像的预测不仅准确度较低，且计算时间很长。而对其进 行缩小后，不仅由于模型结构的简化，能够大幅度减少参数量，降低存储空间需 求，加速计算，对移动端部署更加亲和；同时还能有效提高计算精度。图8中的 趋势线是缩小input_size的MobileCrack变体的表现拟合趋势线。例如，输入 100*100的图像，MobileCrack会自动的在inputsize＜＝100的变体中，寻找最优 模型完成预测，即准确度最高的模型。如图8所示，即input_size＝100，n＝4 的MobileCrack。
根据图9可以看出训练和测试的损失随着迭代次数的增加而趋近于零，即在 不使用其他正则化方法时，MobileCrack仍然存在一定的对训练集过拟合现象， 训练及准确率与验证集准确率有较大的差距。为此，设计Dropoutkeep-prob 灵敏度分析实验。
将keep-prob分别设置为0，0.1，0.2，0.3，0.4，0.5。由于CoreModule 中标准卷积层除了负责卷积计算，还承担降采样工作；1*1卷积层中每个卷积核 对于传入的特征图的感受野只有1*1，无重叠，其若添加Dropout层会丢失一些 独立的像素元信息；而分组卷积层的卷积核尺寸3*3，步长1*1，其每个卷积核 的感受野有所重叠，故在分组卷积层添加Dropout层。
图10展示了对比试验的损失和准确度曲线。实验结果如表7所示，发现 Dropout层不影响模型运行速度，能够小幅度提升MobileCrack的准确度，当设 置keep-prob＝0.1时，准确度能够提升0.1％，但是训练更难，需要增加至少 20个Epoch，才能使MobileCrack达到最优。而当继续提升keep-prob时， MobileCrack的精度会越来越低。故，对于轻量化的模型MobileCrack，其过拟合 现象无法通过添加Dropout层，进行有效正则化。其原因是，轻量化的CNN由 于参数量较少，其对于复杂特征的学习能力没有更大的网络的能力强，故其会面临欠拟合状态(Underfitting)，而非过拟合(Overfitting)。图11展示了不同Dropoutkeep-prob值对应的MobileCrack表现。
表7不同Dropoutkeep-prob值对应的MobileCrack表现
表8对比了MobileCrack与经典模型AlexNet、VGG、轻量化模型MobileNet。MobileCrack在现有计算资源下，能够达到更高的分类精度，同时其参数量仅为 AlexNet的1/33，VGG16的1/58，MobileNet的近1/4。且MobileCrack的模型存 储空间只需要10MB，而轻量化模型MobileNet需要37MB。图12展示了不同 CNN与MobileCrack的表现对比。
表8不同CNN与MobileCrack的表现对比
注：所有的模型均采用sizeinput＝100，其中由于CPU计算速度的限制，VGG16 较难训练，故采用Imagenet预训练的前几层权重，只对全连接层进行训练。而 AlexNet和MobileNet均采用参数随机初始化方式在本研究数据集上进行训练。 各个模型通过Keras命令keras.model.save存储为h5格式。
本方法提出轻量化CNN模型MobileCrack用于多尺度的道路路面检测任务。MobileCrack的最重要的超参数之一n，能够根据图像尺度变化调节网络结构， 提升其对于多尺度图像的适应性和分类精度。且为MobileCrack的结构提供了相 当的灵活度，能够自由地在准确度、运行时间和储存大小三者间进行权衡。
(1)在MobileCrack结构不变情况下，图像输入尺寸越高准确度越高，但运行 时间成倍增长。性价比最高的是输入尺寸为100*100像素的路面破损图像。
(2)在固定输入尺寸为100*100像素时，改变CoreModule的数量。当模型足 够复杂，其准确度基本保持不变，由输入图像尺寸决定其上限；反之，准确度随 模型的复杂度同向变化。
(3)在保证GAP层参数不变时，图像输入尺寸为200*200表现最好，其准确度 能够达到95.1％。
在输入尺寸相同情况下，轻量化的MobileCrack具有比经典CNN模型AlexNet、 VGG和MobileNet更加优秀的表现，更高的准确度，更少的参数量，和更低的 存储空间以及计算要求。
Claims (3)
1.一种基于卷积神经网络的多尺度轻量化道路路面检测方法，其特征在于：
第一步图像采集，使用人工方法对原始破损路面进行采集，采集格式为统一像素三通道灰度图像；
第二步批量裁剪，将所得路面原始图片数据集进行裁剪，使路面图片尺寸缩小，不破坏路面裂缝分类特征；通过双线性插值进行横向缩放至较小的统一像素；然后，对其进行连续剪裁，每张路面图像剪裁得到50张更小像素的子图像；
第三步人工标定，路面图像数据集的规模和分类特征的一致性会对网络预测精度造成很大影响；使用人工标定法，用labelImg对上一步得到的路面图片集进行标定，共分为Background、Crack、Sealedcrack、Roadmark四类；
第四步数据增强，将路面图片集的每一张图片进行适当的步骤来扩大图片集；具体方法为镜像和旋转；镜像，将每一张分割的路面图像经过镜像对称，扩大一倍路面图集，最后经过不同角度的旋转，再次扩大数倍路面图集；
第五步数据集制作，把路面图片集按照训练集、验证集和测试集比例为10：1：1进行划分；
第六步基于卷积神经网络模型建立，建立CNN构架——MobileCrack；Core Module的结构为1个尺寸3*3，步长2的标准卷积层，后接一层1*1卷积；将输出的路面特征图按通道分为两部分进行卷积核尺寸为3*3，步长1的标准卷积，即分组卷积；Concat Layer将两组输出在通道维度上进行合并，此为Core Module的输出；所有的卷积层的填充方式均采用same模式；在每个卷积层和激活函数间，添加BN层，保证层间数据的稳定性，同时加速训练效率；在单个Core Module中，通道数不发生改变，即，cs＝cp＝2*cg＝cc；其中，cs，cp，cc为标准卷积层、1*1卷积层，和Concat层输出的通道数，cg为分组卷积层中每个Group的输出通道数；
在Core Module的堆叠时，后一个Core Module的第一层标准卷积核数量取决于前一层最后Concat层的输出通道个数，是其2倍；MobileCrack中的所有卷积计算，均通过CoreModule中的3类卷积层完成；降采样工作，均由Core Module中的标准卷积层完成；用全局平均池化层能够减少参数数量，同时使网络具有多尺度的输入特性；全局平均池化，是将每张路面图片特征图均值池化为一个点数据，其输出的向量尺寸只与输入向量的通道数有关；
MobileCrack的损失函数采用交叉熵函数；优化器采用Adam，β_1＝0.9，β_2＝0.999，ε＝10-8；在训练时，Mini-Batch尺寸设置为128，学习率设置为0.001，Decay设置为，将学习率每10个Epoch下调一个数量级；
第七步训练与测试，将处理好的路面数据训练集输入到搭建的神经网络中进行训练进行测试。
2.根据权利要求1所述的一种基于卷积神经网络的多尺度轻量化道路路面检测方法，其特征在于：卷积网络超参数n的自适应，即Core Module的堆叠数量与多尺度的输入向量和输出的特征图尺寸挂钩：
其中sizeinput为第一个Core Module的输入特征图的尺寸，sizeoutput为第n个CoreModule的输出特征图的尺寸。
3.根据权利要求2所述的一种基于卷积神经网络的多尺度轻量化道路路面检测方法，其特征在于：
固定n的大小，即保证MobileCrack的高层神经元的感受野的一致性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911384987.0A CN111311538B (zh) | 2019-12-28 | 2019-12-28 | 一种基于卷积神经网络的多尺度轻量化道路路面检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911384987.0A CN111311538B (zh) | 2019-12-28 | 2019-12-28 | 一种基于卷积神经网络的多尺度轻量化道路路面检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111311538A true CN111311538A (zh) | 2020-06-19 |
| CN111311538B CN111311538B (zh) | 2023-06-06 |
Family
ID=71146762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911384987.0A Active CN111311538B (zh) | 2019-12-28 | 2019-12-28 | 一种基于卷积神经网络的多尺度轻量化道路路面检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111311538B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111832466A (zh) * | 2020-07-08 | 2020-10-27 | 上海东普信息科技有限公司 | 基于vgg网络的暴力分拣识别方法、装置、设备及存储介质 |
| CN111914797A (zh) * | 2020-08-17 | 2020-11-10 | 四川大学 | 基于多尺度轻量级卷积神经网络的交通标志识别方法 |
| CN111959495A (zh) * | 2020-06-29 | 2020-11-20 | 北京百度网讯科技有限公司 | 车辆的控制方法、装置及车辆 |
| CN112016639A (zh) * | 2020-11-02 | 2020-12-01 | 四川大学 | 灵活可分离卷积框架和特征提取方法及其在VGG和ResNet中应用 |
| CN112435219A (zh) * | 2020-11-09 | 2021-03-02 | 东南大学 | 一种基于转置神经网络层间特征融合的路面裂缝识别方法 |
| CN112651468A (zh) * | 2021-01-18 | 2021-04-13 | 佛山职业技术学院 | 一种多尺度轻量化图像分类方法及其存储介质 |
| CN112818893A (zh) * | 2021-02-10 | 2021-05-18 | 北京工业大学 | 一种面向移动终端的轻量化开集地标识别方法 |
| CN113034410A (zh) * | 2020-12-19 | 2021-06-25 | 北京工业大学 | 一种耦合传统方法和卷积自编码的道路病害图片增强方法 |
| CN113781311A (zh) * | 2021-10-10 | 2021-12-10 | 北京工业大学 | 一种基于生成对抗网络的图像超分辨率重建方法 |
| CN114466531A (zh) * | 2022-03-09 | 2022-05-10 | 江门市尚智电子材料有限公司 | 一种多层fpc柔性电路板环保型加工方法 |
| CN115063679A (zh) * | 2022-06-15 | 2022-09-16 | 电子科技大学 | 一种基于深度学习的路面质量评估方法 |
| WO2022222369A1 (zh) * | 2021-04-20 | 2022-10-27 | 上海科技大学 | 可用于轻量级神经网络的纯整型量化方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825169A (zh) * | 2016-03-10 | 2016-08-03 | 辽宁工程技术大学 | 一种基于道路影像的路面裂缝识别方法 |
| CN108876780A (zh) * | 2018-06-26 | 2018-11-23 | 陕西师范大学 | 一种复杂背景下桥梁裂缝图像裂缝检测方法 |
| CN110298266A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 基于多尺度感受野特征融合的深度神经网络目标检测方法 |
| CN110415233A (zh) * | 2019-07-26 | 2019-11-05 | 东南大学 | 基于两步卷积神经网络的路面裂缝快速提取方法 |
| CN110472666A (zh) * | 2019-07-18 | 2019-11-19 | 广东工业大学 | 一种基于卷积神经网络的混凝土裂缝识别方法 |
-
2019
- 2019-12-28 CN CN201911384987.0A patent/CN111311538B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825169A (zh) * | 2016-03-10 | 2016-08-03 | 辽宁工程技术大学 | 一种基于道路影像的路面裂缝识别方法 |
| CN108876780A (zh) * | 2018-06-26 | 2018-11-23 | 陕西师范大学 | 一种复杂背景下桥梁裂缝图像裂缝检测方法 |
| CN110298266A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 基于多尺度感受野特征融合的深度神经网络目标检测方法 |
| CN110472666A (zh) * | 2019-07-18 | 2019-11-19 | 广东工业大学 | 一种基于卷积神经网络的混凝土裂缝识别方法 |
| CN110415233A (zh) * | 2019-07-26 | 2019-11-05 | 东南大学 | 基于两步卷积神经网络的路面裂缝快速提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| HAIFENG LI 等: "Automatic Pavement Crack Detection by Multi-Scale Image Fusion" * |
| YAHUI LIU 等: "DeepCrack: A deep hierarchical feature learning architecture for crack segmentation" * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111959495B (zh) * | 2020-06-29 | 2021-11-12 | 阿波罗智能技术(北京)有限公司 | 车辆的控制方法、装置及车辆 |
| CN111959495A (zh) * | 2020-06-29 | 2020-11-20 | 北京百度网讯科技有限公司 | 车辆的控制方法、装置及车辆 |
| CN111832466A (zh) * | 2020-07-08 | 2020-10-27 | 上海东普信息科技有限公司 | 基于vgg网络的暴力分拣识别方法、装置、设备及存储介质 |
| CN111914797A (zh) * | 2020-08-17 | 2020-11-10 | 四川大学 | 基于多尺度轻量级卷积神经网络的交通标志识别方法 |
| CN112016639A (zh) * | 2020-11-02 | 2020-12-01 | 四川大学 | 灵活可分离卷积框架和特征提取方法及其在VGG和ResNet中应用 |
| CN112435219A (zh) * | 2020-11-09 | 2021-03-02 | 东南大学 | 一种基于转置神经网络层间特征融合的路面裂缝识别方法 |
| CN113034410A (zh) * | 2020-12-19 | 2021-06-25 | 北京工业大学 | 一种耦合传统方法和卷积自编码的道路病害图片增强方法 |
| CN112651468A (zh) * | 2021-01-18 | 2021-04-13 | 佛山职业技术学院 | 一种多尺度轻量化图像分类方法及其存储介质 |
| CN112651468B (zh) * | 2021-01-18 | 2024-06-04 | 佛山职业技术学院 | 一种多尺度轻量化图像分类方法及其存储介质 |
| CN112818893A (zh) * | 2021-02-10 | 2021-05-18 | 北京工业大学 | 一种面向移动终端的轻量化开集地标识别方法 |
| WO2022222369A1 (zh) * | 2021-04-20 | 2022-10-27 | 上海科技大学 | 可用于轻量级神经网络的纯整型量化方法 |
| US11934954B2 (en) | 2021-04-20 | 2024-03-19 | Shanghaitech University | Pure integer quantization method for lightweight neural network (LNN) |
| CN113781311A (zh) * | 2021-10-10 | 2021-12-10 | 北京工业大学 | 一种基于生成对抗网络的图像超分辨率重建方法 |
| CN114466531A (zh) * | 2022-03-09 | 2022-05-10 | 江门市尚智电子材料有限公司 | 一种多层fpc柔性电路板环保型加工方法 |
| CN115063679A (zh) * | 2022-06-15 | 2022-09-16 | 电子科技大学 | 一种基于深度学习的路面质量评估方法 |
| CN115063679B (zh) * | 2022-06-15 | 2024-04-26 | 电子科技大学 | 一种基于深度学习的路面质量评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111311538B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311538B (zh) | 一种基于卷积神经网络的多尺度轻量化道路路面检测方法 | |
| CN108509978B (zh) | 基于cnn的多级特征融合的多类目标检测方法及模型 | |
| CN110189255B (zh) | 基于两级检测的人脸检测方法 | |
| CN113408423B (zh) | 适用于tx2嵌入式平台的水产品目标实时检测方法 | |
| CN111753828A (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
| CN110543906B (zh) | 基于Mask R-CNN模型的肤质自动识别方法 | |
| CN112132145B (zh) | 一种基于模型扩展卷积神经网络的图像分类方法及系统 | |
| CN110991257B (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
| CN111209858B (zh) | 一种基于深度卷积神经网络的实时车牌检测方法 | |
| CN110751644B (zh) | 道路表面裂纹检测方法 | |
| CN112861635A (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| CN106096655A (zh) | 一种基于卷积神经网络的光学遥感图像飞机检测方法 | |
| CN113255837A (zh) | 工业环境下基于改进的CenterNet网络目标检测方法 | |
| CN110633633B (zh) | 一种基于自适应阈值的遥感影像道路提取方法 | |
| CN113780132A (zh) | 一种基于卷积神经网络的车道线检测方法 | |
| CN111353396A (zh) | 一种基于SCSEOCUnet的混凝土裂缝分割方法 | |
| CN112766170B (zh) | 基于簇类无人机图像的自适应分割检测方法及装置 | |
| CN110555461A (zh) | 基于多结构卷积神经网络特征融合的场景分类方法及系统 | |
| CN115410059B (zh) | 基于对比损失的遥感图像部分监督变化检测方法及设备 | |
| CN112700418A (zh) | 一种基于改进编解码网络模型的裂缝检测方法 | |
| CN116342536A (zh) | 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备 | |
| CN112084897A (zh) | 一种gs-ssd的交通大场景车辆目标快速检测方法 | |
| CN111340001A (zh) | 一种基于遥感影像深度学习的交通拥堵识别方法 | |
| CN114821098A (zh) | 一种基于灰度梯度融合特征及cnn的高速路面破损检测算法 | |
| CN113192018B (zh) | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Cao Dandan Inventor after: Li Qiuhan Inventor after: Wang Juntao Inventor after: Hou Yue Inventor after: Yang Zhanning Inventor after: Peng Bo Inventor after: Chen Yihan Inventor before: Hou Yue Inventor before: Li Qiuhan Inventor before: Wang Juntao Inventor before: Yang Zhanning Inventor before: Peng Bo Inventor before: Chen Yihan Inventor before: Cao Dandan |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |