CN110751644A - 道路表面裂纹检测方法 - Google Patents

道路表面裂纹检测方法 Download PDF

Info

Publication number
CN110751644A
CN110751644A CN201911008828.0A CN201911008828A CN110751644A CN 110751644 A CN110751644 A CN 110751644A CN 201911008828 A CN201911008828 A CN 201911008828A CN 110751644 A CN110751644 A CN 110751644A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
cracks
pictures
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911008828.0A
Other languages
English (en)
Other versions
CN110751644B (zh
Inventor
王雷朋
马向华
叶银忠
杨振坤
李威
赵阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technology
Original Assignee
Shanghai Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technology filed Critical Shanghai Institute of Technology
Priority to CN201911008828.0A priority Critical patent/CN110751644B/zh
Publication of CN110751644A publication Critical patent/CN110751644A/zh
Application granted granted Critical
Publication of CN110751644B publication Critical patent/CN110751644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种道路表面裂纹检测方法。本发明在确保高水平的像素精确度的同时还提高了检测的速度。本发明克服一现有技术对道路裂纹检测的缺点,提供一种基于图像处理和卷积神经网络相结合的道路道路裂纹检测和分类的方法,通过监督学习,将人工标注好的分割结果作为训练目标,可以从人工标注好的分割结果中学习到更好的代表性特征。

Description

道路表面裂纹检测方法
技术领域
本发明涉及一种道路表面裂纹检测方法。
背景技术
我国经济飞速发展,公路建设也有着非凡的成就,在1978年中国公路里程 只有12万公里,到2018年中国公路里程已增长到405万公里,公路延伸到中 国每个偏远角落,为全国的经济发展提供了坚实的基础保障。但是公路长期暴 露于外界,不断承受着雨水的冲洗、车辆的重压、以及人为的破坏等等,公路 的定期检修维护就凸显的格外重要,如果道路出现问题将严重影响到到交通安 全的状况。在各种的公路养护中,路面裂纹是衡量道路质量最重要的一个指 标,如果在裂纹出现的初期就能够及时的发现,并且对裂纹的发展情况给予实 时的跟踪,那么公路的养护费将会极大的减少,同时还能够使得高速公路的行 车安全得到保证。
目前国内主要是依靠人工现场检测丈量的方式来检测公路的路况,但是人 工检测存在着检测的效率不高,人力耗费过大、而且对各个参数计算处理的速 度相对比较慢,同时在车辆密集的交通路段作业人员危险系数大,不利于作业 施工,影响正常的交通。随着后来科技的不断发展,数字图像处理技术提供 了众多的检测算法,但都有各自的局限性。
基于图像特性的裂纹检测方法使用较为广泛,较为常见的包括边缘检测 法、直方图分析法、数学形态学和自适应滤波等,但会对一些裂纹漏检;除 了基于图像特性裂纹检测的方法,基于机器学习的裂纹方法使用较多,主要包 括基于支持向量机(SVM)、基于结构化随机森林、基于神经网络等方法。
这些方法对于裂纹检测研究有一定的作用和效果,路面裂纹检测的效果需 要同时关注检测准确率和检测效率这两个指标,目前看来现有方案无法满足这 两个指标。
发明内容
本发明的目的在于提供一种道路表面裂纹检测方法。
为解决上述问题,本发明提供一种道路表面裂纹检测方法,包括:
步骤S1,创建包含含有裂纹的路面图片与没有裂纹的路面图片的路面图像 库;
步骤S2,将所述路面图像库中的含有裂纹的图片标定为b文件夹,并将所 述路面图像库中的没有裂纹的路面图片标定为a文件夹,将标定完成的含有裂 纹的图片和没有裂纹的路面图片的统一为预设尺寸;
步骤S3,建立卷积神经网络;
步骤S4,生成卷积神经网络的特征映射的特征提取器;
步骤S5,基于标定完成并统一为预设尺寸的含有裂纹的图片和没有裂纹的 路面图片,制作训练集、验证集和测试集;
步骤S6,将所述训练集中的图片输入所述卷积神经网络,得到第一输出结 果,基于所述输出结果和验证集中的图片对所述卷积神经网络的参数进行迭代 调整,以得到目标卷积神经网络;
步骤S6,将所述训练集中的图片输入所述卷积神经网络,得到第一输出结 果,基于所述输出结果和验证集中的图片对所述卷积神经网络的参数进行迭代 调整,以得到目标卷积神经网络;
进一步的,在上述方法中,步骤S3,建立卷积神经网络,包括:
使用residual模块作为基本的网络单元,输入的图片的尺寸为3×512× 512下路在进行降采样的同时,分出上半路保留原尺度信息,在经过下采样之 后,经过三个Residual模块提取特征,下半路再经过上采样处理,与上半路保 留原尺度特征的支路进行叠加,再经过一个全连接模块使得输出特征图的尺寸 与输入特征图的尺寸完全一样。
进一步的,在上述方法中,步骤S5,基于标定完成并统一为预设尺寸的含 有裂纹的图片和没有裂纹的路面图片,制作训练集、验证集和测试集,包括:
采用交叉验证的方法,制作训练集、验证集和测试集。
进一步的,在上述方法中,采用交叉验证的方法,制作训练集、验证集和 测试集,包括:
按照60%/20%/20%的比例将标定完成并统一为预设尺寸的含有裂纹的图片 和没有裂纹的路面图片分为训练集、验证集和测试集。
进一步的,在上述方法中,基于标定完成并统一为预设尺寸的含有裂纹的 图片和没有裂纹的路面图片,制作训练集、验证集和测试集,包括:
将标定完成并统一为预设尺寸的含有裂纹的图片和没有裂纹的路面图片作 为原图,对原图进行裁剪,剪原图四个角和中心区域,并缩放到与原图一样的 大小;
将原图所有像素点进行指数变换,以使图像整体变暗;
对原图进行左右翻转和上下翻转;
用3×3的核对原图进行高斯模糊;
对原图添加高斯噪声,以得到训练集、验证集和测试集。
进一步的,在上述方法中,生成卷积神经网络的特征映射的特征提取器, 包括:
卷积神经网络从输入的图像中提取图像块并把每一个图像块表示成高维向 量,这些向量组成第一层的特征映射图,设这一层的操作为F1,输入图像为Y, 则该层操作运算表示为:
Figure BDA0002244414340000031
其中,W1为滤波器,W1的大小为c×f1×f1×n1,c为图像的通道数,f1 为滤波器的大小,n1为滤波器的数量,B1为偏差,“*”表示卷积操作,a服 从均匀分布a~U(1,u),这个卷积层的含义为运用大小为c×f1×f1×n1的滤 波器W1作用在输入的低分辨率图像上,对输入的低分辨率图像进行特征提取, 得到n1维特征映射图;
非线性映射则是通过卷积神经网络将第一层的n1维向量映射到第二层的 n2维向量中,得到n2维特征映射图,设这一层的操作为F2,输入图像为F1(Y), 则该层操作运算表示为:
Figure BDA0002244414340000041
其中,W2的大小为n1×f1×f1×n2,c为图像的通道数,B2为n2维的 偏差。这个卷积层的含义为运用大小为n1×f1×f1×n2的滤波器W2作用在第 一层的特征映射图上,进行非线性映射,得到n2维特征映射图。
进一步的,在上述方法中,基于所述输出结果和验证集中的图片对所述卷 积神经网络的参数进行迭代调整,以得到目标卷积神经网络,包括:
基于所述输出结果和验证集中的图片、损失函数,对所述卷积神经网络的 参数进行迭代调整,以得到目标卷积神经网络,其中,所述损失函数如下:
Focal loss是在交叉熵损失函数Cross Entropy基础上进行的修改,y′是不 同类别的分类概率,α是个[0,1]间的小数,α和γ都是固定值,不参与训练。
进一步的,在上述方法中,基于所述输出结果和验证集中的图片、损失函 数,对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网络,包 括:
基于所述输出结果和验证集中的图片,并采用Adam优化算法来最小化损 失函数,以对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网 络。
与现有技术相比,本发明在确保高水平的像素精确度的同时还提高了检测 的速度。本发明克服一现有技术对道路裂纹检测的缺点,提供一种基于图像处 理和卷积神经网络相结合的道路道路裂纹检测和分类的方法,通过监督学习, 将人工标注好的分割结果作为训练目标,可以从人工标注好的分割结果中学习 到更好的代表性特征。
附图说明
图1是本发明一实施例的卷积神经网络的结构图;
图2是本发明一实施例的Hourglass模块结构图;
图3是本发明一实施例的Residual模块结构图;
图4是本发明一实施例的道路表面裂纹检测方法的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和 具体实施方式对本发明作进一步详细的说明。
图1是本发明一实施例的卷积神经网络的结构图;图2是本发明一实施例 的Hourglass模块结构图;图3是本发明一实施例的Residual模块结构图;图 4是本发明一实施例的道路表面裂纹检测方法的流程图。
本发明提供一种道路表面裂纹检测方法,包括:
步骤S1,创建包含含有裂纹的路面图片与没有裂纹的路面图片的路面图像 库;
在此,本步骤是进行数据准备:创建一个路面图像库包含4000张图片,包 含含有裂纹的图片与正常路面的图片,可通过爬虫技术获得该路面图像库中的 所有图片
步骤S2,将所述路面图像库中的含有裂纹的图片标定为b文件夹,并将所 述路面图像库中的没有裂纹的路面图片标定为a文件夹,将标定完成的含有裂 纹的图片和没有裂纹的路面图片的统一为预设尺寸;
在此,本步骤是进行图像标定:将采集好的道路图片进行标定,没有裂纹 的图片标定为a文件夹,有裂纹的图片标定为b文件夹;将标定好的图片集统 一尺寸为512*512,无需对图片集进行初始化处理;
步骤S3,建立卷积神经网络;
步骤S4,生成卷积神经网络的特征映射的特征提取器;
步骤S5,基于标定完成并统一为预设尺寸的含有裂纹的图片和没有裂纹的 路面图片,制作训练集、验证集和测试集;
步骤S6,将所述训练集中的图片输入所述卷积神经网络,得到第一输出结 果,基于所述输出结果和验证集中的图片对所述卷积神经网络的参数进行迭代 调整,以得到目标卷积神经网络;
步骤S7,将所述测试集中的图片输入所述目标卷积神经网络,得到第二输 出结果。
在此,得出训练结果,并进行测试和评估。训练结束得到目标卷积神经网 络后,将HourglassCrackNet应用于600个测试图像以进行进一步验证。实验 结果表明,真实裂纹相比,本发明的神经网络算法确保了高水平的像素精确度 的同时还提高了检测的速度。与传统的算法相比,基于深度学习的算法具有更 好的效果和潜力。
本发明在确保高水平的像素精确度的同时还提高了检测的速度。本发明克 服一现有技术对道路裂纹检测的缺点,提供一种基于图像处理和卷积神经网络 相结合的道路道路裂纹检测和分类的方法,通过监督学习,将人工标注好的分 割结果作为训练目标,可以从人工标注好的分割结果中学习到更好的代表性特 征。
本发明提出了一种基于卷积神经网络(CNN)的高效网络架构,命名为HourglassCrackNet,用于自动检测路面上的裂纹。以图像对应人工标注好的分 割结果作为训练目标,让网络做像素级别的预测,与传统的CNN不同, HourglassCrackNet将低层的细节信息与高层的语义信息融合在一起共同捕获 图片的全部信息。像素级精度通过以下正则化来实现:首先,输入数据的空间 大小在所有层中都是不变的;其次,为像素到像素的监督学习准备了训练数据 的基础事实;最后,通过卷积层提供的局部连接将单个像素与其邻居进行比较, 并通过整合和分析在该像素处评估的多通道响应来预测单个像素的最终类别得 分。
将已经进行通过图像处理的目标图像输入到训练好的卷积神经网络模型里 面,然后自动对道路表面裂痕进行缺陷检测和分类。本发明可以精确且快速地 检测道路的裂纹并进行分类。
本发明的道路表面裂纹检测方法一实施例中,步骤S3,建立卷积神经网络, 包括:
使用residual模块作为基本的网络单元,输入的图片的尺寸为3×512× 512下路在进行降采样的同时,分出上半路保留原尺度信息,在经过下采样之 后,要经过三个Residual模块提取特征,下半路再经过上采样处理,与上半路 保留原尺度特征的支路进行叠加,再经过一个全连接模块使得输出特征图的尺 寸与输入特征图的尺寸完全一样。
在此,本发明建立核心的卷积神经网络算法架构,简称为 HourglassCrackNet;
HourglassCrackNet的网络结构:
Hourglass是本文的核心部件,由Residual模块组成。使用residual Module 模块作为基本的网络单元,输入图片的尺寸为3×512×512下路在进行降采样 (降采样使用max-pooling,对邻域内特征点取最大值,更多保留纹理信息)的 同时,分出上半路保留原尺度信息,在经过下采样之后,要经过三个Residual 模块提取特征,这样处理是为了提取更深层次特征,下半路再经过上采样处理, 与上半路保留原尺度特征的支路进行叠加,再经过一个全连接模块使得输出特 征图的尺寸与输入特征图的尺寸完全一样。该网络结构不改变数据尺寸,只改 变数据深度。可以很好的将输入图片的信息较为全面的获取。
Residual Module是初级模块,主要由上下两条支路组成,上支路是卷积路, 由三个核尺度不同的卷积层串联而成,间插有Batch Normalization(BN)和 ReLU;下支路跳级路,只包含一个核尺度为1的卷积层;如果跳级路的输入输 出通道数相同,则这一路为单位映射。所有卷积层的步长为1,padding为1, 不改变数据尺寸,只对数据深度进行变更。
类似地,为了达到空间不变性的目的,在该层中使用权重共享。换句话说, 在每个像素处应用相同的权重以避免空间差异。最后,输出层使用softmax回 归将输出变成一个概率分布,其中经过softmax回归处理后的输出为:
Figure BDA0002244414340000081
因此,最终输出图像包含所有单个像素的预测类别得分。在本文中,不小 于0.6的类别分数表示相应的像素是裂纹像素,而小于0.6的类别分数表示相 应的像素是非裂纹像素。
本发明的道路表面裂纹检测方法一实施例中,步骤S5,基于标定完成并统 一为预设尺寸的含有裂纹的图片和没有裂纹的路面图片,制作训练集、验证集 和测试集,包括:
采用交叉验证的方法,制作训练集、验证集和测试集。
本发明的道路表面裂纹检测方法一实施例中,采用交叉验证的方法,制作 训练集、验证集和测试集,包括:
按照60%/20%/20%的比例将标定完成并统一为预设尺寸的含有裂纹的图片 和没有裂纹的路面图片分为训练集、验证集和测试集。
在此,在图像库中随机选择3000张图像,采用交叉验证的方法该方法是尝 试利用不同的训练集/验证集划分对模型做多组不同的训练/验证,来应对单独 测试结果过于片面以及训练数据不足的问题。按照60%/20%/20%的比例将图片 分为训练集、验证集和测试集,用于该神经网络的训练和测试。3000张图像包 含裂纹图片和非裂纹图片。特别地,2400个图像用作训练和验证数据,而其他 600个图像被认为是测试数据。
本发明的道路表面裂纹检测方法一实施例中,基于标定完成并统一为预设 尺寸的含有裂纹的图片和没有裂纹的路面图片,制作训练集、验证集和测试集, 包括:
将标定完成并统一为预设尺寸的含有裂纹的图片和没有裂纹的路面图片作 为原图,对原图进行裁剪,剪原图四个角和中心区域,并缩放到与原图一样的 大小;
将原图所有像素点进行指数变换,以使图像整体变暗;
对原图进行左右翻转和上下翻转;
用3×3的核对原图进行高斯模糊;
对原图添加高斯噪声,以得到训练集、验证集和测试集。
在此,本步骤制作数据集:HourglassCrackNet网络对数据的要求是精准 的、完全一致的。对于现实中的图片数据,必须人工进行分割,制作标签数 据,然后才能用于训练。HourglassCrackNet网络的学习过程,无区别于通常 的神经网路,模型中有大量的参数。如果在训练数据不充足的情况下,容易造 成过拟合现象,虽能很好反映对训练样本的预测,但不能对测试样本进行很好 的预测。本文数据集含有的道路裂纹的图片远远达不到深度学习的训练量,因 此采用特殊的方式做数据增强处理。对原图进行裁剪,剪原图四个角和中心区 域,并缩放到与原图一样的大小;原图所有像素点进行指数变换,图像整体明 显变暗;对原图进行左右翻转和上下翻转;用3×3的核对原图进行高斯模糊; 对原图添加高斯噪声。总之采用上述操作将数据集进行扩充,达到基本训练量 要求。
本发明的道路表面裂纹检测方法一实施例中,步骤S4,生成卷积神经网络 的特征映射的特征提取器,包括:
卷积神经网络从输入的图像中提取图像块并把每一个图像块表示成高维向 量,这些向量组成第一层的特征映射图,设这一层的操作为F1,输入图像为Y, 则该层操作运算表示为:
其中,W1为滤波器,W1的大小为c×f1×f1×n1,c为图像的通道数,f1 为滤波器的大小,n1为滤波器的数量,B1为偏差,“*”表示卷积操作,a服 从均匀分布a~U(1,u),这个卷积层的含义为运用大小为c×f1×f1×n1的滤 波器W1作用在输入的低分辨率图像上,对输入的低分辨率图像进行特征提取, 得到n1维特征映射图;
非线性映射则是通过卷积神经网络将第一层的n1维向量映射到第二层的 n2维向量中,得到n2维特征映射图,设这一层的操作为F2,输入图像为F1(Y), 则该层操作运算表示为:
其中,W2的大小为n1×f1×f1×n2,c为图像的通道数,B2为n2维的 偏差。这个卷积层的含义为运用大小为n1×f1×f1×n2的滤波器W2作用在第 一层的特征映射图上,进行非线性映射,得到n2维特征映射图。
在此,将合适的低分辨率图像输入到卷积神经网络的方法进行特征提取和 非线性映射。在卷积神经网络中每个神经元的作用就是相当于只关注图像某一 个特征的滤波器,所有神经元组合在一起的作用就是相当于对整幅图像进行特 征提取。卷积神经网络对图像特征提取是从输入的图像中提取图像块并把每一 个图像块表示成高维向量,这些向量组成第一层的特征映射图。设这一层的操 作为F1,输入图像为Y,则该层操作运算表示为:
Figure BDA0002244414340000103
其中,W1为滤波器,W1的大小为c×f1×f1×n1,c为图像的通道数,f1 为滤波器的大小,n1为滤波器的数量,B1为偏差,“*”表示卷积操作,a服 从均匀分布a~U(1,u)。这个卷积层的含义为运用大小为c×f1×f1×n1的滤 波器W1作用在输入的低分辨率图像上,对输入的低分辨率图像进行特征提取, 得到n1维特征映射图。
同样,非线性映射则是通过卷积神经网络将第一层的n1维向量映射到第二 层的n2维向量中,得到n2维特征映射图。设这一层的操作为F2,输入图像 为F1(Y),则该层操作运算表示为:
Figure BDA0002244414340000111
其中,W2的大小为n1×f1×f1×n2,c为图像的通道数,B2为n2维的 偏差。这个卷积层的含义为运用大小为n1×f1×f1×n2的滤波器W2作用在第 一层的特征映射图上,进行非线性映射,得到n2维特征映射图。
本发明的道路表面裂纹检测方法一实施例中,基于所述输出结果和验证集 中的图片对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网络, 包括:
基于所述输出结果和验证集中的图片、Focal loss交叉熵作为损失函数, 对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网络,其中, 所述损失函数如下:
Figure BDA0002244414340000112
Focal loss是在交叉熵损失函数Cross Entropy基础上进行的修改,y′是不 同类别的分类概率,α是个[0,1]间的小数,α和γ都是固定值,不参与训练。
在此,训练数据集并计算损失函数。作用于输出层的softmax回归使所有的单 个像素产生0到1之间的预测值,特别地,背景像素和裂纹像素的目标值分别 设置为0和1。在图像标定时由于已经准确对裂纹打标记,所以可以直接确定图 像的所有像素的目标值。背景像素于裂纹像素非常接近不容易区分且背景占图 片的绝对区域,有裂纹图片与无裂纹图片正负样本数目相差较大,为解决正负 样本比例失衡的问题,使用Focal loss交叉熵作为损失函数来降低大量简单负 样本在训练中所占的权重,具体表达式如下:
Focal loss是在交叉熵损失函数Cross Entropy基础上进行的修改。y′是不 同类别的分类概率,α是个[0,1]间的小数,α和γ都是固定值,不参与训 练。
本发明的道路表面裂纹检测方法一实施例中,基于所述输出结果和验证集 中的图片、损失函数,对所述卷积神经网络的参数进行迭代调整,以得到目标 卷积神经网络,包括:
基于所述输出结果和验证集中的图片,并采用Adam优化算法来最小化损 失函数,以对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网 络。
在此,该神经网络的学习方法。为了优化网络,更新网络参数θ,本文采 用Adam优化算法代替随机梯度下降(stochastic gradient descent,SGD) 算法来最小化损失函数。随机梯度下降算法保持单一的学习率(alpha)更新所 有的权重,学习率在网络训练过程中并不会改变。而Adam优化算法通过计算梯 度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率。Adam 算法有很高的计算效率和较低的内存需求,并且Adam算法梯度的对角缩放 (diagonal rescaling)具有不变性。更新网络参数过程表示为:
Figure BDA0002244414340000122
mt=u×mt-1+(1-u)×gt
Figure BDA0002244414340000131
Figure BDA0002244414340000132
Figure BDA0002244414340000133
Δθt+1=θt+Δθt
其中,gt是均方误差函数L(θ)对θ的梯度,mt是对梯度的一阶矩估计,nt是对梯度的二阶矩估计,
Figure BDA0002244414340000136
是对mt的偏差修正,
Figure BDA0002244414340000135
是对nt的偏差修正,矩估 计的指数衰减速率u为0.9,v为0.99,步长η为0.001,数值稳定的小常 数ε为10-8,Δθt是计算的θt更新值,θt+1为t+1时刻的θ值,即将θt和Δθt的值求和应用到θt+1。Adam优化算法首先对参数向量、一阶矩向量和二阶矩向 量进行初始化。然后循环迭代地更新各个部分,使参数θ收敛。即时间步t加1, 更新偏差的一阶矩估计和二阶矩估计,接着计算一阶矩估计的偏差修正和二阶 矩估计的偏差修正,再更新目标函数在该时间步上对参数0所求的梯度,最后 再用以上计算出来的值更新模型的参数θ。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是 与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例 的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为 了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描 述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于 技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来 使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范 围。
显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明 的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其 等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

Claims (8)

1.一种道路表面裂纹检测方法,其特征在于,包括:
步骤S1,创建包含含有裂纹的路面图片与没有裂纹的路面图片的路面图像库;
步骤S2,将所述路面图像库中的含有裂纹的图片标定为b文件夹,并将所述路面图像库中的没有裂纹的路面图片标定为a文件夹,将标定完成的含有裂纹的图片和没有裂纹的路面图片的统一为预设尺寸;
步骤S3,建立卷积神经网络;
步骤S4,生成卷积神经网络的特征映射的特征提取器;
步骤S5,基于标定完成并统一为预设尺寸的含有裂纹的图片和没有裂纹的路面图片,制作训练集、验证集和测试集;
步骤S6,将所述训练集中的图片输入所述卷积神经网络,得到第一输出结果,基于所述输出结果和验证集中的图片对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网络;
步骤S6,将所述训练集中的图片输入所述卷积神经网络,得到第一输出结果,基于所述输出结果和验证集中的图片对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网络。
2.如权利要求1所述的道路表面裂纹检测方法,其特征在于,步骤S3,建立卷积神经网络,包括:
使用residual模块作为基本的网络单元,输入的图片的尺寸为3×512×512下路在进行降采样的同时,分出上半路保留原尺度信息,在经过下采样之后,经过三个Residual模块提取特征,下半路再经过上采样处理,与上半路保留原尺度特征的支路进行叠加,再经过一个全连接模块使得输出特征图的尺寸与输入特征图的尺寸完全一样。
3.如权利要求1所述的道路表面裂纹检测方法,其特征在于,步骤S5,基于标定完成并统一为预设尺寸的含有裂纹的图片和没有裂纹的路面图片,制作训练集、验证集和测试集,包括:
采用交叉验证的方法,制作训练集、验证集和测试集。
4.如权利要求3所述的道路表面裂纹检测方法,其特征在于,采用交叉验证的方法,制作训练集、验证集和测试集,包括:
按照60%/20%/20%的比例将标定完成并统一为预设尺寸的含有裂纹的图片和没有裂纹的路面图片分为训练集、验证集和测试集。
5.如权利要求1所述的道路表面裂纹检测方法,其特征在于,基于标定完成并统一为预设尺寸的含有裂纹的图片和没有裂纹的路面图片,制作训练集、验证集和测试集,包括:
将标定完成并统一为预设尺寸的含有裂纹的图片和没有裂纹的路面图片作为原图,对原图进行裁剪,剪原图四个角和中心区域,并缩放到与原图一样的大小;
将原图所有像素点进行指数变换,以使图像整体变暗;
对原图进行左右翻转和上下翻转;
用3×3的核对原图进行高斯模糊;
对原图添加高斯噪声,以得到训练集、验证集和测试集。
6.如权利要求1所述的道路表面裂纹检测方法,其特征在于,生成卷积神经网络的特征映射的特征提取器,包括:
卷积神经网络从输入的图像中提取图像块并把每一个图像块表示成高维向量,这些向量组成第一层的特征映射图,设这一层的操作为F1,输入图像为Y,则该层操作运算表示为:
Figure FDA0002244414330000021
其中,W1为滤波器,W1的大小为c×f1×f1×n1,c为图像的通道数,f1为滤波器的大小,n1为滤波器的数量,B1为偏差,“*”表示卷积操作,a服从均匀分布a~U(1,u),这个卷积层的含义为运用大小为c×f1×f1×n1的滤波器W1作用在输入的低分辨率图像上,对输入的低分辨率图像进行特征提取,得到n1维特征映射图;
非线性映射则是通过卷积神经网络将第一层的n1维向量映射到第二层的n2维向量中,得到n2维特征映射图,设这一层的操作为F2,输入图像为F1(Y),则该层操作运算表示为:
Figure FDA0002244414330000031
其中,W2的大小为n1×f1×f1×n2,c为图像的通道数,B2为n2维的偏差。这个卷积层的含义为运用大小为n1×f1×f1×n2的滤波器W2作用在第一层的特征映射图上,进行非线性映射,得到n2维特征映射图。
7.如权利要求1所述的道路表面裂纹检测方法,其特征在于,基于所述输出结果和验证集中的图片对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网络,包括:
基于所述输出结果和验证集中的图片、损失函数,对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网络,其中,所述损失函数如下:
Figure FDA0002244414330000032
Focal loss是在交叉熵损失函数Cross Entropy基础上进行的修改,y′是不同类别的分类概率,α是个[0,1]间的小数,α和γ都是固定值,不参与训练。
8.如权利要求7所述的道路表面裂纹检测方法,其特征在于,基于所述输出结果和验证集中的图片、损失函数,对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网络,包括:
基于所述输出结果和验证集中的图片,并采用Adam优化算法来最小化损失函数,以对所述卷积神经网络的参数进行迭代调整,以得到目标卷积神经网络。
CN201911008828.0A 2019-10-23 2019-10-23 道路表面裂纹检测方法 Active CN110751644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911008828.0A CN110751644B (zh) 2019-10-23 2019-10-23 道路表面裂纹检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911008828.0A CN110751644B (zh) 2019-10-23 2019-10-23 道路表面裂纹检测方法

Publications (2)

Publication Number Publication Date
CN110751644A true CN110751644A (zh) 2020-02-04
CN110751644B CN110751644B (zh) 2023-05-09

Family

ID=69279416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911008828.0A Active CN110751644B (zh) 2019-10-23 2019-10-23 道路表面裂纹检测方法

Country Status (1)

Country Link
CN (1) CN110751644B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275700A (zh) * 2020-02-19 2020-06-12 凌云光技术集团有限责任公司 基于深度学习的端子缺陷检测方法及系统
CN112465817A (zh) * 2020-12-17 2021-03-09 大连海事大学 一种基于方向滤波器的路面裂缝检测方法
CN113177499A (zh) * 2021-05-11 2021-07-27 上海道生医疗科技有限公司 基于计算机视觉的舌裂纹形状识别方法及识别系统
CN113686874A (zh) * 2021-08-16 2021-11-23 沭阳林冉塑业有限公司 一种基于人工智能的机械零件损伤检测方法及系统
CN116091842A (zh) * 2023-02-23 2023-05-09 中国人民解放军军事科学院系统工程研究院 一种Vision Transformer模型结构优化系统、方法、介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110119687A (zh) * 2019-04-17 2019-08-13 浙江工业大学 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110119687A (zh) * 2019-04-17 2019-08-13 浙江工业大学 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘鹏飞等: "多尺度卷积神经网络的噪声模糊图像盲复原", 《红外与激光工程》 *
艾玲梅等: "基于循环卷积神经网络的目标检测与分类", 《计算机技术与发展》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275700A (zh) * 2020-02-19 2020-06-12 凌云光技术集团有限责任公司 基于深度学习的端子缺陷检测方法及系统
CN112465817A (zh) * 2020-12-17 2021-03-09 大连海事大学 一种基于方向滤波器的路面裂缝检测方法
CN113177499A (zh) * 2021-05-11 2021-07-27 上海道生医疗科技有限公司 基于计算机视觉的舌裂纹形状识别方法及识别系统
CN113686874A (zh) * 2021-08-16 2021-11-23 沭阳林冉塑业有限公司 一种基于人工智能的机械零件损伤检测方法及系统
CN113686874B (zh) * 2021-08-16 2022-08-02 沭阳林冉塑业有限公司 一种基于人工智能的机械零件损伤检测方法及系统
CN116091842A (zh) * 2023-02-23 2023-05-09 中国人民解放军军事科学院系统工程研究院 一种Vision Transformer模型结构优化系统、方法、介质
CN116091842B (zh) * 2023-02-23 2023-10-27 中国人民解放军军事科学院系统工程研究院 一种Vision Transformer模型结构优化系统、方法、介质

Also Published As

Publication number Publication date
CN110751644B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN110751644B (zh) 道路表面裂纹检测方法
Ni et al. Pixel‐level crack delineation in images with convolutional feature fusion
CN111310862B (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN110008854B (zh) 基于预训练dcnn的无人机影像公路地质灾害识别方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN110675370A (zh) 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法
CN109978032B (zh) 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法
CN110070008A (zh) 一种采用无人机图像的桥梁病害识别方法
CN109886066A (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN111222519B (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN111507998B (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN110569971B (zh) 一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN112766283B (zh) 一种基于多尺度卷积网络的两相流流型识别方法
Carrara et al. On the robustness to adversarial examples of neural ode image classifiers
CN110852358A (zh) 一种基于深度学习的车辆类型判别方法
CN111145145A (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN113112447A (zh) 基于vgg卷积神经网络的隧道围岩级别智能判定方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN116152498A (zh) 基于数据驱动的金属表面缺陷语义分割网络与训练方法
CN115439654A (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN115205255A (zh) 基于深度学习的石料自动分级方法与系统
CN115131664A (zh) 一种混凝土细小裂缝识别方法
CN107316296A (zh) 一种基于对数变换的遥感图像变化检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant