CN112233105A - 一种基于改进fcn的道路裂缝检测方法 - Google Patents

一种基于改进fcn的道路裂缝检测方法 Download PDF

Info

Publication number
CN112233105A
CN112233105A CN202011161106.1A CN202011161106A CN112233105A CN 112233105 A CN112233105 A CN 112233105A CN 202011161106 A CN202011161106 A CN 202011161106A CN 112233105 A CN112233105 A CN 112233105A
Authority
CN
China
Prior art keywords
training
neural network
fcn
image
road crack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011161106.1A
Other languages
English (en)
Inventor
柯福阳
王明明
高申
许九靖
宋宝
金文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Kebo Space Information Technology Co ltd
Original Assignee
Jiangsu Kebo Space Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Kebo Space Information Technology Co ltd filed Critical Jiangsu Kebo Space Information Technology Co ltd
Priority to CN202011161106.1A priority Critical patent/CN112233105A/zh
Publication of CN112233105A publication Critical patent/CN112233105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete

Abstract

本发明涉及计算机视觉和模式识别的技术领域,特别是涉及一种基于改进FCN的道路裂缝检测方法,可以在原有FCN的基础上提高模型的准确率,而且本发明采用预训练的方法,节省了计算资源,提升了速度;包括以下步骤:(1)道路裂缝数据的采集和预处理;(2)将图像数据,包括原始图像和标注图像,送入改进的FCN神经网络模型进行训练;(3)根据采集到的道路裂缝图像数据集训练改进的FCN神经网络模型;(4)为了更好的评估模型的性能,采用总体像素准确率和均交并比两个指标进行评价;(5)使用二分类交叉熵(BCE)作为训练过程中的损失函数。

Description

一种基于改进FCN的道路裂缝检测方法
技术领域
本发明涉及计算机视觉和模式识别的技术领域,特别是涉及一种基于改进FCN的道路裂缝检测方法。
背景技术
路面病害的初期表现形式之一是道路裂缝,而道路裂缝一直是路面管理一项重要的工作,及时发现并修补道路裂缝是尤为重要的。道路裂缝对行车安全造成威胁,采用传统人工的方法不仅检测速度达不到发展的需求,而且往往存在主观性,准确率不够。随着深度学习技术的发展,用神经网络语义分割的方法可以很好的将道路裂缝提取出来。
FCN是全卷积的神经网络,可以作为语义分割的神经网络模型用于道路裂缝的检测中来,但由于FCN在面对裂缝这种细小狭长的目标时,往往没有取得很好的效果,其原因在于FCN神经网络模型在进行卷积的裂缝信息提取过程以及在反卷积过程中,采取了较大的步长,就会使得在最后的预测图中往往会丢失很多的裂缝信息,同时受计算机性能的制约,庞大的神经网络模型在训练过程中会耗费大量的时间,无法快速得到结果。
发明内容
为解决上述技术问题,本发明提供一种基于改进FCN的道路裂缝检测方法,可以在原有FCN的基础上提高模型的准确率,而且本发明采用预训练的方法,节省了计算资源,提升了速度。
本发明的一种基于改进FCN的道路裂缝检测方法,包括以下步骤:(1)道路裂缝数据的采集和预处理;
(2)将图像数据,包括原始图像和标注图像,送入改进的FCN神经网络模型进行训练;
(3)根据采集到的道路裂缝图像数据集训练改进的FCN神经网络模型:以Python语言,在tensorflow2.1框架进行训练,输入图像的大小为256×256,通道为3,该网络卷积层使用3×3的卷积核,步长为1;池化层使用2×2的卷积核,步长为2;反卷积层使用3×3的卷积核,步长为2;在最后的预测结果,采用sigmoid函数进行预测;
(4)为了更好的评估模型的性能,采用总体像素准确率(Acc)和均交并比(mIoU)两个指标进行评价;总体像素准确率计算公式为:
Figure BDA0002744263860000021
其中,Acc为总像素准确率,指所有预测正确像素占全部像素的比例;TP为真正例,指模型将正类别样本正确预测为正类别;TN为真负例,指模型将负类别样本正确预测为负类别;FP为假正例,指将负类别样本错误的预测为正类别;FN为真负例,将负类别样本错误的预测为负类别;
均交并比计算公式为:
Figure BDA0002744263860000022
其中,mIoU为均交并比,i表示真实值,j表示预测值,Pij表示将i预测为j,Pji表示将j预测为i,Pii表示将i预测为i,可以将上式进行转换,结果为:
Figure BDA0002744263860000023
(5)使用二分类交叉熵(BCE)作为训练过程中的损失函数,使用Adam优化器训练20轮,学习率为0.001,训练批次的大小设置为4,其中二分类交叉熵损失函数:
Figure BDA0002744263860000024
其中,LossBCE表示损失值,N表示一张图像总的像素数目,yi和pi分别为第i个像素点的标签值和预测概率。
本发明的一种基于改进FCN的道路裂缝检测方法,所述步骤(1)包括如下步骤:
(11)道路裂缝数据的采集是通过手持设备,对路面裂缝进行拍摄采集得到;
(12)道路裂缝数据的预处理是对拍摄图像进行剪切分割,将一张原始图像分割为适合神经网络模型输入的子图像;
(13)对分割后的子图像进行筛选并标注,标注的内容为每张子图像中裂缝的部分,并做出具体区分,其中裂缝部分显示为白色,非裂缝部分显示为黑色,再将所有的子图像中80%作为训练集,20%作为测试集。
本发明的一种基于改进FCN的道路裂缝检测方法,所述步骤(2)中改进的FCN神经网络模型包括以下部分:
(21)改进的FCN神经网络模型中将原有FCN8s步长为8的1个反卷积层增加为步长是2的3个反卷积层;
(22)改进的FCN神经网络模型中采用浅层网络的信息和反卷积的信息拼接在一起,同时为了减少模型的参数,网络结构仅在最后一个反卷积过程中采用了拼接的方法;
(23)改进的FCN神经网络模型中采用预训练的方法进行训练。
与现有技术相比本发明的有益效果为:(1)采用分步长的方法,将步长为8的FCN改为步长为2的改进FCN,提高了预测图的准确率;(2)在最后的反卷积中,采用拼接卷积层的方法,将神经网络模型变得更宽,可以提取到更多的裂缝信息;(3)采用预训练的方法,减少了模型训练的参数,节省了计算资源,提升了速度。
附图说明
图1是本发明的改进FCN的模型结构图;
图2是本发明的数据集中原始图像和标注图像图;
图3是本发明的改进FCN模型训练的结果图;
图4是不同方法的预测结果对比图,其中图(a)为原图;图(b)为标签;图(c)为FCN8s预测图;图(d)为FCN2s预测图;图(e)为改进FCN2s预测图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1至图4所示,本发明的一种基于改进FCN的道路裂缝检测方法,包括以下步骤:
(1)道路裂缝数据的采集和预处理;
(11)道路裂缝数据的采集是通过手持设备,对路面裂缝进行拍摄采集得到;在本实施例中,数据采集是通过手机拍摄得到的原始数据,在自然光的条件下对路面裂缝进行拍摄,得到的原始图像的大小为3024×4042;
(12)道路裂缝数据集的预处理是对拍摄图像进行剪切分割,将一张图像划分为适合卷积神经网络输入的子图像;在python下调用skimage库来实现图像的切分,将原始图像切分为256×256的子图像,作为神经网络的输入;
(13)对分割后的子图像进行筛选并标注,筛选主要是保留图像中包含裂缝的图像,对于不包含任何裂缝的图像采取摒弃处理;标注的内容为每张子图像中裂缝的部分,并做出具体区分,其中裂缝部分显示为白色部分,非裂缝部分显示为黑色部分;再将所有的子图像中80%作为训练集,20%作为测试集;在本实施例中,利用labelme软件对上述子图像进行标注;如图2所示,为数据集中裂缝图像和其对应的标注图像;
(2)将图像数据,包括原始图像和标注图像,送入改进的FCN神经网络模型进行训练;改进的FCN神经网络模型包括以下部分:
(21)如图1所示的是本发明改进FCN的网络模型结构图,其主要包括下采样和上采样两个部分,其中下采样由2层64个卷积核,2层128个卷积核,3层256个卷积核,6层512个卷积核的卷积层以及池化层组成,上采样由反卷积层和卷积层组成;在原有FCN8s的基础上,增加了反卷积的层数,缩小了反卷积的步长,原有FCN8s的反卷积步长为8,而改进的FCN神经网络模型中将原有FCN8s步长为8的1个反卷积层增加为步长是2的3个反卷积层;
(22)为了更好的提取道路裂缝的更多细节,原有FCN是通过将浅层网络中,即下采样部分的卷积层信息与高层网络中,即反卷积部分的卷积层信息相加得到的道路裂缝信息,而改进的FCN神经网络模型中采用了浅层网络的信息和反卷积的信息拼接在一起,这样使得网络模型拥有了更多的裂缝信息;同时为了减少模型的参数,本发明仅在最后一个反卷积过程中采用了拼接的方法;如图1所示,“add”部分就是将浅层的网络模型参数和高层的网络模型参数相加得到的,“copy and crop”部分就是将卷积浅层和高层网络拼接组成的;更为直观的表达就是,原有FCN的神经网络模型通过浅层信息和高层信息相加得到更多的裂缝信息,并没有使得网络有任何变化,而采用拼接的方法,则可以将网络变得更宽,可以得到更多的裂缝信息;
(23)为了进一步减少模型的训练时间,节省计算资源,本发明采用预训练的方法进行训练;由于FCN浅层网络的主干采用的是VGG16的网络模型,而VGG16的模型可以直接采用预训练模型的权重,则在本发明提出的改进FCN模型训练中,可以极大的减少了模型的训练参数,节省了大量的时间;
(3)根据采集到的道路裂缝图像数据集训练改进的FCN神经网络模型:以Python语言,在tensorflow2.1框架进行训练,输入图像的大小为256×256,通道为3,该网络卷积层使用3×3的卷积核,步长为1;池化层使用2×2的卷积核,步长为2;反卷积层使用3×3的卷积核,步长为2;在最后的预测结果,采用sigmoid函数进行预测;
(4)为了更好的评估模型的性能,采用总体像素准确率(Acc)和均交并比(mIoU)两个指标进行评价;总体像素准确率计算公式为:
Figure BDA0002744263860000061
其中,Acc为总像素准确率,指所有预测正确像素占全部像素的比例;TP为真正例,指模型将正类别样本正确预测为正类别;TN为真负例,指模型将负类别样本正确预测为负类别;FP为假正例,指将负类别样本错误的预测为正类别;FN为真负例,将负类别样本错误的预测为负类别;
均交并比计算公式为:
Figure BDA0002744263860000062
其中,mIoU为均交并比,i表示真实值,j表示预测值,Pij表示将i预测为j,Pji表示将j预测为i,Pii表示将i预测为i;;可以将上式进行转换,结果为:
Figure BDA0002744263860000063
(5)使用二分类交叉熵(BCE)作为训练过程中的损失函数,使用Adam优化器训练20轮,学习率为0.001;训练批次的大小设置为4;其中二分类交叉熵损失函数:
Figure BDA0002744263860000064
其中,LossBCE为损失值,N表示一张图像总的像素数目,yi和pi分别为第i个像素点的标签值和预测概率。
如表1所示,是不同方法下实验结果的准确率和均交并比,从表中的数据可以看出,在采用了预训练的方法之后,三种对比实验的方法,整个模型的训练参数均减少一半以上,这极大的提升了训练的速度,节省了计算成本,从像素准确率上和均交并比上来看,改进的FCN2s在两项评价指标上均优于其他两种方法。
Figure BDA0002744263860000071
表1
如图4所示,为不用方法的结果预测图,图(c)为FCN8s的预测图,裂缝的信息有很多缺失;图(d)为FCN2s的预测图,相较于图c有了明显改善,但还存在部分裂缝信息丢失和预测错误的现象;图(e)为本发明的改进FCN的方法,从结果图中看,没有明显的裂缝丢失,也没有明显的错误分类的情况。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。

Claims (3)

1.一种基于改进FCN的道路裂缝检测方法,其特征在于,包括以下步骤:
(1)道路裂缝数据的采集和预处理;
(2)将图像数据,包括原始图像和标注图像,送入改进的FCN神经网络模型进行训练;
(3)根据采集到的道路裂缝图像数据集训练改进的FCN神经网络模型:以Python语言,在tensorflow2.1框架进行训练,输入图像的大小为256×256,通道为3,该网络卷积层使用3×3的卷积核,步长为1;池化层使用2×2的卷积核,步长为2;反卷积层使用3×3的卷积核,步长为2;在最后的预测结果,采用sigmoid函数进行预测;
(4)为了更好的评估模型的性能,采用总体像素准确率(Acc)和均交并比(mIoU)两个指标进行评价;总体像素准确率计算公式为:
Figure FDA0002744263850000011
其中,Acc为总像素准确率,指所有预测正确像素占全部像素的比例;TP为真正例,指模型将正类别样本正确预测为正类别;TN为真负例,指模型将负类别样本正确预测为负类别;FP为假正例,指将负类别样本错误的预测为正类别;FN为真负例,将负类别样本错误的预测为负类别;
均交并比计算公式为:
Figure FDA0002744263850000012
其中,mIoU为均交并比,i表示真实值,j表示预测值,Pij表示将i预测为j,Pji表示将j预测为i,Pii表示将i预测为i,可以将上式进行转换,结果为:
Figure FDA0002744263850000021
(5)使用二分类交叉熵(BCE)作为训练过程中的损失函数,使用Adam优化器训练20轮,学习率为0.001,训练批次的大小设置为4,其中二分类交叉熵损失函数:
Figure FDA0002744263850000022
其中,LossBCE表示损失值,N表示一张图像总的像素数目,yi和pi分别为第i个像素点的标签值和预测概率。
2.如权利要求1所述的一种基于改进FCN的道路裂缝检测方法,其特征在于,所述步骤(1)包括如下步骤:
(11)道路裂缝数据的采集是通过手持设备,对路面裂缝进行拍摄采集得到;
(12)道路裂缝数据的预处理是对拍摄图像进行剪切分割,将一张原始图像分割为适合神经网络模型输入的子图像;
(13)对分割后的子图像进行筛选并标注,标注的内容为每张子图像中裂缝的部分,并做出具体区分,其中裂缝部分显示为白色,非裂缝部分显示为黑色,再将所有的子图像中80%作为训练集,20%作为测试集。
3.如权利要求2所述的一种基于改进FCN的道路裂缝检测方法,其特征在于,所述步骤(2)中改进的FCN神经网络模型包括以下部分:
(21)改进的FCN神经网络模型中将原有FCN8s步长为8的1个反卷积层增加为步长是2的3个反卷积层;
(22)改进的FCN神经网络模型中采用浅层网络的信息和反卷积的信息拼接在一起,同时为了减少模型的参数,网络结构仅在最后一个反卷积过程中采用了拼接的方法;
(23)改进的FCN神经网络模型中采用预训练的方法进行训练。
CN202011161106.1A 2020-10-27 2020-10-27 一种基于改进fcn的道路裂缝检测方法 Pending CN112233105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011161106.1A CN112233105A (zh) 2020-10-27 2020-10-27 一种基于改进fcn的道路裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011161106.1A CN112233105A (zh) 2020-10-27 2020-10-27 一种基于改进fcn的道路裂缝检测方法

Publications (1)

Publication Number Publication Date
CN112233105A true CN112233105A (zh) 2021-01-15

Family

ID=74110143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011161106.1A Pending CN112233105A (zh) 2020-10-27 2020-10-27 一种基于改进fcn的道路裂缝检测方法

Country Status (1)

Country Link
CN (1) CN112233105A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634292A (zh) * 2021-01-06 2021-04-09 烟台大学 一种基于深度卷积神经网络的沥青路面裂缝图像分割方法
CN112949783A (zh) * 2021-04-29 2021-06-11 南京信息工程大学滨江学院 一种基于改进U-Net神经网络的道路裂缝检测方法
CN114565793A (zh) * 2022-02-28 2022-05-31 湖南北斗微芯产业发展有限公司 一种道路交通裂缝监测方法以及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408985A (zh) * 2018-11-01 2019-03-01 哈尔滨工业大学 基于计算机视觉的桥梁钢结构裂缝精准识别方法
CN110120041A (zh) * 2019-05-14 2019-08-13 郑州大学 路面裂缝图像检测方法
CN110532900A (zh) * 2019-08-09 2019-12-03 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法
CN111047569A (zh) * 2019-12-09 2020-04-21 北京联合大学 图像处理方法及装置
CN111242955A (zh) * 2020-01-21 2020-06-05 河海大学 基于全卷积神经网络的道路表面裂缝图像分割方法
CN111721770A (zh) * 2020-06-12 2020-09-29 汕头大学 一种基于分频卷积的自动化裂缝检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408985A (zh) * 2018-11-01 2019-03-01 哈尔滨工业大学 基于计算机视觉的桥梁钢结构裂缝精准识别方法
CN110120041A (zh) * 2019-05-14 2019-08-13 郑州大学 路面裂缝图像检测方法
CN110532900A (zh) * 2019-08-09 2019-12-03 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法
CN111047569A (zh) * 2019-12-09 2020-04-21 北京联合大学 图像处理方法及装置
CN111242955A (zh) * 2020-01-21 2020-06-05 河海大学 基于全卷积神经网络的道路表面裂缝图像分割方法
CN111721770A (zh) * 2020-06-12 2020-09-29 汕头大学 一种基于分频卷积的自动化裂缝检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙梦园;刘义;范文慧;: "基于多尺度卷积网络的路面图像裂缝分割方法", 软件, no. 05, 15 May 2020 (2020-05-15) *
金玥等: "基于Mobile U-Net 的多目标(行人)检测算法", 《工业控制计算机》, 25 March 2020 (2020-03-25), pages 81 - 83 *
陈泽斌;罗文婷;李林;: "基于改进U-net模型的路面裂缝智能识别", 数据采集与处理, no. 02, 15 March 2020 (2020-03-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634292A (zh) * 2021-01-06 2021-04-09 烟台大学 一种基于深度卷积神经网络的沥青路面裂缝图像分割方法
CN112949783A (zh) * 2021-04-29 2021-06-11 南京信息工程大学滨江学院 一种基于改进U-Net神经网络的道路裂缝检测方法
CN112949783B (zh) * 2021-04-29 2023-09-26 南京信息工程大学滨江学院 一种基于改进U-Net神经网络的道路裂缝检测方法
CN114565793A (zh) * 2022-02-28 2022-05-31 湖南北斗微芯产业发展有限公司 一种道路交通裂缝监测方法以及系统
CN114565793B (zh) * 2022-02-28 2023-05-23 湖南北斗微芯产业发展有限公司 一种道路交通裂缝监测方法以及系统

Similar Documents

Publication Publication Date Title
CN112233105A (zh) 一种基于改进fcn的道路裂缝检测方法
CN111340123A (zh) 一种基于深度卷积神经网络的图像分数标签预测方法
CN112949783B (zh) 一种基于改进U-Net神经网络的道路裂缝检测方法
CN110569738A (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
JP2022025008A (ja) テキスト行識別に基づくナンバープレート識別方法
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN114202743A (zh) 自动驾驶场景下基于改进faster-RCNN的小目标检测方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN110751076A (zh) 车辆检测方法
CN112241693A (zh) 基于YOLOv3实现的违规焊接动火图像识别方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN115546553A (zh) 一种基于动态特征抽取和属性修正的零样本分类方法
CN113177528B (zh) 基于多任务学习策略训练网络模型的车牌识别方法及系统
CN113989577A (zh) 图像分类方法及装置
CN111832497B (zh) 一种基于几何特征的文本检测后处理方法
CN117115565A (zh) 一种基于自主感知的图像分类方法、装置及智能终端
CN114694133B (zh) 一种基于图像处理与深度学习相结合的文本识别方法
CN112949630B (zh) 基于边框分级筛选的弱监督目标检测方法
CN112487927B (zh) 一种基于物体关联注意力的室内场景识别实现方法及系统
CN114581841A (zh) 一种复杂交通环境下利用深度学习法检测弱小目标的方法
CN113409327A (zh) 一种基于排序与语义一致性约束的实例分割改进方法
CN114092818A (zh) 语义分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination