CN113034411A - 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法 - Google Patents

一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法 Download PDF

Info

Publication number
CN113034411A
CN113034411A CN202011512311.8A CN202011512311A CN113034411A CN 113034411 A CN113034411 A CN 113034411A CN 202011512311 A CN202011512311 A CN 202011512311A CN 113034411 A CN113034411 A CN 113034411A
Authority
CN
China
Prior art keywords
picture
generation network
generator
data
pavement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011512311.8A
Other languages
English (en)
Other versions
CN113034411B (zh
Inventor
陈宁
侯越
陈艳艳
陈逸涵
徐子金
史宏宇
刘卓
赵世博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202011512311.8A priority Critical patent/CN113034411B/zh
Publication of CN113034411A publication Critical patent/CN113034411A/zh
Application granted granted Critical
Publication of CN113034411B publication Critical patent/CN113034411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/60Rotation of a whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明公开了一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法,结合传统方法和深度卷积对抗生成网络对数据进行扩增,达到数据增强的效果。使用人工方法对原始破损路面进行采集、批量裁剪以及数据集制作。本发明基于对抗生成网络模型,用卷积神经网络来替代对抗生成网络中的多层感知机,经过生成器和判别器的互相博弈,不断迭代更新,使得生成器具有良好的生成路面病害图片能力,判别器具有良好的鉴别图片真假能力。本发明能够根据真实的路面病害照片生成新的高质量图片,达到扩充数据集的目的,为深度学习的路面病害识别提供了良好的条件,使训练出来的模型效果更好,模型的泛化能力更强。

Description

一种耦合传统方法和深度卷积对抗生成网络的道路病害图片 增强方法
技术领域
本发明属于图像处理领域,涉及一种耦合传统方法和深度卷积对抗生成网络 的道路病害图片增强方法。本发明应用于道路病害图片数据增强。
背景技术
车辆荷载和环境等因素引起的裂缝、坑槽、车辙等病害降低了行车的安全性 和舒适性,需要及时对路面进行养护维修。由于缺少足够的基础理论和技术支撑, 目前大部分路面病害多通过现场检查,该方法需要大量的时间和资源,效率低, 难以满足现代化智能路面检测的需要。随着人工智能技术的发展,机器学习方法 被逐渐应用于路面病害识别领域,能够相对快速高效地识别道路病害图片,节约 时间,降低成本。
针对小样本数据在深度学习中训练难,以及人工标注路面图片成本高等问 题,对数据进行增强具有一定的优越性。相比于传统的数据增强手段,对抗生成 网络存在两个不同的网络,而不是单一的网络,并且采用对抗训练方式。
由于原始的对抗生成网络模型存在着无约束、不可控等问题,本发明提出了 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法,使用了卷 积神经网络来替代对抗生成网络中的多层感知机。
本发明将传统数据扩增与对抗生成网络数据增强手段相融合,运用常规图片 几何变换和对抗生成网络生成新的高质量路面病害图片的数据扩增方法,增加样 本数量,使得训练后的路面病害图片样本更易被机器识别,识别精度有更明显的 提升,模型的泛化能力有所提高。
发明内容
本发明的目的在于通过一种耦合传统方法和深度卷积对抗生成网络的道路 病害图片增强方法,对道路病害及其他路面对象进行识别和数据增强,增加模型 的数据量,提高模型的泛化能力。
本发明采用的深度卷积对抗生成网络模型使用了卷积神经网络来替代对抗 生成网络中的多层感知机,在原始的对抗生成网络模型的基础上进行以下改进: (1)以反卷积代替池化操作;(2)添加了批标准化的操作,以稳定学习训练过 程;(3)以全局平均池化代替全连接层;(4)除生成器的输出层使用Tanh激 活函数之外其他层使用ReLU激活函数,判别器的所有层采用LeakyReLU激 活函数。
本发明采用的对抗生成网络包括两部分结构,即生成器和判别器。两者组成 互相博弈的双方,经过不断迭代更新,学习病害特征,使得生成器具有良好的生 成路面病害图片的能力,判别器具有良好的鉴别图片真假能力,如图1所示。
判别器的优化目标如式(1)所示,在训练判别器时,保持生成器的参数不变。
Figure BDA0002846777770000021
式中第一项即要求真实路面病害图片x输入网络时,判别器得到的结果越大 越好,即越接近1表示该样本的预测结果为真实图片的概率越大。第二项即对于 生成器生成的虚假路面病害图片样本G(z),要求判别器预测结果越小越好,越接 近0表示其为虚假图片的概率越大。
生成器的优化目标如式(2)所示,生成器的目标是使得生成的虚假路面病害 图片样本骗过判别器,得到更接近1的预测结果。
Figure BDA0002846777770000022
综合两部分优化目标,得到如(3)所示的优化目标函数。
Figure BDA0002846777770000023
依据优化函数,得到判别器的损失函数式(4):
LD=-((1-y)log(1-D(G(z)))+y log D(x)) (4)
即对于判别器,当输入是真实路面病害图片时,使得判别器的输出D(x)尽 可能接近1;当输入为虚假图片时,让D(G(z))输出尽可能接近0。该函数与二元 交叉熵函数接近。计算完Loss后,进行反向传播,先后更新判别器和生成器的 参数。
生成器的损失函数如式(5)所示:
Figure BDA0002846777770000024
即最小化生成模型的误差,使得生成器产生的数据G(z)与真实数据呈现同样 的分布。其中
Figure BDA0002846777770000025
为判别器预测概率结果取整,表示为0或1,同时用于改变梯度 更新的方向。
本发明采用的技术方案为一种耦合传统方法和深度卷积对抗生成网络的道 路病害图片增强方法,包括原始图像预处理、传统方法数据增强、数据集制作和 对抗生成网络数据增强四大部分,如图2所示,具体步骤如下:
步骤一:原始照片预处理;
首先,进行人工标定。在本发明中,网络预测精度与路面图像数据集的规模 和分类特征的一致性有很大关系。所以本发明对每张路面图片进行分类和筛选, 共得到横向裂缝、纵向裂缝、网状裂缝、坑槽、路面标线以及路面破损标线六种 分类的典型图片。
其次,调整原始路面病害照片的大小,通过双线性插值法进行横向缩放至较 小的统一像素。然后,对其进行连续剪裁,每张路面图像剪裁得到更小像素的子 图像。
步骤二:传统方法进行数据增强;
第一步,将每张路面病害图片进行垂直镜像变换,扩大一倍路面图集,然后 经过不同角度的旋转,再次扩大数倍路面病害图集。
步骤三:数据集制作;
把路面图片集按照训练集、验证集和测试集比例约为10:1:1进行划分。
步骤四:对抗生成网络数据增强;
深度卷积对抗生成网络由生成器和判别器两部分构成。生成器随机获取100 维向量作为输入,首先重构为1024张12×12的特征图,后接四个大小为5×5, 步长为2的反卷积层。生成新的虚假路面病害图片,随后输入判别器。判别器 采用四个大小为5×5,步长为2的卷积层,后接全局平均池化层;最后,输出 该图片预测为真/假图片的概率及预测结果。
本发明可以较好地学习路面病害特征,有效增加病害数据量,提高样本质量, 使得模型效果更好,泛化能力更强。同时,利用本发明可以减少人工成本和时间 损耗,处理后的路面病害图片可以作为深度学习数据,进行后续训练学习。
附图说明
图1为对抗生成网络算法流程示意图。
图2为方法实施步骤图。
图3为批量剪裁示意图。
图4为图像集中4种分类图片:(a)横向裂缝(b)纵向裂缝(c)网状裂 缝(d)坑槽(e)路面标线(f)路面破损标线。
图5为传统方法进行数据增强结果。
图6为对抗生成网络生成器框架示意图。
图7为对抗生成网络判别器框架示意图。
具体实施方式
本发明所采用的原始路面病害图像数据集为三通道灰度图像。具体实施步骤 如下:
(1)人工标记
人工标记的目的在于对路面病害数据集进行分类,以进行监督学习。在监督 学习中,数据集的规模和分类特征的一致性会对网络预测精度造成很大影响。所 以在此步骤中,本发明使用人工标定法进行分类和筛选,用labelImg对路面病害 图片集进行标定,共得到横向裂缝、纵向裂缝、网状裂缝、坑槽、路面标线以及 路面破损标线六种分类的典型图片,如图4。
(2)批量裁剪
为了既能够不破坏路面裂缝等分类特征,又尽可能的降低图像尺寸过大带来 的难以训练问题,将原始路面病害图片进行批量剪裁,使图片尺寸缩小至一定规 模。首先,采用双线性插值法进行横向缩放。然后,对其进行连续剪裁,得到 200×200像素的子图像。
(3)传统方法进行数据增强
本发明采用两种传统手段进行路面病害图片数据增强:镜像和旋转。首先, 将每张路面图片进行垂直镜像,如图5的(a)所示。然后,对每张路面病害图像分 别进行逆时针旋转90°,180°和270°变换,如图5的(b)(c)(d)所示。故图像集经 过增强后,相当于将原图像集的规模增至8倍。
(4)数据集制作
为满足监督学习的需要,将经过数据增强后的数据集,按照训练集、验证集 和测试集比例约为10:1:1进行划分。
(5)对抗生成网络数据增强
本发明采用的深度卷积对抗生成网络模型由生成器和判别器两部分构成,使 用反卷积层来替换池化层,在生成器和判别器中使用批标准化的操作来稳定学习 训练过程。同时,去除深度架构中的全连接层。在生成器中,除去最后一层使用 Tanh之外,每一层都使用ReLU函数来激活;判别器中,所有层都采用LeakReLU 激活函数。
本发明的生成器框架示意图如图6。生成器随机获取100维向量作为输入, 首先重构为1024张12×12的特征图,然后采用四个大小为5×5,步长为2的反 卷积层。此时生成器生成大小为200×200的虚假路面病害图片,随后输入判别 器。判别器采用四个大小为5×5,步长为2的卷积层,后接全局平均池化层。最 后,输出该路面病害图片预测为真/假图片的概率及预测结果,判别器网络如图7 所示。本发明使用的ReLU、LeakyReLU以及Tanh函数表示如下:
Figure BDA0002846777770000051
Figure BDA0002846777770000052
Figure BDA0002846777770000053
对于学习方法,使用Adam方法对模型参数进行优化,Adam方法是一种简 单、计算效率高的随机目标函数梯度优化算法。该方法在处理稀疏梯度和处理非 平稳目标方面具有两个优势。由于Adam可以很好地适用于广泛的非凸优化问 题,所以在本发明中使用了它。
Adam保持过去的平均平方梯度vt在指数衰减的趋势。它也有一个指数衰减 趋势的过去梯度mt的平均值,并在误差面有一个平坦的最小值的偏好。然后, 计算过去的衰减平均值和过去的平方梯度mt和vt相应地如下:
mt=β1mt-1+(1-β1)gt (9)
Figure BDA0002846777770000054
其中mt和vt分别是梯度的第一阶矩(均值)和第二阶矩(无中心方差)的估计 值。该算法保持图像矩阵随机梯度下降保持单一的学习率,更新对抗生成网络中 的所有权重。
由于mt和vt初始化为0的向量,它们偏向于0,这些偏向可以计算为:
Figure BDA0002846777770000055
Figure BDA0002846777770000061
然后使用这些t并更新参数为:
Figure BDA0002846777770000062
β1默认值为0.9,β2的默认值为0.999,∈的默认值为10-8。每个epoch是神 经网络训练一次遍历整个数据集的全过程,包括向前和向后。
在学习过程中,利用Adam优化算法进行优化参数,学习率设置为0.0002,LeakyReLU的斜率为0.2,Batchsize为64。共学习8000代,并在学习过程中观 测器Loss曲线变化,每隔50代生成一次图片。
经观测,随着迭代次数的增加,路面病害特征逐渐清晰,训练8000代后, 所使用的对抗生成网络已经能够生成较为逼真的图片。

Claims (2)

1.一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法,其特征在于:
第一步,原始照片预处理;首先,进行人工标定,将路面病害图片进行分类;其次,调整原始路面病害照片的大小,把原始照片裁剪缩放为200×200像素;
第二步,传统方法进行数据增强;运用图像批量处理的手段对原始路面病害数据集进行数据增强,采用垂直镜像变换并进行逆时针90°,180°和270°旋转变换;
第三步,数据集制作;把路面病害图片集按照训练集、验证集和测试集比例约为10:1:1进行划分,在学习时,每种分类的训练集数据尽可能数量相近;
第四步,对抗生成网络数据增强;深度卷积对抗生成网络由生成器和判别器两部分构成;生成器随机获取100维向量作为输入,首先重构为1024张12*12的特征图,后接四个大小为5×5,步长为2的反卷积层;此时生成器生成大小为200×200的虚假路面病害图片,随后输入判别器;判别器采用四个大小为5×5,步长为2的卷积层,后接全局平均池化层;最后,输出该图片预测为真/假图片的概率及预测结果。
2.根据权利要求1所述的一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法,其特征在于,使用了卷积神经网络来替代对抗生成网络中的多层感知机:
1)使用反卷积层来替换池化层;
2)在生成器和判别器中使用批标准化的操作来稳定学习训练过程;
3)去除深度架构中的全连接层;
4)生成器中,除去最后一层使用Tanh之外,每一层都使用ReLU函数来激活;判别器中,所有层都采用LeakReLU激活函数。
CN202011512311.8A 2020-12-19 2020-12-19 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法 Active CN113034411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011512311.8A CN113034411B (zh) 2020-12-19 2020-12-19 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011512311.8A CN113034411B (zh) 2020-12-19 2020-12-19 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法

Publications (2)

Publication Number Publication Date
CN113034411A true CN113034411A (zh) 2021-06-25
CN113034411B CN113034411B (zh) 2024-02-27

Family

ID=76459094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011512311.8A Active CN113034411B (zh) 2020-12-19 2020-12-19 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法

Country Status (1)

Country Link
CN (1) CN113034411B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963212A (zh) * 2021-10-25 2022-01-21 郑州大学 基于Inception-Resnet神经网络的管道病害图像分类方法及装置
CN114022368A (zh) * 2021-10-08 2022-02-08 郑州大学 基于生成对抗网络的路面病害数据增强方法
CN114091654A (zh) * 2021-11-14 2022-02-25 北京工业大学 一种基于深度卷积对抗生成网络的水泥混凝土材料试验数据增强方法
CN114219778A (zh) * 2021-12-07 2022-03-22 北京工业大学 一种基于wgan-gp数据生成与泊松融合的数据深度增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951919A (zh) * 2017-03-02 2017-07-14 浙江工业大学 一种基于对抗生成网络的流速监测实现方法
CN108921123A (zh) * 2018-07-17 2018-11-30 重庆科技学院 一种基于双重数据增强的人脸识别方法
CN108985464A (zh) * 2018-07-17 2018-12-11 重庆科技学院 基于信息最大化生成对抗网络的人脸连续特征生成方法
CN110111236A (zh) * 2019-04-19 2019-08-09 大连理工大学 基于渐进式对抗生成网络的多目标草图生成图像的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951919A (zh) * 2017-03-02 2017-07-14 浙江工业大学 一种基于对抗生成网络的流速监测实现方法
CN108921123A (zh) * 2018-07-17 2018-11-30 重庆科技学院 一种基于双重数据增强的人脸识别方法
CN108985464A (zh) * 2018-07-17 2018-12-11 重庆科技学院 基于信息最大化生成对抗网络的人脸连续特征生成方法
CN110111236A (zh) * 2019-04-19 2019-08-09 大连理工大学 基于渐进式对抗生成网络的多目标草图生成图像的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022368A (zh) * 2021-10-08 2022-02-08 郑州大学 基于生成对抗网络的路面病害数据增强方法
CN113963212A (zh) * 2021-10-25 2022-01-21 郑州大学 基于Inception-Resnet神经网络的管道病害图像分类方法及装置
CN114091654A (zh) * 2021-11-14 2022-02-25 北京工业大学 一种基于深度卷积对抗生成网络的水泥混凝土材料试验数据增强方法
CN114091654B (zh) * 2021-11-14 2024-04-12 北京工业大学 一种基于深度卷积对抗生成网络的水泥混凝土材料试验数据增强方法
CN114219778A (zh) * 2021-12-07 2022-03-22 北京工业大学 一种基于wgan-gp数据生成与泊松融合的数据深度增强方法
CN114219778B (zh) * 2021-12-07 2024-04-02 北京工业大学 一种基于wgan-gp数据生成与泊松融合的数据深度增强方法

Also Published As

Publication number Publication date
CN113034411B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN113034411B (zh) 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法
CN105139395B (zh) 基于小波池化卷积神经网络的sar图像分割方法
CN110781924B (zh) 一种基于全卷积神经网络的侧扫声纳图像特征提取方法
CN109685743B (zh) 基于噪声学习神经网络模型的图像混合噪声消除方法
CN109886066A (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN111476266B (zh) 一种基于迁移学习的非平衡类别白细胞分类方法
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN112767344A (zh) 一种基于车载摄像的耦合传统和机器学习的病害增强方法
CN110751644B (zh) 道路表面裂纹检测方法
CN112613350A (zh) 一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法
CN111986126B (zh) 一种基于改进vgg16网络的多目标检测方法
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN114897781A (zh) 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法
CN113256538B (zh) 一种基于深度学习的无监督去雨方法
CN112634171A (zh) 基于贝叶斯卷积神经网络的图像去雾方法及存储介质
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN112991257B (zh) 基于半监督孪生网络的异质遥感图像变化快速检测方法
CN113177563B (zh) 融合cma-es算法及贯序极限学习机的贴片后异常检测方法
CN115620132A (zh) 一种无监督的对比学习冰湖提取方法
CN116823627A (zh) 一种基于图像复杂度评价的超大尺寸图像快速去噪方法
CN114624715A (zh) 一种基于自注意力时空神经网络模型的雷达回波外推方法
CN112861869A (zh) 一种基于轻量级卷积神经网络的高粱倒伏图像分割方法
CN111862039A (zh) 快速编带视觉检测方法
CN113034410A (zh) 一种耦合传统方法和卷积自编码的道路病害图片增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant