CN113034411B - 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法 - Google Patents

一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法 Download PDF

Info

Publication number
CN113034411B
CN113034411B CN202011512311.8A CN202011512311A CN113034411B CN 113034411 B CN113034411 B CN 113034411B CN 202011512311 A CN202011512311 A CN 202011512311A CN 113034411 B CN113034411 B CN 113034411B
Authority
CN
China
Prior art keywords
picture
generation network
countermeasure generation
generator
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011512311.8A
Other languages
English (en)
Other versions
CN113034411A (zh
Inventor
陈宁
侯越
陈艳艳
陈逸涵
徐子金
史宏宇
刘卓
赵世博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202011512311.8A priority Critical patent/CN113034411B/zh
Publication of CN113034411A publication Critical patent/CN113034411A/zh
Application granted granted Critical
Publication of CN113034411B publication Critical patent/CN113034411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法,结合传统方法和深度卷积对抗生成网络对数据进行扩增,达到数据增强的效果。使用人工方法对原始破损路面进行采集、批量裁剪以及数据集制作。本发明基于对抗生成网络模型,用卷积神经网络来替代对抗生成网络中的多层感知机,经过生成器和判别器的互相博弈,不断迭代更新,使得生成器具有良好的生成路面病害图片能力,判别器具有良好的鉴别图片真假能力。本发明能够根据真实的路面病害照片生成新的高质量图片,达到扩充数据集的目的,为深度学习的路面病害识别提供了良好的条件,使训练出来的模型效果更好,模型的泛化能力更强。

Description

一种耦合传统方法和深度卷积对抗生成网络的道路病害图片 增强方法
技术领域
本发明属于图像处理领域,涉及一种耦合传统方法和深度卷积对抗生成网络 的道路病害图片增强方法。本发明应用于道路病害图片数据增强。
背景技术
车辆荷载和环境等因素引起的裂缝、坑槽、车辙等病害降低了行车的安全性 和舒适性,需要及时对路面进行养护维修。由于缺少足够的基础理论和技术支撑, 目前大部分路面病害多通过现场检查,该方法需要大量的时间和资源,效率低, 难以满足现代化智能路面检测的需要。随着人工智能技术的发展,机器学习方法 被逐渐应用于路面病害识别领域,能够相对快速高效地识别道路病害图片,节约 时间,降低成本。
针对小样本数据在深度学习中训练难,以及人工标注路面图片成本高等问 题,对数据进行增强具有一定的优越性。相比于传统的数据增强手段,对抗生成 网络存在两个不同的网络,而不是单一的网络,并且采用对抗训练方式。
由于原始的对抗生成网络模型存在着无约束、不可控等问题,本发明提出了 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法,使用了卷 积神经网络来替代对抗生成网络中的多层感知机。
本发明将传统数据扩增与对抗生成网络数据增强手段相融合,运用常规图片 几何变换和对抗生成网络生成新的高质量路面病害图片的数据扩增方法,增加样 本数量,使得训练后的路面病害图片样本更易被机器识别,识别精度有更明显的 提升,模型的泛化能力有所提高。
发明内容
本发明的目的在于通过一种耦合传统方法和深度卷积对抗生成网络的道路 病害图片增强方法,对道路病害及其他路面对象进行识别和数据增强,增加模型 的数据量,提高模型的泛化能力。
本发明采用的深度卷积对抗生成网络模型使用了卷积神经网络来替代对抗 生成网络中的多层感知机,在原始的对抗生成网络模型的基础上进行以下改进: (1)以反卷积代替池化操作;(2)添加了批标准化的操作,以稳定学习训练过 程;(3)以全局平均池化代替全连接层;(4)除生成器的输出层使用Tanh激 活函数之外其他层使用ReLU激活函数,判别器的所有层采用LeakyReLU激 活函数。
本发明采用的对抗生成网络包括两部分结构,即生成器和判别器。两者组成 互相博弈的双方,经过不断迭代更新,学习病害特征,使得生成器具有良好的生 成路面病害图片的能力,判别器具有良好的鉴别图片真假能力,如图1所示。
判别器的优化目标如式(1)所示,在训练判别器时,保持生成器的参数不变。
式中第一项即要求真实路面病害图片x输入网络时,判别器得到的结果越大 越好,即越接近1表示该样本的预测结果为真实图片的概率越大。第二项即对于 生成器生成的虚假路面病害图片样本G(z),要求判别器预测结果越小越好,越接 近0表示其为虚假图片的概率越大。
生成器的优化目标如式(2)所示,生成器的目标是使得生成的虚假路面病害 图片样本骗过判别器,得到更接近1的预测结果。
综合两部分优化目标,得到如(3)所示的优化目标函数。
依据优化函数,得到判别器的损失函数式(4):
LD=-((1-y)log(1-D(G(z)))+y log D(x)) (4)
即对于判别器,当输入是真实路面病害图片时,使得判别器的输出D(x)尽 可能接近1;当输入为虚假图片时,让D(G(z))输出尽可能接近0。该函数与二元 交叉熵函数接近。计算完Loss后,进行反向传播,先后更新判别器和生成器的 参数。
生成器的损失函数如式(5)所示:
即最小化生成模型的误差,使得生成器产生的数据G(z)与真实数据呈现同样 的分布。其中为判别器预测概率结果取整,表示为0或1,同时用于改变梯度 更新的方向。
本发明采用的技术方案为一种耦合传统方法和深度卷积对抗生成网络的道 路病害图片增强方法,包括原始图像预处理、传统方法数据增强、数据集制作和 对抗生成网络数据增强四大部分,如图2所示,具体步骤如下:
步骤一:原始照片预处理;
首先,进行人工标定。在本发明中,网络预测精度与路面图像数据集的规模 和分类特征的一致性有很大关系。所以本发明对每张路面图片进行分类和筛选, 共得到横向裂缝、纵向裂缝、网状裂缝、坑槽、路面标线以及路面破损标线六种 分类的典型图片。
其次,调整原始路面病害照片的大小,通过双线性插值法进行横向缩放至较 小的统一像素。然后,对其进行连续剪裁,每张路面图像剪裁得到更小像素的子 图像。
步骤二:传统方法进行数据增强;
第一步,将每张路面病害图片进行垂直镜像变换,扩大一倍路面图集,然后 经过不同角度的旋转,再次扩大数倍路面病害图集。
步骤三:数据集制作;
把路面图片集按照训练集、验证集和测试集比例约为10:1:1进行划分。
步骤四:对抗生成网络数据增强;
深度卷积对抗生成网络由生成器和判别器两部分构成。生成器随机获取100 维向量作为输入,首先重构为1024张12×12的特征图,后接四个大小为5×5, 步长为2的反卷积层。生成新的虚假路面病害图片,随后输入判别器。判别器 采用四个大小为5×5,步长为2的卷积层,后接全局平均池化层;最后,输出 该图片预测为真/假图片的概率及预测结果。
本发明可以较好地学习路面病害特征,有效增加病害数据量,提高样本质量, 使得模型效果更好,泛化能力更强。同时,利用本发明可以减少人工成本和时间 损耗,处理后的路面病害图片可以作为深度学习数据,进行后续训练学习。
附图说明
图1为对抗生成网络算法流程示意图。
图2为方法实施步骤图。
图3为批量剪裁示意图。
图4为图像集中4种分类图片:(a)横向裂缝(b)纵向裂缝(c)网状裂 缝(d)坑槽(e)路面标线(f)路面破损标线。
图5为传统方法进行数据增强结果。
图6为对抗生成网络生成器框架示意图。
图7为对抗生成网络判别器框架示意图。
具体实施方式
本发明所采用的原始路面病害图像数据集为三通道灰度图像。具体实施步骤 如下:
(1)人工标记
人工标记的目的在于对路面病害数据集进行分类,以进行监督学习。在监督 学习中,数据集的规模和分类特征的一致性会对网络预测精度造成很大影响。所 以在此步骤中,本发明使用人工标定法进行分类和筛选,用labelImg对路面病害 图片集进行标定,共得到横向裂缝、纵向裂缝、网状裂缝、坑槽、路面标线以及 路面破损标线六种分类的典型图片,如图4。
(2)批量裁剪
为了既能够不破坏路面裂缝等分类特征,又尽可能的降低图像尺寸过大带来 的难以训练问题,将原始路面病害图片进行批量剪裁,使图片尺寸缩小至一定规 模。首先,采用双线性插值法进行横向缩放。然后,对其进行连续剪裁,得到 200×200像素的子图像。
(3)传统方法进行数据增强
本发明采用两种传统手段进行路面病害图片数据增强:镜像和旋转。首先, 将每张路面图片进行垂直镜像,如图5的(a)所示。然后,对每张路面病害图像分 别进行逆时针旋转90°,180°和270°变换,如图5的(b)(c)(d)所示。故图像集经 过增强后,相当于将原图像集的规模增至8倍。
(4)数据集制作
为满足监督学习的需要,将经过数据增强后的数据集,按照训练集、验证集 和测试集比例约为10:1:1进行划分。
(5)对抗生成网络数据增强
本发明采用的深度卷积对抗生成网络模型由生成器和判别器两部分构成,使 用反卷积层来替换池化层,在生成器和判别器中使用批标准化的操作来稳定学习 训练过程。同时,去除深度架构中的全连接层。在生成器中,除去最后一层使用 Tanh之外,每一层都使用ReLU函数来激活;判别器中,所有层都采用LeakReLU 激活函数。
本发明的生成器框架示意图如图6。生成器随机获取100维向量作为输入, 首先重构为1024张12×12的特征图,然后采用四个大小为5×5,步长为2的反 卷积层。此时生成器生成大小为200×200的虚假路面病害图片,随后输入判别 器。判别器采用四个大小为5×5,步长为2的卷积层,后接全局平均池化层。最 后,输出该路面病害图片预测为真/假图片的概率及预测结果,判别器网络如图7 所示。本发明使用的ReLU、LeakyReLU以及Tanh函数表示如下:
对于学习方法,使用Adam方法对模型参数进行优化,Adam方法是一种简 单、计算效率高的随机目标函数梯度优化算法。该方法在处理稀疏梯度和处理非 平稳目标方面具有两个优势。由于Adam可以很好地适用于广泛的非凸优化问 题,所以在本发明中使用了它。
Adam保持过去的平均平方梯度vt在指数衰减的趋势。它也有一个指数衰减 趋势的过去梯度mt的平均值,并在误差面有一个平坦的最小值的偏好。然后, 计算过去的衰减平均值和过去的平方梯度mt和vt相应地如下:
mt=β1mt-1+(1-β1)gt (9)
其中mt和vt分别是梯度的第一阶矩(均值)和第二阶矩(无中心方差)的估计 值。该算法保持图像矩阵随机梯度下降保持单一的学习率,更新对抗生成网络中 的所有权重。
由于mt和vt初始化为0的向量,它们偏向于0,这些偏向可以计算为:
然后使用这些t并更新参数为:
β1默认值为0.9,β2的默认值为0.999,∈的默认值为10-8。每个epoch是神 经网络训练一次遍历整个数据集的全过程,包括向前和向后。
在学习过程中,利用Adam优化算法进行优化参数,学习率设置为0.0002,LeakyReLU的斜率为0.2,Batchsize为64。共学习8000代,并在学习过程中观 测器Loss曲线变化,每隔50代生成一次图片。
经观测,随着迭代次数的增加,路面病害特征逐渐清晰,训练8000代后, 所使用的对抗生成网络已经能够生成较为逼真的图片。

Claims (2)

1.一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法,其特征在于:
第一步,原始照片预处理;首先,进行人工标定,将路面病害图片进行分类;其次,调整原始路面病害照片的大小,把原始照片裁剪缩放为200×200像素;
第二步,传统方法进行数据增强;运用图像批量处理的手段对原始路面病害数据集进行数据增强,采用垂直镜像变换并进行逆时针90°,180°和270°旋转变换;
第三步,数据集制作;把路面病害图片集按照训练集、验证集和测试集比例约为10:1:1进行划分,在学习时,每种分类的训练集数据尽可能数量相近;
第四步,对抗生成网络数据增强;深度卷积对抗生成网络由生成器和判别器两部分构成;生成器随机获取100维向量作为输入,首先重构为1024张12*12的特征图,后接四个大小为5×5,步长为2的反卷积层;此时生成器生成大小为200×200的虚假路面病害图片,随后输入判别器;判别器采用四个大小为5×5,步长为2的卷积层,后接全局平均池化层;最后,输出该图片预测为真/假图片的概率及预测结果。
2.根据权利要求1所述的一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法,其特征在于,使用了卷积神经网络来替代对抗生成网络中的多层感知机:
1)使用反卷积层来替换池化层;
2)在生成器和判别器中使用批标准化的操作来稳定学习训练过程;
3)去除深度架构中的全连接层;
4)生成器中,除去最后一层使用Tanh之外,每一层都使用ReLU函数来激活;判别器中,所有层都采用LeakReLU激活函数。
CN202011512311.8A 2020-12-19 2020-12-19 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法 Active CN113034411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011512311.8A CN113034411B (zh) 2020-12-19 2020-12-19 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011512311.8A CN113034411B (zh) 2020-12-19 2020-12-19 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法

Publications (2)

Publication Number Publication Date
CN113034411A CN113034411A (zh) 2021-06-25
CN113034411B true CN113034411B (zh) 2024-02-27

Family

ID=76459094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011512311.8A Active CN113034411B (zh) 2020-12-19 2020-12-19 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法

Country Status (1)

Country Link
CN (1) CN113034411B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022368A (zh) * 2021-10-08 2022-02-08 郑州大学 基于生成对抗网络的路面病害数据增强方法
CN113963212A (zh) * 2021-10-25 2022-01-21 郑州大学 基于Inception-Resnet神经网络的管道病害图像分类方法及装置
CN114091654B (zh) * 2021-11-14 2024-04-12 北京工业大学 一种基于深度卷积对抗生成网络的水泥混凝土材料试验数据增强方法
CN114219778B (zh) * 2021-12-07 2024-04-02 北京工业大学 一种基于wgan-gp数据生成与泊松融合的数据深度增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951919A (zh) * 2017-03-02 2017-07-14 浙江工业大学 一种基于对抗生成网络的流速监测实现方法
CN108921123A (zh) * 2018-07-17 2018-11-30 重庆科技学院 一种基于双重数据增强的人脸识别方法
CN108985464A (zh) * 2018-07-17 2018-12-11 重庆科技学院 基于信息最大化生成对抗网络的人脸连续特征生成方法
CN110111236A (zh) * 2019-04-19 2019-08-09 大连理工大学 基于渐进式对抗生成网络的多目标草图生成图像的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951919A (zh) * 2017-03-02 2017-07-14 浙江工业大学 一种基于对抗生成网络的流速监测实现方法
CN108921123A (zh) * 2018-07-17 2018-11-30 重庆科技学院 一种基于双重数据增强的人脸识别方法
CN108985464A (zh) * 2018-07-17 2018-12-11 重庆科技学院 基于信息最大化生成对抗网络的人脸连续特征生成方法
CN110111236A (zh) * 2019-04-19 2019-08-09 大连理工大学 基于渐进式对抗生成网络的多目标草图生成图像的方法

Also Published As

Publication number Publication date
CN113034411A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113034411B (zh) 一种耦合传统方法和深度卷积对抗生成网络的道路病害图片增强方法
CN108154192B (zh) 基于多尺度卷积与特征融合的高分辨sar地物分类方法
CN106940816B (zh) 基于3d全卷积神经网络的ct图像肺结节检测系统
CN111274903B (zh) 一种基于图卷积神经网络的宫颈细胞图像分类方法
CN112767344A (zh) 一种基于车载摄像的耦合传统和机器学习的病害增强方法
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN111476266A (zh) 一种基于迁移学习的非平衡类别白细胞分类方法
CN110751644B (zh) 道路表面裂纹检测方法
CN111462012A (zh) 一种基于条件生成对抗网络的sar图像仿真方法
Nie et al. Ghostsr: Learning ghost features for efficient image super-resolution
CN116312782B (zh) 一种融合影像基因数据的空间转录组spot区域聚类方法
CN112101364B (zh) 基于参数重要性增量学习的语义分割方法
CN112613350A (zh) 一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法
CN110930320A (zh) 一种基于轻量化卷积神经网络的图像去雾方法
CN111161244B (zh) 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN107194414A (zh) 一种基于局部敏感哈希的svm快速增量学习算法
CN114897781A (zh) 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法
CN111260660A (zh) 一种基于元学习的3d点云语义分割迁移方法
CN112837320A (zh) 一种基于并行空洞卷积的遥感影像语义分割方法
CN112634171A (zh) 基于贝叶斯卷积神经网络的图像去雾方法及存储介质
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
KR102402194B1 (ko) 딥러닝 기반 엔드-투-엔드 o-ring 결함 검출 방법
CN112785517B (zh) 一种基于高分辨率表征的图像去雾方法和装置
CN115661498A (zh) 一种自优化单细胞聚类方法
CN115271037A (zh) 一种面向点云的高效二值化神经网络量化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant