CN113850855A - 一种耦合传统方法和wgan-gp的道路纹理图片增强方法 - Google Patents

一种耦合传统方法和wgan-gp的道路纹理图片增强方法 Download PDF

Info

Publication number
CN113850855A
CN113850855A CN202110992745.0A CN202110992745A CN113850855A CN 113850855 A CN113850855 A CN 113850855A CN 202110992745 A CN202110992745 A CN 202110992745A CN 113850855 A CN113850855 A CN 113850855A
Authority
CN
China
Prior art keywords
texture
wgan
road
picture
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110992745.0A
Other languages
English (en)
Other versions
CN113850855B (zh
Inventor
徐子金
陈宁
刘卓
王扬
侯越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110992745.0A priority Critical patent/CN113850855B/zh
Priority claimed from CN202110992745.0A external-priority patent/CN113850855B/zh
Publication of CN113850855A publication Critical patent/CN113850855A/zh
Application granted granted Critical
Publication of CN113850855B publication Critical patent/CN113850855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06T5/92

Abstract

本发明公开了一种耦合传统方法和WGAN‑GP的道路纹理图片增强方法,结合传统方法以及WGAN‑GP对抗生成网络对数据进行增强,以达到数据扩增和均衡各类样本的效果。本发明首先将商用手持式三维激光扫描仪获取的道路纹理数据转为二维可视化纹理图片,然后使用人工方法和批量处理手段对路面纹理图片进行分类、预处理及数据集制作。本发明基于原始的小样本量且不均衡的路面纹理数据集,在传统方法增强的基础上采用WGAN‑GP网络进一步扩充。新生成的图片纹理特征相对更加明显,更易被机器识别,有助于提高模型的泛化能力,减少过拟合现象。此外,本发明不仅可以节约人工和时间成本,还对道路状况分析及自动驾驶有着至关重要的作用。

Description

一种耦合传统方法和WGAN-GP的道路纹理图片增强方法
技术领域
本发明属于图像处理领域,涉及一种耦合传统方法和WGAN-GP的道路纹理图片增强方法。本发明应用于小样本量且分布不均衡的道路纹理图片数据增强。
背景技术
路面是非常重要的民用基础设施,其结构和力学性能直接影响驾驶员和乘客的舒适性及安全性,为此道路工程师对其基本机理进行了深入研究。路面纹理是一个非常重要的指标,对自动驾驶有着至关重要的作用。一方面,路面与车辆轮胎直接接触,路面表面纹理会直接影响车辆制动、轮胎噪声以及车辆的颠簸和振动;另一方面,随着车辆人均拥有量的增加,路面承受荷载愈来愈大,伴随恶劣天气条件的影响,路面性能逐渐衰退,承载力的降低、路面开裂等将直接或间接导致路面表面纹理发生变化。因此,为减少交通事故的发生,提高行车安全性,及时对路面纹理进行检测与评估尤为重要。
在工程实践中,检测和评价路面结构的目的有两个:一是评价路面功能;二是评估路面损坏状况。传统的路面纹理信息获取及评价主要采用人工方法,如铺砂法和激光测距法,耗时久,效率低,且评价结果容易受主观因素影响。随着科学技术的发展,深度学习已经成为一种流行的数据分析工具。基于卷积神经网络(Convolutional Neural Network,CNN)的深度学习模型能够自动学习并提取特征,避免了复杂的人工提取过程,在图像分类与识别等任务中取得较理想的结果。然而,基于深度学习的模型网络较深,所含参数量较大,往往高质量的大样本量数据集更容易获得更可靠的模型。对于当前的道路研究来说,很难获取大量的数据集用于训练。
因此,针对小样本量数据集,通常采用数据增强的方式对其进行扩充,以满足训练的需要。常见的传统数据增强方法扩充数量有限,不足以满足训练要求。生成对抗网络(Generative adversary network,GAN)是基于深度学习的数据增强方法中较为典型的算法,能够生成大批量数据,在各领域得到广泛应用。
由于原始的生成对抗网络模型存在梯度消失、训练困难、模型崩溃等问题,本发明提出了一种耦合传统方法和WGAN-GP的道路纹理图片增强方法。Wasserstein GenerativeAdversary Network-Gradient Penalty(WGAN-GP)在原始GAN的基础上引入了Wasserstein距离以代替JS散度,提出了梯度惩罚(gradient penalty),并用Lipschitz连续条件限制函数的最大局部变动幅度,不会出现梯度的突变且权重分布均匀,充分地发挥了神经网络的学习能力。
本发明将传统数据扩增与WGAN-GP数据增强手段相融合,运用常规图片几何变换和对抗生成网络生成新的高质量路面纹理图片的数据扩增方法,在增加样本数量的同时均衡各类样本,使得训练后的路面纹理图片更易被机器识别,识别精度有更明显的提升,模型的泛化能力有所提高。
发明内容
本发明的目的在于通过一种耦合传统方法和WGAN-GP的道路纹理图片增强方法,对原始的小样本量且分布不均衡的路面宏观纹理图片进行识别和数据增强,以增加模型的数据量、均衡各类别纹理样本,提高模型的泛化能力。
本发明采用的WGAN-GP对抗生成网络模型在原始GAN的基础上引入了Wasserstein距离以代替JS散度,并用Lipschitz连续条件限制函数的最大局部变动幅度。此外,本发明提出了梯度惩罚(gradient penalty),即通过设置一个额外的梯度惩罚项,来实现判别器的梯度不超过K,使得权重分布均匀,充分地发挥了神经网络的学习能力,在一定程度上解决了梯度消失、训练困难、模型崩溃等问题。
Wasserstein距离又叫Earth-Mover(EM)距离,与KL散度、JS散度相比,其优越性在于,即便两个分布没有重叠,EM距离仍然能够反映它们的远近。此外,KL散度和JS散度是突变的,要么最大要么最小,而EM距离却是平滑的。Lipschitz连续使得函数在任意点的导数都不超过常数K,表明函数f(x)是平滑的,不会出现梯度的突变,能够使损失函数收敛。
本发明采用的WGAN-GP的目标函数如式1所示:
Figure BDA0003232972250000021
其中,x~Pr为真实分布,
Figure BDA0003232972250000022
为生成分布,
Figure BDA0003232972250000023
为真实分布和生成分布中采样的样本。
本发明采用的对抗生成网络包括两部分结构,即生成器和判别器。两者之间相互独立,组成博弈双方,经过不断迭代更新,学习路面纹理特征。在训练过程中,生成器的任务是生成尽可能真实的路面纹理图片去欺骗判别器,而判别器的目标是将真实纹理图片与生成的纹理图片分别开来。
本发明采用的技术方案为一种耦合传统方法和WGAN-GP的道路纹理图片增强方法,包括原始图像预处理、数据集制作、传统方法数据增强和WGAN-GP网络数据增强四大部分,如图1所示,具体步骤如下:
步骤一:原始图像预处理;
首先,将采集到的三维纹理数据通过execl文件转化为二维图像,大小为181×181。
其次,进行人工标定。在本发明中,网络预测精度与路面纹理数据集的规模和分类特征的一致性有很大关系。所以本发明对每张路面纹理图片进行分类和筛选,共得到密级配沥青混凝土(DAC)、沥青玛蹄脂碎石(SMA)、橡胶沥青混凝土(RAC)、超薄磨耗层(UTWC)、微表处(MS)以及开级配抗滑磨耗层(OGFC)六种分类的典型图片。
最后,进行灰度转化与归一化处理,并调整原始路面纹理照片的大小。
步骤二:数据集制作;
把路面纹理集按照训练集和测试集比例约为8:2进行划分。
步骤三:传统方法进行数据增强;
第一步,将每张路面纹理图片旋转不同的角度,然后逐个镜像,将训练样本放大8倍。
步骤四:WGAN-GP网络数据增强;
WGAN-GP网络由生成器和判别器两部分构成。生成器随机获取一个100的维向量作为输入,经过四个反卷积层,生成新的虚假路面纹理图片,随后输入判别器。判别器采用四个卷积层并将学习到的特征表征在大小为1×1的特征图中,最后输出该图片预测为真/假图片的概率及预测结果。
本发明利用商用手持式三维激光扫描仪获取的路面宏观纹理图片,通过传统数据增强和深度学习方法,生成新的高质量纹理图片,使得纹理特征更加明显,在扩充数量的同时均衡各类样本,提高模型识别的准确性和稳定性,并减少过度拟合。此外,利用本发明可以有效减少人工成本和时间损耗,对道路状况分析及自动驾驶有着至关重要的作用。
附图说明
图1为方法实施步骤图
图2为路面宏观纹理图像集中6种分类图片:(a)DAC,(b)SMA,(c)RAC,(d)UTWC,(e)MS,(f)OGFC
图3为传统方法进行数据增强结果
图4为WGAN-GP网络结构示意图
图5为WGAN-GP方法进行数据增强结果
具体实施方式
本发明所采用的原始路面宏观纹理图像数据为商用手持式三维激光扫描仪获取的。具体实施步骤如下:
(1)数据转化
将采集到的三维纹理数据通过execl文件转化为二维图像,大小为181×181。
(2)人工分类
人工标记的目的在于对路面纹理数据集进行分类,以进行监督学习。在监督学习中,数据集的规模和分类特征的一致性会对网络预测精度造成很大影响。所以在此步骤中,本发明使用人工标定法进行分类和筛选,共得到密级配沥青混凝土(DAC)、沥青玛蹄脂碎石(SMA)、橡胶沥青混凝土(RAC)、超薄磨耗层(UTWC)、微表处(MS)以及开级配抗滑磨耗层(OGFC)六种分类的典型图片,如图2。
(3)图像处理
首先进行灰度转化与归一化处理,将路面纹理图片转化成灰度图,并将数据映射到0~1之间。为防止计算机出现显存不足导致难以训练的问题,将每个样本缩放至统一大小,即80×80。
(4)数据集制作
针对原始的小样本量路面纹理数据集,为满足监督学习的需要,按8:2划分成训练集和测试集。
(5)传统方法进行数据增强
本发明采用两种传统手段进行路面纹理图片数据增强:旋转和镜像。首先将原始纹理训练集中的样本分别旋转90°、180°和270°,然后逐个镜像,将训练样本放大8倍。如图3所示。
(6)WGAN-GP网络数据增强
本发明采用的WGAN-GP网络模型由生成器和判别器两部分构成,使用反卷积层来替换池化层,在生成器和判别器中使用批标准化的操作来稳定学习训练过程。同时,去除深度架构中的全连接层。
本发明采用的WGAN-GP网络模型框架示意图如图4。生成器的输入为一个1×100的随机向量,且由以下4层组成:1)层1:首先进行卷积核尺寸为4×4、个数为512的卷积操作,以ReLU作为激活函数;2)层2:进行卷积核尺寸为8×8、个数为256、步长为3的卷积操作,以ReLU作为激活函数;3)层3:进行卷积核尺寸为8×8、个数为128、步长为2的卷积操作,同样以ReLU作为激活函数;4)层4:进行卷积核尺寸为8×8、个数为1、步长为2的卷积操作,不使用激活函数。此时,生成器的输出为生成新的路面纹理图片,大小为80×80。
判别器的输入为一个大小80×80的路面纹理图片,同样由4层网络组成:1)层1:首先进行卷积核尺寸为8×8、个数为128、步长为2的卷积操作,以LeakyReLU作为激活函数;2)层2:进行卷积核尺寸为8×8、个数为256、步长为2的卷积操作,以LeakyReLU作为激活函数;3)层3:进行卷积核尺寸为8×8、个数为512、步长为3的卷积操作,同样以LeakyReLU作为激活函数;4)层4:进行卷积核尺寸为4×4、个数为1的卷积操作,不使用激活函数。此时,判别器已学习到图片特征,表示在尺寸为1×1的特征图中。最后,输出该路面纹理图片预测为真/假图片的概率及预测结果。
本发明使用的ReLU以及LeakyReLU函数表示如下:
Figure BDA0003232972250000051
Figure BDA0003232972250000052
对于学习方法,使用Adam方法对模型参数进行优化,Adam方法是一种简单、计算效率高的随机目标函数梯度优化算法。该方法在处理稀疏梯度和处理非平稳目标方面具有两个优势。由于Adam可以很好地适用于广泛的非凸优化问题,所以在本发明中使用了它。
Adam保持过去的平均平方梯度vt在指数衰减的趋势。它也有一个指数衰减趋势的过去梯度mt的平均值,并在误差面有一个平坦的最小值的偏好。然后,计算过去的衰减平均值和过去的平方梯度mt和vt相应地如下:
mt=β1mt-1+(1-β1)gt (4)
Figure BDA0003232972250000061
其中mt和vt分别是梯度的第一阶矩(均值)和第二阶矩(无中心方差)的估计值。该算法保持图像矩阵随机梯度下降保持单一的学习率,更新对抗生成网络中的所有权重。
由于mt和vt初始化为0的向量,它们偏向于0,这些偏向可以计算为:
Figure BDA0003232972250000062
Figure BDA0003232972250000063
然后使用这些t并更新参数为:
Figure BDA0003232972250000064
在学习过程中,利用Adam优化算法进行优化参数,β1为0.5,β2的为0.999,学习率设置为0.0004,LeakyReLU的斜率为0.2。共学习250,000代,并在学习过程中观测损失及模型变化,每隔100代生成一次图片。
经观测,随着迭代次数的增加,路面纹理特征逐渐清晰,训练250,000代后,本发明所使用的WGAN-GP对抗生成网络已经能够生成较为逼真的图片,如图5所示。重新生成的纹理图片特征相对更加突出,颗粒间的明暗对比更加明显,有利于模型的特征学习和提取,提高鲁棒性。
本发明通过训练好的模型生成大量路面纹理图片,经人工筛选后均衡各类样本并扩充数据集,能够有效提高深度学习模型的分类识别精度和各类召回率,并缓解模型的过拟合现象。本发明所使用的数据增强方法在基于深度学习的分类模型上效果理想,其分类结果高于人工识别精度,具有一定的优越性。

Claims (3)

1.一种耦合传统方法和WGAN-GP的道路纹理图片增强方法,其特征在于利用商用手持式三维激光扫描仪获取的路面宏观纹理图片,通过传统数据增强和深度学习方法,生成新的高质量纹理图片;具体步骤如下:
步骤一:原始图像预处理;
首先,将手持式三维激光扫描仪采集到的三维宏观纹理数据通过execl文件转化为二维图像;其次,进行人工筛选与分类;最后,将路面纹理图片进行灰度转化、归一化,并统一大小为80×80;
步骤二:数据集制作;
把路面纹理集按照训练集和测试集比例约为8:2进行划分;
步骤三:传统方法数据增强;
将预处理后的每张路面纹理图片分别旋转90°,180°和270°,然后逐个镜像,将训练样本放大8倍;
步骤四:WGAN-GP网络数据增强;
WGAN-GP网络由生成器和判别器两部分构成;生成器的输入为一个1×100的随机向量,且由以下4层组成:1)层1:首先进行卷积核尺寸为4×4、个数为512的卷积操作,以ReLU作为激活函数;2)层2:进行卷积核尺寸为8×8、个数为256、步长为3的卷积操作,以ReLU作为激活函数;3)层3:进行卷积核尺寸为8×8、个数为128、步长为2的卷积操作,同样以ReLU作为激活函数;4)层4:进行卷积核尺寸为8×8、个数为1、步长为2的卷积操作,不使用激活函数;此时,生成器的输出为生成新的路面纹理图片,大小为80×80;判别器的输入为一个大小80×80的路面纹理图片,同样由4层网络组成:1)层1:首先进行卷积核尺寸为8×8、个数为128、步长为2的卷积操作,以LeakyReLU作为激活函数;2)层2:进行卷积核尺寸为8×8、个数为256、步长为2的卷积操作,以LeakyReLU作为激活函数;3)层3:进行卷积核尺寸为8×8、个数为512、步长为3的卷积操作,同样以LeakyReLU作为激活函数;4)层4:进行卷积核尺寸为4×4、个数为1的卷积操作,不使用激活函数;此时,判别器已学习到图片特征,表示在尺寸为1×1的特征图中;最后,输出该路面纹理图片预测为真/假图片的概率及预测结果。
2.根据权利要求1所述的一种耦合传统方法和WGAN-GP的道路纹理图片增强方法,其特征在于,在对原始道路纹理图片进行数据增强的基础上,运用WGAN-GP网络扩充,使得纹理特征更加明显。
3.根据权利要求1所述的一种耦合传统方法和WGAN-GP的道路纹理图片增强方法,其特征在于,采用的WGAN-GP对抗生成网络模型在原始GAN的基础上进行以下改进:
(1)引入Wasserstein距离以代替JS散度,即便两个分布没有重叠,仍然能够反映它们的远近;
(2)用Lipschitz连续条件限制函数的最大局部变动幅度,使得函数在任意点的导数都不超过常数K,不会出现梯度的突变,能够使损失函数收敛;
(3)提出了梯度惩罚gradient penalty,通过设置一个额外的梯度惩罚项,来实现判别器的梯度不超过K,使得权重分布均匀,充分地发挥了神经网络的学习能力。
CN202110992745.0A 2021-08-27 一种耦合传统方法和wgan-gp的道路纹理图片增强方法 Active CN113850855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110992745.0A CN113850855B (zh) 2021-08-27 一种耦合传统方法和wgan-gp的道路纹理图片增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110992745.0A CN113850855B (zh) 2021-08-27 一种耦合传统方法和wgan-gp的道路纹理图片增强方法

Publications (2)

Publication Number Publication Date
CN113850855A true CN113850855A (zh) 2021-12-28
CN113850855B CN113850855B (zh) 2024-05-14

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051050A1 (en) * 2019-09-12 2021-03-18 Schlumberger Technology Corporation Generating geological facies models with fidelity to the diversity and statistics of training images using improved generative adversarial networks
CN112767344A (zh) * 2021-01-16 2021-05-07 北京工业大学 一种基于车载摄像的耦合传统和机器学习的病害增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051050A1 (en) * 2019-09-12 2021-03-18 Schlumberger Technology Corporation Generating geological facies models with fidelity to the diversity and statistics of training images using improved generative adversarial networks
CN112767344A (zh) * 2021-01-16 2021-05-07 北京工业大学 一种基于车载摄像的耦合传统和机器学习的病害增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程校昭;陈志军;吴超仲;马枫;: "基于改进深度卷积生成对抗网络的路面指示标志识别方法", 交通信息与安全, no. 02, 28 June 2020 (2020-06-28) *

Similar Documents

Publication Publication Date Title
CN108491970B (zh) 一种基于rbf神经网络的大气污染物浓度预测方法
CN108229550B (zh) 一种基于多粒度级联森林网络的云图分类方法
CN108764298B (zh) 基于单分类器的电力图像环境影响识别方法
Li et al. Automated asphalt pavement damage rate detection based on optimized GA-CNN
CN111366931B (zh) 一种基于云雷达的云降水精细化反演方法
Li et al. Pavement crack detection algorithm based on densely connected and deeply supervised network
CN111723780B (zh) 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN109446894B (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
CN110427993B (zh) 基于气象参数的高速列车导航盲区定位方法
Zhu et al. Weakly supervised network based intelligent identification of cracks in asphalt concrete bridge deck
CN111191628B (zh) 基于决策树与特征优化的遥感影像震害建筑物识别方法
CN105913450A (zh) 基于神经网络图像处理的轮胎橡胶炭黑分散度评价方法及系统
Tan et al. Vehicle detection in high resolution satellite remote sensing images based on deep learning
CN112132371A (zh) 一种耦合熵权-模糊聚类算法的城市洪涝风险评估方法
CN111382676A (zh) 一种基于注意力机制的沙粒图像分类方法
CN111860596A (zh) 基于深度学习的无监督路面裂缝分类方法及模型建立方法
CN115619963B (zh) 一种基于内容感知的城市建筑物实体建模方法
CN114549834A (zh) 一种半监督混合训练语义分割方法及系统
CN110260914B (zh) 一种基于测点时空特征的工程安全监测系统区域划分方法
Sarkar et al. Revolutionizing concrete analysis: An in-depth survey of AI-powered insights with image-centric approaches on comprehensive quality control, advanced crack detection and concrete property exploration
CN113850855A (zh) 一种耦合传统方法和wgan-gp的道路纹理图片增强方法
Yang et al. A coarse aggregate gradation detection method based on 3D point cloud
CN115497006B (zh) 基于动态混合策略的城区遥感图像变化深度监测方法及系统
CN108922191B (zh) 一种基于软集合的行程时间的计算方法
CN113850855B (zh) 一种耦合传统方法和wgan-gp的道路纹理图片增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Chen Ning

Inventor after: Xu Zijin

Inventor after: Liu Zhuo

Inventor after: Wang Yang

Inventor after: Hou Yue

Inventor before: Xu Zijin

Inventor before: Chen Ning

Inventor before: Liu Zhuo

Inventor before: Wang Yang

Inventor before: Hou Yue

GR01 Patent grant