CN112862706A - 路面裂缝图像预处理方法、装置、电子设备及存储介质 - Google Patents

路面裂缝图像预处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112862706A
CN112862706A CN202110106360.XA CN202110106360A CN112862706A CN 112862706 A CN112862706 A CN 112862706A CN 202110106360 A CN202110106360 A CN 202110106360A CN 112862706 A CN112862706 A CN 112862706A
Authority
CN
China
Prior art keywords
image set
convolution
generator
countermeasure network
interference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110106360.XA
Other languages
English (en)
Inventor
徐国胜
徐国爱
陈煜东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110106360.XA priority Critical patent/CN112862706A/zh
Publication of CN112862706A publication Critical patent/CN112862706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请中一个或多个实施例提供一种路面裂缝图像预处理方法、装置、电子设备及存储介质,包括:获取路面裂缝图像集;路面裂缝图像集,包括:干扰图像集和去干扰图像集;构建卷积生成对抗网络;卷积生成对抗网络,包括:生成器和判别器;将干扰图像集输入生成器以生成混淆图像集;判断判别器是否能够区分去干扰图像集和混淆图像集;若否,则完成对路面裂缝图像集的预处理。本申请提供的方法利用卷积生成对抗网络对干扰图像集进行预处理,使得将干扰图像集转化为与去干扰图像集同样具有高分辨率的图像集,在保留高分辨率的裂缝特征的同时,淡化了背景噪声的影响,达到既提升裂缝模型的识别准确率又减少模型误识别的效果。

Description

路面裂缝图像预处理方法、装置、电子设备及存储介质
技术领域
本申请中一个或多个实施例涉及计算机视觉技术领域,尤其涉及一种路面裂缝图像预处理方法、装置、电子设备及存储介质。
背景技术
现有技术中,由于路面背景存在复杂性,裂缝种类存在多样性,特殊裂缝的特征差异大,数据难以收集,而需要对路面图像进行预处理操作,而现有技术中通常采用图像增强和图像去噪的方式对路面图像进行预处理操作。
但是路面状况复杂多变,信息采集过程干扰因素众多,现有技术会破坏图像细节使图像模糊或容易受到背景噪声的影响,对于特殊裂缝图像的裂缝识别由于现有技术的制约,而造成识别准确性、实时性和一致性较低的问题。
发明内容
有鉴于此,本申请中一个或多个实施例的目的在于提出一种路面裂缝图像预处理方法、装置、电子设备及存储介质,以解决现有技术存在的上述至少一个问题。
基于上述目的,本申请中一个或多个实施例提供了一种路面裂缝图像预处理方法,包括:
获取路面裂缝图像集;所述路面裂缝图像集,包括:干扰图像集和去干扰图像集;
构建卷积生成对抗网络;所述卷积生成对抗网络,包括:生成器和判别器;
将所述干扰图像集输入所述生成器以生成混淆图像集;
判断所述判别器是否能够区分所述去干扰图像集和所述混淆图像集;
若否,则完成对所述路面裂缝图像集的预处理。
可选的,所述卷积生成对抗网络,包括:卷积层;在所述卷积生成对抗网络中,利用所述卷积层替换全连接层。
可选的,所述将所述干扰图像集输入所述生成器以生成混淆图像集,之前还包括:
基于带步长的转置卷积对所述路面裂缝图像集执行上采样。
可选的,所述生成器,包括:第一模型参数;所述判别器,包括:第二模型参数;
所述构建卷积生成对抗网络,之后还包括:
固定所述第一模型参数,并将所述去干扰图像集和所述干扰图像集分别关联真实标记和零标记以更新所述第二模型参数;
固定所述第二模型参数,并将所述干扰图像集关联所述真实标记以更新所述第一模型参数;
根据更新后的所述第一模型参数和所述第二模型参数优化所述卷积生成对抗网络。
可选的,所述卷积生成对抗网络,还包括:目标函数
所述构建卷积生成对抗网络,之后还包括:
根据所述目标函数优化所述卷积生成对抗网络;所述目标函数表示为
Figure BDA0002917775170000021
其中,G表示所述生成器,D表示所述判别器,z表示噪声,x表示真实分布的样本,pdata表示所述真实分布,
Figure BDA0002917775170000022
表示均值操作,D()表示所述判别器的损失函数值,G()表示所述生成器的损失函数值。
可选的,所述根据所述目标函数优化所述卷积生成对抗网络,之后还包括:
基于二元交叉熵损失函数、Sigmoid激活函数和Adam优化器优化所述卷积生成对抗网络。
可选的,所述根据所述目标函数优化所述卷积生成对抗网络,具体包括:
根据所述判别器使所述目标函数最大化以确定所述判别器的目标函数;
根据所述生成器使所述目标函数最小化以确定所述生成器的目标函数。
基于同一发明构思,本申请中一个或多个实施例还提出了一种路面裂缝图像预处理装置,包括:
获取模块,被配置为获取路面裂缝图像集;所述路面裂缝图像集,包括:干扰图像集和去干扰图像集;
构建模块,被配置为构建卷积生成对抗网络;所述卷积生成对抗网络,包括:生成器和判别器;
生成模块,被配置为将所述干扰图像集输入所述生成器以生成混淆图像集;
判断模块,被配置为判断所述判别器是否能够区分所述去干扰图像集和所述混淆图像集;
处理模块,被配置为若否,则完成对所述路面裂缝图像集的预处理。
基于同一发明构思,本申请中一个或多个实施例还提出了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任意一项所述的路面裂缝图像预处理方法。
基于同一发明构思,本申请中一个或多个实施例还提出了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行上述任意一项所述的路面裂缝图像预处理方法。
从上面所述可以看出,本申请中一个或多个实施例提供的一种路面裂缝图像预处理方法,包括:获取路面裂缝图像集;所述路面裂缝图像集,包括:干扰图像集和去干扰图像集;构建卷积生成对抗网络;所述卷积生成对抗网络,包括:生成器和判别器;将所述干扰图像集输入所述生成器以生成混淆图像集;判断所述判别器是否能够区分所述去干扰图像集和所述混淆图像集;若否,则完成对所述路面裂缝图像集的预处理。本申请提供的方法利用卷积生成对抗网络对干扰图像集进行预处理,使得将干扰图像集转化为与去干扰图像集同样具有高分辨率的图像集,在保留高分辨率的裂缝特征的同时,淡化了背景噪声的影响,达到既提升裂缝模型的识别准确率又减少模型误识别的效果。通过本申请提出的预处理方法改善路面裂缝识别模型的识别准确性,减少路面上特殊裂缝对识别结果的影响,提高了识别准确性、实时性和一致性。
附图说明
为了更清楚地说明本申请中一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中一个或多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请中一个或多个实施例中一种路面裂缝图像预处理方法的流程图;
图2为本申请中一个或多个实施例中生成器网络结构示意图;
图3为本申请中一个或多个实施例中判别器网络结构示意图;
图4为本申请中一个或多个实施例中卷积生成对抗网络的训练流程示意图;
图5为本申请中一个或多个实施例中一实施例的流程示意图;
图6为本申请中一个或多个实施例中又一实施例的流程示意图;
图7为本申请中一个或多个实施例中又一实施例的流程示意图;
图8为本申请中一个或多个实施例中一种路面裂缝图像预处理装置的结构示意图;
图9为本申请中一个或多个实施例中一种电子设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本申请中一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本申请中一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
如背景技术部分所述,现有技术中,由于路面背景存在复杂性(阴影、污渍、标线、修补等干扰),裂缝种类存在多样性(浅色裂缝、模糊裂缝、潮湿裂缝、龟裂等),特殊裂缝的特征差异大,数据难以收集,由传统卷积神经网络训练得到的裂缝识别模型,往往对浅色裂缝和模糊裂缝识别效果较差,且容易对污渍、标线等干扰产生误识别,进而影响模型的整体识别准确性。为了减少或消除这些干扰,需要对图像进行相应的预处理。自动化的路面裂缝预处理方法主要由传统的数字图像处理技术衍生而来,根据侧重点的不同,可大致分为图像去噪和图像增强两类。
申请人通过研究发现现有技术中,路面状况复杂多变,信息采集过程干扰因素众多(如阴影、光照等),图像增强与图像去噪的方法很难消除这些影响。例如均值滤波方法在去噪的同时会破坏图像细节,使图像变得模糊;中值滤波方法虽然在灰度变化较小的情况下平滑效果好,但是不能有效滤除叠加在路面图像中的多种噪声;低通滤波方法同样容易产生模糊效应;高通滤波通过保留图像灰度变化剧烈的区域来增强裂缝对比度,但容易受到路面背景噪声的影响。诸多识别算法各有优劣,但均无法很好地改善裂缝断续情况。
目前裂缝识别领域的技术大多使用分辨率较小、背景干扰较少、裂缝特征较为明显的图片数据集来做相关研究,数据量存在不足的情况,训练出的模型难以准确拟合实际路面复杂背景下的裂缝特征,往往会造成大量的误识别和漏识别,特别是对以浅色裂缝和模糊裂缝为代表的特殊裂缝类型识别效果较差。现有路面裂缝预处理和识别算法存在着精度和速度上的矛盾,难以达到工程化应用标准。阈值分割速度快,但受光照影响严重;空间域边缘检测速度较快,而识别结果实际上是边界像素,并不是狭长带状的裂缝本身;基于种子生长的识别算多用于自动实时处理,但其以种子而不是像素为基本单元识别裂缝,降低了精度;基于多尺度小波变换、全局动态优化和有监督学习的识别算法通常能获得较好的识别结果,但计算成本较高,多用于离线处理。总之,现有裂缝图像预处理和识别算法在准确性、实时性和一致性等方面未能达到满意的结果。
正因如此,本申请提出了一种路面裂缝图像预处理方法,通过获取路面裂缝图像集,确定干扰图像集和去干扰图像集;构建包括生成器和判别器的卷积生成对抗网络,利用生成器根据干扰图像集生成混淆图像集后,利用判别器判断是否能够区分去干扰图像集和混淆图像集,若否,则证明通过生成器已经将干扰图像集中的存在干扰的特殊裂缝图像转换为高分别率的图像集,与去干扰图像集中的图像高度一致。从而在减少计算时间的同时保持裂缝真实的细节特征,综合考虑边界和区域特征消除纹理和噪声的干扰,基于局部和全局信息得到优化的预处理方法。
以下,通过具体的实施例进一步详细说明本公开的技术方案。
参考图1,因此本申请中一个或多个实施例提供的一种路面裂缝图像预处理方法,具体包括以下步骤:
S101:获取路面裂缝图像集;所述路面裂缝图像集,包括:干扰图像集和去干扰图像集。
本实施例中,可以获取路面裂缝图像集,具体可以包括:干扰图像集和去干扰图像集。具体地,干扰图像集可以包括:浅色裂缝样本和模糊裂缝样本;去干扰图像集可以包括:清晰裂缝样本。其中,浅色裂缝样本、模糊裂缝样本和清晰裂缝样本的数量相同。例如,浅色裂缝样本可以根据RGB值进行划分。
S102:构建卷积生成对抗网络;所述卷积生成对抗网络,包括:生成器和判别器。
本实施例中,构建卷积生成对抗网络,其中,卷积生成对抗网络包括:生成器和判别器。设计卷积生成对抗网络的生成器和判别器网络模型,通过对抗学习的方法训练模型参数。结合卷积神经网络在裂缝识别问题上取得的效果,初步构建卷积生成对抗网络(也可称为DCGAN)。
在一些可选的实施方式中,卷积生成对抗网络,包括:卷积层。相比于原始的对抗生成网络(也可称为GAN),卷积生成对抗网络使用卷积层代替了对抗生成网络中的全连接层。参考图2和图3中生成器网络结构和判别器网络结构,判别器网络结构与生成器网络结构对称,整个网络中不存在pooling层和上采样层。
需要说明的是,具体地,是采用了带步长的转置卷积(即反卷积)替代了上采样,基于带步长的转置卷积对路面裂缝图像集执行上采样,以增加训练的稳定性。
在一些可选的实施方式中,卷积生成对抗网络,还包括:目标函数;在构建卷积生成对抗网络之后,可以根据目标函数优化卷积生成对抗网络,其中目标函数可以表示为
Figure BDA0002917775170000071
其中,G表示生成器,D表示判别器,z表示噪声,x表示真实分布的样本,pdata表示真实分布,
Figure BDA0002917775170000072
表示均值操作,D()表示判别器的损失函数值,G()表示生成器的损失函数值。
需要说明的是,根据目标函数优化卷积生成对抗网络具体包括:根据判别器使目标函数最大化以确定判别器的目标函数;根据生成器使目标函数最小化以确定生成器的目标函数。具体地,进行卷积生成对抗网络训练时,判别器的目标函数使最大化上述表达式。在对判别器D的参数进行更新时,对于来自真实分布pdata的样本x而言,希望D(x)的输出越接近于1越好,即logD(x)越大越好。对于通过噪声z生成的数据G(z)而言,希望D(G(z))尽量接近于0(即判别器D能够区分出真假数据),因此log(1-D(G(z)))也是越大越好,所以需要maxD,即最大化目标函数;而在对生成器G的参数进行更新时,希望G(z)尽可能和真实数据一样,即pg=pdata。因此希望D(G(z))尽量接近于1,即log(1-D(G(z)))越小越好,所以需要minG,即最小化目标函数。需要说明的是,logD(x)是与G(z)无关的项,在求导时直接为0。
在一些可选的实施方式中,生成器,包括:第一模型参数;判别器,包括:第二模型参数;构建卷积生成对抗网络,具体还包括:固定第一模型参数,并将去干扰图像集和干扰图像集分别关联真实标记和零标记以更新第二模型参数;固定第二模型参数,并将干扰图像集关联真实标记以更新第一模型参数;根据更新后的第一模型参数和第二模型参数构建卷积生成对抗网络。
S103:将所述干扰图像集输入所述生成器以生成混淆图像集。
本实施例中,将干扰图像集输入生成器从而利用生成器生成混淆图像集。具体地,将浅色裂缝图像和模糊裂缝图像输入生成器,利用生成器生成混淆图像集,即“假样本”。具体地,参考图4,首先固定生成器的第一模型参数,将清晰裂缝图像的“真”样本与特殊裂缝图像经过生成器生成的“假”样本,分别输入对抗网络的判别器进行训练,清晰裂缝样本对应真实裂缝标记,而特殊裂缝样本对应全“0”标记,更新判别器的网络参数,使判别器学习区分“真”、“假”样本;之后,固定判别器参数,对特殊裂缝图像经过生成器生成的“假”样本,对应真实裂缝标记,训练更新生成器的网络参数,使生成器学习生成以“假”乱“真”的样本。
需要说明的是,训练过程中,根据目标函数优化卷积生成对抗网络之后,可以基于二元交叉熵损失函数、Sigmoid激活函数和Adam优化器优化所述卷积生成对抗网络。损失函数表示为:
l(x,y)=L={l1,...,lN},ln=-wn[yn·logxn+(1-yn)·log(1-xn)]
其中N表示批尺寸,w表示Sigmoid激活函数,y表示预测值。优化器函数选择Adam优化器,即一种对随机目标函数执行一阶梯度优化的算法,该方法通过第一、第二梯度的估计,计算不同参数的自适应学习速率。
S104:判断所述判别器是否能够区分所述去干扰图像集和所述混淆图像集。
S105:若否,则完成对所述路面裂缝图像集的预处理。
本实施例中,在利用步骤S103得到混淆图像集后,利用判别器判断是否能够区分去干扰图像集和混淆图像集。为了确定生成器能够将干扰图像集中的特殊裂缝图像转化为与去干扰图像集中的清晰裂缝图像的质量相同的图像,需要利用判别器对去干扰图像集和混淆图像集进行区分判断。如果判别器能够区分去干扰图像集和利用生成器生成的混淆图像集,证明卷积生成对抗网络还无法将干扰图像集预处理为高分辨率的图像集,还需要继续对构建的卷积生成对抗网络进行优化和训练,直至判别器无法区分去干扰图像集和利用生成器生成的混淆图像集为止。
需要说明的是,通过不断地对生成器、判别器网络结构和参数进行调整,最终实现将浅色裂缝经过生成器后转化为深色裂缝,将模糊裂缝经过生成器后转化为清晰裂缝,而判别器无法区分输入图像是清晰裂缝样本还是经过生成器处理后的特殊裂缝样本。同时,由于生成器在训练过程中,重点学习裂缝部分的特征,因此在生成的图像中,可以起到淡化背景噪声(包括阴影、光照等)的效果,很大程度上减少后续裂缝模型误识别、漏识别情况,进而提升模型的总体识别效果。
需要说明的是,本申请提出的路面裂缝图像预处理算法不针对单一噪声进行处理,而是基于全局信息进行预处理优化,在对抗学习过程中只关注有裂缝部分特征和无裂缝部分特征,因此能够做到对各种叠加背景噪声进行统一处理的效果。而由本申请提出的预处理方法处理后的裂缝图像,保留了高分辨率的裂缝特征,虽然会丢失部分路面纹理特征,但是丢失的特征均为非裂缝部分的路面背景,在预处理过程中间接起到增强裂缝特征对比度的效果。并且,本申请提供的预处理方法可以通过GPU进行加速计算,同时支持多台多GPU服务器的分布式并行训练和预测模式,大大提升了图像预处理和裂缝模型训练识别效率。
此外,对于训练得到的生成器模型,通过设计预处理后训练识别、预处理后多通道训练、预处理后直接识别等多种方案,使经过生成器预处理的图像数据,从多个维度参与到由传统卷积神经网络构建的裂缝模型的训练或识别过程中,起到辅助模型训练或识别的效果。
参考图5,将本申请提出的预处理方法分别加入到裂缝识别网络的训练、测试过程中,具体处理流程如下:按照本申请提出的生成器和判别器网络结构,构建卷积生成对抗网络用于裂缝图像预处理。同时,构建传统的卷积神经网络(如Unet、Resnet、Densenet等)作为裂缝识别网络,目的是对比加入本申请的预处理方法后能否提升裂缝识别准确率。挑选一定浅色裂缝样本和模糊裂缝样本作为“假”样本数据集,挑选数量相同的清晰裂缝样本作为“真”样本数据集,输入到卷积生成对抗网络中进行对抗学习,训练得到生成器模型用于裂缝图像预处理。挑选部分工程化应用中真实路面图像数据集,划分训练集、验证集和测试集,用于训练和测试裂缝识别网络。在训练裂缝识别网络之前,将训练集输入数据通过卷积生成对抗网络的生成器进行预处理操作,将训练集中的模糊裂缝转化为清晰裂缝,浅色裂缝转化为深色裂缝,同时去除背景噪声,再用于训练裂缝识别网络。挑选训练过程中指标最高的裂缝识别模型,用于测试集预测分析。将测试集数据通过卷积生成对抗网络生成器预处理后,再用挑选出的裂缝识别模型对其进行预测。对比不加入预处理训练得到的最优裂缝识别模型,通过分析结果可以看到,将卷积生成对抗网络分别加入到裂缝识别网络的训练和测试之前,对训练集数据和测试集数据分别进行预处理,能够提升裂缝识别网络的训练和识别效果。
参考图6,训练集数据通过本申请提出的预处理方法处理后,与无预处理的训练集数据在通道维度进行concat叠加操作,采用双通道数据模式训练裂缝识别网络,起到辅助裂缝识别模型训练的效果,具体处理流程如下:按照本申请提出的生成器和判别器网络结构,构建卷积生成对抗网络用于裂缝图像预处理。同时,构建传统的卷积神经网络(如Unet、Resnet、Densenet等)作为裂缝识别网络,目的是对比加入本申请提出的预处理方法后能否提升裂缝识别准确率。挑选一定浅色裂缝样本和模糊裂缝样本作为“假”样本数据集,挑选数量相同的清晰裂缝样本作为“真”样本数据集,输入到卷积生成对抗网络中进行对抗学习,训练得到生成器模型用于裂缝图像预处理。挑选部分工程化应用中真实路面图像数据集,划分训练集、验证集和测试集,用于训练和测试裂缝识别网络。在训练裂缝识别网络之前,将训练集输入数据通过卷积生成对抗网络的生成器进行预处理操作,将训练集中的模糊裂缝转化为清晰裂缝,浅色裂缝转化为深色裂缝,同时去除背景噪声,得到经过预处理的训练集数据。将经过预处理的训练集数据与原始训练集数据在通道维度上进行concat叠加操作,得到双通道的训练数据,其中经过预处理的数据通道起到辅助原始训练集数据训练的效果。挑选训练过程中指标最高的裂缝识别模型,用于测试集预测分析。对比不加入预处理训练得到的最优裂缝识别模型,通过分析结果可以看到,加入本申请的预处理方法后的数据通道进行双通道辅助训练,能够提升裂缝识别网络的训练和识别效果。
参考图7,用无预处理的训练数据训练裂缝识别网络,挑选最优裂缝模型,对GAN预处理后的测试集数据进行识别,具体处理流程如下:按照本申请提出的生成器和判别器网络结构,构建卷积生成对抗网络用于裂缝图像预处理。同时,构建传统的卷积神经网络(如Unet、Resnet、Densenet等)作为裂缝识别网络,目的是对比加入本申请的预处理方法后能否提升裂缝识别准确率。挑选一定浅色裂缝样本和模糊裂缝样本作为“假”样本数据集,挑选数量相同的清晰裂缝样本作为“真”样本数据集,输入到卷积生成对抗网络中进行对抗学习,训练得到生成器模型用于裂缝图像预处理。挑选部分工程化应用中真实路面图像数据集,划分训练集、验证集和测试集,用于训练和测试裂缝识别网络。用原始不加入预处理操作的训练集数据训练裂缝识别模型,挑选训练过程中指标最高的裂缝识别模型,用于测试集预测分析。只将本申请提出的预处理方法作用于测试集数据,将测试集数据通过卷积生成对抗网络的生成器预处理后,再用挑选出的裂缝识别模型对其进行预测。对比不加入预处理训练得到的最优裂缝识别模型,通过分析结果可以看到,将卷积生成对抗网络加入到传统裂缝模型的识别过程中,对待识别数据进行预处理,能够提升裂缝识别网络的识别效果。
从上面所述可以看出,本申请中一个或多个实施例提供的一种路面裂缝图像预处理方法,包括:获取路面裂缝图像集;所述路面裂缝图像集,包括:干扰图像集和去干扰图像集;构建卷积生成对抗网络;所述卷积生成对抗网络,包括:生成器和判别器;将所述干扰图像集输入所述生成器以生成混淆图像集;判断所述判别器是否能够区分所述去干扰图像集和所述混淆图像集;若否,则完成对所述路面裂缝图像集的预处理。本申请提供的方法利用卷积生成对抗网络对干扰图像集进行预处理,使得将干扰图像集转化为与去干扰图像集同样具有高分辨率的图像集,在保留高分辨率的裂缝特征的同时,淡化了背景噪声的影响,达到既提升裂缝模型的识别准确率又减少模型误识别的效果。通过本申请提出的预处理方法改善路面裂缝识别模型的识别准确性,减少路面上特殊裂缝对识别结果的影响,提高了识别准确性、实时性和一致性。特别地,依靠生成器基于裂缝图像全局信息进行预处理生成图像操作;依靠判别器判定裂缝存在的位置,进而能够保留完整的、连续的裂缝特征,改善传统数字图像处理技术在预处理裂缝特征时连续性较差的问题。并且,实验验证中所采用的数据集为公路养护单位实际工程化过程中采集的真实路面数据,由专业人员进行精标处理,图像分辨率在3000×2000左右,包含了连续、丰富的裂缝特征以及各种各样的背景干扰因素,因此研究出的预处理算法更具有实际意义和工程应用价值。
可以理解,该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。
需要说明的是,本说明书一个或多个实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思,本申请中一个或多个实施例还提出了一种路面裂缝图像预处理装置,参考图8,所述路面裂缝图像预处理装置包括:
获取模块,被配置为获取路面裂缝图像集;所述路面裂缝图像集,包括:干扰图像集和去干扰图像集;
构建模块,被配置为构建卷积生成对抗网络;所述卷积生成对抗网络,包括:生成器和判别器;
生成模块,被配置为将所述干扰图像集输入所述生成器以生成混淆图像集;
判断模块,被配置为判断所述判别器是否能够区分所述去干扰图像集和所述混淆图像集;
处理模块,被配置为若否,则完成对所述路面裂缝图像集的预处理。
在一些可选的实施方式中,所述卷积生成对抗网络,包括:卷积层;在所述卷积生成对抗网络中,利用所述卷积层替换全连接层。
在一些可选的实施方式中,所述将所述干扰图像集输入所述生成器以生成混淆图像集,之前还包括:
基于带步长的转置卷积对所述路面裂缝图像集执行上采样。
在一些可选的实施方式中,所述生成器,包括:第一模型参数;所述判别器,包括:第二模型参数;
所述构建卷积生成对抗网络,之后还包括:
固定所述第一模型参数,并将所述去干扰图像集和所述干扰图像集分别关联真实标记和零标记以更新所述第二模型参数;
固定所述第二模型参数,并将所述干扰图像集关联所述真实标记以更新所述第一模型参数;
根据更新后的所述第一模型参数和所述第二模型参数优化所述卷积生成对抗网络。
在一些可选的实施方式中,所述卷积生成对抗网络,还包括:目标函数
所述构建卷积生成对抗网络,之后还包括:
根据所述目标函数优化所述卷积生成对抗网络;所述目标函数表示为
Figure BDA0002917775170000131
其中,G表示所述生成器,D表示所述判别器,z表示噪声,x表示真实分布的样本,pdata表示所述真实分布,
Figure BDA0002917775170000132
表示均值操作,D()表示所述判别器的损失函数值,G()表示所述生成器的损失函数值。
在一些可选的实施方式中,所述根据所述目标函数优化所述卷积生成对抗网络,之后还包括:
基于二元交叉熵损失函数、Sigmoid激活函数和Adam优化器优化所述卷积生成对抗网络。
在一些可选的实施方式中,所述根据所述目标函数优化所述卷积生成对抗网络,具体包括:
根据所述判别器使所述目标函数最大化以确定所述判别器的目标函数;
根据所述生成器使所述目标函数最小化以确定所述生成器的目标函数。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本说明书一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上任意一实施例所述的路面裂缝图像预处理方法。
图9示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器910、存储器920、输入/输出接口930、通信接口940和总线950。其中处理器910、存储器920、输入/输出接口930和通信接口940通过总线950实现彼此之间在设备内部的通信连接。
处理器910可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器920可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器920可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器920中,并由处理器910来调用执行。
输入/输出接口930用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触控屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口940用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线950包括一通路,在设备的各个组件(例如处理器910、存储器920、输入/输出接口930和通信接口940)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器910、存储器920、输入/输出接口930、通信接口940以及总线950,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一实施例所述的路面裂缝图像预处理方法。
本实施例的非暂态计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的路面裂缝图像预处理方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本申请中一个或多个实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本说明书一个或多个实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本说明书一个或多个实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本申请中一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本申请中一个或多个实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (10)

1.一种路面裂缝图像预处理方法,其特征在于,包括:
获取路面裂缝图像集;所述路面裂缝图像集,包括:干扰图像集和去干扰图像集;
构建卷积生成对抗网络;所述卷积生成对抗网络,包括:生成器和判别器;
将所述干扰图像集输入所述生成器以生成混淆图像集;
判断所述判别器是否能够区分所述去干扰图像集和所述混淆图像集;
若否,则完成对所述路面裂缝图像集的预处理。
2.根据权利要求1所述的路面裂缝图像预处理方法,其特征在于,所述卷积生成对抗网络,包括:卷积层;在所述卷积生成对抗网络中,利用所述卷积层替换全连接层。
3.根据权利要求1所述的路面裂缝图像预处理方法,其特征在于,所述将所述干扰图像集输入所述生成器以生成混淆图像集,之前还包括:
基于带步长的转置卷积对所述路面裂缝图像集执行上采样。
4.根据权利要求1所述的路面裂缝图像预处理方法,其特征在于,所述生成器,包括:第一模型参数;所述判别器,包括:第二模型参数;
所述构建卷积生成对抗网络,之后还包括:
固定所述第一模型参数,并将所述去干扰图像集和所述干扰图像集分别关联真实标记和零标记以更新所述第二模型参数;
固定所述第二模型参数,并将所述干扰图像集关联所述真实标记以更新所述第一模型参数;
根据更新后的所述第一模型参数和所述第二模型参数优化所述卷积生成对抗网络。
5.根据权利要求1所述的路面裂缝图像预处理方法,其特征在于,所述卷积生成对抗网络,还包括:目标函数
所述构建卷积生成对抗网络,之后还包括:
根据所述目标函数优化所述卷积生成对抗网络;所述目标函数表示为
Figure FDA0002917775160000011
其中,G表示所述生成器,D表示所述判别器,z表示噪声,x表示真实分布的样本,pdata表示所述真实分布,
Figure FDA0002917775160000021
表示均值操作,D()表示所述判别器的损失函数值,G()表示所述生成器的损失函数值。
6.根据权利要求5所述的路面裂缝图像预处理方法,其特征在于,所述根据所述目标函数优化所述卷积生成对抗网络,之后还包括:
基于二元交叉熵损失函数、Sigmoid激活函数和Adam优化器优化所述卷积生成对抗网络。
7.根据权利要求5所述的路面裂缝图像预处理方法,其特征在于,所述根据所述目标函数优化所述卷积生成对抗网络,具体包括:
根据所述判别器使所述目标函数最大化以确定所述判别器的目标函数;
根据所述生成器使所述目标函数最小化以确定所述生成器的目标函数。
8.一种路面裂缝图像预处理装置,其特征在于,包括:
获取模块,被配置为获取路面裂缝图像集;所述路面裂缝图像集,包括:干扰图像集和去干扰图像集;
构建模块,被配置为构建卷积生成对抗网络;所述卷积生成对抗网络,包括:生成器和判别器;
生成模块,被配置为将所述干扰图像集输入所述生成器以生成混淆图像集;
判断模块,被配置为判断所述判别器是否能够区分所述去干扰图像集和所述混淆图像集;
处理模块,被配置为若否,则完成对所述路面裂缝图像集的预处理。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的路面裂缝图像预处理方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1至7任意一项所述的路面裂缝图像预处理方法。
CN202110106360.XA 2021-01-26 2021-01-26 路面裂缝图像预处理方法、装置、电子设备及存储介质 Pending CN112862706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110106360.XA CN112862706A (zh) 2021-01-26 2021-01-26 路面裂缝图像预处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110106360.XA CN112862706A (zh) 2021-01-26 2021-01-26 路面裂缝图像预处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112862706A true CN112862706A (zh) 2021-05-28

Family

ID=76009407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110106360.XA Pending CN112862706A (zh) 2021-01-26 2021-01-26 路面裂缝图像预处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112862706A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408653A (zh) * 2021-07-12 2021-09-17 广东电网有限责任公司 一种自适应减少复杂光影干扰的识别方法及相关装置
CN113592000A (zh) * 2021-08-03 2021-11-02 成都理工大学 基于卷积对抗神经网络的裂缝识别技术
CN115393725A (zh) * 2022-10-26 2022-11-25 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137612A1 (en) * 2015-04-27 2018-05-17 Wuhan Wuda Zoyon Science And Technology Co., Ltd. A stepwise refinement detection method for pavement cracks
CN109801292A (zh) * 2018-12-11 2019-05-24 西南交通大学 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN110245619A (zh) * 2019-06-17 2019-09-17 杭州海康睿和物联网技术有限公司 一种用于自动扶梯上超限物体判断方法及系统
CN111553952A (zh) * 2020-05-08 2020-08-18 中国科学院自动化研究所 基于生存对抗的工业机器人视觉图像识别方法及系统
CN111861906A (zh) * 2020-06-22 2020-10-30 长安大学 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137612A1 (en) * 2015-04-27 2018-05-17 Wuhan Wuda Zoyon Science And Technology Co., Ltd. A stepwise refinement detection method for pavement cracks
CN109801292A (zh) * 2018-12-11 2019-05-24 西南交通大学 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN110245619A (zh) * 2019-06-17 2019-09-17 杭州海康睿和物联网技术有限公司 一种用于自动扶梯上超限物体判断方法及系统
CN111553952A (zh) * 2020-05-08 2020-08-18 中国科学院自动化研究所 基于生存对抗的工业机器人视觉图像识别方法及系统
CN111861906A (zh) * 2020-06-22 2020-10-30 长安大学 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408653A (zh) * 2021-07-12 2021-09-17 广东电网有限责任公司 一种自适应减少复杂光影干扰的识别方法及相关装置
CN113592000A (zh) * 2021-08-03 2021-11-02 成都理工大学 基于卷积对抗神经网络的裂缝识别技术
CN115393725A (zh) * 2022-10-26 2022-11-25 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN115393725B (zh) * 2022-10-26 2023-03-07 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法

Similar Documents

Publication Publication Date Title
CN111028213B (zh) 图像缺陷检测方法、装置、电子设备及存储介质
CN112862706A (zh) 路面裂缝图像预处理方法、装置、电子设备及存储介质
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN107609555B (zh) 车牌检测方法、应用其的车型识别方法及相关装置
CN110781885A (zh) 基于图像处理的文本检测方法、装置、介质及电子设备
CN110458772B (zh) 一种基于图像处理的点云滤波方法、装置和存储介质
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
CN106062824B (zh) 边缘检测装置和边缘检测方法
CN110135438B (zh) 一种基于梯度幅值预运算的改进surf算法
CN110570440A (zh) 一种基于深度学习边缘检测的图像自动分割方法及装置
CN107369176B (zh) 一种柔性ic基板氧化面积检测系统及方法
CN116137036B (zh) 基于机器学习的基因检测数据智能处理系统
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN102713974B (zh) 学习装置、识别装置、学习识别系统和学习识别装置
CN114418937B (zh) 路面裂缝检测方法以及相关设备
CN111242017B (zh) 一种多标线的路面裂缝识别方法、装置、设备及存储介质
CN110503631A (zh) 一种遥感图像变化检测方法
CN113392916B (zh) 基于高光谱图像的麻竹笋营养成分检测方法、系统和存储介质
JP6405603B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN115035164A (zh) 一种运动目标识别方法及装置
CN114782822A (zh) 电力设备的状态检测方法、装置、电子设备及存储介质
Zhu et al. Adaptive dual fractional‐order variational optical flow model for motion estimation
CN112132135A (zh) 一种基于图像处理的电网传输线检测方法、存储介质
CN110288565A (zh) 碳纤维复合芯导线的缺陷识别方法、装置及存储介质
CN116486070A (zh) 路面裂缝检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination