CN112164024B - 一种基于领域自适应的混凝土表面裂缝检测方法及系统 - Google Patents
一种基于领域自适应的混凝土表面裂缝检测方法及系统 Download PDFInfo
- Publication number
- CN112164024B CN112164024B CN202010890526.7A CN202010890526A CN112164024B CN 112164024 B CN112164024 B CN 112164024B CN 202010890526 A CN202010890526 A CN 202010890526A CN 112164024 B CN112164024 B CN 112164024B
- Authority
- CN
- China
- Prior art keywords
- cnn
- crack
- image
- domain
- source domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 39
- 238000005070 sampling Methods 0.000 claims description 17
- 230000006978 adaptation Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 abstract description 4
- 229920002430 Fibre-reinforced plastic Polymers 0.000 abstract 1
- 239000011151 fibre-reinforced plastic Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于领域自适应的混凝土表面裂缝检测方法和系统,用以解决现有技术中裂缝检测不准确、像素精度不高的问题。所述混凝土表面裂缝检测方法,从裂缝图像中采集正负样本,并采用FCSDA增强特征识别;将基于Fisher准则的FCSDA引入源域CNN,并通过源域正负样本训练源域CNN以及Softmax分类器,源域图像和目标域图像分别进入CNN,从源域和目标域中提取的特征通过最小化最大均值差异MMD实现特征对齐;最后构建局部模式预测器LPP,完成裂缝检测。本发明提高了检测的抗干扰能力及对不同混凝土建筑物环境的适应能力,降低了噪声、光照变化、摄像机位置对图像的影响,提高了定位裂缝像素的准确性和精度。
Description
技术领域
本发明属于建筑物检测领域,具体涉及一种基于领域自适应的混凝土表面裂缝检测方法及系统。
背景技术
混凝土表面裂缝是桥梁、水坝等工程建筑中常见的劣化形式,如果没能准确地识别和及时地修复,这种劣化会影响建筑物的安全性,甚至造成不可估量的损失。目前对建筑物混凝土表面裂缝的检测方法包括:检察员人工目测和基于计算机视觉的机器人检测。其中,人工目测主要是由检察员根据建筑物外观直接判断混凝土表面的裂缝情况,这种方法耗费时间和精力,在复杂的交通状况下更是一项危险的任务;基于计算机视觉的机器人检测通过特征的设计原则分为手工方法和学习方法两类。
现有的机器人检测大多数采用手工方法进行特征的提取、并根据特征的分类来确定混凝土表面有无裂缝。例中,利用直方图均衡化和中值滤波对图像进行增强和平滑处理,然后从原始图像中减去平滑后图像得到候选裂缝;或基于直方图阈值的方法,采用移动平均滤波器去除图像中的噪声,然后利用直方图峰谷信息确定阈值对图像进行分割;另外一种两级检测方法,首先通过基于相位对称的滤波器对图像进行增强,然后使用阈值化和形态学运算得到二进制图像。上述非学习方法使用图像处理技术获得候选裂缝,但是图像处理对噪声敏感,并且表面图像总是受到污垢、阴影和其他因素的影响,因此很难从复杂背景中准确地分离出裂缝。
目前,采用机器学习的方法对裂缝进行检测,包括支持向量机(SVM)、神经网络和主成分分析(PCA)等方法。例如,基于区域的活动轮廓模型,结合Canny算子进行混凝土裂缝分割,并使用SVM消除噪声;稀疏自编码器(SAE)和张量表决技术也被引入到了裂缝检测中,利用SAE提取潜在裂缝区域的特征,然后用Softmax分类器进行分类;另外一种基于深度神经网络的裂缝检测方法,将训练图像和测试图像分成224×224的小块,再用GoogleNet把每个小块划分为裂缝和非裂缝两类。上述学习方法虽然一定程度上减轻了噪声的负面影响,但因为是分块的,不能在像素级别上定位裂缝,像素级精度达不到要求,只能得到粗糙的、不精确的检测结果。
现有技术中,对混凝土表面裂缝检测存在对噪声环境适应性不强、像素级精度达不到要求以及存在测试样本和训练样本概率分布不一致的问题,因而很难满足在实际场景中的需求,利用价值不高。
发明内容
本发明实施例的目的是为了提高混凝土表面裂缝检测的准确性和可行性,提出了一种基于领域自适应的混凝土表面裂缝检测方法及系统,通过领域自适应有效地提高测试样本和训练样本的概率分布一致性,根据裂缝的分布模式,进行源域和目标域特征的对齐,增强对噪声环境的适应性,有效地提高混凝土表面裂缝检测的准确性,提高混凝土表面图像中逐像素检测裂缝的鲁棒性,从而提高检测结果的像素级精度。
为了实现上述目的,本发明实施例所采用的技术方案如下:
第一方面,本发明实施例提供了一种基于领域自适应的混凝土表面裂缝检测方法,所述基于领域自适应的混凝土表面裂缝检测方法包括如下步骤:
步骤S1,将现有的裂缝图像作为源域数据集,待检测的裂缝图像作为目标域数据集;从源域图像裂缝处采集正样本,同时将距离裂缝最近的点和背景中的均匀采样点作为负样本;对于只存在有限正样本可利用的图像,采用基于Fisher准则的堆叠式降噪自编码器FCSDA增强特征识别;
步骤S2,将基于Fisher准则的FCSDA引入源域卷积神经网络CNN,并通过所述源域正负样本训练源域CNN以及Softmax分类器,从而对源域图像中的裂缝区域和非裂缝区域进行准确分类;
步骤S3,源域图像和目标域图像分别进入源域CNN和目标域CNN,目标域CNN与源域CNN具有相同的网络结构,并实现参数共享;从源域和目标域中提取的特征通过最小化最大均值差异MMD实现特征对齐,以达到领域自适应的目的;
步骤S4,根据所述领域自适应后的目标域CNN以及步骤S2中训练完成的Softmax分类器,构建局部模式预测器LPP;
步骤S5,利用所述LPP检测目标域数据集中测试图像的混凝土表面裂缝。
上述方案中,所述步骤S2中将基于Fisher准则的FCSDA引入源域CNN,是将Fisher准则项添加到源域CNN的损失函数中。
上述方案中,所述损失函数为:
式(1)中,是特征空间中的Fisher准则,λ是比率。最小化损失函数将缩短类内距离,同时增加类间距离,这使输入的像素块更易于分类。
上述方案中,所述源域和目标域CNN基于LeNet-5,包括卷积层C1、池化层S1,卷积层C2、池化层S2以及卷积层C3(全连接层),实现对图像的特征提取。
上述方案中,所述Softmax分类器由两个单元组成,将提取的每个特征向量分为裂缝或非裂缝类别,且无裂缝特征的区域标定为0,含有裂缝特征的区域标定为1。
上述方案中,所述领域自适应学习,将MMD正则化项施加在CNN的损失上。由于正则化项的存在,使得特征对原始域的表示能力得到了提高,并且易于对齐。
上述方案中,所述步骤S5,将所述待监测图像输入所述LPP中,首先生成置信度图,所述置信度图中包含每个像素的概率,表明其属于裂缝还是非裂缝;其次,对具有固定阈值的置信度图进行后处理,去除孤立的噪声点以获得最终的检测结果。
上述方案中,所述固定阈值为二进制阈值,固定为0.5。
第二方面,本发明实施例还提供了一种基于领域自适应的混凝土表面裂缝检测系统,所述系统包括源域样本采样模块、预训练模块、领域自适应模块、LPP构建模块、检测结果输出模块;其中,
所述源域样本采样模块,用于将现有的裂缝图像作为源域数据集,待检测的裂缝图像作为目标域数据集;并用于从源域图像中采集正样本,同时将距离裂缝最近的点和背景中的均匀采样点作为负样本,并将样本发送给预训练模块;并用于对于只存在有限正样本可利用的图像,采用基于Fisher准则的堆叠式降噪自编码器FCSDA增强特征识别;
所述预训练模块用于将基于Fisher准则的FCSDA引入源域CNN,并通过所述正负样本训练源域CNN以及Softmax分类器,从而对源域图像中的裂缝区域及非裂缝区域进行准确分类;
所述领域自适应模块,通过目标域CNN与源域CNN共享参数,得到领域自适应后的目标域CNN用于对目标域测试图像的特征提取,经过源域和目标域的特征对齐后,利用源域图像预训练的Softmax分类器可以更好地应用在目标域图像上;
所述LPP构建模块,用于根据所述领域自适应的目标域CNN和预训练的Softmax分类器构建局部模式预测器LPP,并通过LPP的输入接口输入目标域待监测图像,通过LPP检测检测待监测图像,并将所检测的包含每一像素是否属于裂缝的概率的置信度图发送给检测结果输出模块;
所述检测结果输出模块用于根据所述置信度图及阈值,对图像中的裂缝进行判定,并输出判定结果。
本发明具有如下有益效果:
本发明实施例基于领域自适应的混凝土表面裂缝检测方法和系统,利用一种基于最近邻的均匀采样方法选取正负样本,通过基于Fisher准则的FCSDA解决正负样本不均衡的问题;利用领域自适应的方法,使目标域图像的特征和源域图像的特征对齐,提高了检测算法的抗干扰能力及对不同混凝土建筑物环境的适应能力;利用领域自适应后的目标域CNN和预训练的Softmax分类器构造LPP,解决了因噪声、光照变化、角度和摄像机位置影响的图像质量下降问题,根据每个像素的模式来预测裂缝的概率,提高了定位裂缝像素的准确性和精度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例基于领域自适应的混凝土表面裂缝检测方法流程图;
图2为图1所示检测方法的预训练阶段示意图;
图3为图1所示检测方法的域适应阶段示意图;
图4为图1所示检测方法的测试阶段示意图;
图5为本发明实施例基于领域自适应的混凝土表面裂缝检测系统结构示意图。
具体实施方式
下面通过参考示范性实施例,对本发明技术问题、技术方案和优点进行详细阐明。以下所述示范性实施例仅用于解释本发明,而不能解释为对本发明的限制。本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非在这里进行定义,否则不会用理想化或过于正式的含义来解释。
为了提高混凝土表面裂缝检测结果的准确性以及检测工作的可行性,本发明实施例提供了一种基于领域自适应的混凝土表面裂缝检测方法及系统,通过从混凝土表面图像中逐像素检测裂缝的鲁棒算法,结合领域自适应方法有效地提高机器学习中训练样本和测试样本概率分布的一致性。基于计算机视觉的机器学习方法检测建筑物混凝土表面裂缝过程中,基于计算机视觉所获得的图像,其相邻像素在空间上是高度相关的,像素是否属于裂缝取决于周围环境。裂缝的像素位于规则的几何线上,而噪声的像素则不位于规则的几何线上,本发明对上述两种像素的不同分布模式进行捕获从而对裂缝进行识别。
本发明实施例首先通过最近邻的均匀采样方法收集含有裂缝的正样本和不含裂缝的负样本;其次训练卷积神经网络(CNN)提取源域图像的特征、训练Softmax分类器,并通过领域自适应的方法使源域和目标域图像的特征对齐;然后利用训练好的CNN和分类器构造深度局部模式预测器(Local Patterm Predictor,LPP),以像素为中心的小块作为上下文,利用LPP算法将每个像素有效地分为裂缝类和非裂缝类;最后,对LPP的输出(即置信度图)进行后处理以获得裂缝区域,从而实现对建筑物混凝土表面的裂缝检测。本发明实施例利用CNN提取像素模式的抽象表示,在进行源域和目标域特征对齐后,利用这些模式作为LPP的输入,将每个像素分为裂缝和非裂缝两类,所含CNN提取的模式对噪声和环境变化具有足够的鲁棒性。
为便于对本发明实施方式的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明技术方案的限定。
第一实施例
本实施例提供了一种基于领域自适应的混凝土表面裂缝检测方法。图1所示为所述基于领域自适应的混凝土表面裂缝检测方法流程示意图。如图1所示,本实施例所述基于领域自适应的混凝土表面裂缝检测方法包括如下步骤:
步骤S1,将现有的裂缝图像作为源域数据集,待检测的裂缝图像作为目标域数据集。从源域裂缝图像中采集正样本,同时将距离裂缝最近的点和背景中的均匀采样点作为负样本;对于只存在有限正样本可利用的图像,采用基于Fisher准则的堆叠式降噪自编码器(FCSDA)增强特征识别。
本步骤中,负样本的采集,采用了最近邻均匀采样的方法,把距离裂缝最近的点以及从背景中均匀采样的点一起作为负样本,保证不会将裂缝附近的点错误地分类为裂缝。
所述堆叠式降噪自编码器基于Fisher准则增强特征识别。通过FCSDA,解决正负样本不均衡的问题。
本步骤中所述裂缝图像,使用从不同桥梁处收集到的图像作为源域数据集。
步骤S2,将基于Fisher准则的FCSDA引入源域卷积神经网络(CNN),并通过所述正负样本训练所述CNN以及Softmax分类器。如图2所示,源域的正、负样本通过源域CNN提取特征,并通过分类器分为裂缝及非裂缝两类。
进一步地,本步骤中所述将基于Fisher准则的FCSDA引入CNN,是将Fisher准则项添加到CNN的损失函数中,损失函数重写为:
式(1)中,是特征空间中的Fisher准则,λ是比率。
例如,当采样的样本集包含20000个正样本和140000个负样本时,Fisher比设置为0.01。最小化损失函数将缩短类内距离,同时增加类间距离,这使输入像素块更易于分类。
优选地,本步骤中,所述CNN为基于LeNet-5的CNN,如图3所示,包括卷积层C1、池化层S1,卷积层C2、池化层S2以及卷积层C3(全连接层),通过上述五层实现对图像的特征提取。
以一个具体的实例对本步骤中CNN结构及训练过程进行详细说明。使用从45个不同桥梁的裂缝图像中收集的包含32.6万个样本的数据集,其中包括5.6万个正样本和27万个负样本,对CNN进行训练。如图3所示,尺寸为18×18的图像作为输入,它对应于以每个像素为中心的像素块的大小。C1层是具有6个特征图的卷积层,特征图的每个点通过3×3卷积滤波器连接到输入图像中的3×3邻域。因此,C1层每个图的尺寸是16×16,共有60个可训练参数和15360个连接。S1层是具有6个特征图的子采样层,每个图的尺寸为8×8,因为使用最大池化技术,S1中的每个单元对应于层C1中的2×2邻域,最大池化的含义是在2×2邻域内选择一个最大值。C2层是具有12个特征图的卷积层,特征图的每个单元通过3×3卷积滤波器连接到S1层中的3×3邻域。C2层每个图的大小是6×6,总共有120个可训练参数和25,920个连接。S2层也是具有12个特征图的子采样层。由于使用最大池技术,S2中的每个单元对应于C2层中的2×2邻域,因此S2层的每个图的大小为3×3。C3层仍然是具有54个特征图的卷积层。由于层S2中的每个图的尺寸是3×3,因此在进行3×3卷积计算之后,C3层的特征图的尺寸是1×1。可以将C3层视为具有54个隐藏单元的全连接层。C3层的输出是1×54矢量,称为CNN提取的输入图像的特征矢量。C3层总共有540个可训练参数和6480个连接。
所提取的特征进入由两个单元组成的Softmax分类器,它将每个特征向量分为裂缝或非裂缝类别:无裂缝特征的区域标定为0,含有裂缝特征的区域标定为1,完成对CNN及分类器的训练。
步骤S3,为达到领域自适应的目的,利用源域CNN和目标域CNN分别提取源域和目标域图像特征,从源域和目标域中提取的特征通过最小化最大均值差异MMD实现特征对齐。
如图3所示,进一步地,本步骤中,源域图像和目标域图像分别进入上述源域CNN和目标域CNN,目标域CNN与源域CNN具有相同的结构,并实现参数共享;MMD正则化项施加在CNN的损失上,使提取的特征信息更加丰富。全连接层的激活涉及MMD项的计算,这提高了原始域的表示能力,并且由于正则化项而易于对齐。让CNN学习如何在分类的同时减少源域和目标域之间的分布差异,实现领域自适应。
本实施例中进行训练样本的采集时,所使用的裂缝图像的样本,与待监测图像的样本,存在分布不一致的问题。如果不进行领域自适应学习,仅通过训练样本训练完成的CNN模型,对待监测图像的裂缝识别精度较低。
为了使利用源域数据集训练的分类器可以直接应用到目标域中,而且精度损失最小,对于这两个不同但相关分布的距离,使用MMD来度量,目标即为最小化这两个分布之间的距离:
式(2)中,XS,XT分别表示源域和目标域数据,H表示这个距离是由Ф()将数据映射到再生希尔伯特空间中进行度量的;
不仅可以最小化域之间的距离,而且能够学习跨域迁移的强大分类器,通过减少损失:
式(3)中,表示源域数据XS上的分类损失,MMD(XS,XT)表示源数据XS和目标数据XT之间的距离,超参数λ确定我们想要混淆域的程度。
其中网络结构如图3所示,由一个源域CNN和一个目标域CNN组成,它们具有共享的权重,使用两个域的所有数据来计算域混淆损失。通过最小化MMD距离来减小源域和目标域之间的差异,从而保证两个域的特征对齐。
步骤S4,根据所述领域自适应后的目标域CNN以及预训练的Softmax分类器,构建局部模式预测器LPP。
本步骤中,通过训练好的目标域CNN学习LPP的映射函数,结合Softmax分类器,构造局部模式预测器(LPP),采用LPP根据每个像素的上下文来预测其概率,从而准确定位裂缝像素。
像素的上下文即以该像素为中心的矩形区域,宽度为w,高度为h。由于具体的表面图像有很强的2D局部结构,像素是否属于裂缝区域与其上下文有关,空间上相邻的像素总是高度相关的。矩形区域中像素的灰度值被排列以构造局部图案。设qi为中心第i个像素的局部图案的矢量,pi为中心第i个像素属于裂缝区域的概率,则两者之间的映射可以表示为:f(qi)=pi。通过前面对CNN的训练已完成此映射的学习。CNN的特征表示是根据人脑的学习过程逐层抽象出来的,具有平移、缩放和变形不变性的能力,能够处理噪声、光照变化、角度和摄像机位置影响下的图像质量下降。
步骤S5,利用所述LPP检测待监测图像中的混凝土表面裂缝。
如图4所示,本步骤中,所述待监测图像通过预处理转换为18×18的像素块,然后输入所述LPP中,首先生成置信度图,所述置信度图中包含每个像素的概率,表明其属于裂缝还是非裂缝;其次,对具有固定阈值的置信度图进行后处理,去除孤立的噪声点以获得最终的检测结果。优选地,所述固定阈值为二进制阈值,固定为0.5。
第二实施例
本实施例提供了一种基于领域自适应的混凝土表面裂缝检测系统,图5所示为所述基于领域自适应的混凝土表面裂缝检测系统的结构示意图。如图5所示,所述系统包括源域样本采样模块、预训练模块、领域自适应模块、LPP构建模块、检测结果输出模块。
其中,所述源域样本采样模块,用于将现有的裂缝图像作为源域数据集,待检测的裂缝图像作为目标域数据集;并用于从源域图像中采集正样本,同时将距离裂缝最近的点和背景中的均匀采样点作为负样本,并将样本发送给预训练模块;并用于对于只存在有限正样本可利用的图像,采用基于Fisher准则的堆叠式降噪自编码器(FCSDA)增强特征识别。
所述预训练模块用于将基于Fisher准则的FCSDA引入源域卷积神经网络(CNN),并通过所述正负样本训练CNN以及Softmax分类器。
所述领域自适应模块,通过目标域CNN与源域CNN共享参数,得到领域自适应后的目标域CNN用于对目标域测试图像的特征提取,经过源域和目标域的特征对齐后,利用源域图像预训练的Softmax分类器可以更好地应用在目标域图像上。
所述LPP构建模块,用于根据所述领域自适应的目标域CNN和Softmax分类器构建局部模式预测器(LPP),并通过LPP的输入接口输入待监测图像,通过LPP检测检测待监测图像,并将所检测的包含每一像素是否属于裂缝的概率的置信度图发送给检测结果输出模块。
所述检测结果输出模块用于根据所述置信度图及阈值,对图像中的裂缝进行判定,并输出判定结果。
本实施例中的基于领域自适应的混凝土表面裂缝检测系统,是与第一实施例中的基于领域自适应的混凝土表面裂缝检测方法相对应的,所述方法通过所述系统得以实现。第一实施例中对所述方法的描述,同样适用于本实施例的所述混凝土表面裂缝检测系统,在此不再赘述。
由以上可以看了,本发明实施例基于领域自适应的混凝土表面裂缝检测方法和系统,研究了一种基于最近邻的均匀采样方法选取正负样本,通过基于Fisher准则的FCSDA来解决正负样本不均衡问题,提升了网络的性能;利用领域自适应的方法,使目标域图像的特征和源域图像的特征对齐,提高了检测算法的抗干扰能力及对不同桥梁环境的适应能力;利用CNN及Softmax分类器构造LPP,解决了因噪声、光照变化、角度和摄像机位置影响的图像质量下降问题;根据每个像素的模式来预测裂缝的概率,提高了定位裂缝像素的准确性。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,本发明并不受限于以上所公开的示范性实施例,说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,在本发明揭露的技术范围做出的若干改进和润饰、可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于领域自适应的混凝土表面裂缝检测方法,其特征在于,所述基于领域自适应的混凝土表面裂缝检测方法包括如下步骤:
步骤S1,将现有的裂缝图像作为源域数据集,待检测的裂缝图像作为目标域数据集;从源域图像中采集正样本,同时将距离裂缝最近的点和背景中的均匀采样点作为负样本;对于只存在有限正样本可利用的图像,采用基于Fisher准则的堆叠式降噪自编码器FCSDA增强特征识别;
步骤S2,将基于Fisher准则的FCSDA引入源域卷积神经网络CNN,并通过所述源域正负样本训练源域CNN以及Softmax分类器,从而对源域图像中的裂缝区域和非裂缝区域进行准确分类;
步骤S3,源域图像和目标域图像分别进入源域CNN和目标域CNN,目标域CNN与源域CNN具有相同的网络结构,并实现参数共享;从源域和目标域中提取的特征通过最小化最大均值差异MMD实现特征对齐;所述源域CNN和目标域CNN基于LeNet-5,包括卷积层C1、池化层S1,卷积层C2、池化层S2以及卷积层C3,实现对图像的特征提取;
步骤S4,根据所述领域自适应后的目标域CNN以及步骤S2中训练完成的Softmax分类器,构建局部模式预测器LPP;
步骤S5,利用所述LPP检测目标域数据集中测试图像的混凝土表面裂缝。
2.根据权利要求1所述的混凝土表面裂缝检测方法,其特征在于,所述步骤S2中将基于Fisher准则的FCSDA引入源域CNN,是将Fisher准则项添加到源域CNN的损失函数中。
3.根据权利要求2所述的混凝土表面裂缝检测方法,其特征在于,所述损失函数为:
式(1)中,是特征空间中的Fisher准则,λ是比率。
4.根据权利要求1所述的混凝土表面裂缝检测方法,其特征在于,所述Softmax分类器由两个单元组成,将提取的每个特征向量分为裂缝或非裂缝类别,且无裂缝特征的区域标定为0,含有裂缝特征的区域标定为1。
5.根据权利要求1所述的混凝土表面裂缝检测方法,其特征在于,所述领域自适应学习,将MMD正则化项施加在CNN的损失上。
6.根据权利要求1所述的混凝土表面裂缝检测方法,其特征在于,所述步骤S5,将目标域数据集中的测试图像输入所述LPP中,首先生成置信度图,所述置信度图中包含每个像素的概率,表明其属于裂缝还是非裂缝;其次,对具有固定阈值的置信度图进行后处理,去除孤立的噪声点以获得最终的检测结果。
7.根据权利要求6所述的混凝土表面裂缝检测方法,其特征在于,所述固定阈值为二进制阈值,固定为0.5。
8.一种基于领域自适应的混凝土表面裂缝检测系统,其特征在于,所述系统包括源域样本采样模块、预训练模块、领域自适应模块、LPP构建模块、检测结果输出模块;其中,
所述源域样本采样模块,用于将现有的裂缝图像作为源域数据集,待检测的裂缝图像作为目标域数据集;并用于从源域图像中采集正样本,同时将距离裂缝最近的点和背景中的均匀采样点作为负样本,并将样本发送给预训练模块;并用于对于只存在有限正样本可利用的图像,采用基于Fisher准则的堆叠式降噪自编码器FCSDA增强特征识别;
所述预训练模块用于将基于Fisher准则的FCSDA引入源域CNN,并通过所述正负样本训练源域CNN以及Softmax分类器,从而对源域图像中的裂缝区域及非裂缝区域进行准确分类;
所述领域自适应模块,通过目标域CNN与源域CNN共享参数,得到领域自适应后的目标域CNN用于对目标域测试图像的特征提取,经过源域和目标域的特征对齐后,利用源域图像预训练的Softmax分类器可以更好地应用在目标域图像上;所述源域CNN和目标域CNN基于LeNet-5,包括卷积层C1、池化层S1,卷积层C2、池化层S2以及卷积层C3,实现对图像的特征提取;
所述LPP构建模块,用于根据所述领域自适应的目标域CNN和预训练的Softmax分类器构建局部模式预测器LPP,并通过LPP的输入接口输入目标域待监测图像,通过LPP检测目标域数据集中的测试图像,并将所检测的包含每一像素是否属于裂缝的概率的置信度图发送给检测结果输出模块;
所述检测结果输出模块用于根据所述置信度图及阈值,对图像中的裂缝进行判定,并输出判定结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010890526.7A CN112164024B (zh) | 2020-08-29 | 2020-08-29 | 一种基于领域自适应的混凝土表面裂缝检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010890526.7A CN112164024B (zh) | 2020-08-29 | 2020-08-29 | 一种基于领域自适应的混凝土表面裂缝检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112164024A CN112164024A (zh) | 2021-01-01 |
CN112164024B true CN112164024B (zh) | 2023-09-05 |
Family
ID=73859410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010890526.7A Active CN112164024B (zh) | 2020-08-29 | 2020-08-29 | 一种基于领域自适应的混凝土表面裂缝检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112164024B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1468147A (zh) * | 2000-08-08 | 2004-01-14 | ���﹫˾ | 粒径分布可控的膨胀珍珠岩制品 |
WO2013166427A1 (en) * | 2012-05-03 | 2013-11-07 | Whitehead Institute For Biomedical Research | Hsf1 and hsf1 cancer signature set genes and uses relating thereto |
CN109101969A (zh) * | 2018-08-23 | 2018-12-28 | 深圳市深晓科技有限公司 | 一种基于字符识别的图像处理方法及装置 |
CN109186902A (zh) * | 2018-09-26 | 2019-01-11 | 中国计量大学 | 一种基于视觉传感的桥梁结构健康检测系统 |
CA3083035A1 (en) * | 2017-10-13 | 2019-04-18 | Ai Technologies Inc. | Deep learning-based diagnosis and referral of ophthalmic diseases and disorders |
CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
KR20190142626A (ko) * | 2018-06-18 | 2019-12-27 | 세종대학교산학협력단 | Uav 탑재용 하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 시스템 및 그 방법 |
-
2020
- 2020-08-29 CN CN202010890526.7A patent/CN112164024B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1468147A (zh) * | 2000-08-08 | 2004-01-14 | ���﹫˾ | 粒径分布可控的膨胀珍珠岩制品 |
WO2013166427A1 (en) * | 2012-05-03 | 2013-11-07 | Whitehead Institute For Biomedical Research | Hsf1 and hsf1 cancer signature set genes and uses relating thereto |
CA3083035A1 (en) * | 2017-10-13 | 2019-04-18 | Ai Technologies Inc. | Deep learning-based diagnosis and referral of ophthalmic diseases and disorders |
KR20190142626A (ko) * | 2018-06-18 | 2019-12-27 | 세종대학교산학협력단 | Uav 탑재용 하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 시스템 및 그 방법 |
CN109101969A (zh) * | 2018-08-23 | 2018-12-28 | 深圳市深晓科技有限公司 | 一种基于字符识别的图像处理方法及装置 |
CN109186902A (zh) * | 2018-09-26 | 2019-01-11 | 中国计量大学 | 一种基于视觉传感的桥梁结构健康检测系统 |
CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112164024A (zh) | 2021-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
Li et al. | Semi-supervised semantic segmentation using adversarial learning for pavement crack detection | |
CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
CN112200121B (zh) | 基于evm和深度学习的高光谱未知目标检测方法 | |
CN114972213A (zh) | 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法 | |
CN111257341A (zh) | 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法 | |
CN108520215B (zh) | 基于多尺度联合特征编码器的单样本人脸识别方法 | |
CN106557740B (zh) | 一种遥感图像中油库目标的识别方法 | |
Li et al. | A review of deep learning methods for pixel-level crack detection | |
Marques et al. | Automatic road pavement crack detection using SVM | |
CN115953666B (zh) | 一种基于改进Mask-RCNN的变电站现场进度识别方法 | |
CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
CN116665095B (zh) | 一种运动舰船检测方法、系统、存储介质和电子设备 | |
CN112733942A (zh) | 一种基于多级特征自适应融合的变尺度目标检测方法 | |
CN115830407A (zh) | 一种基于yolov4目标检测模型的电缆管线故障判别算法 | |
CN116523881A (zh) | 一种电力设备异常温度检测方法及装置 | |
CN115861226A (zh) | 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 | |
CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及系统 | |
CN112164024B (zh) | 一种基于领域自适应的混凝土表面裂缝检测方法及系统 | |
CN110232314A (zh) | 一种基于改进的Hog特征结合神经网络的图像行人检测方法 | |
CN115984219A (zh) | 产品表面缺陷检测方法、装置、电子设备及存储介质 | |
Liu et al. | An end-to-end steel strip surface defects detection framework: Considering complex background interference | |
CN115471755A (zh) | 基于分割的图像目标快速检测方法 | |
Dunphy et al. | Autonomous crack detection approach for masonry structures using artificial intelligence | |
Yazid et al. | Automated system form concrete damage classification identification using pretrained deep learning model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |