CN115272224A - 一种面向智慧城市建设的无监督路面损害检测方法 - Google Patents

一种面向智慧城市建设的无监督路面损害检测方法 Download PDF

Info

Publication number
CN115272224A
CN115272224A CN202210882633.4A CN202210882633A CN115272224A CN 115272224 A CN115272224 A CN 115272224A CN 202210882633 A CN202210882633 A CN 202210882633A CN 115272224 A CN115272224 A CN 115272224A
Authority
CN
China
Prior art keywords
image
road surface
damage
surface image
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210882633.4A
Other languages
English (en)
Inventor
陈启军
马纳川
刘成菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202210882633.4A priority Critical patent/CN115272224A/zh
Publication of CN115272224A publication Critical patent/CN115272224A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种面向智慧城市建设的无监督路面损害检测方法，包括：对训练集中无损害路面图像进行数据增强；构建基于深度卷积神经网络的编码器和解码器，二者结合组成自动编码器，训练自动编码器学习数据增强后无损害路面图像以及重建后原始无损害路面图像之间的映射关系；输入测试集中带有损害的路面图像给自动编码器进行测试，输出重建恢复结果图、并将其与带有损害的路面图像进行对比处理，得到重建误差图、并进行后处理，得到有损害路面图像对应的路面损害检测结果；将实际路面图像输入至训练测试后的自动编码器，得到实际路面损害检测结果。与现有技术相比，本发明节省了人工标注需要的人力、物力及时间成本，能有效提高检测效率以及准确性。

Description

一种面向智慧城市建设的无监督路面损害检测方法
技术领域
本发明涉及智慧城市建设技术领域，尤其是涉及一种面向智慧城市建设的无监督路面损害检测方法。
背景技术
在智慧城市建设领域中，路面损害智能检测是为保证道路质量、保证道路安全、畅通、舒适的一项重要工作。任何未能及时检测和维修的路面损害，不仅会给驾驶舒适性带来不便，还会对车辆状况、交通安全和人类生命构成极大威胁，导致无法挽回的人身伤亡及财产损失。现阶段，道路的路面损害发现仍旧依赖人工日常养护巡检，由结构工程师和经过认证的检查员定期检测道路并报告损害的位置。然而，这种人工检测的形式通常受车速、工作人员经验、专注度等因素影响，存在养护效率低、运营成本高等问题。并且，由人工得到的道路损害检测结果通常是不够客观的，因为这种检测结果仅仅取决于检查员的个人经验和主观判断。因此，在近些年人工智能发展如火如荼的形势下，作为智慧城市建设领域中的领航任务，百度、阿里云、商汤、海信网络科技等公司的研究者们都在致力于开发路面损害智能检测算法，以推进人工智能路面巡检系统落地，并且，道路损害检测已不仅仅是基础设施维护问题，它也是许多汽车公司嵌入到L3/L4自动驾驶汽车中的高级驾驶辅助系统(ADAS)的功能，新兴的自动驾驶系统往往对道路养护标准有着更高需求。
经典的路面损害智能检测算法已经被研究了十多年，这些算法大多是基于传统的二维图像处理方法，可以概括为包含图像预处理、图像分割、损害区域提取以及检测结果后处理四个阶段。这些算法首先使用中值滤波、高斯滤波、双边滤波以及形态滤波等方法来过滤掉图像上的冗余信息并高亮路面损害区域；然后将预处理后道路图像分别为前景(损害的道路区域)和背景(未损害的道路区域)；接着，根据几何和纹理假设从分割的前景中提取损害的道路区域；最后，对提取的受损道路区域进行后处理，进一步提高路面损害的检测结果。尽管这些经典方法在一些简单的场景中可以取得效果，但是它们通常是计算密集型的，并且对各种环境因素敏感，尤其是对不同的照明和天气条件的鲁棒性不强。此外，道路损害通常具有不规则的形状，使得在这些经典算法中作出的几何假设有时是不可行的。
为了解决上述的问题，随着机器/深度学习的最新进展，深度卷积神经网络(DCNN)已经成为研究者们所考虑的主流路面损害检测技术。与经典算法通过参数显式设置和阈值手工设定来分割路面图像的方式不同，现有的DCNN算法通常是使用大量人工标注的道路数据来进行反向传播训练，可以视为数据驱动的算法类型，它们不需要手工设定参数，不需要假定路面损害的形状，对各种环境因素的鲁棒性也更强。上述数据驱动的路面损害检测算法主要可以分成三类：(1)图像分类网络；(2)目标检测网络；(3)语义分割网络。其中，第一类的图像分类网络算法通过数据来训练网络对无损害路面数据和有损害路面数据进行分类；第二类的目标检测网络算法是通过训练目标检测网络来实现实例级别地路面损害检测，其输出结果一般采用边界框将路面损害区域标注出来；第三类的语义分割网络算法是通过训练语义分割网络来分割道路图像(RGB图像或视差/深度图)，以实现像素级/语义级别的道路损害检测。
尽管上述DCNN算法已经在路面损害的图像分类、目标检测以及语义分割三个任务上取得了很好的效果，但这些数据驱动基于有监督算法网络，在训练时需要大量的人工标注数据集，而准备这样完备且可用的数据集，通常是非常耗费人力的，并且由于实际中路面损害不是随处可见的，往往收集路面损害图像就需要花费大量的人力物力以及时间成本。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种面向智慧城市建设的无监督路面损害检测方法，基于自动编码器(AutoEncoder)和数据增强技术，使用基于重建和图像差值的思想，以实现路面损害区域像素级别的分割，能够高效准确地进行路面损害检测。
本发明的目的可以通过以下技术方案来实现：一种面向智慧城市建设的无监督路面损害检测方法，包括以下步骤：
S1、获取包含训练集和测试集的数据集，使用斑纹状和栅格化填充的数据增强方法对训练集中的无损害路面图像进行数据增强；
S2、构建基于深度卷积神经网络的编码器，用以提取所输入的数据增强后的无损害路面图像的信息和特征，生成各个尺寸的特征图；
S3、构建基于深度卷积神经网络的解码器，用以根据特征图重建还原出原始的无损害路面图像；
S4、将编码器和解码器相结合，组成一个基于深度卷积神经网络的编码器-解码器，即自动编码器(AutoEncoder)模型，利用数据增强后的无损害路面图像以及重建后的原始无损害路面图像，训练自动编码器学习二者之间的映射关系；
S5、使用步骤S4中训练好的自动编码器，输入测试集中带有损害的路面图像进行测试，输出相应的重建恢复结果图；
S6、将带有损害的路面图像和重建恢复结果图进行对比处理，得到相应的重建误差图；
S7、对重建误差图进行后处理，过滤图像上的冗余信息、进行路面损害分割，输出得到有损害的路面图像对应的路面损害检测结果；
S8、采集实际路面图像，将实际路面图像输入至训练测试后的自动编码器，输出得到实际路面图像对应的路面损害检测结果。
进一步地，所述步骤S1中使用斑纹状和栅格化填充的数据增强方法具体是利用多种不同尺度的斑纹状填充器和随机选取的栅格化填充器，以实现不同的数据增强效果。
进一步地，所述步骤S2具体是采用五个基于深度卷积神经网络的第一卷积块构成编码器，所述五个第一卷积块的结构都包括卷积操作—批正则化操作—ReLU激活—池化操作。
进一步地，所述编码器的输入图像尺寸为高224像素*宽224像素，经过五个第一卷积块后，依次生成高112像素*宽112像素、高56像素*宽56像素、高28像素*宽28像素、高14像素*宽14像素以及高7像素*宽7像素的特征图。
进一步地，所述步骤S3具体是采用五个基于深度卷积神经网络的第二卷积块构成解码器，所述五个第二卷积块的结构都包括上采样操作—逆卷积操作—批正则化操作-ReLU激活，依次将尺寸为高7像素*宽7像素的特征图恢复成尺寸为高112像素*宽112像素的特征图；所述五个第二卷积块中，最后一个第二卷积块的输出为高224像素*宽224像素的新的重建后的原始无损害路面图像。
进一步地，所述步骤S4中自动编码器的模型损失函数具体为：
Figure BDA0003764789470000041
其中，yrec为重建后的原始无损害路面图像，yaug为数据增强后的无损害路面图像，bs为每轮训练每次选取的批量尺寸。
进一步地，所述步骤S5具体包括以下步骤：
S51、保存好完成训练后的自动编码器模型的各层参数；
S52、在测试阶段，冻结这些已保存的自动编码器模型的各层参数，使用测试集中带有损害的路面图像作为自动编码器的输入，输出相应的重建恢复结果图。
进一步地，所述自动编码器模型的各层参数包含各个神经元的权重和偏差值。
进一步地，所述步骤S6具体是将带有损害的路面图像和恢复结果图进行逐像素相减，以得到相应的重建误差图。
进一步地，所述步骤S7具体是对重建误差图依次执行图像过滤算法和图像分割算法，以过滤图像上的冗余信息、进行路面损害分割，所述图像过滤算法包括但不限于高斯滤波、双边滤波以及形态滤波，所述图像分割算法包括但不限于Otsu’s thresholding、triangle thresholding以及adaptive thresholding。
与现有技术相比，本发明具有以下优点：
一、本发明提出了一种新型的面向智慧城市建设的无监督路面损害智能检测算法，针对现有智慧城市建设中路面损害智能检测算法存在需要大量人工标注的训练数据问题，通过对训练集进行数据增强处理，结合构建的自动编码器，以实现一种无监督路面损害检测方法，基于重建和图像差值的思想实现路面损害区域像素级别的分割，有效解决了有监督路面损害智能检测算法普遍存在的需要大量人工标注数据集的问题，节省了人工标注需要的人力、物力及时间成本，避免了因为主观而造成的人工标注不准确的问题，能够提高检测的效率以及准确性。
二、本发明综合使用了斑纹状和栅格化填充的数据增强方法，训练神经网络学习由数据增强后的图像到原图像的重建恢复映射关系与能力，极大地增强了神经网络的图像重建能力，能够可靠保证后续检测的准确性。
三、本发明设计了一种简单易行的基于深度卷积神经网络的自动编码器框架，该网络结构不需要额外的训练策略和监督标注，能够进一步节省人力物力和时间成本、有效提升检测效率。
附图说明
图1为本发明的方法流程示意图；
图2为本发明方法的流程框架图；
图3为本发明中采用斑纹状和栅格化填充的数据增强方法示意图；
图4为本发明中自动编码器模型结构示意图；
图5为实施例中训练时所使用的无损害路面图像样例；
图6为实施例中测试时所使用的有损害路面图像样例；
图7为实施例中测试时自动编码器模型重建恢复的路面图像；
图8为图6和图7对比处理后得到的对应重建误差图像。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，一种面向智慧城市建设的无监督路面损害检测方法，包括以下步骤：
S1、获取包含训练集和测试集的数据集，使用斑纹状和栅格化填充的数据增强方法对训练集中的无损害路面图像进行数据增强；
S2、构建基于深度卷积神经网络的编码器，用以提取所输入的数据增强后的无损害路面图像的信息和特征，生成各个尺寸的特征图；
S3、构建基于深度卷积神经网络的解码器，用以根据特征图重建还原出原始的无损害路面图像；
S4、将编码器和解码器相结合，组成一个基于深度卷积神经网络的编码器-解码器，即自动编码器(AutoEncoder)模型，利用数据增强后的无损害路面图像以及重建后的原始无损害路面图像，训练自动编码器学习二者之间的映射关系；
S5、使用步骤S4中训练好的自动编码器，输入测试集中带有损害的路面图像进行测试，输出相应的重建恢复结果图；
S6、将带有损害的路面图像和重建恢复结果图进行对比处理，得到相应的重建误差图；
S7、对重建误差图进行后处理，过滤图像上的冗余信息、进行路面损害分割，输出得到有损害的路面图像对应的路面损害检测结果；
S8、采集实际路面图像，将实际路面图像输入至训练测试后的自动编码器，输出得到实际路面图像对应的路面损害检测结果。
具体的，步骤S1中提出的斑纹状和栅格化填充的数据增强方法，会在训练阶段输入无损害路面图像后进行相应的处理，包括多种不同尺度的斑纹状填充器和随机选取的栅格化填充器，最终实现不同的数据增强效果以作为编码器的输入。
步骤S2中，搭建由五个基于深度卷积神经网络的卷积块构成的编码器，用于提取所输入的数据增强后无损害路面图像的信息和特征。五个卷积块的结构都包括卷积操作—批正则化操作—ReLU激活—池化操作，输入的图像尺寸为高224像素*宽224像素，经过五个卷积块后，依次生成高112像素*宽112像素、高56像素*宽56像素、高28像素*宽28像素、高14像素*宽14像素以及高7像素*宽7像素的特征图。
步骤S3中，搭建由五个基于深度卷积神经网络的卷积块构成的解码器，用于重建得到新的无损害路面图像。五个卷积块的结构都为上采样操作—逆卷积操作—批正则化操作-ReLU激活，依次将尺寸为高7像素*宽7像素的特征图恢复成尺寸为高112像素*宽112像素的特征图；最后一个卷积块的输出为高224像素*宽224像素的重建后无损害路面图像；
步骤S4中，将步骤S2和S3中的网络模型相结合，组成一个基于深度卷积神经网络的编码器-解码器，即自动编码器(AutoEncoder)模型。该自动编码器的目的是学习由数据增强后无损害路面图像到原始无损害路面图像的重建恢复映射关系，设定前者为y_aug，后者为y_rec，每轮训练每次选取的批量大小为bs(batch size)，则所设计的自动编码器模型损失函数可表示为：
Figure BDA0003764789470000061
步骤S5中，首先保存好完成训练后的自动编码器模型的各层参数，包含各个神经元的权重和偏差值。接着，在测试阶段，冻结这些已保存的神经元的权重和偏差值，使用数据集内测试集中带有损害的路面图像作为自动编码器的输入，输出相应的重建恢复结果。原理上，因为在训练阶段，该自动编码器只学习了如何由经过数据增强后的无损害路面图像到原始无损害路面图像的重建恢复映射关系，所以在测试阶段，该自动编码器无法恢复测试集中图像上的损害区域。
步骤S6中，在测试阶段，得到训练后自动编码器重建恢复后的无损害路面图像，因为该自动编码器无法恢复图像上的损害区域，所以将重建恢复后的图像和原图像进行对比处理，通过执行逐像素值相减操作，得到的重建误差图像，由此可将图像上的路面损害区域高亮显示。
步骤S7中，对步骤S6得到的重建误差图像进行后处理，包括使用高斯滤波、双边滤波以及形态滤波等方法之一来过滤掉图像上的冗余信息，然后使用Otsu’s thresholding、triangle thresholding以及adaptive thresholding等方法之一来分割损害区域，最终得到输入测试路面图像对应的损害检测结果。
步骤S8中，可利用现有的道路巡查车辆，对其进行轻量级改装后，依靠部署在普通车辆上的摄像机等巡检感知设备，解决养护设备便携化的问题，并采用上述方法实现路面损害智能检测，能够检测龟裂、块状裂缝、纵向裂缝、横向裂缝、沉陷、车辙、坑槽、松散等多类路面损害，自动发现并掌握道路病害的精确位置，还可通过视频联动进行确认；此外，通过积累路面损害后台报告，能够进一步实现道路建、管、养等系统之间的数据共享。
本实施例应用上述技术方案，并结合SDNET2018数据集，以验证本技术方案的有效性，其中，框架示意图如图2所示，主要包括：
一、使用斑纹状和栅格化填充的数据增强方法，对训练集中的无损害路面图像进行数据增强；
二、搭建由五个基于深度卷积神经网络的卷积块构成的编码器，结构均为卷积操作—批正则化操作—ReLU激活—池化操作，用以提取所输入的数据增强后的无损害路面图像的信息和特征，生成各个尺寸的特征图；
三、搭建由五个基于深度卷积神经网络的卷积块构成的解码器，结构均为上采样操作—逆卷积操作—批正则化操作-ReLU激活，用以根据特征图重建还原出无损害路面图像的原图；
四、将步骤二和步骤三中的网络模型相结合，组成一个基于深度卷积神经网络的编码器-解码器，即自动编码器(AutoEncoder)模型。训练该自动编码器学习由数据增强后无损害路面图像到原始无损害路面图像的重建恢复映射关系；
五、使用步骤四中训练好的模型，输入数据集内测试集中带有损害的路面图像进行测试，输出相应的重建恢复结果图；
六、将带有损害的路面图像和重建恢复后的路面图像进行逐像素相减，得到相应的重建误差图；
七、对重建误差图依次执行图像过滤算法和图像分割算法，过滤掉图像上的冗余信息以及实现路面损害分割；
八、在智慧城市建设中，借助巡查车辆上的摄像机等感知设备采集的数据，执行无监督路面损害智能检测，自动发现并掌握道路病害的精确位置。
本实施例在步骤一，首先向算法框架输入训练集中的无损害路面图像，再将图像数据转换成在python中便于处理的numpy格式。为了输入用pytorch搭建的神经网络，我们再将numpy格式的图像数据转换成pytorch中的tensor格式。接着，我们使用如图3(a)及(b)所示的斑纹状和栅格化填充的数据增强方法，分别选取随机尺寸的形式，对所输入的训练集中的无损害路面图像进行相应的数据增强处理。所设计的两种数据增强方法都是移除图像中的部分区域，然后让网络学习生成原始输入图像，设计的原则在于：(1)图像区域应该有相同的概率被移除；(2)被移除的区域应该有多个尺度；(3)去除区域的形状应该有多个方向。
在步骤一，基于这三个设计要求，本实施例设计了几个多尺度的条纹状遮挡图来指示应该删除的区域，将这些区域的像素值设置为0，采用黑色表示要去除的区域，并将白色和黑色区域之间的比例设置为1：1；通过交换黑色和白色区域，得到互补的条纹状遮挡图；通过改变黑白条的宽度，得到不同尺度的条纹状遮挡图；改变条纹的方向，得到在垂直和水平方向上的条纹状遮挡图。另外，设计了三种尺度的栅格化填充遮挡图，随机填充所划分出来的栅格，将其像素值设置为0。
本实施例在步骤二，如图4前半段所示的结构，基于pytorch框架搭建了五个均由卷积操作—批正则化操作—ReLU激活—池化操作组成的卷积块所构成的编码器，利用pytorch自带的Sequential命令来建立多层前馈神经网络，其中Sequential中的每一个部件都是Pytorch的nn.Module模块继承而来的对象。在训练时，输入图像的张量矩阵大小为(3*224*224)，其中，“3”代表输入图像是由R(Red)、G(Green)、B(Blue)组合成的三层彩色图像，经过每一个卷积块的处理后，提取图像的信息和特征，依次输出大小为(64*112*112)、(128*56*56)、(256*28*28)、(512*14*14)、(512*7*7)的特征图。
在步骤二，卷积是一个数学概念，它定义为一个卷积核(也叫过滤器)函数在输入信号上序列化的积分运算。卷积运算实际上是一个多步的过程。第一步，n*n大小的卷积核与原始图像左上角第一片n*n的区域做内积，也就是把对应位置相乘，然后再把这些数字相加，结果就会输出为特征图左上角的第一个像素值；第二步，n*n大小的卷积核与原始图像左上角第二片n*n的区域做内积，也就是让卷积核内的数值与每一个位的原始图像像素数值相乘，并把最后的结果相加，得到特征图上第二个像素的数值；之后，卷积核不断从左到右、从上到下地移动，与下一个对应的原始图像做相应运算，得到特征图的下一个像素的输出，直到覆盖原始图像，通过卷据操作得到特征图的计算就完成了。
在步骤二，考虑到实际操作过程中，编码器和解码器难以仅通过卷积操作进行训练，因为对于一个基于深度卷积的神经网络来说，反复迭代很容易让输出结果发生很大的数值漂变，产生比较大的方差。进而，本技术方案通过在每一层网络中加入一个批正则化操作，就能将这一层的输出值限定在给定的范围内，从而避免波动过大。通常，批正则化技术是加在每一层神经网络非线性激活函数之前的一层运算节点，所进行的运算就是将输入的数值进行归一化处理，然后映射到设定的范围，即：
Figure BDA0003764789470000091
其中，α、β是学习的参数，它们会在反向传播算法执行时自动更新，μb和σb则分别是输入数值在一个批次中的均值和方差。所以，无论输入数据的变化范围有多么大，批正则化操作后的输出结果始终会局限在[β-α,β-α]这个范围内，而α、β又是可以学习的，因此既限定了神经网络输出数值的变化范围，又不失灵活性。
在步骤二，ReLU激活函数的全称为线性整流函数(Linear rectificationfunction)，又称修正线性单元，是一种人工神经网络中常用的非线性激活函数。这个函数在输入大于0的时候完全是一个恒等函数，相当于没有完成任何计算，因此，与传统的神经网络激活函数Sigmoid相比，它具有计算快、方便反向误差传播等优良特征。同时，由于它在0的位置分成了两个不连续的部分，因此它具备与Sigmoid函数同样的非线性特征。故更适用于深度的前馈神经网络中。在本技术方案所搭建的编码器中，所使用的池化操作为最大池化。池化的作用为获取粗粒度信息，能够模拟人类从更宏观的尺度观察事物，即俯瞰整个森林而不是树木的过程，数学上的运算体现为将多个方格的原始图像压缩为一格像素点，从而忽略信息。在本技术方案中，采用最大池化操作，从左到右、由上到下，以完成n*n池化器求取窗口像素最大值的计算。
本实施例在步骤三，如图4后半段所示的结构，搭建了五个由上采样操作—逆卷积操作—批正则化操作-ReLU激活组成的卷积块，以构成解码器，输入特征图的张量矩阵大小为(512*7*7)，经过每一个卷积块的处理后，依次恢复成大小为(512*14*14)、(256*28*28)、(128*56*56)、(64*112*112)的特征图，最终重建恢复出大小为(3*224*224)的无损害路面图像的原图。
在步骤三中，逆卷积操作可以看作卷积运算的镜像形式，每一个卷积运算都有一个对应的反卷积运算。第一步，将卷积运算的卷积核转换为反卷积运算的卷积核，相对于原卷积核来说是进行了“上下颠倒，左右翻转”的操作；第二步，将反卷积对应的输入图像用0在两边补齐成更大的图像，使得用反卷积的卷积核作用到这张补齐的图像后，得到的输出图像是一张与卷积运算的输入图像同等大小的图像；第三步，用反卷积的卷积核与填充后的输入图像做卷积，得到反卷积核的卷积运算结果。
本实施例在步骤四中，如图4整体所示，将步骤二和步骤三中的网络模型相结合，组成一个基于深度卷积神经网络的编码器-解码器，即自动编码器(AutoEncoder)模型。训练该自动编码器学习由数据增强后的无损害路面图像到原始无损害路面图像的重建恢复的映射关系。本实施例训练所用的无损害路面图像有12000张，共有10个场景，其中一些图像的示意图如图5所示。所用的显卡为NVIDIA RTX 3090Ti，共训练了200个epoch，batchsize设置为64，learning rate设置为0.0001，训练了3h，损失函数的值最终下降到0.010。
本实施例在步骤五中，首先通过pytorch的torch.save()函数保存好在训练阶段验证集上效果最好的模型的各层参数，包含各个神经元的权重和偏差值；接着，在测试阶段，使用pytorch的torch.load()函数加载所保存的最好的模型参数，输入数据集SDNET2018中的测试集，如图6所示，即带有损害的路面图像，作为自动编码器的输入，输出相应的重建恢复结果图，如图7所示。因为在训练阶段，该自动编码器只学习了如何由经过数据增强后的无损害路面图像到原始无损害路面图像的重建恢复的映射关系，所以在测试阶段，该自动编码器无法恢复测试集中图像上的损害区域；
本实施例在步骤六中，将带有损害的路面图像和重建恢复后的路面图像进行逐像素相减，得到相应的重建误差图，如图8所示。首先使用numpy库的numpy.transpose()函数将神经网络所得到的矩阵转化为(224，224，3)的矩阵格式，再将所有的值乘以255，并使用numpy库的numpy.clip函数将图像中所有像素的值限定为(0-255)的范围内，最后使用numpy库的numpy.absolute函数保证有损害的路面图像和重建恢复后的路面图像逐像素相减得到结果是大于0的，使用cv2库的cv2.imwrite函数保存下来相应的重建误差图。
本实施例在步骤七中，高斯滤波的原理为对整幅图像进行加权平均，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到；双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空域信息和灰度相似性；形态滤波包括腐蚀、膨胀、开运算、闭运算等，用以过滤掉图像上的冗余信息。
在步骤七中，Otsu’s thresholding又名最大类间方差法，基本思想是用一个阈值将图像中的数据分为两类，一类中图像的像素点的灰度均小于这个阈值，另一类中的图像的像素点的灰度均大于或者等于该阈值；triangle thresholding是一种自动求解图像分割阈值的方法，该方法使用直方图数据,基于纯几何方法来寻找最佳阈值；adaptivethresholding不是计算图像的全局阈值,而是根据图像不同区域亮度分布，计算其局部阈值,对于图像不同区域，能够自适应计算不同的阈值。
本实施例在步骤八中，面向智慧城市建设，对现有的道路巡查车辆进行轻量级改装，部署摄像机等巡检感知设备后，可在后台执行所开发的无监督路面损害智能检测算法，实时检测龟裂、块状裂缝、纵向裂缝、横向裂缝、沉陷、车辙、坑槽、松散等多类路面损害，自动发现并掌握道路病害的精确位置，通过视频联动进行确认，进一步自动框选路面损害并进行参数的自动计算和标注，实现损害检测结果的可视化。
在步骤八，可在后台系统积累路面的损害报告，实现道路建、管、养等系统之间的数据共享。此外，将损害结果数据连同建设系统数据、路网运行数据等上传至后台，能够进一步进行数据整合、数据挖掘、AI推理等处理，形成完善科学的路面损害库，建立病害预测模型，做到路面损害演变“可测”。进而制定合理的养护计划，提前预测养护，降低养护周期。依靠本技术方案提出的基于无监督路面损害智能检测算法，养护管理人员能够在复杂的路面状况下完成检测，最大程度的减少天气、环境等不确定因素对检测准确度造成的影响，在多场景下实现公路巡检的可控。
综上可知，本技术方案提出了一种新型的面向智慧城市建设的无监督路面损害智能检测算法，有效解决了现有主流的有监督路面损害智能检测算法在训练时需要大量人工标注数据的难题，节省了人工标注需要的人力物力，避免了因为主观而造成的人工标注不准确的问题，更适用于智慧城市建设任务的落地。提出了斑纹状和栅格化填充这两个数据增强方法，能够有效增强所搭建的自动编码器的重建恢复能力。在训练阶段，经过损失函数的约束学习，所搭建的自动编码器能够在编码阶段全面地提取所输入的无损害路面图像的信息和特征，在解码阶段完好地重建恢复出无损害路面图像的原图；在测试阶段，训练好的自动编码器无法完备地重建恢复出输入的有损害路面图像上的路面损害区域，这使得所得到的重建误差图能够很好地高亮出损害区域。本实施例在SDNET2018数据集上进行了实验，图8展示了最终得到的重建误差图的效果，可以看出所提出算法的输出结果比较理想，测试阶段所得到的重建误差图在经过后处理之后，可以取得不输于有监督路面损害智能检测算法的输出效果。图6和图7综合展示出了所训练得到的自动编码器，不能恢复还原出有损害路面图像上的损害区域，可以发现，图6和图7的对比效果十分明显，重建恢复出的图像在视觉效果上如同将坑洼的部分进行了自动填补，这也是本技术方案的核心发现和算法奏效的机理所在，本技术方案设计了一种简单易行的基于深度卷积神经网络的自编码器框架，网络结构不需要额外的训练策略和监督标注，可以作为此种方法的基础框架，后续研究者可以基于此继续深入开发。
因此，对比现有的有监督的路面损害智能检测算法，本技术方案具有着独特的优势，对未来研究具有很好的指导作用，考虑到如今智慧城市建设作为国家战略的需求，各项功能开发正在蓬勃发展，更需要研究者们从实际问题出发，找到路面损害智能识别算法落地到AI路面全自动巡检的困难，本技术方案有利于后续将路面损害智能识别算法应用到数字孪生与智慧城市建设这一新兴的领域当中。

Claims (10)

1.一种面向智慧城市建设的无监督路面损害检测方法，其特征在于，包括以下步骤：
S1、获取包含训练集和测试集的数据集，使用斑纹状和栅格化填充的数据增强方法对训练集中的无损害路面图像进行数据增强；
S2、构建基于深度卷积神经网络的编码器，用以提取所输入的数据增强后的无损害路面图像的信息和特征，生成各个尺寸的特征图；
S3、构建基于深度卷积神经网络的解码器，用以根据特征图重建还原出原始的无损害路面图像；
S4、将编码器和解码器相结合，组成一个基于深度卷积神经网络的编码器-解码器，即自动编码器模型，利用数据增强后的无损害路面图像以及重建后的原始无损害路面图像，训练自动编码器学习二者之间的映射关系；
S5、使用步骤S4中训练好的自动编码器，输入测试集中带有损害的路面图像进行测试，输出相应的重建恢复结果图；
S6、将带有损害的路面图像和重建恢复结果图进行对比处理，得到相应的重建误差图；
S7、对重建误差图进行后处理，过滤图像上的冗余信息、进行路面损害分割，输出得到有损害的路面图像对应的路面损害检测结果；
S8、采集实际路面图像，将实际路面图像输入至训练测试后的自动编码器，输出得到实际路面图像对应的路面损害检测结果。
2.根据权利要求1所述的一种面向智慧城市建设的无监督路面损害检测方法，其特征在于，所述步骤S1中使用斑纹状和栅格化填充的数据增强方法具体是利用多种不同尺度的斑纹状填充器和随机选取的栅格化填充器，以实现不同的数据增强效果。
3.根据权利要求1所述的一种面向智慧城市建设的无监督路面损害检测方法，其特征在于，所述步骤S2具体是采用五个基于深度卷积神经网络的第一卷积块构成编码器，所述五个第一卷积块的结构都包括卷积操作—批正则化操作—ReLU激活—池化操作。
4.根据权利要求3所述的一种面向智慧城市建设的无监督路面损害检测方法，其特征在于，所述编码器的输入图像尺寸为高224像素*宽224像素，经过五个第一卷积块后，依次生成高112像素*宽112像素、高56像素*宽56像素、高28像素*宽28像素、高14像素*宽14像素以及高7像素*宽7像素的特征图。
5.根据权利要求4所述的一种面向智慧城市建设的无监督路面损害检测方法，其特征在于，所述步骤S3具体是采用五个基于深度卷积神经网络的第二卷积块构成解码器，所述五个第二卷积块的结构都包括上采样操作—逆卷积操作—批正则化操作-ReLU激活，依次将尺寸为高7像素*宽7像素的特征图恢复成尺寸为高112像素*宽112像素的特征图；所述五个第二卷积块中，最后一个第二卷积块的输出为高224像素*宽224像素的新的重建后的原始无损害路面图像。
6.根据权利要求1所述的一种面向智慧城市建设的无监督路面损害检测方法，其特征在于，所述步骤S4中自动编码器的模型损失函数具体为：
Figure FDA0003764789460000021
其中，yrec为重建后的原始无损害路面图像，yaug为数据增强后的无损害路面图像，bs为每轮训练每次选取的批量尺寸。
7.根据权利要求1所述的一种面向智慧城市建设的无监督路面损害检测方法，其特征在于，所述步骤S5具体包括以下步骤：
S51、保存好完成训练后的自动编码器模型的各层参数；
S52、在测试阶段，冻结这些已保存的自动编码器模型的各层参数，使用测试集中带有损害的路面图像作为自动编码器的输入，输出相应的重建恢复结果图。
8.根据权利要求7所述的一种面向智慧城市建设的无监督路面损害检测方法，其特征在于，所述自动编码器模型的各层参数包含各个神经元的权重和偏差值。
9.根据权利要求1所述的一种面向智慧城市建设的无监督路面损害检测方法，其特征在于，所述步骤S6具体是将带有损害的路面图像和恢复结果图进行逐像素相减，以得到相应的重建误差图。
10.根据权利要求1所述的一种面向智慧城市建设的无监督路面损害检测方法，其特征在于，所述步骤S7具体是对重建误差图依次执行图像过滤算法和图像分割算法，以过滤图像上的冗余信息、进行路面损害分割，所述图像过滤算法包括但不限于高斯滤波、双边滤波以及形态滤波，所述图像分割算法包括但不限于Otsu’s thresholding、trianglethresholding以及adaptive thresholding。
CN202210882633.4A 2022-07-26 2022-07-26 一种面向智慧城市建设的无监督路面损害检测方法 Pending CN115272224A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210882633.4A CN115272224A (zh) 2022-07-26 2022-07-26 一种面向智慧城市建设的无监督路面损害检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210882633.4A CN115272224A (zh) 2022-07-26 2022-07-26 一种面向智慧城市建设的无监督路面损害检测方法

Publications (1)

Publication Number Publication Date
CN115272224A true CN115272224A (zh) 2022-11-01

Family

ID=83768103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210882633.4A Pending CN115272224A (zh) 2022-07-26 2022-07-26 一种面向智慧城市建设的无监督路面损害检测方法

Country Status (1)

Country Link
CN (1) CN115272224A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775085A (zh) * 2023-02-13 2023-03-10 成都中轨轨道设备有限公司 一种基于数字孪生的智慧城市管理方法及系统
CN116433991A (zh) * 2023-06-14 2023-07-14 中国地质大学（武汉） 一种用于应急救援的震后建筑物受损评估方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775085A (zh) * 2023-02-13 2023-03-10 成都中轨轨道设备有限公司 一种基于数字孪生的智慧城市管理方法及系统
CN115775085B (zh) * 2023-02-13 2023-04-25 成都中轨轨道设备有限公司 一种基于数字孪生的智慧城市管理方法及系统
CN116433991A (zh) * 2023-06-14 2023-07-14 中国地质大学（武汉） 一种用于应急救援的震后建筑物受损评估方法
CN116433991B (zh) * 2023-06-14 2023-08-22 中国地质大学（武汉） 一种用于应急救援的震后建筑物受损评估方法

Similar Documents

Publication Publication Date Title
US11521379B1 (en) Method for flood disaster monitoring and disaster analysis based on vision transformer
Nhat-Duc et al. Automatic recognition of asphalt pavement cracks using metaheuristic optimized edge detection algorithms and convolution neural network
Jiang et al. A deep learning approach for fast detection and classification of concrete damage
CN111080620B (zh) 一种基于深度学习的道路病害检测方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
Liu et al. FPCNet: Fast pavement crack detection network based on encoder-decoder architecture
CN115272224A (zh) 一种面向智慧城市建设的无监督路面损害检测方法
CN110232380A (zh) 基于Mask R-CNN神经网络的火灾夜间场景复原方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN114693615A (zh) 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法
CN110135354B (zh) 一种基于实景三维模型的变化检测方法
CN112308826B (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN108564588B (zh) 一种基于深度特征和图割法的建成区自动提取方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN115841447A (zh) 一种磁瓦表面缺陷的检测方法
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN110866455B (zh) 一种路面水体检测方法
CN112836614B (zh) 一种基于残差网络和迁移学习的高分遥感图像分类方法
CN110059769A (zh) 用于街景理解的基于像素重排重建的语义分割方法及系统
CN117437201A (zh) 一种基于改进YOLOv7的道路裂缝检测方法
Cheng et al. Embankment crack detection in UAV images based on efficient channel attention U2Net
CN118379621A (zh) 一种基于无人机的大坝表面病害识别方法及系统
CN118552800A (zh) 一种边缘端部署的铁轨异物半监督异常检测方法及系统
Baduge et al. Assessment of crack severity of asphalt pavements using deep learning algorithms and geospatial system
Chu et al. Deep learning method to detect the road cracks and potholes for smart cities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination