CN113486721B - 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法 - Google Patents

一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法 Download PDF

Info

Publication number
CN113486721B
CN113486721B CN202110644921.1A CN202110644921A CN113486721B CN 113486721 B CN113486721 B CN 113486721B CN 202110644921 A CN202110644921 A CN 202110644921A CN 113486721 B CN113486721 B CN 113486721B
Authority
CN
China
Prior art keywords
crack
pavement
static
image
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110644921.1A
Other languages
English (en)
Other versions
CN113486721A (zh
Inventor
张庆龙
邓乃夫
朱燕文
黄镇苹
乔奥成
谭靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202110644921.1A priority Critical patent/CN113486721B/zh
Publication of CN113486721A publication Critical patent/CN113486721A/zh
Application granted granted Critical
Publication of CN113486721B publication Critical patent/CN113486721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提出了一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法，包括以下步骤：路面图像数据静态采集与标注，静态裂缝识别模型构建；通过静态裂缝识别模型识别动态采集的路面图像，经识别判断准则判别执行静态数据库存储或图像拆分动作；对不符合识别判断准则的图像分割处理，并经图像拆分判断准则判别执行静态裂缝识别模型识别或重新进入识别判断准则判别流程；依据由静态数据库和动态数据库构成的数据库构建动态裂缝识别模型；利用构建的动态裂缝识别模型不断更新已有的静态裂缝识别模型，实现静态裂缝识别模型的滚动优化。本发明通过引入裂缝识别模型的滚动优化机制，提高了裂缝检测准确率和检测效率。

Description

一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法
技术领域
本发明属于裂缝检测技术领域，特别涉及一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法。
背景技术
随着我国经济的日益繁荣，公路交通运输业得以迅速发展。公路基础设施的不断完善，不仅使得公路的交通运输效率和运输能力不断提升，也使公路里程数和公路运输能力大幅提升，但这带来一个难以回避的问题，即在行车载荷作用、自然因素和人为原因等多种因素影响下，路面会逐渐产生各种损坏、变形及其他缺陷等病害。常见的病害有：裂缝、坑槽、车辙、松散、沉陷、表面破损等。裂缝病害是路面病害的主要形式，对路面使用性能影响很大，不仅直接影响公路整体性能和寿命，也直接关系着行车安全性、舒适性和经济性。路面裂缝病害会破坏路面结构的整体性和连续性，并且会成为路表水侵入路基路面结构层的天然通道，若不及时处置，还有可能使裂缝继续延展形成龟裂造成路面脱落，引起结构性破坏，影响道路的行车舒适性与安全性。因此，作为道路养护工作的重点和难点的路面裂缝病害检测对道路养护管理确定路面养护计划、方法和预算至关重要。
目前，路面裂缝检测方法主要包括人工检测方法、二维裂缝检测方法和三维裂缝检测方法。人工检测方法由技术人员借助一些简单的仪器或者肉眼直接检测并记录，但该方法存在工作强度大、耗时长、劳动成本高、效率低、因人为因素易引发主观误判、可重复性差、难以满足信息时效性的需求等缺点。为了解决上述问题，二维裂缝检测方法和三维裂缝检测方法得以提出和发展。二维裂缝检测方法采用工业相机进行路面信息采集，利用人工智能和图像处理技术对路面裂缝进行检测。比较有代表性的二维裂缝检测方法有：基于边缘检测(如Prewitt算子)的路面裂缝检测方法；基于自适应视觉裂缝检测的结构状态监测方法；基于人工神经网络和深度学习(如卷积神经网络、改进全卷积神经网络、融合Gabor滤波器与卷积神经网络、深度卷积融合神经网络、人工蜂群算法-脉冲耦合神经网络算法、基于转置神经网络层间特征融合、组合的启发式优化边缘检测算法和卷积神经网络)的路面裂缝检测方法；基于多源数据融合的路面裂缝识别方法；基于语义分割的路面裂缝快速分类方法等。二维裂缝检测方法存在如下缺点：大量需人工设置的经验参数，固定的参数使得此类方法鲁棒性较差，难以对噪声复杂、光照不均、存在阴影遮挡的路面图像进行有效检测，无法满足道路维护及时、高效的需求；对路面油污、轮胎痕迹、黑斑、树木阴影、光照不均等干扰因素非常敏感，测量精度误差较大且易产生误判现象；由于裂缝具有多样性、形状和强弱均不固定会造成过大的计算量；较大的步长往往使得在最后的预测图中丢失较多裂缝信息，且受计算机性能的限制，庞大的神经网络模型在训练过程中会耗费大量的时间，无法快速得到结果；当前大多数研究基于裂缝是线性裂缝的假设，现有的研究方法不足以捕获高曲率的裂缝；现有的检测分割方法不适用于常见复杂的裂缝如分叉裂缝、网状裂缝等；当前的方法并没有较好地处理因沿裂缝方向的强度不均匀性导致裂缝像素被错误分类为非裂缝像素。
随着激光扫描、激光雷达、照相机立体视觉、结构光三维检测、探地雷达、超声波、三维摄像等新技术的发展，三维裂缝检测技术成为新的发展方向。三维路面裂缝检测技术直接获取路面的三维信息，从深度上区分路面与裂缝，不受光照不均、阴影等的影响，但是，三维路面裂缝检测技术存在许多问题和不足有待解决。具体如下：1)在获取路面三维信息时，由于裂缝与路面凸起等导致的遮挡、路面材料反射特性的差异导致扫描的误差等原因，使得获取的数据中缺失了裂缝等的部分信息，直接影响三维裂缝的检测效果；2)在路面三维数据采集过程中，当路面上存在非裂缝引起的深度变化时，获得的三维信息将不能反映路面裂缝的真实情况；3)当路面裂缝无明显高度变化如被沙土填充时，无法准确获得裂缝数据，获得的三维信息将不能反映路面裂缝的真实情况，也会存在误判的情况；4)由于三维裂缝检测技术存在盲目性和不确定性，在对路面采样信息不足的情况下容易产生误检，即将非裂缝信息检测为裂缝信息；5)虽然也能获得路面的二维灰度信息，然而得到的二维图像质量不高；6)三维裂缝检测方法仍需人工逐一对每幅图像进行裂缝标注、裂缝分类统计处理，以及根据路面裂缝评价标准对记录的裂缝进行评价，从而大大增加了检测人员的工作量。
纵观国内外各种路面裂缝检测方法，从胶卷采集图像到普通摄像机，再到高分辨率CCD摄像头，最后出现了激光等三维裂缝检测技术，除了激光等三维裂缝检测技术，其他均是利用普通图像对路面裂缝二维检测，研究主要集中在对裂缝的识别和分类上。由于路面情况复杂，噪声、纹理等大量外界干扰因素的存在，单纯依靠目前现有的二维或者三维裂缝检测技术难以实现路面病害尤其是裂缝检测的高识别率和低误判率，检测系统精度低，检测结果不确定性大。此外，二维路面裂缝检测方法对于裂缝的发育程度以及基于裂缝分类评价发育程度的研究较少；三维路面裂缝检测方法往往因其数据量太大致使检测系统需投入大量的存储成本和算力，不利于实现路面裂缝的实时识别和检测。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法，以期至少部分地解决上述技术问题中的至少之一。
为了实现上述目的，本发明采用的技术方案是：
一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法，包括以下步骤：
步骤1，路面图像数据静态采集与标注，并形成静态数据库，基于该数据库进行静态裂缝识别，进而构建静态裂缝识别模型。
其中路面图像数据静态采集与标注过程为三步，即：
图像采集，在役公路段采集图像资料M张(M≥1000)，图像大小统一处理为正方形；
图像分组，根据采集到的每张图像上的裂缝数量，将图像按照1根裂缝、2-3根裂缝、4-5根裂缝以及5根以上裂缝进行分组；
图像标注，利用机器识别标注软件LabelMe对以上4组图像进行人工标注，建立路面裂缝的静态数据库。
本步骤所构建的静态裂缝识别模型为像素级实例分割与目标检测模型Mask-RCNN，构建思路为：将1根裂缝的图像进行识别操作，得到识别权重W1，再利用迁移学习训练2-3根裂缝的图像，得到识别权重W2，进而继续利用迁移学习得到4-5根裂缝的识别权重W3以及5根以上裂缝的识别权重W4，最终构建出所需的Mask-RCNN型静态裂缝识别模型。
步骤2，路面图像数据动态采集，通过静态裂缝识别模型进行识别，并经识别判断准则即K≥K1来判断执行下一步动作，在该识别判断准则约束下，识别精度K大于或等于设定阈值K1，才可将相应的路面图像数据存入静态数据库，若识别精度K小于K1，则进入图像拆分环节；可设定阈值默认为0.9，该阈值可根据工程实际需求进行动态调整。
步骤3，图像拆分环节由图像分割实现：将不符合识别判断准则的路面图像分割成4张相同大小的子图片，子图片可均为正方形图片；并经图像拆分判断准则即子图片裂缝总数是否大于3根来判断执行下一步动作，若某张子图片裂缝总数小于或等于3根，则对其进行图像标注，图像标注利用机器识别标注软件LabelMe进行人工标注实现，然后存入动态数据库，否则将其输入静态裂缝识别模型识别，然后重新进入识别判断准则判别流程。
步骤4，动态数据库路面图像数据达到N张(N≥100)，可依据由静态数据库和动态数据库构成的数据库进行动态裂缝识别，然后构建动态裂缝识别模型；本步骤构建的动态裂缝识别模型为像素级实例分割与目标检测模型Mask-RCNN。
步骤5，以构建的动态裂缝识别模型更新已有的静态裂缝识别模型，在路面图像数据动态采集与裂缝动态识别过程中，实现静态裂缝识别模型的不断更新，即实现静态裂缝识别模型的滚动优化。
本发明像素级实例分割与目标检测模型Mask-RCNN主要通过多尺度特征映射卷积神经网络、RPN裂缝锚选区提取、裂缝锚选区确定与裂缝识别提取实现训练构建。具体训练构建过程为：利用多尺度特征映射卷积神经网络对路面裂缝图像上不同尺度的裂缝特征进行分层采样提取；利用区域建议网络(Region Proposal Networks，RPN)针对路面裂缝区域进行初步的锚选，并引入双线性插值算法或非线性插值算法，将不同尺寸与比例的锚选框进行标准化，最终形成若干标准化候选框；候选锚选框将再次通过一个全连接卷积操作，二次提取更高层次的图像语义信息，分别通过锚选框回归层与分类归一化层，依次得到最终的路面裂缝锚选框区域以及锚选框内路面裂缝的标签信息。
进而，基于静态数据库可构建Mask-RCNN型静态裂缝识别模型，而基于由静态数据库和动态数据库构成的数据库可构建Mask-RCNN型动态裂缝识别模型。
与现有技术相比，本发明的有益效果是：
1.本发明使用像素级实例分割与目标检测模型Mask-RCNN的方式，通过同时检测出目标的位置并且对目标进行分割的方式对路面裂缝进行识别，优化路面裂缝识别过程与识别效果。
2.本发明采用静态数据库与动态数据库相结合的方式训练构建裂缝识别模型，使路面裂缝信息更加丰富和完善，有利于提升构建的裂缝识别模型的识别精度。
3.本发明实现了路面裂缝类型的定量识别，提高了路面裂缝检测效率，降低了检测成本。
4.本发明采用滚动优化的方式不断构建新的Mask-RCNN型动态裂缝识别模型，并替换更新原有Mask-RCNN型静态裂缝识别模型，使路面裂缝识别模型的识别精度得到不断提升。
综上，本发明可高效分类识别路面裂缝信息，显著减少路面裂缝分类识别所需时间，通过滚动优化方式，不断丰富路面裂缝信息、提升路面裂缝识别精度，具有较好的应用价值。
附图说明
图1是一个实施例中基于滚动优化裂缝分类识别模型的路面裂缝检测方法的原理框图。
图2是一个实施例中Mask-RCNN网络结构示意图。
图3是一个实施例中基于滚动优化裂缝分类识别模型对单根裂缝型路面图像进行检测的效果图。
图4是一个实施例中基于滚动优化裂缝分类识别模型对双根裂缝型路面图像进行检测的效果图。
具体实施方式
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例1：
本实施例给出了一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法，如图1，包括以下步骤：
步骤1，路面图像数据静态采集与标注，并形成静态数据库，基于该数据库进行静态裂缝识别，进而构建静态裂缝识别模型。
作为本发明的一种具体实施方式，路面图像的采集方式可以采用检测车采集或者智能手机拍摄。
在一种实施例下，路面图像数据静态采集与标注过程为三步，即图像采集、图像分组和图像标注。
图像采集：在役公路段采集图像资料M张(M≥1000)，图像大小统一处理为正方形；
图像分组：根据采集到的每张图像上的裂缝数量，将图像按照1根裂缝、2-3根裂缝、4-5根裂缝以及5根以上裂缝进行分组；
图像标注：利用机器识别标注软件LabelMe对以上4组图像进行人工标注，建立路面裂缝静态数据库。
在具体实施过程中，构建的静态裂缝识别模型为像素级实例分割与目标检测模型Mask-RCNN，其网络结构示意图如图2所示；该模型构建思路为：
S1:先将1根裂纹的子图像进行识别操作，得到识别模型W1；
S2:再利用迁移学习将识别模型W1用于训练2-3根裂纹的子图像，得到识别模型W2；
S3:继续利用迁移学习将识别模型W2用于训练4-5根裂纹的子图像得到识别模型W3；
S4:同理利用识别模型W3训练得到5根以上裂纹的识别模型W4；
S5:最后，利用识别模型W4对原始图像进行训练，得到最终的识别模型W5。
S1至S5每一步的图像识别与模型训练的具体流程均通过如下三步实现：
1)多尺度特征映射卷积神经网络构建
在具体实施时，由于路面裂缝存在尺寸效应，即裂缝的尺度不均，对识别算法的挑战较大，因此，本发明利用多尺度特征映射卷积神经网络对路面裂缝图像上不同尺度的裂缝特征进行分层采样提取。卷积神经网络能够利用不同的卷积核将目标图像矩阵中的不同特征提取出来，对于机器视觉而言，图像的特征主要体现为纹理特征，对应到路面裂缝主体，可以理解为路面裂缝的平直纹理、竖直纹理、倾斜纹理等。
为了能够将不同路面裂缝的纹理特征都投影到特征映射层，本发明采用5种卷积核，分别提取路面裂缝的平直、竖直、倾斜、环形、交叉纹理特征。卷积核的大小通常是确定的，一般为1×1、2×2、3×3、5×5的矩阵，小的卷积核在对图像进行卷积操作的时候能够保留更多的细节，但会带来更大的计算量和资源占用率，选取统一尺寸的卷积核通常难以在有限的时间成本内获取足够细致的纹理特征，特别是在对路面裂缝这种尺度差异显著的识别主体上。
因此，本发明采用下采样的形式，通过对原始图像进行2倍、4倍、8倍、16倍、32倍等的缩放操作，使得在最底层(最低倍缩放层)的图像能够保留最小尺度路面裂缝信息，在最高层(最高倍缩放层)的图像能够突出最大尺度的路面裂缝信息，中间层分别突出相应尺度的路面裂缝信息。通过图像缩放后，再利用固定尺寸的卷积核进行特征纹理提取操作，能够实现路面裂缝多尺度特征提取的目的。
2)基于区域建议网络的裂缝锚选区提取
在具体实施时，卷积神经网络能够获得的含有不同尺度纹理特征的图像，但是提取的纹理特征不光包含了路面裂缝的特征，还囊括了背景基质中的特征，因此，为了缩小识别区域，还需利用区域建议网络(RPN)，针对路面裂缝区域进行初步的锚选。具体而言，RPN会在多尺度卷积神经网络的基础上，利用多种尺度的锚选框，以每张图像上的每个像素点为中心，生成锚选框。例如对于一张下采样后变为256×256的图像，针对每个像素点，利用5种不同尺度的锚选框，每种锚选框拥有3种长宽比，则可在全图生成256×256×5×3＝983040个初始锚选框。接着利用交并比与非最大抑制算法与标注图像上的真实锚选区域进行比对筛选，最终获取足量的能够表征所有裂缝区域的锚选框。但此时获取的锚选框具有不同的尺寸和比例，不利于后续路面裂缝的识别操作，因此可再引入双线性插值算法，将不同尺寸与比例的锚选框进行标准化，最终形成一定数量的标准化候选框传入全卷积网络中。
3)裂缝锚选区确定与裂缝识别提取
候选锚选框将再次通过一个全卷积操作，二次提取更高层次的图像语义信息，分别通过分类归一化层，利用sigmoid激活函数将特征图信息归一化，得到最终的路面裂缝锚选框区域以及锚选框内路面裂缝的标签信息。同时，二次卷积后的特征图会通过一个锚选回归层，利用候选锚选框的位置坐标与真实标注路面裂缝区域的位置坐标进行对比，通过优化二者的坐标误差函数对预测的候选锚选框进行微调，不断修正其与真实路面裂缝区域的位置差异，实现最终路面裂缝区域的锚选；分类归一化层的目的是对锚选框的主体进行语义识别，即识别锚选框内的主体是否是路面裂缝。最后，再利用一个裂缝掩码卷积与平均二值交叉熵算法对最终锚选框内的特征异化区域进行试探性掩码涂抹，反复训练最小化其与标注掩码信息的残差，得到最终的裂缝真实掩码区域。至此，实现了岩体裂缝的最终识别与提取，并输出最终的Mask-RCNN型静态裂缝识别模型。
步骤2，路面图像数据动态采集，通过静态裂缝识别模型进行识别，并经识别判断准则来判断执行下一步动作；
在本实施例中，识别判断准则为K≥K1，在该识别判断准则约束下，识别精度K需大于或等于设定阈值K1，才可将路面图像数据存入静态数据库，否则进入图像拆分环节；设定阈值默认为0.9，该阈值可根据工程实际需求进行动态调整。
步骤3，在实施例中，图像拆分环节由图像分割实现：将不符合识别判断准则的路面图像分割成4张相同大小的子图片，子图片均为正方形图片；并经图像拆分判断准则即子图片裂缝总数是否大于3根来判断执行下一步动作，若某张子图片裂缝总数小于或等于3根，则对其进行图像标注，图像标注利用机器识别标注软件LabelMe进行人工标注实现，然后存入动态数据库；否则，将其输入静态裂缝识别模型识别，然后重新进入识别判断准则判别流程。
步骤4，动态数据库路面图像数据达到N张(N≥100)，可依据由静态数据库和动态数据库构成的数据库进行动态裂缝识别，然后构建动态裂缝识别模型；
在本实施例中，动态裂缝识别模型为像素级实例分割与目标检测模型Mask-RCNN，基于由静态数据库和动态数据库构成的数据库，采用前述Mask-RCNN型静态裂缝识别模型的训练方法进行训练，进而构建Mask-RCNN型动态裂缝识别模型。
步骤5，利用构建的动态裂缝识别模型不断更新已有的静态裂缝识别模型，在路面图像数据动态采集与裂缝动态识别过程中，实现静态裂缝识别模型的滚动优化。
图3和图4分别是基于滚动优化裂缝分类识别模型对单根和双根裂缝型路面图像进行检测的效果图。由图3和图4可得到路面裂缝的类别名称、该路面裂缝的可信程度、裂缝的像素位置、裂缝的数量、裂缝的长度宽度以及角度信息。从图中可以看出完整路面裂缝信息，说明了其具有较高的识别精度。

Claims (7)

1.一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法，其特征在于，包括以下步骤：
步骤1，路面图像数据静态采集与标注，并形成静态数据库，基于该静态数据库进行静态裂缝识别，进而构建静态裂缝识别模型；
步骤2，路面图像数据动态采集，通过所述静态裂缝识别模型进行识别，并经识别判断准则来判断执行下一步动作，即：若识别精度K大于或等于设定阈值K1，则将相应图像数据存入静态数据库，若识别精度K小于设定阈值K1，则进入图像拆分环节；
步骤3，将不符合识别判断准则的单个图像分割成4张相同大小的子图片，并经图像拆分判断准则来判断执行下一步动作，即：若某张子图片裂缝总数小于或等于3根，则对其进行图像标注，然后存入动态数据库，否则将其输入静态裂缝识别模型重新进行裂缝识别，然后重新进入识别判断准则判别流程；
步骤4，当动态数据库路面图像数据达到N张，N≥100，则依据由静态数据库和动态数据库构成的数据库进行动态裂缝识别，然后构建动态裂缝识别模型；
步骤5，以构建的动态裂缝识别模型更新已有的静态裂缝识别模型，在路面图像数据动态采集与路面裂缝动态识别过程中，实现静态裂缝识别模型的动态更新，即实现静态裂缝识别模型的滚动优化，基于该模型进行路面裂缝的检测；
其中，所述静态裂缝识别模型和动态裂缝识别模型均为像素级实例分割与目标检测模型Mask-RCNN，所述像素级实例分割与目标检测模型Mask-RCNN通过多尺度特征映射卷积神经网络、RPN裂缝锚选区提取、裂缝锚选区确定与裂缝识别提取实现；
具体训练过程为：利用多尺度特征映射卷积神经网络对路面裂缝图像上不同尺度的裂缝特征进行分层采样提取；利用区域建议网络(Region Proposal Networks，RPN)针对路面裂缝区域进行初步的锚选，并引入双线性插值算法或非线性插值算法，将不同尺寸与比例的锚选框进行标准化，最终形成若干标准化候选框；候选锚选框将再次通过一个全连接卷积操作，二次提取更高层次的图像语义信息，分别通过锚选框回归层与分类归一化层，依次得到最终的路面裂缝锚选框区域以及锚选框内路面裂缝的标签信息。
2.根据权利要求1所述基于滚动优化裂缝分类识别模型的路面裂缝检测方法，其特征在于，所述步骤1中路面图像数据静态采集与标注过程分为三步，即图像采集、图像分组和图像标注。
3.根据权利要求2所述基于滚动优化裂缝分类识别模型的路面裂缝检测方法，其特征在于，所述图像采集是于在役公路段采集图像M张，M≥1000，图像大小统一处理为正方形；图像分组是根据采集到的每张图像上的裂缝数量，将图像按照1根裂缝、2-3根裂缝、4-5根裂缝以及5根以上裂缝分为4组；图像标注是利用机器识别标注软件LabelMe对以上4组图像进行人工标注，建立路面裂缝的静态数据库。
4.根据权利要求1所述基于滚动优化裂缝分类识别模型的路面裂缝检测方法，其特征在于，所述静态裂缝识别模型的构建方法为：将1根裂缝的图像进行识别操作，得到识别权重W1，再利用迁移学习训练2-3根裂缝的图像，得到识别权重W2，进而继续利用迁移学习得到4-5根裂缝的识别权重W3以及5根以上裂缝的识别权重W4，最终构建出所需的Mask-RCNN型静态裂缝识别模型。
5.根据权利要求1所述基于滚动优化裂缝分类识别模型的路面裂缝检测方法，其特征在于，所述动态裂缝识别模型基于由静态数据库和动态数据库构成的数据库进行训练构建，具体训练构建过程与基于静态数据库进行的训练构建过程一致，如下：
利用多尺度特征映射卷积神经网络对路面裂缝图像上不同尺度的裂缝特征进行分层采样提取；利用区域建议网络(Region Proposal Networks，RPN)针对路面裂缝区域进行初步的锚选，并引入双线性插值算法或非线性插值算法，将不同尺寸与比例的锚选框进行标准化，最终形成若干标准化候选框；候选锚选框将再次通过一个全连接卷积操作，二次提取更高层次的图像语义信息，分别通过锚选框回归层与分类归一化层，依次得到最终的路面裂缝锚选框区域以及锚选框内路面裂缝的标签信息，进而构建出基于由静态数据库和动态数据库构成的数据库的Mask-RCNN型动态裂缝识别模型。
6.根据权利要求1所述基于滚动优化裂缝分类识别模型的路面裂缝检测方法，其特征在于，所述设定阈值K1为0.9。
7.根据权利要求1所述基于滚动优化裂缝分类识别模型的路面裂缝检测方法，其特征在于，所述步骤3中路面图像分割成的4张相同大小的子图片均为正方形图片，图像标注利用机器识别标注软件LabelMe进行人工标注实现。
CN202110644921.1A 2021-06-09 2021-06-09 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法 Active CN113486721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110644921.1A CN113486721B (zh) 2021-06-09 2021-06-09 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110644921.1A CN113486721B (zh) 2021-06-09 2021-06-09 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法

Publications (2)

Publication Number Publication Date
CN113486721A CN113486721A (zh) 2021-10-08
CN113486721B true CN113486721B (zh) 2023-08-29

Family

ID=77934671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110644921.1A Active CN113486721B (zh) 2021-06-09 2021-06-09 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法

Country Status (1)

Country Link
CN (1) CN113486721B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797141A (zh) * 2016-09-05 2018-03-13 中国石油化工股份有限公司 一种反演裂缝性质的方法
CN109690615A (zh) * 2016-09-15 2019-04-26 三菱电机株式会社 物体检测装置和物体检测方法
CN110197203A (zh) * 2019-05-08 2019-09-03 湖北民族大学 基于宽度学习神经网络的桥梁路面裂缝分类识别方法
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN110349122A (zh) * 2019-06-10 2019-10-18 长安大学 一种基于深度卷积融合神经网络的路面裂缝识别方法
CN111242955A (zh) * 2020-01-21 2020-06-05 河海大学 基于全卷积神经网络的道路表面裂缝图像分割方法
CN111626092A (zh) * 2020-03-26 2020-09-04 陕西陕北矿业韩家湾煤炭有限公司 一种基于机器学习的无人机影像地裂缝识别及提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797141A (zh) * 2016-09-05 2018-03-13 中国石油化工股份有限公司 一种反演裂缝性质的方法
CN109690615A (zh) * 2016-09-15 2019-04-26 三菱电机株式会社 物体检测装置和物体检测方法
CN110197203A (zh) * 2019-05-08 2019-09-03 湖北民族大学 基于宽度学习神经网络的桥梁路面裂缝分类识别方法
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN110349122A (zh) * 2019-06-10 2019-10-18 长安大学 一种基于深度卷积融合神经网络的路面裂缝识别方法
CN111242955A (zh) * 2020-01-21 2020-06-05 河海大学 基于全卷积神经网络的道路表面裂缝图像分割方法
CN111626092A (zh) * 2020-03-26 2020-09-04 陕西陕北矿业韩家湾煤炭有限公司 一种基于机器学习的无人机影像地裂缝识别及提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张锐.基于云端的路面裂缝检测系统设计与实现.《中国优秀硕士学位论文全文数据库信息科技辑》.2019,(第01期),I138-3705. *

Also Published As

Publication number Publication date
CN113486721A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
Ai et al. Computer vision framework for crack detection of civil infrastructure—A review
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN106548182B (zh) 基于深度学习和主成因分析的路面裂纹检测方法及装置
CN109255350B (zh) 一种基于视频监控的新能源车牌检测方法
CN106845408A (zh) 一种复杂环境下的街道垃圾识别方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN112308826B (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN105825169B (zh) 一种基于道路影像的路面裂缝识别方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN110309765B (zh) 一种视频运动目标高效检测方法
CN114581764B (zh) 基于深度学习算法的地下结构裂纹病害判别方法
CN114005081A (zh) 一种烟丝异物智能检测装置及方法
CN114066808A (zh) 一种基于深度学习的路面缺陷检测方法及系统
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
Sarmiento Pavement distress detection and segmentation using YOLOv4 and DeepLabv3 on pavements in the Philippines
CN113392849A (zh) 一种基于r-cnn的复杂路面裂缝识别方法
CN115393587A (zh) 基于融合卷积神经网络的高速公路沥青路面病害感知方法
CN115272224A (zh) 一种面向智慧城市建设的无监督路面损害检测方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN113486721B (zh) 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法
CN105205485B (zh) 基于多类类间最大方差算法的大尺度图像分割算法
CN111597939A (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN113066041A (zh) 一种基于栈稀疏自编码深度学习的路面裂缝检测方法
CN116051539A (zh) 一种变电设备发热故障的诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant