CN116485767A - 基于图像分类与分割的路面裂缝图像检测方法及系统 - Google Patents

基于图像分类与分割的路面裂缝图像检测方法及系统 Download PDF

Info

Publication number
CN116485767A
CN116485767A CN202310466763.4A CN202310466763A CN116485767A CN 116485767 A CN116485767 A CN 116485767A CN 202310466763 A CN202310466763 A CN 202310466763A CN 116485767 A CN116485767 A CN 116485767A
Authority
CN
China
Prior art keywords
image
crack
sub
data set
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310466763.4A
Other languages
English (en)
Inventor
杨旭
李硕
樊康
张建奇
管进超
丁玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202310466763.4A priority Critical patent/CN116485767A/zh
Publication of CN116485767A publication Critical patent/CN116485767A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像分类与分割的路面裂缝图像检测方法及系统，通过将待检子图数据集输入至预训练好的图像分类神经网络模型，获得待检子图数据集中每张待检子图的类别概率，取概率高者的类别为当前子图标签，并按照标签将待检子图数据集划分成裂缝子图数据集以及非裂缝子图数据集，将裂缝子图数据集输入至预训练好的裂缝分割神经网络，遍历每张裂缝子图的每个像素并计算其类别概率，取概率高者类别为当前像素标签，可以检测大尺寸路面裂缝图像，解决了因计算机算力不足而无法对大尺寸路面裂缝图像进行裂缝检测的问题，同时减少分割模型对非裂缝区域进行的冗余分割操作，进而提高裂缝图像的处理效率。

Description

基于图像分类与分割的路面裂缝图像检测方法及系统
技术领域
本发明属于道路病害检测领域，具体涉及一种基于图像分类与分割的路面裂缝图像检测方法及系统。
背景技术
随着公路建设的快速发展，在公路建养并重的大趋势下，公路养护已经成为延长公路使用寿命的一种重要方式，公路病害检测作为精准化养护的前提更是尤为重要，路面裂缝作为公路上最常见的病害，有着体量庞大、引发原因多、形态多样等特点，在各种外在荷载的综合作用下裂缝易发展成为剥落、坑槽等其他病害，将严重影响路况以及行车安全，采用高效精准的裂缝检测手段并制定相应的养护措施，能够使公路显著延寿，并且保证交通人员的行驶舒适性以及安全性。
目前，道路病害检测已从过去的人工肉眼识别记录过渡到利用计算机视觉自动定位识别裂缝位置。为准确定位裂缝位置、提取裂缝信息，授权公告号为CN201810492666.1的中国发明专利“一种基于PCA的端到端路面裂缝检测识别方法”公布了一种基于深度学习的裂缝检测方法，其主要技术特征是通过对路面图像进行预处理并标记类别，输入到深度神经网络模型中训练，待训练完成后可利用该模型对路面图像裂缝的存在性进行判别，但该方法只能对路面图像进行有无裂缝的划分，并不能准确提取裂缝的形态信息，现有的方法无法直接对大分辨率路面裂缝图像进行检测。
发明内容
本发明的目的在于提供一种基于图像分类与分割的路面裂缝图像检测方法及系统，以克服现有技术的不足。
一种基于图像分类与分割的路面裂缝图像检测方法，包括以下步骤：
S1，对待检裂缝图像进行一定尺寸的裁剪切割，相邻两次横向或纵向的裁剪子图彼此部分重叠，所有图像裁剪完毕形成待检子图数据集；
S2，将待检子图数据集输入至预训练好的图像分类神经网络模型，获得待检子图数据集中每张待检子图的类别概率，取概率高者的类别为当前子图标签，并按照标签将待检子图数据集划分成裂缝子图数据集以及非裂缝子图数据集，其中裂缝子图数据集包括横向裂缝数据子集、纵向裂缝数据子集和网状裂缝数据子集；
S3，将裂缝子图数据集输入至预训练好的裂缝分割神经网络，遍历每张裂缝子图的每个像素并计算其类别概率，取概率高者类别为当前像素标签，按照像素标签将裂缝子图像素划分成裂缝像素以及非裂缝像素，得到裂缝子图分割结果。
优选的，步骤S1中图像边界处若不能完整切割，则利用0像素将余下图像补齐至与裁剪子图相同分辨率。
优选的，在裂缝分割网络进行预训练的过程中，选择可使用带有权重的交叉熵GFL(p)作为损失函数，计算输入图像与对应标签图之间的差异，更新网络框架中的神经元激活值参数，让差异最小化：
GFL(p)＝-α(1-p)γ×ylog(p)-(1-α)pγ×(1-y)log(1-p)
式中：p为目标被预测为正样本的概率，y为目标的标签值，α与γ为可调节的超参数；若真实标签为正样本，则p值越大模型越准确，若真实标签为负样本，则p值越小模型越准确。
优选的，将待检裂缝子图数据集输入至与训练好的图像分类网络模型进行图像筛选，图像分类网络模型包括12个卷积单元，1个池化层以及1个全连接层，卷积单元用于生成图像边缘轮廓、颜色的细节特征图，池化层用于收缩特征图维度同时向下层传递特征信息，全连接层用于分类，卷积单元将图像数据映射至特征空间中，全连接层在特征空间中的特征信息整合。
优选的，裂缝分割神经网络包括编码单元、解码单元以及预测单元；编码单元含有10个卷积层和4个最大池化层，解码单元含有8个卷积层、4个上采样层以及4个特征融合层，预测单元含有1个卷积层；编码单元以及解码单元的卷积层都为3×3的卷积核，步长为1，最大池化层采用2×2的池化核；解码单元包括4个解码子单元，解码子单元包括1个上采样层、1个特征融合层和2个卷积层。
一种基于图像分类与分割的路面裂缝图像检测系统，包括图像预处理模块、检测模块与信息输出模块；
图像预处理模块，对待检裂缝图像进行一定尺寸的裁剪切割，相邻两次横向或纵向的裁剪子图彼此部分重叠，所有图像裁剪完毕形成待检子图数据集。
检测模块，将待检子图数据集输入至预训练好的图像分类神经网络模型，获得待检子图数据集中每张待检子图的类别概率，取概率高者的类别为当前子图标签，并按照标签将待检子图数据集划分成裂缝子图数据集以及非裂缝子图数据集，其中裂缝子图数据集包括横向裂缝数据子集、纵向裂缝数据子集和网状裂缝数据子集；将裂缝子图数据集输入至预训练好的裂缝分割神经网络，遍历每张裂缝子图的每个像素并计算其类别概率，取概率高者类别为当前像素标签；
信息输出模块，按照像素标签将裂缝子图像素划分成裂缝像素以及非裂缝像素，得到裂缝子图分割结果。
优选的，图像预处理模块包括图像生成模块、图像增强模块和尺寸变换模块；
图像生成模块，用于对输入的大分辨率路面裂缝图像进行裁剪，以一定的固定尺寸将输入原图裁剪成若干子图，横向及纵向的两次相邻裁剪应部分重叠；
图像增强模块，用于对输入图像进行对比度变化、边缘锐化等操作，使图像裂缝特征信息更加明显，便于神经网络对裂缝特征的提取；
尺寸变换模块，用于将输入图像进行插值计算，缩放至神经网络的输入图像尺寸要求。
优选的，输入图像可选为相机拍摄原图、点云生成的深度图、前两者的叠加图以及单通道灰度图，同时记录下原图对应实际路面长度N以及宽度M。
优选的，尺寸变化模块中采用在图像x、y轴两个方向对图像像素进行插值计算，插值计算结果应与神经网络图像输入尺寸保持一致。
优选的，信息输出模块将统计裂缝图像处理过程中获得的裂缝子图左上角坐标、裂缝子图类别、子图分辨率，并根据原图横纵比例尺计算裂缝实际面积、裂缝平均宽度以及裂缝长度。
与现有技术相比，本发明具有以下有益的技术效果：
本发明一种基于图像分类与分割的路面裂缝图像检测方法，通过将待检子图数据集输入至预训练好的图像分类神经网络模型，获得待检子图数据集中每张待检子图的类别概率，取概率高者的类别为当前子图标签，并按照标签将待检子图数据集划分成裂缝子图数据集以及非裂缝子图数据集，其中裂缝子图数据集包括横向裂缝数据子集、纵向裂缝数据子集和网状裂缝数据子集；将裂缝子图数据集输入至预训练好的裂缝分割神经网络，遍历每张裂缝子图的每个像素并计算其类别概率，取概率高者类别为当前像素标签，可以检测大尺寸路面裂缝图像，解决了因计算机算力不足而无法对大尺寸路面裂缝图像进行裂缝检测的问题。
本发明通过对大分辨率图像进行叠加裁剪、图像增强以及尺寸变换，较好的保存了原图中的裂缝特征信息，避免了因裁剪子图边界与裂缝走向一致且重叠而无法检测准确的问题。
本发明中提供的双层神经网络框架模型将传统的图像分类与图像分割两个流程融合起来，图像分类精度高，处理速度比图像分割速度快，即先对待检数据集进行预筛选，挑选出裂缝图像，再输入至图像分割网络进行像素预测，避免对非裂缝图像进行冗余操作，大大节省了检测时间，提高检测效率。
本发明中提供的裂缝图像检测方法与系统还可以在检测过程中获取裂缝的位置信息、裂缝类别以及裂缝形态信息并记录保存，便于路面PCI的计算以及相应养护措施的制定。
附图说明
图1是本发明实施例提供的一种双阶段路面裂缝图像检测方法的流程图。
图2是本发明实施例提供的图像分类神经网络的结构图。
图3是本发明实施例提供的三种卷积方式示意图。
图4是本发明实施例提供的裂缝分割神经网络的结构图。
图5是本发明实施例提供的双阶段路面裂缝图片检测系统的框图。
图6是本发明实施例提供的裂缝分割二值图的效果图。
图7是本发明实施例提供的裂缝预测效果图。
图8是本发明实施例提供的裂缝二值图骨架化的效果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明一种基于图像分类与分割的路面裂缝图像检测方法，具体包括以下步骤：
S1，对待检裂缝图像进行尺寸的裁剪切割，相邻两次横向或纵向的裁剪子图彼此部分重叠，图像边界处若不能完整切割，则利用0像素将余下图像补齐至与裁剪子图相同分辨率，所有图像裁剪完毕形成待检子图数据集。
具体的，对待检裂缝图像进行裂缝标注，获得待检裂缝图像标签图，并将原图与标签图裁剪成相同的小尺寸图像，生成小尺寸图像训练集与验证集，分别输入至图像分类网络模型与裂缝分割神经网络模型进行预训练，得到两者的参数权重。
步骤S101：获取一定数量大分辨率的路面裂缝图像，并裁剪为子图数据集，将该数据集的图像数据划分成非裂缝子图数据集与裂缝子图数据集，其中，裂缝子图数据集包括横向裂缝子图数据集、纵向裂缝子图数据集以及网状裂缝子图数据集。对裂缝子图数据集进行裂缝标记，获得裂缝标签图，将裂缝子图数据集与标签图输送至裂缝分割网络进行预训练，将非裂缝子图数据集与裂缝子图数据集输送至图像分类网络进行预训练，获得经预训练的图像分类以及裂缝分割神经网络参数权重。
具体的，在裂缝分割网络进行预训练的过程中，因为裂缝自身形态细小的缘故，在图像中只占有很小的面积比重，故选择可使用带有权重的交叉熵GFL(p)作为损失函数，让神经网络更加关注难以学习的困难、错分样本，计算输入图像与对应标签图之间的差异，更新网络框架中的神经元激活值参数，让差异最小化：
GFL(p)＝-α(1-p)γ×ylog(p)-(1-α)pγ×(1-y)log(1-p)
式中：p为目标被预测为正样本的概率，y为目标的标签值，α与γ为可调节的超参数。若真实标签为正样本，则p值越大模型越准确，若真实标签为负样本，则p值越小模型越准确。
步骤S102：将待检裂缝数据集按照一定尺寸裁剪为待检裂缝子图，裁剪尺寸可选500×500或600×600，每次相邻裁剪操作部分重叠，重叠参数可选10％、15％、20％中任一种，保证裁剪尺寸可以被重叠参数整除，获得待检裂缝子图数据集，这种裁剪方式可避免因裁剪子图边界与裂缝重合造成的边缘信息丢失，提高裂缝检测精度。若裁剪尺寸不能完全覆盖原图，在原图边界处补充0像素，将边界处的裁剪子图补充至与裁剪尺寸相同。
步骤S103：将待检裂缝子图数据集输入至与训练好的图像分类网络模型进行图像筛选，所述图像分类神经网络模型结构图见图2，图像分类网络模型包括12个卷积单元，1个池化层以及1个全连接层，卷积单元用于生成图像边缘轮廓、颜色的细节特征图，池化层用于收缩特征图维度同时向下层传递特征信息，减少模型参数。全连接层在整个网络中起到分类器的作用，卷积单元将图像数据映射至特征空间中，全连接层在特征空间中的特征信息整合。
卷积单元有3种卷积方式，如图3所示；
方式1：用32个尺寸为3×3的卷积核对输入图像进行步长为2的卷积计算，提取特征的同时起到了降低维度的作用；
方式2：用用单个3×3的卷积核对每个通道进行卷积计算，生成各自通道的特征图，提取每个通道自身的图像信息特征，再用32个1×1卷积核对通道特征图进行的卷积计算，扩充不同通道在相同空间位置上的特征信息，输入图像在经过该种卷积层后产生的特征图与经过常规卷积层一致，但计算参数更少；
方式3：用单个3×3的卷积核对上一层输出特征图的每个通道进行步长为2的卷积计算，再用64个1×1卷积核继续对其进行的卷积计算。
其中，卷积方式2与3能够减少卷积计算参数：设输入特征图大小为a×a×b，用w个h×h的卷积核进行常规卷积产生的计算量为：
参数量＝w×b×h×h
而先用单个h×h的卷积核对输入特征图进行卷积运算，再用w个1×1的卷积核进行卷积运算产生的计算量为：
参数量＝b×h×h+b×w×1×1＝b×(h×h+w)
减少的参数量＝b×[h×h×w-(h×h+w)]
具体的，第1卷积单元采用卷积方式1，其余卷积单元采用卷积方式2，其中，第2、4、6、8、10卷积单元中的3×3卷积核的数量分别为32、64、128、256、512，其中，除第2卷积单元卷积步长为1以外，其余4个单元均为2，起到降低特征图维度的作用，第3、5、7、9、11卷积单元中的1×1卷积核数量为64、128、256、512和1024。在每进行一次卷积操作后，利用规范化函数将网络神经元激活值调整至服从均值为0，方差为1的正态分布：
式中，yi为规范化后的神经元激活值，β、γ为网络训练过程中得到的两个调节参数，xi为第i个神经元对应的原始的激活值，E[xi]、Val[xi]分别为一个训练批m个实例获得的m个激活值求得的均值和方差。
再利用非线性激活函数Relu6对线性输入进行非线性转化：
Relu6＝min(6，max(0，x))
提取了映射到特征空间的裂缝低维特征图后输入池化层，进行平均池化(即将上一层的输出特征图进行尺寸为7×7的全局平均池化，将特征图维度进一步收缩，用全连接层将高维特征图输出为一个n维向量，n代表该网络的分类数量，向量中的数字代表各类别的分类概率)，将低维特征图收缩至一维向量，全连接层整合一维向量中的数据信息，输出预测出的各种类别概率结果，用softmax函数将概率结果归一化并输出，softmax的表达式如下：
式中，Si为当前预测图像的被预测为i类的概率，j为所有类别数量，xi为图像被预测为第i类别的结果。按照softmax输出结果将待检裂缝子图数据集划分为裂缝子图数据集以及非裂缝子图数据集。
每次卷积操作后应使用规范化函数将网络神经元激活值调整至服从均值为0，方差为1的正态分布；且待检目标特征并非线性，引入非线性激活函数Relu6对线性输入进行非线性转化。
步骤S104：将裂缝子图数据集输入至裂缝分割神经网络进行裂缝像素分割，所述裂缝分割神经网络结构图见图4，裂缝分割神经网络是一种全卷积神经网络，是一种改进过的U-net神经网络，裂缝分割神经网络包括编码单元、解码单元以及预测单元。编码单元是一种改进过的vgg16模型，删掉了原模型的第7、10、13层的卷积层以及13层以后的池化层和全连接层，并替换原有的U-net的编码单元，将第9、10卷积层替换为通道卷积与点卷积，该单元主要用于裂缝特征信息的提取，把底层特征凝聚成高层特征图。
编码单元含有10个卷积层和4个最大池化层，解码单元含有8个卷积层、4个上采样层以及4个特征融合层，预测单元含有1个卷积层。编码单元以及解码单元的卷积层都为3×3的卷积核，步长为1，最大池化层采用2×2的池化核。
解码单元将编码单元提取到的高层特征图提升维度，采用两倍上采样扩充特征图维度，并与编码单元中相同尺寸的特征图相叠加，融合原有特征图的边缘特征，并使用相同尺寸但通道数为融合特征图通道数量一半的卷积核进行通道收缩，重复上述操作直至特征图尺寸与输入图像相同且收缩至单通道；预测单元采用2个1×1卷积核对最后一个特征图进行通道调整，利用softmax函数对通道调整过后的特征图进行像素分类计算，采用数值较大的概率类别作为当前像素标签。
具体的，将经筛选出的裂缝子图数据集输入至裂缝分割神经网络，输入图像先经过编码单元进行特征提取，该单元的主要结构为2个卷积层接1个最大池化层的重复结构，4个最大池化层分别位于第2、4、6、8层卷积层后进行特征图维度的降低，特征图每经历2个卷积层和1个最大池化层通道数量扩张1倍，图像尺寸缩减为原来的一半，最后2个卷积层采用步骤3中的卷积方式2与3，得到通道数为512的特征图，输入至解码单元，解码单元共4个解码子单元，解码子单元结构为1个上采样层、1个特征融合层和2个卷积层，特征图先经过上采样层进行维度扩张，然后与编码单元第8、6、4、2卷积层产生的特征图相叠加进行特征融合，融合原有特征图的边缘特征，随后接2个卷积层进行特征整合。解码单元最终生成与原尺寸相同，通道数为64的高维特征图，将其输入预测单元，预测单元为1层尺寸为1×1、通道数为2的卷积层，生成通道数为2的像素类别热度图，利用softmax函数处理类别热度图，取像素分类类别概率较高标签为当前像素分类标签，得到裂缝分割结果。
图5是根据一示例性实施案例展示的种路面裂缝图像检测系统的框图，如图所示，包括图像预处理模块、检测模块204与信息输出模块205；
图像预处理模块包括图像生成模块201、图像增强模块202和尺寸变换模块203；
图像生成模块201，用于对输入的大分辨率路面裂缝图像进行裁剪，以一定的固定尺寸将输入原图裁剪成若干子图，横向及纵向的两次相邻裁剪应部分重叠；
记录下原图对应实际路面长度N以及宽度M，并将其按一定尺寸裁剪成若干子图，裁剪尺寸可选500×500、600×600或其他，相邻两次的横向、纵向裁剪彼此部分重叠，重叠参数可选10％、15％、20％，并保证裁剪尺寸可以被重叠参数整除，原图边界处若不能完整切割，用0像素补充边界子图至裁剪尺寸，生成待检裂缝子图数据集，记录下每张子图的左上坐标(x0，y0)，以及子图分辨率H×W。
图像增强模块202，用于对输入图像进行对比度变化、边缘锐化等操作，使图像裂缝特征信息更加明显，便于神经网络对裂缝特征的提取；
通过图像处理的方式增强图像特征信息，具体方法有调整对比度，确定对比度系数Q，遍历图像每个像素点并乘上对比度系数，得到调整过后的图像：
Ci_re＝Ci×Q
式中，Ci_re为调整过后i点的像素值，Ci为图像i点的像素值，Q为对比度系数。
将调整过后的图像进行滤波处理，减轻图像采集过程中产生的运动模糊，并且减少噪声对提取图像特征的影响：
式中，H为图像退化函数，P是函数p的傅里叶变换，G为一个频域内的老化模型，γ为模型参数。
尺寸变换模块203，用于将输入图像进行插值计算，缩放至神经网络的输入图像尺寸要求，便于神经网络的计算；
即对输入至图像分类神经网络的数据集进行图像缩放，将图像尺寸缩放至神经网络适合的输入尺寸，得到缩放后的待检裂缝子图数据集，采用的方法为计算四个周围已知纹理像素的加权平均值，并应用于中间待计算像素，即在两个方向分别进行一次线性插值，此算法能很好的解决由于图像缩放引起的锯齿现象以及某些视觉失真，具体步骤如下：
步骤S301：已知待计算像素F(x，y)，周围临近四个已知的纹理像素坐标(x1，y1)、(x1，y2)、(x2，y1)和(x2，y2)，以及对应像素值F(x1，y1)、F(x1，y2)、F(x2，y1)和F(x2，y2)，先在X轴方向进行两次单线性插值：
步骤S302：再在Y轴方向进行一次单线性插值计算像素F(x，y)：
检测模块204，用于将待检裂缝数据集输入至上述图像分类与裂缝分割网络对待检裂缝数据集进行数据筛选，并进行裂缝图像中裂缝像素的提取；
即对待检裂缝子图数据集进行图像分类与裂缝分割，具体的，如图6所示，检测模块204包括：
分类模块301，用于将缩放后的待检裂缝子图数据集输送至预训练好的图像分类神经网络，网络加载已经训练学习过的参数权重，每层的卷积核从输入图像中提取不同的特征，获得低维特征图，经过平均池化层与全连接层将二维特征图收缩成为一维向量并计算出各类别概率，取概率最大的类别标签作为当前图像分类结果。根据分类结果，将缩放前的待检裂缝子图数据集将其划分成裂缝子图数据集以及非裂缝子图数据集，其中裂缝子图数据集包括横向裂缝数据子集、纵向裂缝数据子集和网状裂缝数据子集，并记录下每张图像的分类结果。
分割模块302，裂缝分割网络加载已经训练过的参数权重，输入图像经过编码单元提取裂缝特征图，随着网络的加深裂缝特征图降维收缩，然后经过解码单元进行双倍上采样放大低维特征图，同时融合编码单元对应尺寸的特征图，完善图像边缘信息，将特征图尺寸恢复至与输入图像相同，最终输出一个热度图类型的图像，对每个像素都产生了预测概率值，同时保留了输入图像的空间信息，输入至预测单元对上采样生成的高维特征图进行逐像素分类，取像素分类类别概率较高标签为当前像素分类标签，得到裂缝分割结果，获得如图6形式的裂缝分割二值图，其中0像素代表背景，1像素代表裂缝。
每当一张裂缝子图完成类别分类，如分类结果为非裂缝图像，继续下一张裂缝子图的分类，若分类结果为裂缝图像，便将其对应的缩放前的裂缝子图输送至预训练好的裂缝分割神经网络，裂缝图像的分类与裂缝分割两个步骤同时进行，由于图像分类的速度较快，一张图片的处理时间大约为0.0078s，而就裂缝分割而言，处理一张图片的时间大约为0.09s左右，且由于裂缝自身细长的形态特征，在大分辨率路面图像中的面积占比很小，故先进行裂缝图像筛选，针对有裂缝的图像进行裂缝像素分割，避免了对非裂缝区域进行冗余操作，减少检测时间。
信息输出模块205，统计裂缝图像处理过程中的图像左上角坐标、裂缝子图类别，子图分辨率，并根据原图对应实际路面长度N以及宽度M计算每张裂缝图像的裂缝实际面积、裂缝平均宽度以及裂缝长度。其中，裂缝实际面积的计算步骤如下：
步骤S501：获得原图像素总个数x，根据比例尺计算一个像素对应的实际面积：
步骤S502：遍历检测模块获得的裂缝分割结果图，获得图中所有裂缝像素的总个数P，计算该图中的裂缝实际面积：
S＝Si×P
计算裂缝长度时，先将裂缝分割二值图进行图像处理，对裂缝像素进行骨架化，图像骨架化后的效果图见图7、图8，将目标减薄成线状，将裂缝像素边界平滑化，使得没有孔洞的目标缩成最低限度的连通边，而含有孔的目标收缩为一个连接的环，使得裂缝像素缩减成为宽度为1个像素的线条，统计此时所有的裂缝像素个数K，裂缝长度计算公式如下：
L横＝KM
L纵＝KN
裂缝平均宽度计算公式如下：
将统计出的裂缝信息按照对应关系同步输入至excel中，方便后续查看以及统计路面裂缝严重程度。

Claims (10)

1.一种基于图像分类与分割的路面裂缝图像检测方法，其特征在于，包括以下步骤：
S1，对待检裂缝图像进行一定尺寸的裁剪切割，相邻两次横向或纵向的裁剪子图彼此部分重叠，所有图像裁剪完毕形成待检子图数据集；
S2，将待检子图数据集输入至预训练好的图像分类神经网络模型，获得待检子图数据集中每张待检子图的类别概率，取概率高者的类别为当前子图标签，并按照标签将待检子图数据集划分成裂缝子图数据集以及非裂缝子图数据集，其中裂缝子图数据集包括横向裂缝数据子集、纵向裂缝数据子集和网状裂缝数据子集；
S3，将裂缝子图数据集输入至预训练好的裂缝分割神经网络，遍历每张裂缝子图的每个像素并计算其类别概率，取概率高者类别为当前像素标签，按照像素标签将裂缝子图像素划分成裂缝像素以及非裂缝像素，得到裂缝子图分割结果。
2.根据权利要求1所述的一种基于图像分类与分割的路面裂缝图像检测方法，其特征在于，步骤S1中图像边界处若不能完整切割，则利用0像素将余下图像补齐至与裁剪子图相同分辨率。
3.根据权利要求1所述的一种基于图像分类与分割的路面裂缝图像检测方法，其特征在于，在裂缝分割网络进行预训练的过程中，选择可使用带有权重的交叉熵GFL(p)作为损失函数，计算输入图像与对应标签图之间的差异，更新网络框架中的神经元激活值参数，让差异最小化：
GFL(p)＝-α(1-)γ×ylog(p)-(1-)pγ×(1-)log(1-)
式中：p为目标被预测为正样本的概率，y为目标的标签值，α与γ为可调节的超参数；若真实标签为正样本，则p值越大模型越准确，若真实标签为负样本，则p值越小模型越准确。
4.根据权利要求1所述的一种基于图像分类与分割的路面裂缝图像检测方法，其特征在于，将待检裂缝子图数据集输入至与训练好的图像分类网络模型进行图像筛选，图像分类网络模型包括12个卷积单元，1个池化层以及1个全连接层，卷积单元用于生成图像边缘轮廓、颜色的细节特征图，池化层用于收缩特征图维度同时向下层传递特征信息，全连接层用于分类，卷积单元将图像数据映射至特征空间中，全连接层在特征空间中的特征信息整合。
5.根据权利要求1所述的一种基于图像分类与分割的路面裂缝图像检测方法，其特征在于，裂缝分割神经网络包括编码单元、解码单元以及预测单元；编码单元含有10个卷积层和4个最大池化层，解码单元含有8个卷积层、4个上采样层以及4个特征融合层，预测单元含有1个卷积层；编码单元以及解码单元的卷积层都为3×3的卷积核，步长为1，最大池化层采用2×2的池化核；解码单元包括4个解码子单元，解码子单元包括1个上采样层、1个特征融合层和2个卷积层。
6.一种基于图像分类与分割的路面裂缝图像检测系统，其特征在于，包括图像预处理模块、检测模块与信息输出模块；
图像预处理模块，对待检裂缝图像进行一定尺寸的裁剪切割，相邻两次横向或纵向的裁剪子图彼此部分重叠，所有图像裁剪完毕形成待检子图数据集；
检测模块，将待检子图数据集输入至预训练好的图像分类神经网络模型，获得待检子图数据集中每张待检子图的类别概率，取概率高者的类别为当前子图标签，并按照标签将待检子图数据集划分成裂缝子图数据集以及非裂缝子图数据集，其中裂缝子图数据集包括横向裂缝数据子集、纵向裂缝数据子集和网状裂缝数据子集；将裂缝子图数据集输入至预训练好的裂缝分割神经网络，遍历每张裂缝子图的每个像素并计算其类别概率，取概率高者类别为当前像素标签；
信息输出模块，按照像素标签将裂缝子图像素划分成裂缝像素以及非裂缝像素，得到裂缝子图分割结果。
7.根据权利要求6所述的一种基于图像分类与分割的路面裂缝图像检测系统，其特征在于，图像预处理模块包括图像生成模块、图像增强模块和尺寸变换模块；
图像生成模块，用于对输入的大分辨率路面裂缝图像进行裁剪，以一定的固定尺寸将输入原图裁剪成若干子图，横向及纵向的两次相邻裁剪应部分重叠；
图像增强模块，用于对输入图像进行对比度变化、边缘锐化等操作，使图像裂缝特征信息更加明显，便于神经网络对裂缝特征的提取；
尺寸变换模块，用于将输入图像进行插值计算，缩放至神经网络的输入图像尺寸要求。
8.根据权利要求6所述的一种基于图像分类与分割的路面裂缝图像检测系统，其特征在于，输入图像可选为相机拍摄原图、点云生成的深度图、前两者的叠加图以及单通道灰度图，同时记录下原图对应实际路面长度N以及宽度M。
9.根据权利要求6所述的一种基于图像分类与分割的路面裂缝图像检测系统，其特征在于，尺寸变化模块中采用在图像x、y轴两个方向对图像像素进行插值计算，插值计算结果应与神经网络图像输入尺寸保持一致。
10.根据权利要求6所述的一种基于图像分类与分割的路面裂缝图像检测系统，其特征在于，信息输出模块将统计裂缝图像处理过程中获得的裂缝子图左上角坐标、裂缝子图类别、子图分辨率，并根据原图横纵比例尺计算裂缝实际面积、裂缝平均宽度以及裂缝长度。
CN202310466763.4A 2023-04-26 2023-04-26 基于图像分类与分割的路面裂缝图像检测方法及系统 Pending CN116485767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310466763.4A CN116485767A (zh) 2023-04-26 2023-04-26 基于图像分类与分割的路面裂缝图像检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310466763.4A CN116485767A (zh) 2023-04-26 2023-04-26 基于图像分类与分割的路面裂缝图像检测方法及系统

Publications (1)

Publication Number Publication Date
CN116485767A true CN116485767A (zh) 2023-07-25

Family

ID=87226611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310466763.4A Pending CN116485767A (zh) 2023-04-26 2023-04-26 基于图像分类与分割的路面裂缝图像检测方法及系统

Country Status (1)

Country Link
CN (1) CN116485767A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078668A (zh) * 2023-10-13 2023-11-17 笑纳科技(苏州)有限公司 一种基于大尺寸图像的染色体分割方法
CN117557881A (zh) * 2024-01-12 2024-02-13 城云科技（中国）有限公司 基于特征图对齐和图文匹配的道路裂缝检测方法及应用
CN117974664A (zh) * 2024-04-01 2024-05-03 宝鸡市鹏鑫金属材料有限公司 基于图像识别的钵锻件探伤检测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078668A (zh) * 2023-10-13 2023-11-17 笑纳科技(苏州)有限公司 一种基于大尺寸图像的染色体分割方法
CN117078668B (zh) * 2023-10-13 2024-02-20 笑纳科技(苏州)有限公司 一种基于大尺寸图像的染色体分割方法
CN117557881A (zh) * 2024-01-12 2024-02-13 城云科技（中国）有限公司 基于特征图对齐和图文匹配的道路裂缝检测方法及应用
CN117557881B (zh) * 2024-01-12 2024-04-05 城云科技（中国）有限公司 基于特征图对齐和图文匹配的道路裂缝检测方法及应用
CN117974664A (zh) * 2024-04-01 2024-05-03 宝鸡市鹏鑫金属材料有限公司 基于图像识别的钵锻件探伤检测方法及系统

Similar Documents

Publication Publication Date Title
CN111047554B (zh) 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN116485767A (zh) 基于图像分类与分割的路面裂缝图像检测方法及系统
CN108537117B (zh) 一种基于深度学习的乘客检测方法和系统
CN110059698B (zh) 用于街景理解的基于边缘稠密重建的语义分割方法及系统
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN112232237B (zh) 车辆流量的监控方法、系统、计算机设备和存储介质
CN111353544B (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN111553438A (zh) 一种基于卷积神经网络的图像识别方法
CN116863274A (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN112967255A (zh) 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法
CN114170608A (zh) 超分辨文本图像识别方法、装置、设备及存储介质
CN113591866A (zh) 基于db与crnn的特种作业证件检测方法及系统
CN116189191A (zh) 一种基于yolov5的可变长车牌识别方法
CN116012835A (zh) 一种基于文本分割的两阶段场景文本擦除方法
CN114170511A (zh) 基于Cascade RCNN的路面裂缝病害识别方法
CN115661655A (zh) 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN113065404B (zh) 基于等宽文字片段的火车票内容检测方法与系统
CN113486712B (zh) 一种基于深度学习的多人脸识别方法、系统和介质
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN112232236A (zh) 行人流量的监测方法、系统、计算机设备和存储介质
CN113192018B (zh) 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法
CN107992863B (zh) 多分辨率粮虫种类视觉识别方法
CN112036246B (zh) 遥感影像分类模型的构建方法，遥感影像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination