CN116052105A - 路面裂缝识别分类及面积计算方法、系统、设备及终端 - Google Patents
路面裂缝识别分类及面积计算方法、系统、设备及终端 Download PDFInfo
- Publication number
- CN116052105A CN116052105A CN202310087530.3A CN202310087530A CN116052105A CN 116052105 A CN116052105 A CN 116052105A CN 202310087530 A CN202310087530 A CN 202310087530A CN 116052105 A CN116052105 A CN 116052105A
- Authority
- CN
- China
- Prior art keywords
- crack
- picture
- image
- road
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 230000011218 segmentation Effects 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000009467 reduction Effects 0.000 claims abstract description 17
- 238000005520 cutting process Methods 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002352 surface water Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于路面裂缝图像识别技术领域，公开了路面裂缝识别分类及面积计算方法、系统、设备及终端，所述方法包括：使用道路检测车拍摄的道路裂缝图片作为数据集；训练目标检测算法深度神经网络模型；裁剪识别的道路裂缝图片并对道路裂缝图片作语义分割算法标注；训练卷积神经网络模型并对裁剪的裂缝图片进行语义分割；对图像做降噪处理并合成原始尺寸大小的二值图图片；计算二值图中的裂缝区域面积。本发明通过裁剪裂缝图像，使用语义分割算法对裂缝做二值图提取，用区域生长算法对二值图降噪在很大程度上避免整张图片其他区域非裂缝区域对图片降噪产生的影像，提高裂缝区域面积的准确度，极大解决路面裂缝分类及面积计算问题。
Description
技术领域
本发明属于路面裂缝图像识别技术领域，尤其涉及路面裂缝识别分类及面积计算方法、系统、设备及终端。
背景技术
每年各省公路局需要对各自省份的道路裂缝按照类别及裂缝面积进行统计。传统的路面裂缝分类方式和裂缝面积统计方式为，对检测车拍摄的路面照片进行图像处理，包括裂缝增强，裂缝分割。将二值化图像网格化处理，累加网格内的值，根据设置的阈值判断该网格是否在裂缝上。之后按照图片上累计的网格形状判断裂缝是横缝或者纵缝，再将网格个数比全部网格作比计算裂缝面积占比。此种方式计算得出的裂缝面积因图像处理无法适应多种路面而影响裂缝识别准确率，此外通过网格化分割计算裂缝面积占比也会因设置网格的大小影响面积占比的准确率。多重误差也会放大最终导致结果的准确率降低。因此，亟需设计一种新的路面裂缝识别分类及面积计算方法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统的路面裂缝分类方式和裂缝面积统计方式计算得出的裂缝面积因图像处理无法适应多种路面而影响裂缝识别准确率。
(2)传统的图像处理方法对路面图片生成的二值图像降噪能力有限，难以处理复杂多变的图像。
(3)通过网格化分割计算裂缝面积占比会因设置网格的大小影响面积占比的准确率，多重误差也会放大最终导致结果的准确率降低。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了路面裂缝识别分类及面积计算方法、系统、设备及终端。
所述技术方案如下：该路面裂缝识别分类及面积计算方法包括：
S1，将道路检测车拍摄的道路裂缝图片作为数据集；
S2，训练目标检测算法深度神经网络模型；
S3，裁剪识别的道路裂缝图片并对道路裂缝图片作语义分割算法标注；
S4，训练卷积神经网络模型并对裁剪的裂缝图片进行语义分割；
S5，对图像做降噪处理并合成原始尺寸大小的二值图图片；
S6，计算二值图中的裂缝区域面积。
在步骤S1中，数据集的收集制作包括：
(1)搜集检测车拍摄的有裂缝的道路图片，并根据道路裂缝类型分类；
(2)通过筛选不同裂缝类型的道路图片作为正样本，与道路裂缝相似的图片作为负样本；
(3)汇总生产的正负样本数据集，对数据集进行目标检测标注，保存为训练集标签。
在步骤S2中，训练目标检测算法深度神经网络模型包括：
(1)搭建YOLOv5目标检测算法深度学习神经网络结构；
(2)YOLOv5目标检测算法损失函数选择GIoU函数，激活函数选择SiLU函数，预训练权重选择YOLOv5x.pt；
(3)使用设置好的YOLOv5算法对正样本和负样本根据选择的训练策略和数据集进行训练。
在步骤S3中，裁剪识别的道路裂缝图片包括：
(1)选择检测车拍摄的道路裂缝图片作为待检图像；
(2)使用目标检测算法深度神经网络模型对待检图像进行检测，使用opencv对识别的裂缝位置区域做裁剪，并记录待检图像的大小为w×h；
其中，裁剪的裂缝图像的大小w’×h’以及裁剪的裂缝图像左上角顶点在待检图像上的坐标(x’，y’)以及裂缝类别；
对道路裂缝图片作语义分割算法标注包括：
(1)搜集检测车拍摄的有裂缝的道路图片；
(2)通过筛选有裂缝道路图片作为正样本，与道路裂缝相似的图片作为负样本；
(3)汇总生产的正负样本数据集，对数据集进行语义分割标注，保存为训练集标签。
在步骤S4中，训练卷积神经网络模型包括：
(1)搭建Deeplab v3+语义分割算法，损失函数选择CrossEntropyLoss函数，主干特征提取网络选择resnet网络；
(2)使用搭建好的Deeplab v3+算法对步骤S3标注好的样本根据选择的训练策略和数据集进行训练；
对裁剪的裂缝图片进行语义分割包括：
(1)使用步骤S3裁剪的道路裂缝图像作为待检图像；
(2)使用训练好的卷积神经网络模型对待检图像进行裂缝语义分割，生成二值图。
在步骤S5中，对图像做降噪处理并合成原始尺寸大小的二值图图片包括：
(1)对步骤S4生成的二值图使用区域生长算法生成纯粹路面裂缝二值图；
(2)对步骤S3获取到的整张图片长宽像素值创建一张空白的图片；
(3)根据裁剪的裂缝图像左上角顶点坐标定位，将步骤(1)生成的二值图贴回步骤(2)生成的空白图片，生成原始图片大小的有裂缝区域的二值图。
在步骤S6中，计算二值图中的裂缝区域面积包括：
(1)对步骤S5生成的二值图裂缝图片统计裂缝区域值个数n，并计算整张图片像素个数m；
(2)根据检测车的配置获知图片拍摄图片面积S；
(3)根据裂缝区域计算公式，计算裂缝区域面积s的大小：
本发明的另一目的在于提供一种应用所述的路面裂缝识别分类及面积计算方法的路面裂缝识别分类及面积计算系统，所述路面裂缝识别分类及面积计算系统包括：
单类别裂缝图片获取模块，用于利用目标检测算法对获取的路面裂缝图片样本进行标注，以及构建检测模型；将检测车拍摄的路面裂缝图片输入到所述检测模型中进行识别，将识别后的裂缝剪裁成单类别裂缝图片；
语义分割模型构建模块，用于对路面裂缝图片样本利用语义分割算法进行样本标注，以及构建语义分割模型；
单类路面裂缝二值图生成模块，用于将所述单类别裂缝图片输入所述语义分割模型，对裂缝进行语义分割，并生成有噪声的道路裂缝二值图，利用二值图像区域生长算法对所述道路裂缝二值图进行处理，生成降噪后的单类路面裂缝二值图；
裂缝比例及面积计算模块，用于利用所述单类路面裂缝二值图，计算得到裂缝占整个区域的比例及面积。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的路面裂缝识别分类及面积计算方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端安装在电子装置上提供用户输入接口以实施所述的路面裂缝识别分类及面积计算方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果，具体描述如下：本发明提供的路面裂缝识别分类及面积计算方法，利用目标检测算法对路面裂缝目标检测样本数据做合适训练，用目标检测模型对路面裂缝图片做裂缝的识别和分类，并将单类别裂缝图片做裁剪；同样利用语义分割算法对路面裂缝语义分割样本做合适训练，用语义分割模型对单类别裂缝图片做裂缝提取；使用二值图区域生长算法对单类别裂缝图片降噪，并贴回原始图像大小的空图像中；由简化后的路面裂缝二值图计算图片中裂缝区域面积。
第二、把技术方案看作一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：本发明在目标检测阶可对道路裂缝做统计分析，通过裁剪单一裂缝图像，使用语义分割算法对裂缝做二值图提取，并用区域生长算法对二值图降噪在很大程度上避免了整张图片其他区域非裂缝区域对图片降噪产生的影像，从而提高了裂缝区域面积的准确度，极大地解决了路面裂缝分类及面积计算的问题。
第三、作为本发明的创造性辅助证据，还体现在以下几个重要方面：
(1)本发明的技术方案简化了路面裂缝分类方案，基于算法特性拓展了不同路面的裂缝识别能力，在复杂路面情况下提高了降噪水平，基于成熟的算法提升了图片处理速度。
(2)目前国内外并没有综合目标检测算法和语义分割算法来简单化图片复杂背景，并使用二值图区域生长算法为目标结果降噪的方案，而本发明能够在各个阶段发挥三种算法的优势，来完成最终的目标。
(3)本发明在提供的一整套路面裂缝识别、分类及降噪解决方案，在算法完成模型构建后，可完全自动化高效处理图片，全程可减少大量人员手动处理判别图片。串联起各个环节，也避免了人工导致的误差。
(4)本发明综合目标检测算法，语义分割算法和二值图区域生长算法来实现路面裂缝的分类、识别及降噪，提供了一整套解决方案。避免了业内使用单一算法无法完成自动化高效处理图片，获得图像数据误差大的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理；
图1是本发明实施例提供的路面裂缝识别分类及面积计算方法流程图；
图2是本发明实施例提供的路面裂缝识别分类及面积计算方法原理图；
图3是本发明实施例提供的数据集的收集制作流程图；
图4是本发明实施例提供的训练目标检测算法深度神经网络模型流程图；
图5是本发明实施例提供的裁剪识别的道路裂缝图片流程图；
图6是本发明实施例提供的对道路裂缝图片做语义分割算法标注流程图；
图7是本发明实施例提供的训练卷积神经网络模型流程图；
图8是本发明实施例提供的对裁剪的裂缝图片做语义分割流程图；
图9是本发明实施例提供的对图像做降噪处理并合成原始尺寸大小的二值图图片流程图；
图10是本发明实施例提供的计算二值图中的裂缝区域面积流程图；
图11是本发明实施例提供的路面裂缝识别分类及面积计算系统示意图；
图中：1、单类别裂缝图片获取模块；2、语义分割模型构建模块；3、单类路面裂缝二值图生成模块；4、裂缝比例及面积计算模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
一、解释说明实施例：
本发明实施例提供一种路面裂缝识别分类及面积计算方法包括：利用目标检测算法对获取的路面裂缝图片样本进行标注，以及构建检测模型；将检测车拍摄的路面裂缝图片输入到所述检测模型中进行识别，将识别后的裂缝剪裁成单类别裂缝图片；
对路面裂缝图片样本利用语义分割算法进行样本标注，以及构建语义分割模型；
将所述单类别裂缝图片输入所述语义分割模型，对裂缝进行语义分割，并生成有噪声的道路裂缝二值图，利用二值图像区域生长算法对所述道路裂缝二值图进行处理，生成降噪后的单类路面裂缝二值图；
利用所述单类路面裂缝二值图，计算得到裂缝占整个区域的比例及面积；
实施例1
如图1所示，本发明实施例提供的路面裂缝识别分类及面积计算方法包括以下步骤：
S1，使用道路检测车拍摄的道路裂缝图片作为数据集；
S2，训练目标检测算法深度神经网络模型；
S3，裁剪识别的道路裂缝图片并对道路裂缝图片作语义分割算法标注；
S4，训练卷积神经网络模型并对裁剪的裂缝图片进行语义分割；
S5，对图像做降噪处理并合成原始尺寸大小的二值图图片；
S6，计算二值图中的裂缝区域面积。
实施例2
如图2所示，本发明实施例提供的路面裂缝识别分类及面积计算方法具体包括以下步骤：
步骤1：数据集的收集制作，使用道路检测车拍摄的道路裂缝图片作为数据集。
步骤2：训练目标检测算法深度神经网络模型。
步骤3：裁剪识别的道路裂缝图片。
步骤4：对道路裂缝图片做语义分割算法标注。
步骤5：训练卷积神经网络模型。
步骤6：对裁剪的裂缝图片做语义分割。
步骤7：对图像做降噪处理并合成原始尺寸大小的二值图图片。
步骤8：计算二值图中的裂缝区域面积。
如图3所示，步骤1数据集的收集制作具体包括以下步骤：
S301，搜集检测车拍摄的有裂缝的道路图片，并根据道路裂缝类型分类；
S302，通过人工筛选不同裂缝类型(比如横缝、纵缝、坑槽等)的道路图片作为正样本，与道路裂缝相似的图片(比如树枝阴影、路面水渍等)作为负样本；
S303，汇总生产的正负样本数据集，对该数据集做目标检测标注，保存为训练集标签。
如图4所示，步骤2训练目标检测算法深度神经网络模型具体包括：
S401，搭建YOLOv5目标检测算法深度学习神经网络结构；
S402，YOLOv5目标检测算法损失函数选择GIoU函数，激活函数选择SiLU函数，预训练权重选择YOLOv5x.pt；
S403，使用设置好的YOLOv5算法对步骤1标注好的样本根据选择的训练策略和数据集进行训练。
如图5所示，步骤3裁剪识别的道路裂缝图片具体包括：
S501，选择检测车拍摄的道路裂缝图片作为待检图像；
S502，使用步骤2训练的模型对待检图像进行检测，使用opencv对识别的裂缝位置区域做裁剪，并记录待检图像的大小w×h，裁剪的裂缝图像的大小w’×h’以及裁剪的裂缝图像左上角顶点在待检图像上的坐标(x’，y’)以及裂缝类别。
如图6所示，步骤4对道路裂缝图片做语义分割算法标注具体包括：
S601，搜集检测车拍摄的有裂缝的道路图片；
S602，通过人工筛选有裂缝道路图片作为正样本，与道路裂缝相似的图片(比如树枝阴影、路面水渍等)作为负样本；
S603，汇总生产的正负样本数据集，对该数据集做语义分割标注，保存为训练集标签。
如图7所示，步骤5训练卷积神经网络模型具体包括：
S701，搭建Deeplab v3+语义分割算法，损失函数选择CrossEntropyLoss函数，主干特征提取网络选择resnet网络；
S702，使用搭建好的Deeplab v3+算法对步骤4标注好的样本根据选择的训练策略和数据集进行训练。
如图8所示，步骤6对裁剪的裂缝图片做语义分割具体包括：
S801，使用骤3裁剪的道路裂缝图像作为待检图像；
S802，使用步骤5训练的模型对待检图像做裂缝语义分割生成二值图。
如图9所示，步骤7对图像做降噪处理并合成原始尺寸大小的二值图图片具体包括：
S901，对步骤6生成的二值图使用区域生长算法生成纯粹的路面裂缝二值图片；
S902，对步骤3获取到整张图片长宽像素值创建一张空白的图片；
S903，根据裁剪的裂缝图像左上角顶点坐标定位，将步骤S901生成的二值图贴回步骤S902生成的空白图片，从而生成原始图片大小的有裂缝区域的二值图。
如图10所示，步骤8计算二值图中的裂缝区域面积具体包括：
S1001，对步骤7生成的二值图裂缝图片统计裂缝区域值个数n，并计算整张图片像素个数m；
S1002，根据检测车的配置获知图片拍摄图片面积S；
S1003，根据裂缝区域计算公式，知裂缝区域面积s大小：
实施例3
如图11所示，本发明实施例提供的路面裂缝识别分类及面积计算系统包括：
单类别裂缝图片获取模块1，用于利用目标检测算法对获取的路面裂缝图片样本进行标注，以及构建检测模型；将检测车拍摄的路面裂缝图片输入到所述检测模型中进行识别，将识别后的裂缝剪裁成单类别裂缝图片；
语义分割模型构建模块2，用于对路面裂缝图片样本利用语义分割算法进行样本标注，以及构建语义分割模型；
单类路面裂缝二值图生成模块3，用于将所述单类别裂缝图片输入所述语义分割模型，对裂缝进行语义分割，并生成有噪声的道路裂缝二值图，利用二值图像区域生长算法对所述道路裂缝二值图进行处理，生成降噪后的单类路面裂缝二值图；
裂缝比例及面积计算模块4，用于利用所述单类路面裂缝二值图，计算得到裂缝占整个区域的比例及面积。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
二、应用实施例：
本发明实施例提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。
本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。
本发明实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
三、实施例相关效果的证据：
实验表明：本发明实施例提供的一整套路面裂缝识别、分类及降噪解决方案，在算法完成模型构建后，可完全自动化高效处理图片，全程可减少大量人员手动处理判别图片。串联起各个环节，也避免了人工导致的误差。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种路面裂缝识别分类及面积计算方法，其特征在于，该方法包括：
S1，将道路检测车拍摄的道路裂缝图片作为数据集；
S2，训练目标检测算法深度神经网络模型；
S3，裁剪识别的道路裂缝图片并对道路裂缝图片作语义分割算法标注；
S4，训练卷积神经网络模型并对裁剪的裂缝图片进行语义分割；
S5，对图像做降噪处理并合成原始尺寸大小的二值图图片；
S6，计算二值图中的裂缝区域面积。
2.根据权利要求1所述的路面裂缝识别分类及面积计算方法，其特征在于，在步骤S1中，数据集的收集制作包括：
(1)搜集检测车拍摄的有裂缝的道路图片，并根据道路裂缝类型分类；
(2)通过筛选不同裂缝类型的道路图片作为正样本，与道路裂缝相似的图片作为负样本；
(3)汇总生产的正负样本数据集，对数据集进行目标检测标注，保存为训练集标签。
3.根据权利要求1所述的路面裂缝识别分类及面积计算方法，其特征在于，在步骤S2中，训练目标检测算法深度神经网络模型包括：
(1)搭建YOLOv5目标检测算法深度学习神经网络结构；
(2)YOLOv5目标检测算法损失函数选择GIoU函数，激活函数选择SiLU函数，预训练权重选择YOLOv5x.pt；
(3)使用设置好的YOLOv5算法对正样本和负样本根据选择的训练策略和数据集进行训练。
4.根据权利要求1所述的路面裂缝识别分类及面积计算方法，其特征在于，在步骤S3中，裁剪识别的道路裂缝图片包括：
(1)选择检测车拍摄的道路裂缝图片作为待检图像；
(2)使用目标检测算法深度神经网络模型对待检图像进行检测，使用opencv对识别的裂缝位置区域做裁剪，并记录待检图像的大小为w×h；
其中，裁剪的裂缝图像的大小w’×h’以及裁剪的裂缝图像左上角顶点在待检图像上的坐标(x’，y’)以及裂缝类别；
对道路裂缝图片作语义分割算法标注包括：
(1)搜集检测车拍摄的有裂缝的道路图片；
(2)通过筛选有裂缝道路图片作为正样本，与道路裂缝相似的图片作为负样本；
(3)汇总生产的正负样本数据集，对数据集进行语义分割标注，保存为训练集标签。
5.根据权利要求1所述的路面裂缝识别分类及面积计算方法，其特征在于，在步骤S4中，训练卷积神经网络模型包括：
(1)搭建Deeplabv3+语义分割算法，损失函数选择CrossEntropyLoss函数，主干特征提取网络选择resnet网络；
(2)使用搭建好的Deeplabv3+算法对步骤S3标注好的样本根据选择的训练策略和数据集进行训练；
对裁剪的裂缝图片进行语义分割包括：
(1)使用步骤S3裁剪的道路裂缝图像作为待检图像；
(2)使用训练好的卷积神经网络模型对待检图像进行裂缝语义分割，生成二值图。
6.根据权利要求1所述的路面裂缝识别分类及面积计算方法，其特征在于，在步骤S5中，对图像做降噪处理并合成原始尺寸大小的二值图图片包括：
(1)对步骤S4生成的二值图使用区域生长算法生成纯粹路面裂缝二值图；
(2)对步骤S3获取到的整张图片长宽像素值创建一张空白的图片；
(3)根据裁剪的裂缝图像左上角顶点坐标定位，将步骤(1)生成的二值图贴回步骤(2)生成的空白图片，生成原始图片大小的有裂缝区域的二值图。
7.根据权利要求1所述的路面裂缝识别分类及面积计算方法，其特征在于，在步骤S6中，计算二值图中的裂缝区域面积包括：
(1)对步骤S5生成的二值图裂缝图片统计裂缝区域值个数n，并计算整张图片像素个数m；
(2)根据检测车的配置获知图片拍摄图片面积S；
(3)根据裂缝区域计算公式，计算裂缝区域面积s的大小：
8.一种应用如权利要求1～7任意一项所述的路面裂缝识别分类及面积计算方法的路面裂缝识别分类及面积计算系统，其特征在于，所述路面裂缝识别分类及面积计算系统包括：
单类别裂缝图片获取模块(1)，用于利用目标检测算法对获取的路面裂缝图片样本进行标注，以及构建检测模型；将检测车拍摄的路面裂缝图片输入到所述检测模型中进行识别，将识别后的裂缝剪裁成单类别裂缝图片；
语义分割模型构建模块(2)，用于对路面裂缝图片样本利用语义分割算法进行样本标注，以及构建语义分割模型；
单类路面裂缝二值图生成模块(3)，用于将所述单类别裂缝图片输入所述语义分割模型，对裂缝进行语义分割，并生成有噪声的道路裂缝二值图，利用二值图像区域生长算法对所述道路裂缝二值图进行处理，生成降噪后的单类路面裂缝二值图；
裂缝比例及面积计算模块(4)，用于利用所述单类路面裂缝二值图，计算得到裂缝占整个区域的比例及面积。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～7任意一项所述的路面裂缝识别分类及面积计算方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端安装在电子装置上提供用户输入接口以实施如权利要求1～7任意一项所述的路面裂缝识别分类及面积计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310087530.3A CN116052105A (zh) | 2023-02-09 | 2023-02-09 | 路面裂缝识别分类及面积计算方法、系统、设备及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310087530.3A CN116052105A (zh) | 2023-02-09 | 2023-02-09 | 路面裂缝识别分类及面积计算方法、系统、设备及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116052105A true CN116052105A (zh) | 2023-05-02 |
Family
ID=86113205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310087530.3A Pending CN116052105A (zh) | 2023-02-09 | 2023-02-09 | 路面裂缝识别分类及面积计算方法、系统、设备及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116052105A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152492A (zh) * | 2023-08-08 | 2023-12-01 | 广东省公路建设有限公司湾区特大桥养护技术中心 | 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质 |
| CN117474870A (zh) * | 2023-11-03 | 2024-01-30 | 中国公路工程咨询集团有限公司 | 一种基于大数据筛选的公路路面裂缝识别决策方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349122A (zh) * | 2019-06-10 | 2019-10-18 | 长安大学 | 一种基于深度卷积融合神经网络的路面裂缝识别方法 |
| CN110910343A (zh) * | 2019-09-29 | 2020-03-24 | 北京建筑大学 | 路面裂缝检测的方法、装置及计算机设备 |
| CN111310558A (zh) * | 2019-12-28 | 2020-06-19 | 北京工业大学 | 一种基于深度学习和图像处理法的路面病害智能提取方法 |
| CN112508030A (zh) * | 2020-12-18 | 2021-03-16 | 山西省信息产业技术研究院有限公司 | 一种基于双深度学习模型的隧道裂缝检测及测量方法 |
| CN112767357A (zh) * | 2021-01-20 | 2021-05-07 | 沈阳建筑大学 | 一种基于Yolov4的混凝土结构病害检测方法 |
| CN114049294A (zh) * | 2021-09-26 | 2022-02-15 | 武汉光谷卓越科技股份有限公司 | 基于三维轮廓的路面技术状况检测方法及设备 |
-
2023
- 2023-02-09 CN CN202310087530.3A patent/CN116052105A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349122A (zh) * | 2019-06-10 | 2019-10-18 | 长安大学 | 一种基于深度卷积融合神经网络的路面裂缝识别方法 |
| CN110910343A (zh) * | 2019-09-29 | 2020-03-24 | 北京建筑大学 | 路面裂缝检测的方法、装置及计算机设备 |
| CN111310558A (zh) * | 2019-12-28 | 2020-06-19 | 北京工业大学 | 一种基于深度学习和图像处理法的路面病害智能提取方法 |
| CN112508030A (zh) * | 2020-12-18 | 2021-03-16 | 山西省信息产业技术研究院有限公司 | 一种基于双深度学习模型的隧道裂缝检测及测量方法 |
| CN112767357A (zh) * | 2021-01-20 | 2021-05-07 | 沈阳建筑大学 | 一种基于Yolov4的混凝土结构病害检测方法 |
| CN114049294A (zh) * | 2021-09-26 | 2022-02-15 | 武汉光谷卓越科技股份有限公司 | 基于三维轮廓的路面技术状况检测方法及设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152492A (zh) * | 2023-08-08 | 2023-12-01 | 广东省公路建设有限公司湾区特大桥养护技术中心 | 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质 |
| CN117152492B (zh) * | 2023-08-08 | 2024-04-19 | 广东省公路建设有限公司湾区特大桥养护技术中心 | 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质 |
| CN117474870A (zh) * | 2023-11-03 | 2024-01-30 | 中国公路工程咨询集团有限公司 | 一种基于大数据筛选的公路路面裂缝识别决策方法及系统 |
| CN117474870B (zh) * | 2023-11-03 | 2024-05-07 | 中国公路工程咨询集团有限公司 | 一种基于大数据筛选的公路路面裂缝识别决策方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116052105A (zh) | 路面裂缝识别分类及面积计算方法、系统、设备及终端 | |
| CN109409355B (zh) | 一种新型变压器铭牌识别的方法及装置 | |
| CN110346699B (zh) | 基于紫外图像处理技术的绝缘子放电信息提取方法及装置 | |
| CN110245697B (zh) | 一种表面脏污检测方法、终端设备及存储介质 | |
| CN105718912B (zh) | 一种基于深度学习的车辆特征物检测方法 | |
| CN111008651B (zh) | 一种基于多特征融合的图像翻拍检测方法 | |
| CN109886978B (zh) | 一种基于深度学习的端到端告警信息识别方法 | |
| CN108509950B (zh) | 基于概率特征加权融合的铁路接触网支柱号牌检测识别法 | |
| CN107480585A (zh) | 基于dpm算法的目标检测方法 | |
| CN111524117A (zh) | 一种基于特征金字塔网络的隧道表面缺陷检测方法 | |
| CN115797813B (zh) | 基于航拍图像的水环境污染检测方法 | |
| CN114926826A (zh) | 场景文本检测系统 | |
| CN110766001B (zh) | 基于cnn和rnn的银行卡卡号定位与端到端识别方法 | |
| CN113052234A (zh) | 一种基于图像特征和深度学习技术的玉石分类方法 | |
| CN116704490A (zh) | 车牌识别方法、装置和计算机设备 | |
| CN115880683B (zh) | 一种基于深度学习的城市内涝积水智能水位检测方法 | |
| CN111797832A (zh) | 一种图像感兴趣区域自动生成方法及系统及图像处理方法 | |
| CN112101058A (zh) | 一种试卷条码自动识别方法及装置 | |
| CN106709437A (zh) | 一种改进的针对早期专利文档扫描件中图文信息的智能处理方法 | |
| CN108960285B (zh) | 一种分类模型生成方法、舌体图像分类方法及装置 | |
| US20220405527A1 (en) | Target Detection Methods, Apparatuses, Electronic Devices and Computer-Readable Storage Media | |
| CN111091601B (zh) | 一种实时白天室外手机图像的pm2.5指数估计方法 | |
| CN114821582A (zh) | 基于深度学习的ocr识别方法 | |
| CN110276260B (zh) | 一种基于深度摄像头的商品检测方法 | |
| CN110348404B (zh) | 一种农村道路景观视觉评价分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |