CN110910343A - 路面裂缝检测的方法、装置及计算机设备 - Google Patents
路面裂缝检测的方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN110910343A CN110910343A CN201910934872.8A CN201910934872A CN110910343A CN 110910343 A CN110910343 A CN 110910343A CN 201910934872 A CN201910934872 A CN 201910934872A CN 110910343 A CN110910343 A CN 110910343A
- Authority
- CN
- China
- Prior art keywords
- crack
- road
- image
- network model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 78
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012795 verification Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 230000011218 segmentation Effects 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 13
- 230000007547 defect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种路面裂缝检测的方法、装置及计算机设备，涉及计算机技术领域，可以解决在对路面裂缝进行检测时，容易产生的检测效率低下，准确性低，环境干扰性强的问题。其中方法包括：获取道路裂缝图像，并进行预处理；利用所述道路裂缝图像训练deeplab V3+网络模型；依据训练好的所述deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息。本申请适用于对路面中裂缝区域的检测。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及到一种路面裂缝检测的方法、装置及计算机设备。
背景技术
路面裂缝是公路系统最常见的缺陷之一，严重影响道路的使用寿命和行车安全，随着社会经济和自动化技术的不断进步，基于计算机视觉和图像处理的裂纹检测技术开始逐渐应用于各个领域。目前道路裂缝检测研究中，复杂多变的外在环境以及裂缝存在的形式多样性，使得如何在复杂、相似的背景中精确地提取裂纹的属性特征，提高特征聚类的精度以及赋予目标模型强大的优化分类性能，解决算法精度和速度上的矛盾一直是道路裂缝检测领域的一个难题。
传统检测的常用方法如人工目视、声学、光学、射线、电磁和微波等无损检测方法的实现，还是停留在需要满足相应条件的前提下进行的人为操作或依靠高灵敏度检测器件辅助完成，消耗大量的人力物力，已提出的裂缝识别算法主要使用传统数字图像处理方法，该类方法识别速度慢且无法有效排除实际环境中的各种干扰因素。
发明内容
有鉴于此，本申请提供了一种路面裂缝检测的方法、装置及计算机设备，主要目的在于解决在对路面裂缝进行检测时，容易产生的检测效率低下，准确性低，环境干扰性强的问题。
根据本申请的一个方面，提供了一种路面裂缝检测的方法，该方法包括：
获取道路裂缝图像，并进行预处理；
利用所述道路裂缝图像训练deeplab V3+网络模型；
依据训练好的所述deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息。
根据本申请的另一个方面，提供了一种路面裂缝检测的装置，该装置包括：
获取模块，用于获取道路裂缝图像，并进行预处理；
训练模块，用于利用所述道路裂缝图像训练deeplab V3+网络模型；
检测模块，用于依据训练好的所述deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息。
根据本申请的又一个方面，提供了一种非易失性可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述路面裂缝检测的方法。
根据本申请的再一个方面，提供了一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述路面裂缝检测的方法。
借由上述技术方案，本申请提供的一种路面裂缝检测的方法、装置及计算机设备，与目前普遍采用的人工目视、声学、光学、射线、电磁和微波等无损检测方式相比，本申请可利用包含裂缝区域的道路裂缝图像训练deeplab V3+网络模型，之后依据训练好的deeplabV3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息，以便及时进行路面维护工作。通过本申请中的技术方案，可以结合深度学习技术，有效解决数据来源问题，使用目前最先进的语义分割网络deeplab V3+，通过对神经网络进行参数调整，对道路裂缝进行语义分割，将传统数字图像中的预处理技术与深度学习图像识别相结合，实现路面图像从采集后到输出检测结果的一系列流程，从而达到快速准确识别道路裂缝的效果，提高检测的效率，从而保证路面运行环境的安全性；且将计算机技术融合到裂缝的数据检测中，可增强检测的科学性、准确性，同样也能降低检测中的风险系数。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种路面裂缝检测的方法的流程示意图；
图2示出了本申请实施例提供的另一种路面裂缝检测的方法的流程示意图；
图3示出了本申请实施例提供的一种路面裂缝检测的工作流程示意图；
图4示出了本申请实施例提供的一种路面裂缝检测系统的构建流程示意图；
图5示出了本申请实施例提供的一种路面裂缝检测的装置的结构示意图；
图6示出了本申请实施例提供的另一种路面裂缝检测的装置的结构示意图。
具体实施方式
下文将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
针对目前在对路面裂缝进行检测时，容易产生的检测效率低下，准确性低，环境干扰性强的问题，本申请实施例提供了一种路面裂缝检测的方法，如图1所示，该方法包括：
101、获取道路裂缝图像，并进行预处理。
对于本实施例，在具体的应用场景中，可通过调用百度地图开放平台提供的全景静态图应用程序编程接口(ApplicationProgramming Interfaces，API)来获取街景图像，进一步从街景图像中筛选出包含裂缝区域的道路裂缝图像，这样即完成道路裂缝图像数据的收集。对筛选出的道路裂缝图像进行分割处理，减小图像的大小，便于输入神经网络进行训练。
102、利用道路裂缝图像训练deeplab V3+网络模型。
在本实施例中，deeplab V3+网络模型基于VGG16进行构建，首先去掉VGG16最后两个池化层的下采样，然后将这两个池化层后面的卷积核改为空洞卷积，最后将VGG16的三个全连接层替换为卷积层，实现deeplab V3+网络模型的全卷积结构；为了获得与原图相同尺寸的输出，采用反卷积的方法对池化和卷积处理后得到的特征图进行反卷积，从而获得一个与输入图像尺寸大小相同的分割图像，最后使用全连接随机条件场对道路裂缝图像进行细节优化，从而获得一个道路裂缝精细的分割图像。
103、依据训练好的deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息。
对于本实施例，在具体的应用场景中，若判定deeplab V3+网络模型满足训练标准，则可将deeplab V3+网络模型投入具体的裂缝检测中，通过实时导入百度地图提供的页面图像数据，输出对应检测出的所有裂缝信息。
通过本实施例中路面裂缝检测的方法，可利用包含裂缝区域的道路裂缝图像训练deeplab V3+网络模型，之后依据训练好的deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息，以便及时进行路面维护工作。通过本申请中的技术方案，可以结合深度学习技术，有效解决数据来源问题，使用目前最先进的语义分割网络deeplab V3+，通过对神经网络进行参数调整，对道路裂缝进行语义分割，将传统数字图像中的预处理技术与深度学习图像识别相结合，实现路面图像从采集后到输出检测结果的一系列流程，从而达到快速准确识别道路裂缝的效果，提高检测的效率，从而保证路面运行环境的安全性；且将计算机技术融合到裂缝的数据检测中，可增强检测的科学性、准确性，同样也能降低检测中的风险系数。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种路面裂缝检测的方法，如图2所示，该方法包括：
201、将道路裂缝图像切割成预定尺寸大小。
对于本实施例，在具体的应用场景中，下载的道路裂缝图像为1024x512大小，由于改进型deeplab v3+深度学习语义分割模型的输入样本统一为512*512大小、三通道RGB图像，故可使用arcmap软件中的分割栅格工具对原图像进行切割，分解为512x512大小，以便于神经网络的读取，防止占用内存过大引起训练进程的中止，也为了克服样本尺寸太大，受GPU显存限制，训练时同时处理的样本数据较少的问题，训练时能同时处理多个样本。
202、标注道路裂缝图像中包含的道路裂缝。
对于本实施例，在具体的应用场景中，可使用Labelme进行裂缝标注，其中，Labelme是一个图形图像注释工具，它是用Python编写的，使用Qt作为图形界面。
203、将标注后的道路裂缝图像按照预设比例划分为训练数据集和验证数据集。
其中，预设比例可预先根据具体应用场景进行设定，根据预设比例选取道路裂缝图像中的部分作为训练数据集，余下的作为测试数据集。例如，在本实施例中，为了提高训练精度，可设定预设比例为9:1，即选取道路裂缝图像中的90％作为训练数据集，其余10％作为测试数据集。
在本实施例中，利用训练数据集和验证数据集进行训练和验证，目的主要是为了调节模型参数并检验特定参数条件下模型的表现。该部分的主要工作为，使用生成的训练集数据对搭建好的模型进行训练，并通过测试环节验证训练好的模型是否达到工程上对于识别正确率的要求。
204、根据统计标注的道路裂缝的像素值个数与背景像素数量的比值，配置损失权重系数。
对于本实施例，可设置裂缝以及背景两个类别，例如，经过对裂缝图片像素的统计，确定背景及裂缝之间的像素比为px(background):px(crack)＝25:1,故可依据比值为loss的权重系数进行修改，设定裂缝的权重系数为1/26，设定背景的权重系数为25/26。
205、将训练数据集中的道路裂缝图像输入deeplab V3+网络模型中，按照损失权重系数确定对应的损失值。
在本实施例中所采用的改进型deeplab V3+深度学习语义分割模型，训练集或测试集之中的样本输入到该模型中经过编码器处理；在该模型中，encoder包括深度卷积神经网络(DCCN)以及空洞空间金字塔池化(ASPP)；深度卷积神经网络用于提取原图的特征，这里的特征主要包括裂缝的颜色、形状、纹理特征；ASPP用于增加特征图的感受野，感受野即为卷积核在图像上看到的大小。通过改进型deeplab V3+深度学习语义分割模型的解码器(decoder)处理来输出预测图像；decoder处理过程主要是结合编译器encoder部分较浅的特征信息来进行上采样操作。其中，预测图像为语义分割的结果，在具体的应用场景中，输出图像与输入图像大小比例为1：1；输出图像的像素有多类，在本实施例中，采用像素值0代表背景、1代表裂缝。
206、若依据损失值判定训练完成，则将验证数据集中的道路裂缝图像输入deeplabeV3+网络模型中计算平均交并比。
对于本实施例，在具体的应用场景中，可通过设定预设阈值作为判定网络模型是否通过训练的评定标准，当确定计算出的网络模型的损失值大于或等于设定阈值时，可判定deeplab V3+网络模型通过训练，反之则可判定deeplab V3+网络模型未通过训练。
其中，mIoU(Mean Intersection over Union)准确度是语义分割的标准表征，为实际值和预测值这两个集合的交集与并集之比，计算平均交并比的公式为：
i表示真实类，j表示预测类，pii表示判别正确的像素数量，pij表示将类别i预测为类别j的像素数量，pji表示将类别j预测为类别i的像素数量。
207、根据平均交并比的大小和变化情况调整训练参数，以使deeplab V3+网络模型满足训练标准。
对于本实施例，在具体的应用场景中，为了使deeplab V3+网络模型满足训练标准，实施例步骤207具体可以包括：将计算出的平均交并比与预设阈值进行比较，若判定平均交并比大于或等于预设阈值，则判定deeplab V3+网络模型通过准确性验证；若判定平均交并比小于预设阈值，则判定deeplab V3+网络模型未通过准确性验证，则重新配置损失权重系数，以使deeplab V3+网络模型满足训练标准。
208、基于预设地图开放平台提供的全景静态图应用程序接口获取街景图像，通过设置参数，编辑统一资源定位符来保存待检测街景图像。
其中，地图全景静态图API与静态图API类似，可轻松实现将全景地图以图片形式嵌入到应用中。只需要设置图片尺寸、经纬度坐标等参数，发送HTTP请求访问百度地图全景静态图服务，便可在PC浏览器、手机浏览器、移动APP或者车机显示屏中以图片形式显示全景图。通过手动的调试，最终确定百度提供的接口参数如下表所示：
参数设置好后，可以输入待获取位置的经纬度坐标，即可下载得到1024x512大小的全景图片，之后再对图像进行预处理，统一切割为512*512大小、三通道RGB图像。在前期进行数据采集时，需要大量的源数据，手动下载图像，效率低，工作量大，通过代码操作，只需要输入想要采集图像道路的起点和终点的经纬度坐标，就可以将整条道路的全景图像下载下来，实现批量化下载百度街景地图，大大减少了工作量。
209、将待检测街景图像输入满足训练标准的deeplab V3+网络模型中，获取裂缝信息。
对于本实施例，在具体的应用场景中，在将待检测街景图像输入满足训练标准的deeplab V3+网络模型后，集成deepLab-v3+处理后台会自动根据各个类别的特征向量对待检测街景图像进行类别分析，比如对车道、障碍物、汽车、裂缝等进行识别，同时为每个像素指定语义标签。这样算法可以根据照片实际环境来显示效果，对指定的语义标签进行处理，具体为：提取出对应语义标签为裂缝的目标像素点，并根据目标像素点确定裂缝区域，可对裂缝区域进行特殊标定，并识别出裂缝区域所包含像素点的各个位置坐标，进一步确定出裂缝信息。
其中，裂缝信息可包括裂缝区域所在图像及对应各个像素点的位置信息、裂缝区域的长度、宽度。
对于本实施例，通过图像语义分割可以把输入图像上的每个像素进行分类，在输出图像上从像素级别区别哪些像素是背景，哪些像素属于裂缝，具有适应性强、检测准确度高的特点。
在具体的应用场景中，为了将路面中的裂缝区域信息直观显示，以便制定相应的处理策略，作为一种优选方式，在提取出所有裂缝信息后，具体还包括：根据裂缝信息中包含裂缝区域的坐标位置计算裂缝区域的占地面积；将裂缝区域的占地面积与预设面积阈值进行比较，进一步确定裂缝区域的大小属性；输出裂缝信息及裂缝区域的大小属性。
例如，从裂缝A的裂缝信息中获取到裂缝的长度为x，宽度为y，则可初步计算出裂缝A的占地面积S为x*y，之后利用裂缝中各个像素点的坐标位置，修正计算出的占地面积S，并将占地面积S与预设面积阈值进行对比，若占地面积S大于预设面积阈值，则确定裂缝A的大小属性为大裂缝；若占地面积S小于预设面积阈值，则确定裂缝A的大小属性为小裂缝。其中，预设面积阈值可根据大小属性的实际划分来设定具体的数值，还可通过设定多个预设面积阈值来进行对裂缝大小属性的精确划分。
对于本实施例，在完成对裂缝信息的检测后，可通过音频、视频、或文字等多种形式，将检测到的多个裂缝信息及裂缝区域的大小属性依次输出，即完成对路面裂缝区域的检测。另外，作为一种优选方式，在实施例步骤209中，若未检测出裂缝信息，则可在检测实施过程中直接输出未检测出裂缝信息的提示信息。
通过上述路面裂缝检测的方法，可首先下载道路裂缝图像，将图像分为训练数据集和验证数据集，并对训练数据集中的图像进行道路裂缝标注；其次构建用于道路裂缝检测的deeplab V3+网络模型；然后利用训练数据集中的图像对用于道路裂缝检测的神经网络模型进行训练；利用训练好的神经网络模型，对验证数据集中的道路裂缝图像进行裂缝检测验证；验证成功后，输出训练模型，可以嵌入其他平台中进行工程化使用。本申请采用深度学习语义分割模型，将分类网络作为深度学习语义分割里的骨干网络，用于显示裂缝缺陷检测；一方面，适应性强，特别是对于背景和缺陷比较接近，或光照不均匀的特殊情况，用传统方法处理时需要增加额外的开销来应对这些特殊情况，而采用本发明提供的方法只需要用这些特殊样本来训练模型，让模型学习特殊样本的特征，再做预测时也相对准确，不用增加额外的处理时间。另一方面，相对于深度学习的分类和检测方法，采用本申请的方法能直接输出目标缺陷的形状，面积，能够实现在判断有无缺陷裂纹的同时，实现对裂纹进行定性的分类以及尺寸测量。
在具体的应用场景中，路面裂缝检测的工作流程示意图以及路面裂缝检测的系统构建流程示意图如图3以及图4所示，首先需要筛选部分具有代表性的图像进行标注。该部分图像作为训练深度学习模型过程中所使用的训练集和验证集。训练中的第一个步骤为对每张单通道裂缝图进行预处理，生成增强图像。之后将训练集数据分批次送入deeplab V3+网络模型进行前向传播过程，并根据损失函数计算出当前预测与真实标注间的损失，在反向传播过程中利用优化方法对模型参数进行调整。验证集主要用于验证模型在当前参数条件下的性能，训练中设定每训练几轮后在验证集上进行测试，并记录当前模型在训练集上的识别效果。deeplab V3+网络模型的训练以及验证集的评估均符合标准后，输出训练好的deeplab V3+网络模型，进一步可以嵌入其他平台中进行工程化使用，检测路面中的裂缝信息。
进一步的，作为图1和图2所示方法的具体体现，本申请实施例提供了一种路面裂缝检测的装置，如图5所示，该装置包括：处理模块31、训练模块32、检测模块33。
处理模块31，用于获取道路裂缝图像，并进行预处理；
训练模块32，用于利用道路裂缝图像训练deeplab V3+网络模型；
检测模块33，用于依据训练好的deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息。
在具体的应用场景中，为了获取得到用于训练deeplab V3+网络模型的图像集，获取模块31，用于将道路裂缝图像切割成预定尺寸大小；标注道路裂缝图像中包含的道路裂缝；将标注后的道路裂缝图像按照预设比例划分为训练数据集和验证数据集。
相应的，为了实现对deeplab V3+网络模型的训练，训练模块32，具体用于根据统计标注的道路裂缝的像素值个数与背景像素数量的比值，配置损失权重系数；将训练数据集中的道路裂缝图像输入deeplab V3+网络模型中，按照损失权重系数确定对应的损失值；若依据损失值判定训练完成，则将验证数据集中的道路裂缝图像输入deeplab V3+网络模型中计算平均交并比；根据平均交并比的大小和变化情况调整训练参数，以使deeplab V3+网络模型满足训练标准。
在具体的应用场景中，为了依据验证数据集计算出平均交并比，训练模块32可应用到的平均交并比的计算公式为：
其中，i表示真实类，j表示预测类，pii表示判别正确的像素数量，pij表示将类别i预测为类别j的像素数量，pji表示将类别j预测为类别i的像素数量。
相应的，为了根据平均交并比的大小和变化情况调整训练参数，使deeplab V3+网络模型满足训练标准，训练模块32具体可用于将计算出的平均交并比与预设阈值进行比较，若判定平均交并比大于或等于预设阈值，则判定deeplab V3+网络模型通过准确性验证；若判定平均交并比小于预设阈值，则判定deeplab V3+网络模型未通过准确性验证，则重新配置损失权重系数，以使deeplab V3+网络模型满足训练标准。
在具体的应用场景中，为了依据训练好的deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息，检测模块33，具体可用于基于预设地图开放平台提供的全景静态图应用程序接口获取街景图像，通过设置参数，编辑统一资源定位符来保存待检测街景图像；将待检测街景图像输入满足训练标准的deeplab V3+网络模型中，获取裂缝信息。
相应的，为了将裂缝信息直观显示，如图6所示，本装置还包括：计算模块34、确定模块35、输出模块36。
计算模块34，用于根据裂缝信息中包含裂缝区域的坐标位置计算裂缝区域的占地面积；
确定模块35，用于将裂缝区域的占地面积与预设面积阈值进行比较，进一步确定裂缝区域的大小属性；
输出模块36，用于输出裂缝信息及裂缝区域的大小属性。
需要说明的是，本实施例提供的一种路面裂缝检测的装置所涉及各功能单元的其它相应描述，可以参考图1至图2中的对应描述，在此不再赘述。
基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的路面裂缝检测的方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1、图2所示的方法，以及图5、图6所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的路面裂缝检测的方法。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的计算机设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
非易失性可读存储介质中还可以包括操作系统、网络通信模块。操作系统是路面裂缝检测的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现非易失性可读存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有技术相比，本申请首先下载道路裂缝图像，将图像分为训练数据集和验证数据集，并对训练数据集中的图像进行道路裂缝标注；其次构建用于道路裂缝检测的deeplab V3+网络模型；然后利用训练数据集中的图像对用于道路裂缝检测的神经网络模型进行训练；利用训练好的神经网络模型，对验证数据集中的道路裂缝图像进行裂缝检测验证；验证成功后，输出训练模型，可以嵌入其他平台中进行工程化使用。本申请采用深度学习语义分割模型，将分类网络作为深度学习语义分割里的骨干网络，用于显示裂缝缺陷检测；一方面，适应性强，特别是对于背景和缺陷比较接近，或光照不均匀的特殊情况，用传统方法处理时需要增加额外的开销来应对这些特殊情况，而采用本发明提供的方法只需要用这些特殊样本来训练模型，让模型学习特殊样本的特征，再做预测时也相对准确，不用增加额外的处理时间。另一方面，相对于深度学习的分类和检测方法，采用本申请的方法能直接输出目标缺陷的形状，面积，能够实现在判断有无缺陷裂纹的同时，实现对裂纹进行定性的分类以及尺寸测量。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (10)
1.一种路面裂缝检测的方法，其特征在于，包括：
获取道路裂缝图像，并进行预处理；
利用所述道路裂缝图像训练deeplab V3+网络模型；
依据训练好的所述deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息。
2.根据权利要求1所述的方法，其特征在于，所述获取道路裂缝图像，并进行预处理，具体包括：
将道路裂缝图像切割成预定尺寸大小；
标注所述道路裂缝图像中包含的道路裂缝；
将标注后的所述道路裂缝图像按照预设比例划分为训练数据集和验证数据集。
3.根据权利要求2所述的方法，其特征在于，所述利用所述道路裂缝图像训练deeplabV3+网络模型，具体包括：
根据统计标注的道路裂缝的像素值个数与背景像素数量的比值，配置损失权重系数；
将所述训练数据集中的道路裂缝图像输入deeplab V3+网络模型中，按照所述损失权重系数确定对应的损失值；
若依据所述损失值判定训练完成，则将所述验证数据集中的道路裂缝图像输入所述deeplab V3+网络模型中计算平均交并比；
根据所述平均交并比的大小和变化情况调整训练参数，以使所述deeplab V3+网络模型满足训练标准。
4.根据权利要求3所述的方法，其特征在于，所述平均交并比的计算公式为：
其中，i表示真实类，j表示预测类，pii表示判别正确的像素数量，pij表示将类别i预测为类别j的像素数量，pji表示将类别j预测为类别i的像素数量。
5.根据权利要求4所述的方法，其特征在于，所述根据所述平均交并比的大小和变化情况调整训练参数，以使所述deeplab V3+网络模型满足训练标准，具体包括：
将计算出的所述平均交并比与预设阈值进行比较，若判定所述平均交并比大于或等于所述预设阈值，则判定所述deeplab V3+网络模型通过准确性验证；
若判定所述平均交并比小于所述预设阈值，则判定所述deeplab V3+网络模型未通过准确性验证，则重新配置所述损失权重系数，以使所述deeplab V3+网络模型满足训练标准。
6.根据权利要求5所述的方法，其特征在于，所述依据训练好的所述deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息，具体包括：
基于预设地图开放平台提供的全景静态图应用程序接口获取街景图像，通过设置参数，编辑统一资源定位符来保存待检测街景图像；
将所述待检测街景图像输入满足所述训练标准的所述deeplab V3+网络模型中，获取裂缝信息。
7.根据权利要求6所述的方法，其特征在于，在所述依据训练好的所述deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息之后，具体还包括：
根据所述裂缝信息中包含裂缝区域的坐标位置计算所述裂缝区域的占地面积；
将所述裂缝区域的占地面积与预设面积阈值进行比较，进一步确定所述裂缝区域的大小属性；
输出所述裂缝信息及所述裂缝区域的大小属性。
8.一种路面裂缝检测的装置，其特征在于，包括：
处理模块，用于获取道路裂缝图像，并进行预处理；
训练模块，用于利用所述道路裂缝图像训练deeplab V3+网络模型；
检测模块，用于依据训练好的所述deeplab V3+网络模型对路面图像进行裂缝检测，并提取出裂缝信息。
9.一种非易失性可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的路面裂缝检测的方法。
10.一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的路面裂缝检测的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910934872.8A CN110910343A (zh) | 2019-09-29 | 2019-09-29 | 路面裂缝检测的方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910934872.8A CN110910343A (zh) | 2019-09-29 | 2019-09-29 | 路面裂缝检测的方法、装置及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110910343A true CN110910343A (zh) | 2020-03-24 |
Family
ID=69815305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910934872.8A Pending CN110910343A (zh) | 2019-09-29 | 2019-09-29 | 路面裂缝检测的方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110910343A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476781A (zh) * | 2020-04-08 | 2020-07-31 | 浙江大学 | 一种基于视频语义分割技术的混凝土裂缝识别方法和装置 |
| CN111612787A (zh) * | 2020-06-19 | 2020-09-01 | 国网湖南省电力有限公司 | 混凝土裂纹高分图像无损语义分割方法、装置及存储介质 |
| CN111815629A (zh) * | 2020-08-25 | 2020-10-23 | 创新奇智(南京)科技有限公司 | 衬砌检测方法、装置、电子设备及存储介质 |
| CN111932642A (zh) * | 2020-09-27 | 2020-11-13 | 湖南大学 | 一种结构裂纹体积的测算方法、装置、设备及存储介质 |
| CN112198899A (zh) * | 2020-09-30 | 2021-01-08 | 安徽乐道信息科技有限公司 | 基于无人飞行器的道路检测方法、设备和存储介质 |
| CN112706764A (zh) * | 2020-12-30 | 2021-04-27 | 潍柴动力股份有限公司 | 一种主动防碰撞预警方法、装置、设备和存储介质 |
| CN113389117A (zh) * | 2021-06-24 | 2021-09-14 | 邵慧楠 | 一种公路养护用破损检测装置 |
| US20220036124A1 (en) * | 2020-07-31 | 2022-02-03 | Sensetime Group Limited | Image processing method and device, and computer-readable storage medium |
| CN115047008A (zh) * | 2022-07-19 | 2022-09-13 | 苏州大学 | 基于Faster R-CNN的道路裂纹检测系统 |
| CN115183694A (zh) * | 2022-09-09 | 2022-10-14 | 北京江河惠远科技有限公司 | 输电线路基础数字化测量系统及其控制方法 |
| CN115830007A (zh) * | 2023-02-06 | 2023-03-21 | 山东省滨州公路工程有限公司 | 一种基于图像识别的路面脱空检测方法及系统 |
| GB2610881A (en) * | 2021-09-17 | 2023-03-22 | Acad Of Robotics | A method, vehicle and system for measuring a dimension of a road defect |
| CN116052105A (zh) * | 2023-02-09 | 2023-05-02 | 中咨数据有限公司 | 路面裂缝识别分类及面积计算方法、系统、设备及终端 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6615648B1 (en) * | 1997-12-22 | 2003-09-09 | The Roads And Traffic Authority On New South Wales | Road pavement deterioration inspection system |
| CN109949290A (zh) * | 2019-03-18 | 2019-06-28 | 北京邮电大学 | 路面裂缝检测方法、装置、设备及存储介质 |
| CN110020652A (zh) * | 2019-01-07 | 2019-07-16 | 新而锐电子科技(上海)有限公司 | 隧道衬砌裂缝图像的分割方法 |
| CN110097544A (zh) * | 2019-04-25 | 2019-08-06 | 武汉精立电子技术有限公司 | 一种显示面板外观缺陷检测方法 |
| CN110120041A (zh) * | 2019-05-14 | 2019-08-13 | 郑州大学 | 路面裂缝图像检测方法 |
-
2019
- 2019-09-29 CN CN201910934872.8A patent/CN110910343A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6615648B1 (en) * | 1997-12-22 | 2003-09-09 | The Roads And Traffic Authority On New South Wales | Road pavement deterioration inspection system |
| CN110020652A (zh) * | 2019-01-07 | 2019-07-16 | 新而锐电子科技(上海)有限公司 | 隧道衬砌裂缝图像的分割方法 |
| CN109949290A (zh) * | 2019-03-18 | 2019-06-28 | 北京邮电大学 | 路面裂缝检测方法、装置、设备及存储介质 |
| CN110097544A (zh) * | 2019-04-25 | 2019-08-06 | 武汉精立电子技术有限公司 | 一种显示面板外观缺陷检测方法 |
| CN110120041A (zh) * | 2019-05-14 | 2019-08-13 | 郑州大学 | 路面裂缝图像检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张元斌等, 西南交通大学出版社 * |
| 田萱等: "《基于深度学习的图像语义分割技术》", 31 May 2019 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476781A (zh) * | 2020-04-08 | 2020-07-31 | 浙江大学 | 一种基于视频语义分割技术的混凝土裂缝识别方法和装置 |
| CN111476781B (zh) * | 2020-04-08 | 2023-04-07 | 浙江大学 | 一种基于视频语义分割技术的混凝土裂缝识别方法和装置 |
| CN111612787A (zh) * | 2020-06-19 | 2020-09-01 | 国网湖南省电力有限公司 | 混凝土裂纹高分图像无损语义分割方法、装置及存储介质 |
| US20220036124A1 (en) * | 2020-07-31 | 2022-02-03 | Sensetime Group Limited | Image processing method and device, and computer-readable storage medium |
| US11663293B2 (en) * | 2020-07-31 | 2023-05-30 | Sensetime Group Limited | Image processing method and device, and computer-readable storage medium |
| CN111815629A (zh) * | 2020-08-25 | 2020-10-23 | 创新奇智(南京)科技有限公司 | 衬砌检测方法、装置、电子设备及存储介质 |
| CN111932642A (zh) * | 2020-09-27 | 2020-11-13 | 湖南大学 | 一种结构裂纹体积的测算方法、装置、设备及存储介质 |
| CN112198899A (zh) * | 2020-09-30 | 2021-01-08 | 安徽乐道信息科技有限公司 | 基于无人飞行器的道路检测方法、设备和存储介质 |
| CN112706764A (zh) * | 2020-12-30 | 2021-04-27 | 潍柴动力股份有限公司 | 一种主动防碰撞预警方法、装置、设备和存储介质 |
| CN113389117B (zh) * | 2021-06-24 | 2021-12-10 | 邵慧楠 | 一种公路养护用破损检测装置 |
| CN113389117A (zh) * | 2021-06-24 | 2021-09-14 | 邵慧楠 | 一种公路养护用破损检测装置 |
| GB2610881A (en) * | 2021-09-17 | 2023-03-22 | Acad Of Robotics | A method, vehicle and system for measuring a dimension of a road defect |
| CN115047008A (zh) * | 2022-07-19 | 2022-09-13 | 苏州大学 | 基于Faster R-CNN的道路裂纹检测系统 |
| CN115047008B (zh) * | 2022-07-19 | 2024-04-30 | 苏州大学 | 基于Faster R-CNN的道路裂纹检测系统 |
| CN115183694A (zh) * | 2022-09-09 | 2022-10-14 | 北京江河惠远科技有限公司 | 输电线路基础数字化测量系统及其控制方法 |
| CN115830007A (zh) * | 2023-02-06 | 2023-03-21 | 山东省滨州公路工程有限公司 | 一种基于图像识别的路面脱空检测方法及系统 |
| CN116052105A (zh) * | 2023-02-09 | 2023-05-02 | 中咨数据有限公司 | 路面裂缝识别分类及面积计算方法、系统、设备及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110910343A (zh) | 路面裂缝检测的方法、装置及计算机设备 | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| US9349076B1 (en) | Template-based target object detection in an image | |
| CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN109886928A (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| CN112232384A (zh) | 模型训练方法、图像特征提取方法、目标检测方法和装置 | |
| RU2008129793A (ru) | Способ улучшения последующей обработки изображений с использованием деформируемых сеток | |
| CN114998852A (zh) | 一种基于深度学习的公路路面病害智能检测方法 | |
| CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| US10726535B2 (en) | Automatically generating image datasets for use in image recognition and detection | |
| CN111738252B (zh) | 图像中的文本行检测方法、装置及计算机系统 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN110689134A (zh) | 执行机器学习过程的方法、装置、设备以及存储介质 | |
| CN114463637A (zh) | 一种基于深度学习的冬小麦遥感识别分析方法和系统 | |
| CN113537070A (zh) | 一种检测方法、装置、电子设备及存储介质 | |
| CN112215217A (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN114429577B (zh) | 一种基于高置信标注策略的旗帜检测方法及系统及设备 | |
| CN112883900A (zh) | 遥感影像裸地反演可视图的方法及装置 | |
| CN115272826A (zh) | 一种基于卷积神经网络的图像识别方法、装置及系统 | |
| CN113033386A (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| CN112634382B (zh) | 一种非自然对象的图像识别、替换方法和装置 | |
| CN115438945A (zh) | 基于电力设备巡检的风险识别方法、装置、设备及介质 | |
| CN114092813A (zh) | 一种工业园区图像提取方法、模型、电子设备和存储介质 | |
| CN113570001A (zh) | 分类识别定位方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200324 |