CN113112468A - 一种道路裂缝图片识别与处理方法 - Google Patents
一种道路裂缝图片识别与处理方法 Download PDFInfo
- Publication number
- CN113112468A CN113112468A CN202110376345.7A CN202110376345A CN113112468A CN 113112468 A CN113112468 A CN 113112468A CN 202110376345 A CN202110376345 A CN 202110376345A CN 113112468 A CN113112468 A CN 113112468A
- Authority
- CN
- China
- Prior art keywords
- crack
- picture
- pixel point
- road
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000006378 damage Effects 0.000 claims abstract description 30
- 239000010426 asphalt Substances 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000008439 repair process Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 230000035772 mutation Effects 0.000 claims description 30
- 238000004140 cleaning Methods 0.000 claims description 27
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 239000004576 sand Substances 0.000 claims description 9
- 238000007789 sealing Methods 0.000 claims description 9
- 239000004575 stone Substances 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 8
- 238000005507 spraying Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 239000000428 dust Substances 0.000 claims description 6
- 239000002893 slag Substances 0.000 claims description 6
- 238000004381 surface treatment Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 230000001680 brushing effect Effects 0.000 claims description 3
- 229910052500 inorganic mineral Inorganic materials 0.000 claims description 3
- 239000011707 mineral Substances 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 241000500881 Lepisma Species 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000000869 mutational effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011384 asphalt concrete Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 239000000565 sealant Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Road Repair (AREA)
Abstract
本发明提供了一种道路裂缝图片识别与处理方法，包括如下步骤：Step1：道路检测车拍摄采集道路裂缝照片，形成初始裂缝图片；Step2：对初始裂缝图片进行图片预处理，形成裂缝预处理图片集；Step3：基于VAE算法对裂缝预处理图片集进行自动编码和解码，得到处理后的解码图片；Step4：基于像素差异度算法标注解码图片中的裂缝区域和非裂缝区域；Step5：基于裂缝破坏等级公式区分裂缝区域的破坏程度，自动给出裂缝修补方式初步建议。本申请适用道路检测，尤其是沥青道路，通过VAE进行图像增强，通过像素差异度算法进行裂缝和非裂缝的识别，通过裂缝破坏等级公式自动给出裂缝处理建议，能够自动识别裂缝，并给出修补建议，大大减轻工作人员工作量，提高工作效率。
Description
技术领域
本发明涉及道路检测领域，具体涉及一种道路裂缝图片识别与处理方法。
背景技术
在我国沥青混凝土路面是当前公路较为普遍的路面结构类型，它具有表面平整、坚实、无接缝、行车舒适、耐磨、噪声低、施工期短、养护维修简便，能够吸水，一般在养护良好的条件下使用的寿命相对来说是比较长，且适宜于分期修建等优点，得到广泛的应用。但由于沥青混凝土材质本身的差异，再加上设计水平和施工质量的影响，沥青路面建成初期，不可避免地会产生各种形式的裂缝。在公路运营期间由于气候环境、重载交通及违规行驶等原因，裂缝的出现不可避免，而且发展趋势会逐渐加剧，如果严重的裂缝没有得到及时有效的处理，还会存在一定的安全隐患。从裂缝的表现形式来看，裂缝可以分为横向裂缝、纵向裂缝和网状裂缝三种。路面出现裂缝是病害表现之一，裂缝不仅影响到路面的美观、降低了平整度。早期产生的裂缝基本上不会影响沥青路面的使用性能，但随着雨水的侵入和荷载外力的作用下，水就会通过裂缝渗到路面基层、底基层甚至路基，这样会逐渐对沥青路面产生结构性破坏、腐蚀混凝土路基，削弱基层、土基的强度，加速道路的破坏，缩短整个道路的使用寿命。因此有必要对路面裂缝的发展状况、类型、范围、严重程度进行检测，及时发现、分类处理，对裂缝进行精细处治，达到可靠、耐久、经济、美观的处治效果。如何快速、准确、经济的做好裂缝现象发生的防范和处理已成为道路检测的重要问题。
传统的公路路面裂缝检测方法是通过工程师的视觉调查对路面进行人工检测，这种人工的检测的结果不仅耗时、成本高、效率低、工作强度大、速度慢，并且带有很强的主观性和不安全因素。随着我国公路里程的飞速增长，公路的养护任务势必将越来越繁重，目前的路面裂缝处理方法显然不能满足路况快速检测、评定发展的需要。
亟需一种高效、智能的道路裂缝图片识别与处理方法，能够自动识别裂缝，并给出修补建议，大大减轻工作人员工作量，提高工作效率，为公路路面养护决策提供科学的数据支撑，提高公路管养的技术水平。
发明内容
本申请提供一种道路裂缝图片识别与处理方法，适用道路检测，尤其是沥青道路，通过VAE(变分自动编码器，Variational Autoencoder)进行图像增强，通过像素差异度算法进行裂缝和非裂缝的识别，通过裂缝破坏等级公式自动给出裂缝处理方式初步建议，能够自动识别裂缝，并给出修补建议，大大减轻工作人员工作量，提高工作效率。
为解决上述技术问题，本发明采用的技术方案为：
一种道路裂缝图片识别与处理方法，包括如下步骤：
Step1：道路检测车拍摄采集道路裂缝照片，形成初始裂缝图片；
Step2：对初始裂缝图片进行图片预处理，形成裂缝预处理图片集；
Step3：基于VAE算法对裂缝预处理图片集进行自动编码和解码，得到处理后的解码图片；
Step4：基于像素差异度算法标注解码图片中的裂缝区域和非裂缝区域；
Step5：基于裂缝破坏等级公式区分裂缝区域的破坏程度，自动给出裂缝修补方式初步建议。
进一步的，Step2中图片预处理包括图像翻转、图像旋转和图像插值法。
进一步的，图像插值采用下述公式进行像素调整：
其中，u和v均为0-1之间的常数，C(i+u，j+v)表示裂缝预处理图片中第i行第j列和裂缝预处理图片中第i+1行第j+1列之间，且距离裂缝预处理图片中第i行第j列的像素点水平位移为u垂直位移为v的像素点的灰度值，A(i，j)表示初始裂缝图片上第i行第j列的像素点的灰度值，A(i+1，j)表示初始裂缝图片上第i+1行第j列的像素点的灰度值，A(i，j+1)表示初始裂缝图片上第i行第j+1列的像素点的灰度值，A(i+1，j+1)表示初始裂缝图片上第i+1行第j+1列的像素点的灰度值。
其中，Step3中包括如下步骤：。
Step3.1：通过编码器对预处理图片集进行编码，将编码后的图片输入VAE模型；
Step3.2：进行VAE模型网络层的调整，增加网络层模块，增加或减少隐含层；
Step3.4：进行VAE模型训练，调整VAE模型参数；
Step3.4：模型测试，测试满足预设条件，通过解码器对编码图片进行解码，形成解码图片，不满足预设条件，则返回步骤3.3进一步调整VAE模型参数；
VAE模型的利用：
道路家测车拍摄完图像后，对每一张道路图像利用上述部分训练好的VAE模型进行图像增强，得到较为清晰的图像后再用像素差异算法进行识别与分析。
进一步的，step4包括如下步骤：
Step4.1：将解码图片上的所有像素点存储于初始非突变集X0中，；
Step4.2：在初始非突变集X0中提取一个像素点x存储在突变集Y中，形成非突变集X1；
Step4.3：计算非突变集X1和初始非突变集X0内各像素点的像素差异度D(X1)和D(X0),当D(X1)≤D(X0)时，将像素点x继续存储在突变集Y中，否则，将像素点x重新存储在初始非突变集X0中；
Step4.4：重复步骤4.2-4.3，直至所有像素点均被提取，并且所有像素点只提取依次，形成
最终非突变集X*和最终突变集Y*；
Step4.5：将最终突变集Y*在解码图片上标注出来，形成一个或多个连续的区块，即为裂缝区域，剔除最终突变集Y*上的零散点，形成非裂缝区域；
其中，step4.3中非突变集X1和初始非突变集X0内各像素点的像素差异度D(X1)和D(X0)的计算均采用像素点RGB值进行计算，计算公式如下：
其中，D(X1)表示非突变集X1内各像素点的像素差异度，和D(X0)表示初始非突变集X0内各像素点的像素差异度，
D(X1R)表示非突变集X1内各像素点RGB中R值的方差，D(X1G)表示非突变集X1内各像素点RGB中G值的方差，D(X1B)表示非突变集X1内各像素点RGB中B值的方差，a、b、c均为常数，a表示像素点RGB中R值差异度系数，b表示像素点RGB中G值差异度系数，c表示像素点RGB中B值差异度系数，
D(X0R)表示初始非突变集X0内各像素点RGB中R值的方差，D(X0G)表示初始非突变集X0内各像素点RGB中G值的方差，D(X0B)表示初始非突变集X0内各像素点RGB中B值的方差。
优选的，a＝2/9，b＝3/9,c＝4/9。
进一步的，对于任意连续的裂缝区域，采用下述裂缝破坏等级公式进行计算：
max|H1-H2|cosθ×L/l≤k1 (4)
|V1-V2|L/l≤k2 (5)
LS/n≤k3 (6)
其中，H1和H2表示解码图片上裂缝区域所包围的封闭图形外轮廓上的任意两点，|H1-H2|表示解码图片上裂缝区域所包围的封闭图形外轮廓上的任意两点H1和H2之间的距离，θ表示H1和H2两点的连线与解码图片上道路边之间的夹角，L表示道路实际的宽度，l表示解码图片上道路的宽度，k1为长度阈值，是常数，
V1和V2表示解码图片上裂缝区域所包围的封闭图形外轮廓上的两点，且V1与V2的连线与解码图片上道路边相垂直，|V1-V2|表示V1和V2之间的距离，k2为宽度阈值，是常数，
S表示解码图片上裂缝区域所包围的封闭图形内像素点的个数，n表示解码图片上道路的宽度所占据的像素点的个数，k3为面积阈值，是常数。
进一步的，step5中裂缝区域的破坏程度分别轻度裂缝、中度裂缝和重度裂缝，
①当公式(4)、公式(5)和公式(6)同时成立时，裂缝区域的破坏程度为轻度裂缝；
②当公式(4)或公式(5)一个或者两个不成立，并且公式(6)成立时候，裂缝区域的破坏程度为中度裂缝；
③当公式(6)不成立时，裂缝区域的破坏程度为重度裂缝。
优选的，道路修补建议如下：
(1)对于轻度裂缝的处理：不进行处理或者采用封闭法或者表面处理法，
a.对于路面平整度要求不高的沥青路面，且在高温季节能够愈合的轻微裂缝，不进行处理；
b.对路面平整度要求较高，且在高温季节不能愈合的轻微裂缝，采用以下两种方法进行处治：
①采用封闭法处理：将有裂缝的路段清扫干净并均匀喷洒少量沥青，再匀撒一层的干燥洁净石屑或细砂，最后用轻型压路机将矿料碾压。
②采用表面处理法：沿裂缝涂刷少量稠度较低的沥青；
(2)对于中度裂缝的处理：采用开槽灌缝法；
开槽灌缝法包括如下步骤：
步骤1：开槽
按照设计的开槽尺寸，预先调节好开槽机开槽深度，然后进行开槽作业；
步骤2：清槽
用吹风机将槽内的碎渣及裂缝两侧至少10cm范围内的杂物、灰尘彻底清扫干净；
步骤3：灌缝
将稠度较低的热沥青灌入缝内，灌入深度约为缝深的2/3；
步骤4：填充
填入已筛好的干净的石屑或细砂，并捣实；
步骤5：清理
将溢出缝外的沥青及石屑、砂清除干净；
(3)对于重度裂缝的处理：采用全深度处理法：
全深度处理法包括如下步骤：
步骤(1)：开槽
按照设计的开槽尺寸，预先调节好开槽机开槽深度，然后进行开槽作业；
步骤(2)：清槽
将槽内的碎渣及裂缝两侧的杂物、灰尘彻底清扫干净；
步骤(3)：灌缝
用灌缝机上带有刮平器的压力喷头将修复材料均匀地灌入槽内，并在裂缝两侧拖成一定宽度与厚度的封层；
步骤(4)：清理
将溢出缝外的沥青清除干净。
本发明的有益效果：
本申请提供一种道路裂缝图片识别与处理方法，通过一种无监督学习算法中的VAE(变分自动编码器，Variational Autoencoder)模型进行图像增强，使原本细小、模糊的裂缝图像变得更加清晰，特征更加丰富，通过像素差异度算法进行裂缝和非裂缝的识别，通过裂缝破坏等级公式自动给出裂缝处理方式初步建议，能够自动识别裂缝，并给出修补建议，大大减轻工作人员工作量，提高工作效率。
1、通过VAE算法编码解码后再判别巡检图像，能够对微小裂缝起到识别作用，模型精度更高，相比常规方法直接判别巡检图像，克服了常规方法中存在的微小裂缝不能识别的问题。
2、基于深度学习的VAE算法对裂缝预处理图片集进行自动编码和解码，针对道路图像中细小的、较为模糊的裂缝，使得其局部特征更加丰富、图像更加清晰，而不影响其他周边像素特征，而传统的预处理方法多是通过亮度调整、角度调整等整体性的处理，无法针对性的局部处理，效果不佳。
3、创造性提出像素差异度算法，客观评价裂缝像素差异度，避免人为判定工作量大，且容易受主观因素影响，提高了判别效率和准确率。
4、创造性提出裂缝破坏等级公式，自动给出裂缝破坏程度和道路修补建议，方便工作人员根据裂缝破坏的严重程度有选择性进行裂缝修补，大大节约了判定时间，提高了修补的效率。
5、综合评价裂缝的长度、宽度和面积，更加客观得得出裂缝破坏等级，研判维度广，相较于传统通过工程师直观判断，或者仅仅通过宽度进行判断更加客观，适用于多路况，适应性强。
6、采用图像插值公式进行像素调整，扩大裂缝区块的识别，更加便于区分裂缝区块和非裂缝区块的标识。
7、通过突变集和非突变集的迭代调整，以及零散点的剔除，系统自动对解码图片进行标注，大大减轻了人工标注的工作量。
附图说明
图1为本发明的一种道路裂缝图片识别与处理方法步骤流程图；
图2为道路检测车拍摄的道路图片示意图；
图3为本发明提供的基于VAE算法得到的裂缝预处理图片；
图4为本发明提供的基于图像插值的原理示意图；
图5为本发明提供的裂缝破坏等级的示意图；
图6为本发明提供的VAE方法的原理示意图；
图7为本发明提供的VAE方法的应用结构示意图。
具体实施方式
下面结合附图以及具体实施方法对本发明一种道路裂缝图片识别与处理方法作进一步详细说明。
如图1所示，
实施例1：
一种道路裂缝图片识别与处理方法，如图1所示，包括如下步骤：
Step1：道路检测车拍摄采集道路裂缝照片，形成初始裂缝图片；
Step2：对初始裂缝图片进行图片预处理，形成裂缝预处理图片集；
Step3：基于VAE算法对裂缝预处理图片集进行自动编码和解码，得到处理后的解码图片；
Step4：基于像素差异度算法标注解码图片中的裂缝区域和非裂缝区域；
Step5：基于裂缝破坏等级公式区分裂缝区域的破坏程度，自动给出裂缝修补方式初步建议。
其中，Step2中图片预处理包括图像翻转、图像旋转和图像插值法，也可以包括其他预处理方式，如调整亮度。
其中，Step3中包括如下步骤：。
Step3.1：通过编码器对预处理图片集进行编码，将编码后的图片输入VAE模型；
Step3.2：进行VAE模型网络层的调整，增加网络层模块，增加或减少隐含层；
Step3.4：进行VAE模型训练，调整VAE模型参数；
Step3.4：模型测试，测试满足预设条件，通过解码器对编码图片进行解码，形成解码图片，
不满足预设条件，则返回步骤3.3进一步调整VAE模型参数。
利用巡检车拍摄图像进行修补自动识别过程中，我们发现由于拍摄高度、修补本身长度、光线、相机拍摄等原因，修补图像存在成像不完整，特征少，修补在图像占比不高等现象。有些路段拍摄到的图像质量比较低，尤其是针对细小的裂缝相机拍摄到的图像中的像素占比低下，识别精度受到了较大的影响。比如图1的裂缝宽度占有的的像素点很少，在拍摄的原图中肉眼也比较难分辨。
通过VAE算法编码解码后再判别巡检图像，能够对微小裂缝起到识别作用，模型精度更高，相比常规方法直接判别巡检图像，克服了常规方法中存在的微小裂缝不能识别的问题。基于VAE算法对裂缝预处理图片集进行自动编码和解码，可以对细小特征进行局部特殊处理，对裂缝细小特征进行处理，而传统的图片处理多是通过亮度调整、角度调整等整体性的处理，效果不佳。
变分自编码器(Variational Auto-Encoders，VAE)作为深度生成模型的一种形式，是由Kingma等人于2014年提出的基于变分贝叶斯(Variational Bayes，VB)推断的生成式网络结构。与传统的自编码器通过数值的方式描述潜在空间不同，它以概率的方式描述对潜在空间的观察，在数据生成方面表现出了巨大的应用价值。VAE一经提出就迅速获得了深度生成模型领域广泛的关注，并和生成对抗网络(Generative Adversarial Networks，GAN)被视为无监督式学习领域最具研究价值的方法之一，在深度生成模型领域得到越来越多的应用。VAE自动编码器需要输入一张图片，然后将一张图片编码之后得到一个隐含向量，这比随机取一个随机噪声效果好，因为这包含着原图片的信息，然后我们隐含向量解码得到与原图片对应的照片。通过一张图片输入编码得到的隐含向量是什么，这时可以通过变分自动编码器来解决。
其实原理如图6-图7所示，需要在编码过程给它增加一些限制，迫使其生成的隐含向量能够粗略的遵循一个标准正态分布，这就是其与一般的自动编码器最大的不同。这样生成一张新图片，需要给它一个标准正态分布的随机隐含向量，这样通过解码器就能够生成所需图片，而不需要给它一张原始图片先编码。
在实际情况中，我们需要在模型的准确率上与隐含向量服从标准正态分布之间做一个权衡，所谓模型的准确率就是指解码器生成的图片与原图片的相似程度。可以让网络自己来做这个决定，只需要将这两者都做一个loss(损失值)，然后在将他们求和作为总的loss，这样网络就能够自己选择如何才能够使得这个总的loss下降。另外衡量两种分布的相似程度，如何看过之前一片GAN(Generative Adversarial Networks，生成式对抗网络)的数学推导，得出叫KL divergence(相对熵,衡量两个概率分布之间的不同程度来衡量两种分布的相似程度)，通过KL divergence来表示隐含向量与标准正态分布之间差异的loss，另外一个loss仍然使用生成图片与原图片的均方误差来表示。
实施例2：实施例2和实施例1的区别仅在于，对图片的预处理过程给出了一种具体的方法。
具体的，如图2-图4所示，图像旋转采用180度旋转，图像翻转为左右翻转，图像插值采用下述公式进行像素调整：
其中，u和v均为0-1之间的常数，C(i+u，j+v)表示裂缝预处理图片中第i行第j列和裂缝预处理图片中第i+1行第j+1列之间，且距离裂缝预处理图片中第i行第j列的像素点水平位移为u垂直位移为v的像素点的灰度值，A(i，j)表示初始裂缝图片上第i行第j列的像素点的灰度值，A(i+1，j)表示初始裂缝图片上第i+1行第j列的像素点的灰度值，A(i，j+1)表示初始裂缝图片上第i行第j+1列的像素点的灰度值，A(i+1，j+1)表示初始裂缝图片上第i+1行第j+1列的像素点的灰度值。
在待求象素的四邻象素中，将距离待求象素最近的邻象素灰度赋给待求象素。设i+u,j+v(i,j为正整数，u,v为大于零小于1的小数，下同)为待求象素坐标，则待求象素灰度的值f(i+u,j+v)，如果(i+u,j+v)落在A区，即u<0.5,v<0.5，则将左上角象素的灰度值赋给待求象素，同理，落在B区则赋予右上角的象素灰度值，落在C区则赋予左下角象素的灰度值，落在D区则赋予右下角象素的灰度值。
也可以其利用传统机器学习方法中的图像缩小原理，如opencv resize函数，先对每一张图像进行同等比例的缩小，再利用图像插值方法对图像进行放大(放大到原来的图像大小即可)，这样就可以得到比较模糊的道路图像；取同等数量级的原图和初始图片共同作为VAE训练集；
实施例3：实施例3和实施例1的区别仅在于，给出了一种道路修补的一种具体评价方法。
具体的，step4包括如下步骤：
Step4.1：将解码图片上的所有像素点存储于初始非突变集X0中，；
Step4.2：在初始非突变集X0中提取一个像素点x存储在突变集Y中，形成非突变集X1；
Step4.3：计算非突变集X1和初始非突变集X0内各像素点的像素差异度D(X1)和D(X0),当D(X1)≤D(X0)时，将像素点x继续存储在突变集Y中，否则，将像素点x重新存储在初始非突变集X0中；
Step4.4：重复步骤4.2-4.3，直至所有像素点均被提取，并且所有像素点只提取依次，形成
最终非突变集X*和最终突变集Y*；
Step4.5：将最终突变集Y*在解码图片上标注出来，形成一个或多个连续的区块，即为裂缝区域，剔除最终突变集Y*上的零散点，形成非裂缝区域；
其中，step4.3中非突变集X1和初始非突变集X0内各像素点的像素差异度D(X1)和D(X0)的计算均采用像素点RGB值进行计算，计算公式如下：
其中，D(X1)表示非突变集X1内各像素点的像素差异度，和D(X0)表示初始非突变集X0内各像素点的像素差异度，
D(X1R)表示非突变集X1内各像素点RGB中R值的方差，D(X1G)表示非突变集X1内各像素点RGB中G值的方差，D(X1B)表示非突变集X1内各像素点RGB中B值的方差，a、b、c均为常数，a表示像素点RGB中R值差异度系数，b表示像素点RGB中G值差异度系数，c表示像素点RGB中B值差异度系数，
D(X0R)表示初始非突变集X0内各像素点RGB中R值的方差，D(X0G)表示初始非突变集X0内各像素点RGB中G值的方差，D(X0B)表示初始非突变集X0内各像素点RGB中B值的方差。
优选的，a＝2/9，b＝3/9,c＝4/9。
进一步的，对于任意连续的裂缝区域，如图5所示，采用下述裂缝破坏等级公式进行计算：
max|H1-H2|cosθ×L/l≤k1 (4)
|V1-V2|L/l≤k2 (5)
LS/n≤k3 (6)
其中，H1和H2表示解码图片上裂缝区域所包围的封闭图形外轮廓上的任意两点，|H1-H2|表示解码图片上裂缝区域所包围的封闭图形外轮廓上的任意两点H1和H2之间的距离，θ表示H1和H2两点的连线与解码图片上道路边之间的夹角，L表示道路实际的宽度，l表示解码图片上道路的宽度，k1为长度阈值，是常数，K1取经验值37mm，
V1和V2表示解码图片上裂缝区域所包围的封闭图形外轮廓上的两点，且V1与V2的连线与解码图片上道路边相垂直，|V1-V2|表示V1和V2之间的距离，k2为宽度阈值，是常数，K2可以取经验值3mm。
S表示解码图片上裂缝区域所包围的封闭图形内像素点的个数，n表示解码图片上道路的宽度所占据的像素点的个数，k3为面积阈值，是常数，K3可取经验值112mm2。
进一步的，step5中裂缝区域的破坏程度分别轻度裂缝、中度裂缝和重度裂缝，
①当公式(4)、公式(5)和公式(6)同时成立时，裂缝区域的破坏程度为轻度裂缝；
②当公式(4)或公式(5)一个或者两个不成立，并且公式(6)成立时候，裂缝区域的破坏程度为中度裂缝；
③当公式(6)不成立时，裂缝区域的破坏程度为重度裂缝。
优选的，道路修补建议如下：
(1)对于轻度裂缝的处理：不进行处理或者采用封闭法或者表面处理法，
a.对于路面平整度要求不高的沥青路面，且在高温季节能够愈合的轻微裂缝，不进行处理；
b.对路面平整度要求较高，且在高温季节不能愈合的轻微裂缝，采用以下两种方法进行处治：
①采用封闭法处理：将有裂缝的路段清扫干净并均匀喷洒少量沥青(在低温、潮湿季节宜喷洒乳化沥青)，再匀撒一层2-5mm的干燥洁净石屑或细砂，最后用轻型压路机将矿料碾压。
②采用表面处理法：沿裂缝涂刷少量稠度较低的沥青；优点是操作方便，速度快，缺点是对裂缝处理只是停留在表面，没有深入到裂缝的内部，对裂缝延伸起不到防治作用。
(2)对于中度裂缝的处理：采用开槽灌缝法；
开槽灌缝法包括如下步骤：
步骤1：开槽
按照设计的开槽尺寸，预先调节好开槽机开槽深度，然后进行开槽作业；
步骤2：清槽
用吹风机将槽内的碎渣及裂缝两侧至少10cm范围内的杂物、灰尘彻底清扫干净；
步骤3：灌缝
将稠度较低的热沥青(缝内潮湿时应采用乳化沥青)灌入缝内，灌入深度约为缝深的2/3；
步骤4：填充
填入已筛好的干净的石屑或细砂(视缝宽窄选料)，并捣实；
步骤5：清理
将溢出缝外的沥青及石屑、砂清除干净；
(3)对于重度裂缝的处理：采用全深度处理法：
全深度处理法包括如下步骤：
步骤(1)：开槽
按照设计的开槽尺寸，预先调节好开槽机开槽深度，然后进行开槽作业；开槽尺寸视裂缝、裂纹、段板、情况而定；
步骤(2)：清槽
用吹风机将槽内的碎渣及裂缝两侧至少10cm范围内的杂物、灰尘彻底清扫干净；用高压或者用水枪对缝隙进行冲洗，水枪压力越大越好。把裂缝冲洗干净让裂缝得到湿润
步骤(3)：灌缝
用灌缝机上带有刮平器的压力喷头将修复材料(密封胶)均匀地灌入槽内，并在裂缝两侧拖成一定宽度与厚度的封层；
步骤(4)：清理
将溢出缝外的沥青清除干净，等待表面凝固之后可少量洒水进行覆膜。
另外，沥青路面处理宜为每年的3-4月份，因为经过一个冬季的“冷缩”过程，裂缝的缝宽在初春时为最大值，此时对裂缝进行处理有利于在气温升高时裂缝逐步变小，还可以在梅雨季节防止和减少雨水下渗至基层。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种道路裂缝图片识别与处理方法，其特征在于，包括如下步骤：
Step1：道路检测车拍摄采集道路裂缝照片，形成初始裂缝图片；
Step2：对初始裂缝图片进行图片预处理，形成裂缝预处理图片集；
Step3：基于VAE算法对裂缝预处理图片集进行自动编码和解码，得到处理后的解码图片；
Step4：基于像素差异度算法标注解码图片中的裂缝区域和非裂缝区域；
Step5：基于裂缝破坏等级公式区分裂缝区域的破坏程度，自动给出裂缝修补方式初步建议。
2.根据权利要求1所述的一种道路裂缝图片识别与处理方法，其特征在于，Step2中图片预处理包括图像翻转、图像旋转和图像插值法。
3.根据权利要求2所述的一种道路裂缝图片识别与处理方法，其特征在于，图像插值采用下述公式进行像素调整：
其中，u和v均为0-1之间的常数，C(i+u，j+v)表示裂缝预处理图片中第i行第j列和裂缝预处理图片中第i+1行第j+1列之间，且距离裂缝预处理图片中第i行第j列的像素点水平位移为u垂直位移为v的像素点的灰度值，A(i，j)表示初始裂缝图片上第i行第j列的像素点的灰度值，A(i+1，j)表示初始裂缝图片上第i+1行第j列的像素点的灰度值，A(i，j+1)表示初始裂缝图片上第i行第j+1列的像素点的灰度值，A(i+1，j+1)表示初始裂缝图片上第i+1行第j+1列的像素点的灰度值。
4.根据权利要求1所述的一种道路裂缝图片识别与处理方法，其特征在于，Step3中包括如下步骤：。
Step3.1：通过编码器对预处理图片集进行编码，将编码后的图片输入VAE模型；
Step3.2：进行VAE模型网络层的调整，增加网络层模块，增加或减少隐含层；
Step3.4：进行VAE模型训练，调整VAE模型参数；
Step3.4：模型测试，测试满足预设条件，通过解码器对编码图片进行解码，形成解码图片，不满足预设条件，则返回步骤3.3进一步调整VAE模型参数。
5.根据权利要求1所述的一种道路裂缝图片识别与处理方法，其特征在于，step4包括如下步骤：
Step4.1：将解码图片上的所有像素点存储于初始非突变集X0中，；
Step4.2：在初始非突变集X0中提取一个像素点x存储在突变集Y中，形成非突变集X1；
Step4.3：计算非突变集X1和初始非突变集X0内各像素点的像素差异度D(X1)和D(X0),当D(X1)≤D(X0)时，将像素点x继续存储在突变集Y中，否则，将像素点x重新存储在初始非突变集X0中；
Step4.4：重复步骤4.2-4.3，直至所有像素点均被提取，并且所有像素点只提取依次，形成最终非突变集X*和最终突变集Y*；
Step4.5：将最终突变集Y*在解码图片上标注出来，形成一个或多个连续的区块，即为裂缝区域，剔除最终突变集Y*上的零散点，形成非裂缝区域。
6.根据权利要求5所述的一种道路裂缝图片识别与处理方法，其特征在于，step4.3中非突变集X1和初始非突变集X0内各像素点的像素差异度D(X1)和D(X0)的计算均采用像素点RGB值进行计算，计算公式如下：
其中，D(X1)表示非突变集X1内各像素点的像素差异度，和D(X0)表示初始非突变集X0内各像素点的像素差异度，
D(X1R)表示非突变集X1内各像素点RGB中R值的方差，D(X1G)表示非突变集X1内各像素点RGB中G值的方差，D(X1B)表示非突变集X1内各像素点RGB中B值的方差，a、b、c均为常数，a表示像素点RGB中R值差异度系数，b表示像素点RGB中G值差异度系数，c表示像素点RGB中B值差异度系数，
D(X0R)表示初始非突变集X0内各像素点RGB中R值的方差，D(X0G)表示初始非突变集X0内各像素点RGB中G值的方差，D(X0B)表示初始非突变集X0内各像素点RGB中B值的方差。
7.根据权利要求6所述的一种道路裂缝图片识别与处理方法，其特征在于，a＝2/9，b＝3/9,c＝4/9。
8.根据权利要求7所述的一种道路裂缝图片识别与处理方法，其特征在于，对于任意连续的裂缝区域，采用下述裂缝破坏等级公式进行计算：
max|H1-H2|cosθ×L/l≤k1 (4)
|V1-V2|L/l≤k2 (5)
LS/n≤k3 (6)
其中，H1和H2表示解码图片上裂缝区域所包围的封闭图形外轮廓上的任意两点，|H1-H2|表示解码图片上裂缝区域所包围的封闭图形外轮廓上的任意两点H1和H2之间的距离，θ表示H1和H2两点的连线与解码图片上道路边之间的夹角，L表示道路实际的宽度，l表示解码图片上道路的宽度，k1为长度阈值，是常数，
V1和V2表示解码图片上裂缝区域所包围的封闭图形外轮廓上的两点，且V1与V2的连线与解码图片上道路边相垂直，|V1-V2|表示V1和V2之间的距离，k2为宽度阈值，是常数，
S表示解码图片上裂缝区域所包围的封闭图形内像素点的个数，n表示解码图片上道路的宽度所占据的像素点的个数，k3为面积阈值，是常数。
9.根据权利要求8所述的一种道路裂缝图片识别与处理方法，其特征在于，step5中裂缝区域的破坏程度分别轻度裂缝、中度裂缝和重度裂缝，
①当公式(4)、公式(5)和公式(6)同时成立时，裂缝区域的破坏程度为轻度裂缝；
②当公式(4)或公式(5)一个或者两个不成立，并且公式(6)成立时候，裂缝区域的破坏程度为中度裂缝；
③当公式(6)不成立时，裂缝区域的破坏程度为重度裂缝。
10.根据权利要求9所述的一种道路裂缝图片识别与处理方法，其特征在于，道路修补建议如下：
(1)对于轻度裂缝的处理：不进行处理或者采用封闭法或者表面处理法，
a.对于路面平整度要求不高的沥青路面，且在高温季节能够愈合的轻微裂缝，不进行处理；
b.对路面平整度要求较高，且在高温季节不能愈合的轻微裂缝，采用以下两种方法进行处治：
①采用封闭法处理：将有裂缝的路段清扫干净并均匀喷洒少量沥青，再匀撒一层的干燥洁净石屑或细砂，最后用轻型压路机将矿料碾压。
②采用表面处理法：沿裂缝涂刷少量稠度较低的沥青；
(2)对于中度裂缝的处理：采用开槽灌缝法；
开槽灌缝法包括如下步骤：
步骤1：开槽
按照设计的开槽尺寸，预先调节好开槽机开槽深度，然后进行开槽作业；
步骤2：清槽
用吹风机将槽内的碎渣及裂缝两侧至少10cm范围内的杂物、灰尘彻底清扫干净；
步骤3：灌缝
将稠度较低的热沥青灌入缝内，灌入深度约为缝深的2/3；
步骤4：填充
填入已筛好的干净的石屑或细砂，并捣实；
步骤5：清理
将溢出缝外的沥青及石屑、砂清除干净；
(3)对于重度裂缝的处理：采用全深度处理法：
全深度处理法包括如下步骤：
步骤(1)：开槽
按照设计的开槽尺寸，预先调节好开槽机开槽深度，然后进行开槽作业；
步骤(2)：清槽
将槽内的碎渣及裂缝两侧的杂物、灰尘彻底清扫干净；
步骤(3)：灌缝
用灌缝机上带有刮平器的压力喷头将修复材料均匀地灌入槽内，并在裂缝两侧拖成一定宽度与厚度的封层；
步骤(4)：清理
将溢出缝外的沥青清除干净。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110376345.7A CN113112468B (zh) | 2021-04-02 | 2021-04-02 | 一种道路裂缝图片识别与处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110376345.7A CN113112468B (zh) | 2021-04-02 | 2021-04-02 | 一种道路裂缝图片识别与处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113112468A true CN113112468A (zh) | 2021-07-13 |
| CN113112468B CN113112468B (zh) | 2021-10-12 |
Family
ID=76714603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110376345.7A Active CN113112468B (zh) | 2021-04-02 | 2021-04-02 | 一种道路裂缝图片识别与处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113112468B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808128A (zh) * | 2021-10-14 | 2021-12-17 | 河北工业大学 | 基于相对坐标定位算法的智能压实全过程可视化控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011179874A (ja) * | 2010-02-26 | 2011-09-15 | East Nippon Expressway Co Ltd | 舗装路面のクラックの抽出と損傷レベルの評価方法 |
| KR101896406B1 (ko) * | 2018-03-13 | 2018-10-22 | 연세대학교 산학협력단 | 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 |
| CN111126505A (zh) * | 2019-12-28 | 2020-05-08 | 北京工业大学 | 一种基于深度学习的路面裂缝快速识别方法 |
| CN112419250A (zh) * | 2020-11-13 | 2021-02-26 | 湖北工业大学 | 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法 |
-
2021
- 2021-04-02 CN CN202110376345.7A patent/CN113112468B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011179874A (ja) * | 2010-02-26 | 2011-09-15 | East Nippon Expressway Co Ltd | 舗装路面のクラックの抽出と損傷レベルの評価方法 |
| KR101896406B1 (ko) * | 2018-03-13 | 2018-10-22 | 연세대학교 산학협력단 | 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 |
| CN111126505A (zh) * | 2019-12-28 | 2020-05-08 | 北京工业大学 | 一种基于深度学习的路面裂缝快速识别方法 |
| CN112419250A (zh) * | 2020-11-13 | 2021-02-26 | 湖北工业大学 | 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEILING HUANG: "A Novel Road Crack Detection and Identification Method Using Digital Image Processing Techniques", 《IEEE》 * |
| 贾迪: "面向线阵列CCD道路影像的裂缝识别", 《中国图像图形学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808128A (zh) * | 2021-10-14 | 2021-12-17 | 河北工业大学 | 基于相对坐标定位算法的智能压实全过程可视化控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113112468B (zh) | 2021-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109754368B (zh) | 一种桥梁质量检测中的裂缝拼接方法 | |
| CN109580657B (zh) | 一种桥梁质量检测中的裂缝检测方法 | |
| CN108664715B (zh) | 一种路面积水车辙三维评价与行车安全分析方法 | |
| Qingbo | Pavement crack detection algorithm based on image processing analysis | |
| CN116934748A (zh) | 一种基于乳化高黏沥青的路面裂纹检测系统 | |
| CN113112468B (zh) | 一种道路裂缝图片识别与处理方法 | |
| CN106529593B (zh) | 路面病害检测方法和系统 | |
| CN104792792A (zh) | 一种逐步求精的路面裂缝检测方法 | |
| CN112084900B (zh) | 一种基于视频分析的地下车库乱停检测方法 | |
| CN112561903B (zh) | 一种适用于寒冷地区沥青路面抗温缩裂缝的方法 | |
| CN106918553B (zh) | 基于aims集料成像系统的粗集料抗滑性能评价方法 | |
| CN101814138B (zh) | 基于图像的水泥混凝土路面嵌缝料损坏类型识别分类方法 | |
| CN109815961A (zh) | 一种基于局部纹理二值模式的路面修补类病害检测方法 | |
| CN115311260A (zh) | 一种公路交通工程路面质量检测方法 | |
| CN116029941A (zh) | 一种建筑垃圾的视觉图像增强处理方法 | |
| CN115017979B (zh) | 一种半刚性基层沥青路面的路面状况评价方法 | |
| CN116012348A (zh) | 一种适用于路面裂缝的最大裂缝宽度测定方法 | |
| CN112529351A (zh) | 一种针对多个尾矿库的安全风险评估方法 | |
| CN107610094B (zh) | 基于椭球立体表征的裂缝三维检测方法 | |
| CN117408928B (zh) | 基于图像处理的透水混凝土路面结构确定方法 | |
| CN113935987A (zh) | 基于图像处理的城市道路积水程度检测方法 | |
| CN110987928B (zh) | 再生骨料沥青混合料骨料接触类型分析方法 | |
| Cui et al. | Artificial neural network modeling for predicting surface texture and its attenuation of micro-surfacing containing steel slag aggregates | |
| CN114359255A (zh) | 一种基于改进Yolov5s的公路路面修补检测方法 | |
| Zainuddin et al. | Detection and Classification of Road Damage Using Camera with GLCM and SVM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |