CN115100207B - 一种基于机器视觉的检测系统及检测方法 - Google Patents

一种基于机器视觉的检测系统及检测方法 Download PDF

Info

Publication number
CN115100207B
CN115100207B CN202211029447.2A CN202211029447A CN115100207B CN 115100207 B CN115100207 B CN 115100207B CN 202211029447 A CN202211029447 A CN 202211029447A CN 115100207 B CN115100207 B CN 115100207B
Authority
CN
China
Prior art keywords
road surface
damage
target frame
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211029447.2A
Other languages
English (en)
Other versions
CN115100207A (zh
Inventor
潘达亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hengxin Tianchuang Technology Co ltd
Original Assignee
Beijing Hengxin Tianchuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hengxin Tianchuang Technology Co ltd filed Critical Beijing Hengxin Tianchuang Technology Co ltd
Priority to CN202211029447.2A priority Critical patent/CN115100207B/zh
Publication of CN115100207A publication Critical patent/CN115100207A/zh
Application granted granted Critical
Publication of CN115100207B publication Critical patent/CN115100207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于机器视觉的检测系统及检测方法，检测方法包括：获取待检测路面图像，将获取的待检测路面图像进行预处理，剔除待检测路面图像中非目标处理图像得到目标处理图像；对目标处理图像中的路面损坏区域进行粗目标框标记；基于训练好的路面检测深度学习模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型；基于训练好的路面检测深度学习模型对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置。本发明在先对路面损坏区域进行粗目标框标记后，再对粗目标框内的每处路面损坏区域分别进行回归定位，从而能够确定粗目标框内每处路面损坏区域的具体损坏位置。

Description

一种基于机器视觉的检测系统及检测方法
技术领域
本发明涉及道路路面检测技术领域，特别涉及一种基于机器视觉的检测系统及检测方法。
背景技术
机器视觉系统是通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作，随着图像处理技术和计算机技术的发展，机器视觉已经能完成众多视觉任务，利用机器视觉代替人工视觉进行道路路面的检测就是机器视觉的其中一个应用，一套好的路面裂缝检测方法及系统有助于路面检测的效果，也必将提高后续路面修复的效果；
现有的基于机器视觉的路面检测方法的一般步骤为：先对道路路面图像中的路面损坏位置进行目标框标记，得到道路路面图像中路面损坏的目标区域，之后对路面损坏的局部图像进行图像处理，得到道路路面的损坏类型，最后目标区域对锚框进行边界回归处理，但目标区域不可能只存在一种路面损坏类型，因此采用此方法对目标区域进行边界回归也只能缩小目标区域的范围，确定目标区域的具体位置，而不能得出目标框内每处路面损坏区域的具体损坏位置。
发明内容
本发明提供一种基于机器视觉的检测系统及检测方法，用以解决上述提出的技术问题。
本发明提供一种基于机器视觉的检测方法，包括以下步骤：
步骤1：获取待检测路面图像，将获取的待检测路面图像进行预处理，剔除待检测路面图像中非目标处理图像得到目标处理图像；
步骤2：对目标处理图像中的路面损坏区域进行粗目标框标记；
步骤3：基于训练好的路面检测深度学习模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型；
步骤4：基于训练好的路面检测深度学习模型对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置。
在一种可能实现的方式中，将获取的待检测路面图像进行预处理，包括：
将获取的待检测路面图像分为直接处理图像和深度处理图像；
剔除直接处理图像和深度处理图像中的非目标处理图像得到目标处理图像。
在一种可能实现的方式中，将获取的待检测路面图像分为直接处理图像和深度处理图像，包括：
a：采用n种图像质量评估算法对基准图像的质量评估值进行计算，得到基准图像的图像质量评估值集合：
Figure 484749DEST_PATH_IMAGE001
，其中
Figure 748371DEST_PATH_IMAGE002
为采用第n种图像质量评估算法计算出的基准图像的图像质量评估值；
b：采用n种图像质量评估算法对待检测路面图像的质量评估值进行计算，得到待检测路面图像的图像质量评估值集合：
Figure 911499DEST_PATH_IMAGE003
，其中
Figure 169918DEST_PATH_IMAGE004
为采用第n种图像质量评估算法计算出的待检测路面图像的图像质量评估值；
c：根据步骤a和步骤b，对每种图像质量评估算法的评估结果进行统计：
Figure 746393DEST_PATH_IMAGE005
其中，
Figure 282547DEST_PATH_IMAGE006
表示评估结果，A为基准图像的图像质量评估值浮动范围，
Figure 34603DEST_PATH_IMAGE007
为采用第n种图像质量评估算法计算出的基准图像的最大预设图像质量评估值，
Figure 653803DEST_PATH_IMAGE008
为采用第n种图像质量评估算法计算出的基准图像的最小预设图像质量评估值，若
Figure 327361DEST_PATH_IMAGE006
=1，表示采用第n种图像质量评估算法对待检测路面进行质量评估的评估结果为图像质量良好，若
Figure 57419DEST_PATH_IMAGE006
=0，表示采用第n种图像质量评估算法对待检测路面进行质量评估的评估结果为图像质量不佳；
d：基于步骤c的评估结果，对待检测路面图像进行分类：
Figure 867243DEST_PATH_IMAGE009
若S=1，证明在对待检测路面图像进行质量评估的n种图像质量评估算法中，有超过
Figure 657345DEST_PATH_IMAGE010
种图像质量评估算法认为该待检测路面图像的图像质量良好，此时将待检测路面图像划分为直接处理图像；
若S=0，证明在对待检测路面图像进行质量评估的n种图像质量评估算法中，有超过
Figure 552620DEST_PATH_IMAGE010
种图像质量评估算法认为该待检测路面图像的图像质量不佳，此时将待检测路面图像划分为深度处理图像。
在一种可能实现的方式中，所述目标处理图像包括第一目标处理图像和第二目标处理图像；
所述第一目标处理图像为对直接处理图像进行路面损坏特征识别后，筛选出的直接处理图像中包含路面损坏特征的图像；
所述第二目标处理图像为先对深度处理图像进行图像的增强和复原处理，再对其进行路面损坏特征识别后，筛选出的深度处理图像中包含路面损坏特征的图像。
在一种可能实现的方式中，路面检测深度学习模型包括：
SVM路面损坏类型分类模型：所述SVM路面损坏类型分类模型用于对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型；
路面损坏区域定位模型：所述路面损坏区域定位模型用于对对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置。
在一种可能实现的方式中，对SVM路面损坏类型分类模型进行训练，及基于SVM路面损坏类型分类模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型，包括：
获取M种路面损坏图像，每种路面损坏图像取N张,将每种路面损坏图像对应的N张图像转化为灰度图像，共得到M张灰度图像；
计算每张灰度图像的特征向量，并将其作为一个路面损坏类型样本，共得到M个路面损坏类型样本；
将M个路面损坏类型样本输入SVM分类器中进行训练，得到SVM路面损坏类型分类模型；
计算粗目标框内的图像的灰度图像的特征向量，之后将粗目标框内的图像的灰度图像的特征向量输入训练好的SVM路面损坏类型分类模型中，得出粗目标框内的每处路面损坏区域的损坏类型；
其中，SVM路面损坏类型分类模型可识别的路面损坏类型共M种。
在一种可能实现的方式中，基于路面损坏区域定位模型对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置，包括：
基于SVM路面损坏类型分类模型的检测结果，对粗目标框内存在的每个路面损坏类型对应的路面损坏区域进行框选，确定每处路面损坏区域的预设边界框；
路面损坏区域定位模型对每处路面损坏区域的预设边界框分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置。
在一种可能实现的方式中，基于训练好的路面检测深度学习模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型之后，还包括：
对粗目标框进行分类，分类过程包括如下步骤：
d：建立路面破损程度评估模型、路面平整度评估模型和路面承载力评估模型；所述路面破损程度评估模型用于对粗目标框内的每处路面损坏区域的破损程度进行评估，所述路面平整度评估模型用于对粗目标框内的每处路面损坏区域的路面平整度进行评估，所述路面承载力评估模型用于对粗目标框内的每处路面损坏区域的路面承载力进行评估；
e：将粗目标框内的每处路面损坏区域的图像分割，分别输入路面破损程度评估模型、路面平整度评估模型和路面承载力评估模型中，分别得到粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果
Figure 820790DEST_PATH_IMAGE011
、
Figure 750700DEST_PATH_IMAGE012
和
Figure 404314DEST_PATH_IMAGE013
；
f：基于粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果，对粗目标框内的路面区域进行状态评估，评估如下：
基于粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果
Figure 645940DEST_PATH_IMAGE011
、
Figure 389905DEST_PATH_IMAGE012
和
Figure 439901DEST_PATH_IMAGE013
，计算粗目标框内的路面区域的实际综合路面状态系数：
Figure 40646DEST_PATH_IMAGE014
其中，
Figure 176092DEST_PATH_IMAGE015
为粗目标框内的路面区域的实际综合路面状态系数，
Figure 458169DEST_PATH_IMAGE016
表示粗目标框内共有
Figure 690567DEST_PATH_IMAGE016
处路面损坏区域，
Figure 399897DEST_PATH_IMAGE017
为粗目标框内的第i处路面损坏区域路面完好程度的权重值，
Figure 147274DEST_PATH_IMAGE018
为被检测路面的路面类型对路面破损程度的影响系数，
Figure 436304DEST_PATH_IMAGE019
为第i处路面损坏区域对应的路面损坏类型的权重值，每种路面损坏类型对应的
Figure 319946DEST_PATH_IMAGE019
取值不同，
Figure 669019DEST_PATH_IMAGE020
为第i处路面损坏区域的面积，
Figure 638112DEST_PATH_IMAGE021
为粗目标框内的路面区域的总面积，
Figure 462324DEST_PATH_IMAGE022
为被检测路面的路面类型对路面破损状况指数的影响系数，
Figure 466052DEST_PATH_IMAGE011
为路面破损程度评估模型输出的路面破损程度等级，取值为2-9，
Figure 720447DEST_PATH_IMAGE023
为第i处路面损坏区域的实际路面完好程度状况指数，
Figure 380098DEST_PATH_IMAGE024
为第i处路面损坏区域的实际路面破损程度状况指数，
Figure 135565DEST_PATH_IMAGE025
为粗目标框内的第i处路面损坏区域路面行驶舒适性的权重值，
Figure 869166DEST_PATH_IMAGE026
为自然数，取值为2.71，Z为路面基准平整度指数，
Figure 684675DEST_PATH_IMAGE012
为路面平整度评估模型输出的路面平整度等级，取值为4-8，
Figure 769306DEST_PATH_IMAGE027
为实际路面行驶舒适性状况指数，
Figure 62884DEST_PATH_IMAGE028
为粗目标框内的第i处路面损坏区域路面结构承载状况的权重值，
Figure 650991DEST_PATH_IMAGE013
为路面承载力评估模型输出的路面承载力等级，取值为7-9，
Figure 840664DEST_PATH_IMAGE029
为路面基准结构强度系数，
Figure 271645DEST_PATH_IMAGE030
为第i处路面损坏区域的实际路面结构承载状况指数，
Figure 509860DEST_PATH_IMAGE031
为粗目标框内损坏区域的标准路面完好程度状况指数，
Figure 77107DEST_PATH_IMAGE032
为粗目标框内损坏区域的标准路面行驶舒适性状况指数，
Figure 109785DEST_PATH_IMAGE033
为粗目标框内损坏区域的标准路面结构承载状况指数；
g：通过对粗目标框内的路面区域进行状态评估对粗目标框进行分类，分为无需修补类粗目标框、延迟修补类粗目标框和紧急修补类粗目标框，分类如下：
若粗目标框内的路面区域的实际综合路面状态系数
Figure 231325DEST_PATH_IMAGE015
大于第一预设综合路面状态系数
Figure 866706DEST_PATH_IMAGE034
，则将该粗目标框分为无需修补类粗目标框；
若粗目标框内的路面区域的实际综合路面状态系数
Figure 694984DEST_PATH_IMAGE015
小于第二预设综合路面状态系数
Figure 23198DEST_PATH_IMAGE035
，则将该粗目标框分为紧急修补类粗目标框；
若粗目标框内的路面区域的实际综合路面状态系数
Figure 35628DEST_PATH_IMAGE015
小于第一预设综合路面状态系数
Figure 943542DEST_PATH_IMAGE034
，同时大于第二预设综合路面状态系数
Figure 485381DEST_PATH_IMAGE035
，则将该粗目标框分为延迟修补类粗目标框；
h：基于训练好的路面检测深度学习模型对延迟修补类粗目标框和紧急修补类粗目标框内的每处路面损坏区域分别进行回归定位，从而确定延迟修补类粗目标框和紧急修补类粗目标框内每处路面损坏区域的具体损坏位置。
在一种可能实现的方式中，基于训练好的路面检测深度学习模型对粗目标框内的每处路面损坏区域分别进行回归定位之后，还包括：
根据粗目标框内的每处路面损坏区域的损坏类型和具体损坏位置，对每处路面损坏区域进行损坏形成原因分析；
结合每处路面损坏区域的损坏类型、具体损坏位置和损坏形成原因，分析确定造成损坏的关键原因；
基于每处路面损坏区域造成损坏的关键原因，制定最佳路面损坏修补方案和后续保养方案。
一种基于机器视觉的检测系统，包括：
图像获取模块，用于获取待检测路面图像，待检测路面图像包括非目标处理图像得到目标处理图像；
图像分析模块，用于将获取的待检测路面图像进行预处理，剔除待检测路面图像中非目标处理图像得到目标处理图像；
地理信息采集模块，用于获取待检测路面所在的地理位置信息；
第一标记模块，用于对目标处理图像中的路面损坏区域进行粗目标框标记；
图像处理模块，用于将粗目标框内的图像输入训练好的路面检测深度学习模型中，路面检测深度学习模型包括SVM路面损坏类型分类模型和路面损坏区域定位模型；
路面损坏类型输出模块，用于根据SVM路面损坏类型分类模型的分类结果，输出粗目标框内的每处路面损坏区域的损坏类型；
第二标记模块，用于对粗目标框内存在的每个路面损坏类型对应的路面损坏区域进行预设边界框标记；
路面损坏位置输出模块，用于根据路面损坏区域定位模型对每处预设边界框进行修正和回归定位，得到每处路面损坏区域的具体损坏位置。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于机器视觉的检测方法的流程图；
图2为本发明实施例中获取目标处理图像流程图；
图3为本发明实施例中目标处理图像相关结构图；
图4为本发明实施例中路面检测深度学习模型训练及其识别粗目标框内的每处路面损坏区域的损坏类型流程图；
图5为本发明实施例中一种基于机器视觉的检测系统结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本发明提供一种基于机器视觉的检测方法，如图1所示，包括以下步骤：
步骤1：获取待检测路面图像，将获取的待检测路面图像进行预处理，剔除待检测路面图像中非目标处理图像得到目标处理图像；
步骤2：对目标处理图像中的路面损坏区域进行粗目标框标记；
步骤3：基于训练好的路面检测深度学习模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型；
步骤4：基于训练好的路面检测深度学习模型对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置。
该实施例中，获取待检测路面图像，将获取的待检测路面图像进行预处理，剔除待检测路面图像中非目标处理图像得到目标处理图像；其中，非目标处理图像是指获取的待检测路面图像中不存在路面损坏特征的图像，目标处理图像是指获取的待检测路面图像中存在路面损坏特征的图像。
该实施例中，路面检测深度学习模型是提前训练好的，路面检测深度学习模型的训练样本为各种不同种类的路面损坏图像，包括路面横向开裂图像、路面纵向开裂图像、路面塌陷图像、路面结构松散剥落图像、路面坑洞图像、路面推移和拥包图像等。
该实施例中，在检测之前先对目标处理图像中的路面损坏区域进行粗目标框标记，之后通过路面检测深度学习模型识别粗目标框内的每处路面损坏区域的损坏类型；
例如识别出粗目标框内同时存在三处路面损坏区域，三处路面损坏区域分别对应路面塌陷、路面结构松散剥落和路面坑洞这三种路面损坏类型，之后分别对粗目标框内路面塌陷、路面结构松散剥落和路面坑洞的损坏区域进行回归定位，从而精确定位路面塌陷区域的具体位置、路面结构松散剥落区域的具体位置和路面坑洞区域的具体位置。
上述技术方案的有益效果是：相较于直接将获取的图像进行检测，本发明的检测方法在对图像进行检测之前，先对获取的待检测路面图像中非目标处理图像进行剔除，精确筛选出需进行检测的目标处理图像，减少了检测系统后续检测过程中的无效检测，增加了检测效率，对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置，有助于在后期进行路面修复的时候精确定位每一处路面损坏的具体位置，针对具体位置对其进行具体的路面修复。
实施例2：
基于实施例1的基础上，如图2和3所示，将获取的待检测路面图像进行预处理，包括：
将获取的待检测路面图像分为直接处理图像和深度处理图像；
剔除直接处理图像和深度处理图像中的非目标处理图像得到目标处理图像；
将获取的待检测路面图像分为直接处理图像和深度处理图像，包括：
a：采用n种图像质量评估算法对基准图像的质量评估值进行计算，得到基准图像的图像质量评估值集合：
Figure 859862DEST_PATH_IMAGE001
，其中
Figure 487152DEST_PATH_IMAGE002
为采用第n种图像质量评估算法计算出的基准图像的图像质量评估值；
b：采用n种图像质量评估算法对待检测路面图像的质量评估值进行计算，得到待检测路面图像的图像质量评估值集合：
Figure 605281DEST_PATH_IMAGE003
，其中
Figure 267207DEST_PATH_IMAGE004
为采用第n种图像质量评估算法计算出的待检测路面图像的图像质量评估值；
c：根据步骤a和步骤b，对每种图像质量评估算法的评估结果进行统计：
Figure 812589DEST_PATH_IMAGE005
其中，
Figure 130437DEST_PATH_IMAGE006
表示评估结果，A为基准图像的图像质量评估值浮动范围，
Figure 911312DEST_PATH_IMAGE007
为采用第n种图像质量评估算法计算出的基准图像的最大预设图像质量评估值，
Figure 568689DEST_PATH_IMAGE008
为采用第n种图像质量评估算法计算出的基准图像的最小预设图像质量评估值，若
Figure 409606DEST_PATH_IMAGE006
=1，表示采用第n种图像质量评估算法对待检测路面进行质量评估的评估结果为图像质量良好，若
Figure 214751DEST_PATH_IMAGE006
=0，表示采用第n种图像质量评估算法对待检测路面进行质量评估的评估结果为图像质量不佳；
d：基于步骤c的评估结果，对待检测路面图像进行分类：
Figure 674682DEST_PATH_IMAGE009
若S=1，证明在对待检测路面图像进行质量评估的n种图像质量评估算法中，有超过
Figure 311200DEST_PATH_IMAGE010
种图像质量评估算法认为该待检测路面图像的图像质量良好，此时将待检测路面图像划分为直接处理图像；
若S=0，证明在对待检测路面图像进行质量评估的n种图像质量评估算法中，有超过
Figure 198385DEST_PATH_IMAGE010
种图像质量评估算法认为该待检测路面图像的图像质量不佳，此时将待检测路面图像划分为深度处理图像；
所述目标处理图像包括第一目标处理图像和第二目标处理图像；
所述第一目标处理图像为对直接处理图像进行路面损坏特征识别后，筛选出的直接处理图像中包含路面损坏特征的图像；
所述第二目标处理图像为先对深度处理图像进行图像的增强和复原处理，再对其进行路面损坏特征识别后，筛选出的深度处理图像中包含路面损坏特征的图像。
该实施例中，直接处理图像为待检测路面图像中图像质量良好的图像，直接处理图像可直接对其进行中非目标处理图像和目标处理图像的分类；深度处理图像为待检测路面图像中图像质量不佳的图像，深度处理图像需先对图像进行增强和复原，之后才可其进行非目标处理图像和目标处理图像的分类。
该实施例中，基准图像为区分直接处理图像和深度处理图像的中间图像；其中，n种图像质量评估算法包括：基于小波域的自然图像统计特性算法（BIQI）、基于失真类型识别的图像真实性和完整性评价算法（DIIVINE）、基于 DCT 域统计特性的图像完整性评价方法（BLIINDS）、基于空域统计特征的 BRISQUE算法、NIQE算法和基于广义神经网络的无参考图像质量评价算法（GRNN）等；
假设采用四种图像质量评估算法对基准图像的质量评估值进行计算（即n=4），四种图像质量评估算法依次为BIQI算法、DIIVINE算法、BLIINDS算法和NIQE算法，得到基准图像的图像质量评估值集合：
Figure 225246DEST_PATH_IMAGE036
；
采用这四种对对待检测路面图像的质量评估值进行计算，得到待检测路面图像的图像质量评估值集合：
Figure 613503DEST_PATH_IMAGE037
；
取基准图像的图像质量评估值浮动范围A=1；
则
Figure 979893DEST_PATH_IMAGE038
，
Figure 365875DEST_PATH_IMAGE039
=19，
Figure 207929DEST_PATH_IMAGE040
=22；
Figure 6733DEST_PATH_IMAGE041
，
Figure 289947DEST_PATH_IMAGE042
=24，
Figure 909147DEST_PATH_IMAGE043
=26；
Figure 848284DEST_PATH_IMAGE044
，
Figure 516026DEST_PATH_IMAGE045
=21，
Figure 981642DEST_PATH_IMAGE046
=23；
Figure 647110DEST_PATH_IMAGE047
，
Figure 870281DEST_PATH_IMAGE048
=29，
Figure 669610DEST_PATH_IMAGE049
=25；
此时
Figure 599520DEST_PATH_IMAGE050
；
Figure 498206DEST_PATH_IMAGE051
=1；
Figure 536569DEST_PATH_IMAGE052
=1；
Figure 811692DEST_PATH_IMAGE053
=0；
Figure 596109DEST_PATH_IMAGE054
=
Figure 993592DEST_PATH_IMAGE055
+
Figure 191355DEST_PATH_IMAGE051
+
Figure 942273DEST_PATH_IMAGE052
+
Figure 236988DEST_PATH_IMAGE053
=2；
Figure 149581DEST_PATH_IMAGE010
=2；
此时
Figure 100219DEST_PATH_IMAGE056
，S=1，证明在对待检测路面图像进行质量评估的4种图像质量评估算法中，有2种图像质量评估算法认为该待检测路面图像的图像质量良好，此时将待检测路面图像划分为直接处理图像。
上述技术方案的有益效果是：在获取待检测路面图像的过程中，经常会发生如相机抖动、过度曝光或曝光不足等情况，导致获取的图像待检测路面图像中存在图像质量不佳的图像，若放弃对这部分图像的检测，则会导致对路面的检测不全面，若直接对图像质量不佳的图像进行检测，则会导致检测结果不准确，本发明采取先对获取的待检测路面图像进行分类，分为直接处理图像和深度处理图像，对直接处理图像直接进行检测，对深度处理图像进行增强和复原后再对其进行特征识别和检测，如此分类不但增加了检测效率，而且对深度处理图像的保留，增加了路面检测数据的完整性。
实施例3：
基于实施例1的基础上，如图4所示，路面检测深度学习模型包括：
SVM路面损坏类型分类模型：所述SVM路面损坏类型分类模型用于对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型；
路面损坏区域定位模型：所述路面损坏区域定位模型用于对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置；
对SVM路面损坏类型分类模型进行训练，及基于SVM路面损坏类型分类模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型，包括：
获取M种路面损坏图像，每种路面损坏图像取N张,将每种路面损坏图像对应的N张图像转化为灰度图像，共得到M张灰度图像；
计算每张灰度图像的特征向量，并将其作为一个路面损坏类型样本，共得到M个路面损坏类型样本；
将M个路面损坏类型样本输入SVM分类器中进行训练，得到SVM路面损坏类型分类模型；
计算粗目标框内的图像的灰度图像的特征向量，之后将粗目标框内的图像的灰度图像的特征向量输入训练好的SVM路面损坏类型分类模型中，得出粗目标框内的每处路面损坏区域的损坏类型；
其中，SVM路面损坏类型分类模型可识别的路面损坏类型共M种，分别为路面损坏类型一、路面损坏类型二、路面损坏类型三...路面损坏类型M；
基于路面损坏区域定位模型对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置，包括：
基于SVM路面损坏类型分类模型的检测结果，对粗目标框内存在的每个路面损坏类型对应的路面损坏区域进行框选，确定每处路面损坏区域的预设边界框；
路面损坏区域定位模型对每处路面损坏区域的预设边界框分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置。
该实施例中，在SVM路面损坏类型分类模型训练时，如获取六种路面损坏图像，每种路面损坏图像取200张；
假设：第一种路面损坏图像为路面横向开裂图像；
第二种路面损坏图像为路面纵向开裂图像；
第三种路面损坏图像为路面塌陷图像；
第四种路面损坏图像为路面结构松散剥落图像；
第五种路面损坏图像为路面坑洞图像；
第六种路面损坏图像为路面推移和拥包图像；
将每种路面损坏图像对应的200张图像转化为灰度图像，共得到六张灰度图像，分别计算这六张灰度图像的特征向量，得到六种路面损坏类型样本，分别对应如下：
第一个路面损坏样本为路面横向开裂样本；
第二个路面损坏样本为路面纵向开裂样本；
第三个路面损坏样本为路面塌陷样本；
第四个路面损坏样本为路面结构松散剥落样本；
第五个路面损坏样本为路面坑洞样本；
第六个路面损坏样本为路面推移和拥包样本；
将六个路面损坏类型样本输入SVM分类器中进行训练，得到SVM路面损坏类型分类模型。
该实施例中，计算粗目标框内的图像的灰度图像的特征向量，之后将粗目标框内的图像的灰度图像的特征向量输入训练好的SVM路面损坏类型分类模型中，若SVM路面损坏类型分类模型输出为路面损坏类型一，则被检测路面图像的粗目标框内存在路面横向开裂；若SVM路面损坏类型分类模型输出为路面损坏类型二，则被检测路面图像的粗目标框内存在路面纵向开裂；若SVM路面损坏类型分类模型输出为路面损坏类型三，则被检测路面图像的粗目标框内存在路面塌陷。
该实施例中，假设SVM路面损坏类型分类模型输出的结果包括路面损坏类型一、路面损坏类型一和路面损坏类型二，此时，路面损坏区域定位模型首先对其中一个路面损坏类型一对应的路面损坏区域进行框选，确定这个路面损坏类型一对应的路面损坏区域的预设边界框1，之后路面损坏区域定位模型对另一个路面损坏类型一对应的路面损坏区域进行框选，确定这个路面损坏类型一对应的路面损坏区域的预设边界框2，最后，路面损坏区域定位模型对路面损坏类型二对应的路面损坏区域进行框选，确定路面损坏类型二对应的路面损坏区域的预设边界框3，之后路面损坏区域定位模型对预设边界框1、预设边界框2和预设边界框3分别进行回归定位，从而确定SVM路面损坏类型分类模型输出的结果中的路面损坏类型一、路面损坏类型一和路面损坏类型二的具体损坏位置。
上述技术方案的有益效果是：通过SVM路面损坏类型分类模型和路面损坏区域定位模型，可快速得出粗目标框内的每处路面损坏区域的损坏类型并精确定位每个路面损坏类型对应的路面损坏位置。
实施例4：
基于实施例1的基础上，基于训练好的路面检测深度学习模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型之后，还包括：
对粗目标框进行分类，分类过程包括如下步骤：
d：建立路面破损程度评估模型、路面平整度评估模型和路面承载力评估模型；所述路面破损程度评估模型用于对粗目标框内的每处路面损坏区域的破损程度进行评估，所述路面平整度评估模型用于对粗目标框内的每处路面损坏区域的路面平整度进行评估，所述路面承载力评估模型用于对粗目标框内的每处路面损坏区域的路面承载力进行评估；
e：将粗目标框内的每处路面损坏区域的图像分割，分别输入路面破损程度评估模型、路面平整度评估模型和路面承载力评估模型中，分别得到粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果
Figure 779462DEST_PATH_IMAGE011
、
Figure 538471DEST_PATH_IMAGE012
和
Figure 949861DEST_PATH_IMAGE013
；
f：基于粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果，对粗目标框内的路面区域进行状态评估，评估如下：
基于粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果
Figure 184533DEST_PATH_IMAGE011
、
Figure 274324DEST_PATH_IMAGE012
和
Figure 12473DEST_PATH_IMAGE013
，计算粗目标框内的路面区域的实际综合路面状态系数：
Figure 532447DEST_PATH_IMAGE014
其中，
Figure 988836DEST_PATH_IMAGE015
为粗目标框内的路面区域的实际综合路面状态系数，
Figure 619669DEST_PATH_IMAGE016
表示粗目标框内共有
Figure 477904DEST_PATH_IMAGE016
处路面损坏区域，
Figure 168779DEST_PATH_IMAGE017
为粗目标框内的第i处路面损坏区域路面完好程度的权重值，
Figure 846885DEST_PATH_IMAGE018
为被检测路面的路面类型对路面破损程度的影响系数，如沥青路取18-24，石灰路取15-20，
Figure 609305DEST_PATH_IMAGE019
为第i处路面损坏区域对应的路面损坏类型（即路面损坏类型M）的权重值，每种路面损坏类型对应的
Figure 197412DEST_PATH_IMAGE019
取值不同(如第i处路面损坏区域对应的路面损坏类型为路面横向开裂、第i处路面损坏区域对应的路面损坏类型为路面纵向开裂和第i处路面损坏区域对应的路面损坏类型为路面塌陷时，
Figure 183823DEST_PATH_IMAGE019
对应不同的取值)，
Figure 490170DEST_PATH_IMAGE020
为第i处路面损坏区域的面积，
Figure 853018DEST_PATH_IMAGE021
为粗目标框内的路面区域的总面积，
Figure 295632DEST_PATH_IMAGE022
为被检测路面的路面类型对路面破损状况指数的影响系数，如沥青路取0.5-0.63，石灰路取0.2-0.35，
Figure 452944DEST_PATH_IMAGE011
为路面破损程度评估模型输出的路面破损程度等级，取值为2-9，
Figure 308904DEST_PATH_IMAGE023
为第i处路面损坏区域的实际路面完好程度状况指数，
Figure 350810DEST_PATH_IMAGE024
为第i处路面损坏区域的实际路面破损程度状况指数，
Figure 38143DEST_PATH_IMAGE025
为粗目标框内的第i处路面损坏区域路面行驶舒适性的权重值，
Figure 569619DEST_PATH_IMAGE026
为自然数，取值为2.71，Z为路面基准平整度指数，
Figure 582049DEST_PATH_IMAGE012
为路面平整度评估模型输出的路面平整度等级，取值为4-8，
Figure 286700DEST_PATH_IMAGE027
为实际路面行驶舒适性状况指数，
Figure 31802DEST_PATH_IMAGE028
为粗目标框内的第i处路面损坏区域路面结构承载状况的权重值，
Figure 406283DEST_PATH_IMAGE013
为路面承载力评估模型输出的路面承载力等级，取值为7-9，
Figure 299153DEST_PATH_IMAGE029
为路面基准结构强度系数，
Figure 745178DEST_PATH_IMAGE030
为第i处路面损坏区域的实际路面结构承载状况指数，
Figure 282469DEST_PATH_IMAGE031
为粗目标框内损坏区域的标准路面完好程度状况指数，
Figure 218064DEST_PATH_IMAGE032
为粗目标框内损坏区域的标准路面行驶舒适性状况指数，
Figure 942438DEST_PATH_IMAGE033
为粗目标框内损坏区域的标准路面结构承载状况指数；
g：通过对粗目标框内的路面区域进行状态评估对粗目标框进行分类，分为无需修补类粗目标框、延迟修补类粗目标框和紧急修补类粗目标框，分类如下：
若粗目标框内的路面区域的实际综合路面状态系数
Figure 192153DEST_PATH_IMAGE015
大于第一预设综合路面状态系数
Figure 708585DEST_PATH_IMAGE034
，则将该粗目标框分为无需修补类粗目标框；
若粗目标框内的路面区域的实际综合路面状态系数
Figure 690448DEST_PATH_IMAGE015
小于第二预设综合路面状态系数
Figure 26751DEST_PATH_IMAGE035
，则将该粗目标框分为紧急修补类粗目标框；
若粗目标框内的路面区域的实际综合路面状态系数
Figure 814579DEST_PATH_IMAGE015
小于第一预设综合路面状态系数
Figure 326463DEST_PATH_IMAGE034
，同时大于第二预设综合路面状态系数
Figure 338281DEST_PATH_IMAGE035
，则将该粗目标框分为延迟修补类粗目标框；
h：基于训练好的路面检测深度学习模型对延迟修补类粗目标框和紧急修补类粗目标框内的每处路面损坏区域分别进行回归定位，从而确定延迟修补类粗目标框和紧急修补类粗目标框内每处路面损坏区域的具体损坏位置；
该实施例中，其中无需修补类粗目标框为粗目标框内的路面损坏对检测路面能否长期正常使用影响几乎忽略不计的粗目标框类型；延迟修补类粗目标框为粗目标框内的路面损坏若不及时修补长期作用会严重影响检测路面的正常使用的粗目标框类型；紧急修补类粗目标框为粗目标框内的路面损坏已经严重影响到检测路面的正常使用的粗目标框类型。
上述技术方案的有益效果是：将粗目标框进一步划分为无需修补类粗目标框、延迟修补类粗目标框和紧急修补类粗目标框，再将延迟修补类粗目标框和紧急修补类粗目标框内的每处路面损坏区域分别进行回归定位，从而确定延迟修补类粗目标框和紧急修补类粗目标框内每处路面损坏区域的具体损坏位置，由于待检测路面一定会存在不同程度的损坏，但其中有相当一部分路面损坏对路面能否长期正常使用影响几乎忽略不计，若对此种路面损坏类型也进行具体位置确认和后续根据具体位置对其进行修补的话，会极大的增加路面维修成本，由此，此处无需修补类粗目标框不进行具体位置的确认。
实施例5：
基于实施例1的基础上，基于训练好的路面检测深度学习模型对粗目标框内的每处路面损坏区域分别进行回归定位之后，还包括：
根据粗目标框内的每处路面损坏区域的损坏类型和具体损坏位置，对每处路面损坏区域进行损坏形成原因分析；
结合每处路面损坏区域的损坏类型、具体损坏位置和损坏形成原因，分析确定造成损坏的关键原因；
基于每处路面损坏区域造成损坏的关键原因，制定最佳路面损坏修补方案和后续保养方案。
该实施例中，路面损坏区域的损坏形成原因包括：
地基处理不到位，填土不均匀；
路基过于湿软，不能承受通过路面传给路基的轮载应力；
集料颗粒与沥青间的黏结力丧失；
集料的含泥量超标；
混合料密实度不够；
沥青混合料配合比设计不合理、拌和不均匀；
碾压质量控制不到位、路面压实度不合格；
雨水浸蚀等；
结合每处路面损坏区域的损坏类型、具体损坏位置和损坏形成原因，分析确定造成损坏的关键原因：
如检测出路面损坏区域的损坏类型为：路面结构松散剥落，且其具体损坏位置位于路面的边缘，路面结构松散剥落的形成原因包括集料颗粒与沥青间的黏结力丧失、集料的含泥量超标、混合料密实度不够和雨水浸蚀；
由于损坏区域具体损坏位置位于路面的边缘且损坏类型为路面结构松散剥落，分析得出造成路面损坏的关键原因为雨水浸蚀和集料颗粒与沥青间的黏结力丧失（路面一般设置为中间高边缘低，雨水极易聚集到路面边缘对路面边缘造成侵蚀，同时也考虑到路面自身材料间的黏结力丧失）；
基于此处路面结构松散剥落损坏的关键原因为雨水浸蚀和集料颗粒与沥青间的黏结力丧失，制定的修补方案为将路面结构松散剥落区域挖除，再重新做面层，制定的后续保养方案为加强路面的排水效果，如采用具有排水功能的土工格栅。
上述技术方案的有益效果是：对每处路面损坏区域进行最佳路面损坏修补方案和后续保养方案的制定，路面损坏修补方案的制定可以提高后续路面修补的效率，后续保养方案的制定可以避免后续此处再次出现同样的路面损坏情况，从而减少后续在路面修补问题上人力物力的投资；
分析确定造成损坏的关键原因除可以制定最佳路面损坏修补方案和后续保养方案之外，造成损坏的关键原因分析还可以为以后路面铺设提供经验指导。
一种基于机器视觉的检测系统，如图5所示，包括：
图像获取模块，用于获取待检测路面图像，待检测路面图像包括非目标处理图像得到目标处理图像；
图像分析模块，用于将获取的待检测路面图像进行预处理，剔除待检测路面图像中非目标处理图像得到目标处理图像；
地理信息采集模块，用于获取待检测路面所在的地理位置信息；
第一标记模块，用于对目标处理图像中的路面损坏区域进行粗目标框标记；
图像处理模块，用于将粗目标框内的图像输入训练好的路面检测深度学习模型中，路面检测深度学习模型包括SVM路面损坏类型分类模型和路面损坏区域定位模型；
路面损坏类型输出模块，用于根据SVM路面损坏类型分类模型的分类结果，输出粗目标框内的每处路面损坏区域的损坏类型；
第二标记模块，用于对粗目标框内存在的每个路面损坏类型对应的路面损坏区域进行预设边界框标记；
路面损坏位置输出模块，用于根据路面损坏区域定位模型对每处预设边界框进行修正和回归定位，得到每处路面损坏区域的具体损坏位置。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于机器视觉的检测方法，其特征在于，包括以下步骤：
步骤1：获取待检测路面图像，将获取的待检测路面图像进行预处理，剔除待检测路面图像中非目标处理图像得到目标处理图像；
步骤2：对目标处理图像中的路面损坏区域进行粗目标框标记；
步骤3：基于训练好的路面检测深度学习模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型；
步骤4：基于训练好的路面检测深度学习模型对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置；
其中，基于训练好的路面检测深度学习模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型之后，还包括：
对粗目标框进行分类，分类过程包括如下步骤：
d：建立路面破损程度评估模型、路面平整度评估模型和路面承载力评估模型；所述路面破损程度评估模型用于对粗目标框内的每处路面损坏区域的破损程度进行评估，所述路面平整度评估模型用于对粗目标框内的每处路面损坏区域的路面平整度进行评估，所述路面承载力评估模型用于对粗目标框内的每处路面损坏区域的路面承载力进行评估；
e：将粗目标框内的每处路面损坏区域的图像分割，分别输入路面破损程度评估模型、路面平整度评估模型和路面承载力评估模型中，分别得到粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果
Figure 253603DEST_PATH_IMAGE001
、
Figure 901054DEST_PATH_IMAGE002
和
Figure 417486DEST_PATH_IMAGE003
；
f：基于粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果，对粗目标框内的路面区域进行状态评估，评估如下：
基于粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果
Figure 461665DEST_PATH_IMAGE001
、
Figure 938914DEST_PATH_IMAGE002
和
Figure 789058DEST_PATH_IMAGE003
，计算粗目标框内的路面区域的实际综合路面状态系数：
Figure DEST_PATH_IMAGE004
其中，
Figure 769784DEST_PATH_IMAGE005
为粗目标框内的路面区域的实际综合路面状态系数，
Figure 47181DEST_PATH_IMAGE006
表示粗目标框内共有
Figure 746147DEST_PATH_IMAGE006
处路面损坏区域，
Figure 337666DEST_PATH_IMAGE007
为粗目标框内的第i处路面损坏区域路面完好程度的权重值，
Figure 563111DEST_PATH_IMAGE008
为被检测路面的路面类型对路面破损程度的影响系数，
Figure 886776DEST_PATH_IMAGE009
为第i处路面损坏区域对应的路面损坏类型的权重值，每种路面损坏类型对应的
Figure 197671DEST_PATH_IMAGE009
取值不同，
Figure 796143DEST_PATH_IMAGE010
为第i处路面损坏区域的面积，
Figure 751460DEST_PATH_IMAGE011
为粗目标框内的路面区域的总面积，
Figure 370661DEST_PATH_IMAGE012
为被检测路面的路面类型对路面破损状况指数的影响系数，
Figure 44219DEST_PATH_IMAGE001
为路面破损程度评估模型输出的路面破损程度等级，取值为2-9，
Figure 774277DEST_PATH_IMAGE013
为第i处路面损坏区域的实际路面完好程度状况指数，
Figure 581172DEST_PATH_IMAGE014
为第i处路面损坏区域的实际路面破损程度状况指数，
Figure 574535DEST_PATH_IMAGE015
为粗目标框内的第i处路面损坏区域路面行驶舒适性的权重值，
Figure 860023DEST_PATH_IMAGE016
为自然数，取值为2.71，Z为路面基准平整度指数，
Figure 3560DEST_PATH_IMAGE002
为路面平整度评估模型输出的路面平整度等级，取值为4-8，
Figure 323683DEST_PATH_IMAGE017
为实际路面行驶舒适性状况指数，
Figure 487948DEST_PATH_IMAGE018
为粗目标框内的第i处路面损坏区域路面结构承载状况的权重值，
Figure 870519DEST_PATH_IMAGE003
为路面承载力评估模型输出的路面承载力等级，取值为7-9，
Figure 207959DEST_PATH_IMAGE019
为路面基准结构强度系数，
Figure 257955DEST_PATH_IMAGE020
为第i处路面损坏区域的实际路面结构承载状况指数，
Figure 327542DEST_PATH_IMAGE021
为粗目标框内损坏区域的标准路面完好程度状况指数，
Figure 587622DEST_PATH_IMAGE022
为粗目标框内损坏区域的标准路面行驶舒适性状况指数，
Figure 338540DEST_PATH_IMAGE023
为粗目标框内损坏区域的标准路面结构承载状况指数；
g：通过对粗目标框内的路面区域进行状态评估对粗目标框进行分类，分为无需修补类粗目标框、延迟修补类粗目标框和紧急修补类粗目标框，分类如下：
若粗目标框内的路面区域的实际综合路面状态系数
Figure 367676DEST_PATH_IMAGE005
大于第一预设综合路面状态系数
Figure 608165DEST_PATH_IMAGE024
，则将该粗目标框分为无需修补类粗目标框；
若粗目标框内的路面区域的实际综合路面状态系数
Figure 230907DEST_PATH_IMAGE005
小于第二预设综合路面状态系数
Figure 644571DEST_PATH_IMAGE025
，则将该粗目标框分为紧急修补类粗目标框；
若粗目标框内的路面区域的实际综合路面状态系数
Figure 669159DEST_PATH_IMAGE005
小于第一预设综合路面状态系数
Figure 346128DEST_PATH_IMAGE024
，同时大于第二预设综合路面状态系数
Figure 315221DEST_PATH_IMAGE025
，则将该粗目标框分为延迟修补类粗目标框；
h：基于训练好的路面检测深度学习模型对延迟修补类粗目标框和紧急修补类粗目标框内的每处路面损坏区域分别进行回归定位，从而确定延迟修补类粗目标框和紧急修补类粗目标框内每处路面损坏区域的具体损坏位置。
2.如权利要求1所述基于机器视觉的检测方法，其特征在于，将获取的待检测路面图像进行预处理，包括：
将获取的待检测路面图像分为直接处理图像和深度处理图像；
剔除直接处理图像和深度处理图像中的非目标处理图像得到目标处理图像。
3.如权利要求2所述的基于机器视觉的检测方法，其特征在于，将获取的待检测路面图像分为直接处理图像和深度处理图像，包括：
a：采用n种图像质量评估算法对基准图像的质量评估值进行计算，得到基准图像的图像质量评估值集合：
Figure 407942DEST_PATH_IMAGE026
，其中
Figure 411670DEST_PATH_IMAGE027
为采用第n种图像质量评估算法计算出的基准图像的图像质量评估值；
b：采用n种图像质量评估算法对待检测路面图像的质量评估值进行计算，得到待检测路面图像的图像质量评估值集合：
Figure 993961DEST_PATH_IMAGE028
，其中
Figure 594225DEST_PATH_IMAGE029
为采用第n种图像质量评估算法计算出的待检测路面图像的图像质量评估值；
c：根据步骤a和步骤b，对每种图像质量评估算法的评估结果进行统计：
Figure 349691DEST_PATH_IMAGE030
其中，
Figure 411188DEST_PATH_IMAGE031
表示评估结果，A为基准图像的图像质量评估值浮动范围，
Figure 102064DEST_PATH_IMAGE032
为采用第n种图像质量评估算法计算出的基准图像的最大预设图像质量评估值，
Figure 311328DEST_PATH_IMAGE033
为采用第n种图像质量评估算法计算出的基准图像的最小预设图像质量评估值，若
Figure 480273DEST_PATH_IMAGE031
=1，表示采用第n种图像质量评估算法对待检测路面进行质量评估的评估结果为图像质量良好，若
Figure 396276DEST_PATH_IMAGE031
=0，表示采用第n种图像质量评估算法对待检测路面进行质量评估的评估结果为图像质量不佳；
d：基于步骤c的评估结果，对待检测路面图像进行分类：
Figure 648266DEST_PATH_IMAGE034
若
Figure 954613DEST_PATH_IMAGE035
=1，证明在对待检测路面图像进行质量评估的n种图像质量评估算法中，有超过
Figure 255145DEST_PATH_IMAGE036
种图像质量评估算法认为该待检测路面图像的图像质量良好，此时将待检测路面图像划分为直接处理图像；
若
Figure 822392DEST_PATH_IMAGE035
=0，证明在对待检测路面图像进行质量评估的n种图像质量评估算法中，有超过
Figure 120649DEST_PATH_IMAGE036
种图像质量评估算法认为该待检测路面图像的图像质量不佳，此时将待检测路面图像划分为深度处理图像。
4.如权利要求2所述的基于机器视觉的检测方法，其特征在于，所述目标处理图像包括第一目标处理图像和第二目标处理图像；
所述第一目标处理图像为对直接处理图像进行路面损坏特征识别后，筛选出的直接处理图像中包含路面损坏特征的图像；
所述第二目标处理图像为先对深度处理图像进行图像的增强和复原处理，再对其进行路面损坏特征识别后，筛选出的深度处理图像中包含路面损坏特征的图像。
5.如权利要求1所述的基于机器视觉的检测方法，其特征在于，路面检测深度学习模型包括：
SVM路面损坏类型分类模型：所述SVM路面损坏类型分类模型用于对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型；
路面损坏区域定位模型：所述路面损坏区域定位模型用于对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置。
6.如权利要求5所述的基于机器视觉的检测方法，其特征在于，对SVM路面损坏类型分类模型进行训练，及基于SVM路面损坏类型分类模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型，包括：
获取M种路面损坏图像，每种路面损坏图像取N张,将每种路面损坏图像对应的N张图像转化为灰度图像，共得到M张灰度图像；
计算每张灰度图像的特征向量，并将其作为一个路面损坏类型样本，共得到M个路面损坏类型样本；
将M个路面损坏类型样本输入SVM分类器中进行训练，得到SVM路面损坏类型分类模型；
计算粗目标框内的图像的灰度图像的特征向量，之后将粗目标框内的图像的灰度图像的特征向量输入训练好的SVM路面损坏类型分类模型中，得出粗目标框内的每处路面损坏区域的损坏类型；
其中，SVM路面损坏类型分类模型可识别的路面损坏类型共M种。
7.如权利要求5所述的基于机器视觉的检测方法，其特征在于，基于路面损坏区域定位模型对粗目标框内的每处路面损坏区域分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置，包括：
基于SVM路面损坏类型分类模型的检测结果，对粗目标框内存在的每个路面损坏类型对应的路面损坏区域进行框选，确定每处路面损坏区域的预设边界框；
路面损坏区域定位模型对每处路面损坏区域的预设边界框分别进行回归定位，从而确定每处路面损坏区域的具体损坏位置。
8.如权利要求1所述的基于机器视觉的检测方法，其特征在于，基于训练好的路面检测深度学习模型对粗目标框内的每处路面损坏区域分别进行回归定位之后，还包括：
根据粗目标框内的每处路面损坏区域的损坏类型和具体损坏位置，对每处路面损坏区域进行损坏形成原因分析；
结合每处路面损坏区域的损坏类型、具体损坏位置和损坏形成原因，分析确定造成损坏的关键原因；
基于每处路面损坏区域造成损坏的关键原因，制定最佳路面损坏修补方案和后续保养方案。
9.一种基于机器视觉的检测系统，其特征在于，包括：
图像获取模块，用于获取待检测路面图像，待检测路面图像包括非目标处理图像得到目标处理图像；
图像分析模块，用于将获取的待检测路面图像进行预处理，剔除待检测路面图像中非目标处理图像得到目标处理图像；
地理信息采集模块，用于获取待检测路面所在的地理位置信息；
第一标记模块，用于对目标处理图像中的路面损坏区域进行粗目标框标记；
图像处理模块，用于将粗目标框内的图像输入训练好的路面检测深度学习模型中，路面检测深度学习模型包括SVM路面损坏类型分类模型和路面损坏区域定位模型；
路面损坏类型输出模块，用于根据SVM路面损坏类型分类模型的分类结果，输出粗目标框内的每处路面损坏区域的损坏类型；
第二标记模块，用于对粗目标框内存在的每个路面损坏类型对应的路面损坏区域进行预设边界框标记；
路面损坏位置输出模块，用于根据路面损坏区域定位模型对每处预设边界框进行修正和回归定位，得到每处路面损坏区域的具体损坏位置；
其中，基于训练好的路面检测深度学习模型对粗目标框内的图像进行检测，识别粗目标框内的每处路面损坏区域的损坏类型之后，还包括：
对粗目标框进行分类，分类过程包括如下步骤：
d：建立路面破损程度评估模型、路面平整度评估模型和路面承载力评估模型；所述路面破损程度评估模型用于对粗目标框内的每处路面损坏区域的破损程度进行评估，所述路面平整度评估模型用于对粗目标框内的每处路面损坏区域的路面平整度进行评估，所述路面承载力评估模型用于对粗目标框内的每处路面损坏区域的路面承载力进行评估；
e：将粗目标框内的每处路面损坏区域的图像分割，分别输入路面破损程度评估模型、路面平整度评估模型和路面承载力评估模型中，分别得到粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果
Figure 242189DEST_PATH_IMAGE001
、
Figure 877570DEST_PATH_IMAGE002
和
Figure 705849DEST_PATH_IMAGE003
；
f：基于粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果，对粗目标框内的路面区域进行状态评估，评估如下：
基于粗目标框内的每处路面损坏区域的路面破损程度、路面平整度和路面承载力评估结果
Figure 34062DEST_PATH_IMAGE001
、
Figure 377318DEST_PATH_IMAGE002
和
Figure 957335DEST_PATH_IMAGE003
，计算粗目标框内的路面区域的实际综合路面状态系数：
Figure 764754DEST_PATH_IMAGE004
其中，
Figure 467131DEST_PATH_IMAGE005
为粗目标框内的路面区域的实际综合路面状态系数，
Figure 969788DEST_PATH_IMAGE006
表示粗目标框内共有
Figure 212550DEST_PATH_IMAGE006
处路面损坏区域，
Figure 77738DEST_PATH_IMAGE007
为粗目标框内的第i处路面损坏区域路面完好程度的权重值，
Figure 620191DEST_PATH_IMAGE008
为被检测路面的路面类型对路面破损程度的影响系数，
Figure 734777DEST_PATH_IMAGE009
为第i处路面损坏区域对应的路面损坏类型的权重值，每种路面损坏类型对应的
Figure 656597DEST_PATH_IMAGE009
取值不同，
Figure 376291DEST_PATH_IMAGE037
为第i处路面损坏区域的面积，
Figure 217208DEST_PATH_IMAGE011
为粗目标框内的路面区域的总面积，
Figure 960036DEST_PATH_IMAGE012
为被检测路面的路面类型对路面破损状况指数的影响系数，
Figure 544601DEST_PATH_IMAGE001
为路面破损程度评估模型输出的路面破损程度等级，取值为2-9，
Figure 118802DEST_PATH_IMAGE013
为第i处路面损坏区域的实际路面完好程度状况指数，
Figure 5987DEST_PATH_IMAGE014
为第i处路面损坏区域的实际路面破损程度状况指数，
Figure 95165DEST_PATH_IMAGE015
为粗目标框内的第i处路面损坏区域路面行驶舒适性的权重值，
Figure 686684DEST_PATH_IMAGE016
为自然数，取值为2.71，Z为路面基准平整度指数，
Figure 787495DEST_PATH_IMAGE002
为路面平整度评估模型输出的路面平整度等级，取值为4-8，
Figure 235794DEST_PATH_IMAGE017
为实际路面行驶舒适性状况指数，
Figure 15531DEST_PATH_IMAGE018
为粗目标框内的第i处路面损坏区域路面结构承载状况的权重值，
Figure 817265DEST_PATH_IMAGE003
为路面承载力评估模型输出的路面承载力等级，取值为7-9，
Figure 162795DEST_PATH_IMAGE019
为路面基准结构强度系数，
Figure 657362DEST_PATH_IMAGE020
为第i处路面损坏区域的实际路面结构承载状况指数，
Figure 658816DEST_PATH_IMAGE021
为粗目标框内损坏区域的标准路面完好程度状况指数，
Figure 123295DEST_PATH_IMAGE022
为粗目标框内损坏区域的标准路面行驶舒适性状况指数，
Figure 464278DEST_PATH_IMAGE023
为粗目标框内损坏区域的标准路面结构承载状况指数；
g：通过对粗目标框内的路面区域进行状态评估对粗目标框进行分类，分为无需修补类粗目标框、延迟修补类粗目标框和紧急修补类粗目标框，分类如下：
若粗目标框内的路面区域的实际综合路面状态系数
Figure 254379DEST_PATH_IMAGE005
大于第一预设综合路面状态系数
Figure 477550DEST_PATH_IMAGE024
，则将该粗目标框分为无需修补类粗目标框；
若粗目标框内的路面区域的实际综合路面状态系数
Figure 901314DEST_PATH_IMAGE005
小于第二预设综合路面状态系数
Figure 221437DEST_PATH_IMAGE025
，则将该粗目标框分为紧急修补类粗目标框；
若粗目标框内的路面区域的实际综合路面状态系数
Figure 120123DEST_PATH_IMAGE005
小于第一预设综合路面状态系数
Figure 768273DEST_PATH_IMAGE024
，同时大于第二预设综合路面状态系数
Figure 105714DEST_PATH_IMAGE025
，则将该粗目标框分为延迟修补类粗目标框；
h：基于训练好的路面检测深度学习模型对延迟修补类粗目标框和紧急修补类粗目标框内的每处路面损坏区域分别进行回归定位，从而确定延迟修补类粗目标框和紧急修补类粗目标框内每处路面损坏区域的具体损坏位置。
CN202211029447.2A 2022-08-26 2022-08-26 一种基于机器视觉的检测系统及检测方法 Active CN115100207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211029447.2A CN115100207B (zh) 2022-08-26 2022-08-26 一种基于机器视觉的检测系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211029447.2A CN115100207B (zh) 2022-08-26 2022-08-26 一种基于机器视觉的检测系统及检测方法

Publications (2)

Publication Number Publication Date
CN115100207A CN115100207A (zh) 2022-09-23
CN115100207B true CN115100207B (zh) 2022-11-08

Family

ID=83300277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211029447.2A Active CN115100207B (zh) 2022-08-26 2022-08-26 一种基于机器视觉的检测系统及检测方法

Country Status (1)

Country Link
CN (1) CN115100207B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908427B (zh) * 2023-02-27 2023-05-12 长沙城市发展集团有限公司 基于语义分割和svm的路面病害维修成本预测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992314A (zh) * 2019-11-15 2020-04-10 广东华路交通科技有限公司 一种路面缺陷检测方法、装置及存储介质
US20210342997A1 (en) * 2019-12-16 2021-11-04 Insurance Services Office, Inc. Computer Vision Systems and Methods for Vehicle Damage Detection with Reinforcement Learning
CN112598066A (zh) * 2020-12-25 2021-04-02 中用科技有限公司 一种基于机器视觉的轻量化道路路面检测方法及系统
CN114495068B (zh) * 2022-04-18 2022-07-08 河北工业大学 基于人机交互和深度学习的路面健康检测方法

Also Published As

Publication number Publication date
CN115100207A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN107480611B (zh) 一种基于深度学习卷积神经网络的裂缝识别方法
CN109753890B (zh) 一种路面垃圾物智能识别与感知方法及其实现装置
JP7104799B2 (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム
CN110264459A (zh) 一种土壤裂缝特征信息提取方法
CN115100207B (zh) 一种基于机器视觉的检测系统及检测方法
CN107798293A (zh) 一种道路裂缝检测装置
CN106530318A (zh) 一种热拌沥青混凝土花白料识别检测算法
CN113537016B (zh) 一种道路巡查中道路损伤自动检测预警的方法
CN109410205B (zh) 一种复杂路面背景下的裂缝提取方法
CN110956183A (zh) 一种沥青路面裂缝形态提取方法
CN116630813B (zh) 一种公路路面施工质量智能检测系统
CN107389693A (zh) 一种基于机器视觉的印刷品缺陷自动检测方法
Yun et al. Crack recognition and segmentation using morphological image-processing techniques for flexible pavements
CN115311260A (zh) 一种公路交通工程路面质量检测方法
CN117188811A (zh) 一种可量化灌注胶的钢筋混凝土柱结构加固方法
CN111307267A (zh) 一种基于同心圆检测的导线舞动监测方法
CN112808782A (zh) 一种热轧板除锈等级自动检测方法
CN104104945B (zh) 星空图像坏点鲁棒检测方法
Vora et al. Image processing based analysis of cracks on vertical walls
CN112308135A (zh) 基于深度学习的铁路动车撒砂管松脱故障检测方法
CN109035217B (zh) 一种基于图像二维熵的土体裂隙定量评价方法
Joni et al. Investigations of the road pavement surface conditions using MATLAB image processing
Jayanthi et al. Length and width of low-light, concrete hairline crack detection and measurement using image processing method
Yu et al. Research on uniformity detection method of asphalt mixture during paving process based on digital image technology
CN113362284B (zh) 一种道路井框差测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant