CN113870263A - 一种路面缺陷损伤实时监测方法及系统 - Google Patents

一种路面缺陷损伤实时监测方法及系统 Download PDF

Info

Publication number
CN113870263A
CN113870263A CN202111458712.4A CN202111458712A CN113870263A CN 113870263 A CN113870263 A CN 113870263A CN 202111458712 A CN202111458712 A CN 202111458712A CN 113870263 A CN113870263 A CN 113870263A
Authority
CN
China
Prior art keywords
representing
crack
road surface
loss function
rpn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111458712.4A
Other languages
English (en)
Other versions
CN113870263B (zh
Inventor
火生旭
荣辉桂
张博
晏班夫
张宏铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202111458712.4A priority Critical patent/CN113870263B/zh
Publication of CN113870263A publication Critical patent/CN113870263A/zh
Application granted granted Critical
Publication of CN113870263B publication Critical patent/CN113870263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种路面缺陷损伤实时监测方法，包括获取道路图像数据；对道路图像数据进行预处理，获取路面缺陷数据集；对收集到的路面缺陷数据集进行增强；搭建路面监测网络框架，生成路面缺陷监测模型；对路面缺陷监测模型进行训练，生成训练后的路面缺陷监测模型；在车辆行驶过程中进行拍摄，采用训练后的路面缺陷监测模型实时分析路面缺陷，并推送分析结果。本发明还公开了一种基于上述的路面缺陷损伤实时监测方法的系统。本发明通过加强低层特征的利用，全连接网络的优势，提高了算法的各项评价指标；本发明能够减少干扰物体对路面缺陷识别的影响，改善对路面裂缝的识别的效果，并对路面状态快速评价，有利于公路施工方案的设计。

Description

一种路面缺陷损伤实时监测方法及系统
技术领域
本发明属于路面缺陷监测领域，具体涉及一种路面缺陷损伤实时监测方法及系统。
背景技术
公路路面的质量好坏一直是公路施工方案中行业深入研究的重要问题。同时，道路经过长时间的损耗后，地质结构发生了变化，导致路面发生表质散落、开裂和坑槽等问题，首先，在构建路面裂缝检测模型前，需要对收集的路面裂缝数据集进行特征分类，通过把路面裂缝分类可以对构建模型和实验都具有很大的帮助。根据路面的损伤程度，几何特征，纹理，综合各方面因素，将路面缺陷主要分为纵向裂缝，横向裂缝，块状裂缝，坑槽，龟裂五种类别。如图1为各种路面裂缝的类别示意图。图1a表示纵向裂缝，图1b表示横向裂缝，图1c表示龟裂，图1d表示坑槽，图1e表示块状裂缝；纵向裂缝是指与车道线基本平行的路面裂缝；横向裂缝是指与车道线基本垂直的路面裂缝；坑槽是指路面的破损程度较重，破损面积较大并且有一定的深度；龟裂是指一系列相互相交的裂缝且分块程度较小的路面缺陷；块状裂缝是类似于龟裂，但其面积损伤面积较大。
但是，现有的这些图片的拍摄质量欠佳，一部分图片中除了有裂缝存在，还伴随着一些干扰物体出现比如路肩围栏、路面标识线、旁车和路面树叶等会对路面缺陷的识别产生干扰，如图2所示为除裂缝和树荫外的其他干扰因素示意图，图2a表示路肩围栏，图2b表示落叶，图2c表示旁车，图2d表示标识线。对于这种复杂的干扰路面，传统的图像检测算法检测效果就会大大降低，鲁棒性不强，很容易对图片中非裂缝产生误判。如图3a-3d为树荫对路面识别干扰示意图，由于拍摄的角度问题和阳光的照射而产生的阴影使得裂缝和周围的对比度没有太明显的差异，这也会对路面裂隙的检测造成干扰。
发明内容
本发明的目的之一在于提供一种路面缺陷损伤实时监测方法，该方法能够减少干扰物体对缺陷的干扰，并提高裂缝的识别的效果。本发明的目的之二在于提供一种基于所述的路面缺陷损伤实时监测方法的系统。
本发明提供的这种路面缺陷损伤实时监测方法，包括如下步骤：
S1. 获取道路图像数据；
S2. 对道路图像数据进行预处理，获取路面缺陷数据集；
S3. 对收集到的路面缺陷数据集进行增强；
S4. 搭建路面监测网络框架，生成路面缺陷监测模型；
S5. 对路面缺陷监测模型进行训练，生成训练后的路面缺陷监测模型；
S6. 在车辆行驶过程中进行拍摄，采用训练后的路面缺陷监测模型实时分析路面缺陷，并推送分析结果。
所述的步骤S2，包括对路面视频数据进行结构化，并对结构化之后的路面图片进行全局对比度归一化处理；全局对比度归一化处理包括：
设张量
Figure 337934DEST_PATH_IMAGE001
表示图片，r表示图片像素行数，c表示图片像素列数，计算整幅图片对比度I contrast ：
Figure 750461DEST_PATH_IMAGE002
其中，X α,j,k 表示第α行第j列像素的通道强度，k=1,2,3，X α,j,1表示第α行第j列像素的红色通道强度，X α,j,2表示第α行第j列像素的绿色通道强度，X α,j,3表示第α行第j列像素的蓝色通道强度；
Figure 840777DEST_PATH_IMAGE003
表示整幅图片的平均强度，
Figure 22359DEST_PATH_IMAGE004
；
通过在分母中添加一个正则化参数λ，用于平衡预计的标准差；对于处理的图像X，重新定义全局对比度归一化方法输出的图像
Figure 477611DEST_PATH_IMAGE005
：
Figure 423440DEST_PATH_IMAGE006
其中，s表示饱和度；X α,j,k 表示第α行第j列像素的通道强度，k=1,2,3，X α,j,1表示第α行第j列像素的红色通道强度，X α,j,2表示第α行第j列像素的绿色通道强度，X α,j,3表示第α行第j列像素的蓝色通道强度；
Figure 989550DEST_PATH_IMAGE003
表示整幅图片的平均强度，
Figure 25639DEST_PATH_IMAGE007
；ε为设定参数，用于避免分母为0；λ为正则化参数，
Figure 979689DEST_PATH_IMAGE008
。
所述的步骤S3，具体为采用图像增强技术，包括输入图像的仿射变换；仿射变换包括平移、旋转、缩放、翻转和剪切；所述的图像增强技术，包括将路面裂缝图像进行水平翻转、垂直翻转以及顺时针旋转90度、顺时针旋转180度和顺时针旋转270度，并在模型训练过程中对数据集进行自动扩充：
将原图像f(x, y)进行水平翻转：
f 1(x 1, y 1) = g(-x, y)
其中，g(-x, y)表示水平翻转后的图像；
将原图像f(x, y)进行垂直翻转：
f 2(x 2, y 2) = g(x,-y)
其中，g(x,-y)表示垂直翻转后的图像；
将原图像f(x, y)按照顺时针方向旋转90度：
f 3(x 3, y 3) = g(xcos90°+ysin90°, ycos90°- xsin90°)
其中，g(xcos90°+ysin90°, ycos90°- xsin90°)表示顺时针方向旋转90度后的图像；
将原图像f(x, y)按照顺时针方向旋转180度：
f 4(x 4, y 4) = g(xcos180°+ ysin180°, ycos180°- xsin180°)
其中，g(xcos180°+ ysin180°, ycos180°- xsin180°)表示顺时针方向旋转180度后的图像；
将原图像f(x, y)按照顺时针方向旋转270度：
f 5(x 5, y 5) = g(xcos270°+ ysin270°, ycos270°- xsin270°)
其中，g(xcos270°+ ysin270°, ycos270°- xsin270°)表示顺时针方向旋转270度后的图像。
所述的步骤S4，包括搭建路面监测网络框架，生成路面缺陷监测模型，包括如下步骤：
A1. 配置Cracknet主干网络；Cracknet网络的特征提取网络包括ResNet50-FPN残差网络结构；
A2. 设计低层特征增强路径；
A3. 设计区域推荐网络；
A4. 选择与设计头部网络；
A5. 选择及设计损失函数。
所述的步骤A2，包括，自低层向上：ResNet5-FPN分为了5个阶段，其中，[C1, C2,C3, C4, C5]分别为每个阶段的输出，每个阶段均由卷积层、非线性激活函数层，以及池化层构成；卷积过程中，每个卷积核的大小均为
Figure 366808DEST_PATH_IMAGE009
，所有卷积操作的步长均为1，边界填充的大小也为1；每个池化层均采用最大池化，池化层大小均为
Figure 284079DEST_PATH_IMAGE010
，步长也为2；经过特征提取网络后，5个阶段输出的特征图大小分别为原尺寸的1/2、1/4、1/8、1/16和1/32大小的特征图，阶段1的conv1不使用；
自上向下和横向连接：ResNet50-FPN的自上而下是从最高层的特征图C5开始进行2倍上采样，上采样使用最近邻上采样；横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合；具体包括对[C2, C3, C4, C5]中的每一层经过一个
Figure 440254DEST_PATH_IMAGE011
卷积操作用以降低通道数，无激活函数操作，输出通道全部设置为相同的256通道，然后和上采样的特征图[M2, M3, M4, M5]进行特征融合；再采用
Figure 237309DEST_PATH_IMAGE009
的卷积核进行处理得到[P2, P3, P4,P5]；在得到[P2, P3, P4, P5]后，为了更有效的利用低层的特征信息，添加低层特征增强路径：
B1. 每个特征图Ai先经过步长为2的卷积层，其中卷积核为
Figure 642882DEST_PATH_IMAGE012
，卷积通道为256；
B2. 特征图Pi+1的每个元素和下采样的特征图Ai通过侧向连接做相加操作；
B3. 再经过一个卷积核为
Figure 816375DEST_PATH_IMAGE013
卷积通道为256的卷积层生成特征图Ai+1。
所述的步骤A3，包括具体包括如下步骤：
C1. 设计RPN区域推荐网络；在特征图的每个点上设置了9种不同的锚框；9种锚框对应于3种面积与3种宽高比的组合；RPN区域推荐网络通过卷积及softmax操作对这些预设的锚框进行初步的分类及回归，包含前景的锚框被分类为1，只有背景的锚框被分类为0，同时对这些锚框的位置进行回归修正，用于包含待检测物体；
C2. 在RPN得到目标潜在推荐区之后，采用多尺度特征融合，具体包括如下步骤：
D1. 对于每个候选区域，将目标映射到不同尺度的特征图层；
D2. 使用ROIAlign池化来自不同尺度特征图层的候选区域；
D3. 再次使用融合操作融合不同层次的特征；候选区域对应融合后的特征网络用于后续的进一步预测，预测包括分类、包围框和mask（掩码）预测。
所述的A4，包括经过多尺度特征融合得到的候选区域推荐将作为头部网络的输入分别进入上路类别及包围框预测的任务和下路mask的任务；主分支是4个连续的卷积层和一个反卷积操作，其中卷积核大小均为
Figure 827056DEST_PATH_IMAGE014
通道为256，conv4后面再接一个2倍上采样的反卷积deconv，用于预测每个类别mask的二进制像素值；从主分支的conv3连接到全连接层，中间经过两个
Figure 795012DEST_PATH_IMAGE015
的卷积层conv4_fc和conv5_fc；conv5_fc卷积层通道数减半用于减少计算量，最终与FCN的输出融合得到最终的掩码预测。
所述的步骤A5包括，CrackNet网络的损失函数分为RPN和头部网络两个部分，总的损失函数L all 计算方法为：
Lall = LRPN+ Lhead
其中，L RPN 表示RPN的损失函数，L head 表示头部损失函数；
RPN的损失函数L RPN 的计算方式包括：
Figure 471237DEST_PATH_IMAGE016
其中，L cls 和
Figure 917262DEST_PATH_IMAGE017
表示分类损失函数；N cls 表示总候选区域推荐数量；
Figure 48029DEST_PATH_IMAGE018
表示两个类别的对数损失；p i 表示RPN网络候选区域推荐预测为目标的概率；在背景区域标注数据
Figure 186887DEST_PATH_IMAGE019
为0；在前景区域标注数据
Figure 567052DEST_PATH_IMAGE020
为1；t i 表示RPN训练阶段候选区域推荐向量，t i = {t x , t y , t w , t h }，(x, y)表示区域中心坐标；w表示区域的宽，h表示区域的长；
Figure 816768DEST_PATH_IMAGE021
表示锚框，
Figure 802042DEST_PATH_IMAGE021
是与t i 维度相同的向量；RPN训练阶段相对于设定区域实际的偏移量
Figure 111800DEST_PATH_IMAGE022
； L reg 和
Figure 995574DEST_PATH_IMAGE023
表示回归损失函数；R表示smooth L1函数；N reg 为特征图的大小；i表示特征图的计数变量；
Figure 48980DEST_PATH_IMAGE024
，其中，
Figure 888761DEST_PATH_IMAGE025
；t i 表示RPN训练阶段候选区域推荐向量，t i = {t x , t y , t w , t h }，(x, y)表示区域中心坐标；w表示区域的宽，h表示区域的长；
Figure 369420DEST_PATH_IMAGE026
表示锚框，
Figure 989758DEST_PATH_IMAGE027
是与t i 维度相同的向量；
RPN网络的产生的候选区域推荐只分为前景和背景，前景的标签为1，背景的标签为0；
头部损失函数L head 的计算方式包括：
Lhead= Lcls+ Lreg+ Lmask
其中，L cls 表示分类损失函数；L reg 表示回归损失函数；L mask 表示语义分割的掩码损失函数；
Figure 846855DEST_PATH_IMAGE028
其中，
Figure 541142DEST_PATH_IMAGE029
表示头部网络候选区域推荐预测为目标的概率；
Figure 192703DEST_PATH_IMAGE030
表示分类标注数据；
Figure 284025DEST_PATH_IMAGE031
取0时表示背景，
Figure 679234DEST_PATH_IMAGE032
取1时表示横向裂缝，
Figure 228027DEST_PATH_IMAGE033
取2时表示纵向裂缝，
Figure 316069DEST_PATH_IMAGE034
取3时表示块状裂缝，
Figure 910998DEST_PATH_IMAGE035
取4时表示龟裂裂缝，
Figure 844319DEST_PATH_IMAGE036
取5时表示坑槽；β表示候选区域的计数变量；
在头部网络中的回归损失定义为，
Figure 513198DEST_PATH_IMAGE037
；t β 表示ROI预测的偏移量；
Figure 319611DEST_PATH_IMAGE038
表示ROI相对于标注数据实际的偏移量；N reg 为特征图的大小；
Figure 808361DEST_PATH_IMAGE039
表示分类标注数据；
Figure 810952DEST_PATH_IMAGE040
其中，L mask 表示平均二值交叉熵损失；p βγ 表示
Figure 334337DEST_PATH_IMAGE041
维度中第β列第γ行像素点类别的预测概率；
Figure 560919DEST_PATH_IMAGE042
表示
Figure 802545DEST_PATH_IMAGE043
维度中第β列第γ行像素点类别的真实概率。
本发明还提供了一种基于所述的路面缺陷损伤实时监测方法的系统，该系统包括数据采集模块、登录注册模块、图像预处理模块、裂缝检测模块、裂缝形态分析模块和下载模块；登录注册模块分别连接数据采集模块、图像预处理模块、裂缝检测模块、裂缝形态分析模块和下载模块；数据采集模块连接图像预处理模块，图像预处理模块连接裂缝检测模块，裂缝检测模块连接结果分析模块，裂缝形态分析模块连接下载模块；登录注册模块用于设置用户访问权限；数据采集模块用于采集道路图像数据；图像预处理模块采用步骤S2-S3的方法对道路图像数据进行预处理；裂缝检测模块采用步骤S4-S6的方法找出裂缝位置；裂缝形态分析模块用于分析裂缝的几何信息；下载模块用于输出裂缝信息。
所述的登录注册模块包括注册子系统和登录子系统；在注册子系统中，每位用户填写自己的用户名、手机号以及密码信息；其中用户名与密码作为登录匹配条件，手机号作为唯一性ID以及找回密码的身份依据；在登录子系统中，用户输入匹配的用户名及密码信息成功登录；若不匹配则无法登录，且连续输入5次以上错误密码则限制访问，以此避免撞库攻击，保证系统安全运行；
所述的裂缝检测模块，采用上述的路面缺陷损伤实时监测方法中步骤S4-S6进行裂缝监测，用户通过上传图片来找到包含裂缝的集合，并得到分割结果；用户选择一个文件夹或单个文件进行上传，其中，上传的所有文件包括JPG、JPEG和PNG图片文件格式，同时单次上传文件大小不超过设置大小；当系统上传完所有压缩后的图片至服务端后，服务端会调用步骤S5训练好的路面缺陷监测模型对每张图片进行检测，并将检测结果返回给浏览器；当浏览器收到响应后，用户获取到含存裂缝的图片文件名列表，从而根据图片的拍摄信息找出裂缝发生位置；
所述的裂缝形态分析模块，输入裂缝检测模块得到的裂缝，并通过后台脚本对检测结果进行分析，得到裂缝的分割标记图、骨架图以及裂缝的具体几何信息，几何信息包括长、宽和类别；
所述的下载模块，下载当前的检测结果，保存用户的检测信息；下载的文件以列表的方式进行展示，包括具有裂缝的图片文件名列表、每张图片的裂缝形态分割结果和每个裂缝的几何信息。
本发明提供的这种路面缺陷损伤实时监测方法及系统，利用Mask R-CNN算法设计了一个路面裂缝检测算法CrackNet，该算法在继承Mask R-CNN的优点的同时，通过加强低层特征的利用，多尺度特征的融合，全连接网络的优势，提高了算法的各项评价指标，改善对路面裂缝的识别的效果。
附图说明
图1为各种路面裂缝的类别示意图。
图2为除裂缝和树荫外的其他干扰因素示意图。
图3为树荫对路面识别干扰示意图。
图4为本发明方法的流程示意图。
图5为本发明实施例的GCN与直方图均衡处理对比示意图。
图6为本发明实施例的数据集增强示意图
图7为本发明方法的CrackNet总体框架示意图。
图8为本发明方法的ResNet50-FPN网络结构示意图。
图9为本发明方法的自底向上的低层特征增强路径示意图。
图10为本发明方法的RPN网络示意图。
图11为本发明方法的头部网络示意图。
图12为本发明方法的类别及包围框预测分支示意图。
图13为本发明方法的mask预测分支示意图。
图14为本发明系统的结构示意图。
图15为本发明系统实施例的应用示意图。
具体实施方式
如图4为本发明方法的流程示意图：本发明提供的这种路面缺陷损伤实时监测方法，包括如下步骤：
S1. 获取道路图像数据；
S2. 通过对道路图像数据结构化并进行全局对比度归一化的方法，对道路图像数据进行预处理，获取路面缺陷数据集；
S3. 对收集到的路面缺陷数据集进行增强；
S4. 通过主分支和短路径融合预测搭建路面监测网络框架，并求解若干类别区域的分类损失和相对于设定区域实际的偏移量的回归损失，生成路面缺陷监测模型；
S5. 对路面缺陷监测模型进行训练，生成训练后的路面缺陷监测模型；
S6. 在车辆行驶过程中进行拍摄，采用训练后的路面缺陷监测模型实时分析路面缺陷，并推送分析结果。
所述的步骤S1具体包括，安装摄像头，当车辆在道路上行驶时，录制道路图像数据，并将道路图像数据实时传输到云端服务器。道路图像数据包括路面视频数据。
所述的步骤S2包括，对路面视频数据进行结构化，并对结构化之后的路面图片进行全局对比度归一化处理；
在一般情况下，图片的对比度表示亮和暗两种像素之间的差异，但是在深度学习领域，对比度指代图像中像素强度的标准差。在路面缺陷数据集中，路面缺陷区域内的灰度与周围相比有很明显的差别，路面缺陷区域一般都比较暗。为了确保路面裂缝缺陷的较暗区域与周围区域的亮度之间有很大的差别，本方法利用全局对比度归一化方法（GlobalContrast Normalization, GCN）对路面缺陷数据集进行处理。全局对比度归一化方法有利于减小模型算法收敛的速度，降低模型训练的复杂度。
设张量
Figure 343247DEST_PATH_IMAGE044
表示图片，r表示图片像素行数，c表示图片像素列数，计算整幅图片对比度I contrast：
Figure 721139DEST_PATH_IMAGE045
其中，X α,j,k 表示第α行第j列像素的通道强度，k=1,2,3，X α,j,1表示第α行第j列像素的红色通道强度，X α,j,2表示第α行第j列像素的绿色通道强度，X α,j,3表示第α行第j列像素的蓝色通道强度；
Figure 890259DEST_PATH_IMAGE003
表示整幅图片的平均强度，
Figure 353602DEST_PATH_IMAGE046
；
全局对比度归一化方法的原理是为了防止图像具有变化的对比度，从图像中减去平均值
Figure 697995DEST_PATH_IMAGE003
，再重新缩放使其像素上的标准差等于一个常数，由于作为分母相减有时会出现对比度等于0的情况，这种情况下除以真实的标准差就会导致传感器噪声增大或者压缩伪像，通过在分母中添加一个正则化参数λ以平衡预计的标准差。对于处理的图像X，重新定义全局对比度归一化方法输出的图像
Figure 195973DEST_PATH_IMAGE005
：
Figure 498778DEST_PATH_IMAGE047
其中，s表示饱和度；X α,j,k 表示第α行第j列像素的通道强度，k=1,2,3，X α,j,1表示第α行第j列像素的红色通道强度，X α,j,2表示第α行第j列像素的绿色通道强度，X α,j,3表示第α行第j列像素的蓝色通道强度；
Figure 714996DEST_PATH_IMAGE048
表示整幅图片的平均强度，
Figure 597501DEST_PATH_IMAGE004
；ε设定为一个非常小的值，在本实施例中ε=10-8，用于避免分母为0，设置正则化参数λ，
Figure 763035DEST_PATH_IMAGE049
；
如图5为本发明实施例的GCN与直方图均衡处理对比示意图，图5a为原图，图5b为GCN处理后的示意图，图5c为直方图均衡处理后的示意图。图5中经过使用GCN处理过的图像，其对比度的调整相比原图显示的更加明显，如图5b中可看出，GCN的处理确保了裂缝与周围存在明显的对比度差异。为了对比GCN的处理效果，使用了直方图均衡方法对图像进行处理，如图5c，由于亮暗差异调整的不平衡导致了对比度被过度放大，其效果表现欠佳，说明GCN处理效果比直方图均衡方法好。为了说明GCN和直方图均衡二者预处理效果的好坏，从饱和度s、边缘内容EC和绝对平均亮度误差AMBE三个维度上的对比来观察处理图像后的效果。
其中饱和度s越小则表明图像处理的效果较好，
Figure 440004DEST_PATH_IMAGE050
其中，
Figure 877938DEST_PATH_IMAGE051
表示图片的分辨率，n s 表示图像的有色像素的数量。图像不仅包含有色像素，还包含了灰色像素，因此，有色像素的比例越小，图像就越不饱和。同时，边缘内容EC越大效果越好，边缘内容EC显示图片处理后边缘信息的突出效果：
Figure 564134DEST_PATH_IMAGE052
其中，
Figure 833442DEST_PATH_IMAGE053
表示图片的分辨率，n s 表示图像的有色像素的数量；x和y表示任意点的坐标(x, y)；
Figure 946891DEST_PATH_IMAGE054
表示图像在任意点的坐标(x, y)的梯度，计算具体包括：
Figure 872122DEST_PATH_IMAGE055
其中，方向导数G x =I(x, y)- I(x+1, y)，方向导数G y =I(x, y)- I(x, y+1)，梯度
Figure 96430DEST_PATH_IMAGE056
；
绝对平均亮度误差AMBE为图片亮度保持的尺度，为了防止过饱和导致处理后的图片与原图差别太大而失真，要求绝对平均亮度误差AMBE越小越好。绝对平均亮度误差AMBE计算方法为：
Figure 735090DEST_PATH_IMAGE057
其中，m 0为原图的平均亮度；m x 为原图经过GCN后的平均亮度。
在本实施例中，对图5中GCN和直方图均衡处理后的效果图进行饱和度s、边缘内容EC和绝对平均亮度误差AMBE的计算，计算结果如表1和表2所示；表1为图5的第一行图量化结果，表2为图5的第二行图量化结果。从表1和表2中可以看出，GCN算法处理过的图片绝对平均亮度误差AMBE和饱和度s远小于直方图均衡算法处理过的，图片亮度保持较好，除了表1中EC值不如直方图均衡算法外，从整体的效果表现上看，图片通过GCN预处理，能够减少图片中像素的变化量，可以减轻模型训练的难度。
表1 图5的第一行图量化结果
Figure 19441DEST_PATH_IMAGE058
表2 图5的第二行图量化结果
Figure 166389DEST_PATH_IMAGE059
在深度学习中，训练模型的一般步骤为：采样数据得到训练集，之后设置参数去降低训练集的误差，然后再采样得到测试集，最后验证测试集的误差。本方法在路面裂缝检测训练时采用同样的方法，将收集数据集分为三部分：训练集、测试集和验证集。训练集用于调整模型中可训练权重和偏置等参数；验证集则被用来调整模型的超参数，比如学习率；测试集不参与模型的训练，用于统计模型最后的预测效果。由于本方法收集的路面裂缝数据集数据量比较小，所以本发明通过数据增强对数据集进行扩充。因此，采用简单的图形变换技术，创建一些数据的多个副本来增加样本集的多样性，这样能有效降低模型的泛化误差，增加模型的鲁棒性。
如图6为本发明实施例的数据集增强示意图，图6a表示原图，图6b表示90度旋转后的图像，图6c表示180度旋转后的图像，图6d表示270度旋转后的图像，图6e表示水平镜像翻转的图像，图6f表示垂直镜像翻转的图像。对现有数据集进行很小的修改，如翻转、平移和旋转，卷积神经网络对放在不同方向上物体进行稳健的分类，CNN对物体的平移、旋转以及不同视角等保持高度不变性。利用图片空间上的特性，对数据集进行扩增，如图6中，将原图片经过数据集增强后可得到5个图像副本，在本实施例中将原来的3021张路面裂缝照片增加到18126张。
所述的步骤S3，具体包括，在深度学习中，用于训练的数据量少将导致卷积神经网络学习到的特征更片面，所得模型泛化能力差，易发生过拟合，然而，卷积神经网络过拟合最常见解决方案是数据增强。经典的数据增强技术包括输入图像的仿射变换，例如平移、旋转、缩放、翻转和剪切；为了避免路面图像的特征和形态发生变化，本发明将路面裂缝图像进行水平翻转、垂直翻转以及旋转90度、180度和270度，并在模型训练过程中对数据集进行自动扩充。
在本实施例中，数据增强技术包括如下方式：
将原图像f(x, y)进行水平翻转：
f 1(x 1, y 1) = g(-x, y)
其中，g(-x, y)表示水平翻转后的图像；
将原图像f(x, y)进行垂直翻转：
f 2(x 2, y 2) = g(x,-y)
其中，g(x,-y)表示垂直翻转后的图像；
将原图像f(x, y)按照顺时针方向旋转90度：
f 3(x 3, y 3) = g(xcos90°+ysin90°, ycos90°- xsin90°)
其中，g(xcos90°+ysin90°, ycos90°- xsin90°)表示顺时针方向旋转90度后的图像；
将原图像f(x, y)按照顺时针方向旋转180度：
f 4(x 4, y 4) = g(xcos180°+ ysin180°, ycos180°- xsin180°)
其中，g(xcos180°+ ysin180°, ycos180°- xsin180°)表示顺时针方向旋转180度后的图像；
将原图像f(x, y)按照顺时针方向旋转270度：
f 5(x 5, y 5) = g(xcos270°+ ysin270°, ycos270°- xsin270°)
其中，g(xcos270°+ ysin270°, ycos270°- xsin270°)表示顺时针方向旋转270度后的图像。
如图7为本发明方法的CrackNet总体框架示意图，其中，(a)表示特征金字塔网络，(b)表示低层特征路径增强，(c)表示自适应特征池化，(d)表示包围框分支，(e)表示全连接融合。所述的步骤S4，搭建路面监测网络框架，生成路面缺陷监测模型，包括如下步骤：
步骤一、搭建Cracknet路面监测特征金字塔网络；
步骤二、对Cracknet网络进行调整和优化；具体包括如下步骤：
（1）、对低层特征路径增强；
（2）、多尺度特征池化融合；
（3）、全连接融合；
因此本发明实施例中，搭建路面监测网络框架具体包括：
A1. Cracknet主干网络配置；
在本实施例中Cracknet网络的特征提取网络包括ResNet50-FPN残差网络结构；如图8为本发明方法的ResNet50-FPN网络结构示意图。表3为ResNet50残差神经网络结构的各项参数配置。
表3 ResNet50残差神经网络结构
Figure 194388DEST_PATH_IMAGE060
A2. 低层特征增强路径设计；
自低层向上：ResNet5-FPN分为了5个阶段如图8所示，[C1, C2, C3, C4, C5]分别为每个阶段的输出，每个阶段均由卷积层、非线性激活函数层，以及池化层构成。卷积过程中，每个卷积核的大小均为
Figure 703866DEST_PATH_IMAGE009
，这样做的优势在于，多个小尺寸的卷积核进行组合可在减少计算量的同时，达到与
Figure 159119DEST_PATH_IMAGE061
、
Figure 58941DEST_PATH_IMAGE062
这种大的卷积相同的感受野。所有卷积操作的步长均为1，边界填充的大小也为1，这样图像每次经过卷积后其宽度和高度均不会发生改变。每个池化层均采用最大池化，池化层大小均为
Figure 172522DEST_PATH_IMAGE063
，步长也为2，这样图像每经过一次池化，其宽度和高度均缩减至原来的一半。因此，经过特征提取网络后，5个阶段输出的特征图大小为原尺寸的1/2，1/4，1/8，1/16和1/32大小的特征图，考虑到内存原因，阶段1的conv1并没有使用。
自上向下和横向连接：ResNet50-FPN的自上而下是从最高层的特征图C5开始进行2倍上采样，这里的上采样直接使用的是最近邻上采样，一方面简单，另外一方面可以减少训练参数。横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合。具体就是对[C2, C3, C4, C5]中的每一层经过一个
Figure 208611DEST_PATH_IMAGE064
卷积操作用以降低通道数，无激活函数操作，输出通道全部设置为相同的256通道，然后和上采样的特征图[M2, M3, M4, M5]进行特征融合。为了消除上采样的混叠效应，在融合之后再采用
Figure 834765DEST_PATH_IMAGE009
的卷积核进行处理得到[P2, P3, P4, P5]。
如图9为本发明方法的自底向上的低层特征增强路径示意图。在得到[P2, P3, P4,P5]后，为了更有效的利用低层的特征信息，添加本发明设计的低层特征增强路径。如图9所示。
B1. 每个特征图Ai先经过步长为2的卷积层，其中卷积核为
Figure 18621DEST_PATH_IMAGE009
，卷积通道为256，分辨率缩小2倍，减少空间尺寸；
B2. 特征图Pi+1的每个元素和下采样的特征图Ai通过侧向连接做相加操作；
B3. 再经过一个卷积核为
Figure 388423DEST_PATH_IMAGE009
卷积通道为256的卷积层生成Ai+1。
所有的特征图都使用256通道，所有卷积后解激活函数ReLU。每个候选区域的特征网络是从新生成的[A2, A3, A4, A5]上池化生成。
A3. 区域推荐网络设计；具体包括如下步骤：
C1. 设计RPN区域推荐网络；
如图10为本发明方法的RPN网络示意图。区域推荐网络RPN是用于生成可能包含裂缝部位的区域推荐网络。其输入是由特征提取网络得到的特征图[A2, A3, A4, A5]，RPN区域推荐网络首先在特征图[A2, A3, A4, A5]上的每个点预设一系列不同尺度和宽高比的矩形框，将这些预设的矩形框记为锚框。本发明在特征图的每个点上设置了9种不同的锚框。9种锚框对应于3种面积与3种宽高比的组合。RPN区域推荐网络通过卷积及softmax操作对这些预设的锚框进行初步的分类及回归，包含前景的锚框被分类为1，只有背景的锚框被分类为0，同时对这些锚框的位置进行回归修正，使其尽可能多的包含待检测物体。
C2. 在RPN得到目标潜在推荐区之后，采用多尺度特征融合，具体包括如下步骤：
D1. 对于每个候选区域，将每个候选区域映射到不同尺度的特征图层；
D2. 使用ROIAlign池化来自不同尺度特征图层的候选区域；
D3. 再次使用融合操作融合不同层次的特征。候选区域对应融合后的特征网络用于后续的进一步预测，即分类、包围框和mask预测。
A4. 头部网络的选择与设计；如图11为本发明方法的头部网络示意图。经过多尺度特征融合得到的候选区域推荐将作为头部网络的输入分别进入上路类别及包围框预测的任务和下路mask的任务。如图12为本发明方法的类别及包围框预测分支示意图。如图13为本发明方法的mask预测分支示意图。
主分支(传统的FCN支路)是4个连续的卷积层和一个反卷积操作，其中卷积核大小均为
Figure 859112DEST_PATH_IMAGE065
通道为256，conv4后面再接一个2倍上采样的反卷积deconv，这是用于预测每个类别mask的二进制像素值。本发明设计了一条短路径从主分支的conv3连接到全连接层，中间经过两个
Figure 656166DEST_PATH_IMAGE066
大小的卷积层conv4_fc（短路径），conv5_fc（短路径），conv5_fc卷积层通道数减半以减少计算量，并进行reshape重组，最终与FCN的输出融合得到最终的掩码预测
全连接层用于预测类不可知的背景或前景mask，不仅效率高，而且允许更多样本训练全连接层的参数，泛化能力更强。本发明只使用一个全连接层的原因是防止隐藏的空间特征坍塌成短特征向量问题，这会丢失空间信息。为了捕捉每个提议的不同视图，用微小的全连接层来增加掩模预测，全连接层与使用的FCN具有互补的特性，通过融合全卷积和全连接这两种方式的mask掩码预测，增加了信息的多样性，所以会产生质量更好的掩模效果。
A5. 损失函数的选择及设计；
CrackNet网络的损失函数分为RPN和头部网络两个部分，总的损失函数L all 计算方法为：
Lall = LRPN+ Lhead
其中，L RPN 表示RPN的损失函数，L head 表示头部损失函数；
首先，RPN网络在进行候选区域推荐时不仅对潜在的目标区域进行预测，也会对该区域属于哪种类别进行预测，所以RPN包括分类损失函数和回归损失函数两部分损失，RPN的损失函数L RPN 的计算方式包括：
Figure 265002DEST_PATH_IMAGE068
其中，L cls 和
Figure 48282DEST_PATH_IMAGE069
表示分类损失函数；N cls 表示总候选区域推荐数量；
Figure 121280DEST_PATH_IMAGE070
表示两个类别的对数损失；p i 表示RPN网络候选区域推荐预测为目标的概率；在背景区域标注数据
Figure 89236DEST_PATH_IMAGE071
为0；在前景区域标注数据
Figure 496952DEST_PATH_IMAGE072
为1；t i 表示RPN训练阶段候选区域推荐向量，t i = {t x , t y , t w , t h }，(x, y)表示区域中心坐标；w表示区域的宽，h表示区域的长；
Figure 208556DEST_PATH_IMAGE073
表示锚框，
Figure 339323DEST_PATH_IMAGE073
是与t i 维度相同的向量；RPN训练阶段相对于设定区域实际的偏移量
Figure 478181DEST_PATH_IMAGE074
； L reg 和
Figure 858347DEST_PATH_IMAGE075
表示回归损失函数；R表示smooth L1函数；N reg 为特征图的大小；i表示特征图的计数变量；
Figure 373641DEST_PATH_IMAGE024
，其中，
Figure 358915DEST_PATH_IMAGE076
，即RPN训练阶段候选区域推荐向量和锚框的差。
RPN网络的产生的候选区域推荐只分为前景和背景，前景的标签为1，背景的标签为0。在训练RPN的过程中，会选择k个候选区域推荐，256就是公式中N cls ；
对于每个候选区域推荐计算完
Figure 668674DEST_PATH_IMAGE077
后乘以
Figure 286868DEST_PATH_IMAGE071
，为了将分类和回归两个损失的权重相同，定义N reg 为特征图的大小。
然而头部网络的任务是在检测出物体类别和回归框的基础上添加一个语义分割任务分支，所以这部分除了包括分类损失函数L cls 和回归损失函数L reg ，类别损失L cls 与RPN网络中相同，再加上语义分割的掩码损失L mask 共同组成了头部网络的损失，头部损失函数的计算方式包括：
Lhead= Lcls+ Lreg+ Lmask
其中，L cls 表示分类损失函数；L reg 表示回归损失函数；L mask 表示语义分割的掩码损失函数；
RPN的分类损失是一个二分类交叉熵损失，而本发明的路面裂缝检测是一个多分类任务，所以头部网络的分类损失是多分类的交叉熵损失，在CrackNet的训练过程中会选出128个ROI（region of interest，感兴趣区域），即N cls =128。
Figure 340275DEST_PATH_IMAGE078
其中，
Figure 180055DEST_PATH_IMAGE079
表示头部网络候选区域推荐预测为目标的概率；
Figure 660715DEST_PATH_IMAGE080
表示分类标注数据；
Figure 281052DEST_PATH_IMAGE081
取0时表示背景，
Figure 872570DEST_PATH_IMAGE082
取1时表示横向裂缝，
Figure 832436DEST_PATH_IMAGE083
取2时表示纵向裂缝，
Figure 483997DEST_PATH_IMAGE084
取3时表示块状裂缝，
Figure 578248DEST_PATH_IMAGE085
取4时表示龟裂裂缝，
Figure 973458DEST_PATH_IMAGE086
取5时表示坑槽；β表示候选区域的计数变量；
在头部网络中的回归损失定义为，
Figure 787830DEST_PATH_IMAGE087
；t β 表示ROI预测的偏移量；
Figure 672609DEST_PATH_IMAGE088
表示ROI相对于标注数据实际的偏移量；N reg 为特征图的大小；
Figure 939642DEST_PATH_IMAGE089
表示分类标注数据；
Figure 138543DEST_PATH_IMAGE090
其中，L mask 表示平均二值交叉熵损失，对于一个ROI，假设一共有n个类别，则mask分割分支的输出维度
Figure 807421DEST_PATH_IMAGE091
，对于
Figure 613835DEST_PATH_IMAGE092
中的每个点，都会输出n个二值mask；p βγ 表示
Figure 368164DEST_PATH_IMAGE093
维度中第β列第γ行像素点类别的预测概率；
Figure 370755DEST_PATH_IMAGE094
表示
Figure 894140DEST_PATH_IMAGE095
维度中第β列第γ行像素点类别的真实概率。
如图14为本发明系统的结构示意图。如图15为本发明系统实施例的应用示意图。本发明系统包括数据采集模块、登录注册模块、图像预处理模块、裂缝检测模块、裂缝形态分析模块和下载模块；登录注册模块分别连接数据采集模块、图像预处理模块、裂缝检测模块、裂缝形态分析模块和下载模块；数据采集模块连接图像预处理模块，图像预处理模块连接裂缝检测模块，裂缝检测模块连接结果分析模块，裂缝形态分析模块连接下载模块；登录注册模块用于设置用户访问权限；数据采集模块用于采集道路图像数据；图像预处理模块采用步骤S2-S3的方法对道路图像数据进行预处理；裂缝检测模块采用步骤S4-S6的方法找出裂缝位置；裂缝形态分析模块用于分析裂缝的几何信息；下载模块用于输出裂缝信息。
登录注册模块：为了限制用户的访问并保留每位用户的检测记录，对系统设置用户访问权限。只有注册成功并具有相应权限的用户才可以使用该系统的检测分析功能。登录注册模块包括注册子系统和登录子系统。
在注册子系统中，每位用户需要填写自己的用户名、手机号以及密码等信息。其中用户名与密码作为登录匹配条件，手机号作为唯一性ID以及找回密码的身份依据。
在登录子系统中，用户输入匹配的用户名及密码信息即可成功登录。若不匹配则无法登录，且连续输入5次以上错误密码则限制访问，以此避免撞库攻击，保证系统安全运行。
裂缝检测模块：裂缝检测模块采用上述的路面缺陷损伤实时监测方法中步骤S4-S6，在这个模块中，用户可以通过上传图片来找到包含裂缝的集合，并得到其分割结果。在此过程中，用户可以选择一个文件夹进行上传，也可以选择单个文件进行上传，但其所上传的所有文件必须满足JPG、JPEG、PNG等图片文件格式，且单次上传文件大小不超过360M。受网络带宽以及用户并发量限制因素影响，这一步响应时间可能稍长。当系统上传完所有压缩后的图片至服务端后，服务端会调用预先训练好的网络模型对每张图片进行检测，并将检测结果返回给浏览器。当浏览器收到响应后，用户可以获取到含存裂缝的图片文件名列表，从而根据图片的拍摄信息找出裂缝发生位置。
裂缝形态分析模块：系统自动将检测过程的输出用作输入，并通过后台Python脚本支持对检测结果进行分析，从而得到裂缝的分割标记图、骨架图以及裂缝的具体几何信息（长、宽、类别等）。由于该过程由系统自动完成，其分析步骤并不影响上一步的检测过程，因此独立为两个模块。
下载模块：在该模块中，用户可以对当前的检测结果以PDF的形式下载，如此就可以离线保存用户的检测信息，以便后续查看。该下载文件以列表的方式进行展示，包含了具有裂缝的图片文件名列表、每张图片的裂缝形态分割结果以及每个裂缝的长宽类别等几何信息。
本发明通过对现有路面缺陷图片进行标记和分类，在本发明专利提出的公路损伤缺陷算法模型上，对打标的图片进行模型训练，训练完以后形成检测模型。将模型部署在GPU服务器上，为后续路面缺陷监测提供支撑。
路面缺陷监测主要是通过装载在车上的摄像头，通过车辆的行驶移动，车辆的摄像头拍摄路面的视频，通过视频的结构化，视频转化成图片，转化后的图片通过4G网络传输到云端服务器，图片在服务器预处理后，在GPU服务器预先部署好的模型上进行实时的识别，将识别结果实时返回中心，通过缺陷预警安排人员对道路损伤和缺陷进行修缮和养护。
本方法基于Mask R-CNN算法设计了一个路面裂缝检测算法CrackNet，该算法在继承Mask R-CNN的优点的同时，通过加强低层特征的利用，多尺度特征的融合，全连接网络的优势，提高原算法的各项评价指标，改善对路面裂缝的识别的效果。

Claims (10)

1.一种路面缺陷损伤实时监测方法，其特征在于包括如下步骤：
S1. 获取道路图像数据；
S2. 对道路图像数据进行预处理，包括通过对道路图像数据结构化，加入正则化参数进行全局对比度归一化，获取路面缺陷数据集；
S3. 对收集到的路面缺陷数据集进行增强；
S4. 通过低层特征增强路径和多尺度融合预测搭建路面监测网络框架，多尺度融合包括主分支和短路径融合；并求解若干类别区域的分类损失和相对于设定区域实际的偏移量的回归损失，生成路面缺陷监测模型；
S5. 对路面缺陷监测模型进行训练，生成训练后的路面缺陷监测模型；
S6. 在车辆行驶过程中进行拍摄，采用训练后的路面缺陷监测模型实时分析路面缺陷，并推送分析结果。
2.根据权利要求1所述的路面缺陷损伤实时监测方法，其特征在于所述的步骤S3，具体为采用图像增强技术，包括输入图像的仿射变换；仿射变换包括平移、旋转、缩放、翻转或剪切；包括将路面裂缝图像进行翻转或旋转，并在模型训练过程中对数据集进行扩充。
3.根据权利要求2所述的路面缺陷损伤实时监测方法，其特征在于所述的步骤S4，包括搭建路面监测网络框架，生成路面缺陷监测模型，包括如下步骤：
A1. 配置Cracknet主干网络；Cracknet网络的特征提取网络包括ResNet50-FPN残差网络结构；
A2. 设计低层特征增强路径；包括自底层向上递归，自上向下递归，横向连接将自上向下递归和自底向上生成的相同大小的特征图进行融合，并添加底层特征增强路径；
A3. 采用多尺度融合设计区域推荐网络；
A4. 选择及设计头部网络，采用连续的卷积层和反卷积操作；
A5. 选择及设计损失函数，包括RPN损失函数和头部损失函数。
4.根据权利要求3所述的路面缺陷损伤实时监测方法，其特征在于所述的步骤A3，包括如下步骤：
C1. 在特征图的每个点上设置了若干不同的锚框；对应于不同面积与宽高比的组合；RPN区域推荐网络通过卷积及softmax操作对预设的锚框进行分类及回归修正；
C2. 在RPN得到目标潜在推荐区之后，采用多尺度特征融合，具体包括如下步骤：
D1. 对于每个候选区域，将目标映射到不同尺度的特征图层；
D2. 使用ROIAlign池化来自不同尺度特征图层的候选区域；
D3. 再次使用融合操作融合不同层次的特征；候选区域对应融合后的特征网络用于后续的进一步预测。
5.根据权利要求4所述的路面缺陷损伤实时监测方法，其特征在于所述的步骤D3，预测包括分类、包围框和mask预测。
6.根据权利要求5所述的路面缺陷损伤实时监测方法，其特征在于所述的步骤A5，总的损失函数包括RPN损失函数和头部损失函数，并进行求和求解；头部损失函数包括计算RPN损失的分类损失函数和计算RPN损失的回归损失函数；计算RPN损失的分类损失函数包括若干类别区域的损失，计算RPN损失的回归损失函数包括相对于设定区域实际的偏移量，并采用smooth L1函数求解；头部损失函数包括计算头部损失的分类损失函数、回归损失函数和语义分割的掩码损失函数，并进行求和求解。
7.根据权利要求6所述的路面缺陷损伤实时监测方法，其特征在于所述的步骤S2，包括对路面视频数据进行结构化，并对结构化之后的路面图片进行全局对比度归一化处理；全局对比度归一化处理包括：
设张量
Figure 650638DEST_PATH_IMAGE001
表示图片，r表示图片像素行数，c表示图片像素列数，计算整幅图片对比度I contrast ：
Figure 436191DEST_PATH_IMAGE002
其中，X α,j,k 表示第α行第j列像素的通道强度，k=1,2,3，X α,j,1表示第α行第j列像素的红色通道强度，X α,j,2表示第α行第j列像素的绿色通道强度，X α,j,3表示第α行第j列像素的蓝色通道强度；
Figure 361422DEST_PATH_IMAGE003
表示整幅图片的平均强度，
Figure 585730DEST_PATH_IMAGE004
；
通过在分母中添加一个正则化参数λ，用于平衡预计的标准差；对于处理的图像X，重新定义全局对比度归一化方法输出的图像
Figure 99756DEST_PATH_IMAGE005
：
Figure 384107DEST_PATH_IMAGE006
其中，s表示饱和度；X α,j,k 表示第α行第j列像素的通道强度，k=1,2,3，X α,j,1表示第α行第j列像素的红色通道强度，X α,j,2表示第α行第j列像素的绿色通道强度，X α,j,3表示第α行第j列像素的蓝色通道强度；
Figure 796634DEST_PATH_IMAGE003
表示整幅图片的平均强度，
Figure 496737DEST_PATH_IMAGE007
；ε为设定参数，用于避免分母为0；λ为正则化参数，
Figure 678319DEST_PATH_IMAGE008
；
所述的步骤S3，图像增强技术包括：
将原图像f(x, y)进行水平翻转：
f 1(x 1, y 1) = g(-x, y)
其中，g(-x, y)表示水平翻转后的图像；
将原图像f(x, y)进行垂直翻转：
f 2(x 2, y 2) = g(x,-y)
其中，g(x,-y)表示垂直翻转后的图像；
将原图像f(x, y)按照顺时针方向旋转90度：
f 3(x 3, y 3) = g(xcos90°+ysin90°, ycos90°- xsin90°)
其中，g(xcos90°+ysin90°, ycos90°- xsin90°)表示顺时针方向旋转90度后的图像；
将原图像f(x, y)按照顺时针方向旋转180度：
f 4(x 4, y 4) = g(xcos180°+ ysin180°, ycos180°- xsin180°)
其中，g(xcos180°+ ysin180°, ycos180°- xsin180°)表示顺时针方向旋转180度后的图像；
将原图像f(x, y)按照顺时针方向旋转270度：
f 5(x 5, y 5) = g(xcos270°+ ysin270°, ycos270°- xsin270°)
其中，g(xcos270°+ ysin270°, ycos270°- xsin270°)表示顺时针方向旋转270度后的图像。
8.根据权利要求7所述的路面缺陷损伤实时监测方法，其特征在于所述的步骤A2，包括，自低层向上：ResNet5-FPN分为了5个阶段，其中，[C1, C2, C3, C4, C5]分别为每个阶段的输出，每个阶段均由卷积层、非线性激活函数层，以及池化层构成；卷积过程中，每个卷积核的大小均为
Figure 133572DEST_PATH_IMAGE009
，所有卷积操作的步长均为1，边界填充的大小也为1；每个池化层均采用最大池化，池化层大小均为
Figure 223275DEST_PATH_IMAGE010
，步长也为2；经过特征提取网络后，5个阶段输出的特征图大小分别为原尺寸的1/2、1/4、1/8、1/16和1/32大小的特征图，阶段1的conv1不使用；
自上向下和横向连接：ResNet50-FPN的自上而下是从最高层的特征图C5开始进行2倍上采样，上采样使用最近邻上采样；横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合；具体包括对[C2, C3, C4, C5]中的每一层经过一个
Figure 789385DEST_PATH_IMAGE011
卷积操作用以降低通道数，无激活函数操作，输出通道全部设置为相同的256通道，然后和上采样的特征图[M2, M3, M4, M5]进行特征融合；再采用
Figure 825474DEST_PATH_IMAGE012
的卷积核进行处理得到[P2, P3, P4, P5]；在得到[P2, P3, P4, P5]后，添加低层特征增强路径：
B1. 每个特征图Ai先经过步长为2的卷积层，其中卷积核为
Figure 389311DEST_PATH_IMAGE013
，卷积通道为256；
B2. 特征图Pi+1的每个元素和下采样的特征图Ai通过侧向连接做相加操作；
B3. 再经过一个卷积核为
Figure 776430DEST_PATH_IMAGE012
卷积通道为256的卷积层生成特征图Ai+1；
所述的步骤C1，包括在特征图的每个点上设置了9种不同的锚框；9种锚框对应于3种面积与3种宽高比的组合；RPN区域推荐网络通过卷积及softmax操作对这些预设的锚框进行初步的分类及回归，包含前景的锚框被分类为1，背景的锚框被分类为0，同时对这些锚框的位置进行回归修正，用于包含待检测物体；
所述的A4，包括经过多尺度特征融合得到的候选区域推荐将作为头部网络的输入分别进入上路类别及包围框预测的任务和下路mask的任务；主分支包括4个连续的卷积层和一个反卷积操作，其中卷积核大小均为
Figure 880652DEST_PATH_IMAGE014
通道为256，conv4后面再接一个2倍上采样的反卷积deconv，用于预测每个类别mask的二进制像素值；短路径包括从主分支的conv3连接到全连接层，中间经过两个
Figure 223778DEST_PATH_IMAGE014
的卷积层conv4_fc和conv5_fc；conv5_fc卷积层通道数减半用于减少计算量，最终与主分支的输出融合得到最终的掩码预测；
所述的步骤A5包括，CrackNet网络的损失函数分为RPN和头部网络两个部分，总的损失函数L all 计算方法为：
L all = L RPN + L head
其中，L RPN 表示RPN的损失函数，L head 表示头部损失函数；
RPN的损失函数L RPN 的计算方式包括：
Figure 755253DEST_PATH_IMAGE015
其中，L cls 和
Figure 364089DEST_PATH_IMAGE016
表示分类损失函数；N cls 表示总候选区域推荐数量；
Figure 537581DEST_PATH_IMAGE017
表示两个类别的对数损失；p i 表示RPN网络候选区域推荐预测为目标的概率；在背景区域标注数据
Figure 548263DEST_PATH_IMAGE018
为0；在前景区域标注数据
Figure 703169DEST_PATH_IMAGE019
为1；t i 表示RPN训练阶段候选区域推荐向量，t i = {t x , t y , t w , t h }，(x, y)表示区域中心坐标；w表示区域的宽，h表示区域的长；
Figure 799301DEST_PATH_IMAGE020
表示锚框，
Figure 245326DEST_PATH_IMAGE021
是与t i 维度相同的向量；RPN训练阶段相对于设定区域实际的偏移量
Figure 313776DEST_PATH_IMAGE022
； L reg 和
Figure 452634DEST_PATH_IMAGE023
表示回归损失函数；R表示smooth L1函数；N reg 为特征图的大小；i表示特征图的计数变量；
Figure 36062DEST_PATH_IMAGE024
，其中，
Figure 472728DEST_PATH_IMAGE025
；t i 表示RPN训练阶段候选区域推荐向量，t i = {t x , t y , t w , t h }，(x, y)表示区域中心坐标；w表示区域的宽，h表示区域的长；
Figure 458002DEST_PATH_IMAGE026
表示锚框，
Figure 767760DEST_PATH_IMAGE027
是与t i 维度相同的向量；
RPN网络的产生的候选区域推荐只分为前景和背景，前景的标签为1，背景的标签为0；
头部损失函数L head 的计算方式包括：
L head = L cls + L reg + L mask
其中，L cls 表示分类损失函数；L reg 表示回归损失函数；L mask 表示语义分割的掩码损失函数；
Figure 776168DEST_PATH_IMAGE028
其中，
Figure 829574DEST_PATH_IMAGE029
表示头部网络候选区域推荐预测为目标的概率；
Figure 669354DEST_PATH_IMAGE030
表示分类标注数据；
Figure 150014DEST_PATH_IMAGE031
取0时表示背景，
Figure 632336DEST_PATH_IMAGE032
取1时表示横向裂缝，
Figure 489433DEST_PATH_IMAGE033
取2时表示纵向裂缝，
Figure 183720DEST_PATH_IMAGE034
取3时表示块状裂缝，
Figure 772964DEST_PATH_IMAGE035
取4时表示龟裂裂缝，
Figure 818281DEST_PATH_IMAGE036
取5时表示坑槽；β表示候选区域的计数变量；
在头部网络中的回归损失定义为，
Figure 213490DEST_PATH_IMAGE037
；t β 表示ROI预测的偏移量；
Figure 949233DEST_PATH_IMAGE038
表示ROI相对于标注数据实际的偏移量；N reg 为特征图的大小；
Figure 37275DEST_PATH_IMAGE039
表示分类标注数据；
Figure 304308DEST_PATH_IMAGE040
其中，L mask 表示平均二值交叉熵损失；p βγ 表示
Figure 175313DEST_PATH_IMAGE041
维度中第β列第γ行像素点类别的预测概率；
Figure 844191DEST_PATH_IMAGE042
表示
Figure 103134DEST_PATH_IMAGE043
维度中第β列第γ行像素点类别的真实概率。
9.一种基于权利要求1-8之一所述的路面缺陷损伤实时监测方法的系统，其特征在于包括数据采集模块、登录注册模块、图像预处理模块、裂缝检测模块、裂缝形态分析模块和下载模块；登录注册模块分别连接数据采集模块、图像预处理模块、裂缝检测模块、裂缝形态分析模块和下载模块；数据采集模块连接图像预处理模块，图像预处理模块连接裂缝检测模块，裂缝检测模块连接裂缝形态分析模块，裂缝形态分析模块连接下载模块；登录注册模块用于设置用户访问权限；数据采集模块用于采集道路图像数据；图像预处理模块采用步骤S2-S3的方法对道路图像数据进行预处理；裂缝检测模块采用步骤S4-S6的方法找出裂缝位置；裂缝形态分析模块用于分析裂缝的几何信息；下载模块用于输出裂缝信息。
10.根据权利要求9所述的系统，其特征在于所述的登录注册模块包括注册子系统和登录子系统；在注册子系统中，每位用户填写自己的用户名、手机号以及密码信息；其中用户名与密码作为登录匹配条件，手机号作为唯一性ID以及找回密码的身份依据；在登录子系统中，用户输入匹配的用户名及密码信息登录；若不匹配则无法登录，且连续输入5次以上错误密码则限制访问，以此避免撞库攻击，保证系统安全运行；
所述的裂缝检测模块，采用上述的路面缺陷损伤实时监测方法中步骤S4-S6进行裂缝监测，用户通过上传图片来找到包含裂缝的集合，并得到分割结果；用户选择一个文件夹或单个文件进行上传，其中，上传的所有文件包括JPG、JPEG和PNG图片文件格式，同时单次上传文件大小不超过设置大小；当系统上传完所有压缩后的图片至服务端后，服务端会调用步骤S5训练好的路面缺陷监测模型对每张图片进行检测，并将检测结果返回给浏览器；当浏览器收到响应后，用户获取到含存裂缝的图片文件名列表，从而根据图片的拍摄信息找出裂缝发生位置；
所述的裂缝形态分析模块，输入裂缝检测模块得到的裂缝，并通过后台脚本对检测结果进行分析，得到裂缝的分割标记图、骨架图以及裂缝的具体几何信息，几何信息包括长、宽和类别；
所述的下载模块，下载当前的检测结果，保存用户的检测信息；下载的文件以列表的方式进行展示，包括具有裂缝的图片文件名列表、每张图片的裂缝形态分割结果和每个裂缝的几何信息。
CN202111458712.4A 2021-12-02 2021-12-02 一种路面缺陷损伤实时监测方法及系统 Active CN113870263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111458712.4A CN113870263B (zh) 2021-12-02 2021-12-02 一种路面缺陷损伤实时监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111458712.4A CN113870263B (zh) 2021-12-02 2021-12-02 一种路面缺陷损伤实时监测方法及系统

Publications (2)

Publication Number Publication Date
CN113870263A true CN113870263A (zh) 2021-12-31
CN113870263B CN113870263B (zh) 2022-02-25

Family

ID=78985618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111458712.4A Active CN113870263B (zh) 2021-12-02 2021-12-02 一种路面缺陷损伤实时监测方法及系统

Country Status (1)

Country Link
CN (1) CN113870263B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743106A (zh) * 2022-04-20 2022-07-12 中钢集团马鞍山矿山研究总院股份有限公司 一种图像批处理识别方法及系统
CN115482491A (zh) * 2022-09-23 2022-12-16 湖南大学 一种基于transformer的桥梁缺陷识别方法与系统
CN116433659A (zh) * 2023-06-09 2023-07-14 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法
TWI822454B (zh) * 2022-11-10 2023-11-11 州巧科技股份有限公司 瑕疵檢測系統與混合瑕疵訓練方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220193A1 (en) * 2009-03-02 2010-09-02 Flir Systems, Inc. Systems and methods for processing infrared images
CN102930542A (zh) * 2012-10-31 2013-02-13 电子科技大学 一种基于全局对比度的矢量化显著检测方法
CN110084302A (zh) * 2019-04-26 2019-08-02 西安因诺航空科技有限公司 一种基于遥感图像的裂缝检测方法
CN110120041A (zh) * 2019-05-14 2019-08-13 郑州大学 路面裂缝图像检测方法
CN110232700A (zh) * 2019-06-19 2019-09-13 电子科技大学 基于暗通道强度比的c型白内障图像反光的移除方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
JP2019191095A (ja) * 2018-04-27 2019-10-31 福田道路株式会社 舗装損傷診断システム
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111091105A (zh) * 2019-12-23 2020-05-01 郑州轻工业大学 基于新的边框回归损失函数的遥感图像目标检测方法
CN111723764A (zh) * 2020-06-29 2020-09-29 中国农业大学 改进Faster RCNN水培蔬菜幼苗状态检测方法
CN113221956A (zh) * 2021-04-15 2021-08-06 国网浙江省电力有限公司杭州供电公司 基于改进的多尺度深度模型的目标识别方法及装置
US20210319561A1 (en) * 2020-11-02 2021-10-14 BeSTDR Infrastructure Hospital(Pingyu) Image segmentation method and system for pavement disease based on deep learning
WO2021232613A1 (zh) * 2020-05-22 2021-11-25 五邑大学 酒瓶表面缺陷检测方法、电子装置及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220193A1 (en) * 2009-03-02 2010-09-02 Flir Systems, Inc. Systems and methods for processing infrared images
CN102930542A (zh) * 2012-10-31 2013-02-13 电子科技大学 一种基于全局对比度的矢量化显著检测方法
JP2019191095A (ja) * 2018-04-27 2019-10-31 福田道路株式会社 舗装損傷診断システム
CN110084302A (zh) * 2019-04-26 2019-08-02 西安因诺航空科技有限公司 一种基于遥感图像的裂缝检测方法
CN110120041A (zh) * 2019-05-14 2019-08-13 郑州大学 路面裂缝图像检测方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN110232700A (zh) * 2019-06-19 2019-09-13 电子科技大学 基于暗通道强度比的c型白内障图像反光的移除方法
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111091105A (zh) * 2019-12-23 2020-05-01 郑州轻工业大学 基于新的边框回归损失函数的遥感图像目标检测方法
WO2021232613A1 (zh) * 2020-05-22 2021-11-25 五邑大学 酒瓶表面缺陷检测方法、电子装置及存储介质
CN111723764A (zh) * 2020-06-29 2020-09-29 中国农业大学 改进Faster RCNN水培蔬菜幼苗状态检测方法
US20210319561A1 (en) * 2020-11-02 2021-10-14 BeSTDR Infrastructure Hospital(Pingyu) Image segmentation method and system for pavement disease based on deep learning
CN113221956A (zh) * 2021-04-15 2021-08-06 国网浙江省电力有限公司杭州供电公司 基于改进的多尺度深度模型的目标识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALLEN ZHANG等: "Automated Pixel-Level Pavement Crack Detection on 3D Asphalt Surfaces Using a Deep-Learning Network", 《COMPUTER-AIDED CIVIL AND INFRASTRUCTURE ENGINEERING》 *
XU YANG等: "Automated pavement crack segmentation using U-Net-based convolutional neural network", 《IEEE ACCESS》 *
晏班夫等: "基于Faster R-CNN与形态法的路面病害识别", 《中国公路学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743106A (zh) * 2022-04-20 2022-07-12 中钢集团马鞍山矿山研究总院股份有限公司 一种图像批处理识别方法及系统
CN115482491A (zh) * 2022-09-23 2022-12-16 湖南大学 一种基于transformer的桥梁缺陷识别方法与系统
TWI822454B (zh) * 2022-11-10 2023-11-11 州巧科技股份有限公司 瑕疵檢測系統與混合瑕疵訓練方法
CN116433659A (zh) * 2023-06-09 2023-07-14 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法
CN116433659B (zh) * 2023-06-09 2023-08-29 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法

Also Published As

Publication number Publication date
CN113870263B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN113870263B (zh) 一种路面缺陷损伤实时监测方法及系统
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108304873B (zh) 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN112101175A (zh) 基于局部图像的高速公路车辆检测及多属性特征提取方法
US11308714B1 (en) Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN112686812A (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
Chatterjee et al. Intelligent Road Maintenance: a Machine Learning Approach for surface Defect Detection.
CN114155527A (zh) 一种场景文本识别方法和装置
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及系统
CN114429457A (zh) 一种基于双模态融合的风机叶片缺陷智能检测方法
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN109740539A (zh) 基于超限学习机和融合卷积网络的3d物体识别方法
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
CN113516126A (zh) 一种基于注意力特征融合的自适应阈值场景文本检测方法
CN116052212A (zh) 一种基于双重自监督学习的半监督跨模态行人重识别方法
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
US20220335572A1 (en) Semantically accurate super-resolution generative adversarial networks
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN116824347A (zh) 一种基于深度学习的道路裂纹检测方法
CN111784679A (zh) 一种基于cnn和svm的挡土墙裂缝识别方法
CN111539483A (zh) 基于gan网络的虚假图像鉴别系统及构建方法
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant