CN107871133B - 边缘检测网络的优化方法、路面病害的识别方法及系统 - Google Patents

边缘检测网络的优化方法、路面病害的识别方法及系统 Download PDF

Info

Publication number
CN107871133B
CN107871133B CN201711447518.XA CN201711447518A CN107871133B CN 107871133 B CN107871133 B CN 107871133B CN 201711447518 A CN201711447518 A CN 201711447518A CN 107871133 B CN107871133 B CN 107871133B
Authority
CN
China
Prior art keywords
pavement
edge detection
detection network
matrix
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711447518.XA
Other languages
English (en)
Other versions
CN107871133A (zh
Inventor
赵延东
邓捷
潘宗俊
李龙
高鑫
王浩仰
林琪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Roadmaint Maintenance Technology Co ltd
Original Assignee
Roadmaint Maintenance Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Roadmaint Maintenance Technology Co ltd filed Critical Roadmaint Maintenance Technology Co ltd
Priority to CN201711447518.XA priority Critical patent/CN107871133B/zh
Publication of CN107871133A publication Critical patent/CN107871133A/zh
Application granted granted Critical
Publication of CN107871133B publication Critical patent/CN107871133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Abstract

本发明实施例公开一种边缘检测网络的优化方法、路面病害的识别方法及系统。边缘检测网络用于识别指定路面病害。该优化方法包括:将每张样本路面图片分割成多个第一网格,并根据第一网格是否具有指定路面病害,得到每张样本路面图片对应的第一矩阵;将每张样本路面图片输入边缘检测网络进行指定路面病害识别,并输出每张样本路面图片对应的第二矩阵;根据每张样本路面图片对应的第一矩阵的向量和第二矩阵的向量,计算得到每张样本路面图片的损失函数;优化边缘检测网络的网络参数,直到网络参数优化后的边缘检测网络输出的第二矩阵使计算得到的所有样本路面图片的损失函数的算数平均值最小。本发明实施例的边缘检测网络的识别结果准确且效率高。

Description

边缘检测网络的优化方法、路面病害的识别方法及系统
技术领域
本发明涉及路面病害识别技术领域,尤其涉及一种边缘检测网络的优化方法、路面病害的识别方法及系统。
背景技术
基于公路养护管理的需求,路面病害的快速检测与识别,是路面使用性能评价的重要基础工作。路面自动化快速检测设备的应用,代替了传统人工检测的方法,实现了以车流速度拍摄高清路面图片,大幅提升了路面病害图片的采集效率。目前常见的基于模式识别的路面病害自动识别方法,存在依赖人工经验调整参数、复杂路面条件下运行准确率较低等问题。如现有方法对灰度图像的频率进行分析,低频成分识别为正常路面部分,高频部分则识别为路面病害。这种方法存在明显的缺陷,对灰度图像进行频率分析时,与路面底色相差较大的边缘部分都将被认定为高频部分,但在复杂的路面条件下,路面的水渍污迹、标志标线、光照不均及路面阴影都会对病害识别造成极大干扰。因此,现有技术的识别路面病害的方法精度较低。
发明内容
本发明实施例提供一种边缘检测网络的优化方法、路面病害的识别方法及系统,以解决现有技术的识别路面病害的方法精度较低的问题。
第一方面,提供一种边缘检测网络的优化方法,所述边缘检测网络用于识别指定路面病害,所述方法包括:
将每张样本路面图片分割成多个第一网格,并根据所述第一网格是否具有指定路面病害,得到每张样本路面图片对应的第一矩阵,其中,所述第一矩阵的每一元素与每一所述第一网格对应,并且所述第一矩阵的每一元素的取值表示每一所述第一网格是否具有所述指定路面病害;
将每张所述样本路面图片输入所述边缘检测网络进行所述指定路面病害识别,并输出每张所述样本路面图片对应的第二矩阵,其中,所述边缘检测网络将所述样本路面图片分割成多个第二网格,所述第二矩阵的每一元素与每一所述第二网格对应,并且所述第二矩阵的每一元素的取值表示每一所述第二网格是否具有所述指定路面病害;
根据每张所述样本路面图片对应的所述第一矩阵的向量
Figure BDA0001527845900000021
和所述第二矩阵的向量
Figure BDA0001527845900000022
计算得到每张所述样本路面图片的损失函数
Figure BDA0001527845900000023
其中,ε为常数;
优化所述边缘检测网络的网络参数,直到所述网络参数优化后的所述边缘检测网络输出的所述第二矩阵使计算得到的所有所述样本路面图片的损失函数的算数平均值最小;
其中,所述网络参数的优化算式为:
Figure BDA0001527845900000024
wi+1为用于后一次识别所述指定路面病害的所述边缘检测网络的网络参数,wi为用于前一次识别所述指定路面病害的所述边缘检测网络的网络参数,
Figure BDA0001527845900000025
为所有所述样本路面图片的损失函数的算术平均值,η为常数。
第二方面,提供一种边缘检测网络的优化系统,所述边缘检测网络用于识别指定路面病害,所述系统包括:
第一矩阵模块,用于将每张样本路面图片分割成多个第一网格,并根据所述第一网格是否具有指定路面病害,得到每张样本路面图片对应的第一矩阵,其中,所述第一矩阵的每一元素与每一所述第一网格对应,并且所述第一矩阵的每一元素的取值表示每一所述第一网格是否具有所述指定路面病害;
第二矩阵模块,用于将每张所述样本路面图片输入所述边缘检测网络进行所述指定路面病害识别,并输出每张所述样本路面图片对应的第二矩阵,其中,所述边缘检测网络将所述样本路面图片分割成多个第二网格,所述第二矩阵的每一元素与每一所述第二网格对应,并且所述第二矩阵的每一元素的取值表示每一所述第二网格是否具有所述指定路面病害;
计算模块,用于根据每张所述样本路面图片对应的所述第一矩阵的向量
Figure BDA0001527845900000031
和所述第二矩阵的向量
Figure BDA0001527845900000032
计算得到每张所述样本路面图片的损失函数
Figure BDA0001527845900000033
其中,ε为常数;
优化模块,用于优化所述边缘检测网络的网络参数,直到所述网络参数优化后的所述边缘检测网络输出的所述第二矩阵使计算得到的所有所述样本路面图片的损失函数的算数平均值最小;
其中,所述网络参数的优化算式为:
Figure BDA0001527845900000034
wi+1为用于后一次识别所述指定路面病害的所述边缘检测网络的网络参数,wi为用于前一次识别所述指定路面病害的所述边缘检测网络的网络参数,
Figure BDA0001527845900000035
为所有所述样本路面图片的损失函数的算术平均值,η为常数。
第三方面,提供一种路面病害识别方法,包括:
获取用于识别指定路面病害的边缘检测网络,其中,所述边缘检测网络为采用上述的边缘检测网络的优化方法优化后的边缘检测网络;
将待测路面图片输入到所述边缘检测网络进行所述指定路面病害识别,输出识别结果矩阵;
其中,所述边缘检测网络将所述待测路面图片分割成多个第三网格,所述识别结果矩阵的每一元素与每一所述第三网格对应,并且所述识别结果矩阵的每一元素的取值表示每一所述第三网格是否具有所述指定路面病害。
第四方面,提供一种路面病害识别系统,包括:
获取模块,用于获取用于识别指定路面病害的边缘检测网络,其中,所述边缘检测网络为采用上述的边缘检测网络的优化方法优化后的边缘检测网络;
输出模块,用于将待测路面图片输入到所述边缘检测网络进行所述指定路面病害识别,输出识别结果矩阵;
其中,所述边缘检测网络将所述待测路面图片分割成多个第三网格,所述识别结果矩阵的每一元素与每一所述第三网格对应,并且所述识别结果矩阵的每一元素的取值表示每一所述第三网格是否具有所述指定路面病害。
这样,本发明实施例,通过损失函数来衡量边缘检测网络识别路面病害的准确性,从而可不断优化边缘检测网络的网络参数,直到得到最优的边缘检测网络,使得边缘检测网络的识别结果越来越准确,并且可提高识别的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的边缘检测网络的优化方法的流程图;
图2是本发明实施例的在样本路面图片的侧边填充白色变换分辨率后得到的样本路面图片的示意图;
图3是现有技术的U-net网络的用于下采样的网络层的结构示意图;
图4是本发明实施例采用的基于U-net网络的边缘检测网络的网络层的结构示意图;
图5是本发明实施例的边缘检测网络的优化系统的结构框图;
图6是本发明实施例的路面病害的识别方法的流程图;
图7是本发明实施例的路面病害的识别系统的结构框图;
图8是本发明一优选实施例通过人工标记具有裂缝路面病害的网格的示意图;
图9是本发明一优选实施例通过现有的基于灰度图的模式识别方法得到的具有裂缝路面病害的网格的示意图;
图10是本发明一优选实施例通过采用本发明的边缘检测网络的识别方法得到的具有裂缝路面病害的网格的示意图;
图11是本发明另一优选实施例通过人工标记具有修补路面病害的网格的示意图;
图12是本发明另一优选实施例通过现有的基于灰度图的模式识别方法得到的具有修补路面病害的网格的示意图;
图13是本发明另一优选实施例通过采用本发明的边缘检测网络的识别方法得到的具有修补路面病害的网格的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种边缘检测网络的优化方法。该边缘检测网络用于识别指定路面病害。本发明实施例中所述的路面病害可以是由交通运输部行业标准——公路技术状况评定标准(JTG H20)规定的路面病害。例如,路面病害包括但不限于龟裂、裂缝、修补、坑槽、松散、沉陷、车辙、波浪拥包、泛油、破碎板、板角断裂、错台、唧泥、边角剥落、接缝料损坏、坑洞、露骨等。
具体的,如图1所示,该方法包括如下的步骤:
步骤S101:将每张样本路面图片分割成多个第一网格,并根据第一网格是否具有指定路面病害,得到每张样本路面图片对应的第一矩阵。
一般的,该多张样本路面图片具有相同的分辨率。具体的,可以根据后续步骤的边缘检测网络要求的输入该网络的图像的分辨率,设定一个标准分辨率,例如边缘检测网络要求分辨率为3200×2100,则所有的样本路面图片的分辨率都应变换为该标准分辨率。
当样本路面图片的分辨率不同时,需要将样本路面图片的分辨率变换为相同的分辨率(即上述的标准分辨率)。例如,当样本路面图片的分辨率小于标准分辨率时,可通过在样本路面图片的侧边填充白色,使该样本路面图片的分辨率转换为标准分辨率。例如,该侧边可以是但不限于右侧和下侧(如图2所示);或者,左侧和上侧;或者,右侧和上侧;或者,左侧和下侧。应当理解的是,根据样本路面图片的具体分辨率,还可以只在单侧填充白色。当样本路面图片的分辨率大于标准分辨率时,若样本路面图片的分辨率与标准分辨率恰好呈倍数的关系,则可通过等比压缩,将样本路面图片的分辨率转换为标准分辨率。当样本路面图片的分辨率大于标准分辨率时,若样本路面图片的分辨率与标准分辨率不呈倍数的关系,则先将样本路面图片等比压缩至样本路面图片的分辨率中的长(或者宽)的大小与标准分辨率的长(或者宽)的大小相同,样本路面图片的分辨率中的宽(或者长)的大小比标准分辨率的宽(或者长)小,再通过上述的在侧边填充白色的方式,使样本路面图片的分辨率最终转换为标准分辨率。优选的,在本发明实施例的优化的过程中,应对样本路面图片采用在相同的侧边填充白色的方法,以便使样本路面图片格式统一。
第一矩阵的每一元素与每一第一网格对应。应当理解的是,每一第一网格的尺寸相同。
第一矩阵的每一元素的取值表示每一第一网格是否具有指定路面病害。优选的,当第一网格具有指定路面病害,则标记第一网格对应的第一矩阵的元素为第一阈值,否则标记第一网格对应的第一矩阵的元素为第二阈值。一般的,本发明实施例的方法可通过计算机程序来具体实现,因此,为了便于计算机处理,第一阈值可以记为1,第二阈值可以记为0。应当理解的是,由于人工识别比较准确,该步骤一般通过传统的人工识别来标记第一网格是否具有路面病害。
具体的,样本路面图片可以选择N张。将每张样本路面图片分割成m×n个第一网格。用0标记第一网格不具有指定路面病害,用1标记第一网格具有指定路面病害,转化得到的每张样本路面图片对应的第一矩阵A为:
Figure BDA0001527845900000071
其中,
Figure BDA0001527845900000072
例如,采用标准分辨率3200×2100(像素)对样本路面图片进行转换,并将图片分割成672个(32×21)大小为100×100(像素)的第一网格。针对每个第一网格的病害情况进行标记。
通过该步骤,可比较准确地标记出具有指定路面病害的第一网格,相当于提供与后续的边缘检测网络的识别结果进行比较的标准,以便后续步骤根据该标准优化该边缘检测网络。
步骤S102:将每张样本路面图片输入边缘检测网络进行指定路面病害识别,并输出每张样本路面图片对应的第二矩阵。
应当理解的是,该多张样本路面图片的分辨率需变换为步骤S101中所述的标准分辨率,即该边缘检测网络要求的输入该网络的图像的分辨率。
边缘检测网络是一种神经网络。边缘检测网络将样本路面图片分割成多个第二网格。第二矩阵的每一元素与每一第二网格对应。应当理解的是,每一第二网格的尺寸相同。具体的,第一网格和第二网格的数量相同,从而使得第一矩阵和第二矩阵的行数和列数均相同,这样便于比较边缘检测网络的识别结果是否准确。
第二矩阵的每一元素的取值表示每一第二网格是否具有指定路面病害。优选的,当边缘检测网络识别出第二网格具有指定路面病害,则标记第二网格对应的第二矩阵的元素为第一阈值,否则标记第二网格对应的第二矩阵的元素为第二阈值。具体的,当样本路面图片输入边缘检测网络后,边缘检测网络输出每一第二网格的计算数值(一般以矩阵的形式输出)。将每一第二网格的计算数值与预设的第三阈值比较。该第三阈值为经验值,一般取0.5。当该第二网格的计算数值小于第三阈值时,该第二网格对应的第二矩阵的元素的取值为第二阈值;当第二网格的计算数值不小于第三阈值时,该第二网格对应的第二矩阵的元素的取值为第一阈值;从而最终输出第二矩阵。与步骤S101相同,一般的,第一阈值可以记为1,第二阈值可以记为0。
例如,用0表示边缘检测网络识别出该第二网格不具有指定路面病害,用1表示边缘检测网络识别出该第二网格具有指定路面病害,每张样本路面图片对应的第二矩阵B为:
Figure BDA0001527845900000081
其中,
Figure BDA0001527845900000082
例如,该边缘检测网络的结构可基于U-net网络,并且只需要保留U-net网络的进行下采样的网络层即可。因此,该边缘检测网络的最后一层网络层只需要输出表示识别结果的第二矩阵即可,无需再将输出的第二矩阵进行上采样和描绘图像边缘轮廓的步骤,优化了边缘检测网络的结构层级和数量,可大幅提升模型的识别效率和准确性。
例如,如图3所示,现有技术的U-net网络的用于下采样的网络层依次为:BN层(第一层)→卷积层→卷积层→池化层→BN层→卷积层→卷积层→池化层→BN层→卷积层→卷积层→池化层→BN层→卷积层→卷积层→池化层→BN层→卷积层→卷积层。如图4所示,本发明实施例采用的基于U-net网络的边缘检测网络依次包括如下的网络层:BN层(第一层)→卷积层→卷积层→池化层→BN层→卷积层→卷积层→池化层→BN层→卷积层→卷积层→池化层→BN层→卷积层→池化层→BN层→卷积层→池化层→BN层→卷积层→BN层→卷积层(最后一层)。
BN层(batch normalization layer)的作用是将根据输入的样本路面图片转化的数据规范化,统一数据的均值和方差,具体如下:
Figure BDA0001527845900000083
其中,y为当前层输出向量。x为当前层输入向量。gamma为目标方差,默认取值为1。beta为目标均值,默认取值为0。λ为常数,用于避免分母为0的错误,取值为一个较小的实数,一般默认取值为10-5
卷积层(convolutional layer)的作用是对图像和滤波矩阵做内积。具体来说,不同的滤波器会得到不同的输出数据,用于提取图像的不同特征,比如颜色深浅、轮廓。卷积操作时将特征图与滤波器的对应值相乘并计算总和,通过ReLu(Rectified Linear Units)激活函数判断当前神经元是激活状态还是未激活状态。
池化层(pooling layer)的作用是提供了很强的鲁棒性,并且减少了参数的数量,防止过拟合现象的发生。池化层一般没有参数,所以反向传播的时候,只需对输入的网络参数求导,不需要进行权值更新。池化操作时用特定区域内的最大值来代表当前区域的特征,使得池化后的特征图更聚焦于图像中最显著的特征。
步骤S103:根据每张样本路面图片对应的第一矩阵的向量和第二矩阵的向量,计算得到每张样本路面图片的损失函数。
具体的,通过如下的算式计算损失函数:
Figure BDA0001527845900000091
其中,loss为损失函数。
Figure BDA0001527845900000092
为第一矩阵的向量。
Figure BDA0001527845900000093
为第二矩阵的向量。ε为常数,可避免分母为0的错误,其取值一般可以为一个较小的实数,一般默认取值为10-5
步骤S104:优化边缘检测网络的网络参数,直到网络参数优化后的边缘检测网络输出的第二矩阵使计算得到的所有样本路面图片的损失函数的算数平均值最小。
网络参数是边缘检测网络包含的网络层的固有参数。当选用的边缘检测网络的网络结构确定后,每层网络层的网络参数就确定,即可以确定采用哪些网络参数。例如,上述的BN层、卷积层等等,其包含的网络参数都是公知的。
具体的,本发明实施例的所有网络参数都采用如下的优化算式计算:
Figure BDA0001527845900000094
其中,wi+1为用于后一次识别指定路面病害的边缘检测网络的网络参数。wi为用于前一次识别指定路面病害的边缘检测网络的网络参数。应当理解的是,上述的前一次和后一次是相邻的两次。
Figure BDA0001527845900000101
为所有样本路面图片的损失函数的算术平均值,即
Figure BDA0001527845900000102
η为常数。应当理解的是,该边缘检测网络的网络参数的初始值随机生成。还应当理解的是,在一次优化的过程中,对该网络的所有网络参数都进行优化。
通过该步骤,对边缘检测网络的网络参数进行优化。每优化一次边缘检测网络的网络参数,则再重新将样本路面图片输入到边缘检测网络中进行路面病害识别,随着优化次数的增加,所有样本路面图片的损失函数的算术平均值不断减小,当损失函数的算术平均值趋于稳定时,即使再增加优化次数和数据量也不会再明显提高该边缘检测网络的识别精度,表明此时该边缘检测网络开始收敛,可以得到一组有限优化次数内的最优的网络参数。因此,通过不断优化,直到所有样本路面图片的损失函数的算术平均值为最小,表明该边缘检测网络已经达到最优,采用该边缘检测网络的识别结果越来越准确。
由于该对边缘检测网络的优化过程,是基于指定路面病害进行优化的,因此,该优化后的边缘检测网络用于识别该指定路面病害,具有较高的准确率。
此外,通过上述的优化过程,还应当理解的是,对于同一边缘检测网络,当指定路面病害不同时,经过优化后的边缘检测网络的网络参数的取值不同,使得最终得到的优化后的边缘检测网络可以识别的不同的指定路面病害。当需要识别某一路面病害时,可以采用该对应该路面病害优化的边缘检测网络进行识别。
优选的,为了进一步提高效率,本发明实施例还可以设置优化的次数。达到优化次数时,可不再进行优化;而是在当前优化次数下,确定输出的第二矩阵使计算得到的所有样本路面图片的损失函数的算数平均值最小的网络参数对应的边缘检测网络为最终的优化后的边缘检测网络。
综上,本发明实施例的边缘检测网络的优化方法,通过损失函数来衡量边缘检测网络识别路面病害的准确性,从而可不断优化边缘检测网络的网络参数,直到得到最优的边缘检测网络,使得边缘检测网络的识别结果越来越准确,并且可提高识别的效率。
本发明实施例还提供一种边缘检测网络的优化系统。该边缘检测网络用于识别路面病害。如图5所示,该系统包括如下的模块:
第一矩阵模块501,用于将每张样本路面图片分割成多个第一网格,并根据第一网格是否具有指定路面病害,得到每张样本路面图片对应的第一矩阵。
其中,第一矩阵的每一元素与每一第一网格对应,并且第一矩阵的每一元素的取值表示每一第一网格是否具有指定路面病害。
具体的,当第一网格具有指定路面病害,则标记第一网格对应的第一矩阵的元素为第一阈值,否则标记第一网格对应的第一矩阵的元素为第二阈值。
第二矩阵模块502,用于将每张样本路面图片输入边缘检测网络进行指定路面病害识别,并输出每张样本路面图片对应的第二矩阵。
其中,边缘检测网络将样本路面图片分割成多个第二网格,第二矩阵的每一元素与每一第二网格对应,并且第二矩阵的每一元素的取值表示每一第二网格是否具有指定路面病害。
具体的,样本路面图片具有相同的分辨率。第一网格和第二网格的数量相同。第一矩阵和第二矩阵的行数和列数均相同。
优选的,边缘检测网络的最后一层网络层输出第二矩阵。更优选的,该边缘检测网络包含的网络层依次为:BN层、卷积层、卷积层、池化层、BN层、卷积层、卷积层、池化层、BN层、卷积层、卷积层、池化层、BN层、卷积层、池化层、BN层、卷积层、池化层、BN层、卷积层、BN层和卷积层。
具体的,当边缘检测网络识别出第二网格具有指定路面病害,则标记第二网格对应的第二矩阵的元素为第一阈值,否则标记第二网格对应的第二矩阵的元素为第二阈值。
计算模块503,用于根据每张样本路面图片对应的第一矩阵的向量
Figure BDA0001527845900000121
和第二矩阵的向量
Figure BDA0001527845900000122
计算得到每张样本路面图片的损失函数
Figure BDA0001527845900000123
其中,ε为常数。
优化模块504,用于优化边缘检测网络的网络参数,直到网络参数优化后的边缘检测网络输出的第二矩阵使计算得到的所有样本路面图片的损失函数的算数平均值最小。
其中,网络参数的优化算式为:
Figure BDA0001527845900000124
wi+1为用于后一次识别指定路面病害的边缘检测网络的网络参数,wi为用于前一次识别指定路面病害的边缘检测网络的网络参数。边缘检测网络的网络参数的初始值随机生成。
Figure BDA0001527845900000125
为所有样本路面图片的损失函数的算术平均值,η为常数。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
综上,本发明实施例的边缘检测网络的优化系统,通过损失函数来衡量边缘检测网络识别路面病害的准确性,从而可不断优化边缘检测网络的网络参数,直到得到最优的边缘检测网络,使得边缘检测网络的识别结果越来越准确,并且可提高识别的效率。
本发明实施例还提供一种路面病害的识别方法。如图6所示,该方法包括如下的步骤:
步骤S601:获取用于识别指定路面病害的边缘检测网络。
其中,边缘检测网络为本发明上述实施例的边缘检测网络的优化方法优化后的边缘检测网络。
步骤S602:将待测路面图片输入到边缘检测网络进行指定路面病害识别,输出识别结果矩阵。
其中,边缘检测网络将待测路面图片分割成多个第三网格。识别结果矩阵的每一元素与每一第三网格对应。并且识别结果矩阵的每一元素的取值表示每一第三网格是否具有指定路面病害。同上述实施例的步骤S102一样,当边缘检测网络识别出第三网格具有指定路面病害,则标记第三网格对应的识别结果矩阵的元素为第一阈值,否则标记第三网格对应的识别结果矩阵的元素为第二阈值。具体的,当待测路面图片输入边缘检测网络后,边缘检测网络输出每一第三网格的计算数值(一般以矩阵的形式输出)。将每一第三网格的计算数值与预设的第三阈值比较。该第三阈值为经验值,一般取0.5。当该第三网格的计算数值小于第三阈值时,该第三网格对应的识别结果矩阵的元素的取值为第二阈值;当第三网格的计算数值不小于第三阈值时,该第三网格对应的识别结果矩阵的元素的取值为第一阈值;从而最终输出识别结果矩阵。一般的,第一阈值可以记为1,第二阈值可以记为0。
优选的,在步骤S602之后,该方法还包括如下的步骤:
若识别出相同的第三网格具有多种路面病害,则根据每种路面病害的优先级,确定第三网格具有优先级最高的路面病害。
因为在对同一边缘检测网络进行优化时,根据不同的路面病害,最终得到的优化后的边缘检测网络的网络参数的取值不同。因此,采用不同的优化后的边缘检测网络检测对应的路面病害时,对于相同的第三网格,可能均会识别出具有对应的路面病害。例如,某一第三网格被识别出具有龟裂和裂缝的路面病害。此时,只需要确定该第三网格具有一种路面病害即可,因此,按照路面病害的优先级来确定,优先级最高的路面病害即为该第三网格具有的路面病害。该优先级一般根据经验获得。不同的路面,路面病害的种类会不同,例如,该优先级的排序如下:
1)对于沥青路面病害:龟裂>裂缝>坑槽>松散>沉陷>车辙>波浪拥包>泛油>修补。
2)对于水泥路面病害:破碎板>板角断裂>错台>唧泥>边角剥落>接缝料损坏>坑洞>露骨>修补。
例如,当沥青路面的某一第三网格被识别出具有龟裂和裂缝,则按照优先级排序,该第三网格具有龟裂路面病害。
综上,本发明实施例的路面病害的识别方法,采用本发明实施例的优化方法优化后的边缘检测网络,对路面病害的识别结果较准确,并且可提高识别的效率。
本发明实施例还提供一种路面病害的识别系统。如图7所示,该系统包括如下的结构:
获取模块701,用于获取用于识别指定路面病害的边缘检测网络。
其中,边缘检测网络为采用本发明上述实施例的边缘检测网络的优化方法优化后的边缘检测网络。
输出模块702,用于将待测路面图片输入到边缘检测网络进行指定路面病害识别,输出识别结果矩阵。
其中,边缘检测网络将待测路面图片分割成多个第三网格,识别结果矩阵的每一元素与每一第三网格对应,并且识别结果矩阵的每一元素的取值表示每一第三网格是否具有指定路面病害。
优选的,该系统还包括:
确定模块,用于输出识别结果矩阵的步骤之后,若识别出相同的第三网格具有多种路面病害,则根据每种路面病害的优先级,确定第三网格具有优先级最高的路面病害。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
综上,本发明实施例的路面病害的识别系统,采用本发明实施例的优化方法优化后的边缘检测网络,对路面病害的识别结果较准确,并且可提高识别的效率。
将本发明实施例的优化方法得到的边缘检测网络对路面病害进行识别的结果与现有技术的基于灰度图的模式识别方法进行识别的结果进行比较。例如,对沥青路面进行裂缝和修补类路面病害的预测,该传统的基于灰度图的模式识别方法与本发明实施例的识别方法在识别效率与准确率方面的对比结果见表1。该识别准确率采用深度学习领域通用的相似度指标进行评价。
表1基于灰度图的模式识别方法与本发明实施例的识别方法的识别结果
Figure BDA0001527845900000151
从表1可以看出,本发明实施例的识别方法在识别效率和准确率方面,比传统基于灰度图的模式识别方法均有大幅提升,其识别准确性已经接近人工标注的精度。
如图8~10所示,分别为通过人工标记、现有的基于灰度图的模式识别方法和采用本发明的边缘检测网络的识别方法得到的具有裂缝路面病害的网格的示意图。其中,图中的方格表示具有裂缝路面病害的网格。从图8~10也可以看出,相对于基于灰度图的模式识别方法,本发明实施例的识别方法可识别出更多的裂缝路面病害,更接近人工标记的结果,识别结果更加准确。
如图11~13所示,分别为通过人工标记、现有的基于灰度图的模式识别方法和采用本发明的边缘检测网络的识别方法得到的具有修补路面病害的网格的示意图。其中,图中的实线方格表示具有修补路面病害的网格,虚线方格表示具有裂缝路面病害的网格。从图11~13也可以看出,相对于基于灰度图的模式识别方法,本发明实施例的识别方法没有将路面污迹(轮胎印)误识别为路面修补,也没有将不具有路面病害的网格识别为路面裂缝,更接近人工标记的结果,识别结果更加准确。
综上,通过上述的具体实施例也表明本发明实施例的方法,对路面病害的识别结果较准确。
本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种边缘检测网络的优化方法,其特征在于,所述边缘检测网络为u-net网络,用于识别指定路面病害,所述方法包括:
将每张样本路面图片分割成多个第一网格,并根据所述第一网格是否具有指定路面病害,得到每张样本路面图片对应的第一矩阵,其中,所述第一矩阵的每一元素与每一所述第一网格对应,并且所述第一矩阵的每一元素的取值表示每一所述第一网格是否具有所述指定路面病害;
将每张所述样本路面图片输入所述边缘检测网络进行所述指定路面病害识别,并输出每张所述样本路面图片对应的第二矩阵,其中,所述边缘检测网络将所述样本路面图片分割成多个第二网格,所述第二矩阵的每一元素与每一所述第二网格对应,并且所述第二矩阵的每一元素的取值表示每一所述第二网格是否具有所述指定路面病害;
根据每张所述样本路面图片对应的所述第一矩阵的向量
Figure FDA0002405431800000011
和所述第二矩阵的向量
Figure FDA0002405431800000012
计算得到每张所述样本路面图片的损失函数
Figure FDA0002405431800000013
其中,ε为常数;
优化所述边缘检测网络的网络参数,直到所述网络参数优化后的所述边缘检测网络输出的所述第二矩阵使计算得到的所有所述样本路面图片的损失函数的算数平均值最小;
其中,所述网络参数的优化算式为:
Figure FDA0002405431800000014
wi+1为用于后一次识别所述指定路面病害的所述边缘检测网络的网络参数,wi为用于前一次识别所述指定路面病害的所述边缘检测网络的网络参数,
Figure FDA0002405431800000015
为所有所述样本路面图片的损失函数的算术平均值,η为常数。
2.根据权利要求1所述的方法,其特征在于,所述边缘检测网络的最后一层网络层输出所述第二矩阵。
3.根据权利要求1所述的方法,其特征在于:所述边缘检测网络包含的网络层依次为:BN层、卷积层、卷积层、池化层、BN层、卷积层、卷积层、池化层、BN层、卷积层、卷积层、池化层、BN层、卷积层、池化层、BN层、卷积层、池化层、BN层、卷积层、BN层和卷积层。
4.根据权利要求1所述的方法,其特征在于:
当所述第一网格具有所述指定路面病害,则标记所述第一网格对应的所述第一矩阵的元素为第一阈值,否则标记所述第一网格对应的所述第一矩阵的元素为第二阈值;
当所述边缘检测网络识别出所述第二网格具有所述指定路面病害,则标记所述第二网格对应的所述第二矩阵的元素为所述第一阈值,否则标记所述第二网格对应的所述第二矩阵的元素为所述第二阈值。
5.根据权利要求1所述的方法,其特征在于:所述样本路面图片具有相同的分辨率;所述第一网格和所述第二网格的数量相同;所述第一矩阵和所述第二矩阵的行数和列数均相同。
6.根据权利要求1所述的方法,其特征在于:所述边缘检测网络的网络参数的初始值随机生成。
7.一种边缘检测网络的优化系统,其特征在于,所述边缘检测网络为U-net网络,用于识别指定路面病害,所述系统包括:
第一矩阵模块,用于将每张样本路面图片分割成多个第一网格,并根据所述第一网格是否具有指定路面病害,得到每张样本路面图片对应的第一矩阵,其中,所述第一矩阵的每一元素与每一所述第一网格对应,并且所述第一矩阵的每一元素的取值表示每一所述第一网格是否具有所述指定路面病害;
第二矩阵模块,用于将每张所述样本路面图片输入所述边缘检测网络进行所述指定路面病害识别,并输出每张所述样本路面图片对应的第二矩阵,其中,所述边缘检测网络将所述样本路面图片分割成多个第二网格,所述第二矩阵的每一元素与每一所述第二网格对应,并且所述第二矩阵的每一元素的取值表示每一所述第二网格是否具有所述指定路面病害;
计算模块,用于根据每张所述样本路面图片对应的所述第一矩阵的向量
Figure FDA0002405431800000031
和所述第二矩阵的向量
Figure FDA0002405431800000032
计算得到每张所述样本路面图片的损失函数
Figure FDA0002405431800000033
其中,ε为常数;
优化模块,用于优化所述边缘检测网络的网络参数,直到所述网络参数优化后的所述边缘检测网络输出的所述第二矩阵使计算得到的所有所述样本路面图片的损失函数的算数平均值最小;
其中,所述网络参数的优化算式为:
Figure FDA0002405431800000034
wi+1为用于后一次识别所述指定路面病害的所述边缘检测网络的网络参数,wi为用于前一次识别所述指定路面病害的所述边缘检测网络的网络参数,
Figure FDA0002405431800000035
为所有所述样本路面图片的损失函数的算术平均值,η为常数。
8.一种路面病害识别方法,其特征在于,包括:
获取用于识别指定路面病害的边缘检测网络,其中,所述边缘检测网络为采用如权利要求1~6任一项所述的边缘检测网络的优化方法优化后的边缘检测网络;
将待测路面图片输入到所述边缘检测网络进行所述指定路面病害识别,输出识别结果矩阵;
其中,所述边缘检测网络将所述待测路面图片分割成多个第三网格,所述识别结果矩阵的每一元素与每一所述第三网格对应,并且所述识别结果矩阵的每一元素的取值表示每一所述第三网格是否具有所述指定路面病害。
9.根据权利要求8所述的方法,其特征在于,所述输出识别结果矩阵的步骤之后,所述方法还包括:
若识别出相同的所述第三网格具有多种路面病害,则根据每种所述路面病害的优先级,确定所述第三网格具有所述优先级最高的所述路面病害。
10.一种路面病害识别系统,其特征在于,包括:
获取模块,用于获取用于识别指定路面病害的边缘检测网络,其中,所述边缘检测网络为采用如权利要求1~6任一项所述的边缘检测网络的优化方法优化后的边缘检测网络;
输出模块,用于将待测路面图片输入到所述边缘检测网络进行所述指定路面病害识别,输出识别结果矩阵;
其中,所述边缘检测网络将所述待测路面图片分割成多个第三网格,所述识别结果矩阵的每一元素与每一所述第三网格对应,并且所述识别结果矩阵的每一元素的取值表示每一所述第三网格是否具有所述指定路面病害。
CN201711447518.XA 2017-12-27 2017-12-27 边缘检测网络的优化方法、路面病害的识别方法及系统 Active CN107871133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711447518.XA CN107871133B (zh) 2017-12-27 2017-12-27 边缘检测网络的优化方法、路面病害的识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711447518.XA CN107871133B (zh) 2017-12-27 2017-12-27 边缘检测网络的优化方法、路面病害的识别方法及系统

Publications (2)

Publication Number Publication Date
CN107871133A CN107871133A (zh) 2018-04-03
CN107871133B true CN107871133B (zh) 2020-11-17

Family

ID=61756308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711447518.XA Active CN107871133B (zh) 2017-12-27 2017-12-27 边缘检测网络的优化方法、路面病害的识别方法及系统

Country Status (1)

Country Link
CN (1) CN107871133B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765376B (zh) * 2018-05-03 2022-03-22 武汉光谷卓越科技股份有限公司 一种线扫描三维路面数据成分分析方法
CN110120041A (zh) * 2019-05-14 2019-08-13 郑州大学 路面裂缝图像检测方法
CN110689551B (zh) * 2019-10-14 2020-07-17 慧影医疗科技(北京)有限公司 四肢骨分割方法、装置、电子设备及可读存储介质
CN111105332B (zh) * 2019-12-19 2020-09-08 河北工业大学 一种基于人工神经网络的高速公路智能预养护方法及系统
CN112463385B (zh) * 2020-12-02 2022-03-08 深圳市互盟科技股份有限公司 云计算的ai数据调度分配方法及相关产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955923B (zh) * 2014-04-18 2017-03-01 南京理工大学 一种快速的基于图像的路面病害检测方法
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
CN106548182B (zh) * 2016-11-02 2020-02-18 武汉理工大学 基于深度学习和主成因分析的路面裂纹检测方法及装置
CN106782511A (zh) * 2016-12-22 2017-05-31 太原理工大学 修正线性深度自编码网络语音识别方法

Also Published As

Publication number Publication date
CN107871133A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107871133B (zh) 边缘检测网络的优化方法、路面病害的识别方法及系统
Kim et al. Comparative analysis of image binarization methods for crack identification in concrete structures
Zalama et al. Road crack detection using visual features extracted by Gabor filters
Moaveni et al. Evaluation of aggregate size and shape by means of segmentation techniques and aggregate image processing algorithms
CN104902267B (zh) 一种基于梯度信息的无参考图像质量评价方法
Deb et al. An efficient method of vehicle license plate recognition based on sliding concentric windows and artificial neural network
Schmugge et al. Crack segmentation by leveraging multiple frames of varying illumination
JP5852919B2 (ja) ひび割れ検出方法
CN107798293A (zh) 一种道路裂缝检测装置
JP2014228357A (ja) ひび割れ検出方法
CN109035218B (zh) 路面修补区域检测方法
JP2020038132A (ja) コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
CN111507972A (zh) 结合卷积神经网络和支持向量机的隧道表面缺陷检测方法
JP4870016B2 (ja) ひび割れ検出方法
Kargah-Ostadi et al. Evaluation framework for automated pavement distress identification and quantification applications
JP6333307B2 (ja) 劣化部位検知装置、劣化部位検知方法およびプログラム
JP6894361B2 (ja) コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム
CN115597494B (zh) 一种基于点云的预制构件预留孔的精度检测方法、系统
CN112669301A (zh) 一种高铁底板脱漆故障检测方法
CN116485719A (zh) 一种用于裂缝检测的自适应canny方法
CN116385735A (zh) 一种基于图像识别的水位测量方法
CN115272826A (zh) 一种基于卷积神经网络的图像识别方法、装置及系统
JP6909090B2 (ja) コンクリート表面上の損傷部の定量評価方法、定量評価装置、定量評価システム及びプログラム
CN110909628A (zh) 一种检测带阴影路面裂缝的自然光照补偿方法
CN104240275A (zh) 图像修补方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant