CN110349119B - 基于边缘检测神经网络的路面病害检测方法和装置 - Google Patents

基于边缘检测神经网络的路面病害检测方法和装置 Download PDF

Info

Publication number
CN110349119B
CN110349119B CN201910446191.7A CN201910446191A CN110349119B CN 110349119 B CN110349119 B CN 110349119B CN 201910446191 A CN201910446191 A CN 201910446191A CN 110349119 B CN110349119 B CN 110349119B
Authority
CN
China
Prior art keywords
disease
neural network
edge detection
road surface
detection neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910446191.7A
Other languages
English (en)
Other versions
CN110349119A (zh
Inventor
徐国胜
徐国爱
郭宝栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhonggong High Tech Bazhou Maintenance Technology Industry Co ltd
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910446191.7A priority Critical patent/CN110349119B/zh
Publication of CN110349119A publication Critical patent/CN110349119A/zh
Application granted granted Critical
Publication of CN110349119B publication Critical patent/CN110349119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

本发明公开了一种基于边缘检测神经网络的路面病害检测方法和装置，所述方法包括：运用第一边缘检测神经网络对输入的路面图像进行路面病害识别，输出所述路面图像的第一病害概率矩阵；运用第二边缘检测神经网络对所述路面图像进行路面病害识别，输出所述路面图像的第二病害概率矩阵；根据第一、二病害概率矩阵，计算所述路面图像的最终病害概率矩阵；根据所述最终病害概率矩阵，从所述路面图像中识别出路面病害；其中，所述第一、二边缘检测神经网络分别是根据具有普通路面病害、复杂路面病害的路面图像预先训练得到的。应用本发明可以提高实际路面采集图像中的路面病害识别正确率，且减少识别过程的计算量，提高识别效率。

Description

基于边缘检测神经网络的路面病害检测方法和装置
技术领域
本发明涉及图像识别领域，特别是指一种基于边缘检测神经网络的路面病害检测方法和装置。
背景技术
目前基于路面图像的路面病害识别方法主要是通过提取图像灰度特征进行分析以及局部深度学习识别来实现的。
目前，基于灰度图像频率的分析方法中，基于动态阈值的检测方法主要依据图像的灰度值对图像进行分割。由于属于裂缝的像素大部分处于灰度值较低的区间，运用这个规律对图像灰度进行统计，并根据统计结果动态选取阈值，最后对图像进行二值化，从而分割图片中裂缝的部分。
在理想的光照条件下裂缝与路面背景的灰度差别较大，此时基于动态阈值的裂缝识别方法能够很好地识别出图像中的裂缝部分。然而实际环境中采集的图像光照信息复杂，只靠灰度信息很难有效区分裂缝部分与路面图像中的其他部分。
目前基于边缘检测的裂缝识别方法中，在对灰度图像频率进行分析的方法中，将路面的灰度图像的低频成分认定为路面的正常部分，而高频部分则认定为路面的病害部分。使用该方法对图像直接进行频率分析时，与路面底色相差较大的边缘部分都将被认定为高频部分，这样一来，在复杂的路面条件中，路面的污渍、标志标线，光照不均造成的阴影都会对病害的识别造成极大干扰，无法很好地实现对路面病害的自动化识别。
目前基于局部深度学习识别方法中，运用局部深度学习的方法，其思路是将路面病害识别问题转化为路面图像分割分类问题，其焦点在于对分割后的小图像进行病害/非病害的分类。对路面图像进行分割实际上限制了自动检测窗口的视野，在受限的检测视野中，不能有效判定窗口中的异常部分产生原因是路面特征突变还是公路病害特征，影响实际应用中的识别准确率。
综上，目前已有的公路病害识别方法均具有一定的缺陷，无法满足实际应用对于病害识别速度和准确率的要求。具体来说，现有的路面病害检测方法中存在的问题集中体现在以下两个方面：
1、病害识别准确率较低：实际环境下采集的路面图像往往具有光照复杂、噪声信息多的特点。传统图像识别方法通过人工选取算法对裂缝进行拟合，这种方法在光照条件好、裂缝清晰的路面图像识别中能够达到较好的效果。然而在光照不均的情况下裂缝的灰度信息和清晰度均不统一，因此使用数字图像处理方法很难找到一种能够拟合各种环境条件下裂缝特征的算法。通常来说数字图像处理方法用于实际路面采集图像中识别正确率较低。
2、识别过程计算量过大、效率太低：由于多数路面病害识别方法是在图像变换的基础上结合多种边缘检测算子完成的，而图像变换的处理需要的计算量巨大。在工程应用中，单次检测的图片数量常达数万张。也就导致了基于图像变换的识别方法难以大规模应用于实际问题的解决。
发明内容
本发明提出了一种基于边缘检测神经网络的路面病害检测方法和装置，可以提高实际路面采集图像中的路面病害识别正确率，且减少识别过程的计算量，提高识别效率。
基于上述目的，本发明提供一种基于边缘检测神经网络的路面病害检测方法，包括：
运用第一边缘检测神经网络对输入的路面图像进行路面病害识别，输出所述路面图像的第一病害概率矩阵；
运用第二边缘检测神经网络对所述路面图像进行路面病害识别，输出所述路面图像的第二病害概率矩阵；
根据第一、二病害概率矩阵，计算所述路面图像的最终病害概率矩阵；
根据所述最终病害概率矩阵，从所述路面图像中识别出路面病害；
其中，所述第一、二边缘检测神经网络分别是根据具有普通路面病害、复杂路面病害的路面图像预先训练得到的。
其中，第一边缘检测神经网络具体根据如下方法训练得到：
将具有普通路面病害的路面图像作为第一训练集中的训练图像，并生成第一训练集中的路面图像的病害标记文件；
基于第一训练集以及生成的病害标记文件，第一边缘检测神经网络进行多次学习；其中，在第一边缘检测神经网络的一次学习过程中：
将第一训练集中的一个路面图像输入到第一边缘检测神经网络；
根据第一边缘检测神经网络输出的病害概率矩阵与由该路面图像的病害标记文件形成的标记矩阵，计算正样本损失度；
根据计算的正样本损失度对第一边缘检测神经网络中的参数进行一次优化。
其中，第二边缘检测神经网络具体根据如下方法训练得到：
将具有复杂路面病害的路面图像作为第二训练集中的训练图像，并生成第二训练集中的路面图像的病害标记文件；
基于第二训练集以及生成的病害标记文件，第二边缘检测神经网络进行多次学习；其中，在第二边缘检测神经网络的一次学习过程中：
将第二训练集中的一个路面图像输入到第二边缘检测神经网络；
根据第二边缘检测神经网络输出的病害概率矩阵与由该路面图像的病害标记文件形成的标记矩阵，计算正样本损失度；
根据计算的正样本损失度对第二边缘检测神经网络中的参数进行一次优化。
较佳地，所述根据所述最终病害概率矩阵，从所述路面图像中识别出路面病害，具体包括：
对于第二病害概率矩阵中的每个概率值与一个设定的门限值进行比较；若所述概率值小于所述门限值，则该概率值的概率增益为0；否则，该概率值的概率增益与该概率值为线性增益关系；
根据第二病害概率矩阵中的每个概率值的概率增益生成增益概率矩阵；
将第一病害概率矩阵与增益概率矩阵相加得到所述最终病害概率矩阵。
本发明还提供一种基于边缘检测神经网络的路面病害检测装置，包括：
第一边缘检测神经网络，用于对输入的路面图像进行路面病害识别，输出所述路面图像的第一病害概率矩阵；
第二边缘检测神经网络，用于对所述路面图像进行路面病害识别，输出所述路面图像的第二病害概率矩阵；
最终概率确定模块，用于根据第一、二病害概率矩阵，计算所述路面图像的最终病害概率矩阵；
病害识别模块，用于根据所述路面图像的最终病害概率矩阵，从所述路面图像中识别出路面病害；
其中，所述第一、二边缘检测神经网络分别是根据具有普通路面病害、复杂路面病害的路面图像预先训练得到的。
本发明的技术方案中，运用第一边缘检测神经网络对输入的路面图像进行路面病害识别，输出所述路面图像的第一病害概率矩阵；运用第二边缘检测神经网络对所述路面图像进行路面病害识别，输出所述路面图像的第二病害概率矩阵；根据第一、二病害概率矩阵，计算所述路面图像的最终病害概率矩阵；根据所述最终病害概率矩阵，从所述路面图像中识别出路面病害；其中，所述第一、二边缘检测神经网络分别是根据具有普通路面病害、复杂路面病害的路面图像预先训练得到的。
由于神经网络中含有大量的参数，使得第一、二边缘检测神经网络具备了强大的抽象拟合能力，能够有效提升病害识别准确率。经测试验证，使用基于灰度图的模式识别方法对路面图像进行病害识别，平均相似度只有50％左右，而使用本方法，平均相似度可以达到70％以上。
此外，而且使用深度学习的方式训练边缘检测神经网络，实际上是使得边缘检测神经网络进行图像识别时将大量计算过程前置，所以处理边缘检测神经网络未知图像时，可以减少很多计算量，提高识别效率。具体来讲，未知图像只需要在神经网络中进行一次前项就能得到自动标记的病害区域，其计算量相当于训练过程的一半。经测试验证，使用基于灰度图的模式识别方法对路面图像进行病害识别，识别速度仅有1-6张每秒，而使用本方法，识别速度可达到50-200张每秒，可以实现实时级的病害识别。
而且，本发明技术方案中专门设置了第二边缘检测神经网络用于提取复杂病害特征，这种针对于复杂路面病害的概率增益事实上显著提升了病害识别系统在复杂路面上的识别效果。经测试验证，使用基于灰度图的模式识别方法对含有复杂病害的路面图像进行病害识别，平均相似度仅有35％，不使用复杂病害概率增益，即仅使用一个边缘检测神经网络，平均相似度有50％-55％左右，而使用本发明的技术方案，复杂病害的平均相似度达到了65％以上。
进一步，本发明的技术方案中，采用了概率的抑制叠加的方法，对于低于门限值(比如0.5)的复杂路面病害概率值进行抑制，对于大于门限值(比如0.5)的复杂路面病害概率值则会产生一个线性增益，显著提升对于复杂病害的识别效果。
附图说明
图1为本发明实施例提供的一种基于边缘检测神经网络的路面病害检测方法流程图；
图2为本发明实施例提供的第一、二边缘检测神经网络的结构示意图；
图3为本发明实施例提供的概率增益与第二病害概率矩阵的概率值函数关系示意图；
图4a、4b、4c为本发明实施例提供的从路面图像中识别出路面病害的效果展示图；
图5为本发明实施例提供的第一边缘检测神经网络的训练方法流程图；
图6为本发明实施例提供的第一边缘检测神经网络的一次学习过程的流程图；
图7为本发明实施例提供的第二边缘检测神经网络的训练方法流程图；
图8为本发明实施例提供的第二边缘检测神经网络的一次学习过程的流程图；
图9为本发明实施例提供的一种基于边缘检测神经网络的路面病害检测装置的内部结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明的发明人考虑到，可以利用边缘检测神经网络中特定构造的卷积核对路面图像进行卷积操作后，得到能反映图像的边缘特征的概率矩阵；而特定构造的卷积核则可以在对边缘检测神经网络的训练过程中，通过反向传播算法不断调整卷积核的数值，以达到目标效果。
本监测系统中使用了两个边缘检测神经网络提取路面图像的边缘特征，一个用于提取一般的路面病害特征，这样的路面病害在路面图像中较为常见，且边缘特征比较清晰，容易通过卷积神经网络进行提取；另一个网络用于提取复杂的路面病害(包括白裂缝、浅裂缝、潮湿裂缝、修补开裂等)，这样的路面病害只在某些特定的路面区域存在，且边缘特征比较模糊不易提取。现有的路面病害检测方法对于复杂的路面病害检测效果普遍欠佳，而使用专门的特殊病害检测网络就是针对这一短板进行识别准确率上的提升。而且使用深度学习的方式训练边缘检测神经网络，实际上是使得边缘检测神经网络进行图像识别时将大量计算过程前置，所以处理边缘检测神经网络未知图像时，可以减少很多计算量，提高识别效率。
下面结合附图详细说明本发明实施例的技术方案。
本发明实施例提供的一种基于边缘检测神经网络的路面病害检测方法，流程如图1所示，包括如下步骤：
步骤S101：分别运用第一、二边缘检测神经网络对输入的路面图像进行路面病害识别，第一、二边缘检测神经网络分别输出所述路面图像的第一、二病害概率矩阵。
本步骤中，将路面图像输入到经过预先训练过的第一边缘检测神经网络中，用于提取一般的路面病害特征，这样的路面病害在路面图像中较为常见，且边缘特征比较清晰，容易通过卷积神经网络进行提取，第一边缘检测神经网络输出所述路面图像的第一病害概率矩阵反映了路面图像像素中被识别为普通路面病害的概率；
本步骤中，还将路面图像输入到经过预先训练过的第二边缘检测神经网络中，用于提取复杂的路面病害(包括白裂缝、浅裂缝、潮湿裂缝、修补开裂等)，这样的路面病害只在某些特定的路面区域存在，且边缘特征比较模糊不易提取。现有的路面病害检测方法对于复杂的路面病害检测效果普遍欠佳，而本发明中使用特意根据具有复杂路面病害的路面图像预先训练得到的第二边缘检测神经网络，可以使得对复杂的路面病害的识别准确率提升。
其中，第一、二边缘检测神经网络可以使用相同的神经网络结构，例如，如图2所示的结构中，包括10个卷积层，以及设置于最后一个卷积层之后的激活(sigmoid)层。其中，第一、二卷积层的卷积核大小可以为5×5，其它卷积层的卷积核大小可以为3×3。更优地，上述结构中还可以包括5个池化层。具体地，上述结构中自上而下包括：第一BN(BatchNorm，批量归一)层、第一、二卷积层、第一池化层、第二BN层、第三、四卷积层、第二池化层、第三BN层、第五、六卷积层、第三池化层、第四BN层、第七卷积层、第四池化层、第五BN层、第八卷积层、第五池化层、第六BN层、第九卷积层、第七BN层、第十卷积层、激活(sigmoid)层。其中的池化层，可以提高第一、二边缘检测神经网络的识别鲁棒性，同时减少了参数数量。
步骤S102：根据第一、二病害概率矩阵，计算所述路面图像的最终病害概率矩阵。
本步骤中，综合第一、二病害概率矩阵得到的最终病害概率矩阵，可以反映路面图像像素中被识别为普通以及复杂路面病害的概率。
本发明提供了一种更优的计算最终病害概率矩阵的方法：对于第二病害概率矩阵中的每个概率值与一个设定的门限值进行比较；若所述概率值小于所述门限值，则该概率值的概率增益为0；否则，该概率值的概率增益与该概率值为线性增益关系；根据第二病害概率矩阵中的每个概率值的概率增益生成增益概率矩阵；将第一病害概率矩阵与增益概率矩阵相加得到所述最终病害概率矩阵。
具体地，可以根据如下公式一计算得到抑制叠加概率矩阵y，作为最终病害概率矩阵：
Figure GDA0002426254890000091
公式一中，y1为第一病害概率矩阵；y2为第二病害概率矩阵；threshold为超参数，即上述的门限值；当第二病害概率矩阵的概率值超过此门限值时，将对基础的病害概率产生增益，本文中将这个门限值设为0.5；ReLU(x)函数为一个分段函数，其定义式如下公式二所示：
ReLU(x)＝max(0，x) (公式二)
即：
Figure GDA0002426254890000092
概率的抑制叠加实际上是对普通病害概率进行增益的过程，从这个角度来看，上述公式一的定义式也可以写成如下公式三形式：
y＝y1+yaddition (公式三)
公式三中的yaddition可以根据如下公式四计算得到：
Figure GDA0002426254890000093
概率增益yaddition与第二病害概率矩阵y2的概率值函数关系(threshold取0.5)如图3所示。
也就是说，通过采用概率的抑制叠加的方法，对于低于门限值(比如0.5)的复杂路面病害概率值(第二病害概率矩阵中的概率值)进行抑制，对于大于门限值(比如0.5)的复杂路面病害概率值(第二病害概率矩阵中的概率值)则会产生一个线性增益，显著提升对于复杂病害的识别效果。
步骤S103：根据计算得到的最终病害概率矩阵，从所述路面图像中识别出路面病害。
图4a、4b、4c示出了根据计算得到的最终病害概率矩阵，从所述路面图像中识别出路面病害的效果展示图。
上述的第一边缘检测神经网络是预先训练得到的，具体训练方法流程如图5所示，包括如下步骤：
步骤S501：将具有普通路面病害的路面图像作为第一训练集中的训练图像以及第一验证集中的验证图像，并生成第一训练集中的训练图像的病害标记文件以及第一验证集中的验证图像的病害标记文件。
具体地，收集多个具有普通路面病害的路面图像，分别作为第一训练集中的训练图像以及第一验证集中的验证图像；例如，可以收集200万个具有普通路面病害的路面图像到第一训练集中，收集20万个具有普通路面病害的路面图像到第一验证集中。
进而生成第一训练集中的训练图像的病害标记文件以及第一验证集中的验证图像的病害标记文件。其中，训练图像的病害标记文件中标记出训练图像中的普通路面病害；验证图像的病害标记文件中标记出验证图像中的普通路面病害。
步骤S502：利用第一训练集以及训练图像的病害标记文件，使第一边缘检测神经网络进行一轮学习。
本步骤中，利用第一训练集以及训练图像的病害标记文件，第一边缘检测神经网络进行一轮学习；在一轮学习过程中包括多次学习；其中，在第一边缘检测神经网络的一次学习过程，流程如图6所示，包括如下子步骤：
子步骤601：将第一训练集中的一个路面图像输入到第一边缘检测神经网络；
子步骤602：根据第一边缘检测神经网络输出的病害概率矩阵与由该路面图像的病害标记文件形成的标记矩阵，计算正样本损失度；
具体地，可以根据如下公式五计算正样本损失度Loss：
Figure GDA0002426254890000111
公式五中，X表示由训练图像经过第一边缘检测神经网络后输出的概率矩阵，Y表示由该训练图像的标记文件形成的标记矩阵；||X||1和||Y||1分别表示这两个矩阵的L1范数，即矩阵中各元素绝对值之和；X*Y表示两个矩阵的哈达马积(hadamard product)；∈是为了避免除0错误而加入的平滑因子，常取一个较小的正实数，例如可以取值为10-3；coef表示正样本准确度。
子步骤603：根据计算的正样本损失度对第一边缘检测神经网络中的参数进行一次优化。
较佳地，本步骤中可以采用Adam(自适应动量)优化法。Adam优化方法综合了Adagrade(自适应梯度)和Momentum(动量)优化方法，同时记录了正样本损失度的一阶矩和二阶矩，是一种自适应的网络优化方式。
具体地，Adam优化方法中可以根据如下公式六更新第一边缘检测神经网络中的参数的取值：
Figure GDA0002426254890000112
其中，
Figure GDA0002426254890000113
Figure GDA0002426254890000114
mt＝β1·mt-1+(1-β1)·gt
vt＝β2·vt-1+(1-β2)·gt 2
Figure GDA0002426254890000115
其中，L为正样本损失度；θt为参数θ在第一边缘检测神经网络第t次学习过程中的取值；mt和vt分别用于记录正样本损失度的一阶矩和二阶矩；β1和β2为设置的两个超参数，例如取值分别可以是0.9和0.999；lr为设置的学习率，例如可以取值为10-3；∈是为了避免除0错误而加入的平滑因子，常取一个较小的正实数，例如可以取值为10-8。
步骤S503：利用第一验证集以及验证图像的病害标记文件，对第一边缘检测神经网络进行验证。
本步骤中，将第一验证集中的路面图像输入到第一边缘检测神经网络，根据第一边缘检测神经网络输出的概率矩阵与验证图像的病害标记文件的标记矩阵之间的对比，对第一边缘检测神经网络进行验证。
具体地，可以根据如下公式七计算正样本准确率：
Figure GDA0002426254890000121
公式七中，X表示由验证图像经过第一边缘检测神经网络后输出的概率矩阵，Y表示由该验证图像的标记文件形成的标记矩阵；||X||1和||Y||1分别表示这两个矩阵的L1范数，即矩阵中各元素绝对值之和；X*Y表示两个矩阵的哈达马积(hadamard product)；∈是为了避免除0错误而加入的平滑因子，常取一个较小的正实数，例如可以取值为10-3。
将计算得到的平均正样本准确率作为第一边缘检测神经网络的验证结果。
步骤S504：检测验证结果是否满足训练结束条件；若是，则执行步骤S505结束训练；否则，跳转到步骤S502进行下一轮学习。
本步骤中，可以根据上述步骤S503中计算的验证结果检测是否满足训练结束条件；例如，训练结束条件可以设置为：计算得到的平均正样本准确率达到设定的阈值，或训练轮数达到预设值。若检测满足训练结束条件，则执行步骤S505结束训练；否则，跳转到步骤S502进行下一轮学习。
步骤S505：结束训练。
上述的第二边缘检测神经网络是预先训练得到的，具体训练方法流程如图7所示，包括如下步骤：
步骤S701：将具有普通路面病害的路面图像作为第二训练集中的训练图像以及第二验证集中的验证图像，并生成第二训练集中的训练图像的病害标记文件以及第二验证集中的验证图像的病害标记文件。
具体地，收集多个具有普通路面病害的路面图像，分别作为第二训练集中的训练图像以及第二验证集中的验证图像；例如，可以收集20万个具有普通路面病害的路面图像到第二训练集中，收集2万个具有普通路面病害的路面图像到第二验证集中。
进而生成第二训练集中的训练图像的病害标记文件以及第二验证集中的验证图像的病害标记文件。其中，训练图像的病害标记文件中标记出训练图像中的普通路面病害；验证图像的病害标记文件中标记出验证图像中的普通路面病害。
步骤S702：利用第二训练集以及训练图像的病害标记文件，使第二边缘检测神经网络进行一轮学习。
本步骤中，利用第二训练集以及训练图像的病害标记文件，第二边缘检测神经网络进行一轮学习；在一轮学习过程中包括多次学习；其中，在第二边缘检测神经网络的一次学习过程，流程如图8所示，包括如下子步骤：
子步骤801：将第二训练集中的一个路面图像输入到第二边缘检测神经网络；
子步骤802：根据第二边缘检测神经网络输出的病害概率矩阵与由该路面图像的病害标记文件形成的标记矩阵，计算正样本损失度；
具体地，可以根据如下公式八计算正样本损失度Loss：
Figure GDA0002426254890000131
公式八中，X表示由训练图像经过第二边缘检测神经网络后输出的概率矩阵，Y表示由该训练图像的标记文件形成的标记矩阵；||X||1和||Y||1分别表示这两个矩阵的L1范数，即矩阵中各元素绝对值之和；X*Y表示两个矩阵的哈达马积(hadamard product)；∈是为了避免除0错误而加入的平滑因子，常取一个较小的正实数，例如可以取值为10-3；coef表示正样本准确度。
子步骤803：根据子步骤802中计算的正样本损失度对第二边缘检测神经网络中的参数进行一次优化。
较佳地，本步骤中可以采用Adam优化法。Adam优化方法综合了Adagrade和Momentum优化方法，同时记录了正样本损失度的一阶矩和二阶矩，是一种自适应的网络优化方式。
具体地，Adam优化方法中可以根据如下公式九更新第二边缘检测神经网络中的参数的取值：
Figure GDA0002426254890000141
其中，
Figure GDA0002426254890000142
Figure GDA0002426254890000143
mt＝β1·mt-1+(1-β1)·gt
vt＝β2·vt-1+(1-β2)·gt 2
Figure GDA0002426254890000144
其中，L为子步骤802中计算的正样本损失度；θt为参数θ在第二边缘检测神经网络第t次学习过程中的取值；mt和vt分别用于记录正样本损失度的一阶矩和二阶矩；β1和β2为设置的两个超参数，例如取值分别可以是0.9和0.999；lr为设置的学习率，例如可以取值为10-3；∈是为了避免除0错误而加入的平滑因子，常取一个较小的正实数，例如可以取值为10-8。
步骤S703：利用第二验证集以及验证图像的病害标记文件，对第二边缘检测神经网络进行验证。
本步骤中，将第二验证集中的路面图像输入到第二边缘检测神经网络，根据第二边缘检测神经网络输出的概率矩阵与验证图像的病害标记文件的标记矩阵之间的对比，对第一边缘检测神经网络进行验证。具体地，可以根据如下公式十计算正样本准确率：
Figure GDA0002426254890000151
公式十中，X表示由验证图像经过第二边缘检测神经网络后输出的概率矩阵，Y表示由该验证图像的标记文件形成的标记矩阵；||X||1和||Y||1分别表示这两个矩阵的L1范数，即矩阵中各元素绝对值之和；X*Y表示两个矩阵的哈达马积(hadamard product)；∈是为了避免除0错误而加入的平滑因子，常取一个较小的正实数，例如可以取值为10-3。
本步骤中，将计算得到的平均正样本准确率作为第一边缘检测神经网络的验证结果。
步骤S704：检测验证结果是否满足训练结束条件；若是，则执行步骤S705结束训练；否则，跳转到步骤S702进行下一轮学习。
本步骤中，可以根据上述步骤S703中计算的验证结果检测是否满足训练结束条件；例如，训练结束条件可以设置为：计算得到的平均正样本准确率达到设定的阈值，或训练轮数达到预设值。若检测满足训练结束条件，则执行步骤S705结束训练；否则，跳转到步骤S702进行下一轮学习。
步骤S705：结束训练。
基于上述的基于边缘检测神经网络的路面病害检测方法，本发明实施例提供的一种基于边缘检测神经网络的路面病害检测装置，内部结构如图9所示，包括：上述的第一边缘检测神经网络901、第二边缘检测神经网络902、最终概率确定模块903以及病害识别模块904。
其中，第一边缘检测神经网络901用于对输入的路面图像进行路面病害识别，输出所述路面图像的第一病害概率矩阵；
第二边缘检测神经网络902用于对所述路面图像进行路面病害识别，输出所述路面图像的第二病害概率矩阵；
最终概率确定模块903用于根据第一、二病害概率矩阵，计算所述路面图像的最终病害概率矩阵；
病害识别模块904用于根据所述路面图像的最终病害概率矩阵，从所述路面图像中识别出路面病害；
其中，所述第一、二边缘检测神经网络分别是根据具有普通路面病害、复杂路面病害的路面图像预先训练得到的。
进一步，本发明实施例提供的一种基于边缘检测神经网络的路面病害检测装置还可包括：第一训练模块905；
第一训练模块905用于根据具有普通路面病害的路面图像对第一边缘检测神经网络901进行训练；具体地，第一训练模块905将具有普通路面病害的路面图像作为第一训练集中的训练图像，并生成第一训练集中的路面图像的病害标记文件；基于第一训练集以及生成的病害标记文件，使第一边缘检测神经网络进行多次学习；其中，在第一边缘检测神经网络的一次学习过程中：将第一训练集中的一个路面图像输入到第一边缘检测神经网络；根据第一边缘检测神经网络输出的病害概率矩阵与由该路面图像的病害标记文件形成的标记矩阵，计算正样本损失度；根据计算的正样本损失度对第一边缘检测神经网络中的参数进行一次优化。
进一步，本发明实施例提供的一种基于边缘检测神经网络的路面病害检测装置还可包括：第二训练模块906；
第二训练模块906用于根据具有复杂路面病害的路面图像对第二边缘检测神经网络902进行训练；具体地，第二训练模块906将具有复杂路面病害的路面图像作为第二训练集中的训练图像，并生成第二训练集中的路面图像的病害标记文件；基于第二训练集以及生成的病害标记文件，使第二边缘检测神经网络进行多次学习；其中，在第二边缘检测神经网络的一次学习过程中：将第二训练集中的一个路面图像输入到第二边缘检测神经网络；根据第二边缘检测神经网络输出的病害概率矩阵与由该路面图像的病害标记文件形成的标记矩阵，计算正样本损失度；根据计算的正样本损失度对第二边缘检测神经网络中的参数进行一次优化。
上述基于边缘检测神经网络的路面病害检测装置中的各模块的功能的具体实现方法可参考上述图1、图5～图8所示的流程步骤中的方法，此处不再赘述。
本发明的技术方案中，运用第一边缘检测神经网络对输入的路面图像进行路面病害识别，输出所述路面图像的第一病害概率矩阵；运用第二边缘检测神经网络对所述路面图像进行路面病害识别，输出所述路面图像的第二病害概率矩阵；根据第一、二病害概率矩阵，计算所述路面图像的最终病害概率矩阵；根据所述最终病害概率矩阵，从所述路面图像中识别出路面病害；其中，所述第一、二边缘检测神经网络分别是根据具有普通路面病害、复杂路面病害的路面图像预先训练得到的。
由于神经网络中含有大量的参数，使得第一、二边缘检测神经网络具备了强大的抽象拟合能力，能够有效提升病害识别准确率。经测试验证，使用基于灰度图的模式识别方法对路面图像进行病害识别，平均相似度只有50％左右，而使用本方法，平均相似度可以达到70％以上。
此外，而且使用深度学习的方式训练边缘检测神经网络，实际上是使得边缘检测神经网络进行图像识别时将大量计算过程前置，所以处理边缘检测神经网络未知图像时，可以减少很多计算量，提高识别效率。具体来讲，未知图像只需要在神经网络中进行一次前项就能得到自动标记的病害区域，其计算量相当于训练过程的一半。经测试验证，使用基于灰度图的模式识别方法对路面图像进行病害识别，识别速度仅有1-6张每秒，而使用本方法，识别速度可达到50-200张每秒，可以实现实时级的病害识别。
而且，本发明技术方案中专门设置了第二边缘检测神经网络用于提取复杂病害特征，这种针对于复杂路面病害的概率增益事实上显著提升了病害识别系统在复杂路面上的识别效果。经测试验证，使用基于灰度图的模式识别方法对含有复杂病害的路面图像进行病害识别，平均相似度仅有35％，不使用复杂病害概率增益，即仅使用一个边缘检测神经网络，平均相似度有50％-55％左右，而使用本发明的技术方案，复杂病害的平均相似度达到了65％以上。
进一步，本发明的技术方案中，采用了概率的抑制叠加的方法，对于低于门限值(比如0.5)的复杂路面病害概率值进行抑制，对于大于门限值(比如0.5)的复杂路面病害概率值则会产生一个线性增益，显著提升对于复杂病害的识别效果。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于边缘检测神经网络的路面病害检测方法，其特征在于，包括：
运用第一边缘检测神经网络对输入的路面图像进行路面病害识别，输出所述路面图像的第一病害概率矩阵；
运用第二边缘检测神经网络对所述路面图像进行路面病害识别，输出所述路面图像的第二病害概率矩阵；
根据第一、二病害概率矩阵，计算所述路面图像的最终病害概率矩阵：对于第二病害概率矩阵中的每个概率值与一个设定的门限值进行比较；若所述概率值小于所述门限值，则该概率值的概率增益为0；否则，该概率值的概率增益与该概率值为线性增益关系；根据第二病害概率矩阵中的每个概率值的概率增益生成增益概率矩阵；将第一病害概率矩阵与增益概率矩阵相加得到所述最终病害概率矩阵；
根据所述最终病害概率矩阵，从所述路面图像中识别出路面病害；
其中，所述第一边缘检测神经网络、第二边缘检测神经网络分别是根据具有普通路面病害、复杂路面病害的路面图像预先训练得到的。
2.根据权利要求1所述的方法，其特征在于，第一边缘检测神经网络具体根据如下方法训练得到：
将具有普通路面病害的路面图像作为第一训练集中的训练图像，并生成第一训练集中的路面图像的病害标记文件；
基于第一训练集以及生成的病害标记文件，第一边缘检测神经网络进行多次学习；其中，在第一边缘检测神经网络的一次学习过程中：
将第一训练集中的一个路面图像输入到第一边缘检测神经网络；
根据第一边缘检测神经网络输出的病害概率矩阵与由该路面图像的病害标记文件形成的标记矩阵，计算正样本损失度；
根据计算的正样本损失度对第一边缘检测神经网络中的参数进行一次优化。
3.根据权利要求1所述的方法，其特征在于，第二边缘检测神经网络具体根据如下方法训练得到：
将具有复杂路面病害的路面图像作为第二训练集中的训练图像，并生成第二训练集中的路面图像的病害标记文件；
基于第二训练集以及生成的病害标记文件，第二边缘检测神经网络进行多次学习；其中，在第二边缘检测神经网络的一次学习过程中：
将第二训练集中的一个路面图像输入到第二边缘检测神经网络；
根据第二边缘检测神经网络输出的病害概率矩阵与由该路面图像的病害标记文件形成的标记矩阵，计算正样本损失度；
根据计算的正样本损失度对第二边缘检测神经网络中的参数进行一次优化。
4.根据权利要求1-3任一所述的方法，其特征在于，第一、二边缘检测神经网络的结构中包括10个卷积层，以及设置于最后一个卷积层之后的逻辑激活层。
5.一种基于边缘检测神经网络的路面病害检测装置，其特征在于，包括：
第一边缘检测神经网络，用于对输入的路面图像进行路面病害识别，输出所述路面图像的第一病害概率矩阵；
第二边缘检测神经网络，用于对所述路面图像进行路面病害识别，输出所述路面图像的第二病害概率矩阵；
最终概率确定模块，用于根据第一、二病害概率矩阵，计算所述路面图像的最终病害概率矩阵：对于第二病害概率矩阵中的每个概率值与一个设定的门限值进行比较；若所述概率值小于所述门限值，则该概率值的概率增益为0；否则，该概率值的概率增益与该概率值为线性增益关系；根据第二病害概率矩阵中的每个概率值的概率增益生成增益概率矩阵；将第一病害概率矩阵与增益概率矩阵相加得到所述最终病害概率矩阵；
病害识别模块，用于根据所述路面图像的最终病害概率矩阵，从所述路面图像中识别出路面病害；
其中，所述第一边缘检测神经网络、第二边缘检测神经网络分别是根据具有普通路面病害、复杂路面病害的路面图像预先训练得到的。
6.根据权利要求5所述的装置，其特征在于，还包括：
第一训练模块，用于将具有普通路面病害的路面图像作为第一训练集中的训练图像，并生成第一训练集中的路面图像的病害标记文件；基于第一训练集以及生成的病害标记文件，使第一边缘检测神经网络进行多次学习；其中，在第一边缘检测神经网络的一次学习过程中：将第一训练集中的一个路面图像输入到第一边缘检测神经网络；根据第一边缘检测神经网络输出的病害概率矩阵与由该路面图像的病害标记文件形成的标记矩阵，计算正样本损失度；根据计算的正样本损失度对第一边缘检测神经网络中的参数进行一次优化。
7.根据权利要求5所述的装置，其特征在于，还包括：
第二训练模块，用于将具有复杂路面病害的路面图像作为第二训练集中的训练图像，并生成第二训练集中的路面图像的病害标记文件；基于第二训练集以及生成的病害标记文件，使第二边缘检测神经网络进行多次学习；其中，在第二边缘检测神经网络的一次学习过程中：将第二训练集中的一个路面图像输入到第二边缘检测神经网络；根据第二边缘检测神经网络输出的病害概率矩阵与由该路面图像的病害标记文件形成的标记矩阵，计算正样本损失度；根据计算的正样本损失度对第二边缘检测神经网络中的参数进行一次优化。
8.根据权利要求5-7任一所述的装置，其特征在于，第一、二边缘检测神经网络的结构中包括10个卷积层，以及设置于最后一个卷积层之后的逻辑激活层。
CN201910446191.7A 2019-05-27 2019-05-27 基于边缘检测神经网络的路面病害检测方法和装置 Active CN110349119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910446191.7A CN110349119B (zh) 2019-05-27 2019-05-27 基于边缘检测神经网络的路面病害检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910446191.7A CN110349119B (zh) 2019-05-27 2019-05-27 基于边缘检测神经网络的路面病害检测方法和装置

Publications (2)

Publication Number Publication Date
CN110349119A CN110349119A (zh) 2019-10-18
CN110349119B true CN110349119B (zh) 2020-05-19

Family

ID=68174353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910446191.7A Active CN110349119B (zh) 2019-05-27 2019-05-27 基于边缘检测神经网络的路面病害检测方法和装置

Country Status (1)

Country Link
CN (1) CN110349119B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242017B (zh) * 2020-01-10 2024-01-23 北京邮电大学 一种多标线的路面裂缝识别方法、装置、设备及存储介质
CN111767874B (zh) * 2020-07-06 2024-02-13 中兴飞流信息科技有限公司 一种基于深度学习的路面病害检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682592A (zh) * 2016-12-08 2017-05-17 北京泛化智能科技有限公司 一种基于神经网络方法的图像自动识别系统及方法
CN107463927A (zh) * 2017-09-21 2017-12-12 广东工业大学 一种基于卷积神经网络的道路减速带检测方法及装置
CN108052881A (zh) * 2017-11-30 2018-05-18 华中科技大学 一种实时检测施工现场图像中多类实体对象的方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023788B2 (en) * 2016-01-05 2021-06-01 Mobileye Vision Technologies Ltd. Systems and methods for estimating future paths
CN107491736A (zh) * 2017-07-20 2017-12-19 重庆邮电大学 一种基于卷积神经网络的路面附着系数辨识方法
CN108898085B (zh) * 2018-06-20 2022-06-21 安徽大学 一种基于手机视频的道路病害智能检测方法
CN109146849A (zh) * 2018-07-26 2019-01-04 昆明理工大学 一种基于卷积神经网络和图像识别的路面裂缝检测方法
CN109460738B (zh) * 2018-11-14 2019-09-27 吉林大学 一种基于无损失函数的深度卷积神经网络的路面类型估算方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682592A (zh) * 2016-12-08 2017-05-17 北京泛化智能科技有限公司 一种基于神经网络方法的图像自动识别系统及方法
CN107463927A (zh) * 2017-09-21 2017-12-12 广东工业大学 一种基于卷积神经网络的道路减速带检测方法及装置
CN108052881A (zh) * 2017-11-30 2018-05-18 华中科技大学 一种实时检测施工现场图像中多类实体对象的方法及设备

Also Published As

Publication number Publication date
CN110349119A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN104992223B (zh) 基于深度学习的密集人数估计方法
Kannojia et al. Effects of varying resolution on performance of CNN based image classification: An experimental study
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
Liu et al. FPCNet: Fast pavement crack detection network based on encoder-decoder architecture
CN109255344B (zh) 一种基于机器视觉的数显式仪表定位与读数识别方法
CN110210475B (zh) 一种非二值化和边缘检测的车牌字符图像分割方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN109840523B (zh) 一种基于图像处理的城轨列车车号识别方法
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN112749747B (zh) 垃圾分类质量评估方法及系统
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN111612759B (zh) 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN111914902A (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN113362277A (zh) 一种基于深度学习的工件表面缺陷检测和分割方法
CN115908142A (zh) 一种基于视觉识别的接触网微小部件验损方法
CN110751191A (zh) 一种图像的分类方法及系统
CN109829511B (zh) 基于纹理分类的下视红外图像中云层区域检测方法
CN115205230A (zh) 一种基于新型注意力机制的混凝土桥梁表观裂缝识别方法
CN115294377A (zh) 一种道路裂缝的识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220516

Address after: 065700 west side of West Ring Road and south side of Yingbin Road, Bazhou Development Zone, Langfang City, Hebei Province

Patentee after: Zhonggong high tech (Bazhou) Maintenance Technology Industry Co.,Ltd.

Address before: 100876 Beijing city Haidian District Xitucheng Road No. 10

Patentee before: Beijing University of Posts and Telecommunications

TR01 Transfer of patent right