CN111723750B - 一种用于自动驾驶车辆的道路裂缝检测方法及装置 - Google Patents

一种用于自动驾驶车辆的道路裂缝检测方法及装置 Download PDF

Info

Publication number
CN111723750B
CN111723750B CN202010581566.3A CN202010581566A CN111723750B CN 111723750 B CN111723750 B CN 111723750B CN 202010581566 A CN202010581566 A CN 202010581566A CN 111723750 B CN111723750 B CN 111723750B
Authority
CN
China
Prior art keywords
network
feature map
image
initial
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010581566.3A
Other languages
English (en)
Other versions
CN111723750A (zh
Inventor
刘近平
李晓娜
李松
王俊昌
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anyang Institute of Technology
Original Assignee
Anyang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anyang Institute of Technology filed Critical Anyang Institute of Technology
Priority to CN202010581566.3A priority Critical patent/CN111723750B/zh
Publication of CN111723750A publication Critical patent/CN111723750A/zh
Application granted granted Critical
Publication of CN111723750B publication Critical patent/CN111723750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开一种用于自动驾驶车辆的道路裂缝检测方法及装置。该方法包括：获取待处理图像；将待处理图像输入预先训练得到的道路裂缝检测网络中，分别对待处理图像进行特征提取得到第一初始特征图和第二初始特征图；对第一初始特征图进行下采样及卷积操作得到多个预设尺度的第一候选特征图，并对第二初始特征图进行下采样及卷积操作得到多个预设尺度的第二候选特征图；将第一候选特征图和第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图；根据多个外积特征图、第一初始特征图、以及第二初始特征图进行裂缝检测，得到待处理图像中各像素点的预测类别。应用本发明实施例提供的方案，能够提高道路裂缝检测的准确性。

Description

一种用于自动驾驶车辆的道路裂缝检测方法及装置
技术领域
本发明涉及自动驾驶技术领域，具体而言，涉及一种用于自动驾驶车辆的道路裂缝检测方法及装置。
背景技术
在自动驾驶车辆中，道路裂缝检测是不可或缺的一项工作。而道路裂缝因损害程度不均匀、光照影响、以及裂缝与路面区分度小等因素，检测难度较大。
已知的道路裂缝检测方法，主要为基于灰度图像，使用灰度值不连续性和相似性两个基本性质来完成。具体的，可以根据裂缝像素比背景更暗的特点，使用图像分割中的基于阈值方法，采用手工提取特征方法及基于块来进行分类。然而，这种方法根据的是图像的局部特征，未考虑裂缝的全局特征，从而导致道路裂缝检测效果较差，裂缝检测准确性较低。因此，为了提高道路裂缝检测的准确性，亟需一种道路裂缝检测方法。
发明内容
本发明提供了一种用于自动驾驶车辆的道路裂缝检测方法及装置，以提高道路裂缝检测的准确性。具体的技术方案如下。
第一方面，本发明实施例提供一种用于自动驾驶车辆的道路裂缝检测方法，所述方法包括：
获取待处理图像；
将所述待处理图像输入预先训练得到的道路裂缝检测网络中，所述道路裂缝检测网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；所述双网络提取输入图像特征图子网络包括两个卷积神经网络，所述两个卷积神经网络相同或不同；所述两个卷积神经网络分别对所述待处理图像进行特征提取得到第一初始特征图和第二初始特征图；所述金字塔池化子网络对所述第一初始特征图进行下采样及卷积操作得到多个预设尺度的第一候选特征图，并对所述第二初始特征图进行下采样及卷积操作得到所述多个预设尺度的第二候选特征图；所述特征图外积子网络将所述第一候选特征图和所述第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图；所述特征图级联子网络根据所述多个外积特征图、所述第一初始特征图、以及所述第二初始特征图进行裂缝检测，得到所述待处理图像中各像素点的预测类别；所述预测类别包括裂缝或背景；所述道路裂缝检测网络是根据各样本图像，以及所述各样本图像的裂缝标注结果训练得到的。
可选的，所述第一候选特征图包括三种不同尺度的特征图X1，X2，X3，所述第二候选特征图包括三种不同尺度的特征图Y1，Y2，Y3；所述特征图外积子网络将所述第一候选特征图和所述第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图的步骤包括：
根据以下公式，计算得到多个外积特征图Z1、Z2、Z3：
Figure 437581DEST_PATH_IMAGE001
X1 T为X1的转置，X2 T为X2的转置，X3 T为X3的转置。
可选的，所述特征图级联子网络根据所述多个外积特征图、所述第一初始特征图、以及所述第二初始特征图进行裂缝检测，得到所述待处理图像中各像素点的预测类别的步骤包括：
所述特征图级联子网络分别对所述多个外积特征图进行上采样，得到和所述第一初始特征图大小相同的各目标特征图；将所述第一初始特征图、所述第二初始特征图、以及所述各目标特征图进行级联拼接，得到拼接特征图；对所述拼接特征图进行上采样及卷积操作，得到和所述待处理图像大小相同的目标图像，对所述目标图像进行分类，得到所述待处理图像中各像素点的预测类别。
可选的，所述道路裂缝检测网络的训练过程包括：
构建初始网络；所述初始网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；
获取样本图像，并确定各所述样本图像的裂缝标注结果；
将所述各样本图像以及各所述样本图像的裂缝标注结果输入所述初始网络，所述初始网络对各所述样本图像进行裂缝检测，并根据预测结果与所述裂缝标注结果计算交叉熵损失函数的取值，当所述交叉熵损失函数的取值变化值小于阈值时，将当前的初始网络作为所述道路裂缝检测网络。
可选的，所述交叉熵损失函数为：
Figure 895108DEST_PATH_IMAGE002
其中，w为各所述样本图像的宽度值，h为各所述样本图像的高度值，Yij为各所述样本图像中第i行第j列像素点的裂缝标注结果，为0或1；sigmoid(Fij´)为所述第i行第j列像素点的预测结果。
第二方面，本发明实施例提供一种用于自动驾驶车辆的道路裂缝检测装置，所述装置包括：
图像获取模块，用于获取待处理图像；
裂缝检测模块，用于将所述待处理图像输入预先训练得到的道路裂缝检测网络中，所述道路裂缝检测网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；所述双网络提取输入图像特征图子网络包括两个卷积神经网络，所述两个卷积神经网络相同或不同；所述两个卷积神经网络分别对所述待处理图像进行特征提取得到第一初始特征图和第二初始特征图；所述金字塔池化子网络对所述第一初始特征图进行下采样及卷积操作得到多个预设尺度的第一候选特征图，并对所述第二初始特征图进行下采样及卷积操作得到所述多个预设尺度的第二候选特征图；所述特征图外积子网络将所述第一候选特征图和所述第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图；所述特征图级联子网络根据所述多个外积特征图、所述第一初始特征图、以及所述第二初始特征图进行裂缝检测，得到所述待处理图像中各像素点的预测类别；所述预测类别包括裂缝或背景；所述道路裂缝检测网络是根据各样本图像，以及所述各样本图像的裂缝标注结果训练得到的。
可选的，所述第一候选特征图包括三种不同尺度的特征图X1，X2，X3，所述裂缝检测模块，具体用于：
根据以下公式，计算得到多个外积特征图Z1、Z2、Z3：
Figure 510810DEST_PATH_IMAGE003
X1 T为X1的转置，X2 T为X2的转置，X3 T为X3的转置。
可选的，所述裂缝检测模块，具体用于：
分别对所述多个外积特征图进行上采样，得到和所述第一初始特征图大小相同的各目标特征图；将所述第一初始特征图、所述第二初始特征图、以及所述各目标特征图进行级联拼接，得到拼接特征图；对所述拼接特征图进行上采样及卷积操作，得到和所述待处理图像大小相同的目标图像，对所述目标图像进行分类，得到所述待处理图像中各像素点的预测类别。
可选的，所述装置还包括：
网络构建模块，用于构建初始网络；所述初始网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；
样本确定模块，用于获取样本图像，并确定各所述样本图像的裂缝标注结果；
网络训练模块，用于将所述各样本图像以及各所述样本图像的裂缝标注结果输入所述初始网络，所述初始网络对各所述样本图像进行裂缝检测，并根据预测结果与所述裂缝标注结果计算交叉熵损失函数的取值，当所述交叉熵损失函数的取值变化值小于阈值时，将当前的初始网络作为所述道路裂缝检测网络。
可选的，所述交叉熵损失函数为：
Figure 661169DEST_PATH_IMAGE004
其中，w为各所述样本图像的宽度值，h为各所述样本图像的高度值，Yij为各所述样本图像中第i行第j列像素点的裂缝标注结果，为0或1；sigmoid(Fij´)为所述第i行第j列像素点的预测结果。
由上述内容可知，本发明实施例提供的用于自动驾驶车辆的道路裂缝检测方法及装置，可以获取待处理图像；将待处理图像输入预先训练得到的道路裂缝检测网络中，道路裂缝检测网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；双网络提取输入图像特征图子网络包括两个卷积神经网络，两个卷积神经网络相同或不同；两个卷积神经网络分别对待处理图像进行特征提取得到第一初始特征图和第二初始特征图；金字塔池化子网络对第一初始特征图进行下采样及卷积操作得到多个预设尺度的第一候选特征图，并对第二初始特征图进行下采样及卷积操作得到多个预设尺度的第二候选特征图；特征图外积子网络将第一候选特征图和第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图；特征图级联子网络根据多个外积特征图进行裂缝检测，得到待处理图像中各像素点的预测类别；预测类别包括裂缝或背景；道路裂缝检测网络是根据各样本图像，以及各样本图像的裂缝标注结果训练得到的，因此能够使用双网络结构提取待处理图像的初始特征图，进一步得到各网络下不同尺度的候选特征图，并将不同网络下相同尺度的候选特征图进行外积，得到的外积特征图，也即二阶信息用于上采样并与初始特征图一起用于最终分类，二阶信息即为待处理图像的裂缝细节信息，初始特征图即为待处理图像的裂缝全局信息，从而在进行裂缝检测时，可以将二阶信息与全局信息整合，不仅提取裂缝的全局信息还提取了裂缝的细节信息，提高裂缝检测的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、使用双网络结构提取待处理图像的初始特征图，进一步得到各网络下不同尺度的候选特征图，并将不同网络下相同尺度的候选特征图进行外积，得到的外积特征图，也即二阶信息用于上采样并与初始特征图一起用于最终分类，二阶信息即为待处理图像的裂缝细节信息，初始特征图即为待处理图像的裂缝全局信息，从而在进行裂缝检测时，可以将二阶信息与全局信息整合，不仅提取裂缝的全局信息还提取了裂缝的细节信息，提高裂缝检测的准确性。
2、训练得到包含双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络的道路裂缝检测网络，从而在进行道路裂缝检测时，可以在获得待处理图像后，基于双网络提取输入图像特征图子网络提取待处理图像的初始特征图，基于金字塔池化子网络对初始特征图进行处理得到不同尺度的候选特征图，基于特征图外积子网络将不同网络下相同尺度的候选特征图进行外积得到二阶信息，最终基于特征图级联子网络对二阶信息进行上采样并与初始特征图一起用于最终分类，二阶信息即为待处理图像的裂缝细节信息，初始特征图即为待处理图像的裂缝全局信息，从而在进行裂缝检测时，可以将二阶信息与全局信息整合，不仅提取裂缝的全局信息还提取了裂缝的细节信息，提高裂缝检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的用于自动驾驶车辆的道路裂缝检测方法的一种流程示意图。
图2为本发明实施例提供的用于自动驾驶车辆的道路裂缝检测方法的另一种流程示意图。
图3为本发明实施例提供的道路裂缝检测网络进行裂缝检测的具体过程示意图。
图4为本发明实施例提供的用于自动驾驶车辆的道路裂缝检测装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种用于自动驾驶车辆的道路裂缝检测方法及装置，能够提高道路裂缝检测的准确性。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的用于自动驾驶车辆的道路裂缝检测方法的一种流程示意图。该方法应用于自动驾驶车辆，具体可以为自动驾驶车辆的处理器。该方法具体包括以下步骤。
S110：获取待处理图像。
该待处理图像可以为自动驾驶车辆中所安装相机采集的图像。相机采集到图像后，可以将其发送至处理器，处理器可以将接收到的图像作为待处理图像，对其进行裂缝检测。
S120：将待处理图像输入预先训练得到的道路裂缝检测网络中，道路裂缝检测网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；双网络提取输入图像特征图子网络包括两个卷积神经网络，两个卷积神经网络相同或不同；两个卷积神经网络分别对待处理图像进行特征提取得到第一初始特征图和第二初始特征图；金字塔池化子网络对第一初始特征图进行下采样及卷积操作得到多个预设尺度的第一候选特征图，并对第二初始特征图进行下采样及卷积操作得到多个预设尺度的第二候选特征图；特征图外积子网络将第一候选特征图和第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图；特征图级联子网络根据多个外积特征图、第一初始特征图、以及第二初始特征图进行裂缝检测，得到待处理图像中各像素点的预测类别；预测类别包括裂缝或背景；道路裂缝检测网络是根据各样本图像，以及各样本图像的裂缝标注结果训练得到的。
深度学习方法可以将裂缝检测作为语义分割任务，获得不错的效果。因此，在本发明实施例中，可以基于深度学习方法对待处理图像进行裂缝检测。
在一种实现方式中，可以预先训练得到用于裂缝检测的道路裂缝检测网络。如图2所示，道路裂缝检测网络的训练过程可以包括以下步骤。
S210：构建初始网络；初始网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络。
该初始网络可以为PSP Net（Pyramid Scene Parsing Network，金字塔场景解析网络）等，本发明实施例对此不作限定。
该初始网络中包括的双网络提取输入图像特征图子网络包括两个卷积神经网络，该两个卷积神经网络相同或不同，该两个卷积神经网络用于对输入的图像分别进行特征提取；金字塔池化子网络用于对双网络提取输入图像特征图子网络得到的特征图进行处理，得到不同尺度的特征图；特征图外积子网络用于对金字塔池化子网络得到的相同尺度的特征图进行外积运算，得到能够反映裂缝细节信息的二阶信息；特征图级联子网络用于最终的分类。
S220：获取样本图像，并确定各样本图像的裂缝标注结果。
在一种实现方式中，可以通过人工的方式进行样本图像标注，得到各样本图像的裂缝标注结果。
S230：将各样本图像以及各样本图像的裂缝标注结果输入初始网络，初始网络对各样本图像进行裂缝检测，并根据预测结果与裂缝标注结果计算交叉熵损失函数的取值，当交叉熵损失函数的取值变化值小于阈值时，将当前的初始网络作为道路裂缝检测网络。
将各样本图像，以及各样本图像的裂缝标注结果输入初始网络后，初始网络可以对各样本图像进行裂缝检测，并与各样本图像的裂缝标注结果进行对比，计算交叉熵损失函数的取值。并且，可以根据交叉熵损失函数的取值对初始网络的各参数进行调整。
对初始网络进行多次训练后，交叉熵损失函数的取值将趋于稳定，变化值越来越小，当交叉熵损失函数的取值变化值小于阈值时，可以将当前的初始网络作为道路裂缝检测网络。
其中，上述交叉熵损失函数可以为：
Figure 459361DEST_PATH_IMAGE005
其中，w为各样本图像的宽度值，h为各样本图像的高度值，Yij为各样本图像中第i行第j列像素点的裂缝标注结果，为0或1；sigmoid(Fij´)为第i行第j列像素点的预测结果。
训练得到包含双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络的道路裂缝检测网络，从而在进行道路裂缝检测时，可以在获得待处理图像后，基于双网络提取输入图像特征图子网络提取待处理图像的初始特征图，基于金字塔池化子网络对初始特征图进行处理得到不同尺度的候选特征图，基于特征图外积子网络将不同网络下相同尺度的候选特征图进行外积得到二阶信息，最终基于特征图级联子网络对二阶信息进行上采样并与初始特征图一起用于最终分类，二阶信息即为待处理图像的裂缝细节信息，初始特征图即为待处理图像的裂缝全局信息，从而在进行裂缝检测时，可以将二阶信息与全局信息整合，不仅提取裂缝的全局信息还提取了裂缝的细节信息，提高裂缝检测的准确性。
训练得到道路裂缝检测网络后，在进行裂缝检测时，处理器可以将待处理图像输入道路裂缝检测网络中，即可得到待处理图像中各像素点的分类结果，该分类结果包括裂缝或背景。
具体的，如图3所示，处理器将待处理图像输入预先训练得到的道路裂缝检测网络中后，双网络提取输入图像特征图子网络的两个卷积神经网络可以分别对待处理图像进行特征提取得到第一初始特征图X和第二初始特征图Y。金字塔池化子网络可以对第一初始特征图X进行下采样及1*1卷积操作得到多个预设尺度的第一候选特征图，并对第二初始特征图Y进行下采样及1*1卷积操作得到多个预设尺度的第二候选特征图。特征图外积子网络可以将第一候选特征图和第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图。
在一种实现方式中，第一候选特征图可以包括三种不同尺度的特征图X1，X2，X3，第二候选特征图可以包括三种不同尺度的特征图Y1，Y2，Y3。特征图外积子网络可以根据以下公式，计算得到多个外积特征图Z1、Z2、Z3：
Figure 940152DEST_PATH_IMAGE006
X1 T为X1的转置，X2 T为X2的转置，X3 T为X3的转置。
特征图级联子网络可以根据多个外积特征图、第一初始特征图、以及第二初始特征图进行裂缝检测，得到待处理图像中各像素点的预测类别；预测类别包括裂缝或背景。
在一种实现方式中，特征图级联子网络可以分别对多个外积特征图Z1、Z2、Z3进行上采样，得到和X，Y同等大小的特征图，，，然后与第一初始特征图X，第二初始特征图Y级联拼接起来，得到最终的拼接特征图F：
Figure 140189DEST_PATH_IMAGE007
最后，将级联的拼接特征图F经上采样及1x1卷积得到与待处理图像同等尺寸的特征图，最后通过Sigmoid函数得到每个像素点预测的类别C：
Figure 664711DEST_PATH_IMAGE008
其中，C为0或1,，0表示背景，1表示前景，也即图像中的裂缝。
由上述内容可知，本实施例可以使用双网络结构提取待处理图像的初始特征图，进一步得到各网络下不同尺度的候选特征图，并将不同网络下相同尺度的候选特征图进行外积，得到的外积特征图，也即二阶信息用于上采样并与初始特征图一起用于最终分类，二阶信息即为待处理图像的裂缝细节信息，初始特征图即为待处理图像的裂缝全局信息，从而在进行裂缝检测时，可以将二阶信息与全局信息整合，不仅提取裂缝的全局信息还提取了裂缝的细节信息，提高裂缝检测的准确性。
如图4所示，其示出了本发明实施例提供的用于自动驾驶车辆的道路裂缝检测装置的一种结构示意图，所述装置包括：
图像获取模块410，用于获取待处理图像；
裂缝检测模块420，用于将所述待处理图像输入预先训练得到的道路裂缝检测网络中，所述道路裂缝检测网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；所述双网络提取输入图像特征图子网络包括两个卷积神经网络，所述两个卷积神经网络相同或不同；所述两个卷积神经网络分别对所述待处理图像进行特征提取得到第一初始特征图和第二初始特征图；所述金字塔池化子网络对所述第一初始特征图进行下采样及卷积操作得到多个预设尺度的第一候选特征图，并对所述第二初始特征图进行下采样及卷积操作得到所述多个预设尺度的第二候选特征图；所述特征图外积子网络将所述第一候选特征图和所述第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图；所述特征图级联子网络根据所述多个外积特征图、所述第一初始特征图、以及所述第二初始特征图进行裂缝检测，得到所述待处理图像中各像素点的预测类别；所述预测类别包括裂缝或背景；所述道路裂缝检测网络是根据各样本图像，以及所述各样本图像的裂缝标注结果训练得到的。
可选的，所述第一候选特征图包括三种不同尺度的特征图X1，X2，X3，所述裂缝检测模块420，具体用于：
根据以下公式，计算得到多个外积特征图Z1、Z2、Z3：
Figure 950199DEST_PATH_IMAGE009
X1 T为X1的转置，X2 T为X2的转置，X3 T为X3的转置。
可选的，所述裂缝检测模块420，具体用于：
分别对所述多个外积特征图进行上采样，得到和所述第一初始特征图大小相同的各目标特征图；将所述第一初始特征图、所述第二初始特征图、以及所述各目标特征图进行级联拼接，得到拼接特征图；对所述拼接特征图进行上采样及卷积操作，得到和所述待处理图像大小相同的目标图像，对所述目标图像进行分类，得到所述待处理图像中各像素点的预测类别。
可选的，所述装置还包括：
网络构建模块，用于构建初始网络；所述初始网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；
样本确定模块，用于获取样本图像，并确定各所述样本图像的裂缝标注结果；
网络训练模块，用于将所述各样本图像以及各所述样本图像的裂缝标注结果输入所述初始网络，所述初始网络对各所述样本图像进行裂缝检测，并根据预测结果与所述裂缝标注结果计算交叉熵损失函数的取值，当所述交叉熵损失函数的取值变化值小于阈值时，将当前的初始网络作为所述道路裂缝检测网络。
可选的，所述交叉熵损失函数为：
Figure 687211DEST_PATH_IMAGE010
其中，w为各所述样本图像的宽度值，h为各所述样本图像的高度值，Yij为各所述样本图像中第i行第j列像素点的裂缝标注结果，为0或1；sigmoid(Fij´)为所述第i行第j列像素点的预测结果。
由上述内容可知，本实施例可以使用双网络结构提取待处理图像的初始特征图，进一步得到各网络下不同尺度的候选特征图，并将不同网络下相同尺度的候选特征图进行外积，得到的外积特征图，也即二阶信息用于上采样并与初始特征图一起用于最终分类，二阶信息即为待处理图像的裂缝细节信息，初始特征图即为待处理图像的裂缝全局信息，从而在进行裂缝检测时，可以将二阶信息与全局信息整合，不仅提取裂缝的全局信息还提取了裂缝的细节信息，提高裂缝检测的准确性。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (8)

1.一种用于自动驾驶车辆的道路裂缝检测方法，其特征在于，所述方法包括：
获取待处理图像；
将所述待处理图像输入预先训练得到的道路裂缝检测网络中，所述道路裂缝检测网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；所述双网络提取输入图像特征图子网络包括两个卷积神经网络，所述两个卷积神经网络相同或不同；所述两个卷积神经网络分别对所述待处理图像进行特征提取得到第一初始特征图和第二初始特征图；所述金字塔池化子网络对所述第一初始特征图进行下采样及卷积操作得到多个预设尺度的第一候选特征图，并对所述第二初始特征图进行下采样及卷积操作得到所述多个预设尺度的第二候选特征图；所述特征图外积子网络将所述第一候选特征图和所述第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图；所述特征图级联子网络根据所述多个外积特征图、所述第一初始特征图、以及所述第二初始特征图进行裂缝检测，得到所述待处理图像中各像素点的预测类别；所述预测类别包括裂缝或背景；所述道路裂缝检测网络是根据各样本图像，以及所述各样本图像的裂缝标注结果训练得到的；
所述特征图级联子网络根据所述多个外积特征图、所述第一初始特征图、以及所述第二初始特征图进行裂缝检测，得到所述待处理图像中各像素点的预测类别的步骤包括：
所述特征图级联子网络分别对所述多个外积特征图进行上采样，得到和所述第一初始特征图大小相同的各目标特征图；将所述第一初始特征图、所述第二初始特征图、以及所述各目标特征图进行级联拼接，得到拼接特征图；对所述拼接特征图进行上采样及卷积操作，得到和所述待处理图像大小相同的目标图像，对所述目标图像进行分类，得到所述待处理图像中各像素点的预测类别。
2.根据权利要求1所述的方法，其特征在于，所述第一候选特征图包括三种不同尺度的特征图X1，X2，X3，所述第二候选特征图包括三种不同尺度的特征图Y1，Y2，Y3；所述特征图外积子网络将所述第一候选特征图和所述第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图的步骤包括：
根据以下公式，计算得到多个外积特征图Z1、Z2、Z3：
Figure FDA0004192057000000011
Figure FDA0004192057000000012
Figure FDA0004192057000000013
X1 T为X1的转置，X2 T为X2的转置，X3 T为X3的转置。
3.根据权利要求1所述的方法，其特征在于，所述道路裂缝检测网络的训练过程包括：
构建初始网络；所述初始网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；
获取样本图像，并确定各所述样本图像的裂缝标注结果；
将所述各样本图像以及各所述样本图像的裂缝标注结果输入所述初始网络，所述初始网络对各所述样本图像进行裂缝检测，并根据预测结果与所述裂缝标注结果计算交叉熵损失函数的取值，当所述交叉熵损失函数的取值变化值小于阈值时，将当前的初始网络作为所述道路裂缝检测网络。
4.根据权利要求3所述的方法，其特征在于，所述交叉熵损失函数为：
Figure FDA0004192057000000021
其中，w为各所述样本图像的宽度值，h为各所述样本图像的高度值，Yij为各所述样本图像中第i行第j列像素点的裂缝标注结果，为0或1；sigmoid(Fij′)为所述第i行第j列像素点的预测结果。
5.一种用于自动驾驶车辆的道路裂缝检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像；
裂缝检测模块，用于将所述待处理图像输入预先训练得到的道路裂缝检测网络中，所述道路裂缝检测网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；所述双网络提取输入图像特征图子网络包括两个卷积神经网络，所述两个卷积神经网络相同或不同；所述两个卷积神经网络分别对所述待处理图像进行特征提取得到第一初始特征图和第二初始特征图；所述金字塔池化子网络对所述第一初始特征图进行下采样及卷积操作得到多个预设尺度的第一候选特征图，并对所述第二初始特征图进行下采样及卷积操作得到所述多个预设尺度的第二候选特征图；所述特征图外积子网络将所述第一候选特征图和所述第二候选特征图中同种尺度的特征图进行外积运算，得到多个外积特征图；所述特征图级联子网络根据所述多个外积特征图、所述第一初始特征图、以及所述第二初始特征图进行裂缝检测，得到所述待处理图像中各像素点的预测类别；所述预测类别包括裂缝或背景；所述道路裂缝检测网络是根据各样本图像，以及所述各样本图像的裂缝标注结果训练得到的；
所述裂缝检测模块，具体用于：
分别对所述多个外积特征图进行上采样，得到和所述第一初始特征图大小相同的各目标特征图；将所述第一初始特征图、所述第二初始特征图、以及所述各目标特征图进行级联拼接，得到拼接特征图；对所述拼接特征图进行上采样及卷积操作，得到和所述待处理图像大小相同的目标图像，对所述目标图像进行分类，得到所述待处理图像中各像素点的预测类别。
6.根据权利要求5所述的装置，其特征在于，所述第一候选特征图包括三种不同尺度的特征图X1，X2，X3，所述裂缝检测模块，具体用于：
根据以下公式，计算得到多个外积特征图Z1、Z2、Z3：
Figure FDA0004192057000000031
Figure FDA0004192057000000032
Figure FDA0004192057000000033
X1 T为X1的转置，X2 T为X2的转置，X3 T为X3的转置。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
网络构建模块，用于构建初始网络；所述初始网络包括：双网络提取输入图像特征图子网络、金字塔池化子网络、特征图外积子网络、以及特征图级联子网络；
样本确定模块，用于获取样本图像，并确定各所述样本图像的裂缝标注结果；
网络训练模块，用于将所述各样本图像以及各所述样本图像的裂缝标注结果输入所述初始网络，所述初始网络对各所述样本图像进行裂缝检测，并根据预测结果与所述裂缝标注结果计算交叉熵损失函数的取值，当所述交叉熵损失函数的取值变化值小于阈值时，将当前的初始网络作为所述道路裂缝检测网络。
8.根据权利要求7所述的装置，其特征在于，所述交叉熵损失函数为：
Figure FDA0004192057000000034
其中，w为各所述样本图像的宽度值，h为各所述样本图像的高度值，Yij为各所述样本图像中第i行第j列像素点的裂缝标注结果，为0或1；sigmoid(Fij′)为所述第i行第j列像素点的预测结果。
CN202010581566.3A 2020-06-23 2020-06-23 一种用于自动驾驶车辆的道路裂缝检测方法及装置 Active CN111723750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010581566.3A CN111723750B (zh) 2020-06-23 2020-06-23 一种用于自动驾驶车辆的道路裂缝检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010581566.3A CN111723750B (zh) 2020-06-23 2020-06-23 一种用于自动驾驶车辆的道路裂缝检测方法及装置

Publications (2)

Publication Number Publication Date
CN111723750A CN111723750A (zh) 2020-09-29
CN111723750B true CN111723750B (zh) 2023-05-30

Family

ID=72568521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010581566.3A Active CN111723750B (zh) 2020-06-23 2020-06-23 一种用于自动驾驶车辆的道路裂缝检测方法及装置

Country Status (1)

Country Link
CN (1) CN111723750B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416307A (zh) * 2018-03-13 2018-08-17 北京理工大学 一种航拍图像路面裂缝检测方法、装置及设备
CN110472503A (zh) * 2019-07-11 2019-11-19 桂林电子科技大学 一种道路目标检测方法、装置及存储介质
CN111127468A (zh) * 2020-04-01 2020-05-08 北京邮电大学 一种道路裂缝检测方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635927B2 (en) * 2017-03-06 2020-04-28 Honda Motor Co., Ltd. Systems for performing semantic segmentation and methods thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416307A (zh) * 2018-03-13 2018-08-17 北京理工大学 一种航拍图像路面裂缝检测方法、装置及设备
CN110472503A (zh) * 2019-07-11 2019-11-19 桂林电子科技大学 一种道路目标检测方法、装置及存储介质
CN111127468A (zh) * 2020-04-01 2020-05-08 北京邮电大学 一种道路裂缝检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多尺度卷积网络的路面图像裂缝分割方法;孙梦园;刘义;范文慧;;软件(第05期);全文 *

Also Published As

Publication number Publication date
CN111723750A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
CN112132156A (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110246141B (zh) 一种基于联合角点池化的复杂交通场景下车辆图像分割方法
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN111652098B (zh) 产品表面缺陷检测方法及装置
CN109543691A (zh) 积水识别方法、装置以及存储介质
CN111860439A (zh) 一种无人机巡检图像缺陷检测方法、系统及设备
CN109858438B (zh) 一种基于模型拟合的车道线检测方法
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN112487848A (zh) 文字识别方法和终端设备
CN111435446A (zh) 一种基于LeNet车牌识别方法及装置
CN110852318A (zh) 一种排水管道缺陷精准定位方法及系统
CN112926354A (zh) 一种基于深度学习的车道线检测方法及装置
CN111723750B (zh) 一种用于自动驾驶车辆的道路裂缝检测方法及装置
CN111178181B (zh) 交通场景分割方法及相关装置
CN115984647A (zh) 面向星群的遥感分布式协同推理方法、装置、介质和卫星
CN113283286B (zh) 一种驾驶员异常行为检测方法和装置
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN110992257B (zh) 基于深度学习的遥感影像敏感信息自动屏蔽方法及装置
CN114742955A (zh) 洪灾预警方法、装置、电子设备及存储介质
CN108470326B (zh) 图像补全方法及装置
CN113239865A (zh) 基于深度学习的车道线检测方法
CN114022869B (zh) 一种基于级联网络的车辆重识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant