CN113379719A - 道路缺陷检测方法、装置、电子设备和存储介质 - Google Patents

道路缺陷检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113379719A
CN113379719A CN202110720087.XA CN202110720087A CN113379719A CN 113379719 A CN113379719 A CN 113379719A CN 202110720087 A CN202110720087 A CN 202110720087A CN 113379719 A CN113379719 A CN 113379719A
Authority
CN
China
Prior art keywords
segmentation model
image
encoder
road
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110720087.XA
Other languages
English (en)
Inventor
于越
孙昊
谭啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110720087.XA priority Critical patent/CN113379719A/zh
Publication of CN113379719A publication Critical patent/CN113379719A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了道路缺陷检测方法、装置、电子设备和存储介质，涉及人工智能领域，尤其涉及具体涉及计算机视觉和深度学习技术，具体可用于智慧城市和智能交通场景下。具体实现方案为：通过目标缺陷分割模型的第一编码器对待检测图像进行特征提取，确定远距离图像特征；通过所述目标缺陷分割模型的第二编码器对待检测图像进行特征提取，确定近距离图像特征；通过所述目标缺陷分割模型中融合层对所述远距离图像特征和所述近距离图像特征进行融合，确定融合特征；通过所述目标缺陷分割模型中解码器对所述融合特征进行处理，得到道路缺陷分割结果。本公开实施例可以提高路面缺陷的识别准确率。

Description

道路缺陷检测方法、装置、电子设备和存储介质
技术领域
本公开涉及人工智能领域，尤其涉及具体涉及计算机视觉和深度学习技术，具体可用于智慧城市和智能交通场景下，具体涉及一种道路缺陷检测方法、装置、电子设备和存储介质。
背景技术
随着公路建设数量的不断增加，公路所需养护比例也随之增加，而养护检测任务繁重，大量中低等级公路和城市乡镇道路的养护工作仍缺乏合理的数据支持。因此，低成本、快速化和高质量的路面检测数据成为了数据驱动的新型养护模式的重要前提。
目前，路面养护相关部门采用的智能化巡检方式，主要依靠在车辆上安装激光、雷达和视觉等设备，定期通过人工驾驶相应路段进行路面状态巡检及时上报公路管理部门，公路管理部门针对需要养护的路面进行处理。
发明内容
本公开提供了一种道路缺陷检测方法、装置、电子设备和存储介质。
根据本公开的一方面，提供了一种道路缺陷检测方法，包括：
通过目标缺陷分割模型的第一编码器对待检测图像进行特征提取，确定远距离图像特征；
通过所述目标缺陷分割模型的第二编码器对待检测图像进行特征提取，确定近距离图像特征；
通过所述目标缺陷分割模型中融合层对所述远距离图像特征和所述近距离图像特征进行融合，确定融合特征；
通过所述目标缺陷分割模型中解码器对所述融合特征进行处理，得到道路缺陷分割结果。
根据本公开的另一方面，提供了一种道路缺陷检测装置，包括：
远距离图像特征确定模块，用于通过目标缺陷分割模型的第一编码器对待检测图像进行特征提取，确定远距离图像特征；
近距离图像特征确定模块，用于通过所述目标缺陷分割模型的第二编码器对待检测图像进行特征提取，确定近距离图像特征；
特征融合模块，用于通过所述目标缺陷分割模型中融合层对所述远距离图像特征和所述近距离图像特征进行融合，确定融合特征；
道路缺陷分割结果确定模块，用于通过所述目标缺陷分割模型中解码器对所述融合特征进行处理，得到道路缺陷分割结果。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的道路缺陷检测方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开任一实施例所述的道路缺陷检测方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任一实施例所述的道路缺陷检测方法。
本公开实施例可以提高路面缺陷的识别准确率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的一种道路缺陷检测方法的示意图；
图2是根据本公开实施例的一种道路缺陷检测方法的示意图；
图3是根据本公开实施例的一种第二缺陷分割模型的示意图；
图4是根据本公开实施例的一种第一缺陷分割模型的示意图；
图5是根据本公开实施例的一种目标缺陷分割模型的示意图；
图6是可以实现本公开实施例的道路缺陷检测方法的场景图
图7是根据本公开实施例的一种道路缺陷检测装置的示意图；
图8是用来实现本公开实施例的道路缺陷检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例公开的一种道路缺陷检测方法的流程图，本实施例可以适用于在对检测道路是否存在缺陷设的情况。本实施例方法可以由道路缺陷检测装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器，客户端设备例如手机、平板电脑、车载终端和台式电脑等。
S101，通过目标缺陷分割模型的第一编码器对待检测图像进行特征提取，确定远距离图像特征。
目标缺陷分割模型用于在待检测图像中检测道路缺陷。目标缺陷分割模型包括两个编码器、融合层和一个解码器。第一编码器用于从待检测图像中提取出远距离图像特征。第一编码器是指通过以远距离视角拍摄道路形成的图像样本作为训练样本进行训练得到的编码器。
S102，通过所述目标缺陷分割模型的第二编码器对待检测图像进行特征提取，确定近距离图像特征。
第二编码器用于从待检测图像进行特征提取出近距离图像特征。第二编码器是指通过以近距离视角拍摄道路形成的图像样本作为训练样本进行训练得到的编码器。
其中，以远距离视角拍摄的存在缺陷的道路图像中缺陷区域所占比值，小于，以近距离视角拍摄的存在缺陷的道路图像中缺陷区域所占比值。相对于第一编码器，第二编码器更加关注道路缺陷，从而，相对于远距离图像特征，近距离图像特征包括更多更丰富的道路缺陷信息。
S103，通过所述目标缺陷分割模型中融合层对所述远距离图像特征和所述近距离图像特征进行融合，确定融合特征。
融合层用于进行特征融合。融合层可以通过计算加权和，或基于注意力结构处理等方法融合特征。融合特征用于检测道路缺陷分割结果。融合特征可以是指包括远距离图像特征和近距离图像特征的综合信息的特征。融合特征具有两种编码器提取到的特征，丰富提取的图像特征的内容，提高图像特征的代表性，从而提高缺陷分割结果的准确性。
S104，通过所述目标缺陷分割模型中解码器对所述融合特征进行处理，得到道路缺陷分割结果。
解码器用于对特征进行处理，得到道路缺陷分割结果。解码器通过对融合有两种编码器提取到的特征进行处理得到道路缺陷分割结果，可以根据更加丰富的特征信息，分割道路缺陷，提高分割准确性。其中，道路缺陷可以是道路存在的裂缝、道路存在的坑洞或道路存在的细小障碍物等。
现有技术中，对于路面缺陷的分割，基于人工标注的缺陷数据，训练相应的分割模型。缺陷数据通常是通过车载摄像设备拍摄采集的图像，但是由于车载视角下的路面数据缺陷面积占整个路面面积的比例太小，且由于光照和灰尘等因素的影响，分割模型很难直接学习到缺陷的特征，使得分割模型的效果很差，导致分割模型的分割精度和准确率，受到外界因素干扰过大，并且对于不明显的缺陷，分割准确率很低。
根据本公开的技术方案，通过第一编码器提取远距离图像特征，并通过第二编码器提取近距离图像特征，并进行融合，得到融合特征，以确定道路缺陷分割结果，实现通过预先训练的第二编码器，以针对近距离视角下采集的图像样本训练得到的特征提取能力，提取出更具代表性的缺陷特征，并融合有第一编码器以针对远距离视角下采集的图像样本训练得到的特征提取能力提取出的特征，极大丰富图像特征的信息，和增加图像特征的代表性，减少受到外界因素干扰引起的分割准确率低的情况，提高分割模型的抗干扰性，同时增强分割模型对道路缺陷的辨认能力，提高分隔模型的准确率。
图2是根据本公开实施例公开的另一种道路缺陷检测方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。在上述基础上，优化为：获取预先训练的所述第二编码器，并确定第一训练样本；采用所述第一训练样本，对基于注意力机制的分割模型进行训练，得到第一缺陷分割模型，所述分割模型包括编码器和解码器，所述基于注意力机制的分割模型包括编码器、融合层和解码器；在所述第一缺陷分割模型中添加所述第二编码器，形成目标缺陷分割模型。
S201，获取预先训练的所述第二编码器，并确定第一训练样本。
第二编码器为独立于目标缺陷分割模型训练的编码器。在第二编码器训练完成的情况下，锁定第二编码器的参数，并基于预先训练的第二编码器，训练基于注意力机制的分割模型的第一编码器、融合层和解码器。第一训练样本用于训练基于注意力机制的分割模型。第一训练样本包括道路图像和该道路图像经过第二编码器提取的特征。例如，获取以车载视角采集的道路图像，并输入到第二编码器，得到相应的近距离图像特征，将该近距离图像特征和该道路图像，确定为第一训练样本。
S202，采用所述第一训练样本，对基于注意力机制的分割模型进行训练，得到第一缺陷分割模型，所述分割模型包括编码器和解码器，所述基于注意力机制的分割模型包括编码器、融合层和解码器。
相对于分割模型，基于注意力的分割模型增加了注意力机制的融合层，即融合层为注意力结构。采用第一训练样本，对基于注意力机制的分割模型进行训练，是指将第一训练样本中的道路图像输入至基于注意力机制的分割模型的编码器中，并将第二编码器提取的特征输入至基于注意力机制的分割模型的融合层中，以对基于注意力机制的分割模型进行训练。
基于注意力的分割模型训练完成，得到第一缺陷分割模型，第一缺陷分割模型包括第一编码器、融合层和解码器。第一缺陷分割模型和第二编码器组成目标缺陷分割模型。训练第一缺陷分割模型，此时第二编码器的参数已锁定，实际上训练目标缺陷分割模型中的部分网络结构。其中，注意力机制(Attention Mechanism)是在众多信息中把注意力集中放在重要信息上，选出关键信息，而忽略其他不重要的信息。通过注意力机制实现特征融合，可以避免简单特征融合而增加冗余信息以及忽视关键信息，更加关注待融合的特征中的重要信息，提高特征信息的代表性，从而提高分割模型的分割准确率。
S203，在所述第一缺陷分割模型中添加所述第二编码器，形成目标缺陷分割模型。
第一缺陷分割模型中添加第二编码器，组成目标缺陷分割模型。其中，第一编码器和第二编码器的输出，均作为融合层的输入。
S204，通过目标缺陷分割模型的第一编码器对待检测图像进行特征提取，确定远距离图像特征。
可选的，所述待检测图像包括车载相机拍摄的道路裂缝图像。
车载相机拍摄的道路裂缝图像中裂缝面积占整个路面面积的比例太小，且由于光照和灰尘等因素的影响，分割模型很难直接学习到缺陷的特征，使得分割模型的效果很差，导致分割模型的分割精度和准确率，受到外界因素干扰过大，并且对于不明显的缺陷，分割准确率很低。
通过将目标缺陷分割模型应用于车载相机拍摄的道路裂缝图像的裂缝分割的应用场景中，极大丰富裂缝特征的信息，和增加裂缝特征的代表性，减少受到外界因素干扰引起的分割准确率低的情况，提高分割模型的抗干扰性，同时增强分割模型对裂缝的辨认能力，提高分隔模型的分割准确率。
S205，通过所述目标缺陷分割模型的第二编码器对待检测图像进行特征提取，确定近距离图像特征。
S206，通过所述目标缺陷分割模型中融合层对所述远距离图像特征和所述近距离图像特征进行融合，确定融合特征。
可选的，所述通过所述目标缺陷分割模型中融合层对所述远距离图像特征和所述近距离图像特征进行融合，包括：通过所述融合层对所述远距离图像特征进行处理，得到中间图像特征；通过所述融合层将所述中间图像特征和所述近距离图像特征进行融合。
融合层用于对远距离图像特征进行线性变换，得到中间图像特征。中间图像特征相对于远距离图像特征，包括更加丰富的特征信息。将中间图像特征和近距离图像特征进行融合，可以丰富融合特征的特征信息，同时在融合特征中增加远距离图像特征的占比，更加适配远距离图像的缺陷分割应用场景。
通过融合层对远距离图像特征进行处理，丰富融合特征的特征信息，提高远距离图像的缺陷分割准确率。
可选的，所述通过所述融合层对所述远距离图像特征进行处理，得到中间图像特征，包括：通过所述融合层中包括的两个全连接层对所述远距离图像特征进行处理，得到两个中间图像特征，所述两个全连接层不同。
融合层的网络结构为注意力结构。两个中间图像特征为远距离图像特征经过不同线性变换提取的两个特征。
其中，注意力结构的计算主要由Q、K和V三个特征向量组成，计算公式如下所示：
Figure BDA0003136625170000071
其中，Q是近距离图像特征，K和V是中间图像特征，即远距离图像特征分别经过两个不同全连接层进行不同线性变换后提取出来的两个特征。dk表示特征向量K在高维空间上的长度，起到归一化的作用。QKT表示矩阵Q乘以矩阵K的转置矩阵。
计算公式表示计算近距离图像特征中每个像素点和一个中间图像特征中相应像素点之间的相似度，并确定为另一个中间图像特征中相应像素点的权重，最终计算另一个中间图像特征中各像素点的加权和，作为融合特征。
通过两个不同全连接层进行不同线性变换后提取出来的两个中间图像特征，增加融合特征中远距离图像特征的占比，将注意力集中到远距离图像特征中的缺陷信息，兼顾丰富融合特征的特征信息，和提高融合特征的代表性，提高目标缺陷分割模型的分割准确率。
S207，通过所述目标缺陷分割模型中解码器对所述融合特征进行处理，得到道路缺陷分割结果。
可选的，所述获取预先训练的所述第二编码器，包括：采用第二训练样本，对分割模型进行训练，得到第二缺陷分割模型，所述第二训练样本包括以近距离视角采集的道路图像；获取所述第二缺陷分割模型中的编码器，确定为所述第二编码器。
近距离视角采集的道路图像，为以近距离拍摄道路缺陷的图像和以近距离拍摄道路无缺陷的图像，如用户手持摄像设备俯身拍摄道路图像。其中，道路缺陷区域在图像中的占比大于等于预设阈值，例如，0.6。
第二缺陷分割模型包括第二编码器和解码器。示例性的，分割模型是hrnet模型。第二缺陷分割模型用于对近距离视角采集的道路图像中分割缺陷。训练得到的第二编码器用于对近距离视角采集的道路图像提取特征，可以更好的关注到道路缺陷的信息，以提取到道路缺陷的丰富的特征信息，实现更好更多的提取出辨认缺陷的特征，以提高目标缺陷分割模型对缺陷的辨认能力。
需要说明的是，第一缺陷分割模型中解码器和第二缺陷分割模型中解码器不同。第二缺陷分割模型中的解码器未添加到目标缺陷分割模型，可以删除。
在一个具体的例子中，首先使用少量近距离拍摄的裂缝图像训练不带注意力机制的分割模型hrnet，由于前述图像中裂缝占图像的比例很大，分割模型很容易学习到裂缝的特征。在分割模型训练结束后，将编码器取出，并保存下来，用于后续基于注意力机制的分割模型的训练。示例性的，第二缺陷分割模型的网络结构如图3所示，包括第二编码器211和第二解码器222；第一缺陷分割模型的网络结构如图4所示，包括第一编码器221、注意力层(即融合层)222和第一解码器223；目标缺陷分割模型的网络结构如图5所示，包括第二编码器211、第一编码器221、注意力层222和第一解码器223。
通过以近距离视角采集的道路图像训练分割模型，并将训练完成的第二缺陷分割模型中的编码器作为第二编码器，可以提取到道路缺陷的丰富的特征信息，提高目标缺陷分割模型对缺陷的辨认能力，从而提高目标缺陷分割模型的分割准确率。
可选的，所述确定第一训练样本，包括：采用所述第二编码器，对以远距离视角采集的道路图像进行处理，得到道路图像特征；根据所述道路图像特征和所述以远距离视角采集的道路图像，确定第一训练样本。
以远距离视角采集的道路图像，为以远距离拍摄道路缺陷的图像和以远距离拍摄道路无缺陷的图像，如通过车载摄像设备拍摄道路图像。其中，道路缺陷区域在图像中的占比小于预设阈值，例如，0.2。道路图像特征为第二编码器从远距离视角采集的道路图像中提取的近距离图像特征，用于作为基于注意力机制的分割模型中融合层的输入，与编码器提取的特征进行融合，以对基于注意力机制的分割模型进行训练。
实际上，最终需要的目标缺陷分割模型用于对远距离视角采集的道路图像进行道路缺陷分割，此时需要针对远距离视角采集的道路图像作为输入，对基于注意力机制的分割模型进行训练。其中，第二编码器的特征提取能力已经学习完成，仅需要采用第二编码器从远距离视角采集的道路图像中提取特征即可，从而，只需要训练并得到第一编码器、融合层和解码器。通过第二编码器对远距离视角采集的道路图像进行处理，并添加到第一训练样本中，作为基于注意力机制的分割模型的训练样本，可以准确训练出，提取远距离视角采集的道路图像中两类特征，并进行融合和解码的第一缺陷分割模型。
通过采用第二编码器从远距离视角采集的道路图像中提取道路特征，作为基于注意力机制的分割模型的输入，并进行训练，可以准确训练出提取远距离视角采集的道路图像中两类特征，并进行融合和解码的第一缺陷分割模型，从而精准实现提取两类特征，丰富特征信息，并融合解码，提高目标缺陷分割模型的分割准确率。
根据本公开的技术方案，通过优先训练第二编码器，并基于第二编码器生成第一训练样本，采用第一训练样本对基于注意力机制的分割模型进行训练，得到第一缺陷分割模型，并添加第二编码器，形成目标缺陷分割模型，可以通过训练方式训练得到不同的编码器，可以灵活控制编码器提取的特征内容，丰富特征信息，以及基于注意力机制进行特征融合，可以更加关注待融合的特征中的重要信息，提高特征信息的代表性，从而提高分割模型的分割准确率。
图6是根据本公开实施例公开的一种道路缺陷检测方法的场景图，道路缺陷检测方法包括：
S301，车载视角拍摄裂缝图像。
S302，将车载视角拍摄裂缝图像输入至第一编码器。
S303，获取第一编码器处理得到的远距离图像特征。
S304，将车载视角拍摄裂缝图像输入至第二编码器。
S305，获取第二编码器处理得到的近距离图像特征。
S306，将近距离图像特征和远距离图像特征输入至注意力层。
S307，获取注意力层处理得到的融合特征。
S308，将融合特征输入至解码器。
S309，获取解码器处理得到的道路裂缝分割结果。
根据本公开的技术方案，通过两个编码器从车载视角拍摄裂缝图像，分别提取裂缝特征，并基于注意力机制进行特征融合，使得目标缺陷分割模型可以更加关注道路裂缝，学习到更多和裂缝相关的特征，最终提升了目标缺陷分割模型对于车载视角下路面裂缝的分割能力。
根据本公开的实施例，图7是本公开实施例中的道路缺陷检测装置的结构图，本公开实施例适用于在设备抖动的情况下，对该设备的界面进行移动显示的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图7所示的一种道路缺陷检测装置400，包括：远距离图像特征确定模块401、近距离图像特征确定模块402、特征融合模块403和道路缺陷分割结果确定模块404；其中，
远距离图像特征确定模块401，用于通过目标缺陷分割模型的第一编码器对待检测图像进行特征提取，确定远距离图像特征；
近距离图像特征确定模块402，用于通过所述目标缺陷分割模型的第二编码器对待检测图像进行特征提取，确定近距离图像特征；
特征融合模块403，用于通过所述目标缺陷分割模型中融合层对所述远距离图像特征和所述近距离图像特征进行融合，确定融合特征；
道路缺陷分割结果确定模块404，用于通过所述目标缺陷分割模型中解码器对所述融合特征进行处理，得到道路缺陷分割结果。
根据本公开的技术方案，通过第一编码器提取远距离图像特征，并通过第二编码器提取近距离图像特征，并进行融合，得到融合特征，以确定道路缺陷分割结果，实现通过预先训练的第二编码器，以针对近距离视角下采集的图像样本训练得到的特征提取能力，提取出更具代表性的缺陷特征，并融合有第一编码器以针对远距离视角下采集的图像样本训练得到的特征提取能力提取出的特征，极大丰富图像特征的信息，和增加图像特征的代表性，减少受到外界因素干扰引起的分割准确率低的情况，提高分割模型的抗干扰性，同时增强分割模型对道路缺陷的辨认能力，提高分隔模型的准确率。
进一步的，道路缺陷检测装置，还包括：第一训练样本确定模块，用于获取预先训练的所述第二编码器，并确定第一训练样本；第一缺陷分割模型训练模块，用于采用所述第一训练样本，对基于注意力机制的分割模型进行训练，得到第一缺陷分割模型，所述分割模型包括编码器和解码器，所述基于注意力机制的分割模型包括编码器、融合层和解码器；目标缺陷分割模型生成模块，用于在所述第一缺陷分割模型中添加所述第二编码器，形成目标缺陷分割模型。
进一步的，所述第一训练样本确定模块，包括：第二缺陷分割模型训练单元，用于采用第二训练样本，对分割模型进行训练，得到第二缺陷分割模型，所述第二训练样本包括以近距离视角采集的道路图像；第二编码器获取单元，用于获取所述第二缺陷分割模型中的编码器，确定为所述第二编码器。
进一步的，所述第一训练样本确定模块，包括：道路图像特征获取单元，用于采用所述第二编码器，对以远距离视角采集的道路图像进行处理，得到道路图像特征；第一训练样本生成单元，用于根据所述道路图像特征和所述以远距离视角采集的道路图像，确定第一训练样本。
进一步的，所述特征融合模块403，包括：中间图像特征获取单元，用于通过所述融合层对所述远距离图像特征进行处理，得到中间图像特征；特征融合单元，用于通过所述融合层将所述中间图像特征和所述近距离图像特征进行融合。
进一步的，所述中间图像特征获取单元，包括：多个中间图像特征获取子单元，用于通过所述融合层中包括的两个全连接层对所述远距离图像特征进行处理，得到两个中间图像特征，所述两个全连接层不同。
进一步的，所述待检测图像包括车载相机拍摄的图像。
上述道路缺陷检测装置可执行本公开任意实施例所提供的道路缺陷检测方法，具备执行道路缺陷检测方法相应的功能模块和有益效果。
本公开的技术方案中，所涉及的用户个人信息或车辆信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如道路缺陷检测方法。例如，在一些实施例中，道路缺陷检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的道路缺陷检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行道路缺陷检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种道路缺陷检测方法，包括：
通过目标缺陷分割模型的第一编码器对待检测图像进行特征提取，确定远距离图像特征；
通过所述目标缺陷分割模型的第二编码器对待检测图像进行特征提取，确定近距离图像特征；
通过所述目标缺陷分割模型中融合层对所述远距离图像特征和所述近距离图像特征进行融合，确定融合特征；
通过所述目标缺陷分割模型中解码器对所述融合特征进行处理，得到道路缺陷分割结果。
2.根据权利要求1所述的方法，还包括：
获取预先训练的所述第二编码器，并确定第一训练样本；
采用所述第一训练样本，对基于注意力机制的分割模型进行训练，得到第一缺陷分割模型，所述分割模型包括编码器和解码器，所述基于注意力机制的分割模型包括编码器、融合层和解码器；
在所述第一缺陷分割模型中添加所述第二编码器，形成目标缺陷分割模型。
3.根据权利要求2所述的方法，其中，所述获取预先训练的所述第二编码器，包括：
采用第二训练样本，对分割模型进行训练，得到第二缺陷分割模型，所述第二训练样本包括以近距离视角采集的道路图像；
获取所述第二缺陷分割模型中的编码器，确定为所述第二编码器。
4.根据权利要求3所述的方法，其中，所述确定第一训练样本，包括：
采用所述第二编码器，对以远距离视角采集的道路图像进行处理，得到道路图像特征；
根据所述道路图像特征和所述以远距离视角采集的道路图像，确定第一训练样本。
5.根据权利要求1所述的方法，其中，所述通过所述目标缺陷分割模型中融合层对所述远距离图像特征和所述近距离图像特征进行融合，包括：
通过所述融合层对所述远距离图像特征进行处理，得到中间图像特征；
通过所述融合层将所述中间图像特征和所述近距离图像特征进行融合。
6.根据权利要求5所述的方法，其中，所述通过所述融合层对所述远距离图像特征进行处理，得到中间图像特征，包括：
通过所述融合层中包括的两个全连接层对所述远距离图像特征进行处理，得到两个中间图像特征，所述两个全连接层不同。
7.根据权利要求1所述的方法，其中，所述待检测图像包括车载相机拍摄的道路裂缝图像。
8.一种道路缺陷检测装置，包括：
远距离图像特征确定模块，用于通过目标缺陷分割模型的第一编码器对待检测图像进行特征提取，确定远距离图像特征；
近距离图像特征确定模块，用于通过所述目标缺陷分割模型的第二编码器对待检测图像进行特征提取，确定近距离图像特征；
特征融合模块，用于通过所述目标缺陷分割模型中融合层对所述远距离图像特征和所述近距离图像特征进行融合，确定融合特征；
道路缺陷分割结果确定模块，用于通过所述目标缺陷分割模型中解码器对所述融合特征进行处理，得到道路缺陷分割结果。
9.根据权利要求8所述的装置，还包括：
第一训练样本确定模块，用于获取预先训练的所述第二编码器，并确定第一训练样本；
第一缺陷分割模型训练模块，用于采用所述第一训练样本，对基于注意力机制的分割模型进行训练，得到第一缺陷分割模型，所述分割模型包括编码器和解码器，所述基于注意力机制的分割模型包括编码器、融合层和解码器；
目标缺陷分割模型生成模块，用于在所述第一缺陷分割模型中添加所述第二编码器，形成目标缺陷分割模型。
10.根据权利要求9所述的装置，其中，所述第一训练样本确定模块，包括：
第二缺陷分割模型训练单元，用于采用第二训练样本，对分割模型进行训练，得到第二缺陷分割模型，所述第二训练样本包括以近距离视角采集的道路图像；
第二编码器获取单元，用于获取所述第二缺陷分割模型中的编码器，确定为所述第二编码器。
11.根据权利要求10所述的装置，其中，所述第一训练样本确定模块，包括：
道路图像特征获取单元，用于采用所述第二编码器，对以远距离视角采集的道路图像进行处理，得到道路图像特征；
第一训练样本生成单元，用于根据所述道路图像特征和所述以远距离视角采集的道路图像，确定第一训练样本。
12.根据权利要求8所述的装置，其中，所述特征融合模块，包括：
中间图像特征获取单元，用于通过所述融合层对所述远距离图像特征进行处理，得到中间图像特征；
特征融合单元，用于通过所述融合层将所述中间图像特征和所述近距离图像特征进行融合。
13.根据权利要求12所述的装置，其中，所述中间图像特征获取单元，包括：
多个中间图像特征获取子单元，用于通过所述融合层中包括的两个全连接层对所述远距离图像特征进行处理，得到两个中间图像特征，所述两个全连接层不同。
14.根据权利要求8所述的装置，其中，所述待检测图像包括车载相机拍摄的图像。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的道路缺陷检测方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的道路缺陷检测方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的道路缺陷检测方法。
CN202110720087.XA 2021-06-28 2021-06-28 道路缺陷检测方法、装置、电子设备和存储介质 Pending CN113379719A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110720087.XA CN113379719A (zh) 2021-06-28 2021-06-28 道路缺陷检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110720087.XA CN113379719A (zh) 2021-06-28 2021-06-28 道路缺陷检测方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113379719A true CN113379719A (zh) 2021-09-10

Family

ID=77579530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110720087.XA Pending CN113379719A (zh) 2021-06-28 2021-06-28 道路缺陷检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113379719A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578702A (zh) * 2022-09-26 2023-01-06 北京百度网讯科技有限公司 道路元素的提取方法、装置、电子设备、存储介质及车辆
CN116152244A (zh) * 2023-04-19 2023-05-23 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种smt缺陷检测方法、系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136194A (zh) * 2011-03-22 2011-07-27 浙江工业大学 基于全景计算机视觉的道路交通状态检测装置
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN112464773A (zh) * 2020-11-19 2021-03-09 浙江吉利控股集团有限公司 一种道路类型识别方法、装置及系统
CN113034444A (zh) * 2021-03-08 2021-06-25 安徽建筑大学 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136194A (zh) * 2011-03-22 2011-07-27 浙江工业大学 基于全景计算机视觉的道路交通状态检测装置
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN112464773A (zh) * 2020-11-19 2021-03-09 浙江吉利控股集团有限公司 一种道路类型识别方法、装置及系统
CN113034444A (zh) * 2021-03-08 2021-06-25 安徽建筑大学 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578702A (zh) * 2022-09-26 2023-01-06 北京百度网讯科技有限公司 道路元素的提取方法、装置、电子设备、存储介质及车辆
CN115578702B (zh) * 2022-09-26 2023-12-05 北京百度网讯科技有限公司 道路元素的提取方法、装置、电子设备、存储介质及车辆
CN116152244A (zh) * 2023-04-19 2023-05-23 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种smt缺陷检测方法、系统

Similar Documents

Publication Publication Date Title
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
CN113379719A (zh) 道路缺陷检测方法、装置、电子设备和存储介质
EP4123595A2 (en) Method and apparatus of rectifying text image, training method and apparatus, electronic device, and medium
CN113205041A (zh) 结构化信息提取方法、装置、设备和存储介质
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN113298910A (zh) 生成交通标志线地图的方法、设备和存储介质
CN114140759A (zh) 高精地图车道线位置确定方法、装置及自动驾驶车辆
CN115359471A (zh) 图像处理及联合检测模型训练方法、装置、设备和存储介质
CN114612741A (zh) 缺陷识别模型的训练方法、装置、电子设备及存储介质
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
CN114387410A (zh) 道路数据融合的地图生成方法、装置以及电子设备
CN114022865A (zh) 基于车道线识别模型的图像处理方法、装置、设备和介质
CN113378857A (zh) 目标检测方法、装置、电子设备及存储介质
CN113569911A (zh) 车辆识别方法、装置、电子设备及存储介质
CN112883236A (zh) 一种地图更新方法、装置、电子设备及存储介质
CN115880555B (zh) 目标检测方法、模型训练方法、装置、设备及介质
CN115995075A (zh) 一种车辆自适应导航方法、装置、电子设备及存储介质
CN113920273B (zh) 图像处理方法、装置、电子设备和存储介质
CN114166238B (zh) 车道线的识别方法、装置及电子设备
CN115761698A (zh) 一种目标检测方法、装置、设备及存储介质
CN113706705B (zh) 用于高精地图的图像处理方法、装置、设备以及存储介质
CN115790621A (zh) 高精地图更新方法、装置及电子设备
CN115731273A (zh) 位姿图优化方法及装置、电子设备和存储介质
CN114429631A (zh) 三维对象检测方法、装置、设备以及存储介质
CN113591569A (zh) 障碍物检测方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination