CN115565148A - 道路图像的检测方法、装置、存储介质和电子装置 - Google Patents

道路图像的检测方法、装置、存储介质和电子装置 Download PDF

Info

Publication number
CN115565148A
CN115565148A CN202211395241.1A CN202211395241A CN115565148A CN 115565148 A CN115565148 A CN 115565148A CN 202211395241 A CN202211395241 A CN 202211395241A CN 115565148 A CN115565148 A CN 115565148A
Authority
CN
China
Prior art keywords
lane line
convolution
module
target
asymmetric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211395241.1A
Other languages
English (en)
Other versions
CN115565148B (zh
Inventor
钱鑫明
卢仁建
安阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foss Hangzhou Intelligent Technology Co Ltd
Original Assignee
Foss Hangzhou Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foss Hangzhou Intelligent Technology Co Ltd filed Critical Foss Hangzhou Intelligent Technology Co Ltd
Priority to CN202211395241.1A priority Critical patent/CN115565148B/zh
Publication of CN115565148A publication Critical patent/CN115565148A/zh
Application granted granted Critical
Publication of CN115565148B publication Critical patent/CN115565148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种道路图像的检测方法、装置、存储介质和电子装置，该方法包括：构建车道线编解码分割模型，其中，车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个编码器子模块中包括第一非对称空洞卷积层；使用标注了车道线信息的道路图像样本对车道线编解码分割模型进行训练，得到目标车道线编解码分割模型；通过目标车道线编解码分割模型对道路图像进行车道线检测，得到道路图像对应的目标车道线信息，采用上述技术方案，解决了相关技术中道路图像检测算法的效率较低等问题。

Description

道路图像的检测方法、装置、存储介质和电子装置
技术领域
本申请涉及计算机视觉技术领域，具体而言，涉及一种道路图像的检测方法、装置、存储介质和电子装置。
背景技术
道路图像检测技术是辅助驾驶领域最重要的组成部分之一，以车道线检测技术为例，基于单目摄像头的传感器由于感受视野丰富，价格低廉等优势，成为主流的车道线检测传感器。然而，针对单目摄像头在夜间，阴雨，人车密集区域等复杂时空下的感知缺陷，传统算法的检测效果不佳，鲁棒性较差。为了提高车道线检测的准确度和效率，具有特征信息提取能力强，深度语义信息具有抽象性等优势的基于卷积神经网络的检测方法，在车道线检测任务中有所应用。
深度学习方法属于有监督算法，现有的基于卷积神经网络深度学习的车道线检测过程大多依赖于复杂的架构设计，通过添加各种复杂的模型结构来提升检测精度，从而使得计算复杂度较高，检测效率较低。
针对上述问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种道路图像的检测方法、装置、存储介质和电子装置，以至少解决相关技术中，对道路图像进行检测的效率较低等问题。
根据本申请实施例的一个实施例，提供了一种道路图像的检测方法，包括：构建车道线编解码分割模型，其中，所述车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，所述编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个所述编码器子模块中包括第一非对称空洞卷积层，所述第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，所述具有第一孔洞率的卷积核的排布以列向量为基础依次以所述第一孔洞率的列为间隔排列形成非对称的空洞，所述具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞；使用标注了车道线信息的道路图像样本对所述车道线编解码分割模型进行训练，得到目标车道线编解码分割模型；通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息。
可选地，在一个示例性实施例中，构建车道线编解码分割模型，包括：确定每个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的目标排布方式以及每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的目标孔洞率，其中，多个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的排布方式相同，每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的孔洞率随着所在的所述编码器子模块的连接顺序的由前到后依次递增；按照所述目标排布方式和所述目标孔洞率构建依次连接的多个所述编码器子模块。
可选地，在一个示例性实施例中，确定每个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的目标排布方式以及每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的目标孔洞率，包括：根据所述车道线编解码分割模型在行驶工具上的安装位置确定所述目标排布方式；根据所述道路图像的图像尺寸确定排列在首位的编码器子模块对应的所述目标孔洞率以及连续两个编码器子模块对应的所述目标孔洞率的目标递增比例。
可选地，在一个示例性实施例中，根据所述车道线编解码分割模型在行驶工具上的安装位置确定所述目标排布方式，包括：确定所述车道线编解码分割模型在行驶工具上的安装位置，其中，所述安装位置包括：端部和侧部；在所述安装位置为侧部的情况下，确定所述目标排布方式为所述具有第一孔洞率的卷积核的排布方式；在所述安装位置为端部的情况下，确定所述目标排布方式为所述具有第二孔洞率的卷积核的排布方式。
可选地，在一个示例性实施例中，根据所述道路图像的图像尺寸确定排列在首位的编码器子模块对应的所述目标孔洞率以及连续两个编码器子模块对应的所述目标孔洞率的目标递增比例，包括：获取所述道路图像的图像尺寸；将所述图像尺寸带入图像尺寸与递增比例之间的相关函数，得到所述目标递增比例，其中，所述目标递增比例与所述图像尺寸正相关。
可选地，在一个示例性实施例中，构建车道线编解码分割模型，包括：构建所述特征融合器模块，其中，所述特征融合器模块包括并行连接的多个特征融合子模块，至少一个所述特征融合子模块中包括第二非对称空洞卷积层，所述第二非对称空洞卷积层的卷积核包括：具有第三孔洞率的卷积核，或者，具有第四孔洞率的卷积核，所述具有第三孔洞率的卷积核的排布以列向量为基础依次以所述第三孔洞率的列为间隔排列形成非对称的空洞，所述具有第四孔洞率的卷积核的排布以行向量为基础依次以第四孔洞率的行为间隔排列形成非对称的空洞。
可选地，在一个示例性实施例中，特征融合器模块中所包括的所述第二非对称空洞卷积层的数量和所具有的孔洞率与所述编码器下采样模块中所包括的所述第一非对称空洞卷积层的数量和所具有的孔洞率相同。
可选地，在一个示例性实施例中，一个所述特征融合子模块中包括卷积核为1×1，步长为1的基本卷积层，一个所述特征融合子模块中包括最大池化层，多个所述特征融合子模块中其他所述特征融合子模块中包括所述第二非对称空洞卷积层。
可选地，在一个示例性实施例中，每个所述特征融合子模块中包括依次连接的特征融合层和深度可分离卷积层，所述特征融合层为卷积层或者所述最大池化层。
可选地，在一个示例性实施例中，通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息，包括：截取所述道路图像中的感兴趣区域，得到感兴趣图像，其中，所述感兴趣区域是所述道路图像中车道线所在的部分区域；将所述感兴趣图像输入所述目标车道线编解码分割模型；获取所述目标车道线编解码分割模型输出的携带了车道线信息的二值图作为所述目标车道线信息。
根据本申请实施例的另一个实施例，还提供了一种道路图像的检测装置，包括：构建模块，用于构建车道线编解码分割模型，其中，所述车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，所述编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个所述编码器子模块中包括第一非对称空洞卷积层，所述第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，所述具有第一孔洞率的卷积核的排布以列向量为基础依次以所述第一孔洞率的列为间隔排列形成非对称的空洞，所述具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞；训练模块，用于使用标注了车道线信息的道路图像样本对所述车道线编解码分割模型进行训练，得到目标车道线编解码分割模型；检测模块，用于通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息。
根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述道路图像的检测方法。
根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的道路图像的检测方法。
通过本申请，首先构建车道线编解码分割模型，该车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个编码器子模块中包括第一非对称空洞卷积层，第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，具有第一孔洞率的卷积核的排布以列向量为基础依次以第一孔洞率的列为间隔排列形成非对称的空洞，具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞。该车道线编解码分割模型能够针对车道线细长的特点，在编码器下采样模块中通过以列向量或者行向量为基础排布的非对称空洞卷积层，形成以非对称空洞为特点的、更适配车道线特征的特征提取器，其中，非对称卷积具有大大减少参数及计算量的特点，而在特征图相同情况下，空洞卷积可以得到更大的感受野，在获得更加密集的数据的同时，更大的感受野可以提高在目标检测和语义分割的任务中的小物体识别分割的的效果，而以列向量或者行向量为基础的排布方式更针对车道线的样本特征，从而达到更精确且有效率地提取车道线各维度特征的目的。因此，通过训练后的目标车道线编解码分割模型能提高对道路图像进行车道线检测的效率，进而解决了相关技术中对道路图像进行检测的效率较低的技术问题，实现了提高对道路图像进行检测的效率的技术效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种道路图像的检测方法的硬件环境示意图；
图2是根据本申请实施例的一种道路图像的检测方法的流程图；
图3是根据本申请实施例的一种第一非对称空洞卷积层的卷积核的示意图；
图4是根据本申请实施例的一种编码器下采样模块的示意图；
图5是根据本申请实施例的一种编码器子模块的示意图；
图6是根据本申请实施例的一种特征融合器模块的示意图；
图7是根据本申请实施例提供的一种解码器上采样模块的示意图；
图8是根据本申请实施例提供的一种车道线编解码分割模型的示意图；
图9为根据本申请实施例提供的一种训练模型结果示意图一；
图10为根据本申请实施例提供的一种训练模型结果示意图二；
图11为根据本申请实施例提供的一种携带了车道线信息的二值图的示意图一；
图12为根据本申请实施例提供的一种携带了车道线信息的二值图的示意图二；
图13是根据本申请实施例的一种道路图像的检测过程的示意图；
图14是根据本申请实施例的一种道路图像的检测装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例所提供的方法实施例可以在计算机终端、设备终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是根据本申请实施例的一种道路图像的检测方法的硬件环境示意图。如图1所示，计算机终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的消息推送的发送方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种道路图像的检测方法，图2是根据本申请实施例的一种道路图像的检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，构建车道线编解码分割模型，其中，所述车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，所述编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个所述编码器子模块中包括第一非对称空洞卷积层，所述第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，所述具有第一孔洞率的卷积核的排布以列向量为基础依次以所述第一孔洞率的列为间隔排列形成非对称的空洞，所述具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞；
步骤S204，使用标注了车道线信息的道路图像样本对所述车道线编解码分割模型进行训练，得到目标车道线编解码分割模型；
步骤S206，通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息。
通过上述步骤，首先构建车道线编解码分割模型，该车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个编码器子模块中包括第一非对称空洞卷积层，第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，具有第一孔洞率的卷积核的排布以列向量为基础依次以第一孔洞率的列为间隔排列形成非对称的空洞，具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞。该车道线编解码分割模型能够针对车道线细长的特点，在编码器下采样模块中通过以列向量或者行向量为基础排布的非对称空洞卷积层，形成以非对称空洞为特点的、更适配车道线特征的特征提取器，其中，非对称卷积具有大大减少参数及计算量的特点，而在特征图相同情况下，空洞卷积可以得到更大的感受野，在获得更加密集的数据的同时，更大的感受野可以提高在目标检测和语义分割的任务中的小物体识别分割的的效果，而以列向量或者行向量为基础的排布方式更针对车道线的样本特征，从而达到更精确且有效率地提取车道线各维度特征的目的。因此，通过训练后的目标车道线编解码分割模型能提高对道路图像进行车道线检测的效率，进而解决了相关技术中对道路图像进行检测的效率较低的技术问题，实现了提高对道路图像进行检测的效率的技术效果。
在上述步骤S202提供的技术方案中，车道线编解码分割模型可以但不限于是深度学习的卷积神经网络模型架构。其包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块。其中的编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个编码器子模块中包括第一非对称空洞卷积层。
可选地，在本实施例中，第一非对称空洞卷积层的卷积核的类型包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核。第一孔洞率与第二孔洞率可以相同也可以不同。
可选地，在本实施例中，具有第一孔洞率的卷积核的排布以列向量为基础依次以第一孔洞率的列为间隔排列形成非对称的空洞，具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞。比如：第一非对称空洞卷积层的孔洞率为r，根据车道线细长的特点，卷积核的排布设计以列向量或者行向量为基础，依次以r列或r行间隔排列得到卷积核大小为K×K的非对称空洞卷积核，形成以非对称空洞为特点的特征提取器，用于更有效地提取车道线细长特征。图3是根据本申请实施例的一种第一非对称空洞卷积层的卷积核的示意图，如图3所示，第一非对称空洞卷积层的孔洞率为1，根据车道线细长的特点，卷积核的排布设计以列向量为基础，依次以1列间隔排列可以得到卷积核大小为5×5的具有第一孔洞率的卷积核。第一非对称空洞卷积层的孔洞率为1，根据车道线细长的特点，卷积核的排布设计以行向量为基础，依次以1行间隔排列可以得到卷积核大小为5×5的具有第二孔洞率的卷积核。根据车道线细长的样本特征，形成以非对称空洞为特点的特征提取器，用于更有效地提取车道线细长特征。
可选地，在本实施例中，编码器下采样模块用于对道路图像进行车道线特征的提取，其还可以但不限于包括其他网络层，比如输入层，普通卷积层等等，每个编码器子模块中也可以但不限于包括其他网络层，比如：block（块，构建卷积神经网络的基本单元）卷积层。
在一个可选的实施方式中，提供了一种可选的编码器下采样模块的模型架构，图4是根据本申请实施例的一种编码器下采样模块的示意图，如图4所示，编码器下采样模块包括依次连接的普通卷积层，编码器子模块一，编码器子模块二及编码器子模块三。编码器子模块一包括依次连接的block卷积层A和非对称空洞卷积层A；编码器子模块二包括依次连接的block卷积层B和非对称空洞卷积层B；编码器子模块三包括依次连接的block卷积层C和非对称空洞卷积层C。依次详细说明编码器下采样模块中的各个结构：普通卷积层的卷积核大小为K×K，步长为1，普通卷积层主要用于车道线浅层语义信息的提取和图像下采样。各个编码器子模块的结构类似，编码器子模块可以用于提取车道线高维特征信息。
在一个可选的实施方式中，提供了一种可选的编码器子模块的模型架构，图5是根据本申请实施例的一种编码器子模块的示意图，如图5所示，各个编码器子模块的结构类似，包括依次连接的block卷积层一，block卷积层二和非对称空洞卷积层。依次详细说明编码器子模块中的各个卷积层：第一层block卷积层用于深层语义信息的提取，包括两个依次连接的卷积层，两个依次连接卷积层的卷积核的大小均为K×K，步长为1，经过两层卷积的特征图再与输入的特征图相加，作为跳跃连接结构。输出的特征图会继续重复一次第二层block卷积层的跳跃连接，输出新的包含浅层信息的特征图。需要说明的是，第一层block层和第二层block层的卷积结构相同，每一层block层都会连接一个ReLu（Linearrectification function，线性整流函数）激活函数和一个BN（Batch Normalization，批归一化层）层。编码器子模块最后一层是非对称空洞卷积层，该层主要作用是在不损失空间分辨率的前提下，增强网络的感受野，包括一个非对称空洞卷积，激活函数及BN层，非对称空洞卷积的卷积核大小为K×K，步长为1。
在一个示例性实施例中，可以但不限于采用以下方式构建车道线编解码分割模型：确定每个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的目标排布方式以及每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的目标孔洞率，其中，多个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的排布方式相同，每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的孔洞率随着所在的所述编码器子模块的连接顺序的由后到前依次递增；按照所述目标排布方式和所述目标孔洞率构建依次连接的多个所述编码器子模块。
可选地，在本实施例中，每个编码器子模块中包括的第一非对称空洞卷积层的卷积核的目标排布方式可以但不限于包括以列向量为基础和以行向量为基础两者其中之一。
可选地，在本实施例中，以共有三个编码器子模块为例进行说明：由前到后依次连接的编码器子模块一、编码器子模块二以及编码器子模块三，编码器子模块一中包括的第一非对称空洞卷积层的卷积核以列向量的基础排布，则编码器子模块二和编码器子模块三中包括的第一非对称空洞卷积层的卷积核也以列向量的基础排布；编码器子模块一中包括的第一非对称空洞卷积层的卷积核以行向量的基础排布，则编码器子模块二和编码器子模块三中包括的第一非对称空洞卷积层的卷积核也以行向量的基础排布。
可选地，在本实施例中，以共有三个编码器子模块为例进行说明：由前到后依次连接的编码器子模块一、编码器子模块二以及编码器子模块三分别对应的第一非对称空洞卷积层的卷积核具有的空洞率依次为r1，r2，r3，其中r1>r2>r3，即编码器子模块三到编码器子模块一（按连接顺序由后向前）中包括的第一非对称空洞卷积层的卷积核具有的孔洞率依次递增。不同空洞卷积的孔洞率对空间特征信息的提取不同。编码器下采样子模块一的空间分辨率较高，语义信息较浅，因此适合孔洞率较高的空洞卷积，捕获更多的空间特征信息。编码器下采样子模块三的空间分辨率较低，语义信息较深，因此适合孔洞率较低的空洞卷积，获取更多的局部特征信息。
在一个示例性实施例中，可以但不限于采用以下方式确定每个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的目标排布方式以及每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的目标孔洞率：根据所述车道线编解码分割模型在行驶工具上的安装位置确定所述目标排布方式；根据所述道路图像的图像尺寸确定排列在末位的编码器子模块对应的所述目标孔洞率以及连续两个编码器子模块对应的所述目标孔洞率的目标递增比例。
可选地，在本实施例中，行驶工具可以但不限于包括是任何种类任何功能的允许部署单目摄像头并且移动轨迹允许被控制的需要检测道路图像的行驶工具，比如：交通工具（机动车，非机动车等等），测量工具（无人机，探测车等等）。
可选地，在本实施例中，上述道路图像的检测方法可以但不限于应用上述行驶工具上，或者也可以应用于行驶工具对应的服务器上，由该服务器对行驶工具进行控制。
可选地，在本实施例中，若道路图像的图像尺寸较大，则所需的感受野越大，排列在末位的编码器子模块对应的目标孔洞率越大，目标孔洞率的目标递增比例也越大；若道路图像的图像尺寸较小，则所需的感受野越小，排列在末位的编码器子模块对应的目标孔洞率越小，目标孔洞率的目标递增比例也越小。
在一个示例性实施例中，可以但不限于采用以下方式根据所述车道线编解码分割模型在行驶工具上的安装位置确定所述目标排布方式：确定所述车道线编解码分割模型在行驶工具上的安装位置，其中，所述安装位置包括：端部和侧部；在所述安装位置为侧部的情况下，确定所述目标排布方式为所述具有第一孔洞率的卷积核的排布方式；在所述安装位置为端部的情况下，确定所述目标排布方式为所述具有第二孔洞率的卷积核的排布方式。
可选地，在本实施例中，若车道线编解码分割模型在行驶工具上的安装位置为左右方（即侧部），则确定每个编码器子模块中包括的第一非对称空洞卷积层的卷积核为以列向量为基础依次以第一孔洞率的列为间隔排列形成非对称的空洞（即目标排布方式）；若车道线编解码分割模型在行驶工具上的安装位置为前后方（即端部），则确定每个编码器子模块中包括的第一非对称空洞卷积层的卷积核为以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞（即目标排布方式）。
在一个示例性实施例中，可以但不限于采用以下方式根据所述道路图像的图像尺寸确定排列在首位的编码器子模块对应的所述目标孔洞率以及连续两个编码器子模块对应的所述目标孔洞率的目标递增比例：获取所述道路图像的图像尺寸；将所述图像尺寸带入图像尺寸与递增比例之间的相关函数，得到所述目标递增比例，其中，所述目标递增比例与所述图像尺寸正相关。
可选地，在本实施例中，获取道路图像的图像尺寸的方法可以但不限于包括利用C++（C语言的一种，面向对象的编程语言）、Java（JavaScript，面向对象的编程语言）、Python（一种跨平台的电脑程式设计语言，是一种面向对象的动态类型语言）等编程语言编写读取函数等。
可选地，在本实施例中，可以但不限于采用公式（1）（2）（3）（4）表示目标递增比例和图像尺寸的正相关函数：
Figure 843528DEST_PATH_IMAGE002
（1）
Figure 826528DEST_PATH_IMAGE004
（2）
Figure 690579DEST_PATH_IMAGE006
（3）
Figure 724525DEST_PATH_IMAGE008
（4）
公式（1）（2）（3）（4）中，y表示目标递增比例，x表示图像尺寸。
在一个示例性实施例中，可以但不限于采用以下方式构建车道线编解码分割模型：构建所述特征融合器模块，其中，所述特征融合器模块包括并行连接的多个特征融合子模块，至少一个所述特征融合子模块中包括第二非对称空洞卷积层，所述第二非对称空洞卷积层的卷积核包括：具有第三孔洞率的卷积核，或者，具有第四孔洞率的卷积核，所述具有第三孔洞率的卷积核的排布以列向量为基础依次以所述第三孔洞率的列为间隔排列形成非对称的空洞，所述具有第四孔洞率的卷积核的排布以行向量为基础依次以第四孔洞率的行为间隔排列形成非对称的空洞。
可选地，在本实施例中，特征融合器模块可以但不限于包括并行连接的多个特征融合子模块，至少一个特征融合子模块中可以但不限于包括第二非对称空洞卷积层。以共有五个特征融合子模块为例进行说明：特征融合器模块包括五个不同的并行连接的特征融合子模块，其中有三个特征融合子模块包括第二非对称空洞卷积层，一个孔洞率为r1的第二非对称空洞卷积层一，一个孔洞率为r2的第二非对称空洞卷积层二，一个孔洞率为r3的第二非对称空洞卷积层三。特征融合模块用于融合多尺度的特征信息，提高网络特征的提取能力。
可选的，在本实施例中，若第二非对称空洞卷积层为具有孔洞率u（即第三孔洞率）的卷积核，则卷积核的排布设计以列向量为基础，依次以u列间隔排列；若第二非对称空洞卷积层为具有孔洞率v（即第四孔洞率）的卷积核，则卷积核的排布设计以行向量为基础，依次以v列间隔排列。
在一个示例性实施例中，所述特征融合器模块中所包括的所述第二非对称空洞卷积层的数量和所具有的孔洞率可以但不限于与所述编码器下采样模块中所包括的所述第一非对称空洞卷积层的数量和所具有的孔洞率相同。
可选地，在本实施例中，以编码器下采样模块中包括三个第一非对称空洞卷积层举例说明：编码器下采样模块中包括一个孔洞率为r1的第一非对称空洞卷积层一，一个孔洞率为r2的第一非对称空洞卷积层二，一个孔洞率为r3的第一非对称空洞卷积层三，则特征融合器模块也包括三个第二非对称空洞卷积层，一个孔洞率为r1的第二非对称空洞卷积层一，一个孔洞率为r2的第二非对称空洞卷积层二，一个孔洞率为r3的第二非对称空洞卷积层三。
可选地，在本实施例中，第二非对称空洞卷积层的卷积核的排布方式可以但不限于与第一非对称空洞卷积层的卷积核的排布方式相同。
在一个示例性实施例中，一个所述特征融合子模块中可以但不限于包括卷积核为1×1，步长为1的基本卷积层，一个所述特征融合子模块中可以但不限于包括最大池化层，多个所述特征融合子模块中其他所述特征融合子模块中可以但不限于包括所述第二非对称空洞卷积层。
在一个示例性实施例中，每个所述特征融合子模块中可以但不限于包括依次连接的特征融合层和深度可分离卷积层，所述特征融合层可以但不限于为卷积层或者所述最大池化层。
可选地，在本实施例中，卷积层可以但不限于包括基本卷积层或第二非对称空洞卷积层。
在一个可选的实施方式中，提供了一种可选的特征融合器模块的模型架构，以共有五个不同的特征融合子模块为例，依次详细说明五个不同的特征融合子模块中的各个结构：图6是根据本申请实施例的一种特征融合器模块的示意图，如图6所示，特征融合器模块包括输入层input，特征融合子模块L1~L5层以及输出层concat。其中，L1层为1×1，步长为1的普通卷积层（即上述基本卷积层），后接ReLu的激活函数和BN层。用于改变特征图的通道数，融合全局特征信息。L2~L4层是孔洞率依次为r1，r2，r3的非对称空洞卷积层，卷积层的卷积核大小相同为K×K，步长为1。需要说明的是，孔洞率按照一定的比例扩增，比例的大小遵循实际特征图的大小而定。不同孔洞率的空洞卷积层的叠加能够捕获不同的空间分辨率特征信息，增强网络的感受野。L5层是一个大小为K×K的最大池化层，步长为2，用于降低冗余的信息，提高网络的泛化性。需要进一步说明的是，L1~L5层的输入层均为同一特征图，并行提取不同感受野的特征，后均连接一个卷积核大小为K×K的深度可分离卷积层，该深度可分离卷积层用于消除特征融合后的混叠效应，而采用深度可分离卷积能够实现特征融合的前提下，加快算法的运行效率，满足芯片算力的要求。
可选的，在本实施例中，构建车道线编解码分割模型还可以但不限于包括构建解码器上采样模块，图7是根据本申请实施例提供的一种解码器上采样模块的示意图，如图7所示，解码器上采样模块包括三个相同且依次连接的解码器上采样子模块，随后跟着一个softmax（归一化指数函数）函数，其中，每个解码器上采样子模块中包括依次连接的深度可分离反卷积层以及一个基本卷积层，依次详细说明解码器上采样子模块中的各个结构：深度可分离反卷积层的卷积核大小为K×K，步长为2，在上采样2倍的同时，减少网络的参数量，提高模型的运算效率。需要说明的是，三个深度可分离反卷积层均会跟着一个卷积核大小为1×1的基本卷积层，用于降低特征图的通道数，达到降维减少计算量的目的。
在一个可选的实施方式中，提供了一种可选的车道线编解码分割模型的模型架构，图8是根据本申请实施例提供的一种车道线编解码分割模型的示意图，如图8所示，车道线编解码分割模型包括编码器下采样模块，特征融合器模块和解码器上采样模块，编码器下采样模块的输出作为特征融合器模块的输入，特征融合器模块的输出作为解码器上采样模块的输入，各个模块采用上述的模型架构设计。
在上述步骤S204提供的技术方案中，使用标注了车道线信息的道路图像样本可以但不限于包括对车道线编解码分割模型中的编码器下采样模块、特征融合器模块以及解码器上采样模块进行训练。
可选地，在本实施例中，训练过程中，标注了车道线信息的道路图像样本依次输入编码器下采样模块、特征融合器模块以及解码器上采样模块，经过解码器上采样中的softmax函数输出携带了车道线信息的预测二值图后与真值图之间计算损失函数，从而衡量预测数据和实际数据的差异程度。利用随机梯度下降法，反向传播更新网络参数，实现训练的一次迭代过程。经过N次重复的训练，迭代优化网络参数，保存模型结果，完成整个模型训练过程。
可选地，在本实施例中，损失函数可以但不限于包括交叉熵函数，以交叉熵函数为例进行说明：交叉熵函数可以但不限于采用公式（5）计算：
Figure 15829DEST_PATH_IMAGE010
（5）
其中，
Figure DEST_PATH_IMAGE011
表示样本
Figure 486125DEST_PATH_IMAGE012
的标签，正类为1，负类为0，
Figure DEST_PATH_IMAGE013
——表示样本
Figure 606396DEST_PATH_IMAGE012
预测为正类的概率。整个训练的超参数设置如下，batch_size设置为BS，最大的迭代次数设置为N，学习率设置为LR。图9为根据本申请实施例提供的一种训练模型结果示意图一，如图9所示，第一次训练拟合结果的曲线图波动较大。训练模型结果需要设计常见的评价指标来检验模型的可靠性。利用IOU（Intersection over Union，交并比，即交集和并集的比值）表示预测的边框和真实的边框的交叠率，从而评价指标以及模型，按照默认值构建并训练网络模型，IOU能够达到0.85以上即完成整个模型训练过程。图10为根据本申请实施例提供的一种训练模型结果示意图二，如图10所示，IOU达到0.85以上得到的最终训练拟合结果的曲线图波动较小。
在上述步骤S206提供的技术方案中，输入目标车道线编解码分割模型的道路图像的尺寸以及处理参数均可以与模型训练过程相同，也可以不同。
在一个示例性实施例中，可以但不限于采用以下方式通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息：截取所述道路图像中的感兴趣区域，得到感兴趣图像，其中，所述感兴趣区域是所述道路图像中车道线所在的部分区域；将所述感兴趣图像输入所述目标车道线编解码分割模型；获取所述目标车道线编解码分割模型输出的携带了车道线信息的二值图作为所述目标车道线信息。
可选地，在本实施例中，图11为根据本申请实施例提供的一种携带了车道线信息的二值图的示意图一，如图11所示，将感兴趣图像输入目标车道线编解码分割模型，依次经过编码器下采样模块、特征融合器模块和解码器下采样模块，最后输出携带了车道线信息的二值图作为目标车道线信息。
可选地，在本实施例中，经过softmax函数输出的预测二值图可以但不限于通过阈值后直接输出预测结果，阈值默认设置为0.7，可以但不限于采用公式（6）计算代表车道线信息的二值结果：
Figure DEST_PATH_IMAGE015
（6）
可选地，在本实施例中，预测结果可以但不限于为包含车道线信息的二值图，图12为根据本申请实施例提供的一种携带了车道线信息的二值图的示意图二，如图12所示，图像包含车道线的像素值为1，背景的像素值为0。
在一个可选的实施方式中，提供了一种可选的，图13是根据本申请实施例的一种道路图像的检测过程的示意图，如图13所示，对道路图像进行检测，首先采集原始车道线图像，再截取车道线ROI（Region of Interest，感兴趣区域）区域，其次训练非对称可分离空洞卷积的车道线编解码分割模型，再将原始图像输入上述分割模型，最后输出包含车道线信息的二值图，步骤如下：
S1302，采集基于单目摄像头并经过人工标注的原始车道线图像；
S1304，截取车道线所在图像的ROI（Region of Interest，感兴趣区域）区域图像；
S1306，使用获得的车道线ROI区域图像，有监督地训练基于非对称可分离空洞卷积的车道线编解码分割模型；
S1308，获得的车道线编解码分割模型，输入与步骤S302相同的基于单目摄像头的原始车道线图像；
S1310，输出包含车道线信息的二值图。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。
在本实施例中还提供了一种道路图像的检测装置，图14是根据本申请实施例的一种道路图像的检测装置的结构框图，如图14所示，该装置包括：
构建模块1402，用于构建车道线编解码分割模型，其中，所述车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，所述编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个所述编码器子模块中包括第一非对称空洞卷积层，所述第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，所述具有第一孔洞率的卷积核的排布以列向量为基础依次以所述第一孔洞率的列为间隔排列形成非对称的空洞，所述具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞；
训练模块1404，用于使用标注了车道线信息的道路图像样本对所述车道线编解码分割模型进行训练，得到目标车道线编解码分割模型；
检测模块1406，用于通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息。
通过上述装置，首先构建车道线编解码分割模型，该车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个编码器子模块中包括第一非对称空洞卷积层，第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，具有第一孔洞率的卷积核的排布以列向量为基础依次以第一孔洞率的列为间隔排列形成非对称的空洞，具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞。该车道线编解码分割模型能够针对车道线细长的特点，在编码器下采样模块中通过以列向量或者行向量为基础排布的非对称空洞卷积层，形成以非对称空洞为特点的、更适配车道线特征的特征提取器，其中，非对称卷积具有大大减少参数及计算量的特点，而在特征图相同情况下，空洞卷积可以得到更大的感受野，在获得更加密集的数据的同时，更大的感受野可以提高在目标检测和语义分割的任务中的小物体识别分割的的效果，而以列向量或者行向量为基础的排布方式更针对车道线的样本特征，从而达到更精确且有效率地提取车道线各维度特征的目的。因此，通过训练后的目标车道线编解码分割模型能提高对道路图像进行车道线检测的效率，进而解决了相关技术中对道路图像进行检测的效率较低的技术问题，实现了提高对道路图像进行检测的效率的技术效果。
在一个示例性实施例中，所述构建模块，包括：
确定单元，用于确定每个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的目标排布方式以及每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的目标孔洞率，其中，多个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的排布方式相同，每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的孔洞率随着所在的所述编码器子模块的连接顺序的由前到后依次递增；
第一构建单元，用于按照所述目标排布方式和所述目标空洞率构建依次连接的多个所述编码器子模块。
第二构建单元，用于构建所述特征融合器模块，其中，所述特征融合器模块包括并行连接的多个特征融合子模块，至少一个所述特征融合子模块中包括第二非对称空洞卷积层，所述第二非对称空洞卷积层的卷积核包括：具有第三孔洞率的卷积核，或者，具有第四孔洞率的卷积核，所述具有第三孔洞率的卷积核的排布以列向量为基础依次以所述第三孔洞率的列为间隔排列形成非对称的空洞，所述具有第四孔洞率的卷积核的排布以行向量为基础依次以第四孔洞率的行为间隔排列形成非对称的空洞。
在一个示例性实施例中，所述确定单元，用于：根据所述车道线编解码分割模型在行驶工具上的安装位置确定所述目标排布方式；根据所述道路图像的图像尺寸确定排列在首位的编码器子模块对应的所述目标孔洞率以及连续两个编码器子模块对应的所述目标孔洞率的目标递增比例。
在一个示例性实施例中，所述确定单元，用于：确定所述车道线编解码分割模型在行驶工具上的安装位置，其中，所述安装位置包括：端部和侧部；在所述安装位置为侧部的情况下，确定所述目标排布方式为所述具有第一孔洞率的卷积核的排布方式；在所述安装位置为端部的情况下，确定所述目标排布方式为所述具有第二孔洞率的卷积核的排布方式。
在一个示例性实施例中，所述确定单元，用于：获取所述道路图像的图像尺寸；将所述图像尺寸带入图像尺寸与递增比例之间的相关函数，得到所述目标递增比例，其中，所述目标递增比例与所述图像尺寸正相关。
在一个示例性实施例中，所述第二构建单元中的所述特征融合器模块中所包括的所述第二非对称空洞卷积层的数量和所具有的孔洞率与所述编码器下采样模块中所包括的所述第一非对称空洞卷积层的数量和所具有的孔洞率相同。
在一个示例性实施例中，所述第二构建单元中的一个所述特征融合子模块中包括卷积核为1×1，步长为1的基本卷积层，一个所述特征融合子模块中包括最大池化层，多个所述特征融合子模块中其他所述特征融合子模块中包括所述第二非对称空洞卷积层。
在一个示例性实施例中，所述第二构建单元中的每个所述特征融合子模块中包括依次连接的特征融合层和深度可分离卷积层，所述特征融合层为卷积层或者所述最大池化层。
在一个示例性实施例中，所述检测模块包括：
截取单元，用于截取所述道路图像中的感兴趣区域，得到感兴趣图像，其中，所述感兴趣区域是所述道路图像中车道线所在的部分区域；
输入单元，用于将所述感兴趣图像输入所述目标车道线编解码分割模型；
获取单元，用于获取所述目标车道线编解码分割模型输出的携带了车道线信息的二值图作为所述目标车道线信息。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本申请的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，构建车道线编解码分割模型，其中，所述车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，所述编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个所述编码器子模块中包括第一非对称空洞卷积层，所述第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，所述具有第一孔洞率的卷积核的排布以列向量为基础依次以所述第一孔洞率的列为间隔排列形成非对称的空洞，所述具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞；
S2，使用标注了车道线信息的道路图像样本对所述车道线编解码分割模型进行训练，得到目标车道线编解码分割模型；
S3，通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，构建车道线编解码分割模型，其中，所述车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，所述编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个所述编码器子模块中包括第一非对称空洞卷积层，所述第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，所述具有第一孔洞率的卷积核的排布以列向量为基础依次以所述第一孔洞率的列为间隔排列形成非对称的空洞，所述具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞；
S2，使用标注了车道线信息的道路图像样本对所述车道线编解码分割模型进行训练，得到目标车道线编解码分割模型；
S3，通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅是本申请的优选实施方式，并不用于限制本申请，应当指出，对于本技术领域的普通技术人员来说，本申请可以有各种更改和变化，凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种道路图像的检测方法，其特征在于，包括：
构建车道线编解码分割模型，其中，所述车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，所述编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个所述编码器子模块中包括第一非对称空洞卷积层，所述第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，所述具有第一孔洞率的卷积核的排布以列向量为基础依次以所述第一孔洞率的列为间隔排列形成非对称的空洞，所述具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞；
使用标注了车道线信息的道路图像样本对所述车道线编解码分割模型进行训练，得到目标车道线编解码分割模型；
通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息。
2.根据权利要求1所述的方法，其特征在于，所述构建车道线编解码分割模型，包括：
确定每个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的目标排布方式以及每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的目标孔洞率，其中，多个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的排布方式相同，每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的孔洞率随着所在的所述编码器子模块的连接顺序的由后到前依次递增；
按照所述目标排布方式和所述目标孔洞率构建依次连接的多个所述编码器子模块。
3.根据权利要求2所述的方法，其特征在于，所述确定每个所述编码器子模块中包括的第一非对称空洞卷积层的卷积核的目标排布方式以及每个编码器子模块中包括的第一非对称空洞卷积层的卷积核具有的目标孔洞率，包括：
根据所述车道线编解码分割模型在行驶工具上的安装位置确定所述目标排布方式；
根据所述道路图像的图像尺寸确定排列在末位的编码器子模块对应的所述目标孔洞率以及连续两个编码器子模块对应的所述目标孔洞率的目标递增比例。
4.根据权利要求3所述的方法，其特征在于，所述根据所述车道线编解码分割模型在行驶工具上的安装位置确定所述目标排布方式，包括：
确定所述车道线编解码分割模型在行驶工具上的安装位置，其中，所述安装位置包括：端部和侧部；
在所述安装位置为侧部的情况下，确定所述目标排布方式为所述具有第一孔洞率的卷积核的排布方式；
在所述安装位置为端部的情况下，确定所述目标排布方式为所述具有第二孔洞率的卷积核的排布方式。
5.根据权利要求3所述的方法，其特征在于，所述根据所述道路图像的图像尺寸确定排列在末位的编码器子模块对应的所述目标孔洞率以及连续两个编码器子模块对应的所述目标孔洞率的目标递增比例，包括：
获取所述道路图像的图像尺寸；
将所述图像尺寸带入图像尺寸与递增比例之间的相关函数，得到所述目标递增比例，其中，所述目标递增比例与所述图像尺寸正相关。
6.根据权利要求1所述的方法，其特征在于，所述构建车道线编解码分割模型，包括：
构建所述特征融合器模块，其中，所述特征融合器模块包括并行连接的多个特征融合子模块，至少一个所述特征融合子模块中包括第二非对称空洞卷积层，所述第二非对称空洞卷积层的卷积核包括：具有第三孔洞率的卷积核，或者，具有第四孔洞率的卷积核，所述具有第三孔洞率的卷积核的排布以列向量为基础依次以所述第三孔洞率的列为间隔排列形成非对称的空洞，所述具有第四孔洞率的卷积核的排布以行向量为基础依次以第四孔洞率的行为间隔排列形成非对称的空洞。
7.根据权利要求6所述的方法，其特征在于，所述特征融合器模块中所包括的所述第二非对称空洞卷积层的数量和所具有的孔洞率与所述编码器下采样模块中所包括的所述第一非对称空洞卷积层的数量和所具有的孔洞率相同。
8.根据权利要求6所述的方法，其特征在于，一个所述特征融合子模块中包括卷积核为1×1，步长为1的基本卷积层，一个所述特征融合子模块中包括最大池化层，多个所述特征融合子模块中其他所述特征融合子模块中包括所述第二非对称空洞卷积层。
9.根据权利要求6所述的方法，其特征在于，每个所述特征融合子模块中包括依次连接的特征融合层和深度可分离卷积层，所述特征融合层为卷积层或者所述最大池化层。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息，包括：
截取所述道路图像中的感兴趣区域，得到感兴趣图像，其中，所述感兴趣区域是所述道路图像中车道线所在的部分区域；
将所述感兴趣图像输入所述目标车道线编解码分割模型；
获取所述目标车道线编解码分割模型输出的携带了车道线信息的二值图作为所述目标车道线信息。
11.一种道路图像的检测装置，其特征在于，包括：
构建模块，用于构建车道线编解码分割模型，其中，所述车道线编解码分割模型包括依次连接的编码器下采样模块，特征融合器模块和解码器上采样模块，所述编码器下采样模块中包括一个或者依次连接的多个编码器子模块，每个所述编码器子模块中包括第一非对称空洞卷积层，所述第一非对称空洞卷积层的卷积核包括：具有第一孔洞率的卷积核，或者，具有第二孔洞率的卷积核，所述具有第一孔洞率的卷积核的排布以列向量为基础依次以所述第一孔洞率的列为间隔排列形成非对称的空洞，所述具有第二孔洞率的卷积核的排布以行向量为基础依次以第二孔洞率的行为间隔排列形成非对称的空洞；
训练模块，用于使用标注了车道线信息的道路图像样本对所述车道线编解码分割模型进行训练，得到目标车道线编解码分割模型；
检测模块，用于通过所述目标车道线编解码分割模型对道路图像进行车道线检测，得到所述道路图像对应的目标车道线信息。
12.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至10中任一项所述的方法。
13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至10中任一项所述的方法。
CN202211395241.1A 2022-11-09 2022-11-09 道路图像的检测方法、装置、存储介质和电子装置 Active CN115565148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211395241.1A CN115565148B (zh) 2022-11-09 2022-11-09 道路图像的检测方法、装置、存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211395241.1A CN115565148B (zh) 2022-11-09 2022-11-09 道路图像的检测方法、装置、存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN115565148A true CN115565148A (zh) 2023-01-03
CN115565148B CN115565148B (zh) 2023-04-18

Family

ID=84769371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211395241.1A Active CN115565148B (zh) 2022-11-09 2022-11-09 道路图像的检测方法、装置、存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN115565148B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576095A (zh) * 2024-01-16 2024-02-20 南京航空航天大学 一种多尺度学习任务的金属表面缺陷检测和分类方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276267A (zh) * 2019-05-28 2019-09-24 江苏金海星导航科技有限公司 基于Spatial-LargeFOV深度学习网络的车道线检测方法
CN111462133A (zh) * 2020-03-31 2020-07-28 厦门亿联网络技术股份有限公司 一种实时视频人像分割的系统、方法、存储介质和设备
CN111582083A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112861619A (zh) * 2020-12-31 2021-05-28 浙江大华技术股份有限公司 模型的训练方法、车道线检测方法、设备及装置
CN113688836A (zh) * 2021-09-28 2021-11-23 四川大学 一种基于深度学习的实时性道路图像语义分割方法及系统
CN113780132A (zh) * 2021-08-31 2021-12-10 武汉理工大学 一种基于卷积神经网络的车道线检测方法
CN114202747A (zh) * 2021-12-09 2022-03-18 深圳市美通视讯科技有限公司 一种实时车道线分割方法、装置、终端及存储介质
US11288535B1 (en) * 2021-05-12 2022-03-29 Zhejiang University Method and system for identifying field boundary
CN114445684A (zh) * 2022-02-25 2022-05-06 福思(杭州)智能科技有限公司 车道线分割模型的训练方法、装置、设备及存储介质
CN114550135A (zh) * 2022-02-22 2022-05-27 无锡物联网创新中心有限公司 一种基于注意力机制和特征聚合的车道线检测方法
CN114996488A (zh) * 2022-08-08 2022-09-02 北京道达天际科技股份有限公司 一种天网大数据决策级融合方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276267A (zh) * 2019-05-28 2019-09-24 江苏金海星导航科技有限公司 基于Spatial-LargeFOV深度学习网络的车道线检测方法
CN111462133A (zh) * 2020-03-31 2020-07-28 厦门亿联网络技术股份有限公司 一种实时视频人像分割的系统、方法、存储介质和设备
CN111582083A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112861619A (zh) * 2020-12-31 2021-05-28 浙江大华技术股份有限公司 模型的训练方法、车道线检测方法、设备及装置
US11288535B1 (en) * 2021-05-12 2022-03-29 Zhejiang University Method and system for identifying field boundary
CN113780132A (zh) * 2021-08-31 2021-12-10 武汉理工大学 一种基于卷积神经网络的车道线检测方法
CN113688836A (zh) * 2021-09-28 2021-11-23 四川大学 一种基于深度学习的实时性道路图像语义分割方法及系统
CN114202747A (zh) * 2021-12-09 2022-03-18 深圳市美通视讯科技有限公司 一种实时车道线分割方法、装置、终端及存储介质
CN114550135A (zh) * 2022-02-22 2022-05-27 无锡物联网创新中心有限公司 一种基于注意力机制和特征聚合的车道线检测方法
CN114445684A (zh) * 2022-02-25 2022-05-06 福思(杭州)智能科技有限公司 车道线分割模型的训练方法、装置、设备及存储介质
CN114996488A (zh) * 2022-08-08 2022-09-02 北京道达天际科技股份有限公司 一种天网大数据决策级融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576095A (zh) * 2024-01-16 2024-02-20 南京航空航天大学 一种多尺度学习任务的金属表面缺陷检测和分类方法
CN117576095B (zh) * 2024-01-16 2024-04-05 南京航空航天大学 一种多尺度学习任务的金属表面缺陷检测和分类方法

Also Published As

Publication number Publication date
CN115565148B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN111178213B (zh) 一种基于深度学习的航拍车辆检测方法
Fan et al. Multi-level contextual rnns with attention model for scene labeling
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN112015847B (zh) 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
WO2021218786A1 (zh) 一种数据处理系统、物体检测方法及其装置
CN114187450B (zh) 一种基于深度学习的遥感图像语义分割方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN111401516A (zh) 一种神经网络通道参数的搜索方法及相关设备
CN111882620B (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN111104903A (zh) 一种深度感知交通场景多目标检测方法和系统
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
US11600080B2 (en) Lane marker detection
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN111950702A (zh) 一种神经网络结构确定方法及其装置
CN115565148B (zh) 道路图像的检测方法、装置、存储介质和电子装置
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
CN113343861B (zh) 一种基于神经网络模型的遥感图像水体区域提取方法
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN111353441B (zh) 基于位置数据融合的道路提取方法和系统
CN115995002B (zh) 一种网络构建方法及城市场景实时语义分割方法
CN114120287B (zh) 数据处理方法、装置、计算机设备和存储介质
CN115690737A (zh) 一种车位检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant