CN117593716A - 一种基于无人机巡检图像的车道线识别方法和系统 - Google Patents

一种基于无人机巡检图像的车道线识别方法和系统 Download PDF

Info

Publication number
CN117593716A
CN117593716A CN202311673890.8A CN202311673890A CN117593716A CN 117593716 A CN117593716 A CN 117593716A CN 202311673890 A CN202311673890 A CN 202311673890A CN 117593716 A CN117593716 A CN 117593716A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
vehicle inspection
inspection image
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311673890.8A
Other languages
English (en)
Inventor
郭峰
马晓楠
陶睿堃
周豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202311673890.8A priority Critical patent/CN117593716A/zh
Publication of CN117593716A publication Critical patent/CN117593716A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于无人机巡检图像的车道线识别方法，包括：S1，获取无人机巡检图像并对无人机巡检图像进行预处理；S2，构建用于车道线识别的轻量级语义分割网络，其中轻量级语义分割网络将Swin Transformer网络模型和轻量级语义分割头部SegFormer进行融合，以Swin Transformer为编码器并且以轻量级语义分割头部SegFormer为解码器；S3，基于经过预处理的无人机巡检图像和用于车道线识别的轻量级语义分割网络对车道线进行识别，还公开对应系统、电子设备及计算机可读存储介质，将Swin Transformer网络模型和轻量级语义分割头部进行融合，实现对无人机巡检图像中车道线的实时识别(大于30帧每秒)，同时保证在不同工况下的识别精度，完成对车道线的像素级描述，从而适应真实复杂巡检环境。

Description

一种基于无人机巡检图像的车道线识别方法和系统
技术领域
本发明涉及人工智能技术领域，特别涉及一种基于无人机巡检图像的车道线识别方法和系统。
背景技术
无人机具有体型小、成本低等诸多优点，能适应不同复杂环境的飞行要求，智能化的技术应用使其操作便利，降低了各类监控任务中人力资源的消耗。近年来，随着无人机技术的快速发展，其应用逐渐从军工领域普及到航拍、巡检等任务。在智能交通领域，无人机不仅能够协助交通管理部门掌握实时准确的道路交通信息，根据不同的道路信息实现自主路径识别并跟随，还能根据检测目标的位置对飞行轨迹进行调整和优化，具有较高的灵活性。
然而，在公路巡检任务中，传统的通过航迹点确定航迹的方法无法满足跟踪精度要求，车道线相比于周围路面环境有着明显的梯度、灰度等边缘特征，可以辅助航迹确定。因此，精确的车道线检测方法对有效提高道路跟踪精度，实现大规模、高效道路养护有重要意义。现有的车道线检测技术起源于无人车车道线检测，主要分为基于传统视觉和基于深度学习的方法。
1、基于传统视觉的方法通过道路环境的灰度或边缘梯度特征对车道线进行识别，然而基于传统视觉的车道线检测方法需要在精度和泛化性能上进一步改进，具体的：
(1)以Canny算子为代表的区域分割算法能够快速实现车道线识别，但容易受到环境噪声的影响，复杂环境下无法获得准确的道路检测结果。
(2)特征点匹配技术虽然能够追踪车道线，但需要复杂的模型配置，难以应用于工程实际。
(3)特殊环境下的车道线检测方法可以通过霍夫变换方法检测目标区域中的直线段，并通过与目标道路区域之间的关系进行车道线筛选，但仅限于车道线明显的特定工程环境。
(4)逆透视变换虽然能在俯视视角下利用窗口搜索的方法获得车道线坐标，但需要后处理方法进一步提高其泛化性能。
2、以深度学习为主的车道线检测方法因为有较高的鲁棒性、精确性以及不用人为设计特征对车道信息以及非车道信息进行区分，逐渐受到青睐。
(1)以UNet为代表的语义分割网络，能够实现对车道以及附属环境的像素级识别，但因为需要较高的计算消耗，在工程中并不能大规模实现。
(2)以实例点网络为代表的车道线检测方法虽然能克服物体遮挡、光照变化和阴影干扰的影响，实现较高的识别精度，但其实时性表现欠佳。
(3)为了克服卷积神经网络在检测道路磨损、阴影遮挡和弯道等困难样本时所出现的信息缺失的问题，以Transformer为基线的语义分割网络能够改善卷积采样所带来的不足，但仍需要深入研究，对其计算量进行进一步缩减，保证细节的同时具备一定的实时性。
3、现有的车道线识别方法，一般利用服务于自动驾驶的KITTI、CitySpaces、Tusimple数据集进行深度学习模型训练，对车道线以及周围环境进行特征提取、融合、分类等操作。例如，图1中CNN层左侧以及图2中的输入图像字样代表数据输入；图1中的网络结构参照U-Net的骨干模块VGG-16进行4次下采样，每次的采样倍数为2，特征提取主要利用结合Transformer的空间注意力模块(SRA)完成，最后利用4次上采样，完成对车道线的识别和分割；图2中的骨干网络代表对车道线及其周围环境进行特征提取，所提出的结合循环特征移位聚合器模块在从上至下方向采用的卷积核大小，与从左到右方向卷积核大小相反，通过预测模块和输出模块完成对车道线的检测。然而，存在如下技术缺陷：
(1)现有的无人车视野下的车道线图像与无人机视野下的车道线图像特征、分辨率、地物关系存在显著不同，已有的模型无法成功迁移到无人机巡检图像的车道线识别；
(2)基于传统语义分割的车道线识别模型缺乏对车道线细节的感知能力，对于遮挡、破损、断裂的车道线很难做到精确识别，进而影响无人机的航迹确认及后续规划；
(3)现有的车道线语义分割模型一般较为复杂，模型大小难以达到轻量级标准，推理速度无法达到实时要求(30帧/秒)。
发明内容
本发明的目的是提供一种基于无人机巡检图像的车道线识别方法和系统，在实时性、鲁棒性、精确性上进一步提升以克服现有技术的缺陷。识别方法和系统创新性地将SwinTransformer网络模型和轻量级语义分割头部进行融合，能够实现对无人机巡检图像中车道线的实时识别(大于30帧每秒)，同时保证在不同工况下的识别精度，完成对车道线的像素级描述，从而适应真实复杂巡检环境。
本发明的第一方面在于提供一种基于无人机巡检图像的车道线识别方法，包括：
S1，获取无人机巡检图像并对无人机巡检图像进行预处理；
S2，构建用于车道线识别的轻量级语义分割网络，其中所述轻量级语义分割网络将Swin Transformer网络模型和轻量级语义分割头部SegFormer进行融合，以SwinTransformer为编码器并且以轻量级语义分割头部SegFormer为解码器；
S3，基于经过预处理的所述无人机巡检图像和所述用于车道线识别的轻量级语义分割网络对车道线进行识别。
优选的，所述对无人机巡检图像进行预处理包括：增加图像对比度，去除环境噪声和减小图像尺寸中的一种或多种预处理方式。
优选的，所述对无人机巡检图像进行预处理的所述增加图像对比度包括执行图像指数变换，对图像进行对比度增强，具体包括：
(1)对所述无人机巡检图像进行像素归一化获得归一化无人机巡检图像；
(2)基于公式s＝c×rγ(s为输出像素值，r为输入像素值，c为常数，γ为指数参数)对所述归一化无人机巡检图像进行像素指数变换获得像素指数变换无人机巡检图像；
(3)利用反归一化对所述像素指数变换无人机巡检图像进行图像对比度增强；
所述对无人机巡检图像进行预处理的所述去除环境噪声包括：通过自适应维纳滤波器对所述无人机巡检图像进行局部方差调整，实现所述无人机巡检图像的环境噪声去除；
所述对无人机巡检图像进行预处理的所述减小图像尺寸包括：通过保持所述无人机巡检图像的原始比例，实现所述无人机巡检图像的缩放。
优选的，所述S2包括：
S21，构建并组装编码器，包括：
S211，在所述编码器内构建Swin Transformer模块，以Swin Transformer，模块作为所述编码器的载体，其中所述Swin Transformer模块包括：层归一化处理、多层感知机处理、基于窗口的多头注意力处理和基于移动窗口的多头注意力处理；
S212，在所述编码器内构建图像块切分模块、线性嵌入层以及图像块合并模块，进行图像块切分模块、线性嵌入层以及图像块合并模块的组装并获得无人机巡检图像特征图；
S22，构建基于Segformer解码头部的解码器；所述基于Segformer解码头部的解码器包括线性层、拼接层、融合层和预测层。
优选的，所述S3包括：
S31，基于所述编码器对所提取的无人机巡检图像中的车道线特征进行分层次特征多尺度提取，获得四个阶段的车道线特征图；
S32，将所述四个阶段的车道线特征图输入到空洞空间金字塔池化模块中进行特征融合，并生成特征向量；
S33，将所述特征向量依次经过所述基于Segformer解码头部的解码器的线性层、拼接层、融合层和预测层进行掩膜预测，采用多个所述多层感知机和卷积层完成对车道线特征的融合，从而获得以最大概率值为依据的车道线像素级预测。
优选的，所述空洞空间金字塔池化模块包括5个分支，分别为1个1×1卷积，3个空洞率分别为3、6、12的3×3卷积，以及一条全局平均池化分支；在经过空洞空间卷积操作后，通过双线性差值将特征图还原成四个不同维度并生成特征向量。
优选的，所述掩膜预测包括：
(1)所述线性层利用多级功能函数Fi将所述四个阶段的车道线特征图进行通道统一操作，函数表达式为
(2)所述拼接层将所得到的所述四个阶段的车道线特征图进行统一上采样操作至0.25倍分辨率，所利用的函数表达式为：
得到的特征维度统一为
(3)所述融合层将各层次的级联特征进行融合，所利用函数表达式为：
(4)利用所述预测层完成掩膜分割，特征计算表达式为：
M＝Linear(C,Ncls)(F) (7)。
本发明的第二方面在于提供一种基于无人机巡检图像的车道线识别系统，包括：
图像获取模块，用于获取无人机巡检图像并对无人机巡检图像进行预处理；
模型构建模块，用于构建用于车道线识别的轻量级语义分割网络，其中所述轻量级语义分割网络将Swin Transformer网络模型和轻量级语义分割头部SegFormer进行融合，以SwinTransformer为编码器并且以轻量级语义分割头部SegFormer为解码器；
车道线识别模块，用于基于经过预处理的所述无人机巡检图像和所述用于车道线识别的轻量级语义分割网络对车道线进行识别。
本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。
本发明的方法、系统、电子设备以及可读存储介质的有益效果：
(1)能够解析无人机巡航条件下所获取图像的车道线图像特征以及地物关系，减小图像分辨率对车道线预测的干扰；
(2)加强了对车道线细节的感知能力，对于困难样本譬如：遮挡、破损、断裂的车道线提高了识别精度；
(3)可以减小运行状态下的计算开支，通过最大概率值的方法确定车道线位置坐标，实现对车道线的像素级预测；
(4)避免了多线段处理方式，减少了线段聚类等车道线方向属性的判断步骤，降低了错识、误识概率。
附图说明
为了更清楚地说明本发明具体实施方式或相关技术中的技术方案，下面将对具体实施方式或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据现有技术的车道线识别CNN深度学习模型方法原理示意图；
图2为根据现有技术的车道线识别骨干网络深度学习模型方法原理示意图；
图3为根据本发明实施例提供的基于无人机巡检图像的车道线识别方法流程图。
图4为本发明实施例提供的基于无人机巡检图像语义分割模型结构示意图。
图5为本发明实施例提供的电子设备结构图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本实施例使用到的名词解释：
推断速度：用每秒处理的帧数(FPS)来衡量，即每秒模型的平均迭代次数，它可以显示模型处理输入的速度。这个数值越高，表示推理速度越快，模型性能越好。
参见图3-4，本实施例提供一种基于无人机巡检图像的车道线识别方法，包括：
S1，获取无人机巡检图像并对无人机巡检图像进行预处理；
作为优选的实施方式，所述对无人机巡检图像进行预处理包括：增加图像对比度，去除环境噪声和减小图像尺寸中的一种或多种预处理方式。
作为优选的实施方式，所述对无人机巡检图像进行预处理的所述增加图像对比度包括执行图像指数变换，对图像进行对比度增强，具体包括：
(1)对所述无人机巡检图像进行像素归一化获得归一化无人机巡检图像；
(2)基于公式s＝c×rγ(s为输出像素值，r为输入像素值，c为常数，γ为指数参数)对所述归一化无人机巡检图像进行像素指数变换获得像素指数变换无人机巡检图像；
(3)利用反归一化对所述像素指数变换无人机巡检图像进行图像对比度增强。
作为优选的实施方式，所述对无人机巡检图像进行预处理的所述去除环境噪声包括：通过自适应维纳滤波器对所述无人机巡检图像进行局部方差调整，实现所述无人机巡检图像的环境噪声去除。
作为优选的实施方式，所述对无人机巡检图像进行预处理的所述减小图像尺寸包括：通过保持所述无人机巡检图像的原始比例，实现所述无人机巡检图像的缩放。
S2，构建用于车道线识别的轻量级语义分割网络，其中所述轻量级语义分割网络将Swin Transformer网络模型和轻量级语义分割头部SegFormer进行融合，以SwinTransformer为编码器并且以轻量级语义分割头部SegFormer为解码器；
作为优选的实施方式，所述轻量级语义分割网络基于顺序架构对所述编码器和所述解码器进行组装。
作为优选的实施方式，所述S2包括：
S21，构建并组装编码器，包括：
S211，在所述编码器内构建Swin Transformer模块，以Swin Transformer，模块作为所述编码器的载体，其中所述Swin Transformer模块包括：层归一化处理、多层感知机处理、基于窗口的多头注意力处理和基于移动窗口的多头注意力处理；
本实施例中，层归一化处理单元对中间层的所有神经元进行归一化处理，达到减少训练时间成本和加速网络收敛速度的目的。加入多层感知机的目的是对车道线特征维度进行降低，使其减少为原来的一半。在基于窗口的多头注意力处理以及基于移动窗口的多头注意力处理中，自注意力计算公式为式(1)：
其中，Q表示查询矩阵，K表示键值矩阵，V表示值矩阵，dk表示缩放因子，B表示相对位置偏差。
多头注意力计算公式为：
MultiHead(Q,K,V)＝Concat(head1,...,headn) (2)；
其中，i代表第i个自注意力机制计算。
相比于基于窗口的多头注意力处理，基于移动窗口的多头注意力处理能够对原车道线特征图信息进行循环移位，加强车道线特征信息交互；
S212，在所述编码器内构建图像块切分模块、线性嵌入层以及图像块合并模块，进行图像块切分模块、线性嵌入层以及图像块合并模块的组装并获得无人机巡检图像特征图；
本实施例中，在经过图像块切分模块以及线性嵌入层之后，特征图的维度变为其中H代表无人机巡检图像高度，W代表无人机巡检图像宽度，48代表特征维度。
只在第2、3、4阶段由图像块合并模块执行图像块合并操作，并且经过图像块合并之后，无人机巡检图像特征图维度变为 其中C代表线性投影维度；
S22，构建基于Segformer解码头部的解码器；所述基于Segformer解码头部的解码器包括线性层、拼接层、融合层和预测层；
S3，基于经过预处理的所述无人机巡检图像和所述用于车道线识别的轻量级语义分割网络对车道线进行识别；
作为优选的实施方式，所述S3包括：
S31，基于所述编码器对所提取的无人机巡检图像中的车道线特征进行分层次特征多尺度提取，获得四个阶段的车道线特征图；
本实施例中，利用各阶段中的Swin Transformer Block对S212中产生的特征图进行多尺度特征提取，所提取的特征图维度仍然依次为
S32，将所述四个阶段的车道线特征图输入到空洞空间金字塔池化模块中进行特征融合，并生成特征向量；
本实施例中，空洞空间金字塔池化模块包括5个分支，分别为1个1×1卷积，3个空洞率分别为3、6、12的3×3卷积，以及一条全局平均池化分支；在经过空洞空间卷积操作后，通过双线性差值将特征图还原成四个不同维度并生成特征向量。
S33，将所述特征向量依次经过所述基于Segformer解码头部的解码器的线性层、拼接层、融合层和预测层进行掩膜预测，采用多个所述多层感知机和卷积层完成对车道线特征的融合，从而获得以最大概率值为依据的车道线像素级预测。
本实施例中，所述掩膜预测包括：
(1)所述线性层利用多级功能函数Fi将所述四个阶段的车道线特征图进行通道统一操作，函数表达式为
(2)所述拼接层将所得到的所述四个阶段的车道线特征图进行统一上采样操作至0.25倍分辨率，所利用的函数表达式为：
得到的特征维度统一为
(3)所述融合层将各层次的级联特征进行融合，所利用函数表达式为：
(4)利用所述预测层完成掩膜分割，特征计算表达式为：
M＝Linear(C,Ncls)(F)(7).
本发明的第二方面在于提供一种基于无人机巡检图像的车道线识别系统，包括：
图像获取模块，用于获取无人机巡检图像并对无人机巡检图像进行预处理；
模型构建模块，用于构建用于车道线识别的轻量级语义分割网络，其中所述轻量级语义分割网络将Swin Transformer网络模型和轻量级语义分割头部SegFormer进行融合，以SwinTransformer为编码器并且以轻量级语义分割头部SegFormer为解码器；
车道线识别模块，用于基于经过预处理的所述无人机巡检图像和所述用于车道线识别的轻量级语义分割网络对车道线进行识别。
本发明还提供了一种存储器，存储有多条指令，指令用于实现如实施例一的方法。
如图5所示，本发明还提供了一种电子设备，包括处理器301和与处理器301连接的存储器302，存储器302存储有多条指令，指令可被处理器加载并执行，以使处理器能够执行如实施例一的方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于无人机巡检图像的车道线识别方法，其特征在于，包括：
S1，获取无人机巡检图像并对无人机巡检图像进行预处理；
S2，构建用于车道线识别的轻量级语义分割网络，其中所述轻量级语义分割网络将Swin Transformer网络模型和轻量级语义分割头部SegFormer进行融合，以SwinTransformer为编码器并且以轻量级语义分割头部SegFormer为解码器；
S3，基于经过预处理的所述无人机巡检图像和所述用于车道线识别的轻量级语义分割网络对车道线进行识别。
2.根据权利要求1所述的一种基于无人机巡检图像的车道线识别方法，其特征在于，所述对无人机巡检图像进行预处理包括：增加图像对比度，去除环境噪声和减小图像尺寸中的一种或多种预处理方式。
3.根据权利要求2所述的一种基于无人机巡检图像的车道线识别方法，其特征在于，所述对无人机巡检图像进行预处理的所述增加图像对比度包括执行图像指数变换，对图像进行对比度增强，具体包括：
(1)对所述无人机巡检图像进行像素归一化获得归一化无人机巡检图像；
(2)基于公式s＝c×rγ(s为输出像素值，r为输入像素值，c为常数，γ为指数参数)对所述归一化无人机巡检图像进行像素指数变换获得像素指数变换无人机巡检图像；
(3)利用反归一化对所述像素指数变换无人机巡检图像进行图像对比度增强；
所述对无人机巡检图像进行预处理的所述去除环境噪声包括：通过自适应维纳滤波器对所述无人机巡检图像进行局部方差调整，实现所述无人机巡检图像的环境噪声去除；
所述对无人机巡检图像进行预处理的所述减小图像尺寸包括：通过保持所述无人机巡检图像的原始比例，实现所述无人机巡检图像的缩放。
4.根据权利要求3所述的一种基于无人机巡检图像的车道线识别方法，其特征在于，所述S2包括：
S21，构建并组装编码器，包括：
S211，在所述编码器内构建Swin Transformer模块，以Swin Transformer，模块作为所述编码器的载体，其中所述Swin Transformer模块包括：层归一化处理、多层感知机处理、基于窗口的多头注意力处理和基于移动窗口的多头注意力处理；
S212，在所述编码器内构建图像块切分模块、线性嵌入层以及图像块合并模块，进行图像块切分模块、线性嵌入层以及图像块合并模块的组装并获得无人机巡检图像特征图；
S22，构建基于Segformer解码头部的解码器；所述基于Segformer解码头部的解码器包括线性层、拼接层、融合层和预测层。
5.根据权利要求4所述的一种基于无人机巡检图像的车道线识别方法，其特征在于，所述S3包括：
S31，基于所述编码器对所提取的无人机巡检图像中的车道线特征进行分层次特征多尺度提取，获得四个阶段的车道线特征图；
S32，将所述四个阶段的车道线特征图输入到空洞空间金字塔池化模块中进行特征融合，并生成特征向量；
S33，将所述特征向量依次经过所述基于Segformer解码头部的解码器的线性层、拼接层、融合层和预测层进行掩膜预测，采用多个所述多层感知机和卷积层完成对车道线特征的融合，从而获得以最大概率值为依据的车道线像素级预测。
6.根据权利要求5所述的一种基于无人机巡检图像的车道线识别方法，其特征在于，所述空洞空间金字塔池化模块包括5个分支，分别为1个1×1卷积，3个空洞率分别为3、6、12的3×3卷积，以及一条全局平均池化分支；在经过空洞空间卷积操作后，通过双线性差值将特征图还原成四个不同维度并生成特征向量。
7.根据权利要求6所述的一种基于无人机巡检图像的车道线识别方法，其特征在于，所述掩膜预测包括：
(1)所述线性层利用多级功能函数Fi将所述四个阶段的车道线特征图进行通道统一操作，函数表达式为
(2)所述拼接层将所得到的所述四个阶段的车道线特征图进行统一上采样操作至0.25倍分辨率，所利用的函数表达式为：
得到的特征维度统一为
(3)所述融合层将各层次的级联特征进行融合，所利用函数表达式为：
(4)利用所述预测层完成掩膜分割，特征计算表达式为：
M＝Linear(C,Nes)(F) (7)。
8.一种基于无人机巡检图像的车道线识别系统，用于实施权利要求1-7任一所述的方法，其特征在于，包括：
图像获取模块，用于获取无人机巡检图像并对无人机巡检图像进行预处理；模型构建模块，用于构建用于车道线识别的轻量级语义分割网络，其中所述轻量级语义分割网络将Swin Transformer网络模型和轻量级语义分割头部SegFormer进行融合，以SwinTransformer为编码器并且以轻量级语义分割头部SegFormer为解码器；
车道线识别模块，用于基于经过预处理的所述无人机巡检图像和所述用于车道线识别的轻量级语义分割网络对车道线进行识别。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如权利要求1-7任一所述的方法。
CN202311673890.8A 2023-12-07 2023-12-07 一种基于无人机巡检图像的车道线识别方法和系统 Pending CN117593716A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311673890.8A CN117593716A (zh) 2023-12-07 2023-12-07 一种基于无人机巡检图像的车道线识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311673890.8A CN117593716A (zh) 2023-12-07 2023-12-07 一种基于无人机巡检图像的车道线识别方法和系统

Publications (1)

Publication Number Publication Date
CN117593716A true CN117593716A (zh) 2024-02-23

Family

ID=89915084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311673890.8A Pending CN117593716A (zh) 2023-12-07 2023-12-07 一种基于无人机巡检图像的车道线识别方法和系统

Country Status (1)

Country Link
CN (1) CN117593716A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546667A (zh) * 2022-10-10 2022-12-30 南京大学 一种无人机场景的实时车道线检测方法
CN115546750A (zh) * 2022-09-28 2022-12-30 华南理工大学 一种基于Transformer编码器和空洞卷积的车道线检测方法
CN115752432A (zh) * 2022-10-29 2023-03-07 武汉中海庭数据技术有限公司 无人机采集道路交通图中虚线车道线自动提取方法及系统
CN115797808A (zh) * 2022-12-01 2023-03-14 江苏方天电力技术有限公司 一种无人机巡检缺陷图像的识别方法、系统、装置及介质
CN115797931A (zh) * 2023-02-13 2023-03-14 山东锋士信息技术有限公司 一种基于双分支特征融合的遥感图像语义分割方法
CN115861948A (zh) * 2022-11-15 2023-03-28 烟台艾睿光电科技有限公司 车道线检测方法、设备及预警方法、系统、介质
CN116109819A (zh) * 2022-04-28 2023-05-12 中国科学院大学 一种基于增强语义分割头的级联实例分割方法
CN116258976A (zh) * 2023-03-24 2023-06-13 长沙理工大学 一种分层次Transformer的高分辨率遥感图像语义分割方法及系统
CN116416534A (zh) * 2023-02-21 2023-07-11 中国民用航空飞行学院 一种面向保护目标的无人机备降区域识别方法
CN116469100A (zh) * 2022-12-27 2023-07-21 长春理工大学 一种基于Transformer的双波段图像语义分割方法
CN116486080A (zh) * 2023-04-10 2023-07-25 桂林电子科技大学 一种基于深度学习的轻量化图像语义分割方法
CN116843896A (zh) * 2023-06-09 2023-10-03 淮阴工学院 一种基于Transformer的轻量级语义分割方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109819A (zh) * 2022-04-28 2023-05-12 中国科学院大学 一种基于增强语义分割头的级联实例分割方法
CN115546750A (zh) * 2022-09-28 2022-12-30 华南理工大学 一种基于Transformer编码器和空洞卷积的车道线检测方法
CN115546667A (zh) * 2022-10-10 2022-12-30 南京大学 一种无人机场景的实时车道线检测方法
CN115752432A (zh) * 2022-10-29 2023-03-07 武汉中海庭数据技术有限公司 无人机采集道路交通图中虚线车道线自动提取方法及系统
CN115861948A (zh) * 2022-11-15 2023-03-28 烟台艾睿光电科技有限公司 车道线检测方法、设备及预警方法、系统、介质
CN115797808A (zh) * 2022-12-01 2023-03-14 江苏方天电力技术有限公司 一种无人机巡检缺陷图像的识别方法、系统、装置及介质
CN116469100A (zh) * 2022-12-27 2023-07-21 长春理工大学 一种基于Transformer的双波段图像语义分割方法
CN115797931A (zh) * 2023-02-13 2023-03-14 山东锋士信息技术有限公司 一种基于双分支特征融合的遥感图像语义分割方法
CN116416534A (zh) * 2023-02-21 2023-07-11 中国民用航空飞行学院 一种面向保护目标的无人机备降区域识别方法
CN116258976A (zh) * 2023-03-24 2023-06-13 长沙理工大学 一种分层次Transformer的高分辨率遥感图像语义分割方法及系统
CN116486080A (zh) * 2023-04-10 2023-07-25 桂林电子科技大学 一种基于深度学习的轻量化图像语义分割方法
CN116843896A (zh) * 2023-06-09 2023-10-03 淮阴工学院 一种基于Transformer的轻量级语义分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAOLI BAI; HONGDA MAO; DINESH NAIR: "Dynamically Pruning Segformer for Efficient Semantic Segmentation", 《ICASSP 2022 - 2022 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》, 27 April 2022 (2022-04-27) *

Similar Documents

Publication Publication Date Title
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
Li et al. Deep neural network for structural prediction and lane detection in traffic scene
CN110033002B (zh) 基于多任务级联卷积神经网络的车牌检测方法
WO2021249071A1 (zh) 一种车道线的检测方法及相关设备
CN110781262B (zh) 基于视觉slam的语义地图的构建方法
CN107545263B (zh) 一种物体检测方法及装置
CN113313763B (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN112733885A (zh) 点云识别模型的确定方法、点云识别的方法及装置
CN109902610A (zh) 交通标志识别方法和装置
CN112329682B (zh) 一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法
He et al. Automatic recognition of traffic signs based on visual inspection
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN111428567B (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
Tsintotas et al. The revisiting problem in simultaneous localization and mapping
CN112149612A (zh) 一种基于深度神经网络的海洋生物识别系统及识别方法
CN111578956A (zh) 一种基于深度学习的视觉slam定位方法
CN112348854A (zh) 一种基于深度学习视觉惯性里程检测方法
Wang et al. Vehicle key information detection algorithm based on improved SSD
CN114359493B (zh) 一种用于无人船生成三维语义地图的方法和系统
CN117593716A (zh) 一种基于无人机巡检图像的车道线识别方法和系统
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN114495050A (zh) 一种面向自动驾驶前向视觉检测的多任务集成检测方法
CN116385915A (zh) 一种基于时空信息融合的水面漂浮物目标检测与跟踪方法
CN115187614A (zh) 一种基于stdc语义分割网络的实时同时定位与建图方法
CN113537258B (zh) 行动轨迹预测方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination