CN115393822A - 一种雾天行车障碍物检测方法及设备 - Google Patents

一种雾天行车障碍物检测方法及设备 Download PDF

Info

Publication number
CN115393822A
CN115393822A CN202210787274.4A CN202210787274A CN115393822A CN 115393822 A CN115393822 A CN 115393822A CN 202210787274 A CN202210787274 A CN 202210787274A CN 115393822 A CN115393822 A CN 115393822A
Authority
CN
China
Prior art keywords
image
data set
edge
obstacle
day
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210787274.4A
Other languages
English (en)
Inventor
刘兆惠
赵世吉
王超
林立飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202210787274.4A priority Critical patent/CN115393822A/zh
Publication of CN115393822A publication Critical patent/CN115393822A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明公开了一种雾天行车障碍物检测方法及设备，属于智能交通技术领域，用于解决现有的雾天目标检测算法会使图像丢失细节信息，导致检测精度低的技术问题。方法包括：对预设数据集中的每张晴天图像进行边缘特征提取，得到每张晴天图像的边缘特征图；基于预设数据集以及边缘特征图，构建训练数据集；构建边缘‑卷积特征融合网络，并将训练数据集中的每张晴天图像与对应的边缘特征图输入边缘‑卷积特征融合网络，得到对应的特征融合图；将训练数据集中的每张晴天图像以及对应的特征融合图构建为优化数据集，对障碍物检测模型进行训练，并对训练后的障碍物检测模型进行优化，对经过去雾处理后的待测雾天图像进行障碍物目标检测。

Description

一种雾天行车障碍物检测方法及设备
技术领域
本申请涉及智能交通技术领域，尤其涉及一种雾天行车障碍物检测方法及设备。
背景技术
近年来，辅助驾驶技术的发展为行车安全提供了有力保障，但面对不良天气环境仍存在诸多问题，自动驾驶需要对驾驶环境进行精确感知，基于视觉传感器的障碍物检测是进行环境感知的主要手段之一。然而，受不良天气的影响，尤其是在雾天条件下，图像质量下降，以及图像去雾后信息丢失严重的问题，均增加了检测的复杂性，甚至导致交通事故的发生。
雾天环境下的行车障碍检测主要有图像去雾算法和目标检测算法相结合进行检测，以及晴天与雾天图像特征融合训练检测两种方法。雾天环境下图像质量的退化是影响目标检测的最直接原因，因此通过去雾算法与目标检测算法相结合是最常用的方法。然而图像去雾后会丢失大量的颜色、纹理等细节信息，制约了障碍物检测性能的提升。另一种方法晴天与雾天图像特征融合训练检测方法虽然提升了检测速度，但检测精度较低。
发明内容
本申请实施例提供了一种雾天行车障碍物检测方法及设备，用于解决如下技术问题：现有的雾天目标检测算法会使图像丢失细节信息，导致检测精度低。
本申请实施例采用下述技术方案：
一方面，本申请实施例提供了一种雾天行车障碍物检测方法，方法包括：对预设数据集中的每张晴天图像进行边缘特征提取，得到每张晴天图像的边缘特征图；其中，所述晴天图像中包含障碍物目标；基于所述预设数据集以及所述边缘特征图，构建训练数据集，并通过所述训练数据集，训练障碍物检测模型；构建边缘-卷积特征融合网络，并将所述训练数据集中的每张晴天图像与对应的边缘特征图输入所述边缘-卷积特征融合网络，得到对应的特征融合图；将所述训练数据集中的每张晴天图像以及对应的特征融合图构建为优化数据集，对所述障碍物检测模型进行优化；通过优化后的所述障碍物检测模型，对经过去雾处理后的待测雾天图像进行障碍物目标检测。
在一种可行的实施方式中，对预设数据集中的每张晴天图像进行边缘特征提取，得到每张晴天图像的边缘特征图，具体包括：在KITTI数据集中提取出所有的晴天图像，构成所述预设数据集；通过包含sobel算子的边缘特征提取模型，对所述预设数据集中的每张晴天图像进行边缘特征提取，得到对应的边缘特征图。
在一种可行的实施方式中，基于所述预设数据集以及所述边缘特征图，构建训练数据集，具体包括：计算所述边缘特征图的全局最佳阈值ODS；根据所述全局最佳阈值ODS，将每张所述边缘特征图中进行二值化处理，得到二值边缘图；其中，所述边缘特征图中大于所述全局最佳阈值ODS的元素值置为1，小于等于所述全局最佳阈值ODS的元素值置为0；统计每张二值边缘图中，元素值为1的元素数量，得到边缘特征点评估值；若所述边缘特征点评估值大于预设阈值，则将对应的边缘特征图进行保留，并将保留的边缘特征图与对应的晴天图像，构成所述训练数据集。
在一种可行的实施方式中，构建边缘-卷积特征融合网络，具体包括：将YOLOv5s网络中的Focus结构、CBL结构以及CSP1_X结构，按照预设顺序构建为若干个特征提取层，并将所述若干个特征提取层与一个池化层构建为Backbone网络；在所述Backbone网络的第五个特征提取层以及第七个特征提取层之间构建级联模块；所述Backbone网络以及所述级联模块构成所述边缘-卷积特征融合网络。
在一种可行的实施方式中，所述方法还包括：在所述Backbone网络中的每个CSP1_X结构中，构建残差模块；其中，所述残差模块中包含X个残差块以及一个add操作层。
在一种可行的实施方式中，将所述训练数据集中的每张晴天图像与对应的边缘特征图输入所述边缘-卷积特征融合网络，得到对应的特征融合图，具体包括：将所述训练数据集中的每张晴天图像与对应的边缘特征图成对输入所述边缘-卷积特征融合网络中；通过所述CBL结构，提取输入的晴天图像中障碍物的卷积特征；通过所述CSP1_X结构中的残差模块，将提取的卷积特征与输入的边缘特征图进行add叠加操作，得到复合特征图；将所述Backbone网络中的第五个特征提取层输出的复合特征图，与第七个特征提取层输出的复合特征图的上采样进行级联拼接，得到所述特征融合图。
在一种可行的实施方式中，将所述训练数据集中的每张晴天图像以及对应的特征融合图构建为优化数据集，对所述障碍物检测模型进行优化，具体包括：通过所述优化数据集，对所述障碍物检测模型进行训练；在训练过程中，通过warm-up学习率调整策略对所述障碍物检测模型中各层网络的权重参数进行参数寻优，直至所述各层网络的学习率达到测试要求后，得到优化后的障碍物检测模型。
在一种可行的实施方式中，在通过所述训练数据集，训练障碍物检测模型之前，所述方法还包括：基于YOLOv5s网络以及pytorch框架搭建所述障碍物检测模型；设置所述障碍物检测模型各层网络的迭代次数、初始学习率、周期学习率、动量参数以及权重衰减参数；其中，所述迭代次数统一设置为300，初始学习率设置为0.01，周期学习率设置为0.2，动量参数设置为0.937，权重衰减参数设置为0.0005。
在一种可行的实施方式中，通过优化后的所述障碍物检测模型，对经过去雾处理后的待测雾天图像进行障碍物目标检测，具体包括：通过车载设备，采集雾天行车途中的待测雾天图像；通过门控上下文聚合网络GCANet，对所述待测雾天图像进行去雾处理，得到对应的去雾图像；将所述去雾图像输入优化后的障碍物检测模型中进行检测；若检测出障碍物目标，通过标注框在所述去雾图像中对所述障碍物目标进行标注，得到障碍物目标检测结果图。
另一方面，本申请实施例还提供了一种雾天行车障碍物检测设备，设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行根据上述任一实施方式所述的一种雾天行车障碍物检测方法。
与现有技术相比，本申请提供的一种雾天行车障碍物检测方法及设备具备以下有益效果：
1、通过比较和分析DCP、AOD-Net和GCA Net除雾前后图像边缘特征的差异，发现GCA Net算法对图像除雾后仍能保留良好的边缘特征。因此，本申请选用GCA Net算法对雾天图像进行去雾处理。从除雾后图像特征变化的角度出发，为解决除雾后图像信息丢失导致检测精度有限的问题开辟了新的思路。
2、为充分利用图像除雾后保留的边缘特征，提出一种边缘与卷积特征融合的模型训练方法。通过融合特征来调整障碍物检测模型的参数权重，建立图像中边缘特征与障碍物检测模型的直接联系，在传统除雾后检测方法的基础上，来进一步提高行车障碍的检测精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本申请实施例提供的一种雾天行车障碍物检测方法流程图；
图2为本申请实施例提供的一种Backbone网络结构示意图；
图3为本申请实施例提供的一种边缘-卷积特征融合网络结构示意图；
图4为本申请实施例提供的一种雾天行车障碍物检测设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请实施例提供了一种雾天行车障碍物检测方法，如图1所示，雾天行车障碍物检测方法具体包括步骤S101-S106：
S101、对预设数据集中的每张晴天图像进行边缘特征提取，得到每张晴天图像的边缘特征图。
具体地，自动驾驶行车障碍检测主要目的是检测大多数车辆和行人以及电动车和自行车等非机动车，这需要训练数据来满足其任务的特殊要求，本申请中选择KITTI数据集作为基础训练数据，KITTI数据集中的图像中包含车辆、行人、非机动车等障碍物目标。首先在KITTI数据集中提取出所有的晴天图像，构成预设数据集。
进一步地，通过包含sobel算子的边缘特征提取模型，对预设数据集中的每张晴天图像进行边缘特征提取，得到对应的边缘特征图。
S102、基于预设数据集以及边缘特征图，构建训练数据集，并通过训练数据集，训练障碍物检测模型。
具体地，通过现有的全局最佳阈值(optimal dataset scale，ODS)的计算方法，计算得到的边缘特征图的全局最佳阈值ODS。根据计算出的全局最佳阈值ODS，将每张边缘特征图中进行二值化处理，得到二值边缘图。其中，边缘特征图中大于全局最佳阈值ODS的元素值置为1，小于等于全局最佳阈值ODS的元素值置为0。
进一步地，统计每张二值边缘图中，元素值为1的元素数量，得到边缘特征点评估值。若边缘特征点评估值大于预设阈值，则将对应的边缘特征图进行保留，并将保留的边缘特征图与对应的晴天图像，构成训练数据集。
在一个实施例中，特征提取后得到的边缘特征图是矩阵形式的图，且矩阵中的元素取值在0-1之间。根据计算出的ODS，将矩阵元素中，元素值小于等于ODS的元素置为0，元素值大于ODS的元素置为1，从而将边缘特征图二值化。然后统计二值化图中1的数量，若1的数量大于预设阈值，则证明二值图对应的边缘特征图中包含的特征点较为丰富，则将这张边缘特征图及对应的原始晴天图像挑选出来加入训练数据集中。
进一步地，基于YOLOv5s网络以及pytorch框架搭建障碍物检测模型。设置障碍物检测模型各层网络的迭代次数、初始学习率、周期学习率、动量参数以及权重衰减参数。通过训练数据集，对搭建的障碍物检测模型进行训练。
在一个实施例中，迭代次数统一设置为300，初始学习率设置为0.01，周期学习率设置为0.2，动量参数设置为0.937，权重衰减参数设置为0.0005。选择边缘特征点丰富的5985张晴天图片及与之对应的边缘图片输入障碍物检测模型用于训练。
S103、构建边缘-卷积特征融合网络。
具体地，与其他目标检测任务不同，行车障碍检测需要更高的时间效率。这意味着除了要求检测精度高之外，还需要快速的检测速度。因此，通过比较各种特征提取网络的特点，选择YOLOv5s网络中的Focus结构与CSP1_X结构来提取障碍物的卷积特征。本申请将YOLOv5s网络中的Focus结构、CBL结构以及CSP1_X结构，按照预设顺序构建为若干个特征提取层，并将若干个特征提取层与一个池化层构建为Backbone网络。然后在Backbone网络的第五个特征提取层以及第七个特征提取层之间构建级联模块。Backbone网络以及级联模块构成边缘-卷积特征融合网络。
作为一种可行的实施方式，在Backbone网络中的每个CSP1_X结构中，构建残差模块；其中，残差模块中包含X个残差块以及一个add操作层。
在一个实施例中，图2为本申请实施例提供的一种Backbone网络结构示意图，如图2所示，Backbone网络的输入为晴天图像和对应的边缘特征图，然后通过Focus结构处理后输入CBL结构进行卷积特征提取，然后将卷积特征和边缘特征图输入CSP1_X结构中进行叠加，然后继续经过CBL结构与CSP1_X结构的反复处理，最后经过池化层处理，构成完整的Backbone网络。其中，如图2所示，CSP1_X结构中包括CBL结构、残差模块以及其他结构，其中，残差模块中包括X个残差块和一个add操作，通过add的形式将卷积特征与边缘特征图叠加，完成特征图的复合。在Backbone网络中，每一层CSP1_X结构都会输出复合特征图，本申请中，第五层和第七层对应的CSP1_X结构输出的复合特征图用于后续的特征融合处理。
在一个实施例中，图3为本申请实施例提供的一种边缘-卷积特征融合网络示意图，如图3所示，Backbone网络中第七层输出的复合特征图经过上采样后与第五层输出的复合特征通过concat操作进行拼接。还引入了CSP2_X结构，CSP2_X结构中包括2X个残差块。
本申请中的边缘与卷积特征融合，具体包含了add和concat两种实现途径。Add操作在整个Backbone网络提取卷积特征的过程都有体现，存在于残差模块中。通过add的形式将对应的卷积特征与边缘特征图叠加，完成特征图的复合，然后进行下一层操作。在不改变维度的前提下，增加特征图像的信息量即增加每一特征下的信息。而concat则属于特征图的拼接，对于Backbone网络中一些输出的特征图层(如第五层)，将其与后面卷积层的上采样进行拼接，从而扩展了特征图的维度，实现特征融合。与add操作不同，concat操作实现了将多尺度特征和残差卷积层的信息融合，增加了对图像中某类目标的描述特征，而不是单一目标的特征。通过add操作增加特征图中晴天环境下各目标的卷积特征及边缘特征信息，再经concat将不同环境下目标特征拼接，实现图像特征融合。
S104、将训练数据集中的每张晴天图像与对应的边缘特征图输入边缘-卷积特征融合网络，得到对应的特征融合图。
具体地，将训练数据集中的每张晴天图像与对应的边缘特征图成对输入边缘-卷积特征融合网络中。通过CBL结构，提取输入的晴天图像中障碍物的卷积特征。通过CSP1_X结构中的残差模块，将提取的卷积特征与输入的边缘特征图进行add叠加操作，得到复合特征图。将Backbone网络中的第五个特征提取层输出的复合特征图，与第七个特征提取层输出的复合特征图的上采样进行级联拼接，得到特征融合图。
S105、将训练数据集中的每张晴天图像以及对应的特征融合图构建为优化数据集，对障碍物检测模型进行优化。
具体地，将训练数据集中的每张晴天图像以及对应的特征融合图构建为优化数据集，并通过优化数据集，对障碍物检测模型进行训练。在训练过程中，通过warm-up学习率调整策略对障碍物检测模型中各层网络的权重参数进行参数寻优，直至各层网络的学习率达到训练要求后，得到优化后的障碍物检测模型。其中，训练要求可以是研发人员自行设定的学习率阈值。
S106、通过优化后的障碍物检测模型，对经过去雾处理后的待测雾天图像进行障碍物目标检测。
具体地，在自动驾驶或者无人驾驶场景下，通过车载设备，采集行车途中的实时图像，若实时图像为雾天图像，则先通过门控上下文聚合网络GCANet，对雾天图像进行去雾处理，得到对应的去雾图像。然后将去雾图像输入优化后的障碍物检测模型中进行检测。若检测出障碍物目标，通过标注框在去雾图像中对所述障碍物目标进行标注，得到障碍物目标检测结果图。
本申请选用门控上下文聚合网络(Gated context aggregation network，GCANet)算法进行去雾处理，该算法的关键在于使用平滑扩张卷积取代了扩张卷积，不仅解决了网格伪影问题，而且提出了新的融合网络来融合不同层次的特征，不依赖于先验知识，且去雾后保留较多的图像信息，显著地提高了图像的去雾效果。
另外，本申请实施例还提供了一种雾天行车障碍物检测设备，如图4所示，设备具体包括：
至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，
存储器存储有能够被至少一个处理器执行的指令，以使至少一个处理器能够执行：
对预设数据集中的每张晴天图像进行边缘特征提取，得到每张晴天图像的边缘特征图；其中，所述晴天图像中包含障碍物目标；
基于所述预设数据集以及所述边缘特征图，构建训练数据集，并通过所述训练数据集，训练障碍物检测模型；
构建边缘-卷积特征融合网络，并将所述训练数据集中的每张晴天图像与对应的边缘特征图输入所述边缘-卷积特征融合网络，得到对应的特征融合图；
将所述训练数据集中的每张晴天图像以及对应的特征融合图构建为优化数据集，对所述障碍物检测模型进行优化；
通过优化后的所述障碍物检测模型，对经过去雾处理后的待测雾天图像进行障碍物目标检测。
本申请提供的一种雾天行车障碍物检测方法及设备在训练障碍物检测模型参数时，将障碍物边缘特征与卷积特征进行了融合，因此雾天图像在使用GCANet去雾后可以进一步利用去雾后保留的边缘特征，在保证实时性的同时，能够更好地满足辅助驾驶和自动驾驶障碍物检测高精度的需求。本申请以YOLOv5网络为基础网络，采用晴天图片和与之对应的边缘特征图片进行障碍物检测模型训练，实现边缘特征与卷积特征融合，并在大雾的交通环境下进行行车障碍检测。该方法能够更好的识别去雾后残留的图像边缘信息，在保证时间效率的同时极大的提高了检测精度。这对于提高不良天气下的行车障碍检测具有重要现实意义，提高了自动驾驶的安全性。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请的实施例可以有各种更改和变化。凡在本申请实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种雾天行车障碍物检测方法，其特征在于，所述方法包括：
对预设数据集中的每张晴天图像进行边缘特征提取，得到每张晴天图像的边缘特征图；其中，所述晴天图像中包含障碍物目标；
基于所述预设数据集以及所述边缘特征图，构建训练数据集，并通过所述训练数据集，训练障碍物检测模型；
构建边缘-卷积特征融合网络，并将所述训练数据集中的每张晴天图像与对应的边缘特征图输入所述边缘-卷积特征融合网络，得到对应的特征融合图；
将所述训练数据集中的每张晴天图像以及对应的特征融合图构建为优化数据集，对所述障碍物检测模型进行优化；
通过优化后的所述障碍物检测模型，对经过去雾处理后的待测雾天图像进行障碍物目标检测。
2.根据权利要求1所述的一种雾天行车障碍物检测方法，其特征在于，对预设数据集中的每张晴天图像进行边缘特征提取，得到每张晴天图像的边缘特征图，具体包括：
在KITTI数据集中提取出所有的晴天图像，构成所述预设数据集；
通过包含sobel算子的边缘特征提取模型，对所述预设数据集中的每张晴天图像进行边缘特征提取，得到对应的边缘特征图。
3.根据权利要求2所述的一种雾天行车障碍物检测方法，其特征在于，基于所述预设数据集以及所述边缘特征图，构建训练数据集，具体包括：
计算所述边缘特征图的全局最佳阈值ODS；
根据所述全局最佳阈值ODS，将每张所述边缘特征图中进行二值化处理，得到二值边缘图；其中，所述边缘特征图中大于所述全局最佳阈值ODS的元素值置为1，小于等于所述全局最佳阈值ODS的元素值置为0；
统计每张二值边缘图中，元素值为1的元素数量，得到边缘特征点评估值；
若所述边缘特征点评估值大于预设阈值，则将对应的边缘特征图进行保留，并将保留的边缘特征图与对应的晴天图像，构成所述训练数据集。
4.根据权利要求1所述的一种雾天行车障碍物检测方法，其特征在于，构建边缘-卷积特征融合网络，具体包括：
将YOLOv5s网络中的Focus结构、CBL结构以及CSP1_X结构，按照预设顺序构建为若干个特征提取层，并将所述若干个特征提取层与一个池化层构建为Backbone网络；
在所述Backbone网络的第五个特征提取层以及第七个特征提取层之间构建级联模块；
所述Backbone网络以及所述级联模块构成所述边缘-卷积特征融合网络。
5.根据权利要求4所述的一种雾天行车障碍物检测方法，其特征在于，所述方法还包括：
在所述Backbone网络中的每个CSP1_X结构中，构建残差模块；其中，所述残差模块中包含X个残差块以及一个add操作层。
6.根据权利要求5所述的一种雾天行车障碍物检测方法，其特征在于，将所述训练数据集中的每张晴天图像与对应的边缘特征图输入所述边缘-卷积特征融合网络，得到对应的特征融合图，具体包括：
将所述训练数据集中的每张晴天图像与对应的边缘特征图成对输入所述边缘-卷积特征融合网络中；
通过所述CBL结构，提取输入的晴天图像中障碍物的卷积特征；
通过所述CSP1_X结构中的残差模块，将提取的卷积特征与输入的边缘特征图进行add叠加操作，得到复合特征图；
将所述Backbone网络中的第五个特征提取层输出的复合特征图，与第七个特征提取层输出的复合特征图的上采样进行级联拼接，得到所述特征融合图。
7.根据权利要求1所述的一种雾天行车障碍物检测方法，其特征在于，将所述训练数据集中的每张晴天图像以及对应的特征融合图构建为优化数据集，对所述障碍物检测模型进行优化，具体包括：
通过所述优化数据集，对所述障碍物检测模型进行训练；
在训练过程中，通过warm-up学习率调整策略对所述障碍物检测模型中各层网络的权重参数进行参数寻优，直至所述各层网络的学习率达到测试要求后，得到优化后的障碍物检测模型。
8.根据权利要求1所述的一种雾天行车障碍物检测方法，其特征在于，在通过所述训练数据集，训练障碍物检测模型之前，所述方法还包括：
基于YOLOv5s网络以及pytorch框架搭建所述障碍物检测模型；
设置所述障碍物检测模型各层网络的迭代次数、初始学习率、周期学习率、动量参数以及权重衰减参数；
其中，所述迭代次数统一设置为300，初始学习率设置为0.01，周期学习率设置为0.2，动量参数设置为0.937，权重衰减参数设置为0.0005。
9.根据权利要求1所述的一种雾天行车障碍物检测方法，其特征在于，通过优化后的所述障碍物检测模型，对经过去雾处理后的待测雾天图像进行障碍物目标检测，具体包括：
通过车载设备，采集雾天行车途中的待测雾天图像；
通过门控上下文聚合网络GCANet，对所述待测雾天图像进行去雾处理，得到对应的去雾图像；
将所述去雾图像输入优化后的障碍物检测模型中进行检测；
若检测出障碍物目标，通过标注框在所述去雾图像中对所述障碍物目标进行标注，得到障碍物目标检测结果图。
10.一种雾天行车障碍物检测设备，其特征在于，所述设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行根据权利要求1-9任一项所述的一种雾天行车障碍物检测方法。
CN202210787274.4A 2022-07-06 2022-07-06 一种雾天行车障碍物检测方法及设备 Pending CN115393822A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210787274.4A CN115393822A (zh) 2022-07-06 2022-07-06 一种雾天行车障碍物检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210787274.4A CN115393822A (zh) 2022-07-06 2022-07-06 一种雾天行车障碍物检测方法及设备

Publications (1)

Publication Number Publication Date
CN115393822A true CN115393822A (zh) 2022-11-25

Family

ID=84116829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210787274.4A Pending CN115393822A (zh) 2022-07-06 2022-07-06 一种雾天行车障碍物检测方法及设备

Country Status (1)

Country Link
CN (1) CN115393822A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052135A (zh) * 2023-04-03 2023-05-02 吉林大学 一种基于纹理特征的雾天交通标志识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052135A (zh) * 2023-04-03 2023-05-02 吉林大学 一种基于纹理特征的雾天交通标志识别方法

Similar Documents

Publication Publication Date Title
CN112084923B (zh) 一种遥感图像语义分割方法、存储介质及计算设备
CN113312983B (zh) 基于多模态数据融合的语义分割方法、系统、装置及介质
CN114898352A (zh) 一种同时实现图像去雾与车牌检测的方法
CN114677507A (zh) 一种基于双向注意力网络的街景图像分割方法及系统
CN111008608B (zh) 一种基于深度学习的夜间车辆检测方法
CN113034444A (zh) 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法
CN111353505A (zh) 可联合实现语义分割和景深估计的网络模型及训练方法
CN114913493A (zh) 一种基于深度学习的车道线检测方法
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN106373199A (zh) 一种倾斜摄影建筑物模型快速提取方法
CN115830265A (zh) 一种基于激光雷达的自动驾驶运动障碍物分割方法
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
CN115393822A (zh) 一种雾天行车障碍物检测方法及设备
CN116091426A (zh) 一种基于编-解码器的路面裂纹检测方法
Qian et al. FAOD-Net: a fast AOD-Net for dehazing single image
CN111027542A (zh) 一种基于Faster RCNN算法改进的目标检测方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN113160085B (zh) 一种基于生成对抗网络的水花遮挡图像数据集采集方法
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN117237475A (zh) 一种基于扩散生成模型的车辆交通轨迹生成方法及装置
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN114037834B (zh) 一种基于振动信号和rgb图像融合的语义分割方法及装置
CN116259040A (zh) 识别交通标志的方法、装置和电子设备
CN113343817A (zh) 一种面向目标区域的无人车路径检测方法、装置及介质
CN117079142B (zh) 无人机自动巡检的反注意生成对抗道路中心线提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination