CN113221826B - 一种基于自监督学习显著性估计像素嵌入的道路检测方法 - Google Patents

一种基于自监督学习显著性估计像素嵌入的道路检测方法 Download PDF

Info

Publication number
CN113221826B
CN113221826B CN202110600086.1A CN202110600086A CN113221826B CN 113221826 B CN113221826 B CN 113221826B CN 202110600086 A CN202110600086 A CN 202110600086A CN 113221826 B CN113221826 B CN 113221826B
Authority
CN
China
Prior art keywords
pixel
embedding
road
embedded
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110600086.1A
Other languages
English (en)
Other versions
CN113221826A (zh
Inventor
徐照程
田彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202110600086.1A priority Critical patent/CN113221826B/zh
Publication of CN113221826A publication Critical patent/CN113221826A/zh
Application granted granted Critical
Publication of CN113221826B publication Critical patent/CN113221826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自监督学习显著性估计像素嵌入的道路检测方法，该方法首先构建道路检测模型，道路检测模型由用于生成目标初始掩码的显著性估计模块、进一步改善道路分割掩码的像素嵌入学习模块复合而成；本发明方法基于图像级损失、应用全连接的条件随机场的空域一致性更新掩码预测图，利用时域融合结果更新监督信息用于迭代训练全卷积网络，使用结构感知的四元损失函数，使得属于同一类别像素间的嵌入空间距离小于属于不同类别像素间的嵌入空间距离。本发明方法能够灵活扩展自监督方法到复杂的交通场景中，并能够有效提高无像素级标注情况下的道路检测的准确率。

Description

一种基于自监督学习显著性估计像素嵌入的道路检测方法
技术领域
本发明涉及道路检测技术领域，具体涉及一种基于自监督学习显著性估计像素嵌入的道路检测方法。
背景技术
道路检测能够自动识别图像中的道路区域，同时完成道路的分类和定位任务。而且道路检测是自动驾驶，交通监控，场景理解和图像检索等任务的基本模块，因此，道路检测在过去的十年中一直是活跃的研究领域。
近年来，深度学习特别是深度卷积神经网络(deep convolutional neuralnetworks,DCNNs)的发展，在道路检测任务中得到了成功应用，而有监督学习使得模型能够高效理解道路特征，从而准确定位正确的道路及位置，使得道路检测取得长足发展。然而，有监督学习需要大量繁琐的劳动密集型的像素级标注过程。另外，当前方法均从以目标为中心的图像中学习表征，这在复杂的交通场景中会产生模棱两可的结果。针对这个问题，一些现有方法利用自监督方法学习与最终任务相关的前置任务，但因为没有明确地学习语义像素嵌入，且大多数方法都依赖于图像级标注，并不能保证预测结果可以将道路区域与复杂环境中的其他目标区域分开，因而并不利于道路检测。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于自监督学习显著性估计像素嵌入的道路检测方法，该方法能够灵活有效地将当前的自监督方法扩展到复杂的交通场景，并设计一种新的方法来适当地探索像素空间中的结构信息以增强判别能力，从而提升道路检测的准确率。
本发明的目的是通过以下技术方案来实现的：一种基于自监督学习显著性估计像素嵌入的道路检测方法，该方法包括以下步骤：
(1)构建道路检测模型，包括用于生成目标初始掩码的自监督学习显著性估计模块、进一步改善道路分割掩码的像素嵌入学习模块；
所述自监督学习显著性估计模块的构建方法如下：
输入原始图像x，通过手工方法生成图像的初始显著性预测图，将初始显著性预测图二值化为伪标签；全卷积网络通过伪标签和图像级损失进行学习；
在全卷积网络的学习过程中，利用空域一致性和时域融合结果更新监督信息用于迭代训练全卷积网络，实现自监督学习，具体为：不同epoch下的显著性预测图，应用全连接的条件随机场的空域一致性更新掩码预测图；利用训练过程中每个epoch的CRF更新结果融合历史显著性预测图；将融合后的历史显著性预测图作为监督信息，微调全卷积网络；
所述像素嵌入学习模块的构建方法如下：
将原始图像x作为基于编码器-解码器结构的嵌入网络的输入，在嵌入网络的学习过程中，将原始图像x的全部像素映射到嵌入空间，通过自监督学习显著性估计模块得到的历史显著性预测图量化得到初始道路区域，将原始图像x中初始道路区域之外的像素通过k-means聚类算法分成C类区域，每个类别区域的像素嵌入取平均值，得到该类别的平均嵌入，通过优化代价函数使得原始图像空间中外观相似的像素在嵌入空间中相互靠近，外观不相似的像素在嵌入空间中相互远离，从而使得属于同一类别像素间的嵌入空间距离小于属于不同类别像素间的嵌入空间距离；
(2)得到检测结果：利用训练集训练所述道路检测模型；测试时将待检测图像输入道路检测模型，得到图像中每个像素在嵌入空间的映射结果，映射结果与道路类别平均嵌入做差，并与门限比较，从而判断道路区域。
进一步地，所述自监督学习显著性估计模块中，将通过手工方法生成的初始显著性预测图的每个像素M(x；p)与固定阈值ε比较生成伪标签L(x；p)，1表示前景像素，0表示背景像素，所述固定阈值ε通过网格搜索获取使得分割结果的mIoU(mean intersection overUnion)准确率最高的数值确定。
进一步地，所述自监督学习显著性估计模块中，图像级损失
Figure BDA0003092626080000021
其中β为可控参数，当β＝1时，Lβ为F1度量函数，P为准确率，R为召回率。
进一步地，所述全卷积网络的学习过程具体为：
(1)对第k个epoch的显著性预测图
Figure BDA0003092626080000022
应用全连接的条件随机场得到相同分辨率的掩码预测图
Figure BDA0003092626080000023
(2)将第k-1个epoch的历史显著性预测图h(x,k-1)和第k个
Figure BDA0003092626080000024
进行线性融合，得到第k个epoch的历史显著性预测图h(x,k)；线性融合公式如下：
Figure BDA0003092626080000025
其中，α为当前显著性预测图与历史显著性预测图的平衡因子；
(3)当epoch数达到总迭代次数K时，得到的历史显著性预测图h(x,K)作为新的监督信息，通过监督信息微调全卷积网络；重复该过程，直到相邻循环得到的历史显著性预测图处于相对稳定状态为止。
进一步地，所述像素嵌入学习模块中，所述代价函数为结构感知的四元损失函数；
假设索引为i的像素pi经过嵌入网络得到像素嵌入zi＝φθ(pi)，θ为嵌入网络的权值；初始道路区域由自监督学习显著性估计模块输出的历史显著性预测图确定，初始道路区域之外的像素由k-means聚类算法分为C类区域；像素pi的类别为ci∈{1,2,…,C+1}，第C+1类为道路类，同一类别c的所有像素将构成掩码Mc；类别c的平均像素嵌入
Figure BDA0003092626080000031
其中|·|为当前类别的像素总数目；
根据显著性预测和聚类算法，将初始道路区域的像素pi作为正类记为c+，对应的平均像素嵌入为
Figure BDA0003092626080000032
其他类别作为负类记为c-∈{1,2,…,C}，类别c-的平均像素嵌入为
Figure BDA0003092626080000035
；
Figure BDA0003092626080000033
是由像素pi获得的嵌入zi与同类别的平均像素嵌入
Figure BDA0003092626080000034
之间的距离；δneg1＝d(zi,zc1-)是像素嵌入zi与类别c1-的平均像素嵌入
Figure BDA0003092626080000036
之间的距离；δneg2＝d(zi,zc2-)是像素嵌入zi与类别c2-的平均像素嵌入
Figure BDA0003092626080000037
之间的距离；
为了增强负类的多样性，通过难例像素挖掘获得类别c1-，通过下式，最小化当前像素嵌入与类别c2-的平均像素嵌入的距离、类别c1-的平均像素嵌入与类别c2-的平均像素嵌入之间的距离，从而获得类别c2-：
Figure BDA0003092626080000038
其中，
Figure BDA0003092626080000039
表示类别c1-和c2-之间的平均像素嵌入距离，λ为权重平衡因子；
接着，利用结构感知的四元损失函数Lquadru优化嵌入网络，如下式所示：
Lquadru＝max{γ+δpos-δneg1,0}+max{δ+δpos-δneg2,0}
其中，常系数γ，δ基于实验结果进行调整。
进一步地，所述道路检测模型采用端到端End-to-End学习模式。
进一步地，所述道路检测模型训练阶段采用GPU进行计算。
进一步地，所述道路检测模型相关参数ε，α，γ，δ和λ通过网格搜索确定，可以按如下值配置但不限于此：ε＝0.5，α＝0.1，γ＝100，δ＝100和λ＝0.1，实验结果表明，当前参数配置优于其他配置。
进一步地，采用KITTI数据集或Tian交通数据集作为道路检测模型的训练集。KITTI数据集包含由五个不同的日期收集的289张训练图像和290张测试图像，分辨率为375×1242，道路检测任务中只包含道路类和其它类，两个类别；因为交通密度相对较低，道路区域通常可见；Tian交通数据集由16,000张训练图像和3,000张验证图像及测试图像组成，分辨率为1080×720；图像分为道路区域和其它区域，收集位置包括桥梁，隧道，高速公路和城市环境，收集时间包括日落，白天和夜晚。评估标准包括最大F1度量函数，准确率(precision)，召回率(recall)和平均精度(average precision,AP)。
相比于现有技术，本发明具有的有益效果为：
(1)提出自监督学习显著性估计模块，生成目标初始掩码，基于图像级损失、应用全连接的条件随机场的空域一致性更新掩码预测图，利用空域一致性和时域融合结果更新监督信息用于迭代训练全卷积网络。
(2)采用集成学习，并利用空域一致性和时域融合结果提升模型鲁棒性。
(3)提出像素嵌入学习模块，使用结构感知的四元损失函数，使得属于同一类别像素间的嵌入空间距离小于属于不同类别像素间的嵌入空间距离，改善各像素分配情况，其多样性在训练阶段能够隐式加速收敛。
(4)在KITTI数据集和Tian交通数据集上的实验结果表明，与其他先进检测方法相比，本发明方法具有可观的竞争力。
附图说明
图1是本发明实施例提供的道路检测模型的框架示意图；
图2是本发明实施例提供的显著性估计流程示意图；
图3是本发明实施例提供的结构感知的四元损失函数示意图；
图4是本发明实施例在KITTI数据集上的结果实例图。
图5是本发明实施例在Tian交通数据集上的结果实例图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明实施例提出的一种基于自监督学习显著性估计像素嵌入的道路检测方法，该方法基于图像级损失、应用全连接的条件随机场的空域一致性更新掩码预测图，利用空域一致性和时域融合结果更新监督信息用于迭代训练全卷积网络，使用结构感知的四元损失函数，使得属于同一类别像素间的嵌入空间距离小于属于不同类别像素间的嵌入空间距离。该方法具体包括以下步骤：
步骤1：构建道路检测模型，包括用于生成目标初始掩码的自监督学习显著性估计模块、进一步改善道路分割掩码的像素嵌入学习模块；
所述自监督学习显著性估计模块的构建方法如下：
输入原始图像x，通过手工方法生成的初始显著性预测图的每个像素M(x；p)与固定阈值ε比较生成伪标签L(x；p)，1表示前景像素，0表示背景像素，所述固定阈值ε通过网格搜索获取使得分割结果的mIoU(mean intersection over Union)准确率最高的数值确定；全卷积网络通过伪标签L(x；p)和图像级损失
Figure BDA0003092626080000051
进行学习，其中β为可控参数，当β＝1时，Lβ为F1度量函数，P为准确率，R为召回率；
在全卷积网络的学习过程中，利用空域一致性和时域融合结果更新监督信息用于迭代训练全卷积网络，实现自监督学习，具体为：
(1)对第k个epoch的显著性预测图
Figure BDA0003092626080000052
应用全连接的条件随机场得到相同分辨率的掩码预测图
Figure BDA0003092626080000053
(2)将第k-1个epoch的历史显著性预测图h(x,k-1)和第k个epoch的
Figure BDA0003092626080000054
进行线性融合，得到第k个epoch的历史显著性预测图h(x,k)；线性融合公式如下：
Figure BDA0003092626080000055
其中，α为当前显著性预测图与历史显著性预测图的平衡因子；
(3)当epoch数达到总迭代次数K时，得到的历史显著性预测图h(x,K)作为新的监督信息，通过监督信息微调全卷积网络；重复该过程，直到相邻循环得到的历史显著性预测图处于相对稳定状态为止。
所述像素嵌入学习模块的构建方法如下：
将原始图像x作为基于编码器-解码器结构的嵌入网络的输入，在嵌入网络的学习过程中，将原始图像x的全部像素映射到嵌入空间，得到像素嵌入zi＝φθ(pi)，θ为嵌入网络的权值；通过自监督学习显著性估计模块得到的历史显著性预测图量化得到初始道路区域，初始道路区域之外的像素由k-means聚类算法分为C类区域，本实施例中C＝9；像素pi的类别为ci∈{1,2,…,C+1}，第C+1类为道路类，同一类别c的所有像素将构成掩码Mc；每个类别区域的像素嵌入取平均值，得到类别c的平均像素嵌入
Figure BDA0003092626080000056
其中|·|为当前类别的像素总数目；
根据显著性预测和聚类算法，将初始道路区域的像素pi作为正类记为c+，对应的平均像素嵌入为
Figure BDA0003092626080000057
其他类别作为负类记为c-∈{1,2,…,C}，类别c-的平均像素嵌入为
Figure BDA00030926260800000510
；
Figure BDA0003092626080000058
是由像素pi获得的嵌入zi与同类别的平均像素嵌入
Figure BDA0003092626080000059
之间的距离；
Figure BDA00030926260800000511
是像素嵌入zi与类别c1-的平均像素嵌入
Figure BDA00030926260800000512
之间的距离；
Figure BDA00030926260800000513
是像素嵌入zi与类别c2-的平均像素嵌入
Figure BDA0003092626080000061
之间的距离；
为了增强负类的多样性，通过难例像素挖掘获得类别c1-，并最小化当前像素嵌入与类别c2-的平均像素嵌入的距离、类别c1-的平均像素嵌入与类别c2-的平均像素嵌入之间的距离，从而获得类别c2-：
Figure BDA0003092626080000062
其中，
Figure BDA0003092626080000063
表示类别c1-和c2-之间的平均像素嵌入距离，λ为权重平衡因子；
接着，利用结构感知的四元损失函数Lquadru优化嵌入网络，使得原始图像空间中外观相似的像素在嵌入空间中相互靠近，外观不相似的像素在嵌入空间中相互远离，从而使得属于同一类别像素间的嵌入空间距离小于属于不同类别像素间的嵌入空间距离；
结构感知的四元损失函数Lquadru：
Lquadru＝max{γ+δpos-δneg1,0}+max{δ+δpos-δneg2,0}
其中，常系数γ，δ基于实验结果进行调整。
步骤2：得到检测结果：利用训练集训练所述道路检测模型；测试时将待检测图像输入道路检测模型，得到图像中每个像素在嵌入空间的映射结果，映射结果与道路类别平均嵌入做差，并与门限比较，从而判断道路区域。
本实施例提供的道路检测方法可以预测道路区域的位置，并给出对应掩码，且能够应用到道路检测的其他方面。采用本实施方式对图像中的道路进行检测的过程包括训练和测试两个部分。下面结合附图介绍本实施例所采用的道路检测模型。
图1是本发明实施例提供的道路检测模型的框架示意图，该模型由用于生成目标初始掩码的自监督学习显著性估计模块、进一步改善道路分割掩码的像素嵌入学习模块复合而成；
在自监督学习显著性估计模块中，数据增强部分使用水平和垂直翻转。显著性估计模块的基线遵循DeepUSPS，最初是在包含有限的复杂场景的MSRA数据集上训练的。本发明采用n＝2个手工方法，分别为：[W.Zhu,S.Liang,Y.Wei,and J.Sun,“Saliencyoptimization from robustbackground detection,”in CVPR,2014,pp.2814–2821.]以及[W.Zou and N.Komodakis,“Harf:Hierarchy-associated rich featuresfor salientobject detection,”in ICCV,2015,pp.406–414.]。训练初始学习率为0.005；然后，学习率在20个epoch时减少20倍，并在30个epoch停止，每个批次有16张图像。在像素嵌入学习模块中，整个网络使用rmsprop优化器进行训练，每个批次中有16张图像。前30个epoch，学习率设置为0.0055，然后在接下来的30个epoch中降低0.7倍。
本实施例中测试方法具体为：给定测试图像，将训练得到的道路检测模型执行一次前向传播得到基于本实施例提出的道路检测模型的测试结果。
图2是本发明实施例提供的显著性估计流程示意图，手工方法用于生成图像的初始显著性预测图，条件随机场与时序均值用于探索时空信息。
图3是本发明实施例提供的结构感知的四元损失函数示意图，(a)三元损失，(b)四元损失，(c)结构感知的四元损失；“A”表示当前像素，“P”表示正类像素，“N”表示负类像素。
图4是本发明实施例在KITTI数据集上的结果实例图，第一行为输入图像，第二行和第三行分别展示了动量对比方法(momentum contrast,MOCO)和本文方法的输出结果，最后一行为对应的真实标签。
图5是本发明实施例在Tian交通数据集上的结果实例图，第一行为输入图像，第二行和第三行分别展示了动量对比方法和本文方法的输出结果，最后一行为对应的真实标签。
结果表明，本实施例提出的方法与其他先进的检测方法相比更具有竞争力。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于自监督学习显著性估计像素嵌入的道路检测方法，其特征在于，包括以下步骤：
(1)构建道路检测模型，包括用于生成目标初始掩码的自监督学习显著性估计模块、进一步改善道路分割掩码的像素嵌入学习模块；
所述自监督学习显著性估计模块的构建方法如下：
输入原始图像x，通过手工方法生成图像的初始显著性预测图，将初始显著性预测图二值化为伪标签；全卷积网络通过伪标签和图像级损失进行学习；
在全卷积网络的学习过程中，利用空域一致性和时域融合结果更新监督信息用于迭代训练全卷积网络，实现自监督学习，具体为：不同epoch下的显著性预测图，应用全连接的条件随机场的空域一致性更新掩码预测图；利用训练过程中每个epoch的CRF更新结果融合历史显著性预测图；将融合后的历史显著性预测图作为监督信息，微调全卷积网络；
所述像素嵌入学习模块的构建方法如下：
将原始图像x作为基于编码器-解码器结构的嵌入网络的输入，在嵌入网络的学习过程中，将原始图像x的全部像素映射到嵌入空间，通过自监督学习显著性估计模块得到的历史显著性预测图量化得到初始道路区域，将原始图像x中初始道路区域之外的像素通过k-means聚类算法分成C类区域，每个类别区域的像素嵌入取平均值，得到该类别的平均嵌入，通过优化代价函数使得原始图像空间中外观相似的像素在嵌入空间中相互靠近，外观不相似的像素在嵌入空间中相互远离，从而使得属于同一类别像素间的嵌入空间距离小于属于不同类别像素间的嵌入空间距离；
(2)得到检测结果：利用训练集训练所述道路检测模型；测试时将待检测图像输入道路检测模型，得到图像中每个像素在嵌入空间的映射结果，映射结果与道路类别平均嵌入做差，并与门限比较，从而判断道路区域。
2.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法，其特征在于，所述自监督学习显著性估计模块中，将通过手工方法生成的初始显著性预测图的每个像素M(x；p)与固定阈值ε比较生成伪标签L(x；p)，所述固定阈值ε通过网格搜索获取使得分割结果的mIoU准确率最高的数值确定。
3.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法，其特征在于，所述自监督学习显著性估计模块中，图像级损失
Figure FDA0004135447630000011
其中β为可控参数，当β＝1时，Lβ为F1度量函数，P为准确率，R为召回率。
4.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法，其特征在于，所述全卷积网络的学习过程具体为：
(1)对第k个epoch的显著性预测图
Figure FDA0004135447630000021
应用全连接的条件随机场得到相同分辨率的掩码预测图
Figure FDA0004135447630000022
(2)将第k-1个epoch的历史显著性预测图h(x,k-1)和第k个epoch的
Figure FDA0004135447630000023
进行线性融合，得到第k个epoch的历史显著性预测图h(x,k)；线性融合公式如下：
Figure FDA0004135447630000024
其中，α为当前显著性预测图与历史显著性预测图的平衡因子；
(3)当epoch数达到总迭代次数K时，得到的历史显著性预测图h(x,K)作为新的监督信息，通过监督信息微调全卷积网络；重复该过程，直到相邻循环得到的历史显著性预测图处于相对稳定状态为止。
5.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法，其特征在于，所述像素嵌入学习模块中，所述代价函数为结构感知的四元损失函数；
索引为i的像素pi经过嵌入网络得到像素嵌入zi＝φθ(pi)，θ为嵌入网络的权值；初始道路区域由自监督学习显著性估计模块输出的历史显著性预测图确定，初始道路区域之外的像素由k-means聚类算法分为C类区域；像素pi的类别为ci∈{1,2,…,C+1}，第C+1类为道路类，同一类别c的所有像素将构成掩码Mc；类别c的平均像素嵌入
Figure FDA0004135447630000025
其中|·|为当前类别的像素总数目；
根据显著性预测和聚类算法，将初始道路区域的像素pi作为正类记为c+，对应的平均像素嵌入为
Figure FDA0004135447630000026
其他类别作为负类记为c-∈{1,2,…,C}，类别c-的平均像素嵌入为
Figure FDA0004135447630000027
Figure FDA0004135447630000028
是由像素pi获得的嵌入zi与同类别的平均像素嵌入
Figure FDA0004135447630000029
之间的距离；
Figure FDA00041354476300000210
是像素嵌入zi与类别c1-的平均像素嵌入
Figure FDA00041354476300000211
之间的距离；
Figure FDA00041354476300000212
是像素嵌入zi与类别c2-的平均像素嵌入
Figure FDA00041354476300000213
之间的距离；
通过难例像素挖掘获得类别c1-，最小化当前像素嵌入与类别c2-的平均像素嵌入的距离、类别c1-的平均像素嵌入与类别c2-的平均像素嵌入之间的距离，从而获得类别c2-，公式如下：
Figure FDA00041354476300000214
其中，
Figure FDA00041354476300000215
表示类别c1-和c2-之间的平均像素嵌入距离，λ为权重平衡因子；
接着，利用结构感知的四元损失函数Lquadru优化嵌入网络，如下式所示：
Lquadru＝max{γ+δpos-δneg1,0}+max{δ+δpos-δneg2,0}
其中，常系数γ，δ基于实验结果进行调整。
6.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法，其特征在于，所述道路检测模型采用端到端End-to-End学习模式。
7.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法，其特征在于，所述道路检测模型训练阶段采用GPU进行计算。
8.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法，其特征在于，采用KITTI数据集或Tian交通数据集作为道路检测模型的训练集。
CN202110600086.1A 2021-05-31 2021-05-31 一种基于自监督学习显著性估计像素嵌入的道路检测方法 Active CN113221826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110600086.1A CN113221826B (zh) 2021-05-31 2021-05-31 一种基于自监督学习显著性估计像素嵌入的道路检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110600086.1A CN113221826B (zh) 2021-05-31 2021-05-31 一种基于自监督学习显著性估计像素嵌入的道路检测方法

Publications (2)

Publication Number Publication Date
CN113221826A CN113221826A (zh) 2021-08-06
CN113221826B true CN113221826B (zh) 2023-05-02

Family

ID=77082026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110600086.1A Active CN113221826B (zh) 2021-05-31 2021-05-31 一种基于自监督学习显著性估计像素嵌入的道路检测方法

Country Status (1)

Country Link
CN (1) CN113221826B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189058B (zh) * 2023-03-03 2023-10-03 北京信息科技大学 基于无监督深度学习的视频显著性目标检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547805B1 (en) * 2013-01-22 2017-01-17 The Boeing Company Systems and methods for identifying roads in images
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108876805A (zh) * 2018-06-20 2018-11-23 长安大学 一种端对端无监督场景可通行区域认知与理解方法
CN111680702A (zh) * 2020-05-28 2020-09-18 杭州电子科技大学 一种使用检测框实现弱监督图像显著性检测的方法
CN112308860A (zh) * 2020-10-28 2021-02-02 西北工业大学 基于自监督学习的对地观测图像语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547805B1 (en) * 2013-01-22 2017-01-17 The Boeing Company Systems and methods for identifying roads in images
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108876805A (zh) * 2018-06-20 2018-11-23 长安大学 一种端对端无监督场景可通行区域认知与理解方法
CN111680702A (zh) * 2020-05-28 2020-09-18 杭州电子科技大学 一种使用检测框实现弱监督图像显著性检测的方法
CN112308860A (zh) * 2020-10-28 2021-02-02 西北工业大学 基于自监督学习的对地观测图像语义分割方法

Also Published As

Publication number Publication date
CN113221826A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN110543911B (zh) 一种结合分类任务的弱监督目标分割方法
CN110070074B (zh) 一种构建行人检测模型的方法
CN110781262B (zh) 基于视觉slam的语义地图的构建方法
CN110796026A (zh) 一种基于全局特征拼接的行人重识别方法
CN111382686B (zh) 一种基于半监督生成对抗网络的车道线检测方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN109522961B (zh) 一种基于字典深度学习的半监督图像分类方法
US20230358533A1 (en) Instance segmentation imaging system
CN108427919B (zh) 一种基于形状引导显著性模型的无监督油罐目标检测方法
Gao et al. Fine-grained off-road semantic segmentation and mapping via contrastive learning
CN113033555B (zh) 基于度量学习的视觉slam闭环检测方法
CN113837134A (zh) 一种基于面向对象的深度学习模型和迁移学习的湿地植被识别方法
CN112084871B (zh) 一种基于弱监督学习的高分遥感目标边界提取方法
CN113221826B (zh) 一种基于自监督学习显著性估计像素嵌入的道路检测方法
CN114549909A (zh) 一种基于自适应阈值的伪标签遥感图像场景分类方法
CN114139631B (zh) 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
Chen et al. Memory-contrastive unsupervised domain adaptation for building extraction of high-resolution remote sensing imagery
CN116721206A (zh) 一种实时的室内场景视觉同步定位与建图方法
CN116310293A (zh) 一种基于弱监督学习的生成高质量候选框目标检测方法
CN115062708A (zh) 一种基于轨迹偏差点嵌入和深度聚类的异常节点检测方法
CN110084190B (zh) 一种基于ann的剧烈光照环境下实时非结构化道路检测方法
CN116363498A (zh) 基于深度迁移学习的黄土高原梯田自动识别方法
Cao et al. IBCO-Net: Integrity-Boundary-Corner Optimization in a General Multi-Stage Network for Building Fine Segmentation from Remote Sensing Images
Zhu et al. An ANN-based Real-time Unstructured Road Detection Approach under Time-varying Illumination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant