CN111950498A - 一种基于端到端实例分割的车道线检测方法及装置 - Google Patents

一种基于端到端实例分割的车道线检测方法及装置 Download PDF

Info

Publication number
CN111950498A
CN111950498A CN202010849063.XA CN202010849063A CN111950498A CN 111950498 A CN111950498 A CN 111950498A CN 202010849063 A CN202010849063 A CN 202010849063A CN 111950498 A CN111950498 A CN 111950498A
Authority
CN
China
Prior art keywords
lane line
feature
segmentation
pixel
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010849063.XA
Other languages
English (en)
Inventor
徐昕
孙毅
方强
曾宇骏
呼晓畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010849063.XA priority Critical patent/CN111950498A/zh
Publication of CN111950498A publication Critical patent/CN111950498A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开一种基于端到端实例分割的车道线检测方法及装置，该方法步骤包括：获取待检测图像，对图像中各像素进行实例特征编码，获取得到实例特征图；对获取的待检测图像进行语义分割，将车道线的像素从背景中提取出来；预测每一条车道线上的所需关键点，并从提取的实例特征图中对应关键点所在位置处提取出每条车道线的代表性特征，得到各条车道线的代表特征组合；将代表特征组合作为动态分类权重，并与提取的实例特征图进行全连接操作，得到每一个像素的实例分类结果，实现车道线检测。本发明具有实现方法简单、计算量小、检测效率高以及检测性能好、任务扩展性好等优点。

Description

一种基于端到端实例分割的车道线检测方法及装置
技术领域
本发明涉及车道线自动检测技术领域，尤其涉及一种基于端到端实例分割的车道线检测方法及装置。
背景技术
车道线检测是自动驾驶以及先进辅助驾驶系统中的重要环节，可以用于车道保持系统和车道偏离预警系统。为实现车道线检测，传统的计算机视觉算法常常是从边缘检测、线段提取、线段组织和后处理等方式入手，该类传统方法的优势在于计算量低，在高速公路等路况良好的情况下，性能稳定，但是难以处理复杂路况。
另一类实现车道线检测是基于深度卷积神经网络的车道线检测算法，该类算法最初仅是从语义分割的角度来解决问题，即将车道线与背景进行分离，而如果简单地将车道线检测看作是语义分割问题，并不能直接得到可用的结果，因为语义分割只是将车道线区域从背景中提取出来，但是车道线检测的目的是用于车辆在道路上进行车道保持和车道偏离预警，其检测结果将被作为重要的观测值输入到控制系统中，因此需要给出每一条车道线的解析表达式，并计算曲率，即实际的应用需求是要求算法能够单独地区分每一条车道线，因此最初基于深度卷积神经网络的车道线检测算法并无法区分不同的车道线实例，需要一系列的后处理操作。
对于基于深度卷积神经网络的车道线检测算法上述问题，目前有一种解决思路是将不同的车道线看作是不同的类，然后将不同车道线实例的区分看作是多分类问题，即认为单纯的语义分割并不能作为最终结果，需要进行后处理，将车道线的分割结果聚类成为不同的实例，基于此衍生出了目前三种主要的解决方法：
1、语义分割+聚类方法，即进行语义分割提取出车道线后，使用聚类算法聚类成为不同的实例，常见的聚类算法有DBSCAN(基于密度的聚类算法)、谱聚类等，但是该类方法需要进行聚类处理，会涉及到聚类方法选择和参数设置问题，不仅计算时间耗费比较大，同时对参数设置也较为敏感。
2、将不同条的车道线看作不同的类别，进行多类别语义分割方法，但是该类方法限定了车道线的条数，同时无法很好的处理换道时候的检测问题(换道会引起类别歧义)。
3、基于实例特征嵌入的车道线实例分割方法，典型的如Instance-embedding+cluster(欧式空间实例编码+均值漂移的聚类)算法等，该方法属于bottom-up的实例分割思路，如图1所示，通过对不同的像素进行实例编码，使得一类实例特征相近，不同实例特征相似度低，然后通过选取合适的聚类方法来进行实例聚类。但是该类方法是在欧式空间中实现的，所以为了约束特征的幅值，需要加入正则化方法，同时在已区分的特征基础上，还需要使用均值漂移的方式来对不同的实例进行聚类，这种聚类方式比较耗费时间，造成了相对较大的计算负担，尤其是在实例较多的情况下，会极大的增加计算量。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、计算量小、检测效率高以及检测性能好、任务扩展性好的基于端到端实例分割的车道线检测方法及装置。
为解决上述技术问题，本发明提出的技术方案为：
一种基于端到端实例分割的车道线检测方法，步骤包括：
实例特征嵌入：获取待检测图像，利用余弦相似度的度量方式对获取的待检测图像中各像素进行实例特征编码，提取得到实例特征图；
车道线语义分割：对获取的待检测图像进行语义分割，将车道线的像素从背景中提取出来；
关键点预测：预测每一条车道线上的所需关键点，并从实例特征图中对应所述关键点所在位置处提取出每条车道线的代表性特征，得到各条车道线的代表特征组合；
实例分类：将所述代表特征组合作为全连接权重，并与提取的所述实例特征图进行全连接操作，得到每一个像素的实例分类结果，实现车道线检测。
进一步的，所述进行实例特征编码时，用于监督特征嵌入的损失函数具体为：
Figure BDA0002644113580000021
其中，C为实例数，Nc为每条车道线上的像素个数，x为归一化之后的像素特征，xcen为每一个实例的平均特征，M为余弦相似度的判别间距。
进一步的，所述进行语义分割时，具体先计算像素特征的归一化概率P＝{p1,p2}，其中p1,p2分别表示每个像素隶属于背景和车道线的概率，然后使用交叉熵计算分类损失lseg，目标函数具体为：
Figure BDA0002644113580000022
其中，
Figure BDA0002644113580000023
为真值中第i个像素点属于第j类的概率，pj为网络预测的第i个样本点属于第j类的概率。
进一步的，所述关键点预测步骤中具体提取每条车道线的中间点和/或中间区域中指定范围内的点作为所述关键点。
进一步的，所述关键点预测步骤中，具体通过先预测具有最高概率的前多个点，然后通过非极大值抑制排除同一条车道线上重复预测的关键点，最终得到每条车道线上预测的关键点位置
进一步的，所述关键点预测步骤中，关键点预测损失具体采用下式计算得到：
Figure BDA0002644113580000031
其中，yi,j为真值图中每个位置(i,j)处的概率真值，p为网络预测的概率图。
进一步的，所述实例分类步骤中，具体将所述代表特征组合作为一组动态权重与所述实例特征图进行全连接操作后，再通过归一化概率计算得到每个像素点的实例分类结果，即Y＝softmax(FC(W,F))，Y为实例分类结果，W为所述代表特征组合，F为所述实例特征图，FC为全连接计算。
一种基于端到端实例分割的车道线检测装置，包括：
实例特征编码模块，用于获取待检测图像，对获取的待检测图像中各像素进行实例特征编码，获取得到实例特征图；
车道线语义分割模块，用于对获取的待检测图像进行语义分割，将车道线的像素从背景中提取出来；
关键点预测模块，用于预测每一条车道线上的所需关键点，并从提取的所述实例特征图中对应所述关键点所在位置处提取出每条车道线的代表性特征，得到各条车道线的代表特征组合；
实例分类模块，用于将所述代表特征组合作为全连接权重，并与提取的所述实例特征图进行全连接操作，得到每一个像素的实例分类结果，实现车道线检测。
一种存储有计算机程序的计算机可读存储介质，所述计算机程序执行时实现如上述基于端到端实例分割的车道线检测方法。
与现有技术相比，本发明的优点在于：
1、本发明基于端到端实例分割的车道线检测方法及装置，将车道线的实例分割任务看作是一个动态分类问题，通过实例特征嵌入的嵌入监督，在完成语义分割提取出车道线后，结合使用关键点预测的方式提取关键点区域的特征作为全连接权重与特征图进行全连接操作，可以直接使用全连接的形式实现实例分类操作，全连接权重从特征图中动态提取，可以实现动态分类，避免聚类操作，大大减少了所需的计算量，从而提高检测效率，能够有效的简化后处理操作，提高端到端的车道线检测能力，同时无需提前假设车道线的条数。
2、本发明基于端到端实例分割的车道线检测方法及装置，进行实例特征编码时使用余弦相似度来度量不同实例之间的距离，即对不同车道线上的像素进行基于余弦相似度的特征编码，基于余弦相似度进行特征编码得到的特征能够很好的匹配后续动态分类过程，从而便于后续实现高效的动态分类。
3、本发明基于端到端实例分割的车道线检测方法及装置，通过构建用于监督特征嵌入的损失函数，能够使同一实例的像素具有较高的余弦相似度，而不同类的像素的余弦相似度较小，基于该类型的特征分布将会极大的方便后续进一步的实例分类任务，使得后续可以通过全连接的形式来找到每一个像素最可能属于的车道线实例，进一步提高检测性能。
附图说明
图1是传统的基于实例特征嵌入的车道线实例分割方法实现原理示意图。
图2是本实施例基于端到端实例分割的车道线检测方法的实现流程示意图。
图3是本发明具体应用实施例中基于端到端实例分割实现车道线检测的实现原理示意图。
图4是本发明在具体应用实施例中通过语义分割得到的车道线分割结果示意图。
图5是本发明在具体应用实施例中得到的实例特征图、关键点预测信息结果示意图。
图6是本发明在具体应用实施例中经过高斯模糊处理后得到的真值图。
图7是本发明具体应用实施例中不同场景下得到的车道线检测结果。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图2所示，本实施例基于端到端实例分割的车道线检测方法的步骤包括：
S1.实例特征嵌入：获取待检测图像，利用余弦相似度的度量方式对获取的待检测图像中各像素进行实例特征编码，获取得到实例特征图；
S2.车道线语义分割：对获取的待检测图像进行语义分割，将车道线的像素从背景中提取出来；
S3.关键点预测：预测每一条车道线上的所需关键点，并从提取的实例特征图中对应关键点所在位置处提取出每条车道线的代表性特征，得到各条车道线的代表特征组合；
S4.实例分类：将代表特征组合作为全连接权重，并与提取的实例特征图进行全连接操作，得到每一个像素的实例分类结果，实现车道线检测。
语义分割是对像素的类别进行分类，实例分割则是对同一类目标内部，按照不同个体再进行细分，即区分同一类物体内的不同个体。本实施例将车道线的实例分割任务看作是一个动态分类问题，即在车道线像素内部再进行分类，通过实例特征嵌入的嵌入监督，在完成语义分割提取出车道线后，结合使用关键点预测的方式提取关键点区域的特征作为动态分类权重与特征图进行全连接操作，可以直接使用全连接的形式实现实例分类操作，全连接操作等价于内积，全连接权重从特征图中动态提取，可以实现动态分类，避免聚类操作，大大减少了所需的计算量，从而提高检测效率，能够有效的简化后处理操作，提高端到端的车道线检测能力，同时无需提前假设车道线的条数。
如图3所示，本发明具体应用实施例中分别对应上述步骤配置实例特征嵌入模块(对应S1实例特征嵌入步骤)、车道线语义分割模块(对应S2车道线语义分割步骤)和关键点预测模块(对应S3关键点预测步骤)，上述实例特征嵌入模块、车道线语义分割模块以及关键点预测模块分别作为三个不同的任务整合进同一个卷积神经网络，将待检测图像输入该基于卷积神经网络的特征编码-解码网络后，由实例特征嵌入模块对待检测图像中像素进行编码，使得不同实例的像素特征具有一定的差异，而相同实例的像素特征尽可能的相似，即实现实例特征嵌入分支；车道线语义分割模块(即车道线提取分支)将车道线的像素从背景中提取出来，即实现车道线语义分割，然后与实例特征嵌入模块提取得到的特征图进行掩膜运算，得到实例特征图F∈RH×W×C，其中H为特征图的高，W为特征图的宽，C为特征图的通道数；关键点预测模块预测每一条车道线上的关键点P＝{p1,...pn}，n为关键点数，，然后从特征图中关键点P所在位置处提取出每条车道线的代表特征组合W＝{w1,...,wn},W∈R1 ×1×C×N，即实现关键点预测分支；最后将实例特征图F与代表特征组合W进行全连接操作，通过softmax归一化概率计算后得到每一个像素的实例分类结果，即实现车道线检测。
本实施例中步骤S1实例特征编码步骤，即为将不同的像素进行特征编码，让隶属于同一实例的像素拥有相似的特征，不同实例的特征不相似。本实施例进行实例特征嵌入时，使用余弦相似度来度量不同实例之间的距离，即对不同车道线上的像素进行基于余弦相似度的特征编码，通过该基于余弦相似度的特征编码得到的特征可以便于实现后续动态分类。
本实施例中，步骤S1进行实例特征嵌入时，用于监督特征嵌入的损失函数具体为：
Figure BDA0002644113580000051
其中，C为实例数，Nc为每条车道线上的像素个数，x为归一化之后的像素特征，xcen为每一个实例的平均特征，M为余弦相似度的判别间距，具体的可取M＝0.5。
本实施例通过构建上述式(1)的目标函数，能够使同一实例的像素具有较高的余弦相似度，而不同类的像素的余弦相似度较小，基于该类型的特征分布将会极大的方便后续进一步的实例分类任务，使得后续可以通过全连接的形式来找到每一个像素最可能属于的实例。
本实施例中，特征编码-解码网络具体可以选取如FCN(fully connectionnetworks)等语义分割网络，使用softmax-loss来监督网络，目标函数具体如下：
Figure BDA0002644113580000061
其中，
Figure BDA0002644113580000062
为真值中第i个像素点属于第j类的概率，pj为网络预测的第i个样本点属于第j类的概率。
本实施例步骤S2语义分割即为对像素的类别进行分类，进行语义分割时，具体利用上式(2)先计算像素特征的归一化概率P＝{p1,p2}，即先对像素特征进行softmax操作得到归一化概率P＝{p1,p2}，其中p1,p2分别表示每个像素隶属于背景和车道线的概率，然后使用交叉熵(cross-entropy)计算分类损失lseg。在具体应用实施例中进行背景去除得到车道线分割结果如图4所示，其中图4(a)为待处理图像，图4(b)为车道线分割结果。
本实施例通过S1实例特征嵌入步骤，使得不同车道线具有了可区分的特征分布，通过S2车道线语义分割步骤将背景去除，即可以有效得到分割出各条车道线，基于实例特征嵌入得到的车道线分割结果，后续再进一步结合关键点预测进行动态分类。在具体应用实施例中采用上述方法得到的结果如图5所示，其中图(a)为实例特征图经过分割图去除背景之后的结果，图(b)为实例特征图的特征分布，且其中的箭头代表的就是每一类实例中代表性特征方向，图(c)为关键点的预测信息。
本实施例中，步骤S3关键点预测步骤中具体提取每条车道线的中间点作为关键点，由中间点可得到各车道线的关键信息，从而便于进行车道线分类，当然也可以根据实际需求选取中间区域中指定范围内的其他点作为关键点，或提取各种关键点的组合以进一步提高检测精度。在具体应用实施例中，通过先预测概率最高的前K个点(K可根据实际需求设置)，然后通过非极大值抑制排除同一条车道线上重复预测的关键点，最终得到每条车道线上预测的关键点位置。
本实施例中，步骤S3关键点预测步骤中，具体通过先获取关键点标注的真值图，然后对获取的真值图后进行高斯模糊处理，得到最终的真值图。首先定义P∈{0,1}H×W为关键点标注的真值图，为了便于网络收敛，使用高斯模糊对真值图进行简单的处理后得到真值图Y，在具体应用实施例中得到的真值图Y如图6所示，亮度越高的点代表属于关键点的概率越高。与分类问题类似的，本实施例得到真值图Y后对图片上的每一点进行概率预测，由于高斯模糊，使得关键点(i,j)周围区域的真值yi+Δi,j+Δj也不为0，在训练的时候，该类模糊策略可以减小对关键点附近的背景像素概率预测损失的惩罚。在具体应用实施例中得到的关键点预测真值图后与原图进行整合，得到结果如图6所示。
本实施例具体定义yi,j为真值图中每个位置(i,j)处的概率真值，则关键点预测损失可以用式(3)进行计算，其中网络预测的概率图p，具体可通过sigmoid激活函数将关键点预测分支的特征图进行映射得到。
Figure BDA0002644113580000071
其中，yi,j为真值图中每个位置(i,j)处的概率真值，p为网络预测的概率图。
本实施例S4实例分类步骤中，具体将代表特征组合作为一组动态权重与实例特征图进行全连接操作后，再通过归一化概率计算(如softmax)得到每个像素点的实例分类结果，即Y＝softmax(FC(W,F))，Y为实例分类结果，W为所述代表特征组合，F为实例特征图。
本实施例首先通过关键点预测模块提取每条车道线上的代表点P＝{(x1,y1),...,(xn,yn)}(具体定位为车道线的中间点)，然后从实例特征嵌入模块和车道线语义分割模块联合输出的特征图F(如图5(a))中提取出每条车道线的代表性特征，最终将得到n条车道线的代表特征组合W＝{w1,...,wN},W∈R1×1×C×N，将W作为一组动态权重与实例特征图F进行全连接操作，即等价于实现了一个动态分类过程，最后通过简单的归一化概率计算(如softmax)即可得到每个像素点的实例分类结果Y，无需进行聚类处理即可实现车道线检测，可以大大的减少计算量，提高检测效率，尤其是在实例较多的情况下，能够显著提高车道线检测率。
为验证本发明有效性，在不同场景下使用本发明上述方法进行车道线检测，得到的结果如图7所示，从图中可以看出，在具有两条或多条车道线的各类场景下，本发明上述检测方法均能够准确的实现实例分割，检测出每条车道线。
本实施例基于端到端实例分割的车道线检测装置，包括：
实例特征嵌入模块，用于获取待检测图像，利用余弦相似度的度量方式对获取的待检测图像中各像素进行实例特征嵌入，以对图像中各实例的像素进行特征编码，获取得到实例特征图；
车道线语义分割模块，用于对获取的待检测图像进行语义分割，将车道线的像素从背景中提取出来；
关键点预测模块，用于预测每一条车道线上的所需关键点，并从提取的实例特征图中对应关键点所在位置处提取出每条车道线的代表性特征，得到各条车道线的代表特征组合；
实例分类模块，用于将代表特征组合作为全连接权重，并与提取的实例特征图进行全连接操作，得到每一个像素的实例分类结果，实现车道线检测。
本实施例基于端到端实例分割的车道线检测装置与上述基于端到端实例分割的车道线检测方法为一一对应，在此不再一一赘述。
本实施例存储有计算机程序的计算机可读存储介质，计算机程序执行时实现如上述基于端到端实例分割的车道线检测方法。
本发明上述车道线检测方法还可以应用于实现bottom-up的其他目标的实例分割任务，将车道线检测、目标检测等任务等价为同一个任务。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (9)

1.一种基于端到端实例分割的车道线检测方法，其特征在于，步骤包括：
实例特征嵌入：获取待检测图像，利用余弦相似度的度量方式对获取的待检测图像中各像素进行实例特征编码，获取得到实例特征图；
车道线语义分割：对获取的待检测图像进行语义分割，将车道线的像素从背景中提取出来；
关键点预测：预测每一条车道线上的所需关键点，并从提取的所述实例特征图中对应所述关键点所在位置处提取出每条车道线的代表性特征，得到各条车道线的代表特征组合；
实例分类：将所述代表特征组合作为全连接权重，并与提取的所述实例特征图进行全连接操作，得到每一个像素的实例分类结果，实现车道线检测。
2.根据权利要求1所述的基于端到端实例分割的车道线检测方法，其特征在于，所述进行实例特征编码时，用于监督特征嵌入的损失函数具体为：
Figure FDA0002644113570000011
其中，C为实例数，Nc为每条车道线上的像素个数，x为归一化之后的像素特征，xcen为每一个实例的平均特征，M为余弦相似度的判别间距。
3.根据权利要求1所述的基于端到端实例分割的车道线检测方法，其特征在于，所述进行语义分割时，具体先计算像素特征的归一化概率P＝{p1,p2}，其中p1,p2分别表示每个像素隶属于背景和车道线的概率，然后使用交叉熵计算分类损失lseg，目标函数具体为：
Figure FDA0002644113570000012
其中，
Figure FDA0002644113570000013
为真值中第i个像素点属于第j类的概率，pj为网络预测的第i个样本点属于第j类的概率。
4.根据权利要求1～3中任意一项所述的基于端到端实例分割的车道线检测方法，其特征在于，所述关键点预测步骤中具体提取每条车道线的中间点和/或中间区域中指定范围内的点作为所述关键点。
5.根据权利要求1～3中任意一项所述的基于端到端实例分割的车道线检测方法，其特征在于，所述关键点预测步骤中，具体通过先预测具有最高概率的前多个点，然后通过非极大值抑制排除同一条车道线上重复预测的关键点，最终得到每条车道线上预测的关键点位置。
6.根据权利要求1～3中任意一项所述的基于端到端实例分割的车道线检测方法，其特征在于，所述关键点预测步骤中，关键点预测损失具体采用下式计算得到：
Figure FDA0002644113570000021
其中，yi,j为真值图中每个位置(i,j)处的概率真值，p为网络预测的概率图。
7.根据权利要求1～3中所述的基于端到端实例分割的车道线检测方法，其特征在于，所述实例分类步骤中，具体将所述代表特征组合作为一组全连接权重与所述实例特征图进行全连接操作后，再通过softmax函数计算得到每个像素点的实例分类结果，即Y＝softmax(FC(W,F))，Y为实例分类结果，W为所述代表特征组合，F为所述实例特征图，FC为全连接计算。
8.一种基于端到端实例分割的车道线检测装置，其特征在于，包括：
实例特征嵌入模块，用于获取待检测图像，利用余弦相似度的度量方式对获取的待检测图像中各像素进行实例特征编码，获取得到实例特征图；
车道线语义分割模块，用于对获取的待检测图像进行语义分割，将车道线的像素从背景中提取出来；
关键点预测模块，用于预测每一条车道线上的所需关键点，并从提取的所述实例特征图中对应所述关键点所在位置处提取出每条车道线的代表性特征，得到各条车道线的代表特征组合；
实例分类模块，用于将所述代表特征组合作为全连接权重，并与提取的所述实例特征图进行全连接操作，得到每一个像素的实例分类结果，实现车道线检测。
9.一种存储有计算机程序的计算机可读存储介质，所述计算机程序执行时实现如权利要求1～7中任意一项所述基于端到端实例分割的车道线检测方法。
CN202010849063.XA 2020-08-21 2020-08-21 一种基于端到端实例分割的车道线检测方法及装置 Pending CN111950498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010849063.XA CN111950498A (zh) 2020-08-21 2020-08-21 一种基于端到端实例分割的车道线检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010849063.XA CN111950498A (zh) 2020-08-21 2020-08-21 一种基于端到端实例分割的车道线检测方法及装置

Publications (1)

Publication Number Publication Date
CN111950498A true CN111950498A (zh) 2020-11-17

Family

ID=73359387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010849063.XA Pending CN111950498A (zh) 2020-08-21 2020-08-21 一种基于端到端实例分割的车道线检测方法及装置

Country Status (1)

Country Link
CN (1) CN111950498A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669300A (zh) * 2020-12-31 2021-04-16 上海智臻智能网络科技股份有限公司 瑕疵检测方法及装置、计算机设备和存储介质
CN112926548A (zh) * 2021-04-14 2021-06-08 北京车和家信息技术有限公司 一种车道线检测方法、装置、电子设备及存储介质
CN113469133A (zh) * 2021-07-26 2021-10-01 奥特酷智能科技(南京)有限公司 一种基于深度学习的车道线检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669300A (zh) * 2020-12-31 2021-04-16 上海智臻智能网络科技股份有限公司 瑕疵检测方法及装置、计算机设备和存储介质
CN112926548A (zh) * 2021-04-14 2021-06-08 北京车和家信息技术有限公司 一种车道线检测方法、装置、电子设备及存储介质
CN113469133A (zh) * 2021-07-26 2021-10-01 奥特酷智能科技(南京)有限公司 一种基于深度学习的车道线检测方法

Similar Documents

Publication Publication Date Title
Dewangan et al. RCNet: road classification convolutional neural networks for intelligent vehicle system
CN111178245B (zh) 车道线检测方法、装置、计算机设备和存储介质
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
Maurya et al. Road extraction using k-means clustering and morphological operations
CN111950498A (zh) 一种基于端到端实例分割的车道线检测方法及装置
CN106897681B (zh) 一种遥感图像对比分析方法及系统
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
US9904868B2 (en) Visual attention detector and visual attention detection method
Tao et al. Scene context-driven vehicle detection in high-resolution aerial images
CN110580499B (zh) 基于众包重复标签的深度学习目标检测方法及系统
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN104978738A (zh) 检测数字图像中的兴趣点的方法
CN104915642A (zh) 前方车辆测距方法及装置
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN109215059B (zh) 一种航拍视频中运动车辆跟踪的局部数据关联方法
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
Deepan et al. Road recognition from remote sensing imagery using machine learning
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN113450373A (zh) 一种基于光学实况图像的运载火箭飞行过程特征事件实时判别方法
CN112052768A (zh) 基于无人机的城市违章停车检测方法、装置及存储介质
CN116912763A (zh) 一种融合步态人脸模态的多行人重识别方法
Malinas et al. Vehicle track detection in CCD imagery via conditional random field
Shabna et al. HSEG and PCA for Hyper-spectral Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination