CN115147794B - 车道线确定方法、装置、车辆、介质及芯片 - Google Patents

车道线确定方法、装置、车辆、介质及芯片 Download PDF

Info

Publication number
CN115147794B
CN115147794B CN202210771249.7A CN202210771249A CN115147794B CN 115147794 B CN115147794 B CN 115147794B CN 202210771249 A CN202210771249 A CN 202210771249A CN 115147794 B CN115147794 B CN 115147794B
Authority
CN
China
Prior art keywords
lane line
target
point
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210771249.7A
Other languages
English (en)
Other versions
CN115147794A (zh
Inventor
闫泽杭
张亚森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Automobile Technology Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd, Xiaomi Automobile Technology Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202210771249.7A priority Critical patent/CN115147794B/zh
Publication of CN115147794A publication Critical patent/CN115147794A/zh
Application granted granted Critical
Publication of CN115147794B publication Critical patent/CN115147794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及一种车道线确定方法、装置、车辆、介质及芯片。所述方法包括:获取待处理的目标图像;确定所述目标图像对应的车道线起点信息和车道线轨迹信息,所述车道线起点信息用于指示所述目标图像中车道线起点所处的第一位置,所述车道线轨迹信息用于指示构成车道线的多个车道线关键点的相对位置;根据所述车道线起点信息和所述车道线轨迹信息,确定所述目标图像中的车道线。这样,可以实现对任意形状的车道线的确定,在实际的行车场景中具有更高的适用性。

Description

车道线确定方法、装置、车辆、介质及芯片
技术领域
本公开涉及自动驾驶领域,尤其涉及一种车道线确定方法、装置、车辆、介质及芯片。
背景技术
在自动驾驶场景中,车道线检测技术是自动驾驶感知任务的重要组成部分,它负责实时检测行车图像中的车道线,为下游的规划与控制变道等决策任务提供支撑,由此可见,对于车道线的确定、感知、检测是实现自动驾驶的重中之重。
相关技术中,对于车道线的确定,一般先提取手工设计的图像特征,然后增加霍夫变换等后处理技术得到结果,对兼具多样性和复杂性的真实行车场景缺乏适应性和鲁棒性,无法满足安全性和可靠性的需求。
发明内容
为克服相关技术中存在的问题,本公开提供一种车道线确定方法、装置、车辆、介质及芯片。
根据本公开实施例的第一方面,提供一种车道线确定方法,所述方法包括:
获取待处理的目标图像;
确定所述目标图像对应的车道线起点信息和车道线轨迹信息,所述车道线起点信息用于指示所述目标图像中车道线起点所处的第一位置,所述车道线轨迹信息用于指示构成车道线的多个车道线关键点的相对位置;
根据所述车道线起点信息和所述车道线轨迹信息,确定所述目标图像中的车道线。
可选地,所述车道线起点信息通过以下方式确定:
利用预先训练的起点识别模型,生成与所述目标图像对应的目标热度图,所述目标热度图的像素点与所述目标图像的像素点一一对应,且所述目标热度图中每一像素点的像素值为该像素点属于车道线起点的第一概率;
根据所述目标热度图,确定用于代表车道线起点的第一目标像素点,并将所述第一目标像素点的位置确定为所述第一位置,其中,在以所述第一目标像素点为中心的预设范围内,所述第一目标像素点具有最大的第一概率。
可选地,所述起点识别模型通过以下方式训练得到:
获取第一训练样本,每一所述第一训练样本包括第一训练图像和所述第一训练图像对应的训练热度图,所述训练热度图的像素点与所述第一训练图像的像素点一一对应,且所述训练热度图中每一像素点的像素值为该像素点属于车道线起点的第二概率;
通过将所述第一训练图像作为模型的输入,并将所述训练热度图作为模型的目标输出的方式进行模型训练,以得到训练完成的所述起点识别模型。
可选地,所述第一训练图像对应的训练热度图通过以下方式得到:
获取针对所述第一训练图像的第一标注信息,所述第一标注信息用于指示所述第一训练图像中车道线起点的第二位置;
生成初始热度图,所述初始热度图的分辨率与所述第一训练图像一致,其中,所述初始热度图中对应于所述第二位置的第二目标像素点的像素值为用于表征车道线起点的第一像素值,并且,所述初始热度图中其余像素点的像素值为用于表征非车道线起点的第二像素值;
针对所述第二目标像素点进行高斯处理,得到所述第二目标像素点周边预设范围内像素点各自对应的第三像素值;
利用得到的所述第三像素值,对所述第二目标像素点周边预设范围内各像素点的像素值进行修改,以得到所述第一训练图像对应的训练热度图。
可选地,所述车道线轨迹信息通过以下方式确定:
利用预先训练的轨迹识别模型,生成与所述目标图像对应的目标矢量图,作为所述车道线轨迹信息;
其中,所述目标矢量图为分辨率与所述目标图像一致的多通道图像,所述目标矢量图的每一通道各自对应一种预设的相对位置,所述目标矢量图中像素点对应于指定通道的像素值为该像素点作为车道线关键点与下一车道线关键点之间的相对位置符合所述指定通道对应的相对位置的第三概率。
可选地,所述轨迹识别模型通过以下方式确定:
获取第二训练样本,每一所述第二训练样本包括第二训练图像和所述第二训练图像对应的训练矢量图,所述训练矢量图为分辨率与所述第二训练图像一致的多通道图像,所述训练矢量图的每一通道各自对应一种预设的相对位置,所述训练矢量图中的像素点对应于目标通道的像素值用于表征该像素点作为车道线关键点与下一车道线关键点之间的相对位置是否符合所述指定通道对应的相对位置;
通过将所述第二训练图像作为模型的输入,并将所述训练矢量图作为模型的目标输出的方式进行模型训练,以得到训练完成的所述轨迹识别模型。
可选地,所述根据所述车道线起点信息和所述车道线轨迹信息,确定所述目标图像中的车道线,包括:
将所述车道线起点信息所指示的第一位置添加到车道线关键点位置序列中;
根据所述车道线轨迹信息,在目标车道线关键点并非车道线的终点的情况下,确定目标车道线关键点的下一车道线关键点所处的第三位置,并将所述第三位置添加到所述车道线关键点位置序列的尾部,初始情况下,所述目标车道线关键点为处于所述第一位置的车道线关键点;
将所述目标车道线关键点的下一车道线关键点作为新的目标车道线关键点,并返回所述根据所述车道线轨迹信息,在目标车道线关键点并非车道线的终点的情况下,确定目标车道线关键点的下一车道线关键点所处的第三位置,并将所述第三位置添加到所述车道线关键点位置序列的尾部的步骤;
在目标车道线关键点为车道线的终点的情况下,将包含有所述目标车道线关键点的第三位置的车道线关键点位置序列确定为构成目标车道线的目标位置序列。
可选地,所述车道线轨迹信息为与所述目标图像对应的目标矢量图,所述目标矢量图为分辨率与所述目标图像一致的多通道图像,所述目标矢量图的每一通道各自对应一种预设的相对位置,所述目标矢量图中像素点对应于指定通道的像素值为该像素点作为车道线关键点与下一车道线关键点之间的相对位置符合所述指定通道对应的相对位置的第三概率;
所述确定目标车道线关键点的下一车道线关键点所处的第三位置,包括:
根据所述目标车道线关键点所对应的多个第三概率,将最大的第三概率所对应的通道确定为目标通道;
根据所述目标车道线关键点所处的位置和所述目标通道所对应的相对位置,确定所述目标车道线关键点的下一车道线关键点所处的第三位置。
可选地,所述预设的相对位置包括无位置变化;
所述方法还包括:
在所述目标车道线关键点对应于所述无位置变化的第三概率为所述目标车道线关键点所对应的多个第三概率中的最大值的情况下,确定所述目标车道线关键点为车道线的终点。
根据本公开实施例的第二方面,提供一种车道线确定装置,所述装置包括:
第一获取模块,被配置为获取待处理的目标图像;
第一确定模块,被配置为确定所述目标图像对应的车道线起点信息和车道线轨迹信息,所述车道线起点信息用于指示所述目标图像中车道线起点所处的第一位置,所述车道线轨迹信息用于指示构成车道线的多个车道线关键点的相对位置;
第二确定模块,被配置为根据所述车道线起点信息和所述车道线轨迹信息,确定所述目标图像中的车道线。
根据本公开实施例的第三方面,提供一种车辆,包括:
第一处理器;
用于存储第一处理器可执行指令的第一存储器;
其中,所述第一处理器被配置为运行所述第一存储器中的指令以实现本公开第一方面所提供的车道线确定方法的步骤。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被第二处理器执行时实现本公开第一方面所提供的车道线确定方法的步骤。
根据本公开实施例的第五方面,提供一种芯片,包括第三处理器和接口;所述第三处理器用于读取指令以执行本公开第一方面所提供的车道线确定方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
通过上述技术方案,获取待处理的目标图像,确定目标图像对应的车道线起点信息和车道线轨迹信息,并根据车道线起点信息和车道线轨迹信息,确定目标图像中的车道线。其中,车道线起点信息用于指示目标图像中车道线起点所处的第一位置,车道线轨迹信息用于指示构成车道线的多个车道线关键点的相对位置,由此,能够基于车道线起点信息所指示的车道线起点,结合车道线轨迹信息所指示的车道线关键点的相对位置,从车道线的起点逐步确定各个车道线关键点,直至到达车道线的终点,从而完成车道线的确定。这样,可以实现对任意形状的车道线的确定,在实际的行车场景中具有更高的适用性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的车道线确定方法的流程图。
图2是根据本公开提供的车道线确定方法中,得到第一训练图像对应的训练热度图的一种示例性的流程图。
图3是根据本公开提供的车道线确定方法中,热度图的一种示例性的示意图。
图4是根据本公开提供的车道线确定方法中,矢量图中通道标识号与相对位置间对应关系的一种示例性的示意图。
图5是根据一示例性实施例示出的车道线确定装置的框图。
图6是一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的车道线确定方法的流程图。本公开提供的方法可以应用于需要确定车道线的场景中,例如,在行车过程中辅助车辆进行车道线检测。示例地,本公开提供的方法可以应用于车辆。再例如,本公开提供的方法可以应用于能够与车辆进行通信的电子设备(例如,服务器)。
如图1所示,本公开提供的车道线确定方法可以包括以下步骤11~步骤13。
在步骤11中,获取待处理的目标图像。
示例地,目标图像可以为车辆行车过程中实时采集到的图像,例如,车辆前方路面图像。
在步骤12中,确定目标图像对应的车道线起点信息和车道线轨迹信息。
其中,车道线起点信息可以用于指示目标图像中车道线起点所处的第一位置,车道线轨迹信息可以用于指示构成车道线的多个车道线关键点的相对位置。
在一种可能的实施方式中,车道线起点信息可以通过以下方式确定:
利用预先训练的起点识别模型,生成与目标图像对应的目标热度图;
根据目标热度图,确定用于代表车道线起点的第一目标像素点,并将第一目标像素点的位置确定为第一位置。
其中,目标热度图的像素点与目标图像的像素点一一对应,也就是说,目标热度图与目标图像的分辨率是一致的。并且,目标热度图中每一像素点的像素值为该像素点属于车道线起点的第一概率,也就是说,目标热度图中每一像素点的像素值实际上反映了该像素点是车道线起点的可能性大小,目标热度图中某一像素点的像素值越接近1,说明该像素点越有可能是车道线起点,目标热度图中某一像素点的像素值越接近0,说明该像素点是车道线起点的可能性越低。示例地,目标热度图可以为分辨率与目标图像一致的单通道热度图,可以理解为二维矩阵,二维矩阵中的每一位置对应一像素点,二维矩阵中元素的值就是上述第一概率。
示例地,起点识别模型可以通过如下方式确定:
获取第一训练样本;
通过将第一训练图像作为模型的输入,并将训练热度图作为模型的目标输出的方式进行模型训练,以得到训练完成的起点识别模型。
其中,每一第一训练样本包括第一训练图像和第一训练图像对应的训练热度图,训练热度图的像素点与第一训练图像的像素点一一对应,且训练热度图中每一像素点的像素值为该像素点属于车道线起点的第二概率。
示例地,第一训练图像对应的训练热度图可以通过如图2所示的步骤21~步骤24得到。
在步骤21中,获取针对第一训练图像的第一标注信息。
其中,第一标注信息用于指示第一训练图像中车道线起点的第二位置。
需要说明的是,真实场景中,车道线通常具有一定的宽度,在本公开所提供的方法中,暂不考虑车道线本身的宽度,而利用一条由像素点连接而成的线代表车道线,在实际应用场景中,在确定出车道线后,如需还原最真实的车道线,还可以再结合车道线的宽度进行还原。
在步骤22中,生成初始热度图。
其中,初始热度图的分辨率与第一训练图像一致,初始热度图中对应于第二位置的第二目标像素点的像素值为用于表征车道线起点的第一像素值,并且,初始热度图中其余像素点的像素值为用于表征非车道线起点的第二像素值。示例地,第一像素值可以为1,第二像素值为可以0。
在步骤23中,针对第二目标像素点进行高斯处理,得到第二目标像素点周边预设范围内像素点各自对应的第三像素值。
对第二目标像素点进行高斯处理的目的在于,使车道线起点的像素值向非车道线起点的像素值平滑过渡。参照上文示例,若将车道线起点的像素值标记为1,将非车道线起点的像素值标记为0,则高斯处理达到的效果是以车道线起点为中心,由像素值1向外逐渐衰减至像素值0,像素值为1的像素点与像素值为0的像素点之间的像素点的像素值为0到1之间的小数,呈现在热度图中就是如图3所示的亮斑。
在步骤24中,利用得到的第三像素值,对第二目标像素点周边预设范围内各像素点的像素值进行修改,以得到第一训练图像对应的训练热度图。
示例地,上述步骤22~步骤24在实施时,可以参考以下步骤:
准备一个与第一训练图像分辨率相同、且像素值均为0的图,并根据第一标注信息在该图中的第二位置处将像素值更改为1,再对第二位置处的像素点(即,第二目标像素点)进行高斯处理,得到第二目标像素点邻域内像素点的第三像素值,并利用第三像素值对邻域内像素点的像素值分别进行修改,这样,就得到了上述训练热度图。
需要说明的是,以第一目标像素点为中心的预设范围、第二目标像素点周边预设范围这两者中的预设范围相互独立,可以分别设置为不同的大小而无需一致。
基于上述方式,即可获得第一训练样本中各第一训练图像对应的训练热度图,在第一训练样本准备完成后,即可开始模型的训练。
在模型训练过程中,通过将第一训练图像作为模型的输入,并将训练热度图作为模型的目标输出的方式进行模型训练,以得到训练完成的起点识别模型。
举例来说,在一次训练过程中,将第一训练图像输入至本次训练所使用的模型,能够得到本次训练所使用的模型的第一输出结果,之后,利用该第一输出结果与本次输入的第一训练图像对应的训练热度图进行损失函数计算,并利用损失函数的计算结果对本次训练所使用的模型进行更新,并将更新后的模型用于下一次训练。如此循环往复,直至满足模型停止训练的条件,即可将得到的模型作为训练完成的起点识别模型。
起点识别模型可以包含第一输入层、第一特征提取网络和热度图生成网络,其中,第一输入层用于接收图像并将接收的图像发送至第一特征提取网络,第一特征提取网络用于对接收的图像进行特征提取,并将提取出的多维特征矩阵发送至热度图生成网络,由热度图生成网络生成与接收的图像对应的热度图结果。
示例地,上述模型训练可以使用卷积神经网络模型。再例如,模型损失函数可以选用交叉熵损失函数。再例如,模型停止训练的条件可以包括但不限于以下中的任意一者:训练次数达到预设次数、训练时长达到预设时长、损失函数的计算结果低于预设损失值。
基于上述起点识别模型,将目标图像输入至该起点识别模型,即可得到起点识别模型输出的与目标图像对应的目标热度图。从上文可知,目标热度图与目标图像的分辨率相一致,且其中每一像素点的像素值反映该像素点属于车道线起点的可能性。
由此,根据目标热度图,可以确定出能够代表车道线起点的像素点,即,第一目标像素点。其中,在以第一目标像素点为中心的预设范围内,第一目标像素点具有最大的第一概率。
示例地,可以用预设尺寸的滑动窗口在目标热度图上滑动,并确定该滑动窗口框住的、由多个像素点构成的区域中,位于区域中心的像素点是否具有本区域内最大的第一概率(即,区域内的多个像素点对应的多个第一概率是否有局部最大值)。若有,则将位于区域中心的像素点确定为第一目标像素点,这样,就确定出了一个车道线起点,也能获知其位置,之后,若目标热度图中仍有未被确定的像素点,再继续按照上述方式寻找车道线起点;若无,则继续滑动窗口,选取新的区域并重复上述判断是否存在局部最大值的步骤。如此循环往复,直至目标热度图中的车道线起点均被找到。
在一种可能的实施方式中,车道线轨迹信息可以通过以下方式确定:
利用预先训练的轨迹识别模型,生成与目标图像对应的矢量图,作为车道线轨迹信息。
其中,矢量图为分辨率与目标图像一致的多通道图像,矢量图的每一通道各自对应一种预设的相对位置,矢量图中像素点对应于指定通道的像素值为该像素点作为车道线关键点与下一车道线关键点之间的相对位置符合指定通道对应的相对位置的第三概率。
车道线关键点可以理解为构成车道线的像素点,多个有序的车道线关键点逐个连接就能够形成一条车道线,车道线起点就是一个车道线关键点,并且,车道线起点是排序最靠前的车道线关键点,即,从车道线起点开始逐个连接后续的车道线关键点,直至连接到车道线终点,即可确定出一条车道线。
矢量图为分辨率与目标图像一致的多通道图像,可以理解为三维矩阵。在矢量图中,可以用N维向量描述一个像素点,其中,N是矢量图的通道数量,N维向量中每一维度就对应一种预设的相对位置,N维向量中的元素的和为1,每一元素的值就是上文所述的对应于各通道的第三概率,其中,通道的第三概率越大,两车道线关键点之间的相对位置就越有可能是该通道所对应的相对位置。
矢量图的通道数通常基于车道线关键点之间可能存在的相对位置的数量确定。举例来说,对于一个车道线关键点来说,它的下一个车道线关键点可能在它的上方、右上方、右方、右下方、下方、左下方、左方和左上方,能够形成8种相对位置,同时,若该车道线关键点为车道线终点(即,没有下一车道线关键点),相当于下一车道线关键点相比于本车道线关键点无位置变化,也能够形成1种相对位置,进而,考虑到所有可能的情况,可以设置9种预设的相对位置,也就是说,矢量图为9通道图像。
示例地,轨迹识别模型可以通过以下方式确定:
获取第二训练样本;
通过将第二训练图像作为模型的输入,并将训练矢量图作为模型的目标输出的方式进行模型训练,以得到训练完成的轨迹识别模型。
其中,每一第二训练样本包括第二训练图像和第二训练图像对应的训练矢量图,训练矢量图为分辨率与第二训练图像一致的多通道图像,训练矢量图的每一通道各自对应一种预设的相对位置,训练矢量图中的像素点对应于目标通道的像素值用于表征该像素点作为车道线关键点与下一车道线关键点之间的相对位置是否符合指定通道对应的相对位置。
示例地,第二训练图像对应的训练矢量图可以通过标注获得。以上文给出的9通道矢量图为例,图4示出了9通道各自对应的通道标识号,其中,0号通道所处的位置就表征当前车道线关键点所处的位置,3号通道表征下一车道线关键点在当前车道线关键点的右上方,其他以此类推。由此,某一像素点X可以用[A0,A1,A2,A3,A4,A5,A6,A7,A8]的one-hot矢量描述,示例地,若X的下一车道线关键点在其右上方(对应的通道标识号为3),则X在矢量图中可以被标记为[0,0,0,1,0,0,0,0,0],再例如,若X为车道线终点,则X在矢量图中可以被标记为[1,0,0,0,0,0,0,0,0]。此外,对于非车道线关键点的像素点,其在矢量图中可以被标记为[0,0,0,0,0,0,0,0,0]。
基于上述方式,可以确定第二训练样本中各第二训练图像对应的训练矢量图,在第二训练样本准备完成后,即可开始模型的训练。
在模型训练过程中,通过将第二训练图像作为模型的输入,并将训练矢量图作为模型的目标输出的方式进行模型训练,以得到训练完成的轨迹识别模型。
举例来说,在一次训练过程中,将第二训练图像输入至本次训练所使用的模型,能够得到本次训练所使用的模型的第二输出结果,之后,利用该第二输出结果与本次输入的第二训练图像对应的训练矢量图进行损失函数计算,并利用损失函数的计算结果对本次训练所使用的模型进行更新,并将更新后的模型用于下一次训练。如此循环往复,直至满足模型停止训练的条件,即可将得到的模型作为训练完成的轨迹识别模型。
示例地,上述模型训练可以使用卷积神经网络模型。再例如,模型损失函数可以选用交叉熵损失函数。再例如,模型停止训练的条件可以包括但不限于以下中的任意一者:训练次数达到预设次数、训练时长达到预设时长、损失函数的计算结果低于预设损失值。
轨迹识别模型可以包含第二输入层、第二特征提取网络和矢量图生成网络,其中,第二输入层用于接收图像并将接收的图像发送至第二特征提取网络,第二特征提取网络用于对接收的图像进行特征提取,并将提取出的多维特征矩阵发送至矢量图生成网络,由矢量图生成网络生成与接收的图像对应的矢量图结果。
基于上述轨迹识别模型,将目标图像输入至该起点识别模型,即可得到轨迹识别模型输出的与目标图像对应的目标矢量图。从上文可知,目标矢量图与目标图像的分辨率相一致,且其中每一像素点的不同通道的像素值能够反映该像素点是否为车道线关键点,以及,能够反映该像素点是车道线关键点时其下一车道线关键点与其相对位置的可能性。
需要说明的是,还可以将起点识别模型和轨迹识别模型合并到同一个识别模型中,使用同一个输入层和特征提取网络,特征提取网络提取出的多维特征向量分别输入至热度图生成网络和矢量图生成网络中,由二者分别处理,并得到热度图生成网络和矢量图生成网络各自的输出结果。由此,通过一次输入,就可以获得热度图、矢量图两种结果,既能够节省训练所花费的时间,也能够在模型应用过程中有效减少数据处理的时间,有利于进一步提高车道线的确定效率。
回到图3,在步骤13中,根据车道线起点信息和车道线轨迹信息,确定目标图像中的车道线。
在一种可能的实施方式中,步骤13可以包括以下步骤B1~步骤B4。
在步骤B1中,将车道线起点信息所指示的第一位置添加到车道线关键点位置序列中;
在步骤B2中,根据车道线轨迹信息,在目标车道线关键点并非车道线的终点的情况下,确定目标车道线关键点的下一车道线关键点所处的第三位置,并将第三位置添加到车道线关键点位置序列的尾部;
在步骤B3中,将目标车道线关键点的下一车道线关键点作为新的目标车道线关键点,并返回步骤B2;
在步骤B4中,在目标车道线关键点为车道线的终点的情况下,将包含有目标车道线关键点的第三位置的车道线关键点位置序列确定为构成目标车道线的目标位置序列。
其中,初始情况下,目标车道线关键点为处于第一位置的车道线关键点。
确定一条车道线,实际上就是以车道线起点开始,逐步确定下一车道线关键点,直至找到车道线终点的过程。也就是说,先通过车道线起点信息找到目标图像中车道线起点所在的位置,再根据车道线轨迹信息,确定下一车道线关键点的位置,如此循环往复,直至找到车道线终点。因此,确定车道线,可以看做是确定一个有序的位置序列的过程。
因此,在通过车道线起点信息获知第一位置后,执行步骤B1,将第一位置添加到车道线关键点位置序列中,作为该位置序列的起始位置。之后,执行步骤B2,确定下一车道线关键点所在的第三位置,并将确定出的第三位置继续添加到上述位置序列中。此时,可以将目标车道线关键点的下一车道线关键点作为新的目标车道线关键点,并返回步骤B2,以继续寻找下一车道线关键点,如此循环往复,直至识别到目标车道线关键点是车道线的终点。在目标车道线关键点为车道线的终点的情况下,执行步骤B4,将包含有目标车道线关键点(即,车道线终点)的第三位置的车道线关键点位置序列确定为构成目标车道线的目标位置序列。由此,一条车道线(即,目标车道线)的确定完成。按照此方式,可以将目标图像中包含的车道线一一确定出来。
如上文所述,车道线轨迹信息可以为与目标图像对应的目标矢量图,相应地,确定目标车道线关键点的下一车道线关键点所处的第三位置,可以包括以下步骤:
根据目标车道线关键点所对应的多个第三概率,将最大的第三概率所对应的通道确定为目标通道;
根据目标车道线关键点所处的位置和目标通道所对应的相对位置,确定目标车道线关键点的下一车道线关键点所处的第三位置。
也就是说,从目标车道线关键点各通道对应的第三概率中,将最大的第三概率所在通道对应的相对位置确定为目标车道线关键点与下一车道线关键点之间的相对位置。进而,基于目标车道线关键点所处的位置和确定出的相对位置,就能够定位到下一车道线关键点的第三位置。
示例地,预设的相对位置可以包括无位置变化,也就是前文示例中所给出的通道标识号为0所对应的相对位置。相应地,本公开提供的方法还可以包括以下步骤:
在目标车道线关键点对应于无位置变化的第三概率为目标车道线关键点所对应的多个第三概率中的最大值的情况下,确定目标车道线关键点为车道线的终点。
也就是说,目标车道线关键点各通道对应的第三概率中,若对应于无位置变化的第三概率是最大的,就说明目标车道线关键点没有下一车道线关键点,也就间接说明了,当前的目标车道线关键点就是车道线的终点。
通过上述技术方案,获取待处理的目标图像,确定目标图像对应的车道线起点信息和车道线轨迹信息,并根据车道线起点信息和车道线轨迹信息,确定目标图像中的车道线。其中,车道线起点信息用于指示目标图像中车道线起点所处的第一位置,车道线轨迹信息用于指示构成车道线的多个车道线关键点的相对位置,由此,能够基于车道线起点信息所指示的车道线起点,结合车道线轨迹信息所指示的车道线关键点的相对位置,从车道线的起点逐步确定各个车道线关键点,直至到达车道线的终点,从而完成车道线的确定。这样,可以实现对任意形状的车道线的确定,在实际的行车场景中具有更高的适用性。
图5是根据一示例性实施例示出的车道线确定装置的框图。参照图2,该装置50包括:
第一获取模块51,被配置为获取待处理的目标图像;
第一确定模块52,被配置为确定所述目标图像对应的车道线起点信息和车道线轨迹信息,所述车道线起点信息用于指示所述目标图像中车道线起点所处的第一位置,所述车道线轨迹信息用于指示构成车道线的多个车道线关键点的相对位置;
第二确定模块53,被配置为根据所述车道线起点信息和所述车道线轨迹信息,确定所述目标图像中的车道线。
可选地,所述车道线起点信息通过以下模块确定:
第一生成模块,被配置为利用预先训练的起点识别模型,生成与所述目标图像对应的目标热度图,所述目标热度图的像素点与所述目标图像的像素点一一对应,且所述目标热度图中每一像素点的像素值为该像素点属于车道线起点的第一概率;
第三确定模块,被配置为根据所述目标热度图,确定用于代表车道线起点的第一目标像素点,并将所述第一目标像素点的位置确定为所述第一位置,其中,在以所述第一目标像素点为中心的预设范围内,所述第一目标像素点具有最大的第一概率。
可选地,所述起点识别模型通过以下模块训练得到:
第二获取模块,被配置为获取第一训练样本,每一所述第一训练样本包括第一训练图像和所述第一训练图像对应的训练热度图,所述训练热度图的像素点与所述第一训练图像的像素点一一对应,且所述训练热度图中每一像素点的像素值为该像素点属于车道线起点的第二概率;
第一训练模块,被配置为通过将所述第一训练图像作为模型的输入,并将所述训练热度图作为模型的目标输出的方式进行模型训练,以得到训练完成的所述起点识别模型。
可选地,所述第二获取模块通过以下子模块得到所述第一训练图像对应的训练热度图:
获取子模块,被配置为获取针对所述第一训练图像的第一标注信息,所述第一标注信息用于指示所述第一训练图像中车道线起点的第二位置;
生成子模块,被配置为生成初始热度图,所述初始热度图的分辨率与所述第一训练图像一致,其中,所述初始热度图中对应于所述第二位置的第二目标像素点的像素值为用于表征车道线起点的第一像素值,并且,所述初始热度图中其余像素点的像素值为用于表征非车道线起点的第二像素值;
处理子模块,被配置为针对所述第二目标像素点进行高斯处理,得到所述第二目标像素点周边预设范围内像素点各自对应的第三像素值;
修改子模块,被配置为利用得到的所述第三像素值,对所述第二目标像素点周边预设范围内各像素点的像素值进行修改,以得到所述第一训练图像对应的训练热度图。
可选地,所述车道线轨迹信息通过以下模块确定:
第二生成模块,被配置为利用预先训练的轨迹识别模型,生成与所述目标图像对应的目标矢量图,作为所述车道线轨迹信息;
其中,所述目标矢量图为分辨率与所述目标图像一致的多通道图像,所述目标矢量图的每一通道各自对应一种预设的相对位置,所述目标矢量图中像素点对应于指定通道的像素值为该像素点作为车道线关键点与下一车道线关键点之间的相对位置符合所述指定通道对应的相对位置的第三概率。
可选地,所述轨迹识别模型通过以下模块确定:
第三获取模块,被配置为获取第二训练样本,每一所述第二训练样本包括第二训练图像和所述第二训练图像对应的训练矢量图,所述训练矢量图为分辨率与所述第二训练图像一致的多通道图像,所述训练矢量图的每一通道各自对应一种预设的相对位置,所述训练矢量图中的像素点对应于目标通道的像素值用于表征该像素点作为车道线关键点与下一车道线关键点之间的相对位置是否符合所述指定通道对应的相对位置;
第二训练模块,被配置为通过将所述第二训练图像作为模型的输入,并将所述训练矢量图作为模型的目标输出的方式进行模型训练,以得到训练完成的所述轨迹识别模型。
可选地,所述第二确定模块53,包括:
添加子模块,被配置为将所述车道线起点信息所指示的第一位置添加到车道线关键点位置序列中;
第一确定子模块,被配置为根据所述车道线轨迹信息,在目标车道线关键点并非车道线的终点的情况下,确定目标车道线关键点的下一车道线关键点所处的第三位置,并将所述第三位置添加到所述车道线关键点位置序列的尾部,初始情况下,所述目标车道线关键点为处于所述第一位置的车道线关键点;
第二确定子模块,被配置为将所述目标车道线关键点的下一车道线关键点作为新的目标车道线关键点,并触发所述第一确定子模块根据所述车道线轨迹信息,在目标车道线关键点并非车道线的终点的情况下,确定目标车道线关键点的下一车道线关键点所处的第三位置,并将所述第三位置添加到所述车道线关键点位置序列的尾部;
第三确定子模块,被配置为在目标车道线关键点为车道线的终点的情况下,将包含有所述目标车道线关键点的第三位置的车道线关键点位置序列确定为构成目标车道线的目标位置序列。
可选地,所述车道线轨迹信息为与所述目标图像对应的目标矢量图,所述目标矢量图为分辨率与所述目标图像一致的多通道图像,所述目标矢量图的每一通道各自对应一种预设的相对位置,所述目标矢量图中像素点对应于指定通道的像素值为该像素点作为车道线关键点与下一车道线关键点之间的相对位置符合所述指定通道对应的相对位置的第三概率;
所述第一确定子模块用于:根据所述目标车道线关键点所对应的多个第三概率,将最大的第三概率所对应的通道确定为目标通道;根据所述目标车道线关键点所处的位置和所述目标通道所对应的相对位置,确定所述目标车道线关键点的下一车道线关键点所处的第三位置。
可选地,所述预设的相对位置包括无位置变化;
所述第二确定模块53,还包括:
第四确定子模块,被配置为在所述目标车道线关键点对应于所述无位置变化的第三概率为所述目标车道线关键点所对应的多个第三概率中的最大值的情况下,确定所述目标车道线关键点为车道线的终点。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
参阅图6,图6是一示例性实施例示出的一种车辆600的功能框图示意图。车辆600可以被配置为完全或部分自动驾驶模式。例如,车辆600可以通过感知系统620获取其周围的环境信息,并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶,或者将分析结果呈现给用户以实现部分自动驾驶。
车辆600可包括各种子系统,例如,信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。可选的,车辆600可包括更多或更少的子系统,并且每个子系统都可包括多个部件。另外,车辆600的每个子系统和部件可以通过有线或者无线的方式实现互连。
在一些实施例中,信息娱乐系统610可以包括通信系统611,娱乐系统612以及导航系统613。
通信系统611可以包括无线通信系统,无线通信系统可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信系统可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信系统可利用WiFi与无线局域网(wireless local area network,WLAN)通信。在一些实施例中,无线通信系统可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信系统,例如,无线通信系统可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐系统612可以包括显示设备,麦克风和音响,用户可以基于娱乐系统在车内收听广播,播放音乐;或者将手机和车辆联通,在显示设备上实现手机的投屏,显示设备可以为触控式,用户可以通过触摸屏幕进行操作。
在一些情况下,可以通过麦克风获取用户的语音信号,并依据对用户的语音信号的分析实现用户对车辆600的某些控制,例如调节车内温度等。在另一些情况下,可以通过音响向用户播放音乐。
导航系统613可以包括由地图供应商所提供的地图服务,从而为车辆600提供行驶路线的导航,导航系统613可以和车辆的全球定位系统621、惯性测量单元622配合使用。地图供应商所提供的地图服务可以为二维地图,也可以是高精地图。
感知系统620可包括感测关于车辆600周边的环境的信息的若干种传感器。例如,感知系统620可包括全球定位系统621(全球定位系统可以是GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)622、激光雷达623、毫米波雷达624、超声雷达625以及摄像装置626。感知系统620还可包括被监视车辆600的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆600的安全操作的关键功能。
全球定位系统621用于估计车辆600的地理位置。
惯性测量单元622用于基于惯性加速度来感测车辆600的位姿变化。在一些实施例中,惯性测量单元622可以是加速度计和陀螺仪的组合。
激光雷达623利用激光来感测车辆600所位于的环境中的物体。在一些实施例中,激光雷达623可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。
毫米波雷达624利用无线电信号来感测车辆600的周边环境内的物体。在一些实施例中,除了感测物体以外,毫米波雷达624还可用于感测物体的速度和/或前进方向。
超声雷达625可以利用超声波信号来感测车辆600周围的物体。
摄像装置626用于捕捉车辆600的周边环境的图像信息。摄像装置626可以包括单目相机、双目相机、结构光相机以及全景相机等,摄像装置626获取的图像信息可以包括静态图像,也可以包括视频流信息。
决策控制系统630包括基于感知系统620所获取的信息进行分析决策的计算系统631,决策控制系统630还包括对车辆600的动力系统进行控制的整车控制器632,以及用于控制车辆600的转向系统633、油门634和制动系统635。
计算系统631可以操作来处理和分析由感知系统620所获取的各种信息以便识别车辆600周边环境中的目标、物体和/或特征。目标可以包括行人或者动物,物体和/或特征可包括交通信号、道路边界和障碍物。计算系统631可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪等技术。在一些实施例中,计算系统631可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算系统631可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器632可以用于对车辆的动力电池和引擎641进行协调控制,以提升车辆600的动力性能。
转向系统633可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘系统。
油门634用于控制引擎641的操作速度并进而控制车辆600的速度。
制动系统635用于控制车辆600减速。制动系统635可使用摩擦力来减慢车轮644。在一些实施例中,制动系统635可将车轮644的动能转换为电流。制动系统635也可采取其他形式来减慢车轮644转速从而控制车辆600的速度。
驱动系统640可包括为车辆600提供动力运动的组件。在一个实施例中,驱动系统640可包括引擎641、能量源642、传动系统643和车轮644。引擎641可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合,例如汽油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎641将能量源642转换成机械能量。
能量源642的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源642也可以为车辆600的其他系统提供能量。
传动系统643可以将来自引擎641的机械动力传送到车轮644。传动系统643可包括变速箱、差速器和驱动轴。在一个实施例中,传动系统643还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮644的一个或多个轴。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个第一处理器651,第一处理器651可以执行存储在例如第一存储器652这样的非暂态计算机可读介质中的指令653。在一些实施例中,计算平台650还可以是采用分布式方式控制车辆600的个体组件或子系统的多个计算设备。
第一处理器651可以是任何常规的处理器,诸如商业可获得的CPU。可替换地,第一处理器651还可以包括诸如图像处理器(Graphic Process Unit,GPU),现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、片上系统(Sysem on Chip,SOC)、专用集成芯片(Application Specific Integrated Circuit,ASIC)或它们的组合。尽管图6功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此,对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中,第一处理器651可以执行上述的车道线确定方法。
在此处所描述的各个方面中,第一处理器651可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,第一存储器652可包含指令653(例如,程序逻辑),指令653可被第一处理器651执行来执行车辆600的各种功能。第一存储器652也可包含额外的指令,包括向信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令653以外,第一存储器652还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算平台650使用。
计算平台650可基于从各种子系统(例如,驱动系统640、感知系统620和决策控制系统630)接收的输入来控制车辆600的功能。例如,计算平台650可利用来自决策控制系统630的输入以便控制转向系统633来避免由感知系统620检测到的障碍物。在一些实施例中,计算平台650可操作来对车辆600及其子系统的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与车辆600分开安装或关联。例如,第一存储器652可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图6不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车,如上面的车辆600,可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中,可以独立地考虑每个识别的物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与车辆的间距等,可以用来确定自动驾驶汽车所要调整的速度。
可选地,车辆600或者与车辆600相关联的感知和计算设备(例如计算系统631、计算平台650)可以基于所识别的物体的特性和周围环境的状态(例如,交通、雨、道路上的冰、等等)来预测识别的物体的行为。可选地,每一个所识别的物体都依赖于彼此的行为,因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆600能够基于预测的识别的物体的行为来调整它的速度。换句话说,自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如,加速、减速、或者停止)何种稳定状态。在这个过程中,也可以考虑其它因素来确定车辆600的速度,诸如,车辆600在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外,计算设备还可以提供修改车辆600的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如,道路上的相邻车道中的车辆)的安全横向和纵向距离。
上述车辆600可以为各种类型的行驶工具,例如,轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等,本公开实施例不做特别的限定。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的车道线确定方法的代码部分。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被第二处理器执行时实现本公开提供的车道线确定方法的步骤。
上述装置除了可以是独立的电子设备外,也可是独立电子设备的一部分,例如在一种实施例中,该装置可以是集成电路(Integrated Circuit,IC)或芯片,其中该集成电路可以是一个IC,也可以是多个IC的集合;该芯片可以包括但不限于以下种类:GPU(GraphicsProcessing Unit,图形处理器)、CPU(Central Processing Unit,中央处理器)、FPGA(Field Programmable Gate Array,可编程逻辑阵列)、DSP(Digital Signal Processor,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、SOC(System on Chip,SoC,片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码),以实现上述的车道线确定方法。其中该可执行指令可以存储在该集成电路或芯片中,也可以从其他的装置或设备获取,例如该集成电路或芯片中包括第三处理器、第三存储器,以及用于与其他的装置通信的接口。该可执行指令可以存储于第三存储器中,当该可执行指令被第三处理器执行时实现上述的车道线确定方法;或者,该集成电路或芯片可以通过该接口接收可执行指令并传输给该第三处理器执行,以实现上述的车道线确定方法。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种车道线确定方法,其特征在于,所述方法包括:
获取待处理的目标图像;
确定所述目标图像对应的车道线起点信息和车道线轨迹信息,所述车道线起点信息用于指示所述目标图像中车道线起点所处的第一位置,所述车道线轨迹信息用于指示构成车道线的多个车道线关键点的相对位置;
根据所述车道线起点信息和所述车道线轨迹信息,确定所述目标图像中的车道线;
所述车道线轨迹信息通过以下方式确定:
利用预先训练的轨迹识别模型,生成与所述目标图像对应的目标矢量图,作为所述车道线轨迹信息;
其中,所述目标矢量图为分辨率与所述目标图像一致的多通道图像,所述目标矢量图的每一通道各自对应一种预设的相对位置,所述目标矢量图中像素点对应于指定通道的像素值为该像素点作为车道线关键点与下一车道线关键点之间的相对位置符合所述指定通道对应的相对位置的第三概率,预设的相对位置包括无位置变化,且车道线关键点对应于无位置变化的第三概率能够反映该车道线关键点是否为车道线的终点。
2.根据权利要求1所述的方法,其特征在于,所述车道线起点信息通过以下方式确定:
利用预先训练的起点识别模型,生成与所述目标图像对应的目标热度图,所述目标热度图的像素点与所述目标图像的像素点一一对应,且所述目标热度图中每一像素点的像素值为该像素点属于车道线起点的第一概率;
根据所述目标热度图,确定用于代表车道线起点的第一目标像素点,并将所述第一目标像素点的位置确定为所述第一位置,其中,在以所述第一目标像素点为中心的预设范围内,所述第一目标像素点具有最大的第一概率。
3.根据权利要求2所述的方法,其特征在于,所述起点识别模型通过以下方式训练得到:
获取第一训练样本,每一所述第一训练样本包括第一训练图像和所述第一训练图像对应的训练热度图,所述训练热度图的像素点与所述第一训练图像的像素点一一对应,且所述训练热度图中每一像素点的像素值为该像素点属于车道线起点的第二概率;
通过将所述第一训练图像作为模型的输入,并将所述训练热度图作为模型的目标输出的方式进行模型训练,以得到训练完成的所述起点识别模型。
4.根据权利要求3所述的方法,其特征在于,所述第一训练图像对应的训练热度图通过以下方式得到:
获取针对所述第一训练图像的第一标注信息,所述第一标注信息用于指示所述第一训练图像中车道线起点的第二位置;
生成初始热度图,所述初始热度图的分辨率与所述第一训练图像一致,其中,所述初始热度图中对应于所述第二位置的第二目标像素点的像素值为用于表征车道线起点的第一像素值,并且,所述初始热度图中其余像素点的像素值为用于表征非车道线起点的第二像素值;
针对所述第二目标像素点进行高斯处理,得到所述第二目标像素点周边预设范围内像素点各自对应的第三像素值;
利用得到的所述第三像素值,对所述第二目标像素点周边预设范围内各像素点的像素值进行修改,以得到所述第一训练图像对应的训练热度图。
5.根据权利要求1所述的方法,其特征在于,所述轨迹识别模型通过以下方式确定:
获取第二训练样本,每一所述第二训练样本包括第二训练图像和所述第二训练图像对应的训练矢量图,所述训练矢量图为分辨率与所述第二训练图像一致的多通道图像,所述训练矢量图的每一通道各自对应一种预设的相对位置,所述训练矢量图中的像素点对应于目标通道的像素值用于表征该像素点作为车道线关键点与下一车道线关键点之间的相对位置是否符合所述指定通道对应的相对位置;
通过将所述第二训练图像作为模型的输入,并将所述训练矢量图作为模型的目标输出的方式进行模型训练,以得到训练完成的所述轨迹识别模型。
6.根据权利要求1所述的方法,其特征在于,所述根据所述车道线起点信息和所述车道线轨迹信息,确定所述目标图像中的车道线,包括:
将所述车道线起点信息所指示的第一位置添加到车道线关键点位置序列中;
根据所述车道线轨迹信息,在目标车道线关键点并非车道线的终点的情况下,确定目标车道线关键点的下一车道线关键点所处的第三位置,并将所述第三位置添加到所述车道线关键点位置序列的尾部,初始情况下,所述目标车道线关键点为处于所述第一位置的车道线关键点;
将所述目标车道线关键点的下一车道线关键点作为新的目标车道线关键点,并返回所述根据所述车道线轨迹信息,在目标车道线关键点并非车道线的终点的情况下,确定目标车道线关键点的下一车道线关键点所处的第三位置,并将所述第三位置添加到所述车道线关键点位置序列的尾部的步骤;
在目标车道线关键点为车道线的终点的情况下,将包含有所述目标车道线关键点的第三位置的车道线关键点位置序列确定为构成目标车道线的目标位置序列。
7.根据权利要求6所述的方法,其特征在于,所述车道线轨迹信息为与所述目标图像对应的目标矢量图,所述目标矢量图为分辨率与所述目标图像一致的多通道图像,所述目标矢量图的每一通道各自对应一种预设的相对位置,所述目标矢量图中像素点对应于指定通道的像素值为该像素点作为车道线关键点与下一车道线关键点之间的相对位置符合所述指定通道对应的相对位置的第三概率;
所述确定目标车道线关键点的下一车道线关键点所处的第三位置,包括:
根据所述目标车道线关键点所对应的多个第三概率,将最大的第三概率所对应的通道确定为目标通道;
根据所述目标车道线关键点所处的位置和所述目标通道所对应的相对位置,确定所述目标车道线关键点的下一车道线关键点所处的第三位置。
8.根据权利要求7所述的方法,其特征在于,所述预设的相对位置包括无位置变化;
所述方法还包括:
在所述目标车道线关键点对应于所述无位置变化的第三概率为所述目标车道线关键点所对应的多个第三概率中的最大值的情况下,确定所述目标车道线关键点为车道线的终点。
9.一种车道线确定装置,其特征在于,所述装置包括:
第一获取模块,被配置为获取待处理的目标图像;
第一确定模块,被配置为确定所述目标图像对应的车道线起点信息和车道线轨迹信息,所述车道线起点信息用于指示所述目标图像中车道线起点所处的第一位置,所述车道线轨迹信息用于指示构成车道线的多个车道线关键点的相对位置;
第二确定模块,被配置为根据所述车道线起点信息和所述车道线轨迹信息,确定所述目标图像中的车道线;
所述车道线轨迹信息通过以下模块确定:
第二生成模块,被配置为利用预先训练的轨迹识别模型,生成与所述目标图像对应的目标矢量图,作为所述车道线轨迹信息;
其中,所述目标矢量图为分辨率与所述目标图像一致的多通道图像,所述目标矢量图的每一通道各自对应一种预设的相对位置,所述目标矢量图中像素点对应于指定通道的像素值为该像素点作为车道线关键点与下一车道线关键点之间的相对位置符合所述指定通道对应的相对位置的第三概率,预设的相对位置包括无位置变化,且车道线关键点对应于无位置变化的第三概率能够反映该车道线关键点是否为车道线的终点。
10.一种车辆,其特征在于,包括:
第一处理器;
用于存储第一处理器可执行指令的第一存储器;
其中,所述第一处理器被配置为运行所述第一存储器中的指令以实现权利要求1~8中任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被第二处理器执行时实现权利要求1~8中任一项所述方法的步骤。
12.一种芯片,其特征在于,包括第三处理器和接口;所述第三处理器用于读取指令以执行权利要求1~8中任一项所述的方法。
CN202210771249.7A 2022-06-30 2022-06-30 车道线确定方法、装置、车辆、介质及芯片 Active CN115147794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210771249.7A CN115147794B (zh) 2022-06-30 2022-06-30 车道线确定方法、装置、车辆、介质及芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210771249.7A CN115147794B (zh) 2022-06-30 2022-06-30 车道线确定方法、装置、车辆、介质及芯片

Publications (2)

Publication Number Publication Date
CN115147794A CN115147794A (zh) 2022-10-04
CN115147794B true CN115147794B (zh) 2023-08-29

Family

ID=83409890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210771249.7A Active CN115147794B (zh) 2022-06-30 2022-06-30 车道线确定方法、装置、车辆、介质及芯片

Country Status (1)

Country Link
CN (1) CN115147794B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858307A (zh) * 2017-11-30 2019-06-07 高德软件有限公司 一种车道线识别方法和装置
KR20200027215A (ko) * 2018-09-04 2020-03-12 한국교통대학교산학협력단 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법
CN111476057A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线获取方法及装置、车辆驾驶方法及装置
CN112883853A (zh) * 2021-02-04 2021-06-01 湖北文理学院 车道线的检测方法、装置、设备及存储介质
CN114648747A (zh) * 2022-03-30 2022-06-21 上海商汤临港智能科技有限公司 目标检测、行驶控制方法、装置、电子设备及存储介质
CN115063762A (zh) * 2022-05-20 2022-09-16 广州文远知行科技有限公司 车道线的检测方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214334B (zh) * 2018-09-03 2020-12-29 百度在线网络技术(北京)有限公司 车道线处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858307A (zh) * 2017-11-30 2019-06-07 高德软件有限公司 一种车道线识别方法和装置
KR20200027215A (ko) * 2018-09-04 2020-03-12 한국교통대학교산학협력단 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법
CN111476057A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线获取方法及装置、车辆驾驶方法及装置
CN112883853A (zh) * 2021-02-04 2021-06-01 湖北文理学院 车道线的检测方法、装置、设备及存储介质
CN114648747A (zh) * 2022-03-30 2022-06-21 上海商汤临港智能科技有限公司 目标检测、行驶控制方法、装置、电子设备及存储介质
CN115063762A (zh) * 2022-05-20 2022-09-16 广州文远知行科技有限公司 车道线的检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘进宇.基于机器视觉的车道线检测与跟踪关键技术研究.《 工程科技Ⅱ辑》.2020,全文. *

Also Published As

Publication number Publication date
CN115147794A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
EP4307251A1 (en) Mapping method, vehicle, computer readable storage medium, and chip
CN114882464B (zh) 多任务模型训练方法、多任务处理方法、装置及车辆
CN114935334B (zh) 车道拓扑关系的构建方法、装置、车辆、介质及芯片
CN114842075B (zh) 数据标注方法、装置、存储介质及车辆
CN115035494A (zh) 图像处理方法、装置、车辆、存储介质及芯片
CN112810603A (zh) 定位方法和相关产品
CN115203457B (zh) 图像检索方法、装置、车辆、存储介质及芯片
CN115205311B (zh) 图像处理方法、装置、车辆、介质及芯片
CN115100630B (zh) 障碍物检测方法、装置、车辆、介质及芯片
CN115056784B (zh) 车辆控制方法、装置、车辆、存储介质及芯片
CN115330923B (zh) 点云数据渲染方法、装置、车辆、可读存储介质及芯片
CN115164910B (zh) 行驶路径生成方法、装置、车辆、存储介质及芯片
CN115222791B (zh) 目标关联方法、装置、可读存储介质及芯片
CN115170630B (zh) 地图生成方法、装置、电子设备、车辆和存储介质
CN114842455B (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
CN114782638B (zh) 生成车道线的方法、装置、车辆、存储介质及芯片
CN114842440B (zh) 自动驾驶环境感知方法、装置、车辆及可读存储介质
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
CN115147794B (zh) 车道线确定方法、装置、车辆、介质及芯片
CN115205179A (zh) 图像融合的方法、装置、车辆及存储介质
CN114973178A (zh) 模型训练方法、物体识别方法、装置、车辆及存储介质
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN115082772B (zh) 地点识别方法、装置、车辆、存储介质及芯片
CN115063639B (zh) 生成模型的方法、图像语义分割方法、装置、车辆及介质
CN115115822B (zh) 车端图像处理方法、装置、车辆、存储介质及芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant