CN112560684A - 车道线检测方法、装置、电子设备、存储介质以及车辆 - Google Patents

车道线检测方法、装置、电子设备、存储介质以及车辆 Download PDF

Info

Publication number
CN112560684A
CN112560684A CN202011488643.7A CN202011488643A CN112560684A CN 112560684 A CN112560684 A CN 112560684A CN 202011488643 A CN202011488643 A CN 202011488643A CN 112560684 A CN112560684 A CN 112560684A
Authority
CN
China
Prior art keywords
lane line
key frame
frame image
image
line detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011488643.7A
Other languages
English (en)
Other versions
CN112560684B (zh
Inventor
何刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011488643.7A priority Critical patent/CN112560684B/zh
Publication of CN112560684A publication Critical patent/CN112560684A/zh
Priority to US17/352,871 priority patent/US11967132B2/en
Priority to EP21181451.2A priority patent/EP3937077B1/en
Priority to JP2021191751A priority patent/JP7273129B2/ja
Priority to KR1020210179925A priority patent/KR20220004939A/ko
Application granted granted Critical
Publication of CN112560684B publication Critical patent/CN112560684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本申请公开了一种车道线检测方法、装置、电子设备、存储介质、程序产品以及车辆，可应用于人工智能、自动驾驶、智能交通、以及深度学习。具体实现方案为：获取包括车道线的视频流，并在视频流中按预定间隔的帧数提取关键帧图像，相邻的关键帧图像之间作为非关键帧图像，对关键帧图像，根据关键帧图像的特征图进行车道线检测，对非关键帧图像，根据非关键帧图像的前一帧关键帧图像的特征图以及非关键帧图像进行车道线检测，在本实施例中，通过结合前一帧关键图像的特征图确定非关键帧图像的特征图，并进行车道线检测，可以实现车道线检测的灵活性和多样性，且可以提高车道线检测的效率。

Description

车道线检测方法、装置、电子设备、存储介质以及车辆
技术领域
本申请涉及计算机技术和图像处理技术，尤其涉及一种车道线检测方法、装置、电子设备、存储介质、程序产品以及车辆，可应用于人工智能、自动驾驶、智能交通、以及深度学习。
背景技术
随着车辆的普及，以及车辆自动化技术的发展，提高车辆行驶的安全性和可靠性是车辆提供方以及车辆使用方的共同追求，而车道线检测是实现车辆行驶的安全性和可靠性的重要因素之一。
在现有技术中，通常采用的车道线检测方法为：在训练过程中，采集训练样本，并基于训练样本对基础网络模型进行训练，得到车道线检测模型；在应用过程中，针对采集到的每一帧图像，均能基于训练的车道线检测模型确定每一帧图像的特征图，并基于车道线检测模型对特征图进行车道线检测。
然而，针对每一帧图像均需要经车道线检测模型确定特征图，可能造成检测地效率偏低，且成本偏高的问题。
发明内容
本申请提供了一种用于提高车道线检测效率的一种车道线检测方法、装置、电子设备、存储介质、程序产品以及车辆。
根据本申请的一方面，提供了一种车道线检测方法，包括：
获取包括车道线的视频流，并在所述视频流中按预定间隔的帧数提取关键帧图像，相邻的关键帧图像之间作为非关键帧图像；
对所述关键帧图像，根据所述关键帧图像的特征图进行车道线检测；对所述非关键帧图像，根据所述非关键帧图像的前一帧关键帧图像的特征图以及所述非关键帧图像进行车道线检测。
根据本申请的另一方面，提供了一种车道线检测装置，包括：
获取模块，用于获取包括车道线的视频流；
提取模块，用于在所述视频流中按预定间隔的帧数提取关键帧图像，相邻的关键帧图像之间作为非关键帧图像；
检测模块，用于对所述关键帧图像，根据所述关键帧图像的特征图进行车道线检测；对所述非关键帧图像，根据所述非关键帧图像的前一帧关键帧图像的特征图以及所述非关键帧图像进行车道线检测。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上实施例所述的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上实施例所述的方法。
根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上实施例所述的方法。
根据本申请的另一方面，提供了一种车辆，包括：图像采集装置和如上实施例所述的车道线检测装置；其中，
所述图像采集装置，用于采集包括车道线的视频流。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3是根据本申请第三实施例的示意图；
图4是根据本申请实施例的车道线检测的原理的示意图；
图5是根据本申请第四实施例的示意图；
图6是根据本申请第五实施例的示意图；
图7是根据本申请第六实施例的示意图；
图8是根据本申请第七实施例的示意图；
图9是根据本申请第八实施例的示意图；
图10是根据本申请第九实施例的示意图；
图11是根据本申请第十实施例的示意图；
图12是根据本申请第十一实施例的示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的示意图，在如图1所示的车道线的检测方法的应用场景中，车辆101行驶于道路102上，车辆101在行驶过程中，为了确保行驶的安全性和可靠性等，可以对道路102上的车道线103进行检测。
在相关技术中，通常采用两种方式实现对车道线的检测，一种方式为：车辆101上可以设置图像采集装置(图中未示出，且图像采集装置可以为摄像头和雷达等)，由图像采集装置对包括车道线的图像进行采集，车辆101可以对包括车道线的图像进行坐标计算，从而实现对车道线的检测。
另一种方式为：车辆101预先训练并存储车道线检测模型，同理，车辆101上可以设置图像采集装置(图中未示出，且图像采集装置可以为摄像头和雷达等)，由图像采集装置对包括车道线的图像进行采集，车辆101可以基于车道线检测模型对包括车道线的图像进行车道线检测的操作。
然而，若采用第一种方式对车道线进行检测，一方面，计算量相对较大，过程较为繁琐，且准确性偏低；若采用第二种方式对车道线进行检测，则针对采集到的每一图像，均需要由车道线检测模型进行特征提取和卷积等处理，可能导致检测效率偏低的问题。
本申请的发明人经过创造性地劳动，得到了本申请的发明构思：包括车道线的视频流可以包括关键帧图像和非关键帧图像，关键帧图像是基于预定间隔的帧数提取到的，针对非关键帧图像，可以结合关键帧图像的特征图实现车道线检测。
基于上述发明构思，本申请提供一种车道线检测方法、装置、电子设备、存储介质、程序产品以及车辆，应用于计算机技术和图像处理技术中的自动驾驶、智能交通、以及深度学习技术领域，以达到提高车道线的检测效率的技术效果。
图2是根据本申请第二实施例的示意图，如图2所示，本申请实施例的车道线检测方法包括：
S201：获取包括车道线的视频流，并在视频流中按预定间隔的帧数提取关键帧图像，相邻的关键帧图像之间作为非关键帧图像。
示例性地，本实施例的执行主体可以为车道线检测装置，且车道线检测装置可以为车辆，且具体可以为设置于车辆的计算机、服务器、处理器、车载终端、以及芯片(如车联网芯片)等，本实施例不做限定。
在一些实施例中，车道线检测装置在获取包括车道线的视频流之后，可以对视频流中的各帧图像进行提取，以便基于提取到的各帧图像进行车道线检测，且具体可以预先配置预定间隔的帧数，并将基于预定间隔的帧数提取到的图像称为关键帧图像，提取到的其他图像称为非关键帧图像。
例如，预定间隔的帧数为10帧，则车道线检测装置每间隔10帧提取到的图像即为关键帧图像。
值得说明地是，上述示例中的预定间隔的帧数只是用于示范性地说明，而不能理解为对预定间隔的帧数的限定，预定间隔的帧数可以由车道线检测装置基于需求、历史记录、以及试验等进行设置，本实施例不做限定。
现以本实施例的车道线检测方法应用于如图1所示的应用场景，且车道线检测装置为设置于车辆的车载终端为例，对该步骤地描述如下：
车辆上设置有摄像头(也可以为其他的图像采集装置)，摄像头对包括车道线的视频流进行采集，并将视频流传输给车载终端，车载终端每间隔预定间隔的帧数(如10帧)从视频流中提取关键帧图像，且将提取到的其他图像作为非关键帧图像，即相邻的关键帧图像之间的即为非关键帧。
S202：对关键帧图像，根据关键帧图像的特征图进行车道线检测。
S203：对非关键帧图像，根据非关键帧图像的前一帧关键帧图像的特征图以及非关键帧图像进行车道线检测。
在本实施例中，可以将图像分为两种不同类型的图像，一种类型为关键帧图像，另一种类型为非关键帧图像。且针对不同类型的图像，车道线检测装置可以采用不同的方法实现，即针对关键帧图像，采用一种方法进行车道线检测，针对非关键帧图像，采用另一种方法进行车道线检测。
例如，针对关键帧图像，车道线检测装置可以基于关键帧图像的特征图进行车道线检测。
具体地，车道线检测装置可以确定关键帧图像的特征图，关键帧图像的特征图用于表征关键帧图像的颜色特征、纹理特征、形状特征以及空间关系特征。
针对非关键帧图像，车道线检测装置可以确定非关键帧图像的前一帧关键帧图像，并确定前一帧关键帧图像的特征图，且基于非关键帧图像和前一帧关键帧图像的特征图进行车道线检测。
基于上述分析可知，在本实施例中，采用两种不同的方法对两种不同类型的图像进行车道线检测，且具体为针对关键帧图像，根据关键帧图像的特征图进行车道线检测，而针对非关键帧图像，则根据前一帧关键帧图像的特征图和非关键帧图像进行车道线检测，可以避免上述相关技术中，车道线检测的计算量大和效率偏低的问题，实现了车道线检测的灵活性和多样性，且通过结合前一帧关键帧图像的特征图进行车道线检测，避免了每一帧图像均由车道线检测模型进行相应的特征提取和卷积计算，提高了车道线检测的效率的技术效果。
图3是根据本申请第三实施例的示意图，如图3所示，本申请实施例的车道线检测方法包括：
S301：获取包括车道线的视频流，并在视频流中按预定间隔的帧数提取关键帧图像，相邻的关键帧图像之间作为非关键帧图像。
示例性地，关于S301地描述可以参见S201，此处不再赘述。
S302：对关键帧图像，根据关键帧图像的特征图进行车道线检测。
示例性地，关于S302地描述可以参见上述示例中，车道线检测装置对于关键帧图像的检测，此处不再赘述。
图4是根据本申请实施例的车道线检测的原理的示意图，如图4所示，在本实施例中，视频流中包括两种类型的图像，一种类型为关键帧图像，另一种类型为非关键帧图像，针对关键帧图像，车道线检测装置可以基于关键帧图像确定关键帧图像的特征图，并在确定出关键帧图像的特征图之后，基于关键帧图像的特征图进行车道线检测。
且在如图4所示的原理图中，可以基于车道线概率预测的方式，结合关键帧图像实现对车道线的检测。
S303：对非关键帧图像，确定前一帧关键帧图像与非关键帧图像之间位置变化信息。
在一些实施例中，位置变化信息包括每一像素点的位置移动信息，S303可以包括：将前一帧关键帧图像和非关键帧图像输入至光流估计网络模型，得到前一帧关键帧图像与非关键帧图像之间的光流图。
其中，光流图表征非关键帧图像相对于上一关键帧图像时每一像素点的位置移动信息。
例如，结合上述示例和如图4所示的原理图，车道线检测装置可以计算非关键帧图像与前一帧关键帧图像之间的光流图，且具体可以基于训练生成的光流估计网络模型实现。
在本实施例中，通过确定光流图，由光流图表征每一像素点的位置移动信息，可以提高确定出的位置变化信息的可靠性和准确性的技术效果。
在一些实施例中，生成光流估计网络模型的方法包括如下步骤：
步骤1：采集训练样本集，训练样本集中包括存在车道线的相对位移的第一样本图像和第二样本图像。
训练样本集用于对基础网络模型进行训练，生成光流估计网络模型。且训练样本集中包括样本图像，样本图像可以包括第一样本图像和第二样本图像，第一样本图像和第二样本图像均为包括车道线的图像，第一样本图像中的车道线与第二样本图像中的车道线存在相对位移。
值得说明地是，本实施例对第一样本图像和第二样本图像的数量不做限定，具体可以由车道线检测装置基于需求、历史记录以及试验等进行设置。且在一些实施例中，训练生成光流估计网络模型的执行主体可以为车道线检测装置之外的其他装置，如云端服务器等。
步骤2：基于训练样本集、以及第一样本图像和第二样本图像之间的光流场作为训练标签，对基础网络模型进行训练，得到光流估计网络模型。
示例性地，光流场表征图像中所有像素点构成的一种二维瞬时速度场，也即，光流场包括了图像中各像素点的运动信息，如像素点由第一样本图像移动至第二样本图像时的运动信息。
该步骤2可以具体理解为：将第一样本图像和第二样本图像均输入至基础网络模型，基础网络模型输出第一样本图像和第二样本图像之间的预测运动信息，确定预测运动信息与光流场(相当于预设的标准值)之间的损失函数，基于损失函数对基础网络模型的参数进行调整，如对基础网络模型的卷积核的系数进行调整，直至得到损失函数满足预设需求，或者，迭代次数达到预设迭代次数阈值的光流估计网络模型。
值得说明地是，在本实施例中，通过基于包括车道线的第一样本图像和第二样本图像训练得到光流估计网络模型，可以使得当基于光流估计网络模型对位置变化信息进行确定时，提高确定位置变化信息的效率和可靠性的技术效果。
S304：根据位置变化信息和前一帧关键帧图像的特征图，确定非关键帧图像的特征图，并基于非关键帧图像的特征图进行车道线检测。
结合上述示例和如图4所示的原理图，车道线检测装置可以基于光流图和前一帧关键帧图像的特征图得到非关键帧图像的特征图，并在确定出非关键帧图像的特征图之后，基于非关键帧图像的特征图进行车道线检测。
且在如图4所示的原理图中，可以基于车道线概率预测的方式，结合非关键帧图像实现对车道线的检测。
值得说明地是，结合上述相关技术的描述可知，在相关技术中，针对每一帧图像，都需要通过车道线检测模型，由车道线检测对每一帧图像进行特征提取，卷积计算等操作，则可能造成车道线检测的效率比较低的问题，而在本实施例中，通过结合网络估计的方式得到非关键帧图像的特征图，节约了时间，从而实现了提高确定非关键帧图像的特征图的效率，进而实现了提高车道线检测的效率的技术效果。
在一些实施例中，S304可以包括如下步骤：
步骤1：根据位置变化信息，确定前一帧关键帧图像的每一像素点在非关键帧图像的特征图上的位置信息。
示例性地，若位置变化信息包括横坐标的位置变化信息(ux)和纵坐标的位置变化信息(uy)；每一像素点在上一关键帧图像的特征图的横坐标为(x1)，纵坐标为(y1)；则每一像素点在非关键帧图像的特征图上的横坐标为(x2＝x1+ux)，纵坐标为(y2＝y1+uy)。
其中，上述坐标以图像坐标系为基础。
步骤2：根据位置信息和前一帧关键帧图像的特征图，生成非关键帧图像的特征图。
示例性地，在确定出位置信息，即横坐标(x2＝x1+ux)，纵坐标(y2＝y1+uy)之后，车道线检测装置可以基于该位置信息和前一帧关键帧图像的特征图，确定与该位置信息对应的特征图(即为非关键帧图像的特征图)。
在本实施例中，通过基于位置变化信息确定位置信息，并基于位置信息确定非关键帧图像的特征图，提高了确定非关键帧图像的特征图的效率，节约了计算成本，进而实现了提高车道线检测的效率的技术效果。
图5是根据本申请第四实施例的示意图，如图5所示，本申请实施例的车道线检测方法包括：
S501：获取包括车道线的视频流，并在视频流中按预定间隔的帧数提取关键帧图像，相邻的关键帧图像之间作为非关键帧图像。
示例性地，关于S501地描述可以参见S201，此处不再赘述。
S502：将关键帧图像输入至预设的车道线检测模型，得到关键帧图像的特征图，并根据关键帧图像的特征图进行车道线检测。
其中，车道线检测模型是基于白天场景的车道线样本图像和夜间场景的车道线样本图像，进行知识蒸馏处理生成的。
在本实施例中，车道线检测模型基于车道线检测模型对关键帧图像进行车道线检测，且在本实施例中，车道线检测模型与相关技术中的车道线检测模型存在本质的区别。
例如，在相关技术中，车道线检测模型是基于样本图像对基础网络模型进行训练生成，而在本实施例中，一方面，对样本图像本身进行了改进，具体地，采集的样本图像中包括：白天场景的车道线样本图像和夜间场景的车道线样本图像，白天场景的车道线样本图像为白天时，包括车道线的样本图像，夜间场景的车道线样本图像为夜间时，包括车道线的样本图像。
在一些实施例中，得到夜间场景的车道线样本图像的方法可以包括：
车道线检测模型基于训练时的白天场景的车道线样本图像对对抗网络(Generative Adversarial Networks，GAN)进行训练，生成白天场景至夜间场景风格迁移的对抗网络，并基于采集到的白天场景的车道线样本图和白天场景至夜间场景风格迁移的对抗网络，生成夜间场景的车道线样本图像。
在本实施例中，通过基于白天场景的车道线样本图像和夜间场景的车道线样本图像训练生成车道线检测模型，可以提高车道线检测模型针对不同场景的车道线检测，从而提高车道线检测的准确性和可靠性的技术效果。
另一方面，本实施例中的车道线检测模型是进行知识蒸馏处理得到的，即通过大模型来指导小模型进行学习训练的方法得到车道线检测模型，从而可以提高车道线检测模型的检测效率的技术效果。
在一些实施例中，车道线检测装置基于知识蒸馏处理得到车道线检测模型的方法可以包括如下步骤：
步骤1：将白天场景的车道线样本图像和夜间场景的车道线样本图像，均分别输入至用于知识蒸馏处理的残差网络模型和轻量级网络模型，得到经残差网络模型输出的第一车道线识别结果、以及经轻量级网络模型输出的第二车道线识别结果。
该步骤可以理解为：将白天场景的车道线样本图像和夜间场景的车道线样本图像均输入至残差网络模型，得到第一车道线识别结果；将白天场景的车道线样本图像和夜间场景的车道线样本图像均输入至轻量级网络模型，得到第二车道线识别结果。
结合上述示例，残差网络模型可以理解为知识蒸馏处理的大网络模型，轻量级网络模型可以理解为知识蒸馏处理的小网络模型，通过残差网络模型来指导小轻量级网络模型进行学习训练。
在一些实施例中，残差网络模型可以选择resnet50，轻量级网络模型可以选择shufflenet。
步骤2：基于第一车道线识别结果和第二车道线识别结果，对轻量级网络模型进行迭代，得到车道线检测模型。
在得到第一车道线识别结果和第二车道线识别结果之后，可以基于两个结果对轻量级网络模型进行迭代，如对shufflenet进行迭代，从而得到以轻量级网络模型为基础网络模型的车道线检测模型，从而提高车道线检测模型在应用过程中的效率，即提高基于车道线检测模型对车道线进行检测的效率的技术效果。
在一些实施例中，第一车道线识别结果表征车道线的概率分布，第二车道线识别结果表征车道线的概率分布，步骤2可以包括如下子步骤：
子步骤1：确定第一车道线识别结果和第二车道线识别结果之间的相对熵信息。
其中，相对熵信息表征车道线的概率分布之间的差异的非对称性度量信息，
示例性地，车道线检测装置可以计算第一车道线识别结果对应的概率分布(为了与第二车道线识别结果对应的概率分布进行区分，下文称为第一概率分布)与第二车道线识别结果对应的概率分布(同理，为了与第一车道线识别结果对应的概率分布进行区分，下文称为第二概率分布)之间的KL(Kullback–Leibler divergence)散度，该KL散度表征第一概率分布与第二概率分布之间的差异的非对称性度量信息。
示例性地，车道线检测装置可以基于式1计算相对熵信息LOSS1，式1：
LOSS1＝p(x)*log(p(x))-p(x)*log(q(x))
其中，p(x)为残差网络模型输出的第一概率分布，q(x)为轻量级网络模型输出的第二概率分布。
子步骤2：确定第一车道线识别结果和第二车道线识别结果之间的损失信息。
其中，损失信息表征车道线的概率分布之间的距离信息。
示例性地，车道线检测装置可以计算第一概率分布与第二概率分布之间的损失信息(Wasserstein loss)，该Wasserstein loss表征第一概率分布与第二概率分布之间的距离信息。
示例性地，车道线检测装置可以基于式2计算相对熵信息LOSS2，式2：
Figure BDA0002840082390000111
其中，
Figure BDA0002840082390000112
为轻量级网络模型输出的第二概率分布服从分布PG，D(x)为轻量级网络模型的预测值(即第二概率分布)与真实值(预先设置的值)之间的差异信息。
子步骤3：根据相对熵信息和损失信息，对轻量级网络模型进行迭代，得到车道线检测模型。
示例性地，车道线检测侧装置基于相对熵信息和损失信息确定用于调整轻量级网络模型的调整幅度，并基于调整幅度对轻量级网络模型进行调整，且具体可以为对轻量级网络模型的卷积核的系数等进行调整，得到车道线检测模型。
值得说明地是，在本实施例中，通过确定相对熵信息和损失信息，并基于该两个维度的信息对轻量级网络模型进行优化迭代，得到车道线检测模型，可以提高车道线检测模型的准确性和可靠性，且可以提高当基于车道线检测模型进行车道线检测时的效率的技术效果。
S503：对非关键帧图像，根据非关键帧图像的前一帧关键帧图像的特征图以及非关键帧图像进行车道线检测。
示例性地，关于S503地描述可以参见S203地描述；或者，可以参见S303和S304地描述，此次不再赘述。
值得说明地是，在一些实施例中，车道线概率预测可以为车道线检测模型的一部分，则针对关键帧图像，车道线检测装置可以将关键帧图像输入至车道线检测模型，并基于车道线检测模型进行特征提取，得到关键帧图像的特征图，并对关键帧图像的特征图进行车道线概率预测，以便实现对关键帧图像的车道线检测；而针对非关键帧图像，可以基于关键帧图像和非关键帧图像确定光流图，并基于关键帧图像的特征图和光流图确定非关键帧图像的特征图，并基于车道线检测模型中的车道线概率预测对非关键帧图像的特征图进行车道线检测。
一个示例中，在车道线检测装置对视频流进行车道线检测，得到车道线检测结果之后，车道线检测装置可以基于车道线检测结果控制车辆行驶。
另一个示例中，在车道线检测装置对视频流进行车道线检测，得到车道线检测结果之后，车道线检测装置可以将车道线检测结果传输给设置于车辆的控制装置，并由控制装置基于车道线检测结果控制车辆行驶。
图6是根据本申请第五实施例的示意图，如图6所示，本申请实施例的车道线检测装置600包括：
获取模块601，用于获取包括车道线的视频流。
提取模块602，用于在视频流中按预定间隔的帧数提取关键帧图像，相邻的关键帧图像之间作为非关键帧图像。
检测模块603，用于对关键帧图像，根据关键帧图像的特征图进行车道线检测；对非关键帧图像，根据非关键帧图像的前一帧关键帧图像的特征图以及非关键帧图像进行车道线检测。
图7是根据本申请第六实施例的示意图，如图7所示，在第五实施例的基础上，检测模块603包括：
位置确定子模块6031，用于确定前一帧关键帧图像与非关键帧图像之间位置变化信息。
第一特征图确定子模块6032，用于根据位置变化信息和前一帧关键帧图像的特征图，确定非关键帧图像的特征图。
第一检测子模块6033，用于基于非关键帧图像的特征图进行车道线检测。
在一些实施例中，位置变化信息包括每一像素点的位置移动信息；位置确定子模块6031用于，将前一帧关键帧图像和非关键帧图像输入至光流估计网络模型，得到前一帧关键帧图像与所述非关键帧图像之间的光流图；其中，光流图表征非关键帧图像相对于上一关键帧图像时每一像素点的位置移动信息。
图8是根据本申请第七实施例的示意图，如图8所示，在第六实施例的基础上，车道线检测装置600还包括：
采集模块604，用于采集训练样本集，训练样本集中包括存在车道线的相对位移的第一样本图像和第二样本图像。
第一训练模块605，用于基于训练样本集、以及第一样本图像和第二样本图像之间的光流场作为训练标签，对基础网络模型进行训练，得到光流估计网络模型。
在一些实施例中，第一特征图确定子模块6032用于，根据位置变化信息，确定前一帧关键帧图像的每一像素点在非关键帧图像的特征图上的位置信息，并根据位置信息和前一帧关键帧图像的特征图，生成非关键帧图像的特征图。
图9是根据本申请第八实施例的示意图，如图9所示，在第五实施例的基础上，检测模块603包括：
第二特征图确定子模块6034，用于将关键帧图像输入至预设的车道线检测模型，得到关键帧图像的特征图。
第二检测子模块6035，用于根据关键帧图像的特征图进行车道线检测。
其中，车道线检测模型是基于白天场景的车道线样本图像和夜间场景的车道线样本图像，进行知识蒸馏处理生成的。
图10是根据本申请第九实施例的示意图，如图10所示，在第八实施例的基础上，车道线检测装置600还包括：
输入模块606，用于将白天场景的车道线样本图像和夜间场景的车道线样本图像，均分别输入至用于知识蒸馏处理的残差网络模型和轻量级网络模型，得到经残差网络模型输出的第一车道线识别结果、以及经轻量级网络模型输出的第二车道线识别结果。
第二训练模块607，用于基于第一车道线识别结果和第二车道线识别结果，对轻量级网络模型进行迭代，得到车道线检测模型。
图11是根据本申请第十实施例的示意图，如图11所示，在第九实施例的基础上，第一车道线识别结果表征车道线的概率分布，第二车道线识别结果表征车道线的概率分布；第二训练模块607包括：
差异确定子模块6071，用于确定第一车道线识别结果和第二车道线识别结果之间的相对熵信息，并确定第一车道线识别结果和第二车道线识别结果之间的损失信息；其中，相对熵信息表征车道线的概率分布之间的差异的非对称性度量信息，损失信息表征车道线的概率分布之间的距离信息。
迭代子模块6072，用于根据相对熵信息和损失信息，对轻量级网络模型进行迭代，得到车道线检测模型。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
图12示出了可以用来实施本申请的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，电子设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如车道线检测方法。例如，在一些实施例中，车道线检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的车道线检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车道线检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请实施例的另一个方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上任一实施例所述的方法，如实现如图2、图3、以及图5中任一实施例所示的方法。
根据本申请实施例的另一个方面，本申请实施例还提供了一种车辆，包括：图像采集装置和如上任一实施例所述的车道线检测装置(如包括如图6至图11中任一实施例所示的车道线检测装置)；其中，
图像采集装置，用于采集包括车道线的视频流。
示例性地，车辆上可以设置车道线检测装置和图像采集装置，图像采集对包括车道线的视频流进行采集，并将视频流传输给车道线检测装置，车道线检测装置用于执行如上任一实施例所述的车道线检测方法(如用于执行如图2、图3以及图5中任一项实施例所示的车道线检测方法)，从而实现对车道线的检测。
在一些实施例中，车辆上可以设置有控制器，车道线检测装置可以将车道线检测结果传输给控制器，控制器基于车道线检测结果控制车辆行驶。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种车道线检测方法，包括：
获取包括车道线的视频流；
在所述视频流中按预定间隔的帧数提取关键帧图像，相邻的关键帧图像之间作为非关键帧图像；
对所述关键帧图像，根据所述关键帧图像的特征图进行车道线检测；
对所述非关键帧图像，根据所述非关键帧图像的前一帧关键帧图像的特征图以及所述非关键帧图像进行车道线检测。
2.根据权利要求1所述的方法，其中，对所述非关键帧图像，根据所述非关键帧图像的前一帧关键帧图像的特征图以及所述非关键帧图像进行车道线检测，包括：
确定所述前一帧关键帧图像与所述非关键帧图像之间位置变化信息；
根据所述位置变化信息和所述前一帧关键帧图像的特征图，确定所述非关键帧图像的特征图，并基于所述非关键帧图像的特征图进行车道线检测。
3.根据权利要求2所述的方法，其中，所述位置变化信息包括每一像素点的位置移动信息；确定所述前一帧关键帧图像与所述非关键帧图像之间位置变化信息，包括：
将所述前一帧关键帧图像和所述非关键帧图像输入至光流估计网络模型，得到所述前一帧关键帧图像与所述非关键帧图像之间的光流图；其中，所述光流图表征所述非关键帧图像相对于所述上一关键帧图像时每一像素点的位置移动信息。
4.根据权利要求3所述的方法，所述方法还包括：
采集训练样本集，所述训练样本集中包括存在车道线的相对位移的第一样本图像和第二样本图像；
基于所述训练样本集、以及所述第一样本图像和所述第二样本图像之间的光流场作为训练标签，对基础网络模型进行训练，得到所述光流估计网络模型。
5.根据权利要求2所述的方法，其中，根据所述位置变化信息和所述前一帧关键帧图像的特征图，确定所述非关键帧图像的特征图，包括：
根据所述位置变化信息，确定所述前一帧关键帧图像的每一像素点在所述非关键帧图像的特征图上的位置信息；
根据所述位置信息和所述前一帧关键帧图像的特征图，生成所述非关键帧图像的特征图。
6.根据权利要求1至5中任一项所述的方法，其中，对所述关键帧图像，根据所述关键帧图像的特征图进行车道线检测，包括：
将所述关键帧图像输入至预设的车道线检测模型，得到所述关键帧图像的特征图，并根据所述关键帧图像的特征图进行车道线检测；
其中，所述车道线检测模型是基于白天场景的车道线样本图像和夜间场景的车道线样本图像，进行知识蒸馏处理生成的。
7.根据权利要求6所述的方法，在将所述关键帧图像输入至预设的车道线检测模型，得到所述关键帧图像的特征图，并根据所述关键帧图像的特征图进行车道线检测之前，所述方法还包括：
将所述白天场景的车道线样本图像和夜间场景的车道线样本图像，均分别输入至用于知识蒸馏处理的残差网络模型和轻量级网络模型，得到经所述残差网络模型输出的第一车道线识别结果、以及经所述轻量级网络模型输出的第二车道线识别结果；
基于所述第一车道线识别结果和所述第二车道线识别结果，对所述轻量级网络模型进行迭代，得到所述车道线检测模型。
8.根据权利要求7所述的方法，其中，所述第一车道线识别结果表征车道线的概率分布，所述第二车道线识别结果表征车道线的概率分布；基于所述第一车道线识别结果和所述第二车道线识别结果，对所述轻量级网络模型进行迭代，得到所述车道线检测模型，包括：
确定所述第一车道线识别结果和所述第二车道线识别结果之间的相对熵信息，并确定所述第一车道线识别结果和所述第二车道线识别结果之间的损失信息；其中，所述相对熵信息表征车道线的概率分布之间的差异的非对称性度量信息，所述损失信息表征车道线的概率分布之间的距离信息；
根据所述相对熵信息和所述损失信息，对所述轻量级网络模型进行迭代，得到所述车道线检测模型。
9.一种车道线检测装置，包括：
获取模块，用于获取包括车道线的视频流；
提取模块，用于在所述视频流中按预定间隔的帧数提取关键帧图像，相邻的关键帧图像之间作为非关键帧图像；
检测模块，用于对所述关键帧图像，根据所述关键帧图像的特征图进行车道线检测；对所述非关键帧图像，根据所述非关键帧图像的前一帧关键帧图像的特征图以及所述非关键帧图像进行车道线检测。
10.根据权利要求9所述的装置，其中，所述检测模块，包括：
位置确定子模块，用于确定所述前一帧关键帧图像与所述非关键帧图像之间位置变化信息；
第一特征图确定子模块，用于根据所述位置变化信息和所述前一帧关键帧图像的特征图，确定所述非关键帧图像的特征图；
第一检测子模块，用于基于所述非关键帧图像的特征图进行车道线检测。
11.根据权利要求10所述的装置，其中，所述位置变化信息包括每一像素点的位置移动信息；所述位置确定子模块用于，将所述前一帧关键帧图像和所述非关键帧图像输入至光流估计网络模型，得到所述前一帧关键帧图像与所述非关键帧图像之间的光流图；其中，所述光流图表征所述非关键帧图像相对于所述上一关键帧图像时每一像素点的位置移动信息。
12.根据权利要求11所述的装置，所述装置还包括：
采集模块，用于采集训练样本集，所述训练样本集中包括存在车道线的相对位移的第一样本图像和第二样本图像；
第一训练模块，用于基于所述训练样本集、以及所述第一样本图像和所述第二样本图像之间的光流场作为训练标签，对基础网络模型进行训练，得到所述光流估计网络模型。
13.根据权利要求10所述的装置，其中，所述第一特征图确定子模块用于，根据所述位置变化信息，确定所述前一帧关键帧图像的每一像素点在所述非关键帧图像的特征图上的位置信息，并根据所述位置信息和所述前一帧关键帧图像的特征图，生成所述非关键帧图像的特征图。
14.根据权利要求9至13中任一项所述的装置，其中，所述检测模块包括：
第二特征图确定子模块，用于将所述关键帧图像输入至预设的车道线检测模型，得到所述关键帧图像的特征图；
第二检测子模块，用于根据所述关键帧图像的特征图进行车道线检测；
其中，所述车道线检测模型是基于白天场景的车道线样本图像和夜间场景的车道线样本图像，进行知识蒸馏处理生成的。
15.根据权利要求14所述的装置，所述装置还包括：
输入模块，用于将所述白天场景的车道线样本图像和夜间场景的车道线样本图像，均分别输入至用于知识蒸馏处理的残差网络模型和轻量级网络模型，得到经所述残差网络模型输出的第一车道线识别结果、以及经所述轻量级网络模型输出的第二车道线识别结果；
第二训练模块，用于基于所述第一车道线识别结果和所述第二车道线识别结果，对所述轻量级网络模型进行迭代，得到所述车道线检测模型。
16.根据权利要求15所述的装置，其中，所述第一车道线识别结果表征车道线的概率分布，所述第二车道线识别结果表征车道线的概率分布；所述第二训练模块包括：
差异确定子模块，用于确定所述第一车道线识别结果和所述第二车道线识别结果之间的相对熵信息，并确定所述第一车道线识别结果和所述第二车道线识别结果之间的损失信息；其中，所述相对熵信息表征车道线的概率分布之间的差异的非对称性度量信息，所述损失信息表征车道线的概率分布之间的距离信息；
迭代子模块，用于根据所述相对熵信息和所述损失信息，对所述轻量级网络模型进行迭代，得到所述车道线检测模型。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
20.一种车辆，包括：图像采集装置和如权利要求9至16中任一项所述的车道线检测装置；其中，
所述图像采集装置，用于采集包括车道线的视频流。
CN202011488643.7A 2020-12-16 2020-12-16 车道线检测方法、装置、电子设备、存储介质以及车辆 Active CN112560684B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011488643.7A CN112560684B (zh) 2020-12-16 2020-12-16 车道线检测方法、装置、电子设备、存储介质以及车辆
US17/352,871 US11967132B2 (en) 2020-12-16 2021-06-21 Lane marking detecting method, apparatus, electronic device, storage medium, and vehicle
EP21181451.2A EP3937077B1 (en) 2020-12-16 2021-06-24 Lane marking detecting method, apparatus, electronic device, storage medium, and vehicle
JP2021191751A JP7273129B2 (ja) 2020-12-16 2021-11-26 車線検出方法、装置、電子機器、記憶媒体及び車両
KR1020210179925A KR20220004939A (ko) 2020-12-16 2021-12-15 차선 검출 방법, 장치, 전자기기, 저장 매체 및 차량

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011488643.7A CN112560684B (zh) 2020-12-16 2020-12-16 车道线检测方法、装置、电子设备、存储介质以及车辆

Publications (2)

Publication Number Publication Date
CN112560684A true CN112560684A (zh) 2021-03-26
CN112560684B CN112560684B (zh) 2023-10-24

Family

ID=75064235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011488643.7A Active CN112560684B (zh) 2020-12-16 2020-12-16 车道线检测方法、装置、电子设备、存储介质以及车辆

Country Status (5)

Country Link
US (1) US11967132B2 (zh)
EP (1) EP3937077B1 (zh)
JP (1) JP7273129B2 (zh)
KR (1) KR20220004939A (zh)
CN (1) CN112560684B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449692A (zh) * 2021-07-22 2021-09-28 成都纵横自动化技术股份有限公司 一种基于无人机的地图车道信息更新方法及其系统
CN115049995A (zh) * 2022-02-22 2022-09-13 阿波罗智能技术(北京)有限公司 一种车道线检测方法、装置、电子设备及存储介质
CN115115822A (zh) * 2022-06-30 2022-09-27 小米汽车科技有限公司 车端图像处理方法、装置、车辆、存储介质及芯片
WO2023093124A1 (zh) * 2021-11-29 2023-06-01 上海商汤智能科技有限公司 一种车道线跟踪方法、装置、计算机设备、存储介质和计算机程序产品

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114216471A (zh) * 2021-12-01 2022-03-22 北京百度网讯科技有限公司 电子地图确定方法、装置、电子设备及存储介质
CN116228834B (zh) * 2022-12-20 2023-11-03 阿波罗智联(北京)科技有限公司 图像深度获取方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170358092A1 (en) * 2016-06-09 2017-12-14 Lytro, Inc. Multi-view scene segmentation and propagation
CN107895492A (zh) * 2017-10-24 2018-04-10 河海大学 一种基于传统视频的高速公路智能分析方法
US20190163990A1 (en) * 2017-11-27 2019-05-30 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
CN109978756A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 目标检测方法、系统、装置、存储介质和计算机设备
CN110427800A (zh) * 2019-06-17 2019-11-08 平安科技（深圳）有限公司 视频物体加速检测方法、装置、服务器及存储介质
CN110443173A (zh) * 2019-07-26 2019-11-12 华中科技大学 一种基于帧间关系的视频实例分割方法及系统
US20200098135A1 (en) * 2016-12-09 2020-03-26 Tomtom Global Content B.V. Method and System for Video-Based Positioning and Mapping
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
WO2020103893A1 (zh) * 2018-11-21 2020-05-28 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及可读存储介质
CN111209777A (zh) * 2018-11-21 2020-05-29 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及可读存储介质
US10740613B1 (en) * 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
WO2020172875A1 (zh) * 2019-02-28 2020-09-03 深圳市大疆创新科技有限公司 道路结构信息的提取方法、无人机及自动驾驶系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053372B2 (en) * 2012-06-28 2015-06-09 Honda Motor Co., Ltd. Road marking detection and recognition
US10630962B2 (en) * 2017-01-04 2020-04-21 Qualcomm Incorporated Systems and methods for object location
US10794710B1 (en) * 2017-09-08 2020-10-06 Perceptin Shenzhen Limited High-precision multi-layer visual and semantic map by autonomous units
CN108122249A (zh) 2017-12-20 2018-06-05 长沙全度影像科技有限公司 一种基于gan网络深度学习模型的光流估计方法
CN108242062B (zh) 2017-12-27 2023-06-30 北京纵目安驰智能科技有限公司 基于深度特征流的目标跟踪方法、系统、终端及介质
CN110135302B (zh) 2019-04-30 2021-08-31 百度在线网络技术（北京）有限公司 训练车道线识别模型的方法、装置、设备和存储介质
US20200372792A1 (en) * 2019-05-24 2020-11-26 E-Motion Inc. Crowdsourced realtime traffic images and videos
KR102305328B1 (ko) * 2019-12-24 2021-09-28 한국도로공사 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
KR102327185B1 (ko) * 2019-12-24 2021-11-17 한국도로공사 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법
CN112541437A (zh) * 2020-12-15 2021-03-23 北京百度网讯科技有限公司 车辆定位方法、装置、电子设备及存储介质
US11875580B2 (en) * 2021-10-04 2024-01-16 Motive Technologies, Inc. Camera initialization for lane detection and distance estimation using single-view geometry
US20230154157A1 (en) * 2021-11-16 2023-05-18 Qualcomm Incorporated Saliency-based input resampling for efficient object detection
CN114018274B (zh) * 2021-11-18 2024-03-26 阿波罗智能技术(北京)有限公司 车辆定位方法、装置及电子设备
CN114323033B (zh) * 2021-12-29 2023-08-29 北京百度网讯科技有限公司 基于车道线和特征点的定位方法、设备及自动驾驶车辆

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170358092A1 (en) * 2016-06-09 2017-12-14 Lytro, Inc. Multi-view scene segmentation and propagation
US20200098135A1 (en) * 2016-12-09 2020-03-26 Tomtom Global Content B.V. Method and System for Video-Based Positioning and Mapping
US10740613B1 (en) * 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
CN107895492A (zh) * 2017-10-24 2018-04-10 河海大学 一种基于传统视频的高速公路智能分析方法
US20190163990A1 (en) * 2017-11-27 2019-05-30 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
WO2020103893A1 (zh) * 2018-11-21 2020-05-28 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及可读存储介质
CN111209777A (zh) * 2018-11-21 2020-05-29 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及可读存储介质
WO2020172875A1 (zh) * 2019-02-28 2020-09-03 深圳市大疆创新科技有限公司 道路结构信息的提取方法、无人机及自动驾驶系统
CN109978756A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 目标检测方法、系统、装置、存储介质和计算机设备
CN110427800A (zh) * 2019-06-17 2019-11-08 平安科技（深圳）有限公司 视频物体加速检测方法、装置、服务器及存储介质
CN110443173A (zh) * 2019-07-26 2019-11-12 华中科技大学 一种基于帧间关系的视频实例分割方法及系统
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEXEY DOSOVITSKIY等: ""FlowNet: Learning Optical Flow with Convolutional Networks"", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》, pages 2758 - 2766 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449692A (zh) * 2021-07-22 2021-09-28 成都纵横自动化技术股份有限公司 一种基于无人机的地图车道信息更新方法及其系统
WO2023093124A1 (zh) * 2021-11-29 2023-06-01 上海商汤智能科技有限公司 一种车道线跟踪方法、装置、计算机设备、存储介质和计算机程序产品
CN115049995A (zh) * 2022-02-22 2022-09-13 阿波罗智能技术(北京)有限公司 一种车道线检测方法、装置、电子设备及存储介质
CN115115822A (zh) * 2022-06-30 2022-09-27 小米汽车科技有限公司 车端图像处理方法、装置、车辆、存储介质及芯片
CN115115822B (zh) * 2022-06-30 2023-10-31 小米汽车科技有限公司 车端图像处理方法、装置、车辆、存储介质及芯片

Also Published As

Publication number Publication date
CN112560684B (zh) 2023-10-24
EP3937077B1 (en) 2023-05-24
KR20220004939A (ko) 2022-01-12
EP3937077A1 (en) 2022-01-12
JP7273129B2 (ja) 2023-05-12
US20210312195A1 (en) 2021-10-07
JP2022028870A (ja) 2022-02-16
US11967132B2 (en) 2024-04-23

Similar Documents

Publication Publication Date Title
CN112560684B (zh) 车道线检测方法、装置、电子设备、存储介质以及车辆
CN112966587B (zh) 目标检测模型的训练方法、目标检测方法及相关设备
CN113920307A (zh) 模型的训练方法、装置、设备、存储介质及图像检测方法
CN112634343A (zh) 图像深度估计模型的训练方法、图像深度信息的处理方法
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN113674421B (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
CN110866497B (zh) 基于点线特征融合的机器人定位与建图方法和装置
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
CN113392794B (zh) 车辆跨线识别方法、装置、电子设备和存储介质
CN112863187B (zh) 感知模型的检测方法、电子设备、路侧设备和云控平台
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN112966599A (zh) 关键点识别模型的训练方法、关键点识别方法及装置
CN115147831A (zh) 三维目标检测模型的训练方法和装置
CN114119990B (zh) 用于图像特征点匹配的方法、装置及计算机程序产品
CN112489450B (zh) 交通路口处的车辆流量控制方法、路侧设备及云控平台
CN114972465A (zh) 图像目标深度的检测方法、装置、电子设备和存储介质
CN114429631A (zh) 三维对象检测方法、装置、设备以及存储介质
CN113869147A (zh) 目标检测方法及装置
CN115431968B (zh) 车辆控制器、车辆及车辆控制方法
CN114091587A (zh) 用于高精地图的确定对象类别的方法、装置、设备和介质
CN115953649A (zh) 对抗样本的生成方法、装置、电子设备、介质和程序产品
CN114066980A (zh) 对象检测方法、装置、电子设备及自动驾驶车辆
CN115049895A (zh) 一种图像属性识别方法、属性识别模型训练方法及装置
CN112819890A (zh) 三维物体检测方法、装置、设备及存储介质
CN114581746A (zh) 物体检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211019

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant