CN110135302B - 训练车道线识别模型的方法、装置、设备和存储介质 - Google Patents

训练车道线识别模型的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110135302B
CN110135302B CN201910363252.3A CN201910363252A CN110135302B CN 110135302 B CN110135302 B CN 110135302B CN 201910363252 A CN201910363252 A CN 201910363252A CN 110135302 B CN110135302 B CN 110135302B
Authority
CN
China
Prior art keywords
lane line
image
training
model
physical environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910363252.3A
Other languages
English (en)
Other versions
CN110135302A (zh
Inventor
刘焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910363252.3A priority Critical patent/CN110135302B/zh
Publication of CN110135302A publication Critical patent/CN110135302A/zh
Priority to US16/710,291 priority patent/US11508163B2/en
Application granted granted Critical
Publication of CN110135302B publication Critical patent/CN110135302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

根据本公开的实施例，提供了一种训练车道线识别模型的方法、装置、设备和存储介质。该方法包括：获取车道线的第一图像，第一图像是利用生成模型基于车道线的第二图像生成的，车道线的第一图像和第二图像分别与不同的物理环境相关联；获取车道线的第二图像中的车道线信息；以及利用车道线的第一图像和所获取的车道线信息，训练车道线识别模型。该方法能够丰富用于训练车道线识别模型的样本，从而提高车道线识别模型在特定物理环境下的识别准确度。

Description

训练车道线识别模型的方法、装置、设备和存储介质
技术领域
本公开的实施例主要涉及智能交通领域，并且更具体地，涉及训练车道线识别模型的方法、装置、设备和计算机可读存储介质。
背景技术
随着人工智能的发展，智能驾驶技术受到越来越多的关注。在智能驾驶技术中，对周围的环境进行感知是智能驾驶车辆进行决策的基础。在智能驾驶领域中，车道线信息是一项重要的环境感知信息，也是智能驾驶技术中的基础数据之一。
通常地，可以利用诸如神经网络等车道线识别模型来识别环境中的车道线信息。因此，如何提高车道线识别模型的识别准确性成为当前关注的焦点。
发明内容
根据本公开的示例实施例，提供了一种训练车道线识别模型的方案。
在本公开的第一方面中，提供了一种训练车道线识别模型的方法。该方法包括获取车道线的第一图像，第一图像是利用生成模型基于车道线的第二图像生成的，车道线的第一图像和第二图像分别与不同的物理环境相关联；获取车道线的第二图像中的车道线信息；以及利用车道线的第一图像和所获取的车道线信息，训练车道线识别模型。
在本公开的第二方面中，提供了一种用于训练车道线识别模型的装置。该装置包括图像获取模块，被配置为获取车道线的第一图像，第一图像是利用生成模型基于车道线的第二图像生成的，车道线的第一图像和第二图像分别与不同的物理环境相关联；车道线信息获取模块，被配置为获取车道线的第二图像中的车道线信息；以及训练模块，被配置为利用车道线的第一图像和所获取的车道线信息，训练车道线识别模型。
在本公开的第三方面中，提供了一种设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；
图2示出了根据本公开的实施例的训练车道线识别模型的过程的流程图；
图3示出了根据本公开的实施例的训练生成模型的过程的流程图；
图4示出了根据本公开的实施例的利用第一图像和车道线信息来训练车道线识别模型的过程的流程图；
图5示出了根据本公开的实施例的用于训练车道线识别模型的装置的示意框图；以及
图6示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如以上所讨论的，通常可以利用诸如神经网络等车道线识别模型来识别车辆周边环境图片中的车道线信息，这样的车道线识别模型的识别准确度在很大程度上依赖于训练该模型所使用的样本。通常，可以通过采集车拍摄等方式获得大量正常物理环境下(例如，正常的天气、光照等)的车道线图片样本。然而，传统的方式难以获取足够的异常物理环境(例如，恶劣天气、异常的光照等条件)下的车道线图片样本。由于这种异常样本的匮乏，并且车道线在异常物理环境下的可见度较差，现有的车道线识别模型难以有效地识别异常物理环境下的车道线图片中的车道线信息，从而可能影响到车辆驾驶的安全。
根据本公开的实施例，提出了一种用于训练车道线识别模型的方案。在该方案中，能够获取利用生成模型基于车道线的第二图像生成的第一图像，其中车道线的第一图像和第二图像分别与不同的物理环境相关联。进一步地，获取车道线的第二图像中的车道线信息，并且利用第一图像和车道线信息来训练车道线识别模型。本公开的方案利用生成模型生成不同物理环境下的车道线样本，并利用所生成的车道线样本与已知的车道线信息来训练车道线识别模型，从而能够提高车道线识别模型在不同环境下的识别准确度。
以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，生成计算设备124能够接收生成模型126和车道线120的第二图像122，并利用生成模型126处理第二图像122以生成车道线120的第一图像128。在一些实施例中，第二图像122和对应的第一图像128与不同的物理环境相关联，其中不同的物理环境对应于车道线120的不同可见度。作为示例而非限制，不同的物理环境可以是指：不同的天气(例如，降雨、冰雹、降雪、雾天)、不同的光照(例如，白天与夜晚)、不同的车道线磨损情况、不同的遮挡情况等。例如，第二图像122可以是车道线120在正常天气下的图片，因此具有较好的可见度。相对应地，所生成的第一图像128可以是指示恶劣天气的车道线图片，并使得图像中的车道线具有较低的可见度。
在一些实施例中，生成模型126可以是条件生成对抗网络(cGAN)，并且可以利用参考车道线的一对图片而被训练。如图1所示，生成模型126可以是通过第二训练计算设备134所获得的。具体地，第二计算设备134可以接收初始生成模型136以及参考车道线130的一对图片132和138，其中参考车道线130的图片对132和138可以分别指示同一参考车道线130在不同的物理环境下的图片。例如，图片132可以是在正常天气下采集的参考车道线130的图片，而另一图片138可以是在恶劣天气下采集的参考车道线130的图片。在一些实施例中，第二训练计算设备134可以是与生成计算设备124相同的计算设备。备选地，训练计算设备134也可以是与生成计算设备124不同的计算设备。
利用多组这样的样本对132和138训练初始生成模型136可以获得经训练的生成模型126，当将车道线在正常物理环境下的第二图像122和随机噪声输入到经训练的生成模型126时，可以生成车道线120在异常物理环境下的第一图像128。基于这样的方式，可以利用已有的大量正常物理环境下的车道线图片来生成大量随机的异常物理环境下的车道线图片。
如图1所示，第一训练计算设备112能够接收车道线信息116和所生成的第一图像128，其中车道线信息116是基于第二图像122而被确定的。在一些实施例中，可以利用车道线识别模型来处理第二图像122来提取与车道线120相对应的车道线信息116。备选地，也可以对第二图像122进行人工标注来确定与车道线120相对应的车道线信息116。在一些实施例中，第一训练计算设备112可以是与生成计算设备124和第二训练计算设备134中任一项相同的计算设备。备选地，第一训练计算设备122也可以是与生成计算设备124和第二计算设备134中任一项均不同的计算设备。仅是为了示意，第一训练计算设备112、生成计算设备124和第二训练计算设备134在图1中被示出为分离的框。本领域的技术人员可以理解，基于这些这些设备所描述的功能可以利用物理上结合的或者分布的处理装置来实现，在本公开中不对具体实现方式加以限制。
如图1所示，第一训练计算设备112还接收车道线识别模型110。车道线识别模型110可以是能够从已有数据中学习到一定的知识和能力用于处理新数据的模型。车道线识别模型110可以被设计从输入的图像(例如，第一图像128)中识别车道线。车道线识别模型110的示例包括但不限于各类深度神经网络(DNN)、卷积神经网络(CNN)、支持向量机(SVM)、决策树、随机森林模型等等。
第一训练计算设备112能够利用接收的第一图像128和车道线信息116来训练车道线识别模型110，以获得经训练的车道线识别模型114。经训练的车道线识别模型114将具有识别异常物理环境下的车道线图片中的车道线的能力，从而提高了经训练的车道线识别模型114识别异常物理环境下的车道线的准确度。
下文将参考图2至图4来更详细描述训练车道线识别模型的过程。图2示出了根据本公开的一些实施例的训练车道线识别模型的过程200的流程图。过程200可以由图1的第一训练计算设备112来实现。为了方便讨论，将结合图1来描述过程200。
在框202，第一训练计算设备112获取车道线120的第一图像128，其中第一图像128是利用生成模型126基于车道线120的第二图像122生成的，并且车道线120的第一图像128和第二图像122分别与不同的物理环境相关联。
如上文所描述的，不同的物理环境可以与车道线120的不同可见度相关联。作为示例而非限制，物理环境可以包括以下中的至少一项：天气(例如，降雨、降雪、冰雹、雾天)、光照(例如，白天与夜晚)、车道线磨损情况、车道线遮挡情况等。异常的物理环境可能导致车道线120具有较低的可见度，例如，由于大雾笼罩、由于冰雪覆盖、由于亮度较低等原因。
虽然异常物理环境在现实生活中出现的概率相对较低，为了驾驶安全的考虑，训练后的车道线识别模型114应当具有处理各种异常物理环境下的车道线图片的能力。为了获得异常物理环境下的车道线样本来训练车道线识别模型110，与传统通过人工采集异常物理环境下的车道线样本的方式不同，本公开的方案可以利用生成模型126以基于较容易获得的大量正常物理环境下的样本来批量地生成异常物理环境下的样本。
以下将结合图3描述根据本公开实施例的训练生成模型126的过程。图3示出了根据本公开实施例的训练生成模型126的过程300的流程图。过程300可以由与第二训练计算设备134来实施。
如图3所示，在框302，第二训练计算设备134获取参考车道线130在第一物理环境下的第三图像132和在第二物理环境下的第四图像138，其中第二物理环境不同于第一物理环境。如上文所描述的，第三图像132和第四图像138可以是同一参考车道线130在不同物理环境下的图片，其中第四图像138可以与异常的物理环境(例如，恶劣的天气、光照条件、磨损程度、遮挡程度等)相关联。
在一些实施例中，第三图像132和第四图像138是在基本上同一地理位置被捕获的。例如，可以通过使用采集车或者人工拍摄的方式来在基本上同一位置捕获第三图像132和第四图像138。备选地，也可以通过图像处理技术对第三图像132进行变换(例如，加雾、调整亮度)，以获得与不同的物理环境相关联的第四图像138。应当理解，这样的图像对中车道线的位置并没有发生偏移，从而使得生成模型126在后续生成图像的过程中仅会影响到图片中指示物理环境的部分。
在框304，生成计算设备130训练初始生成模型136，以使得生成模型136基于第三图像132的输出图像接近于第四图像138，从而获得经训练的生成模型126。
如上文所描述的，在一些实施例中，初始生成模型136可以是对抗生成网络cGAN。具体地址，可以向初始生成模型136输入第三图像132以及随机的噪声，以使得初始生成模型136的生成得到的图像接近于与另一个物理环境相对应的第四图像138。具体地，生成计算设备130可以调整cGAN的参数，以使得cGAN中的辨别器无法区分生成器所生成的图像与第四图像138。
在利用多组这样的样本对训练初始生成模型136以获得生成模型126后，生成模型126可以具有基于正常物理环境下的车道线样本来生成异常物理环境下的车道线样本的能力。
进一步地，在完成对生成模型126的训练后，生成计算设备124可以获取生成模型126，并将第二图像122和随机的噪声输入到生成模型126，从而获得能够指示不同的物理环境的第一图像128。基于这样的方式，本公开的方案可以利用已有的正常物理环境下的车道线图像生成大量的随机的异常物理环境下的车道线图像。在一些实施例中，所生成的这些异常物理环境下的车道线图像可以被存储到存储设备中，以用于后续训练。备选地，所生成的这些异常物理环境下的车道线图像也可以直接被发送到第一训练计算设备112中。
继续参考图2，在框204，第一训练计算设备112获取车道线120的第二图像122中的车道线信息116。如上文所描述的，考虑到第二图像122中的车道线120具有较好的可见度，在一些实施例中，可以利用已有的车道线识别模型(例如，车道线识别模型110)来处理第二图像122以获得车道线信息116。备选地，可以对车道线120的第二图像122进行人工标注以确定车道线信息116。作为示例，车道线信息116可以是图像122中的被认定为处于车道线120上的一组点。考虑到生成计算设备124所生成的第一图像128没有改变车道线120在图像中的位置，因此基于第二图像122所确定的车道线信息116仍然可以指示车道线120在第一图像128中的位置，并且可以用于训练车道线识别模型110。基于这样的方式，可以减少由人工标注车道线所带来的大量工作。
在框206，第一训练计算设备112利用车道线120的第一图像128和所获取的车道线信息116，训练车道线识别模型110。以下将参考图4描述框206的过程。图4图示了根据本公开实施例的利用车道线信息和第一图像训练车道线识别模型的过程的流程图。
如图4所示，在框402，第一训练计算设备112利用车道线识别模型110处理第一图像128以获取预测车道线信息。在一些实施例中，第一训练计算设备112可以接收车道线识别模型110，其中车道线识别模型110可以是已经针对正常物理环境下的样本已经被训练的。备选的，车道线识别模型110也可以是待训练的新模型。具体地，第一训练计算设备112可以基于车道线识别模型110的当前参数来处理第一图像128，并获得的针对第一图像128所输出的预测车道线信息。
在框404，第一训练计算设备112基于预测车道线信息与所获取的车道线信息116的差异，调整车道线识别模型110。具体地，在训练过程中，第一训练计算设备112例如可以将目标函数设置为与预测车道线信息与车道线信息116之间的差异相关联。作为示例，第一训练计算设备112可以迭代地调整车道线识别模型110的当前参数，并在上述差异不再随着参数调整而降低时停止训练。备选地，第一训练计算设备112可以迭代地调整车道线识别模型110的当前参数，并在上述差异在两次或多次迭代之间的变化值小于特定阈值时停止训练。应当理解，还可以设置其他适当的收敛条件，以完成对车道线识别模型110的训练。
通过本文中的训练车道线识别模型的方案，可以通过生成模型自动地、批量地基于已有的正常物理环境下的样本来生成大量的异常物理环境下的样本，从而解决了传统的方案难以针对异常物理环境进行有效训练的缺陷。此外，该方案还充分利用了正常物理环境下的样本中的车道线信息，并将其作为异常物理环境下的样本的训练目标，从而减少了对样本进行标注以确定车道线的成本。
图5示出了根据本公开实施例的用于训练车道线识别模型的装置500的示意性框图。装置500可以被包括在图1的第一训练计算设备112中或者被实现为第一训练计算设备112。如图5所示，装置500包括：图像获取模块510，被配置为获取车道线的第一图像，其中第一图像是利用生成模型基于车道线的第二图像生成的，车道线的第一图像和第二图像分别与不同的物理环境相关联。装置500还包括车道线信息获取模块520，被配置为获取车道线的第二图像中的车道线信息。此外，装置500还包括训练模块530，被配置为利用车道线的第一图像和所获取的车道线信息，训练车道线识别模型。
在一些实施例中，生成模型可以基于以下步骤被训练：获取参考车道线在第一物理环境下的第三图像和在第二物理环境下的第四图像，第二物理环境不同于第一物理环境；以及训练生成模型，以使得生成模型基于第三图像的输出图像接近于第四图像。
在一些实施例中，不同的物理环境可以与车道线的不同可见度相关联。
在一些实施例中，其中所述第三图像和所述第四图像可以是在基本上同一地理位置被捕获的。
在一些实施例中，其中所述第四图像可以是基于对所述第三图像的图像处理而获得的。
在一些实施例中，其中第一图像可以基于以下步骤被生成：将第二图像以及随机的噪声输入到生成模型，以获取由生成模型输出的第一图像。
在一些实施例中，其中车道线信息获取模块520可以包括：第一确定模块，被配置为利用车道线识别模型处理车道线的第二图像以确定车道线信息。
在一些实施例中，其中车道线信息获取模块520可以包括：第二确定模块，被配置为对车道线的第二图像进行人工标注以确定车道线信息。
在一些实施例中，其中生成模型可以是条件生成对抗网络。
在一些实施例中，其中训练模块530可以包括：预测获取模块，被配置为利用车道线识别模型处理第一图像以获取预测车道线信息；以及调整模块，被配置为基于预测车道线信息与所获取的车道线信息的差异，调整车道线识别模型。
图6示出了可以用来实施本公开的实施例的示例设备600的示意性框图。设备600可以用于实现图1的第一训练计算设备112、生成计算设备124和/或第二训练计算设备134。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元601执行上文所描述的各个方法和处理，例如过程200、方法300和/或过程400。例如，在一些实施例中，过程200、方法300和/或过程400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由CPU 601执行时，可以执行上文描述的过程200、方法300和/或过程400的一个或多个步骤。备选地，在其他实施例中，CPU 601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程200、方法300和/或过程400。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种训练车道线识别模型的方法，包括：
获取车道线的第一图像，所述第一图像是利用生成模型基于所述车道线的第二图像生成的，所述车道线的所述第一图像和所述第二图像分别与不同的物理环境相关联，其中所述不同的物理环境对应于所述车道线的不同可见度；
获取所述车道线的所述第二图像中的第一车道线信息，所述第一车道线信息是利用所述车道线识别模型处理所述第二图像而生成的，所述第一车道线信息指示车道线在所述第二图像中的第一组点；以及
利用所述车道线的所述第一图像和所获取的所述第一车道线信息，训练所述车道线识别模型，
其中利用所述第一图像和所述第一车道线信息来训练所述车道线识别模型包括：利用所述车道线识别模型处理所述第一图像以获取预测车道线信息，所述预测车道线信息指示所述车道线在所述第一图像中的第二组点；以及基于所述第一组点和所述第二组点之间的差异，调整所述车道线识别模型。
2.根据权利要求1所述的方法，其中所述生成模型基于以下步骤被训练：
获取参考车道线在第一物理环境下的第三图像和在第二物理环境下的第四图像，所述第二物理环境不同于所述第一物理环境；以及
训练所述生成模型，以使得所述生成模型基于所述第三图像的输出图像接近于所述第四图像。
3.根据权利要求2所述的方法，其中所述第三图像和所述第四图像是在同一地理位置被捕获的。
4.根据权利要求2所述的方法，其中所述第四图像是基于对所述第三图像的图像处理而获得的。
5.根据权利要求1至4中任一项所述的方法，其中所述第一图像基于以下步骤被生成：
将所述第二图像和随机的噪声输入到所述生成模型，以获取由所述生成模型输出的所述第一图像。
6.根据权利要求1至4中任一项所述的方法，其中所述生成模型是条件生成对抗网络。
7.一种用于训练车道线识别模型的装置，包括：
图像获取模块，被配置为获取车道线的第一图像，所述第一图像是利用生成模型基于所述车道线的第二图像生成的，所述车道线的所述第一图像和所述第二图像分别与不同的物理环境相关联，其中所述不同的物理环境对应于所述车道线的不同可见度；
车道线信息获取模块，被配置为获取所述车道线的所述第二图像中的第一车道线信息，所述第一车道线信息是利用所述车道线识别模型处理所述第二图像而生成的，所述第一车道线信息指示车道线在所述第二图像中的第一组点；以及
训练模块，被配置为利用所述车道线的所述第一图像和所获取的所述第一车道线信息，训练所述车道线识别模型，
其中所述训练模块还被配置为：利用所述车道线识别模型处理所述第一图像以获取预测车道线信息，所述预测车道线信息指示所述车道线在所述第一图像中的第二组点；以及基于所述第一组点和所述第二组点之间的差异，调整所述车道线识别模型。
8.根据权利要求7所述的装置，其中所述生成模型基于以下步骤被训练：
获取参考车道线在第一物理环境下的第三图像和在第二物理环境下的第四图像，所述第二物理环境不同于所述第一物理环境；以及
训练所述生成模型，以使得所述生成模型基于所述第三图像的输出图像接近于所述第四图像。
9.根据权利要求8所述的装置，其中所述第三图像和所述第四图像是在同一地理位置被捕获的。
10.根据权利要求8所述的装置，其中所述第四图像是基于对所述第三图像的图像处理而获得的。
11.根据权利要求7至10中任一项所述的装置，其中所述第一图像基于以下步骤被生成：
将所述第二图像和随机的噪声输入到所述生成模型，以获取由所述生成模型输出的所述第一图像。
12.根据权利要求7至10中任一项所述的装置，其中所述生成模型是条件生成对抗网络。
13.一种电子设备，所述电子设备包括：
一个或多个处理器；以及
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现根据权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-6中任一项所述的方法。
CN201910363252.3A 2019-04-30 2019-04-30 训练车道线识别模型的方法、装置、设备和存储介质 Active CN110135302B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910363252.3A CN110135302B (zh) 2019-04-30 2019-04-30 训练车道线识别模型的方法、装置、设备和存储介质
US16/710,291 US11508163B2 (en) 2019-04-30 2019-12-11 Method and apparatus for training lane line identifying model, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910363252.3A CN110135302B (zh) 2019-04-30 2019-04-30 训练车道线识别模型的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110135302A CN110135302A (zh) 2019-08-16
CN110135302B true CN110135302B (zh) 2021-08-31

Family

ID=67575981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910363252.3A Active CN110135302B (zh) 2019-04-30 2019-04-30 训练车道线识别模型的方法、装置、设备和存储介质

Country Status (2)

Country Link
US (1) US11508163B2 (zh)
CN (1) CN110135302B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712002A (zh) * 2020-12-24 2021-04-27 深圳力维智联技术有限公司 基于cgan的环境监控方法、装置、系统及存储介质
CN112966569B (zh) * 2021-02-09 2022-02-11 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN116997940A (zh) * 2021-03-29 2023-11-03 华为技术有限公司 一种车道线检测方法及装置
CN113378744A (zh) * 2021-06-21 2021-09-10 广东电网有限责任公司 一种输电线路巡检目标识别方法及装置
CN117349950B (zh) * 2023-12-05 2024-02-02 华设检测科技有限公司 基于生成对抗式网络及随机森林单元装配式路基优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229386A (zh) * 2017-12-29 2018-06-29 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
CN109657077A (zh) * 2018-10-31 2019-04-19 百度在线网络技术（北京）有限公司 模型训练方法、车道线生成方法、设备及存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805733A (en) * 1994-12-12 1998-09-08 Apple Computer, Inc. Method and system for detecting scenes and summarizing video sequences
JP2003051017A (ja) * 2001-08-06 2003-02-21 Nissan Motor Co Ltd 白線検出装置
IN2013CH05744A (zh) * 2013-12-12 2015-06-19 Infosys Ltd
JP6134276B2 (ja) * 2014-03-03 2017-05-24 株式会社Ｓｏｋｅｎ 走行区画線認識装置
US11055537B2 (en) * 2016-04-26 2021-07-06 Disney Enterprises, Inc. Systems and methods for determining actions depicted in media contents based on attention weights of media content frames
KR102628654B1 (ko) * 2016-11-07 2024-01-24 삼성전자주식회사 차선을 표시하는 방법 및 장치
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
KR20180090610A (ko) * 2017-02-03 2018-08-13 삼성전자주식회사 차선 정보를 출력하는 방법 및 장치.
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10970564B2 (en) * 2017-09-30 2021-04-06 Tusimple, Inc. System and method for instance-level lane detection for autonomous vehicle control
US10628671B2 (en) * 2017-11-01 2020-04-21 Here Global B.V. Road modeling from overhead imagery
KR102434580B1 (ko) * 2017-11-09 2022-08-22 삼성전자주식회사 가상 경로를 디스플레이하는 방법 및 장치
CN108875766B (zh) * 2017-11-29 2021-08-31 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
US11543830B2 (en) * 2017-12-06 2023-01-03 Petuum, Inc. Unsupervised real-to-virtual domain unification for end-to-end highway driving
DE112019000122T5 (de) * 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
US11501105B2 (en) * 2018-03-02 2022-11-15 Zoox, Inc. Automatic creation and updating of maps
US10990832B2 (en) * 2018-03-06 2021-04-27 Phantom AI, Inc. Lane line reconstruction using future scenes and trajectory
US10798368B2 (en) * 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
GB201804082D0 (en) * 2018-03-14 2018-04-25 Five Ai Ltd Image annotation
CN108921089A (zh) * 2018-06-29 2018-11-30 驭势科技（北京）有限公司 车道线检测方法、装置和系统及存储介质
CN109131348B (zh) * 2018-07-24 2020-02-18 大连理工大学 一种基于生成式对抗网络的智能车驾驶决策方法
CN109242000B (zh) * 2018-08-09 2021-08-31 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN109614968B (zh) * 2018-10-10 2023-03-24 浙江大学 一种基于多尺度混合图像风格化的车牌检测场景图片生成方法
CN109614979B (zh) * 2018-10-11 2023-05-02 北京大学 一种基于选择与生成的数据增广方法及图像分类方法
US11056005B2 (en) * 2018-10-24 2021-07-06 Waymo Llc Traffic light detection and lane state recognition for autonomous vehicles
US10685252B2 (en) * 2018-10-30 2020-06-16 Here Global B.V. Method and apparatus for predicting feature space decay using variational auto-encoder networks
US20200167689A1 (en) * 2018-11-28 2020-05-28 Here Global B.V. Method, apparatus, and system for providing data-driven selection of machine learning training observations
US11024059B2 (en) * 2018-12-06 2021-06-01 Lg Electronics Inc. Method for providing XR contents and XR device for providing XR contents
TWI696144B (zh) * 2018-12-19 2020-06-11 財團法人工業技術研究院 影像生成器的訓練方法
US11216000B2 (en) * 2019-01-17 2022-01-04 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for estimating lane prediction errors for lane segments
US10933880B2 (en) * 2019-01-17 2021-03-02 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing lane curvature estimates
WO2020159247A1 (ko) * 2019-01-31 2020-08-06 엘지전자 주식회사 영상 출력 장치
US10997461B2 (en) * 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11260852B2 (en) * 2019-03-26 2022-03-01 GM Global Technology Operations LLC Collision behavior recognition and avoidance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229386A (zh) * 2017-12-29 2018-06-29 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
CN109657077A (zh) * 2018-10-31 2019-04-19 百度在线网络技术（北京）有限公司 模型训练方法、车道线生成方法、设备及存储介质

Also Published As

Publication number Publication date
CN110135302A (zh) 2019-08-16
US11508163B2 (en) 2022-11-22
US20200349364A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
CN110135302B (zh) 训练车道线识别模型的方法、装置、设备和存储介质
US11144786B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
CN108229386B (zh) 用于检测车道线的方法、装置和介质
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
US11645735B2 (en) Method and apparatus for processing image, device and computer readable storage medium
US9846927B2 (en) Systems and methods for haziness detection
CN110705405B (zh) 目标标注的方法及装置
US20200175673A1 (en) Method and device for detecting defect of meal box, server, and storage medium
CN112668696A (zh) 一种基于嵌入式深度学习的无人机电网巡检方法和系统
CN106934347B (zh) 障碍物识别方法及装置、计算机设备及可读介质
CN110119725B (zh) 用于检测信号灯的方法及装置
CN107909638B (zh) 虚拟物体的渲染方法、介质、系统和电子设备
JP2018063680A (ja) 交通信号認識方法および交通信号認識装置
US11453367B2 (en) Information processing system, program, and information processing method
CN112651358A (zh) 一种目标检测方法、装置、网络摄像机及存储介质
CN112364843A (zh) 插拔式航拍图像目标定位检测方法、系统、设备
CN110910445A (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
US20210312200A1 (en) Systems and methods for video surveillance
CN114227717A (zh) 基于巡检机器人的智能巡检方法、装置、设备及存储介质
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN110097600B (zh) 用于识别交通标志牌的方法及装置
CN108062752B (zh) 判断主光源的方位的方法、介质、装置和计算设备
CN109903308B (zh) 用于获取信息的方法及装置
CN115272284A (zh) 基于图像质量评估的输电线路缺陷识别方法
CN112422895A (zh) 基于无人机的图像分析跟踪、定位系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant