CN108229386B - 用于检测车道线的方法、装置和介质 - Google Patents

用于检测车道线的方法、装置和介质 Download PDF

Info

Publication number
CN108229386B
CN108229386B CN201711485383.6A CN201711485383A CN108229386B CN 108229386 B CN108229386 B CN 108229386B CN 201711485383 A CN201711485383 A CN 201711485383A CN 108229386 B CN108229386 B CN 108229386B
Authority
CN
China
Prior art keywords
image
lane line
generate
module configured
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711485383.6A
Other languages
English (en)
Other versions
CN108229386A (zh
Inventor
段雄
朗咸朋
周旺
闫淼
湛逸飞
马常杰
金永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to CN201711485383.6A priority Critical patent/CN108229386B/zh
Publication of CN108229386A publication Critical patent/CN108229386A/zh
Priority to KR1020180132472A priority patent/KR102379287B1/ko
Priority to US16/230,998 priority patent/US10846543B2/en
Priority to EP18215853.5A priority patent/EP3506156A1/en
Priority to JP2018242720A priority patent/JP7073247B2/ja
Application granted granted Critical
Publication of CN108229386B publication Critical patent/CN108229386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Abstract

根据本公开的示例实施例，提供了一种用于检测车道线的方法、装置和介质。一种用于生成车道线检测模型的方法，包括：在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像；获取基于原始图像而生成的、与标注的车道线相关联的第二图像；基于第一图像和第二图像，生成指示检测的车道线是否准确的至少一个标记；以及基于第一图像和至少一个标记，来训练用于自动识别车道线的分类器模型。以此方式，可以以简洁和有效的方式实现车道线检测。

Description

用于检测车道线的方法、装置和介质
技术领域
本公开的实施例主要涉及图像检测领域，并且更具体地，涉及用于检测车道线的方法、装置和介质。
背景技术
当前，高精地图和自动驾驶技术的研发备受关注。与传统电子地图相比，高精地图的绝对坐标精度更高并且其包含的道路信息更为丰富。高精地图的发展促进了自动驾驶的实现，例如高精地图能够提高自动驾驶的安全性和可靠性。
在高精地图和自动驾驶中，车辆出于对高精地图和道路感知的需求，需要检测道路中的车道线，例如需要从车载摄像头拍摄的道路信息中提取车道线上的车道线点的精确位置坐标。然而，由于在环境中存在光线干扰，仅利用传统计算机视觉算法不能很好的提取车道线点。另外，如果使用仅利用诸如卷积神经网络的深度学习算法进行车道线点分类，则难以确定车道线位置的正确性。
发明内容
根据本公开的示例实施例，提供了一种用于检测车道线的方案。
在本公开的第一方面中，提供了一种用于生成车道线检测模型的方法。该方法包括在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像，以及获取基于原始图像而生成的、与标注的车道线相关联的第二图像。该方法还包括基于第一图像和第二图像，生成指示检测的车道线是否准确的至少一个标记，以及基于第一图像和至少一个标记，来训练用于自动识别车道线的分类器模型。
在本公开的第二方面中，提供了一种用于检测车道线的方法。该方法包括在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像。该方法还包括将第一图像输入根据本公开的第一方面的分类器模型，以自动识别车道线。
在本公开的第三方面中，提供了一种用于生成车道线检测模型的装置。该装置包括：第一图像生成模块，被配置为在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像；第二图像获取模块，被配置为获取基于原始图像而生成的、与标注的车道线相关联的第二图像；标记生成模块，被配置为基于第一图像和第二图像，生成指示检测的车道线是否准确的至少一个标记；以及模型训练模块，被配置为基于第一图像和至少一个标记，来训练用于自动识别车道线的分类器模型。
在本公开的第四方面中，提供了一种用于检测车道线的装置，包括：第一图像生成模块，被配置为在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像；以及模型应用模块，被配置为将第一图像输入根据本公开的第一方面的分类器模型，以自动识别车道线。
在本公开的第五方面中，提供了一种设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第六方面中，提供了一种设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第二方面的方法。
在本公开的第七方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
在本公开的第八方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第二方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；
图2A-2C分别示出了根据本公开的一些实施例的原始图像、第一图像和第二图像的示意图；
图3示出了根据本公开的一些实施例的用于生成车道线检测模型的过程的流程图；
图4示出了根据本公开的一些实施例的生成第一图像的过程的流程图；
图5示出了根据本公开的一些实施例的生成至少一个标记的过程的流程图；
图6示出了根据本公开的一些实施例的用于检测车道线的过程的流程图；
图7示出了根据本公开的实施例的用于生成车道线检测模型的装置的示意框图；
图8示出了根据本公开的实施例的用于检测车道线的装置的示意框图；
图9示出了能够实施本公开的多个实施例的计算设备的框图；以及
图10A-10B分别示出了图像块与第二图像匹配和不匹配的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如以上提及的，在传统方案中，仅通过传统计算机视觉算法或仅通过深度学习来检测道路中的车道线。仅利用传统计算机视觉算法的方案准确性较低，不足以满足高精地图和自动驾驶的需求。尤其在环境中存在光线干扰(例如，强光照)或车道线较复杂的情况下，无法准确检测道路中的车道线。
此外，直接利用深度学习的方案普适性较差。由于利用深度学习的方案基于诸如端到端卷积神经网络，因此该方案具有依赖于训练数据的多样性、模型复杂度高、运算速度慢等问题，导致该方案无法适用于在所有情况下(例如在缺乏高性能图形处理单元(GPU)支持的计算设备上)检测道路中的车道线。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，本公开的示例实施例提出了一种用于检测车道线的方案。在该方案中，将计算机视觉算法与深度学习相结合来自动识别车道线。在生成车道线检测模型的过程(也被称为训练过程)中，基于与检测的车道线相关联的图像(在下文中，称为第一图像)和与标注的车道线相关联的图像(在下文中，称为第二图像)来确定检测的车道线是否准确，并且生成指示检测的车道线是否准确的至少一个标记。然后，在该模型生成过程中，基于第一图像和至少一个标记来训练用于自动识别车道线的分类器模型。
在用于检测车道线的过程(也被称为应用过程)中，通过将与检测的车道线相关联的第一图像输入到如上所述经训练的分类器模型，实现了车道线的自动识别。以该方式，本公开的方案同时具备计算机视觉算法的简洁性和深度学习的强大泛化能力。由此，可以以简洁和有效的方式实现车道线检测，从而提高高精地图和自动驾驶的性能。
如本文所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后可以针对给定的输入，生成对应的输出。应当理解，“模型”也可以被称为“神经网络”、“学习模型”或“学习网络”。
在下文中，以车道线为例来讨论本公开的实施例，然而应当理解，本公开的方案也可以被类似地应用于检测其他类型的道路信息，例如限速标志等。
以下将参照附图来具体描述本公开的实施例。
图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，由计算设备120生成车道线检测模型130。计算设备120可以基于训练数据来生成车道线检测模型130。
为了能够生成车道线检测模型130，需要采集相应的训练数据。采集实体110可以用于采集相应的训练数据，并且将所采集的训练数据提供给计算设备120。例如，采集实体110可以是具有诸如相机的采集装置的车辆、移动机器人等。在某些实施例中，计算设备120可以实现在采集实体110上。备选地，计算设备120可以远离采集实体110，并且通过有线或无线连接与采集实体110通信。
训练数据可以包括原始图像。图2A示出了根据本公开的一些实施例的原始图像200A的示意图。如图所示，原始图像200A可以是与道路信息有关的图像。例如，原始图像200A可以是采集实体110在驾驶过程中所采集的、包含道路信息的图像。备选地，原始图像200A可以与道路信息无关。
计算设备120可以在原始图像200A中检测车道线，以生成与检测的车道线相关联的第一图像。在某些实施例中，计算设备120可以通过计算机视觉算法来检测车道线，并且在原始图像200A上表示检测的车道线，从而生成第一图像200B。
在某些实施例中，计算设备120可以用检测的车道线上的车道线点来表示检测的车道线。车道线点可以包括一个或多个像素。例如，计算设备120可以通过改变原始图像200A上与检测的车道线上的车道线点对应的像素的颜色来表示检测的车道线，从而生成第一图像200B。具体地，计算设备120可以将原始图像200A上与检测的车道线上的车道线点对应的像素的颜色改变为原始图像200A中没有出现或较少出现的颜色，以与原始图像200A中的其他图形元素区分地表示检测的车道线。
图2B示出了根据本公开的一些实施例的第一图像200B的示意图。如图所示，第一图像200B是在原始图像200A上用车道线点表示检测的车道线的图像。。
此外，计算设备120可以获取基于原始图像200A而生成的、与标注的车道线相关联的第二图像。第二图像可以是通过在原始图像200A上标注出车道线而生成的图像。在某些实施例中，该标注操作可以由用户完成。备选地，该标注操作可以在没有用户参与的情况下由计算设备120自动完成。
图2C示出了根据本公开的一些实施例的第二图像200C的示意图。如图所示，第二图像200C是在原始图像200A上用虚线标注出车道线的图像。图2C为了清楚的目的，将实际车道线与用虚线标注出车道线示出为不重合，但是应当理解，实际车道线与用虚线标注出车道线可以是重合的。在某些实施例中，为了简化处理，第二图像200C可以仅保留与车道线有关的信息以清楚地标注出车道线，从而更适于作为确定检测的车道线是否准确的基础。例如，在第二图像200C中，可以将车道线与其他图形元素设置为容易彼此区分的颜色。具体地，可以将车道线设置为白色，而将其他图形元素设置为黑色。
计算设备120可以基于第一图像200B和第二图像200C，生成指示检测的车道线是否准确的至少一个标记。在某些实施例中，计算设备120可以将第一图像200B与第二图像200C进行比较，以基于第一图像200B与第二图像200C是否匹配，来确定来检测的车道线是否准确，并且生成指示检测的车道线是否准确的至少一个标记。
在另一些实施例中，计算设备120可以通过确定检测的车道线的位置是否与在第二图像200C上标注出的车道线的位置匹配，来确定来检测的车道线是否准确，并且生成指示检测的车道线是否准确的至少一个标记。例如，计算设备120可以确定在第一图像200B上的检测的车道线上的车道线点的像素的坐标是否与在第二图像200C上标注出的车道线的像素的坐标位置匹配。
然后，计算设备120可以基于第一图像200B和至少一个标记，来训练用于自动识别车道线的分类器模型140。在分类器模型140的训练过程中，计算设备120可以基于第一图像200B和至少一个标记修正分类器模型140，从而经训练的分类器模型140可以准确地确定第一图像200B上的检测的车道线是否准确。
在应用经训练的分类器模型140检测车道线的过程中，计算设备120可以在待检测的原始图像200A中检测车道线，以生成与检测的车道线相关联的第一图像200B。采集实体140可以用于采集相应的训练数据，并且将所采集的训练数据提供给计算设备120。采集实体140、待检测的原始图像200A以及生成第一图像200B的方式分别与如上所述的采集实体110、原始图像200A以及生成第一图像200B的方式相似，因此在此省略其描述。
然后，计算设备120可以将第一图像200B输入经训练的分类器模型140。经训练的分类器模型140可以确定第一图像200B上的检测的车道线是否准确以自动识别车道线。
由于结合计算机视觉算法和深度学习，本公开的方案不仅能够在环境中存在光线干扰(例如，强光照)或车道线较复杂的情况下，准确检测道路中的车道线，而且能够适用于在不具备强大图形处理能力的计算设备上检测道路中的车道线。
车道线检测模型生成过程
图3示出了根据本公开实施例的用于生成车道线检测模型的过程300的流程图。过程300可以由计算设备102来实现。在框310，计算设备120在原始图像200A中检测车道线，以生成与检测的车道线相关联的第一图像200B。框310也可以被称为图像处理过程。在下文中，将结合图4详细描述框310。
在框320，计算设备120获取基于原始图像200A而生成的、与标注的车道线相关联的第二图像200C。如上所述，第二图像200C可以是通过在原始图像200A上标注出车道线而生成的图像。在某些实施例中，该标注操作可以由用户完成。备选地，该标注操作可以在没有用户参与的情况下自动完成。
在框330，计算设备120基于第一图像200B和第二图像200C，生成指示检测的车道线是否准确的至少一个标记。框330也可以被称为标记生成过程。在下文中，将结合图5详细描述框330。
在框340，计算设备120基于第一图像200B和至少一个标记，来训练用于自动识别车道线的分类器模型。如上所述，在分类器模型140的训练过程中，计算设备120可以基于第一图像200B和至少一个标记修正分类器模型140，从而经训练的分类器模型140可以准确地确定第一图像200B上的检测的车道线是否准确。所生成的车道线检测模型可以受益于计算机视觉算法而具备简洁性和实时性，同时受益于深度学习而具备准确性和鲁棒性。
图像处理过程
图4示出了根据本公开的一些实施例的生成第一图像200B的过程400的流程图。将会理解，过程400可被视为上文描述的过程300中的框310的一种示例实现。在框410，计算设备120从采集实体110获得原始图像200A。
在框415，计算设备120对原始图像200A进行反透视变换，以生成经反透视变换的图像。可以理解，真实世界中平行的线条由于透视原理将在图像中基于距离变为相交的线条。基于该透视原理，道路上的两条车道线的间隔在原始图像200A的远端变小，这将不利于车道线的检测。因此，为了抵消透视效果对原始图像200A的影响，计算设备120可以对原始图像200A进行反透视变换，以生成适于检测车道线的经反透视变换的图像。
在框420，计算设备120对经反透视变换的图像进行灰度化以生成经灰度化的图像。在某些实施例中，计算设备120可以对原始图像200A进行灰度化以生成经灰度化的图像。对图像进行灰度化可以去除图像的颜色，而仅保留图像的亮度，从而减小图像大小。
在框425，计算设备120对经灰度化的图像进行降噪，以生成降噪图像。在某些实施例中，计算设备120可以对原始图像200A进行降噪以生成降噪图像。对图像进行降噪可以去除图像中的噪点，使得图像更为平滑。例如，可以通过高斯滤波、均值滤波等算法实现降噪。
在框430，计算设备120对降噪图像进行二值化以生成二值图像。在某些实施例中，计算设备120可以对原始图像200A进行二值化以生成二值图像。在另一些实施例中，计算设备120可以对经灰度化的图像进行二值化以生成二值图像。对图像进行二值化可以将图像中的像素的亮度值设置为0或255，使得图像大小减小，并且更适于检测车道线。
在框435，计算设备120在二值图像上应用轮廓检测(也被称为边缘检测)以生成车道线的轮廓。在某些实施例中，计算设备120在原始图像200A上应用轮廓检测以生成车道线的轮廓。对图像进行轮廓检测可以保留车道线的重要结构属性，去掉不重要或不相关的信息，使得图像大小进一步减小，并且更适于检测车道线。
在框440，计算设备120对所生成的车道线的轮廓进行曲线拟合以生成表示车道线的曲线。对车道线的轮廓进行曲线拟合可以去除车道线的轮廓上的偏差点。在某些实施例中，计算设备120可以对所生成的曲线进行分段。例如，计算设备120可以将该曲线分段为40个像素长度的曲线片段。在某些实施例中，曲线片段可以对应于检测的车道线点。例如，在某些实施例中，曲线片段可以对应于一个检测的车道线点。在另一些实施例中，曲线片段可以对应于检测的车道线点的集合以该方式，可以基于曲线片段而非整条曲线对图像进行后续处理，从而减少每次图像处理所需的计算。
在框445，计算设备120通过将曲线映射到原始图像以生成第一图像。例如，如上所述，计算设备120可以通过改变原始图像200A上与检测的车道线上的车道线点对应的像素的颜色来表示检测的车道线，从而生成第一图像200B。具体地，计算设备120可以将原始图像200A上与检测的车道线上的车道线点对应的像素的颜色改变为原始图像200A中没有出现或较少出现的颜色，以与原始图像200A中的其他图形元素区分地表示检测的车道线。
注意，虽然以特定顺序描述了过程400中的各个动作，然而各个动作可以按照与所描述的顺序不同的顺序执行、并行执行或省略执行。例如，在某些实施例中，计算设备120可以在对原始图像200A进行灰度化之后，对所生成的灰度图形进行反透视变换。在另一些实施例中，计算设备120可以不对图像进行降噪。
以该方式，可以简单和有效地生成第一图像200B。此外，由于第一图像200B包含原始图像200A和检测的车道线两者的信息，即使在环境中存在光线干扰或车道线较复杂而无法准确检测车道线的情况下，也可以借助于原始图像200A来补充检测的车道线，从而提高准确性。
标记生成过程
图5示出了根据本公开的一些实施例的生成至少一个标记的过程500的流程图。将会理解，过程500可被视为上文描述的过程300中的框330的一种示例实现。在框510，计算设备120将第一图像200B与第二图像200C进行比较，以确定第一图像200B与第二图像200C是否匹配。在某些实施例中，计算设备120可以将第一图像200B与第二图像200C进行比较，以获得第一图像200B和第二图像200C之间的相似度。在相似度超于预定义阈值的情况下，计算设备120可以确定第一图像200B与第二图像200C匹配。
备选地，计算设备120可以将第一图像200A上的检测的车道线的位置与在第二图像200C上标注出的车道线的位置进行比较，以确定第一图像200B与第二图像200C是否匹配。具体地，计算设备120可以将在第一图像200B上的检测的车道线上的车道线点的像素的坐标与在第二图像200C上标注出的车道线的像素的坐标进行比较。在检测的车道线上的车道线点的像素的坐标与标注出的车道线的像素的坐标重合(即，对应坐标相同)的数目超过预定阈值的情况下，计算设备120可以确定第一图像200B与第二图像200C匹配。
在另一些实施例中，由于表示车道线的曲线在原始图像200A上的位置与检测的车道线在第一图像200B上的位置对应，因此计算设备120可以将在原始图像200A上的表示车道线的曲线的位置与在第二图像200C上标注出的车道线的位置进行比较。
在某些实施例中，计算设备120可以将第一图像200B划分为第一组图像块，其中的每个图像块包括检测的车道线的一部分。例如，在某些实施例中，如上所述，在对表示车道线的曲线进行分段的情况下，由于曲线片段在原始图像200A上的位置与检测的车道线的一部分在第一图像200B上的位置对应，计算设备120可以基于与曲线片段对应的检测的车道线的一部分来将第一图像200B划分为第一组图像块。如上所述，在某些实施例中，曲线片段可以对应于检测的车道线点。在该情况下，可以将上述划分方式理解为计算设备120基于检测的车道线点来将第一图像200B划分为第一组图像块。
例如，计算设备120可以以检测的车道线的一部分在第一图像200B上的位置为中心，生成围绕检测的车道线的一部分的图像块(也被称为局部图)。例如，在曲线片段具有40个像素的长度的情况下，对应的检测的车道线的一部分(例如，车道线点的集合)也具有40个像素的长度，计算设备120可以以该检测的车道线的一部分为中心，选择该检测的车道线的一部分周围的像素，以生成例如64X64像素的图像块。
在另一些实施例中，计算设备120可以将第二图像200C划分为第二组图像块，其中的每个图像块包括标注的车道线的一部分。在该情况下，计算设备120可以通过对第一组图像块和第二组图像块中的对应图像块进行比较，以确定对应图像块是否匹配。备选地，计算设备120可以将第一组图像块中的每个图像块所包括的检测的车道线的一部分的位置和第二组图像块中的对应图像块所包括的标注出的车道线的一部分的位置进行比较。
例如，计算设备120可以将第一组图像块中的每个图像块所包括的检测的车道点的像素的坐标和第二组图像块中的对应图像块所包括的标注出的车道线的像素的坐标进行比较。针对每个图像块，在该图像块所包括的检测的车道线点的像素的坐标与标注出的车道线的像素的坐标重合(即，对应坐标相同)的数目超过预定阈值的情况下，计算设备120可以确定该图像块与第二图像200C匹配。
图10A示出了图像块1000A与第二图像200C匹配的示意图。如图所示，由于图像块1000A所包括的检测的车道线点1010A落在标注出的车道线1020A内，因此计算设备120可以确定该图像块与第二图像200C匹配。在该情况下，可以将图像块1000A作为分类器模型的正样本。
图10B示出了图像块1000B与第二图像200C匹配的示意图。如图所示，虽然图像块1000B包括检测的车道线点1010B，然而由于图像块1000B所包括的检测的车道线点1010B落在标注出的车道线1020B外，因此计算设备120可以确定该图像块与第二图像200C不匹配。在该情况下，可以将图像块1000B作为分类器模型的负样本。
备选地，如上所述，由于表示车道线的曲线在原始图像200A上的位置与检测的车道线在第一图像200B上的位置对应，因此计算设备120可以将与第一组图像块中的图像块对应的曲线片段的位置和第二组图像块中的对应图像块所包括的标注出的车道线的一部分的位置进行比较。
在另一些实施例中，计算设备120可以不划分第二图像200C，并且直接将第一组图像块分别与第二图像200C进行比较。备选地，计算设备120可以直接将第一组图像块中的每个图像块所包括的检测的车道线的一部分分别与第二图像200C进行比较。例如，计算设备120可以直接将第一组图像块中的每个图像块所包括的检测的车道点的像素的坐标分别与第二图像200C进行比较。备选地，如上所述，由于表示车道线的曲线在原始图像200A上的位置与检测的车道线在第一图像200B上的位置对应，因此计算设备120可以直接将与第一组图像块中的图像块对应的曲线片段的位置分别与第二图像200C进行比较。
如果确定第一图像200B与第二图像200C匹配，则在框520，计算设备120生成指示检测的车道线为准确的至少一个标记。例如，该标记可以指示第一图像200B为分类器模型140的正样本还是负样本。正样本表示第一图像200B被检测为车道线。负样本表示第一图像200B不被检测为车道线。在某些实施例中，在将第一图像200B划分为第一组图像块的情况下，计算设备120可以针对第一组图像块中的匹配图像块，生成该图像块所包括的车道线的相应部分准确的标记。
否则，在框530，计算设备120生成指示检测的车道线为不准确的至少一个标记。在某些实施例中，在将第一图像200B划分为第一组图像块的情况下，计算设备120可以针对第一组图像块中的不匹配图像块，生成该图像块所包括的车道线的相应部分不准确的标记。以该方式，可以简单和有效地生成指示检测的车道线是否准确的至少一个标记，从而支持训练分类器模型。
车道线检测过程
上文结合图3-5描述了用于生成车道线检测模型的过程的流程图。在下文中，将结合图6描述用于检测车道线的过程600的流程图。在框610，在原始图像200A中检测车道线，以生成与检测的车道线相关联的第一图像200B。框610的动作与上文描述的框310的动作相似，因此在此省略其详细描述。
在框620，将第一图像200B输入经训练的分类器模型，以自动识别车道线。如上所述，由于在训练过程中，已经使用第一图像200B以及指示第一图像200B上的检测的车道线是否准确的至少一个标记来训练分类器模型，从而在分类器模型中生成了第一图像200B与对应标记之间的关联。因此，在应用过程中，分类器模型可以基于第一图像200B与该关联，生成与第一图像200B对应的标记，以指示第一图像200B上的检测的车道线是否准确，从而自动识别车道线。以该方式，由于结合计算机视觉算法与深度学习，可以以简洁和有效的方式实现车道线检测，从而提高高精地图和自动驾驶的性能。
图7示出了根据本公开实施例的用于生成车道线检测模型的装置700的示意性框图。如图7所示，装置700包括：第一图像生成模块710，被配置为在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像；第二图像获取模块720，被配置为获取基于原始图像而生成的、与标注的车道线相关联的第二图像；标记生成模块730，被配置为基于第一图像和第二图像，生成指示检测的车道线是否准确的至少一个标记；以及模型训练模块740，被配置为基于第一图像和至少一个标记，来训练用于自动识别车道线的分类器模型。
在某些实施例中，第一图像生成模块710包括：反透视变换模块，其被配置为对所述原始图像进行反透视变换；以及反透视变换后图像生成模块，其被配置为在经反透视变换的所述原始图像中检测所述车道线以生成所述第一图像。
在某些实施例中，第一图像生成模块710包括：灰度化模块，其被配置为对所述原始图像进行灰度化以生成经灰度化的所述原始图像；二值化模块，其被配置为对经灰度化的所述原始图像进行二值化以生成二值图像；以及二值化后图像生成模块，其被配置为在所述二值图像中检测所述车道线以生成所述第一图像。
在某些实施例中，第一图像生成模块710包括：降噪模块，其被配置为对所述原始图像进行降噪以生成降噪图像；以及降噪后图像生成模型，其被配置为在所述降噪图像中检测所述车道线以生成所述第一图像。
在某些实施例中，第一图像生成模块710包括：轮廓检测模块，其被配置为在所述原始图像上应用轮廓检测以生成所述车道线的轮廓；以及轮廓检测后图像生成模块，其被配置为基于所述轮廓来生成所述第一图像。
在某些实施例中，第一图像生成模块710包括：曲线拟合模块，其被配置为对所述轮廓进行曲线拟合以生成表示所述车道线的曲线；以及曲线拟合后图像生成模块，其被配置为通过将所述曲线映射到所述原始图像以生成所述第一图像。
在某些实施例中，标记生成模块730包括：第一图像划分模块，其被配置为将所述第一图像划分为第一组图像块，其中的每个图像块包括所述检测的车道线的一部分；第二图像划分模块，其被配置为将所述第二图像划分为第二组图像块，其中的每个图像块包括所述标注的车道线的一部分；局部标记生成模块，其被配置为通过对所述第一组图像块和所述第二组图像块中的对应图像块进行比较，来生成针对所述检测的车道线的多个部分的多个标记，每个标记指示所述检测的车道线的相应部分是否准确。
图8示出了根据本公开的实施例的用于检测车道线的装置800的示意框图。如图8所示，装置800包括：第一图像生成模块810，被配置为在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像；以及模型应用模块820，被配置为将第一图像输入经训练的分类器模型，以自动识别车道线。
图9示出了可以用来实施本公开的实施例的示例设备900的示意性框图。设备900可以用于实现图1的计算设备120。如图所示，设备900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序指令，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元901执行上文所描述的各个方法和处理，例如过程300、400、500和/或过程600。例如，在一些实施例中，过程800和/或过程900可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由CPU 901执行时，可以执行上文描述的过程300、400、500和/或过程600的一个或多个步骤。备选地，在其他实施例中，CPU 901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程300、400、500和/或过程600。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种用于生成车道线检测模型的方法，包括：
在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像；
获取基于所述原始图像而生成的、与标注的车道线相关联的第二图像；
基于所述第一图像和所述第二图像，生成指示所述检测的车道线是否准确的至少一个标记，其中确定所述检测的车道线是否准确是基于所述检测的车道线的位置与所述标注的车道线的位置是否匹配而确定；以及
基于所述第一图像和所述至少一个标记，来训练用于自动识别所述车道线的分类器模型。
2.根据权利要求1所述的方法，其中生成所述第一图像包括：
对所述原始图像进行反透视变换；以及
在经反透视变换的所述原始图像中检测所述车道线以生成所述第一图像。
3.根据权利要求1所述的方法，其中生成所述第一图像包括：
对所述原始图像进行灰度化以生成经灰度化的所述原始图像；
对经灰度化的所述原始图像进行二值化以生成二值图像；以及
在所述二值图像中检测所述车道线以生成所述第一图像。
4.根据权利要求1所述的方法，其中生成所述第一图像包括：
对所述原始图像进行降噪以生成降噪图像；以及
在所述降噪图像中检测所述车道线以生成所述第一图像。
5.根据权利要求1所述的方法，其中生成所述第一图像包括：
在所述原始图像上应用轮廓检测以生成所述车道线的轮廓；以及
基于所述轮廓来生成所述第一图像。
6.根据权利要求5所述的方法，其中基于所述轮廓来生成所述第一图像包括：
对所述轮廓进行曲线拟合以生成表示所述车道线的曲线；以及
通过将所述曲线映射到所述原始图像以生成所述第一图像。
7.根据权利要求1所述的方法，其中生成所述至少一个标记包括：
将所述第一图像划分为第一组图像块，其中的每个图像块包括所述检测的车道线的一部分；
将所述第二图像划分为第二组图像块，其中的每个图像块包括所述标注的车道线的一部分；以及
通过对所述第一组图像块和所述第二组图像块中的对应图像块进行比较，来生成针对所述检测的车道线的多个部分的多个标记，每个标记指示所述检测的车道线的相应部分是否准确。
8.一种用于检测车道线的方法，包括：
在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像；以及
将所述第一图像输入根据权利要求1-7所述的分类器模型，以自动识别所述车道线。
9.一种用于生成车道线检测模型的装置，包括：
第一图像生成模块，被配置为在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像；
第二图像获取模块，被配置为获取基于所述原始图像而生成的、与标注的车道线相关联的第二图像；
标记生成模块，被配置为基于所述第一图像和所述第二图像，生成指示所述检测的车道线是否准确的至少一个标记，其中确定所述检测的车道线是否准确是基于所述检测的车道线的位置与所述标注的车道线的位置是否匹配而确定；以及
模型训练模块，被配置为基于所述第一图像和所述至少一个标记，来训练用于自动识别所述车道线的分类器模型。
10.根据权利要求9所述的装置，其中所述第一图像生成模块包括：
反透视变换模块，其被配置为对所述原始图像进行反透视变换；以及
反透视变换后图像生成模块，其被配置为在经反透视变换的所述原始图像中检测所述车道线以生成所述第一图像。
11.根据权利要求9所述的装置，其中所述第一图像生成模块包括：
灰度化模块，其被配置为对所述原始图像进行灰度化以生成经灰度化的所述原始图像；
二值化模块，其被配置为对经灰度化的所述原始图像进行二值化以生成二值图像；以及
二值化后图像生成模块，其被配置为在所述二值图像中检测所述车道线以生成所述第一图像。
12.根据权利要求9所述的装置，其中所述第一图像生成模块包括：
降噪模块，其被配置为对所述原始图像进行降噪以生成降噪图像；以及
降噪后图像生成模型，其被配置为在所述降噪图像中检测所述车道线以生成所述第一图像。
13.根据权利要求9所述的装置 ，其中所述第一图像生成模块包括：
轮廓检测模块，其被配置为在所述原始图像上应用轮廓检测以生成所述车道线的轮廓；以及
轮廓检测后图像生成模块，其被配置为基于所述轮廓来生成所述第一图像。
14.根据权利要求13所述的装置 ，其中所述第一图像生成模块包括：
曲线拟合模块，其被配置为对所述轮廓进行曲线拟合以生成表示所述车道线的曲线；以及
曲线拟合后图像生成模块，其被配置为通过将所述曲线映射到所述原始图像以生成所述第一图像。
15.根据权利要求9所述的装置 ，其中所述标记生成模块包括：
第一图像划分模块，其被配置为将所述第一图像划分为第一组图像块，其中的每个图像块包括所述检测的车道线的一部分；
第二图像划分模块，其被配置为将所述第二图像划分为第二组图像块，其中的每个图像块包括所述标注的车道线的一部分；以及
局部标记生成模块，其被配置为通过对所述第一组图像块和所述第二组图像块中的对应图像块进行比较，来生成针对所述检测的车道线的多个部分的多个标记，每个标记指示所述检测的车道线的相应部分是否准确。
16.一种用于检测车道线的装置，包括：
第一图像生成模块，被配置为在原始图像中检测车道线，以生成与检测的车道线相关联的第一图像；以及
模型应用模块，被配置为将所述第一图像输入根据权利要求1-7所述的分类器模型，以自动识别所述车道线。
17.一种电子 设备，所述设备包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
18.一种电子 设备，所述设备包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求8所述的方法。
19.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求8所述的方法。
CN201711485383.6A 2017-12-29 2017-12-29 用于检测车道线的方法、装置和介质 Active CN108229386B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201711485383.6A CN108229386B (zh) 2017-12-29 2017-12-29 用于检测车道线的方法、装置和介质
KR1020180132472A KR102379287B1 (ko) 2017-12-29 2018-10-31 차도선을 검출하기 위한 방법, 장치 및 매체
US16/230,998 US10846543B2 (en) 2017-12-29 2018-12-21 Method and apparatus for detecting lane line, and medium
EP18215853.5A EP3506156A1 (en) 2017-12-29 2018-12-24 Method and apparatus for detecting lane line, and medium
JP2018242720A JP7073247B2 (ja) 2017-12-29 2018-12-26 車線境界線検出モデルを生成するための方法、車線境界線を検出するための方法、車線境界線検出モデルを生成するための装置、車線境界線を検出するための装置、機器、コンピュータ読み取り可能な記憶媒体およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711485383.6A CN108229386B (zh) 2017-12-29 2017-12-29 用于检测车道线的方法、装置和介质

Publications (2)

Publication Number Publication Date
CN108229386A CN108229386A (zh) 2018-06-29
CN108229386B true CN108229386B (zh) 2021-12-14

Family

ID=62647366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711485383.6A Active CN108229386B (zh) 2017-12-29 2017-12-29 用于检测车道线的方法、装置和介质

Country Status (5)

Country Link
US (1) US10846543B2 (zh)
EP (1) EP3506156A1 (zh)
JP (1) JP7073247B2 (zh)
KR (1) KR102379287B1 (zh)
CN (1) CN108229386B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术（北京）有限公司 用于确定道路中的车道线的方法、装置和设备
CN110858405A (zh) * 2018-08-24 2020-03-03 北京市商汤科技开发有限公司 车载摄像头的姿态估计方法、装置和系统及电子设备
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
CN109470254B (zh) * 2018-10-31 2020-09-08 百度在线网络技术（北京）有限公司 地图车道线的生成方法、装置、系统及存储介质
WO2020139355A1 (en) * 2018-12-27 2020-07-02 Didi Research America, Llc System for automated lane marking
CN110135302B (zh) * 2019-04-30 2021-08-31 百度在线网络技术（北京）有限公司 训练车道线识别模型的方法、装置、设备和存储介质
CN112215041A (zh) * 2019-07-11 2021-01-12 广州汽车集团股份有限公司 一种端到端车道线检测方法及其系统
CN110516550B (zh) * 2019-07-26 2022-07-05 电子科技大学 一种基于fpga的车道线实时检测方法
CN110796003B (zh) * 2019-09-24 2022-04-26 成都旷视金智科技有限公司 车道线检测方法、装置及电子设备
CN112785595B (zh) * 2019-11-07 2023-02-28 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
CN111114544A (zh) * 2019-11-25 2020-05-08 福瑞泰克智能系统有限公司 一种补偿车道线确定方法、装置、可移动设备及存储介质
CN111583341B (zh) * 2020-04-30 2023-05-23 中远海运科技股份有限公司 云台像机移位检测方法
CN111597995B (zh) * 2020-05-15 2023-04-28 汇智机器人科技(深圳)有限公司 一种车道标记线检测方法、系统、以及存储介质
CN116670001A (zh) 2020-12-10 2023-08-29 三菱电机株式会社 驾驶辅助控制装置及驾驶辅助控制方法
US11636693B2 (en) * 2021-01-20 2023-04-25 Qualcomm Incorporated Robust lane-boundary association for road map generation
CN113192001B (zh) * 2021-03-19 2022-04-19 易思维（杭州）科技有限公司 曲线状待测物视觉检测结果的显示方法
CN116071284A (zh) * 2021-10-25 2023-05-05 北京图森智途科技有限公司 交通标志物检测方法和交通标志物检测模型的训练方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102275558A (zh) * 2010-06-12 2011-12-14 财团法人车辆研究测试中心 双视觉前车安全警示装置及其方法
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105631880A (zh) * 2015-12-31 2016-06-01 百度在线网络技术（北京）有限公司 车道线分割方法和装置
CN105760835A (zh) * 2016-02-17 2016-07-13 天津中科智能识别产业技术研究院有限公司 一种基于深度学习的步态分割与步态识别一体化方法
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN106529493A (zh) * 2016-11-22 2017-03-22 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN106778668A (zh) * 2016-12-30 2017-05-31 明见（厦门）技术有限公司 一种联合ransac和cnn的鲁棒的车道线检测方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4414959B2 (ja) * 2005-11-16 2010-02-17 アイシン精機株式会社 駐車支援装置
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
JP5014237B2 (ja) * 2008-04-23 2012-08-29 本田技研工業株式会社 レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8965700B2 (en) * 2008-10-02 2015-02-24 Certusview Technologies, Llc Methods and apparatus for generating an electronic record of environmental landmarks based on marking device actuations
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
EP2720213A4 (en) * 2011-06-13 2015-03-11 Nissan Motor DEVICE FOR DETERMINING A ROAD PROFILE, VEHICLE INTERNAL IMAGE RECOGNITION DEVICE, APPARATUS FOR ADJUSTING A PICTURE BASE AXIS AND TRACE RECOGNITION METHOD
CN103688299A (zh) * 2011-07-25 2014-03-26 本田技研工业株式会社 车辆的驾驶辅助装置
KR101818542B1 (ko) * 2011-07-26 2018-02-22 현대모비스 주식회사 차선 인식 신뢰도 향상 시스템 및 그 방법
US8589071B2 (en) * 2011-08-15 2013-11-19 Honeywell International Inc. Aircraft vision system including a runway position indicator
US9784843B2 (en) * 2012-01-17 2017-10-10 Limn Tech LLC Enhanced roadway mark locator, inspection apparatus, and marker
US8935057B2 (en) * 2012-01-17 2015-01-13 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
US9298991B2 (en) * 2012-01-17 2016-03-29 LimnTech LLC GPS-based machine vision roadway mark locator, inspection apparatus, and marker
KR101333459B1 (ko) * 2012-02-21 2013-11-26 영남대학교 산학협력단 차선 인식 방법 및 장치
KR20140103441A (ko) * 2013-02-18 2014-08-27 주식회사 만도 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템
EP2973494A4 (en) * 2013-03-15 2016-11-23 Caliper Corp VEHICLE NAVIGATION AT TRACK HEIGHT FOR ROUTE PLANNING AND TRANSPORT MANAGEMENT
JP6142784B2 (ja) * 2013-11-27 2017-06-07 株式会社デンソー 運転支援装置
CN107111742B (zh) * 2014-08-18 2021-04-02 无比视视觉技术有限公司 在导航中对车道限制和施工区域的识别和预测
CN107624155B (zh) * 2014-12-05 2021-09-28 苹果公司 自主导航系统
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN105774901B (zh) * 2014-12-26 2019-01-29 比亚迪股份有限公司 车道保持控制系统及方法及车辆
CN104657727B (zh) * 2015-03-18 2018-01-02 厦门麦克玛视电子信息技术有限公司 一种车道线的检测方法
CN104766058B (zh) * 2015-03-31 2018-04-27 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
EP3098753A1 (en) * 2015-05-28 2016-11-30 Tata Consultancy Services Limited Lane detection
CN105069415B (zh) * 2015-07-24 2018-09-11 深圳市佳信捷技术股份有限公司 车道线检测方法和装置
US9721472B2 (en) * 2015-09-22 2017-08-01 Ford Global Technologies, Llc Formulating lane level routing plans
CN105574527B (zh) * 2015-12-14 2019-03-29 北京工业大学 一种基于局部特征学习的快速物体检测方法
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
US10102435B2 (en) * 2016-08-10 2018-10-16 Omnivision Technologies, Inc. Lane departure warning system and associated methods
KR101896778B1 (ko) * 2016-10-06 2018-09-07 현대자동차주식회사 아웃사이드 미러를 이용한 차선 표시 장치 및 그 방법
EP3832263B1 (en) * 2016-10-31 2024-05-01 Mobileye Vision Technologies Ltd. Systems and methods for navigating lane merges and lane splits
CN106778551B (zh) * 2016-11-30 2020-07-31 南京理工大学 一种高速路段及城市道路车道线识别方法
CN108168566B (zh) * 2016-12-07 2020-09-04 北京三快在线科技有限公司 道路确定方法、装置及电子设备
JP6783949B2 (ja) * 2016-12-16 2020-11-11 日立オートモティブシステムズ株式会社 交通標識情報を用いた道路検出
JP6583252B2 (ja) * 2016-12-27 2019-10-02 トヨタ自動車株式会社 運転支援装置
CN106874905B (zh) * 2017-01-12 2019-06-11 中南大学 一种基于自学习色彩聚类的自然场景文本检测的方法
CN106874712B (zh) * 2017-01-13 2019-01-29 天津大学 一种基于池化时间序列特征表示的细胞分裂事件识别方法
JP6494121B2 (ja) * 2017-03-01 2019-04-03 本田技研工業株式会社 車線変更推定装置、車線変更推定方法、およびプログラム
CN107045629B (zh) * 2017-04-19 2020-06-26 南京理工大学 一种多车道线检测方法
US10210411B2 (en) * 2017-04-24 2019-02-19 Here Global B.V. Method and apparatus for establishing feature prediction accuracy
CN107392103B (zh) * 2017-06-21 2020-06-26 海信集团有限公司 路面车道线的检测方法及装置、电子设备
US10296795B2 (en) * 2017-06-26 2019-05-21 Here Global B.V. Method, apparatus, and system for estimating a quality of lane features of a roadway
TWI657950B (zh) * 2017-07-19 2019-05-01 緯創資通股份有限公司 指示物件的輔助辨識裝置與其之輔助識別及顯示方法
US11009884B2 (en) * 2017-09-29 2021-05-18 Direct Current Capital LLC Method for calculating nominal vehicle paths for lanes within a geographic region
JP7000822B2 (ja) * 2017-12-06 2022-01-19 株式会社アイシン 周辺監視装置
US10782419B2 (en) * 2017-12-07 2020-09-22 Westinghouse Air Brake Technologies Corporation Method to determine clearance of an obstacle
US10169680B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
WO2019168869A1 (en) * 2018-02-27 2019-09-06 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102275558A (zh) * 2010-06-12 2011-12-14 财团法人车辆研究测试中心 双视觉前车安全警示装置及其方法
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105631880A (zh) * 2015-12-31 2016-06-01 百度在线网络技术（北京）有限公司 车道线分割方法和装置
CN105760835A (zh) * 2016-02-17 2016-07-13 天津中科智能识别产业技术研究院有限公司 一种基于深度学习的步态分割与步态识别一体化方法
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN106529493A (zh) * 2016-11-22 2017-03-22 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN106778668A (zh) * 2016-12-30 2017-05-31 明见（厦门）技术有限公司 一种联合ransac和cnn的鲁棒的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Accurate and Robust Lane Detection based on Dual-View Convolutional Neutral Network;Bei He等;《2016 IEEE Intelligent Vehicles Symposium (IV)》;20160622;正文第II-III节，图1，图5 *

Also Published As

Publication number Publication date
US20190205664A1 (en) 2019-07-04
US10846543B2 (en) 2020-11-24
CN108229386A (zh) 2018-06-29
KR102379287B1 (ko) 2022-03-25
JP2019135643A (ja) 2019-08-15
EP3506156A1 (en) 2019-07-03
JP7073247B2 (ja) 2022-05-23
KR20190088387A (ko) 2019-07-26

Similar Documents

Publication Publication Date Title
CN108229386B (zh) 用于检测车道线的方法、装置和介质
CN109426801B (zh) 一种车道线实例检测方法和装置
US10817741B2 (en) Word segmentation system, method and device
US10429193B2 (en) Method and apparatus for generating high precision map
KR101992398B1 (ko) 도로 기호 및 차선 인식 방법 및 장치
CN110781885A (zh) 基于图像处理的文本检测方法、装置、介质及电子设备
CN111950555B (zh) 文本识别方法、装置、可读介质及电子设备
CN110135302B (zh) 训练车道线识别模型的方法、装置、设备和存储介质
CN111178357B (zh) 车牌识别方法、系统、设备和存储介质
CN113988112B (zh) 车道线的检测方法、装置、设备及存储介质
CN108197567B (zh) 用于图像处理的方法、装置和计算机可读介质
CN104615972B (zh) 指针式仪表智能识别方法及其装置
CN115409881A (zh) 图像处理方法、装置及设备
CN109285181B (zh) 用于识别图像的方法和装置
CN110555339A (zh) 一种目标检测方法、系统、装置及存储介质
CN109712134B (zh) 虹膜图像质量评价方法、装置及电子设备
CN110288608B (zh) 作物行中心线提取方法和装置
CN112654998B (zh) 一种车道线检测方法和装置
CN107729863B (zh) 人体指静脉识别方法
CN108268813B (zh) 一种车道偏离预警方法、装置及电子设备
CN111126248A (zh) 一种遮挡下的车辆识别方法及装置
CN105844260A (zh) 一种多功能智能清洁机器人装置
CN105844651A (zh) 一种图像分析装置
KR101391667B1 (ko) 크기 변화에 강건한 범주 물체 인식을 위한 모델 학습 및 인식 방법
CN107330470B (zh) 识别图片的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant