CN111507153A - 用分割得分图和聚类图检测车道线的后处理方法以及装置 - Google Patents

用分割得分图和聚类图检测车道线的后处理方法以及装置 Download PDF

Info

Publication number
CN111507153A
CN111507153A CN202010036042.6A CN202010036042A CN111507153A CN 111507153 A CN111507153 A CN 111507153A CN 202010036042 A CN202010036042 A CN 202010036042A CN 111507153 A CN111507153 A CN 111507153A
Authority
CN
China
Prior art keywords
lane line
post
processing module
cluster
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010036042.6A
Other languages
English (en)
Other versions
CN111507153B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507153A publication Critical patent/CN111507153A/zh
Application granted granted Critical
Publication of CN111507153B publication Critical patent/CN111507153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种用分割得分图和聚类图检测车道线的后处理方法以及装置，所述包括以下步骤：计算装置获取由卷积神经网络生成的所述分割得分图和所述聚类图；使后处理模块参考所述分割得分图来检测包含形成所述车道线的像素的车道线元素，参考所述车道线元素、所述分割得分图和所述聚类图来生成种子信息；使所述后处理模块参考所述种子信息生成基本模型，并参考该基本模型生成车道线锚点；使所述后处理模块参考所述车道线锚点生成车道线连通域(blob)；以及使所述后处理模块参考所述车道线连通域检测车道线候选组，通过对所述车道线候选组应用线性拟合运算来生成车道线模型，以检测所述车道线。

Description

用分割得分图和聚类图检测车道线的后处理方法以及装置
技术领域
本发明涉及用于自动驾驶汽车的后处理方法以及装置，更具体地，本发明涉及为了规划自动驾驶汽车的行驶路线而检测车道线的后处理方法以及装置。
背景技术
深度卷积神经网络(Deep Convolution Neural Networks；DeepCNN)是深度学习的惊人发展的核心。CNN已经在90年代用于解决文字识别问题，但是由于最近的研究，如今已被广泛使用。深度卷积神经网络在2012年ImageNet图像分类竞赛中击败了其他竞争对手并赢得了冠军。从那时起，卷积神经网络已成为机器学习(Machine Learning)领域中非常有用的工具。
后处理(post-processing)是指对深度CNN输出的结果进行预定的调整以便获得用户所需结果的操作。
近年来，后处理已被广泛用于深度CNN。CNN在自动驾驶模块中扮演多个角色，其中之一是在输入图像中检测车道线。通过检测车道线，可以检测车辆进出的可用空间，或者调整车辆以使其能够在车道中央正常行驶。
但是，仅使用来自深度CNN的结果，车道线检测效果通常较差。因此，通过对从深度CNN得出的结果进行后处理来检测车道线，但是如果仅使用在深度CNN中生成的分割得分图(segmentation score map)，则后处理的性能并不好。
发明内容
本发明所要解决的课题
本发明的目的在于解决上述问题。
本发明的目的在于，解决上述的问题。
本发明的目的在于，通过将聚类图与分割得分图一起使用，以便更顺畅地执行用于车道线检测的后处理。
另外，本发明的目的在于，使用参考分割得分图和聚类图导出的车道线元素、车道线锚点(anchor)和车道线连通域(lane blob)等来执行最优化的车道线检测。
用于解决课题的手段
用于实现如上所述的本发明的目的并实现后述的本发明的特征效果的本发明的特征结构如下。
根据本发明的一个方式，提供一种使用分割得分图和聚类图来检测一个或多个车道线的后处理方法，其特征在于，包括以下步骤：(a)若卷积神经网络使用输入图像生成所述分割得分图和所述聚类图，则计算装置获取所述分割得分图和所述聚类图；(b)所述计算装置使在所述卷积神经网络的后端执行数据处理的后处理模块(i)参考所述分割得分图来检测车道线元素，所述车道线元素是所述输入图像上的包含形成所述车道线的像素的单位区域，(ii)参考所述车道线元素、所述分割得分图和所述聚类图来生成种子信息；(c)所述计算装置使所述后处理模块参考所述种子信息生成与各所述车道线对应的一个或多个基本模型，并参考所述基本模型生成一个或多个车道线锚点；(d)所述计算装置使所述后处理模块参考所述车道线锚点生成一个或多个车道线连通域，所述车道线连通域包括所述车道线元素的至少一个集合；以及(e)所述计算装置使所述后处理模块(i)参考所述车道线连通域检测所述输入图像中的一个或多个车道线候选组，(ii)对所述车道线候选组应用至少一次线性拟合运算来生成至少一个车道线模型，以检测所述车道线。
在一个实施例中，在所述步骤(a)之前，所述卷积神经网络对所述输入图像应用至少一次卷积运算和至少一次反卷积运算来生成所述分割得分图，并且，将神经网络运算应用到所述分割得分图以使得：(i)所述分割得分图所包含的、与包含在所述输入图像中的各所述车道线的像素对应的每个值的不同类别之间的各个差异增大，并且(ii)所述分割得分图所包含的、与包含在所述输入图像中的各所述车道线的像素对应的每个值的相同类别的各个方差减小。
在一个实施例中，在所述步骤(b)中，所述后处理模块使用(i)与所述输入图像上的所述车道线元素的位置对应的中心坐标、(ii)所述车道线元素的宽度、(iii)与包含在所述车道线元素内的像素对应的所述分割得分图上的代表值以及(iv)所述聚类图来生成所述种子信息，所述种子信息包括聚类ID值中的至少一个，所述聚类ID值表示包含所述车道线元素的至少一个车道线。
在一个实施例中，在所述步骤(c)中，所述后处理模块在所述基本模型中将由最接近直线型的预定公式表示的特定基本模型确定为所述车道线锚点之一，所述预定公式是参考所述车道线元素的中心坐标导出的。
在一个实施例中，在所述步骤(c)中，所述后处理模块将特定基本模型确定为所述车道线锚点之一，所述特定基本模型是在所述基本模型中参考特定车道线元素来选择的，所述特定车道线元素是(i)所述分割得分图上的代表值大于或等于预设阈值、并且(ii)使用所述聚类图获取的聚类ID值相似的车道线元素。
在一个实施例中，在所述步骤(c)中，所述后处理模块将特定基本模型确定为所述车道线锚点之一，所述特定基本模型是在所述基本模型中参考特定车道线元素来选择的，所述特定车道线元素为所述种子信息所包含的聚类ID值的方差最小的车道线元素。
在一个实施例中，在所述步骤(d)中，所述后处理模块通过对与每个所述车道线锚点相邻的各特定车道线元素进行跟踪和分组来生成所述车道线连通域。
在一个实施例中，所述后处理模块参考所述种子信息所包含的与每个所述车道线锚点对应的各聚类ID值、各代表值以及各宽度来对与每个所述车道线锚点相邻的各所述特定车道线元素进行跟踪和分组，以生成每个所述车道线连通域。
在一个实施例中，所述后处理模块针对每个所述车道线锚点，沿着每个所述车道线锚点在两个方向上对所述特定车道线元素进行跟踪和分组，以生成所述车道线连通域。
在一个实施例中，所述步骤(e)中，所述后处理模块(i)在与所述车道线连通域相邻的所述像素中找到未包含在所述车道线元素中的特定像素来添加，以扩展所述车道线连通域，(ii)通过整合所述扩展的车道线连通域来检测所述车道线候选组。
在一个实施例中，在所述步骤(e)中，所述后处理模块通过整合所述车道线连通域之间的方向性彼此一致且聚类ID值在预设范围内的所述车道线连通域来检测所述车道线候选组。
在一个实施例中，在所述步骤(e)，当每个所述车道线连通域的方向性与被误认为车道线的各组的方向性的差异小于或等于预设阈值，但每个所述车道线连通域的各聚类ID值和所述被误认的各组的各聚类ID值不在预设范围内时，所述后处理模块从所述车道线连通域和所述被误认的组之中，去除所述分割得分图上的值的平均更低的一部分。
在一个实施例中，在所述步骤(e)中，所述线性拟合运算是通过多项式拟合来输出多项式模型的运算，所述多项式拟合利用各所述车道线所包含的所述车道线元素的中心坐标之间的关系。
在一个实施例中，在所述步骤(e)中，所述线性拟合运算是通过将特定车道线锚点的中心位置选择为样条的关键点来输出样条模型的运算，所述特定车道线锚点是所述车道线锚点中在进行所述跟踪的过程中误差小的车道线锚点。
根据本发明的另一方式，提供一种计算装置，用于使用分割得分图和聚类图来检测一个或多个车道线，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，被构成为执行所述指令，所述指令用于执行以下处理：(I)若卷积神经网络使用输入图像生成所述分割得分图和所述聚类图，则使在所述卷积神经网络的后端执行数据处理的后处理模块(i)参考所述分割得分图来检测车道线元素，所述车道线元素是所述输入图像上的包含形成所述车道线的像素的单位区域，(ii)参考所述车道线元素、所述分割得分图和所述聚类图来生成种子信息；(II)使所述后处理模块参考所述种子信息来生成与各所述车道线对应的一个或多个基本模型，并参考所述基本模型生成一个或多个车道线锚点；(III)使所述后处理模块参考所述车道线锚点生成一个或多个车道线连通域，所述车道线连通域包括所述车道线元素的至少一个集合；以及(IV)使所述后处理模块(i)参考所述车道线连通域检测所述输入图像中的一个或多个车道线候选组、以及(ii)对所述车道线候选组应用至少一次线性拟合运算生成至少一个车道线模型，以检测所述车道线。
在一个实施例中，在获取所述分割得分图和所述聚类图之前，所述卷积神经网络对所述输入图像应用至少一次卷积运算和至少一次反卷积运算来生成所述分割得分图，并且，将神经网络运算应用到所述分割得分图以使得：(i)所述分割得分图所包含的、与包含在所述输入图像中的各所述车道线的像素对应的每个值的不同类别之间的各个差异增大，并且(ii)所述分割得分图所包含的、与包含在所述输入图像中的各所述车道线的像素对应的每个值的相同类别的各个方差减小。
在一个实施例中，在所述处理(I)中，所述后处理模块使用(i)与所述输入图像上的所述车道线元素的位置对应的中心坐标、(ii)所述车道线元素的宽度、(iii)与包含在所述车道线元素内的像素对应的所述分割得分图上的代表值以及(iv)所述聚类图来生成所述种子信息，所述种子信息包括聚类ID值中的至少一个，所述聚类ID值表示包含所述车道线元素的至少一个车道线。
在一个实施例中，在所述处理(II)中，所述后处理模块在所述基本模型中将由最接近直线型的预定公式表示的特定基本模型确定为所述车道线锚点之一，所述预定公式是参考所述车道线元素的中心坐标导出的。
在一个实施例中，在所述处理(II)中，所述后处理模块将特定基本模型确定为所述车道线锚点之一，所述特定基本模型是在所述基本模型中参考特定车道线元素来选择的，所述特定车道线元素是(i)所述分割得分图上的代表值大于或等于预设阈值、并且(ii)使用所述聚类图获取的聚类ID值相似的车道线元素。
在一个实施例中，在所述处理(II)中，所述后处理模块将特定基本模型确定为所述车道线锚点之一，所述特定基本模型是在所述基本模型中参考特定车道线元素来选择的，所述特定车道线元素为所述种子信息所包含的聚类ID值的方差最小的车道线元素。
在一个实施例中，在所述处理(III)中，所述后处理模块通过对与每个所述车道线锚点相邻的各特定车道线元素进行跟踪和分组来生成所述车道线连通域。
在一个实施例中，所述后处理模块参考所述种子信息所包含的与每个所述车道线锚点对应的各聚类ID值、各代表值以及各宽度来对与每个所述车道线锚点相邻的各所述特定车道线元素进行跟踪和分组，以生成每个所述车道线连通域。
在一个实施例中，所述后处理模块针对每个所述车道线锚点，沿着每个所述车道线锚点在两个方向上对所述特定车道线元素进行跟踪和分组，以生成所述车道线连通域。
在一个实施例中，在所述处理(IV)中，所述后处理模块(i)在与所述车道线连通域相邻的所述像素中找到未包含在所述车道线元素中的特定像素来添加，以扩展所述车道线连通域，(ii)通过整合所述扩展的车道线连通域来检测所述车道线候选组。
在一个实施例中，在所述处理(IV)中，所述后处理模块通过整合所述车道线连通域之间的方向性彼此一致且聚类ID值在预设范围内的所述车道线连通域来检测所述车道线候选组。
在一个实施例中，在所述处理(IV)中，当每个所述车道线连通域的方向性与被误认为车道线的各组的方向性的差异小于或等于预设阈值，但每个所述车道线连通域的各聚类ID值和所述被误认的各组的各聚类ID值不在预设范围内时，所述后处理模块从所述车道线连通域和所述被误认的组之中，去除所述分割得分图上的值的平均更低的一部分。
在一个实施例中，在所述处理(IV)中，所述线性拟合运算是通过多项式拟合来输出多项式模型的运算，所述多项式拟合利用各所述车道线所包含的所述车道线元素的中心坐标之间的关系。
在一个实施例中，在所述处理(IV)中，所述线性拟合运算是通过将特定车道线锚点的中心位置选择为样条的关键点来输出样条模型的运算，所述特定车道线锚点是在所述车道线锚点中在进行所述跟踪的过程中误差小的车道线锚点。
发明效果
本发明具有将聚类图与分割得分图一起使用以便更顺畅地执行用于车道线检测的后处理(post-processing)的效果。
另外，本发明具有如下效果：使用参考分割得分图和聚类图导出的车道线元素、车道线锚点和车道线连通域等来执行最优化的车道线检测。
附图说明
本发明的实施例的说明中所用的以下附图仅仅是本发明实施例中的一部分，本领域技术人员在不进行发明操作的情况下，也能够根据这些附图来得出其他附图。
图1是示出本发明的执行使用分割得分图和聚类图来检测车道线的后处理方法的计算装置的构成的图。
图2是示出本发明的一实施例所涉及的后处理方法的流程的流程图。
图3是示出能够被本发明的一实施例所涉及的后处理模块使用的分割得分图和聚类图的图。
图4是示出本发明的一实施例所涉及的车道线元素的图。
图5是示出本发明的一实施例所涉及的车道线锚点的图。
图6是示出本发明的一实施例所涉及的车道线连通域的图。
具体实施方式
后述的针对本发明的详细描述参照附图，该附图是作为例示示出了本发明可实施的特定实施例，以阐明本发明的目的、技术方案和优点。这些实施例被详细说明以使本领域技术人员足以实施本发明。
另外，在本发明的整个说明书和权利要求书中，词语“包括”及其变形并不旨在排除其他技术特征、附加物等、构成要素等或步骤等。对于本领域技术人员来说，本发明的其他目的、优点和特征的一部分可以从本说明书中得出、其他一部分从本发明的实施中得出。以下示例和附图是以举例说明的方式提供的，并不旨在限制本发明。
而且，本发明涵盖本说明书中描述的实施例的所有可能的组合。应该理解的是，本发明的各种实施例虽然彼此不同，但并不是相互排斥的。例如，在不脱离本发明的精神和范围内，可以通过其他实施例来实现这里描述的一实施例相关的特定形状、结构和特性。另外，应该理解的是，在不脱离本发明的精神和范围的情况下，可以改变每一个公开的实施例中的各个构成要素的位置或配置。因此，以下的详细描述不应被视为具有限制意义，如果适当地描述，则本发明的范围仅由所附权利要求以及与这些权利要求所主张范围的等同的全部范围来限定。附图中相同的附图标记在若干方面中指相同或相似的功能。
本发明中提到的各种图像可以包括与铺砌或未铺砌道路相关的图像，并且在这种情况下，可以包括可能出现在道路环境中的对象(例如，如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物)，但并不限于此，并且本发明中提到的各种图像可以是与道路无关的图像(例如，与未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关的图像)，在这种情况下，可以象征可能出现在未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的对象(例如，如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物)，但并不限于此。
以下，为了使本领域技术人员能够容易地实施本发明，参考附图详细描述本发明的优选实施例。
在本发明中，所有处理器、所有存储器、所有存储装置或其他计算构成要素虽然彼此分开地描述，但是所有处理器、所有存储器、所有存储装置或其他计算构成要素也可以由单一装置或这些的组合来构成。
图1是示出本发明的执行使用分割得分图和聚类图来检测车道线的后处理方法的计算装置的构成的图。
参照图1，计算装置100可以包括卷积神经网络(Convolutional Neural Network)200和后处理模块300。卷积神经网络200和后处理模块300的运算过程可以由各通信部110和处理器120执行。然而，在图1中，省略了通信部110和处理器120之间的具体连接关系。此外，计算装置还可以包括存储器115，该存储器能够存储用于执行后述的处理的计算机可读指令(computer readable instruction)。作为一示例，处理器、存储器和介质等可以被集成到一个处理器中以发挥功能。
以上说明了本发明的执行使用分割得分图和聚类图来检测车道线的后处理方法的计算装置100的构成，参照图2概述本发明的后处理方法。
图2是示出本发明的一实施例涉及的后处理方法的流程的流程图。
参照图2，若由卷积神经网络200从输入图像生成分割得分图和聚类图，则后处理模块300将获取这些图(S01)。后处理模块300检测车道线元素(S02)，并参考车道线元素、分割得分图以及聚类图生成种子(seed)信息(S03)。之后，后处理模块300可以参考种子信息来生成车道线锚点(S04)，并且参考各车道线锚点来生成各车道线连通域(S05)。最后，后处理模块300参考车道线连通域检测车道线候选组(S06)，并通过对车道线候选组应用至少一次线段拟合(line-fitting)运算来检测车道线(S07)。
通过图2概述了本发明的一实施例所涉及的后处理方法，下面对其进行更详细的描述。
首先，若由卷积神经网络200从输入图像生成分割得分图和聚类图，则计算装置100中所包含的通信部110获取这些图，并将分割得分图和聚类图传送到后处理模块300。参照图3说明生成分割得分图和聚类图的过程。
图3是示出能够被本发明的一实施例所涉及的后处理模块使用的分割得分图和聚类图的图。
参照图3，可以确认在分割得分图中分布有分割得分，以便区分输入图像上的车道线和非车道线的部分。这里，尽管分割得分图全部由数字组成，但是在图3中为了可视化分割得分图，根据数字的大小以不同的亮度表示了分割得分图。可以仅参考分割得分图来区分车道线和非车道线的部分，但是无法判断被判断为车道线的每个像素是属于相同车道线还是属于不同车道线，从而一起使用聚类图，聚类图上的每个值表示每个像素是包含在相同聚类中还是包含在不同聚类中。再次参照图3，当与输入图像比较时，左侧车道线、中间车道线以及右侧车道线分别属于彼此被区分的区域，在相同区域内存在的值彼此相似。因此，在图3中，对应于相同车道线的区域表现出相似的亮度。如此，后处理模块300可以使用从CNN导出的两个图来检测车道线。
在这种情况下，CNN 200通过对输入图像应用至少一次卷积运算和反卷积运算来生成分割得分图，并且将神经网络运算应用到分割得分图，使得(i)分割得分图中所包含的每个值的不同类别之间的各差异增大，该每个值与输入图像中所包含的各车道线的像素对应，并且(ii)分割得分图中所包含的每个值的相同类别内的每个方差减小，该每个值与输入图像中所包含的各车道线的像素对应。
作为描述计算装置100如何根据上述过程使后处理模块300使用分割得分图和聚类图的前提，下面将参照图4描述如何定义车道线元素。
图4是示出本发明的一实施例所涉及的所述车道线元素的图。
参照图4可知，车道线元素是输入图像上的包含形成车道线的像素的单位区域。车道线元素可以是在改变Y轴上的位置的同时沿X轴方向分割输入图像上的车道线的各单位区域，但是不限于此。下面，在本发明中假设车道线元素是与图4类似地在Y轴方向上具有一个像素宽度的同时沿X轴方向分割的单位区域来进行说明。
后处理模块300可以将在分割得分图上具有比周边值大的值的像素检测为车道线候选组区域，针对在Y轴方向上排列的每个像素，将沿X轴方向分割车道线候选组区域来生成的结果检测为车道线元素。
若检测到车道线元素，则后处理模块300使用车道线元素和聚类图来生成与各车道线元素对应的各种子信息，对于此详细描述。
后处理模块300可以(i)检测各车道线元素的两端的坐标，使用两端坐标来计算位于中心的像素的坐标，(ii)使用检测到的两端坐标来计算各车道线元素的幅宽，(iii)可以将与各车道线元素所包含的像素对应的分割得分图上的值之中的各最大值确定为各车道线元素的各代表值，(iv)使用聚类图获取各聚类ID值，该各聚类ID值表示各车道线元素属于哪个车道线。各聚类ID值可以是与中心坐标对应的聚类图上的值或者与代表值的像素对应的聚类图上的值，但是不限于此。即，后处理模块300生成种子信息，该种子信息包括与各车道线元素对应的(i)中心坐标、(ii)车道线元素的宽度、(iii)代表值以及(iv)聚类ID值。
若后处理模块300生成种子信息，则计算装置100使后处理模块300参考种子信息来检测针对每个车道线的车道线锚点(anchor)。
车道线锚点是在基本模型中作为车道线的特征最强的特定基本模型。这意味着作为后面将要说明的车道线的特征最强。此时，将基于车道线锚点对车道线元素进行如整合运算等一次以上的运算来检测出车道线，因此将作为车道线的特征最强的特定基本模型确定为车道线锚点。为了找到特定基本模型，参考种子信息针对每个车道线生成一个或多个的基本模型，并且当基于特定基本模型导出车道线时，将预计误差最小的特定基本模型确定为车道线锚点。
下面将说明由后处理模块300确定车道线锚点的方法。
后处理模块300可以导出车道线元素的中心坐标之间的数学关系，并基于此生成基本模型。后处理模块300将在基本模型中由最接近直线型的预定公式表示的特定基本模型确定为车道线锚点，预定公式参考车道线元素的中心坐标导出。例如，预定公式可能与直线匹配较好。
也就是说，若车道线元素以预定公式能够示出直线的程度形成连贯的聚类，则由于当基于特定基本模型检测出车道线时有望导出良好的结果，因此将其确定为车道线锚点。参照图5来观察这种车道线锚点的一各示例。
图5是示出本发明的一实施例所涉及的所述车道线锚点的图。
参照图5可知，与各车道线中最接近直线型的部分相对应的至少一个特定基本模型被确定为车道线锚点中的至少一个。如上所述，使用确定的各车道线锚点生成各车道线连通域，然后，应用将像素添加到车道线连通域上的运算来检测车道线。由于车道线锚点是车道线检测的基础，因此应选择作为车道线的特征最强的模型。
如上所述，可以基于与车道线元素的中心坐标相对应的曲线图的线性来确定车道线锚点，作为另一示例，可以使用车道线元素的代表值来确定车道线锚点。
也就是说，后处理模块300可以参考与各车道线元素对应的种子信息所包含的代表值大于或等于预定阈值且种子信息所包含的聚类ID值彼此相似的车道线元素来确定车道线锚点。
分割得分图上的各值表示CNN 200将输入图像上的每个像素确定为车道线的一部分的概率。此时，如果各值大，则表示像素是车道线的一部分的概率高。因此，如果基于与代表值大于或等于预定阈值的车道线元素对应的特定基本模型来检测车道线，则可以期待能够导出良好的结果，因此可以以这种方式确定车道线锚点。聚类ID值彼此相似的条件是因为如下原因而要求的条件：聚类ID值为了针对每个车道线区分各车道线锚点而使用。
此外，可以使用聚类ID值来生成车道线锚点。也就是说，后处理模块300可以参考具有与各车道线元素对应的聚类ID值的方差最小的车道线元素来确定车道线锚点。
聚类图上的值表示每个像素属于哪个组。当值之间的方差小时，与具有小的方差的值相对应的像素是相同车道线的一部分的概率高。因此，如果基于与在种子信息上的聚类ID值的方差最小的车道线元素相对应的基本模型来检测车道线，则可以期待导出良好的结果，因此可以以这种方式确定车道线锚点。
一旦通过上述方法确定车道线锚点，则后处理模块300生成与邻近于车道线锚点的车道线元素的集合相对应的车道线连通域。参照图6来说明车道线连通域。
图6是示出本发明的一实施例所涉及的所述车道线连通域的图。
参照图6，通过跟踪(tracing)和分组(grouping)与各车道线锚点相邻的各车道线元素来生成各车道线连通域。具体而言，后处理模块300参考与各车道线锚点周围的车道线元素对应的种子信息上的聚类ID值的分布、代表值的分布和横轴宽度来确定是否将车道线元素包含在车道线连通域中。如果车道线连通域包括特定车道线元素，则后处理模块300使用新添加的特定车道线元素来更新车道线锚点，并且沿着各车道线的车道线锚点在两个方向上重复该过程，从而扩展各车道线连通域。
若以如上所述方式生成车道线连通域，则后处理模块300参考所生成的车道线连通域来检测输入图像中的车道线候选组，并通过对检测到的车道线候选组应用线性拟合运算来生成至少一个车道线模型，从而检测车道线。
具体说明，首先，后处理模块300通过在与车道线连通域相邻的像素之中找到并添加未包含在所述车道线元素中但包含在车道线中的像素，来扩展车道线连通域，整合扩展的车道线连通域，从过多的车道线连通域中去除是车道线的可能性低的车道线连通域。
整合车道线连通域的过程如下。后处理模块300通过将方向性彼此一致且聚类ID值落入预设范围内的车道线连通域进行整合，这样的车道线连通域被确定为同一车道线的一部分，因此可以检测到车道线候选组。
去除车道线连通域的过程如下。各车道线连通域的方向性和被误认为车道线的各组的方向性虽然相似，但是各车道线连通域的各聚类ID值和被误认的各组的各聚类ID值不在预设范围内时，后处理模块300可在车道线连通域和被误认的组中去除分割得分图上的值的平均更低的一部分。
在整合和去除车道线连通域的过程中，通过确认各聚类ID值是否在各预设范围内来判断聚类ID值是否相似。
若通过上述过程检测到针对各车道线的车道线候选组，则对车道线候选组应用线性拟合运算来生成车道线模型，从而最终检测到车道线。作为线性拟合运算可以应用多种方法。例如，可以应用使用多项式拟合(polynomial fitting)或样条(spline)曲线的方法。
当使用多项式拟合时，可以使用表示车道线候选组所包含的车道线元素的中心坐标的各第一分量和各第二分量之间的关系的多项式来进行对车道线的线性拟合，并生成作为其结果的车道线模型，从而能够检测出车道线。
当使用样条曲线时，可以通过生成多项式模型来检测车道线，该多项式模型选择在车道线锚点中误差小的锚点的中心位置作为样条的关键点。
根据本发明来检测车道线，可以为自动驾驶汽车优化行驶路线。
上述根据本发明的实施例可以以程序指令的形式实现，该程序指令可以由各种计算机部件执行，并且可以记录在计算机可读记录介质中。计算机可读记录介质可以单独或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读记录介质上的程序指令可以是为本发明专门设计和配置的程序指令，或者可以是计算机软件领域的技术人员已知并可用的。计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学记录介质，诸如光磁软盘(floptical disk)的磁光介质(magneto-opticalmedia)、以及ROM、RAM、闪存等的特别构成为存储并执行程序指令的硬件装置。程序指令的示例不仅包括由编译器生成的机器代码，还包括可以由计算机使用解释器等执行的高级语言代码。硬件装置可以配置为作为一个或多个软件模块操作来执行根据本发明的处理，反之亦然。
尽管已经通过诸如特定部件和有限的实施例和附图的特定实施例来描述了本发明，但这些仅仅是为了更全面地理解本发明而提供的，本发明不限于上述实施例。对于本领域技术人员来说，可以从这些描述中进行各种修改和变更。
因此，本发明的宗旨不应限于上述实施例，并且不仅是后附权利要求，与这些权利要求等同或等价的变形也包括在本发明的宗旨的范围内。

Claims (28)

1.一种使用分割得分图和聚类图来检测一个或多个车道线的后处理方法，其特征在于，包括以下步骤：
(a)若卷积神经网络使用输入图像生成所述分割得分图和所述聚类图，则计算装置获取所述分割得分图和所述聚类图；
(b)所述计算装置使在所述卷积神经网络的后端执行数据处理的后处理模块(i)参考所述分割得分图来检测车道线元素，所述车道线元素是所述输入图像上的包含形成所述车道线的像素的单位区域，(ii)参考所述车道线元素、所述分割得分图和所述聚类图来生成种子信息；
(c)所述计算装置使所述后处理模块参考所述种子信息生成与各所述车道线对应的一个或多个基本模型，并参考所述基本模型生成一个或多个车道线锚点；
(d)所述计算装置使所述后处理模块参考所述车道线锚点生成一个或多个车道线连通域，所述车道线连通域包括所述车道线元素的至少一个集合；以及
(e)所述计算装置使所述后处理模块(i)参考所述车道线连通域来检测所述输入图像中的一个或多个车道线候选组，(ii)对所述车道线候选组应用至少一次线性拟合运算来生成至少一个车道线模型，以检测所述车道线。
2.如权利要求1所述的方法，其特征在于，
在所述步骤(a)之前，
所述卷积神经网络对所述输入图像应用至少一次卷积运算和至少一次反卷积运算来生成所述分割得分图，并且，将神经网络运算应用到所述分割得分图以使得：(i)所述分割得分图所包含的、与包含在所述输入图像中的各所述车道线的像素对应的每个值的不同类别之间的各个差异增大，并且(ii)所述分割得分图所包含的、与包含在所述输入图像中的各所述车道线的像素对应的每个值的相同类别的各个方差减小。
3.如权利要求1所述的方法，其特征在于，
在所述步骤(b)中，
所述后处理模块使用(i)与所述输入图像上的所述车道线元素的位置对应的中心坐标、(ii)所述车道线元素的宽度、(iii)与包含在所述车道线元素内的像素对应的所述分割得分图上的代表值以及(iv)所述聚类图来生成所述种子信息，所述种子信息包括聚类ID值中的至少一个，所述聚类ID值表示包含所述车道线元素的至少一个车道线。
4.如权利要求1所述的方法，其特征在于，
在所述步骤(c)中，
所述后处理模块在所述基本模型中将由最接近直线型的预定公式表示的特定基本模型确定为所述车道线锚点之一，所述预定公式是参考所述车道线元素的中心坐标导出的。
5.如权利要求1所述的方法，其特征在于，
在所述步骤(c)中，
所述后处理模块将特定基本模型确定为所述车道线锚点之一，所述特定基本模型是在所述基本模型中参考特定车道线元素来选择的，所述特定车道线元素是(i)所述分割得分图上的代表值大于或等于预设阈值、并且(ii)使用所述聚类图获取的聚类ID值相似的车道线元素。
6.如权利要求1所述的方法，其特征在于，
在所述步骤(c)中，
所述后处理模块将特定基本模型确定为所述车道线锚点之一，所述特定基本模型是在所述基本模型中参考特定车道线元素来选择的，所述特定车道线元素为所述种子信息所包含的聚类ID值的方差最小的车道线元素。
7.如权利要求1所述的方法，其特征在于，
在所述步骤(d)中，
所述后处理模块通过对与每个所述车道线锚点相邻的各特定车道线元素进行跟踪和分组来生成所述车道线连通域。
8.如权利要求7所述的方法，其特征在于，
所述后处理模块参考所述种子信息所包含的与每个所述车道线锚点对应的各聚类ID值、各代表值以及各宽度来对与每个所述车道线锚点相邻的各所述特定车道线元素进行跟踪和分组，以生成每个所述车道线连通域。
9.如权利要求8所述的方法，其特征在于，
所述后处理模块针对每个所述车道线锚点，沿着每个所述车道线锚点在两个方向上对所述特定车道线元素进行跟踪和分组，以生成所述车道线连通域。
10.如权利要求1所述的方法，其特征在于，
所述步骤(e)中，
所述后处理模块(i)在与所述车道线连通域相邻的所述像素中找到未包含在所述车道线元素中的特定像素来添加，以扩展所述车道线连通域，(ii)通过整合所述扩展的车道线连通域来检测所述车道线候选组。
11.如权利要求1所述的方法，其特征在于，
在所述步骤(e)中，
所述后处理模块通过整合所述车道线连通域之间的方向性彼此一致且聚类ID值在预设范围内的所述车道线连通域，来检测所述车道线候选组。
12.如权利要求1所述的方法，其特征在于，
在所述步骤(e)，
当每个所述车道线连通域的方向性与被误认为车道线的各组的方向性的差异小于或等于预设阈值，但每个所述车道线连通域的各聚类ID值和所述被误认的各组的各聚类ID值不在预设范围内时，所述后处理模块从所述车道线连通域和所述被误认的组之中，去除所述分割得分图上的值的平均更低的一部分。
13.如权利要求1所述的方法，其特征在于，
在所述步骤(e)中，
所述线性拟合运算是通过多项式拟合来输出多项式模型的运算，所述多项式拟合利用各所述车道线所包含的所述车道线元素的中心坐标之间的关系。
14.如权利要求1所述的方法，其特征在于，
在所述步骤(e)中，
所述线性拟合运算是通过将特定车道线锚点的中心位置选择为样条的关键点来输出样条模型的运算，所述特定车道线锚点是所述车道线锚点中在进行所述跟踪的过程中误差小的车道线锚点。
15.一种计算装置，用于使用分割得分图和聚类图来检测一个或多个车道线，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被构成为执行所述指令，所述指令用于执行以下处理：
(I)若卷积神经网络使用输入图像生成所述分割得分图和所述聚类图，则使在所述卷积神经网络的后端执行数据处理的后处理模块(i)参考所述分割得分图来检测车道线元素，所述车道线元素是所述输入图像上的包含形成所述车道线的像素的单位区域，(ii)参考所述车道线元素、所述分割得分图和所述聚类图来生成种子信息；
(II)使所述后处理模块参考所述种子信息来生成与各所述车道线对应的一个或多个基本模型，并参考所述基本模型生成一个或多个车道线锚点；
(III)使所述后处理模块参考所述车道线锚点生成一个或多个车道线连通域，所述车道线连通域包括所述车道线元素的至少一个集合；以及
(IV)使所述后处理模块(i)参考所述车道线连通域检测所述输入图像中的一个或多个车道线候选组、以及(ii)对所述车道线候选组应用至少一次线性拟合运算生成至少一个车道线模型，以检测所述车道线。
16.如权利要求15所述的计算装置，其特征在于，
在获取所述分割得分图和所述聚类图之前，
所述卷积神经网络对所述输入图像应用至少一次卷积运算和至少一次反卷积运算来生成所述分割得分图，并且，将神经网络运算应用到所述分割得分图以使得：(i)所述分割得分图所包含的、与包含在所述输入图像中的各所述车道线的像素对应的每个值的不同类别之间的各个差异增大，并且(ii)所述分割得分图所包含的、与包含在所述输入图像中的各所述车道线的像素对应的每个值的相同类别的各个方差减小。
17.如权利要求15所述的计算装置，其特征在于，
在所述处理(I)中，
所述后处理模块使用(i)与所述输入图像上的所述车道线元素的位置对应的中心坐标、(ii)所述车道线元素的宽度、(iii)与包含在所述车道线元素内的像素对应的所述分割得分图上的代表值以及(iv)所述聚类图来生成所述种子信息，所述种子信息包括聚类ID值中的至少一个，所述聚类ID值表示包含所述车道线元素的至少一个车道线。
18.如权利要求15所述的计算装置，其特征在于，
在所述处理(II)中，
所述后处理模块在所述基本模型中将由最接近直线型的预定公式表示的特定基本模型确定为所述车道线锚点之一，所述预定公式是参考所述车道线元素的中心坐标导出的。
19.如权利要求15所述的计算装置，其特征在于，
在所述处理(II)中，
所述后处理模块将特定基本模型确定为所述车道线锚点之一，所述特定基本模型是在所述基本模型中参考特定车道线元素来选择的，所述特定车道线元素是(i)所述分割得分图上的代表值大于或等于预设阈值、并且(ii)使用所述聚类图获取的聚类ID值相似的车道线元素。
20.如权利要求15所述的计算装置，其特征在于，
在所述处理(II)中，
所述后处理模块将特定基本模型确定为所述车道线锚点之一，所述特定基本模型是在所述基本模型中参考特定车道线元素来选择的，所述特定车道线元素为所述种子信息所包含的聚类ID值的方差最小的车道线元素。
21.如权利要求15所述的计算装置，其特征在于，
在所述处理(III)中，
所述后处理模块通过对与每个所述车道线锚点相邻的各特定车道线元素进行跟踪和分组来生成所述车道线连通域。
22.如权利要求21所述的计算装置，其特征在于，
所述后处理模块参考所述种子信息所包含的与每个所述车道线锚点对应的各聚类ID值、各代表值以及各宽度来对与每个所述车道线锚点相邻的各所述特定车道线元素进行跟踪和分组，以生成每个所述车道线连通域。
23.如权利要求22所述的计算装置，其特征在于，
所述后处理模块针对每个所述车道线锚点，沿着每个所述车道线锚点在两个方向上对所述特定车道线元素进行跟踪和分组，以生成所述车道线连通域。
24.如权利要求15所述的计算装置，其特征在于，
在所述处理(IV)中，
所述后处理模块(i)在与所述车道线连通域相邻的所述像素中找到未包含在所述车道线元素中的特定像素来添加，以扩展所述车道线连通域，(ii)通过整合所述扩展的车道线连通域来检测所述车道线候选组。
25.如权利要求15所述的计算装置，其特征在于，
在所述处理(IV)中，
所述后处理模块通过整合所述车道线连通域之间的方向性彼此一致且聚类ID值在预设范围内的所述车道线连通域，来检测所述车道线候选组。
26.如权利要求15所述的计算装置，其特征在于，
在所述处理(IV)中，
当每个所述车道线连通域的方向性与被误认为车道线的各组的方向性的差异小于或等于预设阈值，但每个所述车道线连通域的各聚类ID值和所述被误认的各组的各聚类ID值不在预设范围内时，所述后处理模块从所述车道线连通域和所述被误认的组之中，去除所述分割得分图上的值的平均更低的一部分。
27.如权利要求15所述的计算装置，其特征在于，
在所述处理(IV)中，
所述线性拟合运算是通过多项式拟合来输出多项式模型的运算，所述多项式拟合利用各所述车道线所包含的所述车道线元素的中心坐标之间的关系。
28.如权利要求15所述的计算装置，其特征在于，
在所述处理(IV)中，
所述线性拟合运算是通过将特定车道线锚点的中心位置选择为样条的关键点来输出样条模型的运算，所述特定车道线锚点是在所述车道线锚点中在进行所述跟踪的过程中误差小的车道线锚点。
CN202010036042.6A 2019-01-31 2020-01-14 用分割得分图和聚类图检测车道线的后处理方法以及装置 Active CN111507153B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/263,168 US10423840B1 (en) 2019-01-31 2019-01-31 Post-processing method and device for detecting lanes to plan the drive path of autonomous vehicle by using segmentation score map and clustering map
US16/263,168 2019-01-31

Publications (2)

Publication Number Publication Date
CN111507153A true CN111507153A (zh) 2020-08-07
CN111507153B CN111507153B (zh) 2023-12-15

Family

ID=67988499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010036042.6A Active CN111507153B (zh) 2019-01-31 2020-01-14 用分割得分图和聚类图检测车道线的后处理方法以及装置

Country Status (5)

Country Link
US (1) US10423840B1 (zh)
EP (1) EP3690707B1 (zh)
JP (1) JP6935946B2 (zh)
KR (1) KR102300906B1 (zh)
CN (1) CN111507153B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396044A (zh) * 2021-01-21 2021-02-23 国汽智控(北京)科技有限公司 车道线属性信息检测模型训练、车道线属性信息检测方法
CN112488009A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 无人机数据中的车道线形点串提取方法及系统
CN114708576A (zh) * 2022-06-06 2022-07-05 天津所托瑞安汽车科技有限公司 一种车道线确定方法、装置、设备及存储介质
CN115147811A (zh) * 2022-07-01 2022-10-04 小米汽车科技有限公司 一种车道线检测方法、装置及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112154449A (zh) * 2019-09-26 2020-12-29 深圳市大疆创新科技有限公司 车道线融合方法、车道线融合装置、车辆和存储介质
CN111753921B (zh) * 2020-07-01 2022-10-18 广东工业大学 一种高光谱图像聚类方法、装置、设备及存储介质
CN112528859B (zh) * 2020-12-11 2023-04-07 中国第一汽车股份有限公司 车道线检测方法、装置、设备及存储介质
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN116543365B (zh) * 2023-07-06 2023-10-10 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283197A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 画面のスジ欠陥検出方法及び装置
JP2005346300A (ja) * 2004-06-01 2005-12-15 Seiko Epson Corp 筋状欠陥検出方法及び装置
CN102129690A (zh) * 2011-03-21 2011-07-20 西安理工大学 一种抗环境干扰的人体运动目标的跟踪方法
CN102542560A (zh) * 2011-10-31 2012-07-04 华中科技大学 一种水稻移栽后密度自动检测的方法
CN102629326A (zh) * 2012-03-19 2012-08-08 天津工业大学 一种基于单目视觉的车道线检测方法
CN102867311A (zh) * 2011-07-07 2013-01-09 株式会社理光 目标跟踪方法和目标跟踪设备
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
US20180012082A1 (en) * 2016-07-05 2018-01-11 Nauto, Inc. System and method for image analysis
US20180046877A1 (en) * 2016-08-12 2018-02-15 Qualcomm Incorporated Methods and systems of determining a minimum blob size in video analytics
US20180048894A1 (en) * 2016-08-11 2018-02-15 Qualcomm Incorporated Methods and systems of performing lighting condition change compensation in video analytics
CN107704837A (zh) * 2017-10-19 2018-02-16 千寻位置网络有限公司 道路网拓扑和几何信息的提取方法
US20180060677A1 (en) * 2016-08-29 2018-03-01 Neusoft Corporation Method, apparatus and device for detecting lane lines
US20180189578A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Network Construction Using High Definition Maps for Autonomous Vehicles
US20180348346A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Hybrid-View Lidar-Based Object Detection
CN108986127A (zh) * 2018-06-27 2018-12-11 北京市商汤科技开发有限公司 图像分割神经网络的训练方法及图像分割方法、装置
CN109214334A (zh) * 2018-09-03 2019-01-15 百度在线网络技术（北京）有限公司 车道线处理方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347886B1 (ko) * 2012-02-20 2014-01-08 울산대학교 산학협력단 도로 영역 및 기하학적 정보를 이용한 차로 인식 방법 및 장치
DE102012111010A1 (de) * 2012-11-15 2014-06-12 Eads Deutschland Gmbh Verfahren und Vorrichtung zur bildgestützten Landebahnlokalisierung
KR102016549B1 (ko) * 2014-01-13 2019-08-30 한화디펜스 주식회사 차량 및 차선 위치 검출 시스템 및 방법
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US10373002B2 (en) * 2017-03-31 2019-08-06 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines
US10209089B2 (en) * 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283197A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 画面のスジ欠陥検出方法及び装置
JP2005346300A (ja) * 2004-06-01 2005-12-15 Seiko Epson Corp 筋状欠陥検出方法及び装置
CN102129690A (zh) * 2011-03-21 2011-07-20 西安理工大学 一种抗环境干扰的人体运动目标的跟踪方法
CN102867311A (zh) * 2011-07-07 2013-01-09 株式会社理光 目标跟踪方法和目标跟踪设备
CN102542560A (zh) * 2011-10-31 2012-07-04 华中科技大学 一种水稻移栽后密度自动检测的方法
CN102629326A (zh) * 2012-03-19 2012-08-08 天津工业大学 一种基于单目视觉的车道线检测方法
US20180012082A1 (en) * 2016-07-05 2018-01-11 Nauto, Inc. System and method for image analysis
US20180048894A1 (en) * 2016-08-11 2018-02-15 Qualcomm Incorporated Methods and systems of performing lighting condition change compensation in video analytics
US20180046877A1 (en) * 2016-08-12 2018-02-15 Qualcomm Incorporated Methods and systems of determining a minimum blob size in video analytics
US20180060677A1 (en) * 2016-08-29 2018-03-01 Neusoft Corporation Method, apparatus and device for detecting lane lines
US20180189578A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Network Construction Using High Definition Maps for Autonomous Vehicles
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
US20180348346A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Hybrid-View Lidar-Based Object Detection
CN107704837A (zh) * 2017-10-19 2018-02-16 千寻位置网络有限公司 道路网拓扑和几何信息的提取方法
CN108986127A (zh) * 2018-06-27 2018-12-11 北京市商汤科技开发有限公司 图像分割神经网络的训练方法及图像分割方法、装置
CN109214334A (zh) * 2018-09-03 2019-01-15 百度在线网络技术（北京）有限公司 车道线处理方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVY NEVEN等: "Towards End-to-End Lane Detection: an Instance Segmentation Approach" *
DUN LIANG等: "LineNet: a Zoomable CNN for Crowdsourced High Definition Maps Modeling in Urban Environments" *
NOA GARNETT等: "3D-LaneNet: end-to-end 3D multiple lane detection" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488009A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 无人机数据中的车道线形点串提取方法及系统
CN112396044A (zh) * 2021-01-21 2021-02-23 国汽智控(北京)科技有限公司 车道线属性信息检测模型训练、车道线属性信息检测方法
CN114708576A (zh) * 2022-06-06 2022-07-05 天津所托瑞安汽车科技有限公司 一种车道线确定方法、装置、设备及存储介质
CN115147811A (zh) * 2022-07-01 2022-10-04 小米汽车科技有限公司 一种车道线检测方法、装置及电子设备

Also Published As

Publication number Publication date
EP3690707C0 (en) 2023-10-04
KR102300906B1 (ko) 2021-09-13
JP6935946B2 (ja) 2021-09-15
EP3690707A1 (en) 2020-08-05
EP3690707B1 (en) 2023-10-04
CN111507153B (zh) 2023-12-15
US10423840B1 (en) 2019-09-24
JP2020126610A (ja) 2020-08-20
KR20200095330A (ko) 2020-08-10

Similar Documents

Publication Publication Date Title
CN111507153B (zh) 用分割得分图和聚类图检测车道线的后处理方法以及装置
KR102280395B1 (ko) 차선 후보 픽셀의 분류를 통해 차선을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111507460B (zh) 为了提供自动停车系统检测停车空间的方法和装置
JP6972757B2 (ja) 制御プログラム、制御方法、及び情報処理装置
US9946960B1 (en) Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
JP6972756B2 (ja) 制御プログラム、制御方法、及び情報処理装置
CN111507888B (zh) 利用生成性对抗神经网络生成合成图像的方法及装置
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
KR20200027428A (ko) 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102503253B1 (ko) 주변 차량 인지 시스템 및 방법
CN111462130A (zh) 使用车道掩码检测包含于输入图像的车道线的方法及装置
KR102279388B1 (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP2020068013A (ja) 障害物の下段ラインを基準にｒｏｉを検出する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏｉ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｂｏｔｔｏｍ ｌｉｎｅｓ ｏｆ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ，ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN110879960B (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
US10796434B1 (en) Method and device for detecting parking area using semantic segmentation in automatic parking system
US10311578B1 (en) Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
CN110909588B (zh) 基于cnn的用于车道线检测的方法和装置
KR102325025B1 (ko) 자율주행 차량 레벨4를 충족하기 위해 영역의 클래스에 따라 모드를 전환하기 위하여 그리드 생성기를 이용하는 뉴럴 네트워크 연산 방법 및 이를 이용한 장치
CN110555344B (zh) 车道线识别方法、装置、电子设备、存储介质
JP2021076927A (ja) 解析装置、解析プログラム及び解析方法
JP2020068015A (ja) リグレッションロス（Ｒｅｇｒｅｓｓｉｏｎ ｌｏｓｓ）を利用した学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＲＥＧＲＥＳＳＩＯＮ ＬＯＳＳ ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ， ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
US11074507B1 (en) Method for performing adjustable continual learning on deep neural network model by using selective deep generative replay module and device using the same
US9367919B2 (en) Method for estimating position of target by using images acquired from camera and device and computer-readable recording medium using the same
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant