CN111507154A - 使用横向滤波器掩膜来检测车道线元素的方法和装置 - Google Patents

使用横向滤波器掩膜来检测车道线元素的方法和装置 Download PDF

Info

Publication number
CN111507154A
CN111507154A CN202010036227.7A CN202010036227A CN111507154A CN 111507154 A CN111507154 A CN 111507154A CN 202010036227 A CN202010036227 A CN 202010036227A CN 111507154 A CN111507154 A CN 111507154A
Authority
CN
China
Prior art keywords
lane line
row
values
coordinate
post
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010036227.7A
Other languages
English (en)
Other versions
CN111507154B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507154A publication Critical patent/CN111507154A/zh
Application granted granted Critical
Publication of CN111507154B publication Critical patent/CN111507154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种使用横向滤波器掩膜来检测车道线元素的方法和装置，该车道线元素是位于输入图像中的包含车道线的像素的单位区域，该方法包括以下步骤：若卷积神经网络使用输入图像生成分割得分图，则计算装置获取该分割得分图；计算装置使在卷积神经网络的输出端执行数据处理的后处理模块使用分割得分图和横向滤波器掩膜来生成幅值图；计算装置使后处理模块参考幅值图的值，针对分割得分图的每行确定各车道线元素候选组；以及计算装置使后处理模块对每行的各车道线元素候选组应用预测运算，检测出每个车道线元素。

Description

使用横向滤波器掩膜来检测车道线元素的方法和装置
技术领域
本发明涉及用于自动驾驶汽车的方法和装置，更具体地，本发明涉及对用于规划自动驾驶汽车的行驶路径的车道线元素进行检测的方法和装置。
背景技术
深度卷积神经网络(Deep Convolution Neural Network；Deep CNN)是深度学习的惊人发展的核心。CNN已经在90年代用于解决文字识别问题，但如现在这样被广泛使用源自最近的研究结果。深度CNN在2012年ImageNet图像分类竞赛中击败了其他竞争对手并赢得了冠军。从那时起，卷积神经网络已成为机器学习(Machine Learning)领域中非常有用的工具。
另一方面，图像分割(Image Segmentation)是使用例如训练图像或测试图像的输入图像来生成标签图像的方法。近年来，随着深度学习技术受到广泛关注，深度学习越来越多地用于图像分割中。
最近，后处理(post-processing)已在深度CNN中广泛使用。CNN在自动驾驶模块中扮演许多角色，其中之一是从输入图像中检测一个或多个车道线。通过检测车道线，可以检测车辆进出的自由空间，或者可以适当地调整，使得车辆在道路中央正常行驶。
但是，如果仅使用来自深度CNN的结果，则车道线检测效果通常较差。因此，对从深度CNN得出的结果进行后处理来检测车道线。然而，当通过确定每个像素是否包含在车道线中来检测车道线时，与通过设置包含在车道线中的至少一个单位区域来检测车道线的情况相比，结果并不是很好。
发明内容
本发明所要解决的课题
本发明的目的在于解决上述问题。
本发明的一个目的在于，通过使用一个以上的横向滤波器掩膜来检测一个以上的车道线元素来容易地检测一个以上的车道线，其特征在于，一个以上的车道线元素是至少一个输入图像中的包含车道线像素的一个以上的单位区域。
本发明的另一个目的在于，提供更容易地检测车道线元素的一种以上的预测方法。
用于解决课题的手段
为了实现如上所述的本发明的目的并实现后述的本发明的特定效果，本发明的特定构成如下。
根据本发明的一个方式，提供一种用于使用至少一个横向滤波器掩膜来检测一个或多个车道线元素的方法，所述一个或多个车道线元素是位于至少一个输入图像中的包含一个或多个车道线的像素的一个或多个单位区域，包括以下步骤：(a)若卷积神经网络使用所述输入图像生成至少一个分割得分图，则计算装置获取所述分割得分图；(b)所述计算装置使至少一个在卷积神经网络的输出端执行数据处理的后处理模块使用(i)所述分割得分图和(ii)包含多个滤波参数的所述横向滤波器掩膜来生成至少一个幅值图；(c)所述计算装置使所述后处理模块参考所述幅值图的值，针对所述分割得分图的每行确定一个或多个车道线元素候选组；以及(d)所述计算装置使所述后处理模块对所述每行的所述车道线元素候选组中的每一个应用一次以上的预测运算，检测出每个所述车道线元素。
在一个实施例中，在所述步骤(b)中，所述计算装置使所述后处理模块通过使用所述横向滤波器掩膜转换所述分割得分图的值来生成所述幅值图。
在一个实施例中，当具有m×n大小的所述分割得分图上的第k行所包含的值的坐标为(x，k)时，所述计算装置使所述后处理模块通过计算所述幅值图上的(x，k)值，以生成大小等于所述分割得分图的幅值图，其中，k为1以上且n以下的整数，x为1以上且m以下的整数，(i)当x为2以上且m-1以下时，将包含在所述横向滤波器掩膜中的[-1、0、1]值分别与所述分割得分图上的(x-1，k)、(x，k)以及(x+1，k)的值相乘而生成的按照每个元素的相乘结果的元素总和分别作为所述幅值图上的(x，k)的每个值；(ii)当x为1时，将包含在所述横向滤波器掩膜中的[0，1]值分别与所述分割得分图上的(x，k)和(x+1，k)的值相乘而生成的按照每个元素的相乘结果的元素总和作为所述幅值图上的(x，k)的值；(iii)当x为m时，将包含在所述横向滤波器掩膜中的[-1，0]值分别与所述分割得分图上的(x-1，k)和(x，k)的值相乘而生成的按照每个元素的相乘结果的元素总和作为所述幅值图上的(x，k)的值。
在一个实施例中，在所述步骤(c)中，所述计算装置使所述后处理模块参考与所述分割得分图的所述每行相对应的、包含在所述幅值图中的每个值的绝对值和符号，检测针对所述每行的所述车道线元素候选组中的每一个的初始左边界坐标和初始右边界坐标，以确定所述每行的所述车道线元素候选组。
在一个实施例中，所述计算装置使所述后处理模块参考每个调整后的左边界坐标和每个调整后的右边界坐标来确定针对所述每行的扩展车道线元素候选组，其中，确定为：每个调整后的左边界坐标距所述每行的各所述车道线元素候选组的中心的距离相当于从所述每行的各所述车道线元素候选组的中心到每个所述初始左边界坐标的距离的预定倍数，且每个调整后的右边界坐标距所述每行的各车道线元素候选组的中心的距离相当于从所述每行的各所述车道线元素候选组的中心到每个所述初始右边界坐标的距离的所述预定倍数。
在一个实施例中，在所述步骤(c)中，所述计算装置使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的每个所述车道线元素候选组，在所述步骤(d)中，所述计算装置使所述后处理模块对所述每行的各所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而使得：(i)针对所述每行的大于第一阈值的每个所述车道线元素候选组的所述分割得分图上的值中的最大值的每个坐标被确定为所述每行的每个所述车道线元素候选组的基准坐标；(ii)在所述基准坐标的左侧在预定范围内接近第二阈值的各值的坐标被确定为各个最终左边界坐标，在所述基准的右侧在预定范围内接近第三阈值的各值的坐标被确定为各个最终右边界坐标。
在一个实施例中，所述计算装置使所述后处理模块(i)将所述分割得分图的所述每行的各个所述车道线元素候选组的值中大于所述第一阈值的值的坐标确定为各个基准坐标候选组，(ii)重复进行从各个所述基准坐标候选组的值中去除比位于各值的左侧或右侧的值小的部分值的处理，由此检测出各个所述基准坐标候选组的值中的最大值，并将与每个所述最大值对应的各个坐标确定为所述每行的各个所述车道线候选组的所述基准坐标。
在一个实施例中，在所述步骤(c)中，所述计算装置使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的每个所述车道线元素候选组，在所述步骤(d)中，所述计算装置使所述后处理模块对所述每行的各个所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而使得：(i)参考与预设的车道线宽度相关的信息，确定所述分割得分图的所述每行的每个样本宽度；(ii)使用针对所述每行的各个所述车道线元素候选组的所述分割得分图上的值来生成具有与每个所述样本宽度对应的宽度的各个子组；(iii)计算不包含在各个所述子组中的所述分割得分图上的值的平均值与包含在各个所述子组中的所述分割得分图上的值的平均值之间的各差值，以确定所述每行的各个代表子组；(iv)在每个所述代表子组的左侧部分内，将在预定范围内接近阈值的各值的坐标确定为各个最终左边界坐标，在每个所述代表子组的右侧部分内，将在预定范围内接近阈值的各值的坐标确定为各个最终右边界坐标。
在一个实施例中，在所述步骤(c)中，所述计算装置使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的各个所述车道线元素候选组，在所述步骤(d)中，所述计算装置使所述后处理模块对所述每行的各所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而确定所述每行的所述车道线元素候选组的偏差值的总和分别最大的各个最大和子阵列，并将各个所述最大和子阵列中的每个最左边的坐标和每个最右边的坐标确定为各个最终左边界坐标和各个最终右边界坐标。
在一个实施例中，在所述步骤(c)中，所述计算装置使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的各个所述车道线元素候选组，在所述步骤(d)中，所述计算装置使所述后处理模块对所述分割得分图应用所述预测运算，以分别检测所述每行的各个所述车道线元素候选组的各个最终左边界坐标和各个各最终右边界坐标，并参考所述每行的各个所述车道线元素候选组的各个最终左边界坐标和各个最终右边界坐标来生成各个所述车道线元素。
根据本发明的另一方式，提供一种计算装置，用于使用至少一个横向滤波器掩膜来检测一个或多个车道线元素，所述一个或多个车道线元素是位于至少一个输入图像中的包含一个或多个车道线的像素的一个或多个单位区域，所述计算装置包括：至少一个存储器，用于存储指令；以及至少一个处理器，被构成为执行所述指令，所述指令用于执行以下处理：(I)若卷积神经网络使用所述输入图像生成至少一个分割得分图，则使至少一个在卷积神经网络的输出端执行数据处理的后处理模块使用(i)所述分割得分图和(ii)包含多个滤波参数的所述横向滤波器掩膜来生成至少一个幅值图；(II)使所述后处理模块参考所述幅值图的值，针对所述分割得分图的每行确定一个或多个车道线元素候选组中的每一个；以及(III)使所述后处理模块对所述每行的所述车道线元素候选组中的每一个应用一次以上的预测运算，检测出每个所述车道线元素。
在一个实施例中，在所述处理(I)中，所述处理器使所述后处理模块通过使用所述横向滤波器掩膜转换所述分割得分图的值来生成所述幅值图。
在一个实施例中，当具有m×n大小的所述分割得分图上的第k行所包含的值的坐标为(x，k)时，所述处理器使所述后处理模块通过计算所述幅值图上的(x，k)值，以生成大小等于所述分割得分图的幅值图，其中，k为1以上且n以下的整数，x为1以上且m以下的整数，(i)当x为2以上且m-1以下时，将包含在所述横向滤波器掩膜中的[-1、0、1]值分别与所述分割得分图上的(x-1，k)、(x，k)、以及(x+1，k)的值相乘而生成的按照每个元素的相乘结果的元素总和分别作为所述幅值图上的(x，k)的每个值；(ii)当x为1时，将包含在所述横向滤波器掩膜中的[0，1]值分别与所述分割得分图上的(x，k)和(x+1，k)的值相乘而生成的按照每个元素的相乘结果的元素总和作为所述幅值图上的(x，k)的值；(iii)当x为m时，将包含在所述横向滤波器掩膜中的[-1，0]值分别与所述分割得分图上的(x-1，k)和(x，k)的值相乘而生成的按照每个元素的相乘结果的元素总和作为所述幅值图中的(x，k)的值。
在一个实施例中，在所述处理(II)中，所述处理器使所述后处理模块参考与所述分割得分图的所述每行相对应的、包含在所述幅值图中的每个值的绝对值和符号，检测针对所述每行的所述车道线元素候选组中的每个的初始左边界坐标和初始右边界坐标，以确定所述每行的所述车道线元素候选组。
在一个实施例中，所述处理器使所述后处理模块参考每个调整后的左边界坐标和每个调整后的右边界坐标来确定针对所述每行的扩展车道线元素候选组，其中，确定为：每个调整后的左边界坐标距所述每行的各所述车道线元素候选组的中心的距离相当于从所述每行的各所述车道线元素候选组的中心到每个所述初始左边界坐标的距离的预定倍数，且每个调整后的右边界坐标距所述每行的各所述车道线元素候选组的中心的距离相当于从所述每行的各所述车道线元素候选组的中心到每个所述初始右边界坐标的距离的所述预定倍数。
在一个实施例中，在所述处理(II)中，所述处理器使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的每个所述车道线元素候选组，在所述处理(III)中，所述处理器使所述后处理模块对所述每行的各所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而使得：(i)针对所述每行的大于第一阈值的每个所述车道线元素候选组的所述分割得分图上的值中的最大值的每个坐标被确定为所述每行的每个所述车道线元素候选组的基准坐标；(ii)在所述基准的左侧在预定范围内接近第二阈值的各值的坐标被确定为各最终左边界坐标，在所述基准的右侧在预定范围内接近第三阈值的各值的坐标被确定为各最终右边界坐标。
在一个实施例中，所述处理器使所述后处理模块(i)将所述分割得分图的所述每行的各个所述车道线元素候选组的值中大于所述第一阈值的值的坐标确定为各个基准坐标候选组，(ii)重复进行从各个所述基准坐标候选组的值中去除比位于各值的左侧或右侧的值小的部分值的处理，由此检测出各个所述基准坐标候选组的值中的最大值，并将与每个所述最大值对应的各个坐标确定为所述每行的各个所述车道线候选组的所述基准坐标。
在一个实施例中，在所述处理(II)中，所述处理器使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对每行的每个所述车道线元素候选组，在所述处理(III)中，所述处理器使所述后处理模块对所述每行的各所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而使得：(i)参考与预设的车道线宽度相关的信息，确定所述分割得分图的所述每行的每个样本宽度；(ii)使用针对所述每行的各个所述车道线元素候选组的所述分割得分图上的值来生成具有与每个所述样本宽度对应的宽度的各个子组；(iii)计算不包含在各个所述子组中的所述分割得分图上的值的平均值与包含在各个所述子组中的所述分割得分图上的值的平均值之间的各差值，以确定所述每行的各个代表子组；(iv)在每个所述代表子组的左侧部分内，将在预定范围内接近阈值的各值的坐标确定为各个最终左边界坐标，在每个所述代表子组的右侧部分内，将在预定范围内接近所述阈值的各值的坐标确定为各个最终右边界坐标。
在一个实施例中，在所述处理(II)中，所述处理器使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的各个所述车道线元素候选组，在所述处理(III)中，所述处理器使所述后处理模块对所述每行的各所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而确定所述每行的所述车道线元素候选组的偏差值的总和分别最大的各个最大和子阵列，并将各个所述最大和子阵列中的每个最左边的坐标和每个最右边的坐标确定为各个最终左边界坐标和各个最终右边界坐标。
在一个实施例中，在所述处理(II)中，所述处理器使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的各个所述车道线元素候选组，在所述处理(III)中，所述处理器使所述后处理模块对所述分割得分图应用所述预测运算，以分别检测所述每行的各个所述车道线元素候选组的各个最终左边界坐标和各个最终右边界坐标，并参考所述每行的各个所述车道线元素候选组的各个所述最终左边界坐标和各个所述最终右边界坐标来生成各个所述车道线元素。
发明效果
本发明具有通过使用横向滤波器掩膜来检测车道线元素、从而更容易地检测车道线的效果，其特征在于，车道线元素是输入图像中的包含车道线像素的单位区域。
另外，本发明具有提供更容易检测车道线元素的预测方法的效果。
附图说明
本发明的实施例的说明中所用的以下附图仅仅是本发明实施例中的一部分，本领域技术人员在不进行发明操作的情况下，也能够根据这些附图来得出其他附图。
图1是示出计算装置的构成的图，所述计算装置使用至少一个横向滤波器掩膜来检测一个以上的车道线元素，一个以上的车道线元素是至少一个输入图像中的包含一个以上的车道线像素的一个以上的单位区域。
图2是示出本发明的一实施例涉及的用于检测车道线元素的过程的流程图。
图3是示出本发明的一实施例涉及的至少一个分割得分图、横向滤波器掩膜和至少一个幅值图的示意图。
图4是示出本发明的一实施例涉及的车道线元素候选组的示意图。
图5是示出本发明的一实施例涉及的车道线元素的示意图。
具体实施方式
后述的关于本发明的具体实施方式，为了阐明本发明的目的、技术方案和优点，以本发明能够实施的特定的实施例为例，参考附图。对这些实施例进行了足够详细的描述，以使本领域技术人员能够实施本发明。
另外，在本发明的整个说明书和权利要求书中，词语“包括”及其变形并不旨在排除其他技术特征、附加物等、构成要素等或步骤等。对于本领域技术人员来说，本发明的其他目的、优点和特征的一部分可以从本说明书中得出、其他一部分从本发明的实施中得出。以下示例和附图是以举例说明的方式提供的，并不旨在限制本发明。
而且，本发明涵盖本说明书所示的实施例的所有可能的组合。应该理解的是，本发明的各种实施例虽然彼此不同，但并不是相互排斥的。例如，在不脱离本发明的精神和范围内，可以通过其他实施例来实现这里描述的特定形状、结构和特性。另外，应当理解的是，在不脱离本发明的精神和范围的情况下，可以改变每个公开的实施例中的各个构成要素的位置或配置。因此，以下的详细描述不应被视为具有限制意义，如果适当地描述，则本发明的范围仅由所附权利要求以及与这些权利要求所主张范围的等同的全部范围来限定。附图中相同的附图标记在若干方面中指相同或相似的功能。
本发明中提到的各种图像可以包括与铺砌或未铺砌道路相关的图像，并且在这种情况下，可以包括可能出现在道路环境中的对象(例如，如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物)，但并不限于此，并且本发明中提到的各种图像可以是与道路无关的图像(例如，与未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关的图像)，在这种情况下，可以象征可能出现在未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的对象(例如，如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物)，但并不限于此。
以下，为了使本领域技术人员能够容易地实施本发明，参考附图详细描述本发明的优选实施例。
图1是示出计算装置的构成的图，所述计算装置使用至少一个横向滤波器掩膜来检测一个以上的车道线元素，一个以上的车道线元素是至少一个输入图像中的包含一个以上的车道线像素的一个以上的单位区域。
参照图1，计算装置100可以包括卷积神经网络(Convolutional neural network：CNN)200和后处理模块300。
CNN 200和后处理模块300的输入和输出过程以及运算过程可以分别由通信部110和处理器120来执行。然而，在图1中，省略了通信部110和处理器120之间的详细连接关系。此外，该学习装置还可以包括能够存储用于执行后述的处理的计算机可读指令的存储器115。作为一例，处理器、存储器、介质(medium)等可以集成到一个处理器中来发挥作用。
已经说明了执行使用本发明的横向滤波器掩膜来检测车道线元素的方法的计算装置100的构成，其中，车道线元素是包含在输入图像中所包含的车道线像素的单位区域，将参照图2说明本发明涉及的用于检测车道线元素的方法。
图2是示出本发明的一实施例涉及的用于检测车道线元素的过程的流程图。
参照图2，若CNN 200从输入图像生成至少一个分割得分图，则通信部110可以获得该分割得分图(S01)。此后，后处理模块300可以使用分割得分图和横向滤波器掩膜来生成至少一个幅值图(magnitude map)(S02)。此后，后处理模块300可以参考幅值图来确定分割得分图的每行的一个以上的车道线元素候选组中的每一个(S03)。最后，后处理模块可以通过对每行的各车道线元素候选组应用一次以上的预测运算来检测一个以上的车道线元素(S04)。
已经描述了图2所示的本发明的一实施例涉及的用于检测车道元素的方法，将对其进行更详细地描述。
首先，若CNN 200从输入图像生成分割得分图，则计算装置100可以获得分割得分图。
可以通过由CNN 200对输入图像应用至少一次卷积运算和至少一次反卷积运算来生成分割分数图。
此后，计算装置100使后处理模块使用分割得分图和包括多个滤波参数的横向滤波器掩膜生成幅值图，该后处理模块在CNN 200的输出端执行数据处理。
横向滤波器掩膜的作用是通过转换分割得分图中所包含的值来生成包括转换后的值的幅值图。横向滤波器掩膜可以是[-1、0、1]的矩阵形式，但是不限于此。
参考图3查看本发明涉及的使用[-1、0、1]形式的横向滤波器掩膜来生成幅值图的过程。
参考图3，观察根据本发明的使用[-1、0、1]形式的横向滤波器掩膜来生成幅值图的过程。
图3是示出本发明的一实施例涉及的分割得分图、横向滤波器掩膜和幅值图的示意图。
参考图3，可以看出，分割得分图310的值和幅值图330的值是一一对应的。例如，可以看出，在分割得分图310上由虚线矩形表示的值0.3558和在幅值图330上由虚线矩形表示的值0.994彼此对应。此外，可以看出，对分割得分图310应用使用了横向滤波器掩膜320的一次以上的运算来生成幅值图330。
为了说明生成幅值图的值的过程，假定分割得分图的大小为m×n，包含在分割得分图上的第k行中的值的坐标为(x，k)，其中，k是大于或等于1且小于或等于n的整数，x是大于或等于1且小于或等于m的整数。
在此，(i)当x为大于或等于2且小于或等于m-1时，将包含在横向滤波器掩膜中的[-1、0、1]值分别与分割得分图上的(x-1，k)、(x，k)以及(x+1，k)相乘而生成的按照每个元素的相乘结果的元素总和分别作为幅值图中的(x，k)的每个值。(ii)当x为1时，将包含在横向滤波器掩膜中的[0，1]值分别与分割得分图上的(x，k)和(x+1，k)的值相乘而生成的按照每个元素的相乘结果的元素总和作为幅值图中的(x，k)的值。(iii)当x为m时，将包含在横向滤波器掩膜中的[-1，0]值分别与分割得分图上的(x-1，k)和(x，k)的值相乘而生成的按照每个元素的相乘结果的元素总和作为幅值图中的(x，k)的值。
执行该过程是为了预测车道线的边界。理想情况下，分割得分图的值在非车道线的像素中为0，在车道线的像素中为1。在这种情况下，当使用横向滤波器掩膜来计算幅值图的值时，在车道线的左边界处，计算为(-1,0,1)·(0,1,1)＝1，在车道线的右边界处，计算为(-1,0,1)·(1,1,0)＝-1。幅值图的值在车道线的内部计算为(-1,0,1)·(1,1,1)＝0，在车道线的外部计算为(-1,0,1)·(0,0,0)＝0。其结果是，当从幅值图上导出具有大的绝对值的值时，与此对应的像素将被确定为车道线的边界的像素。另外，通过确认其符号，可以确认是左边界还是右边界。
再次参照图3，可以知道，在幅值图330上用虚线矩形表示的值0.994是如上所述那样通过(-1,0,1)·(1.77e-04,0.3558,0.9942)＝0.994计算出的。可以看到，在这种情况下，参考将幅值图330视觉化的附图可以知道车道线边界被很好地检测出，其中，将接近于1的幅值图上的值由虚线表示、且将接近-1的幅值图上的值由实线表示。
若通过上述方式生成了表示车道线的预测边界的幅值图，则计算装置100可以使后处理模块300参考幅值图的值，确定分割得分图中的每行的各车道线元素候选组。
在这种情况下，计算装置100使后处理模块300参考分别与分割得分图的每行对应的幅值图的各值的绝对值和符号，检测每行的每个车道线元素候选组的各初始左边界坐标和初始右边界坐标，从而确定每行的每个车道线元素候选组。
以图3为例进行说明，幅值图330的中间行的值是1.76E-04、0.3558、0.994和0.6441。因为它们是对应于车道线的左边界的值，该值表示为正数，在幅值图330上接近1的最大值对应于接近左边界的像素。关于与右边界的像素相对应的值，绝对值与其相似，但是其值是负数。
此时，后处理模块300依次参考幅值图的值的绝对值，确定按行的最大值。在图3的幅值图330中，0.994是按行的最大值之一。按行的最大值对应于车道线元素候选组的初始左边界坐标和初始右边界坐标，并根据其符号来确定是对应于初始左边界坐标，还是对应于初始右边界坐标。当幅值图的按行的最大值为正数时，该按行的最大值对应于初始左边界坐标，而当幅值图的按行的最大值为负数时，该按行的最大值为初始右边界坐标。在图3中，在分割得分图310上的与0.994对应的位置是初始左边界坐标之一。这样，可以通过检测各左边界坐标和各右边界坐标来确定每行的各车道线元素候选组。
另一方面，计算装置100使后处理模块300参考每个调整后的左边界坐标和每个调整后的右边界坐标来确定每行的扩展车道线元素候选组。其中，确定为，每个调整后的左边界坐标距每行的各车道线元素候选组的中心的距离相当于从每行的各车道线元素候选组的中心到每个初始左边界坐标的距离的预定倍数，每个调整后的右边界坐标距每行的各车道线元素候选组的中心的距离相当于从每行的各车道线元素候选组的中心到每个初始右边界坐标的距离的预定倍数。图4是这种扩展车道线元素候选组的示例。
参照图4，可以看出，扩展车道线元素候选组被确定为比实际车道线的区域宽。通过确定扩展车道线元素候选组，通过后述的处理能够更准确地检测车道线元素。
若确定车道线元素候选组，则计算装置100可以使后处理模块300对每行的每个车道线元素候选者组应用预测运算，由此检测各车道线元素。
预测运算时可以应用各种方法。在本说明书中，将以三种方法作为示例，但是不限于此。
首先，计算装置100使后处理模块300对每行的各车道线元素候选组应用预测运算，执行预测运算，从而使得(i)针对每行的大于第一阈值的每个车道线元素候选组在分割得分图上的值中的最大值的每个坐标被确定为每行的每个车道线元素候选组的基准坐标；(ii)在基准坐标的左侧在预定范围内接近第二阈值的各值的坐标被确定为各个最终左边界坐标，在基准坐标的右侧在预定范围内接近第三阈值的各值的坐标被确定为各个最终右边界坐标。第二阈值和第三阈值可以相同，但不限于此。
基本上，分割得分图上的每个值代表相应像素是车道线像素之一的各概率。因此，预计可以参考与大概率值相对应的坐标来更准确地检测到车道线。
但是，分割得分图上的值可能具有的最大值为1，因此在每行的各车道线元素候选组的值中可能存在多个与最大值相对应的坐标。此时，位于每个车道线元素候选组的最中心的各坐标将被检测为各基准坐标。
为了检测各车道线元素候选组的各基准坐标而寻找最大值的方法有几种。以下，说明寻找最大值的示例性的方法。
计算装置100使后处理模块300将分割得分图的每行的各车道线元素候选组的值中大于第一阈值的值的坐标确定为各基准坐标候选组。之后，计算装置100使后处理模块300重复进行从各个基准坐标候选组的值中去除比位于各值的左侧或右侧的值小的部分值的处理，由此检测出各个基准坐标候选组的值中的最大值，并将与每个最大值对应的各个坐标确定为每行的各个车道线候选组的基准坐标。
接下来，说明预测运算的另一例子。计算装置100使后处理模块300参考关于预设的车道线宽度的信息来确定分割得分图的每行的每个样本宽度。然后，使用针对每行的各车道线元素候选组在分割得分图上的值来生成具有与每个样本宽度对应的宽度的各子组，并且，计算不包含在各子组中的分割得分图上的值的平均值与包含在各子组中的分割得分图上的值的平均值之间的各差值，以确定每行的各代表子组。另外，在每个代表子组的左侧部分内，将在预定范围内接近阈值的各值的坐标确定为各最终左边界坐标，在每个代表子组的右侧部分内，将在预定范围内接近阈值的各值的坐标确定为各最终右边界坐标。
不包含在各子组中的分割得分图上的值的平均值与包含在各子组中的分割得分图上的值的平均值之间的差值最大的组被确定为代表子组。因此，通过将对应于车道线的接近1的值从不对应于车道线的接近0的值中区分出来，可以更准确地检测车道线。以类似的方式，可以确定代表子组，以使得代表子组中所包括的值的方差最小，从而将车道线的像素与不是车道线的像素区分开，从而可以检测车道线。
接下来，说明预测运算的又一例子。计算装置100使后处理模块300对每行的各车道线元素候选组应用预测运算，并执行预测运算，确定每行的每个车道线元素候选组的偏差值的总和分别最大的各最大和子阵列(subarray)，将各最大和子阵列中的每个最左边的坐标和每个最右边的坐标确定为各最终左边界坐标和各最终右边界坐标。
即，每个车道线元素候选组的各偏差值是通过分别从每行的各车道线元素候选组的值中减去包含在各车道线元素候选组中的值的平均值来获得的值，各最大和子阵列是参考各车道线元素候选组的各偏差值来确定的。各平均值被计算为：对应于车道线的值和不对应于车道线的值的中间值，因此，各偏差为正数。因此，可以通过各最大和子阵列对车道线像素进行分组(grouping)。
可以使用Kadane算法(Kadane’s algorithm)来确定最大和子阵列，但是不限于此。
通过以上述方式应用预测运算，可以检测每行的各车道线元素候选组的每个最终左边界坐标和最终右边界坐标，由此可以生成各车道线元素。参照图5来说明什么是车道线元素。
图5是示出本发明的一实施例涉及的车道线元素的示意图。
参照图5，可以知道，车道线元素是输入图像中的包含车道线像素的单位区域。更具体地，可以知道，每个车道线元素是以X轴方向切割输入图像时、包含被切割的车道线的像素的各单位区域。
每个车道线元素包含与其中心坐标、左右边界坐标、宽度等相关的信息。每个车道线元素的中心坐标、左右边界坐标、宽度等信息可以参考各最终左边界坐标和各最终右边界坐标来生成，因此根据上述的本发明的方式可以检测到车道线元素。
当检测到每行的每个车道线元素时，可以通过对车道线元素进行分组和跟踪(tracing)来更准确地检测车道线。
通过根据本发明来检测车道线，由此行驶路线可以针对自动驾驶汽车进行优化。
本领域技术人员可以理解的是，上述中描述的图像、例如原始图像、原始标签和添加标签那样的图像数据的收发通过学习装置以及测试装置的通信部来进行，用于执行特征映射和运算的数据可以通过学习装置以及测试装置的处理器(和/或存储器)保留/维持，卷积运算、反卷积运算、损失值运算过程主要由学习装置以及测试装置的处理器来执行，但本发明不限于此。
上述根据本发明的实施例可以以程序指令的形式实现，该程序指令可以由各种计算机部件执行，并且可以记录在计算机可读记录介质中。计算机可读记录介质可以单独或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读记录介质上的程序指令可以是为本发明专门设计和配置的程序指令，或者可以是计算机软件领域的技术人员已知并可用的。计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学记录介质，诸如光磁软盘(floptical disk)的磁光介质(magneto-opticalmedia)、以及ROM、RAM、闪存等的特别构成为存储并执行程序指令的硬件装置。程序指令的示例不仅包括由编译器生成的机器代码，还包括可以由计算机使用解释器等执行的高级语言代码。硬件装置可以配置为作为一个或多个软件模块操作来执行根据本发明的处理，反之亦然。
尽管已经通过诸如特定部件和有限的实施例和附图的特定实施例来描述了本发明，但这些仅仅是为了更全面地理解本发明而提供的，本发明不限于上述实施例。对于本领域技术人员来说，可以从这些描述中进行各种修改和变更。
因此，本发明的宗旨不应限于上述实施例，并且不仅是后附权利要求，与这些权利要求等同或等价的变形也包括在本发明的宗旨的范围内。

Claims (20)

1.一种用于使用至少一个横向滤波器掩膜来检测一个或多个车道线元素的方法，所述一个或多个车道线元素是位于至少一个输入图像中的包含一个或多个车道线的像素的一个或多个单位区域，其特征在于，包括以下步骤：
(a)若卷积神经网络使用所述输入图像生成至少一个分割得分图，则计算装置获取所述分割得分图；
(b)所述计算装置使至少一个在卷积神经网络的输出端执行数据处理的后处理模块使用(i)所述分割得分图和(ii)包含多个滤波参数的所述横向滤波器掩膜来生成至少一个幅值图；
(c)所述计算装置使所述后处理模块参考所述幅值图的值，针对所述分割得分图的每行确定一个或多个车道线元素候选组；以及
(d)所述计算装置使所述后处理模块对所述每行的所述车道线元素候选组中的每一个应用一次以上的预测运算，检测出每个所述车道线元素。
2.根据权利要求1所述的方法，其特征在于，
在所述步骤(b)中，
所述计算装置使所述后处理模块通过使用所述横向滤波器掩膜转换所述分割得分图的值来生成所述幅值图。
3.根据权利要求2所述的方法，其特征在于，
当具有m×n大小的所述分割得分图上的第k行所包含的值的坐标为(x，k)时，所述计算装置使所述后处理模块通过计算所述幅值图上的(x，k)值，以生成大小等于所述分割得分图的幅值图，其中，k为1以上且n以下的整数，x为1以上且m以下的整数，
(i)当x为2以上且m-1以下时，将包含在所述横向滤波器掩膜中的[-1、0、1]值分别与所述分割得分图上的(x-1，k)、(x，k)以及(x+1，k)的值相乘而生成的按照每个元素的相乘结果的元素总和分别作为所述幅值图上的(x，k)的每个值；
(ii)当x为1时，将包含在所述横向滤波器掩膜中的[0，1]值分别与所述分割得分图上的(x，k)和(x+1，k)的值相乘而生成的按照每个元素的相乘结果的元素总和作为所述幅值图上的(x，k)的值；
(iii)当x为m时，将包含在所述横向滤波器掩膜中的[-1，0]值分别与所述分割得分图上的(x-1，k)和(x，k)的值相乘而生成的按照每个元素的相乘结果的元素总和作为所述幅值图上的(x，k)的值。
4.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)中，
所述计算装置使所述后处理模块参考与所述分割得分图的所述每行相对应的、包含在所述幅值图中的每个值的绝对值和符号，检测针对所述每行的所述车道线元素候选组中的每一个的初始左边界坐标和初始右边界坐标，以确定所述每行的所述车道线元素候选组。
5.根据权利要求4所述的方法，其特征在于，
所述计算装置使所述后处理模块参考每个调整后的左边界坐标和每个调整后的右边界坐标来确定针对所述每行的扩展车道线元素候选组，其中，确定为：每个调整后的左边界坐标距所述每行的各所述车道线元素候选组的中心的距离相当于从所述每行的各所述车道线元素候选组的中心到每个所述初始左边界坐标的距离的预定倍数，且每个调整后的右边界坐标距所述每行的各车道线元素候选组的中心的距离相当于从所述每行的各所述车道线元素候选组的中心到每个所述初始右边界坐标的距离的所述预定倍数。
6.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)中，
所述计算装置使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的每个所述车道线元素候选组，
在所述步骤(d)中，
所述计算装置使所述后处理模块对所述每行的各所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而使得：(i)针对所述每行的大于第一阈值的每个所述车道线元素候选组的所述分割得分图上的值中的最大值的每个坐标被确定为所述每行的每个所述车道线元素候选组的基准坐标；(ii)在所述基准坐标的左侧在预定范围内接近第二阈值的各值的坐标被确定为各个最终左边界坐标，在所述基准的右侧在预定范围内接近第三阈值的各值的坐标被确定为各个最终右边界坐标。
7.根据权利要求6所述的方法，其特征在于，
所述计算装置使所述后处理模块(i)将所述分割得分图的所述每行的各个所述车道线元素候选组的值中大于所述第一阈值的值的坐标确定为各个基准坐标候选组，(ii)重复进行从各个所述基准坐标候选组的值中去除比位于各值的左侧或右侧的值小的部分值的处理，由此检测出各个所述基准坐标候选组的值中的最大值，并将与每个所述最大值对应的各个坐标确定为所述每行的各个所述车道线候选组的所述基准坐标。
8.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)中，
所述计算装置使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的每个所述车道线元素候选组，
在所述步骤(d)中，
所述计算装置使所述后处理模块对所述每行的各个所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而使得：(i)参考与预设的车道线宽度相关的信息，确定所述分割得分图的所述每行的每个样本宽度；(ii)使用针对所述每行的各个所述车道线元素候选组的所述分割得分图上的值来生成具有与每个所述样本宽度对应的宽度的各个子组；(iii)计算不包含在各个所述子组中的所述分割得分图上的值的平均值与包含在各个所述子组中的所述分割得分图上的值的平均值之间的各差值，以确定所述每行的各个代表子组；(iv)在每个所述代表子组的左侧部分内，将在预定范围内接近阈值的各值的坐标确定为各个最终左边界坐标，在每个所述代表子组的右侧部分内，将在预定范围内接近阈值的各值的坐标确定为各个最终右边界坐标。
9.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)中，
所述计算装置使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的各个所述车道线元素候选组，
在所述步骤(d)中，
所述计算装置使所述后处理模块对所述每行的各所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而确定所述每行的所述车道线元素候选组的偏差值的总和分别最大的各个最大和子阵列，并将各个所述最大和子阵列中的每个最左边的坐标和每个最右边的坐标确定为各个最终左边界坐标和各个最终右边界坐标。
10.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)中，
所述计算装置使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的各个所述车道线元素候选组，
在所述步骤(d)中，
所述计算装置使所述后处理模块对所述分割得分图应用所述预测运算，以分别检测所述每行的各个所述车道线元素候选组的各个最终左边界坐标和各个各最终右边界坐标，并参考所述每行的各个所述车道线元素候选组的各个最终左边界坐标和各个最终右边界坐标来生成各个所述车道线元素。
11.一种计算装置，用于使用至少一个横向滤波器掩膜来检测一个或多个车道线元素，所述一个或多个车道线元素是位于至少一个输入图像中的包含一个或多个车道线的像素的一个或多个单位区域，所述计算装置的特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被构成为执行所述指令，所述指令用于执行以下处理：
(I)若卷积神经网络使用所述输入图像生成至少一个分割得分图，则使至少一个在卷积神经网络的输出端执行数据处理的后处理模块使用(i)所述分割得分图和(ii)包含多个滤波参数的所述横向滤波器掩膜来生成至少一个幅值图；
(II)使所述后处理模块参考所述幅值图的值，针对所述分割得分图的每行确定一个或多个车道线元素候选组中的每一个；以及
(III)使所述后处理模块对所述每行的所述车道线元素候选组中的每一个应用一次以上的预测运算，检测出每个所述车道线元素。
12.根据权利要求11所述的计算装置，其特征在于，
在所述处理(I)中，
所述处理器使所述后处理模块通过使用所述横向滤波器掩膜转换所述分割得分图的值来生成所述幅值图。
13.根据权利要求12所述的计算装置，其特征在于，
当具有m×n大小的所述分割得分图上的第k行所包含的值的坐标为(x，k)时，所述处理器使所述后处理模块通过计算所述幅值图上的(x，k)值，以生成大小等于所述分割得分图的幅值图，其中，k为1以上且n以下的整数，x为1以上且m以下的整数，
(i)当x为2以上且m-1以下时，将包含在所述横向滤波器掩膜中的[-1、0、1]值分别与所述分割得分图上的(x-1，k)、(x，k)、以及(x+1，k)的值相乘而生成的按照每个元素的相乘结果的元素总和分别作为所述幅值图上的(x，k)的每个值；
(ii)当x为1时，将包含在所述横向滤波器掩膜中的[0，1]值分别与所述分割得分图上的(x，k)和(x+1，k)的值相乘而生成的按照每个元素的相乘结果的元素总和作为所述幅值图上的(x，k)的值；
(iii)当x为m时，将包含在所述横向滤波器掩膜中的[-1，0]值分别与所述分割得分图上的(x-1，k)和(x，k)的值相乘而生成的按照每个元素的相乘结果的元素总和作为所述幅值图中的(x，k)的值。
14.根据权利要求11所述的计算装置，其特征在于，
在所述处理(II)中，
所述处理器使所述后处理模块参考与所述分割得分图的所述每行相对应的、包含在所述幅值图中的每个值的绝对值和符号，检测针对所述每行的所述车道线元素候选组中的每个的初始左边界坐标和初始右边界坐标，以确定所述每行的所述车道线元素候选组。
15.根据权利要求14所述的计算装置，其特征在于，
所述处理器使所述后处理模块参考每个调整后的左边界坐标和每个调整后的右边界坐标来确定针对所述每行的扩展车道线元素候选组，其中，确定为：每个调整后的左边界坐标距所述每行的各所述车道线元素候选组的中心的距离相当于从所述每行的各所述车道线元素候选组的中心到每个所述初始左边界坐标的距离的预定倍数，且每个调整后的右边界坐标距所述每行的各所述车道线元素候选组的中心的距离相当于从所述每行的各所述车道线元素候选组的中心到每个所述初始右边界坐标的距离的所述预定倍数。
16.根据权利要求11所述的计算装置，其特征在于，
在所述处理(II)中，
所述处理器使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的每个所述车道线元素候选组，
在所述处理(III)中，
所述处理器使所述后处理模块对所述每行的各所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而使得：(i)针对所述每行的大于第一阈值的每个所述车道线元素候选组的所述分割得分图上的值中的最大值的每个坐标被确定为所述每行的每个所述车道线元素候选组的基准坐标；(ii)在所述基准的左侧在预定范围内接近第二阈值的各值的坐标被确定为各最终左边界坐标，在所述基准的右侧在预定范围内接近第三阈值的各值的坐标被确定为各最终右边界坐标。
17.根据权利要求16所述的计算装置，其特征在于，
所述处理器使所述后处理模块(i)将所述分割得分图的所述每行的各个所述车道线元素候选组的值中大于所述第一阈值的值的坐标确定为各个基准坐标候选组，(ii)重复进行从各个所述基准坐标候选组的值中去除比位于各值的左侧或右侧的值小的部分值的处理，由此检测出各个所述基准坐标候选组的值中的最大值，并将与每个所述最大值对应的各个坐标确定为所述每行的各个所述车道线候选组的所述基准坐标。
18.根据权利要求11所述的计算装置，其特征在于，
在所述处理(II)中，
所述处理器使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对每行的每个所述车道线元素候选组，
在所述处理(III)中，
所述处理器使所述后处理模块对所述每行的各所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而使得：(i)参考与预设的车道线宽度相关的信息，确定所述分割得分图的所述每行的每个样本宽度；(ii)使用针对所述每行的各个所述车道线元素候选组的所述分割得分图上的值来生成具有与每个所述样本宽度对应的宽度的各个子组；(iii)计算不包含在各个所述子组中的所述分割得分图上的值的平均值与包含在各个所述子组中的所述分割得分图上的值的平均值之间的各差值，以确定所述每行的各个代表子组；(iv)在每个所述代表子组的左侧部分内，将在预定范围内接近阈值的各值的坐标确定为各个最终左边界坐标，在每个所述代表子组的右侧部分内，将在预定范围内接近所述阈值的各值的坐标确定为各个最终右边界坐标。
19.根据权利要求11所述的计算装置，其特征在于，
在所述处理(II)中，
所述处理器使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的各个所述车道线元素候选组，
在所述处理(III)中，
所述处理器使所述后处理模块对所述每行的各所述车道线元素候选组应用所述预测运算，所述预测运算被执行，从而确定所述每行的所述车道线元素候选组的偏差值的总和分别最大的各个最大和子阵列，并将各个所述最大和子阵列中的每个最左边的坐标和每个最右边的坐标确定为各个最终左边界坐标和各个最终右边界坐标。
20.根据权利要求11所述的计算装置，其特征在于，
在所述处理(II)中，
所述处理器使所述后处理模块检测每个所述车道线元素候选组的每个初始左边界坐标和每个初始右边界坐标，由此确定针对所述每行的各个所述车道线元素候选组，
在所述处理(III)中，
所述处理器使所述后处理模块对所述分割得分图应用所述预测运算，以分别检测所述每行的各个所述车道线元素候选组的各个最终左边界坐标和各个最终右边界坐标，并参考所述每行的各个所述车道线元素候选组的各个所述最终左边界坐标和各个所述最终右边界坐标来生成各个所述车道线元素。
CN202010036227.7A 2019-01-31 2020-01-14 使用横向滤波器掩膜来检测车道线元素的方法和装置 Active CN111507154B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/263,123 2019-01-31
US16/263,123 US10373004B1 (en) 2019-01-31 2019-01-31 Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Publications (2)

Publication Number Publication Date
CN111507154A true CN111507154A (zh) 2020-08-07
CN111507154B CN111507154B (zh) 2023-10-17

Family

ID=67477497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010036227.7A Active CN111507154B (zh) 2019-01-31 2020-01-14 使用横向滤波器掩膜来检测车道线元素的方法和装置

Country Status (5)

Country Link
US (1) US10373004B1 (zh)
EP (1) EP3690706A1 (zh)
JP (1) JP6856852B2 (zh)
KR (1) KR102224778B1 (zh)
CN (1) CN111507154B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648527B (zh) * 2019-08-20 2021-05-11 浙江工业大学 一种基于深度学习模型的交通速度预测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100014713A1 (en) * 2008-07-18 2010-01-21 Gm Global Technology Operations, Inc. Road-lane marker detection
WO2012011713A2 (ko) * 2010-07-19 2012-01-26 주식회사 이미지넥스트 차선 인식 시스템 및 방법
US20130120125A1 (en) * 2011-11-16 2013-05-16 Industrial Technology Research Institute Method and system for lane departure warning
US20170124415A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Subcategory-aware convolutional neural networks for object detection
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US20180188059A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Line Creation for High Definition Maps for Autonomous Vehicles
CN108268866A (zh) * 2016-12-30 2018-07-10 纵目科技（上海）股份有限公司 一种车辆检测方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012111010A1 (de) * 2012-11-15 2014-06-12 Eads Deutschland Gmbh Verfahren und Vorrichtung zur bildgestützten Landebahnlokalisierung
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
US10373002B2 (en) * 2017-03-31 2019-08-06 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines
US10209089B2 (en) * 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100014713A1 (en) * 2008-07-18 2010-01-21 Gm Global Technology Operations, Inc. Road-lane marker detection
WO2012011713A2 (ko) * 2010-07-19 2012-01-26 주식회사 이미지넥스트 차선 인식 시스템 및 방법
US20130120125A1 (en) * 2011-11-16 2013-05-16 Industrial Technology Research Institute Method and system for lane departure warning
US20170124415A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Subcategory-aware convolutional neural networks for object detection
US20180188059A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Line Creation for High Definition Maps for Autonomous Vehicles
CN108268866A (zh) * 2016-12-30 2018-07-10 纵目科技（上海）股份有限公司 一种车辆检测方法和系统
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIHUN KIM ET AL.: "Fast learning method for convolutional neural networks using extreme learning machine and its application to lane detection" *
MINGU PARK ET AL.: "Diagonally-reinforced lane detection scheme for high performance advanced driver assistance systems" *
YANG YANG YE ET AL.: "Lane detection method based on lane structural analysis and CNNs" *

Also Published As

Publication number Publication date
US10373004B1 (en) 2019-08-06
EP3690706A1 (en) 2020-08-05
KR20200095329A (ko) 2020-08-10
KR102224778B1 (ko) 2021-03-08
JP6856852B2 (ja) 2021-04-14
JP2020126609A (ja) 2020-08-20
CN111507154B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102373456B1 (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN111507150B (zh) 利用基于深度神经网络的多重图像块组合识别人脸的方法
KR20200027428A (ko) 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10423840B1 (en) Post-processing method and device for detecting lanes to plan the drive path of autonomous vehicle by using segmentation score map and clustering map
CN111008626B (zh) 基于r-cnn检测客体的方法和装置
CN111476343B (zh) 利用掩蔽参数的方法和装置
EP3686782A1 (en) Learning method and learning device for object detector using target object estimating network and target object merging network, and testing method and testing device using the same
US10551845B1 (en) Method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same
CN110879960B (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
KR102279388B1 (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200091318A (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
EP3690725A1 (en) Method and device for seamless parameter switch by using location-specific algorithm selection to achieve optimized autonomous driving in each of regions
EP3686795A1 (en) Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
EP3690744A1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
EP3690756A1 (en) Learning method and learning device for updating hd map by reconstructing 3d space by using depth estimation information and class information on each object, which have been acquired through v2x information integration technique, and testing method and testing device using the same
EP3686842A1 (en) Learning method, learning device, testing method and testing device
CN110909588B (zh) 基于cnn的用于车道线检测的方法和装置
CN111507154B (zh) 使用横向滤波器掩膜来检测车道线元素的方法和装置
CN114830185A (zh) 借助于神经网络的位置确定
CN116310304A (zh) 一种水域图像分割的方法及其分割模型的训练方法、介质
CN117649635B (zh) 狭窄水道场景影消点检测方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant