CN110889318A - 利用cnn的车道检测方法和装置 - Google Patents

利用cnn的车道检测方法和装置 Download PDF

Info

Publication number
CN110889318A
CN110889318A CN201910813373.3A CN201910813373A CN110889318A CN 110889318 A CN110889318 A CN 110889318A CN 201910813373 A CN201910813373 A CN 201910813373A CN 110889318 A CN110889318 A CN 110889318A
Authority
CN
China
Prior art keywords
cluster
lane
test
learning
lanes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910813373.3A
Other languages
English (en)
Other versions
CN110889318B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN110889318A publication Critical patent/CN110889318A/zh
Application granted granted Critical
Publication of CN110889318B publication Critical patent/CN110889318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种用于使用CNN来检测至少一个车道的学习方法和学习装置及利用该学习方法和学习装置的测试方法和测试装置。该学习方法包括：(a)学习装置使一个以上的卷积层通过对选自至少一个图像数据组的输入图像应用一次以上的卷积运算而生成一个以上的特征图；(b)学习装置通过将由卷积层输出的特征图中的特定特征图提供给FC层而使FC层生成输入图像内的车道的群集ID分类的预测结果向量；以及(c)学习装置使损失层以群集ID分类的预测结果向量及群集ID GT向量为参考来生成至少一个分类损失，并且反向传播该分类损失，从而使CNN的装置参数最优化，其中群集ID GT向量是关于成为群集组中的各个群集组的群集ID的概率的GT信息。

Description

利用CNN的车道检测方法和装置
技术领域
本发明涉及一种用于使用CNN(Convolutional Neural Network，卷积神经网络)来检测至少一个车道的学习方法和学习装置以及利用该学习方法和学习装置的测试方法和测试装置。更详细而言，涉及一种学习方法和学习装置以及以该学习方法和学习装置为基础的测试方法和测试装置，该学习方法的特征在于，包括以下步骤：(a)学习装置使一个以上的卷积层通过对选自至少一个图像数据组的输入图像应用一次以上的卷积运算而生成一个以上的特征图；(b)所述学习装置通过将由所述卷积层输出的所述特征图中的特定特征图提供给FC层而使所述FC层生成所述输入图像内的所述车道的群集ID分类的预测结果向量；以及(c)所述学习装置使损失层以所述群集ID分类的所述预测结果向量及群集IDGT向量为参考来生成至少一个分类损失，并且反向传播所述分类损失，从而使所述CNN的装置参数(device parameters)最优化，所述群集ID GT向量是关于成为群集组中的各个群集组的群集ID的概率的GT信息，所述群集组通过对以所述输入图像内的所述车道的信息为基础获取的函数参数进行聚类而被指定给车道建模函数的所述函数参数。
背景技术
深度学习是用于将事物或数据聚类或分类的技术。例如，计算机无法单凭照片区分狗和猫，而人可以轻易区分。为此研发了所谓“机器学习(Machine Learning)”的方法。这是一种将很多数据输入到计算机，并将类似数据进行分类的技术。如果输入与储存的狗照片类似的照片，则计算机就会将其分类为狗照片。
有关如何分类数据，已有了很多机器学习算法，如“决策树”或“贝叶斯网络”、“支持向量机(SVM)”、“人工神经网络”等为代表。其中，深度学习是人工神经网络的后裔。
深度卷积神经网络(Deep Convolutional Neural Network；Deep CNN)可谓深层学习领域的飞速发展核心。为了解决文字识别问题，早在90年代就已经使用了CNN，而像现在如此广泛应用，得益于最近的研究成果。这样的深度CNN在2012年ImageNet图像分类大赛中战胜了其他竞争者，赢得了冠军。然后，卷积神经网络成为了Machine Learning领域中非常有用的工具。
图1是现有技术中利用深度CNN要在照片中检测的各种输出的图。
具体而言，分类(Classification)是识别要从照片检测出的类的类型(例如，如图1所示，识别检测出的个体是人、羊还是狗)的检测方法，检测(Detection)是将要从照片检测出的类的所有个体以分别包含在边界框的形式进行检测的方法，分割(Segmentation)是在照片中将特定个体区域区别于其他个体区域而进行分割的方法。随着近来深度学习(Deep learning)技术备受瞩目，分类、检测及分割也趋于大量使用深度学习。
图2是简略示出利用CNN的现有技术中的车道检测方法的图，图3是简略示出一般性CNN分割过程的图。
首先，如图3所示，根据现有技术的车道检测方法，学习装置接收输入图像，并通过在多个卷积层执行多次卷积运算和ReLU等非线性运算来获得特征图，再对此特征图在反卷积层执行多次反卷积运算，并执行根据归一化指数(SoftMax)的运算，从而获得分割结果。
另外，如图2所示，在现有技术中，用于车道检测的分割结果如图2中间所示，由车道(lane)和背景(background)两种构成。这样的车道相关的分割结果来自概率估计(Probability Estimation)。在如此生成的车道候选像素中，对是车道的概率高的各个像素进行采样，找到车道后，利用基于找到的车道像素获得的车道模型函数，确定最终车道。
但是，这种根据现有技术的检测方法由于需要在输入图像中的所有像素中区分相应像素是否为车道而存在运算量大的问题。
发明内容
本发明的目的在于解决所有上述问题。
本发明的另一目的在于在输入图像中检测车道时，提供与现有技术方法相比运算量更小的方法。
另外，本发明的又另一目的在于提供能够学习车道模型的CNN学习方法。
另外，本发明的又另一目的在于利用车道模型准确检测车道的方法。
根据本发明的一方面，提供一种用于使用CNN(Convolutional Neural Network，卷积神经网络)来检测至少一个车道的学习方法，包括以下步骤：(a)学习装置使一个以上的卷积层通过对选自至少一个图像数据组的输入图像应用一次以上的卷积运算而生成一个以上的特征图；(b)所述学习装置通过将由所述卷积层输出的所述特征图中的特定特征图提供给FC层而使所述FC层生成所述输入图像内的所述车道的群集ID分类的预测结果向量；以及(C)所述学习装置使损失层以所述群集ID分类的所述预测结果向量及群集ID GT向量为参考来生成至少一个分类损失，并且反向传播所述分类损失，从而使所述CNN的装置参数(device parameters)最优化，所述群集ID GT向量是关于成为群集组中的各个群集组的群集ID的概率的GT信息，所述群集组通过对以所述输入图像内的所述车道的信息为基础获取的函数参数进行聚类而被指定给车道建模函数的所述函数参数。
在一实施例中，提供一种学习方法，其特征在于，所述群集ID GT向量为具有K+1维度的向量，(i)在判断为所述输入图像上存在所述车道的情况下，如果在所述输入图像的所述车道中存在属于作为K个所述群集ID中的特定群集ID的Ck的特定车道，则用1填满所述群集ID GT向量的第k维度，用0填满与所述群集ID中的不存在于所述输入图像的其他各个群集ID对应的所述群集ID GT向量的其他维度，并且用0填满所述群集ID GT向量的第K+1维度，(ii)在判断为所述输入图像上不存在所述车道的情况下，用0填满所述群集ID GT向量的第1维度至第K个维度，用1填满所述群集ID GT向量的所述K+1维度，k为1至K的整数，在所述(c)步骤中，所述群集ID分类的所述预测结果向量为具有K+1维度的向量。
在一实施例中，提供一种学习方法，其特征在于，在所述车道Li,j中的各个车道分别包含在所述群集组中的与其对应的一个群集组Ck中且用k表示包含在与所述各个车道Li,j对应的所述群集ID中的各个群集ID的状态下，所述各个群集组具有关于包含在所述各个群集组中的所述各个车道的所述函数参数的各个平均值
Figure BDA0002185658740000041
作为各个群集组代表值θk，所述学习方法还包括以下步骤：(d)所述学习装置生成与所预测的各个群集ID对应的所述各个群集组代表值或者支持其他装置生成该所述各个群集组代表值，并且确定由所述各个群集组代表值θk表达的各个所预测车道或者支持其他装置确定该各个所预测车道。
在一实施例中，提供一种学习方法，其特征在于，利用所预测的群集ID中的至少一部分来算出所述各个群集组代表值，并且以关于所述结果向量的各向量分量是否大于已设定的值的信息为参考，确定所预测的群集ID的所述至少一部分。
在一实施例中，提供一种学习方法，其特征在于，还包括以下步骤：(e)所述学习装置以所述GT车道中的任一GT车道的坐标是否从所述各个所预测车道的坐标在与x轴平行的两侧的任意方向上存在于规定像素数量以内的区域为基础，算出表示在所述各个所预测车道的周边是否存在所述GT车道中的任一GT车道的至少一个存在损失(existence loss)或者支持其他装置算出该存在损失；(f)在所述各个所预测车道的周边识别出所述GT车道中的任一GT车道的情况下，所述学习装置以所述各个所预测车道的各个像素f(y|θk)，y和与所述各个所预测车道分别对应的所述GT车道的各个像素xGT，y之间的各距离差xGT-f(y|θk)为参考来算出至少一个距离回归损失或者支持其他装置算出该至少一个距离回归损失；(g)所述学习装置通过反向传播所述存在损失及所述距离回归损失或者支持其他装置反向传播所述存在损失及所述距离回归损失而使所述CNN的所述装置参数最优化。
在一实施例中，提供一种学习方法，其特征在于，在所述(e)步骤之前，还包括以下步骤：(e0)所述学习装置从所述特定特征图中提取表示所述各个所预测车道的所述像素f(y|θk)，y周边的各个区域的至少一个区域特征(areal features)中的各个区域特征或者支持其他装置提取该各个区域特征，其中，以所提取的区域特征为基础算出所述存在损失及所述距离回归损失。
在一实施例中，提供一种学习方法，其特征在于，在所述(e)步骤中，使用交叉熵来算出所述存在损失，在所述(f)步骤中，使用至少一个欧几里得距离回归损失来算出所述距离回归损失。
根据本发明的另一方面，提供一种能够利用车道模型(lane model)来检测至少一个车道的CNN(Convolutional Neural Network，卷积神经网络)的测试方法，其特征在于，包括以下步骤：(a)在使用所述CNN的学习装置获取到经过以下过程学习到的所述学习装置的参数的状态下，利用所述学习装置的参数的测试装置获取测试图像或者支持其他装置获取该测试图像，(i)使一个以上的卷积层通过对选自至少一个学习用图像数据组的学习用输入图像应用一次以上的卷积运算而生成一个以上的学习用特征图；(ii)通过将由所述卷积层输出的所述学习用特征图中的学习用特定特征图提供给FC层，从而使所述FC层生成所述学习用输入图像内的所述车道的学习用群集ID分类的预测结果向量，并且使损失层以所述学习用群集ID分类的所述预测结果向量及群集ID GT向量为参考来生成至少一个分类损失；(iii)生成与预测的各个学习用群集ID对应的各个学习用群集组代表值θk，并且确定由所述各个学习用群集组代表值表达的各个学习用预测车道；(iv)以GT车道中的任一GT车道的坐标是否从所述各个学习用预测车道的坐标在与x轴平行的两侧的任意方向上存在于规定像素数量以内的区域为基础，算出表示在各个所预测车道的周边是否存在所述GT车道中的任一GT车道的至少一个存在损失(existence loss)；(v)在所述各个学习用预测车道的周边识别出所述GT车道中的任一GT车道的情况下，以所述各个学习用预测车道的像素f(y|θk)，y和与所述各个所预测车道分别对应的所述GT车道中的各个GT车道的像素(xGT，y)之间的各距离差xGT-f(y|θk)为参考，算出至少一个距离回归损失；和(vi)通过反向传播所述分类损失、所述存在损失及所述距离回归损失，从而使所述CNN的所述装置参数最优化；(b)所述测试装置通过对所述测试图像应用卷积运算而生成至少一个测试用特征图或者支持其他装置通过对所述测试图像应用卷积运算而生成至少一个测试用特征图；(c)所述测试装置通过将所述测试用特征图中的特定测试用特征图提供给所述FC(Fully Connected，全连接)层，从而使所述FC层生成所述测试图像内的所述车道的测试用群集ID分类的结果向量，所述测试用群集ID分类的结果向量包含至少一个对所述车道中的各个车道预测的测试用群集ID；以及(d)所述测试装置生成与所预测的各个测试用群集ID对应的各个测试用群集组代表值，并且确定由各个所述测试用群集组代表值θk表达所述车道的各形状的所预测的各个测试用车道，所述群集ID GT向量是关于成为群集组中的各个群集组的学习用群集ID的概率的GT信息，所述群集组通过对以所述学习用输入图像内的所述车道的信息为基础获得的函数参数进行聚类而被指定给车道建模函数的所述函数参数，在所述各个车道Li,j分别包含在所述测试用群集组中的与其对应的一个测试用群集组Ck中且分别用k(k为1至K之间的值)表示与所述各个车道Li,j对应的所述测试用群集ID的状态下，所述测试用群集组中的各个测试用群集组具有关于包含在所述各个测试用群集组中的所述各个车道的所述函数参数的各个平均值
Figure BDA0002185658740000061
作为各个测试用群集组代表值θk。
在一实施例中，提供一种测试方法，其特征在于，还包括以下步骤：(e)所述测试装置从所述特定测试用特征图中提取表示各个测试用预测车道的所述像素f(y|θk)，y周边的各个区域的至少一个区域特征(areal features)中的各个区域特征或者支持其他装置提取该各个区域特征；(f)所述测试装置以实际车道的坐标是否从所述各个测试用预测车道的坐标在与x轴平行的方向上存在于规定像素数量以内的区域为基础，判断所述实际车道中的一个车道是否存在于所述各个测试用预测车道的周边，并且在周边存在所述实际车道中的一个车道时，计算所述实际车道中的一个坐标与所述测试用预测车道的坐标之间的各个距离或者支持其他装置计算该各个距离；以及(g)所述测试装置通过使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道或者支持其他装置确定该移动后的测试用预测车道。
在一实施例中，提供一种测试方法，其特征在于，在所述(d)步骤中，所述各个测试用群集组代表值通过使用所预测的测试用群集ID中的至少一部分来获取，其中，所预测的测试用群集ID中的所述至少一部分以关于所预测的测试用群集ID分类的所述结果向量中的各向量的分量是否大于已设定的值的信息为参考而被确定。
根据本发明的又一方面，提供一种用于使用CNN(Convolutional NeuralNetwork)来检测至少一个车道的学习装置，其特征在于，包括：通信部，获取选自至少一个图像数据组的输入图像或者支持其他装置获取该输入图像；以及处理器，执行以下过程：(i)使一个以上的卷积层通过对所述输入图像应用一次以上的卷积运算而生成一个以上的特征图；(ii)通过将由所述卷积层输出的所述特征图中的特定特征图提供给FC层，从而使所述FC层生成所述输入图像内的所述车道的群集ID分类的预测结果向量；和(iii)使损失层以所述群集ID分类的所述预测结果向量及群集ID GT向量为参考来生成至少一个分类损失，并且通过反向传播所述分类损失，从而使所述CNN的装置参数(device parameters)最优化，所述群集ID GT向量是关于成为群集组中的各个群集组的群集ID的概率的GT信息，所述群集组通过对以所述输入图像内的所述车道的信息为基础获取的函数参数进行聚类而被指定给车道建模函数的所述函数参数。
在一实施例中，提供一种学习装置，其特征在于，所述群集ID GT向量为具有K+1维度的向量，(I)在判断为所述输入图像上存在所述车道的情况下，如果在所述输入图像的所述车道中存在属于作为K个所述群集ID中的特定群集ID的Ck的特定车道，则用1填满所述群集ID GT向量的第k维度，用0填满与所述群集ID中的不存在于所述输入图像的其他各个群集ID对应的所述群集ID GT向量的其他维度，并且用0填满所述群集ID GT向量的第K+1维度，(II)在判断为所述输入图像上不存在所述车道的情况下，用0填满所述群集ID GT向量的第1维度至第K维度，用1填满所述群集ID GT向量的所述K+1维度，k为1至K的整数，在所述(iii)过程中，所述群集ID分类的所述预测结果向量为具有K+1维度的向量。
在一实施例中，提供一种学习装置，其特征在于，在所述车道Li,j中的各个车道分别包含在所述群集组中的与其对应的一个群集组Ck中且用k表示包含在与所述各个车道Li,j对应的所述群集ID中的各个群集ID的状态下，所述各个群集组具有关于包含在所述各个群集组中的所述各个车道的所述函数参数的各个平均值
Figure BDA0002185658740000071
作为各个群集组代表值θk，所述处理器进一步执行以下过程：(iv)生成与所预测的各个群集ID对应的所述各个群集组代表值或者支持其他装置生成该所述各个群集组代表值，并且确定由所述各个群集组代表值θk表达的各个所预测车道或者支持其他装置确定该各个所预测车道。
在一实施例中，提供一种学习装置，其特征在于，利用所预测的群集ID中的至少一部分来算出所述各个群集组代表值，并且以关于所述结果向量的各向量分量是否大于已设定的值的信息为参考，确定所预测的群集ID的所述至少一部分。
在一实施例中，提供一种学习装置，其特征在于，所述处理器进一步执行以下过程：(v)以所述GT车道中的任一GT车道的坐标是否从所述各个所预测车道的坐标在与x轴平行的两侧的任意方向上存在于规定像素数量以内的区域为基础，算出表示在所述各个所预测车道的周边是否存在所述GT车道中的任一GT车道的至少一个存在损失(existenceloss)或者支持其他装置算出该存在损失；(vi)在所述各个所预测车道的周边识别出所述GT车道中的任一GT车道的情况下，以所述各个所预测车道的各个像素(f(y|θk)，y)和与所述各个所预测车道分别对应的所述GT车道的各个像素(xGT，y)之间的各距离差(xGT-f(y|θk))为参考来算出至少一个距离回归损失或者支持其他装置算出该至少一个距离回归损失；(vii)通过反向传播所述存在损失及所述距离回归损失或者支持其他装置反向传播所述存在损失及所述距离回归损失而使所述CNN的所述装置参数最优化。
在一实施例中，提供一种学习装置，其特征在于，在所述(v)过程之前，进一步执行以下过程：(v0)从所述特定特征图中提取表示所述各个所预测车道的所述像素(f(y|θk)，y)周边的各个区域的至少一个区域特征(areal features)中的各个区域特征或者支持其他装置提取该各个区域特征，其中，以所提取的区域特征为基础算出所述存在损失及所述距离回归损失。
在一实施例中，提供一种学习装置，其特征在于，在所述(v)过程中，使用交叉熵来算出所述存在损失，在所述(vi)过程中，使用至少一个欧几里得距离回归损失来算出所述距离回归损失。
根据本发明的又一方面，提供一种能够利用车道模型(lane model)来检测至少一个车道的CNN(Convolutional Neural Network)的测试装置，其特征在于，包括：通信部，(I)在使用所述CNN的学习装置获取到经过以下过程学习到的所述学习装置的参数的状态下，获取测试图像或者支持其他装置获取该测试图像，(i)使一个以上的卷积层通过对选自至少一个学习用图像数据组的学习用输入图像应用一次以上的卷积运算而生成一个以上的学习用特征图；(ii)将由所述卷积层输出的所述学习用特征图中的学习用特定特征图提供给FC层，从而使所述FC层生成所述学习用输入图像内的所述车道的学习用群集ID分类的预测结果向量，并且使损失层以所述学习用群集ID分类的所述预测结果向量及群集ID GT向量为参考来生成至少一个分类损失；(iii)生成与预测的各个学习用群集ID对应的各个学习用群集组代表值θk，并且确定由所述各个学习用群集组代表值表达的各个学习用预测车道；(iv)以GT车道中的任一GT车道的坐标是否从所述各个学习用预测车道的坐标在与x轴平行的两侧的任意方向上存在于规定像素数量以内的区域为基础，算出表示在各个所预测车道的周边是否存在所述GT车道中的任一GT车道的至少一个存在损失(existenceloss)；(v)在所述各个学习用预测车道的周边识别出所述GT车道中的任一GT车道的情况下，以所述各个学习用预测车道的像素(f(y|θk)，y)和与所述各个所预测车道分别对应的所述GT车道中的各个GT车道的像素(xGT，y)之间的各距离差(xGT-f(y|θk))为参考，算出至少一个距离回归损失；和(vi)通过反向传播所述分类损失、所述存在损失及所述距离回归损失，从而使所述CNN的所述装置参数最优化；以及处理器，执行以下过程：(II)通过对所述测试图像应用卷积运算而生成至少一个测试用特征图或者支持其他装置通过对所述测试图像应用卷积运算而生成至少一个测试用特征图；(III)通过将所述测试用特征图中的特定测试用特征图提供给所述FC(Fully Connected，全连接)层，从而使所述FC层生成用于测试的所述测试图像内的所述车道的测试用群集ID分类的结果向量，所述测试用群集ID分类的结果向量包含至少一个对所述车道中的各个车道预测的测试用群集ID；以及(IV)生成与所预测的各个测试用群集ID对应的各个测试用群集组代表值θk，并且确定由所述各个测试用群集组代表值表达所述车道的各形状的所预测的各个测试用车道，所述群集ID GT向量是关于成为群集组中的各个群集组的学习用群集ID的概率的GT信息，所述群集组通过对以所述学习用输入图像内的所述车道的信息为基础获得的函数参数进行聚类而被指定给车道建模函数的所述函数参数，在所述各个车道Li,j分别包含在所述测试用群集组中的与其对应的一个测试用群集组Ck中且分别用k(k为1至K之间的值)表示与所述各个车道Li,j对应的所述测试用群集ID的状态下，所述测试用群集组中的各个测试用群集组具有关于包含在所述各个测试用群集组中的所述各个车道的所述函数参数的各个平均值
Figure BDA0002185658740000091
作为各个测试用群集组代表值θk。
在一实施例中，提供一种测试装置，其特征在于，所述处理器进一步执行以下过程：(v)从所述特定测试用特征图中提取表示各个测试用预测车道的所述像素f(y|θk)，y周边的各个区域的至少一个区域特征(areal features)中的各个区域特征或者支持其他装置提取该各个区域特征；(VI)以实际车道的坐标是否从所述各个测试用预测车道的坐标在与x轴平行的方向上存在于规定像素数量以内的区域为基础，判断所述实际车道中的一个车道是否存在于所述各个测试用预测车道的周边，并且在周边存在所述实际车道中的一个车道时，计算所述实际车道中的一个坐标与所述测试用预测车道的坐标之间的各个距离或者支持其他装置计算该各个距离；以及(VII)使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道或者支持其他装置通过使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道。
在一实施例中，提供一种测试装置，其特征在于，在所述(IV)过程中，所述各个测试用群集组代表值通过使用所预测的测试用群集ID中的至少一部分来获取，其中，所预测的测试用群集ID中的所述至少一部分以关于所预测的测试用群集ID分类的所述结果向量中的各向量的分量是否大于已设定的值的信息为参考而被确定。
根据本发明，通过对车道的模型化及聚类，从学习数据生成用于车道模型学习的数据，并以此为基础，在输入图像中参照对车道的车道模型函数的群集ID，执行求得车道模型函数参数的学习。
进一步，根据本发明，可以提供的有益效果是，通过CNN学习，从输入图像中找到车道模型函数，并以此为基础检测车道。
进一步，根据本发明，由于运算时仅使用被检测出的车道模型的周边特征图，因此可用比现有技术方法更少的运算量来检测车道。
附图说明
为了说明本发明实施例附加的下面附图仅仅是本发明一些实施例的一部分，本技术领域所属领域的技术人员(以下“普通技术人员”)，可以基于这些附图获得其他附图而无需进行创造性工作。
图1是现有技术中利用深度CNN要在照片中检测的各种输出的图。
图2是简略示出利用CNN的现有技术中的车道检测方法的图。
图3是简略示出现有技术中一般性CNN分割过程的图。
图4是根据本发明的利用车道模型检测至少一个车道的CNN学习方法的流程图。
图5是示出根据本发明的从至少一个图像数据组获取车道建模函数及群集ID的过程的图。
图6是示意性示出根据本发明的用于车道检测的CNN的学习方法的图。
图7是示意性示出根据本发明的通过学习装置检测出的车道的群集ID分类结果向量的示例的图。
图8是示意性示出基于根据本发明获取的预测车道确认在与预测车道坐标的X轴平行的两侧的任意方向上是否存在GT车道坐标的过程的图。
图9是示意性示出根据本发明的从特征图仅提取预测的车道的相应像素的周边的一定区域的图。
图10是示意性示出根据本发明的参照预测车道的相应像素与GT车道的相应像素之间的距离算出至少一个距离回归损失的过程的图。
图11是示意性示出根据本发明的通过车道检测用测试装置的基于车道模型的车道检测过程的图。
具体实施方式
以下所描述的有关本发明的详细说明参考将本发明可以实施的具体实施例作为示例而示出的附图。足够详细地描述了这些实施例，以使本技术领域技术人员能够实施本发明。应当理解，本发明的多种实施例彼此不同，但不必相互排斥。例如，在不脱离关于一个实施例的本发明的精神和范围的情况下，在此记载的具体形状、结构及特性可以体现为其他实施例。而且，应当理解，在不脱离本发明的精神和范围的情况下，可以改变每个公开的实施例中的各个构成要素的位置或布置。因此，后述的详细说明并非意在限定，如果适当地描述，则本发明的范围仅由与其权利要求所主张的内容等同的所有范围和所附权利要求来限定。附图中类似的参照符号，从多种层面上意指相同或类似的功能。
本发明提供的各个种图像可以包括与铺砌或未铺砌道路相关的图像，此时，可以假设在道路环境可能出现的客体(假设汽车、人、动物、植物、物体、飞机或无人机之类的飞行体、以及其他障碍物)，但不一定要局限于此，本发明中提供的各个种图像也可以是与道路无关的图像(假设与未铺砌道路、胡同、工地、大海、湖泊、江、山、林、沙漠、天空、室内相关的图像)，此时可以假设可能在未铺砌道路、胡同、工地、大海、湖泊、江、山、林、沙漠、天空、室内环境出现的客体(诸如汽车、人、动物、植物、物体、飞机或无人机之类的飞行体、其他障碍物)，但是并不局限于此。
此外，本发明的详细说明及权利要求中出现的“包括”一词及其变形词并非意在排除其他技术特征、附加物、构成要素或步骤。对于普通技术人员而言，本发明的其他目的、优点及特性，部分将从本说明书可见，另一部分将从本发明的实施例中得到体现。后述的示例和图示都是作为实例提供，并非意在限定本发明。
下面，为了让具备本技术领域普通技术人员能够容易地实施本发明，将参照附图详细说明本发明的具体实施例。
图4是根据本发明的利用车道模型检测至少一个车道的CNN学习方法的流程图。
如图4所示，本发明提供的利用CNN通过车道模型检测车道的学习方法包括：步骤S01,从图像数据组中获取关于车道的信息；步骤S02，利用车道的中点坐标的像素信息来算出各车道的车道建模函数的函数参数；步骤S03，利用聚类算法来将车道建模函数的函数参数分类为K个群集组，并且生成表示与在至少一个图像数据组内的各个输入图像中存在的车道的类型对应的一个以上的群集ID信息的群集ID GT向量；步骤S04，通过对输入图像执行一次以上的卷积运算而生成至少一个特征图；步骤S05，通过将特定特征图提供给FC层而生成群集ID分类的结果向量，并且以群集ID分类的结果向量及群集ID GT向量为参考，算出至少一个分类损失；步骤S06，生成与预测出的群集ID(即，群集ID分类结果向量)对应的群集组代表值，并且确定由群集组代表值(θk)表示的预测车道；步骤S07，算出表示在获得的预测车道周边是否存在GT车道中的任一GT车道的存在损失；步骤S08，在预测车道周边存在GT车道的情况下，参考预测车道的相应像素和与其对应的GT车道的相应像素之间的距离差，算出至少一个距离回归损失；以及步骤S09，通过反向传播分类损失、存在损失及距离回归损失而使CNN的装置参数最优化。但是，本发明的步骤S01至S09不是必须存在的步骤，本发明可以由仅通过步骤S01至S03生成群集ID GT向量的发明构成，也可以在无论采取任何方式(即，不一定必须通过步骤S01～S03的方法)获取群集ID GT向量的情况下，由仅通过步骤S04至S09学习的发明构成。
根据本发明的可以利用车道模型检测出车道的CNN学习方法从至少一个图像数据组获取(i)关于车道的中点坐标的信息及(ii)对通过它们获取的车道建模函数的函数参数进行聚类的群集ID GT向量；然后，提出了一种通过学习装置预测输入图像中的车道建模函数并并使用该函数来找到存在于输入图像中的车道的中点坐标的方法。
图5是从至少一个图像数据组中获取车道建模函数及群集ID的流程图。
如图5所示，在步骤S01中，从至少一个图像数据组可以获取用构成车道的像素的坐标的集合表示的车道的信息。
例如，从图5的至少一个图像数据组内的特定输入图像510中获取关于车道的像素信息，获得关于车道像素的中点坐标的信息。此时，车道的中点坐标可以被表示为(x,y)来表示，车道被定义为车道的中点坐标的集合。车道被表示为Li，j＝{(x，y)|(x，y)为第i输入图像的第j车道的中点坐标}。
进一步，在步骤S02中，利用车道的中点坐标像素信息，计算各个车道的车道建模函数的函数参数，或通过计算所述参数来算出车道建模函数，而表示包含在车道集合(Li,j)的中点坐标(x,y)的车道建模函数通过下述数学式来表示：
【数学式1】
x＝f(y；θi，j)
其中，Li，j＝{(x，y)|(x，y)表示第i输入图像的第j车道的中点坐标}＝{(x，y)|x＝f(y；θi，j)}，θi，j表示第i输入图像的第j车道的各个函数参数。
利用图5的特定输入图像510的车道信息(像素信息)，寻找可以表示为x＝f(y；θi，j)的函数参数的结果被示例性表示为如图5中间的照片520所示。利用经过这些过程得出的像素信息，可以算出各个车道的车道模型参数。即，可以通过定义能够最好地表示车道的集合(Li，j)所包含的中点的函数来表示车道。
此时，车道建模函数是已参数化的函数，所述函数参数可以利用回归算法算出。此外，所述回归算法可以根据所述车道建模函数使用不同的算法。
另外，车道建模函数可以用多项式函数体现，所述回归算法可以使用最小平方误差算法。
步骤S03是利用聚类算法将函数参数分类成K个群集组，生成表示与在至少一个图像数据组内的各个输入图像中存在的车道的类型对应的群集ID信息的群集ID GT向量。此步骤是为了生成学习数据而定义车道群集ID的过程。此步骤，具体而言，通过将聚类算法应用于函数参数而分类为K个群集组，通过按每个群集组赋予各自的群集ID，生成表示关于作为与车道的类型对应的群集ID的准确概率的GT信息的群集ID GT向量。
即，利用聚类算法，在所有图像中，将车道建模函数的所有函数参数分类为K个群集组，学习装置学习CNN的装置参数，从而以预测输入图像内的车道属于哪个一群集ID的方式学习。
聚类是将N个数据分为K个群集(组)的方法。(此时，N≥K)。典型的聚类包括k-means聚类、spectral聚类等方法，在本发明可使用任一聚类方法。另外，聚类是将长相类似的数据分组到相同群集(组)的方法。
包含在学习用数据的至少一个图像数据组的图像中存在的车道的N个参数θi，j被区分为K个群集。此时，各个车道Li，j必须包含于唯一的群集Ck。(1≤k≤K)。即，任何两个群集都不会作为它们的要素(element)共享车道。此处，表示车道Li，j的群集ID是k。
各个群集具有其所包含的车道的函数参数的平均值
Figure BDA0002185658740000151
作为代表值(θk)。据此，如果我们通过学习能够获知某个输入图像中存在的车道所属的群集ID，就可以用群集的代表值大体表示车道。
参照图5中图像530，实线是利用GT车道的函数参数绘制的车道，虚线示例性示出利用包含与群集对应的GT车道的函数参数的相应群集代表群集组值绘制的车道。如图5的图像530所示，群集的代表群集组值，虽然不能完美地呈现GT车道，但是呈现出非常类似于GT车道的样子。
虽然使用特征图内的特征(Feature)直接从输入图像预测函数参数并不容易，但是用于检测车道的函数参数或装置参数的学习可以可以基于这样的过程执行。因此，本发明的目标是在输入图像中预测车道的群集ID。一旦知道群集ID，就能找出具有对应函数参数的大概的车道建模函数，借此可以更准确地找出车道。
图6是示意性示出根据本发明的用于车道检测的CNN的学习方法的图。
如图4及图6所示，在步骤S04中，对于从至少一个图像数据组获取的输入图像，学习装置为了学习能够预测与输入图像内至少一个车道对应的至少一个群集ID的CNN装置参数(device parameter)，学习装置使至少一个卷积层610对输入图像进行一次以上卷积运算，从而可以生成至少一个特征图620。
在步骤S05中，如图6所示，从特征图生成群集ID分类的结果向量，以群集ID分类的结果向量及群集ID GT向量为参考生成分类损失。即，学习装置将由卷积层输出的特定特征图620提供给FC(Fully Connected)层630，使FC层630生成输入图像内的车道群集ID分类的结果向量640，以群集ID分类的结果向量及群集ID GT向量为参考生成至少一个分类损失。此时，算出的群集ID分类损失通过反向传播被用于最优化CNN的装置参数。
另一方面，群集ID GT向量是具有包括至少一个图像数据组的各个图像中存在的车道群集ID的K+1维度向量的向量，(i)在判断为输入图像中存在车道的情况下，如果输入图像的车道中存在属于作为K个群集ID中特定群集ID的Ck的特定车道，则用1填满群集IDGT向量的第K维度，用0填满与群集ID中的不存在于输入图像的其他群集ID中的每个对应的群集ID GT向量的其他维度，用0填满群集ID GT向量的第K+1维度；(ii)在判断为输入图像上不存在车道的情况下，用0填满群集ID GT向量的第1至第K维度，用1填满群集ID GT向量的第K+1维度。
例如，与图5中图像530对应的群集ID GT向量用1填满K+1维度中的第i,第j，第k维度，用0填满剩余维度(包括第k+1维度)。如果所输入的图像中不存在车道，则群集ID GT向量会用0,0,…,0,1填满。
图7是示意性示出根据本发明的通过学习装置检测出的车道群集ID分类结果向量的示例的图。
如图6及图7所示，当将特征图620输入到FC层630时，输出群集ID分类结果向量640，群集ID分类结果向量将被算出为K+1维度的向量以对应于群集ID GT向量。在图7的示例中，算出的群集ID分类结果向量是用(0.60,0.01,0.30,…,0.03)表示的向量。即，在图7的示例中，输入的图像中存在群集ID与C1及C3对应的车道的概率被算出为较高。如果确定输入的图像群集ID GT向量包含群集IDC1和C3，即，群集ID GT向量为(1,0,1,0,….0)时，以表示为作为算出的群集ID分类结果向量的(0.60,0.01,0.30,…,0.03)的向量及表示为作为群集ID GT向量的(1,0,1,0,….0)的向量为参考，算出群集ID分类损失。此群集ID分类损失lc可以被算出为群集ID分类结果向量及群集ID GT向量之间的交叉熵损失。
在步骤S06中，获取与被预测的群集ID对应的群集组代表值，获取作为预测车道的群集组代表值(θk)。如步骤S03中说明，由于各个群集组将包含于自身群集组的各个车道的函数参数的平均值
Figure BDA0002185658740000171
作为代表值(θk)，因此学习装置在步骤S05获取与预测的群集ID对应的群集组代表值(θk)或者支持其他装置获取该值，并确定由群集组代表值(θk)(即，平均参数)表示的预测车道或者支持其他装置来确定。
此时，利用预测出的群集ID的至少一部分，获取各个群集组的代表值，以关于群集ID分类结果向量的各个向量分量是否高于预定的临界值的信息为参考，选择预测出的至少一部分群集ID。接下来，利用求得的群集Ck的参数代表值θk，运算x＝f(y|θk)，从而可以利用表示车道样子的车道模型来获取预测车道。
进一步，再次参考图6，经过上述过程之后，可以执行学习预测的车道的中点坐标与GT车道的中点坐标之间的距离差的过程。学习装置针对群集ID分类结果向量中作为具有大于预定临界值的值的群集的拟建群集(Proposed Cluster)中的每一个，每个y生成两个输出(存在损失及距离回归损失)，或支持其他装置生成该两个输出。
首先，在步骤S07中，算出表示获取的预测车道周边是否存在GT车道的存在损失。如图6所示，将特征图620和算出的群集ID分类结果向量640输入到感兴趣区域(ROI：RegionOf Interest)池化层650后，通过用于检测车道的存在与否的FC层660，从而可算出表示获取的预测车道周边是否存在GT的存在损失le。
图8是基于获取的预测车道确认在与预测车道坐标的X轴平行的两侧的任意方向上是否存在GT车道坐标的过程的图。参考图8所示，用虚线表示的线表示利用预测的群集ID获得的预测车道。学习装置对各个虚线的各个像素y值算出表示周边是否存在GT车道的坐标的值，例如，基于从预测车道中的每个的坐标在与X轴平行的两侧的任意方向上在预定像素数以内的区域内是否存在GT车道坐标，算出表示所述各个预测车道周边是否存在GT车道中的一个的至少一个存在损失。存在损失是表示在周边的GT车道中哪一个近的标记(label)，可用二维度向量表示。例如，获得的预测车道周边存在GT车道中的一个时可用[1，0]表示，获得的预测车道周边不存在GT车道时可用[0，1]表示。
此情况下，如上所述，可使用对获得的预测车道各个y值运算f(y│θ_k)而得到的各个坐标的X轴方向上确认一定像素数以内的周边区域内是否存在GT车道中的一个的中点的方法。此时周边区域用R＝{(x,y)|y为固定,|x-f(y│θ_k)|<d}表示，GT车道中某一个中点坐标用(xGT，y)表示。
进一步，如图4及图6所示，步骤S08中，预测车道周边存在GT车道时，算出作为预测车道的相应像素与GT车道相对像素之间的距离之差的距离回归损失。如图6所示，将特征图620和群集ID分类结果向量640输入到ROI池化层650，并通过用于检测GT车道与检测到的预测车道之间的距离的FC层670后，在预测车道周边存在GT车道的情况下，就可算出作为预测车道的相应像素与GT车道的相应像素之间的距离之差的距离回归损失lr。
图10示出参照预测车道的相应像素与GT车道的相应像素之间的距离算出至少一个距离回归损失的过程，如图10中示例性所示，在预测车道周边存在GT车道的情况下，算出预测车道的各个像素(f(y|θk)，y)与对应于其的GT车道的像素(xGT，y)(1010)之间的距离之差xGT-f(y|θk)(1020)，从而算出距离回归损失lr。
图8的示例中，如用实线表示的预定区域810，当从各个预测车道的像素向X轴方向寻找左右一定距离时，如果如同预测车道像素坐标的X轴+方向上存在的实线上的像素那样存在GT车道，则第一输出，即存在损失为[1，0]；第二输出，即距离回归损失可参照两个像素X坐标值的差获得。但是，如图8中的预定的区域820，从预测车道像素坐标向X轴方向寻找左右一定距离时，如果用实线表示的各个预测车道像素周边不存在GT车道，则第一输出，即存在损失为[0，1]；第二输出，即距离回归损失生成为[无关](don’t care)类型，[无关]类型是不会使用于学习。
另一方面，ROI池化层650如示出从特征图提取预测车道的相应像素的周边的区域特征(areal feature)的样态的图9所示，执行从特征图提取表示预测车道的相应(f(y│θ_k),y)像素920周边的一定区域910的特征的功能。学习装置利用通过ROI池化层650提取的特征图，计算两种输出(存在损失及距离礼回归损失)或支持其他装置计算该两种输出。此时，学习装置还包括从所述特征图提取表示预测车道的相应像素920周边的一定区域910的区域特征的步骤，且基于提取的区域特征，执行算出存在损失及距离回归损失的过程。
即，由于本发明并不使用基于输入图像的所有特征图的像素计算周边是否存在车道的方法，如图9所示，仅提取预测的车道的相应像素的周边的一定区域进行运算，所以大大减少了运算量。
并且，执行通过反向传播分类损失、存在损失及距离回归损失来最优化学习装置的参数的步骤S09。
另一方面，因为存在损失使用的是用于识别周边是否存在车道的损失，所以可视为分类。从而，存在损失可使用交叉熵等来算出。并且，因为距离回归损失是将通过学习获得的坐标值与实际GT坐标之间的距离之差作为损失使用，所以可视为回归损失。从而，距离回归损失可使用欧几里得距离损失等算出。
如果通过利用图4至图10说明的学习过程对学习装置的参数进行最优化，则使用利用此种参数的测试装置，在实际道路行驶时，从输入图像中检测车道。
图11是示意性示出根据本发明的通过车道检测用测试装置的基于车道模型的车道检测过程的图。
如图11所示，如果利用了学习装置所学习的参数的测试装置获得测试图像，对获得的测试图像，卷积层1110通过进行一次以上卷积运算来生成至少一个测试用特征图1120，并将测试用特征图1120输入到FC层1130，从测试图像获得表示车道的群集组群集ID的预测值的向量形态的测试用群集ID分类结果向量1140。
然后，测试装置以关于所预测的测试用群集ID分类的结果向量1140中各个向量分量是否大于预定值的信息为参考使用所预测的测试用群集ID中的至少一部分，获得各个所述测试用代表值，确定用所述测试用群集组代表值θk表示所述车道各个形状的测试用预测车道。在此，当各个车道(Li,j)分别包含于测试用群集组中对应于自身的一个测试用群集组Ck(在此，k是1至K之间的值)，并且对应于所述各个车道Li,j的测试用群集ID分别用k表示时，各个测试用群集组具有对于包含于测试用各个群集组的所述各个车道所述函数参数的各自的平均值
Figure BDA0002185658740000201
作为测试用各个群集组代表值θk。
然后，测试装置利用用各个群集组代表值表示的车道，执行以下过程。即，测试装置(i)从代表值模型参数利用数学式{(x，y)|x＝f(y；θi，j)}，针对各个y值求x值；(ii)在预测的车道的相应像素位置处通过ROI池化1150提取特征后；(iii)通过FC层1160提取的特征识别周边是否存在车道；(iv)如果存在车道，则通过FC层1170计算实际车道与群集代表值车道的位置之差；(v)通过将用群集代表值求得的点移动相应差量来获得实际车道。即，测试装置执行以下步骤：从特征图提取表示预测车道的相应像素的周边的一定区域的区域特征；基于获得的测试用预测车道，识别在测试用预测车道坐标的X轴方向上预定像素数以内的区域内是否存在车道，如果存在实际车道，则计算实际车道与测试用预测车道坐标的位置之差；将测试用预测车道相应移动位置差量，算出测试用预测车道，从而确定预测车道。测试步骤中的实际车道并不是GT车道，而是在测试用输入图像内的实际车道。通过过程(iii)的存在分类过程，可以识别在相应ROI是否存在车道；实际车道与基于群集代表值预测的车道之差，可通过过程(iv)的距离回归过程，利用ROI内的图像特征进行预测，并可通过这些位置之差的值确定预测车道。
因此，根据本发明的方法，可以提出以下方法：通过对车道的模型化及聚类，从学习数据获取用于车道模型学习的数据，并以此为基础，在输入图像中，执行求得关于车道的车道模型函数的参数的学习，从输入图像中找到车道模型函数，并且可以以此为基础，检测车道。进一步，因为运算时仅使用被检测出的车道模型周边的特征图，可用少于现有方法的运算量检测车道。
本技术领域的普通技术人员能够理解，上面说明的图像，诸如所述训练图像、测试图像等图像数据的发送和接收可通过所述学习装置及所述测试装置的通信部实现，用于执行特征图和运算的数据可通过所述学习装置及所述测试装置的处理器(和/或存储器)保存/维持，而卷积运算、反卷积运算、损失值运算过程主要可由所述学习装置及所述测试装置的处理器执行，但本发明不限于此。
以上说明的根据本发明的实施例是以通过多种计算机构成要素执行的程序指令的形式体现，从而可载入计算机可读存储介质中。所述计算机可读存储介质可单独或组合包含程序指令、数据文件、数据结构等。记录在所述计算机可读存储介质上的程序指令可以是为了本发明特别设计和组成，或是计算机软件领域的技术人员公知和使用的。计算机可读存储介质的示例包括硬盘、软盘及磁带等磁介质、CD-ROM、DVD等光学记录介质、光磁盘(floptical disk)等磁-光介质(magneto-optical media)，以及ROM、RAM、闪存存储器等为了储存并执行程序指令而特别构成的硬件装置。程序指令的示例不仅包括由编译器编成的机械语代码，还包括可使用解释器由计算机执行的高级语言代码。所述硬件装置为执行根据本发明的处理可被构成为由一个或多个软件模块来运行，反之亦然。
以上用具体构成要素等特定事项和限定的实施例及附图来说明了本发明，但这只是为了帮助对本发明更全面的理解而提供的，本发明并不仅限于所述实施例，在本发明所属的技术领域中具有公知常识的人，可以基于这样的记载进行多样的修改和改变。
因此，本发明的思想不应局限于所述说明的实施例而定，不仅是所附的专利请求范围，与本权利要求范围均等或等价的变形都属于本发明思想范围。

Claims (20)

1.一种用于使用卷积神经网络CNN来检测至少一个车道的学习方法，其特征在于，包括以下步骤：
(a)学习装置使一个以上的卷积层通过对选自至少一个图像数据组的输入图像应用一次以上的卷积运算而生成一个以上的特征图；
(b)所述学习装置将由所述卷积层输出的所述特征图中的特定特征图提供给FC层而使所述FC层生成所述输入图像内的所述车道的群集ID分类的预测结果向量；以及
(c)所述学习装置使损失层以所述群集ID分类的所述预测结果向量及群集ID GT向量为参考来生成至少一个分类损失，并且反向传播所述分类损失，从而使所述CNN的装置参数最优化，
所述群集ID GT向量是关于成为群集组中的各个群集组的群集ID的概率的GT信息，所述群集组通过对以所述输入图像内的所述车道的信息为基础获取的函数参数进行聚类而被指定给车道建模函数的所述函数参数。
2.根据权利要求1所述的学习方法，其特征在于，
所述群集ID GT向量为具有K+1维度的向量，(i)在判断为所述输入图像上存在所述车道的情况下，如果在所述输入图像的所述车道中存在属于作为K个所述群集ID中的特定群集ID的Ck的特定车道，则用1填满所述群集ID GT向量的第k维度，用0填满与所述群集ID中的不存在于所述输入图像的其他群集ID中的每个对应的所述群集ID GT向量的其他维度，并且用0填满所述群集ID GT向量的第K+1维度，(ii)在判断为所述输入图像上不存在所述车道的情况下，用0填满所述群集ID GT向量的第1维度至第K维度，用1填满所述群集ID GT向量的所述K+1维度，
k为1至K的整数，
在所述(c)步骤中，
所述群集ID分类的所述预测结果向量为具有K+1维度的向量。
3.根据权利要求2所述的学习方法，其特征在于，
在所述车道中的各个车道(Li,j)分别包含在所述群集组中的与其对应的一个群集组(Ck)中且用k表示包含在与所述各个车道(Li,j)对应的所述群集ID中的各个群集ID的状态下，
所述各个群集组具有关于包含在所述各个群集组中的所述各个车道的所述函数参数的各个平均值
Figure FDA0002185658730000021
作为各个群集组代表值(θk)，
所述学习方法还包括以下步骤：
(d)所述学习装置生成与所预测的各个群集ID对应的所述各个群集组代表值或者支持其他装置生成该所述各个群集组代表值，并且确定由所述各个群集组代表值(θk)表达的各个所预测车道或者支持其他装置确定该各个所预测车道。
4.根据权利要求3所述的学习方法，其特征在于，
利用所预测的群集ID中的至少一部分来算出所述各个群集组代表值，并且以关于所述结果向量的各向量分量是否大于已设定的值的信息为参考，确定所预测的群集ID的所述至少一部分。
5.根据权利要求3所述的学习方法，其特征在于，还包括以下步骤：
(e)所述学习装置以所述GT车道中的任一GT车道的坐标是否从所述各个所预测车道的坐标在与x轴平行的两侧的任意方向上存在于规定像素数量以内的区域为基础，算出表示在所述各个所预测车道的周边是否存在所述GT车道中的任一GT车道的至少一个存在损失或者支持其他装置算出该至少一个存在损失；
(f)在所述各个所预测车道的周边识别出所述GT车道中的任一GT车道的情况下，所述学习装置以所述各个所预测车道的各个像素(f(y|θk)，y)和与所述各个所预测车道分别对应的所述GT车道的各个像素(xGT，y)之间的各距离差(xGT-f(y|θk))为参考来算出至少一个距离回归损失或者支持其他装置算出该至少一个距离回归损失；
(g)所述学习装置通过反向传播所述存在损失及所述距离回归损失或者支持其他装置反向传播所述存在损失及所述距离回归损失而使所述CNN的所述装置参数最优化。
6.根据权利要求5所述的学习方法，其特征在于，
在所述(e)步骤之前，还包括以下步骤：
(e0)所述学习装置从所述特定特征图中提取表示所述各个所预测车道的所述像素(f(y|θk)，y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征，
其中，以所提取的区域特征为基础算出所述存在损失及所述距离回归损失。
7.根据权利要求5所述的学习方法，其特征在于，
在所述(e)步骤中，使用交叉熵来算出所述存在损失，
在所述(f)步骤中，使用至少一个欧几里得距离回归损失来算出所述距离回归损失。
8.一种能够利用车道模型来检测至少一个车道的CNN(卷积神经网络)的测试方法，其特征在于，包括以下步骤：
(a)在使用所述CNN的学习装置获取到经过以下过程学习到的所述学习装置的参数的状态下，利用所述学习装置的参数的测试装置获取测试图像或者支持其他装置获取该测试图像：(i)使一个以上的卷积层通过对选自至少一个学习用图像数据组的学习用输入图像应用一次以上的卷积运算而生成一个以上的学习用特征图；(ii)将由所述卷积层输出的所述学习用特征图中的学习用特定特征图提供给FC层，从而使所述FC层生成所述学习用输入图像内的所述车道的学习用群集ID分类的预测结果向量，并且使损失层以所述学习用群集ID分类的所述预测结果向量及群集ID GT向量为参考来生成至少一个分类损失；(iii)生成与预测的各个学习用群集ID对应的各个学习用群集组代表值(θk)，并且确定由所述各个学习用群集组代表值表达的各个学习用预测车道；(iv)以GT车道中的任一GT车道的坐标是否从所述各个学习用预测车道的坐标在与x轴平行的两侧的任意方向上存在于规定像素数量以内的区域为基础，算出表示在所述各个学习用预测车道的周边是否存在所述GT车道中的任一GT车道的至少一个存在损失；(v)在所述各个学习用预测车道的周边识别出所述GT车道中的任一GT车道的情况下，以所述各个学习用预测车道的像素(f(y|θk)，y)和与各个所预测车道分别对应的所述GT车道中的各个GT车道的像素(xGT，y)之间的各距离差(xGT-f(y|θk))为参考，算出至少一个距离回归损失；(vi)通过反向传播所述分类损失、所述存在损失及所述距离回归损失而使所述CNN的所述装置参数最优化；
(b)所述测试装置通过对所述测试图像应用卷积运算而生成至少一个测试用特征图或者支持其他装置通过对所述测试图像应用卷积运算而生成至少一个测试用特征图；
(c)所述测试装置通过将所述测试用特征图中的特定测试用特征图提供给所述FC(全连接)层，而使所述FC层生成所述测试图像内的所述车道的测试用群集ID分类的结果向量，所述测试用群集ID分类的结果向量包含至少一个对所述车道中的各个车道预测的测试用群集ID；以及
(d)所述测试装置生成与所预测的各个测试用群集ID对应的各个测试用群集组代表值，并且确定由所述各个测试用群集组代表值(θk)表达所述车道的各形状的所预测的各个测试用车道，
所述群集ID GT向量是关于成为群集组中的各个群集组的学习用群集ID的概率的GT信息，所述群集组通过对以所述学习用输入图像内的所述车道的信息为基础获得的函数参数进行聚类而被指定给车道建模函数的所述函数参数，
在所述各个车道(Li,j)分别包含在所述测试用群集组中的与其对应的一个测试用群集组(Ck)中且分别用k表示与所述各个车道(Li,j)对应的所述测试用群集ID的状态下，所述测试用群集组中的各个测试用群集组具有关于包含在所述各个测试用群集组中的所述各个车道的所述函数参数的各个平均值
Figure FDA0002185658730000041
作为各个测试用群集组代表值(θk)，其中，k为1至K之间的值。
9.根据权利要求8所述的测试方法，其特征在于，还包括以下步骤：
(e)所述测试装置从所述特定测试用特征图中提取表示各个测试用预测车道的所述像素(f(y|θk)，y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征；
(f)所述测试装置以实际车道的坐标是否从所述各个测试用预测车道的坐标在与x轴平行的方向上存在于规定像素数量以内的区域为基础，判断所述实际车道中的一个车道是否存在于所述各个测试用预测车道的周边，并且在周边存在所述实际车道中的一个车道时，计算所述实际车道中的一个坐标与所述测试用预测车道的坐标之间的各个距离或者支持其他装置计算该各个距离；以及
(g)所述测试装置通过使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道或者支持其他装置通过使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道。
10.根据权利要求8所述的测试方法，其特征在于，
在所述(d)步骤中，所述各个测试用群集组代表值通过使用所预测的测试用群集ID中的至少一部分来获取，其中，所预测的测试用群集ID中的所述至少一部分以关于所预测的测试用群集ID分类的所述结果向量中的各向量的分量是否大于已设定的值的信息为参考而被确定。
11.一种用于使用CNN(卷积神经网络)来检测至少一个车道的学习装置，其特征在于，包括：
通信部，获取选自至少一个图像数据组的输入图像或者支持其他装置获取选自至少一个图像数据组的输入图像；以及
处理器，执行以下过程：(i)使一个以上的卷积层通过对所述输入图像应用一次以上的卷积运算而生成一个以上的特征图；(ii)将由所述卷积层输出的所述特征图中的特定特征图提供给FC层，从而使所述FC层生成所述输入图像内的所述车道的群集ID分类的预测结果向量；(iii)使损失层以所述群集ID分类的所述预测结果向量及群集ID GT向量为参考来生成至少一个分类损失，并且反向传播所述分类损失，从而使所述CNN的装置参数最优化，
所述群集ID GT向量是关于成为群集组中的各个群集组的群集ID的概率的GT信息，所述群集组通过对以所述输入图像内的所述车道的信息为基础获取的函数参数进行聚类而被指定给车道建模函数的所述函数参数。
12.根据权利要求11所述的学习装置，其特征在于，
所述群集ID GT向量为具有K+1维度的向量，(I)在判断为所述输入图像上存在所述车道的情况下，如果在所述输入图像的所述车道中存在属于作为K个所述群集ID中的特定群集ID的Ck的特定车道，则用1填满所述群集ID GT向量的第k维度，用0填满与所述群集ID中的不存在于所述输入图像的其他各个群集ID对应的所述群集ID GT向量的其他维度，并且用0填满所述群集ID GT向量的第K+1维度，(II)在判断为所述输入图像上不存在所述车道的情况下，用0填满所述群集ID GT向量的第1维度至第K维度，用1填满所述群集ID GT向量的所述K+1维度，
k为1至K的整数，
在所述(iii)过程中，所述群集ID分类的所述预测结果向量为具有K+1维度的向量。
13.根据权利要求12所述的学习装置，其特征在于，
在所述车道中的各个车道(Li,j)分别包含在所述群集组中的与其对应的一个群集组(Ck)中且用k表示包含在与所述各个车道(Li,j)对应的所述群集ID中的各个群集ID的状态下，
所述各个群集组具有关于包含在所述各个群集组中的所述各个车道的所述函数参数的各个平均值
Figure FDA0002185658730000061
作为各个群集组代表值(θk)，
所述处理器进一步执行以下过程：
(iv)生成与所预测的各个群集ID对应的所述各个群集组代表值或者支持其他装置生成该所述各个群集组代表值，并且确定由所述各个群集组代表值(θk)表达的各个所预测车道或者支持其他装置确定该各个所预测车道。
14.根据权利要求13所述的学习装置，其特征在于，
利用所预测的群集ID中的至少一部分来算出所述各个群集组代表值，并且以关于所述结果向量的各向量分量是否大于已设定的值的信息为参考，确定所预测的群集ID的所述至少一部分。
15.根据权利要求13所述的学习装置，其特征在于，
所述处理器进一步执行以下过程：
(v)以所述GT车道中的任一GT车道的坐标是否从所述各个所预测车道的坐标在与x轴平行的两侧的任意方向上存在于规定像素数量以内的区域为基础，算出表示在所述各个所预测车道的周边是否存在所述GT车道中的任一GT车道的至少一个存在损失或者支持其他装置算出该至少一个存在损失；
(vi)在所述各个所预测车道的周边识别出所述GT车道中的任一GT车道的情况下，以所述各个所预测车道的各个像素(f(y|θk)，y)和与所述各个所预测车道分别对应的所述GT车道的各个像素(xGT，y)之间的各距离差(xGT-f(y|θk))为参考来算出至少一个距离回归损失或者支持其他装置算出该至少一个距离回归损失；
(vii)通过反向传播所述存在损失及所述距离回归损失或者支持其他装置通过反向传播所述存在损失及所述距离回归损失而使所述CNN的所述装置参数最优化。
16.根据权利要求15所述的学习装置，其特征在于，
在所述(v)过程之前，进一步执行以下过程：
(v0)从所述特定特征图中提取表示所述各个所预测车道的所述像素(f(y|θk)，y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征，
其中，以所提取的区域特征为基础算出所述存在损失及所述距离回归损失。
17.根据权利要求15所述的学习装置，其特征在于，
在所述(v)过程中，使用交叉熵来算出所述存在损失，
在所述(vi)过程中，使用至少一个欧几里得距离回归损失来算出所述距离回归损失。
18.一种能够利用车道模型来检测至少一个车道的CNN(卷积神经网络)的测试装置，其特征在于，包括：
通信部，(I)在使用所述CNN的学习装置获取到经过以下过程学习到的所述学习装置的参数的状态下，获取测试图像或者支持其他装置获取该测试图像：(i)使一个以上的卷积层通过对选自至少一个学习用图像数据组的学习用输入图像应用一次以上的卷积运算而生成一个以上的学习用特征图；(ii)将由所述卷积层输出的所述学习用特征图中的学习用特定特征图提供给FC层，从而使所述FC层生成所述学习用输入图像内的所述车道的学习用群集ID分类的预测结果向量，并且使损失层以所述学习用群集ID分类的所述预测结果向量及群集ID GT向量为参考来生成至少一个分类损失；(iii)生成与预测的各个学习用群集ID对应的各个学习用群集组代表值(θk)，并且确定由所述各个学习用群集组代表值表达的各个学习用预测车道；(iv)以GT车道中的任一GT车道的坐标是否从所述各个学习用预测车道的坐标在与x轴平行的两侧的任意方向上存在于规定像素数量以内的区域为基础，算出表示在各个所预测车道的周边是否存在所述GT车道中的任一GT车道的至少一个存在损失；(v)在所述各个学习用预测车道的周边识别出所述GT车道中的任一GT车道的情况下，以所述各个学习用预测车道的像素(f(y|θk)，y)和与所述各个所预测车道分别对应的所述GT车道中的各个GT车道的像素(xGT，y)之间的各距离差(xGT-f(y|θk))为参考，算出至少一个距离回归损失；(vi)通过反向传播所述分类损失、所述存在损失及所述距离回归损失，而使所述CNN的所述装置参数最优化；以及
处理器，执行以下过程：(II)通过对所述测试图像应用卷积运算而生成至少一个测试用特征图或者支持其他装置通过对所述测试图像应用卷积运算而生成至少一个测试用特征图；(III)通过将所述测试用特征图中的特定测试用特征图提供给所述FC层，而使所述FC层生成用于测试的所述测试图像内的所述车道的测试用群集ID分类的结果向量，所述测试用群集ID分类的结果向量包含至少一个对所述车道中的各个车道预测的测试用群集ID；以及(IV)生成与所预测的各个测试用群集ID对应的各个测试用群集组代表值(θk)，并且确定由所述各个测试用群集组代表值表达所述车道的各形状的所预测的各个测试用车道，
所述群集ID GT向量是关于成为群集组中的各个群集组的学习用群集ID的概率的GT信息，所述群集组通过对以所述学习用输入图像内的所述车道的信息为基础获得的函数参数进行聚类而被指定给车道建模函数的所述函数参数，
在所述各个车道(Li,j)分别包含在所述测试用群集组中的与其对应的一个测试用群集组(Ck)中且分别用k表示与所述各个车道(Li,j)对应的所述测试用群集ID的状态下，所述测试用群集组中的各个测试用群集组具有关于包含在所述各个测试用群集组中的所述各个车道的所述函数参数的各个平均值
Figure FDA0002185658730000091
作为各个测试用群集组代表值(θk)，其中，k为1至K之间的值。
19.根据权利要求18所述的测试装置，其特征在于，
所述处理器进一步执行以下过程：
(V)从所述特定测试用特征图中提取表示各个测试用预测车道的所述像素(f(y|θk)，y)周边的各个区域的至少一个区域特征中的各个区域特征或者支持其他装置提取该各个区域特征；
(VI)以实际车道的坐标是否从所述各个测试用预测车道的坐标在与x轴平行的方向上存在于规定像素数量以内的区域为基础，判断所述实际车道中的一个车道是否存在于所述各个测试用预测车道的周边，并且在周边存在所述实际车道中的一个车道时，计算所述实际车道中的一个坐标与所述测试用预测车道的坐标之间的各个距离或者支持其他装置计算该各个距离；以及
(VII)使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道或者支持其他装置通过使所述测试用预测车道移动所述各个距离的量而确定移动后的测试用预测车道。
20.根据权利要求18所述的测试装置，其特征在于，
在所述(IV)过程中，所述各个测试用群集组代表值通过使用所预测的测试用群集ID中的至少一部分来获取，其中，所预测的测试用群集ID中的所述至少一部分以关于所预测的测试用群集ID分类的所述结果向量中的各向量的分量是否大于已设定的值的信息为参考而被确定。
CN201910813373.3A 2018-09-05 2019-08-30 利用cnn的车道检测方法和装置 Active CN110889318B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/121,670 2018-09-05
US16/121,670 US10262214B1 (en) 2018-09-05 2018-09-05 Learning method, learning device for detecting lane by using CNN and testing method, testing device using the same

Publications (2)

Publication Number Publication Date
CN110889318A true CN110889318A (zh) 2020-03-17
CN110889318B CN110889318B (zh) 2024-01-19

Family

ID=66098465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910813373.3A Active CN110889318B (zh) 2018-09-05 2019-08-30 利用cnn的车道检测方法和装置

Country Status (5)

Country Link
US (1) US10262214B1 (zh)
EP (1) EP3620980B1 (zh)
JP (1) JP6847463B2 (zh)
KR (1) KR102279376B1 (zh)
CN (1) CN110889318B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783394B2 (en) 2017-06-20 2020-09-22 Nvidia Corporation Equivariant landmark transformation for landmark localization
CN110287817B (zh) * 2019-06-05 2021-09-21 北京字节跳动网络技术有限公司 目标识别及目标识别模型的训练方法、装置和电子设备
CN110363160B (zh) * 2019-07-17 2022-09-23 河南工业大学 一种多车道线识别方法及装置
CN112446266B (zh) * 2019-09-04 2024-03-29 北京君正集成电路股份有限公司 一种适合前端的人脸识别网络结构
US11836992B2 (en) * 2021-01-29 2023-12-05 General Motors Llc Identification and clustering of lane lines on roadways using reinforcement learning
CN113221643B (zh) * 2021-04-06 2023-04-11 中国科学院合肥物质科学研究院 一种采用级联网络的车道线分类方法及系统
KR102531838B1 (ko) * 2021-05-06 2023-05-12 대한민국 극자외선 태양 영상을 사용하여 지자기 교란 지수를 예측하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN113469239B (zh) * 2021-06-29 2023-01-31 展讯通信（上海）有限公司 线损值评估模型生成方法、系统、设备及介质
KR102632773B1 (ko) 2021-09-30 2024-02-06 고려대학교 산학협력단 의료데이터 스플릿 학습 시스템과 이의 제어방법 및 그 방법을 수행하기 위한 기록매체
CN114399828B (zh) * 2022-03-25 2022-07-08 深圳比特微电子科技有限公司 用于图像处理的卷积神经网络模型的训练方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354568A (zh) * 2015-08-24 2016-02-24 西安电子科技大学 基于卷积神经网络的车标识别方法
WO2016037300A1 (en) * 2014-09-10 2016-03-17 Xiaoou Tang Method and system for multi-class object detection
CN105868691A (zh) * 2016-03-08 2016-08-17 中国石油大学(华东) 基于快速区域卷积神经网络的城市车辆追踪方法
CN106778668A (zh) * 2016-12-30 2017-05-31 明见（厦门）技术有限公司 一种联合ransac和cnn的鲁棒的车道线检测方法
CN107730904A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测系统
US20180068463A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
KR20180050848A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 차선을 표시하는 방법 및 장치
KR101869266B1 (ko) * 2017-05-08 2018-06-21 경북대학교 산학협력단 극한 심층학습 기반 차선 검출 시스템 및 그 방법
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223218A (ja) * 1996-02-15 1997-08-26 Toyota Motor Corp 走路検出方法及び装置
KR19990059238A (ko) * 1997-12-30 1999-07-26 정몽규 무인자율주행차량용 차선검출방법 및 조향제어장치
KR101225626B1 (ko) * 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
CN106157283A (zh) * 2015-04-01 2016-11-23 株式会社理光 道路分割物的检测方法和装置
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
JP6798860B2 (ja) * 2016-11-29 2020-12-09 株式会社Ｓｏｋｅｎ 境界線推定装置
KR102400017B1 (ko) * 2017-05-17 2022-05-19 삼성전자주식회사 객체를 식별하는 방법 및 디바이스
CN107688823B (zh) * 2017-07-20 2018-12-04 北京三快在线科技有限公司 一种图像特征获取方法及装置，电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016037300A1 (en) * 2014-09-10 2016-03-17 Xiaoou Tang Method and system for multi-class object detection
CN105354568A (zh) * 2015-08-24 2016-02-24 西安电子科技大学 基于卷积神经网络的车标识别方法
CN105868691A (zh) * 2016-03-08 2016-08-17 中国石油大学(华东) 基于快速区域卷积神经网络的城市车辆追踪方法
US20180068463A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
KR20180050848A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 차선을 표시하는 방법 및 장치
CN106778668A (zh) * 2016-12-30 2017-05-31 明见（厦门）技术有限公司 一种联合ransac和cnn的鲁棒的车道线检测方法
KR101869266B1 (ko) * 2017-05-08 2018-06-21 경북대학교 산학협력단 극한 심층학습 기반 차선 검출 시스템 및 그 방법
CN107730904A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测系统
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAVY NEVEN等: "Towards End-to-End Lane Detection: an Instance Segmentation Approach" *

Also Published As

Publication number Publication date
CN110889318B (zh) 2024-01-19
JP6847463B2 (ja) 2021-03-24
KR102279376B1 (ko) 2021-07-21
EP3620980A1 (en) 2020-03-11
KR20200027889A (ko) 2020-03-13
JP2020038660A (ja) 2020-03-12
US10262214B1 (en) 2019-04-16
EP3620980C0 (en) 2023-11-01
EP3620980B1 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
CN110889318B (zh) 利用cnn的车道检测方法和装置
CN110874564B (zh) 分类车线后补像素检测车线的方法及装置
CN110879961B (zh) 利用车道模型的车道检测方法和装置
CN109614985B (zh) 一种基于密集连接特征金字塔网络的目标检测方法
JP6875021B2 (ja) 有用な学習データを取捨選別するためのｃｎｎ基盤の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN111105010A (zh) 使用具有不同标签集的多个带标签数据库的方法及装置
KR102320985B1 (ko) 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
KR102279399B1 (ko) 복수의 비디오 프레임을 이용하여 cnn의 파라미터를 최적화하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111008626A (zh) 基于r-cnn检测客体的方法和装置
CN111931764A (zh) 一种目标检测方法、目标检测框架及相关设备
CN111508252B (zh) 利用v2x信息集成技术更新高清地图的方法和装置
CN110909588B (zh) 基于cnn的用于车道线检测的方法和装置
CN117274740A (zh) 一种红外目标检测方法及装置
CN116977629A (zh) 语义分割模型训练方法、语义分割方法和装置
Kumar et al. Stationary Object Detection using RetinaNet and Kalman Filter
KR20230171882A (ko) 포인트 클라우드에서 인스턴스 분할 시스템 및 방법
CN118365992A (zh) 场景检测模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant