CN109214334B - 车道线处理方法和装置 - Google Patents

车道线处理方法和装置 Download PDF

Info

Publication number
CN109214334B
CN109214334B CN201811019280.5A CN201811019280A CN109214334B CN 109214334 B CN109214334 B CN 109214334B CN 201811019280 A CN201811019280 A CN 201811019280A CN 109214334 B CN109214334 B CN 109214334B
Authority
CN
China
Prior art keywords
lane line
image
points
lane
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811019280.5A
Other languages
English (en)
Other versions
CN109214334A (zh
Inventor
谢术富
翟玉强
夏添
马彧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811019280.5A priority Critical patent/CN109214334B/zh
Publication of CN109214334A publication Critical patent/CN109214334A/zh
Priority to JP2019123675A priority patent/JP6823692B2/ja
Priority to US16/508,862 priority patent/US11275955B2/en
Priority to EP19186005.5A priority patent/EP3617938B1/en
Application granted granted Critical
Publication of CN109214334B publication Critical patent/CN109214334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Discrete Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出一种车道线处理方法和装置。该方法包括：对第一图像进行二值化处理，得到二值图像，所述第一图像中包括车道线点和非车道线点；对所述二值图像进行连通域分析，得到所述二值图像中的一个或多个连通域，每个连通域中包括相互邻接的多个车道线点；利用各所述连通域确定各车道线对应的分组中包括的车道线点；利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息。本发明实施例，利用连通域分析方法对二值图像上的车道线点进行分组，得到的分组准确，不受图像质量的影响，具有较高的鲁棒性。

Description

车道线处理方法和装置
技术领域
本发明涉及交通技术领域，尤其涉及一种车道线处理方法和装置。
背景技术
车道线在自动驾驶中具有重要的作用，能够为定位、决策控制等模块提供重要的信息输出。在相机捕获的二维(2D，two dimensional)图像上，传统方案是利用图像处理方法来检测车道线的边缘，再利用聚类或其他点分组的方案来获取车道线。
利用传统图像处理、深度学习等方法进行车道线检测或分割的方案，需要繁琐的后处理方案，才能输出车道线，效果易受图像质量等条件的影响。例如，传统后处理方案可以利用霍夫(Hough)变换对车道线进行后处理，这种方式易受噪声点的影响，不鲁棒。
发明内容
本发明实施例提供一种车道线处理方法和装置，以解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种车道线处理方法，包括：
对第一图像进行二值化处理，得到二值图像，所述第一图像中包括车道线点和非车道线点；
对所述二值图像进行连通域分析，得到所述二值图像中的一个或多个连通域，每个连通域中包括相互邻接的多个车道线点；
利用各所述连通域确定各车道线对应的分组中包括的车道线点；
利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息。
结合第一方面，本发明实施例在第一方面的第一种实现方式中，还包括：
将第二图像输入深度学习模型，识别得到所述第一图像，所述第一图像与所述第二图像具有一定的缩放比例。
结合第一方面，本发明实施例在第一方面的第二种实现方式中，对第一图像进行二值化处理，得到二值图像，包括：
将所述第一图像中的车道线点的亮度值设置为0，将所述第一图像中的非车道线点的亮度值设置为255；或
将所述第一图像中的车道线点的亮度值设置为255，将所述第一图像中的非车道线点的亮度值设置为0。
结合第一方面，本发明实施例在第一方面的第三种实现方式中，对所述二值图像进行连通域分析，得到所述二值图像中的一个或多个连通域，包括：
结合感兴趣区域，在所述二值图像中进行连通域分析，得到所述感兴趣区域中的一个或多个连通域。
结合第一方面，本发明实施例在第一方面的第四种实现方式中，利用各所述连通域确定各车道线对应的分组中包括的车道线点，包括：
将一个连通域在所述第一图像中所经过的各车道线点，确定为一条车道线对应的分组中包括的车道线点。
结合第一方面的第一种实现方式，本发明实施例在第一方面的第五种实现方式中，利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息，包括：
将各所述分组中包括的车道线点在所述第一图像中的坐标映射回所述第二图像，得到各所述分组中的车道线点在所述第二图像中的坐标；
对于每个分组，从所述分组中选取多个车道线点，利用所选取的多个车道线点在所述第二图像中的坐标进行多项式拟合，得到所述分组对应的车道线的多项式曲线。
结合第一方面的第五种实现方式，本发明实施例在第一方面的第六种实现方式中，利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息，还包括：
利用所述车道线的多项式曲线，确定所述车道线的起点坐标和/或终点坐标。
第二方面，本发明实施例提供了一种车道线处理装置，包括：
二值化模块，用于对第一图像进行二值化处理，得到二值图像，所述第一图像中包括车道线点和非车道线点；
连通域模块，用于对所述二值图像进行连通域分析，得到所述二值图像中的一个或多个连通域，每个连通域中包括相互邻接的多个车道线点；
分组模块，用于利用各所述连通域确定各车道线对应的分组中包括的车道线点；
车道线表示模块，用于利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息。
结合第二方面，本发明实施例在第二方面的第一种实现方式中，还包括：
识别模块，用于将第二图像输入深度学习模型，识别得到所述第一图像，所述第一图像与所述第二图像具有一定的缩放比例。
结合第二方面，本发明实施例在第二方面的第二种实现方式中，所述连通域模块还用于结合感兴趣区域，在所述二值图像中进行连通域分析，得到所述感兴趣区域中的一个或多个连通域。
结合第二方面的第一种实现方式，本发明实施例在第二方面的第三种实现方式中，所述车道线表示模块包括：
映射子模块，用于将各所述分组中包括的车道线点在所述第一图像中的坐标映射回所述第二图像，得到各所述分组中的车道线点在所述第二图像中的坐标；
拟合子模块，用于对于每个分组，从所述分组中选取多个车道线点，利用所选取的多个车道线点在所述第二图像中的坐标进行多项式拟合，得到所述分组对应的车道线的多项式曲线。
结合第二方面的第三种实现方式，本发明实施例在第二方面的第四种实现方式中，所述车道线表示模块还包括：
起止点子模块，用于利用所述车道线的多项式曲线，确定所述车道线的起点坐标和/或终点坐标。
第三方面，本发明实施例提供了一种车道线处理装置，所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，所述装置的结构中包括处理器和存储器，所述存储器用于存储支持所述装置执行上述车道线处理方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口，用于与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储车道线处理装置所用的计算机软件指令，其包括用于执行上述车道线处理方法所涉及的程序。
上述技术方案中的一个技术方案具有如下优点或有益效果：利用连通域分析方法对二值图像上的车道线点进行分组，得到的分组准确，不受图像质量的影响，具有较高的鲁棒性。
上述技术方案中的另一个技术方案具有如下优点或有益效果：将二值图像的分组映射回原图像，再拟合得到的车道线曲线，可以得到准确的车道线表示，还有利于准确地确定车道线的起点、终点等关键信息。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例的车道线处理方法的流程图。
图2示出根据本发明实施例的车道线处理方法的流程图。
图3示出根据本发明实施例的车道线处理方法的对深度神经网络进行后处理的示意图。
图4示出根据本发明实施例的车道线处理方法中结合ROI的示意图。
图5和图6示出根据本发明实施例的车道线处理方法中利用曲线确定起点终点的示意图。
图7示出根据本发明实施例的车道线处理装置的结构框图。
图8示出根据本发明实施例的车道线处理装置的结构框图。
图9示出根据本发明实施例的车道线处理装置的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的车道线处理方法的流程图。如图1所示，该方法可以包括：
步骤S11、对第一图像进行二值化处理，得到二值图像，所述第一图像中包括车道线点和非车道线点。
步骤S12、对所述二值图像进行连通域分析，得到所述二值图像中的一个或多个连通域，每个连通域中包括相互邻接的多个车道线点。
步骤S13、利用各所述连通域确定各车道线对应的分组中包括的车道线点。
步骤S14、利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息。
在本实施例中，可以对第一图像中包括的像素点进行分类，被分类为车道线的像素点，可以称为车道线点。第一图像中除了车道线点之外的像素点，可以称为非车道线点。对第一图像进行二值化处理的一种示例可以包括：将第一图像中的车道线点和非车道线点分别设置为不同的亮度值，使得这两种点的对比强烈。在二值图像中，便于进行连通域分析。例如，在二值图像中，按照车道线点的亮度值进行连通域分析，亮度值相同的邻接点属于同一个连通域。邻接点可以包括坐标位置相邻的像素点，也可以包括距离较小例如不超过设定值的像素点。然后，利用连通域对第一图像中的车道线点进行分组。利用分组中的各车道线点得到该分组对应的车道线的表示信息。车道线的表示信息可以包括但不限于该车道线的曲线方程、起点、终点等。
在一种实现方式中，如图2所示，该方法还包括：
步骤S10、将第二图像输入深度学习模型，得到所述第一图像，所述第一图像与所述第二图像具有一定的缩放比例。
本实施例可以用于对深度学习模型的预测输出结果进行后处理。可以采用神经网络构建深度学习模型，并采用一定样本图像进行训练，使得深度学习模型能够得到网络输出图中的各像素点属于车道线的置信度。并利用置信度阈值进行分类。例如置信度大于阈值的像素点是车道线点，小于或等于阈值的像素点是非车道线点等。后续还可以利用识别结果不断自学习，从而优化模型。
例如，如图3所示，可以将给定一副2D图像(原图像、即第二图像)例如拍摄的路面图像等。利用深度学习模型将原图像等比例缩小，并对缩小后的图像上像素点进行分类(0:非车道线点1:车道线点)。每个分类为车道线的像素点(简称车道线点)，模型还可以给出其预测目标点在网络输出图(即第一图像，)中的位置。
在一种实现方式中，在步骤S11中，对第一图像进行二值化处理的方式有多种，示例如下：
方式一：将所述第一图像中的车道线点的亮度值设置为0，将所述第一图像中的非车道线点的亮度值设置为255。
方式二：将所述第一图像中的车道线点的亮度值设置为255，将所述第一图像中的非车道线点的亮度值设置为0。
由于网络输出图的尺寸比原图像(例如可以是原图像的1/4,1/8,1/16等)小，根据设定的置信度阈值对该网络输出图作二值化，可以得到二值图像。在一种示例中，可以将图像上的像素点的亮度值按照车道线的分类结果(例如各点的置信度是否超过阈值)分别设置为0或255，使得整个图像呈现出明显的只有黑和白的视觉效果。如图3所示，在二值图像中同一条车道线上的点会相互邻接，属于同一个连通域。因此，按照连通域进行分组，将可以处于同一个条车道线或相交的车道线上的像素点分到同一组。最后，利用每个分组包括的车道线点的坐标等信息，可以得到这个分组对应的车道线的表示信息。
在一种实现方式中，步骤S12可以包括：结合感兴趣区域，在所述二值图像中进行连通域分析，得到所述感兴趣区域中的一个或多个连通域。
考虑到远端的车道线可能会交汇在一起，可以结合感兴趣区域(ROI，,Region OfInterest)在二值图像中进行连通域分析。例如，如图4所示，虚线包围的区域为ROI。在ROI中相交的车道线断开，只包括不相交的车道线。这样，只对ROI内的像素点进行连通域分析，则将远端交汇的车道线分开，可以防止将位于不同车道线的像素点分到同一组中，使得分组更准确。
其中，二值图像与ROI结合方式有多种，示例如下：
在一个示例中，可以在原图像中确定出ROI。利用深度学习模型对原图像进行车道线识别时，在网络输出图中可以按照原图像的ROI得到对应的ROI，后续作为二值图像的ROI。
在另一个示例中，可以在原图像中确定出ROI。利用深度学习模型对原图像进行车道线识别时，可以将原图像的ROI包括的像素点作为输入图像。在网络输出图中也只包括ROI对应的像素点。后续，二值图像只包括ROI对应的像素点。
在另一个示例中，不在原图像中确定ROI，而是在网络输出图中确定出ROI，后续作为二值图像的ROI。
在一种实现方式中，步骤S13包括：将一个连通域在所述第一图像中所经过的各车道线点，确定为一条车道线对应的分组中包括的车道线点。
参见上述示例，结合ROI可以更好的使同一分组中包括的车道线点属于同一条车道线。
在一种实现方式中，步骤S14包括：将各所述分组中包括的车道线点在所述第一图像中的坐标映射回所述第二图像，得到各所述分组中的车道线点在所述第二图像中的坐标。对于每个分组，从所述分组中选取多个车道线点。利用所选取的多个车道线点在所述第二图像中的坐标进行多项式拟合，得到所述分组对应的车道线的多项式曲线。
在本实施例中，在对二值图像进行连通域分析得到车道线点的分组后，还可以将各车道线点的坐标从网络输出图映射回原图像。例如，如果原图像到网络输出图缩小了8倍，则可以将每个分组的车道线点的坐标按照8倍映射回原图像，得到这些点在原图像上的坐标。然后，利用多项式拟合的方案得到每个分组对应的多项式曲线。
一种多项式拟合过程的示例包括：假设给定一个多项式y＝ax3+bx2+cx+d。对于每个分组，可以将该分组中包括的多个(例如4个或以上)车道线点在原图像的坐标(x，y)代入该多项式。再利用最小二乘法求解该多项式，得到该多项式中各系数a、b、c、d的值。
其中，该给定的多项式只是一种示例而非限制，可以根据需求采用其他形式的多项式。
在一种实现方式中，在步骤S14中，还包括：利用所述车道线的多项式曲线，确定所述车道线的起点坐标和/或终点坐标。
在拟合得到某个分组对应的车道线的多项式曲线后，根据该曲线可以确定车道线的起点、终点等信息。具体而言，结合该分组中各车道线点的坐标以及该分组对应的车道线的曲线，可以利用这些点中y(和/或x)的最小值和最大值等确定起点及终点信息。
例如，如图5所示，利用某个分组拟合得到曲线L1，利用该分组中y(和/或x)的最小值确定L1的起点坐标A，y(和/或x)的最大值最小值确定L1的终点坐标B。利用某个分组拟合得到曲线L2，利用该分组中x的最小值(y的最大值)确定曲线L2的起点坐标C，利用该分组中x的最大值(y的最小值)确定曲线L2的终点坐标D。
再如，如图6所示，利用某个分组拟合得到曲线L3，利用该分组中y的最小值确定L3的起点坐标E，y的最大值最小值确定L3的终点坐标F。
本发明实施例，利用连通域分析方法对二值图像上的车道线点进行分组，得到的分组准确，不受图像质量的影响，具有较高的鲁棒性。
进一步地，将二值图像的分组映射回原图像，再拟合得到的车道线曲线，可以得到准确的车道线表示，还有利于准确地确定车道线的起点、终点等关键信息。
图7示出根据本发明实施例的车道线处理装置的结构框图。如图7所示，该装置可以包括：
二值化模块71，用于对第一图像进行二值化处理，得到二值图像，所述第一图像中包括车道线点和非车道线点；
连通域模块72，用于对所述二值图像进行连通域分析，得到所述二值图像中的一个或多个连通域，每个连通域中包括相互邻接的多个车道线点；
分组模块73，用于利用各所述连通域确定各车道线对应的分组中包括的车道线点；
车道线表示模块74，用于利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息。
在一种实现方式中，如图8所示，该装置还包括：
识别模块70，用于将第二图像输入深度学习模型，识别得到所述第一图像，所述第一图像与所述第二图像具有一定的缩放比例。
在一种实现方式中，二值化模块72还用于：
将所述第一图像中的车道线点的亮度值设置为0，将所述第一图像中的非车道线点的亮度值设置为255；或
将所述第一图像中的车道线点的亮度值设置为255，将所述第一图像中的非车道线点的亮度值设置为0。
在一种实现方式中，连通域模块72还用于结合感兴趣区域，在所述二值图像中进行连通域分析，得到所述感兴趣区域中的一个或多个连通域。
在一种实现方式中，分组模块73还用于将一个连通域在所述第一图像中所经过的各车道线点，确定为一条车道线对应的分组中包括的车道线点。
在一种实现方式中，所述车道线表示模块74包括：
映射子模块741，用于将各所述分组中包括的车道线点在所述第一图像中的坐标映射回所述第二图像，得到各所述分组中的车道线点在所述第二图像中的坐标；
拟合子模块742，用于对于每个分组，从所述分组中选取多个车道线点，利用所选取的多个车道线点在所述第二图像中的坐标进行多项式拟合，得到所述分组对应的车道线的多项式曲线。
在一种实现方式中，所述车道线表示模块74还包括：
起止点子模块743，用于利用所述车道线的多项式曲线，确定所述车道线的起点坐标和/或终点坐标。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
图9示出根据本发明实施例的车道线处理装置的结构框图。如图9所示，该装置包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的车道线处理方法。所述存储器910和处理器920的数量可以为一个或多个。
该装置还包括：
通信接口930，用于与外界设备进行通信，进行数据交互传输。
存储器910可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种车道线处理方法，其特征在于，包括：
将第二图像输入深度学习模型，识别得到第一图像，所述第一图像中包括已被分类的车道线点和非车道线点，所述车道线点为所述第一图像中被分类为车道线的像素点，所述非车道线点为所述第一图像中除了所述车道线点之外的像素点；
对所述第一图像进行二值化处理，得到二值图像；
对所述二值图像中的车道线点进行连通域分析，得到所述二值图像中的一个或多个连通域，每个连通域中包括相互邻接的多个车道线点；
利用各所述连通域确定各车道线对应的分组中包括的车道线点；
利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息，所述车道线的表示信息包括所述车道线的曲线方程、起点或终点。
2.根据权利要求1所述的方法，其特征在于，所述第一图像与所述第二图像具有一定的缩放比例。
3.根据权利要求1所述的方法，其特征在于，对第一图像进行二值化处理，得到二值图像，包括：
将所述第一图像中的车道线点的亮度值设置为0，将所述第一图像中的非车道线点的亮度值设置为255；或
将所述第一图像中的车道线点的亮度值设置为255，将所述第一图像中的非车道线点的亮度值设置为0。
4.根据权利要求1所述的方法，其特征在于，对所述二值图像进行连通域分析，得到所述二值图像中的一个或多个连通域，包括：
结合感兴趣区域，在所述二值图像中进行连通域分析，得到所述感兴趣区域中的一个或多个连通域。
5.根据权利要求1所述的方法，其特征在于，利用各所述连通域确定各车道线对应的分组中包括的车道线点，包括：
将一个连通域在所述第一图像中所经过的各车道线点，确定为一条车道线对应的分组中包括的车道线点。
6.根据权利要求2所述的方法，其特征在于，利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息，包括：
将各所述分组中包括的车道线点在所述第一图像中的坐标映射回所述第二图像，得到各所述分组中的车道线点在所述第二图像中的坐标；
对于每个分组，从所述分组中选取多个车道线点，利用所选取的多个车道线点在所述第二图像中的坐标进行多项式拟合，得到所述分组对应的车道线的多项式曲线。
7.根据权利要求6所述的方法，其特征在于，利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息，还包括：
利用所述车道线的多项式曲线，确定所述车道线的起点坐标和/或终点坐标。
8.一种车道线处理装置，其特征在于，包括：
识别模块，用于将第二图像输入深度学习模型，识别得到第一图像，所述第一图像中包括已被分类的车道线点和非车道线点，所述车道线点为所述第一图像中被分类为车道线的像素点，所述非车道线点为所述第一图像中除了所述车道线点之外的像素点；
二值化模块，用于对所述第一图像进行二值化处理，得到二值图像；
连通域模块，用于对所述二值图像中的车道线点进行连通域分析，得到所述二值图像中的一个或多个连通域，每个连通域中包括相互邻接的多个车道线点；
分组模块，用于利用各所述连通域确定各车道线对应的分组中包括的车道线点；
车道线表示模块，用于利用各所述分组中包括的车道线点得到各所述分组对应的车道线的表示信息，所述车道线的表示信息包括所述车道线的曲线方程、起点或终点。
9.根据权利要求8所述的装置，其特征在于，所述第一图像与所述第二图像具有一定的缩放比例。
10.根据权利要求8所述的装置，其特征在于，所述连通域模块还用于结合感兴趣区域，在所述二值图像中进行连通域分析，得到所述感兴趣区域中的一个或多个连通域。
11.根据权利要求9所述的装置，其特征在于，所述车道线表示模块包括：
映射子模块，用于将各所述分组中包括的车道线点在所述第一图像中的坐标映射回所述第二图像，得到各所述分组中的车道线点在所述第二图像中的坐标；
拟合子模块，用于对于每个分组，从所述分组中选取多个车道线点，利用所选取的多个车道线点在所述第二图像中的坐标进行多项式拟合，得到所述分组对应的车道线的多项式曲线。
12.根据权利要求11所述的装置，其特征在于，所述车道线表示模块还包括：
起止点子模块，用于利用所述车道线的多项式曲线，确定所述车道线的起点坐标和/或终点坐标。
13.一种车道线处理装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
14.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN201811019280.5A 2018-09-03 2018-09-03 车道线处理方法和装置 Active CN109214334B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811019280.5A CN109214334B (zh) 2018-09-03 2018-09-03 车道线处理方法和装置
JP2019123675A JP6823692B2 (ja) 2018-09-03 2019-07-02 車線処理方法、装置、及びプログラム
US16/508,862 US11275955B2 (en) 2018-09-03 2019-07-11 Lane line processing method and device
EP19186005.5A EP3617938B1 (en) 2018-09-03 2019-07-12 Lane line processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811019280.5A CN109214334B (zh) 2018-09-03 2018-09-03 车道线处理方法和装置

Publications (2)

Publication Number Publication Date
CN109214334A CN109214334A (zh) 2019-01-15
CN109214334B true CN109214334B (zh) 2020-12-29

Family

ID=64986689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811019280.5A Active CN109214334B (zh) 2018-09-03 2018-09-03 车道线处理方法和装置

Country Status (4)

Country Link
US (1) US11275955B2 (zh)
EP (1) EP3617938B1 (zh)
JP (1) JP6823692B2 (zh)
CN (1) CN109214334B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476062A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及驾驶系统
US10423840B1 (en) * 2019-01-31 2019-09-24 StradVision, Inc. Post-processing method and device for detecting lanes to plan the drive path of autonomous vehicle by using segmentation score map and clustering map
CN110163109B (zh) * 2019-04-23 2021-09-17 浙江大华技术股份有限公司 一种车道线标注方法及装置
CN112926354A (zh) * 2019-12-05 2021-06-08 北京超星未来科技有限公司 一种基于深度学习的车道线检测方法及装置
CN112434591B (zh) * 2020-11-19 2022-06-17 腾讯科技（深圳）有限公司 车道线确定方法、装置
CN115147794B (zh) * 2022-06-30 2023-08-29 小米汽车科技有限公司 车道线确定方法、装置、车辆、介质及芯片
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657727A (zh) * 2015-03-18 2015-05-27 厦门麦克玛视电子信息技术有限公司 一种车道线的检测方法
CN105261020A (zh) * 2015-10-16 2016-01-20 桂林电子科技大学 一种快速车道线检测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504951B1 (en) * 1999-11-29 2003-01-07 Eastman Kodak Company Method for detecting sky in images
US7062085B2 (en) 2001-09-13 2006-06-13 Eastman Kodak Company Method for detecting subject matter regions in images
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
JP4365350B2 (ja) * 2005-06-27 2009-11-18 本田技研工業株式会社 車両及び車線認識装置
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
DE102009054227A1 (de) * 2009-11-21 2011-05-26 Volkswagen Ag Verfahren zum Steuern einer Scheinwerferanordnung für ein Fahrzeug und Scheinwerferanordnung
JP6456682B2 (ja) * 2014-12-25 2019-01-23 株式会社Ｓｏｋｅｎ 走行区画線認識装置
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
US10255523B2 (en) * 2015-11-16 2019-04-09 Orbital Insight, Inc. Moving vehicle detection and analysis using low resolution remote sensing imagery
CN107092920A (zh) * 2016-02-17 2017-08-25 福特全球技术公司 评估其上行驶有车辆的路面的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657727A (zh) * 2015-03-18 2015-05-27 厦门麦克玛视电子信息技术有限公司 一种车道线的检测方法
CN105261020A (zh) * 2015-10-16 2016-01-20 桂林电子科技大学 一种快速车道线检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于图像的车道线检测与跟踪算法研究;刘国荣;《万方学位论文库》;20141106;全文 *
基于计算机视觉的车道线检测与交通路标识别;詹海浪;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20151215;第2015年卷(第12期);第2.3.2节 *

Also Published As

Publication number Publication date
US20200074187A1 (en) 2020-03-05
JP2020038617A (ja) 2020-03-12
EP3617938B1 (en) 2024-02-28
US11275955B2 (en) 2022-03-15
EP3617938A1 (en) 2020-03-04
JP6823692B2 (ja) 2021-02-03
CN109214334A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109214334B (zh) 车道线处理方法和装置
US11113546B2 (en) Lane line processing method and device
CN110378945B (zh) 深度图处理方法、装置和电子设备
WO2021051604A1 (zh) Osd的文字区域的识别方法、装置及存储介质
CN109002795B (zh) 车道线检测方法、装置及电子设备
CN110309824B (zh) 文字检测方法、装置以及终端
CN108875723B (zh) 对象检测方法、装置和系统及存储介质
WO2020135056A1 (zh) 一种图像处理方法及装置
US9076056B2 (en) Text detection in natural images
CN111047615B (zh) 基于图像的直线检测方法、装置以及电子设备
CN111080661A (zh) 基于图像的直线检测方法、装置以及电子设备
CN110675407A (zh) 一种图像实例分割方法、装置、电子设备及存储介质
CN112132131B (zh) 量筒液位识别方法和装置
US20210183116A1 (en) Map building method, computer-readable storage medium and robot
CN107577979A (zh) DataMatrix型二维码快速识别方法、装置及电子设备
CN109389110B (zh) 一种区域确定方法及装置
CN111652208A (zh) 用户界面组件的识别方法、装置、电子设备及存储介质
CN114638294A (zh) 一种数据增强方法、装置、终端设备及存储介质
CN109389122A (zh) 一种车牌定位方法及装置
CN114332794B (zh) 用于列车线阵图像的目标检测方法、系统、装置及介质
CN113326749B (zh) 目标检测方法、装置以及存储介质、电子设备
CN113902740A (zh) 图像模糊程度评价模型的构建方法
CN110969640A (zh) 视频图像的分割方法、终端设备以及计算机可读存储介质
CN110555344B (zh) 车道线识别方法、装置、电子设备、存储介质
CN116091933A (zh) 基于遥感技术的水域地形的地质分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211013

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

TR01 Transfer of patent right