CN108734105B - 车道线检测方法、装置、存储介质和电子设备 - Google Patents

车道线检测方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN108734105B
CN108734105B CN201810361951.XA CN201810361951A CN108734105B CN 108734105 B CN108734105 B CN 108734105B CN 201810361951 A CN201810361951 A CN 201810361951A CN 108734105 B CN108734105 B CN 108734105B
Authority
CN
China
Prior art keywords
image
beacon
algorithm
edge
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810361951.XA
Other languages
English (en)
Other versions
CN108734105A (zh
Inventor
邹博
唐闯
周磊
李丹丹
郭溪溪
孔令美
赵洋洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201810361951.XA priority Critical patent/CN108734105B/zh
Publication of CN108734105A publication Critical patent/CN108734105A/zh
Application granted granted Critical
Publication of CN108734105B publication Critical patent/CN108734105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及一种车道线检测方法、装置、存储介质和电子设备，涉及图像识别领域，该方法包括：利用第一图像识别算法对摄像设备采集的第一图像进行识别，以确定第一图像中是否存在车辆，第一图像是摄像设备采集的包含目标道路图像信息的任一帧图像，在第一图像中不存在车辆时，利用第二图像识别算法对第一图像进行识别，以确定第一图像中的指向标的位置，根据指向标的位置确定第一图像中与指向标对应的目标区域，利用第三图像识别算法对目标区域进行识别，以获取目标区域中的车道线在第一图像上的第一位置，能够在道路监控视角下有效识别车道线的位置。

Description

车道线检测方法、装置、存储介质和电子设备
技术领域
本公开涉及图像识别领域，具体地，涉及一种车道线检测方法、装置、存储介质和电子设备。
背景技术
目前，随着汽车的保有量不断增多，道路交通的压力越来越重。车道线作为最常见的道路标记线(包括：停止线和分道线)，能够有效疏导交通流量、提高道路通行能力、减少交通事故。因此，车道线的识别是智能检测车辆违规的重要组成部分。然而，传统的车道线识别是由在道路上行驶的车辆来完成的，不能有效协助交通监测系统对车辆违规的判定。
发明内容
本公开的目的是提供一种车道线检测方法、装置、存储介质和电子设备，用以解决在道路监控视角下无法识别车道线的问题。
为了实现上述目的，根据本公开实施例的第一方面，提供一种车道线检测方法，所述方法包括：
利用第一图像识别算法对摄像设备采集的第一图像进行识别，以确定所述第一图像中是否存在车辆，所述第一图像是所述摄像设备采集的包含目标道路图像信息的任一帧图像；
在所述第一图像中不存在车辆时，利用第二图像识别算法对所述第一图像进行识别，以确定所述第一图像中的指向标的位置；
根据所述指向标的位置确定所述第一图像中与所述指向标对应的目标区域；
利用第三图像识别算法对所述目标区域进行识别，以获取所述目标区域中的车道线在所述第一图像上的第一位置。
可选的，所述第一图像识别算法为单发多盒探测器SSD算法，所述利用第一图像识别算法对摄像设备采集的第一图像进行识别，以确定所述第一图像中是否存在车辆，包括：
将预设的车辆模型和所述第一图像作为SSD算法的输入，以根据所述SSD算法的输出结果确定所述第一图像内是否存在车辆；
其中，所述车辆模型是根据预设的车辆样本集合训练获得的SSD模型。
可选的，所述第二图像识别算法为SSD算法，所述在所述第一图像中不存在车辆时，利用第二图像识别算法对所述第一图像进行识别，以确定所述第一图像中的指向标的位置，包括：
将所述第一图像按照预设的尺寸分割为多个检测框，所述预设的尺寸包括一种或多种尺寸；
将预设的指向标模型和每个所述检测框作为SSD算法的输入，以获取所述SSD算法输出的所述多个检测框对应的识别结果；
将所述多个检测框的识别结果进行合并作为所述第一图像的检测结果；
根据所述第一图像的检测结果，确定所述第一图像中的指向标的位置；
其中，所述指向标模型是根据预设的指向标样本集合训练获得的SSD模型，所述指向标样本集合中包含一种或多种指向标样本。
可选的，所述在所述第一图像中不存在车辆时，利用第二图像识别算法对所述第一图像进行识别，以确定所述第一图像中的指向标的位置，还包括：
根据所述第一图像的检测结果，确定所述第一图像中所述指向标的个数；
在识别到N个所述指向标时，将所述第一图像划分为N个分别包含N个所述指向标的识别区域，其中N为正整数；
将预设的箭头模型和N个所述识别区域作为SSD算法的输入，以根据所述SSD算法的输出结果确定每个所述识别区域中包含的箭头的个数，其中所述箭头模型是根据预设的箭头样本集合训练获得的SSD模型；
根据每个所述识别区域中包含的所述箭头的个数，修正所述第一图像的检测结果，并确定N个所述指向标的类型。
可选地，所述根据所述指向标的位置确定所述第一图像中与所述指向标对应的目标区域，包括：
以第一指向标的第一边作为所述目标区域的下边缘，以所述第一图像中的人行横道的第一边或所述第一指向标的第二边向上平移预设距离的位置作为所述目标区域的上边缘；其中，所述第一指向标的第一边为所述第一指向标上不存在箭头一端的边线，其中所述第一指向标为所述第一图像上的任一指向标，所述人行横道的第一边为靠近所述第一指向标的一边，所述第一指向标的第二边为位于所述第一指向标上存在箭头的一端，且与所述第一指向标垂直的边线；
当所述第一指向标的左右两侧都存在所述指向标时，将分别通过所述第一指向标的左右两侧的两个所述指向标的箭头中心点，且与所述上边缘垂直的两条线分别作为所述目标区域的左边缘和右边缘；
当所述第一指向标的左侧存在第二指向标，右侧不存在所述指向标时，将通过所述第二指向标的箭头中心点，且与所述上边缘垂直的线作为所述目标区域的左边缘，将与所述左边缘关于所述第一指向标的箭头中点对称的线作为右边缘；
当所述第一指向标的右侧存在第三指向标，左侧不存在所述指向标时，将通过所述第三指向标的箭头尖中心点，且与所述上边缘垂直的线作为所述目标区域的右边缘，将与所述右边缘关于所述第一指向标的箭头中点对称的线作为左边缘；
将所述上边缘、下边缘、左边缘和右边缘围成的矩形区域，作为与所述第一指向标对应的目标区域。
可选的，所述第三图像识别算法为监督下降算法SDM，所述利用第三图像识别算法对所述目标区域进行识别，以获取所述目标区域中的车道线在所述第一图像上的第一位置，包括：
以所述目标区域、车道线模型和所述第一图像作为所述SDM算法的输入，以根据所述SDM算法的输出结果确定所述车道线在所述第一图像上的所述第一位置；
其中，所述车道线模型是根据预设的车道线样本集合训练获得的学习矩阵。
可选的，所述方法还包括：
利用霍夫变换算法对所述目标区域进行识别，以获取所述车道线在所述第一图像上的第二位置；
根据所述第一图像的灰度信息和所述指向标的位置，判断所述第一位置和所述第二位置是否正确；
当所述第一位置和所述第二位置中至少有一个错误时，根据所述第一位置和所述第二位置，利用分水岭分割方法获取所述车道线在所述第一图像上的第三位置；
将所述第一位置、所述第二位置和所述第三位置中灰度均值最大的位置作为输出的所述车道线的实际位置。
根据本公开实施例的第二方面，提供一种车道线检测装置，所述装置包括：
第一识别模块，用于利用第一图像识别算法对摄像设备采集的第一图像进行识别，以确定所述第一图像中是否存在车辆，所述第一图像是所述摄像设备采集的包含目标道路图像信息的任一帧图像；
第二识别模块，用于在所述第一图像中不存在车辆时，利用第二图像识别算法对所述第一图像进行识别，以确定所述第一图像中的指向标的位置；
区域确定模块，用于根据所述指向标的位置确定所述第一图像中与所述指向标对应的目标区域；
第三识别模块，用于利用第三图像识别算法对所述目标区域进行识别，以获取所述目标区域中的车道线在所述第一图像上的第一位置。
可选的，所述第一图像识别算法为单发多盒探测器SSD算法，所述第一识别模块用于：
将预设的车辆模型和所述第一图像作为SSD算法的输入，以根据所述SSD算法的输出结果确定所述第一图像内是否存在车辆；
其中，所述车辆模型是根据预设的车辆样本集合训练获得的SSD模型。
可选的，所述第二图像识别算法为SSD算法，所述第二识别模块包括：
分割子模块，用于将所述第一图像按照预设的尺寸分割为多个检测框，所述预设的尺寸包括一种或多种尺寸；
第一识别子模块，用于将预设的指向标模型和每个所述检测框作为SSD算法的输入，以获取所述SSD算法输出的所述多个检测框对应的识别结果；
合并子模块，用于将所述多个检测框的识别结果进行合并作为所述第一图像的检测结果；
确定子模块，用于根据所述第一图像的检测结果，确定所述第一图像中的指向标的位置；
其中，所述指向标模型是根据预设的指向标样本集合训练获得的SSD模型，所述指向标样本集合中包含一种或多种指向标样本。
可选的，所述第二识别模块还包括：
所述确定子模块，还用于根据所述第一图像的检测结果，确定所述第一图像中所述指向标的个数；
划分子模块，用于在识别到N个所述指向标时，将所述第一图像划分为N个分别包含N个所述指向标的识别区域，其中N为正整数；
第二识别子模块，用于将预设的箭头模型和N个所述识别区域作为SSD算法的输入，以根据所述SSD算法的输出结果确定每个所述识别区域中包含的箭头的个数，其中所述箭头模型是根据预设的箭头样本集合训练获得的SSD模型；
修正子模块，用于根据每个所述识别区域中包含的所述箭头的个数，修正所述第一图像的检测结果，并确定N个所述指向标的类型。
可选的，所述区域确定模块包括：
第一确定子模块，用于以第一指向标的第一边作为所述目标区域的下边缘，以所述第一图像中的人行横道的第一边或所述第一指向标的第二边向上平移预设距离的位置作为所述目标区域的上边缘；其中，所述第一指向标的第一边为所述第一指向标上不存在箭头一端的边线，其中所述第一指向标为所述第一图像上的任一指向标，所述人行横道的第一边为靠近所述第一指向标的一边，所述第一指向标的第二边为位于所述第一指向标上存在箭头的一端，且与所述第一指向标垂直的边线；
第二确定子模块，用于当所述第一指向标的左右两侧都存在所述指向标时，将分别通过所述第一指向标的左右两侧的两个所述指向标的箭头中心点，且与所述上边缘垂直的两条线分别作为所述目标区域的左边缘和右边缘；
所述第二确定子模块，还用于当所述第一指向标的左侧存在第二指向标，右侧不存在所述指向标时，将通过所述第二指向标的箭头中心点，且与所述上边缘垂直的线作为所述目标区域的左边缘，将与所述左边缘关于所述第一指向标的箭头中点对称的线作为右边缘；
所述第二确定子模块，还用于当所述第一指向标的右侧存在第三指向标，左侧不存在所述指向标时，将通过所述第三指向标的箭头尖中心点，且与所述上边缘垂直的线作为所述目标区域的右边缘，将与所述右边缘关于所述第一指向标的箭头中点对称的线作为左边缘；
第三确定子模块，用于将所述上边缘、下边缘、左边缘和右边缘围成的矩形区域，作为与所述第一指向标对应的目标区域。
可选的，所述第三图像识别算法为监督下降算法SDM，所述第三识别模块用于：
以所述目标区域、车道线模型和所述第一图像作为所述SDM算法的输入，以根据所述SDM算法的输出结果确定所述车道线在所述第一图像上的所述第一位置；
其中，所述车道线模型是根据预设的车道线样本集合训练获得的学习矩阵。
可选的，所述装置还包括：
第四识别模块，用于利用霍夫变换算法对所述目标区域进行识别，以获取所述车道线在所述第一图像上的第二位置；
判断模块，用于根据所述第一图像的灰度信息和所述指向标的位置，判断所述第一位置和所述第二位置是否正确；
位置确定模块，用于当所述第一位置和所述第二位置中至少有一个错误时，根据所述第一位置和所述第二位置，利用分水岭分割方法获取所述车道线在所述第一图像上的第三位置；
所述位置确定模块，还用于将所述第一位置、所述第二位置和所述第三位置中灰度均值最大的位置作为输出的所述车道线的实际位置。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例的第一方面提供的车道线检测方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：
本公开实施例的第三方面提供的计算机可读存储介质；以及
一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。
通过上述技术方案，本公开首先利用第一图像识别算法识别摄像设备的采集的第一图像中是否存在车辆，在第一图像中不存在会对车道线识别产生干扰的车辆的条件下，利用第二图像识别算法识别第一图像中指向标的位置，再根据指向标的位置确定车道线可能存在的区域，即目标区域，最后利用第三图像识别算法识别目标区域中的车道线对应在第一图像中的第一位置。能够在道路监控视角下有效识别车道线的位置，从而协助交通监测系统对车辆违规进行判断。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种车道线检测方法的流程图；
图2a是根据一示例性实施例示出的另一种车道线检测方法的流程图；
图2b是指示第一图像中指向标的位置的示意图；
图3是根据一示例性实施例示出的另一种车道线检测方法的流程图；
图4a是根据一示例性实施例示出的另一种车道线检测方法的流程图；
图4b是指示第一图像中与指向标对应的目标区域的示意图；
图4c是指示第一图像中特征点的初始位置的示意图；
图4d是指示第一图像中特征点的实际位置的示意图；
图5a是根据一示例性实施例示出的另一种车道线检测方法的流程图；
图5b是指示分水岭分割方法中种子线选取的示意图；
图6是根据一示例性实施例示出的一种车道线检测装置的框图；
图7是根据一示例性实施例示出的另一种车道线检测装置的框图；
图8是根据一示例性实施例示出的另一种车道线检测装置的框图；
图9是根据一示例性实施例示出的另一种车道线检测装置的框图；
图10是根据一示例性实施例示出的另一种车道线检测装置的框图；
图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本公开提供的车道线检测方法、装置、存储介质和电子设备之前，首先对本公开各个实施例所涉及应用场景进行介绍。该应用场景为设置有摄像设备的路口，路口中可以包括人行横道、多个车道、用于指示每个车道行驶方向的指向标等，其中摄像设备可以是摄像机、高速相机等设备，用于采集包含路口图像信息的图像。
图1是根据一示例性实施例示出的一种车道线检测方法的流程图，如图1所示，该方法包括：
步骤101，利用第一图像识别算法对摄像设备采集的第一图像进行识别，以确定第一图像中是否存在车辆，第一图像是摄像设备采集的包含目标道路图像信息的任一帧图像。
举例来说，目标道路中包含的车道线、指向标、人行横道等指示信息是固定不变的，而行驶在目标道路上的车辆可能会遮挡这些指示信息，从而对车道线的识别产生干扰。因此，首先要对摄像设备采集的包含目标道路图像信息的每一帧图像进行筛选。利用第一图像识别算法来识别第一图像(摄像设备采集的任一帧图像)，其中第一图像识别算法可以是SSD(英文：Single Shot MultiBox Detector，中文：单发多盒探测器)算法、YOLO(英文：You Only Look Once)算法，或Faster-RCNN(英文：Faster-Regions with ConvolutionalNeural Network features)算法等图像识别算法，用于确定第一图像中是否存在车辆。
步骤102，在第一图像中不存在车辆时，利用第二图像识别算法对第一图像进行识别，以确定第一图像中的指向标的位置。
示例的，当第一图像中不存在会对车道线识别产生干扰的车辆时，利用第二图像识别算法对第一图像进行识别，其中第二图像识别算法同样也可以是SSD算法、YOLO算法或Faster-RCNN算法等图像识别算法，以识别出第一图像中的指向标(可以是零个、一个或多个)，从而确定第一图像中的指向标的位置。
步骤103，根据指向标的位置确定第一图像中与指向标对应的目标区域。
举例来说，在实际道路中，指向标用于指示每个车道行驶方向，包括直行、左转、右转、掉头或其他类型的组合指向标，车道线的位置一般都是在指向标附近的区域内，例如：指向标左右两侧预设距离的位置，为车道线中的分道线，指向标箭头一端预设距离的位置，为车道线中的停止线。因此，可以根据指向标在第一图像上的位置来确定包含有车道线的目标区域，例如可以将目标区域设置为以指向标的中心为中心，预设长度为变长的矩形区域，还可以将目标区域设置为将指向标的外接矩形扩大预设倍数的矩形区域。需要说明的是，目标区域的个数与步骤102中识别出的指向标个数相同，即当第一图像中包括零个指向标时，可以对第一图像不做识别处理，也可以对第一图像进行标识，交由人工进行车道线的标定，当第一图像中包括一个或多个指向标时，在第一图像中确定一个或多个目标区域。
步骤104，利用第三图像识别算法对目标区域进行识别，以获取目标区域中的车道线在第一图像上的第一位置。
示例的，在确定了目标区域后，利用第三图像识别算法对目标区域进行识别，其中，第三图像识别算法可以是SDM(英文：Supervised Descent Method，中文：监督下降法)、霍夫变换(英文：Hough Transform)法、分水岭分割方法等方法，以识别出目标区域中的车道线的位置，进一步根据目标区域在第一图像上的位置，确定目标区域中的车道线在第一图像上的第一位置。需要说明的是，目标区域可以是一个或多个，对应的每个目标区域对应一个车道线的位置(可以理解为第一图像上的一组坐标)。
综上所述，本公开首先利用第一图像识别算法识别摄像设备的采集的第一图像中是否存在车辆，在第一图像中不存在会对车道线识别产生干扰的车辆的条件下，利用第二图像识别算法识别第一图像中指向标的位置，再根据指向标的位置确定车道线可能存在的区域，即目标区域，最后利用第三图像识别算法识别目标区域中的车道线对应在第一图像中的第一位置。能够在道路监控视角下有效识别车道线的位置，从而协助交通监测系统对车辆违规进行判断。
可选的，第一图像识别算法为SSD算法，步骤101包括：
将预设的车辆模型和第一图像作为SSD算法的输入，以根据SSD算法的输出结果确定第一图像内是否存在车辆。其中，车辆模型是根据预设的车辆样本集合训练获得的SSD模型。
举例来说，SSD算法是基于一个前向传播的CNN(英文：Convolutional NeuralNetwork，中文：卷积神经网络)，产生一系列大小固定的标定框(bounding boxes)，以及每一个标定框中包含物体实例的可能性，即置信度，之后通过非极大值抑制处理来得到最终的预测结果。SSD算法首先需要通过预设的物体实例样本集合来建立SSD模型，即基础网络，用于图像分类的标准框架，基础网络的基础上添加大小逐层递减的卷积层，用于在多尺度下进行预测。首先需要利用大量图像样本进行训练，通过目标损失函数来建立物体实例与default box的对应关系，得到SSD模型。再根据SSD模型来对图像进行识别。
目标损失函数可以通过以下公式来实现：
Figure BDA0001636187170000101
其中，L表示目标损失函数，x表示检测框中对物体实例类别的判定(取值为1或0)，c表示检测框中包含物体实例的置信度，l表示预测框的区域范围，g表示标定框的区域范围，Lconf表示类别置信度损失函数，Lloc表示位置损失函数，N表示与default box匹配的预测框的数量，α表示调整系数，默认值为1。
要检测第一图像中是否存在车辆，首先利用预设的车辆样本集合(大量包含一种或多种车辆样本的图像，)经过训练获得车辆模型，再以车辆模型和第一图像作为SSD算法的输入，SSD算法的输出结果包括：第一图像中车辆的位置(在第一图像上的坐标)和车辆的类型(与车辆样本集合中的哪类车辆匹配)，可以理解为，如果SSD算法的输出结果检测出来车辆的位置和类型，那么可以确定第一图像中存在车辆，如果SSD算法的输出结果没有检测出车辆的位置和类型，那么第一图像中不存在车辆。
图2a是根据一示例性实施例示出的另一种车道线检测方法的流程图，如图2a所示，第二图像识别算法为SSD算法，步骤102包括：
步骤1021，将第一图像按照预设的尺寸分割为多个检测框，预设的尺寸包括一种或多种尺寸。
步骤1022，将预设的指向标模型和每个检测框作为SSD算法的输入，以获取SSD算法输出的多个检测框对应的识别结果。
步骤1023，将多个检测框的识别结果进行合并作为第一图像的检测结果。
步骤1024，根据第一图像的检测结果，确定第一图像中的指向标的位置。
其中，指向标模型是根据预设的指向标样本集合训练获得的SSD模型，指向标样本集合中包含一种或多种指向标样本。
示例的，首先利用预设的指向标样本集合(大量包含了一种或多种指向标样本的图像)经过训练获得指向标模型。由于指向标的尺寸要远小于第一图像的尺寸，因此可以将第一图像按照预设的尺寸分割为多个检测框，例如可以将第一图像分割为1000、1600、2000三种不同尺寸的检测框(例如将第一图像分割为多个检测框，每个检测框包含1000、1600或2000个像素点)，对应获得了三类检测框，每一类检测框中都包括多个，将指向标模型和每一个检测框作为SSD算法的输入，SSD算法的输出为每个检测框中指向标的位置和种类，即每个检测框对应的识别结果。再根据多个检测框对应在第一图像上的位置将多个检测框的识别结果进行合并，应用非极大值抑制处理具有包含关系的检测框，保留置信度最大的检测结果作为第一图像的检测结果，第一图像的检测结果中包含了第一图像中指向标的位置和种类。以图2b为例，第一图像的检测结果为三个指向标对应在第一图像上的位置和三个指向标的种类。需要说明的是，在将多个检测框的识别结果进行合并时，还可以通过一系列的后处理对每个检测框对应的识别结果进行校正，例如：根据指向标的设置规则去除误检的指向标，如果右转指向标的右侧有直行指向标时，去除直行指向标；如果第一图像的检测结果中包含两排指向标，那么只保留靠近人行横道的一排指向标；当出现同一位置判定不同种类的指向标时，选取置信度高的种类作为识别结果；当指向标的宽高比例超出指向标的正常比例一定阈值时，去除该指向标。
图3是根据一示例性实施例示出的另一种车道线检测方法的流程图，如图3所示，步骤102还包括：
步骤1025，根据第一图像的检测结果，确定第一图像中指向标的个数。
步骤1026，在识别到N个指向标时，将第一图像划分为N个分别包含N个指向标的识别区域，其中N为正整数。
步骤1027，将预设的箭头模型和N个识别区域作为SSD算法的输入，以根据SSD算法的输出结果确定每个识别区域中包含的箭头的个数，其中箭头模型是根据预设的箭头样本集合训练获得的SSD模型。
步骤1028，根据每个识别区域中包含的箭头的个数，修正第一图像的检测结果，并确定N个指向标的类型。
举例来说，由于包含多个箭头的指向标(例如指示掉头的指向标和其他特殊类别的指向标)样本比较少，使用训练出的指向标模型作为SSD算法的输入，对包含多个箭头的指向标的类别识别效果比较差，因此可以通过识别第一图像中的箭头，来对第一图像的检测结果进行修正。首先根据第一图像的检测结果确定第一图像中指向标的个数，识别到N个指向标，根据相邻指向标的重点画出N-1条分割线，将第一图像划分成N个分别包含N个指向标的识别区域。利用预设的箭头样本集合(大量包含了箭头样本的图像)训练获得箭头模型，再以箭头模型和N个识别区域作为SSD算法的输入，SSD算法的输出结果为每个识别区域中包含的箭头的个数和种类(即箭头的指向)。最后，根据每个识别区域中包含的箭头的个数来修正第一图像的检测结果，并确定N个指向标的类型。例如，如果一个识别区域中的箭头个数等于1，则表示该识别区域中的指向标为：直行、反向直行、左转、右转等，进一步再根据箭头的指向确定指向标的类别。如果一个识别区域中的箭头个数大于1，则表示该识别区域中的指向标为组合类别：直行右转、左转掉头等，再根据箭头的指向确定指向标的类别。
图4a是根据一示例性实施例示出的另一种车道线检测方法的流程图，如图4a所示，步骤103包括：
步骤1031，以第一指向标的第一边作为目标区域的下边缘，以第一图像中的人行横道的第一边或第一指向标的第二边向上平移预设距离的位置作为目标区域的上边缘。其中，第一指向标的第一边为第一指向标上不存在箭头一端的边线，其中第一指向标为第一图像上的任一指向标，人行横道的第一边为靠近第一指向标的一边，第一指向标的第二边为位于第一指向标上存在箭头的一端，且与第一指向标垂直的边线。
步骤1032，当第一指向标的左右两侧都存在指向标时，将分别通过第一指向标的左右两侧的两个指向标的箭头中心点，且与上边缘垂直的两条线分别作为目标区域的左边缘和右边缘。
步骤1033，当第一指向标的左侧存在第二指向标，右侧不存在指向标时，将通过第二指向标的箭头中心点，且与上边缘垂直的线作为目标区域的左边缘，将与左边缘关于第一指向标的箭头中点对称的线作为右边缘。
步骤1034，当第一指向标的右侧存在第三指向标，左侧不存在指向标时，将通过第三指向标的箭头尖中心点，且与上边缘垂直的线作为目标区域的右边缘，将与右边缘关于第一指向标的箭头中点对称的线作为左边缘。
步骤1035，将上边缘、下边缘、左边缘和右边缘围成的矩形区域，作为与第一指向标对应的目标区域。
以图4b所示的第一图像为例，目标道路中包括三个指向标，以中间的指向标为第一指向标为例，目标区域的下边缘为第一指向标上不存在箭头一端的边线，上边缘为人行横道靠近第一指向标的一边，左边缘和右边缘分别为通过第一指向标左右两侧的两个指向标的箭头中心点，且与上边缘垂直的两条线，即图4b中的虚线框所包含的区域为目标区域。
可选的，第三图像识别算法为SDM(英文：Supervised Descent Method，中文：监督下降算法)，步骤104包括：
以目标区域、车道线模型和第一图像作为SDM算法的输入，以根据SDM算法的输出结果确定车道线在第一图像上的第一位置。
其中，车道线模型是根据预设的车道线样本集合训练获得的学习矩阵。
举例来说，SDM算法是通过学习得到一系列梯度下降的方向(即学习矩阵)，以达到最小化非线性最小二乘函数(即均方误差)的目的，能够很快收敛到最小值。SDM算法分为训练和检测两步：
在训练过程中，首先需要根据大量包含了车道线的图像样本集合建立车道线模型，即学习矩阵，在图像样本集合中的每一帧图像中选取训练区域，训练区域的选取方式和步骤103的整体思路相同，其中可以选取车道线中的停止线作为训练区域的上边缘，进一步缩小范围，提高检测的效率。同时由于实际车道线中的停止线与指向标的箭头顶部距离变化较大，为了提高SDM算法检测结果的准确度，可以将训练区域的上边缘上下各平移预设距离，再将训练区域向左右各平移1次，即图像样本集合中的每一帧图像共进行15次训练。
其次，根据车道线的形状特征，标记出车道线的预设个数m个(例如14个)特征点，以m个特征点的局部SIFT(英文：Scale-invariant feature transform，中文：尺度不变特征变换)值作为特征值，以建立m个特征点之间的位置约束，通过逐步迭代求出特征点的实际值x。以图像样本集合中m个特征点的m个平均值作为初始值x0，以图4c为例，14个特征点的初始值x0在第一图像上的位置如图4c所示。通过逐步迭代，14个特征点的位置逐步接近车道线在第一图像上的实际位置x，如图4d所示。
学习矩阵的训练过程可以通过如下公式求得：
x1＝x0+Δx1
Δx1＝R0Φ0+b0
……
xk＝xk-1+Δxk
Δxk＝Rk-1Φk-1+bk-1
其中，x0为图像样本集合中特征点的平均值，b0为第一次迭代选取的图像中特征点的SIFT值，Φ0为x0对应的SIFT值，xi为第i-1次迭代的结果，bi为第i-1次迭代选取的图像中特征点的SIFT值，Φi为xi对应的SIFT值，迭代的结束条件是第k次迭代的结果和第k-1次迭代的结果的差值小于预设阈值。经过k次迭代，得到的学习矩阵R＝{R0R1…Rk}为梯度下降的方向。
在检测过程中，对于给定图像样本集合与对应的特征点，以初始特征点可以服从正太分布的目标区域对齐采样，R0和b0可通过求解如下最优化问题获得：
Figure BDA0001636187170000141
上式为线性优化问题，可直接求解，当第一步求解完毕后，通过迭代公式xk＝xk-1+Δxk，可求出x1。则Rk,bk可以通过新的线性回归得到：
Figure BDA0001636187170000142
以目标区域、学习矩阵R(车道线模型)和m个特征点作为SDM算法的输入，随着k的增大，误差逐渐减小，迭代的结束条件是第k次迭代的结果和第k-1次迭代的结果的差值小于预设阈值，SDM算法的输出为m个特征点的实际位置，即车道线在第一图像上的第一位置。
图5a是根据一示例性实施例示出的另一种车道线检测方法的流程图，如图5a所示，该方法还包括：
步骤105，利用霍夫变换算法对目标区域进行识别，以获取车道线在第一图像上的第二位置。
示例的，霍夫变换是通过一种投票算法检测具有特定形状的物体，通常用于检测直线。该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果，利用来图像空间和霍夫空间的点和线的对偶性。利用霍夫变换算法识别出目标区域中的满足一定条件的直线，将其作为车道线在第一图像上的第二位置。原始图像中的y＝kx+b直线上的每个点对应到霍夫空间上b＝-kx+y的一条直线，原始图像一条直线上的多个点在参数空间中对应的直线相交于一点，利用交点投票数的多少判断是否为直线。首先利用Canny边缘检测算子得到图像中物体的边缘，将边缘图转换成二值图像进行霍夫变换检测。由于每一帧图像的光照条件的不同，图像的灰度值存在很大的差别，可以采用SDM目标区域的灰度值对Canny算子的高阈值进行设置，在霍夫变换时根据检测结果，采用反馈调节逐步增大或减小霍夫变换函数中maxGap参数的方法检测直线。由于第一图像中存在大量干扰线(例如指向标区域线条、道路两旁电线杆、路灯等其他类直线干扰线)，对于霍夫检测结果，可以根据指向标位置信息去除指向标区域内的直线，进一步再根据线段的长度去除短的直线，最终得到车道线在第一图像上的第二位置。
步骤106，根据第一图像的灰度信息和指向标的位置，判断第一位置和第二位置是否正确。
举例来说，每个车道对应一组车道线，包括一条停止线和两条分道线，分别对获取所述第一位置或所述第二位置中分道线位置和停止线位置，分别对每条车道线进行筛选，来判断第一位置和第二位置是否正确。由于停止线和分道线的位置不同，一个路口的所有车道公用一条停止线，而每条车道的两条分道线也存在一定的关联度，进一步的，由于摄像装置的角度不同，最外侧车道和中间车道的分道线情况也不相同。第一位置和第二位置是否正确的方法可以分别将以停止线、中间车道分道线和最外侧车道分道线三种类型的车道线来判断：
a.停止线：
首先筛选基准停止线，第一位置和第二位置中的每个车道的停止线延伸到第一图像的左右边缘，分别计算两种方法(SDM算法和霍夫变换算法)得到的停止线经过延伸后所在区域内的灰度均值，以灰度均值最大的作为基准停止线。
按照以下条件判断第一位置中的停止线、第二位置中的停止线和基准停止线：
1、当停止线位置与指向标的距离大于第一图像中的人行横道与指向标的距离时，停止线位置错误。
2、当停止线位置在指向标的箭头区域内，停止线位置错误。
3、当停止线位置的斜率小于预设的第二角度，停止线位置错误。
4、当停止线位置的灰度平均值小于停止线位置的上下两侧预设区域的灰度平均值，停止线位置错误。
b.中间车道分道线：
1、当分道线位置与分道线位置的左侧指向标的箭头的最小外接矩形的上边缘的交点在分道线位置的左侧指向标的箭头的中心点的左侧，或分道线位置与分道线位置的右侧指向标的箭头的最小外接矩形的上边缘的交点在分道线位置的右侧指向标的箭头的中心点的右侧时，此时，分道线不在两个指向标的中间，分道线位置错误。
2、当分道线位置的斜率小于预设的第一角度(例如可以是30度)，分道线位置错误。
3、当分道线位置的灰度平均值小于分道线位置的左右两侧预设区域的灰度平均值，分道线位置错误。
c.最外侧车道分道线：
1、当分道线位置在指向标的箭头区域内，分道线位置错误。
2、当分道线位置与中间分道线的交点在第一图像下方(即远离指向标的箭头的方向)时，分道线位置错误。
3、当分道线位置对应的停止线的长度与N个车道的停止线长度的平均值的差小于预设阈值时，分道线位置错误。
4、若第一图像中存在栅栏，当分道线位置远离停止线的一端位于栅栏所在区域中点的上方(即靠近指向标的箭头的方向)时，分道线位置错误。
5、若第一图像中不存在栅栏，当分道线位置的灰度平均值小于分道线位置的左右两侧预设区域的灰度平均值，分道线位置错误；若第一图像中存在栅栏，当分道线位置的灰度平均值小于距离栅栏区域向分道线方向平移预设距离的区域的灰度平均值时，分道线位置错误。
步骤107，当第一位置和第二位置中至少有一个错误时，根据第一位置和第二位置，利用分水岭分割方法获取车道线在第一图像上的第三位置。
举例来说，当第一位置和第二位置中至少有一个错误时，可以通过分水岭分割方法来对检测结果进行修正。分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，将原始图像看做一个拓扑地貌，同类灰度值的区域相当于陡峭边缘中的平坦的盆地，通过合理选取盆地中的点(种子点)从而将同类元素标记为一类，继而得到边缘信息。其中检测区域的实质是根据第一位置和第二位置来确定的，当第一位置和第二位置的结果存在差异，那么将第一位置和第二位置对应两条线相交组成的最小外接矩形并向左右两侧分别拓宽预设距离作为检测区域，当第二位置不存在时，则以两个指向标的中间区域作为检测区域。种子点选取的方法是：以第一位置和第二位置为中心，依次向检测区域左右两侧平移一个、两个、至N个车道线的宽度的距离width(即width*n{n＝1,2,…,N})，作为一对种子线，如图5b所示，带有相同标号的为一组种子线，共进行N次检测，最终选取拟合方差最小的一条线，作为车道线在第一图像上的第三位置。
步骤108，将第一位置、第二位置和第三位置中灰度均值最大的位置作为输出的车道线的实际位置。
示例的，分别计算三种算法获取的第一位置、第二位置和第三位置所在区域对应的灰度均值，选取灰度均值最大的位置作为输出的车道线的实际位置。
综上所述，本公开首先利用第一图像识别算法识别摄像设备的采集的第一图像中是否存在车辆，在第一图像中不存在会对车道线识别产生干扰的车辆的条件下，利用第二图像识别算法识别第一图像中指向标的位置，再根据指向标的位置确定车道线可能存在的区域，即目标区域，最后利用第三图像识别算法识别目标区域中的车道线对应在第一图像中的第一位置。能够在道路监控视角下有效识别车道线的位置，从而协助交通监测系统对车辆违规进行判断。
图6是根据一示例性实施例示出的一种车道线检测装置的框图，如图6所示，该装置200包括：
第一识别模块201，用于利用第一图像识别算法对摄像设备采集的第一图像进行识别，以确定第一图像中是否存在车辆，第一图像是摄像设备采集的包含目标道路图像信息的任一帧图像。
第二识别模块202，用于在第一图像中不存在车辆时，利用第二图像识别算法对第一图像进行识别，以确定第一图像中的指向标的位置。
区域确定模块203，用于根据指向标的位置确定第一图像中与指向标对应的目标区域。
第三识别模块204，用于利用第三图像识别算法对目标区域进行识别，以获取目标区域中的车道线在第一图像上的第一位置。
可选的，第一图像识别算法为单发多盒探测器SSD算法，第一识别模块201用于：
将预设的车辆模型和第一图像作为SSD算法的输入，以根据SSD算法的输出结果确定第一图像内是否存在车辆。
其中，车辆模型是根据预设的车辆样本集合训练获得的SSD模型。
图7是根据一示例性实施例示出的另一种车道线检测装置的框图，如图7所示，第二图像识别算法为SSD算法，第二识别模块202包括：
分割子模块2021，用于将第一图像按照预设的尺寸分割为多个检测框，预设的尺寸包括一种或多种尺寸。
第一识别子模块2022，用于将预设的指向标模型和每个检测框作为SSD算法的输入，以获取SSD算法输出的多个检测框对应的识别结果。
合并子模块2023，用于将多个检测框的识别结果进行合并作为第一图像的检测结果。
确定子模块2024，用于根据第一图像的检测结果，确定第一图像中的指向标的位置。
其中，指向标模型是根据预设的指向标样本集合训练获得的SSD模型，指向标样本集合中包含一种或多种指向标样本。
图8是根据一示例性实施例示出的另一种车道线检测装置的框图，如图8所示，第二识别模块202还包括：
确定子模块2024，还用于根据第一图像的检测结果，确定第一图像中所述指向标的个数。
划分子模块2025，用于在识别到N个指向标时，将第一图像划分为N个分别包含N个指向标的识别区域，其中N为正整数。
第二识别子模块2026，用于将预设的箭头模型和N个识别区域作为SSD算法的输入，以根据SSD算法的输出结果确定每个识别区域中包含的箭头的个数，其中箭头模型是根据预设的箭头样本集合训练获得的SSD模型。
修正子模块2027，用于根据每个识别区域中包含的箭头的个数，修正第一图像的检测结果，并确定N个指向标的类型。
图9是根据一示例性实施例示出的另一种车道线检测装置的框图，如图9所示，区域确定模块203包括：
第一确定子模块2031，用于以第一指向标的第一边作为目标区域的下边缘，以第一图像中的人行横道的第一边或第一指向标的第二边向上平移预设距离的位置作为目标区域的上边缘；其中，第一指向标的第一边为第一指向标上不存在箭头一端的边线，其中第一指向标为第一图像上的任一指向标，人行横道的第一边为靠近第一指向标的一边，第一指向标的第二边为位于第一指向标上存在箭头的一端，且与第一指向标垂直的边线。
第二确定子模块2032，用于当第一指向标的左右两侧都存在指向标时，将分别通过第一指向标的左右两侧的两个指向标的箭头中心点，且与上边缘垂直的两条线分别作为目标区域的左边缘和右边缘。
第二确定子模块2032，还用于当第一指向标的左侧存在第二指向标，右侧不存在指向标时，将通过第二指向标的箭头中心点，且与上边缘垂直的线作为目标区域的左边缘，将与左边缘关于第一指向标的箭头中点对称的线作为右边缘。
第二确定子模块2032，还用于当第一指向标的右侧存在第三指向标，左侧不存在指向标时，将通过第三指向标的箭头尖中心点，且与上边缘垂直的线作为目标区域的右边缘，将与右边缘关于第一指向标的箭头中点对称的线作为左边缘。
第三确定子模块2033，用于将上边缘、下边缘、左边缘和右边缘围成的矩形区域，作为与第一指向标对应的目标区域。
可选的，第三图像识别算法为监督下降算法SDM，第三识别模块204用于：
以目标区域、车道线模型和第一图像作为SDM算法的输入，以根据SDM算法的输出结果确定车道线在第一图像上的第一位置。
其中，车道线模型是根据预设的车道线样本集合训练获得的学习矩阵。
图10是根据一示例性实施例示出的另一种车道线检测装置的框图，如图10所示，该装置200还包括：
第四识别模块205，用于利用霍夫变换算法对目标区域进行识别，以获取车道线在第一图像上的第二位置。
判断模块206，用于根据第一图像的灰度信息和指向标的位置，判断第一位置和第二位置是否正确。
位置确定模块207，用于当第一位置和第二位置中至少有一个错误时，根据第一位置和第二位置，利用分水岭分割方法获取车道线在第一图像上的第三位置。
位置确定模块207，还用于将第一位置、第二位置和第三位置中灰度均值最大的位置作为输出的车道线的实际位置。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开首先利用第一图像识别算法识别摄像设备的采集的第一图像中是否存在车辆，在第一图像中不存在会对车道线识别产生干扰的车辆的条件下，利用第二图像识别算法识别第一图像中指向标的位置，再根据指向标的位置确定车道线可能存在的区域，即目标区域，最后利用第三图像识别算法识别目标区域中的车道线对应在第一图像中的第一位置。能够在道路监控视角下有效识别车道线的位置，从而协助交通监测系统对车辆违规进行判断。
图11是根据一示例性实施例示出的一种电子设备700的框图。如图11所示，该电子设备700可以包括：处理器701，存储器702，多媒体组件703，输入/输出(I/O)接口704，以及通信组件705。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的车道线检测方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的车道线检测方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，例如包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的车道线检测方法。
综上所述，本公开首先利用第一图像识别算法识别摄像设备的采集的第一图像中是否存在车辆，在第一图像中不存在会对车道线识别产生干扰的车辆的条件下，利用第二图像识别算法识别第一图像中指向标的位置，再根据指向标的位置确定车道线可能存在的区域，即目标区域，最后利用第三图像识别算法识别目标区域中的车道线对应在第一图像中的第一位置。能够在道路监控视角下有效识别车道线的位置，从而协助交通监测系统对车辆违规进行判断。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，本领域技术人员在考虑说明书及实践本公开后，容易想到本公开的其它实施方案，均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。同时本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。本公开并不局限于上面已经描述出的精确结构，本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种车道线检测方法，其特征在于，所述方法包括：
利用第一图像识别算法对摄像设备采集的第一图像进行识别，以确定所述第一图像中是否存在车辆，所述第一图像是所述摄像设备采集的包含目标道路图像信息的任一帧图像；
在所述第一图像中不存在车辆时，利用第二图像识别算法对所述第一图像进行识别，以确定所述第一图像中的指向标的位置；
根据所述指向标的位置确定所述第一图像中与所述指向标对应的目标区域；
利用第三图像识别算法对所述目标区域进行识别，以获取所述目标区域中的车道线在所述第一图像上的第一位置；
所述根据所述指向标的位置确定所述第一图像中与所述指向标对应的目标区域，包括：
以第一指向标的第一边作为所述目标区域的下边缘，以所述第一图像中的人行横道的第一边或所述第一指向标的第二边向上平移预设距离的位置作为所述目标区域的上边缘；其中，所述第一指向标的第一边为所述第一指向标上不存在箭头一端的边线，其中所述第一指向标为所述第一图像上的任一指向标，所述人行横道的第一边为靠近所述第一指向标的一边，所述第一指向标的第二边为位于所述第一指向标上存在箭头的一端，且与所述第一指向标垂直的边线；
当所述第一指向标的左右两侧都存在所述指向标时，将分别通过所述第一指向标的左右两侧的两个所述指向标的箭头中心点，且与所述上边缘垂直的两条线分别作为所述目标区域的左边缘和右边缘；
当所述第一指向标的左侧存在第二指向标，右侧不存在所述指向标时，将通过所述第二指向标的箭头中心点，且与所述上边缘垂直的线作为所述目标区域的左边缘，将与所述左边缘关于所述第一指向标的箭头中点对称的线作为右边缘；
当所述第一指向标的右侧存在第三指向标，左侧不存在所述指向标时，将通过所述第三指向标的箭头尖中心点，且与所述上边缘垂直的线作为所述目标区域的右边缘，将与所述右边缘关于所述第一指向标的箭头中点对称的线作为左边缘；
将所述上边缘、下边缘、左边缘和右边缘围成的矩形区域，作为与所述第一指向标对应的目标区域。
2.根据权利要求1所述的方法，其特征在于，所述第一图像识别算法为单发多盒探测器SSD算法，所述利用第一图像识别算法对摄像设备采集的第一图像进行识别，以确定所述第一图像中是否存在车辆，包括：
将预设的车辆模型和所述第一图像作为SSD算法的输入，以根据所述SSD算法的输出结果确定所述第一图像内是否存在车辆；
其中，所述车辆模型是根据预设的车辆样本集合训练获得的SSD模型。
3.根据权利要求1所述的方法，其特征在于，所述第二图像识别算法为SSD算法，所述在所述第一图像中不存在车辆时，利用第二图像识别算法对所述第一图像进行识别，以确定所述第一图像中的指向标的位置，包括：
将所述第一图像按照预设的尺寸分割为多个检测框，所述预设的尺寸包括一种或多种尺寸；
将预设的指向标模型和每个所述检测框作为SSD算法的输入，以获取所述SSD算法输出的所述多个检测框对应的识别结果；
将所述多个检测框的识别结果进行合并作为所述第一图像的检测结果；
根据所述第一图像的检测结果，确定所述第一图像中的指向标的位置；
其中，所述指向标模型是根据预设的指向标样本集合训练获得的SSD模型，所述指向标样本集合中包含一种或多种指向标样本。
4.根据权利要求3所述的方法，其特征在于，所述在所述第一图像中不存在车辆时，利用第二图像识别算法对所述第一图像进行识别，以确定所述第一图像中的指向标的位置，还包括：
根据所述第一图像的检测结果，确定所述第一图像中所述指向标的个数；
在识别到N个所述指向标时，将所述第一图像划分为N个分别包含N个所述指向标的识别区域，其中N为正整数；
将预设的箭头模型和N个所述识别区域作为SSD算法的输入，以根据所述SSD算法的输出结果确定每个所述识别区域中包含的箭头的个数，其中所述箭头模型是根据预设的箭头样本集合训练获得的SSD模型；
根据每个所述识别区域中包含的所述箭头的个数，修正所述第一图像的检测结果，并确定N个所述指向标的类型。
5.根据权利要求1所述的方法，其特征在于，所述第三图像识别算法为监督下降算法SDM，所述利用第三图像识别算法对所述目标区域进行识别，以获取所述目标区域中的车道线在所述第一图像上的第一位置，包括：
以所述目标区域、车道线模型和所述第一图像作为所述SDM算法的输入，以根据所述SDM算法的输出结果确定所述车道线在所述第一图像上的所述第一位置；
其中，所述车道线模型是根据预设的车道线样本集合训练获得的学习矩阵。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
利用霍夫变换算法对所述目标区域进行识别，以获取所述车道线在所述第一图像上的第二位置；
根据所述第一图像的灰度信息和所述指向标的位置，判断所述第一位置和所述第二位置是否正确；
当所述第一位置和所述第二位置中至少有一个错误时，根据所述第一位置和所述第二位置，利用分水岭分割方法获取所述车道线在所述第一图像上的第三位置；
将所述第一位置、所述第二位置和所述第三位置中灰度均值最大的位置作为输出的所述车道线的实际位置。
7.一种车道线检测装置，其特征在于，所述装置包括：
第一识别模块，用于利用第一图像识别算法对摄像设备采集的第一图像进行识别，以确定所述第一图像中是否存在车辆，所述第一图像是所述摄像设备采集的包含目标道路图像信息的任一帧图像；
第二识别模块，用于在所述第一图像中不存在车辆时，利用第二图像识别算法对所述第一图像进行识别，以确定所述第一图像中的指向标的位置；
区域确定模块，用于根据所述指向标的位置确定所述第一图像中与所述指向标对应的目标区域；
第三识别模块，用于利用第三图像识别算法对所述目标区域进行识别，以获取所述目标区域中的车道线在所述第一图像上的第一位置；
所述区域确定模块包括：
第一确定子模块，用于以第一指向标的第一边作为所述目标区域的下边缘，以所述第一图像中的人行横道的第一边或所述第一指向标的第二边向上平移预设距离的位置作为所述目标区域的上边缘；其中，所述第一指向标的第一边为所述第一指向标上不存在箭头一端的边线，其中所述第一指向标为所述第一图像上的任一指向标，所述人行横道的第一边为靠近所述第一指向标的一边，所述第一指向标的第二边为位于所述第一指向标上存在箭头的一端，且与所述第一指向标垂直的边线；
第二确定子模块，用于当所述第一指向标的左右两侧都存在所述指向标时，将分别通过所述第一指向标的左右两侧的两个所述指向标的箭头中心点，且与所述上边缘垂直的两条线分别作为所述目标区域的左边缘和右边缘；
所述第二确定子模块，还用于当所述第一指向标的左侧存在第二指向标，右侧不存在所述指向标时，将通过所述第二指向标的箭头中心点，且与所述上边缘垂直的线作为所述目标区域的左边缘，将与所述左边缘关于所述第一指向标的箭头中点对称的线作为右边缘；
所述第二确定子模块，还用于当所述第一指向标的右侧存在第三指向标，左侧不存在所述指向标时，将通过所述第三指向标的箭头尖中心点，且与所述上边缘垂直的线作为所述目标区域的右边缘，将与所述右边缘关于所述第一指向标的箭头中点对称的线作为左边缘；
第三确定子模块，用于将所述上边缘、下边缘、左边缘和右边缘围成的矩形区域，作为与所述第一指向标对应的目标区域。
8.根据权利要求7所述的装置，其特征在于，所述第一图像识别算法为单发多盒探测器SSD算法，所述第一识别模块用于：
将预设的车辆模型和所述第一图像作为SSD算法的输入，以根据所述SSD算法的输出结果确定所述第一图像内是否存在车辆；
其中，所述车辆模型是根据预设的车辆样本集合训练获得的SSD模型。
9.根据权利要求7所述的装置，其特征在于，所述第二图像识别算法为SSD算法，所述第二识别模块包括：
分割子模块，用于将所述第一图像按照预设的尺寸分割为多个检测框，所述预设的尺寸包括一种或多种尺寸；
第一识别子模块，用于将预设的指向标模型和每个所述检测框作为SSD算法的输入，以获取所述SSD算法输出的所述多个检测框对应的识别结果；
合并子模块，用于将所述多个检测框的识别结果进行合并作为所述第一图像的检测结果；
确定子模块，用于根据所述第一图像的检测结果，确定所述第一图像中的指向标的位置；
其中，所述指向标模型是根据预设的指向标样本集合训练获得的SSD模型，所述指向标样本集合中包含一种或多种指向标样本。
10.根据权利要求9所述的装置，其特征在于，所述第二识别模块还包括：
所述确定子模块，还用于根据所述第一图像的检测结果，确定所述第一图像中所述指向标的个数；
划分子模块，用于在识别到N个所述指向标时，将所述第一图像划分为N个分别包含N个所述指向标的识别区域，其中N为正整数；
第二识别子模块，用于将预设的箭头模型和N个所述识别区域作为SSD算法的输入，以根据所述SSD算法的输出结果确定每个所述识别区域中包含的箭头的个数，其中所述箭头模型是根据预设的箭头样本集合训练获得的SSD模型；
修正子模块，用于根据每个所述识别区域中包含的所述箭头的个数，修正所述第一图像的检测结果，并确定N个所述指向标的类型。
11.根据权利要求7所述的装置，其特征在于，所述第三图像识别算法为监督下降算法SDM，所述第三识别模块用于：
以所述目标区域、车道线模型和所述第一图像作为所述SDM算法的输入，以根据所述SDM算法的输出结果确定所述车道线在所述第一图像上的所述第一位置；
其中，所述车道线模型是根据预设的车道线样本集合训练获得的学习矩阵。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
第四识别模块，用于利用霍夫变换算法对所述目标区域进行识别，以获取所述车道线在所述第一图像上的第二位置；
判断模块，用于根据所述第一图像的灰度信息和所述指向标的位置，判断所述第一位置和所述第二位置是否正确；
位置确定模块，用于当所述第一位置和所述第二位置中至少有一个错误时，根据所述第一位置和所述第二位置，利用分水岭分割方法获取所述车道线在所述第一图像上的第三位置；
所述位置确定模块，还用于将所述第一位置、所述第二位置和所述第三位置中灰度均值最大的位置作为输出的所述车道线的实际位置。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
14.一种电子设备，其特征在于，包括：
权利要求13中所述的计算机可读存储介质；以及
一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。
CN201810361951.XA 2018-04-20 2018-04-20 车道线检测方法、装置、存储介质和电子设备 Active CN108734105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810361951.XA CN108734105B (zh) 2018-04-20 2018-04-20 车道线检测方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810361951.XA CN108734105B (zh) 2018-04-20 2018-04-20 车道线检测方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN108734105A CN108734105A (zh) 2018-11-02
CN108734105B true CN108734105B (zh) 2020-12-04

Family

ID=63939199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810361951.XA Active CN108734105B (zh) 2018-04-20 2018-04-20 车道线检测方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN108734105B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887137B (zh) * 2019-02-18 2021-04-09 新华三技术有限公司 一种起落杆的控制方法及装置
CN110188661B (zh) * 2019-05-27 2021-07-20 广州极飞科技股份有限公司 边界识别方法及装置
CN111079598B (zh) * 2019-12-06 2023-08-08 深圳市艾为智能有限公司 一种基于图像纹理与机器学习的车道线检测方法
CN111191619B (zh) * 2020-01-02 2023-09-05 北京百度网讯科技有限公司 车道线虚线段的检测方法、装置、设备和可读存储介质
CN113392682A (zh) * 2020-03-13 2021-09-14 富士通株式会社 车道线识别装置及方法、电子设备
CN113569596A (zh) * 2020-04-28 2021-10-29 千寻位置网络有限公司 卫星图像道路印刷物识别方法及其装置
CN111563463A (zh) * 2020-05-11 2020-08-21 上海眼控科技股份有限公司 路面车道线识别方法、装置、电子设备及存储介质
CN111540010B (zh) * 2020-05-15 2023-09-19 阿波罗智联(北京)科技有限公司 一种道路监测的方法、装置、电子设备及存储介质
CN112016514B (zh) * 2020-09-09 2024-05-14 平安科技（深圳）有限公司 一种交通标志识别方法、装置、设备及储存介质
CN112307989B (zh) * 2020-11-03 2024-05-03 广州海格通信集团股份有限公司 路面物体识别方法、装置、计算机设备和存储介质
CN112560717B (zh) * 2020-12-21 2023-04-21 青岛科技大学 一种基于深度学习的车道线检测方法
CN114998770B (zh) * 2022-07-06 2023-04-07 中国科学院地理科学与资源研究所 一种公路标识提取方法及系统
CN115082888B (zh) * 2022-08-18 2022-10-25 北京轻舟智航智能技术有限公司 一种车道线检测方法和装置
CN115294545A (zh) * 2022-09-06 2022-11-04 中诚华隆计算机技术有限公司 一种基于深度学习的复杂路面车道识别方法及芯片

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740805A (zh) * 2016-01-27 2016-07-06 大连楼兰科技股份有限公司 一种基于多区域联合车道线检测方法
CN107886729A (zh) * 2016-09-30 2018-04-06 比亚迪股份有限公司 车辆识别方法、装置及车辆

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360499B (zh) * 2011-06-30 2014-01-22 电子科技大学 一种基于卡尔曼滤波器组的多车道线追踪方法
CN102819952B (zh) * 2012-06-29 2014-04-16 浙江大学 一种基于视频检测技术的车辆违法变道检测方法
CN104036253A (zh) * 2014-06-20 2014-09-10 智慧城市系统服务（中国）有限公司 一种车道线追踪方法及系统
US10013610B2 (en) * 2015-10-23 2018-07-03 Nokia Technologies Oy Integration of positional data and overhead images for lane identification
JP2018005618A (ja) * 2016-07-04 2018-01-11 株式会社Ｓｏｋｅｎ 道路認識装置
CN106682586A (zh) * 2016-12-03 2017-05-17 北京联合大学 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN106529505A (zh) * 2016-12-05 2017-03-22 惠州华阳通用电子有限公司 一种基于图像视觉的车道线检测方法
CN107315998B (zh) * 2017-05-31 2019-08-06 淮阴工学院 基于车道线的车辆种类划分方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740805A (zh) * 2016-01-27 2016-07-06 大连楼兰科技股份有限公司 一种基于多区域联合车道线检测方法
CN107886729A (zh) * 2016-09-30 2018-04-06 比亚迪股份有限公司 车辆识别方法、装置及车辆

Also Published As

Publication number Publication date
CN108734105A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN108734105B (zh) 车道线检测方法、装置、存储介质和电子设备
CN109284674B (zh) 一种确定车道线的方法及装置
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
US8184859B2 (en) Road marking recognition apparatus and method
US8917934B2 (en) Multi-cue object detection and analysis
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
CN108550258B (zh) 车辆排队长度检测方法、装置、存储介质和电子设备
CN111898491B (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN110991215B (zh) 车道线检测方法、装置、存储介质及电子设备
CN114419165B (zh) 相机外参校正方法、装置、电子设备和存储介质
CN112084822A (zh) 车道检测装置及方法、电子设备
CN112699711B (zh) 车道线检测方法、装置、存储介质及电子设备
CN108509826B (zh) 一种遥感影像的道路识别方法及其系统
Hernández et al. Lane marking detection using image features and line fitting model
CN112447060A (zh) 识别车道的方法、装置及计算设备
CN111950535B (zh) 交通信号灯灯色、颜色识别方法、电子设备及存储介质
CN109255797B (zh) 图像处理装置及方法、电子设备
CN110826364A (zh) 一种库位识别方法及装置
CN113610770A (zh) 一种车牌识别方法和装置及设备
CN116912517B (zh) 相机视野边界的检测方法及装置
CN112381034A (zh) 一种车道线检测方法、装置、设备及存储介质
CN116721396A (zh) 车道线检测方法、设备及存储介质
CN111325811B (zh) 一种车道线数据的处理方法及处理装置
JP2014194698A (ja) 道路端検出システム、方法およびプログラム
CN116206326A (zh) 缺失检测模型的训练方法、导流区的缺失检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant