CN110232368A - 车道线检测方法、装置、电子设备及存储介质 - Google Patents
车道线检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110232368A CN110232368A CN201910536138.6A CN201910536138A CN110232368A CN 110232368 A CN110232368 A CN 110232368A CN 201910536138 A CN201910536138 A CN 201910536138A CN 110232368 A CN110232368 A CN 110232368A
- Authority
- CN
- China
- Prior art keywords
- lane
- lane line
- classification
- boundary point
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提出一种车道线检测方法、装置、电子设备及存储介质。其中,该方法包括:将获取的待检测的图像输入预设的目标检测模型,获取图像中各个网格的第一检测信息和第二检测信息;分别对各个网格的第一检测信息和第二检测信息进行非极大值抑制处理,以获取图像中的各个车道线边界点的位置以及类别、各个车道中心点的位置、对应的车道宽度以及车道线类别;根据图像中各个车道线边界点的位置以及类别、各个车道中心点的位置、各个车道中心点对应的车道宽度以及车道线类别,确定图像中的车道线以及各段车道线的类别。由此,通过这种车道线检测方法,不仅提高了车道线检测的准确率和准召率,而且提高了车道线类别检测的鲁棒性和精确度。
Description
技术领域
本申请涉及计算机应用技术领域,尤其涉及一种车道线检测方法、装置、电子设备及存储介质。
背景技术
当今,在自动驾驶场景中,车道线作为重要的静态语义信息,对驾驶决策意义重大,车道线的虚实类别信息对于驾驶决策具有重要意义。
相关技术中,传统的车道线检测方法,大多利用传统的特征提取方法提取车道线虚线和实线的视觉特征,以对车道线的虚实类别进行判断。但是,这种基于特征提取的车道线类别检测方法,由于特征表征不足,容易造成车道线虚实类别判断的鲁棒性差,而且对于渐变车道线(一部分是实线,一部分是虚线的情况)无法给出判断。
发明内容
本申请提出的车道线检测方法、装置、电子设备及存储介质,用于解决相关技术中的车道线检测方法,对于车道线虚实类别判断鲁棒性差、准确度低的问题。
本申请一方面实施例提出的车道线检测方法,包括:获取待检测的图像;将所述图像输入预设的目标检测模型,获取所述图像中各个网格的第一检测信息和第二检测信息,所述第一检测信息包括:车道线边界点横向偏移、车道线边界点分数、车道线边界点类别;所述第二检测信息包括:各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值、车道线类别;对所述各个网格的第一检测信息进行非极大值抑制处理,获取所述图像中的各个车道线边界点的位置以及类别;对所述各个网格的第二检测信息进行非极大值抑制处理,获取所述图像中的各个车道中心点的位置、对应的车道宽度以及车道线类别;根据所述图像中各个车道线边界点的位置以及类别、各个车道中心点的位置、各个车道中心点对应的车道宽度以及车道线类别,确定所述图像中的车道线以及各段车道线的类别。
本申请另一方面实施例提出的车道线检测装置,包括:获取模块,用于获取待检测的图像;输入模块,用于将所述图像输入预设的目标检测模型,获取所述图像中各个网格的第一检测信息和第二检测信息,所述第一检测信息包括:车道线边界点横向偏移、车道线边界点分数、车道线边界点类别;所述第二检测信息包括:各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值、车道线类别;第一处理模块,用于对所述各个网格的第一检测信息进行非极大值抑制处理,获取所述图像中的各个车道线边界点的位置以及类别;第二处理模块,用于对所述各个网格的第二检测信息进行非极大值抑制处理,获取所述图像中的各个车道中心点的位置、对应的车道宽度以及车道线类别;确定模块,用于根据所述图像中各个车道线边界点的位置以及类别、各个车道中心点的位置、各个车道中心点对应的车道宽度以及车道线类别,确定所述图像中的车道线以及各段车道线的类别。
本申请再一方面实施例提出的电子设备,其包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如前所述的车道线检测方法。
本申请再一方面实施例提出的计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如前所述的车道线检测方法。
本申请又一方面实施例提出的计算机程序,该程序被处理器执行时,以实现本申请实施例所述的车道线检测方法。
本申请实施例提供的车道线检测方法、装置、电子设备、计算机可读存储介质及计算机程序,可以将获取的待检测的图像输入预设的目标检测模型,以获取图像中各个网格的第一检测信息和第二检测信息,并对各个网格的第一检测信息进行非极大值抑制处理,获取图像中的各个车道线边界点的位置及类别,以及对各个网格的第二检测信息进行非极大值抑制处理,获取图像中的各个车道中心点的位置、对应的车道宽度及车道线类别,进而根据图像中各个车道线边界点的位置及类别、各个车道中心点的位置、对应的车道宽度及车道线类别,确定图像中的车道线各段车道线的类别。由此,通过将待检测的图像划分为多个网格,并利用训练好的目标检测模型检测每个网格中包括的车道线边界点及类别、车道中心点、车道宽度及车道线类别,之后即可根据检测的多个车道线边界点及类别、车道中心点、车道宽度及车道线类别,确定出图像中的车道线及各段车道线的类别,从而不仅降低了噪声对车道线检测的干扰,提高了车道线检测的准确率和准召率,而且提高了车道线类别检测的鲁棒性和精确度。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例所提供的一种车道线检测方法的流程示意图;
图2为本申请实施例所提供的另一种车道线检测方法的流程示意图;
图3为本申请实施例所提供的一种车道线检测装置的结构示意图;
图4为本申请实施例所提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
本申请实施例针对相关技术中的车道线检测方法,对于车道线虚实类别判断鲁棒性差、准确度低的问题,提出一种车道线检测方法。
本申请实施例提供的车道线检测方法,可以将获取的待检测的图像输入预设的目标检测模型,以获取图像中各个网格的第一检测信息和第二检测信息,并对各个网格的第一检测信息进行非极大值抑制处理,获取图像中的各个车道线边界点的位置及类别,以及对各个网格的第二检测信息进行非极大值抑制处理,获取图像中的各个车道中心点的位置、对应的车道宽度及车道线类别,进而根据图像中各个车道线边界点的位置及类别、各个车道中心点的位置、对应的车道宽度及车道线类别,确定图像中的车道线各段车道线的类别。由此,通过将待检测的图像划分为多个网格,并利用训练好的目标检测模型检测每个网格中包括的车道线边界点及类别、车道中心点、车道宽度及车道线类别,之后即可根据检测的多个车道线边界点及类别、车道中心点、车道宽度及车道线类别,确定出图像中的车道线及各段车道线的类别,从而不仅降低了噪声对车道线检测的干扰,提高了车道线检测的准确率和准召率,而且提高了车道线类别检测的鲁棒性和精确度。
下面参考附图对本申请提供的车道线检测方法、装置、电子设备、存储介质及计算机程序进行详细描述。
图1为本申请实施例所提供的一种车道线检测方法的流程示意图。
如图1所示,该车道线检测方法,包括以下步骤:
步骤101,获取待检测的图像。
需要说明的是,本申请实施例的车道线检测方法,可以由本申请所提供的车道线检测装置执行。实际使用时,本申请实施例所提供的车道线检测方法可以应用于自动驾驶领域,为自动驾驶车辆提供路况信息,从而本申请实施例的车道线检测装置可以配置在任意车辆中,以执行本申请的车道线检测方法。
在本申请实施例中,可以根据具体的应用场景,确定待检测的图像的获取方式。比如,当本申请实施例的车道线检测装置应用在自动驾驶车辆中时,可以获取自动驾驶车辆中的摄像头采集的车辆前方的路面信息,作为待检测的图像。具体的,车道线检测装置可以直接与摄像头建立通信连接,以直接获取摄像头采集的实时图像;或者,摄像头可以将采集的图像存储在车辆的存储设备中,从而车道线检测装置也可以从车辆的存储设备中获取待检测的图像。
步骤102,将所述图像输入预设的目标检测模型,获取所述图像中各个网格的第一检测信息和第二检测信息,所述第一检测信息包括:车道线边界点横向偏移、车道线边界点分数、车道线边界点类别;所述第二检测信息包括:各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值、车道线类别。
其中,预设的目标检测模型,可以是提前训练完成的,比如可以是You Only LookOnce:Unified,Real-Time Object Detection V2(Yolo V2)算法模型、Single ShotMultiBox Detector(SSD)算法模型等one-stage目标检测模型,但不仅限于此。
其中,车道线边界点横向偏移,是指车道线边界点与其所在网格的左上角坐标之间的横向偏移;车道线边界点分数,是指车道线边界点的置信度,可以反映出预测的车道线边界点的可靠性;车道边界点类别,是指车道边界点所在车道线段的类别,如实线、虚线。
其中,预测框,是预设的目标检测模型中定义的,其具有一定的尺寸和位置,与待检测的图像和图像中的网格没有直接关联,其是对图像进行目标检测的工具。实际使用时,预测框的数量及初始尺寸和位置等,可以根据所需的预测精度、计算复杂度等实际需要预设,本申请实施例对此做限定,比如,预测框的数量可以是5个。
车道中心点横向偏移,是指车道中心点与其所在网格的左上角坐标之间的横向偏移;车道中心点分数,是指预测框对应的车道中心点的置信度,可以反映出预测框对应的车道中心点的可靠性;预测框宽度调整值,用于对预测框的宽度进行调整,以得到预测框当前的宽度值;车道线类别,是指车道中心点对应的车道线段的类别,如实线、虚线。
优选的,由于在本申请实施例的目标检测模型用于对车道中心点以及车道宽度进行检测,因此可以将预测框定义为具有一定位置和宽度的线段,从而检测信息中可以仅包括预测框的宽度调整值,以对预测框的宽度进行调整。
在本申请实施例中,可以首先将待检测的图像划分为多个网格,并将待检测的图像输入预设的目标检测模型,通过预设的目标检测模型的卷积部分获得图像的特征图,其中,特征图中的每个点对应图像中的一个网格。之后根据获得的特征图以及待检测图像,通过预设的目标检测模型的回归部分,获取图像中各个网格的第一检测信息和第二检测信息。
需要说明的是,图像中的每个网格用于预测中心在该网格中的目标。实际使用时,网格的尺寸可以根据实际需要预设,本申请实施例对此不做限定。比如,待检测的图像的尺寸为1920×640像素,将待检测图像划分为多个尺寸为16×16像素的网格,即获得的特征图的尺寸为120×40像素。
步骤103,对所述各个网格的第一检测信息进行非极大值抑制处理,获取所述图像中的各个车道线边界点的位置以及类别。
在本申请实施例中,对车道线边界点进行预测时,目标检测模型对各个网格进行预测的准确度可能不同,从而使得一些网格的第一检测信息中包括的车道线边界点横向偏移的误差较大,从而可以根据各个网格的第一检测信息,选取出第一检测信息中车道线边界点横向偏移准确度较高的网格,进而根据准确度较高的网格的车道线边界点横向偏移等信息,确定出图像中各个车道线边界点的位置。
具体的,可以通过对各个网格的第一检测信息进行非极大值抑制处理,确定第一检测信息中车道线边界点横向偏移准确度较高的网格。即在本申请实施例一种可能的实现形式中,上述步骤103,可以包括:
针对所述图像中的每行网格,每隔预设步长选出对应的车道线边界点分数大于第一阈值的网格作为目标网格;
针对每个目标网格,根据所述目标网格对应的车道线边界点横向偏移以及所述目标网格的坐标,确定所述图像中的一个车道线边界点的位置;
根据所述图像中各个车道线边界点所属的网格的第一检测信息,确定所述各个车道线边界点的类别。
在本申请实施例中,第一检测信息中车道线边界点分数,可以反映出第一检测信息中车道线边界点横向偏移预测的准确度,从而可以根据各个网格的第一检测信息中对应的车道线边界点分数,确定目标网格。
具体的,由于第一检测信息对应的车道线边界点分数越大,则第一预测信息中对应的车道线边界点横向偏移越准确,从而可以在每行网格中,每隔预设步长,将对应的车道线边界点分数大于第一阈值的网格,确定为目标网格。
举例来说,待检测的图像的尺寸为1920×640像素,每个网格的尺寸为16×16像素,即待检测的图像包括120×40个网格,预设步长为160像素,即在每行网格中,每160像素判断一次这160像素对应的网格中是否包含车道线边界点分数大于第一阈值的网格,即每10个网格判断一次这10个网格中是否包含车道线边界点分数大于第一阈值的网格,若包含,则将车道线边界点分数大于第一阈值的网格确定为目标网格。
需要说明的是,上述举例仅为示例性的,不能视为对本申请的限制。实际使用时,可以根据实际需要预设步长与第一阈值,本申请实施例对此不做限定。
在本申请实施例中,确定出目标网格之后,则可以根据每个目标网格的第一检测信息对应的车道线边界点横向偏移以及目标网格的坐标,确定出每个目标网格对应的车道线边界点的位置,从而确定出图像中所有的车道线边界点,即每个目标网格对应图像中的一个车道线边界点。
具体的,由于车道线边界点横向偏移,是指车道线边界点的横坐标相对于其所属网格左上角横坐标之间的差值,从而可以首先确定出目标网格的左上角的坐标,进而根据目标网格的第一检测信息对应的车道线边界点横向偏移,确定出目标网格对应的车道线边界点的坐标,即图像中一个车道线边界点的位置。
在本申请实施例中,在确定出图像中的各个车道线边界点之后,则可以根据车道线边界点所属的网格的第一检测信息,确定第一检测信息对应的车道线边界点类别,进而将车道线边界点所属的网格对应的车道线边界点类别,确定为该车道线边界点的类别。
步骤104,对所述各个网格的第二检测信息进行非极大值抑制处理,获取所述图像中的各个车道中心点的位置、对应的车道宽度以及车道线类别。
在本申请实施例中,通过预先设置多个预测框对图像中每个网格中的目标(即车道中心点)进行检测,以保证车道线检测的准确性。而由于多个预测框的尺寸不同,使得每个预测框对应的第二检测信息的准确度不同,从而可以根据各个网格的第二检测信息,确定出每个网格对应的准确度最高的预测框,进而根据每个网格对应的准确度最高的预测框对应的车道中心点横向偏移、预测框宽度调整值等,确定出各个网格中分别包括的车道中心点的位置以及每个车道中心点的位置对应的车道宽度,即图像中的各个车道中心点的位置以及对应的车道宽度。
具体的,可以通过对各个网格的第二检测信息进行非极大值抑制处理,确定每个网格对应的准确度最高的预测框,从而确定出图像中的各个车道中心点的位置以及对应的车道宽度。即在本申请实施例一种可能的实现形式中,上述步骤104,可以包括:
针对所述图像中的每个网格,将所述网格中对应的车道中心点分数最大的预测框确定为所述网格对应的最优预测框;
针对每行网格,每隔预设步长选出对应的车道中心点分数大于第二阈值的最优预测框作为目标预测框;
针对每个目标预测框,根据所述目标预测框对应的车道中心点横向偏移以及预测框宽度调整值,确定所述图像中的一个车道中心点的位置以及对应的车道宽度;
根据所述图像中各个车道中心点所属的目标预测框的车道线类别,确定所述各个车道中心点对应的车道线类别。
在本申请实施例中,预测框对应的车道线中心点分数,可以反映出预测框对车道中心点预测的准确度,从而可以根据各个网格对应的各预测框对应的车道中心点分数,确定各个网格对应的最优预测框。具体的,由于预测框对应的车道线中心点分数越大,则预测框对应的车道中心点横向偏移越准确,从而可以将每个网格中对应的车道中心点分数最大的预测框,确定为每个网格对应的最优预测框。
在确定出图像中的每个网格对应的最优预测框之后,可以根据预设的步长从每行网格对应的最优预测框中,选取出每行网络对应的目标预测框。具体的,可以每隔预设步长,将对应的车道中心点分数大于第二阈值的最优预测框,确定为目标预测框。
举例来说,待检测的图像的尺寸为1920×640像素,每个网格的尺寸为16×16像素,即待检测的图像包括120×40个网格,预设步长为160像素,即在每行网格中,每160像素判断一次这160像素对应的网格对应的最优预测框中是否包含车道中心点分数大于第二阈值的最优预测框,即每10个网格判断一次这10个网格对应的最优预测框中是否包含车道中心点分数大于第二阈值的最优预测框,若包含,则将车道中心点分数大于第二阈值的最优预测框确定为目标预测框。
需要说明的是,上述举例仅为示例性的,不能视为对本申请的限制。实际使用时,可以根据实际需要预设步长与第二阈值,本申请实施例对此不做限定。
在本申请实施例中,确定出目标预测框之后,则可以根据每个目标预测框对应的车道中心点横向偏移以及预测框宽度调整值,确定出每个目标预测框对应的车道中心的位置以及对应的车道宽度,从而确定出图像中所有的车道中心点的位置以及对应的车道宽度,即每个目标预测框对应图像中的一个车道中心点。
具体的,根据目标预测框对应的车道中心点横向偏移以及预测框宽度调整值,确定图像中的一个车道中心点的位置以及对应的车道宽度,包括以下步骤:
针对每个目标预测框,根据所述目标预测框对应的车道中心点横向偏移,以及所述目标预测框所属的网格的坐标,确定所述图像中的一个车道中心点的位置;
根据所述目标预测框对应的预测框宽度调整值,以及所述目标预测框的宽度,确定所述一个车道中心点对应的车道宽度。
在本申请实施例中,由于预测框对应的车道中心点横向偏移,是指车道中心点的横坐标相对于预测框所属网格左上角横坐标之间的差值,从而可以首先根据目标预测框的位置,确定出其所属的网格的左上角的坐标,进而根据目标预测框对应的车道中心点横向偏移,确定出目标预测框对应的车道中心点的坐标,即图像中一个车道中心点的位置。
需要说明的是,在对预设的目标检测模型进行训练时,可以将训练数据中的车道宽度作为预测框的宽度,从而在对车道线进行检测时,可以将预测框的当前宽度确定为车道宽度。因此,可以根据目标预测框对应的预测框宽度调整值,以及目标预测框的宽度,确定目标预测框对应的车道中心点对应的车道宽度。具体的,可以将目标预测框的宽度与目标预测框对应的预测框宽度调整值之和,确定为目标预测框对应的一个车道中心点对应的车道宽度。
在本申请实施例中,确定出图像中的各个车道中心点之后,可以根据各个车道中心点所属的目标预测框对应的车道线类别,确定各个车道中心点对应的车道线类别,即将车道中心点所属的目标预测框对应的车道线类别,确定为该车道中心点对应的车道线类别。
步骤105,根据所述图像中各个车道线边界点的位置以及类别、各个车道中心点的位置、各个车道中心点对应的车道宽度以及车道线类别,确定所述图像中的车道线以及各段车道线的类别。
在本申请实施例中,确定出图像中包括的各个车道线边界点的位置、各个车道中心点的位置以及各个车道中心点对应的车道宽度之后,则可以根据各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度,确定出图像中的车道线,并根据各个车道线边界点的类别以及各个车道中心点对应的车道线类别,确定各段车道线的类别。即在本申请实施例一种可能的实现形式中,上述步骤105,可以包括:
根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度,确定所述图像中的车道线;
针对所述图像中的每段车道线,根据车道线段内各个车道线边界点的类别以及各个推测边界点的类别,确定所述车道线段的类别;所述推测边界点根据车道中心点以及对应的车道宽度确定。
具体的,可以首先根据车道线边界点的位置确定车道线上的点,进而根据各个车道中心点的位置以及对应的车道宽度,对车道线上的点进行补充,以提高车道线检测的准确率和准召率。即在本申请实施例一种可能的实现形式中,上述根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度,确定所述图像中的车道线,可以包括:
针对每行网格的每隔预设步长的预设区域,判断所述预设区域内是否存在车道线边界点;
若存在车道线边界点,则将存在的车道线边界点作为车道线上的点;
若不存在车道线边界点,且存在推测边界点,则将推测边界点作为车道线上的点。
其中,预设区域,是指预先设置的具有一定位置与尺寸的区域,其中各预设区域的尺寸相同,且每行网格中的各预设区域之间的间隔相同,即每行网格中相邻两个预设区域的左上角的横向坐标的差值为预设步长。
举例来说,图像中网格的尺寸为16×16像素,预设步长为160像素,预设区域的大小为16×80像素,则每行网格中的各预设区域之间的间隔均为80像素。
需要说明的是,上述举例仅为示例性的,不能视为对本申请的限制。实际使用时,可以根据实际需要预设步长以及预设区域的具体尺寸,本申请实施例对此不做限定。
作为一种可能的实现方式,可以分别确定每行网格中是否包含车道线上的点。对于每行网格,可以根据各个车道线边界点的位置,确定每行网格的每隔预设步长的各预设区域中是否包含车道线边界点,若包括,则可以将存在的车道线边界点作为车道线上的点;若不包括,则可以进一步根据各个车道中心点以及车道宽度,确定出各个车道中心点对应的推测边界点,进而根据各个推测边界点的位置,确定每行网格的每隔预设步长的各预设区域中是否包含推测边界点,则将存在的推测边界点确定为车道线上的点。
具体的,对一条车道通常包括左侧车道线和右侧车道线,从而可以根据各车道中心点的位置及其对应的车道宽度,分别确定出左右两侧的车道线。即在本申请实施例一种可能的实现形式中,上述确定推测边界点的具体步骤,可以包括:
针对图像中的每个车道中心点,将车道中心点位置的横向坐标减去对应的车道宽度的一半,得到车道中心点对应的左侧车道线推测边界点的位置;
将车道中心点位置的横向坐标加上对应的车道宽度的一半,得到车道中心点对应的右侧车道线推测边界点的位置。
可以理解的是,图像中的各个车道中心点与其对应的车道线之间的距离为车道宽度的一半,即竖向坐标与车道中心点位置的竖向坐标相同、且横向坐标与车道中心点位置的横向坐标的差值为车道宽度的一半的点,位于车道中心点对应的车道线上。
在本申请实施例中,可以将车道中心点位置的横向坐标减去其对应的车道宽度的一半,确定出车道中心点对应的左侧车道线推测边界点的横向坐标,并将车道中心点位置的竖向坐标作为车道中心点的对应的左侧车道线推测边界点的竖向坐标,从而确定出车道中心点对应的左侧车道线推测边界点的位置;相应的,可以将车道中心点位置的横向坐标加上其对应的车道宽度的一半,确定出车道中心点对应的右侧车道线推测边界点的横向坐标,并将车道中心点位置的竖向坐标作为车道中心点对应的右侧车道线推测边界点的竖向坐标,从而确定出车道中心点对应的右侧车道线推测边界点的位置。
可以理解的是,各个车道线上的点的连线即为车道线,从而在确定出各个车道线上的点的位置之后,可以根据各个车道线上的点的位置,确定出各个车道线上的点所在的线,即图像中的车道线。
在本申请实施例中,确定出图像中的各段车道线之后,则可以根据各段车道线中包括的车道线边界点的类别以及推测边界点的类别,确定各个车道线段的类别。
具体的,车道线边界点的类别包括:实或虚;车道中心点对应的车道线类别包括:左实右虚、左实右实、左虚右虚、左虚右实;上述根据车道线段内各个车道线边界点的类别以及各个推测边界点的类别,确定所述车道线段的类别的具体步骤,可以包括:
针对所述图像中的每段车道线,获取车道线段内各个车道线边界点的类别以及各个推测边界点的类别;
获取所述车道线段内类别为实的车道线边界点以及类别为实的推测边界点的第一总数量;
获取所述车道线段内类别为虚的车道线边界点以及类别为虚的推测边界点的第二总数量;
将所述第一总数量和所述第二总数量中的最大数量对应的类别,确定为所述车道线段的类别。
其中,推测边界点的类别,可以根据与其对应的车道中心点对应的车道线类别确定,推测边界点的类别包括实或虚。
举例来说,若推测边界点A位于车道中心点B对应的左侧车道线上,车道中心点B对应的车道线类别为左实右虚,则推测边界点A的类别为实。
作为一种可能的实现方式,在确定出各条车道线段内包括的各个车道线边界点的类别以及各个推测边界点的类别之后,可以确定出每条车道线段内分别包括的类别为实的车道边界点与类别为实的推测边界点的第一总数量,以及每条车道线段内分别包括的类别为虚的车道边界点与类别为虚的推测边界点的第二总数量。进而对于每条车道线段,将其对应的第一总数量和第二总数量中的较大值对应的类别,确定为每条车道线段的类别。
举例来说,车道线段C对应的第一总数量为100,第二总数量为150,则可以确定车道线段C的类别为虚。
本申请实施例提供的车道线检测方法,可以将获取的待检测的图像输入预设的目标检测模型,以获取图像中各个网格的第一检测信息和第二检测信息,并对各个网格的第一检测信息进行非极大值抑制处理,获取图像中的各个车道线边界点的位置及类别,以及对各个网格的第二检测信息进行非极大值抑制处理,获取图像中的各个车道中心点的位置、对应的车道宽度及车道线类别,进而根据图像中各个车道线边界点的位置及类别、各个车道中心点的位置、对应的车道宽度及车道线类别,确定图像中的车道线各段车道线的类别。由此,通过将待检测的图像划分为多个网格,并利用训练好的目标检测模型检测每个网格中包括的车道线边界点及类别、车道中心点、车道宽度及车道线类别,之后即可根据检测的多个车道线边界点及类别、车道中心点、车道宽度及车道线类别,确定出图像中的车道线及各段车道线的类别,从而不仅降低了噪声对车道线检测的干扰,提高了车道线检测的准确率和准召率,而且提高了车道线类别检测的鲁棒性和精确度。
在本申请一种可能的实现形式中,预设的目标检测模型可以是通过大量训练数据进行训练得到,并通过损失函数不断优化目标检测模型的性能,以使得预设的目标检测模型的性能符合实际的应用需求。
下面结合图2,对本申请实施例提供的车道线检测方法进行进一步说明。
图2为本申请实施例所提供的另一种车道线检测方法的流程示意图。
如图2所示,该车道线检测方法,包括以下步骤:
步骤201,获取训练数据,所述训练数据包括:大于预设数量的图像,以及图像中各个真实车道线边界点的位置、真实车道线的类别、各个真实车道中心点的位置以及对应的真实车道宽度。
其中,训练数据,通过可以包括大量图像数据以及对每个图像数据的标注信息。需要说明的是,训练数据中包括的图像数据以及对图像数据的标注信息,与目标检测模型的具体用途有关。比如,若目标检测模型的用途为人脸检测,则训练数据中可以包括大量包含人脸的图像,以及对图像中人脸的标注信息;又如本申请实施例的目标检测模型的用途为车道线检测,并需要对车道边界点的位置及类型、车道中心点的位置以及车道宽度进行预测,则训练数据中可以包括大量包含车道线的图像,以及对图像中真实车道线边界点的位置的标注信息、真实车道线的类别的标注信息、真实车道中心点的位置的标注信息以及各个真实车道中心点对应的真实车道宽度的标注信息。
需要说明的是,为保证最终获得的目标检测模型的精确性,训练数据需要具有一定规模,从而可以提前预设训练数据中包括的图像数量,在获取训练数据时,训练数据中包括的图像数量必须大于预设数量,以保证目标检测模型的性能。实际使用时,训练数据中包括的图像数量,可以根据实际需要预设,本申请实施例对此不做限定。
在本申请实施例中,获取训练数据的途径有多种,比如,可以从网络中搜集包含车道线的图像,或者可以将在实际的应用场景中(比如自动驾驶场景)采集的图像数据作为训练数据,并在获取到图像数据之后对图像数据进行标注,以获得图像中各个真实车道线边界点的位置、真实车道线的类别、各个真实车道中心点的位置以及对应的真实车道宽度。
步骤202,采用所述训练数据对初始的目标检测模型进行训练,直至所述目标检测模型的损失函数满足预设条件;所述损失函数根据图像中各个真实车道线边界点的位置、真实车道线的类别、各个真实车道中心点的位置以及对应的真实车道宽度、图像中各个网格的第一检测信息和第二检测信息确定。
在本申请实施例中,可以采用训练数据对初始的目标检测模型进行训练,即将训练数据中的图像数据依次输入初始的目标检测模型,以得到每个图像数据对应的第一检测信息和第二检测信息,进而根据每个图像数据中的各个网格对应的第一检测信息和第二检测信息以及每个图像数据对应的各个真实车道线边界点的位置、真实车道线的类别、各个真实车道中心点的位置以及对应的真实车道宽度,确定损失函数的当前取值,若损失函数的当前取值满足预设条件,则可以确定目标检测模型当前的性能满足要求,从而可以结束对目标检测模型的训练;若损失函数的当前取值不满足预设条件,则可以确定目标检测模型当前的性能不满足要求,从而可以对目标检测模型的参数进行优化,并继续利用训练数据对参数优化后的目标检测模型进行训练,直至目标检测模型的损失函数满足预设条件。
需要说明的是,损失函数的取值越小,则说明目标检测模型输出的第一检测信息和第二检测信息与真实的车道线边界点的位置、真实车道中心点的位置以及对应的真实车道宽度越接近,即目标检测模型的性能越好,因此,目标检测模型的损失函数需要满足的预设条件,可以是损失函数的取值小于预设阈值。实际使用时,损失函数需要满足的预设条件,可以根据实际需要预设,本申请实施例对此不做限定。
优选的,在本申请实施例中,对目标检测模型进行训练时,可以对车道中心点横向偏移、车道中心点分数、车道宽度、车道线类别、车道线边界点横向偏移、车道线边界点类别以及车道线边界点分数七个部分进行回归,即目标检测模型的损失函数可以分为七个部分,以分别对车道中心点横向偏移、车道中心点分数、车道宽度、车道线类别、车道线边界点横向偏移、车道线边界点类别以及车道线边界点分数七个部分的损失分别进行惩罚,从而可以进一步提高最终获得的目标检测模型的精确性。可选的,可以采用L2范数损失函数对车道中心点横向偏移、车道中心点分数、车道线类别、车道线边界点横向偏移及车道线边界点类别进行回归,采用L1 smooth损失函数对车道宽度进行回归,采用交叉熵损失函数对车道线边界点分数进行回归。实际使用时,可以根据实际需要选择各部分对应的损失函数,本申请实施例对此不做限定。
需要说明的是,在目标检测模型的损失函数分为多个部分时,可以在损失函数的多个部分分别满足预设条件时,完成对目标检测模型的训练;或者,也可以在损失函数的多个部分的取值之和满足预设条件时,完成对目标检测模型的训练,本申请实施例对此不做限定。
步骤203,获取待检测的图像,并将所述图像输入预设的目标检测模型,获取所述图像中各个网格的第一检测信息和第二检测信息,所述第一检测信息包括:车道线边界点横向偏移、车道线边界点分数、车道线边界点类别;所述第二检测信息包括:各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值、车道线类别。
在本申请实施例中,预设的目标检测模型,可以包括卷积部分和回归部分,将待检测的图像输入预设的目标检测模型,可以通过预设的目标检测模型的卷积部分获得图像的特征图,其中,特征图中的每个点对应图像中的一个网格。之后根据获得的特征图以及待检测图像,通过预设的目标检测模型的回归部分,获取图像中各个网格的第一检测信息和第二检测信息。
进一步的,本申请实施例的目标检测模型可以将图像的浅层特征和深层特征结合,以提取更有效的结构特征,从而提高了目标检测模型的准确度。即在本申请实施例一种可能的实现形式中,上述卷积部分,用于获取所述图像不同深度的底层特征,对不同深度的底层特征进行降维、反卷积以及联合卷积操作,得到所述图像对应的特征图;所述特征图中包括:所述图像中各个网格对应的特征点;
上述回归部分用于结合图像以及对应的特征图获取各个网格的第一检测信息和第二检测信息。
需要说明的是,本申请实施例的目标检测模型所使用的神经网络模型,可以包括多个卷积层,从而可以通过卷积部分的多个卷积层对图像进行不同深度的卷积操作,以获得图像对应的图像对应的不同深度的底层特征,其中,底层特征的深度不同,其对应的特征图的尺寸也不同。比如,底层特征conv5_5的特征图的尺寸为图像的1/32,底层特征conv6_5的特征图的尺寸为图像的1/64,底层特征conv7_5的特征图的尺寸为图像的1/128。
在获取到图像对应的不同深度的底层特征之后,可以对不同深度的底层特征进行降维,比如可以通过1×1卷积核对不同深度的底层特征进行卷积操作,从而获得对不同深度的底层特征进行降维之后的特征图,之后对降维后的不同深度的底层特征进行不同深度的反卷积操作,以使得降维后的不同深度的底层特征具有相同的尺寸,即使得降维后的不同深度的底层特征的尺寸与图像中包括的网格数量相同。比如,图像中网格的尺寸为16×16像素,则对降维后的不同深度的底层特征进行不同深度的反卷积操作后,获得的特征图的尺寸均为图像的1/16。最后对进行不同深度的反卷积操作之后的特征图进行联合卷积操作,从而获得图像对应的特征图,且特征图中的每个特征点与图像中的一个网格对应。
需要说明的是,目标检测模型的回归部分也包括多个回归层,其中,一些回归层用于获得图像中各个网格的第一检测信息,一些回归层用于获得图像中各个网格的第二检测信息。
步骤204,对所述各个网格的第一检测信息进行非极大值抑制处理,获取所述图像中的各个车道线边界点的位置以及类别。
步骤205,对所述各个网格的第二检测信息进行非极大值抑制处理,获取所述图像中的各个车道中心点的位置、对应的车道宽度以及车道线类别。
步骤206,根据所述图像中各个车道线边界点的位置以及类别、各个车道中心点的位置、各个车道中心点对应的车道宽度以及车道线类别,确定所述图像中的车道线以及各段车道线的类别。
上述步骤204-206的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
本申请实施例提供的车道线检测方法,可以采用获取的训练数据对初始的目标检测模型进行训练,直至目标检测模型的损失函数满足预设条件,并将获取的待检测的图像输入预设的目标检测模型,以获取图像中各个网格的第一检测信息和第二检测信息,并对各个网格的第一检测信息进行非极大值抑制处理,获取图像中的各个车道线边界点的位置及类别,以及对各个网格的第二检测信息进行非极大值抑制处理,获取图像中的各个车道中心点的位置、对应的车道宽度及车道线类别,进而根据图像中各个车道线边界点的位置及类别、各个车道中心点的位置、对应的车道宽度及车道线类别,确定图像中的车道线各段车道线的类别。由此,通过大量训练数据对初始的目标检测模型进行训练,并利用训练好的目标检测模型检测图像中每个网格包括的车道线边界点及类型、车道中心点、车道宽度及车道线类别,从而不仅提高了车道线检测的准确率和准召率,以及车道线类别检测的鲁棒性和精确度,而且进一步优化了目标检测模型的性能。
为了实现上述实施例,本申请还提出一种车道线检测装置。
图3为本申请实施例提供的一种车道线检测装置的结构示意图。
如图3所示,该车道线检测装置30,包括:
获取模块31,用于获取待检测的图像;
输入模块32,用于将所述图像输入预设的目标检测模型,获取所述图像中各个网格的第一检测信息和第二检测信息,所述第一检测信息包括:车道线边界点横向偏移、车道线边界点分数、车道线边界点类别;所述第二检测信息包括:各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值、车道线类别;
第一处理模块33,用于对所述各个网格的第一检测信息进行非极大值抑制处理,获取所述图像中的各个车道线边界点的位置以及类别;
第二处理模块34,用于对所述各个网格的第二检测信息进行非极大值抑制处理,获取所述图像中的各个车道中心点的位置、对应的车道宽度以及车道线类别;
确定模块35,用于根据所述图像中各个车道线边界点的位置以及类别、各个车道中心点的位置、各个车道中心点对应的车道宽度以及车道线类别,确定所述图像中的车道线以及各段车道线的类别。在实际使用时,本申请实施例提供的车道线检测装置,可以被配置在任意电子设备中,以执行前述车道线检测方法。
本申请实施例提供的车道线检测装置,可以将获取的待检测的图像输入预设的目标检测模型,以获取图像中各个网格的第一检测信息和第二检测信息,并对各个网格的第一检测信息进行非极大值抑制处理,获取图像中的各个车道线边界点的位置及类别,以及对各个网格的第二检测信息进行非极大值抑制处理,获取图像中的各个车道中心点的位置、对应的车道宽度及车道线类别,进而根据图像中各个车道线边界点的位置及类别、各个车道中心点的位置、对应的车道宽度及车道线类别,确定图像中的车道线各段车道线的类别。由此,通过将待检测的图像划分为多个网格,并利用训练好的目标检测模型检测每个网格中包括的车道线边界点及类别、车道中心点、车道宽度及车道线类别,之后即可根据检测的多个车道线边界点及类别、车道中心点、车道宽度及车道线类别,确定出图像中的车道线及各段车道线的类别,从而不仅降低了噪声对车道线检测的干扰,提高了车道线检测的准确率和准召率,而且提高了车道线类别检测的鲁棒性和精确度。
在本申请一种可能的实现形式中,上述第一处理模块33,具体用于:
针对所述图像中的每行网格,每隔预设步长选出对应的车道线边界点分数大于第一阈值的网格作为目标网格;
针对每个目标网格,根据所述目标网格对应的车道线边界点横向偏移以及所述目标网格的坐标,确定所述图像中的一个车道线边界点的位置;
根据所述图像中各个车道线边界点所属的网格的第一检测信息,确定所述各个车道线边界点的类别。
在本申请一种可能的实现形式中,上述第二处理模块34,具体用于:
针对所述图像中的每个网格,将所述网格中对应的车道中心点分数最大的预测框确定为所述网格对应的最优预测框;
针对每行网格,每隔预设步长选出对应的车道中心点分数大于第二阈值的最优预测框作为目标预测框;
针对每个目标预测框,根据所述目标预测框对应的车道中心点横向偏移以及预测框宽度调整值,确定所述图像中的一个车道中心点的位置以及对应的车道宽度;
根据所述图像中各个车道中心点所属的目标预测框的车道线类别,确定所述各个车道中心点对应的车道线类别。
进一步的,在本申请另一种可能的实现形式中,上述第二处理模块34,还用于:
针对每个目标预测框,根据所述目标预测框对应的车道中心点横向偏移,以及所述目标预测框所属的网格的坐标,确定所述图像中的一个车道中心点的位置;
根据所述目标预测框对应的预测框宽度调整值,以及所述目标预测框的宽度,确定所述一个车道中心点对应的车道宽度。
在本申请一种可能的实现形式中,上述确定模块35,包括:
第一确定单元,用于根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度,确定所述图像中的车道线;
第二确定单元,用于针对所述图像中的每段车道线,根据车道线段内各个车道线边界点的类别以及各个推测边界点的类别,确定所述车道线段的类别;所述推测边界点根据车道中心点以及对应的车道宽度确定。
进一步的,在本申请另一种可能的实现形式中,上述第一确定单元,具体用于:
针对每行网格的每隔预设步长的预设区域,判断所述预设区域内是否存在车道线边界点;
若存在车道线边界点,则将存在的车道线边界点作为车道线上的点;
若不存在车道线边界点,且存在推测边界点,则将推测边界点作为车道线上的点。
进一步的,在本申请再一种可能的实现形式中,上述车道线边界点的类别包括:实或虚;
上述车道中心点对应的车道线类别包括:左实右虚、左实右实、左虚右虚、左虚右实;
相应的,上述第二确定单元,具体用于:
针对所述图像中的每段车道线,获取车道线段内各个车道线边界点的类别以及各个推测边界点的类别;
获取所述车道线段内类别为实的车道线边界点以及类别为实的推测边界点的第一总数量;
获取所述车道线段内类别为虚的车道线边界点以及类别为虚的推测边界点的第二总数量;
将所述第一总数量和所述第二总数量中的最大数量对应的类别,确定为所述车道线段的类别。
在本申请一种可能的实现形式中,上述目标检测模型包括:卷积部分和回归部分;
所述卷积部分,用于获取所述图像不同深度的底层特征,对不同深度的底层特征进行降维、反卷积以及联合卷积操作,得到所述图像对应的特征图;所述特征图中包括:所述图像中各个网格对应的特征点;
所述回归部分用于结合图像以及对应的特征图获取各个网格的第一检测信息和第二检测信息。
进一步的,在本申请另一种可能的实现形式中,上述车道线检测装置30,还包括:训练模块;
相应的,上述获取模块31,还用于获取训练数据,所述训练数据包括:大于预设数量的图像,以及图像中各个真实车道线边界点的位置、真实车道线的类别、各个真实车道中心点的位置以及对应的真实车道宽度;
上述训练模块,具体用于采用所述训练数据对初始的目标检测模型进行训练,直至所述目标检测模型的损失函数满足预设条件;所述损失函数根据图像中各个真实车道线边界点的位置、真实车道线的类别、各个真实车道中心点的位置以及对应的真实车道宽度、图像中各个网格的第一检测信息和第二检测信息确定。
需要说明的是,前述对图1、图2所示的车道线检测方法实施例的解释说明也适用于该实施例的车道线检测装置30,此处不再赘述。
本申请实施例提供的车道线检测装置,可以采用获取的训练数据对初始的目标检测模型进行训练,直至目标检测模型的损失函数满足预设条件,并将获取的待检测的图像输入预设的目标检测模型,以获取图像中各个网格的第一检测信息和第二检测信息,并对各个网格的第一检测信息进行非极大值抑制处理,获取图像中的各个车道线边界点的位置及类别,以及对各个网格的第二检测信息进行非极大值抑制处理,获取图像中的各个车道中心点的位置、对应的车道宽度及车道线类别,进而根据图像中各个车道线边界点的位置及类别、各个车道中心点的位置、对应的车道宽度及车道线类别,确定图像中的车道线各段车道线的类别。由此,通过大量训练数据对初始的目标检测模型进行训练,并利用训练好的目标检测模型检测图像中每个网格包括的车道线边界点及类型、车道中心点、车道宽度及车道线类别,从而不仅提高了车道线检测的准确率和准召率,以及车道线类别检测的鲁棒性和精确度,而且进一步优化了目标检测模型的性能。
为了实现上述实施例,本申请还提出一种电子设备。
图4为本申请一个实施例的电子设备的结构示意图。
如图4所示,上述电子设备200包括:
存储器210及处理器220,连接不同组件(包括存储器210和处理器220)的总线230,存储器210存储有计算机程序,当处理器220执行所述程序时实现本申请实施例所述的车道线检测方法。
总线230表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统260可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280,可以存储在例如存储器210中,这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。
电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信,还可与一个或者多个使得用户能与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且,电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器293通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器220通过运行存储在存储器210中的程序,从而执行各种功能应用以及数据处理。
需要说明的是,本实施例的电子设备的实施过程和技术原理参见前述对本申请实施例的车道线检测方法的解释说明,此处不再赘述。
本申请实施例提供的电子设备,可以执行如前所述的车道线检测方法,将获取的待检测的图像输入预设的目标检测模型,以获取图像中各个网格的第一检测信息和第二检测信息,并对各个网格的第一检测信息进行非极大值抑制处理,获取图像中的各个车道线边界点的位置及类别,以及对各个网格的第二检测信息进行非极大值抑制处理,获取图像中的各个车道中心点的位置、对应的车道宽度及车道线类别,进而根据图像中各个车道线边界点的位置及类别、各个车道中心点的位置、对应的车道宽度及车道线类别,确定图像中的车道线各段车道线的类别。由此,通过将待检测的图像划分为多个网格,并利用训练好的目标检测模型检测每个网格中包括的车道线边界点及类别、车道中心点、车道宽度及车道线类别,之后即可根据检测的多个车道线边界点及类别、车道中心点、车道宽度及车道线类别,确定出图像中的车道线及各段车道线的类别,从而不仅降低了噪声对车道线检测的干扰,提高了车道线检测的准确率和准召率,而且提高了车道线类别检测的鲁棒性和精确度。
为了实现上述实施例,本申请还提出一种计算机可读存储介质。
其中,该计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,以实现本申请实施例所述的车道线检测方法。
为了实现上述实施例,本申请再一方面实施例提供一种计算机程序,该程序被处理器执行时,以实现本申请实施例所述的车道线检测方法。
一种可选实现形式中,本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中,远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (21)
1.一种车道线检测方法,其特征在于,包括:
获取待检测的图像;
将所述图像输入预设的目标检测模型,获取所述图像中各个网格的第一检测信息和第二检测信息,所述第一检测信息包括:车道线边界点横向偏移、车道线边界点分数、车道线边界点类别;所述第二检测信息包括:各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值、车道线类别;
对所述各个网格的第一检测信息进行非极大值抑制处理,获取所述图像中的各个车道线边界点的位置以及类别;
对所述各个网格的第二检测信息进行非极大值抑制处理,获取所述图像中的各个车道中心点的位置、对应的车道宽度以及车道线类别;
根据所述图像中各个车道线边界点的位置以及类别、各个车道中心点的位置、各个车道中心点对应的车道宽度以及车道线类别,确定所述图像中的车道线以及各段车道线的类别。
2.根据权利要求1所述的方法,其特征在于,所述对所述各个网格的第一检测信息进行非极大值抑制处理,获取所述图像中的各个车道线边界点的位置以及类别,包括:
针对所述图像中的每行网格,每隔预设步长选出对应的车道线边界点分数大于第一阈值的网格作为目标网格;
针对每个目标网格,根据所述目标网格对应的车道线边界点横向偏移以及所述目标网格的坐标,确定所述图像中的一个车道线边界点的位置;
根据所述图像中各个车道线边界点所属的网格的第一检测信息,确定所述各个车道线边界点的类别。
3.根据权利要求1所述的方法,其特征在于,所述对所述各个网格的第二检测信息进行非极大值抑制处理,获取所述图像中的各个车道中心点的位置、对应的车道宽度以及车道线类别,包括:
针对所述图像中的每个网格,将所述网格中对应的车道中心点分数最大的预测框确定为所述网格对应的最优预测框;
针对每行网格,每隔预设步长选出对应的车道中心点分数大于第二阈值的最优预测框作为目标预测框;
针对每个目标预测框,根据所述目标预测框对应的车道中心点横向偏移以及预测框宽度调整值,确定所述图像中的一个车道中心点的位置以及对应的车道宽度;
根据所述图像中各个车道中心点所属的目标预测框的车道线类别,确定所述各个车道中心点对应的车道线类别。
4.根据权利要求3所述的方法,其特征在于,所述针对每个目标预测框,根据所述目标预测框对应的车道中心点横向偏移以及预测框宽度调整值,确定所述图像中的一个车道中心点的位置以及对应的车道宽度,包括:
针对每个目标预测框,根据所述目标预测框对应的车道中心点横向偏移,以及所述目标预测框所属的网格的坐标,确定所述图像中的一个车道中心点的位置;
根据所述目标预测框对应的预测框宽度调整值,以及所述目标预测框的宽度,确定所述一个车道中心点对应的车道宽度。
5.根据权利要求1所述的方法,其特征在于,所述根据所述图像中各个车道线边界点的位置以及类别、各个车道中心点的位置、各个车道中心点对应的车道宽度以及车道线类别,确定所述图像中的车道线以及各段车道线的类别,包括:
根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度,确定所述图像中的车道线;
针对所述图像中的每段车道线,根据车道线段内各个车道线边界点的类别以及各个推测边界点的类别,确定所述车道线段的类别;所述推测边界点根据车道中心点以及对应的车道宽度确定。
6.根据权利要求5所述的方法,其特征在于,所述根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度,确定所述图像中的车道线,包括:
针对每行网格的每隔预设步长的预设区域,判断所述预设区域内是否存在车道线边界点;
若存在车道线边界点,则将存在的车道线边界点作为车道线上的点;
若不存在车道线边界点,且存在推测边界点,则将推测边界点作为车道线上的点。
7.根据权利要求5所述的方法,其特征在于,所述车道线边界点的类别包括:实或虚;
所述车道中心点对应的车道线类别包括:左实右虚、左实右实、左虚右虚、左虚右实;
所述针对所述图像中的每段车道线,根据车道线段内各个车道线边界点的类别以及各个推测边界点的类别,确定所述车道线段的类别,包括:
针对所述图像中的每段车道线,获取车道线段内各个车道线边界点的类别以及各个推测边界点的类别;
获取所述车道线段内类别为实的车道线边界点以及类别为实的推测边界点的第一总数量;
获取所述车道线段内类别为虚的车道线边界点以及类别为虚的推测边界点的第二总数量;
将所述第一总数量和所述第二总数量中的最大数量对应的类别,确定为所述车道线段的类别。
8.根据权利要求1所述的方法,其特征在于,所述目标检测模型包括:卷积部分和回归部分;
所述卷积部分,用于获取所述图像不同深度的底层特征,对不同深度的底层特征进行降维、反卷积以及联合卷积操作,得到所述图像对应的特征图;所述特征图中包括:所述图像中各个网格对应的特征点;
所述回归部分用于结合图像以及对应的特征图获取各个网格的第一检测信息和第二检测信息。
9.根据权利要求1所述的方法,其特征在于,所述将所述图像输入预设的目标检测模型,获取所述图像中各个网格的第一检测信息和第二检测信息之前,还包括:
获取训练数据,所述训练数据包括:大于预设数量的图像,以及图像中各个真实车道线边界点的位置、真实车道线的类别、各个真实车道中心点的位置以及对应的真实车道宽度;
采用所述训练数据对初始的目标检测模型进行训练,直至所述目标检测模型的损失函数满足预设条件;所述损失函数根据图像中各个真实车道线边界点的位置、真实车道线的类别、各个真实车道中心点的位置以及对应的真实车道宽度、图像中各个网格的第一检测信息和第二检测信息确定。
10.一种车道线检测装置,其特征在于,包括:
获取模块,用于获取待检测的图像;
输入模块,用于将所述图像输入预设的目标检测模型,获取所述图像中各个网格的第一检测信息和第二检测信息,所述第一检测信息包括:车道线边界点横向偏移、车道线边界点分数、车道线边界点类别;所述第二检测信息包括:各个预测框对应的车道中心点横向偏移、车道中心点分数、预测框宽度调整值、车道线类别;
第一处理模块,用于对所述各个网格的第一检测信息进行非极大值抑制处理,获取所述图像中的各个车道线边界点的位置以及类别;
第二处理模块,用于对所述各个网格的第二检测信息进行非极大值抑制处理,获取所述图像中的各个车道中心点的位置、对应的车道宽度以及车道线类别;
确定模块,用于根据所述图像中各个车道线边界点的位置以及类别、各个车道中心点的位置、各个车道中心点对应的车道宽度以及车道线类别,确定所述图像中的车道线以及各段车道线的类别。
11.根据权利要求10所述的装置,其特征在于,所述第一处理模块具体用于,
针对所述图像中的每行网格,每隔预设步长选出对应的车道线边界点分数大于第一阈值的网格作为目标网格;
针对每个目标网格,根据所述目标网格对应的车道线边界点横向偏移以及所述目标网格的坐标,确定所述图像中的一个车道线边界点的位置;
根据所述图像中各个车道线边界点所属的网格的第一检测信息,确定所述各个车道线边界点的类别。
12.根据权利要求10所述的装置,其特征在于,所述第二处理模块具体用于,
针对所述图像中的每个网格,将所述网格中对应的车道中心点分数最大的预测框确定为所述网格对应的最优预测框;
针对每行网格,每隔预设步长选出对应的车道中心点分数大于第二阈值的最优预测框作为目标预测框;
针对每个目标预测框,根据所述目标预测框对应的车道中心点横向偏移以及预测框宽度调整值,确定所述图像中的一个车道中心点的位置以及对应的车道宽度;
根据所述图像中各个车道中心点所属的目标预测框的车道线类别,确定所述各个车道中心点对应的车道线类别。
13.根据权利要求12所述的装置,其特征在于,所述第二处理模块具体用于,
针对每个目标预测框,根据所述目标预测框对应的车道中心点横向偏移,以及所述目标预测框所属的网格的坐标,确定所述图像中的一个车道中心点的位置;
根据所述目标预测框对应的预测框宽度调整值,以及所述目标预测框的宽度,确定所述一个车道中心点对应的车道宽度。
14.根据权利要求10所述的装置,其特征在于,所述确定模块包括:第一确定单元和第二确定单元;
所述第一确定单元,用于根据所述图像中各个车道线边界点的位置、各个车道中心点的位置以及对应的车道宽度,确定所述图像中的车道线;
所述第二确定单元,用于针对所述图像中的每段车道线,根据车道线段内各个车道线边界点的类别以及各个推测边界点的类别,确定所述车道线段的类别;所述推测边界点根据车道中心点以及对应的车道宽度确定。
15.根据权利要求14所述的装置,其特征在于,所述第一确定单元具体用于,
针对每行网格的每隔预设步长的预设区域,判断所述预设区域内是否存在车道线边界点;
若存在车道线边界点,则将存在的车道线边界点作为车道线上的点;
若不存在车道线边界点,且存在推测边界点,则将推测边界点作为车道线上的点。
16.根据权利要求14所述的装置,其特征在于,所述车道线边界点的类别包括:实或虚;
所述车道中心点对应的车道线类别包括:左实右虚、左实右实、左虚右虚、左虚右实;
所述第二确定单元具体用于,
针对所述图像中的每段车道线,获取车道线段内各个车道线边界点的类别以及各个推测边界点的类别;
获取所述车道线段内类别为实的车道线边界点以及类别为实的推测边界点的第一总数量;
获取所述车道线段内类别为虚的车道线边界点以及类别为虚的推测边界点的第二总数量;
将所述第一总数量和所述第二总数量中的最大数量对应的类别,确定为所述车道线段的类别。
17.根据权利要求10所述的装置,其特征在于,所述目标检测模型包括:卷积部分和回归部分;
所述卷积部分,用于获取所述图像不同深度的底层特征,对不同深度的底层特征进行降维、反卷积以及联合卷积操作,得到所述图像对应的特征图;所述特征图中包括:所述图像中各个网格对应的特征点;
所述回归部分用于结合图像以及对应的特征图获取各个网格的第一检测信息和第二检测信息。
18.根据权利要求10所述的装置,其特征在于,还包括:训练模块;
所述获取模块,还用于获取训练数据,所述训练数据包括:大于预设数量的图像,以及图像中各个真实车道线边界点的位置、真实车道线的类别、各个真实车道中心点的位置以及对应的真实车道宽度;
所述训练模块,用于采用所述训练数据对初始的目标检测模型进行训练,直至所述目标检测模型的损失函数满足预设条件;所述损失函数根据图像中各个真实车道线边界点的位置、真实车道线的类别、各个真实车道中心点的位置以及对应的真实车道宽度、图像中各个网格的第一检测信息和第二检测信息确定。
19.一种电子设备,其特征在于,包括:
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-9任一所述的车道线检测方法。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9任一所述的车道线检测方法。
21.一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如权利要求1-9任一所述的车道线检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910536138.6A CN110232368B (zh) | 2019-06-20 | 2019-06-20 | 车道线检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910536138.6A CN110232368B (zh) | 2019-06-20 | 2019-06-20 | 车道线检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110232368A true CN110232368A (zh) | 2019-09-13 |
CN110232368B CN110232368B (zh) | 2021-08-24 |
Family
ID=67856340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910536138.6A Active CN110232368B (zh) | 2019-06-20 | 2019-06-20 | 车道线检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110232368B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539401A (zh) * | 2020-07-13 | 2020-08-14 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的车道线检测方法、装置、终端及存储介质 |
CN112434591A (zh) * | 2020-11-19 | 2021-03-02 | 腾讯科技(深圳)有限公司 | 车道线确定方法、装置 |
CN113033497A (zh) * | 2021-04-30 | 2021-06-25 | 平安科技(深圳)有限公司 | 车道线识别方法、装置、设备及计算机可读存储介质 |
CN114821502A (zh) * | 2022-04-29 | 2022-07-29 | 广州文远知行科技有限公司 | 一种路面标记检测方法、装置、设备和存储介质 |
CN115311573A (zh) * | 2022-10-08 | 2022-11-08 | 浙江壹体科技有限公司 | 一种场地线检测和目标定位方法、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663356A (zh) * | 2012-03-28 | 2012-09-12 | 柳州博实唯汽车科技有限公司 | 车道线提取及偏离预警方法 |
US20160026879A1 (en) * | 2014-07-23 | 2016-01-28 | Denso Corporation | Traffic lane marking recognition apparatus and traffic lane marking recognition program |
CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
CN108268813A (zh) * | 2016-12-30 | 2018-07-10 | 北京文安智能技术股份有限公司 | 一种车道偏离预警方法、装置及电子设备 |
CN108921089A (zh) * | 2018-06-29 | 2018-11-30 | 驭势科技(北京)有限公司 | 车道线检测方法、装置和系统及存储介质 |
CN109740469A (zh) * | 2018-12-24 | 2019-05-10 | 百度在线网络技术(北京)有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
CN109829351A (zh) * | 2017-11-23 | 2019-05-31 | 华为技术有限公司 | 车道信息的检测方法、装置及计算机可读存储介质 |
-
2019
- 2019-06-20 CN CN201910536138.6A patent/CN110232368B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663356A (zh) * | 2012-03-28 | 2012-09-12 | 柳州博实唯汽车科技有限公司 | 车道线提取及偏离预警方法 |
US20160026879A1 (en) * | 2014-07-23 | 2016-01-28 | Denso Corporation | Traffic lane marking recognition apparatus and traffic lane marking recognition program |
CN108268813A (zh) * | 2016-12-30 | 2018-07-10 | 北京文安智能技术股份有限公司 | 一种车道偏离预警方法、装置及电子设备 |
CN109829351A (zh) * | 2017-11-23 | 2019-05-31 | 华为技术有限公司 | 车道信息的检测方法、装置及计算机可读存储介质 |
CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
CN108921089A (zh) * | 2018-06-29 | 2018-11-30 | 驭势科技(北京)有限公司 | 车道线检测方法、装置和系统及存储介质 |
CN109740469A (zh) * | 2018-12-24 | 2019-05-10 | 百度在线网络技术(北京)有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539401A (zh) * | 2020-07-13 | 2020-08-14 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的车道线检测方法、装置、终端及存储介质 |
CN111539401B (zh) * | 2020-07-13 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的车道线检测方法、装置、终端及存储介质 |
CN112434591A (zh) * | 2020-11-19 | 2021-03-02 | 腾讯科技(深圳)有限公司 | 车道线确定方法、装置 |
CN113033497A (zh) * | 2021-04-30 | 2021-06-25 | 平安科技(深圳)有限公司 | 车道线识别方法、装置、设备及计算机可读存储介质 |
CN113033497B (zh) * | 2021-04-30 | 2024-03-05 | 平安科技(深圳)有限公司 | 车道线识别方法、装置、设备及计算机可读存储介质 |
CN114821502A (zh) * | 2022-04-29 | 2022-07-29 | 广州文远知行科技有限公司 | 一种路面标记检测方法、装置、设备和存储介质 |
CN115311573A (zh) * | 2022-10-08 | 2022-11-08 | 浙江壹体科技有限公司 | 一种场地线检测和目标定位方法、电子设备及存储介质 |
CN115311573B (zh) * | 2022-10-08 | 2023-03-24 | 浙江壹体科技有限公司 | 一种场地线检测和目标定位方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110232368B (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263713A (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
CN110232368A (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
US11415672B2 (en) | Method and apparatus for generating object detection box, device, storage medium, and vehicle | |
CN111079619B (zh) | 用于检测图像中的目标对象的方法和装置 | |
CN110276293A (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
CN110263714A (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
CN110286387B (zh) | 应用于自动驾驶系统的障碍物检测方法、装置及存储介质 | |
CN108895981B (zh) | 一种三维测量方法、装置、服务器和存储介质 | |
CN103383731B (zh) | 一种基于指尖定位的投影交互方法、系统及计算设备 | |
CN109782763A (zh) | 一种动态环境下的移动机器人路径规划方法 | |
KR20210006971A (ko) | 지오로케이션 예측을 위한 시스템 및 방법 | |
CN105628951A (zh) | 用于测量对象的速度的方法和装置 | |
CN108280843A (zh) | 一种视频目标检测跟踪方法及设备 | |
CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
TWI608744B (zh) | 估算裝置及其無線網路之通訊品質估算方法及電表安裝方法 | |
KR101854048B1 (ko) | 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치 | |
JP2023536025A (ja) | 路車協調における目標検出方法、装置及び路側機器 | |
CN111811525B (zh) | 一种基于遥感图像和浮动车轨迹的路网生成方法及系统 | |
CN112863187B (zh) | 感知模型的检测方法、电子设备、路侧设备和云控平台 | |
US11295463B2 (en) | Methods, systems, articles of manufacture, and apparatus to enhance image depth confidence maps | |
CN108876857A (zh) | 无人驾驶车辆的定位方法、系统、设备及存储介质 | |
CN114387576A (zh) | 一种车道线识别方法、系统、介质、设备及信息处理终端 | |
CN111339919A (zh) | 一种基于多任务协作的镜子检测方法 | |
CN109816726A (zh) | 一种基于深度滤波器的视觉里程计地图更新方法和系统 | |
CN108038408A (zh) | 智能跟踪方法及装置、存储介质及电子终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |