CN111259704A - 一种虚线车道线端点检测模型的训练方法 - Google Patents

一种虚线车道线端点检测模型的训练方法 Download PDF

Info

Publication number
CN111259704A
CN111259704A CN201811468062.XA CN201811468062A CN111259704A CN 111259704 A CN111259704 A CN 111259704A CN 201811468062 A CN201811468062 A CN 201811468062A CN 111259704 A CN111259704 A CN 111259704A
Authority
CN
China
Prior art keywords
lane line
neural network
line
lane
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811468062.XA
Other languages
English (en)
Other versions
CN111259704B (zh
Inventor
张驰
陈佳辉
蒋竺希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201811468062.XA priority Critical patent/CN111259704B/zh
Publication of CN111259704A publication Critical patent/CN111259704A/zh
Application granted granted Critical
Publication of CN111259704B publication Critical patent/CN111259704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种智能驾驶技术领域,具体涉及一种虚线车道线端点检测模型的训练方法。本发明还提供了一种车辆压线判断方法,其中用到了虚线车道线检测模型的训练方法,该训练方法通过对虚线车道线的端点进行标注来表示车道线位置,并且在初始神经网络模型基础上,采用微调的方法,利用道路样本图像,对神经网络进行训练。现有技术中对于车道线的判断方法,鲁棒性差、计算量大,还可能存在判断错误的情况;采用本发明的训练方法得到的检测模型,可以在不规则的车道线附近(如S型车道线,弯道等)仅靠前视摄像头采集的信息来判断车辆压线的情况,与现有技术相比具有显著优势。

Description

一种虚线车道线端点检测模型的训练方法
技术领域
本发明涉及一种智能驾驶技术领域,具体涉及一种虚线车道线端点检测模型的训练方法。
背景技术
随着科学技术的发展,自动驾驶、无人车等新兴概念应运而生。车道线端点检测技术是先进驾驶辅助系统的道路场景分析中的重要元素,是自动驾驶技术中一个不可或缺的部分。正常的车道线通常以多种样式的标记线的形式标记在道路地面上。车辆的摄像头等传感器可以获取车辆当前所处的环境的视觉图像,采用车道线检测技术对传感器获取的车辆前方或后方道路图像信息进行处理,可以得到图像中的车道线的位置,从而指导车辆的驾驶。但是在实际中,车道线会被前车短暂遮挡,无法判断车道线的准确位置,同时在遇到弯道等非直线车道时,车轮相对于车道线的位置也无法判断。这对于车道偏离预警,车道保持等功能会造成影响。
现有的车道线检测方法,一类是基于特征的算法,主要是利用颜色、纹理、形状等信息来提取车道线,但是当路面光照发生变化、标志线磨损或者路面出现水渍、阴影等情况时,都将会影响检测效果。一类是基于模型的算法,这种方法首先估计道路模型,然后利用霍夫变换或者其他图像信息确定模型参数,常用的道路模型有直线模型、抛物线模型、三次样条曲线模型等,这种方法也存在鲁棒性差、计算量大等缺点。对于车辆是否压线,在只依靠前视摄像头的情况下进行车辆压线判断时,现有方法依靠的是当前帧的检测结果,对其进行图像分析判断。这一方面只依赖于图像进行分析,但是车辆压线在很多情况下是一个未定的问题,比如在遇到弯道时车轮所在的点在镜头以外,直接将检测到的车道线进行反向延长得到的是错误的结果。出现上述缺陷的一个方面在于没有形成一个有效的车道线检测模型。更没有引入神经网络等模型工具进行优化处理,没有对车道线的特殊点的选择和提取进行考虑,这些都造成了对车道线识别的欠缺。
发明内容
针对目前对车道线模型的建立以及训练没有形成有效的体系的缺点,提出本发明。
本发明的第一方面,是提出了一种虚线车道线端点检测模型的训练方法,该方法包括:
步骤101:获取道路样本图像,所述道路样本图像标注有虚线车道线端点的位置信息;
步骤102:将所述道路图像输入到预先建立的初始神经网络模型;
步骤103:利用所述样本图像训练所述初始神经网络模型,得到虚线车道线端点检测模型;
其中所述步骤102中初始神经网络模型中包含空间金字塔池化层,并适应任意大小的图片,以满足不对道路样本图像进行缩放,以避免图像信息的损失。
优选地,其中所述步骤101中对所述道路样本图像标注包括:对虚线车道线端点是否为静态的端点进行标识。
优选地,在所述步骤103中为所述初始神经网络模型中的卷积层充分学习道路样本图像中的车道线位置的特征,根据学习到的所述道路样本图像的相关特征以及所述初始神经网络模型中的全连接层对相关特征进行映射,得到所述车道线位置的识别结果,将所述车道线位置的识别结果与所述道路样本图像预先标注的车道线位置进行比较,对初始神经网络模型的参数进行优化,当所述初始神经网络模型经过多次训练样本的迭代训练后,获得所述虚线车道线端点检测模型。
本发明的第二方面,提供一种车辆压线判断系统,其特征在于:所述系统包括待检测道路图像获取单元、虚线车道线端点检测模型、局部地图建立单元;
所述系统将所述图像获取单元获取的待检测道路图像输入到所述虚线车道线端点检测模型,得到车道线端点信息;其中所述虚线车道线端点检测模型采用上述的训练方法训练得到;
所述局部地图建立单元通过对车辆的运动估计,对所述车道线端点进行跟踪;建立局部地图;
所述系统通过所述车辆在所述局部地图中的位置关系判断所述车辆是否压线。
优选的,还包括一报警单元,该报警单元用于在所述局部地图建立单元判断所述车辆压线后发出报警信号。
本发明的第三方面,是提供一种应用,该应用是上述的训练方法在车辆是否压线的应用。
本发明的第四方面,是提供一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现上述的训练方法。
本发明的发明点在于以下几点,但不限于以下几点:
(1)本发明提出了一种全新的端点检测模型的训练方法,该训练方法的基础是获取的图像中对于车道的识别选择了特殊的端点,并且对虚线车道线端点是否为静态的端点进行标识,现有技术中没有对端点进行标注来表示车道线位置,更没有区分出是否为静态的端点。本发明的上述做法有利于神经网络的学习,对检测模型的准确度有提高。
(2)可以使得初始神经网络模型对同一尺寸或不同尺寸的道路样本图像进行学习,从而能够更快速、更准确地对道路样本进行处理,提高模型的训练效率。这其中用到的神经网络模型中可以包含空间金字塔池化层,以避免对图像信息的损失。这里需要注意的是,该处为了避免对图像信息的损失选择包含空间金字塔池化层的神经网络,但不意味所有具务这一特征的神经网络都能适用于该模型之中。在车道线检测模型之中,上述提到了静态端点的识别,并不是所有模型都能很好的适配。
(3)本发明通过将在对象检测领域取得非常好的结果的卷积神经网络方法引入车道线端点检测中,可以实现对虚线车道线的高效检测,同时基于检测到的虚线端点建立局部地图,可以在不规则的车道线附近(如S型车道线,弯道等)仅靠前视摄像头采集的信息来判断车辆压线的情况。现有技术中对于不规则的车道线没有很好的识别,本发明与现有技术中的方法因上述技术手段而具有显著优势。
(4)本发明具体采用Faster R-CNN作为初始神经网络模型,修改其部分结构后,对其进行适应于车道线检测的微调,具体包括:根据学习到的所述道路样本图像的相关特征,所述初始神经网络模型中的全连接层对相关特征进行映射,得到所述车道线位置的识别结果,这些都是基于特殊环境下的特殊处理。将所述道路样本图像的相关特征提取以及神经网络模型的优化相结合以满足模型训练的要求。现有技术中因没有引入相关特征的选择以及神经网络的优化,使车道线的判断方法,鲁棒性差、计算量大,还可能存在判断错误的情况。本发明不但引入上述技术手段,并且将其代入车道线检测这一应用环境之中,将两者相结合,解决了现有技术中的上述问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1为本申请实施例中一种虚线车道线端点检测模型的训练方法的流程图;
图2为正常的车道线端点标记示意图;
图3为本申请实施例中一种车道线检测及车辆压线判断方法的流程图;
图4为本申请实施例中一种通过深度学习对车道线端点进行识别的算法框架。
具体实施例
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
本申请实例提供了一种虚线车道线端点检测模型的训练方法和基于该虚线车道线端点检测模型的车道线端检测及车辆压线判断算法。上述虚线车道线端点检测模型以及车道线端点检测及车辆压线判断方法,可以应用于终端、服务器或者二者的结合。其中,终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如,Wi-Fi、LAN、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备,包括但不限于:现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个实例。本申请的实施方式在此方面不受任何限制。
下面结合附图对本申请实施例的具体实现方式进行介绍。
首先,对本申请实施例中提供的一种虚线车道线端点检测模型的训练方法的具体实现方式进行介绍。
图1所示为本申请实例提供的一种虚线车道线端点检测模型的训练方法的流程图,应用于自动驾驶领域,参见图1,该方法包括:
步骤101:获取道路样本图像,所述道路样本图像标注有虚线车道线端点的位置信息。
道路样本图像可以视为用于训练虚线车道线端点检测模型的样本图像。本申请实施例中,训练模型采用了有监督的训练方式,因而,道路样本图像中标注有车道线位置信息。通过标注车道线位置信息,可以加快模型训练的速率,提高模型检测的准确率。
其中,通过对虚线车道线的端点进行标注来表示车道线位置。如图2所示,在一个道路图像中,通常存在多个虚线车道线线段,将其上下两个端点的坐标表示出来,即可对一个车道线的位置进行标识。同时,还要对虚线车道线端点是否为静态的端点进行标识,其中车道遮挡点和图像边缘的点不属于静态端点,只有车道线的上下端点才会被看作为静态端点。对于该车道线的端点进行标注,是实现本发明的重要步骤,是本发明的创新点之一。现有技术中没有对端点进行标注来表示车道线位置,更没有区分出是否为静态的端点。
在本申请实施例的一些可能的实现方式中,我们所处理的图像可以是由位于车身的前部或后部等位置的摄像头所获取到的道路图像。如图2所示,是由车辆的前部摄像头获取到的图像,图像的下部对应的即为当前驾驶的车辆的位置。倒车的时候,要处理的图像则为通过后部的摄像头获取的图像,这种情况下图像的上部为当前驾驶的车辆的位置。
在本申请实施例中,可以预先建立样本库,从样本库中获取样本图像。其中,样本库可以采用公开的数据集中的图像,也可以从车辆的存储设备中获取车辆的摄像头所采集的图像,对图像中的车位区域进行标注,从而建立样本库。在有些情况下,也可以直接获取样本图像,例如,直接获取车辆的摄像头实时采集的图像,对图像的车位区域进行标注,将标注后的图像作为样本图像。
步骤102:将所述道路图像输入到预先建立的初始神经网络模型。
在获取到道路样本图像后,可以将道路样本图像输入到预先建立的初始神经网络模型,以便利用道路样本图像对初始神经网络模型进行训练。
在本申请实施例的一些可能的实现方式中,在将道路样本图像输入预先建立的初始神经网络模型之前,还可以将道路样本图像缩放至预设尺寸。如此,可以使得初始神经网络模型对同一尺寸的道路样本图像进行学习,从而能够更快速、更准确地对道路样本进行处理,提高模型的训练效率。在本申请实施例的另外一些可能的实现方式中,所述预先建立的初始神经网络模型中可能包含空间金字塔池化层,可以适应任意大小的图片,则可以不对道路样本图像进行缩放,以避免图像信息的损失。
步骤103:利用所述样本图像训练所述神经网络模型,得到虚线车道线端点检测模型。
为了便于理解,首先对神经网络模型的概念进行简单介绍。神经网络是由大量的、简单的处理单元广泛地互相连接而形成的网络系统,它是一个高度复杂的非线性动力学习系统,具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络模型即为基于神经网络建立的一种数学模型,基于神经网络模型的强大的学习能力,神经网络模型在许多领域都得到广泛的应用。
其中,在图像处理和模式识别领域,常常采用卷积神经网络模型进行模式识别。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性,使得需要训练的参数大大减少,简化了网络模型,提高了训练效率。
具体到本实施例,可以采用深度卷积神经网络作为初始神经网络模型,利用道路样本图像,对神经网络模型进行训练。除了自行设计新的深度卷积神经网络,也可以采用迁移学习的方法,利用已有的在对象检测领域取得较好结果的深度卷积神经网络,如FasterR-CNN等,对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改,并直接采用原有网络模型中已有的已经充分训练的参数,作为初始神经网络模型,采用微调的方法,利用道路样本图像,对神经网络进行训练。具体为初始神经网络模型中的卷积层充分学习道路样本图像中的车道线位置的特征,根据学习到的道路样本图像的相关特征,初始神经网络模型中的全连接层可以对相关特征进行映射,得到车道线位置的识别结果,将车道线位置的识别结果与道路样本图像预先标注的车道线位置进行比较,可以对初始神经网络模型的参数进行优化,当初始神经网络模型经过较多训练样本的迭代训练后,可以获得虚线车道线端点检测模型。使用的Faster R-CNN模型虽然是现有的,但本发明将该神经网络模型用于车道线压线判断检测则是现有技术没有的。另外,该Faster R-CNN模型是初始神经网络,还需要对其进行改进,优化以适应检测的需要,这也是本发明的创新点之一。
由上可知,本申请提供了一种虚线车道线端点检测模型的训练方法。获取道路样本图像,道路样本图像中标注有车道线位置,将道路样本图像输入初始神经网络模型,利用道路样本图像以有监督学习方式对初始神经网络模型进行训练或者微调,得到虚线车道线端点检测模型。采用标注有车道线位置的道路样本图像对初始神经网络模型进行训练,大量的道路样本图像可以使得训练得到的虚线车道线端点检测模型在对车道线位置进行预测时具有较高的准确度和效率。
基于上述实施例中提供的一种虚线车道线端点检测模型的训练方法,本申请实施例中还提供了一种基于所述虚线车道线端点检测模型的车道线端点检测及车辆压线判断方法。
接下来,结合附图对本申请实施例中提供的一种车道线端点检测及车辆压线判断方法进行详细说明。
图3为本申请实施例中提供的一种车道线端点检测及车辆压线判断方法的流程图,该方法应用于自动驾驶领域,参见图3,该方法包括:
步骤301:获取当前道路图像。
当前道路图像指的是车辆当前所处位置前方、后方或其他位置的图像。在本实施例中,当前道路图像为需要检测车道线位置的及车辆压线判断的图像。
可以理解,当前道路图像可以是实时获取的道路图像。在本申请实施例的一些可能的实现方式中,可以对车辆的前视或后视摄像头拍摄到的图像进行一些必要的操作,将得到的道路图像作为当前道路图像。在一些可能的实现方式中,也可能使用其他方式获取车辆所在位置的道路图像。
在一些情况下,当前道路图像也可以是接收到的其他设备所发送的道路图像。例如,当车辆的摄像头出现故障时,车上的乘客可以通过手机等设备拍摄当前所在位置的道路图像,如此,可以从用户的设备上获取当前道路图像,以便通过该图像进行车道线位置检测。
以上仅为获取当前道路图像的一些具体示例,本申请对当前道路图像的获取方式不做限定,可以根据需求采取不同的实现方式。
步骤302:将当前道路图像输入到虚线车道线端点检测模型,得到车道线端点信息。
所述虚线车道线端点检测模型是根据上述实施例中提供的虚线车道线端点检测模型的训练方法生成的虚线车道线端点检测模型。
将当前道路图像输入到虚线车道线端点检测模型后,虚线车道线端点检测模型可以通过对当前道路图像进行特征提取,并对提取到的特征进行映射,得到表征车道线的向量,该向量即为虚线车道线端点检测模型的输出结果。
这里对输出结果的一种可能的形式进行说明。算法的框架如图4所示。神经网络会将整个图像划分为若干个单元,而每个单元会输出三组向量,其中cls对应的是对应单元属于虚线段的概率输出;reg对应的是对应单元所在虚线段的回归结果,维度是4,分别为上下两个端点的像素坐标;cls_type对应的是上下端点的分类概率,分类的目标是对应端点是否为静态的端点,其中,车道遮挡点或者图片边缘的点不属于静态端点,这是本发明的创新之一。
步骤303:通过运动估计,对车道线端点进行跟踪,多次观测,建立局部地图。
因为车道线虚线端点是普遍存在的特征点,可以通过对这一特征点的观测建立局部地图。
我们可以通过数学来描述这个过程。首先,我们通过
Figure BDA0001890306160000071
表示车辆的位置,通过
Figure BDA0001890306160000072
表示特征点的位置,其中i表示不同的时刻,j表示不同的特征点。然后,我们通过如下方程表示车辆的运动:
Figure BDA0001890306160000073
其中ui为通过其他方式获取的车辆运动信息如惯性测量单元等,这并不是必须的;
Figure BDA0001890306160000074
为预测的下一时刻车辆的位置,wi为噪声。通过如下方程表示对特征点的观测:
Figure BDA0001890306160000075
观测方程表示在i时刻对j特征点的观测数据;vi,j是误差项。函数f()和h()是确定几何关系映射,例如f()可以表示为
Figure BDA0001890306160000076
和ui之和,本申请中不对f()和h()加以具体化,本领域技术人员清楚其具体化形式。以上公式中,zi,j和ui可以通过传感器获取,而我们的目标就是通过上述方程求解出
Figure BDA0001890306160000077
Figure BDA0001890306160000078
其中
Figure BDA0001890306160000079
就表示车辆的精确位置,而通过对特征点位置
Figure BDA00018903061600000710
进行集合,就可以构建出局部地图。在一些实施例中,该特征点可以表示为车道线断点进行跟踪的车道线端点。
可以将这个问题转化为一个优化问题。把
Figure BDA00018903061600000711
作为目标函数,则
Figure BDA0001890306160000081
对这个优化问题的求解可以通过数值方法求梯度和梯度矩阵,然后用梯度下降法求最优值,也可以通过其他优化方法进行求解。
通过上述过程,我们建立了局部地图,同时获取了车辆在局部地图中的实时位置信息。
步骤304:判断车辆和车道线的位置关系。
因为已经建立了局部地图并获取了车辆在其中的位置信息,通过一些简单的判断,就可以对车辆是否压线得出结果。比如,我们可以通过检测车辆所在的区域与车道线所在的区域是否重合来判断车辆是否压线,也可以通过其他的方法。在车辆位置和车道线位置已知的情况下,这种判断是可以作出的。
在一些实施例中,车辆压线判断系统还可以包括一报警单元,该报警单元用于提示自动驾驶系统在车辆压线情况进行下能及时处理,即该报警单元并不意味着发出报警音提示;也可以用于日常的普通驾驶情况下对驾驶员进行提醒。这种提醒包括但不限于发出语音提示,人机交互界面出现视觉闪烁等。
基于这种方法,我们可以对车道线进行检测并对车辆是否压线进行判断。
一种计算机存储介质,其上存储有计算机可执行的指令,当指令被计算机装置执行时,可执行上述的方法以完成车道线压线判断。
由上可知,本申请实施例中提供了一种车道线端点检测及车辆压线判断算法,通过将当前道路图像输入到预先训练的虚线车道线端点检测模型,基于虚线车道线端点检测模型的输出结果,可以确定当前道路图像中的车道线端点的位置,该模型采用海量样本道路图像结合深度学习的方式训练得到,在对车道线位置进行检测时具有较高的准确度和效率。以车道线端点为特征点,通过解决相应的优化问题,可以建立局部地图并计算出车辆在局部地图中的位置,根据局部地图中的数据信息可以对车辆压线进行判断。
以上实施例,主要是以卷积神经网络模型作为神经网络模型,进行训练得到虚线车道线端点检测模型,并基于该虚线车道线端点检测模型对当前道路图像中的车道线位置进行检测。而随着机器学习的不断发展,卷积神经网络模型也在不断发展。具体的,基于所要训练的模型的功能以及该模型所要处理的数据,可以采用不同类型的卷积神经网络作为初始神经网络。常见的用于对象检测的卷积神经网络包括R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、YOLO、YOLO9000、SSD、NASNet、Mask R-CNN等。在一些可能的实现方式中,优选的,可以采用Faster R-CNN作为初始神经网络模型,修改其部分结构后,对其进行微调,得到虚线车道线端点检测模型。在一些可能的实现方式中,可以采用上述提到的其他卷积神经网络,或者采用其他在此领域中取得较好结果的网络。本申请的实施方式在此方面不受任何限制。
由此可见,本申请实施例中提供了一种虚线车道线端点检测模型的训练方法以及车道线端点检测及车辆压线判断方法。获取道路样本图像,道路样本图像中标注有车道线位置,将道路样本图像输入初始神经网络模型,利用道路样本图像以有监督学习方式对初始神经网络模型进行微调,得到虚线车道线端点检测模型。采用标注有车道线位置的道路样本图像对初始神经网络模型进行训练,大量的道路样本图像可以使得训练得到的虚线车道线端点检测模型在对车道线位置进行预测时具有较高的准确度和效率。通过将当前道路图像输入到预先训练的虚线车道线端点检测模型,基于虚线车道线端点检测模型的输出结果,可以确定当前道路图像中的车道线端点的位置,该模型采用海量样本道路图像结合深度学习的方式训练得到,在对车道线位置进行检测时具有较高的准确度和效率。以车道线端点为特征点,通过解决相应的优化问题,可以建立局部地图并计算出车辆在局部地图中的位置,根据局部地图中的数据信息可以对车辆压线进行判断。本申请实施例中提供的车辆压线判断方法可以在不规则的车道线附近(如S型车道线,弯道等),也能仅靠前视摄像头来判断车辆压线的情况。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例中所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。

Claims (8)

1.一种虚线车道线端点检测模型的训练方法,该方法包括:
步骤101:获取道路样本图像,所述道路样本图像标注有虚线车道线端点的位置信息;
步骤102:将所述道路图像输入到预先建立的初始神经网络模型;
步骤103:利用所述样本图像训练所述初始神经网络模型,得到虚线车道线端点检测模型;
其中所述步骤101中对所述道路样本图像标注包括:对所述虚线车道线端点是否为静态的端点进行标识。
2.根据权利要求1所述的训练方法,所述步骤102中所述初始神经网络模型中包含空间金字塔池化层,并适应任意大小的图片,以满足不对道路样本图像进行缩放,避免图像信息的损失。
3.根据权利要求1-2中任一项所述的训练方法,在所述步骤102中,以Faster R-CNN作为所述初始神经网络模型。
4.根据权利要求1-3中任一项所述的训练方法,在所述步骤103中,所述初始神经网络模型中的卷积层充分学习道路样本图像中的车道线位置的特征,根据学习到的所述道路样本图像的相关特征以及所述初始神经网络模型中的全连接层对相关特征进行映射,得到所述车道线位置的识别结果;将所述车道线位置的识别结果与所述道路样本图像预先标注的车道线位置进行比较,对初始神经网络模型的参数进行优化,当所述初始神经网络模型经过多次训练样本的迭代训练后,获得所述虚线车道线端点检测模型。
5.一种车辆压线判断系统,其特征在于:所述系统包括待检测道路图像获取单元、虚线车道线端点检测模型、局部地图建立单元;
所述系统将所述图像获取单元获取的待检测道路图像输入到所述虚线车道线端点检测模型,得到车道线端点信息;其中所述虚线车道线端点检测模型采用权利要求1-4所述的训练方法训练得到;
所述局部地图建立单元通过对车辆的运动估计,对所述车道线端点进行跟踪,建立局部地图;
所述系统通过所述车辆在所述局部地图中的位置关系判断所述车辆是否压线。
6.根据权利要求5所述的系统,还包括一报警单元,该报警单元用于在所述局部地图建立单元判断所述车辆压线后发出报警信号。
7.权利要求1-4中任一项所述的训练方法在车辆是否压线的应用。
8.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-4中任一项所述的训练方法。
CN201811468062.XA 2018-12-03 2018-12-03 一种虚线车道线端点检测模型的训练方法 Active CN111259704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811468062.XA CN111259704B (zh) 2018-12-03 2018-12-03 一种虚线车道线端点检测模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811468062.XA CN111259704B (zh) 2018-12-03 2018-12-03 一种虚线车道线端点检测模型的训练方法

Publications (2)

Publication Number Publication Date
CN111259704A true CN111259704A (zh) 2020-06-09
CN111259704B CN111259704B (zh) 2022-06-10

Family

ID=70953750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811468062.XA Active CN111259704B (zh) 2018-12-03 2018-12-03 一种虚线车道线端点检测模型的训练方法

Country Status (1)

Country Link
CN (1) CN111259704B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814651A (zh) * 2020-07-02 2020-10-23 北京百度网讯科技有限公司 车道线的生成方法、装置和设备
CN112053407A (zh) * 2020-08-03 2020-12-08 杭州电子科技大学 一种交通执法影像中基于ai技术的车道线自动检测方法
CN113392793A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 用于识别车道线的方法、装置、设备、存储介质以及无人车
CN113469133A (zh) * 2021-07-26 2021-10-01 奥特酷智能科技(南京)有限公司 一种基于深度学习的车道线检测方法
CN113869249A (zh) * 2021-09-30 2021-12-31 广州文远知行科技有限公司 一种车道线标注方法、装置、设备及可读存储介质
CN114023072A (zh) * 2021-05-31 2022-02-08 合肥中科类脑智能技术有限公司 一种车辆违章监测系统、方法及计算机可读存储介质
CN116977968A (zh) * 2023-08-10 2023-10-31 广州瀚臣电子科技有限公司 一种基于车载摄像头的车行道识别系统、方法及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
CN108345875A (zh) * 2018-04-08 2018-07-31 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
CN108345875A (zh) * 2018-04-08 2018-07-31 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814651A (zh) * 2020-07-02 2020-10-23 北京百度网讯科技有限公司 车道线的生成方法、装置和设备
CN111814651B (zh) * 2020-07-02 2024-01-12 阿波罗智能技术(北京)有限公司 车道线的生成方法、装置和设备
CN112053407A (zh) * 2020-08-03 2020-12-08 杭州电子科技大学 一种交通执法影像中基于ai技术的车道线自动检测方法
CN112053407B (zh) * 2020-08-03 2024-04-09 杭州电子科技大学 一种交通执法影像中基于ai技术的车道线自动检测方法
CN114023072A (zh) * 2021-05-31 2022-02-08 合肥中科类脑智能技术有限公司 一种车辆违章监测系统、方法及计算机可读存储介质
CN113392793A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 用于识别车道线的方法、装置、设备、存储介质以及无人车
CN113469133A (zh) * 2021-07-26 2021-10-01 奥特酷智能科技(南京)有限公司 一种基于深度学习的车道线检测方法
CN113869249A (zh) * 2021-09-30 2021-12-31 广州文远知行科技有限公司 一种车道线标注方法、装置、设备及可读存储介质
CN113869249B (zh) * 2021-09-30 2024-05-07 广州文远知行科技有限公司 一种车道线标注方法、装置、设备及可读存储介质
CN116977968A (zh) * 2023-08-10 2023-10-31 广州瀚臣电子科技有限公司 一种基于车载摄像头的车行道识别系统、方法及存储介质

Also Published As

Publication number Publication date
CN111259704B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN111259706B (zh) 一种车辆的车道线压线判断方法和系统
CN111259704B (zh) 一种虚线车道线端点检测模型的训练方法
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN110325818B (zh) 经由多模融合的联合3d对象检测和取向估计
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
EP1329850B1 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN105205486B (zh) 一种车标识别方法及装置
CN108445480A (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN111178245A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN111169468A (zh) 一种自动泊车的系统及方法
CN111259707B (zh) 一种特殊线型车道线检测模型的训练方法
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN112395972B (zh) 一种基于无人机图像处理的电力系统绝缘子串识别方法
WO2021239156A1 (zh) 交通目标识别模型训练方法、交通目标定位方法、装置
CN111898491A (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN111738033A (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN111260955B (zh) 采用停车位框线、端点的停车位检测系统及方法
CN114926726A (zh) 基于多任务网络的无人船感知方法及相关设备
CN111259709B (zh) 基于弹性多边形的停车位结构检测模型的训练方法
WO2022045877A1 (en) A system and method for identifying occupancy of parking lots
Dirgantara et al. Object Distance Measurement System Using Monocular Camera on Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211124

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant