CN111310737A - 一种车道线检测方法及装置 - Google Patents

一种车道线检测方法及装置 Download PDF

Info

Publication number
CN111310737A
CN111310737A CN202010227570.XA CN202010227570A CN111310737A CN 111310737 A CN111310737 A CN 111310737A CN 202010227570 A CN202010227570 A CN 202010227570A CN 111310737 A CN111310737 A CN 111310737A
Authority
CN
China
Prior art keywords
lane line
sample
detection device
line detection
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010227570.XA
Other languages
English (en)
Other versions
CN111310737B (zh
Inventor
胡志恒
邓富城
罗韵
陈振杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Extreme Vision Technology Co ltd
Original Assignee
Shenzhen Extreme Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Extreme Vision Technology Co ltd filed Critical Shenzhen Extreme Vision Technology Co ltd
Priority to CN202010227570.XA priority Critical patent/CN111310737B/zh
Publication of CN111310737A publication Critical patent/CN111310737A/zh
Application granted granted Critical
Publication of CN111310737B publication Critical patent/CN111310737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本申请实施例公开了一种车道线检测方法及装置。本申请实施例方法包括:车道线检测装置获取样本图像;所述车道线检测装置对所述样本图像中的样本车道线进行标注得到标注结果;所述车道线检测装置根据所述标注结果进行训练得到所述样本车道线的参数集合;所述车道线检测装置根据所述参数集合进行模型训练得到检测模型;所述车道线检测装置将目标图像输入所述检测模型进行识别得到所述目标图像中的目标车道线信息。本申请实施例中的车道线检测方法和装置可以提高车道线检测的准确性。

Description

一种车道线检测方法及装置
技术领域
本申请实施例涉及数据处理领域,尤其涉及一种车道线检测方法及装置。
背景技术
在将来的智能驾驶场景中,车辆需要对行驶环境进行扫描,获取到道路信息之后,才可以为智能驾驶提供足够的参数。
车道线是道路信息的重要参数,车道线检测是现在的热点技术,可以为智能交通中交通违法判定、无人驾驶、高级辅助驾驶等领域提供支持。
目前的车道线检测主要采用图像识别的方法,通过图像处理技术,通过亮度、灰度、边缘检测、霍夫变换等方法,先将图像中所有符合车道线的直线、曲线信息提取出来,通过先验逻辑将不符合车道线的边缘、线条过滤掉,提取出车道线信息。
但是,这类方法的鲁棒性不高,对光照、阴影、噪声、复杂路面等因素敏感,算法准确率较低,满足不了实际应用的要求。
发明内容
本申请实施例提供了一种车道线检测方法及装置,能够提高车道线检测的准确度。
本申请实施例中的车道线检测方法,包括:
车道线检测装置获取样本图像;
所述车道线检测装置对所述样本图像中的样本车道线进行标注得到标注结果;
所述车道线检测装置根据所述标注结果进行训练得到所述样本车道线的参数集合;
所述车道线检测装置根据所述参数集合进行模型训练得到检测模型;
所述车道线检测装置将目标图像输入所述检测模型进行识别以确定所述目标图像中的目标车道线。
可选地,所述车道线检测装置将目标图像输入所述检测模型进行识别以确定所述目标图像中的目标车道线包括:
所述车道线检测装置将目标图像输入所述检测模型进行识别以确定若干候选车道线;
所述车道线检测装置对所述候选车道线进行相似性融合和去重得到所述目标车道线。
可选地,所述车道线检测装置对所述样本图像中的车道线进行标注得到标注结果包括:
所述车道线检测装置通过标注工具对所述样本车道线进行标注得到第一参考点P1(x1,y1),以及第二参考点P2(x2,y2)。
可选地,所述参数集合包括所述样本车道线的中点center(x,y),角度θ以及长度len;
所述车道线检测装置根据所述标注结果进行训练得到所述样本车道线的参数集合包括:
通过如下公式计算所述center(x,y)
Figure BDA0002427674320000021
通过如下公式计算所述θ:
Figure BDA0002427674320000022
通过如下公式计算所述len:
len=(x2-x1)2+(y2-y1)2
所述θ用于表示所述样本车道线与所述样本图像X轴之间的夹角。
可选地,所述参数集合还包括:已标注的车道线类别以及已标注的车道线置信度。
可选地,所述车道线检测装置根据所述参数集合进行模型训练得到检测模型包括:
所述车道线检测装置将所述参数集合输入LOSS函数进行模型训练得到检测模型。
可选地,所述检测模型包括如下检测参数:坐标的LOSS值Lx,y、角度的LOSS值Lθ、长度的LOSS值Llen、车道线类别预测的LOSS值Lcls、车道线置信度预测的LOSS值Lconf以及全局的LOSS值Lall
所述车道线检测装置将所述参数集合输入LOSS函数进行模型训练得到检测模型包括:
通过如下公式计算Lx,y、Lθ、Llen、Lcls、Lconf以及Lall
Figure BDA0002427674320000031
Figure BDA0002427674320000032
Figure BDA0002427674320000033
Figure BDA0002427674320000034
Figure BDA0002427674320000035
Lall=λ1Lx,y2Lθ3Llen4Lconf5Lcls
其中,predictx,y,truthx,y为预测和标注的车道线中点坐标相对于图像原始尺寸的归一化值,取值范围[0,1];
predictθ,truthθ为预测和标注的车道线旋转角的归一化值,取值范围[0,1];
predictlen,truthlen为预测和标注的车道线长度相对于图像原始尺寸的归一化值,取值范围[0,1];
predictcls表示预测的车道线的属于某一类别的概率,truthcls表示该车道线的真实类别,m为车道线的类别总数;
predictconf表示某处预测的车道线的置信度,对于有标注的区域,truthconf恒为1,无标注的区域,truthconf恒为0;
λ1至λ5为权重参数;
n为参与训练的样本图像的总数。
可选地,所述车道线检测装置根据所述参数集合进行模型训练得到检测模型包括:
所述车道线检测装置根据多个样本图片的参数集合进行模型训练;
当模型训练结果收敛时,输出所述检测模型。
本申请实施例提供的车道线检测装置,包括:
获取单元,用于获取样本图像;
标注单元,用于对所述样本图像中的样本车道线进行标注得到标注结果;
第一训练单元,用于根据所述标注结果进行训练得到所述样本车道线的参数集合;
第二训练单元,用于根据所述参数集合进行模型训练得到检测模型;
识别单元,用于将目标图像输入所述检测模型进行识别以确定所述目标图像中的目标车道线。
可选地,所述识别单元包括:
候选识别模块,用于将目标图像输入所述检测模型进行识别以确定若干候选车道线;
相似处理模块,用于对所述候选车道线进行相似性融合和去重得到所述目标车道线。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例的技术方案中,车道线检测装置可以获取一些样本图像进行标注和分析,再根据标注和分析的结果进行训练得到检测模型,然后才会使用该检测模型对目标图像进行车道线的检测,所以车道线检测装置可以根据样本图像进行深度学习积累不同图像之间的共性,相比于仅仅依靠对目标图像进行图像识别的方式而言,可以有效的提高车道线检测的准确度。
附图说明
图1为本申请实施例中网络框架示意图;
图2为本申请实施例中车道线检测方法一个实施例示意图;
图3为本申请实施例中车道线检测方法另一实施例示意图;
图4为本申请实施例中车道线检测方法另一实施例示意图;
图5为本申请实施例中车道线检测装置一个实施例示意图;
图6为本申请实施例中车道线检测装置另一实施例示意图。
具体实施方式
本申请实施例提供了一种车道线检测方法及装置,能够提高车道线检测的准确度。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,本申请实施例的技术方案可以基于VGG、RESNET、MobileNet等主流卷积神经网络模型,将上述网络结构作为骨干网络,在其之后设计了一层车道线检测层,该层能够快速有效的对图像中的车道线的中点、角度(与图像x轴的夹角)、长度、类别、置信度进行回归和预测。
具体的,该车道线检测层的具体实现可以为“(Conv+Bn+Relu)*5”,即“(卷积+批标准化+线性修正)*5”。
请参阅图2,本申请实施例中,车道线检测方法一个实施例包括:
201、车道线检测装置获取样本图像;
本实施例中,车道线检测装置可以获取样本图像,这些样本图像用来进行训练得到检测模型。
需要说明的是,该车道线检测装置可以为独立配置的一个计算设备,也可以为集成与某个计算设备上的功能实体,具体实现形式此处不做限定。
本实施例中的样本图像可以是车道线检测装置从预置的图像库中获取得到,也可以是由操作人员将样本图像输入车道线检测装置中。
202、车道线检测装置对样本图像中的样本车道线进行标注得到标注结果;
本实施例中,车道线检测装置获取到样本图像之后,可以通过labelme或其它标注工具对样本图像中的每一条样本车道线进行标注,得到第一参考点P1(x1,y1),以及第二参考点P2(x2,y2),完整的标注表示形式抽象为(P1,P2,q),每一张图片对应一个同名label文件。
203、车道线检测装置根据标注结果进行训练得到样本车道线的参数集合;
车道线检测装置对样本车道线进行标注得到标注结果之后,可以根据标注结果进行训练得到样本车道线的参数集合,该参数集合用以表示样本车道线的各种属性参数。
204、车道线检测装置根据参数集合进行模型训练得到检测模型;
车道线检测装置可以根据训练得到的参数集合进行模型训练得到检测模型,训练的目的是让“预测参数”无限逼近步骤202中标注的“真实参数”。
205、车道线检测装置将目标图像输入检测模型进行识别以确定目标图像中的目标车道线。
检测模型训练完成后,即可以将目标图像输入该检测模型进行识别,从而确定目标图像中的目标车道线。
本实施例中,车道线检测装置可以获取一些样本图像进行标注和分析,再根据标注和分析的结果进行训练得到检测模型,然后才会使用该检测模型对目标图像进行车道线的检测,所以车道线检测装置可以根据样本图像进行深度学习积累不同图像之间的共性,相比于仅仅依靠对目标图像进行图像识别的方式而言,可以有效的提高车道线检测的准确度。
本实施例中的车道线检测方法从逻辑流程上来看,主要分为标注、训练和推理几个阶段,下面以具体的实现方式对本申请实施例中的车道线检测方法进行详细描述,请参阅图3以及图4,本申请实施例中,车道线检测方法另一实施例包括:
301、车道线检测装置获取样本图像;
本实施例中,车道线检测装置可以获取样本图像,这些样本图像用来进行训练得到检测模型。
需要说明的是,该车道线检测装置可以为独立配置的一个计算设备,也可以为集成与某个计算设备上的功能实体,具体实现形式此处不做限定。
本实施例中的样本图像可以是车道线检测装置从预置的图像库中获取得到,也可以是由操作人员将样本图像输入车道线检测装置中。
302、车道线检测装置对样本图像中的样本车道线进行标注得到标注结果;
本实施例中,车道线检测装置获取到样本图像之后,可以通过labelme或其它标注工具对样本图像中的每一条样本车道线进行标注,该步骤302即为标注阶段的步骤。
本实施例中,对每一条样本车道线进行标注后,得到第一参考点P1(x1,y1),以及第二参考点P2(x2,y2),完整的标注表示形式抽象为(P1,P2,q),每一张图片对应一个同名label文件。
303、车道线检测装置根据标注结果进行训练得到样本车道线的参数集合;
车道线检测装置对样本车道线进行标注得到标注结果之后,可以根据标注结果进行训练得到样本车道线的参数集合,该参数集合用以表示样本车道线的各种属性参数。
本实施例中的参数集合可以包括:样本车道线的中点center(x,y),角度θ以及长度len,还可以进一步包括已标注的车道线类别以及已标注的车道线置信度。
具体参数的获取方式如下:
通过如下公式计算center(x,y)
Figure BDA0002427674320000071
通过如下公式计算θ:
Figure BDA0002427674320000072
通过如下公式计算len:
len=(x2-x1)2+(y2-y1)2
θ用于表示样本车道线与样本图像X轴之间的夹角。
已标注的车道线类别可以是车道线检测装置经过操作人员的确认后自行为车道线标注的类别,或者是由操作人员为车道线标注的类别。
已标注的车道线置信度可以是车道线检测装置经过操作人员的确认后自行为车道线标注的置信度,或者是由操作人员为车道线标注的置信度,由于经过了操作人员的确认,所以该置信度为1。
304、车道线检测装置根据参数集合进行模型训练得到检测模型;
车道线检测装置可以根据训练得到的参数集合进行模型训练得到检测模型,训练的目的是让“预测参数”无限逼近步骤302中标注的“真实参数”。
该步骤303至304即为训练阶段的步骤。
可以参阅图1,骨干网络(Backbone)可由主流的VGG、RESNET、MobileNet等卷积神经网络模型构成,在其后部接入车道线检测层,通过输出s*s*p的张量,对图片中的车道线的中点(x,y)、角度(theta)、长度(length)、类别(cls)、置信度(conf)进行回归和预测。
其中s为图像经过Backbone和之后的卷积层后的feature map的尺寸,p为featuremap的输出通道数,p=x+y+theta+length+conf+cls。
具体的,本实施例中,车道线检测装置将参数集合输入LOSS函数进行模型训练得到检测模型。
检测模型包括如下检测参数:坐标的LOSS值Lx,y、角度的LOSS值Lθ、长度的LOSS值Llen、车道线类别预测的LOSS值Lcls、车道线置信度预测的LOSS值Lconf以及全局的LOSS值Lall
各参数的计算方式如下:
Figure BDA0002427674320000081
Figure BDA0002427674320000082
Figure BDA0002427674320000083
Figure BDA0002427674320000084
Figure BDA0002427674320000085
Lall=λ1Lx,y2Lθ3Llen4Lconf5Lcls
其中,predictx,y,truthx,y为预测和标注的车道线中点坐标相对于图像原始尺寸的归一化值,取值范围[0,1];
predictθ,truthθ为预测和标注的车道线旋转角的归一化值,取值范围[0,1];
predictlen,truthlen为预测和标注的车道线长度相对于图像原始尺寸的归一化值,取值范围[0,1];
predictcls表示预测的车道线的属于某一类别的概率,truthcls表示该车道线的真实类别,m为车道线的类别总数;
predictconf表示某处预测的车道线的置信度,对于有标注的区域,truthconf恒为1,无标注的区域,truthconf恒为0;
λ1至λ5为权重参数;
n为参与训练的样本图像的总数。
λ1至λ5为权重参数,调整的依据是观察实际训练时的LOSS分量和在测试集中的效果.
具体需要分析哪个分量(坐标的LOSS值Lx,y、角度的LOSS值Lθ、长度的LOSS值Llen、车道线类别预测的LOSS值Lcls以及车道线置信度预测的LOSS值Lconf中的一个或多个)收敛的较慢,那么就说明该分量在测试集中表现有待优化,则可以将该分量的λ数值适当调高,但由于每一个分量之间都是相互关联的,所以需要反复的调整λ数值,以尽可能使检测模型达到最优的检测效果。
305、判断训练结果是否收敛,若是,则执行步骤306,若否,则重复执行前述步骤301至304;
本实施例中,在训练检测模型后,可以判断训练结果是否收敛,若已收敛,则说明该检测模型已较优,可以进一步执行步骤306,若未收敛,则说明该检测模型还需要进一步优化,此时则可以重复执行步骤301至304,即重新增加样本图像对检测模型进行训练。
306、车道线检测装置将目标图像输入检测模型进行识别以确定若干候选车道线;
本实施例中,若检测模型已较优,则车道线检测装置可以将需要进行车道线识别的目标图像输入该检测模型进行识别以确定若干候选车道线。
需要说明的是,在反复执行前述步骤301至304的过程中,可以通过反复尝试确定权重参数λ1至λ5,此时,可以将这些权重参数代入检测模型中,用以确定若干候选车道线。
307、车道线检测装置对候选车道线进行相似性融合和去重得到目标车道线。
本实施例中,车道线检测装置确定得到若干候选车道线之后,为避免重复信息对车道线检测的影响,可以对候选车道线进行相似性融合和去重得到目标车道线。
该步骤306至307即为推理阶段的步骤。
本实施例中,车道线检测装置可以获取一些样本图像进行标注和分析,再根据标注和分析的结果进行训练得到检测模型,然后才会使用该检测模型对目标图像进行车道线的检测,所以车道线检测装置可以根据样本图像进行深度学习积累不同图像之间的共性,相比于仅仅依靠对目标图像进行图像识别的方式而言,可以有效的提高车道线检测的准确度;
其次,本实施例中,在标注车道线时,仅需要使用两个点表示一条车道线,所以减少了标注的工作量;
再次,本实施例中,可以进行实时检测,同时,算法应用简单,通过回归的方法直接得到车道线的数学表达式,省去了诸如语义分割等方法,所以提升了算法的精度。
上面对本申请实施例中的车道线检测方法进行了描述,下面对本申请实施例中的车道线检测装置进行描述,请参阅图5,本申请实施例中的一个车道线检测装置实施例包括:
获取单元501,用于获取样本图像;
标注单元502,用于对样本图像中的样本车道线进行标注得到标注结果;
第一训练单元503,用于根据标注结果进行训练得到样本车道线的参数集合;
第二训练单元504,用于根据参数集合进行模型训练得到检测模型;
识别单元505,用于将目标图像输入检测模型进行识别以确定目标图像中的目标车道线。
本实施例中,获取单元501可以获取一些样本图像,标注单元502和第一训练单元503可以进行标注和分析,第二训练单元504再根据标注和分析的结果进行训练得到检测模型,然后识别单元505才会使用该检测模型对目标图像进行车道线的检测,所以车道线检测装置可以根据样本图像进行深度学习积累不同图像之间的共性,相比于仅仅依靠对目标图像进行图像识别的方式而言,可以有效的提高车道线检测的准确度。
请参阅图6,本申请实施例中的另一车道线检测装置实施例包括:
获取单元601,用于获取样本图像;
标注单元602,用于对样本图像中的样本车道线进行标注得到标注结果;
第一训练单元603,用于根据标注结果进行训练得到样本车道线的参数集合;
第二训练单元604,用于根据参数集合进行模型训练得到检测模型;
识别单元605,用于将目标图像输入检测模型进行识别以确定目标图像中的目标车道线。
其中,第二训练单元604包括:
训练模块6041,用于根据多个样本图片的参数集合进行模型训练;
收敛判断模块6042,用于判断模型训练结果收敛,若收敛,则指示训练模块6041输出检测模型,若未收敛,则指示获取单元601、标注单元602、第一训练单元603以及第二训练单元604中的训练模块6041重复执行相应操作。
其中,识别单元605包括:
候选识别模块6051,用于将目标图像输入检测模型进行识别以确定若干候选车道线;
相似处理模块6052,用于对候选车道线进行相似性融合和去重得到目标车道线。
本实施例中,标注单元602可以通过标注工具对样本车道线进行标注得到第一参考点P1(x1,y1),以及第二参考点P2(x2,y2)。
第一训练单元603可以按照如下方式计算参数集合(样本车道线的中点center(x,y),角度θ以及长度len):
Figure BDA0002427674320000111
Figure BDA0002427674320000112
len=(x2-x1)2+(y2-y1)2
θ用于表示样本车道线与样本图像X轴之间的夹角。
需要说明的是,该参数集合还可以进一步包括:已标注的车道线类别以及已标注的车道线置信度。
已标注的车道线类别可以是车道线检测装置经过操作人员的确认后自行为车道线标注的类别,或者是由操作人员为车道线标注的类别。
已标注的车道线置信度可以是车道线检测装置经过操作人员的确认后自行为车道线标注的置信度,或者是由操作人员为车道线标注的置信度,由于经过了操作人员的确认,所以该置信度为1。
第二训练单元604中的训练模块6041可以根据参数集合进行模型训练得到检测模型。
具体的,检测模型包括如下检测参数:坐标的LOSS值Lx,y、角度的LOSS值Lθ、长度的LOSS值Llen、车道线类别预测的LOSS值Lcls、车道线置信度预测的LOSS值Lconf以及全局的LOSS值Lall
各参数的计算方式如下:
Figure BDA0002427674320000121
Figure BDA0002427674320000122
Figure BDA0002427674320000123
Figure BDA0002427674320000124
Figure BDA0002427674320000125
Lall=λ1Lx,y2Lθ3Llen4Lconf5Lcls
其中,predictx,y,truthx,y为预测和标注的车道线中点坐标相对于图像原始尺寸的归一化值,取值范围[0,1];
predictθ,truthθ为预测和标注的车道线旋转角的归一化值,取值范围[0,1];
predictlen,truthlen为预测和标注的车道线长度相对于图像原始尺寸的归一化值,取值范围[0,1];
predictcls表示预测的车道线的属于某一类别的概率,truthcls表示该车道线的真实类别,m为车道线的类别总数;
predictconf表示某处预测的车道线的置信度,对于有标注的区域,truthconf恒为1,无标注的区域,truthconf恒为0;
λ1至λ5为权重参数;
n为参与训练的样本图像的总数。
λ1至λ5为权重参数,调整的依据是观察实际训练时的LOSS分量和在测试集中的效果.
具体需要分析哪个分量(坐标的LOSS值Lx,y、角度的LOSS值Lθ、长度的LOSS值Llen、车道线类别预测的LOSS值Lcls以及车道线置信度预测的LOSS值Lconf中的一个或多个)收敛的较慢,那么就说明该分量在测试集中表现有待优化,则可以将该分量的λ数值适当调高,但由于每一个分量之间都是相互关联的,所以需要反复的调整λ数值,以尽可能使检测模型达到最优的检测效果。
本实施例中,车道线检测装置中各单元以及模块的功能与前述图3所示实施例中描述的各步骤相对应,此处不再赘述。
本实施例中,获取单元601可以获取一些样本图像,标注单元602和第一训练单元603可以进行标注和分析,第二训练单元604再根据标注和分析的结果进行训练得到检测模型,然后识别单元605才会使用该检测模型对目标图像进行车道线的检测,所以车道线检测装置可以根据样本图像进行深度学习积累不同图像之间的共性,相比于仅仅依靠对目标图像进行图像识别的方式而言,可以有效的提高车道线检测的准确度;
其次,本实施例中,标注单元602在标注车道线时,仅需要使用两个点表示一条车道线,所以减少了标注的工作量;
再次,本实施例中,车道线检测装置可以进行实时检测,同时,算法应用简单,通过回归的方法直接得到车道线的数学表达式,省去了诸如语义分割等方法,所以提升了算法的精度。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例中方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种车道线检测方法,其特征在于,包括:
车道线检测装置获取样本图像;
所述车道线检测装置对所述样本图像中的样本车道线进行标注得到标注结果;
所述车道线检测装置根据所述标注结果进行训练得到所述样本车道线的参数集合;
所述车道线检测装置根据所述参数集合进行模型训练得到检测模型;
所述车道线检测装置将目标图像输入所述检测模型进行识别以确定所述目标图像中的目标车道线。
2.根据权利要求1所述的方法,其特征在于,所述车道线检测装置将目标图像输入所述检测模型进行识别以确定所述目标图像中的目标车道线包括:
所述车道线检测装置将目标图像输入所述检测模型进行识别以确定若干候选车道线;
所述车道线检测装置对所述候选车道线进行相似性融合和去重得到所述目标车道线。
3.根据权利要求1或2所述的方法,其特征在于,所述车道线检测装置对所述样本图像中的车道线进行标注得到标注结果包括:
所述车道线检测装置通过标注工具对所述样本车道线进行标注得到第一参考点P1(x1,y1),以及第二参考点P2(x2,y2)。
4.根据权利要求3所述的方法,其特征在于,所述参数集合包括所述样本车道线的中点center(x,y),角度θ以及长度len;
所述车道线检测装置根据所述标注结果进行训练得到所述样本车道线的参数集合包括:
通过如下公式计算所述center(x,y)
Figure FDA0002427674310000011
通过如下公式计算所述θ:
Figure FDA0002427674310000012
通过如下公式计算所述len:
len=(x2-x1)2+(y2-y1)2
所述θ用于表示所述样本车道线与所述样本图像X轴之间的夹角。
5.根据权利要求4所述的方法,其特征在于,所述参数集合还包括:
已标注的车道线类别以及已标注的车道线置信度。
6.根据权利要求5所述的方法,其特征在于,所述车道线检测装置根据所述参数集合进行模型训练得到检测模型包括:
所述车道线检测装置将所述参数集合输入LOSS函数进行模型训练得到检测模型。
7.根据权利要求6所述的方法,其特征在于,所述检测模型包括如下检测参数:坐标的LOSS值Lx,y、角度的LOSS值Lθ、长度的LOSS值Llen、车道线类别预测的LOSS值Lcls、车道线置信度预测的LOSS值Lconf以及全局的LOSS值Lall
所述车道线检测装置将所述参数集合输入LOSS函数进行模型训练得到检测模型包括:
通过如下公式计算Lx,y、Lθ、Llen、Lcls、Lconf以及Lall
Figure FDA0002427674310000021
Figure FDA0002427674310000022
Figure FDA0002427674310000023
Figure FDA0002427674310000024
Figure FDA0002427674310000025
Lall=λ1Lx,y2Lθ3Llen4Lconf5Lcls
其中,predictx,y,truthx,y为预测和标注的车道线中点坐标相对于图像原始尺寸的归一化值,取值范围[0,1];
predictθ,truthθ为预测和标注的车道线旋转角的归一化值,取值范围[0,1];
predictlen,truthlen为预测和标注的车道线长度相对于图像原始尺寸的归一化值,取值范围[0,1];
predictcls表示预测的车道线的属于某一类别的概率,truthcls表示该车道线的真实类别,m为车道线的类别总数;
predictconf表示某处预测的车道线的置信度,对于有标注的区域,truthconf恒为1,无标注的区域,truthconf恒为0;
λ1至λ5为权重参数;
n为参与训练的样本图像的总数。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述车道线检测装置根据所述参数集合进行模型训练得到检测模型包括:
所述车道线检测装置根据多个样本图片的参数集合进行模型训练;
当模型训练结果收敛时,输出所述检测模型。
9.一种车道线检测装置,其特征在于,包括:
获取单元,用于获取样本图像;
标注单元,用于对所述样本图像中的样本车道线进行标注得到标注结果;
第一训练单元,用于根据所述标注结果进行训练得到所述样本车道线的参数集合;
第二训练单元,用于根据所述参数集合进行模型训练得到检测模型;
识别单元,用于将目标图像输入所述检测模型进行识别以确定所述目标图像中的目标车道线。
10.根据权利要求9所述的车道线检测装置,其特征在于,所述识别单元包括:
候选识别模块,用于将目标图像输入所述检测模型进行识别以确定若干候选车道线;
相似处理模块,用于对所述候选车道线进行相似性融合和去重得到所述目标车道线。
CN202010227570.XA 2020-03-26 2020-03-26 一种车道线检测方法及装置 Active CN111310737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010227570.XA CN111310737B (zh) 2020-03-26 2020-03-26 一种车道线检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010227570.XA CN111310737B (zh) 2020-03-26 2020-03-26 一种车道线检测方法及装置

Publications (2)

Publication Number Publication Date
CN111310737A true CN111310737A (zh) 2020-06-19
CN111310737B CN111310737B (zh) 2023-10-13

Family

ID=71150396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010227570.XA Active CN111310737B (zh) 2020-03-26 2020-03-26 一种车道线检测方法及装置

Country Status (1)

Country Link
CN (1) CN111310737B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200884A (zh) * 2020-09-08 2021-01-08 浙江大华技术股份有限公司 一种车道线的生成方法及装置
CN112434591A (zh) * 2020-11-19 2021-03-02 腾讯科技(深圳)有限公司 车道线确定方法、装置
CN112528864A (zh) * 2020-12-14 2021-03-19 北京百度网讯科技有限公司 模型生成方法、装置、电子设备和存储介质
CN112758107A (zh) * 2021-02-07 2021-05-07 的卢技术有限公司 一种车辆自动变道方法、控制装置、电子设备及汽车
WO2024017246A1 (zh) * 2022-07-18 2024-01-25 中移(上海)信息通信科技有限公司 一种轨迹偏离预警方法,终端及存储介质
CN112200884B (zh) * 2020-09-08 2024-05-03 浙江大华技术股份有限公司 一种车道线的生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
US20180225527A1 (en) * 2015-08-03 2018-08-09 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line
CN109657077A (zh) * 2018-10-31 2019-04-19 百度在线网络技术(北京)有限公司 模型训练方法、车道线生成方法、设备及存储介质
CN110427860A (zh) * 2019-07-26 2019-11-08 武汉中海庭数据技术有限公司 一种车道线识别方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225527A1 (en) * 2015-08-03 2018-08-09 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
CN109657077A (zh) * 2018-10-31 2019-04-19 百度在线网络技术(北京)有限公司 模型训练方法、车道线生成方法、设备及存储介质
CN110427860A (zh) * 2019-07-26 2019-11-08 武汉中海庭数据技术有限公司 一种车道线识别方法、装置及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200884A (zh) * 2020-09-08 2021-01-08 浙江大华技术股份有限公司 一种车道线的生成方法及装置
CN112200884B (zh) * 2020-09-08 2024-05-03 浙江大华技术股份有限公司 一种车道线的生成方法及装置
CN112434591A (zh) * 2020-11-19 2021-03-02 腾讯科技(深圳)有限公司 车道线确定方法、装置
CN112528864A (zh) * 2020-12-14 2021-03-19 北京百度网讯科技有限公司 模型生成方法、装置、电子设备和存储介质
CN112758107A (zh) * 2021-02-07 2021-05-07 的卢技术有限公司 一种车辆自动变道方法、控制装置、电子设备及汽车
WO2024017246A1 (zh) * 2022-07-18 2024-01-25 中移(上海)信息通信科技有限公司 一种轨迹偏离预警方法,终端及存储介质

Also Published As

Publication number Publication date
CN111310737B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
Xie et al. Automatic detection and classification of sewer defects via hierarchical deep learning
CN108830188B (zh) 基于深度学习的车辆检测方法
CN111310737B (zh) 一种车道线检测方法及装置
Huang et al. Registration based few-shot anomaly detection
Han et al. Using channel-wise attention for deep CNN based real-time semantic segmentation with class-aware edge information
Li et al. Automatic crack detection and measurement of concrete structure using convolutional encoder-decoder network
CN110738247B (zh) 一种基于选择性稀疏采样的细粒度图像分类方法
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
WO2021232670A1 (zh) 一种pcb元件识别方法及装置
Kerdvibulvech A methodology for hand and finger motion analysis using adaptive probabilistic models
CN111242109A (zh) 一种手动取词的方法及装置
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
Muzakir et al. Model for Identification and Prediction of Leaf Patterns: Preliminary Study for Improvement
CN105224941A (zh) 对象辨识与定位方法
CN109191489B (zh) 一种飞行器着陆标志的检测跟踪方法与系统
WO2022247628A1 (zh) 一种数据标注方法及相关产品
CN116189130A (zh) 基于图像标注模型的车道线分割方法及装置
Tabelini et al. Deep traffic sign detection and recognition without target domain real images
CN114494773A (zh) 一种基于深度学习的零件分拣识别系统和方法
CN110414588A (zh) 图片标注方法、装置、计算机设备和存储介质
CN114119506A (zh) 基于背景信息的图像显著性检测方法
CN117292338B (zh) 基于视频流解析的车辆事故识别和分析方法
Bhanbhro et al. Symbol Detection in a Multi-class Dataset Based on Single Line Diagrams using Deep Learning Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 a1202, building 10, Shenzhen Bay science and technology ecological park, No. 10, Gaoxin South ninth Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Applicant after: Shandong Jijian Technology Co.,Ltd.

Address before: 518000 a1202, building 10, Shenzhen Bay science and technology ecological park, No. 10, Gaoxin South ninth Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Applicant before: SHENZHEN EXTREME VISION TECHNOLOGY CO.,LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant