CN117575920A - 车道线优化方法、装置及存储介质 - Google Patents
车道线优化方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117575920A CN117575920A CN202311640489.4A CN202311640489A CN117575920A CN 117575920 A CN117575920 A CN 117575920A CN 202311640489 A CN202311640489 A CN 202311640489A CN 117575920 A CN117575920 A CN 117575920A
- Authority
- CN
- China
- Prior art keywords
- lane line
- lane
- optimized
- lines
- curve parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008447 perception Effects 0.000 claims abstract description 101
- 238000012800 visualization Methods 0.000 claims abstract description 37
- 238000012937 correction Methods 0.000 claims description 97
- 230000000007 visual effect Effects 0.000 claims description 33
- 238000009499 grossing Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 11
- 238000012163 sequencing technique Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种车道线优化方法、装置及存储介质,包括:获取当前帧的车道线感知数据和上一帧的车道线感知数据,车道线感知数据包括各位置的车道线的曲线参数,上一帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数;在当前帧中选择一条车道线作为待优化车道线,基于当前帧的车道线感知数据和上一帧的车道线感知数据,对待优化车道线的曲线参数进行优化,得到待优化车道线的优化后的曲线参数;基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。本申请实现了对待优化车道线的曲线参数多维度优化,不借助其他来源的车道线信息,提升了车道线可视化效果。
Description
技术领域
本申请涉及数据处理领域,具体涉及一种车道线优化方法、装置及存储介质。
背景技术
智能传感器(例如智能摄像头、雷达)可以对外部环境进行检测,这个过程中,可以对检测到的结果进行识别处理,其中,就包括了对路面车道线的感知,感知结果中包含对车道线进行描述的各种信息。基于所感知出的车道线,可实现各种后续处理,例如,可以基于感知到的车道线进行驾驶控制。
相关技术中,为了提高车道线感知的准确性,一方面是通过借鉴不同来源的车道线数据来进行车道线感知优化,例如,可结合地图中车道线与感知到的车道线而得到优化后的车道线,也可结合雷达、摄像头对车道线感知结果而实现优化,亦或借助车辆轨迹对车道线进行修正,此种方式需要进行繁琐的车道线数据源获取和融合过程;另一方面是通过对感知算法本身、感知过程中使用到的传感器的标定参数、时间参数等进行优化,实现车道线的优化,其优化过程涉及较多参数,其计算量较大。
但是,以上车道线优化技术旨在实现车道线的精准检测,即保证检测到的车道线与真实的车道线情况一致,然而,在很多场景下只需要进行车道线的可视化显示而不需要将检测结果用于驾驶控制,比如在销售场景下展示智能传感器的车道线检测结果。检测到的车道线可能会存在缺陷,比如部分车道线缺少、车道线长短不一,导致可视化效果不好,目前尚未有保证车道线可视化效果的车道线优化方案。
发明内容
本申请实施例提供一种车道线优化方法、装置及存储介质,以提升对车道线展示时的可视化效果。
一方面,本申请提供一种车道线优化方法,包括:
获取当前帧的车道线感知数据和上一帧的车道线感知数据,所述车道线感知数据包括各位置的车道线的曲线参数,所述上一帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数;
在当前帧中选择一条车道线作为待优化车道线,基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化,得到所述待优化车道线的优化后的曲线参数,重复此步骤,直至得到当前帧中所有车道线的优化后的曲线参数;
基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。
一方面,本申请提供一种车道线优化装置,包括:
数据获取模块,用于获取当前帧的车道线感知数据和上一帧的车道线感知数据,所述车道线感知数据包括各位置的车道线的曲线参数,所述上一帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数;
优化模块,用于在当前帧中选择一条车道线作为待优化车道线,基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化,得到所述待优化车道线的优化后的曲线参数,重复此步骤,直至得到当前帧中所有车道线的优化后的曲线参数;
可视化模块,用于基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。
一方面,本申请提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述车道线优化方法中的步骤。
本申请实施例提供了一种车道线优化方法、装置及存储介质,本申请充分考虑了上一帧相同位置车道线以及当前帧其他位置车道线对待优化车道线的曲线参数的影响,实现了对待优化车道线的曲线参数多维度优化,不借助其他来源的车道线信息,提升了车道线可视化效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中车道线优化方法的流程图;
图2为一个实施例中车道线优化装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,在一个实施例中,提供了一种车道线优化方法,该车道线优化方法既可以应用于终端,也可以应用于服务器,本实施例以应用于服务器举例说明。该车道线优化方法具体包括以下步骤:
步骤102,获取当前帧的车道线感知数据和上一帧的车道线感知数据,所述车道线感知数据包括各位置的车道线的曲线参数,所述上一帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数。
其中,当前帧的车道线感知数据是指当前时刻采集的一帧车道线感知数据,包括不同位置的多条车道线,每条车道线携带有位置信息。
具体地,可以通过智能传感器检测一帧数据,获取到车道线感知数据,其中的感知数据可以是各位置的车道线的曲线方程的参数。
在一个示例中,智能传感器为智能摄像头,智能摄像头输出的参数包括:检测到的车道线数量count,各个位置的车道线的曲线参数,各个位置的车道线的置信度,各个位置的车道线的视野长度,等等。其中,车道线的曲线参数用于以曲线方程的形式表示一条车道线,例如,当前帧的车道线感知数据中,一个位置的车道线的曲线参数包括c0、c1、…cN。则描述该位置的车道线的曲线方程可以为x=c0+c1y+c2y2+c3y3…+cn yN。比如,在一种具体实施方式中,智能摄像头感知的一个位置的车道线可使用二元三次方程表示,是一个三次曲线方程,该三次曲线方程表达式:
x=c0+c1y+c2y2+c3y3;
y∈[start,end];
其中:x是横轴,以左方为正方向,y是纵轴,以前方为正方向,c0、c1、c2、c3即为该车道线的曲线参数。c0为车道线与车辆坐标系的偏置,c1为车道线偏航角,c2为车道线曲率、c3为车道线曲率变化率,start和end用于表示车道线视野长度。
车道线感知数据中包括各个位置的车道线的曲线参数,智能摄像头标准输出的车道线数量可以事先设置,比如设置为6个或其他数量,位置也对应确定好,每个位置可以使用数字编号或者使用其他符号来分别表示。这样,就可以确定各个位置的车道线的曲线参数。比如,智能摄像头标准输出4条车道线的曲线参数,即输出4组曲线参数,每组曲线参数对应一个位置的车道线,可以在每组曲线参数上加上数字编号表示该车道线的位置,比如,位置包括左车道的左车道线、自车道左车道线、自车道右车道线、右车道的右车道线,分别使用数字编号0到3来表示。如果一组曲线参数为空,则说明该位置的车道线没有被检测到。同时,智能摄像头输出的参数中,检测到的车道线数量count即表示该帧图像中被检测到的车道线的数量,如果count=0,说明该帧图像中没有检测到车道线,即各个位置的车道线的曲线参数均为空。此外,智能摄像头还可以输出线类型等其他信息(如实线、虚线等)。
需要说明的是,上一帧的车道线感知数据为相对于当前帧,在当前帧的上一时刻获取的车道线数据。上一帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数,具体的,上一帧的优化后的曲线参数是结合上上帧的车道线感知数据得到的,而当前帧的各位置的曲线参数被优化后,也会参与到下一帧的各位置的车道线的曲线参数的优化中,一般,上一帧的车道线感知数据中不存在车道线缺失等情况。由于当前帧的车道线感知数据和上一帧的车道线感知数据是通过同一智能传感器感知的车道线结果,因此,当前帧的车道线感知数据和上一帧的车道线感知数据的曲线参数的参数类型和标准输出的车道线数量均相同。
需要说明的是,需要存储当前帧之前的多个历史帧的初始的车道线感知数据和优化后的车道线感知数据,初始的车道线感知数据即智能传感器直接给出的车道线感知结果,优化后的车道线感知数据中各位置的车道线的曲线参数为优化后的曲线参数,即依据下文步骤104得到的车道线的优化后的曲线参数。保留历史帧的优化后的车道线感知数据是为了便于进行当前帧的车道线的曲线参数的优化,保留历史帧的初始的车道线感知数据是为了在当前帧中某些位置的车道线缺失时进行当前帧的车道线优化。步骤102所获取的上一帧的车道线感知数据即上一帧的优化后的车道线感知数据,其中上一帧的优化后的车道线的曲线参数是基于智能摄像头感知到的上一帧的初始的车道线感知数据,依据步骤102至步骤104优化得到的。
如果当前帧的车道线感知数据中,检测到的车道线数量count为零,即当前帧没有检测到车道线,则获取当前帧之前的N1个连续时刻的初始的车道线感知数据,若N1个时刻的初始的车道线感知数据中检测到的车道线数量均为零,则结束车道线优化,否则,获取上一帧的优化后的车道线感知数据,将上一帧的车道线感知数据中各位置的车道线的优化后的曲线参数直接作为当前帧的各位置的车道线的优化后的曲线参数,直接进行可视化展示。这种操作的逻辑是,如果已经连续多帧都没有检测到车道线,说明此时道路上没有车道线,而不是智能摄像头漏检,因此可视化时不显示车道线,如果之前N1个时刻有检测到车道线,则当前帧没有检测到车道线可能是漏检,所以使用上一帧的车道线感知数据作为当前帧的车道线感知数据进行可视化。其中,N1为正整数,比如,取10。
步骤104,在当前帧中选择一条车道线作为待优化车道线,基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化,得到所述待优化车道线的优化后的曲线参数,重复此步骤,直至得到当前帧中所有车道线的优化后的曲线参数。
需要说明的是,如果当前帧的车道线感知数据中,检测到的车道线数量count不为零,但是待优化车道线的视野长度为零,即待优化车道线的start=0且end=0,则获取当前帧之前的N2个连续时刻的初始的车道线感知数据,若连续N2个时刻的初始的车道线感知数据中,待优化车道线位置处的车道线的视野均为零,则结束所述待优化车道线的优化,重复步骤104,重新取一条待优化的车道线,否则,获取上一帧的优化后的车道线感知数据,将上一帧的车道线感知数据中与待优化车道线位置相同的车道线的优化后的曲线参数作为所述待优化车道线的优化后的曲线参数,结束所述待优化车道线的优化,重复步骤104,重新取一条待优化的车道线。
这种操作的逻辑是,如果一个位置已经连续多帧都没有检测到车道线,说明该位置确实没有车道线,而不是智能摄像头漏检,因此可视化时不显示该位置的车道线,如果之前N2个时刻有检测到该位置的车道线,则当前帧没有检测到该位置的车道线可能是漏检,所以使用上一帧的优化后的车道线感知数据中该位置的车道线的曲线参数作为当前帧的该位置的车道线的曲线参数,进行该位置的车道线的可视化。其中,N2为正整数,比如,取10。
如果当前帧中所有位置的车道线均已经进行了优化,则当前帧中没有待优化车道线,结束车道线优化,执行步骤106,进行当前帧车道线的可视化。
其中,待优化车道线是指从当前帧中选取的一条车道线,其中的选取方式可以是可以选取当前帧中未进行曲线参数的优化的且质量评分最高的车道线作为待优化车道线。
其中,车道线的质量评分的定义为:
获取多个车道线的置信度和视野长度,将所述置信度和视野长度组合为车道线的质量评分。比如,组合方式为:将多个车道线按置信度从小到大排序,对于置信度相同的车道线按照视野长度从小到大排序,置信度相同且视野长度相同的车道线排在同一个位置,对完成排序的多个车道线按照其排序号作为质量评分。比如,视野长度的取值范围为[0,L],0<L<10r,r为自然数,组合方式为:将车道线的置信度乘以10r后再与视野长度做求和运算,将运算结果作为质量评分。从而,两条置信度不同的车道线中置信度高的车道线的质量评分大于置信度低的车道线的质量评分,两条置信度相同的车道线中视野长度大的车道线的质量评分大于视野长度小的车道线的质量评分。
所述曲线参数包括常数项和至少一个系数项,预设置有分别对应所述常数项和各个系数项的第一参数阈值;步骤104中,所述基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化,包括:
104A、将上一帧中与所述待优化车道线的位置相同的车道线记为第一车道线,将上一帧中所述第一车道线以外的车道线记为第二车道线,计算所述待优化车道线的曲线参数的各项相对于所述第一车道线的曲线参数的各项的偏移值,若各项的偏移值均大于各项对应的第一参数阈值,则执行步骤104B,否则,执行步骤104C;
104B、基于所述待优化车道线的常数项和多个所述第二车道线的常数项,对所述待优化车道线进行位置重分类操作,更新所述待优化车道线的位置和常数项,执行步骤104A;
104C、将所述待优化车道线的常数项直接作为自修正常数项,将偏移值不大于对应的第一参数阈值的系数项直接作为自修正系数项,对于偏移值大于对应的第一参数阈值的系数项,基于所述待优化车道线的系数项、所述第一车道线的系数项及系数项对应的第一参数阈值,对偏移值大于对应的第一参数阈值的系数项进行修正,将修正后的系数项作为自修正系数项;
104D、基于所述自修正常数项和自修正系数项得到所述待优化车道线的优化后的曲线参数。
第一车道线为上一帧中与待优化车道线位置相同的车道线,例如,待优化车道线为自车道左车道线,则第一车道线为上一帧的自车道左车道线。第二车道线为上一帧中第一车道线以外的车道线,例如,包括上一帧的左车道的左车道线、上一帧的自车道右车道线、上一帧的右车道的右车道线等。由于上一帧的车道线感知数据为优化的车道线感知数据,因此,第一车道线和第二车道线的曲线参数均为已优化的曲线参数。
其中,描述车道线的多次曲线方程为N次曲线方程,其对应的曲线参数包括一个常数项和N个系数项。常数项是指描述车道线的多次曲线方程中的常数项,如系数c0为常数项,系数项是指曲线方程中变量的系数,如一次项系数c1、二次项系数c2、三次项系数c3等均为系数项。
具体地,可以对第一车道线的曲线参数、第二车道线的曲线参数进行分析,采用重分类和自修正方式对待优化车道线的曲线参数进行优化。其中步骤104B即重分类,重分类为重新匹配车道线位置的修正方式,以系数项数量N为3为例,曲线参数包括常数项c0和3个系数项c1、c2、c3,重分类即将待优化车道线的曲线参数c0与上一帧车道线感知数据中各个第二车道线的曲线参数c0进行比较,重新确定待优化车道线所在的位置,修改待优化车道线的曲线参数c0。步骤104C即自修正,自修正为基于相同位置、不同时刻的车道线的曲线参数进行修正的方式,即基于待优化车道线的曲线参数以及第一车道线的曲线参数进行修正,其中修正的曲线参数为c1、c2、c3。
在一个具体实施方式中,第一参数阈值是预先设定的用于判断待优化车道线和上一帧中第一车道线,曲线参数各项是否存在异常差异的参数阈值。系数项的数量为3个,即曲线参数包括常数项c0和3个系数项c1、c2、c3,c0、c1、c2、c3各自对应的第一参数阈值分别为0.03、1×10-3、1×10-5、1×10-6,其具体大小可以根据道路的设计标准而专门设计,例如,公路与城市道路可采用不同的第一参数阈值,高速公路与普通公路可采用不同的第一参数阈值,再例如,限速较小的道路相较于限速较高的道路,一般来说,可容忍的跳变幅度也较大,故而第一参数阈值也可较大。
具体地,可以通过分别计算第一车道线的曲线参数和待优化车道线的曲线参数各项之差的绝对值作为待优化车道线的曲线参数的各项相对于所述第一车道线的曲线参数的各项的偏移值,将各项的偏移值与各项对应的第一参数阈值进行比较,逻辑上,前后两帧车道线数据所描绘的曲线不应该发生比较异常的突变,因此,根据不同的比较结果,分别采用不同的方式对待优化车道线的曲线参数进行修正,包括重分类和自修正。其中的比较结果分为以下三种情况:
(1)第一种情况:待优化车道线的曲线参数的各项与第一车道线的曲线参数的各项的偏移值均大于对应的第一参数阈值。
(2)第二种情况:待优化车道线的曲线参数的各项与第一车道线的曲线参数的各项的偏移值均不大于等于对应的第一参数阈值。
(3)第一种情况和第二种情况以外的所有情况。
对于第一种情况,即待优化车道线的曲线参数的各项与第一车道线的曲线参数的各项之差的绝对值均大于对应的第一参数阈值,以c0[i]、c1[i]、c2[i]、c3[i]表示待优化车道线的曲线参数,以c0[i-1]、c1[i-1]、c2[i-1]、c3[i-1]表示第一车道线的曲线参数,即第一种情况为:
|c0[i]-c0[i-1]|>0.03;
|c1[i]-c1[i-1]|>1×10-3;
|c2[i]-c2[i-1]|>1×10-5;
|c3[i]-c3[i-1]|>1×10-6;
该种情况下,待优化车道线的曲线参数和第一车道线的曲线参数,即前后两帧相同位置的车道线的曲线参数之间存在较大异常差异,也即常数项和系数项均存在较大异常差异。而理论上,同一个车道线在相邻时刻不应发生较大的跳变,此时,说明可能智能传感器对该车道线的位置归属存在问题,因此,执行重分类操作,重新确定该车道线的位置,并修正常数项。
对于第二种情况,即待优化车道线的曲线参数的各项与第一车道线的曲线参数的各项之差的绝对值均不大于对应的第一参数阈值,以c0[i]、c1[i]、c2[i]、c3[i]表示待优化车道线的曲线参数,以c0[i-1]、c1[i-1]、c2[i-1]、c3[i-1]表示第一车道线的曲线参数,即第二种情况为:
|c0[i]-c0[i-1]|≤0.03;
|c1[i]-c1[i-1]|≤1×10-3;
|c2[i]-c2[i-1]|≤1×10-5;
|c3[i]-c3[i-1]|≤1×10-6;
该种情况下,待优化车道线的曲线参数和第一车道线的曲线参数,即前后两帧相同位置的车道线的曲线参数之间的差异较小,此时,待优化车道线的常数项和系数项无需修正,即将待优化车道线的常数项确定为自修正常数项,将待优化车道线的系数项确定为自修正系数项。
对于第三种情况,即待优化车道线的曲线参数的各项与第一车道线的曲线参数的各项之差的绝对值有M项大于对应的第一参数阈值,0<M<N+1,N为系数项的数量,M为自然数。该种情况下,待优化车道线的曲线参数和第一车道线的曲线参数,即前后两帧相同位置的车道线的曲线参数之间存在差异,考虑到对于路口车道线的情形,会存在一个或者几个第一曲线参数发生跳变,因此,需要修正待优化车道线的曲线参数,而常数项表征车道线的位置,考虑到车道线位置不需要调整,故无需对待优化车道线的常数项进行修正,即将待优化车道线的常数项确定为自修正常数项,仅对待优化车道线的系数项进行修正。
可以理解地,由于前后两帧的车道线的曲线参数通常不应该发生比较异常的差异,这种差异可通过第一车道线的曲线参数和待优化车道线的曲线参数对应的各项的偏移值来体现,如c0、c1、c2、c3的变化程度(例如是否发生大幅度的跳变)来体现。因此,本实施例中,通过分别计算第一车道线的曲线参数和待优化车道线的曲线参数各项之差的绝对值作为偏移值,将各项的偏移值与各项对应的第一参数阈值进行比较,根据不同的比较结果,分别采用不同的方式对待优化车道线的曲线参数进行修正,实现了对异常的待优化车道线的曲线参数的修正,确保了待优化车道线的优化后的曲线参数的准确性。
在一具体实施方式中,步骤104B中所述基于所述待优化车道线的常数项和多个所述第二车道线的常数项,对所述待优化车道线进行位置重分类操作,更新所述待优化车道线的位置和常数项,可以包括如下步骤104B1至104B2,具体如下:
步骤104B1,计算所述待优化车道线的常数项与各个第二车道线的常数项的偏移值;
104B2,将与所述待优化车道线的常数项的偏移值最小的第二车道线的位置和常数项确定为所述待优化车道线的位置和常数项。
具体地,计算所述待优化车道线的常数项与各个第二车道线的常数项的差值的绝对值作为待优化车道线的常数项与各个第二车道线的常数项的偏移值,从多个第二车道线的常数项中,将与优化车道线的常数项的偏移值最小的第二车道线的常数项确定为待优化车道线的常数项,将与所述待优化车道线的常数项的偏移值最小的第二车道线的位置确定为待优化车道线的位置,重新匹配待优化车道线的位置,保证了对待优化车道线进行曲线参数优化的可靠性,对于位置识别错误的车道线能够重新确定车道线位置并进行参数修正。
在一具体实施方式中,步骤104C中所述基于所述待优化车道线的系数项、所述第一车道线的系数项及系数项对应的第一参数阈值,对于偏移值大于对应的第一参数阈值的系数项进行修正,将修正后的系数项作为自修正系数项,,具体如下:
若所述待优化车道线的系数项大于所述第一车道线的系数项,则将所述第一车道线的系数项与对应的第一参数阈值进行求和计算,将求和结果确定为所述待优化车道线的自修正系数项;
若所述待优化车道线的系数项小于所述第一车道线的系数项,则将所述第一车道线的系数项与对应的第一参数阈值进行求差计算,将求差结果确定为所述待优化车道线的自修正系数项。
具体地,若待优化车道线的系数项大于对应的第一车道线的系数项,则将第一车道线的系数项与对应的第一参数阈值进行求和计算,得到待优化车道线的自修正系数项;若待优化车道线的系数项小于对应的第一车道线的系数项,则将第一车道线的系数项与对应的第一参数阈值进行求差计算,得到待优化车道线的自修正系数项,本实施例中,基于第一车道线的系数项,即自身车道线的上一帧中相同位置的车道线的曲线参数,对待优化车道线的发生异常变化的系数项进行修正,提高了自修正系数项的准确性,保证了前后两帧车道线之间的平滑过渡,使得车道线可视化时不会出现车道线突变。
可以理解的是,在步骤106A之前还包括步骤106A’,如下:
步骤106A’,如果上一帧的优化后的车道线感知数据中,与待优化车道线的位置相同的车道线的曲线参数为空,将所述待优化车道线的常数项直接作为自修正常数项,将所述待优化车道线的系数项直接作为自修正系数项,直接执行步骤104D。
这样操作的逻辑是,如果上一帧的优化后的车道线感知数据中,与待优化车道线的位置相同的车道线的曲线参数为空,说明在当前帧之前,待优化车道线位置处已经至少连续N2帧没有检测到车道线,因此第一车道线的曲线参数为空,故而将所述待优化车道线的常数项和系数项直接作为自修正常数项和自修正系数项。
在一具体实施方式中,预设置有分别对应所述自修正常数项和各个自修正系数项的平滑阈值,步骤104C中所述基于所述自修正系数项和所述第二车道线的系数项,对所述自修正系数项进行优化,得到所述待优化车道线的系数项对应的优化后的曲线参数之前,还可以包括如下步骤S1~S2,具体如下:
步骤S1,获取当前帧之前的多个历史帧的车道线感知数据,所述历史帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数,将多个历史帧中与所述待优化车道线的位置相同的车道线记为第三车道线;
步骤S2,基于多个第三车道线的曲线参数的各项和所述待优化车道线的自修正常数项与各个自修正系数项,采用最小二乘法进行平滑处理,得到平滑车道线的曲线参数;
步骤S3,计算所述平滑车道线的曲线参数的平滑常数项和平滑系数项与所述待优化车道线的对应的自修正常数项和自修正系数项之差的绝对值,若所述平滑车道线的曲线参数的各项与所述待优化车道线的对应的自修正常数项和自修正系数项之差的绝对值均小于对应的预设平滑阈值,则将所述平滑车道线的曲线参数的各系数项确定为所述待优化车道线的自修正系数项,否则,保持所述待优化车道线的自修正系数项不变。
这样操作的逻辑是:如果现实情况下道路上的车道线没有发生突变,那么平滑车道线的曲线参数与经过步骤104A至104C得到的自修正常数项和自修正系数项之间应当没有较大差异,所以使用拟合了多个历史帧得到的平滑车道线的平滑系数项代替步骤104A至104C得到的自修正系数项,反之,如果二者之间存在较大差异,说明显示情况下车道线可能出现突变,因此丢弃平滑车道线的曲线参数,只使用步骤104A至104C得到的自修正系数项,而自修正常数项关系到车道线的位置,因此,自修正常数项保持不变。
第三车道线为当前帧之前的多个历史帧中与待优化车道线的位置相同的车道线,例如,以智能传感器输出自车道左车道线、自车道右车道线、左车道的左车道线、右车道的右车道线四个位置的车道线为例,待优化车道线为自车道左车道线,取当前帧之前的K个历史帧,则K个历史帧中自车道左车道线均为第三车道线,K为正整数。其中,预设帧数可以是4帧,比如,当前帧的上一帧、上两帧、上三帧、上四帧,历史帧的车道线感知数据均为优化后的车道线感知数据,历史帧中的各个位置的车道线的曲线参数均为优化后的曲线参数。
预设平滑阈值为预先设定的用于判断平滑车道线的各系数项与待优化车道线的各自修正系数项之间是否存在异常差异的参数阈值,对应常数项和N个系数项,对应设置有N+1个预设平滑阈值。在一个具体实施方式中,系数项的数量为3个,即曲线参数包括常数项和三个系数项,分别记为常数项c0、系数项c1至c3,c0、c1、c2、c3各自对应的平滑阈值为0.03、1×10-3、1×10-5、1×10-6。可以理解的是,平滑阈值的取值可以根据道路情况进行设置和调整。
具体地,步骤S2中,采用最小二乘法对多个车道线的曲线参数进行拟合得到平滑车道线的曲线参数,即基于多个第三车道线的曲线参数的各项和所述待优化车道线的自修正常数项与各个自修正系数项,采用最小二乘法进行平滑处理,得到平滑车道线的曲线参数。
步骤S3中,以系数项N等于3为例,以c0[平滑后]表示平滑常数项,以c1[平滑后]、c2[平滑后]、c3[平滑后]表示各平滑系数项,以c0[平滑前]表示待优化车道线的自修正常数项,以c1[平滑前]、c2[平滑前]、c3[平滑前]表示待优化车道线的各个自修正系数项,若平滑车道线的曲线参数的各项与对应的待优化车道线的自修正常数项和自修正系数项之差的绝对值均小于对应的预设平滑阈值,即:
|c0[平滑后]-c0[平滑前]|<0.03;
|c1[平滑后]-c1[平滑前]|<1×10-3;
|c2[平滑后]-c2[平滑前]|<1×10-5;
|c3[平滑后]-c3[平滑前]|<1×10-6;
则将所述平滑车道线的曲线参数的各系数项确定为所述待优化车道线的自修正系数项,即使用平滑系数项代替上述步骤104A至104C得到的自修正系数项修正。
本实施例中,根据历史帧中的历史车道线对应的曲线参数和待优化车道线的自修正常数项与自修正系数项,对待优化车道线的曲线参数的各项进行平滑处理,并根据自修正系数项与平滑车道线的平滑系数项的差异选择保留自修正系数项或者使用平滑系数项代替自修正系数项,进一步提高了待优化车道线的曲线参数的优化效果。
在一具体实施方式中,预设置有分别对应所述常数项和各个系数项的第二参数阈值;在步骤104D所述基于所述自修正常数项和自修正系数项得到所述待优化车道线的优化后的曲线参数之前,还可以包括如下步骤T1~T3:
T1、将当前帧中待优化车道线以外的车道线记为第四车道线,获取所述待优化车道线的质量评分和各第四车道线的质量评分,比较所述待优化车道线的质量评分和各第四车道线的质量评分的高低,若所述待优化车道线的质量评分不低于任一第四车道线的质量评分,则执行步骤T2,否则,执行步骤T3;
T2、保持所述待优化车道线的自修正常数项和自修正系数项不变,执行步骤104D;
T3、计算所述待优化车道线的曲线参数的各系数项相对于质量评分最高的第四车道线的曲线参数的各系数项的偏移值,若各系数项的偏移值均大于各项对应的第二参数阈值,则将所述质量评分最高的第四车道线的曲线参数的各系数项确定为所述待优化车道线的自修正系数项,执行步骤104D,否则,保持所述待优化车道线的自修正系数项不变,执行步骤104D。
这样操作的逻辑是,理论上,道路中的车道线之间相互平行,因此,同一帧的多条车道线的系数项不应存在较大的偏差。对于当前帧中待优化车道线以外的第四车道线,待优化车道线的系数项与各第四车道线的系数项之间应该不存在较大差异。而考虑到车道线的置信度和视野长度,仅使用质量评分高于待优化车道线的第四车道线对待优化车道线进行评估和修正。
第四车道线为当前帧中待优化车道线以外的车道线,例如,以智能传感器输出自车道左车道线、自车道右车道线、左车道的左车道线、右车道的右车道线四个位置的车道线为例,待优化车道线为自车道左车道线,则左车道的左车道线、自车道右车道线、右车道的右车道线均为第四车道线。
其中,第二参数阈值是预先设定的用于判断当前帧的车道线感知数据中各位置车道线对应的曲线参数是否存在异常差异的参数阈值。对应N个系数项,对应设置有N个第二参数阈值。在一个具体实施方式中,系数项的数量为3个,即曲线参数包括常数项和三个系数项,分别记为常数项c0、系数项c1至c3,c1、c2、c3各自对应的平滑阈值为0.1、1×10-4、1×10-7。可以理解的是,第二参数阈值的取值可以根据道路情况进行设置和调整。
具体地,计算待优化车道线的系数项与当前质量评分最高的第四车道线的系数项各项差值的绝对值作为所述待优化车道线的曲线参数的各系数项相对于质量评分最高的第四车道线的曲线参数的各系数项的偏移值,若待优化车道线与质量评分最高的第四车道线的对应的系数项各项的偏移值均大于对应的第二参数阈值,表明待优化车道线存在异常,因此,基于质量评分最高的第四车道线的系数项,对变化程度异常的自修正系数项进行修正,保证了车道线的优化效果。在一个具体实施方式中,系数项N等于3,即曲线参数包括常数项和三个系数项,分别记为常数项c0、系数项c1至c3,以c1[a]、c2[a]、c3[a]表示待优化车道线的各自修正系数项,以c1[b]、c2[b]、c3[b]表示质量评分最高的第四车道线的各系数项,若待优化车道线的曲线参数的各系数项相对于质量评分最高的第四车道线的曲线参数的各系数项的偏移值均大于各项对应的第二参数阈值,即:
|c1[a]-c1[b]|>0.1;
|c2[a]-c2[b]|>1×10-4;
|c3[a]-c3[b]|>1×10-7;
这种情况下,说明待优化车道线与当前帧中质量评分最高的第四车道线明显不平行,如果直接使用此时待优化车道线的自修正常数项和自修正系数项作为优化后的曲线参数进行可视化,会得到明显不平行的车道线,影响可视化效果,因此,将质量评分最高的第四车道线平移,即使用质量评分最高的第四车道线的系数项代替待优化车道线的各自修正系数项,保证可视化效果,同时保持待优化车道线的自修正常数项不变,可在一定程度上保证车道线位置的准确性。
在一具体实施方式中,步骤T1中获取所述车道线的质量评分,比较所述待优化车道线的质量评分和各第四车道线的质量评分的高低,具体为:
获取所述待优化车道线和各第四车道线的置信度和视野长度,将所述置信度和视野长度组合为车道线的质量评分,其中,两条置信度不同的车道线中置信度高的车道线的质量评分大于置信度低的车道线的质量评分,两条置信度相同的车道线中视野长度大的车道线的质量评分大于视野长度小的车道线的质量评分。
其中,置信度可以通过智能传感器采集到的感知结果直接获取得到,用于表征所检测的车道线的可信度,置信度越高说明检测到的车道线的可信度越高。视野长度为车道线感知结果中视野终点y_end与视野起点y_start的差值,即L=|y_end-y_start|。
可以理解地,本实施例中,根据第一车道线的曲线参数、第二车道线的曲线参数和第四车道线的曲线参数对待优化车道线的曲线参数进行优化,充分考虑了上一帧相同位置车道线以及当前帧其他位置车道线对待优化车道线的曲线参数的影响,实现了对待优化车道线的曲线参数多维度优化,不借助其他来源的车道线信息,提升了车道线可视化效果。
同时,步骤S1至S2,步骤T1至T3,均在步骤104D之前,具体的,在一种实施方式中,先执行步骤S1至步骤S2,再执行步骤T1至步骤T3,再执行步骤104D,即对待优化车道线的曲线参数的优化包括:基于第一车道线的曲线参数对待优化车道线的曲线参数进行修正,得到自修正常数项和自修正系数项;基于自修正常数项、自修正系数项和历史帧中第三车道线的曲线参数得到平滑车道线,基于平滑车道线的平滑系数项对待优化车道线的自修正系数项进行修正;基于当前帧中质量评分最高的第四车道线的系数项对待优化车道线的自修正系数项进行修正;基于待优化车道线的自修正常数项和自修正系数项得到待优化车道线的优化后的曲线参数。
步骤106,基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。
在一种实施方式中,步骤106具体包括以下步骤:
获取当前帧中各位置的车道线的视野长度,将其中视野长度最大的车道线记为第五车道线;
将各位置的车道线的视野长度修正为所述第五车道线的视野长度;
基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。
本申请实施例,基于第一车道线的曲线参数、第二车道线的曲线参数、第三车道线和第四车道线的曲线参数,对待优化车道线的曲线参数进行优化,充分考虑了相同位置车道线、不同位置车道线以及上一帧车道线对待优化车道线的曲线参数的影响,实现了对待优化车道线的曲线参数多维度优化,提高了待优化车道线的优化后的曲线参数的准确性,基于优化后的曲线参数对待优化车道线进行可视化,提升了车道线可视化优化效果。
具体地,进行可视化时,根据当前帧中各个位置的车道线的优化后的曲线参数,按照优化后的曲线参数得到各个位置的车道线的曲线方程表示,汇总曲线方程展示车道线,实现了对当前帧的优化后的车道线的可视化。进一步地,按照优化后的曲线参数对曲线方程进行拟合的过程中,还将各车道线延长到当前帧中视野长度最长的第五车道线的视野长度,进一步提高待优化车道线的优化效果,提升了待优化车道线可视化效果。
需要补充说明的是,如果上一帧的车道线感知数据中,各个位置的车道线的曲线参数均为空,说明当前帧是车道线优化方法执行以来的第一帧,或者之前至少连续N1帧都没有检测到车道线,则可以按照以下步骤对当前帧车道线进行优化:
步骤Q1、判断当前帧是否存在车道线缺失,若存在,则执行车道线补齐操作,执行步骤Q2,否则,直接执行步骤Q2;
步骤Q2、预设置对应每个系数项的第二参数阈值,从当前帧中选择一条待优化车道线,计算当前帧中各位置的车道线的质量评分,将当前帧中质量评分最高的车道线记为最佳车道线,若所述待优化车道线的质量评分与所述最佳车道线的质量评分相同,则将所述待优化车道线的曲线参数作为所述待优化车道线优化后的曲线参数,执行步骤Q3,否则,将所述待优化车道线的常数项作为待优化车道线的常数项对应的优化后的曲线参数,计算所述待优化车道线的系数项与最佳车道线的系数项之间的差值的绝对值,若所述待优化车道线的任一系数项与最佳车道线对应的系数项之差的绝对值大于对应的第二参数阈值,则根据最佳车道线的系数项,对所述待优化车道线的系数项进行修正,得到所述待优化车道线的系数项对应的优化后的曲线参数;
步骤Q3、若已得到当前帧中所有位置的车道线的优化后的曲线参数,则基于优化后的曲线参数对当前帧的车道线进行可视化,否则,执行步骤Q2。
其中,质量评分的计算见上文,执行车道线补齐操作具体为:
判断车道线的缺失状态,所述缺失状态包括:车辆单侧缺失车道线和车辆双侧缺失车道线;其中,车辆双侧缺失车道线,且车道线感知数据中包括至少一条车道线,说明识别到的车道线在车辆中间;
对于车辆单侧缺失车道线的缺失状态,将距离车辆中轴线最近的一条车道线向车辆缺失车道线的一侧平移距离H,得到一条虚拟车道线,若车辆位于距离车辆最近的一条车道线与所述虚拟车道线形成的车道范围内,则可以进行车道线补齐操作,将所述虚拟车道线的位置信息和姿态信息加入所述车道线感知数据中,得到补齐的车道线感知数据,若车辆不位于距离车辆最近的一条车道线与所述虚拟车道线形成的车道内,则不可以进行车道线补齐操作,其中,H为预设置的车道宽度;
对于车辆双侧缺失车道线的缺失状态,将位于车辆中间的车道线分别向左右两侧平移距离H,得到两条虚拟车道线,若车辆位于两条虚拟车道线形成的车道范围内,则可以进行车道线补齐操作,将所述虚拟车道线的位置信息和姿态信息加入所述车道线感知数据中,得到补齐的车道线感知数据,若车辆不位于两条虚拟车道线形成的车道范围内,则不可以进行车道线补齐操作,其中,H为设置的车道宽度。
在本实施例中,H的取值为城市道路设计标准下的车道宽度,例如,3.5m。在其他实施例中,如果所述车道线感知数据中包括至少两条车道线,则根据所述至少两条车道线中两条相邻车道线的距离计算得到车道宽度,将计算得到的车道宽度作为H的取值,例如,车辆单侧识别到两条车道线,这两条车道线之间的距离为车道宽度。
需要说明的是,两条相邻车道线的距离计算得到的车道宽度,可能是一个或多个车道的宽度,比如,识别到的两条车道线中实际上存在一条未被识别到的车道线,这时识别到的两条相邻的车道线之间的距离实际是两个车道宽度。一种可行的实施方式中,设置车道宽度阈值,当计算得到的车道宽度小于车道宽度阈值时,将计算得到的车道宽度作为H的取值,当计算得到的车道宽度小于车道宽度阈值时,将城市道路设计标准下的车道宽度作为H的取值,其中,车道宽度阈值的取值依据是城市道路设计标准,比如,车道宽度阈值取3.8m。
可以理解的是,上述车道线补齐操作,只是对车辆两侧的车道线进行了补齐,由于不能确认现实道路的车道线数量,因此只考虑车辆两侧的车道线。由于某些情境下不能执行车道线补齐操作,即使执行也无法保证补齐了现实道路的所有车道线,因此,补齐后的车道线感知数据中仍有可能存在曲线参数为空的车道线。对此,在基于当前帧的优化后的车道线感知数据进行下一帧的车道线感知数据中车道线曲线参数的优化时,先执行步骤106Z,再执行后续优化方法。
如图2所示,在一个实施例中,提出了一种车道线优化装置,所述车道线优化装置300包括:
数据获取模块302,用于获取当前帧的车道线感知数据和上一帧的车道线感知数据,所述车道线感知数据包括各位置的车道线的曲线参数,所述上一帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数;
优化模块304,用于在当前帧中选择一条车道线作为待优化车道线,基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化,得到所述待优化车道线的优化后的曲线参数,重复此步骤,直至得到当前帧中所有车道线的优化后的曲线参数;
可视化模块306,用于基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。
在一种实时方式中,所述车道线优化装置还包括系统时钟,所述系统时钟与数据获取模块302、优化模块304和可视化模块306相连,所述系统时钟用于按照预设的数据刷新周期,分别向数据获取模块302、优化模块304和可视化模块306定时发送滴答信号;
所述数据获取模块302用于接收滴答信号,并在响应所述滴答信号时,将第一滴答周期内时间戳与所述滴答信号的时间戳最接近的一帧车道线感知数据作为当前帧的车道线感知数据,获取当前帧的车道线感知数据和上一帧的车道线感知数据,将所述车道线感知数据包括各位置的车道线的曲线参数,所述上一帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数,所述第一滴答周期为所述滴答信号所匹配的时间周期;
所述优化模块304用于接收滴答信号,并在响应所述滴答信号时,获取第二滴答周期内时间戳与所述滴答信号的时间戳最接近的一帧车道线感知数据作为当前帧的车道线感知数据,在当前帧中选择一条车道线作为待优化车道线,基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化,得到所述待优化车道线的优化后的曲线参数,重复此步骤,直至得到当前帧中所有车道线的优化后的曲线参数,所述第二滴答周期为所述第一滴答周期的上一个时间周期;
所述可视化模块306用于接收滴答信号,并在响应所述滴答信号时,获取第三滴答周期内时间戳与所述滴答信号的时间戳最接近的一帧车道线感知数据作为当前帧的车道线感知数据,基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化,所述第三滴答周期为所述第二滴答周期的上一个时间周期。
数据获取模块302连接预设数据源,从所述预设数据源获取当前帧的车道线感知数据和上一帧的车道线感知数据,并打包成第一数据块发送至预设的第一数据池;
优化模块304连接预设的第一数据池,从所述第一数据池中获取第一数据块,基于第一数据块对当前帧的车道线的曲线参数进行优化,得到当前帧中所有车道线的优化后的曲线参数,并打包成第二数据块发送至预设的第二数据池;
可视化模块306连接预设的第二数据池,从所述第二数据池中获取第二数据块,基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。
其中,预设数据源可以为存储器,数据获取模块302从存储器中取出所存储的当前帧的车道线感知数据和上一帧的车道线感知数据,预设数据源也可以为一个缓存区域,接收智能传感器发出的实时的车道线感知数据,数据获取模块302从缓存区域中取出所存储的当前帧的车道线感知数据和上一帧的车道线感知数据。
对于数据获取模块302,其在一个滴答周期内做一份第一数据块的获取,即以所响应的滴答信号的时间戳确定第一滴答周期,将第一滴答周期内时间戳与所述滴答信号的时间戳最接近的一帧车道线感知数据作为当前帧的车道线感知数据,从而得到时间戳与第一滴答周期匹配的第一数据块。在下一个滴答信号到达数据获取模块302时,数据获取模块302重新响应新的滴答信号,重新确定第一滴答周期,重新得到时间戳与第一滴答周期匹配的第一数据块。
对于优化模块304,其在一个滴答周期内将一份第一数据块处理成第二数据块,在数据获取模块302和优化模块304接收到同一个滴答信号时,由于数据获取模块302响应该滴答信号所打包的第一数据块还没有送到第一数据池,所以优化模块304处理的是其所响应的滴答信号的上一个滴答信号所匹配的时间周期内数据获取模块302给出的第一数据块,即对时间戳与第二滴答周期匹配的第一数据块进行处理,并给出处理得到的第二数据块。在下一个滴答信号到达优化模块304时,优化模块304重新响应新的滴答信号,重新得到时间戳与第二滴答周期匹配的第二数据块。
对于可视化模块306,其在一个滴答周期内基于一份第二数据块进行可视化,在数据获取模块302、优化模块304和可视化模块306接收到同一个滴答信号时,由于优化模块304响应该滴答信号所打包的第二数据块还没有送到第二数据池,所以可视化模块306处理的是其所响应的滴答信号的上一个滴答信号所匹配的时间周期内优化模块304给出的第二数据块,即基于时间戳与第三滴答周期匹配的第二数据块进行可视化。
其中,第一滴答周期为所述滴答信号所匹配的时间周期,即当前滴答信号的时间戳与上一滴答信号的时间戳之间的时间范围。此外,考虑到数据写入预设数据源需要一定的时间,因此,数据获取模块302在接收到滴答信号时,通常并不能立即从预设数据源中获取到匹配滴答信号的发送时间点的数据,而是只能获取时间再靠前一点的数据。因此,对于当前滴答信号,第一滴答周期的开始时间往往比前一滴答信号的发送时间点更靠前一段时间,第一数据滴答周期的结束时间也比当前滴答信号的发送时间点更靠前一段时间,例如在前一数据刷新信号的发送时间点为16时23分45秒50毫秒时,第一数据刷新周期的开始时间可以是16时23分45秒20毫秒,更靠前的一段时间为30毫秒。
滴答信号发送的预设数据刷新周期可与常见的屏幕刷新率(例如30Hz或60Hz)对应的周期、常见的摄像头帧率(例如25Hz)对应的周期相同,从而匹配可视化模块306的车道线可视化显示。
系统时钟按照预设的数据刷新周期,分别向数据获取模块302、优化模块304和可视化模块306发送滴答信号,数据获取模块302从预设数据源中获取时间戳处于第三滴答周期内的第一数据块并存储至预设的第一数据池。随着时间流逝,系统时钟再次分别向数据获取模块302、优化模块304和可视化模块306发送滴答信号,优化模块304从第一数据池中获取时间戳处于第三滴答周期内的第一数据块并进行处理,得到第二数据块,以及将第二数据块存储至预设的第二数据池。随着时间流逝,系统时钟又一次分别向数据获取模块302、优化模块304和可视化模块306发送滴答信号,可视化模块306从第二数据池中获取时间戳处于第三滴答周期内的处理后第二数据块并进行输出。
可以理解的是,在优化模块304进行当前帧车道线的曲线参数的优化时,用到了上一帧的车道线的优化后的曲线参数,在计算平滑车道线时用到了多个历史帧的优化后的曲线参数,在当前帧或上一帧存在某些位置的车道线的视野长度为0时,还需要用到当前帧之前的多个历史帧的初始的车道线感知数据,因此,数据获取模块302还连接第二数据池,从第二数据池获取优化后的车道线感知数据,从预设数据源获取初始的车道线感知数据,在数据获取模块302响应滴答信号时,获取当前帧的车道线感知数据,以及当前帧之前的多个历史帧的初始的车道线感知数据和优化后的车道线感知数据,打包成第一数据块,以满足优化模块304进行车道线的曲线参数的优化时所需要的数据。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述车道线优化方法,包括:
获取当前帧的车道线感知数据和上一帧的车道线感知数据,所述车道线感知数据包括各位置的车道线的曲线参数,所述上一帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数;
在当前帧中选择一条车道线作为待优化车道线,基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化,得到所述待优化车道线的优化后的曲线参数,重复此步骤,得到当前帧中所有车道线的优化后的曲线参数;
基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种车道线优化方法,其特征在于,包括:
获取当前帧的车道线感知数据和上一帧的车道线感知数据,所述车道线感知数据包括各位置的车道线的曲线参数,所述上一帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数;
在当前帧中选择一条车道线作为待优化车道线,基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化,得到所述待优化车道线的优化后的曲线参数,重复此步骤,直至得到当前帧中所有车道线的优化后的曲线参数;
基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。
2.如权利要求1所述的车道线优化方法,其特征在于,所述曲线参数包括常数项和至少一个系数项,预设置有分别对应所述常数项和各个系数项的第一参数阈值;所述基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化,包括:
将上一帧中与所述待优化车道线的位置相同的车道线记为第一车道线,将上一帧中所述第一车道线以外的车道线记为第二车道线,计算所述待优化车道线的曲线参数的各项相对于所述第一车道线的曲线参数的各项的偏移值;
若各项的偏移值均大于各项对应的第一参数阈值,则基于所述待优化车道线的常数项和多个所述第二车道线的常数项,对所述待优化车道线进行位置重分类操作,更新所述待优化车道线的位置和常数项,重新执行所述基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化的步骤;
否则,将所述待优化车道线的常数项直接作为自修正常数项,将偏移值不大于对应的第一参数阈值的系数项直接作为自修正系数项,对于偏移值大于对应的第一参数阈值的系数项,基于所述待优化车道线的系数项、所述第一车道线的系数项及系数项对应的第一参数阈值,对于偏移值大于对应的第一参数阈值的系数项进行修正,将修正后的系数项作为自修正系数项;
基于所述自修正常数项和自修正系数项得到所述待优化车道线的优化后的曲线参数。
3.如权利要求2所述的车道线优化方法,其特征在于,所述基于所述待优化车道线的常数项和多个所述第二车道线的常数项,对所述待优化车道线进行位置重分类操作,更新所述待优化车道线的位置和常数项,包括:
计算所述待优化车道线的常数项与各个第二车道线的常数项的偏移值,将与所述待优化车道线的常数项的偏移值最小的第二车道线的位置和常数项确定为所述待优化车道线的位置和常数项。
4.如权利要求2所述的车道线优化方法,其特征在于,所述基于所述待优化车道线的系数项、所述第一车道线的系数项及系数项对应的第一参数阈值,对于偏移值大于对应的第一参数阈值的系数项进行修正,将修正后的系数项作为自修正系数项,包括:
若所述待优化车道线的系数项大于所述第一车道线的系数项,则将所述第一车道线的系数项与对应的第一参数阈值进行求和计算,将求和结果确定为所述待优化车道线的自修正系数项;
若所述待优化车道线的系数项小于所述第一车道线的系数项,则将所述第一车道线的系数项与对应的第一参数阈值进行求差计算,将求差结果确定为所述待优化车道线的自修正系数项。
5.如权利要求2所述的车道线优化方法,其特征在于,预设置有分别对应所述自修正常数项和各个自修正系数项的平滑阈值;在所述基于所述自修正常数项和自修正系数项得到所述待优化车道线的优化后的曲线参数之前,还包括:
获取当前帧之前的多个历史帧的车道线感知数据,所述历史帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数,
将多个历史帧中与所述待优化车道线的位置相同的车道线记为第三车道线;
基于多个第三车道线的曲线参数的各项和所述待优化车道线的自修正常数项与各个自修正系数项,采用最小二乘法进行平滑处理,得到平滑车道线的曲线参数;
计算所述平滑车道线的曲线参数的平滑常数项和平滑系数项与所述待优化车道线的对应的自修正常数项和自修正系数项之差的绝对值,若所述平滑车道线的曲线参数的各项与所述待优化车道线的对应的自修正常数项和自修正系数项之差的绝对值均小于对应的预设平滑阈值,则将所述平滑车道线的曲线参数的各系数项确定为所述待优化车道线的自修正系数项,否则,保持所述待优化车道线的自修正系数项不变。
6.如权利要求2或5所述的车道线优化方法,其特征在于,预设置有分别对应所述常数项和各个系数项的第二参数阈值;在所述基于所述自修正常数项和自修正系数项得到所述待优化车道线的优化后的曲线参数之前,还包括:
将当前帧中待优化车道线以外的车道线记为第四车道线,获取所述待优化车道线的质量评分和各第四车道线的质量评分;
若所述待优化车道线的质量评分不低于任一第四车道线的质量评分,则保持所述待优化车道线的自修正常数项和自修正系数项不变;
否则,计算所述待优化车道线的曲线参数的各系数项相对于质量评分最高的第四车道线的曲线参数的各系数项的偏移值;
若各系数项的偏移值均大于各项对应的第二参数阈值,则将所述质量评分最高的第四车道线的曲线参数的各系数项确定为所述待优化车道线的自修正系数项,否则,保持所述待优化车道线的自修正系数项不变。
7.如权利要求6所述的车道线优化方法,其特征在于,当前帧的车道线感知数据中还包括各位置的车道线的视野长度和置信度,获取所述车道线的质量评分为:
获取所述待优化车道线和各第四车道线的置信度和视野长度,将所述置信度和视野长度组合为车道线的质量评分,其中,两条置信度不同的车道线中置信度高的车道线的质量评分大于置信度低的车道线的质量评分,两条置信度相同的车道线中视野长度大的车道线的质量评分大于视野长度小的车道线的质量评分。
8.如权利要求1所述的车道线优化方法,其特征在于,当前帧的车道线感知数据中还包括各位置的车道线的视野长度,所述基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化,包括:
获取当前帧中各位置的车道线的视野长度,将其中视野长度最大的车道线记为第五车道线;
将各位置的车道线的视野长度修正为所述第五车道线的视野长度;
基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。
9.一种车道线优化装置,其特征在于,所述车道线优化装置包括:
数据获取模块,用于获取当前帧的车道线感知数据和上一帧的车道线感知数据,所述车道线感知数据包括各位置的车道线的曲线参数,所述上一帧的车道线感知数据中各位置的车道线的曲线参数是优化后的曲线参数;
优化模块,用于在当前帧中选择一条车道线作为待优化车道线,基于当前帧的车道线感知数据和上一帧的车道线感知数据,对所述待优化车道线的曲线参数进行优化,得到所述待优化车道线的优化后的曲线参数,重复此步骤,直至得到当前帧中所有车道线的优化后的曲线参数;
可视化模块,用于基于当前帧中所有车道线的优化后的曲线参数,对当前帧的所有车道线进行可视化。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述车道线优化方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311640489.4A CN117575920A (zh) | 2023-12-01 | 2023-12-01 | 车道线优化方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311640489.4A CN117575920A (zh) | 2023-12-01 | 2023-12-01 | 车道线优化方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117575920A true CN117575920A (zh) | 2024-02-20 |
Family
ID=89893632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311640489.4A Pending CN117575920A (zh) | 2023-12-01 | 2023-12-01 | 车道线优化方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117575920A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109147368A (zh) * | 2018-08-22 | 2019-01-04 | 北京市商汤科技开发有限公司 | 基于车道线的智能驾驶控制方法装置与电子设备 |
CN109977776A (zh) * | 2019-02-25 | 2019-07-05 | 驭势(上海)汽车科技有限公司 | 一种车道线检测方法、装置及车载设备 |
CN110321878A (zh) * | 2019-08-02 | 2019-10-11 | 苏州天瞳威视电子科技有限公司 | 一种车道线曲线拟合方法 |
US20200074188A1 (en) * | 2018-09-04 | 2020-03-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Lane line tracking method and device |
CN115116017A (zh) * | 2022-06-27 | 2022-09-27 | 北京旋极信息技术股份有限公司 | 车道识别方法、装置及存储介质 |
CN115235500A (zh) * | 2022-09-15 | 2022-10-25 | 北京智行者科技股份有限公司 | 基于车道线约束的位姿校正方法及装置、全工况静态环境建模方法及装置 |
CN115571136A (zh) * | 2022-10-31 | 2023-01-06 | 苏州挚途科技有限公司 | 车道线的数据处理方法、装置、处理器和自动驾驶系统 |
US20230034979A1 (en) * | 2021-07-30 | 2023-02-02 | Nio Technology (Anhui) Co., Ltd | Method and device for determining reliability of visual detection |
CN115790617A (zh) * | 2022-10-29 | 2023-03-14 | 武汉中海庭数据技术有限公司 | 基于相机感知的车道边线修正方法及系统 |
CN116416588A (zh) * | 2023-03-08 | 2023-07-11 | 嬴彻星创智能科技(上海)有限公司 | 车道线预测方法、装置、电子设备及存储介质 |
CN116580373A (zh) * | 2023-07-11 | 2023-08-11 | 广汽埃安新能源汽车股份有限公司 | 一种车道线优化方法、装置、电子设备和存储介质 |
-
2023
- 2023-12-01 CN CN202311640489.4A patent/CN117575920A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109147368A (zh) * | 2018-08-22 | 2019-01-04 | 北京市商汤科技开发有限公司 | 基于车道线的智能驾驶控制方法装置与电子设备 |
US20200074188A1 (en) * | 2018-09-04 | 2020-03-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Lane line tracking method and device |
CN109977776A (zh) * | 2019-02-25 | 2019-07-05 | 驭势(上海)汽车科技有限公司 | 一种车道线检测方法、装置及车载设备 |
CN110321878A (zh) * | 2019-08-02 | 2019-10-11 | 苏州天瞳威视电子科技有限公司 | 一种车道线曲线拟合方法 |
US20230034979A1 (en) * | 2021-07-30 | 2023-02-02 | Nio Technology (Anhui) Co., Ltd | Method and device for determining reliability of visual detection |
CN115116017A (zh) * | 2022-06-27 | 2022-09-27 | 北京旋极信息技术股份有限公司 | 车道识别方法、装置及存储介质 |
CN115235500A (zh) * | 2022-09-15 | 2022-10-25 | 北京智行者科技股份有限公司 | 基于车道线约束的位姿校正方法及装置、全工况静态环境建模方法及装置 |
CN115790617A (zh) * | 2022-10-29 | 2023-03-14 | 武汉中海庭数据技术有限公司 | 基于相机感知的车道边线修正方法及系统 |
CN115571136A (zh) * | 2022-10-31 | 2023-01-06 | 苏州挚途科技有限公司 | 车道线的数据处理方法、装置、处理器和自动驾驶系统 |
CN116416588A (zh) * | 2023-03-08 | 2023-07-11 | 嬴彻星创智能科技(上海)有限公司 | 车道线预测方法、装置、电子设备及存储介质 |
CN116580373A (zh) * | 2023-07-11 | 2023-08-11 | 广汽埃安新能源汽车股份有限公司 | 一种车道线优化方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921925B (zh) | 基于激光雷达和视觉融合的语义点云生成方法和装置 | |
CN109635053B (zh) | 地图的质检方法、装置、系统及存储介质 | |
CN110827202A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN109934262B (zh) | 图片差异性判断方法、装置、计算机设备和存储介质 | |
CN114998856B (zh) | 一种多相机图像的3d目标检测方法、装置、设备及介质 | |
US10404565B2 (en) | Simulation latency indication | |
CN113793333A (zh) | 应用于工业质检的缺陷图片生成方法及装置 | |
CN110060232A (zh) | 隧道裂缝识别方法、装置、计算机设备和存储介质 | |
CN115546519B (zh) | 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法 | |
CN112465886A (zh) | 模型生成方法、装置、设备和可读存储介质 | |
CN106611147B (zh) | 车辆追踪方法和装置 | |
CN111178126A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN117575920A (zh) | 车道线优化方法、装置及存储介质 | |
CN109115232B (zh) | 导航的方法和装置 | |
CN112330727A (zh) | 图像匹配方法、装置、计算机设备及存储介质 | |
CN117115823A (zh) | 一种篡改识别方法、装置、计算机设备和存储介质 | |
CN116148820A (zh) | 一种激光雷达校准方法、计算机设备、可读存储介质及机动车 | |
CN115810115A (zh) | 基于图像特征的图像和多帧毫米波雷达目标的融合方法 | |
KR101255742B1 (ko) | 렌즈 왜곡 보정 파라미터 결정 기법 | |
CN114371475A (zh) | 一种优化标定参数的方法、系统、设备及计算机存储介质 | |
CN115272952A (zh) | 新能源基建的安全监控方法、装置、系统和存储介质 | |
US20220172457A1 (en) | Teaching data correction method for training image, teaching data correction device and program | |
CN110796084A (zh) | 车道线识别方法、装置、设备和计算机可读存储介质 | |
CN110910436A (zh) | 基于图像信息增强技术的测距方法、装置、设备和介质 | |
CN103024406A (zh) | 图像处理方法、图像处理装置以及显示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |