CN116580373B - 一种车道线优化方法、装置、电子设备和存储介质 - Google Patents
一种车道线优化方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116580373B CN116580373B CN202310843946.3A CN202310843946A CN116580373B CN 116580373 B CN116580373 B CN 116580373B CN 202310843946 A CN202310843946 A CN 202310843946A CN 116580373 B CN116580373 B CN 116580373B
- Authority
- CN
- China
- Prior art keywords
- lane line
- frame
- current picture
- line equation
- picture frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005457 optimization Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本申请实施例提供一种车道线优化方法、装置、电子设备和存储介质，其中，方法包括：根据检测模型获取当前画面帧的车道线识别结果，所述车道线识别结果包括：初始车道线方程；获取当前画面帧的车辆位姿；根据所述当前画面帧的车辆位姿对所述初始车道线方程进行优化。实施上述实施例，能够提高识别的车道线和实际车道线的贴合度。
Description
技术领域
本申请涉及人工智能技术领域，具体而言，涉及一种车道线优化方法、装置、电子设备和计算机可读存储介质。
背景技术
目前，前车道线融合处理主要是：感知模型检测后生成车道线点集；对点集进行动态逆投影变换处理，计算出以自车后轴中心为原点的车辆坐标系坐标，获得车辆坐标系下的点集；对车道线点进行线拟合，用曲线拟合算法，如最小二乘法或RANSAC算法生成车道线多项式方程；对拟合出来的车道线方程进行卡尔曼滤波跟踪；对每条车道线的系数进行匈牙利指派算法，给每条车道线赋标识值；这样基本就得到了融合后的车道线标识与对应的方程。
目前这种处理方式比较大的问题是在一些转弯或变道的时刻等航向角变化大的时候会出现车道线与现实情况完全不贴合的情况，这个对可视化效果和行驶性能上都会有比较大的影响。
发明内容
本申请实施例的目的在于提供一种车道线优化方法、装置、电子设备和计算机可读存储介质，能够提高识别的车道线和实际车道线的贴合度。
本申请实施例提供了一种车道线优化方法，包括：
根据检测模型获取当前画面帧的车道线识别结果，所述车道线识别结果包括：初始车道线方程；
获取当前所述画面帧的车辆位姿；
根据所述当前画面帧的车辆位姿对所述初始车道线方程进行优化。
在上述实现过程中，由于传统的车道线跟踪使用的是车辆坐标系进行曲线拟合，拟合生成的多项式曲线方程系数是以当前画面帧的车辆坐标系形成的；假如在某个时刻，车辆出现转向的操作，由于跟踪操作是会对车辆的状态维持跟踪监测一定的时间。当车辆的航向角度发生了较大的变化时，在转向的过程中拟合的曲线方程与变化前的方程变化很大，车辆坐标系相对角度变化较大，那前后两帧形成的式项式曲线方程系数变化也很大，使得跟踪后的车道线与实际车道线不贴合。通过根据所述当前画面帧的车辆位姿对所述初始车道线方程进行优化，能够提高识别度的车道线与实际车道线的贴合度。
进一步地，所述车辆位姿包括：车辆航向角；
所述根据所述当前画面帧的车辆位姿对所述初始车道线方程进行优化，包括：
根据当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角对所述初始车道线方程进行调整。
在上述实现过程中，根据当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角可以判断当前车辆是否转向，是否需要对初始车道线方程进行调整。
进一步地，所述根据当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角对所述初始车道线方程进行调整，包括：
判断当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角的差值是否大于阈值；
若是，对所述初始车道线方程进行调整。
在上述实现过程中，在当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角的差值大于阈值时，说明当前车辆进行转弯或者变道，此时需要对初始车道线方程进行调整。
进一步地，所述车辆位姿包括：当前画面帧的车辆坐标；所述车道线识别结果包括：所述当前画面帧之前的车道线的点的坐标；
所述对所述初始车道线方程进行调整，包括：
获取所述当前画面帧之前的至少一帧画面的车道线的点的坐标和所述当前画面帧之前的至少一帧画面的车辆坐标；
根据所述当前画面帧的车辆坐标，所述当前画面帧之前的至少一帧画面的车辆坐标将所述当前画面帧之前的至少一帧画面的车道线的点的坐标进行转换，得到所述当前画面帧之前的至少一帧画面的车道线的点的转换后的坐标；
对所述当前画面帧之前的车道线的点的坐标和所述当前画面帧之前的至少一帧画面的车道线的点的转换后的坐标进行拟合，得到当前面画面帧的调整后的车道线方程。
在上述实现过程中，根据当前画面帧的车辆自身坐标系和所述当前画面帧之前的至少一帧画面的车辆自身坐标系获取所述初始车道线方程在所述当前画面帧之前的至少一帧画面的车辆自身坐标系下的表达式，得到调整后的当前画面帧的车道线的点的坐标，根据所述调整后的当前画面帧的车道线的点的坐标重新生成所述车道线方程，得到当面画面帧的调整后的车道线方程和实际的车道线贴合程度相比于初始车道线方程和实际的车道线的贴合程度更高。
进一步地，所述得到当面画面帧的调整后的车道线方程之后，还包括：
将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程。
在上述实现过程中，由于进行调整过程会使初始车道线方程中和实际车道线贴合是坐标点在一定程度上偏离实际车道线，因此，将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合，得到的融合车道线方程和实际车道线进一步贴合。
进一步地，所述将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程之前，包括：
确定所述初始车道线方程的第一起始点和所述当前画面帧的调整后的车道线方程的第二起始点；
判断以下条件是否成立：所述第一起始点和所述第二起始点在第一方向上的坐标差值绝对值超过第一阈值且所述初始车道线方程的第一系数和所述当前画面帧的调整后的车道线方程的第一系数的差值绝对值超过第二阈值；
若是，将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程。
在上述实现过程中，当所述第一起始点和所述第二起始点在第一方向上的坐标差值绝对值超过第一阈值且所述初始车道线方程的第一系数和所述当前画面帧的调整后的车道线方程的第一系数的差值绝对值超过第二阈值，说明调整后的车道线方程和使初始车道线方程的起始部分偏离实际车道线，此时需要将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合。
进一步地，所述将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程，包括：
对所述初始车道线方程从所述第一起始点开始进行等距取点，得到调整后的车道线方程的预设数量的点
对所述当前画面帧的调整后的车道线方程从所述第二起始点开始进行等距取点，得到调整后的车道线方程的预设数量的点；
通过以下公式更新所述当前画面帧的调整后的车道线方程的预设数量的点在y轴的坐标：
；
其中，为预设数量，/>为调整后的车道线方程的预设数量的点中第i个点更新后的y轴坐标；/>为初始车道线方程的预设数量的点中的第i个点的y轴坐标，/>为调整后的车道线方程的预设数量的点中的第i个点的y轴坐标。
第二方面，本申请实施例提供一种车道线优化装置，包括：
检测模块，用于根据检测模型获取当前画面帧的车道线识别结果，所述车道线识别结果包括：初始车道线方程
位姿获取模块，用于获取所述当前画面帧的车辆位姿；
调整模块，用于根据所述当前画面帧的车辆位姿对所述初始车道线方程进行优化。
第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。
本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的车道线优化方法的流程示意图；
图2为本申请实施例提供的车道线优化装置的结构示意图；
图3为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
参见图1，本申请实施例提供一种车道线优化方法，可应用于服务器或车辆终端中，用于车道线识别优化。其中，服务器可以是独立的服务器或者是多个服务器组成的服务器集群来实现，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能采样点设备等基础云计算服务的云服务器。参见图1，方法包括：
S1：根据检测模型获取当前画面帧的车道线识别结果，车道线识别结果包括：初始车道线方程；
S2：获取当前画面帧的车辆位姿；
车辆位姿可通过GPS传感器获取；
S3：根据当前画面帧的车辆位姿对初始车道线方程进行优化。
在一些实施例中，当前画面帧之前的至少一帧画面为当前画面帧的上一帧。
在一些实施例中，车辆的摄像机及其它传感器识别到当前车辆周围的车道线视频，将车道线视频输入到车道线检测模型中，车道线检测模型对车道线视频中的每一帧画面进行识别，得到识别结果，识别结果包括：车道线在每一帧画面的车辆坐标系下的点集数据，车道线的属性值，如颜色、虚实、起始结束点等属性。车道线检测模型属于现有技术，这里不再赘述。通过动态逆投影变换处理，形成车辆坐标系的点集，最后基于车辆坐标系的点集拟合成多项式曲线，即车道线方程，保存车道线方程的多项式系数；对每帧画面识别出的车道线进行卡尔曼滤波，卡尔曼滤波算法基本思想是利用前一时刻的状态估计值和当前时刻的观测值来获得动态系统当前时刻状态变量的最优估计。对每帧画面的车道线方程进行匈牙利指派，获得每帧画面中车道线的标识，不同帧画面中的不同车道线可以具有相同标识，相同的标识表示不同帧的车道线属于相同的车道线。检测模型为现有技术，这里不再赘述。车辆坐标系是用来描述汽车运动的特殊动坐标系；其原点与c质心重合，当车辆在水平路面上处于静止状态，X轴平行于地面指向车辆前方，Y轴指向驾驶员的左侧。
在一些实施例中，当前画面帧之前的至少一帧画面可以为当前画面帧之前的多帧画面。
在上述实现过程中，由于传统的车道线跟踪使用的是车辆坐标系进行曲线拟合，拟合生成的多项式曲线方程系数是以当前画面帧车辆坐标系形成的；假如在某个时刻，车辆出现转向的操作，由于跟踪操作是会对车辆的状态维持跟踪监测一定的时间。当车辆的航向角度发生了较大的变化时，在转向的过程中拟合的曲线方程与变化前的方程变化很大，车辆坐标系相对角度变化较大，那前后两帧形成的式项式曲线方程系数变化也很大，使得跟踪后的车道线与实际车道线不贴合。通过根据当前画面帧的车辆位姿对初始车道线方程进行优化，能够提高识别度的车道线与实际车道线的贴合度。
下述实施方式中，当前画面帧之前的至少一帧画面为当前画面帧的上一帧。
在一些实施例中，车辆位姿包括：车辆航向角；车辆位姿包括：车辆航向角；S3包括：根据当前画面帧的车辆航向角和当前画面帧之前的至少一帧画面的车辆航向角对初始车道线方程进行调整。
上述实施例中，车辆航向角指地面坐标系下，车辆质心速度与横轴的夹角。
在上述实现过程中，根据当前画面帧的车辆航向角和当前画面帧之前的至少一帧画面的车辆航向角可以判断当前车辆是否转向，是否需要对初始车道线方程进行调整。
进一步地，根据当前画面帧的车辆航向角和当前画面帧之前的至少一帧画面的车辆航向角对初始车道线方程进行调整，包括：判断当前画面帧的车辆航向角和当前画面帧之前的至少一帧画面的车辆航向角的差值是否大于阈值；若是，对初始车道线方程进行调整。
在上述实现过程中，在当前画面帧的车辆航向角和当前画面帧之前的至少一帧画面的车辆航向角的差值大于阈值时，说明当前车辆进行转弯或者变道，此时需要对初始车道线方程进行调整。
进一步地，车辆位姿包括：当前画面帧的车辆坐标；车道线识别结果包括：当前画面帧之前的车道线的点的坐标；
对初始车道线方程进行调整，包括：获取当前画面帧之前的至少一帧画面的车道线的点的坐标和当前画面帧之前的至少一帧画面的车辆坐标；根据当前画面帧的车辆坐标，当前画面帧之前的至少一帧画面的车辆坐标将当前画面帧之前的至少一帧画面的车道线的点的坐标进行转换，得到当前画面帧之前的至少一帧画面的车道线的点的转换后的坐标；对当前画面帧之前的车道线的点的坐标和当前画面帧之前的至少一帧画面的车道线的点的转换后的坐标进行拟合，得到当前面画面帧的调整后的车道线方程。
上述实施例中，当前画面帧之前的至少一帧画面的车道线的点的坐标是基于当前画面帧之前的至少一帧画面的车辆自身坐标系表示的，根据当前画面帧的车辆坐标和当前画面帧之前的至少一帧画面的车辆坐标可以得到当前画面帧的车辆坐标的车辆坐标系和当前画面帧之前的至少一帧画面的车辆坐标系，从而能够将当前画面帧之前的至少一帧画面的车道线的点的坐标转换为当前画面帧的车辆自身坐标系进行表示，即当前画面帧之前的至少一帧画面的车道线的点的转换后的坐标。坐标转换为现有技术，这里不再赘述。
在上述实现过程中，通过利用当前画面帧之前的至少一帧画面的车道线的点对当前画面帧的车道线的点进行补充，基于当前画面帧之前的至少一帧画面的车道线的点和当前画面帧的车道线的点重新拟合，减少车辆转动方向过大带来的识别误差，得到的当面画面帧的调整后的车道线方程和实际的车道线贴合程度相比于初始车道线方程和实际的车道线的贴合程度更高。
进一步地，得到当面画面帧的调整后的车道线方程之后，还包括：
将初始车道线方程和当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程。
在上述实现过程中，由于进行调整过程会使初始车道线方程中和实际车道线贴合是坐标点在一定程度上偏离实际车道线，因此，将初始车道线方程和当前画面帧的调整后的车道线方程进行融合，得到的融合车道线方程和实际车道线进一步贴合。
进一步地，将初始车道线方程和当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程之前，包括：
确定初始车道线方程的第一起始点和当前画面帧的调整后的车道线方程的第二起始点；判断以下条件是否成立：第一起始点和第二起始点在第一方向上的坐标差值绝对值超过第一阈值且初始车道线方程的第一系数和当前画面帧的调整后的车道线方程的第一系数的差值绝对值超过第二阈值；若是，将初始车道线方程和当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程。
上述实施例中，第一起始点和第二汽车点为距离车辆最近的点。
在一些实施例中，第一系数是初始车道线方程和调整后的车道线方程中乘方数最高的自变量对应的系数。
示例性地，S1得到了各条车道线在自身车辆坐标系下的多项式方程表达式，则当面画面帧的初始的车道线方程系数此时如果有多条车道线，则保存多组ABCD系数。调整后的车道线方程为/>，则当面画面帧的调整后的车道线方程系数/>。记初始车道线方程的起始点为[x1，y1]，方程多项式系数为A，B，C，D;调整后的车道线方程的起始点[x2，y2]，方程多项式系数A’，B’，C’，D’。
设定第一阈值为y_threshold，第二阈值为coef_threshold，当|y1–y2|≤y_threshold与|A–A’|<coef_threshold时，将初始车道线方程和当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程。
在上述实现过程中，当第一起始点和第二起始点在第一方向上的坐标差值绝对值超过第一阈值且初始车道线方程的第一系数和当前画面帧的调整后的车道线方程的第一系数的差值绝对值超过第二阈值，说明调整后的车道线方程和使初始车道线方程的起始部分偏离实际车道线，此时需要将初始车道线方程和当前画面帧的调整后的车道线方程进行融合。
进一步地，将初始车道线方程和当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程之前，包括：
对初始车道线方程从第一起始点开始进行等距取点，得到调整后的车道线方程的预设数量的点
对当前画面帧的调整后的车道线方程从第二起始点开始进行等距取点，得到调整后的车道线方程的预设数量的点；
通过以下公式更新当前画面帧的调整后的车道线方程的预设数量的点在y轴的坐标：
；
上述实施例中，y轴当前画面帧之前的至少一帧画面的车辆自身坐标系的y轴。
其中，为预设数量，/>为调整后的车道线方程的预设数量的点中第i个点更新后的y轴坐标；/>为初始车道线方程的预设数量的点中的第i个点的y轴坐标，/>为调整后的车道线方程的预设数量的点中的第i个点的y轴坐标。
也就是说，当|y1–y2|≤y_threshold且|A–A’|<coef_threshold时，从初始车道线方程起始点开始和调整后的车道线方程的起始点开始分别在初始车道线方程和调整后的车道线方程等距顺序取k个点，根据以下公式获取其中第i个点的y坐标：
；
其中，是初始车道线方程第i个点的y轴坐标，/>是调整后的车道线方程第i个点的y轴坐标。
也就是说，将调整后的车道线方程上的k个点根据上述公式进行更新，得到融合车道线方程。
参见图2，本申请实施例还提供一种车道线优化装置，包括：
检测模块1，用于根据检测模型获取当前画面帧的车道线识别结果，车道线识别结果包括：初始车道线方程
位姿获取模块2，用于获取当前画面帧的车辆位姿；
调整模块3，用于根据当前画面帧的车辆位姿对初始车道线方程进行优化。
装置的模块还用于执行上述提到的多种实施方式。
本申请还提供一种电子设备，请参见图3，图3为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器31、通信接口32、存储器33和至少一个通信总线34。其中，通信总线34用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口32用于与其他节点设备进行信令或数据的通信。处理器31可以是一种集成电路芯片，具有信号的处理能力。
上述的处理器31可以是通用处理器，包括中央处理器(CPU，CentralProcessingUnit)、网络处理器(NP，NetworkProcessor)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器31也可以是任何常规的处理器等。
存储器33可以是，但不限于，随机存取存储器（RAM，RandomAccessMemory），只读存储器（ROM，Read Only Memory），可编程只读存储器（PROM ，Programmable Read-OnlyMemory），可擦除只读存储器（EPROM ，Erasable Programmable Read-Only Memory），电可擦除只读存储器（EEPROM ，Electric Erasable Programmable Read-Only Memory）等。存储器33中存储有计算机可读取指令，当计算机可读取指令由处理器31执行时，电子设备可以执行上述图1至图2方法实施例涉及的各个步骤。
可选地，电子设备还可以包括存储控制器、输入输出单元。
存储器33、存储控制器、处理器31、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线34实现电性连接。处理器31用于执行存储器33中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。
可以理解，图3所示的结构仅为示意，所述电子设备还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。
本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (6)
1.一种车道线优化方法，其特征在于，包括：
根据检测模型获取当前画面帧的车道线识别结果，所述车道线识别结果包括：初始车道线方程；
获取所述当前画面帧的车辆位姿；
根据所述当前画面帧的车辆位姿对所述初始车道线方程进行优化；
所述车辆位姿包括：车辆航向角；
所述根据所述当前画面帧的车辆位姿对所述初始车道线方程进行优化，包括：
根据当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角对所述初始车道线方程进行调整；
所述根据当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角对所述初始车道线方程进行调整，包括：
判断当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角的差值是否大于阈值；
若是，对所述初始车道线方程进行调整；
所述车辆位姿包括：当前画面帧的车辆坐标；所述车道线识别结果包括：所述当前画面帧之前的车道线的点的坐标；
所述对所述初始车道线方程进行调整，包括：
获取所述当前画面帧之前的至少一帧画面的车道线的点的坐标和所述当前画面帧之前的至少一帧画面的车辆坐标；
根据所述当前画面帧的车辆坐标，所述当前画面帧之前的至少一帧画面的车辆坐标将所述当前画面帧之前的至少一帧画面的车道线的点的坐标进行转换，得到所述当前画面帧之前的至少一帧画面的车道线的点的转换后的坐标；
对所述当前画面帧之前的车道线的点的坐标和所述当前画面帧之前的至少一帧画面的车道线的点的转换后的坐标进行拟合，得到当前面画面帧的调整后的车道线方程；
所述得到当面画面帧的调整后的车道线方程之后，还包括：
将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程。
2.根据权利要求1所述的车道线优化方法，其特征在于，所述将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程之前，包括：
确定所述初始车道线方程的第一起始点和所述当前画面帧的调整后的车道线方程的第二起始点；
判断以下条件是否成立：所述第一起始点和所述第二起始点在第一方向上的坐标差值绝对值超过第一阈值且所述初始车道线方程的第一系数和所述当前画面帧的调整后的车道线方程的第一系数的差值绝对值超过第二阈值；
若是，将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程。
3. 根据权利要求2所述的车道线优化方法，其特征在于，所述将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程，包括：
对所述初始车道线方程从所述第一起始点开始进行等距取点，得到调整后的车道线方程的预设数量的点
对所述当前画面帧的调整后的车道线方程从所述第二起始点开始进行等距取点，得到调整后的车道线方程的预设数量的点；
通过以下公式更新所述当前画面帧的调整后的车道线方程的预设数量的点在y轴的坐标：
；
其中，为预设数量，/>为调整后的车道线方程的预设数量的点中第i个点更新后的y轴坐标；/>为初始车道线方程的预设数量的点中的第i个点的y轴坐标，/>为调整后的车道线方程的预设数量的点中的第i个点的y轴坐标。
4. 一种车道线优化装置，其特征在于，包括：
检测模块，用于根据检测模型获取当前画面帧的车道线识别结果，所述车道线识别结果包括：初始车道线方程
位姿获取模块，用于获取所述当前画面帧的车辆位姿；
调整模块，用于根据所述当前画面帧的车辆位姿对所述初始车道线方程进行优化；
所述车辆位姿包括：车辆航向角；
所述根据所述当前画面帧的车辆位姿对所述初始车道线方程进行优化，包括：
根据当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角对所述初始车道线方程进行调整；
所述根据当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角对所述初始车道线方程进行调整，包括：
判断当前画面帧的车辆航向角和所述当前画面帧之前的至少一帧画面的车辆航向角的差值是否大于阈值；
若是，对所述初始车道线方程进行调整；
所述车辆位姿包括：当前画面帧的车辆坐标；所述车道线识别结果包括：所述当前画面帧之前的车道线的点的坐标；
所述对所述初始车道线方程进行调整，包括：
获取所述当前画面帧之前的至少一帧画面的车道线的点的坐标和所述当前画面帧之前的至少一帧画面的车辆坐标；
根据所述当前画面帧的车辆坐标，所述当前画面帧之前的至少一帧画面的车辆坐标将所述当前画面帧之前的至少一帧画面的车道线的点的坐标进行转换，得到所述当前画面帧之前的至少一帧画面的车道线的点的转换后的坐标；
对所述当前画面帧之前的车道线的点的坐标和所述当前画面帧之前的至少一帧画面的车道线的点的转换后的坐标进行拟合，得到当前面画面帧的调整后的车道线方程；
所述得到当面画面帧的调整后的车道线方程之后，还包括：
将所述初始车道线方程和所述当前画面帧的调整后的车道线方程进行融合，得到融合车道线方程。
5.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-3任一项所述的方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-3任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843946.3A CN116580373B (zh) | 2023-07-11 | 2023-07-11 | 一种车道线优化方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843946.3A CN116580373B (zh) | 2023-07-11 | 2023-07-11 | 一种车道线优化方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116580373A CN116580373A (zh) | 2023-08-11 |
| CN116580373B true CN116580373B (zh) | 2023-09-26 |
Family
ID=87536221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310843946.3A Active CN116580373B (zh) | 2023-07-11 | 2023-07-11 | 一种车道线优化方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116580373B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020528A1 (zh) * | 2015-08-03 | 2017-02-09 | 百度在线网络技术（北京）有限公司 | 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备 |
| CN110717141A (zh) * | 2019-09-22 | 2020-01-21 | 武汉中海庭数据技术有限公司 | 一种车道线优化方法、装置及存储介质 |
| WO2021056341A1 (zh) * | 2019-09-26 | 2021-04-01 | 深圳市大疆创新科技有限公司 | 车道线融合方法、车道线融合装置、车辆和存储介质 |
| CN112614192A (zh) * | 2020-12-24 | 2021-04-06 | 湖北亿咖通科技有限公司 | 一种车载相机的在线标定方法和车载信息娱乐系统 |
| CN114241049A (zh) * | 2021-12-16 | 2022-03-25 | 北京经纬恒润科技股份有限公司 | 车辆位姿确定方法及装置 |
| CN114821520A (zh) * | 2022-03-28 | 2022-07-29 | 南京航空航天大学 | 一种融合时空信息的车道线检测方法 |
| CN115303288A (zh) * | 2022-08-16 | 2022-11-08 | 浙江吉利控股集团有限公司 | 一种车辆控制方法、控制装置及摄像头装置 |
| CN115469667A (zh) * | 2022-09-22 | 2022-12-13 | 上海安亭地平线智能交通技术有限公司 | 车辆航迹的确定方法、装置、电子设备和存储介质 |
| CN115509213A (zh) * | 2021-06-22 | 2022-12-23 | 广州汽车集团股份有限公司 | 车辆实景导航显示控制方法及系统、控制器、车载ar-hud |
| CN116309628A (zh) * | 2023-01-09 | 2023-06-23 | 智道网联科技(北京)有限公司 | 车道线识别方法和装置、电子设备和计算机可读存储介质 |
| CN116360641A (zh) * | 2023-03-27 | 2023-06-30 | 重庆长安汽车股份有限公司 | 一种车道线显示方法、装置、车辆和存储介质 |
-
2023
- 2023-07-11 CN CN202310843946.3A patent/CN116580373B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020528A1 (zh) * | 2015-08-03 | 2017-02-09 | 百度在线网络技术（北京）有限公司 | 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备 |
| CN110717141A (zh) * | 2019-09-22 | 2020-01-21 | 武汉中海庭数据技术有限公司 | 一种车道线优化方法、装置及存储介质 |
| WO2021056341A1 (zh) * | 2019-09-26 | 2021-04-01 | 深圳市大疆创新科技有限公司 | 车道线融合方法、车道线融合装置、车辆和存储介质 |
| CN112614192A (zh) * | 2020-12-24 | 2021-04-06 | 湖北亿咖通科技有限公司 | 一种车载相机的在线标定方法和车载信息娱乐系统 |
| CN115509213A (zh) * | 2021-06-22 | 2022-12-23 | 广州汽车集团股份有限公司 | 车辆实景导航显示控制方法及系统、控制器、车载ar-hud |
| CN114241049A (zh) * | 2021-12-16 | 2022-03-25 | 北京经纬恒润科技股份有限公司 | 车辆位姿确定方法及装置 |
| CN114821520A (zh) * | 2022-03-28 | 2022-07-29 | 南京航空航天大学 | 一种融合时空信息的车道线检测方法 |
| CN115303288A (zh) * | 2022-08-16 | 2022-11-08 | 浙江吉利控股集团有限公司 | 一种车辆控制方法、控制装置及摄像头装置 |
| CN115469667A (zh) * | 2022-09-22 | 2022-12-13 | 上海安亭地平线智能交通技术有限公司 | 车辆航迹的确定方法、装置、电子设备和存储介质 |
| CN116309628A (zh) * | 2023-01-09 | 2023-06-23 | 智道网联科技(北京)有限公司 | 车道线识别方法和装置、电子设备和计算机可读存储介质 |
| CN116360641A (zh) * | 2023-03-27 | 2023-06-30 | 重庆长安汽车股份有限公司 | 一种车道线显示方法、装置、车辆和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于不定Bezier变形模板的城市道路检测算法;王科;黄智;钟志华;;机械工程学报(第08期);全文 * |
| 王科 ; 黄智 ; 钟志华 ; .基于不定Bezier变形模板的城市道路检测算法.机械工程学报.2013,(第08期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116580373A (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108388834B (zh) | 利用循环神经网络和级联特征映射的对象检测 | |
| JP6794436B2 (ja) | 非障害物エリア検出のためのシステムおよび方法 | |
| JP5782088B2 (ja) | 歪みのあるカメラ画像を補正するシステム及び方法 | |
| WO2023016271A1 (zh) | 位姿确定方法、电子设备及可读存储介质 | |
| US20150036887A1 (en) | Method of determining a ground plane on the basis of a depth image | |
| JP2015035704A (ja) | 検出装置、検出方法および検出プログラム | |
| CN106203381A (zh) | 一种行车中障碍物检测方法与装置 | |
| CN112017236B (zh) | 一种基于单目相机计算目标物位置的方法及装置 | |
| EP3293700A1 (en) | 3d reconstruction for vehicle | |
| US20200363809A1 (en) | Method and system for fusing occupancy maps | |
| Lim et al. | Real-time forward collision warning system using nested Kalman filter for monocular camera | |
| Jang et al. | Camera orientation estimation using motion-based vanishing point detection for advanced driver-assistance systems | |
| CN112381025A (zh) | 一种驾驶员注意力检测方法、装置、电子设备及存储介质 | |
| CN116580373B (zh) | 一种车道线优化方法、装置、电子设备和存储介质 | |
| US20160300114A1 (en) | Dynamic stixel estimation using a single moving camera | |
| CN113639782A (zh) | 车载传感器的外参标定方法和装置、设备和介质 | |
| Chumerin et al. | Ground plane estimation based on dense stereo disparity | |
| CN112529011A (zh) | 目标检测方法及相关装置 | |
| CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
| CN116109669A (zh) | 一种目标追踪方法、系统及电子设备 | |
| EP3989031A1 (en) | Systems and methods for fusing road friction data to enhance vehicle maneuvering | |
| Ando et al. | Direct imaging of stabilized optical flow and possible anomalies from moving vehicle | |
| Aditya et al. | Enhancement technique for improving the reliability of disparity map under low light condition | |
| CN114387324A (zh) | 深度成像方法、装置、电子设备和计算机可读存储介质 | |
| CN116630928B (zh) | 一种车道线优化方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |