CN116630928B - 一种车道线优化方法、装置及电子设备 - Google Patents
一种车道线优化方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116630928B CN116630928B CN202310915185.8A CN202310915185A CN116630928B CN 116630928 B CN116630928 B CN 116630928B CN 202310915185 A CN202310915185 A CN 202310915185A CN 116630928 B CN116630928 B CN 116630928B
- Authority
- CN
- China
- Prior art keywords
- lane line
- historical
- picture frame
- point
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005457 optimization Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims description 71
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000010924 continuous production Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例提供一种车道线优化方法、装置及电子设备，其中，方法包括：根据车道线检测模型获取当前画面帧的车道线检测结果，所述车道线检测结果包括：画面帧的车道线点集、画面帧的车道线标识和画面帧的车道线方程；在历史画面帧中获取所述当前画面帧的车道线标识对应的历史车道线点集；在所述历史车道线点集中获取多个历史车道线点；根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化。实施上述实施例，能在车道线检测模型识别出的当前画面帧的车道线点集不够多或者不够精准的前提下补充当前画面帧的车道线点集，实现对当前画面帧的车道线方程进行优化。
Description
技术领域
本申请涉及车道线识别技术领域，具体而言，涉及一种车道线优化方法、装置及电子设备。
背景技术
目前，在车道线识别中，如果一小段距离车道线的消失会导致在后续上车道线标识信息号改变。例如在道路维修路段，特别是进行路面重浇的路段，会出现车道线消失或模糊的情况，这会导致后续车道线识别中无法识别出车道线的标识，从而使得车道线识别过程中出现识别的车道线不连续的问题。
发明内容
本申请实施例的目的在于提供一种车道线优化方法、装置及电子设备，能在车道线检测模型识别出的当前画面帧的车道线点集不够多或者不够精准的前提下补充当前画面帧的车道线点集，实现对当前画面帧的车道线方程进行优化。
第一方面，本申请实施例提供了一种车道线优化方法，包括：
根据车道线检测模型获取当前画面帧的车道线检测结果，所述车道线检测结果包括：画面帧的车道线点集、画面帧的车道线标识和画面帧的车道线方程；
在历史画面帧中获取所述当前画面帧的车道线标识对应的历史车道线点集；
在所述历史车道线点集中获取多个历史车道线点；
根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化。
在上述实现过程中，车辆的行驶是一个持续过程，在历史画面帧中获取所述当前画面帧的车道线标识对应的历史车道线点集；在所述历史车道线点集中获取的多个历史车道线点可能属于当前画面帧的车道线点或者当前画面帧的车道线点附近的点，可以在车道线检测模型识别出的当前画面帧的车道线点集不够多或者不够精准的前提下补充当前画面帧的车道线点集，实现对当前画面帧的车道线方程进行优化。
进一步地，所述车道线检测结果包括：画面帧的车道线点集中的车道线点的置信度；
所述在所述历史车道线点集中获取多个历史车道线点，包括：
根据所述历史车道线点集中的每个历史车道线点与所述历史画面帧中的车辆之间的第一距离，和所述每个历史车道线点的置信度在所述历史车道线点集中获取预设数量的历史车道线点。
在上述实现过程中，由于每个历史车道线点与所述历史画面帧中的车辆之间的第一距离与该历史车道线点是否属于当前画面帧的车道线点的可能性相关，每个历史车道线点的置信度标识该历史车道线属于该车道线标识对应的车道线的可能性，通过上述实施方式，可以实现获取的历史车道线点具有较高的参考性。
进一步地，在所述历史车道线点集中获取多个历史车道线点之后，还包括：
在多个历史车道线点中将位于所述当前画面帧的车辆的预设方位的历史车道线点剔除。
在上述实现过程中，位于当前画面帧的车辆后的历史车道线点不具参考性，因此，在多个历史车道线点中将位于所述当前画面帧的车辆的预设方位的历史车道线点剔除能够保证融合点更精准，从而实现对车道线方程的优化。
进一步地，所述车道线检测结果包括：
所述车道线点在所述画面帧的自车坐标系下的坐标；
所述根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化，包括：
将所述历史车道线点集在历史画面帧的自车坐标系下的坐标转换为所述当前画面帧的自车坐标系下的坐标；
根据每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标在所述当前画面帧的车道线点集中获取每个历史车道线点对应的当前车道线点；
根据每个历史车道线点和每个历史车道线点对应的当前车道线点获取融合点；
根据融合点和所述当前画面帧的车道线点对所述当前画面帧的车道线方程进行优化。
在上述实现过程中，当线路模糊时，当前画面帧的第一子坐标对应的当前车道线点对应的识别结果不够准确，根据每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标在当前画面帧的车道线点集中获取每个历史车道线点对应的当前车道线点；根据每个历史车道线点和每个历史车道线点对应的当前车道线点获取融合点，使得生成的融合点更符合当前画面帧的车道线点，实现对车道线方程的优化。
进一步地，所述根据每个历史车道线点和每个历史车道线点对应的当前车道线点获取融合点，包括：
将每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标代入所述当前画面帧的车道线方程，得到每个历史车道线点在当前画面帧对应的当前车道线点在当前画面帧的自车坐标系下的第二子坐标；
根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标；
将每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标作为每个历史车道线点对应的融合点的第一子坐标。
在上述实现过程中，根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标；将每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标作为每个历史车道线点对应的融合点的第一子坐标，得到了融合点的坐标，基于融合点的坐标可以对当前画面帧的车道线方程进行优化。
进一步地，所述根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标，包括：
当多个历史车道线点中的第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标的差值大于第一阈值且小于第二阈值时，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标。
在上述实现过程中，当多个历史车道线点中的第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标的差值在合理范围内，能够保证历史车道线点具有参考性，生成的融合点更符合当前画面帧的实际车道线点，实现对当前画面帧的车道线方程优化。
进一步地，所述根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标，包括：
当多个历史车道线点中和多个历史车道线对应的当前车道线点的偏离程度满足预设条件时，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标。
在上述实现过程中，历史车道线点和当前车道线的偏离程度决定了历史车道线点的参考性，通过基于偏离程度设置预设条件，当多个历史车道线点中和多个历史车道线对应的当前车道线点的偏离程度满足预设条件时，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标，能够保证生成的融合点具有实际参考性。
进一步地，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标，包括：
通过以下公式获取融合点的第二子坐标：
y = w*y0 +(1-w)*y1；
其中，y为所述融合点的第二子坐标；y0为所述第一历史车道线点的第二子坐标；w为预设权重；y1为当前车道线点的第二子坐标。
进一步地，所述根据融合点和所述当前画面帧的车道线点对所述当前画面帧的车道线方程进行优化，包括：
将所述融合点和所述当前画面帧的车道线点集中所述车道线标识对应的车道线点进行拟合，得到优化后的车道线方程。
第二方面，本申请一种车道线优化装置，包括：
车道线检测结果获取模块，用于根据车道线检测模型获取当前画面帧的车道线检测结果，所述车道线检测结果包括：画面帧的车道线点集、画面帧的车道线标识和画面帧的车道线方程；
历史车道线点集获取模块，用于在历史画面帧中获取所述当前画面帧的车道线标识对应的历史车道线点集；
历史车道线点获取模块，用于在所述历史车道线点集中获取多个历史车道线点；
优化模块，用于根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化。
第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的车道线优化方法的流程示意图；
图2为本申请实施例提供的车道线优化装置的结构示意图；
图3为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
参见图1，本申请实施例提供一种车道线优化方法，可应用于服务器和车辆控制器中，用于对车道线方程进行优化。其中，服务器可以是独立的服务器或者是多个服务器组成的服务器集群来实现，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能采样点设备等基础云计算服务的云服务器。参见图1，方法包括：
S1：根据车道线检测模型获取当前画面帧的车道线检测结果，所述车道线检测结果包括：画面帧的车道线点集、画面帧的车道线标识和画面帧的车道线方程；
S2：在历史画面帧中获取所述当前画面帧的车道线标识对应的历史车道线点集；
S3：在所述历史车道线点集中获取多个历史车道线点；
S4：根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化。
上述实施例中，车道线检测模型用于对车道线点进行检测，得到多个车道线的坐标，以及属于车道线点的置信度，将车道线点进行逆透视变换，滤波之后进行拟合，可以得到画面帧中所有车道线的方程，通过卡尔曼滤波之后，可以对车道线方程的系数进行纠正，通过匈牙利指派，可以获取画面帧中每个车道线的标识信息，如果画面帧中的车道线和历史画面帧中的车道线属于同一车道线，则画面帧中的车道线和历史画面帧中的车道线的标识信息一致。如果画面帧中的车道线不属于历史画面帧中的车道线，则为画面帧的车道线分配新的标识信息。每个画面帧中识别出的车道线可以不止一个，也可以没有，本方法实施例针对的是每个车道线标识。示例性地，当前画面帧中识别出三条车道线，分别拟合三条车道线方程，其车道线标识分别为1、2、3，对于车道线标识为1的车道线，在当前帧的上一帧中获取车道线标识为1对应的历史车道线点，根据车道线标识为1对应的历史车道线点对车道线标识为1的车道线进行优化。
车道线检测模型是现有模型，可以利用现有模型进行训练后使用，这里不再赘述。
在上述实现过程中，车辆的行驶是一个持续过程，在历史画面帧中获取所述当前画面帧的车道线标识对应的历史车道线点集；在所述历史车道线点集中获取的多个历史车道线点可能属于当前画面帧的车道线点或者当前画面帧的车道线点附近的点，可以在车道线检测模型识别出的当前画面帧的车道线点集不够多或者不够精准的前提下补充当前画面帧的车道线点集，实现对当前画面帧的车道线方程进行优化。
在一些实施例中，所述车道线检测结果包括：画面帧的车道线点集中的车道线点的置信度；所述在所述历史车道线点集中获取多个历史车道线点，包括：根据所述历史车道线点集中的每个历史车道线点与所述历史画面帧中的车辆之间的第一距离，和所述每个历史车道线点的置信度在所述历史车道线点集中获取预设数量的历史车道线点。
示例性地，预设数量为100，则优先在历史车道线点集中获取第一距离更小且置信度更高的点作为历史车道线点。
在上述实现过程中，由于每个历史车道线点与所述历史画面帧中的车辆之间的第一距离与该历史车道线点是否属于当前画面帧的车道线点的可能性相关，每个历史车道线点的置信度标识该历史车道线属于该车道线标识对应的车道线的可能性，通过上述实施方式，可以实现获取的历史车道线点具有较高的参考性。
在一些实施例中，在所述历史车道线点集中获取多个历史车道线点之后，还包括：
在多个历史车道线点中将位于所述当前画面帧的车辆的预设方位的历史车道线点剔除。
上述实施例中，每个画面帧中的车道线点集中的点的坐标、车道线方程都是以每个画面帧中的自车坐标系生成的，在获取到历史点集之后，将历史点集的坐标转换为当前画面帧对应自车坐标系下的坐标，根据历史点集中的历史车道线点在当前画面帧对应的自车坐标系下的坐标可以判断出每个历史车道线是当前画面帧的车辆之前还是之后。预设方位为车辆沿车辆行驶方向的一侧。当车辆向前行驶时，预设方位就是车辆的行驶方向前方，当车辆向后行驶时，预设方位就是车辆的后方。
在上述实现过程中，位于当前画面帧的车辆后的历史车道线点不具参考性，因此，在多个历史车道线点中将位于所述当前画面帧的车辆的预设方位的历史车道线点剔除能够保证融合点更精准，从而实现对车道线方程的优化。
在一些实施例中，所述车道线检测结果包括：所述车道线点在所述画面帧的自车坐标系下的坐标；所述根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化，包括：将所述历史车道线点集在历史画面帧的自车坐标系下的坐标转换为所述当前画面帧的自车坐标系下的坐标；
根据每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标在所述当前画面帧的车道线点集中获取每个历史车道线点对应的当前车道线点；根据每个历史车道线点和每个历史车道线点对应的当前车道线点获取融合点；根据融合点和所述当前画面帧的车道线点对所述当前画面帧的车道线方程进行优化。
上述实施例中，第一子坐标可以是横坐标或纵坐标。
在上述实现过程中，当线路模糊时，当前画面帧的第一子坐标对应的当前车道线点对应的识别结果不够准确，根据每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标在当前画面帧的车道线点集中获取每个历史车道线点对应的当前车道线点；根据每个历史车道线点和每个历史车道线点对应的当前车道线点获取融合点，使得生成的融合点更符合当前画面帧的车道线点，实现对车道线方程的优化。
在一些实施例中，所述根据每个历史车道线点和每个历史车道线点对应的当前车道线点获取融合点，包括：将每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标代入所述当前画面帧的车道线方程，得到每个历史车道线点在当前画面帧对应的当前车道线点在当前画面帧的自车坐标系下的第二子坐标；根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标；将每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标作为每个历史车道线点对应的融合点的第一子坐标。
上述实施例中，第一子坐标可以是横坐标或纵坐标，当第一子坐标是横坐标时，第二子坐标是纵坐标，当第一子坐标是纵坐标时，第二子坐标是横坐标。
示例性地，车道线标识为1历史车道点在当前画面帧的自车坐标系下的横坐标为x=1、x=2、x=3，将x=1、x=2、x=3代入到当前画面帧的车道线标识为1的车道线方程中，可以得到三个当前车道线点。根据三个当前车道点纵坐标和三个历史车道点的纵坐标可以得到三个历史车道线点对应的融合点的纵坐标，融合点的横坐标和对应的历史车道线点的横坐标相同。
在上述实现过程中，根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标；将每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标作为每个历史车道线点对应的融合点的第一子坐标，得到了融合点的坐标，基于融合点的坐标可以对当前画面帧的车道线方程进行优化。
在一些实施例中，所述根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标，包括：
当多个历史车道线点中的第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标的差值大于第一阈值且小于第二阈值时，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标。
第一车道线点可能为多个历史车道线点中的任意一个点。
示例性地，车道线标识为1历史车道点在当前画面帧的自车坐标系下的坐标为(1,1)，(2，2)，(3,3)，将x=1、x=2、x=3代入到当前画面帧的车道线标识为1的车道线方程中，可以得到上述历史车道线分别对应的三个当前车道线点。如果x=1对应的历史车道线点和当前车道线点的y值大于第一阈值且小于第二阈值，根据x=1的历史车道线点和当前车道线点的y坐标进行融合，得到融合车道线点的y坐标。
在一些实施例中，当多个历史车道线点中的第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标的差值小于第一阈值时，则直接将第一历史车道线点作为融合点。基于该实施方式，可以节省时间，并增加当前车道线点，实现对当前画面帧的车道线方程进行优化。
示例性地，车道线标识为1历史车道点在当前画面帧的自车坐标系下的横坐标为x=1、x=2、x=3，将x=1、x=2、x=3代入到当前画面帧的车道线标识为1的车道线方程中，可以得到三个当前车道线点。如果X=2对应的历史车道线点和当前车道线点的距离小于第一阈值，将X=1的历史车道线点作为融合点。
在一些实施例中，当多个历史车道线点中的第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标的差值大于第二阈值时，则直接将该历史车道线点舍弃，不根据该第一历史车道线点生成融合点。
示例性地，车道线标识为1历史车道点在当前画面帧的自车坐标系下的横坐标为x=1、x=2、x=3，将x=1、x=2、x=3代入到当前画面帧的车道线标识为1的车道线方程中，可以得到三个当前车道线点。如果X=3对应的历史车道线点和当前车道线点的距离大于第二阈值，将X=2的历史车道线点剔除。
在一些实施例中，当多个历史车道线点中的第一历史车道线点在当前画面帧的自车坐标系下的斜率，和所述第一历史车道线点对应的当前车道线点的斜率的差值大于第三阈值小于第四阈值时，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标。
在一些实施例中，当多个历史车道线点中的第一历史车道线点在当前画面帧的自车坐标系下的斜率，和所述第一历史车道线点对应的当前车道线点的斜率的差值小于第三阈值时，则直接将第一历史车道线点作为融合点。
在一些实施例中，当多个历史车道线点中的第一历史车道线点在当前画面帧的自车坐标系下的斜率，和所述第一历史车道线点对应的当前车道线点的斜率的差值大于第四阈值时，将所述第一历史车道线点剔除，不根据该第一历史车道线点生成融合点。
在上述实现过程中，当多个历史车道线点中的第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标的差值在合理范围内，能够保证历史车道线点具有参考性，生成的融合点更符合当前画面帧的实际车道线点，实现对当前画面帧的车道线方程优化。
在一些实施例中，所述根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标，包括：
当多个历史车道线点中和多个历史车道线对应的当前车道线点的偏离程度满足预设条件时，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标。
在上述实现过程中，历史车道线点和当前车道线的偏离程度决定了历史车道线点的参考性，通过基于偏离程度设置预设条件，当多个历史车道线点中和多个历史车道线对应的当前车道线点的偏离程度满足预设条件时，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标，能够保证生成的融合点具有实际参考性。
在一些实施例中，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标，包括：
通过以下公式获取融合点的第二子坐标：
y = w*y0 +(1-w)*y1；
其中，y为所述融合点的第二子坐标；y0为所述第一历史车道线点的第二子坐标；w为预设权重；y1为当前车道线点的第二子坐标。
在一些实施例中，所述根据融合点和所述当前画面帧的车道线点对所述当前画面帧的车道线方程进行优化，包括：将所述融合点和所述当前画面帧的车道线点集中所述车道线标识对应的车道线点进行拟合，得到优化后的车道线方程。
也就是说，将融合点添加到当前画面帧的车道线标识对应当前车道线点集中，得到新的当前车道线点集，根据新的当前车道线点集进行拟合操作，得到优化后的车道线方程。
示例性地，在根据上述方法获取到当前画面帧的车道线标识为1的多个融合点之后，将融合点添加到当前画面帧的车道线标识为1的当前车道线点集中，得到当前画面帧的车道线标识为1的新的当前车道线，根据该新的当前车道线可以生成当前画面帧的车道线标识为1的优化后的车道线方程。
参见图2，本申请实施例还提供一种车道线优化装置，包括：车道线检测结果获取模块1，用于根据车道线检测模型获取当前画面帧的车道线检测结果，所述车道线检测结果包括：画面帧的车道线点集、画面帧的车道线标识和画面帧的车道线方程；
历史车道线点集获取模块2，用于在历史画面帧中获取所述当前画面帧的车道线标识对应的历史车道线点集；
历史车道线点获取模块3，用于在所述历史车道线点集中获取多个历史车道线点；
优化模块4，用于根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化。
该装置还用于执行上述各个实施例中的方法，这里不再赘述。
本申请还提供一种电子设备，请参见图3，图3为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器31、通信接口32、存储器33和至少一个通信总线34。其中，通信总线34用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口32用于与其他节点设备进行信令或数据的通信。处理器31可以是一种集成电路芯片，具有信号的处理能力。
上述的处理器31可以是通用处理器，包括中央处理器(CPU，CentralProcessingUnit)、网络处理器(NP，NetworkProcessor)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器31也可以是任何常规的处理器等。
存储器33可以是，但不限于，随机存取存储器(RAM，RandomAccessMemory)，只读存储器(ROM，Read Only Memory)，可编程只读存储器(PROM ，Programmable Read-OnlyMemory)，可擦除只读存储器(EPROM ，Erasable Programmable Read-Only Memory)，电可擦除只读存储器(EEPROM ，Electric Erasable Programmable Read-Only Memory)等。存储器33中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器31执行时，电子设备可以执行上述图1至图2方法实施例涉及的各个步骤。
可选地，电子设备还可以包括存储控制器、输入输出单元。
所述存储器33、存储控制器、处理器31、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线34实现电性连接。所述处理器31用于执行存储器33中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。
可以理解，图3所示的结构仅为示意，所述电子设备还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (8)
1.一种车道线优化方法，其特征在于，包括：
根据车道线检测模型获取当前画面帧的车道线检测结果，所述车道线检测结果包括：画面帧的车道线点集、画面帧的车道线标识和画面帧的车道线方程；
在历史画面帧中获取所述当前画面帧的车道线标识对应的历史车道线点集；
在所述历史车道线点集中获取多个历史车道线点；
根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化；
所述车道线检测结果包括：画面帧的车道线点集中的车道线点的置信度；
所述在所述历史车道线点集中获取多个历史车道线点，包括：
根据所述历史车道线点集中的每个历史车道线点与所述历史画面帧中的车辆之间的第一距离，和所述每个历史车道线点的置信度在所述历史车道线点集中获取预设数量的历史车道线点；
所述车道线检测结果包括：
所述车道线点在所述画面帧的自车坐标系下的坐标；
所述根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化，包括：
将所述历史车道线点集在历史画面帧的自车坐标系下的坐标转换为所述当前画面帧的自车坐标系下的坐标；
根据每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标在所述当前画面帧的车道线点集中获取每个历史车道线点对应的当前车道线点；
根据每个历史车道线点和每个历史车道线点对应的当前车道线点获取融合点；
根据融合点和所述当前画面帧的车道线点对所述当前画面帧的车道线方程进行优化；
所述根据每个历史车道线点和每个历史车道线点对应的当前车道线点获取融合点，包括：
将每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标代入所述当前画面帧的车道线方程，得到每个历史车道线点在当前画面帧对应的当前车道线点在当前画面帧的自车坐标系下的第二子坐标；
根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标；
将每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标作为每个历史车道线点对应的融合点的第一子坐标。
2.根据权利要求1所述的车道线优化方法，其特征在于，在所述历史车道线点集中获取多个历史车道线点之后，还包括：
在多个历史车道线点中将位于所述当前画面帧的车辆的预设方位的历史车道线点剔除。
3.根据权利要求1所述的车道线优化方法，其特征在于，所述根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标，包括：
当多个历史车道线点中的第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标的差值大于第一阈值且小于第二阈值时，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标。
4.根据权利要求3所述的车道线优化方法，其特征在于，所述根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标，包括：
当多个历史车道线点中和多个历史车道线对应的当前车道线点的偏离程度满足预设条件时，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标。
5.根据权利要求4所述的车道线优化方法，其特征在于，将所述第一历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和所述第一历史车道线点对应的当前车道线点的第二子坐标进行融合，得到融合点的第二子坐标，包括：
通过以下公式获取融合点的第二子坐标：
y = w*y0 +(1-w)*y1；
其中，y为所述融合点的第二子坐标；y0为所述第一历史车道线点的第二子坐标；w为预设权重；y1为当前车道线点的第二子坐标。
6.根据权利要求1所述的车道线优化方法，其特征在于，所述根据融合点和所述当前画面帧的车道线点对所述当前画面帧的车道线方程进行优化，包括：
将所述融合点和所述当前画面帧的车道线点集中所述车道线标识对应的车道线点进行拟合，得到优化后的车道线方程。
7.一种车道线优化装置，其特征在于，包括：车道线检测结果获取模块，用于根据车道线检测模型获取当前画面帧的车道线检测结果，所述车道线检测结果包括：画面帧的车道线点集、画面帧的车道线标识和画面帧的车道线方程；
历史车道线点集获取模块，用于在历史画面帧中获取所述当前画面帧的车道线标识对应的历史车道线点集；
历史车道线点获取模块，用于在所述历史车道线点集中获取多个历史车道线点；
优化模块，用于根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化；
所述车道线检测结果包括：画面帧的车道线点集中的车道线点的置信度；
所述在所述历史车道线点集中获取多个历史车道线点，包括：
根据所述历史车道线点集中的每个历史车道线点与所述历史画面帧中的车辆之间的第一距离，和所述每个历史车道线点的置信度在所述历史车道线点集中获取预设数量的历史车道线点；
所述车道线检测结果包括：
所述车道线点在所述画面帧的自车坐标系下的坐标；
所述根据所述多个历史车道线点对所述当前画面帧的车道线方程进行优化，包括：
将所述历史车道线点集在历史画面帧的自车坐标系下的坐标转换为所述当前画面帧的自车坐标系下的坐标；
根据每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标在所述当前画面帧的车道线点集中获取每个历史车道线点对应的当前车道线点；
根据每个历史车道线点和每个历史车道线点对应的当前车道线点获取融合点；
根据融合点和所述当前画面帧的车道线点对所述当前画面帧的车道线方程进行优化；
所述根据每个历史车道线点和每个历史车道线点对应的当前车道线点获取融合点，包括：
将每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标代入所述当前画面帧的车道线方程，得到每个历史车道线点在当前画面帧对应的当前车道线点在当前画面帧的自车坐标系下的第二子坐标；
根据每个历史车道线点在当前画面帧的自车坐标系下的第二子坐标，和每个历史车道线点对应的当前车道线点的第二子坐标生成融合点的第二子坐标；
将每个历史车道线点在当前画面帧的自车坐标系下的第一子坐标作为每个历史车道线点对应的融合点的第一子坐标。
8.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310915185.8A CN116630928B (zh) | 2023-07-25 | 2023-07-25 | 一种车道线优化方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310915185.8A CN116630928B (zh) | 2023-07-25 | 2023-07-25 | 一种车道线优化方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630928A CN116630928A (zh) | 2023-08-22 |
| CN116630928B true CN116630928B (zh) | 2023-11-17 |
Family
ID=87603133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310915185.8A Active CN116630928B (zh) | 2023-07-25 | 2023-07-25 | 一种车道线优化方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630928B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012011713A2 (ko) * | 2010-07-19 | 2012-01-26 | 주식회사 이미지넥스트 | 차선 인식 시스템 및 방법 |
| CN109871776A (zh) * | 2019-01-23 | 2019-06-11 | 昆山星际舟智能科技有限公司 | 全天候车道线偏离的预警方法 |
| CN111553309A (zh) * | 2020-05-11 | 2020-08-18 | 潍柴动力股份有限公司 | 车道线识别方法及装置 |
| CN114644019A (zh) * | 2022-05-23 | 2022-06-21 | 苏州挚途科技有限公司 | 车道中心线的确定方法、装置和电子设备 |
| CN115027482A (zh) * | 2022-06-29 | 2022-09-09 | 东风商用车有限公司 | 智能驾驶中的融合定位方法 |
-
2023
- 2023-07-25 CN CN202310915185.8A patent/CN116630928B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012011713A2 (ko) * | 2010-07-19 | 2012-01-26 | 주식회사 이미지넥스트 | 차선 인식 시스템 및 방법 |
| CN109871776A (zh) * | 2019-01-23 | 2019-06-11 | 昆山星际舟智能科技有限公司 | 全天候车道线偏离的预警方法 |
| CN111553309A (zh) * | 2020-05-11 | 2020-08-18 | 潍柴动力股份有限公司 | 车道线识别方法及装置 |
| CN114644019A (zh) * | 2022-05-23 | 2022-06-21 | 苏州挚途科技有限公司 | 车道中心线的确定方法、装置和电子设备 |
| CN115027482A (zh) * | 2022-06-29 | 2022-09-09 | 东风商用车有限公司 | 智能驾驶中的融合定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| Low-Cost Hybrid Multisensor Fusion Method and Implementation for Production Intelligent Vehicles;Kunyang Cai et al.;IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT;第71卷;第1-16页 * |
| 一种基于消隐点的单目视觉车辆测距方法;关闯 等;电子测量技术;第41卷(第11期);第83-86页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630928A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2701051C2 (ru) | Способ, система и машиночитаемые запоминающие носители для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков | |
| CN109212532B (zh) | 用于检测障碍物的方法和装置 | |
| CN110148312B (zh) | 一种基于v2x系统的碰撞预警方法、装置和存储介质 | |
| CN109948635B (zh) | 一种基于激光扫描的目标识别方法及装置 | |
| WO2021017072A1 (zh) | 基于激光雷达的 slam 闭环检测方法及检测系统 | |
| KR20210134253A (ko) | 차량 모니터링 방법, 장치 및 클라우드 제어 플랫폼 | |
| CN115240157A (zh) | 道路场景数据持久化方法、装置、设备和计算机可读介质 | |
| CN113888860A (zh) | 车辆异常行驶的检测方法、装置、服务器及可读存储介质 | |
| CN116580373B (zh) | 一种车道线优化方法、装置、电子设备和存储介质 | |
| CN115186732A (zh) | 智能驾驶目标融合方法、装置、设备及可读存储介质 | |
| CN113674317B (zh) | 一种高位视频的车辆跟踪方法及装置 | |
| CN116630928B (zh) | 一种车道线优化方法、装置及电子设备 | |
| CN113963316A (zh) | 目标事件的确定方法、装置、存储介质及电子装置 | |
| CN111710188B (zh) | 车辆告警提示的方法、装置、电子设备及存储介质 | |
| CN111739343A (zh) | 车辆事故风险的预警方法、装置、介质及电子设备 | |
| CN111383454A (zh) | 车辆驾驶风险的预警方法、装置、介质及电子设备 | |
| CN109946708B (zh) | 一种基于激光雷达扫描的车道线检测方法及装置 | |
| CN114708425A (zh) | 车辆违停的识别方法、装置及计算机可读存储介质 | |
| CN114708565A (zh) | 智能驾驶场景识别模型创建方法、装置、设备及存储介质 | |
| CN112686324A (zh) | 自动驾驶车辆的感知方法及装置 | |
| CN111930867A (zh) | 一种基于原始轨迹生成停止线的方法及系统 | |
| CN113721235B (zh) | 对象状态确定方法、装置、电子设备以及存储介质 | |
| CN112700657B (zh) | 用于生成检测信息的方法、装置、路侧设备和云控平台 | |
| CN118055382A (zh) | 数据处理的方法、装置、设备和存储介质 | |
| CN111724431B (zh) | 视差图的获得方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |