CN115205807A - 车道线融合方法、装置、汽车、电子设备及计算机可读存储介质 - Google Patents

车道线融合方法、装置、汽车、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115205807A
CN115205807A CN202210911107.6A CN202210911107A CN115205807A CN 115205807 A CN115205807 A CN 115205807A CN 202210911107 A CN202210911107 A CN 202210911107A CN 115205807 A CN115205807 A CN 115205807A
Authority
CN
China
Prior art keywords
lane line
initial
lane
line
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210911107.6A
Other languages
English (en)
Inventor
倪守诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210911107.6A priority Critical patent/CN115205807A/zh
Publication of CN115205807A publication Critical patent/CN115205807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及自动驾驶技术领域，具体涉及一种车道线融合方法、装置、汽车、电子设备及计算机可读存储介质。所述方法包括获取多个待处理图像，其中，多个待处理图像通过车辆的多个图像采集设备采集；将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线；对各所述初始车道线进行融合，得到融合车道线；将所述融合车道线与跟踪车道线进行匹配，得到车道线结果。有益效果是：通过对多个待处理图像进行处理得到初始车道线，并对初始车道线进行融合、跟踪等处理，从而满足自动驾驶对于车道线相关的需求。

Description

车道线融合方法、装置、汽车、电子设备及计算机可读存储 介质
技术领域
本申请涉及自动驾驶技术领域，具体涉及一种车道线融合方法、装置、汽车、电子设备及计算机可读存储介质。
背景技术
汽车自动驾驶的视觉感知，主要是利用汽车上配置的相机并基于计算机视觉的方法进行车道线、可行驶区域、静态目标、动态目标等对象的识别、检测、跟踪。自动驾驶对于车道线的检测和跟踪结果的准确性有较高的要求，目前常见的是前视情况基于单相机的车道线处理，一个安装在汽车前部的相机，并对其视角范围内的车道线进行处理，单相机的车道线处理已经难以满足汽车自动驾驶的使用需求。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种基于多相机的车道线处理车道线融合方法、装置、汽车、电子设备及计算机可读存储介质，以解决上述单相机的车道线信息单一，难以满足使用需求的技术问题。
本发明提供的一种车道线融合方法，所述方法包括：
获取多个待处理图像，其中，多个待处理图像通过车辆的多个图像采集设备采集；
将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线；
对各所述初始车道线进行融合，得到融合车道线；
将所述融合车道线与跟踪车道线进行匹配，得到车道线结果。
于本发明的一实施例中，将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线，包括：
对各所述待处理图像进行检测，得到所述待处理图像中的多个初始车道线点；
对多个所述初始车道线点进行采样和投影，得到多个投影车道线点，对多个所述投影车道线点进行曲线拟合，得到多个所述初始车道线。
于本发明的一实施例中，对各所述初始车道线进行融合，得到融合车道线包括以下至少之一：
若至少两条所述初始车道线的横向偏移之差小于预设偏移阈值，且欧式距离小于预设距离阈值，将至少两条所述初始车道线进行融合，得到融合车道线；
若至少两条所述初始车道线的线型属性参数一致，将至少两条所述初始车道线进行融合，得到融合车道线，其中，所述线型属性参数包括车道线颜色和车道线类型。
于本发明的一实施例中，将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线之后，所述方法还包括：
根据各所述初始车道线的横向偏移进行排序，得到初始车道线序列；
若所述初始车道线序列中存在连续多个所述初始车道线的所述横向偏移之差小于预设偏移阈值，确定连续多个所述初始车道线之间的欧式距离；
若连续多个所述初始车道线之间的所述欧式距离小于预设距离阈值，将连续多个所述初始车道线确定为融合车道线子集，得到包括有多个融合车道线子集的车道线集合。
于本发明的一实施例中，得到包括有多个融合车道线子集的车道线集合之后，所述方法还包括：
根据融合车道线子集中各所述初始车道线对应的图像采集设备，将所述融合车道线子集划分为两个第一子集合和第二子集合，所述第一子集合包括位于所述车辆的前方或后方的图像采集设备采集的待处理图像所确定的初始车道线，所述第二子集合包括位于所述车辆的侧方的图像采集设备采集的待处理图像所确定的初始车道线；
若所述第一子集合非空，以所述第一子集合中的初始车道线对所述第二子集合中的初始车道线对应的所述图像采集设备进行位姿优化。
于本发明的一实施例中，以所述第一子集合中的初始车道线对所述第二子集合中的初始车道线对应的所述图像采集设备进行位姿优化包括：
获取所述第二子集合中的一初始车道线在目标处理图像中的初始车道线点的多个线点；
获取各所述线点的线点位置信息，以及所述第一子集合中的初始车道线在预设鸟瞰图中的车道线位置信息；
基于各所述线点位置信息和所述车道线位置信息确定各所述线点到所述第一子集合中的初始车道线的距离和；
调整所述第二子集合中的初始车道线对应的所述图像采集设备的位姿，以使所述距离和最小。
为实现上述目的及其它相关目的，本发明还提供一种车道线融合装置，包括：
图像采集模块，用于获取多个待处理图像；
车道线检测模块，用于将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线；
车道线融合模块，用于对各所述初始车道线进行融合，得到融合车道线；
车道线匹配模块，用于将所述融合车道线与跟踪车道线进行匹配，得到车道线结果。
为实现上述目的及其它相关目的，本发明还提供一种汽车，包括如上所述的车道线融合装置。
为实现上述目的及其它相关目的，本发明还提供一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得汽车实现如上所述的车道线融合方法。
为实现上述目的及其它相关目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上所述的车道线融合方法。
本发明的有益效果：本发明中的车道线融合方法，通过对多个图像采集设备采集的多个待处理图像进行处理得到初始车道线，并对初始车道线进行融合、跟踪等处理，得到的车道线信息更加丰富，以便满足自动驾驶对于车道线相关的需求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请的一示例性实施例示出的车道线融合方法的流程图；
图2是本申请的一示例性实施例示出车道线融合装置的框图；
图3示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图；
图4示出了本申请车道线融合方法一实施例的流程图；
图5示出了图4中单个相机车道线处理模块的流程图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
首先需要说明的是，并查集，是一种树型的数据结构，用于处理一些不相交集合(disjoint sets)的合并及查询问题。在一些有N个元素的集合应用问题中，我们通常是在开始时让每个元素构成一个单元素的集合，然后按一定顺序将属于同一组的元素所在的集合合并，其间要反复查找一个元素在哪个集合中。
欧式距离，又名欧几里得度量(euclidean metric)，是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)，在二维和三维空间中的欧氏距离就是两点之间的实际距离。
图1是本申请一示例性实施例示出的车道线融合方法的流程图。
如图1所示，该车道线融合方法至少包括步骤S101至步骤S104，详细介绍如下：
在步骤S101中，获取多个待处理图像，其中，多个待处理图像通过车辆的多个图像采集设备采集。
在本申请的一个实施例中，图像采集设备可以为相机，相机的数量和安装位置可以根据需求设置。例如，在本实施例中，以相机数量为6个进行举例说明，6个相机分别为前视相机、后视相机、左前相机、左后相机、右前相机、右后相机，通过分布在车辆不同位置上的相机从不同的方位进行采集图像。
在步骤S102中，将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线。
在本申请的一个实施例中，将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线，包括：
S401、对各所述待处理图像进行检测，得到所述待处理图像中的多个初始车道线点。
在本申请的一个实施例中，可以通过利用传统方法或者深度学习算法，检测得到初始车道线点。其中，深度学习算法是机器学习的一种，为现有技术，在此不再赘述。
S402、对多个所述初始车道线点进行采样和投影，得到多个投影车道线点，对多个所述投影车道线点进行曲线拟合，得到多个所述初始车道线。
在本申请的一个实施例中，初始车道线点采样包括：对图像画面中的线点进行采样，产生用于待拟合的线点，该部分的输入是车道线检测模块中检测到的原始线点，通过采样的方式算法从中抽取部分点用于后续的拟合。初始车道线点投影包括:将待拟合的线点投影到预设鸟瞰图上，得到投影车道线点，针对每个相机，都有预先标定好的配置文件，基于其中的变换矩阵，可以将上述采样得到的相机画面中的初始车道线点投影到预设鸟瞰图对应的坐标系下。曲线拟合包括:在预设鸟瞰图上基于线点进行曲线拟合，针对初始车道线点投影中得到的投影车道线点，利用三次曲线进行拟合操作，三次多项式方程拟合表达式如下：
x＝C0+C1*y+C2*y2+C3*y3，
其中，C0表示路沿线近端相对车身中心的横向偏移；C1表示路沿线朝向；C2表示路沿线曲率；C3表示曲率变化率。
S403、基于历史图像和当前图像中的初始车道线，进行车道线跟踪。
在步骤S102将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线之后，所述方法还包括S501-S503步骤。
S501、根据各所述初始车道线的横向偏移进行排序，得到初始车道线序列。
在本申请的一个实施例中，根据各初始车道线的横向偏移C0进行排序，得到初始车道线序列。
S502、若所述初始车道线序列中存在连续多个所述初始车道线的所述横向偏移之差小于预设偏移阈值，确定连续多个所述初始车道线之间的欧式距离。
S503、若连续多个所述初始车道线之间的所述欧式距离小于预设距离阈值，将连续多个所述初始车道线确定为融合车道线子集，得到包括有多个融合车道线子集的车道线集合。
在步骤S503得到包括有多个融合车道线子集的车道线集合之后，所述方法还包括S601-S602步骤。
S601、根据融合车道线子集中各所述初始车道线对应的图像采集设备，将所述融合车道线子集划分为两个第一子集合和第二子集合，所述第一子集合包括位于所述车辆的前方或后方的图像采集设备采集的待处理图像所确定的初始车道线，所述第二子集合包括位于所述车辆的侧方的图像采集设备采集的待处理图像所确定的初始车道线。
S602、若所述第一子集合非空，以所述第一子集合中的初始车道线对所述第二子集合中的初始车道线对应的所述图像采集设备进行位姿优化。
在步骤S602以所述第一子集合中的初始车道线对所述第二子集合中的初始车道线对应的所述图像采集设备进行位姿优化包括S701-S704步骤。
S701、获取所述第二子集合中的一初始车道线在目标处理图像中的初始车道线点的多个线点。
S702、获取各所述线点的线点位置信息，以及所述第一子集合中的初始车道线在预设鸟瞰图中的车道线位置信息。
S703、基于各所述线点位置信息和所述车道线位置信息确定各所述线点到所述第一子集合中的初始车道线的距离和。
S704、调整所述第二子集合中的初始车道线对应的所述图像采集设备的位姿，以使所述距离和最小。
例如，在一具体实施例中，针对预设鸟瞰图中从6个相机投影和拟合得到的初始车道线Li(1<＝i<＝l0)，算法首先根据其C0参数进行排序，得到初始车道线序列，然后根据下标i从1到l0进行遍历，针对每一个i，对于下标j从i+1遍历到l0，根据上述横向偏移之差及欧式距离判断准则判断第j条和第i条是否属于同一条车道线。这个过程类似于构建并查集的过程，如果第j1条和第i条是同一条车道线，第j2条和第i条是同一条车道线，则第j1条和第j2条应该也属于同一条车道线。根据上述流程，算法将初始的l0条车道线转化成l1条车道线Li(1<＝i<＝l1)，其中Li＝[li,1,...,li,ni],1<＝li,j＝l0,1<＝j<＝ni,表示原始下标为li,j的车道线现在对应于重合后得到的车道线集合Li。
针对车道线集合Li，算法将它分为两个互不相交的子集合Li1和Li2，其中Li1中的初始车道线都从前视或者后视相机中检测得到的，而Li2则是从左前、右前、左后、右后检测到的初始车道线。如果Li1非空，则基于属于Li1中的初始车道线的线点进行车道线拟合，并将拟合的结果作为Li这一条车道线的曲线拟合，同时将该结果作为Li2中的车道线拟合后得到结果的真值。这样的话对于左前、右前、左后、右后，算法可以建立四组映射集合FL、FR、RL、RR。以FL为例，该映射集合中每个映射元素{l->L}表示从左前相机中检测到的某条初始车道线l，其映射到在预设鸟瞰图中的车道线结果为L。l中保存有从原始图像中检测到的线点坐标p，基于使得所有的p投影到预设鸟瞰图上到L的距离之和最小这一准则，算法可以对于相应的相机位姿进行优化。
在步骤S103中，对各所述初始车道线进行融合，得到融合车道线。
将多个相机的初始车道线进行融合，得到融合车道线，同时利用融合车道线得到相机相关关系，根据相机相关关系对相机的位姿进行优化。例如，由于某些相机之间存在视角的重合，因此6个相机投影到鸟瞰图上的多条车道线可能存在冗余。因此算法需要对这些车道线结果进行融合，同时利用重合这一信息对于相机的位姿进行优化更新。一般的，由于前视相机和后视相机的画面中可能存在两条平行车道线，因此这两个相机的位姿在其对应的单相机处理模块中已被优化。
在本申请的一个实施例中，对各所述初始车道线进行融合，得到融合车道线，包括以下至少之一：
S801、若至少两条所述初始车道线的横向偏移C0之差小于预设偏移阈值，且欧式距离小于预设距离阈值，将至少两条所述初始车道线进行融合，得到融合车道线。
在本申请的一个实施例中，预设偏移阈值的具体数值以及预设距离阈值均可以根据需求设定。其中，通过横向偏移C0便能够基本确认初始车道线在空间的位置；而初始车道线的参数已知，通过取一些特定点，例如在两条初始车道线上取相同的x，分别得到y1和y2，y1和y2的差值即为两条初始车道线的欧式距离。
S802、若至少两条所述初始车道线的线型属性参数一致，将至少两条所述初始车道线进行融合，得到融合车道线。其中，所述线型属性参数包括车道线颜色和车道线类型。
在本申请的一个实施例中，算法将两条初始车道线认为对应于同一条车道线的准则必须满足S801，S802可以作为辅助判断准则，不作为必须的判断准则。
在步骤S104中，将所述融合车道线与跟踪车道线进行匹配，得到车道线结果。
在本申请的一个实施例中，基于历史图像和当前图像中的融合车道线，进行车道线跟踪，得到跟踪车道线，融合车道线与跟踪车道线进行匹配，得到车道线结构。
图4为本申请车道线融合方法一实施例的流程图。
如图4所示，通过多相机输入的待处理图像输入至单个相机车道线处理模块。其中，多相机输入(多个图像采集设备)包括相机1、相机2、……相机n，相机1、相机2……相机n分别将各自获取的待处理图像输入至对应的单个相机车道线处理模块(车道线检测模型)。
各单个相机车道线处理模块对待处理图像处理后得到检测到的车道线(初始车道线)。
对检测到的车道线进行融合，得到融合后的车道线(融合车道线)。
对融合后的车道线跟踪和更新，得到车道线结果。
图5为图4中单个相机车道线处理模块的流程图。
如图5所示，单个相机输入采集到的待处理图像，经过车道线检测后得到车道线线点(初始车道线点)。
对车道线线点进行采样和投影，得到鸟瞰图上车道线线点(投影车道线点)。
对鸟瞰图上车道线线点进行曲线拟合，拟合得到的车道线(初始车道线)与跟踪得到的车道线进行跟踪和更新得到车道线结果。
以下介绍本申请的装置实施例，可以用于执行本申请上市实施例中的车道线融合方法。于本申请装置实施例中未披露的细节，请参照本申请上述的车道线融合方法的实施例。
图2为本申请一示例性实施例示出的车道线融合装置的框图。该装置可以应用于图1所示的实施环境。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。
如图2所示，该示例的车道线融合装置包括：图像采集模块201、车道线检测模块202、车道线融合模块203和车道线匹配模块204。
其中，图像采集模块201，用于获取多个待处理图像。本实施例中的待处理图像可以通过相机采集。
在一实施例中，车道线检测模块202，用于将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线。
在一实施例中，车道线融合模块203，用于对各所述初始车道线进行融合，得到融合车道线。
在一实施例中，车道线匹配模块204，用于将所述融合车道线与跟踪车道线进行匹配，得到车道线结果。
在一实施例中，车道线融合装置还包括车道线显示模块和车道线输出模块，车道线显示模块用于将车道线结果在相机画面和鸟瞰图上显示出来，车道线输出模块用于将车道线结果输出到车道线融合装置外的其它模块。
在一实施例中，车道线融合装置还包括同步模块，同步模块用于从多个图像采集模块的图像序列中抽取时间同步后的图像。其中，图像采集模块的数量为多个，图像采集模块可以为相机，多个相机采集的待处理图像输入同步模块，由于本算法系统的输入是时间序列同步后的相机图像序列，即需要保证单次处理过程中多个相机的图像输入在时间戳上尽可能一致，同步模块则负责从多个相机的图像序列中抽取时间同步后的图像；
本申请提供的车道线融合方法和车道线融合装置，能够针对周视多相机输入情况下进行车道线检测、拟合、跟踪、融合等处理，从而满足自动驾驶对于车道线相关的需求。其中，车道线融合装置由多个模块搭建而成，各个模块间强耦合较少，因此便于子模块的增替、修改等操作，在局部功能遇到问题时分析解决问题的效率更高，并且重新嵌入原先算法系统的成本也比较低。相比于只依赖一个相机进行处理的传统车道线处理算法系统，基于车道线的动态标定，本申请处理得到的车道线信息更丰富和完整。
在一实施例中，本申请还提供一种汽车，包括前述任一实施例中的车道线融合装置。
本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得汽车实现上述各个实施例中提供的车道线融合方法。
本申请的实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行上述各个实施例中提供的车道线融合方法。
图3示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图3示出的电子设备的计算机系统300仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图3所示，计算机系统300包括中央处理单元(Central Processing Unit，CPU)301，其可以根据存储在只读存储器(Read-Only Memory，ROM)302中的程序或者从储存部分308加载到随机访问存储器(Random Access Memory，RAM)303中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 303中，还存储有系统操作所需的各种程序和数据。CPU301、ROM302以及RAM303通过总线304彼此相连。输入/输出(Input/Output，I/O)接口05也连接至总线304。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分307；包括硬盘等的储存部分308；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入储存部分308。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的车道线融合方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的车道线融合法。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
在上述实施例中，除非另外规定，否则通过使用“第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。
在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种车道线融合方法，其特征在于，所述方法包括：
获取多个待处理图像，其中，多个待处理图像通过车辆的多个图像采集设备采集；
将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线；
对各所述初始车道线进行融合，得到融合车道线；
将所述融合车道线与跟踪车道线进行匹配，得到车道线结果。
2.根据权利要求1所述的车道线融合方法，其特征在于，将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线，包括：
对各所述待处理图像进行检测，得到所述待处理图像中的多个初始车道线点；
对多个所述初始车道线点进行采样和投影，得到多个投影车道线点，对多个所述投影车道线点进行曲线拟合，得到多个所述初始车道线。
3.根据权利要求1所述的车道线融合方法，其特征在于，对各所述初始车道线进行融合，得到融合车道线包括以下至少之一：
若至少两条所述初始车道线的横向偏移之差小于预设偏移阈值，且欧式距离小于预设距离阈值，将至少两条所述初始车道线进行融合，得到融合车道线；
若至少两条所述初始车道线的线型属性参数一致，将至少两条所述初始车道线进行融合，得到融合车道线，其中，所述线型属性参数包括车道线颜色和车道线类型。
4.根据权利要求1所述的车道线融合方法，其特征在于，将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线之后，所述方法还包括：
根据各所述初始车道线的横向偏移进行排序，得到初始车道线序列；
若所述初始车道线序列中存在连续多个所述初始车道线的所述横向偏移之差小于预设偏移阈值，确定连续多个所述初始车道线之间的欧式距离；
若连续多个所述初始车道线之间的所述欧式距离小于预设距离阈值，将连续多个所述初始车道线确定为融合车道线子集，得到包括有多个融合车道线子集的车道线集合。
5.根据权利要求4所述的车道线融合方法，其特征在于，得到包括有多个融合车道线子集的车道线集合之后，所述方法还包括：
根据融合车道线子集中各所述初始车道线对应的图像采集设备，将所述融合车道线子集划分为两个第一子集合和第二子集合，所述第一子集合包括位于所述车辆的前方或后方的图像采集设备采集的待处理图像所确定的初始车道线，所述第二子集合包括位于所述车辆的侧方的图像采集设备采集的待处理图像所确定的初始车道线；
若所述第一子集合非空，以所述第一子集合中的初始车道线对所述第二子集合中的初始车道线对应的所述图像采集设备进行位姿优化。
6.根据权利要求5所述的车道线融合方法，其特征在于，以所述第一子集合中的初始车道线对所述第二子集合中的初始车道线对应的所述图像采集设备进行位姿优化包括：
获取所述第二子集合中的一初始车道线在目标处理图像中的初始车道线点的多个线点；
获取各所述线点的线点位置信息，以及所述第一子集合中的初始车道线在预设鸟瞰图中的车道线位置信息；
基于各所述线点位置信息和所述车道线位置信息确定各所述线点到所述第一子集合中的初始车道线的距离和；
调整所述第二子集合中的初始车道线对应的所述图像采集设备的位姿，以使所述距离和最小。
7.一种车道线融合装置，其特征在于，包括：
图像采集模块，用于获取多个待处理图像；
车道线检测模块，用于将各所述待处理图像输入至预设车道线检测模型，得到各所述待处理图像对应的多个初始车道线；
车道线融合模块，用于对各所述初始车道线进行融合，得到融合车道线；
车道线匹配模块，用于将所述融合车道线与跟踪车道线进行匹配，得到车道线结果。
8.一种汽车，其特征在于，包括如权利要求7所述的车道线融合装置。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得汽车实现如权利要求1至6中任一项所述的车道线融合方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如权利要求1至6中任一项所述的车道线融合方法。
CN202210911107.6A 2022-07-29 2022-07-29 车道线融合方法、装置、汽车、电子设备及计算机可读存储介质 Pending CN115205807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210911107.6A CN115205807A (zh) 2022-07-29 2022-07-29 车道线融合方法、装置、汽车、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210911107.6A CN115205807A (zh) 2022-07-29 2022-07-29 车道线融合方法、装置、汽车、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115205807A true CN115205807A (zh) 2022-10-18

Family

ID=83586383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210911107.6A Pending CN115205807A (zh) 2022-07-29 2022-07-29 车道线融合方法、装置、汽车、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115205807A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731525A (zh) * 2022-11-21 2023-03-03 禾多科技（北京）有限公司 车道线识别方法、装置、电子设备和计算机可读介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731525A (zh) * 2022-11-21 2023-03-03 禾多科技（北京）有限公司 车道线识别方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
US20170019657A1 (en) Stereo auto-calibration from structure-from-motion
EP3998580B1 (en) Camera calibration method and apparatus, electronic device, storage medium, program product, and road side device
CN111445526A (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
CN112750203B (zh) 模型重建方法、装置、设备及存储介质
US9437034B1 (en) Multiview texturing for three-dimensional models
US11417080B2 (en) Object detection apparatus, object detection method, and computer-readable recording medium
CN112652020B (zh) 一种基于AdaLAM算法的视觉SLAM方法
GB2567245A (en) Methods and apparatuses for depth rectification processing
CN112243518A (zh) 获取深度图的方法、装置及计算机存储介质
CN105739106A (zh) 一种体感多视点大尺寸光场真三维显示装置及方法
CN113610918A (zh) 位姿计算方法和装置、电子设备、可读存储介质
CN115205807A (zh) 车道线融合方法、装置、汽车、电子设备及计算机可读存储介质
JPWO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
US9721348B2 (en) Apparatus and method for raw-cost calculation using adaptive window mask
CN111829522B (zh) 即时定位与地图构建方法、计算机设备以及装置
JP6304815B2 (ja) 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
CN113436269B (zh) 图像稠密立体匹配方法、装置和计算机设备
CN112288817B (zh) 基于图像的三维重建处理方法及装置
CN110706357B (zh) 导航系统
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
CN112991210B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN111062874B (zh) 文本图像显示方法、装置、设备及存储介质
US20240029288A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination