车道线融合方法、车道线融合装置、车辆和存储介质
技术领域
本申请涉及车辆辅助驾驶和自动驾驶领域,尤其涉及一种车道线融合方法、车道线融合装置、车辆和存储介质。
背景技术
车道线检测是辅助驾驶(ADAS)和自动驾驶技术需要实现的主要功能之一,基于检测得到的车道线可以规划可移动平台,如车辆的行驶计划,保障行驶安全可靠。现有的车道线检测方法主要基于当前车辆周围的环境图像,无法综合之前时刻检测的历史车道线对当前车道线进行优化,无法较好的应对具有分叉路口的行驶场景。因此现有的车道线检测通用性较差,准确度不够高。
发明内容
基于此,本说明书提供了一种车道线融合方法、车道线融合装置、车辆和存储介质,旨在解决现有的车道线检测无法较好的应对具有分叉路口的行驶场景,通用性较差,准确度不够高等技术问题。
第一方面,本说明书提供了一种车道线检测方法,包括:
获取可移动平台周围的环境图像,并根据所述环境图像得到所述可移动平台的初始车道线集合;
对所述初始车道线集合中的初始车道线数据进行拟合优化,得到目标车道线集合;
其中,所述拟合优化包括:根据所述初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合,所述拟合优化用于使得所述目标车道线集合包括相互不平行的车道线。
第二方面,本说明书提供了一种车道线检测装置,包括传感器和处理器;
所述传感器用于获取可移动平台周围的环境图像;
所述处理器,用于实现如下步骤:
获取可移动平台周围的环境图像,并根据所述环境图像得到所述可移动平台的初始车道线集合;
对所述初始车道线集合中的初始车道线数据进行拟合优化,得到目标车道线集合;
其中,所述拟合优化包括:根据所述初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合,所述拟合优化用于使得所述目标车道线集合包括相互不平行的车道线。
第三方面,本说明书提供了一种车辆,包括:
上述的车道线检测装置,用于确定车道线;
运动组件,用于行驶。
第四方面,本说明书提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现上述的车道线融合方法。
本说明书实施例提供了一种车道线融合方法、车道线融合装置、车辆和存储介质,通过可移动平台周围的环境图像确定若干初始车道线数据,然后根据若干初始车道线数据和历史车道线集合中相应的历史车道线数据进行拟合优化,得到若干目标道线。由于拟合优化融合了车道线的历史检测数据,使得车道线检测可以不依赖车道线几何平行假设和路面平行假设,从而可以适用于道路包括分岔路口的场景,提高了通用性和检测准确度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书的公开内容。
附图说明
为了更清楚地说明本说明书实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书一实施例提供的一种车道线检测方法的流程示意图;
图2是一种实施方式中车道线检测场景的示意图;
图3是通过连通域分析确定局部地图中局部车道线的示意图;
图4是图1中拟合优化得到目标车道线集合的子流程示意图;
图5是图4中拟合优化得到初始车道线数据对应目标车道线的子流程示意图;
图6是本说明书一实施例提供的一种遥控装置的示意性框图;
图7是本说明书一实施例提供的一种可移动平台的示意性框图。
具体实施方式
下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
下面结合附图,对本说明书的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本说明书一实施例提供的一种车道线检测方法的流程示意图。
所述车道线检测方法可以应用在车道线检测装置,该车道线检测装置可以搭载于可移动平台,并与可移动平台存在数据连接。其中,该可移动平台可以为一些能够行驶在公共交通道路上的移动装置,例如自动驾驶车辆。该车道线检测装置也可以为与可移动平台存在数据连接的辅助驾驶装置。
该车道线检测装置可以内置于可移动平台,如可移动平台整合于可移动平台中的系统等,也可以与可移动平台存在外部连接,如连接于可移动平台外部的辅助驾驶装置。
在一些实施方式中,所述车道线检测方法可应用在如图2所示的车道线检测场景中,其中,可移动平台10可以是一辆行驶在公共交通道路上的车辆,车道线检测装置100内置于可移动平台10,该可移动平台10上还安置有一个或者多个传感器101,车道线检测装置100可以通过传感器101获取可移动平台10的环境图像。例如,传感器101包括视觉传感器,用于获取可移动平台周围的环境图像。
其中,所述传感器101可安置在可移动平台10的前方、后方和/或车顶等位置,可移动平台10中安置的一个或多个传感器101可以安置在相同位置,也可安置在不同位置,在本发明实施例中不做限定。
如图1所示,本实施例车道线检测方法包括步骤S110至步骤S120。
S110、获取可移动平台周围的环境图像,并根据所述环境图像得到所述可移动平台的初始车道线集合。
示例性的,可移动平台搭载的传感器实时或者按照预设周期采集可移动平台周围预设范围的环境图像,并基于该环境图像构造可移动平台所处环境的局部地图。
示例性的,通过可移动平台搭载的传感器获取可移动平台前方的图像,或称为前视图,并基于图像模型识别前视图中的车道线图像点。还可以结合可移动平台的位姿信息和3D环境信息将车道线图像点转换到世界坐标系下的局部地图,以得到可移动平台所处环境的局部地图,并确定该车道线图像点在局部地图中对应的车道线位置点。
示例性的,可采用卷积神经网络(Convolutional Neural Networks,CNN)对前视图作初步的车道线检测得到车道线图像点。
示例性的,可以通过视觉惯性导航系统(如Visual-Inertial NavigationSystem,VINS)获取可移动平台的位姿信息,如当前车体位置姿态信息。
示例性的,可以通过双目立体匹配算法SGBM确定可移动平台周围的3D环境感知信息,即3D环境信息。
在一些实施方式中,在确定局部地图中的车道线位置点之后,可以在局部地图中确定出初始车道线集合,该初始车道线集合包括多个初始车道线数据。
示例性的,基于局部地图中的车道线位置点进行连通域分析,得到局部地图对应的局部车道线集合。
示例性的,初始车道线集合中包括的初始车道线数据可以是根据局部地图中记录的车道线位置点确定的。在一些实施方式中,局部地图可以为在世界坐标系下的网格地图,该车道线位置点对应的网格为车道线网格,每个车道线网格包括一个语义信息,该语义信息用于表征车道线网格为车道线位置点对应的网格。针对这种情况,可以对局部地图中的各个车道线网格进行分析处理,得到局部地图对应的局部车道线集合,该局部车道线集合包括至少一个局部车道线,进而从局部车道线集合中确定出初始车道线集合,该初始车道线集合包括至少一个初始车道线数据。
在一些实施方式中,可以基于各个车道线网格的语义信息对局部地图中的各个车道线网格进行连通域分析处理,得到局部地图对应的局部车道线集合,并基于预设的优化算法和局部车道线集合中各局部车道线的权重值,优化确定出初始车道线,得到初始车道线集合。其中,该局部车道线的权重值是根据车道线的特征信息确定的。
示例性的,基于各个车道线网格的语义信息对局部地图中的各个车道线网格进行连通域分析处理时,可以首先根据各个车道线网格的语义信息从局部地图中确定出各个车道线网格,并对各个车道线网格进行连通域提取,根据各个车道线网格的语义信息确定小范围内车道线网格的连通域标签,基于各车道线网格对应的连通域标签进行车道线拟合,确定出小范围内车道线位置点对应的一条或多条局部车道线,以此类推,可确定出局部地图中的所有局部车道线,从而得到局部地图对应的局部车道线集合。
其中,属于同一车道线的车道线网格对应相同的连通域标签,该连通域标签与车道线网格的语义信息关联。例如,车道线网格G1的语义信息用于指示该车道线网格G1对应的图像点属于车道线A,车道线网格G2的语义信息用于指示该车道线网格G2对应的图像点也属于车道线A,那么该车道线网格G1和车道线网格G2对应相同的连通域标签。
如图3所示为通过连通域分析确定局部地图中局部车道线的示意图。如图所示,每一个网格表示一个图像点,网格中的数字表示各网格对应的连通域标签。其中,连通域标签为0的网格可能为局部车道线中不属于车道线的网格,连通域标签不为0的为可能属于车道线的车道线网格。连通域标签为1的网格为局部地图中属于A车道线的图像点;连通域标签为2的图像点为局部地图中属于B车道线对应的图像点,其中,该A车道线和该B车道线为不相同的两条车道线。
示例性的,在对局部地图中的车道线网格进行连通域分析处理时,可按照预设尺寸的图像检测窗口从局部地图中选取小范围的网格,并基于各个网格的语义信息确定出处于该图像检测窗口内的各网格的连通域标签,其中,非车道线网格对应的连通域标签为0,车道线网格的连通域标签由对应的语义信息确定。由于处于相同连通域的网格对应有相同的连通域标签,所以基于连通域标签是否相同的特性可确定出图像检测窗口的各连通域,即确定每个连通域包括的网格,其中,所述图像检测窗口的预设尺寸例如可以是3×3或者5×5。
在确定每个连通域包括的各网格后,可对各连通域对应的网格按照最优解算法进行拟合,得到各连通域对应的局部车道线,以此类推,可确定出图像检测窗口在局部地图中位于不同位置时包括的车道线对应的局部车道线,从而可确定出局部地图中的所有局部车道线,以得到局部车道线集合。
举例来说,如果从局部车道线中选取的位于图像检测窗口中的网格对应的连通域标签如图3所示,可将连通域标签为1的所有车道线网格按照最优解算法拟合出一条局部车道线,如图中的501,将连通域标签为2的所有车道线网格按照最优解算法拟合出一条局部车道线,如图中的502,以此类推,可将处于该图像检测窗口中的所有车道线网格拟合成多条局部车道线,从而可确定出局部地图中的所有局部车道线。
示例性的,在确定出局部地图对应的局部车道线集合之后,可以基于带权最大团算法和局部车道线集合中各局部车道线的权重值,优化确定出至少一条初始车道线,并对至少一条初始车道线进行过滤处理,得到初始车道线集合。
示例性的,对局部车道线集合中各局部车道线的特征信息进行分析,以得到各局部车道线的权重值,进而基于预设优化算法,如带权最大团算法和各局部车道线的权重值,优化确定出至少一条初始车道线,得到初始车道线集合。
其中,局部车道线的权重值是根据车道线的特征信息确定的,在一个实施例中,车道线的特征信息包括:车道线的几何特征和/或颜色特征,几何特征包括长度特征、宽度特征以及车道线之间的平行特征中的任意一种或多种。
作为一种可行的实施例方式,可以预先建立车道线的几何特征、颜色特征与假设分值的对应关系,一个车道线对应的假设分值总和越高,那么该车道线为实际车道线的可能性越大。示例性地,该车道线的几何特征、颜色特征与假设分值的对应关系可以如表1所示。可以看出,每一个局部车道线均可以通过该表1所示的对应关系,确定出自身对应的假设分值总和,该假设分值总和即为该局部车道线对应的权重值。
表1车道线特征信息的分值
其中,表1中各个特征维度对应的假设分值仅为一种示例,主要用于说明通过车道线的特征信息确定局部车道线权重值的原理,不能成为对本发明实施例的限定。
在一个实施例中,可以解析各个局部车道线的特征信息,并根据预先建立的车道线的几何特征、颜色特征与假设分值的对应关系,确定出各个局部车道线的权重值。进一步地,基于带权最大团算法,解出局部车道线中权重值最高的至少一条局部车道线,即至少一条初始车道线。
进一步地,可以对至少一条初始车道线进行过滤处理,得到初始车道线集合。在一个实施例中,可基于预设的针对初始车道线的先验信息进行后处理,以实现对上述至少一条初始车道线的所有初始车道线进行过滤,将该所有初始车道线中的错误车道线滤除,得到初始车道线集合。
其中,所述预设的针对初始车道线的先验信息是基于车道线的国家标准设定的一个预设范围或者预设值,所述先验信息具体包括长度信息以及宽度信息等,假设国家标准的车道线长度为1.5米,则该针对初始车道线的先验信息包括的长度信息可以设定为小于标准车道线长度的部分长度,例如10厘米至15厘米的范围等等;假设国家标准的车道线宽度为15厘米,则该先验信息包括的宽度信息可以设定为13厘米至17厘米的范围等。对应的,该错误车道线为不满足该预设的先验信息的车道线。
从局部车道线集合中筛选出的初始车道线可以认为是和实际车道线最相符的车道线。
S120、对所述初始车道线集合中的初始车道线数据进行拟合优化,得到目标车道线集合,其中,所述拟合优化包括:根据所述初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合。
具体的,在从局部地图中确定出初始车道线集合之后,可以对历史车道线集合中的历史车道线数据和初始车道线集合中的初始车道线数据进行拟合优化,得到目标车道线集合。可以将当前的车道线检测结果与历史车道线检测结果进行时序和空间上的融合,有利于提高车道线检测结果的准确度。
示例性的,将初始车道线集合中过滤后的初始车道线数据与历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合,以完成对车道线的检测。
在一些实施方式中,在从局部地图中确定出初始车道线集合之后,可以查询存储区域中是否存在历史车道线集合。
示例性的,若不存在该历史车道线集合,则可以确定本次车道线检测为首次车道线检测,并根据本次获得的初始车道线集合确定历史车道线集合,并将确定的历史车道线集合存储在存储区域中,以便于后续与新的初始车道线集合进行拟合优化。若存在历史车道线集合,则可以对历史车道线集合中的历史车道线数据和初始车道线集合中的初始车道线数据进行拟合优化,得到目标车道线集合。
在一些实施方式中,所述拟合优化用于使得所述目标车道线集合包括相互不平行的车道线。
通过将初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,使得所述拟合优化可以不依赖车道线几何平行假设和路面平行假设,可以适用于道路包括分岔路口的场景,如图2所示,道路包括相互不平行的车道线,提高了车道线检测方法的通用性。
在一些实施方式中,所述根据所述初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合,包括:基于过拟合约束条件和平行约束条件,根据所述初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合。
示例性的,从初始车道线集合中确定出待拟合的初始车道线数据,并从历史车道线集合中确定出与该初始车道线数据匹配的历史车道线,待拟合的初始车道线数据为所述初始车道线集合中的任一个。
示例性的,通过将待拟合的初始车道线数据的索引信息与历史车道线集合中的历史车道线数据的索引信息进行匹配,确定与该初始车道线数据匹配的目标历史车道线。
例如,可以基于组成初始车道线的车道线网格的语义信息确定各个初始车道线所属的车道,进而对各个初始车道线数据添加索引信息,每个索引信息指示了初始车道线数据所属的车道。
从历史车道线集合中确定出与待拟合的初始车道线匹配的历史车道线之后,根据基于过拟合约束条件和平行约束条件,根据所述初始车道线数据和所述历史车道线数据进行拟合优化,得到该初始车道线数据对应的目标车道线。
依次确定初始车道线集合中的各初始车道线数据为待拟合的初始车道线,并确定各初始车道线数据对应的目标车道线;根据至少一个目标车道线得到目标车道线集合;由于过拟合约束条件和平行约束条件,使得目标车道线集合包括相互不平行的车道线。
在一些实施方式中,通过包括过拟合约束条件和平行约束条件的车道模型对初始车道线数据和所述历史车道线数据进行拟合优化。
示例性的,车道模型对应的数学函数可以由三部分组成,第一部分为基础的最小二乘模型,用于求解初始车道线数据对应的车道线位置点与拟合优化得到的目标车道线对应的曲线方程之间的最小误差;第二部分为曲线的平滑项(对应过拟合预设条件),可以使用对曲线方程的三阶导数平方进行积分作为平滑约束,主要用于防止过拟合;第三部分为弱平行约束项(对应平行约束条件),主要用于对相邻两车道线间的平行状态进行约束。
示例性的,以fi(t)表示第i条初始车道线的初始车道线数据进行拟合优化得到的目标车道线的曲线方程。
示例性的,目标车道线的曲线方程以五次多项式描述,具体的有:
fi(t)=TiCi,其中,Ti=(1,t,t2,…,t5)且Ci=(c0,c1,c2,…,c5)T
式中,Ti表示多项式基向量,t表示车道线位置点在局部地图上的第一坐标,Ci表示拟合系数数据,为需要求解的量,上标T表示矩阵的转置;从而,拟合优化得到的目标车道线对应的曲线方程表示如下:
fi(t)=TiCi=c0+c1×t+c2×t2+c3×t3+c4×t4+c5×t5
车道模型的第一部分为用于求解初始车道线数据对应的车道线位置点与拟合优化得到的目标车道线对应的曲线方程之间的最小误差。
车道模型的第二部分为曲线的平滑项(对应过拟合预设条件),可以使用对曲线方程的三阶导数平方进行积分作为平滑约束。
车道模型的第三部分为弱平行约束项(对应平行约束条件),主要用于对相邻两车道线间的平行状态进行约束。例如用于对第i条初始车道线和第i+1条初始车道线间的平行状态进行约束。
示例性的,可以根据目标车道线曲线方程的五次多项式描述形式,对车道模型的第一部分、第二部分和第三部分进行处理,并将处理结果中与拟合系数数据Ci无关的部分以常量表示,从而可以得到关于拟合系数数据Ci的矩阵形式的车道模型,如矩阵形式的目标函数。
在一些实施方式中,拟合优化的目标函数表示为求取相邻两个目标车道线曲线方程的拟合系数数据,使得车道模型的第一部分、第二部分和第三部分之和的最小值。
示例性的,对矩阵形式的目标函数求导,并令导数为0,可以得到关于相邻两个目标车道线曲线方程的拟合系数数据的等式。
根据该等式可以得到相邻两个目标车道线曲线方程的拟合系数数据。根据求取的拟合系数数据,进而可以得到相邻两个目标车道线的最优曲线方程,例如得到第i条初始车道线和第i+1条初始车道线对应的拟合得到的目标车道线的曲线方程。
示例性的,通过对该等式等号两边的关于多项式基向量Ti和拟合系数数据Ci的累加部分构造累加和可以实现保留历史观测信息。
示例性的,关于多项式基向量Ti的累加和为第一聚合数据Ai,关于多项式基向量Ti和拟合系数数据Ci的累加和为第二聚合数据Bi。
根据对历史观测的时序累加得到第一聚合数据Ai和第二聚合数据Bi。第一聚合数据Ai和第二聚合数据包含了更多的历史观测,可以防止例如滑动窗口造成的有效观测丢失而使车道线检测的鲁棒性降低。
同时,虽然第一聚合数据Ai和第二聚合数据Bi是对观测的时序累加获得,但是其数据量只和车道线曲线方程的阶数和曲线的分段数决定。
示例性的,所述历史车道线数据由历史的初始车道线数据根据预设融合规则累加得到。
可以理解的,所述历史车道线数据具有相同的数据量。
在一些实施方式中,根据当前时刻,如第n+1时刻的多项式基向量和拟合系数数据确定,以及第n时刻的第一聚合数据Ai和第二聚合数据Bi可以解算处当前时刻拟合优化的目标车道线的曲线方程的拟合系数。
在一些实施方式中,根据当前时刻,如第n+1时刻的多项式基向量和拟合系数数据确定累加和的增量,并将新确定的增量相应的累加至第一聚合数据Ai、第二聚合数据Bi,实现将初始车道线数据压缩至历史车道线数据,得到更新的历史车道线数据。
可以理解的,所述初始车道线数据和历史车道线数据通过预设的数据结构进行处理。例如通过对由多项式基向量和拟合系数数据确定的增量的累加实现对初始车道线数据和历史车道线数据的处理。其中,所述预设的数据结构具有确定的计算量。例如各时刻的增量和历史的第一聚合数据、第二聚合数据的累加均具有相同的计算量不会随着历史观测数据的积累而增加,以及根据第一聚合数据和第二聚合数据解算曲线方程系数的计算量也不会随着历史观测数据的积累而增加。
在一些实施方式中,如图4所示,所述根据所述初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合,包括步骤S121至步骤S123。
S121、从所述历史车道线集合中确定与所述初始车道线数据匹配的历史车道线数据。
示例性的,通过将所示初始车道线数据的索引信息与历史车道线集合中的历史车道线数据的索引信息进行匹配,确定与该初始车道线数据匹配的历史车道线数据。
示例性的,若某初始车道线数据对应于第i条车道线,则所述历史车道线集合中与该第i条车道线对应的历史车道线数据与所述初始车道线数据匹配。
S122、基于过拟合约束条件和平行约束条件,对所述初始车道线数据和历史车道线数据进行拟合优化,得到所述初始车道线数据对应的目标车道线。
示例性的,所述第i条车道线对应的历史车道线数据包括第一聚合数据Ai和第二聚合数据Bi。
具体的,如图5所示,所述基于过拟合约束条件和平行约束条件,对所述初始车道线数据和历史车道线数据进行拟合优化,得到所述初始车道线数据对应的目标车道线,包括步骤S1221至步骤S1222。
S1221、根据所述初始车道线数据确定第一增量数据和第二增量数据。
示例性的,第n+1时刻的初始车道线数据包括若干车道线位置点,从而可以确定用于叠加至第一聚合数据的第一增量数据和用于叠加至第二聚合数据的第二增量数据。
示例性的,车道线位置点在地图上可以以第一坐标值和第二坐标值表示,例如第一坐标值对应的第一坐标轴为平行于车辆左右方向的坐标轴,第二坐标值对应的第二坐标轴为平行于车辆行驶方向的坐标轴。
在一些实施方式中,所述根据所述初始车道线数据确定第一增量数据,包括:根据所述初始车道线在局部地图上的第一坐标值确定所述第一增量数据,所述局部地图是根据所述可移动平台所处的环境确定的。
在一些实施方式中,所述根据所述初始车道线数据确定第二增量数据,包括:根据所述初始车道线在局部地图上的第一坐标值和所述初始车道线在局部地图上的第二坐标值确定所述第二增量数据。
S1222、基于根据过拟合约束条件和平行约束条件确定的等式,根据所述第一增量数据、第二增量数据、第一聚合数据和第二聚合数据确定所述初始车道线数据对应的目标车道线。
在一些实施方式中,所述根据所述第一增量数据、第二增量数据、第一聚合数据和第二聚合数据确定所述初始车道线数据对应的目标车道线,包括:根据所述第一增量数据、第二增量数据、第一聚合数据和第二聚合数据确定所述初始车道线数据对应的多项式系数;根据所述多项式系数确定所述初始车道线数据对应的目标车道线。
具体的,拟合得到的第i条车道线对应的曲线方程表示如下:
fi(t)=TiCi=c0+c1×t+c2×t2+c3×t3+c4×t4+c5×t5
S123、由至少一个所述目标车道线组成目标车道线集合。
示例性的,根据车辆两侧最近的两个目标车道线组成目标车道线集合,或者根据车辆左侧最近的目标车道线组成目标车道线集合,或者根据车辆右侧最近的目标车道线组成目标车道线集合,或者将传感器视野内拟合得到的所有目标车道线组成目标车道线集合。相应的,后续可以拟合优化和目标车道线集合中相应数目的车道线。
由于车道模型进行初始车道线和目标历史车道线的拟合时在相邻两车道线间增加了平行状态的约束。因此,对于复杂的车道检测场景,如分岔路场景、城区场景等,均可以更好的保证车道线检测的准确性,从而能够更好地适用于多种车道线场景,提升了通用性。
示例性的,得到目标车道线集合之后,可以对目标车道线集合中的目标车道线进行组合,得到至少一个车道,并生成车道的车道中心线,以便于辅助可移动平台行驶。例如可以根据属性信息,如车道的几何特征和/或颜色特征等对目标车道线进行组合,该几何特征包括长度特征、宽度特征以及车道之间的平行特征中的任意一种或多种。
在一些实施方式中,车道线检测方法还包括:根据所述初始车道线数据更新所述历史车道线数据,更新后的历史车道线数据与更新前的历史车道线数据具有相同的数据量。
示例性的,所述根据所述初始车道线数据更新所述历史车道线数据,包括:将所述第一增量数据累加至所述第一聚合数据,以及将所述第二增量数据累加至所述第二聚合数据。实现将初始车道线数据压缩至历史车道线数据,得到更新的历史车道线数据。且更新后的历史车道线数据与更新前的历史车道线数据具有相同的数据量,可以做到不受融合累积的观测量增加而增加计算复杂度,达到了使拟合优化的计算量被约束住的目的。
本说明书实施例提供的车道线检测方法,通过可移动平台周围的环境图像确定若干初始车道线数据,然后根据若干初始车道线数据和历史车道线集合中相应的历史车道线数据进行拟合优化,得到若干目标道线。由于拟合优化融合了车道线的历史检测数据,使得车道线检测可以不依赖车道线几何平行假设和路面平行假设,从而可以适用于道路包括分岔路口的场景,提高了通用性和检测准确度。
请结合上述实施例参阅图6,图6是本说明书一实施例提供的车道线检测装置100的示意性框图。该车道线检测装置100包括传感器101和处理器102,传感器101例如可以包括视觉传感器,用于获取可移动平台周围的环境图像。
具体地,处理器102可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
示例性的,车道线检测装置100还包括存储器103,例如可以包括Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,所述处理器102用于运行存储在存储器103中的计算机程序,并在执行所述计算机程序时实现前述的车道线检测方法。
示例性的,所述处理器用于运行存储在存储器103中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获取可移动平台周围的环境图像,并根据所述环境图像得到所述可移动平台的初始车道线集合;
对所述初始车道线集合中的初始车道线数据进行拟合优化,得到目标车道线集合;
其中,所述拟合优化包括:根据所述初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合,所述拟合优化用于使得所述目标车道线集合包括相互不平行的车道线。
示例性的,所述处理器实现所述根据所述初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合时,实现:
基于过拟合约束条件和平行约束条件,根据所述初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合。
示例性的,所述初始车道线数据和历史车道线数据通过预设的数据结构进行处理,其中,所述预设的数据结构具有确定的计算量。
示例性的,所述历史车道线数据由历史的初始车道线数据根据预设融合规则累加得到。
示例性的,所述处理器实现所述根据所述初始车道线数据和历史车道线集合中的历史车道线数据进行拟合优化,得到目标车道线集合时,实现:
从所述历史车道线集合中确定与所述初始车道线数据匹配的历史车道线数据;
基于过拟合约束条件和平行约束条件,对所述初始车道线数据和历史车道线数据进行拟合优化,得到所述初始车道线数据对应的目标车道线;
由至少一个所述目标车道线组成目标车道线集合。
示例性的,所述历史车道线数据包括第一聚合数据和第二聚合数据;
所述处理器实现所述基于过拟合约束条件和平行约束条件,对所述初始车道线数据和历史车道线数据进行拟合优化,得到所述初始车道线数据对应的目标车道线时,实现:
根据所述初始车道线数据确定第一增量数据和第二增量数据;
基于根据过拟合约束条件和平行约束条件确定的等式,根据所述第一增量数据、第二增量数据、第一聚合数据和第二聚合数据确定所述初始车道线数据对应的目标车道线。
示例性的,所述处理器实现所述确定所述初始车道线数据对应的目标车道线时,实现:
确定所述初始车道线数据对应的多项式系数;
根据所述多项式系数确定所述初始车道线数据对应的目标车道线。
示例性的,所述处理器还实现:
根据所述初始车道线数据更新所述历史车道线数据,更新后的历史车道线数据与更新前的历史车道线数据具有相同的数据量。
示例性的,所述处理器实现所述根据所述初始车道线数据更新所述历史车道线数据时,实现:
将所述第一增量数据累加至所述第一聚合数据;
将所述第二增量数据累加至所述第二聚合数据。
示例性的,所述处理器实现所述根据所述初始车道线数据确定第一增量数据时,实现:
根据所述初始车道线在局部地图上的第一坐标值确定所述第一增量数据,所述局部地图是根据所述可移动平台所处的环境确定的。
示例性的,所述处理器实现所述根据所述初始车道线数据确定第二增量数据时,实现:
根据所述初始车道线在局部地图上的第一坐标值和所述初始车道线在局部地图上的第二坐标值确定所述第二增量数据。
本说明书实施例提供的车道线检测装置的具体原理和实现方式均与前述实施例的车道线检测方法类似,此处不再赘述。
请结合上述实施例参阅图7,图7是本说明书一实施例提供的可移动平台200的示意性框图。
如图7所示,可移动平台200包括前述的车道线检测装置100,用于确定车道线。可移动平台200还包括运动组件210,用于行驶。
在一些实施方式中,可移动平台200可以为车辆,例如可以为载人车辆、载货车辆、无人车辆等,如人工驾驶车辆或自动驾驶车辆。
本说明书实施例提供的可移动平台的具体原理和实现方式均与前述实施例的车道线检测方法类似,此处不再赘述。
本说明书的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的车道线检测方法的步骤。
其中,所述计算机可读存储介质可以是前述任一实施例所述的车道线检测装置的内部存储单元,例如所述车道线检测装置的硬盘或内存。所述计算机可读存储介质也可以是所述车道线检测装置的外部存储设备,例如所述车道线检测装置上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。
本说明书上述实施例提供的车道线融合装置、可移动平台和存储介质,通过可移动平台周围的环境图像确定若干初始车道线数据,然后根据若干初始车道线数据和历史车道线集合中相应的历史车道线数据进行拟合优化,得到若干目标道线。由于拟合优化融合了车道线的历史检测数据,使得车道线检测可以不依赖车道线几何平行假设和路面平行假设,从而可以适用于道路包括分岔路口的场景,提高了通用性和检测准确度。
应当理解,在此本说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本说明书。
还应当理解,在本说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
以上所述,仅为本说明书的具体实施方式,但本说明书的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本说明书的保护范围之内。因此,本说明书的保护范围应以权利要求的保护范围为准。