CN113029185B - 众包式高精度地图更新中道路标线变化检测方法及系统 - Google Patents

Abstract

本发明涉及一种众包式高精度地图更新中道路标线变化检测方法及系统，其包括：根据车载摄像机获得原始图像序列或视频之后，确定路段，得到道路路段的车道标记占用值；将检测到的道路标线中心点由像素坐标转换为世界坐标，对车道标记分类；跟踪车道标志位置，计算车道标志置信度；过滤置信度，并更新置信度，完成检测。本发明检测过程效率较高，可以广泛在高精度地图数据更新技术领域中应用。

Description

众包式高精度地图更新中道路标线变化检测方法及系统

技术领域

本发明涉及一种高精度地图数据更新技术领域，特别是关于一种众包式高精度地图更新中道路标线变化检测方法及系统。

背景技术

高精度地图已经成为了实现无人驾驶必备的关键技术，在智能汽车智能感知、高精定位、规划决策等相关技术中得到了逐步普及应用。伴随着对高精度地图数据的依赖，高精地图数据自身的精度与实时性也提出了较高的要求，地图数据更新不及时，将直接影响自动驾驶系统的安全性、稳定性与可靠性。使用昂贵的移动测试系统进行高精度地图数据的更新方式成本高、更新频率低，难以得到普及推广，目前国内外研究机构与企业逐渐关注众包式更新，但是实际交通场景中变化要素的快速检测机制是高精度地图更新面临的首要挑战。这样就可以实时检测到具体什么时候、哪个位置发生了变化需要进行地图数据的更新。

发明内容

针对上述问题，本发明的目的是提供一种众包式高精度地图更新中道路标线变化检测方法及系统，其检测过程效率较高。

为实现上述目的，本发明采取以下技术方案：一种众包式高精度地图更新中道路标线变化检测方法，其包括：步骤1、根据车载摄像机获得原始图像序列或视频之后，确定路段，得到道路路段的车道标记占用值；步骤2、将检测到的道路标线中心点由像素坐标转换为世界坐标，对车道标记分类；步骤3、跟踪车道标志位置，计算车道标志置信度；步骤4、过滤置信度，并更新置信度，完成检测。

进一步，所述步骤1中，车道标记占用值具体获取方法包括以下步骤：

步骤1.1、检测原始图像上存在道路标记的像素，对图像进行分割处理；

步骤1.2、基于道路标线的亮度值进行初始过滤，消除分割噪声；

步骤1.3、确定分割后道路标线的中心点，得到检测到的每个道路标线的中心点，根据车辆位置得到车道线标记占用值。

进一步，所述步骤1.3中，采用边缘计算方法确定分割后道路标线的中心点。

进一步，所述步骤2中，根据参考车辆位置的世界位置将道路标记分为三种观测类型：绝对观测、可靠观测和不可靠观测。

进一步，所述绝对观测区域根据车辆横向速度v_lat和时间t的乘积得出其长度l_abs，绝对观测区域的宽度w_abs与车辆宽度veh_width相等。

进一步，所述可靠的观测区域根据摄像机的视角得到：视角的角度越大，可靠的观测区域的宽度就越大，该宽度需位于路面宽度以内。

进一步，所述步骤3中，置信度l(obs＝1|J_1：S)为：

l(obs＝1|J_1：S)＝l(obs＝1|J_S)+l(obs＝1|J_1：S-1)

其中，J_s是当前观测值，J_1：S是车道标志为真时的当前观测值，obs是观测类型。

进一步，所述步骤4中，过滤掉小于55％的置信值，将具有大于55％的置信度的车道标线数与HD地图数据库进行匹配；

如果匹配，则认为不需要更新；

如果不匹配，则需要根据丢失的数据进行更新；当HD地图数据丢失并且收集的数据具有非常高的置信度时，则需要更新；当置信度不够高时，则延迟更新，并等待来自另一辆车的另一个数据；当收集到的数据丢失时，也根据置信度判断是否需要更新。

进一步，当置信度大于等于80％时，则为非常高的置信度；当置信度小于80％时，则为置信度不够高。

一种众包式高精度地图更新中道路标线变化检测系统，其包括：车道标记占用值获取模块、分类模块、置信度计算模块和更新检测模块；

所述车道标记占用值获取模块，根据车载摄像机获得原始图像序列或视频之后，确定路段，得到道路路段的车道标记占用值；

所述分类模块，将检测到的道路标线中心点由像素坐标转换为世界坐标，对车道标记分类；

所述置信度计算模块，跟踪车道标志位置，计算车道标志置信度；

所述更新检测模块，过滤置信度，并更新置信度，完成检测。

本发明由于采取以上技术方案，其具有以下优点：

1、本发明可以确定需要更新的确切路段，与高精度地图数据同时对整条道路进行更新相比，使得基于高精度地图变化检测过程更为高效。

2、本发明还使用预期观察来确定车道标线是否未被检测，或者是否由于感知错误或发生拥堵而导致没有被检测到。

附图说明

图1是本发明的检测方法整体流程示意图；

图2是基于图像和车辆姿态数据计算占用值的流程图；

图3是基于从每个图像帧获得的占用值的置信度模型；

图4是基于路段/连接中存在道路标记的置信度的更新紧急度模型；

图5是三种观察结果的示意图；

图6为各路段/连接线道路标线占用情况结构图；

图7是预期观察和跟踪检测到的道路标记以确定其何时离开预期观察区域的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种众包式高精度地图更新中道路标线变化检测方法及系统，其应用于基于高精度地图数据库以及基于智能车辆观测到的现实世界之间的变化检测与估计。本发明是从搭载定位模块与单目相机的智能车辆数据中有效分析高清地图变化检测的方法。该方法利用机器学习算法对图像帧中的道路标线进行检测和分类，并利用车辆姿态信息将道路标线转换为统一世界坐标中，其中，道路标记的位置用于确定放置车道标记的路段。有效的保证了观测的稳定性，并能确定车辆通过车道标线的确切时刻。

在本发明的第一实施方式中，如图1所示，提供一种众包式高精度地图更新中道路标线变化检测方法，其包括以下步骤：

步骤1、根据车载摄像机获得原始图像序列或视频之后，确定路段，得到道路路段的车道标记占用值；

如图2所示，车道标记占用值具体获取方法包括以下步骤：

步骤1.1、检测原始图像上存在道路标记的像素，对图像进行分割处理；

在本实施例中，采用现有成熟的深度学习方法检测图像上存在道路标记的像素；

步骤1.2、基于道路标线的亮度值进行初始过滤，消除分割噪声；

步骤1.3、确定分割后道路标线的中心点，得到每个图像帧的输出结果，即检测到的每个道路标线的中心点，根据车辆位置得到车道线标记占用值；

在本实施例中，采用边缘计算方法确定分割后道路标线的中心点；

步骤2、将检测到的道路标线中心点由像素坐标转换为世界坐标，对车道标记分类；

具体为：车辆姿态到摄像机姿态，图像坐标通过摄像机姿态到世界坐标，即由像素坐标转换为世界坐标，此过程的最终结果是得到世界坐标中的道路标记中心点m(x_w，y_w，z_w)：

m(x_w，y_w，z_w)＝K·[R|t]·m(x_p，y_p)

其中，m是映射到世界坐标的道路标线，(x_w，y_w，z_w)是世界坐标，K是摄像机内参，[R|t]是通过车辆姿态结果的变换得到的6自由度车辆姿态，(x_p，y_p)是像素坐标。

得到道路标记中心点m(x_w，y_w，z_w)后，根据参考车辆位置的世界位置将道路标记分为三种观测类型：绝对观测、可靠观测和不可靠观测。

(1)如图5所示，绝对观测区域可根据车辆横向速度v_lat和时间t得出其长度l_abs，绝对观测区域的宽度w_abs与车辆宽度veh_width相等。时间范围t根据具体需要进行设置，在本实施例中，t为3秒。绝对观测区域为：

(l_abs，w_abs)＝(v_lat·t，veh_width)

(2)可靠的观测区域根据摄像机的视角得到：视角的角度越大，可靠的观测区域的宽度就越大，该宽度需位于路面宽度以内，由路面宽度进行限制，以避免路面以外的虚假检测。可靠的观测区域的长度，可根据天气条件和具体应用情况进行设定。

(3)不可靠观测区域：任何超出可靠观测区域范围的情况都为不可靠观测区域。该区域内检测到的车道标线被忽略，因为它在车道标线检测的准确性方面往往模糊不清。

每个图像帧的输出结果将是每个检测到的车道标记的观察分类。当观察车道标线时，该车道标线的占用值设为1，如图6所示。

步骤3、跟踪车道标志位置，计算车道标志置信度；

跟踪车道标志位置对于定义置信度更新的终点很重要；判断车道标志是否在预期的观察区域内，应跟踪车道标志的位置。

在本实施例中，跟踪算法采用现有成熟算法即可，在此不做限定。

在本实施例中，车道标线由四个距离度量{D₁，D₂，D₃，D₄}跟踪，如图7所示。其中，D₁是道路标记到可靠观察区的左上角的距离，D₂是道路标记到可靠观察区的后角的距离，D₃是道路标记到可靠观察区的前角的距离，D₄是道路标记到可靠观察区的右上角的距离。最后，在完成所有这些过程并确定终点后，观察到的车道标志为真的概率p为：

其中，J_1：S是车道标志为真时的当前观测值，obs是观测类型(绝对、可靠和不可靠)，l表示置信度。

由于已经完成了车道标线位置的跟踪，因此可以知道车道标线在世界坐标系中的确切位置。因此，该信息可用于确定道路标记所在的路段。最后，得到路段上每个车道标志存在的置信度信息，与HD(高清)地图数据库进行比较。

在本实施例中，采用1_ogit函数的贝叶斯更新算法计算出车道标线存在的置信度。具体如图3所示，车道标志置信度的计算包括以下步骤：

步骤3.1、判断车道标记是否在预期观察范围内，若是，则跟踪车道标志位置，进入步骤3.2；反之，则更新终点，进入步骤3.3；

步骤3.2、计算车道标线的置信度：将当前观测的概率与过去观测的概率l(obs＝1|J_1：S-1)相结合，计算整个观测的置信度l(obs＝1|J_1：S)。

l(obs＝1|J_1：S)＝l(obs＝1|J_S)+l(obs＝1|J_1：S-1)

其中，J_s是当前观测值。每种类型的正确观察的概率应该不同，并且应该根据机器学习算法和应用进行调整。

步骤3.3、确定路段中车道标记是否存在的最终信息。

追踪车道标线以确定车辆通过车道标线的确切时刻；这部分定义为预期观察(在可靠观测或绝对观测区域内)，根据车辆定位和车道标线定位，除非车道标线被遮挡或出现错误观测检测，否则应观察车道标线。

步骤4、过滤置信度，并更新置信度，完成检测；

如图4所示，具体为：过滤掉较低的置信度，将具有较高置信度的车道标线数与HD地图数据库进行匹配。其中，若置信度小于55％，则认为是较低的置信度，若置信度大于55％，则认为是较高的置信度。

如果匹配，则认为不需要更新。

如果不匹配，则需要根据丢失的数据进行更新。当HD地图数据丢失并且收集的数据具有非常高的置信度时，则需要更新。但是，当置信度不够高时，则延迟更新，并等待来自另一辆车的另一个数据。当收集到的数据丢失时，也根据置信度判断是否需要更新，因为在未观测到道路标记时无法确保更新，因为它可能是由其他车辆遮挡引起的，因此在这种情况下需要另一个车辆数据。

其中，当置信度大于等于80％时，则为非常高的置信度；当置信度小于80％时，则为置信度不够高。

在本发明的第二实施方式中，提供一种众包式高精度地图更新中道路标线变化检测系统，其包括：车道标记占用值获取模块、分类模块、置信度计算模块和更新检测模块；

车道标记占用值获取模块，根据车载摄像机获得原始图像序列或视频之后，确定路段，得到道路路段的车道标记占用值；

分类模块，将检测到的道路标线中心点由像素坐标转换为世界坐标，对车道标记分类；

置信度计算模块，跟踪车道标志位置，计算车道标志置信度；

更新检测模块，过滤置信度，并更新置信度，完成检测。

综上，本发明利用机器学习算法对图像帧中的道路标线进行检测和分类，并利用车辆姿态信息将道路标线转换为统一世界坐标中，其中，道路标记的位置用于确定放置车道标记的路段。为了保证观测的稳定性，根据道路标线相对于车辆的位置对观测类型进行分类：不可靠观测、可靠观测和绝对观测。这一分类的重要性在于确保道路标记在定位时不会被任何东西挡住。此外，当存在车道标线时，对车道标线的观察可能会经常中断。因此，随后追踪车道标线，以确定车辆通过车道标线的确切时刻。这部分定义为预期观察，根据车辆定位和车道标线定位，除非车道标线被遮挡或出现错误观测检测，否则应观察车道标线。该信息随后用于贝叶斯更新算法，以确定特定路段上车道标志存在的置信度。在获得特定路段上特定车道标志的置信值后，将其与高清地图数据库信息进行比较，以确定高清地图更新的紧迫性。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (3)

1.一种众包式高精度地图更新中道路标线变化检测方法，其特征在于，包括：

步骤1、根据车载摄像机获得原始图像序列或视频之后，确定路段，得到路段的车道线标记占用值；

步骤2、将检测到的道路标线中心点由像素坐标转换为世界坐标，对车道线标记分类；

步骤3、跟踪车道线标记位置，计算车道线标记置信度；

步骤4、过滤置信度，并更新置信度，完成检测；

所述步骤1中，车道线标记占用值具体获取方法包括以下步骤：

步骤1.1、检测原始图像上存在车道线标记的像素，对图像进行分割处理；

步骤1.2、基于道路标线的亮度值进行初始过滤，消除分割噪声；

步骤1.3、确定分割后道路标线的中心点，得到检测到的每个道路标线的中心点，根据车辆位置得到车道线标记占用值；

所述步骤1.3中，采用边缘计算方法确定分割后道路标线的中心点；

所述步骤2中，根据参考车辆位置的世界位置将车道线标记分为三种观测类型：绝对观测、可靠观测和不可靠观测；

所述绝对观测的区域根据车辆横向速度v_lat和时间t的乘积得出其长度l_abs，绝对观测的区域的宽度w_abs与车辆宽度veh_width相等；

所述可靠观测的区域根据摄像机的视角得到：视角的角度越大，可靠观测的区域的宽度就越大，该宽度需位于路面宽度以内；

所述步骤3中，置信度l (obs＝1|J_1:S)为：

l (obs＝1|J_1:S)＝l (obs＝1|J_S)+ l (obs＝1|J_1:S-1)

其中，J_s是当前观测值，J_1:S是车道线标记为真时的当前观测值，obs是观测类型；

所述步骤4中，过滤掉小于55％的置信值，将具有大于55％的置信度的车道线标记线数与HD地图数据库进行匹配；

如果匹配，则认为不需要更新；

如果不匹配，则需要根据丢失的数据进行更新；当HD地图数据丢失并且收集的数据具有非常高的置信度时，则需要更新；当置信度不够高时，则延迟更新，并等待来自另一辆车的另一个数据；当收集到的数据丢失时，也根据置信度判断是否需要更新。

2.如权利要求1所述检测方法，其特征在于，当置信度大于等于80％时，则为非常高的置信度；当置信度小于80％时，则为置信度不够高。

3.一种众包式高精度地图更新中道路标线变化检测系统，其特征在于，包括：车道线标记占用值获取模块、分类模块、置信度计算模块和更新检测模块；

所述车道线标记占用值获取模块，根据车载摄像机获得原始图像序列或视频之后，确定路段，得到路段的车道线标记占用值；

所述分类模块，将检测到的道路标线中心点由像素坐标转换为世界坐标，对车道线标记分类；

所述置信度计算模块，跟踪车道线标记位置，计算车道线标记置信度；

所述更新检测模块，过滤置信度，并更新置信度，完成检测；

所述车道线标记占用值获取模块中，车道线标记占用值具体获取方法包括以下步骤：

步骤1.1、检测原始图像上存在车道线标记的像素，对图像进行分割处理；

步骤1.2、基于道路标线的亮度值进行初始过滤，消除分割噪声；

步骤1.3、确定分割后道路标线的中心点，得到检测到的每个道路标线的中心点，根据车辆位置得到车道线标记占用值；

所述步骤1.3中，采用边缘计算方法确定分割后道路标线的中心点；

所述分类模块中，根据参考车辆位置的世界位置将车道线标记分为三种观测类型：绝对观测、可靠观测和不可靠观测；

所述绝对观测的区域根据车辆横向速度v_lat和时间t的乘积得出其长度l_abs，绝对观测的区域的宽度w_abs与车辆宽度veh_width相等；

所述可靠观测的区域根据摄像机的视角得到：视角的角度越大，可靠观测的区域的宽度就越大，该宽度需位于路面宽度以内；

所述置信度计算模块中，置信度l (obs＝1|J_1:S)为：

l (obs＝1|J_1:S)＝l (obs＝1|J_S)+ l (obs＝1|J_1:S-1)

其中，J_s是当前观测值，J_1:S是车道线标记为真时的当前观测值，obs是观测类型；

所述更新检测模块中，过滤掉小于55％的置信值，将具有大于55％的置信度的车道线标记线数与HD地图数据库进行匹配；

如果匹配，则认为不需要更新；

如果不匹配，则需要根据丢失的数据进行更新；当HD地图数据丢失并且收集的数据具有非常高的置信度时，则需要更新；当置信度不够高时，则延迟更新，并等待来自另一辆车的另一个数据；当收集到的数据丢失时，也根据置信度判断是否需要更新。

Images