CN112805766A - 用于更新详细地图的装置和方法 - Google Patents

Abstract

根据一个实施方式，用于更新详细地图的方法包括以下步骤：通过使用安装在车辆上的摄像装置来在多个不同位置处获取二维图像；检查用于获取二维图像的摄像装置的移动轨迹；通过基于详细地图上的道路的表面信息估计摄像装置的移动轨迹附近的针对车道的地标的三维位置，来生成局部地标地图；以及基于局部地标地图来更新详细地图。

Description

用于更新详细地图的装置和方法

相关申请的交叉引用

本公开内容涉及一种用于更新在驾驶车辆时提供的高清地图的装置和方法。本申请要求于2018年10月2日提交的韩国专利申请第10-2018-0117864号的优先权。该优先权所基于的申请的全部内容通过引用并入本文。

背景技术

通常，车辆意指使用化石燃料、电力等作为动力源来在道路或轨道上驾驶的运输机械。

随着技术的发展，已经开发了向驾驶员提供各种功能的车辆。特别地，根据车辆电气化的趋势，出现了具有在事故发生之前或事故发生时立即操作以防止事故发生的主动安全系统(ASS)的车辆。

此外，近年来，为了减轻驾驶员的负担并提高便利性，正在积极地进行对具有高级驾驶员辅助系统(ADAS)的车辆的研究，该系统主动提供关于驾驶环境例如车辆状况、驾驶员状况、以及周围环境等的信息。

由于ADAS通过接管控制驾驶员的车辆的部分或全部权利来直接控制车辆，因此需要考虑驾驶员的安全的精确控制。为此，ADAS倾向于使用高清地图，与用于汽车导航系统等的常规地图相比，在高清地图中累积有更精确的数据。

发明内容

技术挑战

要由本公开内容解决的问题是提供用于通过使用基于高清地图上的道路的表面信息估计的车道标识的位置来更新高清地图的高清地图更新装置及其方法。

然而，本发明要解决的问题不限于上述问题，并且本发明所属领域的技术人员将根据以下描述清楚地理解未提及的要解决的另一问题。

解决问题的方案

根据本公开内容的一方面，提供了一种更新高清地图的方法。该方法包括：通过使用安装在车辆上的摄像装置来在多个不同位置处获取二维图像；检查用于获取二维图像的摄像装置的移动轨迹；通过基于高清地图中的道路的表面信息估计摄像装置的移动轨迹周围的针对车道标识的地标的三维位置，来生成局部地标地图；以及基于局部地标地图来更新高清地图。

根据本公开内容的另一方面，提供了一种用于更新高清地图的装置。该装置包括：移动轨迹检查单元，其被配置成检查用于在多个不同位置处获取二维图像的摄像装置的移动轨迹；局部地标地图生成单元，其被配置成通过基于高清地图中的道路的表面信息估计摄像装置的移动轨迹周围的针对车道标识的地标的三维位置，来生成局部地标地图；以及更新单元，其被配置成基于局部地标地图来更新高清地图。

发明效果

根据一个实施方式的高清地图更新装置和方法可以安装在实际驾驶中的车辆上并且实时更新高清地图，而无需单独的用于更新高清地图的预操作。通过此，可以减少用于更新高清地图的成本和时间。另外，由于基于道路的表面信息来估计难以通过图像彼此匹配特征点的车道标识的位置，因此可以提高高清地图的更新的精度。

附图说明

图1a和图1b示出了根据本公开内容的各个实施方式的高清地图更新装置的功能框图。

图2示出了示出根据本公开内容的一个实施方式的由摄像装置捕获的二维图像的图。

图3示出了示出通过使用两个图像来获取地标的三维位置的方法的图。

图4示出了示出根据本公开内容的一个实施方式的、由局部地标地图生成单元估计针对结构物体的地标的三维位置的方法的图。

图5示出了示出根据本公开内容的一个实施方式的、由局部地标地图生成单元将高清地图与第一局部地标地图进行匹配的方法的图。

图6示出了示出根据本公开内容的一个实施方式的、由局部地标地图生成单元基于道路的表面信息生成第二局部地标地图的方法的图。

图7示出了示出根据本公开内容的一个实施方式的、局部地标地图生成单元基于道路的表面信息生成的第二局部地标地图的图。

图8示出了示出根据本公开内容的一个实施方式的、由局部地标地图生成单元确定图7的第二局部地标地图的有效性的方法的图。

图9示出了示出根据本公开内容的一个实施方式的、由更新单元拟合第二地标的方法的图。

图10示出了示出根据本公开内容的一个实施方式的高清地图更新方法的流程图。

具体实施方式

根据下面结合附图的描述，将清楚地理解本公开内容的优点和特征以及实现这些优点和特征的方法。然而，实施方式不限于所描述的那些实施方式，因为可以以各种形式来实施实施方式。应当注意，提供本实施方式以进行完整的公开并且也使得本领域技术人员能够知道实施方式的全部范围。因此，实施方式将仅由所附权利要求的范围来限定。

在描述本公开内容的实施方式时，如果确定对相关的已知部件或功能的详细描述不必要地使本公开内容的要点模糊，则将省略其详细描述。此外，以下要描述的术语是考虑到本公开内容的实施方式的功能而定义的，并且可以根据用户或操作者的意图或实践而变化。因此，可以基于整个说明书中的内容来做出其定义。

图1a和图1b示出了根据本公开内容的各个实施方式的高清地图更新装置的功能框图，并且图2示出了示出根据本公开内容的一个实施方式的由摄像装置捕获的二维图像的图。

根据本公开内容的一个实施方式的其全部或部分安装在车辆上的高清地图更新装置可以指示基于在车辆的行驶期间获取的车辆的周围信息来更新高清地图的装置。

在本文中，高清地图可以指示具有对车辆的安全和精确控制的高精度的地图。具体地，高清地图可以包括关于高度、坡度、曲率、交通车道的数目等以及道路的平面位置的信息。另外，高清地图还可以包括关于道路设施例如交通标志、交通信号灯、交通路标、护栏等的信息。

高清地图可以由点云组成，该点云是通过经由激光扫描仪等扫描道路而获得的多个点的集合，并且点云中包括的每个点可以在参考坐标系上具有三维空间坐标。对点云进行过滤，使得通过使用噪声滤波器保留仅有意义的数据，并且可以通过在与有意义的数据对应的每个点上标记地标来构建高清地图。

以这种方式标记的地标可以包括用于诸如道路周围的交通标志、交通信号灯、交通路标、护栏等各种类型的道路设施的结构物体、以及驾驶道路上的包括停止线和道路边缘的车道标识。特别地，针对结构物体的地标可以在高清地图上以点的形式表示，并且针对车道标识的地标可以以线的形式表示。

另外，配备有高清地图更新装置的车辆可以是被广泛地推广和使用的普通私人车辆或商用车辆，而不是专门为生成高清地图而准备的车辆例如MMS车辆。

参照图1a，根据本公开内容的一个实施方式的高清地图更新装置100可以包括摄像装置110、地标检测单元120、移动轨迹检查单元130、局部地标地图生成单元140和更新单元150，并且上述部件可以设置在车辆中。替选地，根据另一实施方式的高清地图更新装置100的除摄像装置110之外的全部或部分部件可以安装在与车辆间隔开的另一地方。参照图1b，根据另一实施方式的高清地图更新装置100包括：一体地安装在多个车辆中的每一个上的摄像装置110、地标检测单元120、移动轨迹检查单元130和局部地标地图生成单元140的第一局部地标地图生成单元141，以及在远程位置的高清地图更新服务器S中实现的更新单元150和局部地标地图生成单元140的第二局部地标地图生成单元142。在这种情况下，第二局部地标地图生成单元142和更新单元150可以通过使用从高清地图更新装置100接收到的关于多个车辆中的每一个的信息来更新高清地图。并且，高清地图可以存储在高清地图更新服务器S中，但是不限于此。

此时，可以通过使用无线通信在高清地图更新装置100的部件中的彼此间隔开的部件之间交换数据，并且在这种情况下，高清地图更新装置100可以包括用于无线通信的通信硬件。根据另一实施方式的车辆处的部件和高清地图更新装置100的高清地图更新服务器S处的部件可以通过采用诸如CDMA、GSM、W-CDMA、TD-SCDMA、WiBro、LTE、EPC等的公知的通信方法来经由基站彼此通信。替选地，根据另一实施方式的车辆处的部件和高清地图更新装置100的高清地图更新服务器S处的部件可以通过采用诸如无线LAN、Wi-Fi、蓝牙、Zigbee、Wi-Fi直连(WFD)、超宽带(UWB)、红外线数据协会(IrDA)、低功耗蓝牙(BLE)和近场通信(NFC)等的通信方法在预定距离内彼此通信。然而，其中高清地图更新装置100的每个部件进行通信的方法不限于上述实施方式。

在图1a和图1b的实施方式中，高清地图更新装置100的每个部件可以由包括微处理器的计算装置实现，例如，可以由中央处理单元(CPU)和图形处理单元(GPU)中的至少一个实现。替选地，高清地图更新装置100的每个部件中的至少两个部件可以被实现为片上系统(SoC)。

摄像装置110可以被设置成面向车辆的前方、侧方和/或后方，从而在对应方向上捕获二维图像。如上所述，由于高清地图更新装置100的摄像装置110安装在车辆上，因此由摄像装置110捕获的二维图像可以是其中以二维表示正在驾驶的车辆周围的驾驶信息的图像。

摄像装置110可以重复获取针对由预定时间间隔定义的每个帧的二维图像。在下文中，在由摄像装置110连续获取的两个二维图像中，首先获取的图像称为第一帧图像，并且稍后获取的图像称为第二帧图像。

地标检测单元120可以从由摄像装置110获取的二维图像中检测地标。在本文中，地标可以包括道路周围的结构物体和道路上的针对车道标识的车道标识物体。

为此，地标检测单元120可以在由摄像装置110获取的二维图像中提取特征点。在从二维图像中提取特征点时，地标检测单元120可以通过将所提取的特征点输入至地标识别算法中来在二维图像中检测地标。在这种情况下，可以通过诸如深度学习的机器学习技术来生成地标识别算法，并且可以指示以特征点的位置作为输入值并且以与输入特征点对应的地标作为输出值的算法。

参照图2，地标检测单元120可以在由摄像装置110捕获的二维图像中检测白框中示出的交通信号灯、灰框中示出的交通标志以及在道路上示出为白色直线的车道标识等作为地标。

如果摄像装置110获取针对每一帧的二维图像，则地标检测单元120可以通过提取每个二维图像的特征点来检测地标。

如果摄像装置110获取每一帧的二维图像，则移动轨迹检查单元130可以检查在其上安装有摄像装置110的车辆移动时的用于获取二维图像的摄像装置110的移动轨迹。

根据一个实施方式的移动轨迹检查单元130可以比较多个所获取的二维图像，从而获得车辆的移动轨迹，具体地，获得安装在车辆上的高清地图更新装置100的摄像装置110的移动轨迹。

为此，移动轨迹检查单元130可以使单独的二维图像中的对应特征点彼此匹配，然后检查摄像装置110的移动轨迹。为此，根据一个实施方式的移动轨迹检查单元130可以采用同时定位和映射(SLAM)算法，该算法是同时估计位置并生成地图的方法。

此外，根据另一实施方式的移动轨迹检查单元130可以通过使用惯性导航系统(INS)和实时运动学(RTK)GPS中的至少一个来检查摄像装置110的移动轨迹。在使用INS的情况下，移动轨迹检查单元130可以通过对根据摄像装置110的移动的三维加速度进行积分以获得驾驶距离，来检查摄像装置110的移动轨迹。替选地，在使用RTK GPS的情况下，移动轨迹检查单元130可以通过使用具有位置信息的基准站的载波的相位的校正值来实时检查摄像装置110的移动轨迹。

此外，为了解决根据摄像装置110的位置的尺度模糊性的问题，移动轨迹检查单元130可以通过参考车辆的车轮速度、偏航率和/或惯性测量单元(IMU)的检测结果来检查摄像装置110的移动轨迹。

局部地标地图生成单元140可以生成包括关于在高清地图上需要更新的区域的变化信息的局部地标地图。具体地，局部地标地图生成单元140可以通过基于高清地图上的道路的表面信息估计摄像装置110的移动轨迹周围的针对车道标识的地标的三维位置，来生成局部地标地图。

根据一个实施方式的局部地标地图生成单元140可以通过使用二维图像上的地标中的针对结构物体的地标，生成与摄像装置110的移动轨迹对应的以三维形式的第一局部地标地图，并且通过基于高清地图中的道路的表面信息估计针对车道标识的地标在第一局部地标地图中的三维位置，来生成第二局部地标地图。在根据图1b的实施方式的局部地标地图生成单元140的情况下，第一局部地标地图生成单元141可以生成上述第一局部地标地图，并且第二局部地标地图生成单元142可以生成上述第二局部地标地图。

在下文中，将参照图3至图4描述生成第一局部地标地图的方法，并且将参照图5至图8描述生成第二局部地标地图的方法。

图3示出了示出通过使用两个图像来获取地标的三维位置的方法的图，并且图4示出了示出根据本公开内容的一个实施方式的、由局部地标地图生成单元140估计针对结构物体的地标的三维位置的方法的图。

局部地标地图生成单元140可以估计作为二维图像上的针对结构物体的地标的第一地标的位置，以便生成第一局部地标地图。为此，根据本公开内容的一个实施方式的局部地标地图生成单元140可以使用三角测量法。具体地，局部地标地图生成单元140可以从在不同位置处捕获的至少两个图像中识别出相同的第一地标，并且将三角测量法应用于识别结果以估计第一地标在局部地标地图中的三维位置。

参照图3，摄像装置110可以在第一位置L₁处捕获第一地标以获得第一图像I₁，并且在第二位置L₂处捕获第一地标以获得第二图像I₂。在这种情况下，局部地标地图生成单元140可以获得从第一位置L₁经过第一图像I₁上的与第一地标对应的像素X₁的矢量V₁，并且获得从第二位置L₂经过第二图像I₂上的与第一地标对应的像素X₂的矢量V₂。此后，局部地标地图生成单元140可以将矢量V₁和V₂的交点估计为第一地标在三维空间中的位置P。

在根据上述方法估计第一地标的位置时，所确定的第一地标的位置的精度可能受到用于识别第一地标的图像的数目的影响。如上所述，由于使用至少两个二维图像来估计第一地标在三维空间中的位置，因此根据多个二维图像确定的多个三维位置的平均值可以被估计为第一地标在三维空间中的位置，以减少测量误差。

另外，随着由摄像装置110捕获多个二维图像所处的多个拍摄位置之间的距离增加，通过上述方法确定的第一地标的三维位置的精度可以增加。这是因为，随着拍摄位置之间的距离增加，在二维图像上识别出的第一地标的像素差减小，因此基于以上方法确定的第一地标的三维位置误差减小。例如，如果在以一米分开的两个位置处捕获的两个二维图像中的第一地标的位置的像素差为一个像素，并且在以两米分开的两个位置处捕获的两个二维图像中的第一地标的位置的像素差为一个像素，则与前一种情况相比，后一种情况具有更高的基于每种情况确定的第一地标的三维位置的精度。

考虑到这一点，局部地标地图生成单元140可以增加第一地标的位置的精度，并且可以根据该精度来确定是否将第一地标添加到第一局部地标地图中。

参照图4，可以在多个位置710、720和730处分别捕获二维图像，并且根据在第一位置710处捕获的二维图像估计的第一地标的位置的误差范围711相对较大。然而，可以识别的是，考虑到在第二位置720处捕获的二维图像与在第一位置710处捕获的二维图像而估计的第一地标的位置的误差范围721小于误差范围711，并且考虑到在位置710、720和730处捕获的二维图像而估计的第一地标的位置的误差范围731进一步减小。

基于此，局部地标地图生成单元140可以确定其误差范围(例如，以随机变量的形式表示的地标在局部地标地图中的位置的协方差)小于预定阈值的第一地标作为有效的第一地标，并且稍后要描述的更新单元150可以通过使用有效的第一地标来更新高清地图。

给定上述协方差，根据一个实施方式的局部地标地图生成单元140可以通过使用卡尔曼滤波器来更精确地获得第一地标在第一局部地标地图中的位置。在该过程中，可以使用下面的等式1。

[等式1]

d＝λR^-1K^-1(u，v，1)^T

在本文中，d表示从摄像装置110的镜头到地标的位置的三维方向矢量，并且λ是用于使d＝(a，b，c)^T成为单位矢量的归一化目的的常数。另外，R是表示摄像装置110的方位角的三维旋转矩阵。此外，K表示关于假设针孔模型的摄像装置110的内部参数的校准矩阵。此外，可以根据下面的等式2至4来获得以三维坐标表示的P*。

[等式2]

P^*＝A^-1b

[等式3]

[等式4]

在本文中，(x_i，y_i，z_i)指示摄像装置110的多个位置中的第i个位置。基于等式2至4估计的第一地标的三维位置P的协方差是A^-1，它表示在第一拍摄位置(i＝1)处捕获的二维图像上的第一地标的三维位置的误差。

另一方面，在基于摄像装置110的坐标系将三维变换矩阵T应用于第一地标的三维位置P时，可以获得基于高清地图的坐标系的第一地标的三维坐标P_L。此时，由于变换矩阵T具有根据摄像装置110的位置和方位角的误差，因此局部地标地图生成单元140可以获得对其应用了误差传播的概念的P_L的协方差C_PL。可以根据等式5获得P_L的协方差C_PL。

[等式5]

在本文中，J₁指示针对三维位置P的函数T×P的偏导数(雅可比(Jacobian)矩阵)，C^T指示三维变换矩阵T的协方差，并且J₂指示针对三维变换矩阵T的函数T×P的偏导数。

此前，已经描述了生成第一局部地标地图的方法，该方法在图1a的情况下可以由局部地标地图生成单元140执行，或者该方法在图1b的情况下可以由局部地标地图生成单元140的第一局部地标地图生成单元141执行。另外，在图1b的情况下，可以将所生成的第一局部地标地图从车辆发送至高清地图更新服务器S。

在根据上述方法生成第一局部地标地图时，局部地标地图生成单元140可以估计针对车道标识的地标在第一局部地标地图中的三维位置，以生成第二局部地标地图。

图5示出了示出根据本公开内容的一个实施方式的、由局部地标地图生成单元将高清地图与第一局部地标地图进行匹配的方法的图，图6示出了示出根据本公开内容的一个实施方式的、由局部地标地图生成单元基于道路的表面信息来生成第二局部地标地图的方法的图，图7示出了示出根据本公开内容的一个实施方式的、局部地标地图生成单元基于道路的表面信息生成的第二局部地标地图的图，并且图8示出了示出根据本公开内容的一个实施方式的、由局部地标地图生成单元确定图7的第二局部地标地图的有效性的方法的图。

为了生成第二局部地标地图，局部地标地图生成单元140可以将先前生成的第一局部地标地图与高清地图进行匹配。高清地图和第一局部地标地图两者都可以由三维坐标系定义，并且两个坐标系之间的关系可以由包括旋转分量和平移分量的变换矩阵定义。因此，局部地标地图生成单元140可以通过使用等式6来获得变换矩阵T*以将高清地图与第一局部地标地图进行匹配。

[等式6]

在本文中，Z_k指示第一地标在高清地图中的位置，P_k指示第一地标在第一局部地标地图中的位置，并且T指示将第一地标在第一局部地标地图中的位置P_k转换为高清地图的坐标系中的坐标的转换矩阵。C_Zk和C_Pk各自表示代表Z_k和P_k的分布模式的协方差矩阵，并且J表示针对三维变换矩阵T的函数T×P_k的偏导数。另外，k表示针对多个第一个地标中的每一个的索引。

在等式6中，在西格玛(Σ)符号的右边定义了针对第一局部地标地图中的每个第一地标P_k和高清地图中的对应的第一地标Z_k的成本函数。局部地标地图生成单元140可以获得其中成本函数的值的和最小的变换矩阵T*。

为了获得等式6的解，局部地标地图生成单元140可以选择公知的算法中的至少一种，例如，高斯牛顿(Gauss Newton)算法或莱芬贝格-马夸特(Levenberg-Marquardt)算法。

根据一个实施方式的局部地标地图生成单元140可以采用交互式最近点(ICP)算法来将高清地图中的点与第一局部地标地图中的点进行匹配。根据ICP算法，如果存在彼此相互匹配的两个点云集，并且一个点云集中的一个点与另一点云集中的一个点匹配，则可以将具有彼此最近的欧几里德(Euclidean)距离的两个点彼此匹配。

在这种情况下，根据一个实施方式的局部地标地图生成单元140可以考虑第一地标的类型和属性来使点彼此匹配。例如，如果第一地标是交通信号灯，则局部地标地图生成单元140可以考虑第一地标是双色交通灯、三色交通灯还是四色交通灯以将高清地图中的点与第一局部地标地图中的点进行匹配。

此外，根据一个实施方式的局部地标地图生成单元140可以考虑至少三个第一地标的位置关系，即，多个第一地标之间的几何关系，来将两个点彼此进行匹配。

参照图5，第一地标P₁、P₂和P₃按照第一坐标系C₁定位在第一局部地标地图中，并且与上述P₁、P₂和P₃对应的第一地标Q₁、Q₂和Q₃按照第二坐标系C₂定位在高清地图中。为了确定P₁与Q₁之间的对应关系的有效性，局部地标地图生成单元140可以基于P₁获得矢量V_P12和矢量V_P13，并且基于Q₁获得矢量V_Q12和矢量V_Q13。如果矢量之间的内积小于阈值

并且矢量的长度之间的差小于阈值

则局部地标地图生成单元140可以确定对应的对应关系是有效的。通过设置这些几何约束，局部地标地图生成单元140在通过ICP搜索对应点时，可以更容易地去除错误的离群值，因此，可以改善第一局部地标地图与高清地图之间的匹配性能。

在高清地图与第一局部地标地图匹配时，局部地标地图生成单元140可以估计第二地标在第一局部地标地图中的三维位置。

即使精确地知道了摄像装置110的移动轨迹，也几乎不可能在二维图像上找到与针对道路的第二地标对应的点，因此难以应用通过使用三角测量法来估计三维位置的方法。因此，根据一个实施方式的局部地标地图生成单元140可以通过使用道路的表面信息来估计第二地标在第一局部地标地图中的三维位置。在本文中，道路的表面信息可以包括关于道路的表面上的曲率的信息。

为了考虑道路的表面信息，局部地标地图生成单元140可以首先将与摄像装置110的移动轨迹对应的区域划分为多个网格平面。在这种情况下，可以基于第一局部地标地图指示的地理位置来确定与摄像装置110的移动轨迹对应的区域。

此后，局部地标地图生成单元140可以根据等式7获得所划分的多个网格平面中的每一个的平面方程。

[等式7]

ax+by+cz+d＝0

在此，a、b、c和d可以指示平面方程的系数。局部地标地图生成单元140可以通过将存在于每个网格平面上的至少四个位置信息，即，包括在点云中的至少四个点的三维位置坐标(x，y，z)输入至等式6中来获得系数a、b、c和d。

如果在多个网格平面中存在包括三个或更少的位置信息的网格平面，则局部地标地图生成单元140可以将相邻的网格平面的平面方程确定为对应的网格平面的平面方程。

此后，局部地标地图生成单元140可以通过使用指示基于高清地图的坐标系的摄像装置110的方位角和位置的旋转矩阵R和平移矩阵T来获得从摄像装置110的坐标系的原点到二维图像上的第二地标的矢量。具体地，局部地标地图生成单元140可以根据等式8获得从摄像装置110的坐标系的原点通过二维图像中的与第二地标对应的像素的P_ray。

[等式8]

P_ray＝R^-1(K^-1m-T)

在本文中，P_ray表示定义为矩阵[x，y，z]^T的矢量，并且R和T表示代表摄像装置110在高清地图的参考坐标系中的方位角和位置的三维旋转矩阵和平移矩阵。此外，K表示摄像装置110的固有参数矩阵(3×3)，并且m表示二维图像中的与第二地标对应的像素的坐标。

所获得的P_ray可以在图6中示出为虚线箭头。

图7示出了根据上述方法获得的结果。具体地，图7的(a)示出了示出高清地图的顶视图图像的图，并且图7的(b)示出了示出基于高清地图中的道路的表面信息估计第二地标在第一局部地标地图中的三维位置的结果的顶视图图像的图。可以看出，图7的(a)中示出的针对车道标识的第二地标与图7的(b)中示出的针对车道标识的第二地标之间的位置和形状类似。

另外，局部地标地图生成单元140可以确定所估计的第二地标的位置的有效性。为此，根据一个实施方式的局部地标地图生成单元140可以累积根据由安装在单独的车辆上的单独的摄像装置110获取的多个二维图像估计的第二地标的三维位置，以确定有效性。

如果如图1b所示实现高清地图更新装置100，则可以通过安装在多个车辆中的每个车辆上的单独的摄像装置110来获得多个二维图像。在这种情况下，安装在每个车辆上的高清地图更新装置100的第一局部地标地图生成单元141可以基于单独的二维图像来生成第一局部地标地图。第二局部地标地图生成单元142可以针对由安装在单独的车辆上的第一局部地标地图生成单元141生成的第一局部地标地图中的每一个，估计第二地标的三维位置，并且可以累积其估计结果。

为此，第二局部地标地图生成单元142可以将第一局部地标地图划分为网格。参照图8，可以根据预定间隔将图7的(b)中示出的第一局部地标地图划分为网格。第二局部地标地图生成单元142可以针对每个网格累积基于单独的摄像装置110估计的第二地标的三维位置并且进行计数。通过此，第二局部地标地图生成单元142可以针对每个网格生成二维直方图，并且将具有预定阈值或更大的网格确定为有效的第二地标的三维位置。在本文中，阈值可以指示可以将网格确定为第二地标的三维位置的最小累积数。

通过上述过程，局部地标地图生成单元140可以通过检查第二地标的三维位置的有效性来生成第二局部地标地图。

至此，已经描述了根据第一局部地标地图生成第二局部地标地图的方法，该方法在图1a的情况下可以由局部地标地图生成单元140执行，或者该方法在图1b的情况下可以由局部地标地图生成单元140的第二局部地标地图生成单元142执行。

更新单元150可以通过使用第二局部地标地图来更新高清地图。这种更新可以包括将新地标添加至高清地图中，以及从高清地图中去除已去除地标。

为了添加新地标，更新单元150可以基于包括接收到的地标的位置、协方差和属性的第二局部地标地图来识别高清地图中的对应的地标。在识别出高清地图中的对应的地标时，更新单元150可以基于接收到的地标的位置与高清地图中的对应的地标的位置之间的距离来识别接收到的地标是否与对应的地标相同。

在这种情况下，根据一个实施方式的更新单元150可以通过在接收到的地标与高清地图中的对应的地标之间应用马哈拉诺比斯距离(Mahalanobis)理论基于概率来获得距离。在三维空间中的两个点P₁和P₂分别具有协方差C₁和C₂时，马哈拉诺比斯距离D_m遵循等式9。

[等式9]

如果所获得的马哈拉诺比斯距离小于或等于预定阈值，则更新单元150可以确定两个地标是相同的。另一方面，在高清地图中没有识别到对应的地标或者马哈拉诺比斯距离超过预定阈值时，更新单元150可以将接收到的地标确定为新地标。

在确定新地标时，更新单元150可以通过将新地标反映到高清地图中来更新高清地图。如果所确定的新地标的位置的协方差小于或等于预定阈值，则根据一个实施方式的更新单元150可以将新地标添加至高清地图中，使权重平均值变为新地标的位置。通过此，可以增加用于高清地图的更新的可靠性。

另一方面，根据图1b的实施方式，设置在高清地图更新服务器S中的更新单元150可以基于由安装在单独的车辆上的摄像装置110捕获的二维图像来接收单独的第二局部地标地图。在这种情况下，更新单元150可以通过反映协方差来计算接收到的新地标的多个位置的权重平均值。根据一个实施方式的更新单元150可以使用卡尔曼滤波器来获得接收到的新地标的位置的权重平均值。通过使用卡尔曼滤波器来按接收顺序依次地获得新地标的位置的权重平均值，可以提高计算速度，并且可以更有效地利用存储空间。

在获得权重平均值之后，更新单元150可以通过使用所获得的权重平均值来确定是否将新地标添加到高清地图中。根据一个实施方式的更新单元150可以将新地标中的基于预定阈值或更高的二维图像确定的新地标添加到高清地图中。换句话说，在从局部地标地图生成单元140接收到的并且用于获得权重平均值的地标信息的数目等于或大于预定阈值时，更新单元150可以将其位置是权重平均值的新地标添加到高清地图中。

替选地，如果通过卡尔曼滤波器获得的新地标的位置的协方差小于或等于预定阈值，则根据另一实施方式的更新单元150可以将其位置是所获得的权重平均值的新地标添加到高清地图中。通过上述实施方式，更新单元150可以通过将可靠的地标新添加到高清地图中来增加用于高清地图的更新的可靠性。

另外，为了去除已去除地标，更新单元150可以从局部地标地图生成单元140接收包括已经去除了特定地标的信息的第二局部地标地图。

如果接收到关于已去除地标的信息，则更新单元150可以基于接收到的信息来更新高清地图。具体地，更新单元150可以根据接收到的信息在高清地图中去除已去除地标。

替选地，根据图1b的实施方式，设置在高清地图更新服务器S中的更新单元150可以从多个单独的高清地图更新装置100多次接收包括关于已去除地标的信息的第二局部地标地图。在这种情况下，根据一个实施方式的更新单元150可以去除已去除地标中的基于预定阈值或更高的二维图像确定的已去除地标。换句话说，如果接收到的关于相同的已去除地标的信息的数目等于或大于预定阈值，则更新单元150可以在高清地图中去除已去除地标。

此外，为了添加或去除第二地标，更新单元150可以将第二地标拟合在第二局部地标地图中。将参照图9进行描述。

图9示出了示出根据本公开内容的一个实施方式的、由更新单元150拟合第二地标的方法的图。

参照图9的(a)，更新单元150可以首先将第二局部地标地图划分为网格。在图9的(a)中，阴影线网格指示与第二地标的三维位置对应的有效网格。

此后，更新单元150可以将有效网格中的相邻网格分组。参照图9的(b)，根据一个实施方式的更新单元150可以通过使用连接分量算法来在有效网格中以相同数字标记相邻网格。

最后，更新单元150可以基于分组的网格来拟合第二地标。具体地，更新单元150可以首先通过使用单个组中的任意k个数目的网格来以多项式拟合第二地标曲线。在曲线拟合完成时，更新单元150可以计算存在于对应曲线上的网格的数目。此后，更新单元150可以重复执行上述处理预定次数。最后，由于拟合第二地标，更新单元150可以确定包括最大数目的网格的曲线。

参照图9的(c)，更新单元150可以对标记为1的有效网格和标记为2的有效网格中的每一个执行曲线拟合。因此，可以看出，由于在曲线上不存在由圆圈指示的有效网格，因此去除了圆圈中的有效网格。通过此，可以更精确地拟合第二地标。

还可以根据上述更新方法在高清地图中添加或去除根据上述方法拟合的第二地标。另外，根据一个实施方式的更新单元150可以将高清地图和第二局部地标地图划分为具有相同间隔的网格，然后可以通过比较对应的网格来更新高清地图。具体地，更新单元150可以在高清地图与第二局部地标地图之间比较对应的网格，以识别在对应的网格中是否存在第二地标。如果对应的网格之间存在或不存在第二地标的比较结果以等于或大于阈值的概率不同，则更新单元150可以更新由第二局部地标地图指示的地理区域的高清地图。

另一方面，高清地图的更新可以如上所述由更新单元150自动执行，或者可以由管理员在将关于需要更新的部分的信息(即，关于新地标和已去除地标的信息)提供给管理员然后管理员检查并且最终批准更新时执行。

在更新完成时，高清地图更新装置100还可以基于更新后的高清地图来执行新的更新。为此，根据图1b的实施方式的更新单元150可以通过高清地图更新服务器S的通信装置将更新后的高清地图提供给高清地图更新装置100。

此前，已经描述了高清地图更新装置100的配置和操作。在下文中，将参照图10描述由上述高清地图更新装置100执行的更新高清地图的方法。

图10示出了示出根据本公开内容的一个实施方式的高清地图更新方法的流程图。

首先，高清地图更新装置100可以在多个不同位置处获取二维图像(S100)。具体地，安装在正在驾驶的车辆上的高清地图更新装置100的摄像装置110可以根据车辆的移动从多个不同的位置获取二维图像。

在获取二维图像之后，高清地图更新装置100可以检测所获取的二维图像上的地标(S110)。在这种情况下，检测到的地标可以包括针对道路周围的结构物体的第一地标和针对道路上的车道标识的第二地标。

此外，高清地图更新装置100可以检查摄像装置110的移动轨迹(S120)。为此，根据一个实施方式的高清地图更新装置100可以在根据SLAM算法匹配多个二维图像上的特征点之后检查摄像装置110的移动轨迹。替选地，根据另一实施方式的高清地图更新装置100可以通过使用INS和RTK GPS中的至少一个来检查摄像装置110的移动轨迹。

此后，高清地图更新装置100可以通过使用第一地标来生成与摄像装置110的移动轨迹对应的三维第一局部地标地图(S130)。具体地，高清地图更新装置100可以通过将三角测量法应用于多个二维图像来生成包括第一地标的三维位置的第一局部地标地图。

在生成第一局部地标地图时，高清地图更新装置100可以将第一局部地标地图与高清地图进行匹配(S140)。为了与高清地图匹配，高清地图更新装置100可以考虑高清地图与第一局部地标地图之间的至少三个对应点的位置关系。

在完成匹配之后，高清地图更新装置100可以估计针对车道标识的第二地标在所匹配的第一局部地标地图中的三维位置(S150)。为此，高清地图更新装置100可以使用高清地图中的道路的表面信息。

此后，高清地图更新装置100可以通过确定所估计的第二地标的三维位置的有效性来生成第二局部地标地图(S160)。具体地，高清地图更新装置100可以基于由单独的摄像装置110捕获的二维图像通过累积第二地标的三维位置来生成直方图，并且可以基于所生成的直方图来确定有效的第二地标的三维位置。

最后，高清地图更新装置100可以基于第二局部地标地图来更新高清地图(S170)。具体地，在从第二局部地标地图拟合第二地标之后，高清地图更新装置100可以通过比较高清地图与第二局部地标地图之间的对应的网格来更新高清地图。

上述高清地图更新装置和方法可以安装在实际驾驶中的车辆上并且实时更新高清地图，而无需单独的用于更新高清地图的预操作。通过此，可以减少用于更新高清地图的成本和时间。另外，由于基于道路的表面信息来估计难以通过图像匹配特征点的车道标识的位置，因此可以提高高清地图的更新的精度。

另一方面，可以在包括被编程为执行步骤中的每个步骤的计算机程序的计算机可读记录介质中实现根据上述一个实施方式的高清地图更新方法中包括的步骤中的每个步骤。

另一方面，可以在包括被编程为执行步骤中的每个步骤的计算机程序的计算机可读记录介质中实现根据上述一个实施方式的高清地图更新方法中包括的步骤中的每个步骤。

如上所述，本领域技术人员将理解，可以在不改变其技术构思或基本特征的情况下以其他形式实现本公开内容。因此，应当理解，上述实施方式仅是示例，并且不旨在限制本公开内容。本公开内容的范围由所附权利要求而非具体实施方式来限定，并且权利要求的含义和范围以及从其等同内容得出的所有变化和修改应当被解释为包括在本公开内容的范围内。

工业适用性

根据一个实施方式，可以在诸如家庭、工业场所等的各种领域中使用上述高清地图更新装置和高清地图更新方法，从而具有工业适用性。

Claims (14)

1.一种更新高清地图的方法，所述方法包括：

通过使用安装在车辆上的摄像装置来在多个不同位置处获取二维图像；

检查用于获取所述二维图像的所述摄像装置的移动轨迹；

通过基于所述高清地图中的道路的表面信息估计所述摄像装置的移动轨迹周围的针对车道标识的地标的三维位置，来生成局部地标地图；以及

基于所述局部地标地图更新所述高清地图。

2.根据权利要求1所述的方法，其中，检查所述摄像装置的移动轨迹是通过比较在多个不同位置处获取的所述二维图像来检查所述摄像装置的移动轨迹，并且

其中，生成所述局部地标地图包括：

通过使用所述二维图像上的地标中的除车道标识之外的第一地标，来生成与所述摄像装置的移动轨迹对应的三维第一局部地标地图；以及

通过基于所述高清地图中的所述道路的表面信息估计针对车道标识的第二地标在所述第一地标地图中的三维位置，来生成第二局部地标地图。

3.根据权利要求2所述的方法，其中，生成所述第二局部地标地图包括：

将所述高清地图与所述第一局部地标地图进行匹配；以及

估计所述第二地标在所匹配的第一局部地标地图中的三维位置。

4.根据权利要求3所述的方法，其中，将所述高清地图与所述第一局部地标地图进行匹配包括：

检测所述高清地图中的地标与所述第一局部地标地图中的地标之间的对应关系；以及

基于彼此对应的所述高清地图和所述第一局部地标地图中的每一个中的至少三个地标的位置关系来验证检测到的对应关系。

5.根据权利要求3所述的方法，其中，估计所述第二地标的三维位置包括：

将高清地图中的与所述摄像装置的移动轨迹对应的区域划分为多个网格平面；

获取从摄像装置坐标系的原点到所述二维图像中的与所述第二地标对应的像素的矢量；以及

基于根据所获取的矢量确定的直线的交点和所述多个网格平面估计所述第二地标的三维位置。

6.根据权利要求5所述的方法，其中，将与所述摄像装置的移动轨迹对应的区域划分为多个网格平面包括：

针对多个网格平面中的包括至少四个位置信息的第一网格平面，基于至少四个位置信息来确定所述第一网格平面的方程；以及

针对多个网格平面中的包括至多三个位置信息的第二网格平面，将与所述第二网格平面相邻的所述第一平面的方程确定为所述第二网格平面的方程。

7.根据权利要求3所述的方法，其中，估计所述第二地标的三维位置是根据由单独的摄像装置获取的多个二维图像估计所述第二地标的多个三维位置，并且

其中，生成所述第二局部地标地图还包括通过累积多个所估计的三维位置来确定所述第二地标的三维位置的有效性。

8.根据权利要求7所述的方法，其中，确定所述第二地标的三维位置的有效性包括：

累积所述第二地标在被划分为多个网格的所述第一局部地标地图中的多个所估计的三维位置；以及

在所述多个网格中，将其中累加值等于或高于预定阈值的网格确定为有效的所述第二地标的三维位置。

9.根据权利要求1所述的方法，其中，检查所述摄像装置的移动轨迹是通过使用惯性导航系统(INS)和实时运动学(RTK)GPS中的至少一个来检查所述摄像装置的移动轨迹。

10.根据权利要求1所述的方法，其中，更新所述高清地图包括：

基于所估计的第二地标的三维位置，将所述第二地标拟合到所述第二局部地标地图中；以及

基于其中所述第二地标所拟合的所述第二局部地标地图来更新所述高清地图。

11.根据权利要求10所述的方法，其中，拟合所述第二地标包括：

将所述第二局部地标地图划分为网格；以及

使用与所估计的位置对应的网格中的相邻网格，通过多项式拟合所述第二地标。

12.根据权利要求1所述的方法，其中，更新所述高清地图包括：

将所述局部地标地图和与所述局部地标地图对应的所述高清地图的区域中的每一个划分为网格；

比较所述局部地标地图的每个网格与所述高清地图的区域的每个网格；以及

基于所述比较的结果来确定是否更新所述高清地图。

13.一种用于更新高清地图的装置，所述装置包括：

移动轨迹检查单元，其被配置成检查用于在多个不同位置处获取二维图像的摄像装置的移动轨迹；

局部地标地图生成单元，其被配置成通过基于所述高清地图中的道路的表面信息估计所述摄像装置的移动轨迹周围的针对车道标识的地标的三维位置，来生成局部地标地图；以及

更新单元，其被配置成基于所述局部地标地图更新所述高清地图。

14.一种包括计算机可执行指令的计算机可读存储介质，其中，所述指令在由处理器执行时使所述处理器执行高清地图更新方法，所述高清地图更新方法包括：

通过使用安装在车辆上的摄像装置来在多个不同位置处获取二维图像；

检查用于获取所述二维图像的所述摄像装置的移动轨迹；

通过基于所述高清地图中的道路的表面信息估计所述摄像装置的移动轨迹周围的针对车道标识的地标的三维位置，来生成局部地标地图；以及

基于所述局部地标地图更新所述高清地图。

Images