CN115035338A

CN115035338A - 由摄像机图像车辆定位的方法和系统

Info

Publication number: CN115035338A
Application number: CN202210656183.7A
Authority: CN
Inventors: E·斯腾堡
Original assignee: Volvo Car Corp
Current assignee: Volvo Car Corp
Priority date: 2016-12-28
Filing date: 2017-11-27
Publication date: 2022-09-09
Also published as: CN108256411A; EP3346418A1; US10467771B2; US20180204347A1; EP3343431A1

Abstract

提供用于确定车辆位置的方法，该方法包括利用基于车辆的摄像机获得2D图像，该图像示出车辆周围环境；分类图像中的像素使得每个分类的像素属于预定分类组的一个类别，藉此形成分类的2D图像。通过学习算法执行分类。该方法还包括确定初始估算车辆位置和基于初始位置限定可能车辆位置。接着，该方法包括通过比较3D地图中用于可能车辆位置的几何目标的分类与分类2D图像中相应至少一个像素的分类，匹配分类的2D图像与包括多个几何目标的三维地图，每个几何目标属于所述预定分类组中的一个分类；基于2D图像的匹配像素确定用于至少一个可能车辆位置的匹配得分；并且基于可能车辆位置的得分确定车辆位置。

Description

由摄像机图像车辆定位的方法和系统

本发明是申请日为2017年11月27日、申请号为201711202387.9的中国发明专利“由摄像机图像车辆定位的方法和系统”的分案申请。

技术领域

本发明涉及用于基于语义分割的摄像机图像确定车辆位置的方法和系统。

背景技术

随着驾驶员辅助系统和完全或部分自我驾驶小汽车的引入，准确地确定车辆位置变得越来越重要。

例如提出利用多个冗余技术解决自我驾驶车辆的定位，其中局部感应(例如雷达(radar)、激光探测与测量系统(lidar)和摄像机)与可辨识界标地图组合是一个主要组成部分。

但是，当利用摄像机图像执行定位时的一个问题是形成了对于在车辆周围环境中发生视觉改变时不变的地图。在白天、变化的天气、季节的变化等等期间的光线的改变可导致同样情景下外观的重大变化，使得很难从保持恒定的图像中提取特征。

当前的方案能够提取图像特征(例如SIFT、SURF、ORB)、基于图像特征建造地图和之后很快在该地图内定位车辆。为了具有始终起作用的地图，已经做了一些试验从而当图像特征随时间推移改变外观时连续地添加图像特征并因而保持地图更新。但是由于日益增多的地图，该方法存在如下缺陷：必须相对较快地访问每个区域以便不会出现过多的最后的特征组改变而导致不能定位的问题。

另一个方法包括利用路标的三角测量法以相同的精度对所不处于的位置进行位置识别，但是其目的是大概了解在哪拍摄图像的。该方法已经证明对于暂时的改变更具鲁棒性，但是对用于自我驾驶小汽车来说精确度太低。

因此，关于利用摄像机图像定位车辆仍有改进的余地。

发明内容

鉴于上述以及现有技术的其它缺陷，本发明的一个目的是提供一种在车辆中用于确定车辆位置的改进方法和系统。

根据本发明的第一方面，提供了一种用于确定车辆位置的方法，所述方法包括利用基于车辆的摄像机捕获二维图像——2D图像，所述图像示出车辆周围环境的一部分；分类图像中的多个像素使得每个分类的像素属于预定分类组的一个分类，藉此形成分类的二维图像，其中通过学习算法执行分类。所述方法还包括确定初始估算车辆位置和基于初始估算车辆位置限定多个可能车辆位置。接着，所述方法通过比较3D地图中用于可能车辆位置的几何目标的分类与分类二维图像中相应至少一个像素的分类，匹配分类的二维图像与包括多个几何目标的三维地图——3D地图，每个几何目标属于预定分类组中的一个分类；基于二维图像的多个匹配像素确定用于至少一个可能车辆位置的匹配得分；并且基于至少一个可能车辆位置的得分确定车辆位置。

在当前描述中，假定在利用所述方法之前形成3D地图，并且3D地图因而被存储在车辆中或是车辆可得到的。此外，用于分类二维图像中像素的预定分类组基于3D地图中现有的预定分类。

所述方法的主要原理是对于给定的捕获二维图像，所述图像匹配用于可能车辆位置的3D地图。每个可能车辆位置对应于3D地图中的观察点。因此，捕获的二维图像匹配3D地图中对应于可能车辆位置的不同“观察点”。藉此，在简化的描述中，对于最接近实际位置的可能车辆位置，能够假定二维图像的分类像素具有与3D地图的分类几何目标最好的对应，从而确定车辆的正确位置。

本发明基于这样的认识：通过分类3D地图中的目标和二维图像中的像素且随后匹配分类的目标来实现更有效的方法。这就不需要周围环境中的特定的可辩识目标，这些特定的可辩识目标占用大量存储空间，因为必须存储用于每个单独目标的辨识器。此外，利用图像特征描述符在图像中进行目标识别的基于特征的定位对于图像特征的外观变化是敏感的，意味着如果外观已经改变则给定的描述符不能识别图像特征。这种变化可能随时间推移可能自然地发生，例如包括季节变化。而目标分类更容易不随着这种变化而变化。

此外，通过利用学习算法，能够随时间推移改进二维图像的分类以增加分类的精度从而增加位置确定的精度。

因此，通过利用目标和像素分类，所述方法提供了用于以提高的效率和提高的准确度定位车辆的方法。

根据本发明的一个实施例，匹配可包括将3D地图中的多个几何目标投影到二维平面上，并且将投影到所述二维平面上的多个几何目标的分类与分类二维图像中的相应至少一个像素的分类进行比较。藉此，投影目标形成相应的“二维地图”，简化了三维地图与二维图像之间的匹配。

根据本发明的一个实施例，二维平面对应于二维图像的图像平面。藉此，仅三维地图中假定在二维图像中可见的目标被投影到二维平面上。因此，不投影不处于假定车辆位置视线内的几何目标。藉此，减少投影的目标数量，简化匹配过程。

根据本发明的一个实施例，匹配可包括将二维图像的至少一个像素投影到所述3D地图中以形成3D地图中的锥形体积，其截面对应于所述像素的截面。像素典型地具有方形截面，意味着像素的四个拐角投影到3D地图中以形成3D地图中的锥体(即棱锥)。因而如果目标处于体积内则通过将像素的分类与3D地图中投影体积的目标分类进行比较来执行匹配。

根据本发明的一个实施例，确定匹配得分可包括给锥形体积内的每个几何目标分配权重(weight)，其中所述权重基于3D地图中几何目标与二维图像的图像平面之间的距离。藉此，当体积包括多个几何目标时，当匹配像素分类与目标分类时与距离二维图像的图像平面更远的目标相比，能够给予距二维图像的图像平面更近的目标更高的权重。因此，即使锥形体积可包括从车辆的角度来看不可见的目标，能够给予这种目标更低的权重。权重例如可以是0或1。

根据本发明的一个实施例，匹配可包括将二维图像的至少一个像素投影到3D地图中的几何目标上，并且将几何目标的分类与分类二维图像中投影的至少一个像素的分类进行比较。

根据本发明的一个实施例，3D地图中的点的位置对应于图像平面中的二维点。图像平面是三维空间中能通过两个坐标确定像素的位置的平面。因此，将二维图像中的像素投影到3D地图中可被视为在三维空间中形成图像平面。

根据本发明的一个实施例，分类二维图像的像素可包括仅分类对应于所述3D地图中几何目标位置的二维图像位置中的像素。因此，在像素分类之前二维图像中的像素能够被映射到3D地图中的相应几何目标，藉此由于更少的像素需要分类从而使得所述方法计算效率更高。

根据本发明的一个实施例，所述方法可还包括选定分类子集合且仅匹配属于分类子集合的像素和几何目标。藉此，执行像素的分类，但仅属于分类子集合的像素随后匹配3D地图中的几何目标，这使得更快地确定位置。如果已知目标不属于车辆附近的一些分类，则例如可基于估算位置选定分类的子集合。此外，车辆中摄像机的已知位置也可用于选定分类的子集合。

根据本发明的一个实施例，可通过3D地图中的点表示3D地图中的几何目标，并且其中所述点对应于分类二维图像中的一个像素。

此外，可通过3D地图中的表面或体积表示3D地图中的几何目标。原则上，表面或体积的大小可能仅对应于一个像素。但是实际上，每个表面或体积将对应于分类二维图像中的多个像素。

根据本发明的一个实施例，初始车辆位置可基于先前确定的车辆位置。因此，如果近来已经实施了用于确定车辆位置的方法，则车辆的近似位置是已知的。初始车辆位置的估算值可例如基于先前确定的位置与车辆速度的组合。

根据本发明的一个实施例，初始车辆位置可能基于从GPS测量值获得的车辆位置。也可基于上述方法的组合确定初始车辆位置。

根据本发明的一个实施例，预定分类组可包括预定的语义分类，意味着分类能与实际目标例如房子、建筑物或树相关联。利用语义分类的优点在于能够使用指导机器学习算法，其中人工输入用于限定目标从而训练算法。

根据本发明的一个实施例，通过学习算法确定预定分类组。随后在例如当形成3D地图时可执行的学习算法的学习阶段确定分类组。通过令学习算法能够限定分类，可能得到与人定义的分类相比更适合于定位的分类定义。此外，如果减少或去除学习过程期间与人交互的需要，则无监督的机械学习算法能是更为时间有效的。

根据本发明的一个实施例，学习算法可以是已经证明很适合图像分类的卷积神经网络(convolutional neural network)。可选地，可使用支撑向量机。

根据本发明的一个实施例，基于初始估算车辆位置限定多个可能车辆位置包括利用贝叶斯滤波器。

根据本发明的第二方面，提供了一种在车辆中用于确定车辆位置的系统，所述系统包括：被构造为捕获二维图像的摄像机，二维图像示出车辆周围环境的一部分；其上存储有包括多个几何目标的三维地图(3D地图)的存储单元，每个几何目标属于预定分类组的一个分类；以及图像处理单元。图像处理单元被构造为：分类图像中的多个像素使得每个分类像素属于预定分类组的一个分类，从而形成分类二维图像，其中通过学习算法执行分类；确定初始估算车辆位置；基于初始估算车辆位置限定多个可能车辆位置；通过将3D地图中用于可能车辆位置的几何目标的分类与分类二维图像中相应至少一个像素的分类进行比较来将分类的二维图像与3D地图相匹配；基于二维图像的多个匹配像素确定用于至少一个可能车辆位置的匹配得分；并且基于至少一个可能车辆位置的得分确定车辆位置。

本发明第二方面的附加效果和特征大部分类似于结合本发明第一方面如上所述的那些。

当研究所附权利要求和随后的描述时本发明的其它特征和优点变得更为清楚。本领域技术人员认识到，本发明的不同特征可以组合从而产生在下文中描述的那些之外的实施例而不脱离本发明的范围。

附图说明

现在将参照示出本发明示例实施例的附图更详细地描述本发明的这些及其它方面，其中：

图1是描绘根据本发明一个实施例的方法的一般步骤的流程图；

图2示意性地示出根据本发明一个实施例的系统；

图3示意性地示出根据本发明一个实施例的方法的特征；并且

图4示意性地示出根据本发明一个实施例的方法的特征。

具体实施方式

在说明书中，主要参照确定小汽车位置的方法描述根据本发明的方法和系统的各种实施例。但是，所述方法同样可很好地用于其它类型的车辆。

图1是描绘根据本发明一个实施例用于确定车辆位置的方法的一般步骤的流程图。将参照图2所示的系统200和参照示意性地示出所述方法的选定步骤的图3A-B论述图1的方法。

图2示出车辆204，车辆204包括被构造为捕获车辆周围图像的车载摄像机206和耦连于摄像机206的图像处理单元208。摄像机206可以是捕获周围实时图像输入的摄影机206，或者可以是在选定时间间隔或点捕获图像的静物摄影机206。

在所述方法的第一步骤中，摄像机206捕获102二维图像(即2D图像)，图像描述车辆周围环境的一部分。2D图像302如图3A示意性地示出。

接着，所述方法包括分类104图像302中的多个像素使得每个分类的像素属于预定分类组的一个分类，藉此形成分类的2D图像。通过学习算法执行分类104。经常地，分类器确定每个像素属于每个分类的概率，即针对每个像素将有N个数，其中N是分类的数量，并且对于每个像素来说N个数的总和将为1(由于像素必须具有一个分类)。用于一个像素的示例输出：树0.6，建筑物0.05，地面0.3，车辆0.05(如果我们仅具有那四个分类)。通过选定最可能的分类，这可被减少为一个分类。人们也可将图面点的概率函数匹配于检测像素中的相应概率函数并且计算简单地为从0(概率函数相同)到1(概率函数完全不同)的数的概率离散。

一种直接的方法是分类二维图像中的所有像素。但是，可能仅分类像素的子集合就得到足以精确匹配的分类二维图像。当前简化的示例是使用三个不同的语义分类“建筑物”、“树”和“道路”示出，因而限定了预定的分类组。在此，假定仅对被认为属于三个分类之一的像素给出分类。

在如下步骤中，确定106初始车辆位置。初始车辆位置例如能基于根据所述方法之前确定的车辆位置。也可基于GPS位置和/或惯性测量系统等等确定初始车辆位置。基于初始估算的车辆位置，限定108多个可能的车辆位置。例如可利用贝叶斯滤波器限定可能的车辆位置。在用于定位的贝叶斯滤波器中，通过在3D位置中典型地连续的状态下的概率密度表示可能位置，并且可能有除位置之外的状态下代码化的附加元素例如速度。贝叶斯滤波器进一步基于如下假定：能够通过运动模型描述的随着时间的状态分布之间具有联系。常常假定运动模型是马尔可夫过程(Markov process)，意味着如果由之前的时间步骤(timestep)已知分布，则对随后的时间步骤建模不需要之前时间步骤以前的附加信息。贝叶斯滤波器可被构造为利用粒子滤波器、点质量滤波器(a point mass filter)或各种类型的卡尔曼滤波器中的若干粒子(particles)描述可能位置的分布。

因此，一旦已经限定108多个可能车辆位置，则执行用于至少一个位置且优选用于多个可能位置的以下匹配110步骤。

可能的车辆位置限定了3D地图中的车辆坐标。3D地图被描述为存储在车辆200中的存储器207上，藉此可被图像处理单元208使用。但是，也可能3D地图或至少一部分3D地图被存储于距离车辆较远处并且可通过无线通信取得。

对于给定的坐标，分类的二维图像与3D地图匹配。二维图像中的像素匹配3D地图中的几何目标，其中可通过3D地图中的点、表面或体积即1D、2D或3D目标表示几何目标，其中每个目标具有分类和坐标。为简单起见，图3B中所示的3D地图304的目标能够被认为由表面即二维目标所表示。但是，不论目标的维数如何相匹配原则是相同的。

二维图像中的像素306投影到3D地图304中的图像平面308上。像素306已经被分类为属于“建筑物”分类。像素306因而投影到3D地图的目标上，所述目标在此是具有分类“建筑物”的表面。因此，在像素306的分类与目标310的分类之间具有匹配。例如能通过表面三角形(surface triangles)、高斯过程或其它已知的二维目标表示来表示2D目标。

此处，所述投影被称作像素在3D地图的二维图像平面上的投影。但是，这与3D地图的几何目标在分类二维图像上的投影是等效的，并且能假定两个投影提供相同的结果。

如果已知或能假定车辆以较高的概率处于其中目标属于不存在的特定分类的位置，即如果车辆在没有树的城市街道上行驶，则当分类二维图像时和当执行匹配时能够省略分类“树”，从而提供了更快的分类和匹配过程。

一旦已经以相应的方式匹配选定数量的像素或所有像素，则确定112总匹配得分用于可能的车辆位置。接着，能够选定新的可能车辆位置，导致3D地图的略微不同的表示，其随后很可能会提供不同的匹配得分。

最后，当已经执行匹配用于所有选定的可能车辆位置时，能够基于一个或多个匹配得分确定114车辆位置。如果小心地选定得分以使其对应于该位置产生观察分类图像的可能性，则标准贝叶斯滤波器能够用于将该得分与之前时间步骤的密度结合成后验密度(posterior density)。由该后验密度，例如能够通过找到概率密度的最大值(MAP估算)或通过最小化估算的预期误差(MMSE估算)来提取出位置的估算。

图4示意性地示出所述方法的一个示例实施例，其中二维图像302的像素306投影到3D地图304中从而在3D地图中形成锥形体积402，其具有对应于像素截面的截面(此处是矩形截面)，藉此提供金字塔体积。匹配于是将包括将像素分类与锥形体积402内的目标的分类进行比较。在图4中能够看出，体积402与“房子”目标310相交。

在上述描述中，假定带有目标分类的3D地图是预先存在并且在车辆内可用。能够通过执行语义或非语义目标分类的卷积神经网络形成3D地图。因此，卷积神经网络可用于分类所获得的二维图像中的像素。

虽然已经参照其特定的例示实施例描述了本发明，很多不同的变化、改进等等对于本领域技术人员来说是显而易见的。同样应注意到，方法和系统的部件可被省略、替换或以各种方式设置，但方法和系统仍然能够完成本发明的功能。

额外地，根据对附图、说明书和所附权利要求的研究，所公开实施例的变化很容易被实践所请求发明的本领域技术人员理解和执行。在权利要求中，单词“包括”不排除其它元件或步骤的存在，并且不定冠词“一个”不排除多个。一些测量值记载在彼此各异的从属权利要求中这个纯粹事实并不表明不能利用这些测量值的组合。

Claims

1.一种用于确定车辆的位置的方法，所述方法包括：

利用基于车辆的摄像机捕获(102)二维图像——2D图像，所述图像示出车辆周围环境的一部分；

分类(104)所述图像中的多个像素使得每个被分类的像素属于预定分类组中的一个分类，藉此形成分类的2D图像，其中通过学习算法执行所述分类；

确定(106)初始估算车辆位置；

基于所述初始估算车辆位置限定(108)多个可能车辆位置；

通过将3D地图中用于可能车辆位置的几何目标的分类与所分类2D图像中相应的至少一个像素的分类进行比较，将所分类2D图像与包括多个几何目标的三维地图——3D地图相匹配(110)，每个几何目标属于所述预定分类组中的一个分类，其中，匹配包括将所述2D图像的至少一个像素投影到所述3D地图中以在所述3D地图中形成锥形体积，锥形体积的截面对应于所述像素的截面；

基于所述2D图像的多个匹配像素确定(112)用于至少一个可能车辆位置的匹配得分，其中，确定匹配得分包括给所述锥形体积内的每个几何目标分配权重，其中，所述权重基于3D地图中几何目标与所述2D图像的图像平面之间的距离；并且

基于所述至少一个可能车辆位置的得分确定(114)车辆位置。

2.根据权利要求1所述的方法，其中，匹配包括将所述3D地图中的多个几何目标投影到二维平面上，并且将投影到二维平面上的多个几何目标的分类与所分类2D图像中相应的至少一个像素的分类进行比较。

3.根据权利要求2所述的方法，其中，二维平面对应于所述2D图像的图像平面。

4.根据权利要求1所述的方法，其中，匹配包括将所述2D图像的至少一个像素投影到所述3D地图中的几何目标上，并且将几何目标的分类与所分类2D图像中所投影的至少一个像素的分类进行比较。

5.根据权利要求4所述的方法，其中，3D地图中的点的位置对应于图像平面中的二维点。

6.根据前述权利要求任意一项所述的方法，其中，分类所述2D图像的像素包括仅分类对应于所述3D地图中几何目标位置的位置中的像素。

7.根据权利要求1-5任意一项所述的方法，其中，还包括：选定所述分类的子集合并且仅匹配属于所述分类的子集合的像素和几何目标。

8.根据权利要求1-5任意一项所述的方法，其中，由所述3D地图中的点表示3D地图中的几何目标，并且，所述点对应于所分类2D图像中的一个像素。

9.根据权利要求1-5任意一项所述的方法，其中，由所述3D地图中的表面或体积表示3D地图中的几何目标，并且，所述表面或体积对应于所分类2D图像中的多个像素。

10.根据权利要求1-5任意一项所述的方法，其中，初始车辆位置基于之前确定的车辆位置。

11.根据权利要求1-5任意一项所述的方法，其中，初始车辆位置基于由GPS测量获得的车辆位置。

12.根据权利要求1-5任意一项所述的方法，其中，预定分类组包括预定的语义分类。

13.根据权利要求1-5任意一项所述的方法，其中，通过所述学习算法确定预定分类组。

14.根据权利要求1-5任意一项所述的方法，其中，所述学习算法是卷积神经网络。

15.根据权利要求1-5任意一项所述的方法，其中，基于所述初始估算车辆位置限定多个可能车辆位置包括利用贝叶斯滤波器。

16.车辆(204)中用于确定车辆位置的系统(200)，所述系统包括：

被构造为捕获2D图像的摄像机(206)，2D图像示出车辆周围环境的一部分；

其上存储有包括多个几何目标的三维地图——3D地图的存储单元(207)，每个几何目标属于预定分类组中的一个分类；以及

图像处理单元(208)，其被构造为：

分类所述图像中的多个像素使得每个所分类的像素属于所述预定分类组中的一个分类，藉此形成所分类的2D图像，其中，通过学习算法执行所述分类；

确定初始估算车辆位置；

基于所述初始估算车辆位置限定多个可能车辆位置；

通过将3D地图中用于可能车辆位置的几何目标的分类与所分类的2D图像中相应的至少一个像素的分类进行比较来将所分类的2D图像与3D地图相匹配，其中，匹配包括将所述2D图像的至少一个像素投影到所述3D地图中以在所述3D地图中形成锥形体积，锥形体积的截面对应于所述像素的截面；

基于所述2D图像的多个匹配像素确定用于至少一个可能车辆位置的匹配得分，其中，确定匹配得分包括给所述锥形体积内的每个几何目标分配权重，其中，所述权重基于3D地图中几何目标与所述2D图像的图像平面之间的距离；并且

基于至少一个可能车辆位置的得分确定车辆位置。