CN111238490A - 视觉定位方法、装置以及电子设备 - Google Patents

Abstract

公开了一种视觉定位方法、装置以及电子设备，该方法包括：获取用于定位车辆的至少一幅图像；确定所述至少一幅图像中的至少一个第一天际线特征；从数据库中确定与所述至少一个第一天际线特征相匹配的第二天际线特征，所述数据库用于记录天际线特征与相机的位姿信息之间的对应关系；基于所述数据库中记录的与所述第二天际线特征相对应的位姿信息定位所述车辆。采用该方法能实现稳定定位，尤其适用于在开阔道路等场景下准确地获得车辆的位置信息。

Description

视觉定位方法、装置以及电子设备

技术领域

本申请涉及视觉定位领域，更具体地，涉及一种视觉定位方法、装置以及电子设备。

背景技术

移动定位是指通过特定的定位技术来获取定位对象的经纬度等坐标信息，并结合地图位置信息数据在电子地图上标示被定位对象的位置。

近几年，随着百度街景等大数据库的采集，基于视觉匹配的定位方式得到了越来越多的重视。大部分方案中会选择使用传统方式计算得到灰度直方图、词袋描述子等来描述数据库中的图像。这些“指纹特征”一般对场景的光照、场景的动态性等有一定的鲁棒性，降低了数据库的存储压力。

然而，以上“指纹特征”容易受到天气、季节、场景动态性等因素的影响，使得定位系统不够稳定。另外，针对高速路等道路场景下，人们只能依赖于GPS等传统方式进行定位，在GPS信号较弱的情况下，也难以实现准确的定位。

发明内容

为了解决现有技术中出现的上述问题，提出了本申请。本申请的实施例提供了一种基于天际线特征进行匹配的视觉定位方法、装置以及电子设备。在高速路等较为开阔的道路场景下，不同位置处的天际线特征往往都较为独特，因此采用其作为匹配特征能很好地实现车辆的定位。

根据本申请的一个方面，提供了一种视觉定位方法，包括：获取用于定位车辆的至少一幅图像；确定所述至少一幅图像中的至少一个第一天际线特征；从数据库中确定与所述至少一个第一天际线特征相匹配的第二天际线特征，所述数据库用于记录天际线特征与相机的位姿信息之间的对应关系；基于所述数据库中记录的与所述第二天际线特征相对应的位姿信息定位所述车辆。

根据本申请的另一方面，提供了一种视觉定位装置，包括：图像获取单元，用于获取用于定位车辆的图像；图像处理单元，用于对所述图像进行处理以获取所述图像的第一天际线特征；匹配单元，用于从数据库中确定与所述第一天际线特征相匹配的第二天际线特征，所述数据库用于记录天际线特征与图像获取单元的位姿信息之间的对应关系；以及定位单元，用于基于所述数据库中记录的与所述第二天际线特征相对应的位姿信息定位所述车辆的定位信息。

根据本申请的又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的视觉定位方法。

根据本申请的又一方面，提供了一种电子设备，所述电子设备包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的视觉定位方法。

与现有技术相比，采用根据本申请实施例的视觉定位方法、装置、计算机可读存储介质、以及电子设备，其基于天际线来描述道路处的物理位置，并使用天际线“指纹”匹配实现车辆的定位，由于该特征收天气、季节、场景动态性等因素的影响较小，因此本发明的方法能实现稳定定位，尤其适用于在开阔道路等场景下准确地获得车辆等可移动装置的位置信息。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是根据本申请一实施例的视觉定位系统的框图。

图2是根据本申请一实施例的视觉定位方法的流程图。

图3是根据本申请一实施例的相机设置的示意图。

图4是根据本申请一实施例的相机设置的另一示意图。

图5是根据本申请一实施例的天际线特征匹配的一流程图。

图6是根据本申请一实施例的视觉定位装置的框图。

图7是根据本申请一实施例的视觉定位装置的另一框图。

图8是根据本申请一实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，现有的基于视觉的定位方法容易受到天气、季节、场景动态性等因素的影响，使得定位系统不够稳定。

针对现有技术存在的问题，本申请的基本构思是提出一种视觉定位方法、视觉定位装置、计算机可读存储介质以及电子设备，首先让车载或者任何移动相机遍历一个环境，采集该场景下的含有天际线特征的图像，并为每一帧图像标记对应的位姿标签，建立由图像和位姿标签组成的数据库。当车辆再次进入该场景时，可以通过图像匹配的方式，即在数据库中寻找跟当前采集图像匹配度最高的图像，并认为该图像的位姿标签即为当前相机的位姿。

本申请基于天际线来描述与道路相关的物理位置，由于天际线特征对场景天气、季节等变化的鲁棒性较高，因此本申请的定位系统与现有技术中的定位方法相比，稳定性更高。另外，对于高速路等开阔道路场景，对GPS等传统方式进行定位的依赖性高，因此在GPS信号较弱的情况下将难以实现定位，利用本申请的定位方法可以对现有的定位方式进行校准，进而提高定位精度。

需要说明的是，本申请的上述基本构思不仅可以应用于车辆，也可以应用于智能手机等可移动设备。为了便于理解本申请，下面将以车辆为例说明本申请的各技术方案。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1示出了本申请一实施例的视觉定位系统的框图。

如图1所示，根据本申请实施例的视觉定位系统包括车辆(1、2……、n，其中，n为正整数)和数据库20。

例如，该车辆可以是任何类型的机动车，包括家用轿车、SUV、公交车、货车等；该数据库用于记录待定位场景下的定位特征与位姿信息之间的对应关系，上述待定位场景可以是高速路等开阔场景，也可以是城市街道等市区环境。如上文描述，本申请尤其适用于高速公路场景下的车辆定位，相应地，上述定位特征为例如山脉等较少受到天气、季节等影响的天际线特征。

典型地，上述数据库的建立方法包括：采集一个环境下的多帧图像；获取每一帧图像的天际线特征；通过视觉里程计等定位模块获得所述每一帧图像的位姿信息，并对每一帧图像标记对应的位姿标签；以及将所述多帧图像和对应的位姿标签建立映射关系。

该数据库20和车辆之间可相互通信，其可以接收多辆车辆(1、2……、n)的访问请求，接收车辆发送的天际线图像，并将该天际线图像与数据库中的天际线特征进行匹配，如果存在匹配特征，则将该匹配特征对应的位姿信息发送给车辆，以实现对车辆的定位。

该数据库20例如可以是云端服务器，其存储、运算处理能力较强，并可包含引擎以对数据序列进行更新、融合。当然，本申请不限于此。例如，数据库20也可以全部或部分地位于车辆端，或者形成分布式服务器的架构，即该数据库20也可以是如图1所示的一个，也可以是多个。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。为了描述方便，将以在道路上行驶的轿车和云端服务器分别作为车辆和数据库20的示例进行说明。

示例性方法

图2是根据本申请一实施例的视觉定位方法的流程图，本实施例可应用在车辆上，包括如下步骤：

在步骤S110中，获取用于定位车辆的至少一幅图像。

车辆可以在移动环境(例如，高速公路)中进行移动，同时它可以利用在其上装备的传感器来捕捉所述移动环境的图像。

车辆既可以是手动驾驶汽车，也可以是自动驾驶汽车，例如安装有高级驾驶辅助系统(ADAS)的车辆，即本申请的定位方法可以应用于自动驾驶的定位导航。在这里，图像是通过图像传感器，例如相机，拍摄的，其可以是摄像头或摄像头阵列。这里的相机可以是应用于各种行业、领域和场景的相机，例如但不限于安防监控、环境3D建模等的相机等，其可以是单目相机，也可以是双目相机。

相机可以设置一个，也可以设置多个，例如两个或三个，相应地多个相机可同时获取移动环境下的多幅图像。相机可设置在车身外表面，例如安装在后视镜上，但是它们也可以安装在其它位置，例如两个相机分别安装在车辆顶部的前端和右侧。需要说明的是，在本申请的实施例中，该单个相机或相机组合无需采用高端传感器，而可以是低成本的采集器件即可，各相机既可以采用广角镜头，也可以采用非广角镜头，因此不用捕捉例如百度街景之类的全景图像。

在步骤S120中，确定所述至少一幅图像中的至少一个第一天际线特征。

在一实施例中，提取图像的天际线特征涉及图像处理，首先需要提取图像的特征要素，例如颜色特征、形状特征、梯度特征，并基于图像算法确定图像的天际线特征，例如，可采用区域协方差算法对图像进行分割为天空与非天空区域，确定检测的目标区域，然后采用梯度算法检测天际线的位置坐标等用于描述天际线的信息。

接下来，可以生成用于描述所述至少一幅图像的每一个天际线特征的描述子。所述描述子与所述天际线特征为一一对应的关系，每一个描述子用于描述每一个天际线特征所包含的特征信息。可以通过多种方式来生成天际线特征的描述子。

在一实施例中，可以采用基于学习的方式，通过使用离线训练的深度神经网络，例如卷积神经网络，而获得天际线的检测模型，来生成所述描述子。即在标定一定数量的天际线图像之后，其可以是灰度图，也可以是RGB图，通过训练神经网络而获得检测模型，并使用模型中某一层的输入作为天际线特征的描述子，则对任何实际拍摄的图像，将其输入天际线检测模型，可以得到该图像的天际线的描述。

所述离线训练好的卷积神经网络包括输入层、卷积层、池化层、全连接层、输出层。卷积层和池化层可以分别有若干个，利用卷积运算可以用于执行边缘检测，池化层可降低特征映射的维度。全连接层相当于多层感知机中的隐含层，所述输出层(或描述子生成器)可以采用多分类的逻辑斯特回归来表示。网络的层级越深，其越能抽象出天际线的特征，在一个实施例中，本发明确定所述至少一幅图像中的至少一个第一天际线特征包括将该至少一幅图像输入至神经网络，基于神经网络的最后一层全连接层的输出，确定所述至少一个第一天际线特征。

在步骤S130中，从数据库中确定与所述至少一个第一天际线特征相匹配的第二天际线特征。

在一实施例中，数据库中记录了天际线特征与相机的位姿信息之间的对应关系。其中，在建立数据库时，需要遍历场景进行数据采集，因此数据采集的精度也会影响实际定位的精度，例如可以每10米，或100米进行数据采集，采集该场景下的多帧图像，也将上述图像输入例如上面描述的基于深度学习获得的天际线检测模型，检测出对应的天际线特征，并为每一帧图像标记对应的位姿标签，由此建立由图像和位姿标签组成的数据库。此外，作为图像的特征信息，还可以包括采集状态下的其它信息，例如图像采集的相机位姿，例如相机光轴与水平面的夹角。

当采用描述子来描述所述至少一幅图像的每一个第一天际线特征时，天际线特征之间的相似性又可以采用描述子之间的距离来衡量，例如通过天际线描述子向量之间的欧式距离(Euclidean distance)来衡量。在此情况下，首先，计算待定位图像的天际线的描述子与在数据库中存储的每一个已记录的所有天际线的描述子之间的欧式距离。可以以具有最小的欧式距离的天际线特征确定所述定位图像的天际线，即对计算所得到的各个欧氏距离进行排序，取其中最小的欧式距离，并为从所述数据库中确定的与所述至少一个第一天际线特征匹配度最高的天际线特征作为所述第二天际线特征，此时可以返回在数据库中存储记录的、其特征描述子与待定位图像的特征描述子具有最小欧式距离的天际线的位姿信息。在数据库的采集精度不高的情况下，还可以进一步判断该最小的欧式距离是否小于或等于某个阈值。如果是，则可以确定所述待定位图像在数据库中的匹配天际线，否则需要车辆继续前进一段距离，并返回步骤S110步骤重新进行定位。

需要说明的是，本申请不限于此。例如，除了采用欧式距离之外，还可以使用余弦距离、最大似然比等其他度量来判断两个天际线特征之间的匹配度。

在步骤S140中，基于所述数据库中记录的与所述第二天际线特征相对应的位姿信息定位所述车辆。

在一示例中，从所述数据库中记录的与所述第二天际线特征相对应的位姿信息中确定相机的位置信息与姿态信息，并基于其中的位置信息定位所述车辆，该位置信息标识了车辆的经纬度坐标，并基于该信息对车辆在当前移动环境下进行导航。在另一示例中，例如在盘山拐弯路段，也可以根据相机的位置信息和姿态信息共同对车辆进行定位。

本发明通过采用天际线特征的匹配实现对车辆进行定位，由于不同位置处的天际线特征都较为独特且不易受天气、季节、场景动态性等因素影响，因此能够对车辆进行精度较高的定位；此外，通过机器学习的方式获得图像的天际线特征，可避免常规的键入方式从而提高了定位导航的便捷性。

在一个实施例中，本发明还可以利用该位姿信息对车辆的GPS和/或IMU定位系统进行校准。即结合视觉定位方法和传统的GPS和/或IMU定位方法共同实现车辆的定位，一方面，结合成熟的定位系统和视觉定位方法对车辆进行定位，避免了频繁访问数据库而造成的成本上升，另一方面，也使得在例如GPS信号较弱或惯性测量单元(IMU)定位精度不高时仍能对车辆进行准确定位。

具体而言，车辆可以使用已有的多种定位方法，例如相对定位法，诸如航位推算法等，绝对定位法，诸如GPS定位、信标定位、地图匹配定位等。以相对定位法中的航位推算法为例，主要是在无信标环境下使用IMU感知车辆在行进过程中的加速度、角速度、磁力和压力等数据，并利用这些数据对车辆进行步长与方向的推算，从而达到对车辆进行定位跟踪的目的，车辆在出发前已知其初始位置，将其设置为原点。在车辆运行过程中，其利用例如位移测量部件，诸如里程计和加速度传感器，航向传感器，诸如角速率陀螺仪和差动里程计等，确定其每个路径点相对于上一个路径点的位移矢量。例如将获取的加速度信号转换成电压信号，经过A/D转换得到数字信号，再通过对加速度进行积分运算得到车辆的速度和方向，也就得到车辆的当前位置相对于原点的位移矢量。即航位推算是一个累加过程，测量误差和计算误差会随着时间而逐渐累积，导致定位精度随时间不断下降。因此，在本发明的一些实施例中，可以将航位推算与视觉定位方法相结合来进行定位。例如，当车辆运行至可进行视觉定位的场景中，基于前述的视觉定位方法确定车辆的位置信息，将其与由IMU定位确定的位置信息进行对比获得差值，并可将该差值作为校准参数利用于后续的IMU定位数据，从而获得车辆后续行进中的位置坐标。

在一个实施例中，在车辆上设置一个相机获取图像即可。例如如图3所示，在车辆的顶部表面设置一个相机，相机的光轴与地平面形成一个预定角度θ，该角度θ可为15-60°，角度过小或过大，都会导致捕捉的图像中含有的天际线较少，不利于天际线特征的提取，对于高速公路等开阔道路场景，角度θ优选为15-25°。相机的光轴在水平面的投影既可以与车辆行进方向平行，也可以存在夹角。作为优选实施方式，设置在车辆上的相机可进行偏转，以适应不同场景下的视觉定位。当车辆驶入一个新的场景时，例如从市内街道离开进入省际高速公路，车辆端利用GPS进行粗定位从而连接到数据库端并读取相机的位姿信息，根据此信息控制车辆的车载相机进行例如顺时针旋转一定角度，上述控制相机旋转的技术属于现有技术，此处不做详细描述。

采用一个相机获取图像时，当车辆运行在例如直行路段等移动场景下，相机所捕捉的图像中的天际线可能在一路段区间并没有显著改变，由此会造成定位精度不准确的问题。为了解决上述问题，在第二示例中，在车辆上设置有两个相机，两个相机的视角、焦距等参数相同，例如视角为75.3-114.2°，且两个相机的光轴与地平面也存在夹角，例如均为15-60°，同时两个相机的光轴之间也存在夹角，即两个相机所捕捉的图像并不相同，例如两者的夹角为60-120°，具体可例如为90°，即两者相互垂直地设置在车辆上。参照图3-4，第一相机30设置在车辆的顶部前端，第二相机40设置在车辆的顶部右侧，两者的光轴与水平面的夹角均为θ＝20°，同时两者的光轴在水平面的投影线则相互垂直。

相应地，图5其示出了本申请的定位方法中从数据库中确定与所述至少一个第一天际线特征相匹配的第二天际线特征的步骤的另一流程图。

如图5所述，步骤S130可以包括：

在子步骤S131中，从所述数据库中获取与所述第一图像的天际线特征的匹配度大于一阈值的多个第三天际线特征。

同时参照图3和图4，由第一相机30、第二相机40在同一时刻分别捕捉到第一图像和第二图像，先在数据库中针对第一图像的天际线特征进行匹配操作，设置一个匹配度阈值match_threshhold，例如为0.8，从数据库中获取匹配度大于该阈值的多个第三天际线特征，此多个第三天际线特征对应的位置信息均可能是当前时刻车辆所处的位置。

在子步骤S132中，从所述数据库中确定与所述多个第三天际线特征对应的多个第四天际线特征。

可以理解的是，为了适应基于多个相机进行天际线“指纹”匹配的定位方法，以本实施例中的两个相机为例，相应地，数据库采集车也设置有两个相机，其遍历场景时在同一位置分别采集一幅图像，得到两幅图像，获取两幅图像的天际线特征，即分别为第三天际线特征和第四天际线特征，该第三天际线特征和第四天际线特征存在一一对应关系，且均对应于同一位置标签。

在子步骤S133中，从所述多个第四天际线特征中获取与所述第二图像的天际线特征具有最高匹配度的天际线特征。

与前述判断与第一天际线特征相匹配的第二天际线特征类似，可以采用描述子之间的欧式距离或者余弦距离等来衡量天际线特征之间的相似性，对计算得到的各个距离进行排序，取其中最小的欧式距离或者余弦距离，在多个第四天际线特征中筛选得到与第二图像的天际线特征的匹配度最高的天际线特征。

最后，在子步骤S134中，将所述具有最高匹配度的天际线特征确定为所述第二天际线特征。

此时，可基于数据库中记录的与所述第二天际线特征相对应的位姿信息定位所述车辆。例如，基于其中的位置信息确定车辆在当前时刻的位置坐标。

通过车辆上的两个相机在同一时刻捕捉不同方位的天际线特征并进行匹配操作，由于在一个方位上进行天际线匹配可能会存在多个匹配度较高的天际线特征，本实施方式通过在不同方位再进行二次匹配，提高了天际线的匹配精度，进而提高车辆的定位精度。但应了解，本申请中的相机的数目不限于两个，还可以设置为三个或更多个，例如其设置在车辆的前端和左右侧。在不脱离本发明的原理的情况下，相应的技术方案均包括在本申请的保护范围内。从成本考虑角度，本实施例优选采用两个相机。

示例性装置

下面，参考图6来描述根据本申请实施例的视觉定位装置。

图6示出了根据本申请一实施例的视觉定位装置的框图。如图6所示，根据本申请一实施例的视觉定位装置200可以包括：图像获取单元210，用于获取用于定位车辆的图像；图像处理单元220，用于对所述图像进行处理以获取所述图像的第一天际线特征；匹配单元230，用于从数据库中确定与所述第一天际线特征相匹配的第二天际线特征，所述数据库用于记录天际线特征与图像获取单元的位姿信息之间的对应关系；以及定位单元240，用于基于所述数据库中记录的与所述第二天际线特征相对应的位姿信息定位所述车辆的定位信息。

在一示例中，所述图像获取单元210包括设置在所述车辆上的至少一个相机，其可以设置在车辆的车身外表面上，例如安装在保险杠、后视镜、车顶等位置处。

在一示例中，如图7所示，所述图像处理单元220包括：检测模块221，用于检测出所述图像对应的第一天际线特征；可选地，还可包括处理模块222，用于将图像转换为灰度图像。

在一示例中，如图7所示，所述匹配单元230包括：第一判断模块231，用于判断在数据库中与所述图像的第一天际线特征匹配度最高的第二天际线特征，或者匹配度超过一阈值的多个第三天际线特征；可选地，还包括筛选模块232，用于筛选与所述多个第三天际线特征对应的多个第四天际线特征；第二判断模块233，用于从所述多个第四天际线特征中获取与所述第二图像的天际线特征具有最高匹配度的天际线特征。

在一示例中，所述定位单元240基于所述定位信息确定车辆的位置信息。

虽然未示出，但是在一些示例中，定位装置还包括控制单元，以控制所述相机的偏转，以适应于不同的待定位移动场景。在一些示例中，定位装置还可包括显示单元，其可以为车辆自身的仪表板，或者控制面板上的液晶显示屏，用于直观地显示车辆的定位信息。

上述定位装置200中的各个单元和模块的具体功能和操作已经在上面参考图1-5描述的定位方法中详细介绍，因此这里仅简要介绍，并省略不必要的重复描述。

示例性电子设备

下面，参考图8来描述根据本申请一实施例的电子设备300。如图8所示，电子设备300包括一个或多个处理器310和存储器320。

处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备300中的其他组件以执行期望的功能。

存储器320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器310可以运行所述程序指令，以实现上文所述的本申请的各个实施例的视觉定位方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如相机的相关信息、数据库等各种内容。

在一个示例中，电子设备300还可以包括输入装置330和输出装置340，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置330可用于接收外界输入，例如包括键盘、鼠标、触摸屏等。

例如，该输入装置330可以包括图像传感器，其可以是摄像头或摄像头阵列。又如，该输入装置330还可包括在车辆中内建的惯性测量单元(IMU)和运动编码器(包括加速度计与陀螺仪等)，用于测量车辆的运动参数，例如，速度、加速度、位移等，以确定车辆在移动环境中的位置与朝向(姿态)。

该输出装置350可以向外部输出各种信息，包括确定出的定位信息、方向信息等。该输出装置350可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

为了简化，图8中仅示出了该电子设备300中与本申请有关的组件中的一些，省略了诸如一些相关外围或辅助组件。例如，电子设备300还可包括一个或多个接口，其用于连接到获取图像的相机，接口可以是常用的USB、Type-C等接口。除此之外，根据具体应用情况，电子设备300还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的视觉定位方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的视觉定位方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种视觉定位方法，包括：

获取用于定位车辆的至少一幅图像；

确定所述至少一幅图像中的至少一个第一天际线特征；

从数据库中确定与所述至少一个第一天际线特征相匹配的第二天际线特征，所述数据库用于记录天际线特征与相机的位姿信息之间的对应关系；

基于所述数据库中记录的与所述第二天际线特征相对应的位姿信息定位所述车辆。

2.如权利要求1所述的方法，其中，基于所述数据库中记录的与所述第二天际线特征相对应的位姿信息定位所述车辆，包括：

从所述数据库中记录的与所述第二天际线特征相对应的位姿信息中确定相机的位置信息与姿态信息；

基于所述位置信息定位所述车辆。

3.如权利要求1所述的方法，其中，确定所述至少一幅图像中的至少一个第一天际线特征包括：

将所述至少一幅图像输入至神经网络；

基于所述神经网络的最后一层全连接层的输出，确定所述至少一个第一天际线特征。

4.如权利要求1所述的方法，其中，所述第二天际线特征为从所述数据库中确定的与所述至少一个第一天际线特征匹配度最高的天际线特征。

5.如权利要求1所述的方法，所述至少一幅图像包括第一图像和第二图像，所述从数据库中确定与所述至少一个第一天际线特征相匹配的第二天际线特征，包括：

从所述数据库中获取与所述第一图像的天际线特征的匹配度大于一阈值的多个第三天际线特征；

从所述数据库中确定与所述多个第三天际线特征对应的多个第四天际线特征；

从所述多个第四天际线特征中获取与所述第二图像的天际线特征具有最高匹配度的天际线特征；

将所述具有最高匹配度的天际线特征确定为所述第二天际线特征。

6.如权利要求5所述的方法，其中，所述第一图像和所述第二图像分别由设置在所述车辆上的第一相机和第二相机在同一时刻捕捉，且所述第一相机的光轴和所述第二相机的光轴与地平面的夹角均为15-60°，所述第一相机的光轴与所述第二相机的光轴的夹角为60-120°。

7.如权利要求1-5任一项所述的方法，还包括：

根据所述位置信息对所述车辆的GPS和/或IMU定位系统进行校准。

8.一种视觉定位装置，包括：

图像获取单元，用于获取用于定位车辆的图像；

图像处理单元，用于对所述图像进行处理以获取所述图像的第一天际线特征；

匹配单元，用于从数据库中确定与所述第一天际线特征相匹配的第二天际线特征，所述数据库用于记录天际线特征与图像获取单元的位姿信息之间的对应关系；以及

定位单元，用于基于所述数据库中记录的与所述第二天际线特征相对应的位姿信息定位所述车辆的定位信息。

9.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种电子设备，所述电子设备包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的方法。

Images