CN111652934A

CN111652934A - 定位方法及地图构建方法、装置、设备、存储介质

Info

Publication number: CN111652934A
Application number: CN202010399500.2A
Authority: CN
Inventors: 杨宇尘; 蒋燚; 李姬俊男; 马标
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2020-05-12
Filing date: 2020-05-12
Publication date: 2020-09-11
Anticipated expiration: 2040-05-12
Also published as: CN111652934B

Abstract

本申请实施例公开了定位方法及地图构建方法、装置、设备、存储介质，其中，所述定位方法包括：对相机采集的当前图像进行局部特征提取，得到多个不同的第一特征点的局部特征；根据所述多个不同的第一特征点的局部特征，从已构建的目标视觉地图中，获取多个采样点中与所述当前图像的光照条件相匹配的局部特征，以得到第一点云；其中，所述目标视觉地图中的每一所述采样点包括在多个光照条件下的局部特征；根据所述多个不同的第一特征点的局部特征和所述第一点云中每一采样点的局部特征，对所述相机进行视觉定位，得到所述相机的目标定位结果。

Description

定位方法及地图构建方法、装置、设备、存储介质

技术领域

本申请实施例涉及计算机视觉技术，涉及但不限于定位方法及地图构建方法、装置、设备、存储介质。

背景技术

随着人工智能的发展和计算机算力的提升，视觉定位技术的研究在近几年吸引了很多研究人员的加入。该技术指的是根据相机采集的图像信息和已构建的视觉地图，确定相机所在的位置和相机的旋转角度的方法。

在大多数的视觉定位方法中，无论是构建视觉地图还是对相机进行定位，都会涉及对图像的特征点的局部特征进行提取。例如，首先检测图像中的加速段测试的特征(Features from Accelerated Segment Test，FAST)关键点，然后将该关键点作为特征点，提取该点的ORB (Oriented Fast and Rotated Brief)特征。

然而，由于这些局部特征对光照变化的鲁棒性较差，因此，基于视觉地图的定位精度容易受光照变化的影响。例如，视觉地图是根据阳光灿烂的白天采集的图像序列构建得到的；但是，在雨雪天气对于同样的场景，因光照发生了变化，而无法在视觉地图中找到匹配的采样点，从而导致定位精度严重下降，甚至无法对相机进行定位。

发明内容

本申请实施例提供定位方法及地图构建方法、装置、设备、存储介质。本申请实施例的技术方案是这样实现的：

本申请实施例提供的定位方法，包括：对相机采集的当前图像进行局部特征提取，得到多个不同的第一特征点的局部特征；根据所述多个不同的第一特征点的局部特征，从已构建的目标视觉地图中，获取多个采样点中与所述当前图像的光照条件相匹配的局部特征，以得到第一点云；其中，所述目标视觉地图中的每一所述采样点包括在多个光照条件下的局部特征；根据所述多个不同的第一特征点的局部特征和所述第一点云中每一采样点的局部特征，对所述相机进行视觉定位，得到所述相机的目标定位结果。

本申请实施例提供的地图构建方法，包括：获取多个图像序列，所述多个图像序列是在相同场景的不同光照条件下采集得到的；将至少一个所述图像序列中的每一图像作为地图关键帧，根据每一所述地图关键帧构建初始视觉地图，所述初始视觉地图包括多个采样点的空间坐标和每一所述采样点在对应图像上的局部特征；将除所述至少一个所述图像序列外的其他序列中的每一图像作为待融合图像，对每一所述待融合图像进行局部特征提取，得到对应图像的多个不同的第二特征点的局部特征；将每一所述待融合图像的第二特征点的局部特征，和所述初始视觉地图中与所述第二特征点相匹配的第二目标采样点的局部特征进行融合，得到目标视觉地图。

本申请实施例提供的定位装置，包括：第一提取模块，用于对相机采集的当前图像进行局部特征提取，得到多个不同的第一特征点的局部特征；特征匹配模块，用于根据所述多个不同的第一特征点的局部特征，从已构建的目标视觉地图中，获取多个采样点中与所述当前图像的光照条件相匹配的局部特征，以得到第一点云；其中，所述目标视觉地图中的每一所述采样点包括在多个光照条件下的局部特征；视觉定位模块，用于根据所述多个不同的第一特征点的局部特征和所述第一点云中每一采样点的局部特征，对所述相机进行视觉定位，得到所述相机的目标定位结果。

本申请实施例提供的地图构建装置，包括：图像获取模块，用于获取多个图像序列，所述多个图像序列是在相同场景的不同光照条件下采集得到的；地图构建模块，用于将至少一个所述图像序列中的每一图像作为地图关键帧，根据每一所述地图关键帧构建初始视觉地图，所述初始视觉地图包括多个采样点的空间坐标和每一所述采样点在对应图像上的局部特征；第二提取模块，用于将除所述至少一个所述图像序列外的其他序列中的每一图像作为待融合图像，对每一所述待融合图像进行局部特征提取，得到对应图像的多个不同的第二特征点的局部特征；特征融合模块，用于将每一所述待融合图像的第二特征点的局部特征，和所述初始视觉地图中与所述第二特征点相匹配的第二目标采样点的局部特征进行融合，得到目标视觉地图。

本申请实施例提供的电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述定位方法中的步骤；或者，所述处理器执行所述程序时实现本申请实施例所述地图构建方法中的步骤。

本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所述定位方法中的步骤；或者，该计算机程序被处理器执行时实现本申请实施例所述地图构建方法中的步骤

在本申请实施例提供的定位方法中，根据当前图像的多个不同的特征点的局部特征，从已构建的目标视觉地图中，获取多个采样点中与所述当前图像的光照条件相匹配的局部特征，以得到第一点云；基于第一点云，对相机进行定位；由于视觉地图中的采样点包含了多个不同光照条件下的局部特征，因此，该地图对光照变化具有较好的鲁棒性，从而使得电子设备能够在多种不同的光照条件下，均能够获得较好的定位精度。

附图说明

图1为本申请实施例目标视觉地图的构建方法的实现流程示意图；

图2为本申请实施例目标视觉地图的构建方法的实现流程示意图；

图3为本申请实施例目标视觉地图的构建方法的实现流程示意图；

图4A为本申请实施例定位方法的实现流程示意图；

图4B为本申请实施例视觉定位在汽车制造中的应用场景示意图；

图4C为本申请实施例视觉定位在辅助驾驶和无人驾驶领域的应用场景示意图；

图5为本申请实施例定位方法的实现流程示意图；

图6为本申请实施例定位方法的实现流程示意图；

图7为本申请实施例地图构建和定位方法的实现流程示意图；

图8为本申请实施例地图构建装置的结构示意图；

图9A为本申请实施例提供的定位装置的结构示意图；

图9B为本申请实施例提供的定位装置的结构示意图；

图10为本申请实施例电子设备的一种硬件实体示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似或不同的对象，不代表针对对象的特定排序，也不代表两者或三者之间存在某种关联关系。可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

为了便于对本申请实施例提供的定位方法的理解，首先，本申请实施例先提供目标视觉地图的构建方法，然后再对基于目标视觉地图的定位方法的实施步骤进行说明。

其中，目标视觉地图的构建方法可以应用于分布式的计算架构上，还可以应用于电子设备。当然，定位方法也可以应用电子设备上。实施地图构建的设备与实施视觉定位的设备可以是同一设备，也可以是不同设备。换言之，两种方法可以集成在同一电子设备上，也可以分别集成在不同的电子设备上。

所述电子设备可以是处理器、移动终端(例如手机、平板电脑、电子阅读器等)、笔记本电脑、台式计算机、机器人、无人机、服务器等具有信息处理能力的设备。所述目标视觉地图的构建方法和/或所述定位方法所实现的功能可以通过所述电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。

图1为本申请实施例目标视觉地图的构建方法的实现流程示意图，如图1所示，所述方法可以包括以下步骤101至步骤104：

步骤101，获取多个图像序列，所述多个图像序列是在相同场景的不同光照条件下采集得到的。

可以理解地，每一图像序列均包括多张不同的图像。所述多个图像序列可以是相机分别在不同的天气状况下采集得到的。例如，多个图像序列包括序列1、序列2和序列3；其中，序列1是在阳光灿烂的白天采集的，序列2是在白天下雨时采集的，序列3是在白天起雾时采集的。所述多个图像序列还可以是在相同的天气状况下的不同时间段采集得到的。例如，多个图像序列包括序列4、序列5和序列6；其中，序列4是在早晨采集的，序列5是在中午采集的，序列6是在太阳落山时采集的。换言之，这里对光照条件不做限定，所述光照条件可以是多种多样的。

步骤102，将至少一个所述图像序列中的每一图像作为地图关键帧，根据每一所述地图关键帧构建初始视觉地图，所述初始视觉地图包括多个采样点的空间坐标和每一所述采样点在对应图像上的局部特征。

例如，根据所述多个图像序列中的某一序列中的图像构建初始视觉地图。通常情况下，将多个图像序列中光照条件最接近于所述多个图像序列的光照条件均值的图像序列作为构建初始视觉地图的素材，这样有利于后续待融合图像的特征点的局部特征能够准确地融合至地图中。

在实现时，电子设备可以通过运动推断结构(Structure From Motion，SFM)算法对每一所述地图关键帧进行处理，从而得到点云数据，即初始视觉地图。当然，电子设备还可以通过SFM算法对所有地图关键帧的部分关键帧进行处理，得到部分点云数据；然后，基于这部分点云数据和剩余的地图关键帧，通过PnP(Perspective-n-Point)算法或者迭代最近点 (Iterative Closest Point，ICP)算法，获得其他采样点的空间坐标，从而完善所述部分点云数据，得到初始视觉地图。

步骤103，将除所述至少一个所述图像序列外的其他序列中的每一图像作为待融合图像，对每一所述待融合图像进行局部特征提取，得到对应图像的多个不同的第二特征点的局部特征。

需要说明的是，所述局部特征的提取方法可以是多种多样的，相应地，所述局部特征也是多种多样的。例如，电子设备可以基于深度学习的方法对图像进行局部特征提取，相应地，提取的局部特征可以为SuperPoint特征、D2-Net特征等。再如，电子设备还可以基于非深度学习的方法对图像进行局部特征提取，相应地，提取的局部特征可以为基于尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)获得的特征、ORB特征等。

步骤104，将每一所述待融合图像的第二特征点的局部特征，和所述初始视觉地图中与所述第二特征点相匹配的第二目标采样点的局部特征进行融合，得到目标视觉地图。

在一些实施例中，电子设备可以先从初始视觉地图中确定与待融合图像相匹配的目标图像，然后仅从这些目标图像所观测到的采样点中搜索与之匹配的目标采样点。例如，电子设备可以通过如下实施例的步骤204至步骤207实现步骤104。

在本申请实施例中，电子设备获取在相同场景的不同光照条件下采集得到的多个图像序列；根据至少一个图像序列构建初始视觉地图；然后将剩余图像序列中的图像的特征点的局部特征，和所述初始视觉地图中与对应特征点相匹配的目标采样点的局部特征进行融合，得到目标视觉地图；如此，使得目标视觉地图中的采样点拥有多个不同光照条件下的局部特征，这样可以提高视觉地图对光照变化的鲁棒性，进而使得用户设备能够在不同的光照条件下，均能够基于该视觉地图获得较好的定位结果。

本申请实施例再提供一种目标视觉地图的构建方法，图2为本申请实施例目标视觉地图的构建方法的实现流程示意图，如图2所示，所述方法可以包括以下步骤201至步骤207：

步骤201，获取多个图像序列，所述多个图像序列是在相同场景的不同光照条件下采集得到的。

在相同场景下进行不同光照条件下的图像采集时，通常情况下相机的视角保持的特定范围内。例如，采集每一图像时相机的视角保持不变，当然在图像采集的过程中相机的视角可以改变，但是不能超过特定视角范围，这样对于后续能够准确地进行局部特征融合是有利的。

在进行一个图像序列的采集时，电子设备可以通过光照估计算法，估计相机当前采集的图像的光照条件，如果该图像所在的光照条件与已有的图像序列(即用于构建目标视觉地图的图像序列)对应的光照条件的差距在特定范围内时，则删除该图像；否则，将该图像加入对应的图像序列中，以用于目标视觉地图的构建。这样做的好处在于，降低目标视觉地图的冗余度，使得地图中保存的多个光照条件的局部特征具有一定的显著性。也就是说，在不失定位精度的情况下，不同光照条件下的局部特征具有一定的差别。

步骤202，将至少一个所述图像序列中的每一图像作为地图关键帧，根据每一所述地图关键帧构建初始视觉地图，所述初始视觉地图包括多个采样点的空间坐标和每一所述采样点在对应图像上的局部特征；

步骤203，将除所述至少一个所述图像序列外的其他序列中的每一图像作为待融合图像，对每一所述待融合图像进行局部特征提取，得到对应图像的多个不同的第二特征点的局部特征；

步骤204，从所述初始视觉地图中，确定与每一所述待融合图像相匹配的目标图像，以得到对应待融合图像的目标图像集合。

可以理解地，两张相匹配的图像，可能是相机在同一位置同一视角下但是不同光照条件下拍摄的图像。两张图像包含的内容可能是相同或相似的。在一些实施例中，电子设备可以通过比较两张图像的全局特征，来确定两者是否相匹配。例如，电子设备可以通过如下实施例的步骤304至步骤306来实现目标图像的检索。

步骤205，从所述初始视觉地图中，确定每一所述目标图像集合所观测到的采样点的局部特征，以得到对应目标图像集合的第二点云。

也就是，将目标图像集合的每一图像在地图中所观测到的采样点的局部特征，作为第二点云。

步骤206，将每一所述待融合图像的第二特征点的局部特征，与对应的第二点云中每一采样点的局部特征进行匹配，以确定与所述第二特征点相匹配的第二目标采样点。

在一些实施例中，第二目标采样点为内点，也就是匹配正确的点。在实现时，电子设备可以从待融合图像对应的第二点云中，确定与该图像的每一第二特征点的局部特征相匹配的候选采样点，以得到该图像对应的匹配对集合；然后，通过基础矩阵对所述匹配对集合进行外点筛除，从而将剩余的候选采样点作为第二目标采样点。

步骤207，将每一所述第二特征点的局部特征，与所述初始视觉地图中对应的第二目标采样点的局部特征进行融合，得到所述目标视觉地图。

例如，在实现时，电子设备先确定所述第二特征点的局部特征与该点相匹配的第二目标采样点的局部特征之间的距离；如果该距离大于第一阈值，则将该特征点的局部特征作为该采样点的另一局部特征，以实现特征融合；如果两者之间的距离小于或等于第一阈值，则不进行融合，而是确定下一个第二特征点的局部特征与对应的第二目标采样的局部特征之间的距离，并与第一阈值进行比较，以确定是否进行局部特征的融合；如此，可以降低目标视觉地图中采样点的局部特征冗余度，从而压缩地图的数据量，降低地图存储空间。

在本申请实施例中，电子设备首先从初始视觉地图中，确定与待融合图像相匹配的目标图像；然后，仅从确定的至少一张目标图像在地图中所观测到的采样点中，查找与待融合图像的特征点相匹配的目标采样点，而不是从整张地图中进行目标采样点的查找；即，电子设备无需确定特征点与地图中所有采样点之间的距离，仅确定与少量采样点之间的距离，即可查找出目标采样点；如此，可以大大降低特征点匹配的计算量，从而提高目标视觉地图的构建速度。

本申请实施例再提供一种目标视觉地图的构建方法，图3为本申请实施例目标视觉地图的构建方法的实现流程示意图，如图3所示，所述方法可以包括以下步骤301至步骤312：

步骤301，获取多个图像序列，所述多个图像序列是在相同场景的不同光照条件下采集得到的；

步骤302，将至少一个所述图像序列中的每一图像作为地图关键帧，根据每一所述地图关键帧构建初始视觉地图，所述初始视觉地图包括多个采样点的空间坐标和每一所述采样点在对应图像上的局部特征；

步骤303，将除所述至少一个所述图像序列外的其他序列中的每一图像作为待融合图像，对每一所述待融合图像进行局部特征提取，得到对应图像的多个不同的第二特征点的局部特征；

步骤304，对每一所述图像序列中的每一图像进行全局特征提取，得到对应图像的第二全局特征，所述第二全局特征用于描述所述图像中包含的轮廓特征和/或文本信息。

可以理解地，轮廓特征和文本信息，不会随着光照条件的变化而变化，对光照变化具有较好的鲁棒性。因此，这里用第二全局特征来描述整张图像，从而能够较为准确地实现不同光照条件下的图像匹配。

在实现时，电子设备可以对图像提取NetVLAD特征，以作为第二全局特征的部分或全部。对于室外环境(例如城市环境)的定位场景，由于存在各种各样的广告牌、标志性建筑物、路标等，因此可以将这些物体上的文本信息作为第二全局特征的部分或全部。

需要说明的是，在全文中描述的局部特征，用于表征的是图像上某一点的图像特征；而全局特征，用于表征的则是整张图像具有的特征。

步骤305，确定每一所述待融合图像的第二全局特征与每一所述地图关键帧的第二全局特征之间的距离，以得到对应待融合图像的距离集合。

可以理解地，这里所述的距离表征的是两张图像之间的相似程度，确定所述距离的方式可以是多种多样的，即所述距离的类型可以是多种多样的。

举例来说，假设第二全局特征为NetVLAD特征，如下式(1)所示，使用4096维浮点数的归一化NetVLAD特征：

式中，

表示的是第i张图像的第二全局特征，d_j表示的是第二全局特征的第j维特征。

基于此，在实现时，电子设备可以根据如下式(2)确定两个第二全局特征之间的距离：

可以理解地，diff_ij越小，说明第i张图像与第j张图像之间的全局特征越接近，即两张图像可能是相匹配的。

步骤306，将所述距离集合中满足条件的距离所对应的地图关键帧，确定为目标图像，以得到对应待融合图像的目标图像集合。

也就是说，通过计算待融合图像的第二全局特征分别与每一地图关键帧的第二全局特征之间的距离，可以得到一个距离集合。在一些实施例中，电子设备可以将距离集合中N个最小距离对应的地图关键帧作为目标图像，即目标图像集合中包括N张地图关键帧。在另一些实施例中，电子设备还可以将距离集合中大于第二阈值的距离所对应的地图关键帧，确定为目标图像。

步骤307，从所述初始视觉地图中，确定每一所述目标图像集合所观测到的采样点的局部特征，以得到对应目标图像集合的第二点云；

步骤308，将每一所述待融合图像的第二特征点的局部特征，与对应的第二点云中每一采样点的局部特征进行匹配，以确定与所述第二特征点相匹配的第二目标采样点；

步骤309，将每一所述第二特征点的局部特征，与所述初始视觉地图中对应的第二目标采样点的局部特征进行融合，得到融合后的初始视觉地图。

可以理解地，通过步骤308和步骤309，得到的融合后的初始视觉地图，其中的采样点包含了多个光照条件下的局部特征，第h个采样点的局部特征集合

可以通过如下式(3) 表示：

式中，L表示的是局部的意思，

表示的是该采样点在光照条件m下的局部特征，0≤m≤M； h为整数，大于0且小于或等于地图中采样点总数。

步骤310，根据所述多个图像序列的每一图像的多个特征点的局部特征，确定对应图像的第一全局特征，所述第一全局特征用于表征所述图像包含的特征类型和/或文本信息。

所谓特征类型，描述的是图像上有哪些对象。例如，某张图像中有一个人和一辆车。再如，另一张图像中有两个人和一只狗。可以理解地，特征类型和文本信息，不会随着光照条件的变化而变化，对光照变化也具有较好的鲁棒性，且特征类型的识别方法相比于轮廓特征的识别方法，较为简单，具有时间复杂度低的特点。因此，在目标视觉地图中，采用第一全局特征描述整张图像，这样对于后续进行视觉定位时，能够更加快速地提取第一全局特征，从而快速从地图中检索到候选关键帧，进而提高定位效率。

在一些实施例中，电子设备可以利用预先训练得到的视觉词典，对图像的每一特征点的局部特征进行处理，从而得到该图像的词袋模型特征，将词袋模型特征作为第一全局特征的部分或全部。

步骤311，将每一所述待融合图像的第一全局特征，与对应目标图像的第一全局特征进行融合，得到对应目标图像的全局特征集合。

如此，使得全局特征集合中包含了在多种不同光照条件下的第一全局特征。实际上，这里通过第一全局特征来描述整张图像，相比于第二全局特征，这种特征提取方式的时间复杂度更低，能够更快地实现全局特征提取；这样，在后续基于该地图进行视觉定位时，能够快速地获取当前图像的全局特征，从而能够基于该特征，快速地从地图中确定出候选关键帧，进而提高定位效率。

步骤312，将每一所述目标图像的全局特征集合，添加至所述融合后的初始视觉地图中，以得到目标视觉地图。

基于此，得到的目标视觉地图至少包括每一地图关键帧在多个光照条件下的第一全局特征、每一采样点在多个光照条件的局部特征。在完成目标视觉地图构建的基础上，本申请实施例提供如下定位方法。

图4A为本申请实施例定位方法的实现流程示意图，如图4A所示，所述方法可以包括以下步骤401至步骤403：

步骤401，对相机采集的当前图像进行局部特征提取，得到多个不同的第一特征点的局部特征。

局部特征的提取方法可以是多种多样的，相应地，所述局部特征也是多种多样的。例如，电子设备可以基于深度学习的方法对图像进行局部特征提取，相应地，提取的局部特征可以为SuperPoint特征、D2-Net特征等。再如，电子设备还可以基于非深度学习的方法对图像进行局部特征提取，相应地，提取的局部特征可以为SIFT特征、ORB特征等。

需要说明的是，在构建地图阶段，即离线建图阶段，从图像中提取的特征点称为第二特征点；在视觉定位阶段，即在线定位阶段，从图像中提取的特征点称为第一特征点。第一特征点和第二特征点不是特指的某一个特征点，仅仅是为了方便描述而已。

步骤402，根据所述多个不同的第一特征点的局部特征，从已构建的目标视觉地图中，获取多个采样点中与所述当前图像的光照条件相匹配的局部特征，以得到第一点云；其中，所述目标视觉地图中的每一所述采样点包括在多个光照条件下的局部特征。

可以理解地，所述当前图像的光照条件，指的是相机在采集所述当前图像时所处的光照条件。电子设备可以根据当前图像的多个特征点的局部特征，估计当前图像的光照条件；然后，从目标视觉地图中获取与该估计的光照条件相匹配的目标光照条件，仅基于目标光照条件下的局部特征进行视觉定位；如此，能够减小视觉定位的计算量，从而提高定位速度，保证定位的实时性。

在一些实施例中，电子设备还可以根据当前图像的特征点的局部特征，从目标视觉地图中查找与当前图像相匹配的第一全局特征；然后，将该全局特征对应的光照条件作为目标光照条件。例如，电子设备通过如下实施例的步骤502至步骤504，获得第一点云。

步骤403，根据所述多个不同的第一特征点的局部特征和所述第一点云中每一采样点的局部特征，对所述相机进行视觉定位，得到所述相机的目标定位结果。

目标定位结果包括相机在场景中的位置信息和/或姿态信息。电子设备可以通过如下实施例的步骤607至步骤609确定相机的目标定位结果。

为了克服光照变化对定位精度的影响，通常情况下，在不同的光照条件下构建对应的视觉地图；在定位阶段，电子设备加载每一光照条件下对应的视觉地图；然后，基于每一视觉地图，分别进行视觉定位；最后，将获得的各个定位结果的均值作为目标定位结果。显然，这种通过加载多个定位进程，来克服光照变化对定位结果的影响，其计算量是非常大的。

在本申请实施例中，视觉地图中的采样点具有多个光照条件下的局部特征，电子设备在进行定位时，仅根据地图中与当前图像的光照条件相匹配采样点的局部特征进行定位；可见，电子设备仅需要加载一个定位进程，也就是仅进行一次定位运算，即可实现光照影响下的定位；如此，使得定位阶段的计算量成倍数地降低，从而有效地提高了在线定位的速度，能够满足定位实时性的需求。

通常来说，高效的视觉定位在一些应用场景中具有重要的价值。例如，在机器人自主导航领域，机器人在汽车生产线、危险场景下、全球定位系统(Global PositioningSystem，GPS) 失效的室内、或者水下等进行探测、定位时，快速地获得目标定位结果，能够使机器人更加高效地完成任务；如图4B所示，其示出了视觉定位在汽车制造中的应用场景示意图，其中，执行定位方法的设备安装于汽车生产线的工位上，工位上设置有一个或多个机器人411。当汽车生产线的滚床412将当前车身413输送至工位上后，视觉定位设备控制机器人411进行定位，然后机器人411通过工具414完成对当前车身413的处理。

再如，在辅助驾驶和无人驾驶领域，尤其在拥堵的交通状况下，如图4C所示，快速地获得目标定位结果能够使车辆及时调整行驶路线和行驶方向，从而降低发生交通事故的风险；又如，在增强现实领域，对象能够在未知环境中定位自身方位并同时构建环境三维地图，从而保证叠加的虚拟物体与现实场景在几何上的一致性，而如果定位结果计算较慢，就会导致虚拟物体与现实场景在几何上出现偏差，从而降低视觉体验。

本申请实施例再提供一种定位方法，图5为本申请实施例定位方法的实现流程示意图，如图5所示，所述方法可以包括以下步骤501至步骤505：

步骤501，对相机采集的当前图像进行局部特征提取，得到多个不同的第一特征点的局部特征；

步骤502，根据所述多个不同的第一特征点的局部特征，确定所述当前图像的第一全局特征，所述第一全局特征用于表征所述图像包含的特征类型和/或文本信息。

步骤503，根据所述当前图像的第一全局特征，从所述目标视觉地图中确定至少一个候选关键帧和与所述第一全局特征相匹配的目标光照条件。

可以理解地，虽然轮廓特征(例如NetVLAD特征)相比于特征类型(例如词袋模型特征)，对于光照变化具有更好的鲁棒性。但是，轮廓特征的提取方式相比于特征类型的提取方式，其运算量较大，耗时较长。如果将该特征应用于定位阶段的图像检索，会降低定位效率。因此，在本申请实施例的定位阶段，电子设备采用特征类型实现候选关键帧的检索，如此能够在克服光照变化影响的情况下，快速实现视觉定位。

电子设备可以通过如下实施例的步骤603至步骤605实现候选关键帧和目标光照条件的检索。

步骤504，从所述目标视觉地图中获取每一所述候选关键帧在至少一个所述目标光照条件下所观测到的采样点的局部特征，得到所述第一点云；其中，所述目标视觉地图中的每一所述采样点包括在多个光照条件下的局部特征；

步骤505，根据所述多个不同的第一特征点的局部特征和所述第一点云中每一采样点的局部特征，对所述相机进行视觉定位，得到所述相机的目标定位结果。

本申请实施例再提供一种定位方法，图6为本申请实施例定位方法的实现流程示意图，如图6所示，所述方法可以包括以下步骤601至步骤609：

步骤601，对相机采集的当前图像进行局部特征提取，得到多个不同的第一特征点的局部特征；

步骤602，根据所述多个不同的第一特征点的局部特征，确定所述当前图像的第一全局特征，所述第一全局特征用于表征所述图像包含的特征类型和/或文本信息；

步骤603，从所述目标视觉地图的每一地图关键帧的全局特征集合中，确定与所述当前图像的第一全局特征相匹配的目标全局特征。

需要说明的是，全局特征集合包括了地图关键帧在多个不同光照条件下的第一全局特征。以第一全局特征为词袋模型特征为例，在一些实施例中，电子设备可以先确定当前图像的词袋模型特征分别与地图中第i个关键帧的每一词袋模型特征之间的欧式距离，得到该帧对应的欧式距离集合；然后，确定欧式距离集合中的最小欧式距离是否满足以下式子(4)：

D₀＜α₁D_M-1 (4)；

式中，D₀表示欧式距离集合中的最小欧式距离，D_M-1表示欧式距离集合中的倒数第二小的欧式距离，α₁是一个在0到1之间的阈值，通常取值为0.8。M表示欧式距离集合中的数值数目。

若满足上式(4)表征的条件，则说明该最小欧式距离的显著性较高，结果比较可靠，因此可以将该最小欧式距离对应的词袋模型特征确定为一个目标全局特征，将该关键帧确定为候选关键帧；然后，进行下一关键帧的判断，即，确定当前图像的词袋模型特征分别与地图中第i+1个关键帧的每一词袋模型特征之间的欧式距离，若最小欧式距离不满足上式(4)，则进行下一帧的判断。

在另一些实施例中，还可以把满足以下式子(5)的欧式距离D_x对应的词袋模型特征确定为当前图像的一个目标全局特征：

D_x＜α₂D₀ (5)；

式中，α₂是一个在0到1之间的阈值，通常取值为1.2。D₀表示欧式距离集合中的最小欧式距离。

可见，通过步骤603可以确定出与当前图像的第一全局特征相匹配的至少一个目标全局特征。

步骤604，将所述目标视觉地图中每一所述目标全局特征对应的地图关键帧，确定为候选关键帧；

步骤605，根据所述目标视觉地图中每一所述目标全局特征对应的光照条件，确定至少一个目标光照条件。

例如，电子设备可以将所述目标视觉地图中每一所述目标全局特征对应的光照条件，确定为所述目标光照条件。再如，电子设备还可以将每一目标全局特征对应的光照条件确定为候选光照条件，即，得到候选光照条件集合；然后，确定候选光照条件集合中同一光照条件的数目在集合中所占的比例，将大于第三阈值的比例所对应的光照条件确定为目标光照条件；或者，将最大比例对应的光照条件确定为目标光照条件。

步骤606，从所述目标视觉地图中获取每一所述候选关键帧在至少一个所述目标光照条件下所观测到的采样点的局部特征，得到所述第一点云；其中，所述目标视觉地图中的每一所述采样点包括在多个光照条件下的局部特征。

举例来说，通过上述步骤确定的候选关键帧包括帧1和帧3；其中，在帧1对应的全局特征集合中，确定的目标全局特征为特征A，对应的目标光照条件为条件A；在帧3对应的全局特征集合中，确定的目标全局特征为特征C，对应的目标光照条件为条件C。那么，电子设备可以仅将帧1所观测到的采样点中在光照条件A下的局部特征和帧3所观测到的采样点中在光照条件C下的局部特征作为第一点云。

当然，在一些实施例中，电子设备还可以将候选关键帧在每一目标光照条件下观测的局部特征作为第一点云中的数据。

步骤607，将所述多个不同的第一特征点的局部特征与所述第一点云中每一采样点的局部特征进行匹配，以确定与所述第一特征点相匹配的第一目标采样点。

在实现时，电子设备可以采用K最近邻(K nearest neighbors，KNN)匹配方法获得匹配对集合。在一些实施例中，电子设备可以采用双向匹配，寻找与特征点相匹配的采样点，从而得到匹配对集合。即，电子设备先在第一点云中查找与第一特征点相匹配的采样点，然后再从当前图像的所述多个不同的第一特征点中，查找与采样点相匹配的特征点。若双向匹配一致，则将该匹配对加入匹配对集合中；在完成匹配之后，电子设备对得到的匹配对集合进行外点筛除，从而将剩余匹配对中的采样点作为第一目标采样点。

步骤608，从所述目标视觉地图中，获取每一所述第一目标采样点的像素坐标和空间坐标。

例如，空间坐标为采样点在世界坐标系中的三维坐标。

步骤609，根据每一所述第一特征点的像素坐标、对应的第一目标采样点的像素坐标和空间坐标，对所述相机进行视觉定位，得到所述相机的目标定位结果。

在实现时，电子设备可以通过随机采样一致性(Random Sample Consensus，RANSAC) 算法对外点筛除后的匹配对集合进行随机采样，从而得到多组匹配对，每组包括3个匹配对；然后，电子设备通过P3P算法对每组匹配对进行处理，从而得到对应的相机位姿；基于每个相机位姿，确定对应的重投影误差；最后，电子设备可以选取最小重投影误差对应的相机位姿作为相机的目标定位结果。

视觉定位系统(Visual Positioning System，VPS)指的是：通过图像信息计算相机的位置和旋转信息，也就是用户所在的位置和朝向，即位姿。计算出的位姿可以为增强现实 (Augmented Reality，AR)导航提供初始位置，加载附近的导航信息，从而计算导航路径。

通常的VPS系统，是在离线视觉地图的基础上进行重定位和即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)操作的。目前，无论是用SFM的方法还是SLAM的方法离线建立视觉地图，都要使用视觉特征。传统的视觉特征，如ORB、SIFT 等，对于光照都是不鲁棒的。例如，基于白天采集的图像建立的视觉地图，可能在晚上光照变化后，该地图就完全不能使用了，定位失效。

相关方案中，为了解决光照变化对定位的影响，通常需要同时建立多个SLAM线程，每个线程加载一个对应光照条件的视觉地图。但是，这种方法无疑计算量大，且对计算平台的性能有较高的要求。

基于此，下面将说明本申请实施例在一个实际的应用场景中的示例性应用。

在本申请实施例中，提供融合多个光照条件下视觉地图的方法，使得本身不具有光照鲁棒性的SIFT描述子地图，能够在多个光照条件下工作。利用融合了多个光照条件下描述子的视觉地图，在不同光照条件下进行视觉定位的方法。相比于相关方案，节约了计算量和存储空间，并且能够达到相同的定位精度。

在本申请实施例中，在一张视觉地图中包含多个光照条件下的视觉特征。使得VPS系统在各个光照条件下都能够成功定位。该系统主要包括两部分，即地图构建和定位。

如图7所示，在地图构建(即S1)中，可以包括以下步骤701至步骤703：

步骤701，通过图像采集设备采集相同物理空间下、不同光照条件的图像序列。

需要说明的是，在采集图像时，需要保证视角大致一致，这样才能保证在后续融合各个光照条件下的特征时能够成功。

步骤702，基于某一光照条件下的图像序列(其中的图像称为地图关键帧)进行SFM重建。

步骤703，重建完成后，对其他光照条件下的图像序列(其中的图像称为待融合图像) 提取局部特征和第二全局特征；用待融合图像的第二全局特征在SFM重建结果中进行图像检索，再用待融合图像的局部特征与检索到的图像所能观测到的点云进行特征匹配，从中确定与该特征点相匹配的目标点；然后将该特征点的局部特征与目标点的局部特征进行融合；如此，最终获得一张带有多个光照条件下视觉特征的离线地图。

如图7所示，在进行定位(即S2)时，可以包括以下步骤711至步骤714：

步骤711，对当前图像提取局部特征和第一全局特征；

步骤712，通过当前图像的第一全局特征检索离线地图中的图像；

步骤713，通过当前图像的局部特征，与检索到的图像所能观测到的点云进行特征匹配；

步骤714，利用特征匹配结果计算PnP，从而输出相机在采集当前图像时在离线地图坐标系中的位姿。

S1：构建视觉地图，包括以下步骤S1.1至步骤S1.3：

S1.1，采集各个光照条件下的图像序列。

S1.2，基于SFM，构建初始视觉地图；

S1.3，特征融合；其中，

对于S1.1，采集各个光照条件下的图像序列，这里给出如下说明。

可以理解地，天气变化、灯光、时间等都会改变光照条件。而由于后续需要使用对光照鲁棒性较差的SIFT描述子。因此，为了能够找到不同光照条件下相匹配的两个特征点，并将这两个特征点的局部特征融合，一般来说，在进行图像采集时，不同光照条件之间不能相差太多；否则，同一空间点在不同光照条件下的SIFT描述子可能会完全不同，这样就不能找到不同光照条件下相匹配的描述子，进而也就无法较为准确地实现特征融合。

对于S1.2，基于SFM，构建初始视觉地图，这里给出如下说明。

在实现S1.2时，可以使用colmap计算出每张图像的相机位姿和每张图像关联的图像。例如，对于室内的地图构建，可以使用带有视觉惯性里程计(Visual InertialOdometry，VIO) 的SLAM系统，计算出每一图像的带有尺度的位姿，再用这个位姿尺度化colmap地图。在室外，除了VIO，还可以使用GPS信息对colmap地图进行尺度化。

在完成colmap地图的尺度化之后，可以得到每张图像的带有尺度的6自由度位姿、每张图像可观测到的点云、该点云对应的2D特征点在图像上的位置以及关联到的图像。基于上述方法还没有得到点云中采样点对应的描述子，这里需要在每张图像上再提取多个尺度下的高斯差分特征(Difference of Gaussian，DoG)。

其中，尺度的数量，如下公式(6)所示，由图像的分辨率决定：

式中，N_octave指的是尺度数量，round指四舍五入，log是以10为底的对数函数，R_img,x指图像矩阵在水平方向的像素宽度，R_img,y指图像矩阵在竖直方向的像素宽度。

然后，将高斯差分特征值大于第四阈值的像素点确定为特征点，提取该特征点的SIFT 描述子，如此得到每张图像上的SIFT特征点和对应的描述子；

然后，对colmap得到的图像的位姿以及关联到的图像，进行一次三角化，得到特征点的三维坐标；

最后，通过光束平差法(Bundle Adjustment)，对得到的图像位姿和特征点的三维坐标进行优化，从而得到带有描述子(即局部特征)的初始视觉地图。

对于S1.3：特征融合，这里给出如下说明。

S1.3.1，对于其他光照条件下的图像序列，对每张图像提取NetVLAD特征，用来描述整张图像，从而基于该特征进行图像检索。这种特征对于不同光照条件下的特征有一定的鲁棒性，但计算时间较慢，所以不适合实时定位使用，但适合离线建图时使用。在一个示例中，如下公式(7)所示，使用4096维浮点数的归一化NetVLAD特征：

式中，

指第i张图像的全局描述子(global descriptor)，即全局特征，d_j指的是该描述子的第j维。

S1.3.2，在提取了NetVLAD特征后，对除了SFM使用的图像以外的图像，在SFM使用的图像中进行图像检索。可以通过如下公式(8)，比较两个全局描述子之间的差：

这个值越小，说明两个全局描述子越接近。在进行图像检索时，对于除了SFM使用的图像以外的每张图像，可以保留与该图像之间的diff_ij最小的5张图像；然后，将该图像的每一特征点的描述子与这5张图像所能观测到的点云数据进行SIFT描述子匹配，从而找到与所述特征点相匹配的目标采样点。

这里在实现时，可以使用KNN匹配，K＝2；计算SIFT描述子之间的L1范数距离，如果最小L1范数距离小于0.8倍的第二小的匹配距离，那么就说明这组匹配对足够显著。这里可以考虑一对一的匹配，也就是说当候选关键帧中的某个特征已经和当前图像中的某个特征匹配上时，就不再与其他特征相匹配。

S1.3.3，计算完一张某个光照条件下的图像，与某张SFM图像之间的SIFT匹配后，用基础矩阵筛除外点。

S1.3.3.1：对得到的匹配对，进行随机采样，每组采样8个匹配对，基于这8个匹配对，计算基础矩阵。

这里用八点法计算基础矩阵，也就是每次随机采样8个匹配对。

考虑一堆匹配点，每个匹配对分别对应的归一化坐标为：x₁＝[u₁,v₁,1]^T，x₂＝[u₂,v₂,1]^T，根据公式(9)所示的极线约束：

式中，E为本质矩阵，该矩阵与基础矩阵的关系如下式(10)所示：

F＝K^-TEK^-1 (10)；

式中，K为相机的内参矩阵，即下式(11)所示：

式中，f_x和f_y分别为相机在x和y方向上的焦距，c_x和c_y分别为图像中心到图像坐标原点的x，y坐标，单位为像素。

在极线约束中则有下式(12)：

可以把矩阵E展开，得到下式(13)：

e＝[e₁ e₂ e₃ e₄ e₅ e₆ e₇ e₈ e₉] (13)；

因此，可以将极线约束表示为下式(14)：

[u₁u₂ u₁v₂ u₁ v₁u₂ v₁v₂ v₁ u₂ v₂ 1]·e＝0 (14)；

以此类推，当有8个匹配对时可以得到下式(15)：

由于极线约束中，等式两边乘上任意实数，等式都成立，故可得知E具有尺度等价性。也就是说E缺少尺度信息，E可以由8个方程得到，而不是通常的9个未知数需要9个方程。

通过上述方程组得到本质矩阵E后，可以再乘以相机内参矩阵K得到基础矩阵F。

S1.3.3.2：验证上一步计算出的基础矩阵的正确性。

理论上，如果基础矩阵F是正确的，一个匹配对中两点的像素坐标应该满足如下等式 (16)：

式中，p₁和p₂为一个匹配对中两点分别在各自图像中的像素坐标。

设p₁的像素坐标为(u₁,v₁)，p₂的像素坐标为(u₂,v₂)，p₂与基础矩阵F的乘积的表达式如下式(17)所示，基于此，可以根据如下公式(18)计算一个匹配对在某个基础矩阵作用下的误差error：

当该误差error大于某个阈值时，就认为该匹配对不满足该基础矩阵的约束。这里将该阈值设为5。统计满足约束的匹配对的数量，取数量最多的基础矩阵，作为最终的输出。并且把满足约束的匹配对，作为正确匹配一同输出。

S1.3.4：通过上述方法，对于某一张某个光照条件下的图像，就找到了SFM图像中与之匹配的一张图像，并计算了SIFT匹配，最后用基础矩阵筛除了错误的描述子。对于两个在不同光照下匹配成功的描述子，可以找到对应的点云，对每一个点云生成一个集合，如下式 (19)所示，描述这个特征点在不同光照条件下的描述子。

式中，L表示的是局部的意思，

S1.3.5：为了在定位时能够用不同光照下的图像，成功检索到视觉地图中的与之匹配的正确图像，需要在构建视觉地图时考虑各个光照条件下的全局描述子。

这里可以使用基于SIFT的词袋模型特征，来描述整张图像。相比于NetVLAD，这种特征计算更快，在较小的光照变化条件下能够工作。

词袋模型特征是一种利用事先训练好的词典文件，生成一个描述整张图像的特征的方法。词典文件是一个将指定描述子聚类后的树状结构，因此也可以称为词典树。在使用时，将每个SIFT描述子放到词典树中，得到最接近的一个单词。再计算这个描述子和这个单词之间的L2范数距离，并对该距离进行归一化，如此就得到了这个描述子在这个单词上的得分。

如果又有一个描述子和这个单词很接近，可以再计算归一化的L2范数距离，再累加到这个单词的得分上。

对图像上所有的SIFT描述子计算词典得分后，可以得到一个描述整张图像的特征向量，如下式(20)所示：

V_bow＝{(W_i,S_i),i∈[1,N]} (20)；

W_i指词典中第i个单词，S_i指词典中第i个单词的得分。N指词典中的单词个数。如果图像中没有这个单词，那么单词得分为0。

把每个光照条件下的图像，都用S1.2中提取到的SIFT描述子，计算词袋模型特征。并且把词袋模型特征，叠加到S1.3.2用NetVLAD检索到的SFM图像中。这样，每张图像就有了不同光照条件下的全局描述子。

这样就得到了包含多个光照条件下描述子信息的视觉地图。

S2：用S1生成的包含多个光照条件下描述子信息的视觉地图进行定位，如图7所示，可以包括以下步骤S2.1至步骤S2.4：

S2.1：对当前拍摄的图像，提取SIFT特征；根据提取的SIFT特征，计算该图像的全局描述子；基于该全局描述子，在视觉地图中进行图像检索。

确定当前图像的词袋模型特征，与视觉地图中的关键帧的每一词袋模型特征之间的欧氏距离。当最小的欧氏距离小于0.8乘以倒数第二小的欧氏距离时，说明最小的欧氏距离显著性较高，结果比较可靠，判定为检索成功；否则，判定为检索失败，没有检索到图像。

另外，将欧氏距离小于1.2乘以最小欧氏距离的词袋模型特征所对应的视觉关键帧，也纳入候选关键帧中，并记录这个词袋模型特征对应的光照编号，这样在后续的局部特征匹配中，对局部描述子的光照条件进行约束，以提高定位成功率。

S2.2：将当前图像与候选关键帧进行2D-3D匹配，这里给出如下说明。

在S2.1中，假设检索到的全局描述子，对应的光照条件编号是j，那么我们只选取候选关键帧中，光照条件编号为j的局部描述子(即局部特征)，进行特征匹配。

这里可以使用KNN匹配，K取2。具体方法为：计算当前图像的每个局部描述子，与候选关键帧中光照条件为j的每个局部描述子之间的L1范数距离。如果最小L1范数小于0.8倍的第二小L1范数距离，那么就认为这组匹配足够显著。

这里考虑双向匹配。可以先从当前图像的每个描述子，在候选关键帧中的描述子中搜索匹配对。再从候选关键帧中，在当前图像中搜索。这样可以得到如下式(21)所示的两组匹配对：

式中，M_cur-can是从当前图像在候选帧中搜索得到的匹配对集合。M_can-cur是从候选帧在当前图像中搜索得到的匹配对集合；q_i是检索描述子编号，t_i是候选描述子编号，

是这组匹配的L1范数距离。

当且仅当q_i'＝t_j,q_j＝t_i'时，这组匹配是一组正确匹配。

这样可以得到一组匹配，每个匹配包括一个当前图像的2D特征、一个候选关键帧的2D 特征和一个候选关键帧的3D点云；其中，2D特征指的是特征点的像素坐标和局部特征；3D 点云指的是采样点的空间三维坐标和局部特征。

S2.3：对2D特征匹配对，用RANSAC+基础矩阵进行筛选，筛选掉错误的匹配对。

S2.4：计算当前图像的相机位姿。

用上一步得到的正确匹配对中的当前图像的2D特征和候选关键帧的3D点云，计算当前图像的相机位姿。

这里使用RANSAC结合P3P的方法。先对上一步的正确匹配进行随机采样，每组保留3 个匹配对。基于每组的3个匹配对，分别计算相机位姿；再计算每一相机位姿的重投影误差；最终，选取重投影误差最小的相机位姿作为目标定位结果。

在本申请实施例中，一方面，提供了一种融合不同光照条件下的图像信息的建图方法，在一张图像中保存了各个光照条件下的图像全局描述子和局部描述子。相比于已有方案更加节省存储空间，定位时的计算量更小。

另一方面，提供了一种在多个光照条件的地图中进行视觉定位的算法。利用本身不具有光照鲁棒性的描述子，实现了在各个光照条件下的稳定视觉定位。

基于前述的实施例，本申请实施例提供的地图构建装置和定位装置，包括所包括的各模块、以及各模块所包括的各单元，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图8为本申请实施例地图构建装置的结构示意图，如图8所示，地图构建装置800包括图像获取模块801、地图构建模块802、第二提取模块803和特征融合模块804，其中：

图像获取模块801，用于获取多个图像序列，所述多个图像序列是在相同场景的不同光照条件下采集得到的；

地图构建模块802，用于将至少一个所述图像序列中的每一图像作为地图关键帧，根据每一所述地图关键帧构建初始视觉地图，所述初始视觉地图包括多个采样点的空间坐标和每一所述采样点在对应图像上的局部特征；

第二提取模块803，用于将除所述至少一个所述图像序列外的其他序列中的每一图像作为待融合图像，对每一所述待融合图像进行局部特征提取，得到对应图像的多个不同的第二特征点的局部特征；

特征融合模块804，用于将每一所述待融合图像的第二特征点的局部特征，和所述初始视觉地图中与所述第二特征点相匹配的第二目标采样点的局部特征进行融合，得到目标视觉地图。

在一些实施例中，特征融合模块804，用于：从所述初始视觉地图中，确定与每一所述待融合图像相匹配的目标图像，以得到对应待融合图像的目标图像集合；从所述初始视觉地图中，确定每一所述目标图像集合所观测到的采样点的局部特征，以得到对应目标图像集合的第二点云；将每一所述待融合图像的第二特征点的局部特征，与对应的第二点云中每一采样点的局部特征进行匹配，以确定与所述第二特征点相匹配的第二目标采样点；将每一所述第二特征点的局部特征，与所述初始视觉地图中对应的第二目标采样点的局部特征进行融合，得到所述目标视觉地图。

在一些实施例中，特征融合模块804，用于：对每一所述图像序列中的每一图像进行全局特征提取，得到对应图像的第二全局特征，所述第二全局特征用于描述所述图像中包含的轮廓特征和/或文本信息；确定每一所述待融合图像的第二全局特征与每一所述地图关键帧的第二全局特征之间的距离，以得到对应待融合图像的距离集合；将所述距离集合中满足条件的距离所对应的地图关键帧，确定为目标图像，以得到对应待融合图像的目标图像集合。

在一些实施例中，所述目标视觉地图还包括每一所述目标图像的全局特征集合，特征融合模块804，还用于：根据所述多个图像序列的每一图像的多个特征点的局部特征，确定对应图像的第一全局特征，所述第一全局特征用于表征所述图像包含的特征类型和/或文本信息；将每一所述待融合图像的第一全局特征，与对应目标图像的第一全局特征进行融合，得到对应目标图像的全局特征集合。

图9A为本申请实施例提供的定位装置的结构示意图，如图9A所示，定位装置900可以包括：第一提取模块901、特征匹配模块902和视觉定位模块903；其中，

第一提取模块901，用于对相机采集的当前图像进行局部特征提取，得到多个不同的第一特征点的局部特征；

特征匹配模块902，用于根据所述多个不同的第一特征点的局部特征，从已构建的目标视觉地图中，获取多个采样点中与所述当前图像的光照条件相匹配的局部特征，以得到第一点云；其中，所述目标视觉地图中的每一所述采样点包括在多个光照条件下的局部特征；

视觉定位模块903，用于根据所述多个不同的第一特征点的局部特征和所述第一点云中每一采样点的局部特征，对所述相机进行视觉定位，得到所述相机的目标定位结果。

在一些实施例中，特征匹配模块902，用于：根据所述多个不同的第一特征点的局部特征，确定所述当前图像的第一全局特征，所述第一全局特征用于表征所述图像包含的特征类型和/或文本信息；根据所述当前图像的第一全局特征，从所述目标视觉地图中确定至少一个候选关键帧和与所述第一全局特征相匹配的目标光照条件；从所述目标视觉地图中获取每一所述候选关键帧在至少一个所述目标光照条件下所观测到的采样点的局部特征，得到所述第一点云。

在一些实施例中，特征匹配模块902，用于：从所述目标视觉地图的每一地图关键帧的全局特征集合中，确定与所述当前图像的第一全局特征相匹配的目标全局特征；其中，所述全局特征集合包括所述地图关键帧在多个光照条件下的第一全局特征；将所述目标视觉地图中每一所述目标全局特征对应的地图关键帧，确定为所述候选关键帧；根据所述目标视觉地图中每一所述目标全局特征对应的光照条件，确定至少一个所述目标光照条件。

视觉定位模块903，用于：将所述多个不同的第一特征点的局部特征与所述第一点云中每一采样点的局部特征进行匹配，以确定与所述第一特征点相匹配的第一目标采样点；从所述目标视觉地图中，获取每一所述第一目标采样点的像素坐标和空间坐标；根据每一所述第一特征点的像素坐标、对应的第一目标采样点的像素坐标和空间坐标，对所述相机进行视觉定位，得到所述相机的目标定位结果。

在一些实施例中，如图9B所示，定位装置900还包括地图构建模块904，模块904包括：图像获取单元9041，用于获取多个图像序列，所述多个图像序列是在相同场景的不同光照条件下采集得到的；

地图构建单元9042，用于将至少一个所述图像序列中的每一图像作为地图关键帧，根据每一所述地图关键帧构建初始视觉地图，所述初始视觉地图包括多个采样点的空间坐标和每一所述采样点在对应图像上的局部特征；

特征提取单元9043，用于将除所述至少一个所述图像序列外的其他序列中的每一图像作为待融合图像，对每一所述待融合图像进行局部特征提取，得到对应图像的多个不同的第二特征点的局部特征；

特征融合单元9044，用于将每一所述待融合图像的第二特征点的局部特征，和所述初始视觉地图中与所述第二特征点相匹配的第二目标采样点的局部特征进行融合，得到目标视觉地图。

在一些实施例中，特征融合单元9044，用于：从所述初始视觉地图中，确定与每一所述待融合图像相匹配的目标图像，以得到对应待融合图像的目标图像集合；从所述初始视觉地图中，确定每一所述目标图像集合所观测到的采样点的局部特征，以得到对应目标图像集合的第二点云；将每一所述待融合图像的第二特征点的局部特征，与对应的第二点云中每一采样点的局部特征进行匹配，以确定与所述第二特征点相匹配的第二目标采样点；将每一所述第二特征点的局部特征，与所述初始视觉地图中对应的第二目标采样点的局部特征进行融合，得到所述目标视觉地图。

在一些实施例中，特征融合单元9044，用于：对每一所述图像序列中的每一图像进行全局特征提取，得到对应图像的第二全局特征，所述第二全局特征用于描述所述图像中包含的轮廓特征和/或文本信息；确定每一所述待融合图像的第二全局特征与每一所述地图关键帧的第二全局特征之间的距离，以得到对应待融合图像的距离集合；将所述距离集合中满足条件的距离所对应的地图关键帧，确定为目标图像，以得到对应待融合图像的目标图像集合。

在一些实施例中，所述目标视觉地图还包括每一所述目标图像的全局特征集合，特征融合单元9044，还用于：根据所述多个图像序列的每一图像的多个特征点的局部特征，确定对应图像的第一全局特征，所述第一全局特征用于表征所述图像包含的特征类型和/或文本信息；将每一所述待融合图像的第一全局特征，与对应目标图像的第一全局特征进行融合，得到对应目标图像的全局特征集合。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的定位方法和/ 或地图构建方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括： U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，如图10所示，本申请实施例提供的电子设备100的硬件实体包括：包括存储器101和处理器102，所述存储器101存储有可在处理器102上运行的计算机程序，所述处理器102执行所述程序时实现上述实施例中提供的信息处理方法中的步骤。

存储器101配置为存储由处理器102可执行的指令和应用，还可以缓存待处理器102以及电子设备100中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory， RAM)实现。

对应地，本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的定位方法和/或地图构建方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.定位方法，其特征在于，所述方法包括：

对相机采集的当前图像进行局部特征提取，得到多个不同的第一特征点的局部特征；

根据所述多个不同的第一特征点的局部特征，从已构建的目标视觉地图中，获取多个采样点中与所述当前图像的光照条件相匹配的局部特征，以得到第一点云；其中，所述目标视觉地图中的每一所述采样点包括在多个光照条件下的局部特征；

根据所述多个不同的第一特征点的局部特征和所述第一点云中每一采样点的局部特征，对所述相机进行视觉定位，得到所述相机的目标定位结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个不同的第一特征点的局部特征，从已构建的目标视觉地图中，获取多个采样点中与所述当前图像的光照条件相匹配的局部特征，以得到第一点云，包括：

根据所述多个不同的第一特征点的局部特征，确定所述当前图像的第一全局特征，所述第一全局特征用于表征所述图像包含的特征类型和/或文本信息；

根据所述当前图像的第一全局特征，从所述目标视觉地图中确定至少一个候选关键帧和与所述第一全局特征相匹配的目标光照条件；

从所述目标视觉地图中获取每一所述候选关键帧在至少一个所述目标光照条件下所观测到的采样点的局部特征，得到所述第一点云。

3.根据权利要求2所述的方法，其特征在于，所述根据所述当前图像的第一全局特征，从所述目标视觉地图中确定至少一个候选关键帧和与所述第一全局特征相匹配的目标光照条件，包括：

从所述目标视觉地图的每一地图关键帧的全局特征集合中，确定与所述当前图像的第一全局特征相匹配的目标全局特征；其中，所述全局特征集合包括所述地图关键帧在多个光照条件下的第一全局特征；

将所述目标视觉地图中每一所述目标全局特征对应的地图关键帧，确定为所述候选关键帧；

根据所述目标视觉地图中每一所述目标全局特征对应的光照条件，确定至少一个所述目标光照条件。

4.根据权利要求1所述的方法，其特征在于，所述根据所述多个不同的第一特征点的局部特征和所述第一点云中每一采样点的局部特征，对所述相机进行视觉定位，得到所述相机的目标定位结果，包括：

将所述多个不同的第一特征点的局部特征与所述第一点云中每一采样点的局部特征进行匹配，以确定与所述第一特征点相匹配的第一目标采样点；

从所述目标视觉地图中，获取每一所述第一目标采样点的像素坐标和空间坐标；

根据每一所述第一特征点的像素坐标、对应的第一目标采样点的像素坐标和空间坐标，对所述相机进行视觉定位，得到所述相机的目标定位结果。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述目标视觉地图的构建过程，包括：

获取多个图像序列，所述多个图像序列是在相同场景的不同光照条件下采集得到的；

将至少一个所述图像序列中的每一图像作为地图关键帧，根据每一所述地图关键帧构建初始视觉地图，所述初始视觉地图包括多个采样点的空间坐标和每一所述采样点在对应图像上的局部特征；

将除所述至少一个所述图像序列外的其他序列中的每一图像作为待融合图像，对每一所述待融合图像进行局部特征提取，得到对应图像的多个不同的第二特征点的局部特征；

将每一所述待融合图像的第二特征点的局部特征，和所述初始视觉地图中与所述第二特征点相匹配的第二目标采样点的局部特征进行融合，得到目标视觉地图。

6.根据权利要求5所述的方法，其特征在于，所述将每一所述待融合图像的第二特征点的局部特征，和所述初始视觉地图中与所述第二特征点相匹配的第二目标采样点的局部特征进行融合，得到目标视觉地图，包括：

从所述初始视觉地图中，确定与每一所述待融合图像相匹配的目标图像，以得到对应待融合图像的目标图像集合；

从所述初始视觉地图中，确定每一所述目标图像集合所观测到的采样点的局部特征，以得到对应目标图像集合的第二点云；

将每一所述待融合图像的第二特征点的局部特征，与对应的第二点云中每一采样点的局部特征进行匹配，以确定与所述第二特征点相匹配的第二目标采样点；

将每一所述第二特征点的局部特征，与所述初始视觉地图中对应的第二目标采样点的局部特征进行融合，得到所述目标视觉地图。

7.根据权利要求6所述的方法，其特征在于，所述从所述初始视觉地图中，确定与每一所述待融合图像相匹配的目标图像，以得到对应待融合图像的目标图像集合，包括：

对每一所述图像序列中的每一图像进行全局特征提取，得到对应图像的第二全局特征，所述第二全局特征用于描述所述图像中包含的轮廓特征和/或文本信息；

确定每一所述待融合图像的第二全局特征与每一所述地图关键帧的第二全局特征之间的距离，以得到对应待融合图像的距离集合；

将所述距离集合中满足条件的距离所对应的地图关键帧，确定为目标图像，以得到对应待融合图像的目标图像集合。

8.根据权利要求6至7任一项所述的方法，其特征在于，所述目标视觉地图还包括每一所述目标图像的全局特征集合，相应地，所述方法还包括：

根据所述多个图像序列的每一图像的多个特征点的局部特征，确定对应图像的第一全局特征，所述第一全局特征用于表征所述图像包含的特征类型和/或文本信息；

将每一所述待融合图像的第一全局特征，与对应目标图像的第一全局特征进行融合，得到对应目标图像的全局特征集合。

9.地图构建方法，其特征在于，所述方法包括：

10.定位装置，其特征在于，所述装置包括：

第一提取模块，用于对相机采集的当前图像进行局部特征提取，得到多个不同的第一特征点的局部特征；

特征匹配模块，用于根据所述多个不同的第一特征点的局部特征，从已构建的目标视觉地图中，获取多个采样点中与所述当前图像的光照条件相匹配的局部特征，以得到第一点云；其中，所述目标视觉地图中的每一所述采样点包括在多个光照条件下的局部特征；

视觉定位模块，用于根据所述多个不同的第一特征点的局部特征和所述第一点云中每一采样点的局部特征，对所述相机进行视觉定位，得到所述相机的目标定位结果。

11.地图构建装置，其特征在于，所述装置包括：

图像获取模块，用于获取多个图像序列，所述多个图像序列是在相同场景的不同光照条件下采集得到的；

地图构建模块，用于将至少一个所述图像序列中的每一图像作为地图关键帧，根据每一所述地图关键帧构建初始视觉地图，所述初始视觉地图包括多个采样点的空间坐标和每一所述采样点在对应图像上的局部特征；

第二提取模块，用于将除所述至少一个所述图像序列外的其他序列中的每一图像作为待融合图像，对每一所述待融合图像进行局部特征提取，得到对应图像的多个不同的第二特征点的局部特征；

特征融合模块，用于将每一所述待融合图像的第二特征点的局部特征，和所述初始视觉地图中与所述第二特征点相匹配的第二目标采样点的局部特征进行融合，得到目标视觉地图。

12.电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述定位方法中的步骤；或者，所述处理器执行所述程序时实现权利要求9所述地图构建方法中的步骤。

13.计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述定位方法中的步骤；或者，该计算机程序被处理器执行时实现权利要求9所述地图构建方法中的步骤。