CN111563922B - 视觉定位方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了视觉定位方法、装置、电子设备及存储介质，该方法包括：从所有候选帧图像中查找出目标帧图像；从位姿确定基础数据中查找出目标帧图像的聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心；基于包括查找出的聚类中心的目标帧图像的压缩描述子、当前帧图像的局部描述子、目标帧图像对应的预设位姿，确定在捕获当前帧图像时待定位设备的相机的位姿。实现了将每一个候选帧图像的聚类中心序号序列、每一个聚类中心、每一个聚类中心的序号作为位姿确定基础数据，利用该位姿确定基础数据进行视觉定位，相比于直接存储每一个候选帧图像的局部描述子，极大地减少位姿确定基础数据占用的存储空间，降低视觉定位的成本。

Description

视觉定位方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉领域，具体涉及视觉定位方法、装置、电子设备及存储介质。

背景技术

视觉定位是待定位设备例如机器人确定待定位设备的相机的位姿的技术。待定位设备进行视觉定位依赖于预先采集并且在待定位设备上存储的在待定位设备当前所在的场景区域(例如商场、工厂)内捕获的候选帧图像、位姿确定基础数据。其中，存储位姿确定基础数据所需的存储空间远大于存储所有候选帧图像所需的存储空间。

目前，通常采用的方式为：将所有候选帧图像的局部描述子作为位姿确定基础数据，直接在待定位设备上存储每一个候选帧图像的局部描述子。

场景区域的面积越大，位姿确定基础数据占用的存储空间越大，导致视觉定位的成本高。

发明内容

为克服相关技术中存在的问题，本申请提供一种视觉定位方法、装置、电子设备及存储介质。

根据本申请实施例的第一方面，提供一种视觉定位方法，包括：

从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；

从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中心、每一个聚类中心的序号，其中，聚类中心通过对用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到；

生成所述目标帧图像的压缩描述子，所述目标帧图像的压缩描述子包括：所述每一个聚类中心序号各自所属的聚类中心；

基于所述当前帧图像的局部描述子、目标帧图像的压缩描述子和目标帧图像对应的预设位姿，确定在捕获所述当前帧图像时待定位设备的相机的位姿。

在一些实施例中，用于训练的图像被预先在多个场景区域内捕获；还包括：

对于每一个候选帧图像，确定所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心，其中，所述子向量对应的目标聚类中心为所述子向量对应的多个聚类中心中的与所述子向量的距离最小的聚类中心，所述子向量对应的多个聚类中心通过对用于训练的图像的局部描述子中的、与所述子向量位置相同的子向量进行聚类得到；

对于每一个候选帧图像，生成所述候选帧图像的聚类中心序号序列，所述候选帧图像的聚类中心序号序列包括：所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。

在一些实施例中，所述多个场景区域中的每一个场景区域所属的场景区域类型不同。

在一些实施例中，还包括：

对于每一个用于训练的图像，以预设划分方式将所述用于训练的图像划分为多个子向量；

以预设聚类算法对用于训练的图像的局部描述子中的同一位置的子向量进行聚类，得到与所述同一位置的子向量相对应的多个聚类结果，其中，所述多个聚类结果中的每一个聚类结果各自具有一个聚类中心。

在一些实施例中，从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像包括：

提取待定位设备的相机捕获的当前帧图像的全局描述子；

计算当前帧图像的全局描述子与每一个候选帧图像的全局描述子的相似度；

将具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选帧图像确定为所述目标帧图像。

在一些实施例中，所述当前帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，所述候选帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，用于训练的图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint。

根据本申请实施例的第二方面，提供一种视觉定位装置，包括：

目标帧图像查找单元，被配置为从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；

聚类中心查找单元，被配置为从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中心、每一个聚类中心的序号，其中，聚类中心通过对所有用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到；

压缩描述子生成单元，被配置为生成所述目标帧图像的压缩描述子，所述目标帧图像的压缩描述子包括：所述每一个聚类中心序号各自所属的聚类中心；

位姿计算单元，被配置为基于所述当前帧图像的局部描述子、目标帧图像的压缩描述子和目标帧图像对应的预设位姿，确定在捕获所述当前帧图像时待定位设备的相机的位姿。

在一些实施例中，用于训练的图像被预先在多个场景区域内捕获；

所述装置还包括：

建立单元，被配置为对于每一个候选帧图像，确定所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心，其中，所述子向量对应的目标聚类中心为所述子向量对应的多个聚类中心中的与所述子向量的距离最小的聚类中心，所述子向量对应的多个聚类中心通过对用于训练的图像的局部描述子中的、与所述子向量位置相同的子向量进行聚类得到；对于每一个候选帧图像，生成所述候选帧图像的聚类中心序号序列，所述候选帧图像的聚类中心序号序列包括：所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。

在一些实施例中，所述多个场景区域包括至少一个所属的场景区域类型与其他的场景区域所属的场景区域类型不同的场景区域。

在一些实施例中，所述装置还包括：

聚类单元，被配置为对于每一个用于训练的图像，以预设划分方式将所述用于训练的图像划分为多个子向量；

以预设聚类算法对用于训练的图像的局部描述子中的同一位置的子向量进行聚类，得到与所述同一位置的子向量相对应的多个聚类结果，其中，所述多个聚类结果中的每一个聚类结果各自具有一个聚类中心。

在一些实施例中，目标帧图像查找单元进一步被配置为：

从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像包括：

提取待定位设备的相机捕获的当前帧图像的全局描述子；

计算当前帧图像的全局描述子与每一个候选帧图像的全局描述子的相似度；

将具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选帧图像确定为所述目标帧图像。

在一些实施例中，所述当前帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，所述候选帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，用于训练的图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint。

本申请实施例提供的视觉定位方法、装置，实现了将每一个候选帧图像的聚类中心序号序列、每一个聚类中心、每一个聚类中心的序号作为位姿确定基础数据，利用每一个候选帧图像的聚类中心序号序列、每一个聚类中心、每一个聚类中心的序号进行视觉定位，任意一个候选帧图像被作为目标帧图像时，均可以根据该候选帧图像的聚类中心序号序列、每一个聚类中心和每一个聚类中心的序号，查找出所有的聚类中心，组成该候选图像的压缩描述子，以用于确定在捕获当前帧图像时待定位设备的相机的位姿。相比直接存储每一个候选帧图像的局部描述子，极大地减少位姿确定基础数据占用的存储空间，降低视觉定位的成本，同时，目标帧图像的压缩描述子中的每一个聚类中心可以分别精确的表示候选帧图像的局部描述子中的相应的子向量，利用候选帧图像的压缩描述子确定在捕获当前帧图像时待定位设备的相机的位姿，相比利用目标帧图像，并不会造成定位出的位姿的精度的下降。

例如，候选帧图像的局部描述子包括的特征为SuperPoint特征，存储候选帧图像的局部描述子所需的存储空间为1024字节。而存储任意一个候选帧图像的聚类中心序号序列所需的存储空间仅为候选帧图像的聚类中心序号序列中包括的所有序号占用的存储空间，每一个序号占用的存储空间仅为1个字节。假设任意一个候选帧图像的聚类中心序号序列包括8个序号，存储任意一个候选帧图像的聚类中心序号序列所需的存储空间仅为8字节，存储所有候选帧图像的聚类中心序号序列所需的存储空间为直接存储存储所有候选帧图像的局部描述子所需的存储空间的1/128，相比直接存储每一个候选帧图像的局部描述子，相当于将位姿确定基础数据压缩128倍。

此外，每一个聚类中心和每一个聚类中心的序号可以用于生成任意一个候选帧图像的压缩描述子，因此，每一个聚类中心和每一个聚类中心的序号作为一份数据存储，相比存储每一个候选帧图像的局部描述子所需的存储空间，存储每一个聚类中心和每一个聚类中心的序号作为一份数据所需的存储空间可以忽略不计。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了本申请实施例提供的视觉定位方法的流程图；

图2示出了本申请实施例提供的视觉定位装置的结构框图；

图3示出了本申请实施例提供的电子设备的结构框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请实施例提供的视觉定位方法的流程图，该方法包括：

步骤101，从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像。

每一次确定待定位设备在场景区域内时待定位设备的相机的位姿，均可以执行步骤101-104，只是每一次执行步骤101-104时针对的作为当前帧图像的图像不同。

在本申请中，待定位设备的相机捕获的当前帧图像可以是指待定位设备在当前所在的场景区域内，在执行步骤101的时刻或在邻近执行步骤101的时刻，由待定位设备的相机捕获的图像。

在本申请中，所有候选帧图像在待定位设备当前所在的场景区域内被捕获。待定位设备当前所在的场景区域可以是指待定位设备当前所在的场景对象中的用于定位的地面区域。

例如，待定位设备当前在一个街道中，该街道为待定位设备当前所在的场景对象，待定位设备当前所在的场景区域可以是指该街道中的用于视觉定位的地面区域。例如，待定位设备当前在一个公园中，该公园为待定位设备当前所在的场景对象，待定位设备当前所在的场景区域可以是指该公园中的用于视觉定位的地面区域。例如，待定位设备当前在一个仓库中，该仓库为待定位设备当前所在的场景对象，待定位设备当前所在的场景区域可以是指该仓库中的用于视觉定位的地面区域。例如，待定位设备当前在一个工厂中，该工厂为待定位设备当前所在的场景对象，待定位设备当前所在的场景区域可以是指该工厂中的用于视觉定位的地面区域。例如，待定位设备当前在一个商场中，该商场为待定位设备当前所在的场景对象，待定位设备当前所在的场景区域可以是指该商场中的用于视觉定位的地面区域。例如，待定位设备当前在一个房间中，该房间为待定位设备当前所在的场景对象，待定位设备当前所在的场景区域可以是指该房间中的用于视觉定位的地面区域。

待定位设备当前所在的场景区域包括预先通过划分得到的多个面积相同的子区域。

对于待定位设备当前所在的场景区域中的每一个子区域，位姿确定基础数据包括：预先在该子区域内，以多个不同的预设拍摄角度捕获的多个候选帧图像。

例如，用于捕获候选帧图像的设备，例如用于捕获候选帧图像的机器人预先在待定位设备当前所在的场景区域内移动，每一次移动到待定位设备当前所在的场景区域中的一个子区域内，以多个不同的预设拍摄角度捕获多个候选帧图像。

在本申请中，每一次确定待定位设备的位姿时，首先，从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像。

例如，每一次确定待定位设备的位姿时，可以根据上一次确定的待定位设备的位置、待定位设备的移动速度、上一次执行步骤101的时刻与本次执行步骤101的时刻之间的移动时长，计算本次执行步骤101的时刻待定位设备的估计位置。第一次确定待定位设备的位姿时，可以根据GPS、WIFI定位等方式确定待定位设备的估计位置。每一次确定待定位设备的位姿时，确定对应的捕获位置在以待定位设备的估计位置附近的每一个候选帧图像。对于每一个候选帧图像，该候选帧图像对应的捕获位置可以为在用于捕获候选帧图像的设备例如机器人在预先捕获到该候选帧图像的时刻该用于捕获候选帧图像的设备所在的位置。然后，根据对应的捕获位置在以待定位设备的估计位置附近的每一个候选帧图像的预设特征和当前帧图像的预设特征的相似度，确定与当前帧图像匹配的目标帧图像。例如，预设特征为全局描述子，对于对应的捕获位置在以待定位设备的估计位置附近的每一个候选帧图像，计算该候选帧图像的全局描述子和当前帧图像的全局描述子的相似度。将对应的捕获位置在以待定位设备的估计位置附近的所有候选帧图像中的、具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选帧图像作为与当前帧图像匹配的目标帧图像。

在一些实施例中，从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像包括：提取待定位设备的相机捕获的当前帧图像的全局描述子；计算当前帧图像的全局描述子与每一个候选帧图像的全局描述子的相似度；将具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选帧图像确定为目标帧图像。

在本申请中，全局描述子的类型例如可以为以下之一：VLAD(vector oflocallyaggregated descriptors)、Net VLAD，当然还可以为其他类型的描述子，本申请实施例对此不作限定。

对于每一个候选帧图像，可以预先提取该候选帧图像的全局描述子。当从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像时，首先，提取待定位设备的相机捕获的当前帧图像的全局描述子，然后，计算当前帧图像的全局描述子与每一个候选帧图像的全局描述子的相似度。最后，可以将所有候选帧图像中、具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选帧图像确定为与待定位设备的相机捕获的当前帧图像匹配的目标帧图像。

步骤102，从位姿确定基础数据中查找出目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心。

在本申请中，位姿确定基础数据包括：预先生成的每一个聚类中心、预先生成的每一个聚类中心的序号、每一个候选帧图像的聚类中心序号序列。

当前帧图像的局部描述子、候选帧图像的局部描述子、用于训练的图像的局部描述子均以向量形式进行表示。局部描述子也可称之为局部描述子向量。

在本申请中，预先生成的聚类中心通过对所有用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到。每一个聚类中心均以向量形式进行表示，聚类中心也可称之为聚类中心向量。

每一个用于训练的图像的局部描述子的子向量可以通过乘积量化、PCA等预设划分方式得到。

以乘积量化器为例，假设使得8×8的乘积量化器，对于每一个用于训练的图像，使得8×8的乘积量化器将该用于训练的图像的局部描述子划分为8个子向量。

通过对所有用于训练的图像的局部描述子中的同一位置的子向量进行聚类，可以得到与该同一位置的子向量相对应的至少一个聚类结果，与该同一位置的子向量相对应的至少一个聚类结果中的每一个聚类结果各自具有一个聚类中心，从而，该同一位置的子向量对应至少一个聚类中心。与该同一位置的子向量相对应的至少一个聚类中心中的每一个聚类中心各自具有一个序号，该每一个聚类中心具有的序号不同。

对所有用于训练的图像的局部描述子中的第1子向量进行聚类，可以得到与所有用于训练的图像的局部描述子中的第1子向量相对应的至少一个聚类结果，与所有用于训练的图像的局部描述子中的第1子向量相对应的至少一个聚类结果中的每一个聚类结果各自具有一个聚类中心，从而，该同一位置的子向量即与所有用于训练的图像的局部描述子中的第1子向量对应至少一个聚类中心。与该同一位置的子向量即与所有用于训练的图像的局部描述子中的第1子向量相对应的至少一个聚类中心中的每一个聚类中心各自具有一个序号，该每一个聚类中心具有的序号不同。

对所有用于训练的图像的局部描述子中的其他的同一位置的子向量进行聚类，得到至少一个聚类结果的过程参考上述对所有用于训练的图像的局部描述子中的第1子向量进行聚类，得到至少一个聚类结果的过程。

在本申请中，在通过步骤101查找出目标帧图像之后，从位姿确定基础数据中查找出目标帧图像的聚类中心序号序列。

目标帧图像的聚类中心序号序列中的每一个聚类中心序号各自属于一个聚类中心，位姿确定基础数据包括预先生成的每一个聚类中心、预先生成的每一个聚类中心的序号，因此，可以从位姿确定基础数据中查找出目标帧图像的聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心。

在一些实施例中，当前帧图像的局部描述子包括的特征的类型为以下之一：尺度不变特征变换(Scale-invariant feature transform，简称SIFT)、ORB(Oriented FASTand Rotated BRIEF,简称ORB)、SuperPoint，候选帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，用于训练的图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，当然本申请实施例不以此为限，上述局部描述子的特征的类型还可以为其他类型。当前帧图像的局部描述子包括的特征的类型、候选帧图像的局部描述子包括的特征的类型、用于训练的图像的局部描述子包括的特征的类型一致。在当前帧图像的局部描述子包括从当前帧图像提取的SIFT特征时，换言之，在当前帧图像的局部描述子由从当前帧图像提取的SIFT特征组成时，候选帧图像的局部描述子包括从候选帧图像提取的SIFT特征、用于训练的图像的局部描述子包括从用于训练的图像提取的SIFT特征。在当前帧图像的局部描述子包括从当前帧图像提取的ORB特征时，候选帧图像的局部描述子包括从候选帧图像提取的ORB特征、用于训练的图像的局部描述子包括从用于训练的图像提取的ORB特征。在当前帧图像的局部描述子包括从当前帧图像提取的SuperPoint特征时，候选帧图像的局部描述子包括从候选帧图像提取的SuperPoint特征、用于训练的图像的局部描述子包括从用于训练的图像提取的SuperPoint特征。

在一些实施例中，对于每一个用于训练的图像，以预设划分方式将该用于训练的图像划分为多个子向量；以预设聚类算法对用于训练的图像的局部描述子中的同一位置的子向量进行聚类，得到与该同一位置的子向量相对应的多个聚类结果，其中，多个聚类结果中的每一个聚类结果各自具有一个聚类中心。

在本申请中，预设聚类算法为可以设置聚类数量的聚类算法例如K-Means算法。

采用预设聚类算法对所有用于训练的图像的局部描述子中的同一位置的子向量进行聚类，得到与同一位置的子向量相对应的预设数量个聚类结果，同时，得到预设数量个聚类中心。

假设预设数量为256，采用预设聚类算法对所有用于训练的图像的局部描述子中的第1子向量进行聚类，可以得到与所有用于训练的图像的局部描述子中的第1子向量相对应的256个聚类结果，与所有用于训练的图像的局部描述子中的第1子向量相对应的256聚类结果中的每一个聚类结果各自具有一个聚类中心，从而，与所有用于训练的图像的局部描述子中的第1子向量相对应的对应256个聚类中心。

采用预设聚类算法对所有用于训练的图像的局部描述子中的其他的同一位置的子向量进行聚类，均可以得到相应的256个聚类结果和相应的256个聚类中心。

在本申请中，所有用于训练的图像可以为所有候选帧图像。

以下说明预先生成的每一个聚类中心、每一个聚类中心的序号、每一个候选帧图像的聚类中心序号序列的过程：

在首次确定待定位设备的相机在捕获当前帧图像时的位姿之前，预先对所有候选帧图像的局部描述子中的同一位置的子向量进行聚类，得到与该同一位置的子向量相对应的至少一个聚类结果。

以乘积量化器为例，假设使得8×8的乘积量化器，对于每一个候选帧图像，使得8×8的乘积量化器将该候选帧图像的局部描述子划分为8个子向量。

对于所有候选帧图像的局部描述子中的第1个子向量进行聚类，可以得到与所有候选帧图像的局部描述子中的第1个子向量相对应的256个聚类结果，与所有候选帧图像的局部描述子中的第1个子向量相对应的256个聚类结果各自具有一个聚类中心，与所有候选帧图像的局部描述子中的第1个子向量对应256个聚类中心，与所有候选帧图像的局部描述子中的第1个子向量对应256个聚类中心中的每一个聚类中心各自具有一个序号，与所有候选帧图像的局部描述子中的第1个子向量对应256个聚类中心中的每一个聚类中心具有的序号不同，与所有候选帧图像的局部描述子中的第1个子向量对应256个聚类中心中的每一个聚类中心具有的序号可以从0开始分配。与所有候选帧图像的局部描述子中的第1个子向量对应256个聚类中心中的聚类中心的序号从0-255。

对于所有候选帧图像的局部描述子中的第2个子向量进行聚类，可以得到与所有候选帧图像的局部描述子中的第2个子向量相对应的256个聚类结果，与所有候选帧图像的局部描述子中的第2个子向量相对应的256个聚类结果各自具有一个聚类中心，与所有候选帧图像的局部描述子中的第2个子向量对应256个聚类中心，与所有候选帧图像的局部描述子中的第2个子向量对应256个聚类中心中的每一个聚类中心各自具有一个序号，与所有候选帧图像的局部描述子中的第1个子向量对应的256个聚类中心中的每一个聚类中心具有的序号不同，与所有候选帧图像的局部描述子中的第2个子向量对应256个聚类中心中的每一个聚类中心具有的序号可以从0开始分配。与所有候选帧图像的局部描述子中的第2个子向量对应256个聚类中心中的聚类中心的序号从0-255。以此类推。

在对所有候选帧图像的局部描述子中的第1个子向量、第2个子向量、第3个子向量、第4个子向量、第5个子向量、第6个子向量、第7个子向量、第8个子向量分别进行聚类之后，得到8×256个聚类结果，得到8×256个聚类中心。

在本申请中，对于每一个候选帧图像，该候选帧图像的局部描述子的每一个子向量各自对应一个聚类中心。对于该候选帧图像的局部描述子的每一个子向量，该子向量对应的聚类中心为该子向量所属的聚类结果的聚类中心，该每一个子向量对应的聚类中心的序号可以组成该候选帧图像的聚类中心序号序列。

以下说明确定一个候选帧图像的聚类中心序号序列的过程，确定任意一个候选帧图像的聚类中心序号序列可以参考该过程：

对于该候选帧图像的局部描述子第1个子向量，该候选帧图像的局部描述子的第1个子向量所属的聚类结果为与所有候选帧图像的局部描述子中的第1个子向量对应的所有聚类结果中的一个聚类结果，例如，该候选帧图像的局部描述子的第1个子向量所属的聚类结果为与所有候选帧图像的局部描述子中的第1个子向量对应的256个聚类结果中的一个聚类结果，该候选帧图像的局部描述子的第1个子向量对应的聚类中心为该候选帧图像的局部描述子的第1个子向量所属的聚类结果的聚类中心。

对于该候选帧图像的局部描述子第2个子向量，该候选帧图像的局部描述子的第2个子向量所属的聚类结果为与所有候选帧图像的局部描述子中的第2个子向量对应的所有聚类结果中的一个聚类结果，例如，该候选帧图像的局部描述子的第2个子向量所属的聚类结果为与所有候选帧图像的局部描述子中的第2个子向量对应的256个聚类结果中的一个聚类结果，该候选帧图像的局部描述子的第2个子向量对应的聚类中心为该候选帧图像的局部描述子的第2个子向量所属的聚类结果的聚类中心。

在确定该候选帧图像的局部描述子中的每一个子向量对应的聚类中心之后，该候选帧图像的局部描述子中的每一个子向量对应的聚类中心的序号可以组成该候选帧图像的聚类中心序号序列。

在本申请中，将每一个候选帧图像的聚类中心序号序列、每一个聚类中心、每一个聚类中心的序号作为位姿确定基础数据，利用每一个候选帧图像的聚类中心序号序列、每一个聚类中心、每一个聚类中心的序号进行视觉定位，相比于直接存储每一个候选帧图像的局部描述子，极大地减少位姿确定基础数据占用的存储空间。

例如，候选帧图像的局部描述子包括的特征为SuperPoint特征，存储候选帧图像的局部描述子所需的存储空间为1024字节，如果直接在待定位设备上存储每一个候选帧图像的局部描述子，会导致占用极大的非临时性可读存储介质的存储空间例如闪存和内存存储空间。

而在本申请中，存储任意一个候选帧图像的聚类中心序号序列所需的存储空间仅为候选帧图像的聚类中心序号序列中包括的多个序号占用的存储空间，每一个序号占用的存储空间仅为1个字节。假设任意一个候选帧图像的聚类中心序号序列包括8个序号，存储任意一个候选帧图像的聚类中心序号序列所需的存储空间仅为8字节，存储多个候选帧图像的聚类中心序号序列所需的存储空间为直接存储存储多个候选帧图像的局部描述子所需的存储空间的1/128，相比直接存储每一个候选帧图像的局部描述子，相当于将位姿确定基础数据压缩128倍。

在一些实施例中，用于训练的图像被预先在多个场景区域内捕获。可以对于每一个候选帧图像，确定该候选帧图像的局部描述子的每一个子向量对应的目标聚类中心，其中，该子向量对应的目标聚类中心为该子向量对应的多个聚类中心中的与该子向量的距离最小的聚类中心，该子向量对应的多个聚类中心通过对用于训练的图像的局部描述子中的、与该子向量位置相同的子向量进行聚类得到；对于每一个候选帧图像，生成该候选帧图像的聚类中心序号序列，该候选帧图像的聚类中心序号序列包括：该候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。

在本申请中，多个场景区域可以为与待定位设备当前所在的场景区域不同的属于同一类型的多个场景区域。多个场景区域可以包括待定位设备当前所在的场景区域和/或多个与待定位设备当前所在的场景区域属于相同的场景区域类型的、与待定位设备当前所在的场景区域不同的场景区域。

可以在从多个场景区域中的每一个场景区域分别捕获图像，然后，对从多个场景区域捕获的所有图像进行聚合，得到所有用于训练的图像。换言之，将从多个场景区域捕获的所有图像聚合为所有用于训练的图像。

例如，待定位设备当前所在的场景区域为一个商场的场景区域，多个场景区域可以包括：待定位设备当前所在的场景区域、与待定位设备当前所在的商场不同的多个商场中的每一个商场的场景区域。多个场景区域也可以包括：与待定位设备当前所在的商场不同的多个商场中的每一个商场的场景区域。

在首次确定待定位设备的位姿之前，预先对所有用于训练的图像局部描述子中的同一位置的子向量进行聚类，得到与所有用于训练的图像局部描述子中的同一位置的子向量相对应的至少一个聚类结果。

在用于训练的图像被预先在多个场景区域内捕获的情况下，对所有用于训练的图像局部描述子中的同一位置的子向量进行聚类的过程参考上述已经说明的对所有用于训练的图像局部描述子中的同一位置的子向量进行聚类的过程。

所有候选帧图像的局部描述子的同一位置的子向量对应同一多个聚类中心，该同一多个聚类中心通过预先对所有用于训练的图像的局部描述子中的该同一位置的子向量进行聚类而得到。

所有候选帧图像的局部描述子的第1个子向量对应同一多个聚类中心，即每一个候选帧图像的局部描述子的第1个子向量对应的多个聚类中心均为预先通过对所有用于训练的图像的局部描述子中的第1个子向量进行聚类而得到的多个聚类中心。

所有候选帧图像的局部描述子的第2个子向量对应同一多个聚类中心，即每一个候选帧图像的局部描述子的第2个子向量对应的多个聚类中心均为预先通过对所有用于训练的图像的局部描述子中的第2个子向量进行聚类而得到的多个聚类中心。以此类推。

以下说明生成一个候选帧图像的聚类中心序号序列的过程，生成任意一个候选帧图像的聚类中心序号序列参考该过程：

对于该候选帧图像的局部描述子的每一个子向量，计算该子向量与该子向量对应的多个聚类中心中的每一个聚类中心的距离，将该子向量对应的多个聚类中心中的、与该子向量的距离最小的聚类中心作为该子向量对应的目标聚类中心。

假设使得8×8的乘积量化器，使得8×8的乘积量化器将用于训练的图像的局部描述子划分为8个子向量。采用可以设置聚类数量的聚类算法例如K-Means算法对所有候选帧图像的局部描述子中的同一位置的子向量进行聚类，预设聚类数量为256。

在用于训练的图像被预先在多个场景区域内捕获的情况下，在对所有候选帧图像的局部描述子中的第1个子向量、第2个子向量、第3个子向量、第4个子向量、第5个子向量、第6个子向量、第7个子向量、第8个子向量分别进行聚类之后，得到8×256个聚类结果，得到8×256个聚类中心。

该候选帧图像的局部描述子的第1个子向量对应的多个聚类中心为通过预先对所有用于训练的图像的局部描述子中的第1个子向量进行聚类得到的256个聚类中心。计算该候选帧图像的局部描述子的第1个子向量与该候选帧图像的局部描述子的第1个子向量对应的每一个聚类中心的距离，将该候选帧图像的局部描述子的第1个子向量对应的多个聚类中心中的、与该第1个子向量的距离最小的聚类中心作为该候选帧图像的局部描述子的第1个子向量对应的目标聚类中心。

该候选帧图像的局部描述子的第2个子向量对应的多个聚类中心为通过预先对所有用于训练的图像的局部描述子中的第2个子向量进行聚类得到的256个聚类中心。计算该候选帧图像的局部描述子的第2个子向量与该候选帧图像的局部描述子的第2个子向量对应的每一个聚类中心的距离，将该候选帧图像的局部描述子的第2个子向量对应的多个聚类中心中的、与该第2个子向量的距离最小的聚类中心作为该候选帧图像的局部描述子的第2个子向量对应的目标聚类中心。以此类推。

在确定该候选帧图像的局部描述子的每一个子向量对应的目标聚类中心之后，可以生成该候选帧图像的聚类中心序号序列，该候选帧图像的聚类中心序号序列包括：该候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。

在一些实施例中，多个场景区域包括至少一个所属的场景区域类型与其他的场景区域所属的场景区域类型不同的场景区域。

其他的场景区域并不特指某一个场景区域，其他的场景区域是相当于某一个场景区域而言的。对于多个场景区域中的每一个场景区域，多个场景区域中的除了该场景区域之外的每一个场景区域相对于该场景区域均为其他的场景区域。

多个场景区域可以包括待定位设备当前所在的场景区域和/或与待定位设备当前所在的场景区域不同但所属的场景区域类型相同的场景区域。多个场景区域还包括至少一个与待定位设备当前所在的场景区域所属的场景区域类型不同的场景区域类型的场景区域。

例如，待定位设备当前在一个商场中，待定位设备当前所在的场景区域为该商场的场景区域。待定位设备当前所在的场景区域所属的场景区域类型为商场场景区域类型。

多个场景区域可以包括：待定位设备当前所在的商场的场景区域和/或与待定位设备当前所在的商场不同的商场的场景区域。

多个场景区域还可以包括以下一项或多项：至少一个街道的场景区域、至少一个公园的场景区域、至少一个仓库的场景区域、至少一个工厂的场景区域、至少一个房间的场景区域。

在本申请中，可以预先在包括至少一个所属的场景区域与其他的场景区域所属的场景类型不同的场景区域的多个场景区域中的每一个场景区域分别捕获图像，然后，对从该多个场景区域捕获的所有图像进行聚合，得到所有用于训练的图像。由于所有用于训练的图像为从在多个场景区域内捕获，从而，使得生成的所有聚类中心可以适用于至少两个场景区域类型的场景区域的定位，即生成的所有聚类中心可以适用于至少两个不同的场景区域类型的场景区域的定位。对于至少两个场景区域类型中的每一个场景区域类型，当待定位设备当前位于该场景区域类型的场景区域中时，可以确定在该场景区域类型的场景区域捕获的候选帧图像属于生成的所有聚类中心中的哪一个聚类中心。

步骤103，生成目标帧图像的压缩描述子。

在本申请中，目标帧图像的压缩描述子包括：目标帧图像的聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心。

步骤104，基于当前帧图像的局部描述子和目标帧图像的压缩描述子、目标帧图像对应的预设位姿，确定在捕获当前帧图像时待定位设备的相机的位姿。

在本申请中，目标帧图像对应的预设位姿为在捕获目标帧图像时，捕获目标帧图像的设备的相机的位姿。

在本申请中，当基于当前帧图像的局部描述子和目标帧图像的压缩描述子、目标帧图像对应的预设位姿，确定在捕获当前帧图像时待定位设备的相机的位姿时，可以将当前帧图像的局部描述子和目标帧图像的压缩描述子进行匹配，得到匹配结果，根据匹配结果和目标帧图像对应的预设位姿，确定在捕获当前帧图像时待定位设备的相机的位姿。例如，根据匹配结果和目标帧图像对应的预设位姿，进行3D-2D位姿估计，确定在捕获当前帧图像时待定位设备的相机的位姿。

根据当前帧图像的相关的描述子与目标帧图像的匹配结果和目标帧图像对应的预设位姿，确定在捕获当前帧图像时待定位设备的相机的位姿属于视觉定位领域中已知的技术，本申请中不再详细说明。

请参考图2，其示出了本申请实施例提供的视觉定位装置的结构框图。装置包括：目标帧图像查找单元201，聚类中心查找单元202，压缩描述子生成单元203，位姿计算单元204。

目标帧图像查找单元201被配置为从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；

聚类中心查找单元202被配置为从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中心、每一个聚类中心的序号，其中，聚类中心通过对用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到；

压缩描述子生成单元203被配置为生成所述目标帧图像的压缩描述子，所述目标帧图像的压缩描述子包括：所述每一个聚类中心序号各自所属的聚类中心；

位姿计算单元204被配置为基于所述当前帧图像的局部描述子、目标帧图像的压缩描述子和目标帧图像对应的预设位姿，确定在捕获所述当前帧图像时待定位设备的相机的位姿。

在一些实施例中，用于训练的图像被预先在多个场景区域内捕获；

视觉定位装置还包括：

建立单元，被配置为对于每一个候选帧图像，确定所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心，其中，所述子向量对应的目标聚类中心为所述子向量对应的多个聚类中心中的与所述子向量的距离最小的聚类中心，所述子向量对应的多个聚类中心通过对用于训练的图像的局部描述子中的、与所述子向量位置相同的子向量进行聚类得到；对于每一个候选帧图像，生成所述候选帧图像的聚类中心序号序列，所述候选帧图像的聚类中心序号序列包括：所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。

在一些实施例中，所述多个场景区域包括至少一个所属的场景区域类型与其他的场景区域所属的场景区域类型不同的场景区域。

在一些实施例中，视觉定位装置还包括：

聚类单元，被配置为对于每一个用于训练的图像，以预设划分方式将所述用于训练的图像划分为多个子向量；

以预设聚类算法对用于训练的图像的局部描述子中的同一位置的子向量进行聚类，得到与所述同一位置的子向量相对应的多个聚类结果，其中，所述多个聚类结果中的每一个聚类结果各自具有一个聚类中心。

在一些实施例中，目标帧图像查找单元201进一步被配置为：

从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像包括：

提取待定位设备的相机捕获的当前帧图像的全局描述子；

计算当前帧图像的全局描述子与每一个候选帧图像的全局描述子的相似度；

将具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选帧图像确定为所述目标帧图像。

图3是本申请提供的一种电子设备的结构框图。电子设备300包括处理组件322，其进一步包括一个或多个处理器，以及由存储器332所代表的存储器资源，用于存储可由处理组件322执行的指令，例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述方法。

电子设备300还可以包括一个电源组件326被配置为执行电子设备300的电源管理，一个有线或无线网络接口350被配置为将电子设备300连接到网络，和一个输入输出(I/O)接口358。电子设备300可以操作基于存储在存储器332的操作系统，例如WindowsServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视觉定位方法，其特征在于，所述方法包括：

从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；

从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中心、每一个聚类中心的序号，其中，聚类中心通过对用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到；

生成所述目标帧图像的压缩描述子，所述目标帧图像的压缩描述子包括：所述每一个聚类中心序号各自所属的聚类中心；

基于所述当前帧图像的局部描述子、目标帧图像的压缩描述子和目标帧图像对应的预设位姿，确定在捕获所述当前帧图像时待定位设备的相机的位姿。

2.根据权利要求1所述的方法，其特征在于，用于训练的图像被预先在多个场景区域内捕获；

所述方法还包括：

对于每一个候选帧图像，确定所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心，其中，所述子向量对应的目标聚类中心为所述子向量对应的多个聚类中心中的与所述子向量的距离最小的聚类中心，所述子向量对应的多个聚类中心通过对用于训练的图像的局部描述子中的、与所述子向量位置相同的子向量进行聚类得到；

对于每一个候选帧图像，生成所述候选帧图像的聚类中心序号序列，所述候选帧图像的聚类中心序号序列包括：所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。

3.根据权利要求2所述的方法，其特征在于，所述多个场景区域包括至少一个所属的场景区域类型与其他的场景区域所属的场景区域类型不同的场景区域。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对于每一个用于训练的图像，以预设划分方式将所述用于训练的图像划分为多个子向量；

以预设聚类算法对用于训练的图像的局部描述子中的同一位置的子向量进行聚类，得到与所述同一位置的子向量相对应的多个聚类结果，其中，所述多个聚类结果中的每一个聚类结果各自具有一个聚类中心。

5.根据权利要求1所述的方法，其特征在于，从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像包括：

提取待定位设备的相机捕获的当前帧图像的全局描述子；

计算当前帧图像的全局描述子与每一个候选帧图像的全局描述子的相似度；

将具有的全局描述子与当前帧图像的全局描述子的相似度最大的候选帧图像确定为所述目标帧图像。

6.根据权利要求1-5之一所述的方法，其特征在于，所述当前帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，所述候选帧图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint，用于训练的图像的局部描述子包括的特征的类型为以下之一：SIFT、ORB、SuperPoint。

7.一种视觉定位装置，其特征在于，所述装置包括：

目标帧图像查找单元，被配置为从所有候选帧图像中查找出与待定位设备的相机捕获的当前帧图像匹配的目标帧图像；

聚类中心查找单元，被配置为从位姿确定基础数据中查找出所述目标帧图像的聚类中心序号序列，以及从位姿确定基础数据中查找出所述聚类中心序号序列中的每一个聚类中心序号各自所属的聚类中心，位姿确定基础数据包括：多个聚类中心、每一个聚类中心的序号，其中，聚类中心通过对用于训练的图像的局部描述子中的同一位置的子向量进行聚类得到；

压缩描述子生成单元，被配置为生成所述目标帧图像的压缩描述子，所述目标帧图像的压缩描述子包括：所述每一个聚类中心序号各自所属的聚类中心；

位姿计算单元，被配置为基于所述当前帧图像的局部描述子、目标帧图像的压缩描述子和目标帧图像对应的预设位姿，确定在捕获所述当前帧图像时待定位设备的相机的位姿。

8.根据权利要求7所述的装置，其特征在于，用于训练的图像被预先在多个场景区域内捕获；

所述装置还包括：

建立单元，被配置为对于每一个候选帧图像，确定所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心，其中，所述子向量对应的目标聚类中心为所述子向量对应的多个聚类中心中的与所述子向量的距离最小的聚类中心，所述子向量对应的多个聚类中心通过对用于训练的图像的局部描述子中的、与所述子向量位置相同的子向量进行聚类得到；对于每一个候选帧图像，生成所述候选帧图像的聚类中心序号序列，所述候选帧图像的聚类中心序号序列包括：所述候选帧图像的局部描述子的每一个子向量对应的目标聚类中心的序号。

9.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的方法。

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的方法。