CN110738703B - 定位方法及装置、终端、存储介质 - Google Patents

Abstract

本申请实施例公开了一种定位方法，包括：提取待处理图像的第一图像特征；根据所述第一图像特征，从预设地图中存储的关键帧二维图像的图像特征和对应的深度图像特征中，匹配出第二图像特征；根据所述第一图像特征和所述第二图像特征，确定用于采集所述待处理图像的图像采集设备的位姿信息。本申请实施例还同时提供了一种定位装置、终端及存储介质。

Description

定位方法及装置、终端、存储介质

技术领域

本申请涉及定位技术，涉及但不限于室内的定位方法及装置、终端、存储介质。

背景技术

在相关技术中，基于视觉图像的二维特征，将背景与预先测定的建筑物室内地图匹配，确定背景在室内的对应位置，然后根据背景的位置确认人物在室内的位置，这样，定位后无法获得相机的姿态信息，在定位精度方面较低。

发明内容

有鉴于此，本申请实施例为解决相关技术中存在的至少一个问题而提供一种定位方法及装置、终端、存储介质。

本申请实施例的技术方案是这样实现的：

本申请实施例提供了一种定位方法，所述方法包括：

提取待处理图像的第一图像特征；

根据所述第一图像特征，从预设地图中存储的关键帧二维图像的图像特征和对应的深度图像特征中，匹配出第二图像特征；

根据所述第一图像特征和所述第二图像特征，确定用于采集所述待处理图像的图像采集设备的位姿信息。

本申请实施例提供一种定位装置，所述装置包括：

第一提取模块，用于提取待处理图像的第一图像特征；

第一匹配模块，用于根据所述第一图像特征，从预设地图中存储的关键帧二维图像的图像特征和对应的深度图像特征中，匹配出第二图像特征；

第一确定模块，用于根据所述第一图像特征和所述第二图像特征，确定用于采集所述待处理图像的图像采集设备的位姿信息。

对应地，本申请实施例提供一种终端，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述方法中的步骤。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述方法中的步骤。

本申请实施例提供一种定位方法及装置、终端、存储介质，其中，首先，提取待处理图像的第一图像特征；然后，根据所述第一图像特征，从预设地图中存储的关键帧二维图像的图像特征和对应的深度图像特征中，匹配出第二图像特征；最后，根据所述第一图像特征和所述第二图像特征，确定用于采集所述待处理图像的图像采集设备的位姿信息；如此，对于任意的待处理图像，通过从不仅包括关键帧二维图像的图像特征还有对应的深度图像特征中，匹配出第二图像特征，即可得到预设地图中的匹配帧图像，从而实现对图像采集设备的定位，将图像二维信息扩展到了三维，提高了定位准确度，而且在定位结果上可以同时提供位置和姿态，增加了定位结果的自由度。

附图说明

图1为本申请实施例定位方法实现流程示意图；

图2为本申请实施例定位方法的实现流程示意图；

图3为本申请实施例创建预设地图的实现流程示意图；

图4为本申请实施例定位方法另一实现流程示意图；

图5为本申请实施例定位方法的又一实现流程示意图；

图6为本申请实施例比值向量的结构示意图；

图7为本申请实施例确定第二图像特征对应的关键帧二维图像的应用场景图；

图8为本申请实施例确定采集设备的位置信息的结构示意图；

图9为本申请实施例定位装置的组成结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供一种定位方法，图1为本申请实施例定位方法实现流程示意图，如图1所示，所述方法包括以下步骤：

步骤S101，提取待处理图像的第一图像特征。

这里，第一图像特征包括：所述待处理图像的特征点的标识信息和二维(2-Dimensional，2D)位置信息。在步骤S101中，首先，提取所述待处理图像的特征点集合；然后，确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述待处理图像中的二维位置信息；其中，特征点的标识信息可以理解为是能够唯一标识该特征点的描述子信息。

步骤S102，根据所述第一图像特征，从预设地图中存储的关键帧二维图像的图像特征和对应的深度图像特征中，匹配出第二图像特征。

这里，所述第二图像特征包括：所述关键帧二维图像的特征点的2D位置信息、三维(3-Dimensional，3D)位置信息和标识信息。所述预设地图中关键帧二维图像的关键图像特征集合，和每一样本特征点，在关键帧二维图像的中所占的比值对应的比值向量集合。所述步骤S102可以理解为，从预设地图中存储的关键帧二维图像的图像特征中，选择与第一图像特征匹配度较高的第二图像特征，但是每一关键帧二维图像的图像特征与深度图像特征一一对应。

步骤S103，根据所述第一图像特征和所述第二图像特征，确定用于采集所述待处理图像的图像采集设备的位姿信息。

这里，位姿信息包括：所述图像采集设备在所述地图坐标系中的位置和所述图像采集设备相对于所述地图坐标系的采集朝向。基于所述第二图像特征中包含的深度图像特征表明的特征点的3D位置信息和所述第一图像特征对应的待处理图像的特征点的2D位置信息，确定所述图像采集设备的位姿信息。比如，首先，在图像采集设备所处的三维坐标空间，将待处理图像的特征点的2D位置信息转换为3D位置信息，然后，将该3D位置信息与预设地图的三维坐标系中的深度图像特征表明的特征点的3D位置信息，进行比对，以确定图像采集设备的位姿信息。这样，同时考虑了特征点的2D位置信息和3D位置信息，那么当对图像采集设备进行定位时，既可以得到图像采集设备的2D位置信息，还可以得到图像采集设备的3D位置信息，也可以理解为，既可以得到图像采集设备的平面空间位置，还可以得到图像采集设备的立体空间位置。

在本申请实施例中，对于采集到的待处理图像，首先，提取图像特征，然后，从预设地图中的关键帧二维图像的图像特征与对应的深度图像特征中选择与该图像特征匹配的第二图像特征，最后，两个图像特征的特征点的位置信息，即可实现对图像采集设备的定位；如此，通过从不仅包括关键帧二维图像的图像特征还有对应的深度图像特征中，匹配出第二图像特征，即可得到预设地图中的匹配帧图像，从而实现对图像采集设备的定位，将图像二维信息扩展到了三维，提高了定位准确度，而且在定位结果上可以同时提供位置和姿态，增加了定位结果的自由度。

在一些实施例中，图像采集设备的位姿信息包括，图像采集设备在地图坐标系中的位置和图像采集设备相对于地图坐标系的采集朝向，所述步骤S103，可以通过以下步骤实现：

步骤S131，确定所述第二图像特征对应的关键帧二维图像的特征点，在所述预设地图对应的地图坐标系中的地图坐标。

这里，获取预设第二地图中第二图像特征对应的特征点，在该预设地图对应的地图坐标系中的3D坐标。

步骤S132，确定所述第二图像特征对应的关键帧二维图像的特征点，在所述图像采集设备中所处的相机坐标系中的相机坐标。

这里，将地图坐标作为前端位姿跟踪算法(Perspectives-n-Point，PnP)算法的输入，得到该特征点在图像采集设备中所处的相机坐标系中的相机坐标。

步骤S133，根据所述地图坐标和所述相机坐标，确定所述相机坐标系相对于所述地图坐标系的转换关系。

这里，比较地图坐标和当前坐标，确定图像采集设备在相机坐标系中相对于地图坐标系的旋转向量，和平移向量。

步骤S134，根据所述转换关系和所述图像采集设备在所述相机坐标系中的相机坐标，确定所述图像采集设备在所述地图坐标系中的位置和所述图像采集设备相对于所述地图坐标系的采集朝向。

这里，采用旋转向量对图像采集设备的当前坐标进行旋转，确定图像采集设备相对于所述地图坐标系的采集朝向；采用平移向量对图像采集设备的当前坐标进行平移，确定图像采集设备在地图坐标系中的位置。

在本申请实施例中，通过确定第二图特征对应的特征点在相机坐标系中的3D坐标，这样通过比较该特征点在地图坐标系中的3D坐标和在相机坐标系中的3D坐标，确定相机坐标系相对于地图坐标系的旋转关系，然后根据该旋转关系求解图像采集设备的采集朝向和位置。

本申请实施例提供一种定位方法，图2为本申请实施例定位方法的实现流程示意图，如图2所示，所述方法包括以下步骤：

步骤S201，提取所述待处理图像的特征点集合。

这里，对待处理图像的特征点进行提取，得到特征点集合。

步骤S202，确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述待处理图像中的二维位置信息。

这里，对于特征点集合中的每一特征点，确定该特征点的描述子信息即(标识信息)，2D位置信息可以认为是该特征点的2D坐标。

上述步骤S201和步骤S202给出了一种实现“提取待处理图像的第一图像特征”的方式，在该方式中，得到待处理图像的每一特征点的2D坐标和该特征点的描述子信息。

步骤S203，分别确定不同的样本特征点在所述特征点集合中所占的比值，得到第一比值向量。

这里，所述多个样本特征点互不相同。利用预设的词袋模型，得到多个不同的样本特征点和多个样本特征点在所述关键帧二维图像中包含的特征点中所占的比值。所述第一比值向量可以是根据样本图像数量、样本特征点在样本图像中出现的次数、样本特征点在待处理图像里出现的次数和待处理图像中出现的样本特征点的总数来确定。

步骤S204，获取第二比值向量。

这里，所述第二比值向量为所述多个样本特征点在所述关键帧二维图像中包含的特征点中所占的比值；第二比值向量是预先存储在预设的词袋模型中的，所以当需要对待处理图像的图像特征进行匹配时，从预设的词袋模型中获取该第二比值向量。第二比值向量的确定过程与第一比值向量的确定过程类似，而且所述第一比值向量和所述第二比值向量的维数相同。

步骤S205，根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从所述关键帧二维图像的图像特征中，匹配出第二图像特征。

这里，所述步骤S205可以通过以下过程实现：

第一步，根据所述第一比值向量和所述第二比值向量，从所述关键帧二维图像的图像特征中，确定与所述第一图像特征的相似度大于第二阈值的相似图像特征。

这里，逐一的比较待处理图像的第一比值向量与每一关键帧二维图像的第二比值向量，采用这两个比值向量，确定每一关键帧二维图像与待处理图像的相似度，从而筛选出相似度大于等于第二阈值的相似关键帧二维图像，得到相似关键帧二维图像集合。

第二步，确定所述相似图像特征所属的相似关键帧二维图像，得到相似关键帧二维图像集合。

第三步，从所述相似关键帧二维图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

这里，从相似关键帧二维图像包含的图像特征中，选择与第一图像特征相似度最高的第二图像特征；比如，首先，确定至少两个所述相似关键帧二维图像的采集时间之间的时间差，和所述至少两个相似关键帧二维图像的图像特征分别与所述第一图像特征的相似度差；然后，将所述时间差小于第三阈值，且所述相似度差小于第四阈值的相似关键帧二维图像进行联合，得到联合帧图像；也就是说，选择的是采集时间靠近，且与待处理图像的相似度靠近的多个相似关键帧二维图像，说明这些关键帧二维图像可能是连续的的画面，所以将这样的多个相似关键帧二维图像联合在一起，组成联合帧图像(也可以成为岛)，这样得到多个联合帧图像；最后，从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。比如，先是分别确定多个联合帧图像中包含的每一关键帧二维图像的图像特征与所述第一图像特征的相似度之和；这样，逐一的确定多个联合帧图像中包含的多个关键帧二维图像的图像特征与第一图像特征的相似度之和。然后再，将相似度之和最大的联合帧图像，确定为与所述待处理图像的相似度最高的目标联合帧图像；最后，根据目标联合帧图像的特征点的标识信息和所述待处理图像的特征点的标识信息，从所述目标联合帧图像的图像特征和对应的深度图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。这样，由于目标联合帧图像的特征点的标识信息和所述待处理图像的特征点的标识信息，分别能够唯一的标识目标联合帧图像的特征点和待处理图像的特征点，所以基于这两个标识信息，可以非常准确的从所述目标联合帧图像的图像特征和对应的深度图像特征中，选择与第一图像特征相似度最高的第二图像特征。从而提升了待处理图像的第一图像特征匹配第二图像特征的准确度，使得选择到的第二图像特征与第一图像特征的相似度极高。

上述步骤S203至步骤S205给出了一种实现“根据所述第一图像特征，从预设地图中存储的关键帧二维图像的图像特征和对应的深度图像特征中，匹配出第二图像特征”的方式，在该方式中，通过采用预设的词袋模型从关键帧二维图像的图像特征和对应的深度图像特征中检索出与第一图像特征的相匹配的第二图像特征，保证了第二图像特征与第一图像特征的相似度。

步骤S206，将包含所述第二图像特征的图像，确定为所述待处理图像的匹配帧图像。

这里，包含该第二图像特征的关键帧二维图像，说明该关键帧二维图像与待处理图像非常相似，所以将该关键帧二维图像作为该待处理图像的匹配帧图像。

步骤S207，确定所述匹配帧图像中包含的任意两个特征点之间，小于第一阈值的目标欧式距离，得到目标欧式距离集合。

这里，首先，确定匹配帧图像中包含的任意两个特征点之间的欧式距离，然后，从中选择小于第一阈值的欧式距离，作为目标欧式距离，以得到目标欧式距离集合；这是对于待处理图像中的一个特征点进行处理，可得到一个目标欧式距离集合，那么对于待处理图像中的多个特征点进行处理，则可得到多个欧式距离集合。所述小于第一阈值的目标欧式距离，还可以认为是首先从多个欧式距离中确定最小的欧式距离，然后判断该最小的欧式距离是否小于第一阈值，若小于，则确定该最小的欧式距离为目标欧式距离，那么目标欧式距离集合也就是多个欧式距离集合中，欧式距离最小的一个集合。

步骤S208，如果所述目标欧式距离集合中包含的目标欧式距离的数量大于预设数量阈值，根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备的位姿信息。

这里，如果所述目标欧式距离集合中包含的目标欧式距离的数量大于预设数量阈值，基于所述第二图像特征包含的深度图像特征表明的特征点的3D位置信息和所述第一图像特征对应的待处理图像的特征点的2D位置信息，确定所述图像采集设备的位姿信息。如果目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，说明目标欧式距离的数量是足够大，也说明与第一图像特征相匹配的特征点足够多，说明这个关键帧二维图像与待处理图像的相似度足够高。然后，将关键帧二维图像的特征点的3D位置信息和所述第一图像特征对应的待处理图像的特征点的2D位置信息，作为PnP算法的输入，先求出待处理图像的当前帧中特征点的2D位置信息(比如，2D坐标)在相机坐标系下该特征点的3D位置信息(比如，3D坐标)，然后根据地图坐标系下的关键帧二维图像的特征点的3D位置信息和相机坐标系下的待处理图像的当前帧中特征点的3D位置信息，即可求解图像采集设备的位姿信息。

上述步骤S206至步骤S208给出了一种实现“根据所述第二图像特征和所述第二图像特征，确定用于采集所述待处理图像的图像采集设备的位姿信息”的方式，在该方式中，同时考虑关键帧二维图像的2D位置信息和深度图像的3D位置信息，在定位结果上可以同时提供位置和姿态，所以提高了图像采集设备的定位准确度。

在本申请实施例中，是通过图像采集设备，得到待处理图像，加载构建好的预设地图，并利用预设的词袋模型检索匹配到待处理图像相对应的匹配帧图像，最后，再将待处理图像的特征点的2D位置信息和深度图像的3D位置信息，作为PnP算法的输入，以得到当前相机在地图中的精确位姿，达到对相机定位的目的；这样，通过关键帧二维图像和深度图像即可达到定位目的，得到图像采集设备在地图坐标系下的位置和姿态，提高了定位结果精度，而且不需要依赖外部基站设备，成本低，鲁棒性强。

本申请实施例提供一种定位方法，图3为本申请实施例创建预设地图的实现流程示意图，如图3所示，所述方法包括以下步骤：

步骤S221，从样本图像库中，选择满足预设条件的多个关键帧二维图像，得到关键帧二维图像集合。

这里，所述步骤S221，根据输入的选择指令，从样本图像库中选择关键帧二维图像；即，如果多个样本图像对应的不是一个场景，那么用户手动选择关键帧二维图像，这样，保证了不同的环境下，所选的关键图像的有效性。或者，根据预设的帧率或视差，从样本图像库中选择关键帧二维图像；即，如果多个样本图像对应的是同一个场景，那么通过事先设置预设的帧率或者预设的视差，自动选择满足该预设的帧率或者预设的视差的样本图像作为关键帧二维图像，这样，既所选的关键图像的有效性，还提高了选择关键帧二维图像的效率。

步骤S222，提取每一关键帧二维图像的图像特征，得到关键二维图像特征集合。

这里，关键帧的图像特征包括：关键帧二维图像的特征点的2D位置信息和能够唯一标识该特征点的标识信息。得到关键二维图像特征集合，以便于从关键二维图像特征集合中匹配出与第一图像特征高度相似的第二图像特征，从而得到相应的匹配帧图像。

步骤S223，采集每一关键帧二维图像的深度信息，得到关键帧深度图像。

这里，采用深度摄像头以特定的帧率采集每一关键帧二维图像的深度信息，得到该关键帧深度图像。

步骤S224，将所述关键帧深度图像与所述关键帧二维图像进行对齐，以使关键二维图像特征与关键帧深度图像的深度图像特征一一对应。

这里，将关键帧深度图像与所述关键帧二维图像进行对齐，包括：时间戳对齐和像素对齐。所述步骤S224可以通过以下步骤实现：

第一步，分别确定每一关键帧深度图像的第一时间戳信息和每一关键帧二维图像的第二时间戳信息。

这里，确定第一时间戳信息和第二时间戳信息，以实现对关键帧深度图像和关键帧二维图像的时间戳对齐。

第二步，如果第i个第一时间戳信息与第j个第二时间戳信息之间的差值小于预设差值，确定第i个关键帧二维图像与第j个关键帧深度图像相匹配。

这里，如果两个时间戳的差值很小，说明关键帧二维图像和关键帧深度图像是针对的同一个画面，所以确定这样的两个关键帧二维图像和关键帧深度图像相匹配。

第三步，获取用于采集所述第i个关键帧二维图像的图像采集设备的第一标定参数和用于采集所述第j个关键帧二维图像的图像采集设备的第二标定参数。

这里，第一标定参数可以理解为是标定采集关键帧二维图像的图像采集设备的参数；在一个具体例子中，该参数包括：旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到摄像机坐标系；比如，旋转矩阵：描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向；平移矩阵：描述了在摄像机坐标系下，空间原点的位置。第二标定参数可以理解为是标定采集关键帧深度图像的图像采集设备的参数。

第四步，根据所述第一标定参数和所述第二标定参数，将所述第i个关键帧二维图像与第j个关键帧深度图像进行对齐，以使第i个关键帧二维图像的和彩色图像特征第j个关键帧深度图像的深度图像特征相对应。

这里，首先，根据所述第一标定参数和所述第二标定参数，确定所述第j个关键帧深度图像相对于所述第i个关键帧二维图像的对齐矩阵；所述对齐矩阵包括，旋转矩阵和平移矩阵；然后，根据所述对齐矩阵，调整所述第j个关键帧深度图像中每一像素点的坐标，以使调整后的第j个关键帧深度图像中每一像素点与所述第i个关键帧二维图像中的像素点的坐标一一对应。比如，通过所述旋转矩阵，对所述第j个关键帧深度图像的像素点在相机坐标系中的深度坐标进行旋转；利用所述平移矩阵，对旋转后的深度坐标进行平移，使得平移后的深度坐标与第i个关键帧二维图像中像素点在相机坐标系中二维坐标相对应。

步骤S225，确定每一样本图像的特征点，在关键帧二维图像的中所占的比值，得到比值向量集合。

这里，得到比值向量集合之后，将不同的样本特征点和该比值向量集合存储于预设的词袋模型中，以便于采用预设的词袋模型从关键帧二维图像中检索出待处理图像的匹配帧图像。所述步骤S223可以通过以下过程实现：

首先，根据所述样本图像库中包含的样本图像的第一数量和第p个样本特征点在样本图像库中出现的第一次数，确定第一平均次数。第一平均次数用于表明所述第p个样本特征点平均在每一样本图像中出现的次数；比如，第一平均次数可以理解为第p个样本特征点在样本图像库中出现的次数。

其次，根据所述第p个样本特征点在第q个关键帧二维图像中出现的第二次数和所述第q个关键帧二维图像中包含的样本特征点的第二数量，确定第二平均次数；第二平均次数用于表明所述第p个样本特征点占据第q个关键帧二维图像中包含的样本特征点的比例。

最后，根据所述第一平均次数和所述第二平均次数，得到样本特征点在关键帧二维图像的中所占的比值，得到所述比值向量集合。比如，将第一平均次数与第二平均次数相乘，即可得到比值向量。

步骤S226，存储所述比值向量集合、所述关键二维图像特征集合和每一关键二维图像特征对应的深度图像特征，得到所述预设地图。

这里，将关键帧二维图像对应的比值向量集合、每一关键二维图像特征对应的深度图像特征和关键图像特征集合存储在预设地图中，以便于对图像采集设备进行定位时，采用该比值向量集合与利用预设的词袋模型确定的待处理图像对应的比值向量集合进行比对，以确定与待处理图像高度相似的匹配帧图像。

在本申请实施例中，对于样本图像按照固定的帧率选择关键帧二维图像和深度图像，提高了所选择的关键帧二维图像和深度图像的有效性，然后，将关键帧二维图像的图像特征和深度图像特征一一对齐，构建预设地图，使得采用该预设地图对图像采集设备进行定位时，既可以定位到二维位置还可以定位到三维的采集朝向信息等，提高了定位的准确度。

本申请实施例提供一种定位方法，图4为本申请实施例定位方法另一实现流程示意图，如图4所示，所述方法包括以下步骤：

步骤S231，从样本图像库中，选择满足预设条件的多个关键帧二维图像，得到关键帧二维图像集合。

步骤S232，提取每一关键帧二维图像的图像特征，得到关键二维图像特征集合。

步骤S233，采集每一关键帧二维图像的深度信息，得到关键帧深度图像。

步骤S234，将所述关键帧深度图像与所述关键帧二维图像进行对齐，以使关键二维图像特征与关键帧深度图像的深度图像特征一一对应。

步骤S235，确定每一样本特征点，在关键帧二维图像的中所占的比值，得到比值向量集合。

步骤S236，存储所述比值向量集合、所述关键二维图像特征集合和每一关键二维图像特征对应的深度图像特征，得到所述预设地图。

上述步骤S231至步骤S236，完成了预设地图的创建过程，将关键帧二维图像的图像特征、比值向量集合和对饮的深度图像特征存储在预设地图中，以便于得到的与待处理图像的图像特征相匹配的第二图像特征中包含该特征的深度信息及三维位置信息，这样对图像采集设备的定位，获取通过深度摄像头直接获得，不需要消耗大量计算资源进行计算，提高了定位的实时性和自由度。

步骤S237，加载预设地图，并提取待处理图像的第一图像特征。

这里，当对图像采集设备进行定位时，需要先加载预设地图。

步骤S238，根据所述第一图像特征，从预设地图中存储的关键帧二维图像的图像特征和对应的深度图像特征中，匹配出第二图像特征。

步骤S239，根据所述第一图像特征和所述第二图像特征，确定用于采集所述待处理图像的图像采集设备的位姿信息。

上述步骤S237至步骤S239，给出了实现对图像采集设备进行定位的过程，在该过程中，通过采用从预设地图中存储的关键帧二维图像中匹配出与第一图像特征高度相似的第二图像特征，然后，利用利用这两个图像特征中的2D位置信息和3D位置信息，即可最终确定采集设备的位姿信息，由于第二图像特征中引入了深度摄像头提供深度信息，将图像二维信息扩展到了三维，从而提高了定位准确度，而且结合二维摄像头提供的二维图像特征信息和深度摄像头提供的深度信息，在定位结果上可以同时提供位置和姿态，增加了定位结果的自由度；在定位过程中不需要引入其他外部基站设备，降低了成本低廉。

本申请实施例提供一种定位方法，图5为本申请实施例定位方法的又一实现流程示意图，如图5所示，所述方法包括以下步骤：

步骤S301，利用RGB摄像头对关键帧二维图像采集，得到关键帧二维图像。

这里，该摄像头可以是单目摄像头还可以是双目摄像头。

步骤S302，利用深度摄像头，以固定帧率进行深度图像采集，得到关键帧深度图像。

这里，深度摄像头可以是时间飞行(time-of-flight，TOF)深度摄像头，利用TOF深度摄像头以固定帧率进行深度图像采集。深度图像又被成为距离图像，是指从图像采集器到场景中各点的距离作为像素值的图像。深度图像直观反映了事物可见表面的几何形状。在深度数据流所提供的图像帧中，每一个像素点代表的是在三维视觉传感器的视野中，该特定的坐标处物体到摄像头平面的距离。深度摄像头可以是双目相机、结构光相机或TOF相机等。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体测量；结构光相机测量深度的原理是通过投影编码好的一些图案到物体上，相机采集相应的经过物体反射的像，根据标定好的一些信息，计算物体的距离；TOF相机则是通过给目标连续发送光脉冲，然后用传感器接受从物体返回的光，通过探测光脉冲的飞行时间来得到目标的距离。

步骤S303，将关键帧二维图像和关键帧深度图像进行对齐。

这里，将关键帧二维图像和关键帧深度图像进行对齐，包括时间戳对齐和像素对齐。可以通过以下过程实现：

第一步，通过标定分别得到关键帧二维图像和关键帧深度图像的时间戳延迟。

第二步，选取时间戳最的差值应当小于一定阈值的关键帧二维图像和关键帧深度图像，形成包含二维特征信息和深度信息的数据流。

第三步，分别对RGB摄像头和深度摄像头进行标定，得到RGB摄像头和深度摄像头内参和外参。

这里，内参，是指纠正真实的镜头的径向和切向发生畸变的参数。外参分为旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了将像素点从世界坐标系转换到摄像机坐标系，比如，旋转矩阵：描述地图坐标系的坐标轴相对于相机坐标轴的方向；平移矩阵：描述在相机坐标系下，空间原点的位置)

第四步，确定关键帧二维图像到关键帧深度图像的像素对齐的旋转矩阵和平移向量。

这里，假设在第三步标定中得到了RGB摄像头的内参如公式(1)所示：

其中，f_{x_rgb}，f_{y_rgb}，c_{x_rgb}和c_{y_rgb}分别表示，RGB摄像头的内参K_rgb分别在相机坐标系中x轴和y轴上的校正参数。

对RGB摄像头而言，有：Z_rgb*p_rgb＝K_rgb*[I|0]P_rgb，其中，P_rgb＝[X_rgb Y_rgb Z_rgb 1]是RGB相机坐标系下的齐次三维点，而在相机坐标系下的关键帧二维图像的齐次像素坐标表示为p_rgb＝[u v 1]。其中，齐次三维点P_rgb可以用非齐次坐标

来表示，即

同理，对于深度摄像头的内参K_ir，也可以得到类似的映射关系，

其中，p_ir为相机坐标系下的关键帧深度图像的齐次像素坐标，

相机坐标系下的非齐次三维点坐标。

RGB摄像头的外参表示为R_rgb和T_rgb，深度摄像头的外参表示为R_ir和T_ir，两个摄像头的外参之间的变换关系R_ir2rgb和T_ir2rgb，如公式(2)所示：

非齐次坐标三维点

和三维点

之间的关系为：

最后，可以得到如下的公式(3)：

为了简化表示，令：

T＝K_ir*T_ir2rgb，那么公式(3)可以表示为，如公式(4)所示：

Z_rgb*p_rgb＝R*Z_ir*p_ir+T (4)；

最后，通过求解超定方程的方式求解R_ir2rgb和T_ir2rgb。

步骤S304，对关键帧二维图像进行二维图像特征的提取，结合关键帧深度图像对应像素的深度信息，以用于位姿计算。

这里，关键帧二维图像特征提取是对关键帧二维图像的一种解释和标注的过程。在步骤S303中，需要提取关键帧二维图像的特征点的2D位置信息、3D位置信息和标识信息(即该特征点的描述子信息)；其中，关键帧二维图像的特征点的3D位置信息是将关键帧二维图像的特征点的2D位置信息映射在预设地图所处的三维坐标系中得到的。比如，提取多个2D的特征点，提取数量为150个(150为经验值，特征点数量过少，跟踪失败率高，特征点数量过多，影响算法效率)，用于图像跟踪；并对该特征点进行描述子的提取，用于特征点匹配；其次，通过三角化方法计算得到特征点的3D位置信息(即深度信息)，用于确定采集相机的位置。然后，将深度图像中与角点对应的像素点深度值作为该角点的深度值，用于定位时的位姿计算。

步骤S305，采集过程中实时确定每一样本特征点，在关键帧二维图像的中所占的比值，得到比值向量。

这里，步骤S305可以理解为，在关键帧二维图像的采集过程中，针对当前帧图像，实时提取该关键帧二维图像的比值向量，如图6所示，用词汇树的形式来描述词袋模型，词袋模型中包括样本图像库41，即词汇树的根结点；样本图像42、43和44，即叶子结点42、43；样本特征点1至3为样本图像42中不同的样本特征点，本特征点4至6为样本图像43中不同的样本特征点，本特征点7至9为样本图像44中不同的样本特征点。在词袋模型中假设有w种样本特征点，即w为词袋模型的样本图像里提取出来的特征点种类数量。所以词袋模型里一共有w个样本特征点。每个样本特征点会对该关键帧二维图像进行评分，评分值为0～1的浮点数，这样每个关键帧二维图像都可以用w维的浮点数来表示，这个w维向量就是词袋模型输出的比值向量

评分的过程，如公式(5)所示：

其中，N为样本图像数量(即第一数量)，n_i为样本特征点w_i在样本图像中出现的次数(即第一次数)，I_t为t时刻采集的图像I，

为样本特征点w_i在时刻采集到的关键帧二维图像I_t里出现的次数(即第二次数)，

为关键帧二维图像I_t里出现的样本特征点总数(即第二数量)。通过样本特征点评分，得到每个关键帧二维图像的w维的浮点数向量，即比值向量，还可以将该比值向量作为预设的词袋模型的特征信息。

上述步骤S301至步骤S305，构建出一张依赖于关键帧二维图像和关键帧深度图像的预设地图，该预设地图以二进制格式存储关键帧二维图像的图像特征(包括：2D位置信息、2D位置信息和标识信息，比如，2D坐标、3D坐标、和描述子信息)到本地设备，当需要对图像采集设备进行时，该预设地图将被加载使用。

步骤S306，加载构建好的预设地图。

步骤S307，利用摄像头进行图像采集，得到待处理图像。

步骤S308，待处理图像采集过程中，实时提取待处理图像的当前帧中的第一图像特征。

这里，实时提取待处理图像的当前帧中的第一图像特征与步骤S303的过程类似，但不需要确定待处理图像的3D位置信息，因为在后续的PnP算法中不需要提供待处理图像的3D位置信息。

步骤S309，通过词袋模型检索待处理图像的当前帧在预设地图中的匹配帧图像。

这里，所述通过词袋模型检索待处理图像的当前帧在预设地图中的匹配帧图像，可以理解为利用词袋模型的特征信息即比值向量集合，进行检索待处理图像的当前帧在预设地图中的匹配帧图像。

所述步骤S309可以通过以下过程实现：

第一步，查找待处理图像的当前帧和每个关键帧二维图像的相似度，相似度s(v₁,v₂)的计算方式如公式(6)所示。

其中，v₁和v₂分别表示词袋模型中包含的每一样本特征点在所述待处理图像的当前帧中所占的第一比值向量，和每一样本特征点在关键帧二维图像中所占的第二比值向量。如果词袋模型中包含w种样本特征点，那么第一比值向量和第二比值向量均为w维的向量。通过采用筛选出关键帧二维图像中相似度达到第二阈值的相似关键帧二维图像，成为相似关键帧二维图像集合。

第二步，在相似关键帧二维图像集合选取时间戳之差小于第三阈值，且相似度差小于第四阈值的相似关键帧二维图像联合在一起，得到联合帧图像(或被称为岛)。

这里，第二步可以理解为在相似关键帧二维图像集合选取时间戳靠近，且相似度的匹配分数靠近的相似关键帧二维图像联合在一起，被成为岛；这样将相似关键帧二维图像集合就被划分成了多联合帧图像(即多个岛)。联合帧图像中的第一个关键帧二维图像与最后一个关键帧二维图像之间的相似度之比非常小，该相似度之比

如公式(7)所示：

其中，

和s(v_t,v_t-△t)分别表示一前一后两个关键帧二维图像的与当前帧的待处理图像的相似度。

第三步，分别确定多个联合帧图像中包含的每一关键帧二维图像的图像特征与所述第一图像特征的相似度之和，如公式(8)所示，

第四步，将相似度之和最大的联合帧图像，确定为与所述待处理图像的相似度最高的目标联合帧图像，从所述目标联合帧图像中找出与待处理图像的当前帧相似度最高的匹配帧图像。

步骤S310，采用PnP算法，确定当前相机在地图坐标系中的位姿信息。

这里，所述步骤S310可以通过以下步骤实现：

第一步，对待处理图像的当前帧X_C的第N个特征点F_CN，遍历匹配帧图像X₃的所有特征点，并确定匹配帧图像中任意两个特征点之间的欧式距离。如图7所示，待处理图像的当前帧X_c51，与该当前帧X_c51匹配的匹配帧图像X₃52。计算特征点X₀53和X₁54之间的欧式距离，得到欧式距离F₀501；计算特征点X₁54和X₂55之间的欧式距离，得到欧式距离F₁502；计算特征点X₄56和X₃52之间的欧式距离，得到欧式距离F₂503；计算特征点X_c51和X₄56之间的欧式距离，得到欧式距离F₃504。

第二步，选择欧式距离最小的一组(即目标欧式距离集合)进行阈值判断，若小于第一阈值，确定为目标欧式距离，则形成目标欧式距离集合，否则不形成目标欧式距离集合，跳转至第一步，直至遍历X_C的所有特征点，进入第三步。比如，如图7所示，通过比较多个欧式距离，得到一组最小的欧式距离组合{F₁,F₂,F₃}。

第三步，形成目标欧式距离集合，可表示为{F₁,F₂,F₃}，若目标欧式距离集合的元素数量大于第五阈值，则进行第四步，否则算法结束，输出匹配帧X₃的位置信息。

第四步，基于目标欧式距离集合，调用PnP中的函数求解出X_C在地图坐标系下的位置信息。其中，PnP算法的过程如下：

PnP算法的输入是关键帧二维图像中的特征点的3D坐标和待处理图像的当前帧中特征点的2D坐标，该算法的输出是待处理图像的当前帧在地图坐标系中的位置。

PnP算法不是直接根据匹配对序列求出相机位姿矩阵的，而是先求出待处理图像的当前帧中特征点的2D坐标在相机坐标系下待处理图像的当前帧中特征点的3D坐标，然后根据地图坐标系下的3D坐标系和相机坐标系下的待处理图像的当前帧中特征点的3D坐标求解相机位姿的。PnP算法的求解是从余弦定理开始的，设相机坐标系中心为点O，A、B和C为待处理图像的当前帧中三个特征点，如图8所示：

根据余弦定理，A、B和C之间的关系如公式(9)所示：

对上式进行消元，同时除以OC²，并另

则可得公式(10)：

接着进行替换，另

则可得公式(11)：

将公式(8)分别代入公式(10)和(11)，则分别得到公式(12)和(13)：

(1-w)x²-w·y²-2·x·cos<a,c>+2·w·x·y·cos<a,b>+1＝0 (12)；

(1-v)y²-v·x²-2·y·cos<b,c>+2·v·x·y·cos<a,b>+1＝0 (13)；

其中，由于A、B和C的2D坐标是已知的，所以w,v,cos<a,c>,cos<b,c>,cos<a,b>都是已知量，因此，未知量只有x,y两个，通过公式(8)和(9)可以求得x,y的值，从而，可以求解OA、OB和OC的值，如公式(14)所示：

最后，即可得到A、B和C三个特征点在当前三维坐标系下的3D坐标，分别可通过公式(15)得到：

得到A、B和C三个特征点在当前三维坐标系下的3D坐标后，然后通过地图坐标系到相机坐标系的变换，确定采集设备的位置。

上述步骤S306至步骤S310，对于图像采集设备采集到的待处理图像加载构建好的预设地图，通过词袋模型在预设地图中的关键帧二维图像中检索待处理图像的匹配帧图像，最后采用PnP算法求解当前相机在地图中的精确位姿，以确定该设备在地图坐标系下的位置和姿态，从而使得定位结果精度较高，不需要依赖外部基站设备，成本低，鲁棒性强。

在申请实施例中，同时考虑关键帧二维图像的2D坐标和3D坐标，在定位结果中可以提供采集设备的3D坐标，提高了定位准确度；在建图和定位过程中，不需要引入其他外部基站设备，因此成本低廉；而且不需要引入物体识别等错误率较高的算法，定位成功率高，鲁棒性强。

本申请实施例提供一种定位装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图9为本申请实施例定位装置的组成结构示意图，如图9所示，所述装置600包括：

第一提取模块601，用于提取待处理图像的第一图像特征；

第一匹配模块602，用于根据所述第一图像特征，从预设地图中存储的关键帧二维图像的图像特征和对应的深度图像特征中，匹配出第二图像特征；

第一确定模块603，用于根据所述第一图像特征和所述第二图像特征，确定用于采集所述待处理图像的图像采集设备的位姿信息。

在上述装置中，所述待处理图像的第一图像特征包括：所述待处理图像的特征点的标识信息和二维位置信息；

所述第二图像特征包括：所述关键帧二维图像的特征点的二维位置信息、所述特征点的深度信息和标识信息。

在上述装置中，所述第一提取模块601，包括：

第一提取子模块，用于提取所述待处理图像的特征点集合；

第一确定子模块，用于确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述待处理图像中的二维位置信息。

在上述装置中，所述装置还包括：

第二确定模块，用于将包含所述第二图像特征的图像，确定为所述待处理图像的匹配帧图像；

第三确定模块，用于确定所述匹配帧图像中包含的任意两个特征点之间，小于第一阈值的目标欧式距离，得到目标欧式距离集合；

对应地，所述第一确定模块603，还用于如果所述目标欧式距离集合中包含的目标欧式距离的数量大于预设数量阈值，根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备的位姿信息。

在上述装置中，所述第一匹配模块602，包括：

第一比例子模块，用于分别确定不同的样本特征点在所述特征点集合中所占的比值，得到第一比值向量；

第二比例子模块，用于获取第二比值向量，所述第二比值向量为所述多个样本特征点在所述关键帧二维图像中包含的特征点中所占的比值；

第一匹配子模块，用于根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从关键帧二维图像的图像特征和对应的深度特征中，匹配出第二图像特征。

在上述装置中，所述第一匹配子模块，包括：

第一确定单元，用于根据所述第一比值向量和所述第二比值向量，从所述从关键帧二维图像的图像特征和对应的深度特征中，确定与所述第一图像特征的相似度大于第二阈值的相似图像特征；

第二确定单元，用于确定所述相似图像特征所属的相似关键帧二维图像，得到相似关键帧二维图像集合；

第一选择单元，用于从所述相似关键帧二维图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述装置中，所述第一选择单元，包括：

第一确定子单元，用于确定至少两个所述相似关键帧二维图像的采集时间之间的时间差，和所述至少两个相似关键帧二维图像的图像特征分别与所述第一图像特征的相似度差；

第一联合子单元，用于将所述时间差小于第三阈值，且所述相似度差小于第四阈值的相似关键帧二维图像进行联合，得到联合帧图像；

第一选择子单元，用于从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述装置中，所述第一选择子单元，用于：分别确定多个联合帧图像中包含的每一关键帧二维图像的图像特征与所述第一图像特征的相似度之和；将相似度之和最大的联合帧图像，确定为与所述待处理图像的相似度最高的目标联合帧图像；根据目标联合帧图像的特征点的标识信息和所述待处理图像的特征点的标识信息，从所述目标联合帧图像的图像特征和对应的深度图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

在上述装置中，所述第一确定模块603，包括：

第二确定子模块，用于确定所述第二图像特征对应的关键帧二维图像的特征点，在所述预设地图对应的地图坐标系中的地图坐标；

第三确定子模块，用于确定所述第二图像特征对应的关键帧二维图像的特征点，在所述图像采集设备中所处的相机坐标系中的相机坐标；

第四确定子模块，用于根据所述地图坐标和所述相机坐标，确定所述相机坐标系相对于所述地图坐标系的转换关系；

第五确定子模块，用于根据所述转换关系和所述图像采集设备在所述相机坐标系中的相机坐标，确定所述图像采集设备在所述地图坐标系中的位置和所述图像采集设备相对于所述地图坐标系的采集朝向。

在上述装置中，所述装置还包括：

第一选择模块，用于从样本图像库中，选择满足预设条件的多个关键帧二维图像，得到关键帧二维图像集合；

第一提取模块，用于提取每一关键帧二维图像的图像特征，得到关键二维图像特征集合；

第一采集模块，用于采集每一关键帧二维图像的深度信息，得到关键帧深度图像；

第一对齐模块，用于将所述关键帧深度图像与所述关键帧二维图像进行对齐，以使关键二维图像特征与关键帧深度图像的深度图像特征一一对应；

第一比例模块，用于确定每一样本图像的特征点，在关键帧二维图像的中所占的比值，得到比值向量集合；

第一存储模块，用于存储所述比值向量集合、所述关键二维图像特征集合和每一关键二维图像特征对应的深度图像特征，得到所述预设地图。

在上述装置中，所述第一对齐模块，包括：

第六确定子模块，用于分别确定每一关键帧深度图像的第一时间戳信息和每一关键帧二维图像的第二时间戳信息；

第七确定子模块，用于如果第i个第一时间戳信息与第j个第二时间戳信息之间的差值小于预设差值，确定第i个关键帧二维图像与第j个关键帧深度图像相匹配；

第一获取子模块，用于获取用于采集所述第i个关键帧二维图像的图像采集设备的第一标定参数和用于采集所述第j个关键帧二维图像的图像采集设备的第二标定参数；

第一对齐子模块，用于根据所述第一标定参数和所述第二标定参数，将所述第i个关键帧二维图像与第j个关键帧深度图像进行对齐，以使第i个关键帧二维图像的和彩色图像特征第j个关键帧深度图像的深度图像特征相对应。

在上述装置中，所述第一对齐子模块，包括：

第三确定单元，用于根据所述第一标定参数和所述第二标定参数，确定所述第j个关键帧深度图像相对于所述第i个关键帧二维图像的对齐矩阵；

第一调整单元，用于根据所述对齐矩阵，调整所述第j个关键帧深度图像中每一像素点的坐标，以使调整后的第j个关键帧深度图像中每一像素点与所述第i个关键帧二维图像中的像素点的坐标一一对应。

在上述装置中，所述第一比例模块，包括：

第八确定子模块，用于根据所述样本图像库中包含的样本图像的第一数量和第p个样本特征点在样本图像库中出现的第一次数，确定第一平均次数；其中，p为大于等于1的整数；所述第一平均次数用于表明所述第p个样本特征点平均在每一样本图像中出现的次数；

第九确定子模块，用于根据所述第p个样本特征点在第q个关键帧二维图像中出现的第二次数和所述第q个关键帧二维图像中包含的样本特征点的第二数量，确定第二平均次数；其中，q为大于等于1的整数；所述第二平均次数用于表明所述第p个样本特征点占据第q个关键帧二维图像中包含的样本特征点的比例；

第三比例子模块，用于根据所述第一平均次数和所述第二平均次数，得到样本特征点在关键帧二维图像的中所占的比值，得到所述比值向量集合。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的定位方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得包含该存储介质的设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的定位方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种定位方法，其特征在于，所述方法包括：

提取待处理图像的第一图像特征；所述待处理图像的第一图像特征包括：所述待处理图像的特征点的标识信息和二维位置信息；

根据预设的词袋模型，获取不同的样本特征点；

分别确定所述不同的样本特征点在所述待处理图像的特征点集合中所占的比值，得到第一比值向量；其中，所述待处理图像的特征点集合是对待处理图像的特征点进行提取得到的；

获取第二比值向量，所述第二比值向量为所述不同的样本特征点在所述关键帧二维图像中包含的特征点中所占的比值；

根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从关键帧二维图像的图像特征和对应的深度特征中，匹配出第二图像特征；所述第二图像特征包括：所述关键帧二维图像的特征点的二维位置信息、三维位置信息和标识信息；

根据所述第一图像特征和所述第二图像特征，确定用于采集所述待处理图像的图像采集设备的位姿信息；

所述提取待处理图像的第一图像特征，包括：

确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述待处理图像中的二维位置信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从关键帧二维图像的图像特征和对应的深度特征中，匹配出第二图像特征，包括：

根据所述第一比值向量和所述第二比值向量，从所述从关键帧二维图像的图像特征和对应的深度特征中，确定与所述第一图像特征的相似度大于第二阈值的相似图像特征；

确定所述相似图像特征所属的相似关键帧二维图像，得到相似关键帧二维图像集合；

从所述相似关键帧二维图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

3.根据权利要求2所述的方法，其特征在于，所述从所述相似关键帧二维图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征，包括：

确定至少两个所述相似关键帧二维图像的采集时间之间的时间差，和所述至少两个相似关键帧二维图像的图像特征分别与所述第一图像特征的相似度差；

将所述时间差小于第三阈值，且所述相似度差小于第四阈值的相似关键帧二维图像进行联合，得到联合帧图像；

从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

4.根据权利要求3所述的方法，其特征在于，所述从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征，包括：

分别确定多个联合帧图像中包含的每一关键帧二维图像的图像特征与所述第一图像特征的相似度之和；

将相似度之和最大的联合帧图像，确定为与所述待处理图像的相似度最高的目标联合帧图像；

根据目标联合帧图像的特征点的标识信息和所述待处理图像的特征点的标识信息，从所述目标联合帧图像的图像特征和对应的深度图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像特征，确定所述图像采集设备的位姿信息，包括：

确定所述第二图像特征对应的关键帧二维图像的特征点，在所述预设地图对应的地图坐标系中的地图坐标；

确定所述第二图像特征对应的关键帧二维图像的特征点，在所述图像采集设备中所处的相机坐标系中的相机坐标；

根据所述地图坐标和所述相机坐标，确定所述相机坐标系相对于所述地图坐标系的转换关系；

根据所述转换关系和所述图像采集设备在所述相机坐标系中的相机坐标，确定所述图像采集设备在所述地图坐标系中的位置和所述图像采集设备相对于所述地图坐标系的采集朝向。

6.根据权利要求1所述的方法，其特征在于，在所述提取待处理图像的第一图像特征之前，所述方法还包括：

从样本图像库中，选择满足预设条件的多个关键帧二维图像，得到关键帧二维图像集合；

提取每一关键帧二维图像的图像特征，得到关键二维图像特征集合；

采集每一关键帧二维图像的深度信息，得到关键帧深度图像；

将所述关键帧深度图像与所述关键帧二维图像进行对齐，以使关键二维图像特征与关键帧深度图像的深度图像特征一一对应；

确定每一样本图像的特征点，在关键帧二维图像的中所占的比值，得到比值向量集合；

存储所述比值向量集合、所述关键二维图像特征集合和每一关键二维图像特征对应的深度图像特征，得到所述预设地图。

7.根据权利要求6所述的方法，其特征在于，所述将所述关键帧深度图像与所述关键帧二维图像进行对齐，以使关键二维图像特征与关键帧深度图像的深度图像特征一一对应，包括：

分别确定每一关键帧深度图像的第一时间戳信息和每一关键帧二维图像的第二时间戳信息；

如果第i个第一时间戳信息与第j个第二时间戳信息之间的差值小于预设差值，确定第i个关键帧二维图像与第j个关键帧深度图像相匹配；其中，i和j均为大于等于1的整数；

获取用于采集所述第i个关键帧二维图像的图像采集设备的第一标定参数和用于采集所述第j个关键帧二维图像的图像采集设备的第二标定参数；

根据所述第一标定参数和所述第二标定参数，将所述第i个关键帧二维图像与第j个关键帧深度图像进行对齐，以使第i个关键帧二维图像和彩色图像特征第j个关键帧深度图像的深度图像特征相对应。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第一标定参数和所述第二标定参数，将所述第i个关键帧二维图像与第j个关键帧深度图像进行对齐，包括：

根据所述第一标定参数和所述第二标定参数，确定所述第j个关键帧深度图像相对于所述第i个关键帧二维图像的对齐矩阵；

根据所述对齐矩阵，调整所述第j个关键帧深度图像中每一像素点的坐标，以使调整后的第j个关键帧深度图像中每一像素点与所述第i个关键帧二维图像中的像素点的坐标一一对应。

9.根据权利要求6所述的方法，其特征在于，所述确定每一样本图像的特征点，在关键帧二维图像的中所占的比值，得到比值向量集合，包括：

根据所述样本图像库中包含的样本图像的第一数量和第p个样本特征点在样本图像库中出现的第一次数，确定第一平均次数；其中，p为大于等于1的整数；所述第一平均次数用于表明所述第p个样本特征点平均在每一样本图像中出现的次数；

根据所述第p个样本特征点在第q个关键帧二维图像中出现的第二次数和所述第q个关键帧二维图像中包含的样本特征点的第二数量，确定第二平均次数；其中，q为大于等于1的整数；所述第二平均次数用于表明所述第p个样本特征点占据第q个关键帧二维图像中包含的样本特征点的比例；

根据所述第一平均次数和所述第二平均次数，得到样本特征点在关键帧二维图像中所占的比值，得到所述比值向量集合。

10.一种定位装置，其特征在于，所述装置包括：

第一提取模块，用于提取待处理图像的第一图像特征；所述待处理图像的第一图像特征包括：所述待处理图像的特征点的标识信息和二维位置信息；

第一匹配模块，用于根据预设的词袋模型，获取不同的样本特征点；分别确定所述不同的样本特征点在所述待处理图像的特征点集合中所占的比值，得到第一比值向量；其中，所述待处理图像的特征点集合是对待处理图像的特征点进行提取得到的；获取第二比值向量，所述第二比值向量为所述不同的样本特征点在所述关键帧二维图像中包含的特征点中所占的比值；根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从关键帧二维图像的图像特征和对应的深度特征中，匹配出第二图像特征；所述第二图像特征包括：所述关键帧二维图像的特征点的二维位置信息、三维位置信息和标识信息；

第一确定模块，用于根据所述第一图像特征和所述第二图像特征，确定用于采集所述待处理图像的图像采集设备的位姿信息；

所述第一提取模块，用于确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述待处理图像中的二维位置信息。

11.一种终端，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至10任一项所述方法中的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述方法中的步骤。

Images