CN114556425A - 定位的方法、设备、无人机和存储介质 - Google Patents

Abstract

一种定位的方法、设备、无人机和存储介质。该方法应用于可移动平台，可移动平台包括视觉传感器(403)，包括：获取视觉传感器采集的历史图像的第一图像描述信息和第一关键点描述信息，并获取可移动平台对应的第一位置信息；获取视觉传感器采集的当前图像，并基于特征提取模型获取当前图像的第二图像描述信息和第二关键点描述信息；基于历史图像对应的描述信息，以及当前图像对应的描述信息，确定多张历史图像与当前图像的匹配结果；根据匹配结果和第一位置信息，确定采集当前图像时可移动平台的第二位置信息。以提高了获取这两个描述信息的效率，且还可以较为准确地确定出这两个描述信息，从而进一步节省了定位时间，提高了定位精度。

Description

定位的方法、设备、无人机和存储介质

技术领域

本申请涉及领域视觉回航领域，尤其涉及一种定位的方法、设备、无人机和存储介质。

背景技术

无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者，无人机也可以由车载计算机等完全地或间歇地自主地操作。无人机在飞行的过程中，由于很多时候都处于超视距的范围，为了保证无人机的安全，自动返航是相当必要的。

无人机在自动返航的过程，需要无人机对当前位置进行较为快速以及较为准确地定位。而如何针对无人机这种体积小的设备进行较为快速地定位和较为准确地定位是非常重要的。

发明内容

本申请提供了一种定位的方法、设备、无人机和存储介质，可以用于较为快速地以及较为准确地进行定位。

本申请的第一方面是为了提供一种定位的方法，所述方法应用于可移动平台，所述可移动平台包括视觉传感器，包括：获取所述视觉传感器采集的历史图像的第一图像描述信息和第一关键点描述信息，并获取采集所述历史图像时的所述可移动平台的第一位置信息；获取所述视觉传感器采集的当前图像，并基于特征提取模型获取所述当前图像的第二图像描述信息和第二关键点描述信息；基于所述历史图像的所述第一图像描述信息和所述第一关键点描述信息，以及所述当前图像的所述第二图像描述信息和所述第二关键点描述信息，确定多张所述历史图像与所述当前图像的匹配结果；根据所述匹配结果和所述历史图像的所述第一位置信息，确定采集所述当前图像时所述可移动平台的第二位置信息。

本申请的第二方面是为了提供一种定位的设备，包括：存储器、处理器以及视觉传感器；所述存储器，用于存储计算机程序；所述视觉传感器，用于采集的历史图像以及当前图像；所述处理器调用所述计算机程序，以实现如下步骤：获取所述视觉传感器采集的历史图像的第一图像描述信息和第一关键点描述信息，并获取采集所述历史图像时的所述可移动平台的第一位置信息；获取所述视觉传感器采集的当前图像，并基于特征提取模型获取所述当前图像的第二图像描述信息和第二关键点描述信息；基于所述历史图像的所述第一图像描述信息和所述第一关键点描述信息，以及所述当前图像的所述第二图像描述信息和所述第二关键点描述信息，确定多张所述历史图像与所述当前图像的匹配结果；根据所述匹配结果和所述历史图像的所述第一位置信息，确定采集所述当前图像时所述可移动平台的第二位置信息。

本申请的第三方面是为了提供一种无人机，包括：机体以及上述第二方面所述的定位的设备。

本申请的第四方面是为了提供一种计算机可读存储介质，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于第一方面所述的方法。

本申请提供的一种定位的方法、该方法应用于可移动平台，可移动平台包括视觉传感器，包括：获取视觉传感器采集的历史图像的第一图像描述信息和第一关键点描述信息，并获取采集历史图像时的可移动平台的第一位置信息；获取视觉传感器采集的当前图像，并基于特征提取模型获取当前图像的第二图像描述信息和第二关键点描述信息；基于历史图像的第一图像描述信息和第一关键点描述信息，以及当前图像的第二图像描述信息和第二关键点描述信息，确定多张历史图像与当前图像的匹配结果；根据匹配结果和历史图像的第一位置信息，确定采集当前图像时可移动平台的第二位置信息。其中，通过基于特征提取模型获取当前图像的第二图像描述信息和第二关键点描述信息，可以同时获取到第二图像描述信息和第二关键点描述信息，提高了获取这两个描述信息的效率，且还可以较为准确地确定出这两个描述信息，从而进一步节省了定位时间，提高了定位精度，也满足了获取这两个描述信息的实时性以及定位的实时性。同时，该方法也可以适用于无人机等可移动平台，帮助无人机可以较为顺利的进行回航。

相对的，对于特征提取模型而言，其在模型训练的过程中，可以针对第二图像描述信息和第二关键点描述信息，进行融合训练，即针对该一个特征提取模型进行训练，即可以实现对第二图像描述信息和第二关键点描述信息的获取，提高全局性能。

此外，本申请实施例还提供了基于该方法的设备、无人机和存储介质，均可以实现上述效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种定位的方法的流程示意图；

图2为本申请实施例提供的特征提取模型的结构示意图；

图3为本申请实施例提供的一种定位的装置的结构示意图；

图4为本申请实施例提供的一种定位的设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

为了便于理解本申请的技术方案和技术效果，下面对现有技术进行简要说明：

基于前述内容可知，无人机在需要进行返航的过程中，需要对当前位置进行较为快速且较为准确地定位，特别是针对无人机这种小型体积的可移动平台而言。

在现有技术中，视觉回航可以将关键帧匹配和关键点匹配分为两个任务，，但考虑到时间效率，关键帧匹配可以使用BoW(Bag of Words，词袋模型)的方式，该方式虽然时间效率较高，但效果不太理想。而在关键点匹配任务中，较常使用ORB(Oriented Fast andRotated Brief，一种快速特征点提取和描述的算法)描述子，但是ORB描述子在视觉回航中经常出现的大尺度大角度的视角变换，效果较差。为了进一步提高时间效率，本申请实施例提供了将关键帧和关键点的描述子通过在同一个网络模型中生成，重新构造网络结构，以进行定位的方式。

下面结合附图，对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种定位的方法的流程示意图；本申请实施例提供的该方法100可以应用于可移动平台，如，无人机以及智能移动机器人等，可移动平台包括视觉传感器。该方法100包括以下步骤：

101:获取视觉传感器采集的历史图像的第一图像描述信息和第一关键点描述信息，并获取采集历史图像时的可移动平台的第一位置信息。

102:获取视觉传感器采集的当前图像，并基于特征提取模型获取当前图像的第二图像描述信息和第二关键点描述信息。

103:基于历史图像的第一图像描述信息和第一关键点描述信息，以及当前图像的第二图像描述信息和第二关键点描述信息，确定多张历史图像与当前图像的匹配结果。

104:根据匹配结果和历史图像的第一位置信息，确定采集当前图像时可移动平台的第二位置信息。

其中，通过基于特征提取模型获取当前图像的第二图像描述信息和第二关键点描述信息，可以同时获取到第二图像描述信息和第二关键点描述信息，提高了获取这两个描述信息的效率，且还可以较为准确地确定出这两个描述信息，从而进一步节省了定位时间，提高了定位精度，也满足了获取这两个描述信息的实时性以及定位的实时性。同时，该方法也可以适用于无人机等可移动平台，帮助无人机可以较为顺利的进行回航，保证无人机的安全。

需要说明的是，本方法100可以应用于可移动平台，该可移动平台除了无人机外，还可以涉及到其它可移动平台，或者可移动设备，如扫地机器人等，可以使得这些可移动平台或可移动设备能够自动回航或者自动回到原始地点等。

以下针对上述步骤进行详细地阐述：

101:获取视觉传感器采集的历史图像的第一图像描述信息和第一关键点描述信息，并获取采集历史图像时的可移动平台的第一位置信息。

其中，视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器，可以设置在可移动平台的内部，用于获取可移动平台的外部环境信息，如无人机当前所在地理位置的外部环境图像。

历史图像是指可移动平台在移动过程中获取到的历史图像，如无人机在正常航行阶段中获取到的外部环境图像。当无人机在开始回航的时候，可以将正常航行阶段中的获取到的外部环境图像，作为历史图像进行参考，以确定无人机在回航的过程中，当前的地理位置。

第一图像描述信息是指表征图像特征的信息，如图像描述子。其中，图像可以是移动过程中的关键帧图像，则可以称为关键帧描述子。第一关键点描述信息是指表征图像中关键点特征的信息，如图像中关键点描述子。该关键点可以为图像中的角点或者边缘等。

其中，第一位置信息是指可移动平台在获取到对应历史图像的时候，可移动平台所在的地理位置。可以通过可移动平台的定位装置来确定，如GPS(Global PositioningSystem，全球定位系统)，来确定当前的地理位置。除了获取到地理位置外，还可以获取到可移动平台的姿势，也可以称为朝向信息，从而确定出可移动平台的位姿。

而上述第一图像描述信息和第一关键点描述信息可以通过下述的特征提取模型来获取到。也可以通过其它获取方式来进行获取，如SIFT(尺度不变特征变换，Scale-invariant feature transform)算法，或者，SuperPoint(特征点)算法等。需要说明的是，虽然上述其它获取方式由于其算法较为复杂，而可移动平台可能存在体积较小等问题，无法适应上述复杂算法，但是还是可以运行上述复杂算法，但在实时性上不太理想。然而，对于历史图像来说，也可以不实时获取到历史图像，可以具有时间间隔地获取历史图像。

例如，无人机在空中正常航行，无人机可以从正常航行开始，就通过无人机上设置的视觉传感器的摄像头，获取到无人机在空中时候的外部环境图像，即历史图像。该视觉传感器将获取到历史图像传输至无人机，以进行图像的处理。视觉传感器可以实时获取历史图像，也可以具有时间间隔的获取历史图像。此外，视觉传感器或者无人机还可以根据获取到的历史图像，来确定是否属于关键帧图像，可以根据关键帧的确定规则来确定，然后视觉传感器再确定是否将该历史图像发送至无人机，或者无人机在确定关键帧后，再对历史图像进行处理。无人机可以通过下述特征提取模型或者SIFT算法等来获取到历史图像的图像描述子以及该图像中的关键点描述子，如角点描述子。

102:获取视觉传感器采集的当前图像，并基于特征提取模型获取当前图像的第二图像描述信息和第二关键点描述信息。

其中，当前图像是指可移动平台在回航或者返回移动过程中，在当前地理位置获取到的图像。其第二图像描述信息和第二关键点描述信息，与上述步骤101中的第一图像描述信息和第一关键点描述信息的本质相同，此处就不再赘述。

需要说明的是，由于第二图像描述信息和第二关键点描述信息是基于同一模型(即特征提取模型)获取的，不但可以提高信息获取效率，实时获取的描述子要求，还可以在模型训练的时候，对模型进行融合训练而不是分离训练，使得全局性更好。

其中，特征提取模型包括特征提取层，图像描述信息生成层和关键点信息生成层；特征提取层用于基于卷积网络提取当前图像的共用特征信息；图像描述信息生成层用于基于共用特征信息生成第二图像描述信息；关键点信息生成层用于基于共用特征信息生成第二关键点描述信息。

图2示出了特征提取模型的结构示意图。其中，该特征提取模型包括特征提取层201，图像描述信息生成层203和关键点信息生成层202。在特征提取层201中可以具有卷积网络，该卷积网络包括多层卷积层。

具体的，特征提取层用于基于卷积网络提取当前图像的共用特征信息，包括：特征提取层用于基于卷积网络中的多个卷积层提取共用特征信息。在图2中可以包括4层卷积层，该卷积层可以对输入的历史图像或者当前图像，即真实图像204进行卷积，得到卷积后的图像特征信息，即共用特征信息。

具体的，关键点信息生成层用于基于共用特征信息生成第二关键点描述信息，包括：关键点信息生成层用于基于一层卷积层以及双线性上采样，从共用特征信息提取第二关键点描述信息，一层卷积层的卷积核数量与第二关键点描述信息的数量相同。如图2所示，关键点信息生成层202可以包括一层卷积层，该层卷积层的卷积核数量与第二关键点描述信息的数量相同。再经过双线性上采样可以得到当前图像中关键点描述子2021。

具体的，图像描述信息生成层用于基于共用特征信息生成第二图像描述信息，包括：图像信息生成层用于通过两层卷积层以及NetVLAD层，从共用特征信息提取第二图像描述信息。如图2所示，对于图像描述信息生成层203而言，其可以包括两层卷积层以及一个NetVLAD(Net Vector of Local Aggregated Descriptors，网络局部聚合描述符)层，从而生成当前图像描述子2031。

需要说明的是，在关键点描述子生成方法中，虽然前文所述中说明了可以通过SIFT算法来获取描述子，且其效果较好，但是SIFT算法复杂度高，无法在嵌入式设备上实时进行，实时性较差对于回航而言。并且SIFT算法也没有针对大尺度，大角度的变化做专门的提升，并不适合在视觉回航中使用。而其它传统方法也普遍存在效果较差或者时间复杂度较高的情况，无法胜任视觉回航中对描述子的要求。

另，对于基于学习的关键点描述子生成方法中，SuperPoint是目前较好的模型，此模型能够同时得到关键点在图像中的位置和关键点描述子，但是是该模型相对而言较大，难以在嵌入式设备上实时运行，并且由于其训练数据是通过单应变化生成的，并不能很好的模拟视觉回航中实际的使用场景。而本申请实施例则是通过上述一个特征提取模型可以满足能够在可移动平台，即该嵌入式设备中实时运行的要求。其中，特征提取层可以通过步长为2的卷积层进行快速下采样提取当前图像或历史图像的特征，能够减少算力消耗。而此模型结构能够在保证提取描述子效果的同时，尽量的减少网络计算复杂度，同时结合图特征和点特征的信息，即共用特征信息，在同一个网络模型中同时生成关键点描述子和图像描述子，不仅充分利用了图像和关键点的共性，而且还大量的节约了重复计算特征的时间。例如，根据前文所述，当无人机遭受天气等环境因素，导致信号中断，或者，GPS定位装置出现问题，可自主自动触发回航。在回航的过程中，无人机可以通过视觉传感器实时获取当前图像，并发送至无人机进行处理。无人机接收到该当前图像后，可以将该当前图像输入至特征提取模型中。针对任一当前图像而言，先经过该模型中的特征提取层，通过该特征提取层中的卷积层获取到该当前图像的共用特征信息。然后将这个共用特征信息分别发送至图像描述信息生成层和关键点信息生成层。图像描述信息生成层接收到该共用特征信息后，经过两层卷积层以及NetVLAD层得到当前图像描述子。关键点信息生成层接收到该共用特征信息后，经过一层卷积层以及双线性上采样，得到当前图像中关键点描述子。

此外，由于是需要实时获取当前图像的图像描述子以及关键点描述子，所以这个描述子需要大量使用，由于当前得到的描述子大部分都是基于浮点数据类型的描述子，不仅占用空间大，而度量时间消耗大。会给嵌入式设备较多的资源消耗。所以为了能够提高资源的利用，减少占用空间以及内存消耗，可以通过将浮点数据类型的描述子转换为布尔数据类型的描述子来实现。

具体的，图像信息生成层用于通过两层卷积层以及NetVLAD层，从共用特征信息提取第二图像描述信息，包括：图像信息生成层用于通过两层卷积层以及NetVLAD层，从共用特征信息提取到浮点数据类型的第二图像描述信息；图像信息生成层用于将浮点数据类型的第二图像描述信息转换为布尔数据类型的第二图像描述信息。

例如，根据前文所述，如图2所示，图像描述信息生成层203接收到该共用特征信息后，经过两层卷积层以及NetVLAD层得到当前图像描述子2031，此时得到的当前图像描述子2031为浮点数据类型，再将该浮点数据类型的当前图像描述子2031转换为布尔数据类型的当前图像描述子2032。

相对的，对于关键点信息生成层而言也会存在上述问题，所以也可以将该层中的关键点描述子的数据类型，由浮点数据类型转换为布尔数据类型。

具体的，关键点信息生成层用于通过一层卷积层以及双线性上采样，从共用特征信息提取第二关键点描述信息，包括：关键点信息生成层用于通过一层卷积层以及双线性上采样，从共用特征信息提取到浮点数据类型的第二关键点描述信息；关键点信息生成层用于将浮点数据类型的第二关键点描述信息转换为布尔数据类型的第二关键点描述信息。例如，根据前文所述，如图2所示，关键点信息生成层202接收到该共用特征信息后，经过一层卷积层以及双线性上采样，得到当前图像中关键点描述子2021。此时得到的关键点描述子2021为浮点数据类型，再将该浮点数据类型的关键点描述子2021转换为布尔数据类型的关键点描述子2022。

与SuperPoint算法来最终获得所有关键点描述子，然后再根据关键点的位置获取关键点的描述子的方式不同。本申请实施例在关键点信息生成层，经过一层卷积层后，直接通过双线性上采样的方式获取关键点描述子，并且通过只对关键点位置进行双线性上采样，在使用的时候，可以大大降低计算量。

具体的，关键点信息生成层用于基于一层卷积层以及双线性上采样，从共用特征信息提取第二关键点描述信息，包括：确定当前图像中关键点的位置；关键点信息生成层用于通过一层卷积层得到共用特征信息的下采样信息；关键点信息生成层用于通过双线性上采样直接对下采样信息中对应位置的信息进行上采样，得到第二关键点描述信息。

其中，关键点的位置是指关键点在图像中的位置，即关键点所在图像中的大小。如关键点的大小为16*16像素大小，由此就可以确定出这个关键点在图像中的位置。

例如，根据前文所述，为了进一步提升模型的时间效率，在当前图像中的一定的方格区域内获取关键点，如16x16像素。关键点信息生成层在一层卷积下采样到原来的1/16的特征图(针对当前图像)后，直接利用双线性上采样的方式获取描述子，这样获取的描述子不仅减少了其它基于学习的方法中反卷积上采样的消耗，而且在实际训练和使用的时候，只针对关键点的位置进行上采样，可以大大的减少时间消耗。

上述特征提取模型的创建是通过模型训练得到的。因为该模型是多任务分支网络的模型，在训练的时候可以采取分步训练的方式，首先使用关键点训练集对该模型进行训练，初始固定出来图像描述信息生成层中的参数，即用于确定图像描述子(可以是当前图像描述子也可以是历史图像描述子)。当模型训练到损失无明显下降后，就可以确定出关键点信息生成层的参数和特征提取层的参数。然后，再利用获取到的图像匹配训练集去训练图像描述信息生成层，确定其最终的参数。

需要说明的是，也可以先对图像描述信息生成层进行训练，由此也可以确定出特征提取层的参数，然后再对关键点信息生成层进行训练。但是这种方式训练出来的模型相对上述训练方式训练出来的模型精准性稍差一些。

此外，为了提高整个模型的训练时间，可以通过其它训练平台来训练该模型，如通过服务器或者电脑等来训练，当训练完成后在移植到可移动平台上。当然，如果可移动平台的性能可以支撑训练该模型，也可以在该可移动平台上训练该模型。

具体的，通过第一训练数据，对初始特征提取层进行训练，生成训练后的特征提取层，作为特征提取模型中的特征提取层；第一训练数据包括对应于同一空间点的图像点对，该图像点对在表示为同一视觉场景的不同对应真实图像中；通过第一训练数据，对初始关键点信息生成层进行训练，生成训练后的关键点信息生成层，作为特征提取模型中的关键点信息生成层。

其中，第一训练数据则是上述关键点训练集中的训练数据。初始关键点信息生成层的结构与训练后的关键点信息生成层的结构相同。只是其中的参数不同。对于初始关键点信息生成层而言，其中的参数是初始参数。

训练的过程则是网络模型的训练过程，此处就不再赘述。仅说明：图像点对可以是同一三维空间中的空间点所对应的图像点对。该图像点对来源于两个图像，这两个图像表示为同一视觉场景的不同真实图像，如同一个地点但是不同角度，或不同图像采集位置的两个真实图像。

包含上述图像点对的第一训练数据的获取方式如下：

具体的，针对不同的视觉场景，获取每个视觉场景下的不同角度的真实图像；针对每个视觉场景，根据对应不同角度的真实图像，构建空间三维模型；基于空间点之间的相似度，从空间三维模型中选择空间点，以及获得选择后的每个空间点在真实图像中对应的真实图像点对；根据真实图像点对的采集位置之间的相似度，对真实图像点对进行选择，将选择出来的真实图像点对作为关键点对，从而得到第一训练数据。

其中，获取不同角度的真实图像可以为：例如，根据前文所述，无人机可以按照飞行高度以及姿态角度的大小来采集真实图像。如根据飞行高度的低、中、高，飞行姿态角度的小、中、大的标准，利用无人机有针对性的采集下视真实图像，即图像数据。同时，为了加快后续模型训练速度，提高数据分布的均衡性，根据采集图像的相似度，从中剔除过于相似的数据。

由此，面向无人机飞行时的应用场景，可以克服数据大的视角、尺度变换。同时可以在模型训练、测试时提供真实数据，该真实数据可以包含大量的采集到的真实图像和真实图像中相匹配的特征点，也可以称为关键点。

构建空间三维模型的过程可以为：例如，根据前文所述，针对上述采集得到的同一视觉场景下的至少两个真实图像(可以是两个、三个、四个以及五个等)，使用SFM(Structure from motion，三维建模)建模方法构建空间三维模型。模型建立好后，即存在空间三维模型中各个真实3D点所对应的至少两个真实图像中的2D点，从而形成2D点对。为了提高模型的泛化能力，在处理不同类别关键点时，都能够提取鲁棒的特征描述，本申请实施例可以使用多种不同种类的关键点，通过SFM来构建三维模型。该关键点类型可以包括但不限于SIFT类型的关键点(可以是通过SIFT算法得到的关键点或角点等)、FAST(Featuresfrom accelerated segment test，特征点检测算法)类型的关键点(可以是通过FAST算法得到的关键点或角点等)、ORB类型的关键点(可以是通过ORB算法得到的关键点或角点等)、Harris(哈里斯)类型的关键点(可以是通过Harris算法得到的关键点或角点等)。从而得到更具一般性的训练数据。

经过上述过程可以得到的2D点对所对应的3D点，会包含大量距离相近的3D点，尤其是当图像中某一区域纹理特别丰富时，会出现该区域对应的大量3D点，这样会影响训练数据分布的均衡，需要进行筛选处理。筛选过程如下：

可以先定义一个3D点集合S，包含筛选之后的3D点。可以从上述生成的3D点中进行遍历，使得筛选出来的3D点中的任意两个3D点的相似度小于或等于一个阈值，则集合S中得到的3D点中的任意两个3D点的相似度小于或等于一个阈值。其中，相似度算法可以通过欧式距离算法来确定。

此外还可以为：设置一个集合P，该集合P为候选3D点的集合。在筛选前，可以先将生成的所有的3D点作为候选3D点，设置在集合P中。先从集合P中确定任意两个3D点的相似度小于或等于一个阈值，可以通过遍历的方式来选择任意两个3D点，从而确定其相似度。如果相似度小于或等于一个阈值，则将该任意两个3D点放入到集合S中。此时，再计算集合P与集合S中每一个3D点的相似度，即欧式距离d，若d不大于设定阈值α，则将集合P中对应的3D点加入到集合S中，以使得集合S中的任意两个3D点的相似度都小于或等于一个阈值，从而使得集合S中的3D点不是过度相似的，具有数据的平衡性。如果经过筛选后，集合S为空，则可以将候选3D点P加入集合S，其中，候选3D点可以是上述生成的3D点。

在筛选完3D点，即完成了选择空间点，还需要继续筛选对应的2D点对，即选择对应的真实图像点对。应理解的是，根据前文可知，在创建了空间三维模型后，空间三维模型中的空间点与用于构建该空间三维模型的真实图像中的真实图像点具有对应关系，那么在筛选完成空间点后，该筛选完成的空间点则也是具有对应的真实图像点对的，即2D点对。

由于筛选后的每一个3D点会对应多个视角下(用于构建该空间三维模型的不同视角下的真实图像)的2D点，为了增加数据集难度，提升模型的准确率以及普适性。每一个3D点只保留最难的一对相匹配的2D点。经过上述过程得到3D点集合S，定义S中的任一一个3D点m，其对应的不同视角下的2D点构成集合T，T中每个视角下图像采集装置(设置在可移动平台上)，如相机，位姿构成集合Q，应理解，每个位姿对应一个图像采集装置，如相机。遍历集合Q，计算其中对应图像采集装置，如相机，位置之间的相似度，如欧式距离，得到其中欧式距离最大的两个相机位置，将T中对应的2D点保留，丢弃其余2D点。由此遍历集合S，确定集合S中每一个3D点对应的唯一2D点对，所有筛选后的2D点对构成集合T。应理解，对于欧式距离最大的两个相机(即图像采集装置)位置，是表示最不相似的两个位置。那么得到的2D点对就是最有难度的。由此，就可以得到第一训练数据了。

然而，为了更好地表示训练后的模型效果，可以第一训练数据按照不同难度进行划分，划分为简单、一般、困难，三个种类。对于上述得到的集合S、T，由于集合S中任一3D点对应集合T中的2D点对，那么可以定义其中每一组对应的3D点m，2D点x和2D点y构成一个样本n，按照下述公式(1)计算每一个样本n的困难程度的得分L。

L＝λ1 La+λ2Ld+λ3Lq (1)

其中，La表示样本n中2D点对与3D点构成的夹角∠xpy，Ld表示2D点x、2D点y对应图像采集装置，如相机，位置之间的空间距离，Lq的表示2D点对应图像采集装置，如相机，位姿的四元数夹角。为了提高划分的合理性，引入权重参数λ1、λ2、λ3。根据最终的困难程度的得分L，将第一训练数据划分为简单、一般、困难。

需要说明的是，可以基于该第一训练数据的划分可以知道第一训练数据的难易程度，使得对后续模型的训练更能较为准确地把控，特别是对于模型是否能够符合众多应用场景，是否能够在不同应用场景下都能较为准确地获取描述子等。同时，还可以根据该难易程度，对第一训练数据进行调节，使得其中的样本的难易程度能够符合要求，符合模型训练的需求。根据前文可知，为了进一步减少描述子所使用的存储空间以及减少度量描述子间距离的时间。本申请实施例还可以通过增加布尔描述子的损失函数，在多重损失函数共同作用下使得最终输出布尔数据类型的图像描述子和布尔数据类型的关键点描述子，由于布尔数据类型的描述子在维度上远小于传统的特征描述子，其效果也优于传统特征描述子。此外，从特征提取模型中直接输出布尔数据类型的二进制描述子，更方便后续描述子的检索和匹配。

具体的，通过第一训练数据，对初始关键点信息生成层进行训练，生成训练后的关键点信息生成层，包括：在初始关键点信息生成层中的浮点数据类型的损失函数上增加布尔数据类型的损失函数；通过第一训练数据、浮点数据类型的损失函数以及布尔数据类型的损失函数，对初始关键点信息生成层进行训练，生成训练后的关键点信息生成层。

根据前文所述可知，在训练关键点信息生成层进行训练前，该层的损失函数可以由浮点数据类型的损失函数转换为浮点数据类型的损失函数上增加布尔数据类型的损失函数，即形成多重损失函数。应理解，仅有浮点数据类型的损失函数也是可以实现模型训练的，但是模型在训练得到的描述子是浮点数据类型的描述子。所以，对于浮点数据类型的损失函数上增加布尔数据类型的损失函数作为该层的损失函数，同时通过第一训练数据来进行对该层的训练，得到训练后的该层。也可以得到训练后的特征提取层。

基于此，在训练完成关键点信息生成层以及特征提取层后，就可以对图像描述信息生成层进行训练。

具体的，该方法100还可以包括：基于训练后的特征提取层，通过第二训练数据对初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层，作为特征提取模型中的图像描述信息生成层，其中，第二训练数据包括关键帧图像匹配对以及表示每个关键帧图像匹配对是否属于同一视觉场景的信息。

其中，第二训练数据的获取方式可以为：获取真实图像，基于分类模型，从真实图像中确定出真实图像匹配对，作为关键帧图像匹配对，并确定各个真实图像匹配对的是否属于同一视觉场景，从而获取到第二训练数据。

其中，分类模型可以是对真实图像进行匹配的模型，该模型可以确定出真实图像中属于同一视觉场景的真实图像匹配对和不属于同一视觉场景的真实图像匹配对，如属于同一地点的两个真实图像。该模型可以为BoW。

例如，根据前文所述，可以通过无人机在视觉回航的实际飞行场景中，获取到多个不同视觉场景下的多个真实图像。然后使用BoW模型，将真实图像输入至该模型中，得到由该模型确定的同一视觉场景下的真实图像匹配对，和不是同一场景下的真实图像匹配对。其中，该模型可以通过打分的方式，确定出匹配对。将分数高于阈值的真实图像匹配对作为同一视觉场景下的真实图像匹配对，即正样本训练数据。分数低于阈值的真实图像匹配对作为不是同一视觉场景下的真实图像匹配对，即负样本训练数据。由此，可以得到第二训练数据。

为了能够提高模型能力，以及模型的普适性。在经过BOW模型确定后，还可以再增加随机的候选匹配对，即从采集到的真实图像中随机抽取候选匹配对，生成候选匹配对，生成完候选匹配对后。由人工来进一步确定这些匹配对是否存在错误或者问题，当存在问题或错误，特别是由分类模型导致，则可以得到珍贵的负样本训练数据，以提高模型能力。

具体的，该方法100还包括：通过展示真实图像匹配对，响应于用户的确定操作，确定真实图像匹配对是否属于同一视觉场景，从而获取到第二训练数据。

根据前文所述，在得到真实图像匹配对以及候选匹配对后，或者，只是在得到真实匹配对后，可以将匹配对对应的图像通过展示设备，如显示屏展示展示出来，可以以匹配对的形式进行展示，如，在一对匹配对进行展示的时候，除了展示出来对应的两个真实图像外，还可以展示出来两个真实图像之间的相对应的特征点，对应的特征点可以通过连线进行连接。然后，通过工人(即用户)进行标注。该批注可以包括以下几种情况：相同、不相同以及不确定。相同可以用“0”表示、不相同可以用“1”表示、不确定可以用“2”表示。可以把人工标注为不确定的匹配对剔除掉，不作为第二训练数据。其它的作为第二训练数据，即标注为“0”的匹配对以及标注为“1”的匹配对，作为第二训练数据。

具体的，该方法100还包括：从真实图像中随机选择真实图像匹配对，作为关键帧图像匹配对；通过展示随机选择的真实图像匹配对，响应于用户的确定操作，确定随机选择的真实图像匹配对是否属于同一视觉场景，从而获取到第二训练数据。

由于前文已经阐述过了，此处就不再赘述。

需要说明的是，通过使用BoW模型进行匹配对的挑选，选取的负样本训练数据也是存在较困难的问题，通过在基于该BOW模型上进行人工标注，则可以发现比较有价值的负样本训练数据(即场景较相似，被BOW误确定为是属于同一视觉场景的匹配对)，有助于训练更加鲁棒性的模型网络。此外，由于匹配对的图像可以是无人机从视觉回航的实际飞行场景中获取的，能够充分的反映在视觉回航任务中视角尺度变化。

在得到第二训练数据可以对初始图像描述信息生成层进行训练，具体的训练过程就不再赘述了。最终可以得到训练后的图像描述信息生成层。

根据前文可知，为了进一步减少描述子所使用的存储空间以及减少度量描述子间距离的时间。本申请实施例还可以通过增加布尔描述子的损失函数，在多重损失函数共同作用下使得最终输出布尔数据类型的图像描述子和布尔数据类型的关键点描述子，由于布尔数据类型的描述子在维度上远小于传统的特征描述子，其效果也优于传统特征描述子。此外，从特征提取模型中直接输出布尔数据类型的二进制描述子，更方便后续描述子的检索和匹配，如从图像描述信息生成层输出第二图像描述信息的布尔数据类型的二进制描述子。

具体的，基于训练后的特征提取层，通过第二训练数据对初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层，包括：在初始图像描述信息生成层中的浮点数据类型的损失函数上增加布尔数据类型的损失函数；基于训练后的特征提取层，通过第二训练数据、浮点数据类型的损失函数以及布尔数据类型的损失函数，对初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层。

由于前文已经阐述过了，此处就不再赘述。仅说明：对初始图像描述信息生成层的训练，是基于训练后的特征提取层以及浮点数据类型的损失函数以及布尔数据类型的损失函数，通过第二训练数据，对初始图像描述信息生成层进行训练的。从而可以完整地训练出来特征提取模型。

因为本特征提取模型的网络是多任务分支网络，在训练的时候可以采取分步训练的方式，可以首先使用第一训练数据对该模型进行训练，即，对初始关键点信息生成层进行训练，当训练到损失无明显下降后，固定初始关键点信息生成层和初始特征提取层的参数，得到关键点信息生成层和特征提取层。然后利用第二训练数据去训练初始图像描述信息生成层，得到图像描述信息生成层。

由于本申请实施例是通过同一个特征提取模型同时获取第二图像描述信息和第二关键点描述信息，在训练的过程中，可以首先使用第一训练数据对特征提取模型中对应的，是因为第一训练数据是从空间三维模型中获取的，是完全正确的数据，经过第一训练数据的训练后，该模型的公共层，即特征提取层，已经是一个比较好的特征提取层了。

然后再利用工人标注的第二训练数据去训练初始图像描述信息生成层，经过第一训练数据训练好的共用的特征提取层后，再使用第二训练数据训练的时候可以避免工人标注时候产生的误差对网络的影响，从而得到更优的图像描述信息生成层。

需要说明的是，上述训练方式也可以颠倒顺序，即先通过第二训练数据进行训练，然后再通过第一训练数据进行训练。此处就不再赘述。

为了更加精准地调整该模型，还可以再利用同时包含关键点和关键帧图像的训练数据去微调整个网络。

具体的，在训练完特征提取模型后，该方法100还包括：通过第三训练数据，对特征提取模型中的特征提取层，图像描述信息生成层和/或关键点信息生成层进行调整，第三训练数据包括关键帧图像匹配对以及关键帧图像匹配对中的关键点匹配对。

其中，第三训练数据的确定方式可以为：当两个真实图像中具有的真实图像点对数量大于阈值的情况下，则将两个真实图像以及对应的真实图像点对作为关键帧图像匹配对以及关键点匹配对，从而得到第三训练数据。

根据前文所述的方式可知，可以构建空间三维模型，模型建立好后，存在空间三维模型中各个真实3D点所对应的至少两个真实图像中的2D点，从而形成2D点对，即一对2D点对属于空间三维模型的一个3D点。当两个真实图像中的存在多个2D点对，其个数大于个数阈值，则将这两个真实图像以及其中的2D点对可以作为第三训练数据，第三训练数据可以具有多对真实图像，以及每对真实图像中具有对应的2D点对。

在得到第三训练数据后，利用第三训练数据对通过第一训练数据以及第二训练数据训练好的模型进行微调。对训练好的特征提取模型中的特征提取层，图像描述信息生成层和/或关键点信息生成层的参数进行微调。此处就不再赘述。

通过微调后的模型可以进行使用。如果该模型是在可移动平台上进行训练的，则可以直接进行使用，如果该模型是在终端上训练的，如服务器或者电脑等，则可以将训练好的最终模型移植到可移动平台上。

根据前文所述，在获取到第二关键点描述信息后，可以根据关键点在图像中的顺序，将对应的信息进行组合，以便进行后续的匹配。

具体的，该方法100还包括：根据当前图像中的多个关键点的顺序，将对应的多个第二关键点描述信息组合到一个向量中。

例如，根据前文所述，无人机通过特征提取模型获取到当前图像的多个关键点描述子后，可以按照关键点在当前图像中的顺序，将对应的描述子整合到一个向量中。以便后续进行匹配。

相应的，对于第一关键点描述信息而言，也是可以按照关键点在历史图像中的顺序，将对应的描述子整合到一个向量中。以便后续进行匹配。

103:基于历史图像的第一图像描述信息和第一关键点描述信息，以及当前图像的第二图像描述信息和第二关键点描述信息，确定多张历史图像与当前图像的匹配结果。

其中，所述图像描述信息用于在多张所述历史图像中查找与所述当前图像具有相似场景的第一类历史图像，所述关键点描述信息用于在所述第一类历史图像中查找与所述当前图像的关键点相匹配的关键点，所述匹配结果包括所述当前图像的关键点与所述历史图像中的关键点的匹配关系。

换句话说，图像描述信息用于对图像进行粗略的配对，基于此，得到与当前图像场景较为匹配的一张或者多张历史图像(第一类历史图像)。而关系到定位的，是关键点的匹配关系，基于关键点描述信息，能够将当前图像历史图像中的关键点进一步进行匹配，得到关键点的匹配关系，即，当前图像中的一个关键点，与历史图像中的一个关键点的匹配关系。

历史图像中的关键点的位置信息可认为是准确的，因为基于历史图像中的关键点的位置信息，当前图像中的一个关键点与历史图像中的一个关键点的匹配关系，即可得到当前图像中的一个关键点的位置信息。

例如，根据前文所述，无人机在得到上述历史图像的图像描述子以及关键点描述子或者关键点描述子组成的向量。且得到了当前图像的图像描述子以及关键点描述子或者关键点描述子组成的向量。将当前图像对应的图像描述子以及关键点描述子或者关键点描述子组成的向量，可以与多个历史图像对应的图像描述子以及关键点描述子或者关键点描述子组成的向量，进行对比，可以通过相似度算法来确定对比结果，即匹配结果。

在当前图像与历史图像进行对比的时候，对比结果可以是当前图像可以与其中一个历史图像完全相同，或者部分相同，即相似。当只存在相似的情况下，可以根据相似度算法得到相似度，确定相似度是否大于相似度阈值。当大于相似度阈值，则可以确定为匹配结果为匹配。否则，即为不匹配。

需要说明的是，上述相似度算法可以包括汉明距离、欧式距离等等。

此外，根据前文可知，上述图像描述子以及关键点描述子可以为布尔描述子。而布尔描述子在通过相似度算法度量对应的描述子之间的距离的时候，只需要进行异或操作，获取相似度，如汉明距离，能够大大的加速对应的描述子之间距离的计算，从而进一步减少时间消耗。

104:根据匹配结果和历史图像的第一位置信息，确定采集当前图像时可移动平台的第二位置信息。

例如，根据前文所述，无人机根据上述匹配结果，确定出当前图像与哪个历史图像相同或符合相似度阈值，从而根据该历史图像所属的地理位置，确定出当前图像所属的地理位置。其中，确定出的地理位置可以是当前图像的绝对地理位置，即以地理位置坐标系为基准的地理位置或者是相对于历史图像的地理位置。当两个图像不属于完全相同时，如存在角度变化，但是属于同一视觉场景下的两个图像。则可以通过这两个图像进行空间三维建模。然后根据该空间三维模型来确定出这两个图像的不同角度，或者不同位置，从而确定出当前图像的位置。

在确定出当前图像的位置后，可移动平台可以根据该位置进行回航。

具体的，该方法100还可以包括：根据匹配结果中对应的第一位置信息与对应的第二位置信息的位置偏差，确定可移动平台的姿态；根据姿态，可移动平台从第二位置移动至第一位置，以实现可移动平台的自动返回。

例如，根据前文所述，根据上述两个位置的偏差，确定和调整无人机的姿势。使得无人机可以从第二位置向第一位置进行移动，从而实现回航。

图3为本发明实施例提供的一种定位的装置的结构示意图；该装置300可以应用于可移动平台中，例如，无人机、智能移动机器人等，可移动平台包括视觉传感器。该装置300可以执行上述的定位的方法。其中，该装置300包括：第一获取模块301、第二获取模块302、第一确定模块303以及第二确定模块304。以下针对各个模块的功能进行详细的阐述：

第一获取模块301，用于获取视觉传感器采集的历史图像的第一图像描述信息和第一关键点描述信息，并获取采集历史图像时的可移动平台的第一位置信息。

第二获取模块302，用于获取视觉传感器采集的当前图像，并基于特征提取模型获取当前图像的第二图像描述信息和第二关键点描述信息。

第一确定模块303，用于基于历史图像的第一图像描述信息和第一关键点描述信息，以及当前图像的第二图像描述信息和第二关键点描述信息，确定多张历史图像与当前图像的匹配结果。

第一确定模块304，用于根据匹配结果和历史图像的第一位置信息，确定采集当前图像时可移动平台的第二位置信息。

具体的，特征提取模型包括特征提取层，图像描述信息生成层和关键点信息生成层；特征提取层用于基于卷积网络提取当前图像的共用特征信息；图像描述信息生成层用于基于共用特征信息生成第二图像描述信息；关键点信息生成层用于基于共用特征信息生成第二关键点描述信息。

具体的，特征提取层用于基于卷积网络中的多个卷积层提取共用特征信息。

具体的，图像信息生成层用于通过两层卷积层以及NetVLAD层，从共用特征信息提取第二图像描述信息。

具体的，图像信息生成层用于通过两层卷积层以及NetVLAD层，从所述共用特征信息提取到浮点数据类型的第二图像描述信息；图像信息生成层用于将浮点数据类型的第二图像描述信息转换为布尔数据类型的第二图像描述信息。

具体的，关键点信息生成层用于基于一层卷积层以及双线性上采样，从共用特征信息提取第二关键点描述信息，一层卷积层的卷积核数量与第二关键点描述信息的数量相同。

具体的，关键点信息生成层用于通过一层卷积层以及双线性上采样，从共用特征信息提取到浮点数据类型的第二关键点描述信息；关键点信息生成层用于将浮点数据类型的第二关键点描述信息转换为布尔数据类型的第二关键点描述信息。

具体的，第二获取模块302，用于：确定当前图像中关键点的位置；关键点信息生成层用于通过一层卷积层得到共用特征信息的下采样信息；关键点信息生成层用于通过双线性上采样直接对下采样信息中对应位置的信息进行上采样，得到第二关键点描述信息。

此外，该装置300还包括：组合模块，用于根据当前图像中的多个关键点的顺序，将对应的多个第二关键点描述信息组合到一个向量中。

此外，该装置300还包括：第三确定模块，用于根据匹配结果中对应的第一位置信息与对应的第二位置信息的位置偏差，确定可移动平台的姿态；移动模块，用于根据姿态，可移动平台从第二位置移动至第一位置，以实现可移动平台的自动返回。

此外，该装置300还包括：训练模块，用于通过第一训练数据，对初始特征提取层进行训练，生成训练后的特征提取层，作为特征提取模型中的特征提取层；第一训练数据包括对应于同一空间点的图像点对，该图像点对在表示为同一视觉场景的不同对应真实图像中；训练模块，用于通过第一训练数据，对初始关键点信息生成层进行训练，生成训练后的关键点信息生成层，作为特征提取模型中的关键点信息生成层。

此外，第二获取模块302，用于针对不同的视觉场景，获取每个视觉场景下的不同角度的真实图像；该装置300还包括：创建模块，用于针对每个视觉场景，根据对应不同角度的真实图像，构建空间三维模型；选择模块，用于基于空间点之间的相似度，从空间三维模型中选择空间点，以及获得选择后的每个空间点在真实图像中对应的真实图像点对；选择模块，用于根据真实图像点对的采集位置之间的相似度，对真实图像点对进行选择，将选择出来的真实图像点对作为关键点对，从而得到第一训练数据。

具体的，训练模块，包括：增加单元，用于在初始关键点信息生成层中的浮点数据类型的损失函数上增加布尔数据类型的损失函数；训练单元，用于通过第一训练数据、浮点数据类型的损失函数以及布尔数据类型的损失函数，对初始关键点信息生成层进行训练，生成训练后的关键点信息生成层。

此外，训练模块，还用于：基于训练后的特征提取层，通过第二训练数据对初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层，作为特征提取模型中的图像描述信息生成层，其中，第二训练数据包括关键帧图像匹配对以及表示每个关键帧图像匹配对是否属于同一视觉场景的信息。

此外，第二获取模块302，还包括：获取真实图像，基于分类模型，从真实图像中确定出真实图像匹配对，作为关键帧图像匹配对，并确定各个真实图像匹配对的是否属于同一视觉场景，从而获取到第二训练数据。

此外，该装置300还包括：第三确定模块，用于通过展示真实图像匹配对，响应于用户的确定操作，确定真实图像匹配对是否属于同一视觉场景，从而获取到第二训练数据。

具体的，选择模块，还用于：从真实图像中随机选择真实图像匹配对，作为关键帧图像匹配对；第三确定模块，用于通过展示随机选择的真实图像匹配对，响应于用户的确定操作，确定随机选择的真实图像匹配对是否属于同一视觉场景，从而获取到第二训练数据。

具体的，增加单元，还用于：在初始图像描述信息生成层中的浮点数据类型的损失函数上增加布尔数据类型的损失函数；训练单元，还用于基于训练后的特征提取层，通过所述第二训练数据、浮点数据类型的损失函数以及布尔数据类型的损失函数，对初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层。

此外，在训练完特征提取模型后，该装置300还包括：调整模块，用于通过第三训练数据，对特征提取模型中的特征提取层，图像描述信息生成层和/或关键点信息生成层进行调整，第三训练数据包括关键帧图像匹配对以及关键帧图像匹配对中的关键点匹配对。

此外，选择模块，还用于：当两个真实图像中具有的真实图像点对数量大于阈值的情况下，则将两个真实图像以及对应的真实图像点对作为关键帧图像匹配对以及关键点匹配对，从而得到第三训练数据。

在一个可能的设计中，图3所示定位的装置300的结构可实现为一电子设备，该电子设备可以是定位的设备，如可移动平台。如图4所示，该定位的设备400可以包括：一个或多个处理器401、一个或多个存储器402以及视觉传感器403。其中，视觉传感器403，用于采集的历史图像以及当前图像。存储器402用于存储支持电子设备执行上述图1-图2所示实施例中提供的定位的方法的程序。处理器401被配置为用于执行存储器402中存储的程序。具体的，程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器401执行时能够实现如下步骤：

运行存储器402中存储的计算机程序以实现：获取视觉传感器采集的历史图像的第一图像描述信息和第一关键点描述信息，并获取采集历史图像时的可移动平台的第一位置信息；获取视觉传感器采集的当前图像，并基于特征提取模型获取当前图像的第二图像描述信息和第二关键点描述信息；基于历史图像的所述第一图像描述信息和所述第一关键点描述信息，以及当前图像的第二图像描述信息和第二关键点描述信息，确定多张历史图像与当前图像的匹配结果；根据匹配结果和历史图像的第一位置信息，确定采集当前图像时可移动平台的第二位置信息。

具体的，特征提取模型包括特征提取层，图像描述信息生成层和关键点信息生成层；特征提取层用于基于卷积网络提取当前图像的共用特征信息；图像描述信息生成层用于基于共用特征信息生成第二图像描述信息；关键点信息生成层用于基于共用特征信息生成第二关键点描述信息。

具体的，特征提取层用于基于卷积网络中的多个卷积层提取共用特征信息。

具体的，图像信息生成层用于通过两层卷积层以及NetVLAD层，从共用特征信息提取第二图像描述信息。

具体的，图像信息生成层用于通过两层卷积层以及NetVLAD层，从共用特征信息提取到浮点数据类型的第二图像描述信息；图像信息生成层用于将浮点数据类型的第二图像描述信息转换为布尔数据类型的第二图像描述信息。

具体的，关键点信息生成层用于基于一层卷积层以及双线性上采样，从共用特征信息提取第二关键点描述信息，一层卷积层的卷积核数量与第二关键点描述信息的数量相同。

具体的，关键点信息生成层用于通过一层卷积层以及双线性上采样，从共用特征信息提取到浮点数据类型的第二关键点描述信息；关键点信息生成层用于将浮点数据类型的第二关键点描述信息转换为布尔数据类型的第二关键点描述信息。

此外，处理器401，还用于：确定当前图像中关键点的位置；关键点信息生成层用于通过一层卷积层得到所述共用特征信息的下采样信息；关键点信息生成层用于通过双线性上采样直接对下采样信息中对应位置的信息进行上采样，得到第二关键点描述信息。

此外，处理器401，还用于：根据当前图像中的多个关键点的顺序，将对应的多个第二关键点描述信息组合到一个向量中。

具体的，处理器401，还用于：根据匹配结果中对应的第一位置信息与对应的第二位置信息的位置偏差，确定可移动平台的姿态；根据姿态，可移动平台从第二位置移动至第一位置，以实现可移动平台的自动返回。

此外，处理器401，还用于：通过第一训练数据，对初始特征提取层进行训练，生成训练后的特征提取层，作为特征提取模型中的特征提取层；第一训练数据包括对应于同一空间点的图像点对，该图像点对在表示为同一视觉场景的不同对应真实图像中；通过第一训练数据，对初始关键点信息生成层进行训练，生成训练后的关键点信息生成层，作为特征提取模型中的关键点信息生成层。

此外，处理器401，还用于：针对不同的视觉场景，获取每个视觉场景下的不同角度的真实图像；针对每个视觉场景，根据对应不同角度的真实图像，构建空间三维模型；基于空间点之间的相似度，从空间三维模型中选择空间点，以及获得选择后的每个空间点在真实图像中对应的真实图像点对；根据真实图像点对的采集位置之间的相似度，对真实图像点对进行选择，将选择出来的真实图像点对作为关键点对，从而得到第一训练数据。

此外，处理器401，具体用于：在初始关键点信息生成层中的浮点数据类型的损失函数上增加布尔数据类型的损失函数；通过第一训练数据、浮点数据类型的损失函数以及布尔数据类型的损失函数，对初始关键点信息生成层进行训练，生成训练后的关键点信息生成层。

此外，处理器401，还用于：基于训练后的特征提取层，通过第二训练数据对初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层，作为特征提取模型中的图像描述信息生成层，其中，第二训练数据包括关键帧图像匹配对以及表示每个关键帧图像匹配对是否属于同一视觉场景的信息。

此外，处理器401，还用于：获取真实图像，基于分类模型，从真实图像中确定出真实图像匹配对，作为关键帧图像匹配对，并确定各个真实图像匹配对的是否属于同一视觉场景，从而获取到第二训练数据。

此外，处理器401，还用于：通过展示真实图像匹配对，响应于用户的确定操作，确定真实图像匹配对是否属于同一视觉场景，从而获取到第二训练数据。

此外，处理器401，还用于：从真实图像中随机选择真实图像匹配对，作为关键帧图像匹配对；通过展示随机选择的真实图像匹配对，响应于用户的确定操作，确定随机选择的真实图像匹配对是否属于同一视觉场景，从而获取到第二训练数据。

具体的，处理器401，具体用于：在初始图像描述信息生成层中的浮点数据类型的损失函数上增加布尔数据类型的损失函数；基于训练后的特征提取层，通过第二训练数据、浮点数据类型的损失函数以及布尔数据类型的损失函数，对初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层。

此外，在训练完特征提取模型后，处理器401，还用于：通过第三训练数据，对特征提取模型中的特征提取层，图像描述信息生成层和/或关键点信息生成层进行调整，第三训练数据包括关键帧图像匹配对以及关键帧图像匹配对中的关键点匹配对。

此外，处理器401，还用于：当两个真实图像中具有的真实图像点对数量大于阈值的情况下，则将两个真实图像以及对应的真实图像点对作为关键帧图像匹配对以及关键点匹配对，从而得到第三训练数据。

另外，本发明实施例提供了一种计算机可读存储介质，存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，程序指令用于实现上述图1-图2的方法。

本发明实施例提供的一种无人机；具体的，该无人机包括：机体以及图4所示的定位的设备，定位的设备设置在机体上。

以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独，或者进行组合，只要未超出本领域技术人员的认知范围，均属于本申请保护范围内的等同实施例。

在本发明所提供的几个实施例中，应该理解到，所揭露的相关检测装置(例如：IMU)和方法，可以通过其它的方式实现。例如，以上所描述的遥控装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，遥控装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (42)

1.一种定位的方法，其特征在于，所述方法应用于可移动平台，所述可移动平台包括视觉传感器，包括：

获取所述视觉传感器采集的多张历史图像的第一图像描述信息和第一关键点描述信息，并获取采集所述历史图像时的所述可移动平台的第一位置信息；

获取所述视觉传感器采集的当前图像，并基于特征提取模型获取所述当前图像的第二图像描述信息和第二关键点描述信息；

基于所述历史图像的所述第一图像描述信息和所述第一关键点描述信息，以及所述当前图像的所述第二图像描述信息和所述第二关键点描述信息，确定多张所述历史图像与所述当前图像的匹配结果；

根据所述匹配结果和所述历史图像的所述第一位置信息，确定采集所述当前图像时所述可移动平台的第二位置信息。

2.根据权利要求1所述的方法，其特征在于，所述特征提取模型包括特征提取层，图像描述信息生成层和关键点信息生成层；

所述特征提取层用于基于卷积网络提取所述当前图像的共用特征信息；

所述图像描述信息生成层用于基于所述共用特征信息生成所述第二图像描述信息；

所述关键点信息生成层用于基于所述共用特征信息生成第二关键点描述信息。

3.根据权利要求2所述的方法，其特征在于，所述特征提取层用于基于卷积网络提取所述当前图像的共用特征信息，包括：

所述特征提取层用于基于卷积网络中的多个卷积层提取所述共用特征信息。

4.根据权利要求2所述的方法，其特征在于，所述图像描述信息生成层用于基于所述共用特征信息生成所述第二图像描述信息，包括：

所述图像信息生成层用于通过两层卷积层以及NetVLAD层，从所述共用特征信息提取所述第二图像描述信息。

5.根据权利要求4所述的方法，其特征在于，所述图像信息生成层用于通过两层卷积层以及NetVLAD层，从所述共用特征信息提取所述第二图像描述信息，包括：

所述图像信息生成层用于通过两层卷积层以及NetVLAD层，从所述共用特征信息提取到浮点数据类型的第二图像描述信息；

所述图像信息生成层用于将浮点数据类型的第二图像描述信息转换为布尔数据类型的第二图像描述信息。

6.根据权利要求2所述的方法，其特征在于，所述关键点信息生成层用于基于所述共用特征信息生成第二关键点描述信息，包括：

所述关键点信息生成层用于基于一层卷积层以及双线性上采样，从共用特征信息提取第二关键点描述信息，所述一层卷积层的卷积核数量与第二关键点描述信息的数量相同。

7.根据权利要求6所述的方法，其特征在于，所述关键点信息生成层用于通过一层卷积层以及双线性上采样，从共用特征信息提取第二关键点描述信息，包括：

所述关键点信息生成层用于通过一层卷积层以及双线性上采样，从共用特征信息提取到浮点数据类型的第二关键点描述信息；

所述关键点信息生成层用于将浮点数据类型的第二关键点描述信息转换为布尔数据类型的第二关键点描述信息。

8.根据权利要求2所述的方法，其特征在于，所述关键点信息生成层用于基于一层卷积层以及双线性上采样，从共用特征信息提取第二关键点描述信息，包括：

确定当前图像中关键点的位置；

所述关键点信息生成层用于通过一层卷积层得到所述共用特征信息的下采样信息；

所述关键点信息生成层用于通过双线性上采样直接对所述下采样信息中对应位置的信息进行上采样，得到所述第二关键点描述信息。

9.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述当前图像中的多个关键点的顺序，将对应的多个第二关键点描述信息组合到一个向量中。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述匹配结果中对应的第一位置信息与对应的第二位置信息的位置偏差，确定可移动平台的姿态；

根据所述姿态，所述可移动平台从所述第二位置移动至第一位置，以实现所述可移动平台的自动返回。

11.根据权利要求2所述的方法，其特征在于，所述方法还包括：

通过第一训练数据，对初始特征提取层进行训练，生成训练后的特征提取层，作为特征提取模型中的特征提取层；所述第一训练数据包括对应于同一空间点的图像点对，该图像点对在表示为同一视觉场景的不同对应真实图像中；

通过所述第一训练数据，对初始关键点信息生成层进行训练，生成训练后的关键点信息生成层，作为特征提取模型中的关键点信息生成层。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

针对不同的视觉场景，获取每个视觉场景下的不同角度的真实图像；

针对每个视觉场景，根据对应不同角度的真实图像，构建空间三维模型；

基于空间点之间的相似度，从所述空间三维模型中选择空间点，以及获得选择后的每个空间点在真实图像中对应的真实图像点对；

根据真实图像点对的采集位置之间的相似度，对真实图像点对进行选择，将选择出来的真实图像点对作为关键点对，从而得到第一训练数据。

13.根据权利要求11所述的方法，其特征在于，所述通过所述第一训练数据，对初始关键点信息生成层进行训练，生成训练后的关键点信息生成层，包括：

在所述初始关键点信息生成层中的浮点数据类型的损失函数上增加布尔数据类型的损失函数；

通过所述第一训练数据、浮点数据类型的损失函数以及布尔数据类型的损失函数，对所述初始关键点信息生成层进行训练，生成训练后的关键点信息生成层。

14.根据权利要求2所述的方法，其特征在于，所述方法还包括：

基于训练后的特征提取层，通过所述第二训练数据对初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层，作为特征提取模型中的图像描述信息生成层，其中，所述第二训练数据包括关键帧图像匹配对以及表示每个关键帧图像匹配对是否属于同一视觉场景的信息。

15.根据权利要求14所述的方法，其特征在于，所述方法还包括：

获取真实图像，基于分类模型，从所述真实图像中确定出真实图像匹配对，作为关键帧图像匹配对，并确定各个真实图像匹配对的是否属于同一视觉场景，从而获取到第二训练数据。

16.根据权利要求15所述的方法，其特征在于，所述方法还包括：

通过展示所述真实图像匹配对，响应于用户的确定操作，确定所述真实图像匹配对是否属于同一视觉场景，从而获取到第二训练数据。

17.根据权利要求15所述的方法，其特征在于，所述方法还包括：

从所述真实图像中随机选择真实图像匹配对，作为关键帧图像匹配对；

通过展示随机选择的真实图像匹配对，响应于用户的确定操作，确定随机选择的真实图像匹配对是否属于同一视觉场景，从而获取到第二训练数据。

18.根据权利要求14所述的方法，其特征在于，所述基于训练后的特征提取层，通过所述第二训练数据对初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层，包括：

在所述初始图像描述信息生成层中的浮点数据类型的损失函数上增加布尔数据类型的损失函数；

基于训练后的特征提取层，通过所述第二训练数据、浮点数据类型的损失函数以及布尔数据类型的损失函数，对所述初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层。

19.根据权利要求14所述的方法，其特征在于，在训练完所述特征提取模型后，所述方法还包括：

通过第三训练数据，对所述特征提取模型中的特征提取层，图像描述信息生成层和/或关键点信息生成层进行调整，所述第三训练数据包括关键帧图像匹配对以及关键帧图像匹配对中的关键点匹配对。

20.根据权利要求12所述的方法，其特征在于，所述方法还包括：

当两个真实图像中具有的真实图像点对数量大于阈值的情况下，则将所述两个真实图像以及对应的真实图像点对作为关键帧图像匹配对以及关键点匹配对，从而得到第三训练数据。

21.一种定位的设备，包括：存储器、处理器以及视觉传感器；

所述存储器，用于存储计算机程序；

所述视觉传感器，用于采集的历史图像以及当前图像；

所述处理器调用所述计算机程序，以实现如下步骤：

获取所述视觉传感器采集的多张历史图像的第一图像描述信息和第一关键点描述信息，并获取采集所述历史图像时的所述可移动平台的第一位置信息；

获取所述视觉传感器采集的当前图像，并基于特征提取模型获取所述当前图像的第二图像描述信息和第二关键点描述信息；

基于所述历史图像的所述第一图像描述信息和所述第一关键点描述信息，以及所述当前图像的所述第二图像描述信息和所述第二关键点描述信息，确定多张所述历史图像与所述当前图像的匹配结果；

根据所述匹配结果和所述历史图像的所述第一位置信息，确定采集所述当前图像时所述可移动平台的第二位置信息。

22.根据权利要求21所述的设备，其特征在于，所述特征提取模型包括特征提取层，图像描述信息生成层和关键点信息生成层；

所述特征提取层用于基于卷积网络提取所述当前图像的共用特征信息；

所述图像描述信息生成层用于基于所述共用特征信息生成所述第二图像描述信息；

所述关键点信息生成层用于基于所述共用特征信息生成第二关键点描述信息。

23.根据权利要求22所述的设备，其特征在于，所述特征提取层用于基于卷积网络中的多个卷积层提取所述共用特征信息。

24.根据权利要求22所述的设备，其特征在于，所述图像信息生成层用于通过两层卷积层以及NetVLAD层，从所述共用特征信息提取所述第二图像描述信息。

25.根据权利要求24所述的设备，其特征在于，所述图像信息生成层用于通过两层卷积层以及NetVLAD层，从所述共用特征信息提取到浮点数据类型的第二图像描述信息；

所述图像信息生成层用于将浮点数据类型的第二图像描述信息转换为布尔数据类型的第二图像描述信息。

26.根据权利要求22所述的设备，其特征在于，所述关键点信息生成层用于基于一层卷积层以及双线性上采样，从共用特征信息提取第二关键点描述信息，所述一层卷积层的卷积核数量与第二关键点描述信息的数量相同。

27.根据权利要求26所述的设备，其特征在于，所述关键点信息生成层用于通过一层卷积层以及双线性上采样，从共用特征信息提取到浮点数据类型的第二关键点描述信息；

所述关键点信息生成层用于将浮点数据类型的第二关键点描述信息转换为布尔数据类型的第二关键点描述信息。

28.根据权利要求22所述的设备，其特征在于，所述处理器，还用于：

确定当前图像中关键点的位置；

所述关键点信息生成层用于通过一层卷积层得到所述共用特征信息的下采样信息；

所述关键点信息生成层用于通过双线性上采样直接对所述下采样信息中对应位置的信息进行上采样，得到所述第二关键点描述信息。

29.根据权利要求22所述的设备，其特征在于，所述处理器，还用于：根据所述当前图像中的多个关键点的顺序，将对应的多个第二关键点描述信息组合到一个向量中。

30.根据权利要求21所述的设备，其特征在于，所述处理器，还用于：

根据所述匹配结果中对应的第一位置信息与对应的第二位置信息的位置偏差，确定可移动平台的姿态；

根据所述姿态，所述可移动平台从所述第二位置移动至第一位置，以实现所述可移动平台的自动返回。

31.根据权利要求22所述的设备，其特征在于，所述处理器，还用于：通过第一训练数据，对初始特征提取层进行训练，生成训练后的特征提取层，作为特征提取模型中的特征提取层；所述第一训练数据包括对应于同一空间点的图像点对，该图像点对在表示为同一视觉场景的不同对应真实图像中；

通过所述第一训练数据，对初始关键点信息生成层进行训练，生成训练后的关键点信息生成层，作为特征提取模型中的关键点信息生成层。

32.根据权利要求31所述的设备，其特征在于，所述处理器，还用于：针对不同的视觉场景，获取每个视觉场景下的不同角度的真实图像；

针对每个视觉场景，根据对应不同角度的真实图像，构建空间三维模型；

基于空间点之间的相似度，从所述空间三维模型中选择空间点，以及获得选择后的每个空间点在真实图像中对应的真实图像点对；

根据真实图像点对的采集位置之间的相似度，对真实图像点对进行选择，将选择出来的真实图像点对作为关键点对，从而得到第一训练数据。

33.根据权利要求31所述的设备，其特征在于，所述处理器，具体用于：在所述初始关键点信息生成层中的浮点数据类型的损失函数上增加布尔数据类型的损失函数；

通过所述第一训练数据、浮点数据类型的损失函数以及布尔数据类型的损失函数，对所述初始关键点信息生成层进行训练，生成训练后的关键点信息生成层。

34.根据权利要求32所述的设备，其特征在于，所述处理器，还用于：基于训练后的特征提取层，通过所述第二训练数据对初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层，作为特征提取模型中的图像描述信息生成层，其中，所述第二训练数据包括关键帧图像匹配对以及表示每个关键帧图像匹配对是否属于同一视觉场景的信息。

35.根据权利要求34所述的设备，其特征在于，所述处理器，还用于：获取真实图像，基于分类模型，从所述真实图像中确定出真实图像匹配对，作为关键帧图像匹配对，并确定各个真实图像匹配对的是否属于同一视觉场景，从而获取到第二训练数据。

36.根据权利要求35所述的设备，其特征在于，所述处理器，还用于：通过展示所述真实图像匹配对，响应于用户的确定操作，确定所述真实图像匹配对是否属于同一视觉场景，从而获取到第二训练数据。

37.根据权利要求35所述的设备，其特征在于，所述处理器，还用于：从所述真实图像中随机选择真实图像匹配对，作为关键帧图像匹配对；

通过展示随机选择的真实图像匹配对，响应于用户的确定操作，确定随机选择的真实图像匹配对是否属于同一视觉场景，从而获取到第二训练数据。

38.根据权利要求34所述的设备，其特征在于，所述处理器，具体用于：在所述初始图像描述信息生成层中的浮点数据类型的损失函数上增加布尔数据类型的损失函数；

基于训练后的特征提取层，通过所述第二训练数据、浮点数据类型的损失函数以及布尔数据类型的损失函数，对所述初始图像描述信息生成层进行训练，生成训练后的图像描述信息生成层。

39.根据权利要求34所述的设备，其特征在于，在训练完所述特征提取模型后，所述处理器，还用于：通过第三训练数据，对所述特征提取模型中的特征提取层，图像描述信息生成层和/或关键点信息生成层进行调整，所述第三训练数据包括关键帧图像匹配对以及关键帧图像匹配对中的关键点匹配对。

40.根据权利要求32所述的设备，其特征在于，所述处理器，还用于：当两个真实图像中具有的真实图像点对数量大于阈值的情况下，则将所述两个真实图像以及对应的真实图像点对作为关键帧图像匹配对以及关键点匹配对，从而得到第三训练数据。

41.一种无人机，其特征在于，包括：机体以及如权利要求21-40所述的设备。

42.一种计算机可读存储介质，其特征在于，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于实现权利要求1-20中任意一项所述的定位的方法。

Images