CN112270760A - 一种定位方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种定位方法、装置、电子设备以及存储介质，涉及人工智能技术领域，进一步涉及计算机视觉、深度学习技术，可应用于定位技术领域，包括：获取待定位二维图像；将所述待定位二维图像输入至粗定位卷积神经网络模型中，得到所述待定位二维图像的全局待定位图像特征；将所述待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配；其中，所述全局存储图像特征与所述全局待定位图像特征同时包括3D结构线特征和纹理特征；根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像。本申请实施例能够提高粗定位方法的精准性和稳定性。

Description

一种定位方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，具体涉及计算机视觉、深度学习技术，可应用于定位技术领域。

背景技术

基于图像识别的定位技术属于一种视觉定位技术，是计算机视觉技术领域的其中一个重要分支。基于图像识别的定位技术可以广泛应用于导航、定位及视觉追踪等技术领域。对于基于图像识别的定位技术来说，粗定位技术是其中一项关键技术环节，对基于图像识别的定位技术最终定位结果的精准性影响意义深重。

发明内容

本申请实施例提供了一种定位方法、装置、电子设备以及存储介质，以提高粗定位方法的精准性和稳定性。

第一方面，本申请实施例提供了一种定位方法，包括：

获取待定位二维图像；

将所述待定位二维图像输入至粗定位卷积神经网络模型中，得到所述待定位二维图像的全局待定位图像特征；

将所述待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配；其中，所述全局存储图像特征与所述全局待定位图像特征同时包括3D结构线特征和纹理特征；

根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像。

第二方面，本申请实施例提供了一种定位装置，包括：

待定位二维图像获取模块，用于获取待定位二维图像；

全局待定位图像特征获取模块，用于将所述待定位二维图像输入至粗定位卷积神经网络模型中，得到所述待定位二维图像的全局待定位图像特征；

全局待定位图像特征匹配模块，用于将所述待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配；其中，所述全局存储图像特征与所述全局待定位图像特征同时包括3D结构线特征和纹理特征；

预存二维图像确定模块，用于根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像。

第三方面，本申请实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例所提供的定位方法。

第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例所提供的定位方法。

本申请实施例通过将获取的待定位二维图像输入至粗定位卷积神经网络模型中，得到待定位二维图像的全局待定位图像特征，进而将同时包括3D结构线特征和纹理特征的待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配，以根据3D结构线特征和纹理特征的特征匹配结果确定与待定位二维图像匹配的至少一张预存二维图像，从而根据获取的待定位二维图像实现粗定位，解决现有根据图像数据进行粗定位存在的定位精准率和稳定性较低等问题，从而提高粗定位方法的精准性和稳定性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是现有技术中一种室内定位导航的界面效果示意图；

图2是本申请实施例提供的一种定位方法的流程图；

图3是本申请实施例提供的一种抽取图像3D结构线特征的效果示意图；

图4是本申请实施例提供的一种定位方法的流程图；

图5是本申请实施例提供的一种粗定位卷积神经网络模型获取全局特征的效果示意图；

图6是本申请实施例提供的一种纹理编码网络的网络结构示意图；

图7是本申请实施例提供的一种3D编码网络的网络结构示意图；

图8是本申请实施例提供的一种定位装置的结构图；

图9是用来实现本申请实施例的定位方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

近几年来，人工智能领域中的视觉定位技术受到了广泛的关注，广泛应用于室内定位导航、自动驾驶定位导航以及图像定位等技术领域。图1是现有技术中一种室内定位导航的界面效果示意图，如图1所示，将视觉定位技术应用于室内定位导航，可以满足众多用户对室内导航的需求。

在构建好地图的前提下，目前基于图像的视觉定位技术通常分为三个步骤：首先是使用粗定位技术得到图像数据库中的一些和query(查询)图像类似的数据库中预存的图像，一般称之为submap(子映射)。然后在submap中使用各图像包括的特征点进行精确的匹配定位，得到候选图像。最后计算候选图像的置信度，并将置信度较高的候选图像作为最终的定位结果。由此可见，粗定位技术是视觉定位技术的第一步定位环节，只有在粗定位过程中得到一个比较精准的submap，而且保证submap的范围尽可能小的情况下，之后利用粗定位结果求解出来的候选图像才能更加鲁棒。

目前大部分粗定位技术在室外应用场景表现良好，但是在复杂的室内应用场景，或者当室外应用场景中外界环境比较复杂的情况下，粗定位技术的定位效果往往表现不佳。视觉定位技术中的粗定位技术目前有如下三种解决方案：

(1)基于传统特征的词袋模型技术。这种方案需要首先提取数据库中预存的图像中每一张图的角点特征，然后使用类似一种聚类技术将同一张图上的特征进行聚合，从而形成最终的可以表示整个图像的一个全局特征。在查询的时候直接将这个全局特征和数据库中预存的图像中的所有特征进行比较，距离较近的即为粗定位结果，也就是submap。基于传统特征的词袋模型技术比较有代表性的技术包括VLAD(Vector of Locally AggregatedDescriptors)和bow(Bag of Words)等。

基于传统特征的词袋模型技术使用传统的特征点聚合成一个全局特征，这种方法容易受到两方面不足与影响，首先目前公认较好的特征点是SIFT(Scale InvariantFeature Transform,尺度不变特征变换)以及其变体，但是SIFT类特征对光照、模糊及纹理等因素特别敏感，尤其是在应用场景中环境存在大量的反光、运动模糊、无纹理以及重复纹理的场景中，定位效果不够理想。其次，使用人工聚合的方式得到图像的全局信息容易受到一些经验注意的干扰，比如聚合权重及聚合方式等都会干扰到最终定位结果，导致定位结果不够稳定。

(2)基于深度学习特征的粗定位技术。这种方案首先需要标定数据训练网络，输入RGB(Red,Green,Blue,三原色)图像或者灰度图像，输出一个指定长度的特征，这个指定长度的特征可以反应对应张图的整体信息。同样，在进行查询的时候输出数据库中预存的每张图像的全局信息进行比较，得到和查询图像相近的图像即为所需的submap。基于深度学习特征的粗定位技术比较有代表的技术包括NetVLAD(Network Vector of LocallyAggregated Descriptors，结合VLAD结构的卷积网络结构)、HF-NET(一种重定位算法)等。

基于深度学习特征的粗定位技术使用深度学习的方法，在一定程度上对模糊及光照等因素更加鲁棒，在复杂的应用场景中往往可以达到良好的定位效果。但是这种使用CNN(Convolutional Neural Network，卷积神经网络)卷积的方式仍然是在图像纹理上提取的特征，只不过这个特征的感受野相比较传统特征较大。因此，该方案仍然容易受到重复纹理及无纹理等因素的干扰。

(3)融合结构信息的粗定位技术。这种方案同样首先标定数据构造训练数据集，然后训练网络，输入RGB图像或者灰度图像，并且为了使系统更鲁棒往往还会在网络中输入一个局部地图，例如使用SLAM(Simultaneous localization and mapping，同步定位与建图)建的局部地图，输出一个指定长度的特征使网络不仅学习全局纹理信息，还学习环境的结构信息，使粗定位技术更加鲁棒，不受光照等因素干扰。

融合结构信息的粗定位技术可以融合空间结构信息进行粗定位，但是一般都是使用SLAM技术在局部构建一个局部地图。该局部地图通常为点云数据。因此，现有的融合结构信息的粗定位技术仅仅使用点云的分布，并没有考虑空间结构之间的相互约束关系。比如一张床的旁边放着一把椅子，书桌上放着一本书。另外SLAM构建局部地图需要相对比较长的序列图像才会保证局部地图的应用效果，对实时性要求较高的应用场景显然也不可行。

在一个示例中，图2是本申请实施例提供的一种定位方法的流程图，本实施例可适用于同时利用图像的3D结构线特征和纹理特征进行粗定位情况，该方法可以由定位装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。该电子设备可以是智能终端设备等，可以利用定位装置进行定位。相应的，如图2所示，该方法包括如下操作：

S110、获取待定位二维图像。

其中，待定位二维图像可以是终端设备实时获取的，用于进行视觉定位的二维图像。

在本申请实施例中，首先需要终端设备获取待定位二维图像，以利用获取的待定位二维图像进行粗定位。

S120、将所述待定位二维图像输入至粗定位卷积神经网络模型中，得到所述待定位二维图像的全局待定位图像特征。

其中，粗定位卷积神经网络模型可以是利用待定位二维图像进行粗定位的CNN模型。全局待定位图像特征可以是待定位二维图像对应的全局特征，该全局特征可以反应待定位二维图像的整体信息。

相应的，在获取到待定位二维图像后，可以将待定位二维图像输入至粗定位卷积神经网络模型中，以通过粗定位卷积神经网络模型输出待定位二维图像对应的全局待定位图像特征。

S130、将所述待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配；其中，所述全局存储图像特征与所述全局待定位图像特征同时包括3D结构线特征和纹理特征。

图3是本申请实施例提供的一种抽取图像3D结构线特征的效果示意图。如图3所示，在实际空间中，除了物体表面纹理特征之外，还有物体表面的轮廓信息，这种横平竖直的线称之为曼哈顿结构线，我国的建筑风格几乎都是这种曼哈顿结构。因此充分利用场景的曼哈顿结构信息能够有效的提高视觉定位的稳定性。传统的纹理特征容易受到光照、噪声、模糊及重复纹理等因素的影响。而线特征不受环境关照、噪声及重复纹理等因素的影响。考虑到2D轮廓在3d空间平行或者垂直的线在图像的呈像平面往往没有规律，无法体现真正的结构信息。因此，本申请实施例通过粗定位卷积神经网络模型获取的全局存储图像特征和全局待定位图像特征包括3D结构线特征，可以使得最终的全局图像特征能够反映出图像中物体对象的真实分布情况。例如，在3D空间平行或者垂直的线结构等。通过输出图像中包括的空间3D结构线特征进行视觉定位，可以从本质上提升粗定位的定位效果。

另外，如果仅仅使用3D结构线特征则不能很好的表达场景信息。如图3所示的3D结构线图，如果没有纹理特征做支撑，仅仅通过3D结构线体现的空间结构很难将其对应到具体的建筑物中。因此，为了使定位方法更加稳定鲁棒，在本申请实施例中，还需要利用粗定位卷积神经网络模型中的同时输出图像的纹理特征，使得粗定位卷积神经网络模型最终输出的全局特征同时包括纹理特征和3D结构线特征。可以理解的是，纹理特征和3D结构线特征均为全局特征。

上述技术方案，通过粗定位卷积神经网络模型输出图像的纹理特征和3D结构线特征，以结合全局的纹理特征和3D结构线特征构建图像的全局特征，可以使得全局特征包括的特征信息更加全面，能够更加真实地反映图像中物体对象的特征信息。

S140、根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像。

其中，全局存储图像特征可以是图像数据库中存储的预存二维图像对应的全局特征，该全局特征可以反应预存二维图像的整体信息。预存二维图像也即图像数据库中预存的二维图像，用于对实时获取的待定位二维图像进行特征匹配和对比，以确定粗定位结果，即确定粗定位中的submap。

在本申请实施例中，在获取到待定位二维图像的全局待定位图像特征之后，即可将待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配，以确定粗定位中的submap。

需要说明的是，全局存储图像特征也可以同时包括3D结构线特征和纹理特征。因此，可以同时结合3D结构线特征和纹理特征对全局待定位图像特征与全局存储图像特征进行特征匹配，从而根据特征匹配结果确定与待定位二维图像匹配的至少一张预存二维图像。最终确定的预存二维图像的集合即为submap，可以作为视觉定位中的粗定位结果。

上述方案中，通过使用深度学习提取3D结构线特征可以有效的避免光照及模糊等因素的影响。同时在全局特征中融合了全局的纹理信息，由于深度学习的感受野相比较传统特征较大，能够融合图像中更加全面的全局信息，更加鲁棒。示例性的，对于商场中的门店装修和广告牌更新等应用场景中，仅仅使用纹理特征进行特征匹配的方式肯定无法得到正确的定位结果，但是商场店铺的结构仍然不会改变，也即3D结构线特征不会受到场景一般变化的干扰。因此，同时结合纹理特征和3D结构线特征可以得到正确的粗定位结果，粗定位方法的精准性和稳定性更高。另外，本申请实施例所提供的定位方法不需要构建局部地图，可以直接进行图像匹配，对室内应用场景等复杂应用场景中具有良好且稳定的定位效果，且实时性更高。

本申请实施例通过将获取的待定位二维图像输入至粗定位卷积神经网络模型中，得到待定位二维图像的全局待定位图像特征，进而将同时包括3D结构线特征和纹理特征的待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配，以根据3D结构线特征和纹理特征的特征匹配结果确定与待定位二维图像匹配的至少一张预存二维图像，从而根据获取的待定位二维图像实现粗定位，解决现有根据图像数据进行粗定位存在的定位精准率和稳定性较低等问题，从而提高粗定位方法的精准性和稳定性。

在一个示例中，图4是本申请实施例提供的一种定位方法的流程图，本申请实施例在上述各实施例的技术方案的基础上，进行了优化改进，给出了获取全局存储图像特征、根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像的多种具体可选的实现方式。

如图4所示的一种定位方法，包括：

S210、获取图像数据库中的预存二维图像。

S220、将所述预存二维图像输入至所述粗定位卷积神经网络模型中，得到所述预存二维图像的全局存储图像特征。

其中，图像数据库可以预存多张预存二维图像，用于对实时获取的待定位二维图像进行特征匹配和对比。

由于在进行粗定位时，需要将待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配，因此，在进行定位之前，首先需要对图像数据库中的预存二维图像进行预处理，将各预存二维图像输入至粗定位卷积神经网络模型中，得到各预存二维图像的全局存储图像特征。

在本申请的一个可选实施例中，所述粗定位卷积神经网络模型可以包括纹理编码网络和3D编码网络，用于同时输出图像的纹理特征和3D结构线特征。所述纹理编码网络用于输出图像的全局纹理信息，即全局的纹理信息；所述3D编码网络用于输出图像的全局3D结构线信息，即全局的3D结构线信息；所述粗定位卷积神经网络模型用于通过所述纹理编码网络获取到全局纹理信息，以及通过所述3D编码网络输出图像的全局3D结构线信息之后，通过卷积层将所述全局纹理信息和全局3D结构线信息进行融合，得到全局图像特征，以使得全局特征包括的特征信息更加全面，能够更加真实地反映图像中物体对象的特征信息。

图5是本申请实施例提供的一种粗定位卷积神经网络模型获取全局特征的效果示意图。在一个具体的例子中，如图5所示，可以将一张RGB图像输入至粗定位卷积神经网络模型，粗定位卷积神经网络模型分别利用纹理编码网络输出图像的全局纹理信息，利用3D编码网络输出图像的全局3d结构线信息，然后通过粗定位卷积神经网络模型的卷积层融合两个空间的特征信息，最终输出同时包括3D结构线特征和纹理特征的全局特征。

图6是本申请实施例提供的一种纹理编码网络的网络结构示意图。如图6所示，纹理编码网络也可以为一种卷积神经网络，可以包括多层网络结构。当纹理编码网络接收到输入图像后，经过多层CNN网络可以输出该图像的全局纹理特征。图7是本申请实施例提供的一种3D编码网络的网络结构示意图。如图7所示，3D编码网络也可以为一种卷积神经网络，可以包括多层网络结构。当3D编码网络接收到输入图像后，经过多层CNN网络可以输出该图像的全局3D结构线信息。

可选的，纹理编码网络和3D编码网络可以预先训练，粗定位卷积神经网络模型可以使用训练成熟的纹理编码网络和3D编码网络进一步进行训练。或者，也还可以在训练粗定位卷积神经网络模型的过程中，同时训练纹理编码网络和3D编码网络。可选的，如果3D编码网络采用成熟的网络，则3D编码网络在粗定位卷积神经网络模型的训练过程中需要停止更新网络权重，以避免在对粗定位卷积神经网络模型进行训练时，导致扰乱3D编码网络的3D结构线识别功能。也即，如果在训练粗定位卷积神经网络模型的过程中，同时训练纹理编码网络和3D编码网络，可以设置纹理编码网络占有较大的权重，而3D编码网络占有较小的权重。

S230、存储所述预存二维图像的全局存储图像特征。

在本申请实施例中，当利用粗定位卷积神经网络模型获取到各预存二维图像的全局存储图像特征之后，可以存储预存二维图像的全局存储图像特征。例如，建立全局存储图像特征与所述预存二维图像之间的映射关系。该对应关系可以用于确定匹配的预存二维图像，以实现基于图像识别的粗定位。

S240、获取待定位二维图像。

S250、将所述待定位二维图像输入至粗定位卷积神经网络模型中，得到所述待定位二维图像的全局待定位图像特征。

在本申请的一个可选实施例中，所述根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像，可以包括：根据所述特征匹配结果确定与所述待定位二维图像匹配的第一设定数量的预存二维图像；对所述第一设定数量的预存二维图像进行筛选，得到第二设定数量的预存二维图像。

其中，第一设定数量和第二设定数量可以根据实际需求设定，如第一设定数量取值为30，第二设定数量取值为5等，可以理解的是，第二设定数量的取值要小于或等于第一设定数量的取值，本申请实施例并不对第一设定数量和第二设定数量的具体数值进行限定。

可选的，在进行特征匹配时，可以根据特征匹配结果确定与待定位二维图像匹配的第一设定数量的预存二维图像，再对第一设定数量的预存二维图像进行筛选，得到第二设定数量的预存二维图像。可选的，可以采用共视技术(co-visibility)对第一设定数量的预存二维图像进行筛选，剔除离散值，得到与待定位二维图像具有高相似度的第二设定数量的预存二维图像。第二设定数量的预存二维图像即为更精准的submap。

在本申请的一个可选实施例中，在得到第二设定数量的预存二维图像之后，还可以包括：对所述第二设定数量的预存二维图像的预存图像相似度进行求平均计算，得到相似度平均值；将各所述预存图像相似度与所述相似度平均值进行匹配，确定目标预存图像相似度；将与所述目标预存图像相似度对应的预存二维图像作为目标预存二维图像。

其中，预存图像相似度可以是预测二维图像与待定位二维图像之间的相似度。相似度平均值可以为对各预存图像相似度进行求平均计算得到的平均值。目标预存图像相似度可以是最接近相似度平均值的预存图像相似度。

通常情况下，粗定位方法得到的submap可以包括与待定位二维图像具有极高相似度的多张预存二维图像。但在某些情况下，submap也可以仅包括与待定位二维图像最为相似的一张预存二维图像。为此，在得到第二设定数量的预存二维图像之后，还可以进一步计算第二设定数量的预存二维图像与待定位二维图像之间的预存图像相似度，并对各预存图像相似度进行求平均计算，得到相似度平均值，然后将各预存图像相似度与相似度平均值进行匹配，确定与相似度平均值最接近的目标预存图像相似度，并将目标预存图像相似度对应的预存二维图像作为目标预存二维图像。该目标预存二维图像可以单独组成submap。

上述技术方案通过对图像相似度求平均的方式求解目标预存二维图像，可以满足对粗定位结果要求只包括一张匹配的图像的应用需求。

S260、将所述待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配。

S270、根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像。

综上所述，本申请实施例所提供的定位方法总体上可以划分为两个阶段。第一个阶段为离线构造数据库的阶段。在该阶段中，需要将图像数据库中的每张预存二维图像都输入至粗定位卷积神经网络模型网络，以生成每张预存二维图像的全局存储图像特征。第二个阶段为图像匹配阶段。在该阶段中，需要将获取的待定位二维图像输入至粗定位卷积神经网络模型网络，以生成待定位二维图像的全局待定位图像特征。得到全局待定位图像特征后，即可使用全局待定位图像特征与每张预存二维图像的全局存储图像特征进行特征匹配，例如，通过计算欧式距离的方式实现特征匹配，取第一设定数量的最近邻预存二维图像。由于第一设定数量的预存二维图像中可能会包括一些离散值，因此可以使用共视技术进一步对其进行筛选得到更精确的第二设定数量的预存二维图像，从而完成整个粗定位过程。

上述技术方案，通过在获取待定位二维图像之前，利用粗定位卷积神经网络模型获取各预存二维图像的全局存储图像特征并进行存储，以在获取到待定位二维图像及其对应的全局待定位图像特征后，将待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配，从而根据匹配结果确定与待定位二维图像匹配的至少一张预存二维图像。由于全局存储图像特征与全局待定位图像特征同时包括3D结构线特征和纹理特征，因此可以实现同时根据3D结构线特征和纹理特征进行图像匹配，可以提高粗定位方法的精准性和稳定性。

在一个示例中，图8是本申请实施例提供的一种定位装置的结构图，本申请实施例可适用于同时利用图像的3D结构线特征和纹理特征进行粗定位情况，该装置通过软件和/或硬件实现，并具体配置于电子设备中。该电子设备可以是智能终端设备等，可以利用定位装置进行定位。

如图8所示的一种定位装置300，包括：待定位二维图像获取模块310、全局待定位图像特征获取模块320、全局待定位图像特征匹配模块330和预存二维图像确定模块340。其中，

待定位二维图像获取模块310，用于获取待定位二维图像；

全局待定位图像特征获取模块320，用于将所述待定位二维图像输入至粗定位卷积神经网络模型中，得到所述待定位二维图像的全局待定位图像特征；

全局待定位图像特征匹配模块330，用于将所述待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配；其中，所述全局存储图像特征与所述全局待定位图像特征同时包括3D结构线特征和纹理特征；

预存二维图像确定模块340，用于根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像。

本申请实施例通过将获取的待定位二维图像输入至粗定位卷积神经网络模型中，得到待定位二维图像的全局待定位图像特征，进而将同时包括3D结构线特征和纹理特征的待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配，以根据3D结构线特征和纹理特征的特征匹配结果确定与待定位二维图像匹配的至少一张预存二维图像，从而根据获取的待定位二维图像实现粗定位，解决现有根据图像数据进行粗定位存在的定位精准率和稳定性较低等问题，从而提高粗定位方法的精准性和稳定性。

可选的，定位装置300还包括：预存二维图像获取模块，用于获取图像数据库中的预存二维图像；全局存储图像特征获取模块，用于将所述预存二维图像输入至所述粗定位卷积神经网络模型中，得到所述预存二维图像的全局存储图像特征；全局存储图像特征存储模块，用于存储所述预存二维图像的全局存储图像特征。

可选的，预存二维图像确定模块340具体用于：根据所述特征匹配结果确定与所述待定位二维图像匹配的第一设定数量的预存二维图像；对所述第一设定数量的预存二维图像进行筛选，得到第二设定数量的预存二维图像。

可选的，定位装置300还包括：相似度平均值计算模块，用于对所述第二设定数量的预存二维图像的预存图像相似度进行求平均计算，得到相似度平均值；目标预存图像相似度确定模块，用于将各所述预存图像相似度与所述相似度平均值进行匹配，确定目标预存图像相似度；目标预存二维图像确定模块，用于将与所述目标预存图像相似度对应的预存二维图像作为目标预存二维图像。

可选的，所述粗定位卷积神经网络模型包括纹理编码网络和3D编码网络，用于同时输出图像的纹理特征和3D结构线特征。

可选的，所述纹理编码网络用于输出图像的全局纹理信息；所述3D编码网络用于输出图像的全局3D结构线信息；所述粗定位卷积神经网络模型用于通过所述纹理编码网络获取到全局纹理信息，以及通过所述3D编码网络输出图像的全局3D结构线信息之后，通过卷积层将所述全局纹理信息和全局3D结构线信息进行融合，得到全局图像特征。

可选的，所述3D编码网络在所述粗定位卷积神经网络模型的训练过程中停止更新网络权重。

上述定位装置可执行本申请任意实施例所提供的定位方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例提供的定位方法。

由于上述所介绍的定位装置为可以执行本申请实施例中的定位方法的装置，故而基于本申请实施例中所介绍的定位方法，本领域所属技术人员能够了解本实施例的定位装置的具体实施方式以及其各种变化形式，所以在此对于该定位装置如何实现本申请实施例中的定位方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中定位方法所采用的装置，都属于本申请所欲保护的范围。

在一个示例中，本申请还提供了一种电子设备和一种可读存储介质。

图9是用来实现本申请实施例的定位方法的电子设备的结构示意图。如图9所示，是根据本申请实施例的定位方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器401为例。

存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的定位方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的定位方法。

存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的定位方法对应的程序指令/模块(例如，附图8所示的待定位二维图像获取模块310、全局待定位图像特征获取模块320、全局待定位图像特征匹配模块330和预存二维图像确定模块340)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的定位方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现定位方法的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至实现定位方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现定位方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置403可接收输入的数字或字符信息，以及产生与实现定位方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端可以是智能手机、笔记本电脑、台式计算机、平板电脑、智能音箱等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算、云服务、云数据库、云存储等基础云计算服务的云服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本申请实施例通过将获取的待定位二维图像输入至粗定位卷积神经网络模型中，得到待定位二维图像的全局待定位图像特征，进而将同时包括3D结构线特征和纹理特征的待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配，以根据3D结构线特征和纹理特征的特征匹配结果确定与待定位二维图像匹配的至少一张预存二维图像，从而根据获取的待定位二维图像实现粗定位，解决现有根据图像数据进行粗定位存在的定位精准率和稳定性较低等问题，从而提高粗定位方法的精准性和稳定性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种定位方法，包括：

获取待定位二维图像；

将所述待定位二维图像输入至粗定位卷积神经网络模型中，得到所述待定位二维图像的全局待定位图像特征；

将所述待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配；其中，所述全局存储图像特征与所述全局待定位图像特征同时包括3D结构线特征和纹理特征；

根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像。

2.根据权利要求1所述的方法，还包括：

获取图像数据库中的预存二维图像；

将所述预存二维图像输入至所述粗定位卷积神经网络模型中，得到所述预存二维图像的全局存储图像特征；

存储所述预存二维图像的全局存储图像特征。

3.根据权利要求1所述的方法，其中，所述根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像，包括：

根据所述特征匹配结果确定与所述待定位二维图像匹配的第一设定数量的预存二维图像；

对所述第一设定数量的预存二维图像进行筛选，得到第二设定数量的预存二维图像。

4.根据权利要求3所述的方法，还包括：

对所述第二设定数量的预存二维图像的预存图像相似度进行求平均计算，得到相似度平均值；

将各所述预存图像相似度与所述相似度平均值进行匹配，确定目标预存图像相似度；

将与所述目标预存图像相似度对应的预存二维图像作为目标预存二维图像。

5.根据权利要求1-4任一所述的方法，其中，所述粗定位卷积神经网络模型包括纹理编码网络和3D编码网络，用于同时输出图像的纹理特征和3D结构线特征。

6.根据权利要求5所述的方法，其中，所述纹理编码网络用于输出图像的全局纹理信息；

所述3D编码网络用于输出图像的全局3D结构线信息；

所述粗定位卷积神经网络模型用于通过所述纹理编码网络获取到全局纹理信息，以及通过所述3D编码网络输出图像的全局3D结构线信息之后，通过卷积层将所述全局纹理信息和全局3D结构线信息进行融合，得到全局图像特征。

7.根据权利要求6所述的方法，其中，所述3D编码网络在所述粗定位卷积神经网络模型的训练过程中停止更新网络权重。

8.一种定位装置，包括：

待定位二维图像获取模块，用于获取待定位二维图像；

全局待定位图像特征获取模块，用于将所述待定位二维图像输入至粗定位卷积神经网络模型中，得到所述待定位二维图像的全局待定位图像特征；

全局待定位图像特征匹配模块，用于将所述待定位二维图像的全局待定位图像特征与全局存储图像特征进行特征匹配；其中，所述全局存储图像特征与所述全局待定位图像特征同时包括3D结构线特征和纹理特征；

预存二维图像确定模块，用于根据特征匹配结果确定与所述待定位二维图像匹配的至少一张预存二维图像。

9.根据权利要求8所述的装置，还包括：

预存二维图像获取模块，用于获取图像数据库中的预存二维图像；

全局存储图像特征获取模块，用于将所述预存二维图像输入至所述粗定位卷积神经网络模型中，得到所述预存二维图像的全局存储图像特征；

全局存储图像特征存储模块，用于存储所述预存二维图像的全局存储图像特征。

10.根据权利要求8所述的装置，其中，所述预存二维图像确定模块具体用于：

根据所述特征匹配结果确定与所述待定位二维图像匹配的第一设定数量的预存二维图像；

对所述第一设定数量的预存二维图像进行筛选，得到第二设定数量的预存二维图像。

11.根据权利要求10所述的装置，还包括：

相似度平均值计算模块，用于对所述第二设定数量的预存二维图像的预存图像相似度进行求平均计算，得到相似度平均值；

目标预存图像相似度确定模块，用于将各所述预存图像相似度与所述相似度平均值进行匹配，确定目标预存图像相似度；

目标预存二维图像确定模块，用于将与所述目标预存图像相似度对应的预存二维图像作为目标预存二维图像。

12.根据权利要求8-11任一所述的装置，其中，所述粗定位卷积神经网络模型包括纹理编码网络和3D编码网络，用于同时输出图像的纹理特征和3D结构线特征。

13.根据权利要求12所述的装置，其中，所述纹理编码网络用于输出图像的全局纹理信息；

所述3D编码网络用于输出图像的全局3D结构线信息；

所述粗定位卷积神经网络模型用于通过所述纹理编码网络获取到全局纹理信息，以及通过所述3D编码网络输出图像的全局3D结构线信息之后，通过卷积层将所述全局纹理信息和全局3D结构线信息进行融合，得到全局图像特征。

14.根据权利要求13所述的装置，其中，所述3D编码网络在所述粗定位卷积神经网络模型的训练过程中停止更新网络权重。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的定位方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的定位方法。

Images