CN113393515B - 一种结合场景标注信息的视觉定位方法和系统 - Google Patents

Abstract

本申请涉及一种结合场景标注信息的视觉定位方法和系统，其中，该方法包括：获取定位地图，对定位地图中场景图像的图像信息、关键点信息和场景信息进行信息提取，得到定位地图的多类定位信息，其中，定位地图中的场景图像均包含多层的场景标注信息图层，通过场景标注信息辅助信息匹配；获取待定位图像，并对该待定位图像进行信息提取，得到待定位图像的多类定位信息；根据待定位图像的多类定位信息，与定位地图的多类定位信息进行匹配和计算，得到匹配信息；根据匹配信息获取定位结果，得到待定位图像的6DoF位置和朝向。通过本申请，解决了在对场景进行视觉图像定位时，存在的定位不精确、定位失败或误定位等问题，提高了定位准确度和精度。

Description

一种结合场景标注信息的视觉定位方法和系统

技术领域

本申请涉及计算机领域，特别是涉及一种结合场景标注信息的视觉定位方法和系统。

背景技术

随着城市建设和道路交通的发展，给城市面貌带来了日新月异的变化，这也就给现代定位导航系统带来了很大的挑战。现如今的视觉图像定位系统可用于AR导航、AR导览、场景识别和景点识别等，该定位系统是基于图像检索、图像特征提取、图像关键点特征提取和匹配等方法，将待定位的图像与数据库中的图像、图像特征和关键点特征等进行比对和逐一匹配，找寻最佳匹配，获得图像的定位，其中，定位结果通常包括位置信息和姿态信息。

在相关技术中，一方面，由于在人流量大的商场景区等，待定位图像中会有人流或车流等动态物体遮挡，或有店铺装修、店铺搬迁、临时搭建活动、应季广告牌和场景装置更换位置等会频繁改变场景环境的情形，此外，在有植被或水体区域，会受跨季节和天气等因素影响，这些都会导致当前需要定位的环境，与数据库中存在的环境不一致。因此，如果直接当前图像和数据库中的图像进行比对，那么可能会发生定位不精确、定位失败或误定位到错误区域等的情况，例如：1.场景大部分区域变动，小部分区域未变动，匹配阶段由于信息无法匹配的部分过多而被判定为定位失败；2.场景中店铺或局部装置搬迁，将定位结果误定位到原址；3.树木、海报折旧等局部区域发生形变，动态人体和车辆，造成了不精确的匹配对，导致定位不精确等。另一方面，如果仅依靠语义分割辅助定位，那么当定位图像中各语义标签出现的比例与数据库图像接近时，无法排除因为人体或车辆这些动态物体占比较大情况下的定位结果歧义；进一步地，无法对跨季节改变的场景加以改进，例如：树和水体的标签和占比几乎不会变，但树因为生长和修剪，水体因为动态波浪和水面高度改变，已经无法满足图像关键点匹配等需求，以至于容易产生错误的匹配对，导致定位结果不精确；此外，基于路标、路牌、logo等文字提取的方法，适用性较窄，同时需考虑道路改变或logo店铺搬迁的情况，因此，也会导致定位不准确。

目前针对相关技术中，在对场景进行视觉图像定位时，存在的定位不精确、定位失败或误定位等问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种结合场景标注信息的视觉定位方法和系统，以至少解决相关技术中在对场景进行视觉图像定位时，存在的定位不精确、定位失败或误定位等问题。

第一方面，本申请实施例提供了一种结合场景标注信息的视觉定位方法，所述方法包括：

获取定位地图，对所述定位地图中场景图像的图像信息、关键点信息和场景信息进行信息提取，得到所述定位地图的多类定位信息，其中，所述定位地图中的场景图像均包含多层的场景标注信息图层，通过所述场景标注信息辅助信息匹配；

获取待定位图像，并对所述待定位图像进行信息提取，得到所述待定位图像的多类定位信息，其中所述信息提取的方法包括关键点提取、语义信息提取、相片EXIF信息提取；

根据所述待定位图像的多类定位信息，与所述定位地图的多类定位信息进行匹配和计算，得到匹配信息；

根据所述匹配信息获取定位结果，得到所述待定位图像的6DoF位置和朝向。

在其中一些实施例中，所述对所述待定位图像进行信息提取，得到所述待定位图像的多类定位信息包括：

对所述待定位图像进行深度学习语义分割得到语义信息，对所述待定位图像中有效语义标注的区域进行关键点提取。

在其中一些实施例中，所述根据所述待定位图像的多类定位信息，与所述定位地图的多类定位信息进行匹配和计算，得到匹配信息包括：

获取所述待定位图像的所述语义信息中不同类型标签的占比面积，并将所述待定位图像的标签占比面积和所述定位地图中相似图像的标签占比面积进行对比匹配，得到所述匹配信息；

在计算出所述待定位图像的定位结果后，将所述定位结果的语义分割图层投影到所述定位地图中相似图像的视角下，在同一视角中对比所述待定位图像和所述定位地图中相似图像之间不同类型标签的重叠度，或仅对比所述不同类型标签中高可信度标签的重叠度，得到所述匹配信息。

在其中一些实施例中，所述对定位地图中场景图像的图像信息、关键点信息和场景信息进行信息提取，得到所述定位地图的多类定位信息包括：

从三维点云中直接获得所述场景标注信息图层，或通过对图像做深度学习语义分割、场景人工标注获取所述场景标注信息图层，或根据地理信息区域划分得到所述场景标注信息图层，其中，在所述场景标注信息图层中设置场景标签。

在其中一些实施例中，在获取所述场景标注信息图层之后，以及进行信息匹配和计算之前，所述方法包括：

对所述场景标注信息图层中不同标注类型和不同场景语义标签，设置不同的可信度权重；

通过动态可更新权重的方法，对所述可信度权重进行不同场景下的适应性动态调整。

在其中一些实施例中，所述通过所述场景标注信息辅助信息匹配包括：

根据图像检索、词带模型和特征点聚类的算法获取定位地图中的图像候选帧，并通过所述候选帧中多层场景标签的加权可信度，对所述候选帧进行筛选或排序，辅助所述图像信息检索匹配。

在其中一些实施例中，所述通过所述场景标注信息辅助信息匹配还包括：

对所述定位地图中的2D关键点和3D点设置对应标签的可信度权重，辅助所述关键点信息匹配。

第二方面，本申请实施例提供了一种结合场景标注信息的视觉定位系统，所述系统包括：

获取模块，用于获取定位地图，对所述定位地图中场景图像的图像信息、关键点信息和场景信息进行信息提取，得到所述定位地图的多类定位信息，其中，所述定位地图中的场景图像均包含多层的场景标注信息图层，通过所述场景标注信息辅助信息匹配，

获取待定位图像，并对所述待定位图像进行信息提取，得到所述待定位图像的多类定位信息，其中所述信息提取的方法包括关键点提取、语义信息提取、相片EXIF信息提取；

匹配模块，用于根据所述待定位图像的多类定位信息，与所述定位地图的多类定位信息进行匹配和计算，得到匹配信息；

定位模块，用于根据所述匹配信息获取定位结果，得到所述待定位图像的6DoF位置和朝向。

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的结合场景标注信息的视觉定位方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的结合场景标注信息的视觉定位方法。

相比于相关技术，本申请实施例提供的一种结合场景标注信息的视觉定位方法，首先，获取定位地图，对定位地图中场景图像的图像信息、关键点信息和场景信息进行信息提取，得到定位地图的多类定位信息，其中，定位地图中的场景图像均包含多层的场景标注信息图层，通过场景标注信息辅助信息匹配；接着获取待定位图像，并对该待定位图像进行信息提取，得到待定位图像的多类定位信息，其中信息提取的方法包括关键点提取、语义信息提取、相片EXIF信息提取，并加载定位地图的多类定位信息，根据待定位图像的多类定位信息，与定位地图的多类定位信息进行匹配和计算，得到匹配信息；根据匹配信息获取定位结果，得到待定位图像的6DoF位置和朝向。

本申请利用多层多来源的场景信息标注图层，和其中的各种类型场景标签，可辅助区分不同可信度的图像、关键点信息，从而在不断变化的环境中提升对场景图像的定位成功率和定位精度，减少定位明显错误的情况，并使得定位地图可长期提供高定位成功率和精度的定位服务。解决了相关技术中在对场景进行视觉图像定位时，存在的定位不精确、定位失败或误定位等问题，提高了定位准确度和精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的结合场景标注信息的视觉定位方法的应用环境示意图；

图2是根据本申请实施例的结合场景标注信息的视觉定位方法的流程图；

图3是根据本申请实施例的来自语义分割的场景标注信息图层示意对比图；

图4是根据本申请实施例的来自人工标注的场景标注信息图层示意对比图；

图5是根据本申请实施例的来自地理信息区域划分的场景标注信息图层示意图；

图6是根据本申请实施例的待定位图像q的示意图；

图7是根据本申请实施例定位地图中相似图像p的示意图；

图8是根据本申请实施例的结合场景标注信息的视觉定位系统的结构框图；

图9是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请提供的结合场景标注信息的视觉定位方法，可以应用于如图1所示的应用环境中，图1是根据本申请实施例的结合场景标注信息的视觉定位方法的应用环境示意图，如图1所示，其中，终端设备11与服务器10通过网络进行通信。需要说明的是，本申请实施例的应用并不限于如图1所示的应用环境中，还包括但不限于移动手机应用端、AR眼镜、嵌入式设备、PC、用户手持场景和车载导航场景等。服务器10获取待定位图像，并对该待定位图像进行信息提取，得到多类定位信息，其中信息提取的方法包括关键点提取、语义信息提取、相片EXIF信息提取；接着根据多类定位信息，与定位地图中场景图像的图像信息、关键点信息和场景信息进行匹配和计算，得到匹配信息，其中，定位地图中的场景图像均包含多层的场景标注信息图层，通过场景标注信息辅助信息匹配；根据匹配信息获取定位结果，得到待定位图像的6DoF位置和朝向，并显示于终端设备11上。其中，终端设备11可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器10可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

本实施例提供了一种结合场景标注信息的视觉定位方法，图2是根据本申请实施例的结合场景标注信息的视觉定位方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取定位地图，对定位地图中场景图像的图像信息、关键点信息和场景信息进行信息提取，得到定位地图的多类定位信息，其中，定位地图中的场景图像均包含多层的场景标注信息图层，通过场景标注信息辅助信息匹配；

优选的，本实施例中的定位地图用于存储场景图像的信息，其中，常规的定位地图中一般包含大量的场景图片相关的图像信息，例如包括但不限于位置朝向信息、图片特征信息和关键点信息，需要说明的是，这里的关键点信息包括但不限于场景图片中的2D关键点位置、2D关键点描述子，以及这些关键点经三角化后得到的3D点位置和3D关键点描述子等。此外，除以上常规信息外，定位地图中的每张场景图片都拥有多层的场景标注信息图层。

在其中一些实施例中，定位地图中的场景图像的多层场景标注信息图层的获取来源包括但不限于：从三维点云中直接获得场景标注信息图层；通过对图像做深度学习语义分割、场景人工标注获取场景标注信息图层；根据地理信息区域划分得到场景标注信息图层，其中，在场景标注信息图层中设置场景标签。具体地，图3是根据本申请实施例的来自语义分割的场景标注信息图层示意对比图，图4是根据本申请实施例的来自人工标注的场景标注信息图层示意对比图，图5是根据本申请实施例的来自地理信息区域划分的场景标注信息图层示意图。如图3的语义分割场景标注信息图层的对比图中所示，按照语义信息的不同，通过深度学习将图3左边显示的实际场景图片中的物体转换为右边显示的语义场景标注图层中对应的信息，其中，汽车、行人、植被、路障等可被设置为动态物体标签，富含这些标签的区域图像和关键点被赋予较低的可信度，而图中的建筑、马路、交通标牌、路灯等可被设置为静态物体标签类型，富含这些标签的区域或图像可被赋予较高的可信度；人工标注图可从3D点云、CAD图纸、商场平面图等生成，用于标注三维空间和平面的信息，如商铺、道路、河流、植被等。如图4的人工标注的场景标注信息图层的对比图中所示，对商场店铺区域进行人工标注，图4的上图为真实商场环境图，对应的下图则通过纹理区分，将场景分块标注为商场固定建筑和不同的店铺。当店铺更新时，对应区域的图像和关键点会被认为无效；如图5所示是对广域二维平面地图和卫星图进行场景标注，图中的建筑物区域因为场景稳定不容易变动可被赋予高可信度，而绿地、水体由于变动性较大，可被赋予低可信度。通过对定位地图中的场景信息进行标注，针对不同区域设置不同类型的标签，赋予不同类型标签以不同的可信度，能有效的提高信息匹配率，有利于后续的定位准确性。

进一步地，在上述获取场景标注信息图层之后，以及进行信息匹配和计算之前，需要对场景标注信息图层进行处理，在其中一些实施例中，对场景标注信息图层中不同标注类型和不同场景语义标签，设置不同的可信度权重；并通过动态可更新权重的方法，对可信度权重进行不同场景下的适应性动态调整。具体地，本实施例中，通常高权重的标签为长期不变的装置，此类特征常年不变，可设置权重为1如建筑、墙面、天花板、道路、固定装饰等，低权重的区域长期变动，具体有：1、临时摆设或动态物体可设置为0，如人、车、海报等；2、无效纹理也可设置为0，如水体、反光物、金属雕像、镜面等；3、短时间内可能不变的东西可设置为0.2，如树、草地、纸质挂画等。此外，本实施例中动态更新权重的方法有：通常对店铺固定不变的logo和摆设这类变动频率很低的东西设置为高权重标签，可设置为0.8，但是，当店铺装修或更换时候，可对相应的标签进行更新，直接将其设置为0权重，即做无效化处理，达到动态更新权重的目的；

步骤S202，获取待定位图像，并对待定位图像进行信息提取，得到待定位图像的多类定位信息，其中信息提取的方法包括关键点提取、语义信息提取、相片EXIF信息提取；

在其中一些实施例中，在获取待定位图像后，对待定位图像进行深度学习语义分割得到语义信息，并对待定位图像中有效语义标注的区域进行关键点提取，例如，人体、汽车等动态物体区域不属于有效标注区域，因此不进行关键点提取。此外，除了通过关键点提取信息外，还可以通过语义信息提取和相片EXIF信息提取等方法对带定位图像进行信息提取，得到相关的图像多类定位信息；

步骤S203，根据待定位图像的多类定位信息，与定位地图的多类定位信息进行匹配和计算，得到匹配信息；

在经过上述步骤S201和S202对待定位图像和定位地图的处理和信息标注后，根据待定位图像中提取到的多类定位信息与定位地图中场景图像的图像信息、关键点信息和场景信息进行匹配和计算，得到匹配信息，其中场景图像包括了场景标注信息图层。可选的，本实施例获取上述待定位图像的语义分割信息中不同类型标签的占比面积S，并将该待定位图像的标签占比面积和定位地图中相似图像的标签占比面积进行对比匹配，得到匹配信息。具体地，计算待定位图像中不同类型标签的占比面积S，并将标签按占比面积由大到小降序排列。图6是根据本申请实施例的待定位图像q的示意图，图7是根据本申请实施例定位地图中相似图像p的示意图，其中，图6左边显示的为待定位图像q的实际场景图片，右边显示的为该场景图片对应的语义场景标注图层，图7中左边显示的为相似图像p的实际场景图片，右边显示的为该场景图片对应的语义场景标注图层。如图6所示，待定位图像q中不同语义标签占比面积由大到小分别有：路面约0.5，天空约0.15、房屋约0.15、植被约0.1、汽车约0.08、人和路障约0.02；如图7中所示，定位地图中相似图像p中对应语义标签占比面积：路面约0.45，天空约0.2、植被约0.15、房屋约0.11、汽车约0.08、人和路障约0.01；选择待定位图像q中占比前N项的标签，通过比较分公式将待定位图像q与相似图像p的标签占比面积进行对比匹配，得到匹配信息；

或者，在计算出待定位图像的6DoF定位结果后，将定位结果的语义分割图层投影到定位地图中相似图像的视角下，在同一视角中对比待定位图像和定位地图中相似图像之间不同类型标签的重叠度。具体地，本实施例可采用位姿预测网络，以及特征匹配结合几何校验的方法，计算出图像的6DoF定位结果，并在得到6DoF定位结果后，根据当前待定位图像q的位姿，投影语义图层到相似图像p的视角下，对比同一像素位置上的待定位图像q和相似图像p的语义分割图层是否为同一标签，得到相应匹配信息；

还或者，仅对比不同类型标签中高可信度标签的重叠度，通过标签重叠度的比较匹配，得到匹配信息，具体地，可对比待定位图像q和相似图像p中建筑、墙面、天花板、道路、固定装饰等长期不变的高可信度标签的重叠度，通过标签重叠度的比较匹配，得到匹配信息。

此外，经标注的场景信息能辅助进行信息匹配，提升定位准确率和精度，在其中一些实施例中，根据图像检索、词带模型和特征点聚类的算法获取定位地图中的图像候选帧，并通过该候选帧中多层场景标签的加权可信度，对候选帧进行筛选或排序，在定位地图的场景图像中选出与待定位图像的匹配率较高的图像，辅助进行图像信息检索匹配；在其中一些实施例中，对定位地图中的2D关键点和3D点设置对应标签的可信度权重，在进行关键点信息匹配时，优先匹配高可信度的点对，或在计算定位结果的位置和朝向时，利用设置的可信度权重进行计算和迭代优化，提高定位精度和准确度。具体地，计算6DOF位姿时，对定位地图中的不同标签的2D关键点和3D点赋予有不同的权重，在最小化重投影误差中，带入这些权重进行计算，使得高可信度的点对结果的影响更大，从而使得结果更精确。或者在计算得到定位结果的位置和朝向时，计算符合定位结果的2D-3D点对的标签，通过如下判断原则进行定位信息匹配判断：

a.2D-3D点对的标签是否一致，不一致则认为这对点不可靠；

b.在标签一致的情况下，如果该标签，例如行人，具有低可信度，则这对点的可信度即标签可信度也很低。如果待定位地图中2D-3D点对的平均可信度很低，则倾向于认为定位结果错误，进行排除，从而保障结果的正确性和稳定性。需要说明的是，上述的定位方法包括但不限于此；

步骤S204，根据匹配信息获取定位结果，得到待定位图像的6DoF位置和朝向。优选的，本实施例通过上述得到的匹配信息获取定位结果，最终得到待定位图像的6DoF位置和朝向。

通过上述步骤S201至步骤S204，本申请利用多层多来源的场景信息标注图层和针对不同区域类型设置的场景标签，在定位的不同阶段使用不同的方法辅助区分不同可信度的图像、关键点信息，将可信度低区域的权重降低或直接无效，并同时将可信度高的区域的权重提升，提升场景图像的定位精度和准确度，保证定位效果。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种结合场景标注信息的视觉定位系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图8是根据本申请实施例的结合场景标注信息的视觉定位系统的结构框图，如图8所示，该系统包括获取模块81、匹配模块82和定位模块83：

获取模块81，用于获取模块，用于获取定位地图，对定位地图中场景图像的图像信息、关键点信息和场景信息进行信息提取，得到定位地图的多类定位信息，其中，定位地图中的场景图像均包含多层的场景标注信息图层，通过场景标注信息辅助信息匹配，获取待定位图像，并对待定位图像进行信息提取，得到待定位图像的多类定位信息，其中信息提取的方法包括关键点提取、语义信息提取、相片EXIF信息提取；匹配模块82，用于根据待定位图像的多类定位信息，与定位地图的多类定位信息进行匹配和计算，得到匹配信息；定位模块83，用于根据匹配信息获取定位结果，得到待定位图像的6DoF位置和朝向。

通过上述系统，本申请利用多层多来源的场景信息标注图层和针对不同区域类型设置的场景标签，在定位的不同阶段使用不同的方法辅助区分不同可信度的图像、关键点信息，将可信度低区域的权重降低或直接无效，并同时将可信度高的区域的权重提升，提升场景图像的定位精度和准确度，保证定位效果，解决了相关技术中在对场景进行视觉图像定位时，存在的定位不精确、定位失败或误定位等问题

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

另外，结合上述实施例中的结合场景标注信息的视觉定位方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种结合场景标注信息的视觉定位方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种结合场景标注信息的视觉定位方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图9是根据本申请实施例的电子设备的内部结构示意图，如图9所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图9所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种结合场景标注信息的视觉定位方法，数据库用于存储数据。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种结合场景标注信息的视觉定位方法，其特征在于，所述方法包括：

获取定位地图，对所述定位地图中场景图像的图像信息、关键点信息和场景信息进行信息提取，得到所述定位地图的多类定位信息，其中，所述定位地图中的场景图像均包含多层的场景标注信息图层，通过所述场景标注信息辅助信息匹配，具体步骤包括：从三维点云中直接获得所述场景标注信息图层，通过对图像做深度学习语义分割、场景人工标注获取所述场景标注信息图层，根据地理信息区域划分得到所述场景标注信息图层，其中，在所述场景标注信息图层中设置场景标签，动态物体标签被赋予较低的可信度，静态物体标签被赋予较高的可信度；通过对定位地图中的场景信息进行标注，针对不同区域设置不同类型的标签，赋予不同类型标签以不同的可信度；对所述场景标注信息图层中不同标注类型和不同场景语义标签，设置不同的可信度权重；通过动态可更新权重的方法，对所述可信度权重进行不同场景下的适应性动态调整；

其中，所述通过所述场景标注信息辅助信息匹配包括：根据图像检索、词带模型和特征点聚类的算法获取定位地图中的图像候选帧，并通过所述候选帧中多层场景标签的加权可信度，对所述候选帧进行筛选或排序，辅助所述图像信息检索匹配；

获取待定位图像，并对所述待定位图像进行信息提取，得到所述待定位图像的多类定位信息，其中所述信息提取的方法包括关键点提取、语义信息提取、相片EXIF信息提取；

根据所述待定位图像的多类定位信息，与所述定位地图的多类定位信息进行匹配和计算，得到匹配信息，包括：获取所述待定位图像的所述语义信息中不同类型标签的占比面积，并将所述待定位图像的标签占比面积和所述定位地图中相似图像的标签占比面积进行对比匹配，得到所述匹配信息；

或，采用位姿预测网络，以及特征匹配结合几何校验的方法，计算出图像的6DoF定位结果，在计算出所述待定位图像的定位结果后，将所述定位结果的语义分割图层投影到所述定位地图中相似图像的视角下，在同一视角中对比所述待定位图像和所述定位地图中相似图像之间不同类型标签的重叠度，或仅对比所述不同类型标签中高可信度标签的重叠度，得到所述匹配信息；

对定位地图中的 2D 关键点和 3D 点设置对应标签的可信度权重，在进行关键点信息匹配时，对定位地图中的不同标签的2D关键点和3D点赋予不同的权重，在最小化重投影误差中，带入所述权重进行计算，使得高权重的点对定位结果的影响更大；在计算得到定位结果的位置和朝向时，获取符合定位结果的2D-3D点对的标签，判断2D-3D点对的标签是否一致，若不一致则认为这对点不可靠，在标签一致的情况下，如果该标签具有低可信度，则这对点的可信度即标签可信度也很低，如果待定位地图中2D-3D点对的平均可信度很低，则认为定位结果错误，进行排除；

根据所述匹配信息获取定位结果，得到所述待定位图像的6DoF位置和朝向。

2.根据权利要求1所述的方法，其特征在于，所述对所述待定位图像进行信息提取，得到所述待定位图像的多类定位信息包括：

对所述待定位图像进行深度学习语义分割得到语义信息，对所述待定位图像中有效语义标注的区域进行关键点提取。

3.根据权利要求1所述的方法，其特征在于，所述通过所述场景标注信息辅助信息匹配还包括：

对所述定位地图中的2D关键点和3D点设置对应标签的可信度权重，辅助所述关键点信息匹配。

4.一种结合场景标注信息的视觉定位系统，其特征在于，所述系统包括：

获取模块，用于获取定位地图，对所述定位地图中场景图像的图像信息、关键点信息和场景信息进行信息提取，得到所述定位地图的多类定位信息，其中，所述定位地图中的场景图像均包含多层的场景标注信息图层，通过所述场景标注信息辅助信息匹配，具体步骤包括：从三维点云中直接获得所述场景标注信息图层，通过对图像做深度学习语义分割、场景人工标注获取所述场景标注信息图层，根据地理信息区域划分得到所述场景标注信息图层，其中，在所述场景标注信息图层中设置场景标签，动态物体标签被赋予较低的可信度，静态物体标签被赋予较高的可信度；通过对定位地图中的场景信息进行标注，针对不同区域设置不同类型的标签，赋予不同类型标签以不同的可信度；对所述场景标注信息图层中不同标注类型和不同场景语义标签，设置不同的可信度权重；通过动态可更新权重的方法，对所述可信度权重进行不同场景下的适应性动态调整，其中，所述通过所述场景标注信息辅助信息匹配包括：根据图像检索、词带模型和特征点聚类的算法获取定位地图中的图像候选帧，并通过所述候选帧中多层场景标签的加权可信度，对所述候选帧进行筛选或排序，辅助所述图像信息检索匹配；

获取待定位图像，并对所述待定位图像进行信息提取，得到所述待定位图像的多类定位信息，其中所述信息提取的方法包括关键点提取、语义信息提取、相片EXIF信息提取；

匹配模块，用于根据所述待定位图像的多类定位信息，与所述定位地图的多类定位信息进行匹配和计算，得到匹配信息，包括：获取所述待定位图像的所述语义信息中不同类型标签的占比面积，并将所述待定位图像的标签占比面积和所述定位地图中相似图像的标签占比面积进行对比匹配，得到所述匹配信息；

或，采用位姿预测网络，以及特征匹配结合几何校验的方法，计算出图像的6DoF定位结果，在计算出所述待定位图像的定位结果后，将所述定位结果的语义分割图层投影到所述定位地图中相似图像的视角下，在同一视角中对比所述待定位图像和所述定位地图中相似图像之间不同类型标签的重叠度，或仅对比所述不同类型标签中高可信度标签的重叠度，得到所述匹配信息；

对定位地图中的 2D 关键点和 3D 点设置对应标签的可信度权重，在进行关键点信息匹配时，对定位地图中的不同标签的2D关键点和3D点赋予不同的权重，在最小化重投影误差中，带入所述权重进行计算，使得高权重的点对定位结果的影响更大；在计算得到定位结果的位置和朝向时，获取符合定位结果的2D-3D点对的标签，判断2D-3D点对的标签是否一致，若不一致则认为这对点不可靠，在标签一致的情况下，如果该标签具有低可信度，则这对点的可信度即标签可信度也很低，如果待定位地图中2D-3D点对的平均可信度很低，则认为定位结果错误，进行排除；

定位模块，用于根据所述匹配信息获取定位结果，得到所述待定位图像的6DoF位置和朝向。

5.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至3中任一项所述的结合场景标注信息的视觉定位方法。

6.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至3中任一项所述的结合场景标注信息的视觉定位方法。