CN112051921A - Ar导航地图生成方法、装置、计算机设备和可读存储介质 - Google Patents

Ar导航地图生成方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN112051921A
CN112051921A CN202010624965.3A CN202010624965A CN112051921A CN 112051921 A CN112051921 A CN 112051921A CN 202010624965 A CN202010624965 A CN 202010624965A CN 112051921 A CN112051921 A CN 112051921A
Authority
CN
China
Prior art keywords
map
coordinate
points
geometric
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010624965.3A
Other languages
English (en)
Other versions
CN112051921B (zh
Inventor
王成
刘海伟
丛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202010624965.3A priority Critical patent/CN112051921B/zh
Publication of CN112051921A publication Critical patent/CN112051921A/zh
Application granted granted Critical
Publication of CN112051921B publication Critical patent/CN112051921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T3/06—

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

本申请涉及一种AR导航地图生成方法、装置、计算机设备和可读存储介质，其中，该AR导航地图生成方法包括：获取3D特征地图和地理坐标系下的2D平面地图；将3D特征地图转换为2D几何地图；对地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图；将UTM坐标系下的2D平面地图和2D几何地图进行坐标对齐，生成AR导航地图。通过本申请，解决了现有技术中无法提供高精度3D AR导航地图的问题。

Description

AR导航地图生成方法、装置、计算机设备和可读存储介质
技术领域
本申请涉及AR导航技术领域，特别是涉及一种AR导航地图生成方法、装置、计算机设备和可读存储介质。
背景技术
随着计算机技术的快速发展，AR(Augmented Reality，增强现实)技术得到广泛应用，其通过将数字图像覆盖在人们所能看到的真实世界中，实现将AR投射出来的信息与真实环境融合为一体。传统的2D导航服务已经无法满足用户逐渐增长的导航服务需求，因此，实现AR导航具有现实意义。
在相关技术中，根据GPS和IMU计算用户位姿，并根据磁力计算用户朝向，以实现手机的3D AR导航。然而，根据手机GPS和IMU计算出来的用户位姿可能存在数10m的位置误差，导致AR导航精度比较低。
目前针对相关技术中无法提供高精度的3D AR导航地图的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种AR导航地图生成方法、装置、计算机设备和可读存储介质，以至少解决相关技术中无法提供高精度3D AR导航地图的问题。
第一方面，本申请实施例提供了一种AR导航地图生成方法，所述方法包括：
获取3D特征地图和地理坐标系下的2D平面地图；
将所述3D特征地图转换为2D几何地图；
对所述地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图；
将UTM坐标系下的所述2D平面地图和所述2D几何地图进行坐标对齐，生成AR导航地图。
在其中一些实施例中，所述将所述3D特征地图转换为2D几何地图包括：
对所述3D特征地图所在的空间画2D栅格，以将所述3D特征地图中的3D点投影在所述2D栅格内；
计算投影在所述2D栅格内3D点的统计特征；
根据所述2D栅格内3D点的统计特征，得到2D统计特征栅格图；
对所述2D统计特征栅格图进行二值化处理，并提取二值化处理后所述2D统计特征栅格图的轮廓，得到所述2D几何地图。
在其中一些实施例中，在根据所述2D栅格内3D点的统计特征，得到2D统计特征栅格图之前，所述方法还包括：
根据所述2D栅格内3D点的统计特征，生成所述2D栅格对应的统计特征直方图；
根据所述统计特征直方图，计算统计特征阈值；
剔除所述统计特征小于所述统计特征阈值的3D点。
在其中一些实施例中，所述3D点的统计特征包括均值、方差或中位数。
在其中一些实施例中，在对所述地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图之后，所述方法还包括：
对UTM坐标系下的2D平面地图中点的坐标减去固定偏移值。
在其中一些实施例中，所述将UTM坐标系下的所述2D平面地图和所述2D几何地图进行坐标对齐，生成AR导航地图包括：
选取UTM坐标系下所述2D平面地图中的两个坐标点以及所述2D几何地图中对应的两个坐标点，以对所述2D平面地图和所述2D几何地图进行初始化对齐；
求解初始化对齐化后所述2D平面地图中的坐标点与所述2D几何地图中的坐标点之间的对齐转换关系；
根据所述对齐转换关系，对所述2D平面地图和所述2D几何地图进行坐标对齐，生成所述AR导航地图。
在其中一些实施例中，所述求解初始化对齐化后所述2D平面地图中的坐标点与所述2D几何地图中的坐标点之间的对齐转换关系包括：
选取初始化对齐化后所述2D平面地图中的多个坐标点，构成第一点集；
在所述2D几何地图中分别选取与所述第一点集中的每一坐标点对应的坐标点，构成第二点集；
求解所述第一点集中的坐标点与所述第二点集中的坐标点之间的变换矩阵；
通过多次迭代对所述变换矩阵进行优化，直至收敛，并将优化后的变换矩阵作为所述2D平面地图中坐标点与所述2D几何地图中坐标点的对齐转换关系。
第二方面，本申请实施例提供了一种AR导航地图生成装置，所述装置包括：
数据获取模块，用于获取3D特征地图和地理坐标系下的2D平面地图；
第一转换模块，用于将所述3D特征地图转换为2D几何地图；
第二转换模块，用于对所述地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图；
坐标对齐模块，用于将UTM坐标系下的所述2D平面地图和所述2D几何地图进行坐标对齐，生成AR导航地图。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的AR导航地图生成方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的AR导航地图生成方法。
相比于相关技术，本申请实施例提供的AR导航地图生成方法、装置、计算机设备和可读存储介质，通过获取3D特征地图和地理坐标系下的2D平面地图；将3D特征地图转换为2D几何地图；对地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图；将UTM坐标系下的2D平面地图和2D几何地图进行坐标对齐，生成AR导航地图，解决了现有技术中无法提供高精度3D AR导航地图的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例的AR导航地图生成方法的流程图；
图2为本申请实施例中生成2D几何地图的流程图；
图3为本申请实施例中2D均值特征栅格图的示意图；
图4为本申请实施例中二值化后的2D均值特征栅格图的示意图；
图5为本申请实施例中剔除统计特征小于统计特征阈值的3D点的流程图；
图6为本申请实施例中统计特征直方图的示意图；
图7为本申请实施例中将UTM坐标系下的2D平面地图和2D几何地图进行坐标对齐，生成AR导航地图的流程图；
图8为本申请实施例中求解对齐转换关系的流程图；
图9为本申请具体实施例的AR导航地图生成方法的流程图；
图10为本申请实施例的AR导航地图生成装置的结构框图；
图11为本申请实施例的AR导航地图生成设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请所描述的各种技术，可以但不仅限于应用于移动设备的导航系统以及车辆导航系统。
本实施例提供了一种AR导航地图生成方法。图1为本申请实施例的AR导航地图生成方法的流程图，如图1所示，该流程包括如下步骤：
步骤S110，获取3D特征地图和地理坐标系下的2D平面地图。
特征地图是机器人学中地图的一种表示方法，即通过物体的几何特征来模拟真实环境，几何特征包括点、线和面。3D特征地图表示笛卡尔坐标系下的三维特征地图。可以通过3D MAX和MAPBOX等建模软件来制作3D特征地图，可以从谷歌地图等现有的地图软件中获取3D特征地图，也可以通过激光雷达三维重建、计算机视觉三维重建得到3D特征地图，本实施例不作限制。2D平面地图可以是WGS84坐标系下的二维平面地图，可以通过百度地图和高德地图等现有的地图软件中获取2D平面地图。
在其中一些实施例中，在获取3D特征地图之后，通过对3D特征地图进行重力对齐处理，得到重力对齐后的3D特征地图。
可以采用重力传感器对3D特征地图进行重力对齐处理，也可以借助视觉统计算法对3D特征地图进行重力对齐处理，本实施例不作限制。例如，可以采IMU(Inertialmeasurement unit，惯性测量单元)对3D特征地图进行重力对齐处理。
需要说明的是，由于地理坐标系下的2D平面地图是重力对齐的，因此通过对3D特征地图进行重力对齐处理，可以使得2D平面地图与3D特征地图更加统一，便于后续的坐标对齐处理，提高坐标对齐处理效果。
步骤S120，将3D特征地图转换为2D几何地图。
具体可以通过将3D特征地图中的3D点投影到2D平面上，得到2D几何地图。通过将3D特征地图转换为2D几何地图，降低坐标维度，为后续对2D平面地图和2D几何地图进行坐标对齐处理作准备。
步骤S130，对地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图。
可以采用UTM投影方法，将地理坐标系下的2D平面地图转换为UTM坐标系下的2D平面地图。UTM(Universal Transverse Mercator Grid System，通用横墨卡托格网系统，简称UTM)投影是一种等角横轴割圆柱投影，圆柱割地球于南纬80度、北纬84度两条等高圈。
由于笛卡尔坐标系下的2D几何地图中点的坐标为直角坐标，因此，通过将地理坐标系下的2D平面地图转换为UTM坐标系下的2D平面地图，可以使2D平面地图中点对应的球面坐标转换为直角坐标，以实现2D平面地图和2D几何地图中点的坐标类型的统一，从而便于对2D平面地图和2D几何地图进行坐标对齐处理。
步骤S140，将UTM坐标系下的2D平面地图和2D几何地图进行坐标对齐，生成AR导航地图。
通过获取UTM坐标系下的2D平面地图和2D几何地图中的对应的坐标点对，并根据坐标点对之间的坐标转换关系对2D平面地图和2D几何地图进行坐标转换处理，以实现UTM坐标系下的2D平面地图和2D几何地图的坐标对齐，生成AR导航地图。
通过上述步骤S110至步骤S140，将UTM坐标系下的2D平面地图和2D几何地图进行坐标对齐，从而可以将3D AR导航结果映射到2D几何地图，实现3D AR导航和2D平面导航的统一。通过3D特征地图将模拟场景与真实场景相结合，增强了视觉效果，打破了现有技术中采用贴图技术实现伪3D导航的技术瓶颈，基于3D特征地图可以得到亚厘米级的用户位姿，实现了真正的AR导航，从而解决了现有技术中无法提供高精度3D AR导航地图的问题。
图2为本申请实施例中生成2D几何地图的流程图，如图2所示，该流程包括如下步骤：
步骤S210，对3D特征地图所在的空间画2D栅格，以将3D特征地图中的3D点投影在2D栅格内。
具体地，对3D特征地图所在的空间画多个2D栅格，构成2D栅格地图。建立2D栅格地图中的2D栅格与3D特征地图中3D点之间的索引关系。根据2D栅格与3D点之间的索引关系，将3D特征地图中3D点投影至对应的2D栅格内。
步骤S220，计算投影在2D栅格内3D点的统计特征。
在其中一些实施例中，3D点的统计特征包括均值、方差或中位数。
步骤S230，根据2D栅格内3D点的统计特征，得到2D统计特征栅格图。
根据2D栅格地图中每一2D栅格内3D点的统计特征，得到2D统计特征栅格图。
步骤S240，对2D统计特征栅格图进行二值化处理，并提取二值化处理后2D统计特征栅格图的轮廓，得到2D几何地图。
通过对2D统计特征栅格图进行二值化处理，将2D统计特征栅格图中每一像素点的灰度值设置为0或255，使得2D统计特征栅格图呈现出明显的黑白效果，能凸显出感兴趣的目标的轮廓，便于提取二值化处理后2D统计特征栅格图的轮廓。
具体地，可以通过计算2D栅格地图中每一2D栅格内3D点的均值，并根据2D栅格地图中每一2D栅格内3D点的均值，生成2D均值特征栅格图。通过对2D均值特征栅格图进行二值化处理，得到二值化后的2D均值特征栅格图。
图3为本申请实施例中2D均值特征栅格图的示意图，如图3所示，2D均值特征栅格图中的某些区域显示比较模糊，无法清晰地显示物体的轮廓。图4为本申请实施例中二值化后的2D均值特征栅格图的示意图，如图4所示，二值化后的2D均值特征栅格图相比于图3中的2D均值特征栅格图能够清晰地显示物体的轮廓，具有更好的显示效果。
通过上述步骤S210至步骤S240，将3D特征地图中的3D点投影到2D栅格中，并计算投影在2D栅格内3D点的统计特征，实现将3D特征地图转换为2D统计特征栅格图。通过对2D统计特征栅格图进行二值化处理，使得2D统计特征栅格图变得简单，降低了图像处理的数据量，可以提高数据处理效率。
在其中一些实施例中，图5为本申请实施例中剔除统计特征小于统计特征阈值的3D点的流程图，如图5所示，该流程包括如下步骤：
步骤S510，根据2D栅格内3D点的统计特征，生成2D栅格对应的统计特征直方图。
统计特征包括均值、方差或者中位数。
步骤S520，根据统计特征直方图，计算统计特征阈值。
图6为本申请实施例中统计特征直方图的示意图，可以采用直方图二值化算法对图6中的统计特征直方图进行二值化处理，得到统计特征阈值，也可以采用其他算法计算统计特征阈值，本实施例不限制算法的类型。例如，可以采用大津算法对统计特征直方图进行二值化处理，得到统计特征阈值。
步骤S530，剔除统计特征小于统计特征阈值的3D点。
在其中一些实施例中，在局部区域内，可以通过计算2D栅格内3D点的多种统计特征进行剔除处理，并对比最终的剔除效果，选择剔除效果最优的统计特征进行整体局域的剔除处理。
需要说明的是，投影后得到的2D统计特征栅格图中存在大量不利于对齐处理的3D点，因此需要对这些3D点进行剔除处理，以便于后续的对齐处理，提高坐标对齐处理效果。例如，投影后得到的2D统计特征栅格图中存在大量的地面点，这些地面点使得整个2D统计特征栅格图比较杂乱模糊，无法清晰凸显物体的轮廓，因此，需要对3D点中的地面点进行剔除处理，从而得到清晰的2D统计特征栅格图，便于提取2D统计特征栅格图的轮廓。
通过上述步骤S510至步骤S530，通过根据2D栅格内3D点的统计特征，生成2D栅格对应的统计特征直方图，根据统计特征直方图，计算统计特征阈值，剔除统计特征小于统计特征阈值的3D点。通过剔除2D统计特征栅格图中不利于对齐处理的3D点，以便于后续的对齐处理，提高了坐标对齐处理效果。通过剔除2D统计特征栅格图中的地面点，解决了无法清晰的凸显出物体的轮廓的问题，可以得到清晰的2D统计特征栅格图，便于提取2D统计特征栅格图的轮廓，得到更加清晰的2D几何地图，从而提高了坐标对齐处理效果。
在其中一些实施例中，在对地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图之后，对UTM坐标系下的2D平面地图中点的坐标减去固定偏移值。
固定偏移值Offset表示预先设置的坐标偏移值，可以按照实际需求对固定偏移值Offset进行设置，本实施例不作限制。
由于UTM坐标系下的2D平面地图中点的坐标的数值比较大，不便于后续的坐标对齐处理，因此，通过对UTM坐标系下的2D平面地图中点的坐标减去固定偏移值，可以降低数据的复杂度，从而可以提高坐标对齐处理效率。
在其中一些实施例中，图7为本申请实施例中将UTM坐标系下的2D平面地图和2D几何地图进行坐标对齐，生成AR导航地图的流程图，如图7所示，该流程包括如下步骤：
步骤S710，选取UTM坐标系下2D平面地图中的两个坐标点以及2D几何地图中对应的两个坐标点，以对2D平面地图和2D几何地图进行初始化对齐。
例如，以桌子的实体为参照系，在UTM坐标系下2D平面地图中选取坐标点A1和坐标点A2，坐标点A1和坐标点A2分别与桌子的两个桌角对应；在2D几何地图中选取与坐标点A1对应的坐标点B1，以及与坐标点A2对应的坐标点B2，其中，坐标点A1、坐标点B1分别与左上侧桌角对应，坐标点A2、坐标点B2分别与右上侧桌角对应。
根据UTM坐标系下2D平面地图中的两个坐标点以及2D几何地图中对应的两个坐标点的位置关系，对2D平面地图和2D几何地图进行平移转换和旋转转换处理，实现对2D平面地图和2D几何地图进行初始化对齐。
步骤S720，求解初始化对齐化后2D平面地图中的坐标点与2D几何地图中的坐标点之间的对齐转换关系。
步骤S730，根据对齐转换关系，对2D平面地图和2D几何地图进行坐标对齐，生成AR导航地图。
需要说明的是，可以通过将3D AR导航结果映射到2D平面地图上，以实现统一3D和2D的目的。
通过上述步骤S710至步骤S730，对2D平面地图和2D几何地图进行初始化对齐，求解初始化对齐化后2D平面地图中的坐标点与2D几何地图中的坐标点之间的对齐转换关系，并通过对齐转换关系实现对2D平面地图和2D几何地图的精准坐标对齐。本实施例通过将坐标转换问题转换为数学问题，可以得到比较准确的对齐转换关系，从而可以生成高精度的AR导航地图。
在其中一些实施例中，图8为本申请实施例中求解对齐转换关系的流程图，如图8所示，该流程包括如下步骤：
步骤S810，选取初始化对齐化后2D平面地图中的多个坐标点，构成第一点集。
步骤S820，在2D几何地图中分别选取与第一点集中的每一坐标点对应的坐标点，构成第二点集。
以真实环境中的物体为参照系，在2D几何地图中分别选取与第一点集中的每一坐标点对应的坐标点，每一组两两对应的坐标点均与真实环境中的物体的某一点对应。例如，以台阶为参照系，在初始化对齐化后2D平面地图中选取三个坐标点，构成第一点集(A11，A12，A13)，在2D几何地图中选取与第一点集中的每一坐标点对应的坐标点，构成第一点集(B11，B12，B13)，其中，坐标点A11和坐标点B11对应第一台阶中的一个点，坐标点A12和坐标点B12对应第二台阶中的一个点，坐标点A13和坐标点B13对应第三台阶中的一个点。
步骤S830，求解第一点集中的坐标点与第二点集中坐标点之间的变换矩阵。
变换矩阵包括旋转参数和平移参数。根据第一点集中的的坐标点与第二点集中的坐标点，建立多个坐标转换方程：
X*An＝Bn (1)
其中，X为变换矩阵，An为第一点集中的第n个坐标点，Bn为第一点集中的第n个坐标点。
通过对多个坐标转换方程进行求解，可以得到第一点集中的坐标点与第二点集中的坐标点之间的变换矩阵。
步骤S840，通过多次迭代对变换矩阵进行优化，直至收敛，并将优化后的变换矩阵作为2D平面地图中坐标点与2D几何地图中坐标点的对齐转换关系。
根据求解得到的变换矩阵和第一点集，确定新的第二点集，从而根据第一点集和新的第二点集求解新的变换矩阵，完成一次迭代。通过多次迭代对变换矩阵进行优化，直至迭代次数达到最大值或者第一点集中坐标点与第二点集中坐标点之间的距离小于设定的距离阈值。
通过上述步骤S810至步骤S840，求解第一点集中的坐标点与第二点集中的坐标点之间的变换矩阵，通过多次迭代对变换矩阵进行优化，直至收敛，并将优化后的变换矩阵作为2D平面地图中坐标点与2D几何地图中坐标点的对齐转换关系，可以得到更加准确的对齐转换关系，进一步提高了坐标对齐的准确度，从而可以进一步提高AR导航地图的导航精度。
下面通过具体实施例对本申请实施例进行描述和说明。
图9为本申请具体实施例的AR导航地图生成方法的流程图，如图9所示，该AR导航地图生成方法方法包括如下步骤：
步骤S910，获取3D特征地图和地理坐标系下的2D平面地图。
步骤S920，将3D特征地图转换为2D几何地图。
步骤S930，对地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图。
步骤S940，选取UTM坐标系下所述2D平面地图中的两个坐标点以及所述2D几何地图中对应的两个坐标点，以对所述2D平面地图和所述2D几何地图进行初始化对齐；求解初始化对齐化后所述2D平面地图中的坐标点与所述2D几何地图中的坐标点之间的对齐转换关系。
步骤S950，根据对齐转换关系，对2D平面地图和2D几何地图进行坐标对齐，生成AR导航地图。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，结合图1，步骤S120和步骤S130的执行顺序可以互换，即可以先执行步骤S120，然后执行步骤S130；也可以先执行步骤S130，然后执行步骤S120。再例如，结合图9，步骤S920和步骤S930的顺序也可以互换。
本实施例还提供了一种AR导航地图生成装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图10为本申请实施例的AR导航地图生成装置的结构框图，如图10所示，该装置包括：
数据获取模块1010，用于获取3D特征地图和地理坐标系下的2D平面地图；
第一转换模块1020，用于将3D特征地图转换为2D几何地图；
第二转换模块1030，用于对地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图；
坐标对齐模块1040，用于将UTM坐标系下的2D平面地图和2D几何地图进行坐标对齐，生成AR导航地图。
在其中一些实施例中，第一转换模块1020包括3D点投影单元、统计特征计算单元、栅格图生成单元和几何地图生成单元，其中：
3D点投影单元，用于对3D特征地图所在的空间画2D栅格，以将3D特征地图中的3D点投影在2D栅格内。
统计特征计算单元，用于计算投影在2D栅格内3D点的统计特征。
栅格图生成单元，用于根据2D栅格内3D点的统计特征，得到2D统计特征栅格图。
几何地图生成单元，用于对2D统计特征栅格图进行二值化处理，并提取二值化处理后2D统计特征栅格图的轮廓，得到2D几何地图。
在其中一些实施例中，第一转换模块1020还包括地面点剔除单元，地面点剔除单元用于将每一3D点的统计特征与地面点统计特征进行比较；根据比较结果，剔除3D点中的地面点。
在其中一些实施例中，3D点的统计特征包括均值、方差或中位数。
在其中一些实施例中，对UTM坐标系下的2D平面地图中点的坐标减去固定偏移值。
在其中一些实施例中，坐标对齐模块1040包括第一对齐单元、转换关系求解单元和第二对齐单元，其中：
第一对齐单元，用于选取UTM坐标系下2D平面地图中的两个坐标点以及2D几何地图中对应的两个坐标点，以对2D平面地图和2D几何地图进行初始化对齐。
转换关系求解单元，用于求解初始化对齐化后2D平面地图中的坐标点与2D几何地图中的坐标点之间的对齐转换关系。
第二对齐单元，用于根据对齐转换关系，对2D平面地图和2D几何地图进行坐标对齐，生成AR导航地图。
在其中一些实施例中，转换关系求解单元包括第一选取子单元、第二选取子单元、矩阵求解子单元和迭代子单元，其中：
第一选取子单元，用于选取初始化对齐化后2D平面地图中的多个坐标点，构成第一点集。
第二选取子单元，用于在2D几何地图中分别选取与第一点集中的每一坐标点对应的坐标点，构成第二点集。
矩阵求解子单元，用于求解第一点集中的坐标点与第二点集中的坐标点之间的变换矩阵。
迭代子单元，用于通过多次迭代对变换矩阵进行优化，直至收敛，并将优化后的变换矩阵作为2D平面地图中坐标点与2D几何地图中坐标点的对齐转换关系。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例AR导航地图生成方法可以由AR导航地图生成设备来实现。图11为本申请实施例的AR导航地图生成设备的硬件结构示意图。
AR导航地图生成设备可以包括处理器111以及存储有计算机程序指令的存储器112。
具体地，上述处理器111可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器115可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器115可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器115可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器115可在数据处理装置的内部或外部。在特定实施例中，存储器115是非易失性(Non-Volatile)存储器。在特定实施例中，存储器115包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random Access Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory，简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory，简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-AccessMemory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器115可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器112所执行的可能的计算机程序指令。
处理器111通过读取并执行存储器112中存储的计算机程序指令，以实现上述实施例中的任意一种AR导航地图生成方法。
在其中一些实施例中，AR导航地图生成设备还可包括通信接口113和总线110。其中，如图11所示，处理器111、存储器112、通信接口113通过总线110连接并完成相互间的通信。
通信接口113用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口113还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线110包括硬件、软件或两者，将AR导航地图生成设备的部件彼此耦接在一起。总线110包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线110可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线110可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该AR导航地图生成设备可以基于获取到的AR导航地图生成，执行本申请实施例中的AR导航地图生成方法，从而实现结合图1描述的AR导航地图生成方法。
另外，结合上述实施例中的AR导航地图生成方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种AR导航地图生成方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种AR导航地图生成方法，其特征在于，所述方法包括：
获取3D特征地图和地理坐标系下的2D平面地图；
将所述3D特征地图转换为2D几何地图；
对所述地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图；
将UTM坐标系下的所述2D平面地图和所述2D几何地图进行坐标对齐，生成AR导航地图。
2.根据权利要求1所述的方法，其特征在于，所述将所述3D特征地图转换为2D几何地图包括：
对所述3D特征地图所在的空间画2D栅格，以将所述3D特征地图中的3D点投影在所述2D栅格内；
计算投影在所述2D栅格内3D点的统计特征；
根据所述2D栅格内3D点的统计特征，得到2D统计特征栅格图；
对所述2D统计特征栅格图进行二值化处理，并提取二值化处理后所述2D统计特征栅格图的轮廓，得到所述2D几何地图。
3.根据权利要求2所述的方法，其特征在于，在根据所述2D栅格内3D点的统计特征，得到2D统计特征栅格图之前，所述方法还包括：
根据所述2D栅格内3D点的统计特征，生成所述2D栅格对应的统计特征直方图；
根据所述统计特征直方图，计算统计特征阈值；
剔除所述统计特征小于所述统计特征阈值的3D点。
4.根据权利要求2所述的方法，其特征在于，所述3D点的统计特征包括均值、方差或中位数。
5.根据权利要求1所述的方法，其特征在于，在对所述地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图之后，所述方法还包括：
对UTM坐标系下的2D平面地图中点的坐标减去固定偏移值。
6.根据权利要求5所述的方法，其特征在于，所述将UTM坐标系下的所述2D平面地图和所述2D几何地图进行坐标对齐，生成AR导航地图包括：
选取UTM坐标系下所述2D平面地图中的两个坐标点以及所述2D几何地图中对应的两个坐标点，以对所述2D平面地图和所述2D几何地图进行初始化对齐；
求解初始化对齐化后所述2D平面地图中的坐标点与所述2D几何地图中的坐标点之间的对齐转换关系；
根据所述对齐转换关系，对所述2D平面地图和所述2D几何地图进行坐标对齐，生成所述AR导航地图。
7.根据权利要求6所述的方法，其特征在于，所述求解初始化对齐化后所述2D平面地图中的坐标点与所述2D几何地图中的坐标点之间的对齐转换关系包括：
选取初始化对齐化后所述2D平面地图中的多个坐标点，构成第一点集；
在所述2D几何地图中分别选取与所述第一点集中的每一坐标点对应的坐标点，构成第二点集；
求解所述第一点集中的坐标点与所述第二点集中的坐标点之间的变换矩阵；
通过多次迭代对所述变换矩阵进行优化，直至收敛，并将优化后的变换矩阵作为所述2D平面地图中坐标点与所述2D几何地图中坐标点的对齐转换关系。
8.一种AR导航地图生成装置，其特征在于，所述装置包括：
数据获取模块，用于获取3D特征地图和地理坐标系下的2D平面地图；
第一转换模块，用于将所述3D特征地图转换为2D几何地图；
第二转换模块，用于对所述地理坐标系下的2D平面地图进行UTM坐标转换处理，得到在UTM坐标系下的2D平面地图；
坐标对齐模块，用于将UTM坐标系下的所述2D平面地图和所述2D几何地图进行坐标对齐，生成AR导航地图。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010624965.3A 2020-07-02 2020-07-02 Ar导航地图生成方法、装置、计算机设备和可读存储介质 Active CN112051921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010624965.3A CN112051921B (zh) 2020-07-02 2020-07-02 Ar导航地图生成方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010624965.3A CN112051921B (zh) 2020-07-02 2020-07-02 Ar导航地图生成方法、装置、计算机设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN112051921A true CN112051921A (zh) 2020-12-08
CN112051921B CN112051921B (zh) 2023-06-27

Family

ID=73601857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010624965.3A Active CN112051921B (zh) 2020-07-02 2020-07-02 Ar导航地图生成方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN112051921B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113188554A (zh) * 2021-04-16 2021-07-30 杭州易现先进科技有限公司 一种3dar导航的路径规划方法和系统
CN117033862A (zh) * 2023-10-08 2023-11-10 西安道达天际信息技术有限公司 地理坐标转换为ar坐标的转换方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060269164A1 (en) * 2005-05-06 2006-11-30 Viswanathan Raju R Registration of three dimensional image data with X-ray imaging system
CN101944240A (zh) * 2010-08-20 2011-01-12 浙江大学 多机器人三维几何地图的融合方法
CN108256430A (zh) * 2017-12-20 2018-07-06 北京理工大学 障碍物信息获取方法、装置及机器人
CN110400363A (zh) * 2018-04-24 2019-11-01 北京京东尚科信息技术有限公司 基于激光点云的地图构建方法和装置
CN110428499A (zh) * 2019-07-15 2019-11-08 高新兴科技集团股份有限公司 在二维平面地图上叠加三维实景地图的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060269164A1 (en) * 2005-05-06 2006-11-30 Viswanathan Raju R Registration of three dimensional image data with X-ray imaging system
CN101944240A (zh) * 2010-08-20 2011-01-12 浙江大学 多机器人三维几何地图的融合方法
CN108256430A (zh) * 2017-12-20 2018-07-06 北京理工大学 障碍物信息获取方法、装置及机器人
CN110400363A (zh) * 2018-04-24 2019-11-01 北京京东尚科信息技术有限公司 基于激光点云的地图构建方法和装置
CN110428499A (zh) * 2019-07-15 2019-11-08 高新兴科技集团股份有限公司 在二维平面地图上叠加三维实景地图的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
程效军: "融合航空影像和Lidar点云的建筑物探测及轮廓提取", 《中国激光》 *
童礼华: "建筑轮廓的车载和航空Lidar数据配准", 《测绘学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113188554A (zh) * 2021-04-16 2021-07-30 杭州易现先进科技有限公司 一种3dar导航的路径规划方法和系统
CN117033862A (zh) * 2023-10-08 2023-11-10 西安道达天际信息技术有限公司 地理坐标转换为ar坐标的转换方法、系统及存储介质

Also Published As

Publication number Publication date
CN112051921B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN108198145B (zh) 用于点云数据修复的方法和装置
EP3828825A1 (en) Image segmentation method and apparatus, diagnosis system, storage medium, and computer device
CN110427917B (zh) 用于检测关键点的方法和装置
WO2013176894A2 (en) Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling
CN111639147B (zh) 一种地图压缩方法、系统及计算机可读存储介质
CN112051921B (zh) Ar导航地图生成方法、装置、计算机设备和可读存储介质
CN116310046B (zh) 图像处理方法、装置、计算机及存储介质
CN115035235A (zh) 三维重建方法及装置
CN113129352A (zh) 一种稀疏光场重建方法及装置
CN115546379A (zh) 一种数据处理方法、装置和计算机设备
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
CN114413849A (zh) 一种输变电工程三维地理信息数据处理方法及装置
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
CN113763478A (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN116415652A (zh) 一种数据生成方法、装置、可读存储介质及终端设备
CN115661493A (zh) 一种对象位姿的确定方法及装置、设备及存储介质
CN116704111A (zh) 图像处理方法和设备
CN112615993A (zh) 深度信息获取方法、双目摄像模组、存储介质及电子设备
CN113124816A (zh) 天线工参生成方法、装置、存储介质和计算机设备
CN117437552B (zh) 视觉定位地图的构建方法及装置、设备及存储介质
CN114299265A (zh) 一种飞行时间相机的三维点云数据分割处理方法和系统
JP7432793B1 (ja) 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器
CN117876209A (zh) 体素的快速遍历方法、装置、设备及存储介质
CN116310227B (zh) 三维稠密重建方法、装置、电子设备及介质
CN116263962A (zh) 一种数字地图与三维模型的对齐方法、装置以及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant