CN115187752A - 面向工业大场景的增强现实场景规划与显示系统及方法 - Google Patents

面向工业大场景的增强现实场景规划与显示系统及方法 Download PDF

Info

Publication number
CN115187752A
CN115187752A CN202210575510.6A CN202210575510A CN115187752A CN 115187752 A CN115187752 A CN 115187752A CN 202210575510 A CN202210575510 A CN 202210575510A CN 115187752 A CN115187752 A CN 115187752A
Authority
CN
China
Prior art keywords
scene
camera
virtual model
unit
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210575510.6A
Other languages
English (en)
Inventor
陈成军
梁润北
武殿梁
田效永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202210575510.6A priority Critical patent/CN115187752A/zh
Publication of CN115187752A publication Critical patent/CN115187752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种面向工业大场景的增强现实场景规划与显示系统，包括：移动终端、场景规划单元和增强现实显示单元，移动终端上设有相机；场景规划单元包括场景建立模块和AR内容规划模块，场景建立模块用于读取相机采集到的图像数据，根据图像数据的特征建立相应的场景地图；AR内容规划模块用于保存虚拟模型，在场景地图中放置虚拟模型以及绑定与AR标签对应的虚拟模型，并将虚拟模型参数保存为AR显示内容脚本文件；增强现实显示单元用于加载并解析场景地图数据以及AR显示内容脚本文件，同时通过当前读取到的图像数据对场景地图数据进行重定位，基于重定位的场景地图数据以及解析出的AR显示内容数据在物理场景中显示虚拟模型。

Description

面向工业大场景的增强现实场景规划与显示系统及方法
技术领域
本发明涉及一种面向工业大场景的增强现实场景规划与显示系 统及方法，属于增强现实技术和智能制造技术领域。
背景技术
随着中国经济发展的战略转型及工业4.0概念的提出，面向工业 场景的智能化、可视化技术已成为当前研究热点之一。在传统工业生 产过程中，往往面临着工厂环境复杂、零件装配数量庞大、操作步骤 繁杂等问题。工作人员需要经过长时间培训和阅读大量装配手册才能 上手操作，这不得不花费大量的时间成本，导致在大规模生产中效率 低下、错误率较高。
增强现实技术(Augmented Reality，简称AR)是一种能够将虚拟 物体叠加到真实场景中的技术，目前已广泛应用于工业生产、机械装 配、远程维修等领域。而现有的增强现实系统大多存在功能单一、定 位精度低、面向大场景时鲁棒性差等问题，且针对不同场景都需要单 独开发相应的应用程序，难以满足现实工业生产的需求。
发明内容
为了解决上述现有技术中存在的问题，本发明提出了一种面向工 业大场景的增强现实场景规划与显示系统及方法，建立了场景规划单 元和增强现实显示单元，能够帮助用户快速构建AR应用系统，降低 了AR应用程序的开发难度。
本发明的技术方案如下：
一方面，本发明提供一种面向工业大场景的增强现实场景规划与 显示系统，包括：
移动终端、场景规划单元和增强现实显示单元，所述移动终端上 设有相机，所述场景规划单元和增强现实显示单元搭载于所述移动终 端内；
所述场景规划单元包括场景建立模块和AR内容规划模块，所述 场景建立模块用于读取相机采集到的图像数据，根据图像数据的特征 建立相应的场景地图；所述AR内容规划模块用于保存虚拟模型，在 场景地图中放置虚拟模型以及绑定与AR标签对应的虚拟模型，并将 放置虚拟模型的参数及与AR标签对应的虚拟模型参数保存为AR显示 内容脚本文件；
所述增强现实显示单元用于加载并解析场景地图数据以及AR显 示内容脚本文件，同时读取相机采集到的图像数据，通过当前读取到 的图像数据对场景地图数据进行重定位，基于重定位的场景地图数据 以及AR显示内容脚本文件解析出的数据在物理场景中显示放置的虚 拟模型以及与AR标签对应的虚拟模型。
作为优选实施方式，所述场景建立模块包括图像读取模块和建图 模块；
所述图像读取模块包括相机视频读取单元，用于读取相机采集到 的相机视频图像帧；
所述建图模块包括特征提取单元、关键帧选取单元、相机位姿求 解单元以及场景地图生成单元；所述特征提取单元用于提取相机视频 图像帧中的特征点，并计算特征点的描述子及在世界坐标系中的三维 坐标，获取局部地图数据；所述关键帧选取单元根据提取的特征点对 每一相机视频图像帧进行跟踪，判断是否插入关键帧，并对应生成一 待插入地图的关键帧序列，同时计算当前关键帧的特征信息；所述相 机位姿求解单元用于求解相机的实时位姿；
所述场景地图生成单元在移动终端旋转平移时，不断扩展获取不 同的局部地图数据，基于获取的各局部地图数据、关键帧序列及关键 帧的特征信息、相机的实时位姿融合各局部地图数据，形成场景点云 地图，保存为点云地图脚本文件，同时将生成场景地图时获取的相机 视频图像帧保存为场景视频文件。
作为优选实施方式，所述图像读取模块还包括场景视频读取单 元，用于读取场景视频文件的场景视频图像帧；
所述AR内容规划模块包括模型库、平面检测单元、交互单元、 AR标签规划单元以及脚本文件生成单元；所述模型库用于保存虚拟 模型以及设定虚拟模型的参数信息；所述平面检测单元读取场景视频 图像帧并识别当前场景视频图像帧中的平面区域；所述交互单元用于 选取虚拟模型，并在识别出的平面区域中放置和操作虚拟模型；所述 AR标签规划单元用于生成AR标签，并绑定指定AR标签与虚拟模型 的对应关系；
所述脚本文件生成单元将交互单元中放置的虚拟模型信息、对虚 拟模型进行操作的参数信息以及AR标签规划单元生成的AR标签信息 及AR标签对应的虚拟模型信息保存为显示脚本文件。
作为优选实施方式，所述增强现实显示单元包括地图导入模块、 定位模块、脚本解析模块、AR标签解析模块以及显示模块；
所述地图导入模块用于加载点云地图脚本文件，获取场景点云地 图；所述定位模块用于获取相机采集到的相机视频图像帧，根据相机 视频图像帧匹配关键帧，根据匹配的关键帧的信息对相机进行重定 位；所述脚本解析模块用于解析显示脚本文件，获取虚拟模型信息并 对应设置虚拟模型在物理场景的参数信息；所述显示模块用于在物理 场景中显示放置的虚拟模型以及解析AR标签并按照显示脚本文件的 内容显示对应的虚拟模型。
作为优选实施方式，所述AR标签为二维码。
另一方面，本发明提供一种面向工业大场景的增强现实场景规划 与显示方法，基于本发明任一实施例所述的面向工业大场景的增强现 实场景规划与显示系统实现，包括以下步骤：
操作者利用移动终端对工业场景进行扫描拍摄，通过所述场景规 划单元中的相机视频读取模块实时获取相机视频图像帧并传输至建 图模块；
利用建图模块中的特征提取单元提取相机视频图像帧中的特征 点，获取局部地图数据，通过关键帧选取单元生成关键帧序列，同时 计算当前关键帧的特征信息，通过相机位姿求解单元求解相机的实时 位姿，通过场景地图生成单元生成点云地图脚本文件和场景视频文 件；
通过AR内容规划模块加载场景视频文件，同时解析点云地图脚 本文件导入场景点云地图，将场景视频文件以单帧图像的形式进行播 放，利用平面检测单元检测当前场景视频图像帧的平面区域，通过交 互单元在场景的平面区域上设置虚拟模型并对虚拟模型进行操作，利 用AR标签规划单元用于生成AR标签，并绑定指定AR标签与虚拟模 型的对应关系，利用脚本文件生成单元生成显示内容脚本文件；
利用增强现实显示单元加载点云地图脚本文件和显示内容脚本 文件，生成场景点云地图并获取虚拟模型的参数信息；通过定位模块 进行相机的重定位，获取相机的位姿，通过显示模块在物理场景中显 示放置的虚拟模型以及解析AR标签并显示对应的虚拟模型，实现增 强现实的显示和注册。
作为优选实施方式，所述通过关键帧选取单元生成关键帧序列， 同时计算当前关键帧的特征信息的方法具体为：
通过特征提取单元提取的特征点对每一帧场景视频图像帧进行 跟踪计算，根据跟踪过程中的关键帧判定函数判断是否插入关键帧， 并生成一个待插入地图的关键帧序列；
同时计算当前关键帧包括BoW向量、共视关系的特征信息，并将 关键帧插入场景点云地图中；
根据特征信息对关键帧进行包括三维点融合、局部BA优化、关 键帧剔除的优化操作。
作为优选实施方式，所述通过相机位姿求解单元求解相机的实时 位姿的方法具体为：
在上一帧场景视频图像帧跟踪成功后，设定相机匀速运动，将上 一帧场景视频图像帧中的特征点与场景点云地图中的对应点云相匹 配，用上一帧场景视频图像帧的相机位姿来优化当前的相机位姿；
若当前场景视频图像帧提取的特征点较少时，与最近的关键帧进 行匹配，并通过BoW向量词典进行特征匹配，优化相机位姿。
作为优选实施方式，所述通过定位模块进行相机的重定位，获取 相机的位姿的方法具体为：
在关键帧序列中寻找与当前相机视频图像帧对应的候选关键帧， 用BoW向量词典匹配当前相机视频图像帧和该关键帧，对每个候选关 键帧，用EPNP算法估计位姿来实现相机的重定位。
作为优选实施方式，所述解析AR标签并显示对应的虚拟模型的 方法具体为：
通过移动终端扫描AR标签，通过移动终端的二维码解码模块对 AR标签进行解码操作，获取AR标签保存的信息；
识别AR标签的位置信息，根据AR标签的位置信息计算对应的虚 拟模型在物理场景的位置信息，根据对应的虚拟模型在物理场景的位 置信息将虚拟模型叠加在物理场景中，完成增强现实注册。
本发明具有如下有益效果：
1、本发明一种面向工业大场景的增强现实场景规划与显示系 统，建立了场景规划单元和增强现实显示单元，用户可以快速构建 AR应用系统，降低了AR应用程序的开发难度。
2、本发明一种面向工业大场景的增强现实场景规划与显示系 统，场景规划单元能够通过建图模块构建大场景的全局场景点云地 图，并通过显示内容规划模块进行AR显示内容规划，保存为脚本文 件；增强现实显示单元加载相关脚本文件，能够实现AR显示内容的 重构和基于相机重定位的AR内容显示。
附图说明
图1为本发明实施例一的系统框架示意图；
图2为本发明实施例二的方法流程图；
图3为本发明实施例中计算二维码位置的示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部 分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普 通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为 对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定 实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利 要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数 形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、 元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步 骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合 以及所有可能组合，并且包括这些组合。
实施例一：
参见图1，本实施例提供一种面向工业大场景的增强现实场景规 划与显示系统，包括：
移动终端、场景规划单元和增强现实显示单元，所述移动终端具 体为移动计算机，移动计算机上设有用于视频采集的相机，且所述场 景规划单元和增强现实显示单元分别以软件的形式搭载于移动计算 机内；
所述场景规划单元包括场景建立模块和AR内容规划模块，所述 场景建立模块用于读取相机采集到的图像数据，根据图像数据的特征 建立相应的场景地图；所述AR内容规划模块用于保存虚拟模型，在 场景地图中放置虚拟模型以及绑定与AR标签对应的虚拟模型，并将 放置虚拟模型的参数及与AR标签对应的虚拟模型参数保存为AR显示 内容脚本文件；
所述增强现实显示单元用于加载并解析场景地图数据以及AR显 示内容脚本文件，同时读取相机采集到的图像数据，通过当前读取到 的图像数据对场景地图数据进行重定位，基于重定位的场景地图数据 以及AR显示内容脚本文件解析出的数据在物理场景中显示放置的虚 拟模型以及与AR标签对应的虚拟模型。
作为本实施例的优选实施方式，所述场景建立模块包括图像读取 模块和建图模块；
所述图像读取模块包括相机视频读取单元，用于读取相机采集到 的相机视频图像帧；
所述建图模块用于进行场景的物理采集，其包括特征提取单元、 关键帧选取单元、相机位姿求解单元以及场景地图生成单元；所述特 征提取单元用于提取相机视频图像帧中的ORB特征点，并计算特征点 的描述子及在世界坐标系中的三维坐标，获取局部地图数据；所述关 键帧选取单元根据提取的特征点对每一相机视频图像帧进行跟踪，判 断是否插入关键帧，并对应生成一待插入地图的关键帧序列，同时计 算当前关键帧的特征信息；所述相机位姿求解单元用于求解相机的实 时位姿；
所述场景地图生成单元在移动终端旋转平移时，不断扩展获取不 同的局部地图的点云数据，基于获取的各局部地图点云数据、关键帧 序列及关键帧的特征信息、相机的实时位姿融合各局部地图数据，形 成全局的场景SLAM稀疏点云地图，保存为点云地图脚本文件，同时 将生成场景地图时获取的相机视频图像帧保存为场景视频文件。
作为本实施例的优选实施方式，所述图像读取模块还包括场景视 频读取单元，用于读取场景视频文件的场景视频图像帧；
所述AR内容规划模块包括模型库、平面检测单元、交互单元、 AR标签规划单元以及脚本文件生成单元；所述模型库用于保存虚拟 模型以及设定虚拟模型的参数信息，模型库中包括三维模型库以及仪 表界面库等；所述平面检测单元读取场景视频图像帧并识别当前场景 视频图像帧中的平面区域；所述交互单元用于选取虚拟模型，并在识 别出的平面区域中放置和操作虚拟模型，操作包括平移、缩放、旋转 等；所述AR标签规划单元用于生成AR标签，并绑定指定AR标签与 虚拟模型的对应关系；
所述脚本文件生成单元将交互单元中放置的虚拟模型信息、对虚 拟模型进行操作的参数信息以及AR标签规划单元生成的AR标签信息 及AR标签对应的虚拟模型信息保存为显示脚本文件。
作为本实施例的优选实施方式，所述增强现实显示单元包括地图 导入模块、定位模块、脚本解析模块、AR标签解析模块以及显示模 块；
所述地图导入模块用于加载点云地图脚本文件，获取场景点云地 图；所述定位模块用于获取相机采集到的相机视频图像帧，根据相机 视频图像帧匹配关键帧，根据匹配的关键帧的信息对相机进行重定 位；所述脚本解析模块用于解析显示脚本文件，获取虚拟模型信息并 对应设置虚拟模型在物理场景的参数信息；所述显示模块用于在物理 场景中显示放置的虚拟模型以及解析AR标签并按照显示脚本文件的 内容显示对应的虚拟模型。
作为本实施例的优选实施方式，所述AR标签为二维码。
实施例二：
参见图2，本实施例提供一种面向工业大场景的增强现实场景规 划与显示方法，基于本发明任一实施例所述的面向工业大场景的增强 现实场景规划与显示系统实现，包括以下步骤：
S1、操作者利用移动终端对工业场景进行扫描拍摄，通过所述场 景规划单元中的相机视频读取模块实时获取相机视频图像帧并传输 至建图模块；
S2、利用建图模块中的特征提取单元提取相机视频图像帧中的 ORB特征点，计算特征点的描述子及在世界坐标系中的三维坐标，同 时利用图像金字塔实现特征尺度的不变性，其中金字塔的层数为8 层，金字塔图像的尺度因子为1.2，获取局部地图数据；通过关键帧 选取单元生成关键帧序列，同时计算当前关键帧的特征信息，通过相 机位姿求解单元求解相机的实时位姿，通过场景地图生成单元生成点 云地图脚本文件和场景视频文件；
S3、通过AR内容规划模块加载场景视频文件，同时解析点云地 图脚本文件导入场景点云地图，将场景视频文件以单帧图像的形式进 行播放，在视频文件播放过程中，操作者通过交互单元可以控制视频 播放，可将视频暂停播放或者慢速播放，利用平面检测单元检测当前 场景视频图像帧进行处理，采用RANSAC(随机抽样一致算法)对当 前场景视频图像帧对应的地图点云进行平面检测并计算其模型矩阵， 此时通过鼠标点击交互单元中的放置模型按钮在适宜场景的平面区 域上放置虚拟模型，并通过键盘交互、鼠标拖拽等操作控制虚拟模型 在物理场景中的旋转、平移、缩放；利用AR标签规划单元用于生成 AR标签，并绑定指定AR标签与虚拟模型的对应关系，上述设置结束 后，利用脚本文件生成单元将虚拟模型及虚拟模型的所有参数信息以 及AR标签与对应的虚拟模型信息生成显示内容脚本文件；
S4、利用增强现实显示单元加载点云地图脚本文件和显示内容脚 本文件，生成场景点云地图并获取虚拟模型的参数信息；通过定位模 块进行相机的重定位，获取相机的位姿，通过显示模块在物理场景中 显示放置的虚拟模型以及解析AR标签并显示对应的虚拟模型，实现 增强现实的显示和注册。
作为本实施例的优选实施方式，所述通过关键帧选取单元生成关 键帧序列，同时计算当前关键帧的特征信息的方法具体为：
通过特征提取单元提取的特征点对每一帧场景视频图像帧进行 跟踪计算，根据跟踪过程中的关键帧判定函数判断是否插入关键帧， 并生成一个待插入地图的关键帧序列；
同时计算当前关键帧包括BoW向量、共视关系的特征信息，并将 关键帧插入场景点云地图中；
根据特征信息对关键帧进行包括三维点融合、局部BA优化、关 键帧剔除的优化操作。
作为本实施例的优选实施方式，所述通过相机位姿求解单元求解 相机的实时位姿的方法具体为：
在上一帧场景视频图像帧跟踪成功后，设定相机匀速运动，将上 一帧场景视频图像帧中的特征点与场景点云地图中的对应点云相匹 配，用上一帧场景视频图像帧的相机位姿来优化当前的相机位姿；
若当前场景视频图像帧提取的特征点较少时，与最近的关键帧进 行匹配，并通过BoW向量词典进行特征匹配，优化相机位姿。
将上述特征点、关键帧、相机位姿加入到局部地图中，通过旋转 平移移动计算机扩展局部地图，将局部地图不断融合形成全局地图， 并将SLAM稀疏点云地图中的信息保存为二进制SLAM脚本文件。
作为本实施例的优选实施方式，所述通过定位模块进行相机的重 定位，获取相机的位姿的方法具体为：
在关键帧序列中寻找与当前相机视频图像帧对应的候选关键帧， 用BoW向量词典匹配当前相机视频图像帧和该关键帧，对每个候选关 键帧，用EPNP算法估计位姿来实现相机的重定位。
参见图3，作为本实施例的优选实施方式，在步骤S4中，通过 显示模块在物理场景中显示放置的虚拟模型以及解析AR标签并显示 对应的虚拟模型，实现增强现实的显示和注册的方法具体为：
显示模块通过脚本解析模块解析放置的虚拟模型的参数信息，在 物理空间中放置虚拟模型；同时通过定位模块实现相机的重定位，设 置相机在物理空间中的实时位姿，从而实现增强现实显示。
通过移动终端扫描场景中的二维码，通过移动终端的二维码解码 模块对二维码进行解码操作，获取二维码保存的信息；
移动计算机的相机(坐标系为)Os-XsYs)实时识别二维码中四个 角点(即特征点)的屏幕坐标(二维坐标)，记为Zi(ui,vi)；设特征 点在相机坐标系(Oc-XcYcZc)下的的三维坐标为Pi(xi,yi,zi)，通过 MATLAB相机标定工具箱标定出相机的内参矩阵K，按下列公式求解：
Figure BDA0003662008320000131
设某点在世界坐标系(Op-XpYpZp)的坐标为Pw(xw,yw,zw)，则对 应在相机坐标系Oc-XcYcZc为Pw(xc,yc,zc),他们的转换关系如下式， 其中[R:t]为转换矩阵：
Figure BDA0003662008320000141
已知二维码角点在屏幕坐标系Os-XsYs和相机坐标系Oc-XcYcZc的 坐标，则通过PnP算法并根据上式求解[R:t]；根据[R:t]计算虚拟模型 在世界坐标系中的位置，并将所述虚拟模型真实叠加在二维码的位 置，完成增强现实注册。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范 围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变 换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明 的专利保护范围内。

Claims (10)

1.一种面向工业大场景的增强现实场景规划与显示系统，其特征在于，包括：
移动终端、场景规划单元和增强现实显示单元，所述移动终端上设有相机，所述场景规划单元和增强现实显示单元搭载于所述移动终端内；
所述场景规划单元包括场景建立模块和AR内容规划模块，所述场景建立模块用于读取相机采集到的图像数据，根据图像数据的特征建立相应的场景地图；所述AR内容规划模块用于保存虚拟模型，在场景地图中放置虚拟模型以及绑定与AR标签对应的虚拟模型，并将放置虚拟模型的参数及与AR标签对应的虚拟模型参数保存为AR显示内容脚本文件；
所述增强现实显示单元用于加载并解析场景地图数据以及AR显示内容脚本文件，同时读取相机采集到的图像数据，通过当前读取到的图像数据对场景地图数据进行重定位，基于重定位的场景地图数据以及AR显示内容脚本文件解析出的数据在物理场景中显示放置的虚拟模型以及与AR标签对应的虚拟模型。
2.根据权利要求1所述的一种面向工业大场景的增强现实场景规划与显示系统，其特征在于：
所述场景建立模块包括图像读取模块和建图模块；
所述图像读取模块包括相机视频读取单元，用于读取相机采集到的相机视频图像帧；
所述建图模块包括特征提取单元、关键帧选取单元、相机位姿求解单元以及场景地图生成单元；所述特征提取单元用于提取相机视频图像帧中的特征点，并计算特征点的描述子及在世界坐标系中的三维坐标，获取局部地图数据；所述关键帧选取单元根据提取的特征点对每一相机视频图像帧进行跟踪，判断是否插入关键帧，并对应生成一待插入地图的关键帧序列，同时计算当前关键帧的特征信息；所述相机位姿求解单元用于求解相机的实时位姿；
所述场景地图生成单元在移动终端旋转平移时，不断扩展获取不同的局部地图数据，基于获取的各局部地图数据、关键帧序列及关键帧的特征信息、相机的实时位姿融合各局部地图数据，形成场景点云地图，保存为点云地图脚本文件，同时将生成场景地图时获取的相机视频图像帧保存为场景视频文件。
3.根据权利要求2所述的一种面向工业大场景的增强现实场景规划与显示系统，其特征在于：
所述图像读取模块还包括场景视频读取单元，用于读取场景视频文件的场景视频图像帧；
所述AR内容规划模块包括模型库、平面检测单元、交互单元、AR标签规划单元以及脚本文件生成单元；所述模型库用于保存虚拟模型以及设定虚拟模型的参数信息；所述平面检测单元读取场景视频图像帧并识别当前场景视频图像帧中的平面区域；所述交互单元用于选取虚拟模型，并在识别出的平面区域中放置和操作虚拟模型；所述AR标签规划单元用于生成AR标签，并绑定指定AR标签与虚拟模型的对应关系；
所述脚本文件生成单元将交互单元中放置的虚拟模型信息、对虚拟模型进行操作的参数信息以及AR标签规划单元生成的AR标签信息及AR标签对应的虚拟模型信息保存为显示脚本文件。
4.根据权利要求3所述的一种面向工业大场景的增强现实场景规划与显示系统，其特征在于：
所述增强现实显示单元包括地图导入模块、定位模块、脚本解析模块、AR标签解析模块以及显示模块；
所述地图导入模块用于加载点云地图脚本文件，获取场景点云地图；所述定位模块用于获取相机采集到的相机视频图像帧，根据相机视频图像帧匹配关键帧，根据匹配的关键帧的信息对相机进行重定位；所述脚本解析模块用于解析显示脚本文件，获取虚拟模型信息并对应设置虚拟模型在物理场景的参数信息；所述显示模块用于在物理场景中显示放置的虚拟模型以及解析AR标签并按照显示脚本文件的内容显示对应的虚拟模型。
5.根据权利要求3所述的一种面向工业大场景的增强现实场景规划与显示系统，其特征在于：
所述AR标签为二维码。
6.一种面向工业大场景的增强现实场景规划与显示方法，基于权利要求1-5任一项所述的面向工业大场景的增强现实场景规划与显示系统实现，其特征在于，包括以下步骤：
操作者利用移动终端对工业场景进行扫描拍摄，通过所述场景规划单元中的相机视频读取模块实时获取相机视频图像帧并传输至建图模块；
利用建图模块中的特征提取单元提取相机视频图像帧中的特征点，获取局部地图数据，通过关键帧选取单元生成关键帧序列，同时计算当前关键帧的特征信息，通过相机位姿求解单元求解相机的实时位姿，通过场景地图生成单元生成点云地图脚本文件和场景视频文件；
通过AR内容规划模块加载场景视频文件，同时解析点云地图脚本文件导入场景点云地图，将场景视频文件以单帧图像的形式进行播放，利用平面检测单元检测当前场景视频图像帧的平面区域，通过交互单元在场景的平面区域上设置虚拟模型并对虚拟模型进行操作，利用AR标签规划单元用于生成AR标签，并绑定指定AR标签与虚拟模型的对应关系，利用脚本文件生成单元生成显示内容脚本文件；
利用增强现实显示单元加载点云地图脚本文件和显示内容脚本文件，生成场景点云地图并获取虚拟模型的参数信息；通过定位模块进行相机的重定位，获取相机的位姿，通过显示模块在物理场景中显示放置的虚拟模型以及解析AR标签并显示对应的虚拟模型，实现增强现实的显示和注册。
7.根据权利要求6所述的一种面向工业大场景的增强现实场景规划与显示方法，其特征在于，所述通过关键帧选取单元生成关键帧序列，同时计算当前关键帧的特征信息的方法具体为：
通过特征提取单元提取的特征点对每一帧场景视频图像帧进行跟踪计算，根据跟踪过程中的关键帧判定函数判断是否插入关键帧，并生成一个待插入地图的关键帧序列；
同时计算当前关键帧包括BoW向量、共视关系的特征信息，并将关键帧插入场景点云地图中；
根据特征信息对关键帧进行包括三维点融合、局部BA优化、关键帧剔除的优化操作。
8.根据权利要求6所述的一种面向工业大场景的增强现实场景规划与显示方法，其特征在于，所述通过相机位姿求解单元求解相机的实时位姿的方法具体为：
在上一帧场景视频图像帧跟踪成功后，设定相机匀速运动，将上一帧场景视频图像帧中的特征点与场景点云地图中的对应点云相匹配，用上一帧场景视频图像帧的相机位姿来优化当前的相机位姿；
若当前场景视频图像帧提取的特征点较少时，与最近的关键帧进行匹配，并通过BoW向量词典进行特征匹配，优化相机位姿。
9.根据权利要求6所述的一种面向工业大场景的增强现实场景规划与显示方法，其特征在于，所述通过定位模块进行相机的重定位，获取相机的位姿的方法具体为：
在关键帧序列中寻找与当前相机视频图像帧对应的候选关键帧，用BoW向量词典匹配当前相机视频图像帧和该关键帧，对每个候选关键帧，用EPNP算法估计位姿来实现相机的重定位。
10.根据权利要求6所述的一种面向工业大场景的增强现实场景规划与显示方法，其特征在于，所述解析AR标签并显示对应的虚拟模型的方法具体为：
通过移动终端扫描AR标签，通过移动终端的二维码解码模块对AR标签进行解码操作，获取AR标签保存的信息；
识别AR标签的位置信息，根据AR标签的位置信息计算对应的虚拟模型在物理场景的位置信息，根据对应的虚拟模型在物理场景的位置信息将虚拟模型叠加在物理场景中，完成增强现实注册。
CN202210575510.6A 2022-05-25 2022-05-25 面向工业大场景的增强现实场景规划与显示系统及方法 Pending CN115187752A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210575510.6A CN115187752A (zh) 2022-05-25 2022-05-25 面向工业大场景的增强现实场景规划与显示系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210575510.6A CN115187752A (zh) 2022-05-25 2022-05-25 面向工业大场景的增强现实场景规划与显示系统及方法

Publications (1)

Publication Number Publication Date
CN115187752A true CN115187752A (zh) 2022-10-14

Family

ID=83512932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210575510.6A Pending CN115187752A (zh) 2022-05-25 2022-05-25 面向工业大场景的增强现实场景规划与显示系统及方法

Country Status (1)

Country Link
CN (1) CN115187752A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974273A (zh) * 2024-03-28 2024-05-03 环球数科集团有限公司 一种基于增强现实的电子商务产品展示系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974273A (zh) * 2024-03-28 2024-05-03 环球数科集团有限公司 一种基于增强现实的电子商务产品展示系统
CN117974273B (zh) * 2024-03-28 2024-05-28 环球数科集团有限公司 一种基于增强现实的电子商务产品展示系统

Similar Documents

Publication Publication Date Title
CN111179324B (zh) 基于颜色和深度信息融合的物体六自由度位姿估计方法
CN107833280B (zh) 一种基于地理网格与图像识别相结合的户外移动增强现实方法
US8751969B2 (en) Information processor, processing method and program for displaying a virtual image
Arth et al. Real-time self-localization from panoramic images on mobile devices
US8442307B1 (en) Appearance augmented 3-D point clouds for trajectory and camera localization
JP2003256876A (ja) 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
Pan et al. Rapid scene reconstruction on mobile phones from panoramic images
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
Castle et al. Keyframe-based recognition and localization during video-rate parallel tracking and mapping
CN110926478B (zh) 一种ar导航路线纠偏方法、系统及计算机可读存储介质
CN110689573A (zh) 一种基于边缘模型的增强现实无标识跟踪注册方法及装置
CN112686947B (zh) 一种虚拟空间中物体标注方法、装置和电子设备
CN111832579B (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN111795688A (zh) 一种基于深度学习和增强现实的图书馆导航系统实现方法
CN115187752A (zh) 面向工业大场景的增强现实场景规划与显示系统及方法
CN116843754A (zh) 一种基于多特征融合的视觉定位方法及系统
Wientapper et al. Composing the feature map retrieval process for robust and ready-to-use monocular tracking
Li et al. Outdoor augmented reality tracking using 3D city models and game engine
CN112200917B (zh) 一种高精度增强现实方法及系统
Seo et al. Real-time visual tracking of less textured three-dimensional objects on mobile platforms
Englert et al. Enhancing the ar experience with machine learning services
Didier et al. Hybrid camera pose estimation combining square fiducials localization technique and orthogonal iteration algorithm
CN109118576A (zh) 基于bds位置服务的大型场景三维重建系统及重建方法
CN112150507B (zh) 一种物体姿态和位移的3d模型同步重现方法及系统
Bostanci et al. Vision-based user tracking for outdoor augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination