CN108510592A - 真实物理模型的增强现实展示方法 - Google Patents

真实物理模型的增强现实展示方法 Download PDF

Info

Publication number
CN108510592A
CN108510592A CN201710108466.7A CN201710108466A CN108510592A CN 108510592 A CN108510592 A CN 108510592A CN 201710108466 A CN201710108466 A CN 201710108466A CN 108510592 A CN108510592 A CN 108510592A
Authority
CN
China
Prior art keywords
model
actual physical
augmented reality
dimensional
physical model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710108466.7A
Other languages
English (en)
Other versions
CN108510592B (zh
Inventor
庹宇翔
蒋佳忆
赵学斌
沈大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Original Assignee
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bright Wind Taiwan (shanghai) Mdt Infotech Ltd filed Critical Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority to CN201710108466.7A priority Critical patent/CN108510592B/zh
Priority to US15/487,449 priority patent/US10181222B2/en
Publication of CN108510592A publication Critical patent/CN108510592A/zh
Application granted granted Critical
Publication of CN108510592B publication Critical patent/CN108510592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Astronomy & Astrophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种真实物理模型的增强现实展示方法，所述方法包括：初始化步骤，其包括提供真实物理模型、通过三维重建技术获得真实物理模型的虚拟物理模型和对真实物理模型和虚拟物理模型进行融合；和增强现实展示步骤，用于在至少一个终端设备上显示基于所述真实物理模型的增强现实场景。

Description

真实物理模型的增强现实展示方法
技术领域
本申请涉及一种真实物理模型的增强现实展示方法及设备。
背景技术
虚拟现实和增强现实(VR/AR)
虚拟现实(Virtual Reality，简称VR)，是一种借助计算机及最新传感器技术创造的人机交互手段。VR技术在多维信息空间上创建一个虚拟信息环境，从而使用户具有身临其境的沉浸感，以及与环境完善的交互作用能力。
增强现实(Augmented Reality，简称AR)，是一种实时计算摄影机影像的位置及角度并加上相应图像、视频等的技术，从而在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。
例如，常用的增强现实系统有如下三种组成形式：基于显示器式(Monitor-Based)、光学透视式、视频透视式。例如，在基于计算机显示器的AR实现方案中，摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟景象合成，并输出到屏幕显示器。用户从屏幕上看到最终的增强场景图片。此外，头盔式显示器(Head-mounteddisplays,简称HMD)被广泛应用于虚拟现实系统中，用以增强用户的视觉沉浸感。增强现实技术的研究者们也采用了类似的显示技术，将穿透式HMD广泛应用于AR技术中。根据具体实现原理穿透式HMD又划分为两大类，分别是基于光学原理的穿透式HMD(Optical See-through HMD)和基于视频合成技术的穿透式HMD(Video See-through HMD)。
SLAM技术
为了允许用户在虚拟或增强场景中漫游，需要考虑用户佩戴AR设备而移动的情况。这时可以把AR设备视为一种智能机器人，这会涉及机器人视觉识别问题。SLAM(Simultaneous Localization and Mapping，同时定位与建图)技术帮助解决了这一问题。SLAM帮助机器人在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。在虚拟现实和增强现实技术中，需要SLAM向应用层提供空间定位的信息，并利用SLAM的地图完成地图的构建或场景的生成。
随着VR和AR技术的发展，有人提出把VR和/或AR技术应用于真实物理模型的展示。例如，可以考虑把VR和/或AR技术应用于沙盘模型展示。
沙盘模型展示在诸如军事、房地产、教育等行业中有广泛需求，是一种很重要的信息传递方式。然而，现有的沙盘模型演示也存在一些突出问题。
首先，现有沙盘模型的制作成本较高，而沙盘制作定型之后的可编辑性较低，因此沙盘展示的实时性不强，信息传递不够丰富。其次，现有的沙盘推演要求观看者处于同一个物理空间中，无法较好地支持远程演示。最后，现有的沙盘展示方案与用户(或操作者)的互动方式十分有限，不适合用作沙盘推演。
基于VR或AR的虚拟沙盘展示通常是在整个平面叠加一个完全虚拟的沙盘，在场观众必须使用相关设备(例如，定制头盔、定制眼镜等)才可以看到对应的VR/AR效果。这种展示方法对设备要求较高，也不支持多人观看。
因此，本申请旨在利用AR技术将虚拟信息融合到真实物理模型(例如，沙盘模型)，实现虚实模型的结合，从而使真实物理模型的展示更加生动。
发明内容
根据本申请的一个方面，提出一种真实物理模型的增强现实展示方法。该方法包括：初始化步骤，其包括提供真实物理模型、通过三维重建技术获得所述真实物理模型的虚拟物理模型、对所述真实物理模型和所述虚拟物理模型进行融合；和增强现实展示步骤，用于在至少一个终端设备上显示基于所述真实物理模型的增强现实场景。
根据本申请的另一个方面，提出一种基于真实物理模型的增强现实展示系统。该系统包括:虚拟物理模型构建设备，用于通过三维重建技术获得所述真实物理模型的虚拟物理模型；融合设备，用于对所述真实物理模型和所述虚拟物理模型进行融合；和增强现实显示设备，用于显示基于所述真实物理模型的增强现实场景。
为了更清楚地阐述本申请的上述目的、特征和优点，在后文中将结合附图，对一些实施例进行详细说明。
附图说明
为了更清楚地阐述本申请实施例的技术方案，下面将对实施例中涉及的附图进行简单的说明。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定。附图中：
图1示出了初始化步骤的具体子步骤；
图2示出了一个示例性实体沙盘模型；
图3示出了图2所示的实体沙盘模型通过三维重建获得的虚拟沙盘模型；
图4示出了虚实沙盘模型融合的具体子步骤；
图5示出了放置有识别图的实体沙盘模型；
图6示出了以图5的实体沙盘模型为参照计算得到的三维点云；
图7示出了融合后实体沙盘模型和虚拟沙盘模型；
图8示出了增强现实展示步骤的具体子步骤；
图9A和图9B示出了经过虚实沙盘模型融合后的沙盘场景设计示例；
图10示出了基于沙盘海洋场景的一个交互控制示例；
图11示出了基于沙盘大气场景的一个交互控制示例；
图12示出了基于沙盘化学物质场景的一个交互控制示例；
图13示出了应用于本申请所提出的系统的AR眼镜设备。
具体实施方式
下面，将结合附图，以沙盘模型作为非限定性示例，对根据本申请的基于AR的真实物理模型展示方法进行详细说明。
根据本申请的一个实施例的基于AR的沙盘模型展示方法总体包括初始化步骤和增强现实展示步骤。下面对每个步骤进行具体说明。
初始化阶段
在该阶段中，对实体沙盘模型进行三维重建，然后使实体沙盘模型与三维重建得到的虚拟沙盘模型相互重合，从而完成沙盘增强现实展示的初始化。
图1示出了初始化步骤的具体子步骤。
首先，在步骤1100中，提供实体沙盘模型。
然后，在步骤1200中，通过三维重建技术获得虚拟沙盘模型。
最后，在步骤1300中，对步骤1100中提供的实体沙盘模型和步骤1200中重建的虚拟沙盘模型进行融合。
下面，对图1的各子步骤进行详细说明。
步骤1100，提供实体沙盘模型
在该步骤中，用户可以根据需求自由设计实体沙盘模型式样。
图2示出了一个示例性实体沙盘模型。在该示例中，以地理信息演示系统为例，设计了基于华北平原的地理实体沙盘模型。
以图2的沙盘为例，制作该沙盘可以使用如下材料:沙盘框、托凳、细沙、泥土、地模型、表示道路，江河的各色纸(布)条、渲染地貌色调的锯末等工具。
制作沙盘的步骤例如可以包括：1)设置沙盘。放置沙盘框放置，铺上3-5厘米厚、湿度适当的沙土并用木板刮平压紧，作为最低等高线的平面，然后打上和地形图相应的方格，在沙盘框周围注记相应的编号。2)堆积地貌。例如，在沙盘面上绘制山顶、鞍部、山脚、江河等位置，并依据相应位置的计算好的高度堆积相应厚度的底层沙土。3)设置地物。在相应位置上插上地名，江河名，山名等标记物。
步骤1200，三维重建虚拟沙盘模型
在该步骤中，用摄像头对步骤1100中提供的实体沙盘模型进行扫描，使用三维重建技术获得虚拟沙盘模型。
根据一个示例，基于ToF(Time of Flight)深度摄像机对三维模型进行重建。TOF技术是指首先由发光器发射出一束调制好的光线，经过场景中物体返回到探测装置后，根据发射光与反射光的时间间隔来测量深度信息。在本示例中，用深度摄像机扫描实体沙盘模型，在整个场景的三维数据都被相机捕获之后，可以将全部的三维数据在统一的坐标系统中重建出完整的三维模型。
根据另一个示例，基于图像对三维模型进行重建。基于图像的三维重建通常包括如下步骤：
-图像获取：通过摄像机获取三维物体的二维图像；
-摄像机标定：通过摄像机标定，建立有效的成像模型、确定摄像机位置和属性参数，从而确定三维物体的空间坐标与其像素之间的对应关系；
-特征提取：基于特征点提取算法，提取三维物体的点状特征、线状特征或区域特征。特征点提取算法例如包括基于方向导数的方法、基于图像亮度对比关系的方法、基于数学形态学的方法；
-立体匹配：根据所提取的特征，建立图像对之间的对应关系，即，将同一物理空间点在两幅(或更多)不同二维图像中的成像点一一对应；
-三维重建：在较为精准的匹配结果基础上，结合摄像机标定的内外参数，恢复三维场景信息。例如，可以通过SFM(Structure from Motion，从运动中恢复结构)算法计算特征点的三维坐标并重建三维模型。
应理解，可以基于其他方法对实体沙盘模型进行三维重建，这些三维重建方法也包含在本申请的范围中。
图3示出了图2所示的地理实体沙盘模型通过三维重建获得的虚拟的三维沙盘模型。
步骤1300：虚实沙盘模型融合
在该步骤中，基于识别图建立世界坐标系，确定虚拟沙盘的世界坐标，从而实现实体沙盘模型和虚拟沙盘模型的融合。此外，可选地，还可以构建特征点的三维点云。
图4示出了虚实沙盘模型融合的具体子步骤。
首先，在步骤1310中，建立以二维识别图的中心为原点的世界坐标系；
然后，在步骤1320中，构建实体沙盘模型的特征点的三维点云；
最后，在步骤1330中，计算虚拟沙盘模型在世界坐标系中的坐标。
下面，对图4的各子步骤进行详细说明。
步骤1310，建立世界坐标系
在该步骤中，将二维识别图放置于实体沙盘模型上。例如，将识别图放置成与实体沙盘模型主平面位于同一平面，并且保持二者的相对位置固定。然后，以识别图为基准建立世界坐标系。例如，世界坐标系的原点位于识别图的中心，xy平面位于识别图所在的平面。
图5示出了放置有识别图的实体沙盘模型，其中右下角灰色图像为识别图。
步骤1320，构建特征点的三维点云
在该步骤中，用摄像机扫描实体沙盘模型，基于步骤1310中得到的世界坐标系，计算实体沙盘模型上特征点的三维坐标，并储存计算得到的三维点云。
这里，特征点指的是图像中较为显著的点。例如，对于实体沙盘模型而言，其特征点可以是实体沙盘模型中山峰、山谷等地形变化最为剧烈的点。或者，特征点是在演示中需要展示详细信息的城市、景观等所在位置的点。
在本示例中，利用ORB算法提取特征点。ORB算法是由Ethan Rublee,VincentRabaud,Kurt Konolige以及Gary R.Bradski在2011年一篇名为“ORB：An EfficientAlternative to SIFT or SURF”的文章中提出。
利用ORB算法提取特征点可以包括三个步骤：1)以用具有方向的FAST检测子在连续两幅图像上检测特征点，2)通过具有旋转不变的BRIEF描述子计算特征点的描述向量；3)采用汉明距离比值准则得到最终的特征点匹配对。下面对每一个步骤进行详细说明。
Oriented FAST特征点检测
ORB算法利用FAST(Features from Accelerated Segment Test)算法来检测特征点，并针对FAST算法特征不具备方向的问题，加入了FAST特征的方向信息。
FAST算法基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点。
其中I(x)为圆周上任意一点的灰度，I(p)为圆心的灰度，εd为灰度值差的阈值，如果N大于给定阈值(通常为周围圆圈点的3/4)，则认为p是一个特征点。
为了使特征点具有方向不变性，ORB算法使用灰度质心法为特征点提供一个主方向，即找到特征点局部区域内的灰度形心，用特征点到形心的矢量方向来确定特征点的主方向，从而得到具有方向的FAST(oriented FAST)特征点。
Rotated BRIEF特征点描述
在检测到特征点后，ORB算法利用BRIEF算法对检测到的特征点进行描述，并且改进了BRIEF描述子对图像噪声不敏感和不具备旋转不变性的缺点。
BRIEF描述子是二进制描述子，其核心思想是在关键点P的周围以一定模式选取N个点对(N可以是128、256、512)，每个点对对应一个二进制位，其定义如下：
其中，p(x)和p(y)是点对的灰度，随机选择N对点(xi,yi)可以生成一个二进制字符串，则生成的特征描述子可以表示为：
ORB特征点匹配
为了建立连续两幅图像上特征点的对应关系，需要计算第二帧图像上每个特征点与第一帧图像上全部特征点描述向量的汉明距离，用D(Vp,Vq)表示，其中Vp是第二帧中某一特征点p的特征向量，Vq是第一帧中最邻近特征点p的特征向量，D(Vp,Vq)越小说明两个特征点越相似，汉明距离最小的即为匹配对。
当然，也可以基于其他算法提取特征点，这些算法也包含在本申请的范围中。
在完成特征点匹配后，估计相机的运动。然后，基于估计得到的运动信息，计算各个特征点的空间位置，即计算得到各个特征点在世界坐标系下的三维坐标，从而构建出特征点的三维点云。
图6示出了以图5的实体沙盘模型为参照计算得到的三维点云。
步骤1330，计算虚拟沙盘模型的世界坐标
在该步骤中，基于识别图相对于实体沙盘模型的相对位置，计算虚拟沙盘模型在步骤1310中获得的世界坐标系下的坐标。
具体地，首先计算真实物理尺寸与算法内像素尺寸的转换系数；然后，测量识别图中心相对于实体沙盘模型中心的相对位置；最后，将相对位置转换为对应的像素尺寸，从而计算得到虚拟沙盘模型的世界坐标。
随后，将虚拟沙盘模型放置到对应的世界坐标系中，使得虚拟沙盘模型与真实沙盘模型原点重合、方向一致、尺寸相同，从而实现虚拟沙盘模型与实体沙盘模型的对准与融合。图7示出了融合后实体沙盘模型和虚拟沙盘模型。
应注意，尽管在本示例中，在进行三维点云构建之后计算虚拟沙盘模型的世界坐标，在其他示例中，也可以在进行三维点云构建之前计算虚拟沙盘模型的世界坐标。例如，上述步骤1320和步骤1330可以依次执行，也可以颠倒顺序执行或单独执行。
增强现实展示阶段
在该阶段中，在至少一个终端设备的显示器上显示与真实沙盘模型融合后的虚拟沙盘模型，并实现相关信息展示。
图8示出了增强现实展示步骤的具体子步骤。如图8所示，增强现实展示步骤至少包括三维点云共享、定位追踪及三维渲染两个步骤。下面，对这两个步骤进行详细说明。
步骤8100，三维点云共享
在该步骤中，将步骤1320中计算得到的三维点云发送给至少一个终端设备。这里，终端设备可以是PC、手机、VR眼镜等。
步骤8200，定位追踪及三维渲染
根据一个示例，在该步骤中，各终端设备利用SLAM算法进行定位追踪，并相应地进行三维渲染。
SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)技术是指使机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和传感器数据进行自身定位，同时建造增量式地图。在本示例中，终端设备的摄像头可以看作为SLAM算法中的机器人，各个设备基于步骤1320中确定的三维点云进行跟踪，从而实现自身定位及地图构建。
具体地，根据本示例的SLAM算法系统包括四个模块：视觉里程计(VO)模块、后端模块、建图模块和回环检测模块。
Visual Odometry，即视觉里程计，用于估计两个时刻机器人的相对运动(Ego-motion)。例如，本申请实施例中，视觉里程计模块用于基于相邻图像中的特征点估计摄像头的相对运动，从而得到摄像头的运动轨迹。例如，给定一组特征点以及它们之间的配对关系，求解相机的姿态，该问题被称为PnP问题(Perspective-N-Point)。PnP可以用非线性优化来求解，得到两个帧之间的位置关系。
应当指出，本申请的实施例所使用的SLAM技术可以基于各个类型的传感器。SLAM的实现方传感器的形式和安装方式密切相关。传感器分为激光和视觉两大类，视觉传感器又分单目(MonoSLAM)、双目(或多目)、RGBD。此外，还有鱼眼、全景等特殊相机。结合惯性测量器件(Inertial Measurement Unit，IMU)的视觉SLAM也是现在研究热点之一。
后端模块用于利用滤波思路进行图优化，因为通过视觉里程计模块理论上可以获得摄像头的运动轨迹，但是视觉里程计存在累计误差(Drift)的问题，因此需要利用后端模块对帧之间的相对运动进行加工，以使噪声项最小化。例如，SLAM最早的提出者R.Smith等人就把SLAM建构成了EKF(Extended Kalman Filter，扩展卡尔曼滤波)问题。他们按照EKF的形式，把SLAM写成了一个运动方程和观测方式，以最小化这两个方程中的噪声项为目的，使用典型的滤波器思路来解决SLAM问题。也可以使用其他思路进行图优化。例如，借鉴SfM(Structure from Motion)问题中的方法，把捆集优化(Bundle Adjustment)引入到SLAM中来。
建图模块用于基于对位置的估计和定位，建造增量式地图。
回环检测模块(Loop closure detection)用于在机器人到达曾经到达过的场景时进行识别，从而减小累计误差。实际上，回环检测是检测观测数据相似性的算法。可以采用目前较为成熟的词袋模型(Bag-of-Words,BoW)。词袋模型把图像中的视觉特征(SIFT,SURF等)聚类，然后建立词典，进而寻找每个图中含有哪些“单词”(word)。也有研究者使用传统模式识别的方法，把回环检测建构成一个分类问题，训练分类器进行分类。
接下来，基于SLAM算法计算得到的结果，完成虚拟沙盘的三维渲染。
通过这一步骤，可以确保实时对准虚拟沙盘模型与实体沙盘模型，从而保证独立运行SLAM算法的每个设备在不同位置看到相同的虚拟场景。
在一个示例中，还可以将两个以上的终端设备(例如，PC、手机和AR/VR眼镜)连接网络并同步显示或控制。
此外，根据本申请，还可以根据需要进行交互演示，例如设计视觉互动/场景推演和语音/手势交互。
此外，还可以从两个以上的终端设备中选择一个终端设备作为主机。主机能够对增强现实场景进行交互控制。从属设备则同步显示被交互控制的增强现实场景。例如，通过将主机端的操作转化为预设好的消息格式并传送给其他终端设备，可以实现多端共享操作的目的。
此外，所述至少一个终端设备可以是被布置在所述真实物理模型所在位置的终端设备，也可以是未被布置在所述真实物理模型所在位置的终端设备(远程)。
下面，以上文实施例的地理沙盘模型演示系统为例，对基于地理沙盘模型的演示流程设计进行详细说明。
图9A和图9B示出了经过虚实沙盘模型融合后的沙盘场景设计示例。
如图9A所示，经过虚实沙盘模型融合后，在终端设备显示的沙盘中，海洋变为流动的海水，海面上有轮船在开动，天空中有飞机飞行。
此外，如图9B所示，在地标性城市和景点上方存在蓝色的提示符，可以通过在手机端用手点击提示符、或者在PC端用鼠标点击提示符、或者在眼镜端通过语音说出该城市或景点的名称来进行选择，系统接到指令后将弹出展示该城市或景点的图文介绍信息的窗口。
对于地理沙盘模型，沙盘的地理信息主要包含海洋、大气层和化学物质三个场景，眼镜端使用者可以通过语音发出“海洋”、“大气层”、“化学物质”等指令或通过手势左右横移选择场景进行切换。
图10示出了基于沙盘海洋场景的一个交互控制示例。
已知数据显示，全球平均气温每上升1℃，会导致海平面上升4-5米，该场景展示了全球变暖对海平面的影响。演示人员手势每升高一次，或发出一次“上升”口令，代表全球平均气温上升1℃，虚拟沙盘中的海平面将上升，导致部分陆地被海水淹没。同理，演示人员手势每降低一次，或发出“下降”口令，代表全球平均气温下降1℃，虚拟沙盘中的海平面将下降，导致部分陆地露出。演示人员通过多次连续升高或降低收拾对沙盘模型进行控制，使用者可以通过终端设备显示的虚拟沙盘查看温度变化后的地形变化。
图11示出了基于沙盘大气场景的一个交互控制示例。
大气层场景包含从地表到高速气流层之间不同高度下(例如，1000hpa、750hpa、500hpa、250hpa)的动态大气环流状态，以及多种覆盖模式(气流，温度，湿度，可降水气)，演示人员可以通过语音指令选择气流层及覆盖模式，使用者可以通过终端设备显示的虚拟沙盘查看该条件下的动态大气环流状态。
图12示出了基于沙盘化学物质场景的一个交互控制示例。
化学物质场景包含从地表到高速气流层之间不同高度下(例如，1000hpa、50hpa、500hpa、250hpa)的动态化学物质分布状态，在该场景下可以查看一氧化碳、二氧化碳、二氧化硫等多种化学物质的分布。演示人员可以通过语音指令选择气流层及化学物质，使用者可以通过终端设备显示的虚拟沙盘查看该条件下的动态化学物质分布状态。
以上提到了本申请的终端设备可以是AR眼镜。
图13示出了可以应用到本申请实施例的增强现实(AR)设备的示意图。该AR设备可以用于观看和控制基于真实物理模型的增强现实场景。
如图13所示，该AR设备包括眼镜架1、眼镜腿2、弹性夹片3以及软性支撑层4。借助于这些机械构件，AR设备能够被稳定地佩戴于用户的头部。其中，眼镜腿2安装在眼镜架1的两侧，眼镜腿2的末端朝内侧弯曲形成第一圆弧部，夹持机构包括弹性夹片3，弹性夹片3反向延伸的设置在眼镜腿2内侧，弹性夹片3的末端朝内侧弯曲形成第二圆弧部，其中，弹性夹片3由不锈钢弹片制成，其能够加大眼镜腿2的夹持力度，从而提高夹持稳定性。软性支撑层4可以被设置于眼镜腿的圆弧部内侧，其可以为橡胶层或/和泡沫层，优选为橡胶层。通过设置软性支撑层4，使贴合与头部位置的压迫感降低，摩擦力增加，使得佩戴更稳固、更舒适，提高了用户的体验度。眼镜腿4和眼镜架2可以通过弹性连接件A相互连接。
除了上述机械构件之外，AR设备还包括设置于眼镜架1上的遮光镜片11、设置于眼镜架1中间部的深度摄像头模组12、设置于眼镜架1两侧下端的光机13。深度摄像头模组12、光机13与控制电路板耦接，并且光机13与成像镜片(位于遮光镜片11的后侧)光学连接，从而光机13输出的光学信号能够在成像镜片(图中未示出)中成像。可以理解，对于AR设备的用户来说，该成像镜片构成了显示屏，其上可以观察到AR设备的显示内容，例如图形化用户界面等。成像镜片可以是例如一个半透半反射镜/膜，或者是全息衍射波导光栅，或者其他适合的成像元件。
可以理解，本申请不限制AR设备的成像原理。虽然图13中AR设备被表示为AR眼镜，但是在实际应用中，其他类型的AR设备，例如AR头盔也属于本申请的保护范围。
对于图13所示的AR设备，由于其是增强现实技术眼镜，因此用户既可以观察到成像镜片(显示屏)上的内容，也同时可以透过成像镜片和遮光镜片11观察到现实环境中的实体物体(例如沙盘)等。换言之，AR设备能够在真实现实场景上叠加显示虚拟现实场景。此外，AR设备可以通过深度摄像头模组12和/或其他摄像模组检测背景中的实体图形或颜色，并且检测表示用户选择的手势操作或类似操作。
可以理解，在一些其他实施例中，AR设备还可以具有其他类型用于检测用户选择操作的模块，例如麦克风、惯性传感器、按钮等。这些不同类型的检测模块可以分别检测例如手势信号、语音信号、头部移动信号或按键信号，从而确定用户选择对应的操作。
技术效果
基于上述技术方案可知，本申请提出的真实物理模型的增强现实展示方法具有以下有益效果：
通过本申请的方法，可以将虚拟物理模型与真实物理模型进行融合，基于增强现实技术使得物理模型展示更加生动、可编辑性更强、并且允许用户在不同位置看到相同的虚拟场景并通过自然交互方式(例如语音、手势)对场景进行操作。
此外，根据本申请的方法支持多人、多端、多方式演示，并且允许不同终端之间三维场景的实时共享，从而极大丰富和扩展了物理模型展示的应用。

Claims (23)

1.一种真实物理模型的增强现实展示方法，所述方法包括:
初始化步骤，包括：
提供真实物理模型；
通过三维重建技术获得所述真实物理模型的虚拟物理模型；
对所述真实物理模型和所述虚拟物理模型进行融合；和
增强现实展示步骤，用于在至少一个终端设备上显示基于所述真实物理模型的增强现实场景。
2.根据权利要求1所述的方法，其中，对所述真实物理模型和所述虚拟物理模型进行融合进一步包括：
世界坐标系构建步骤，用于将识别图置于所述真实物理模型上，从而建立以所述识别图的中心为原点的世界坐标系；和
虚拟物理模型世界坐标取得步骤，用于计算所述虚拟物理模型在所述世界坐标系下的世界坐标。
3.根据权利要求2所述的方法，所述初始化步骤还包括：三维点云构建步骤，用于提取所述真实物理模型的多个特征点，并且根据特征点的匹配结果计算所述多个特征点在所述世界坐标系下的三维坐标，从而形成三维点云。
4.根据权利要求2所述的方法，其中，所述虚拟物理模型世界坐标取得步骤进一步包括：
计算真实空间物理尺寸与算法内像素尺寸的转换系数；
测量所述识别图的中心相对于所述真实物理模型的中心的相对位置；和
将所述相对位置转换为对应的像素尺寸，从而计算得到所述虚拟沙盘模型的世界坐标。
5.根据权利要求3所述的方法，其中，所述增强现实展示步骤进一步包括：
三维点云共享步骤，用于将所述三维点云发送给所述至少一个终端设备；
定位追踪步骤，用于对所述至少一个终端设备进行定位追踪；和
三维渲染步骤，用于根据定位追踪结果对所述虚拟物理模型进行三维渲染。
6.根据权利要求2所述的方法，其中，所述识别图是包含方向信息的二维图。
7.根据权利要求1所述的方法，其中，通过三维重建技术获得所述真实物理模型的虚拟物理模型进一步包括：
图像获取步骤，用于获取所述真实物理模型的二维图像；
标定步骤，用于确定真实空间物理尺寸与所述二维图像的像素尺寸的对应关系；
特征提取步骤，用于提取所述真实物理模型的特征；
立体匹配步骤，用于根据所述特征建立多个二维图像之间的对应关系；
三维重建步骤，用于基于所述匹配结果和所述对应关系，建立所述真实物理模型的三维虚拟模型。
8.根据权利要求1所述的方法，进一步包括：
增强现实场景控制步骤，用于允许使用者控制所述增强现实场景。
9.根据权利要求8所述的方法，所述使用者控制包括：可以被所述至少一个终端设备检测的手势、语音、按键或头部移动。
10.根据权利要求9所述的方法，其中，所述至少一个终端设备包括：一个主设备和至少一个从设备，其中利用所述主设备控制所述增强现实场景。
11.根据权利要求10所述的方法，还包括：所述从设备与所述主设备通信以接收来自所述主设备的数据，并基于所述主设备的数据进行增强现实场景的展示。
12.根据权利要求1所述的方法，其中，所述真实物理模型是地理模型、建筑模型或天气模型。
13.根据权利要求1所述的方法，其中，所述至少一个终端设备包括：AR设备、VR设备、手机、或电脑。
14.根据权利要求1所述的方法，其中，所述至少一个终端设备包括：被布置在所述真实物理模型附近的本地终端设备，或未被布置在所述真实物理模型附近的远程终端设备。
15.一种基于真实物理模型的增强现实展示系统，包括:
虚拟物理模型构建设备，用于通过三维重建技术获得所述真实物理模型的虚拟物理模型；
融合设备，用于对所述真实物理模型和所述虚拟物理模型进行融合；和
增强现实显示设备，用于显示基于所述真实物理模型的增强现实场景。
16.根据权利要求15所述的系统，所述融合设备包括：
世界坐标系构建装置，用于基于置于所述真实物理模型上的识别图，建立以所述识别图的中心为原点的世界坐标系；和
虚拟物理模型世界坐标取得装置，用于计算所述虚拟物理模型在所述世界坐标系下的世界坐标。
17.根据权利要求16所述的系统，所述融合设备还包括：
三维点云构建装置，用于提取所述真实物理模型的多个特征点，并且根据特征点的匹配结果计算所述多个特征点在所述世界坐标系下的三维坐标，从而形成三维点云。
18.根据权利要求16所述的系统，其中，所述虚拟物理模型世界坐标取得装置包括：
转换模块，用于计算真实空间物理尺寸与算法内像素尺寸的转换系数；
测量模块，用于测量所述识别图的中心相对于所述真实物理模型的中心的相对位置；和
计算模块，用于将所述相对位置转换为对应的像素尺寸，计算得到所述虚拟沙盘模型的世界坐标。
19.根据权利要求17所述的系统，其中，所述增强现实显示设备包括：
三维点云共享模块，用于将所述三维点云发送给所述至少一个终端设备；
定位追踪模块，用于对所述至少一个终端设备进行定位追踪；和
三维渲染模块，用于根据定位追踪结果对所述虚拟物理模型进行三维渲染。
20.根据权利要求15所述的系统，其中虚拟物理模型构建设备还包括：
图像获取模块，用于获取所述真实物理模型的二维图像；
标定模块，用于确定真实空间物理尺寸与所述二维图像的像素尺寸的对应关系；
特征提取模块，用于提取所述真实物理模型的特征；
立体匹配模块，用于根据所述特征建立多个二维图像之间的对应关系；
三维重建模块，用于基于所述匹配结果和所述对应关系，建立所述真实物理模型的三维虚拟模型。
21.根据权利要求15所述的系统，所述增强现实显示设备是AR设备、VR设备、手机、或电脑。
22.根据权利要求15所述的系统，所述增强现实显示设备包括：增强现实场景控制单元，用于允许使用者控制所述增强现实场景。
23.根据权利要求22所述的系统，所述增强现实场景控制单元包括：用户控制输入单元，用于接收用户输入的手势、语音、按键或头部移动。
CN201710108466.7A 2017-02-27 2017-02-27 真实物理模型的增强现实展示方法 Active CN108510592B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710108466.7A CN108510592B (zh) 2017-02-27 2017-02-27 真实物理模型的增强现实展示方法
US15/487,449 US10181222B2 (en) 2017-02-27 2017-04-14 Method and device for augmented reality display of real physical model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710108466.7A CN108510592B (zh) 2017-02-27 2017-02-27 真实物理模型的增强现实展示方法

Publications (2)

Publication Number Publication Date
CN108510592A true CN108510592A (zh) 2018-09-07
CN108510592B CN108510592B (zh) 2021-08-31

Family

ID=63246415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710108466.7A Active CN108510592B (zh) 2017-02-27 2017-02-27 真实物理模型的增强现实展示方法

Country Status (2)

Country Link
US (1) US10181222B2 (zh)
CN (1) CN108510592B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345634A (zh) * 2018-10-26 2019-02-15 重庆大学 基于磁性液体及混合现实的磁场演示方法及装置
CN109545003A (zh) * 2018-12-24 2019-03-29 北京卡路里信息技术有限公司 一种显示方法、装置、终端设备及存储介质
CN109579745A (zh) * 2018-11-26 2019-04-05 江苏科技大学 基于增强现实和手机软件的新型房屋面积测算方法
CN109636917A (zh) * 2018-11-02 2019-04-16 北京微播视界科技有限公司 三维模型的生成方法、装置、硬件装置
CN109828658A (zh) * 2018-12-17 2019-05-31 彭晓东 一种人机共融的远程态势智能感知系统
CN109920315A (zh) * 2019-03-29 2019-06-21 济南大学 一种虚拟α粒子散射实验系统
CN110009985A (zh) * 2019-03-27 2019-07-12 深圳市问库信息技术有限公司 一种基于机器学习的沙盘制作装置
CN110879979A (zh) * 2019-11-13 2020-03-13 泉州师范学院 一种基于移动终端的增强现实系统
CN111061374A (zh) * 2019-12-20 2020-04-24 京东方科技集团股份有限公司 一种支持多人模式增强现实应用的方法及装置
CN111241681A (zh) * 2020-01-13 2020-06-05 陕西心像信息科技有限公司 信号机的显示范围仿真模拟方法及设备
CN111524240A (zh) * 2020-05-11 2020-08-11 维沃移动通信有限公司 场景切换方法、装置及增强现实设备
CN111599223A (zh) * 2020-06-12 2020-08-28 浙江商汤科技开发有限公司 沙盘展示系统及沙盘展示方法
CN111651055A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 城市虚拟沙盘展示方法、装置、计算机设备及存储介质
CN111653175A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 一种虚拟沙盘展示方法及装置
CN111667393A (zh) * 2019-08-26 2020-09-15 福建数博讯信息科技有限公司 一种虚拟场景中模拟下雨的方法及终端
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质
CN111857341A (zh) * 2020-06-10 2020-10-30 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111882675A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 一种模型呈现方法、装置、电子设备及计算机存储介质
CN112308954A (zh) * 2019-11-26 2021-02-02 海南发控智慧环境建设集团有限公司 一种建筑模型信息化及其实景虚拟仿真方法
CN112733366A (zh) * 2021-01-12 2021-04-30 中国人民解放军陆军军事交通学院军事交通运输研究所 一种新型实时高爆弹破片毁伤仿真方法
CN113034668A (zh) * 2021-03-01 2021-06-25 中科数据(青岛)科技信息有限公司 一种ar辅助的机械模拟操作方法和系统
CN113436559A (zh) * 2021-05-19 2021-09-24 吉林大学 一种沙盘动态景观实时显示系统及显示方法
CN114460760A (zh) * 2022-04-13 2022-05-10 武汉经典模型技术有限公司 一种电子沙盘物体动态显示方法及系统
TWI779922B (zh) * 2021-11-10 2022-10-01 財團法人資訊工業策進會 擴增實境處理裝置以及方法
WO2023011216A1 (zh) * 2021-08-06 2023-02-09 华为技术有限公司 一种设备热插拔方法及终端设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
CN109377560A (zh) * 2018-10-26 2019-02-22 北京理工大学 一种户外增强现实军事仿真训练的方法
US11475649B2 (en) 2018-11-07 2022-10-18 Schlumberger Technology Corporation Data structures for augmented reality planning of geographic locations
CN109727319A (zh) * 2018-11-26 2019-05-07 广东省气象探测数据中心(广东省气象技术装备中心、广东省气象科技培训中心) 一种气象探测设备三维全息化场景建设方法
CN110058684B (zh) * 2019-03-21 2022-07-01 海南诺亦腾海洋科技研究院有限公司 一种基于vr技术的地理信息交互方法、系统及存储介质
CN110223556A (zh) * 2019-04-16 2019-09-10 杭州百子尖科技有限公司 沉浸式智能化工模拟仿真装备
CN110262283B (zh) * 2019-06-11 2022-08-23 远形时空科技（北京）有限公司 一种多场景的视觉机器人仿真平台及方法
CN110288716B (zh) * 2019-06-14 2023-08-08 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110310328B (zh) * 2019-07-22 2021-04-30 雅客智慧（北京）科技有限公司 混合现实操作配准方法及装置
CN111651052A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 虚拟沙盘的展示方法、装置、电子设备及存储介质
CN111651069A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 虚拟沙盘的展示方法、装置、电子设备及存储介质
CN111956240A (zh) * 2020-07-29 2020-11-20 北京态极科技有限公司 基于无线传感技术的3d实景模拟沙盘的心理分析装置及方法
CN112132940A (zh) * 2020-09-16 2020-12-25 北京市商汤科技开发有限公司 显示方法、装置，显示设备及存储介质
CN113888709A (zh) * 2021-09-30 2022-01-04 北京城市网邻信息技术有限公司 电子沙盘生成方法及装置、非瞬时性存储介质
CN117827012A (zh) * 2024-03-04 2024-04-05 北京国星创图科技有限公司 一种3d沙盘实时视角跟踪系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090129630A1 (en) * 2007-11-16 2009-05-21 Sportvision, Inc. 3d textured objects for virtual viewpoint animations
US20130286004A1 (en) * 2012-04-27 2013-10-31 Daniel J. McCulloch Displaying a collision between real and virtual objects
CN103839277A (zh) * 2014-02-21 2014-06-04 北京理工大学 一种户外大范围自然场景的移动增强现实注册方法
US20140240351A1 (en) * 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
CN104134235A (zh) * 2014-07-25 2014-11-05 深圳超多维光电子有限公司 真实空间和虚拟空间的融合方法和融合系统
CN104656893A (zh) * 2015-02-06 2015-05-27 西北工业大学 一种信息物理空间的远程交互式操控系统及方法
US20160005229A1 (en) * 2014-07-01 2016-01-07 Samsung Electronics Co., Ltd. Electronic device for providing map information
US20160027216A1 (en) * 2014-07-25 2016-01-28 Alexandre da Veiga Three-dimensional mixed-reality viewport
CN105912121A (zh) * 2016-04-14 2016-08-31 北京越想象国际科贸发展有限公司 一种增强现实的方法及系统
CN106340064A (zh) * 2016-08-25 2017-01-18 北京大视景科技有限公司 一种混合现实沙盘装置和方法
CN106373198A (zh) * 2016-09-18 2017-02-01 福州大学 一种实现增强现实的方法
US20170053447A1 (en) * 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Augmented Reality

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
CN108136257B (zh) * 2015-08-17 2021-09-21 乐高公司 创建虚拟游戏环境的方法和采用该方法的互动游戏系统
CN109690634A (zh) * 2016-09-23 2019-04-26 苹果公司 增强现实显示器

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090129630A1 (en) * 2007-11-16 2009-05-21 Sportvision, Inc. 3d textured objects for virtual viewpoint animations
US20130286004A1 (en) * 2012-04-27 2013-10-31 Daniel J. McCulloch Displaying a collision between real and virtual objects
US20140240351A1 (en) * 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
CN103839277A (zh) * 2014-02-21 2014-06-04 北京理工大学 一种户外大范围自然场景的移动增强现实注册方法
US20160005229A1 (en) * 2014-07-01 2016-01-07 Samsung Electronics Co., Ltd. Electronic device for providing map information
CN104134235A (zh) * 2014-07-25 2014-11-05 深圳超多维光电子有限公司 真实空间和虚拟空间的融合方法和融合系统
US20160027216A1 (en) * 2014-07-25 2016-01-28 Alexandre da Veiga Three-dimensional mixed-reality viewport
CN104656893A (zh) * 2015-02-06 2015-05-27 西北工业大学 一种信息物理空间的远程交互式操控系统及方法
US20170053447A1 (en) * 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Augmented Reality
CN105912121A (zh) * 2016-04-14 2016-08-31 北京越想象国际科贸发展有限公司 一种增强现实的方法及系统
CN106340064A (zh) * 2016-08-25 2017-01-18 北京大视景科技有限公司 一种混合现实沙盘装置和方法
CN106373198A (zh) * 2016-09-18 2017-02-01 福州大学 一种实现增强现实的方法

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345634B (zh) * 2018-10-26 2021-01-19 重庆大学 基于磁性液体及混合现实的磁场演示方法及装置
CN109345634A (zh) * 2018-10-26 2019-02-15 重庆大学 基于磁性液体及混合现实的磁场演示方法及装置
CN109636917A (zh) * 2018-11-02 2019-04-16 北京微播视界科技有限公司 三维模型的生成方法、装置、硬件装置
CN109636917B (zh) * 2018-11-02 2023-07-18 北京微播视界科技有限公司 三维模型的生成方法、装置、硬件装置
CN109579745A (zh) * 2018-11-26 2019-04-05 江苏科技大学 基于增强现实和手机软件的新型房屋面积测算方法
CN109828658A (zh) * 2018-12-17 2019-05-31 彭晓东 一种人机共融的远程态势智能感知系统
CN109828658B (zh) * 2018-12-17 2022-03-08 彭晓东 一种人机共融的远程态势智能感知系统
CN109545003A (zh) * 2018-12-24 2019-03-29 北京卡路里信息技术有限公司 一种显示方法、装置、终端设备及存储介质
CN110009985A (zh) * 2019-03-27 2019-07-12 深圳市问库信息技术有限公司 一种基于机器学习的沙盘制作装置
CN109920315A (zh) * 2019-03-29 2019-06-21 济南大学 一种虚拟α粒子散射实验系统
CN111667393A (zh) * 2019-08-26 2020-09-15 福建数博讯信息科技有限公司 一种虚拟场景中模拟下雨的方法及终端
CN111667393B (zh) * 2019-08-26 2023-07-07 福建数博讯信息科技有限公司 一种虚拟场景中模拟下雨的方法及终端
CN110879979B (zh) * 2019-11-13 2024-01-02 泉州师范学院 一种基于移动终端的增强现实系统
CN110879979A (zh) * 2019-11-13 2020-03-13 泉州师范学院 一种基于移动终端的增强现实系统
CN112308954A (zh) * 2019-11-26 2021-02-02 海南发控智慧环境建设集团有限公司 一种建筑模型信息化及其实景虚拟仿真方法
CN111061374B (zh) * 2019-12-20 2024-04-09 京东方科技集团股份有限公司 一种支持多人模式增强现实应用的方法及装置
CN111061374A (zh) * 2019-12-20 2020-04-24 京东方科技集团股份有限公司 一种支持多人模式增强现实应用的方法及装置
CN111241681A (zh) * 2020-01-13 2020-06-05 陕西心像信息科技有限公司 信号机的显示范围仿真模拟方法及设备
CN111241681B (zh) * 2020-01-13 2023-03-24 陕西心像信息科技有限公司 信号机的显示范围仿真模拟方法及设备
CN111524240A (zh) * 2020-05-11 2020-08-11 维沃移动通信有限公司 场景切换方法、装置及增强现实设备
CN111653175A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 一种虚拟沙盘展示方法及装置
CN111651055A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 城市虚拟沙盘展示方法、装置、计算机设备及存储介质
CN111857341A (zh) * 2020-06-10 2020-10-30 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111599223A (zh) * 2020-06-12 2020-08-28 浙江商汤科技开发有限公司 沙盘展示系统及沙盘展示方法
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质
CN111882675A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 一种模型呈现方法、装置、电子设备及计算机存储介质
CN112733366B (zh) * 2021-01-12 2022-09-16 中国人民解放军陆军军事交通学院军事交通运输研究所 一种实时高爆弹破片毁伤仿真方法
CN112733366A (zh) * 2021-01-12 2021-04-30 中国人民解放军陆军军事交通学院军事交通运输研究所 一种新型实时高爆弹破片毁伤仿真方法
CN113034668A (zh) * 2021-03-01 2021-06-25 中科数据(青岛)科技信息有限公司 一种ar辅助的机械模拟操作方法和系统
CN113034668B (zh) * 2021-03-01 2023-04-07 中科数据(青岛)科技信息有限公司 一种ar辅助的机械模拟操作方法和系统
CN113436559A (zh) * 2021-05-19 2021-09-24 吉林大学 一种沙盘动态景观实时显示系统及显示方法
WO2023011216A1 (zh) * 2021-08-06 2023-02-09 华为技术有限公司 一种设备热插拔方法及终端设备
TWI779922B (zh) * 2021-11-10 2022-10-01 財團法人資訊工業策進會 擴增實境處理裝置以及方法
CN114460760A (zh) * 2022-04-13 2022-05-10 武汉经典模型技术有限公司 一种电子沙盘物体动态显示方法及系统
CN114460760B (zh) * 2022-04-13 2022-06-10 武汉经典模型技术有限公司 一种电子沙盘物体动态显示方法及系统

Also Published As

Publication number Publication date
US20180247456A1 (en) 2018-08-30
CN108510592B (zh) 2021-08-31
US10181222B2 (en) 2019-01-15

Similar Documents

Publication Publication Date Title
CN108510592A (zh) 真实物理模型的增强现实展示方法
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
CN108062776B (zh) 相机姿态跟踪方法和装置
CN105393284B (zh) 基于人类身体数据的空间雕刻
EP3151202B1 (en) Information processing device and information processing method
CN106101689B (zh) 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法
CN104322052B (zh) 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统
CN108256504A (zh) 一种基于深度学习的三维动态手势识别方法
CN106204443A (zh) 一种基于多目复用的全景无人机系统
CN107016704A (zh) 一种基于增强现实的虚拟现实实现方法
Piekarski Interactive 3d modelling in outdoor augmented reality worlds
CN109154499A (zh) 用于增强立体显示的系统和方法
US20150016690A1 (en) Methods and apparatus for refractive flow measurement
CN105212418A (zh) 基于红外夜视功能的增强现实智能头盔研制
CN104748746A (zh) 智能机姿态测定及虚拟现实漫游方法
CN109298629A (zh) 用于为自主和非自主位置意识提供鲁棒跟踪的容错
CN110363061A (zh) 计算机可读介质、训练对象检测算法的方法及显示装置
Oskiper et al. Augmented reality binoculars
CN109765936A (zh) 移动终端的定位和控制方法、装置及无人机
US11302067B2 (en) Systems and method for realistic augmented reality (AR) lighting effects
Afif et al. Orientation control for indoor virtual landmarks based on hybrid-based markerless augmented reality
WO2022023142A1 (en) Virtual window
CN209357430U (zh) 博物馆移动展教交互系统
CN107218886A (zh) 一种基于隐形组合路标的光学定位追踪系统及方法
Oskiper et al. Augmented reality scout: Joint unaided-eye and telescopic-zoom system for immersive team training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 501, No. 570 shengxia Road, Zhangjiang hi tech park, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.