CN106817568A - 一种增强现实显示方法和装置 - Google Patents

一种增强现实显示方法和装置 Download PDF

Info

Publication number
CN106817568A
CN106817568A CN201611104071.1A CN201611104071A CN106817568A CN 106817568 A CN106817568 A CN 106817568A CN 201611104071 A CN201611104071 A CN 201611104071A CN 106817568 A CN106817568 A CN 106817568A
Authority
CN
China
Prior art keywords
physical equipment
information
display
dimensional
collecting unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611104071.1A
Other languages
English (en)
Inventor
赵辰
丛林
李晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201611104071.1A priority Critical patent/CN106817568A/zh
Publication of CN106817568A publication Critical patent/CN106817568A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Abstract

本发明的实施方式提供了一种AR显示方法，包括：通过图像采集单元对当前场景中的物理设备进行图像采集，并在相应于图像采集单元的显示屏上呈现采集到的实时图像；根据图像采集单元相对物理设备的实时姿态信息和图像采集单元的参数信息，确定物理设备在显示屏上的呈现位置信息；根据呈现位置信息，在显示屏的相应位置上叠加显示物理设备的三维显示信息，通过在实时采集的物理设备图像上叠加三维显示信息，保留了用户实际所处的环境作为感知和交互环境，增加了展示真实感，用户可根据需要从任意角度对物理设备进行图像采集，因此，可全方位展示物理设备的内部结构和/或工作过程，提高了用户体验。本发明的实施方式还提供了一种增强现实显示装置。

Description

一种增强现实显示方法和装置
技术领域
本发明的实施方式涉及增强现实技术领域，更具体地，本发明的实施方式涉及一种增强现实显示方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
物理设备的内部结构有助于用户了解物理设备的结构组成和物理设备的工作原理。例如，展示抽油烟机的内部离心式风机或者展示灶台的燃气进入进气管并被脉冲点火器点燃的过程等等。但是，实际应用中，这样的展示往往由于实际展示环境的限制(例如，家电卖场不方便拆卸油烟机以向顾客展示风机)，或难以可视(例如灶台的燃气不可见)或规则限制(如家电卖场不允许出现明火，所以无法展示燃气灶的火焰)而采用多媒体的方式或者道具辅助的方式进行展示。
常见的多媒体方式为透视图、视频动画、根据物理设备的结构设计制作展示视频或抽象技术的过程原理、利用叠加仪投射静态图像或动画到物体表面(如图1所示)、三维可交互动画等。常见的道具辅助展示方式包括LED灯箱(如图2所示)，可见消耗物(例如气体)的辅助产生工具(如图3所示)。
发明内容
上述的各种展示方式中，透视图为单一角度展示，用户无法看到设备内部结构的全貌，而视频动画为线型故事描述结构，用户只能被动观看到视频动画中显示的内容，而不能按照自己意愿选择观看，叠加仪投射静态图像或动画到物体表面同样为单一角度，无法看到全貌，三维交互动画可以在图像显示器上通过输入设备进行交互，但是此三维动画脱离了真实环境，影响了用户体验；而道具辅助展示方式一方面需要辅助的道具，另一方面部分道具辅助展示方式也无法展示全部的角度。
为此，非常需要一种改进的物理设备内部结构显示方法，以在真实环境中从不同角度全方位展示物理设备内部结构或者物理设备的工作原理。
在本上下文中，本发明的实施方式期望提供一种增强现实显示方法和装置。
在本发明实施方式的第一方面中，提供了一种增强现实AR显示方法，包括：
通过图像采集单元对当前场景中的物理设备进行图像采集，并在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；
根据所述图像采集单元相对所述物理设备的实时姿态信息和所述图像采集单元的参数信息，确定所述物理设备在所述显示屏上的呈现位置信息；
根据所述呈现位置信息，在所述显示屏的相应位置上叠加显示所述物理设备的三维显示信息，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。
优选地，按照以下方法确定所述图像采集单元相对所述物理设备的实时姿态信息：
确定所述图像采集单元的第一初始姿态信息；
采集所述图像采集单元的位移信息和转动信息；
根据所述第一初始姿态信息、所述位移信息和所述转动信息，确定所述图像采集单元相对所述物理设备的实时姿态信息。
优选地，确定所述图像采集单元相对所述物理设备的第一初始姿态信息，具体包括：
在通过图像采集单元对当前场景中的物理设备进行图像采集的同时，在相应于所述图像采集单元的显示屏上呈现预先存储的、所述物理设备的初始状态图像，所述初始状态图像中包含所述物理设备的第一轮廓线条；
识别所述实时图像中包含的物理设备的第二轮廓线条；
确定所述第一轮廓线条和所述第二轮廓线条匹配时，利用预先存储的、所述第一轮廓线条对应的第一组关键点信息和从所述第二轮廓线条中提取的第二组关键点信息以及所述图像采集单元的参数信息，确定所述图像采集单元相对所述物理设备的第一初始姿态信息。
优选地，按照以下方法获得所述物理设备的初始状态图像：
获得所述物理设备的三维结构信息；
利用预设的第二初始姿态信息对所述物理设备的三维结构信息进行投影处理得到所述物理设备的初始状态图像。
优选地，获得所述物理设备的三维结构信息，具体包括：
接收针对所述物理设备拍摄的图像，根据接收到的图像进行三维重建得到所述物理设备的三维结构信息；或者
接收用户提供的所述物理设备的三维结构信息。
优选地，按照以下方法确定所述物理设备的三维显示信息：
根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述物理设备的三维素材信息，获得对应于所述物理设备的实时姿态的三维显示信息。
优选地，所述物理设备内部结构为用户在使用所述物理设备时对所述用户不可见的物理设备内部结构。
优选地，所述物理设备工作过程为所述物理设备内部结构中的工作过程。
优选地，所述用于模拟所述物理设备工作过程的三维显示信息包括用于模拟所述物理设备工作过程中的相关固体、气体和/或液体的形态、位置和/或颜色变化的动态显示信息。
可选地，本发明实施例提供的增强现实AR显示方法，还包括：
对呈现的所述物理设备的实时图像的外表面进行透明处理。
在本发明实施方式的第二方面中，提供了一种增强现实AR显示装置，包括：
图像采集单元，用于对当前场景中的物理设备进行图像采集；
呈现单元，用于在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；
第一确定单元，用于根据所述图像采集单元相对所述物理设备的实时姿态信息和所述图像采集单元的参数信息，确定所述物理设备在所述显示屏上的呈现位置信息；
显示单元，用于根据所述呈现位置信息，在所述显示屏的相应位置上叠加显示所述物理设备的三维显示信息，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。
可选地，本发明实施例提供的增强显示装置，还包括：
第二确定单元，用于确定所述图像采集单元的第一初始姿态信息；
信息采集单元，用于采集所述图像采集单元的位移信息和转动信息；
第三确定单元，用于根据所述第一初始姿态信息、所述位移信息和所述转动信息，确定所述图像采集单元相对所述物理设备的实时姿态信息。
可选地，本发明实施例提供的增强显示装置，还包括别单元和第四确定单元，其中：
所述呈现单元，还用于在所述图像采集单元对当前场景中的物理设备进行图像采集的同时，在相应于所述图像采集单元的显示屏上呈现预先存储的、所述物理设备的初始状态图像，所述初始状态图像中包含所述物理设备的第一轮廓线条；
所述识别单元，用于识别所述呈现单元呈现的实时图像中包含的物理设备的第二轮廓线条；
所述第四确定单元，用于确定所述第一轮廓线条和所述第二轮廓线条匹配时，利用预先存储的、所述第一轮廓线条对应的第一组关键点信息和从所述第二轮廓线条中提取的第二组关键点信息以及所述图像采集单元的参数信息，确定所述图像采集单元相对所述物理设备的第一初始姿态信息。
可选地，本发明实施例提供的增强显示装置，还包括：
获得单元，用于获得所述物理设备的三维结构信息；
第一处理单元，用于利用预设的第二初始姿态信息对所述物理设备的三维结构信息进行投影处理得到所述物理设备的初始状态图像。
优选地，所述获得单元，包括：
三维重建子单元，用于接收针对所述物理设备拍摄的图像，根据接收到的图像进行三维重建得到所述物理设备的三维结构信息；或者
接收子单元，用于接收提供的所述物理设备的三维结构信息。
可选地，本发明实施例提供的增强显示装置，还包括：
第五确定单元，用于根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述物理设备的三维素材信息，获得对应于所述物理设备的实时姿态的三维显示信息。
优选地，所述物理设备内部结构为用户在使用所述物理设备时对所述用户不可见的物理设备内部结构。
优选地，所述物理设备工作过程为所述物理设备内部结构中的工作过程。
优选地，所述用于模拟所述物理设备工作过程的三维显示信息包括用于模拟所述物理设备工作过程中的相关固体、气体和/或液体的形态、位置和/或颜色变化的动态显示信息。
可选地，本发明实施例提供的增强现实AR显示装置，还包括：
第二处理单元，用于对所述呈现单元呈现的所述物理设备的实时图像的外表面进行透明处理。
在本发明实施方式的第三方面中，提供了一种增强现实AR显示装置，例如，可以包括存储器和处理器，其中，处理器可以用于读取存储器中的程序，执行下列过程：通过图像采集单元对当前场景中的物理设备进行图像采集，并在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；根据所述图像采集单元相对所述物理设备的实时姿态信息和所述图像采集单元的参数信息，确定所述物理设备在所述显示屏上的呈现位置信息；根据所述呈现位置信息，在所述显示屏的相应位置上叠加显示所述物理设备的三维显示信息，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。
在本发明实施方式的第四方面中，提供了一种程序产品，其包括程序代码，当所述程序产品运行时，所述程序代码用于执行以下过程：通过图像采集单元对当前场景中的物理设备进行图像采集，并在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；根据所述图像采集单元相对所述物理设备的实时姿态信息和所述图像采集单元的参数信息，确定所述物理设备在所述显示屏上的呈现位置信息；根据所述呈现位置信息，在所述显示屏的相应位置上叠加显示所述物理设备的三维显示信息，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。
根据本发明实施方式的增强现实AR显示方法和装置，通过在实时采集的物理设备图像上叠加用于展示该物理设备的内部结构和/或模拟所述物理设备工作过程的三维显示信息，由于保留用户实际所处的环境作为用户的主要感知和交互环境，增加了展示的真实感，而且由于用户可以根据实际需要从任意角度对物理设备进行图像采集，因此，可以全方位的看到物理设备的内部结构和/或工作过程，另外，本发明提供的物理设备内部结构和/或工作过程显示方法无需任何道具辅助，且不受环境限制，从而为用户带来了更好的体验。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1为现有技术中，利用叠加仪投射静态图像或动画到物体表面的示意图；
图2为现有技术中，LED灯箱进行辅助展示示意图；
图3为现有技术中，可见消耗物(例如气体)的辅助产生工具示意图；
图4示意性地示出了根据本发明实施方式的应用场景示意图；
图5示意性地示出了根据本发明实施方式的增强现实显示方法实施流程示意图；
图6a示意性地示出了根据本发明实施方式的对物理设备对应的三维显示信息进行显示的实施流程示意图；
图6b示意性地示出了根据本发明实施方式的确定图像采集单元的第一初始姿态信息的实施流程示意图；
图6c示意性地示出了根据本发明实施方式的在真实的燃气灶上显示火焰的效果示意图；
图7示意性地示出了根据本发明另一实施例的增强现实显示装置的结构示意图；
图8示意性地示出了根据本发明又一实施例的增强现实显示装置的结构示意图；
图9示意性地示出了根据本发明再一实施例的增强现实显示装置的程序产品示意图；
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种增强现实AR显示方法和装置。
在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，现有的对于物理设备内部结构和/或工作过程等展示方法中，要么只能从单一角度进行展示，无法满足用户需求，要么需要道具辅助，增加了展示难度，影响了用户体验。
有鉴于此，本发明提供了一种基于增强现实(AR，Augmented Reality)的显示方法，通过对真实环境中的物理设备进行采集得到包含该物理设备的图像，并在该图像的相应位置上叠加用于模拟该物理设备工作过程或者用于展示该物理设备内部结构的三维显示信息，保留用户所处真实环境作为实际展示环境，增加了展示的真实感，而且用户可以选择任意角度获取物理设备图像，从而可以全方位的对物理设备及其内部结构和/或工作过程进行展示，提高了用户体验。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
首先参考图4，其为本发明实施例提供的增强现实(AR)方法的应用场景示意图。用户40通过移动终端41对真实环境中的物理设备进行图像采集，例如，用户40打开移动终端41中安装的AR显示客户端，选择需要显示的物理设备，调用移动终端41的摄像头对真实环境中的物理设备进行图像采集，在移动终端41的显示屏幕上实时显示采集得到的实时图像，AR显示客户端实时计算摄像头对物理设备进行图像采集的实时姿态信息，并利用计算得到的实时姿态信息和摄像头的图像采集参数对预先存储的、该物理设备对应的三维素材信息进行成像处理得到对应的三维显示信息，将得到的三维显示信息叠加在屏幕显示的物理设备图像上。
需要说明的是，具体实施时，需要预先采集不同种类以及不同型号的物理设备的三维结构、内部结构以及模拟该物理设备工作过程等相关的三维素材信息预置在AR显示客户端中，或者预置在服务器中、供客户端需要时获取。
本发明实施例中，可以通过以下任一方式获得物理设备的三维结构、内部结构以及模拟该物理设备工作过程等相关的三维素材信息：
获取方式一、
接收用户或物理设备厂商提供的物理设备及其内部结构的三维结构信息。
这种实施方式下，通常可以由物理设备生产商直接提供物理设备及其内部结构的三维结构图，根据获得的三维结构图直接获取相应物理设备及其内部结构的三维结构信息。
而对于用于模拟物理设备工作过程的三维素材信息可以由物理设备生产厂商提供，也可以根据物理设备工作原理进行预先设计得到。
获取方式二、
接收针对物理设备拍摄的图像，根据接收到的图像进行三维重建得到相应物理设备的三维结构信息。
利用上述任一获取方式获取的物理设备的三维结构信息，进行三维素材信息的设计与制作得到相应的三维素材信息，例如，用于模拟燃气灶上的火焰效果动画等。
进一步地，还可以利用相应的编辑工具，对得到的三维素材进行步骤分解，对分解得到的各个步骤中添加相应的交互信息与事件，完成动画配置，例如，添加操作按钮，或者将锅拖动到燃气灶上等。
为了提供后续跟踪过程中的三维约束信息，具体实施时，可以利用预设算法从获取的物理设备的三维结构信息中提取物理设备的轮廓线条，或者手工选取物理设备的轮廓线条作为跟踪过程中的三维约束信息，并记录物理设备的轮廓线条的第一组关键点的三维坐标作为第一组关键点信息，假设记为{P1,P2,P3,…,Pm}，其中，m为自然数。
上述获得的三维结构信息和三维素材信息可以预置在AR显示客户端中，或者预置在服务器中、供客户端需要时获取。用户在对真实环境中的物理设备进行图像采集之前，可以选择当前展示的物理设备种类及型号，例如，AR显示客户端可以在一级菜单中显示物理设备种类，在二级菜单种显示物理设备品牌，在三级菜单中显示物理设备的型号等，以便于用户选择。
基于上述采集的相关数据，在需要显示物理设备的内部结构或者内部工作原理时，可以利用本发明实施例提供的方法进行显示，以下详细介绍之。
示例性方法
下面结合图4的应用场景，参考图5和图6a、图6b来描述根据本发明示例性实施方式的AR显示方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
如图5所示，其为本发明实施例提供的AR显示方法实施流程示意图，包括以下步骤：
S51、通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像。
本步骤中，用户需要展示或者观看物理设备内部结构和/或模拟物理设备工作过程时，打开AR显示客户端，用户选择了物理设备种类及型号后，AR显示客户端调用移动终端的图像采集单元对当前场景中的物理设备进行拍摄，例如，该图像采集单元可以为移动终端中的摄像头，并在移动终端的显示屏幕上呈现拍摄得到的物理设备图像。
S52、根据所述图像采集单元相对所述物理设备的实时姿态信息和所述图像采集单元的参数信息，确定所述物理设备在所述显示屏上的呈现位置信息。
S53、根据所述呈现位置信息，在所述显示屏的相应位置上叠加显示所述物理设备的三维显示信息。
其中，所述物理设备的三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。
需要说明的是，本发明实施例中涉及的物理设备内部结构为用户在使用物理设备时对用户不可见的物理设备内部结构，而非柜式物理设备，例如冰箱等的内部存储空间，该存储空间在柜门被打开后对于用户来说是可见的。而本发明实施例涉及的物理设备内部结构可以为设备的结构组成，例如，油烟机内部的风机系统结构、控制系统结构、滤油装置结构等，冰箱的制冷系统结构、控制系统结构等，其中，冰箱的制冷系统可以包括压缩机、冷凝器、蒸发器和毛细管节流器等，根据本发明实施例中展示的物理设备内部结构，可以向用户展示各个器件之间的连接关系。
根据本发明实施例，还可以将用于模拟物理设备的工作过程的三维显示信息叠加在实时采集的物理设备图像上进行显示，以帮助用户了解物理设备的工作过程。其中，物理设备工作过程为物理设备内部结构中的工作过程，在实际应用中对用户来说不可见的，用于模拟物理设备工作过程的三维显示信息包括用于模拟所述物理设备工作过程中的相关固体、气体和/或液体的形态、位置和/或颜色变化的动态显示信息。
上文中用于模拟所述物理设备工作过程中的相关固体、气体和/或液体的形态、位置和/或颜色变化的动态显示信息，例如，在真实的物理燃气灶台上演示燃气通过灶台内部管道导入灶体空气喷射口并被点燃呈现虚拟火焰的过程，或者在真实物理燃气灶台上叠加虚拟煎锅和牛排以展现煎牛排的场景效果；或者在真实的油烟机上演示油烟机清洗的过程等。
具体实施时，步骤S52可以按照图6a所示的流程实施：
S521、确定图像采集单元的第一初始姿态信息。
具体实施时，步骤S521中可以按照图6b所示的流程确定图像采集单元的第一初始姿态信息：
S5211、在通过图像采集单元对当前场景中的物理设备进行图像采集的同时，在相应于图像采集单元的显示屏上呈现预先存储的、物理设备的初始状态图像，所述初始状态图像中包含所述物理设备的第一轮廓线条。
初始时，在用户利用摄像头对当前场景进行图像采集时，AR显示客户端根据用户选择的物理设备型号等信息，在显示屏上显示相应物理设备的初始状态图像，其中，显示的初始状态图像中包含物理设备的第一轮廓线条。
S5212、识别所述实时图像中包含的物理设备的第二轮廓线条。
具体实施时，根据显示屏幕显示的、物理设备的第一轮廓线条，需要用户将实时图像中呈现的物理设备大致对准显示屏呈现的第一轮廓线条，然后AR客户端利用线条检测算法检测显示屏显示的物理设备的主要线条得到第二轮廓线条。
S5213、确定第一轮廓线条和第二轮廓线条匹配时，利用预先存储的、第一轮廓线条对应的第一组关键点信息和从第二轮廓线条中提取的第二组关键点信息以及图像采集单元的参数信息，确定图像采集单元相对所述物理设备的第一初始姿态信息。
具体地，确定第一轮廓线条与第二轮廓线条匹配时，计算第一轮廓线条与第二轮廓线条中关键点的对应关系，得到第一组关键点对应的第二组关键点，基于此，利用存储的第一轮廓线条对应的第一组关键点信息(上述的第一组关键点的三维坐标)和从第二轮廓线条上提取的第二组关键点信息得到摄像头的初始姿态信息，本发明实施例中，可以以从第二轮廓线条上提取的第二组关键点的二维坐标作为第二组关键点信息，假设记为{q1,q2,q3,…,qm}，其中，m为自然数。
基于此，可以按照以下公式确定图像采集单元的初始姿态信息：其中，K为图像采集单元的参数信息，[R|T]是图像采集单元的初始姿态信息，其包括图像采集单元的初始位置和初始朝向，R是初始朝向、T是初始位置，其中，R包含了3个自由度的信息，其表示图像采集单元分别相对于x轴，y轴和z轴的旋转量，其为一个3*3的矩阵，T是3维向量(x,y,z)，则[R|T]可以表示为一个3*4的矩阵。具体实施时，根据该公式，可以确定使得E达到最小值的[R|T]为图像采集单元的初始姿态信息。
其中，图像采集单元的参数信息可以包括图像采集单元的焦距、元件尺寸、畸变参数等。
S522、采集图像采集单元的位移信息和转动信息。
具体实施时，可以利用终端设备中的加速度计采集图像采集单元的位移信息，并利用终端设备中的陀螺仪采集图像采集单元的转动信息。
其中，陀螺仪采集图像采集单元在时间t内的转动信息，加速度计采集图像采集单元在时间t内的直线加速度信息，由此，可以估计出图像采集单元在时间t内的位移。
S523、根据图像采集单元的第一初始姿态信息、采集的位移信息和转动信息，确定图像采集单元相对所述物理设备的实时姿态信息。
具体实施时，可以利用步骤S521中确定出的图像采集单元的初始位置和初始朝向，在图像采集单元的移动过程中，利用SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)算法实时确定图像采集单元的实时位置和实时朝向，得到图像采集单元的实时姿态信息。
S522、根据图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述物理设备的三维素材信息，获得对应于所述物理设备和当前的实时姿态的三维显示信息，并将所述三维显示信息叠加在所述实时图像的相应位置处进行显示。
步骤S522中，利用步骤S521中确定出的图像采集单元相对于物理设备的实时姿态信息、预先存储的三维素材信息(包括描述物理设备内部结构的三维素材信息和/或用于模拟物理设备的工作过程的三维素材信息)，获得对应于物理设备和当前的实时姿态的三维显示信息。
其中，根据三维素材信息、图像采集单元的实时姿态以及图像采集单元的图像采集参数，利用透视成像原理(投影方程)可以得到三维素材信息的三维显示信息，具体流程如下：对三维素材信息中的每一个顶点(X,Y,Z)，根据图像采集单元的实时姿态以及图像采集参数得到的投影矩阵P，通过投影方程计算在成像平面上的像素成像位置(x,y)，对该像素绘制该顶点的色彩信息，针对三维素材信息中包含的所有顶点重复均按照上述过程进行处理则可得到该三维素材的三维显示信息，其中，图像采集单元的图像采集参数可以包括图像采集单元的内参矩阵等。根据计算得到的像素成像位置，将三维显示信息叠加到移动终端屏幕显示的物理设备图像上的相应位置处。如图6c所示，其为在真实的燃气灶上显示火焰的效果示意图。
具体实施时，为了增强显示效果，还可以对移动终端显示屏幕所呈现的物理设备的实时图像的外表面进行透明处理。
需要说明的是，本发明实施例中涉及的移动终端可以为常见的手机、平板电脑等，也可以为可穿戴式终端，例如增强现实(AR)眼镜等。
本发明实施例提供的AR显示方法，预先采集物理设备的三维结构、内部结构及模拟其工作过程等三维素材信息并存储，当需要展示物理设备的内部结构或者内部工作时，利用移动终端的摄像头对真实环境中的物理设备进行图像采集，并在移动终端的显示屏上显示采集得到的实时图像，根据采集得到的实时图像确定摄像头的实时姿态，并利用图像采集单元的图像采集参数和得到的实时姿态以及三维素材信息获得对应的三维显示信息，将获得的三维显示信息叠加在显示屏幕实时显示的物理设备图像的相应位置上进行显示。上述显示过程中，保留了用户所在真实环境，增加了显示的真实感，同时，由于用户可以从任意角度针对物理设备进行图像采集，从而从不同角度进行展示，提高了用户体验。
示例性设备
在介绍了本发明示例性实施方式的方法之后，接下来，参考图7对本发明示例性实施方式的增强现实显示装置进行说明。
如图7所示，其为本发明实施例提供的增强现实显示装置的结构示意图，可以包括：
图像采集单元71，用于通过图像采集单元对当前场景中的物理设备进行图像采集；
呈现单元72、用于在相应于所述图像采集单元的显示屏上呈现采集到的实时图像。
第一确定单元73，用于根据所述图像采集单元相对所述物理设备的实时姿态信息和所述图像采集单元的参数信息，确定所述物理设备在所述显示屏上的呈现位置信息。
显示单元74，用于根据所述呈现位置信息，在所述显示屏的相应位置上叠加显示所述物理设备的三维显示信息，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。
其中，所述物理设备内部结构为用户在使用所述物理设备时对所述用户不可见的物理设备内部结构。所述物理设备工作过程为所述物理设备内部结构中的工作过程。所述用于模拟所述物理设备工作过程的三维显示信息包括用于模拟所述物理设备工作过程中的相关固体、气体和/或液体的形态、位置和/或颜色变化的动态显示信息。
可选地，本发明实施例提供的增强现实显示装置，还可以包括：
第二确定单元75，用于确定所述图像采集单元71的第一初始姿态信息；
信息采集单元76，用于采集所述图像采集单元71的位移信息和转动信息；
第三确定单元77，用于根据所述第一初始姿态信息、所述位移信息和所述转动信息，确定所述图像采集单元相对所述物理设备的实时姿态信息。
可选地，本发明实施例提供的增强现实显示装置，还可以包括识别单元78和第四确定单元79，其中：
所述呈现单元72，还用于在所述图像采集单元71对当前场景中的物理设备进行图像采集的同时，在相应于所述图像采集单元71的显示屏上呈现预先存储的、所述物理设备的初始状态图像，所述初始状态图像中包含所述物理设备的第一轮廓线条；
所述识别单元78，用于识别所述呈现单元72呈现的实时图像中包含的物理设备的第二轮廓线条；
所述第四确定单元79，用于确定所述第一轮廓线条和所述第二轮廓线条匹配时，利用预先存储的、所述第一轮廓线条对应的第一组关键点信息和从所述第二轮廓线条中提取的第二组关键点信息以及所述图像采集单元的参数信息，确定所述图像采集单元相对所述物理设备的第一初始姿态信息。
可选地，本发明实施例提供的增强现实显示装置，还可以包括：
获得单元710，用于获得所述物理设备的三维结构信息；
第一处理单元711，用于利用预设的第二初始姿态信息对所述物理设备的三维结构信息进行投影处理得到所述物理设备的初始状态图像。
优选地，所述获得单元710，包括：
三维重建子单元7101，用于接收针对所述物理设备拍摄的图像，根据接收到的图像进行三维重建得到所述物理设备的三维结构信息；或者
接收子单元7102，用于接收提供的所述物理设备的三维结构信息。
可选地，本发明实施例提供的增强现实显示装置，还可以包括：
第五确定单元712，用于根据所述图像采集单元71的图像采集参数和实时姿态信息、以及预先存储的对应于所述物理设备的三维素材信息，获得对应于所述物理设备的实时姿态的三维显示信息。
可选地，本发明实施例提供的增强现实显示装置，还可以包括：
第二处理单元713，用于对所述呈现单元72呈现的所述物理设备的实时图像的外表面进行透明处理。
在介绍了本发明提供的增强现实显示方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的增强现实显示装置。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本发明的增强现实显示装置可以包括至少一个第一处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述第一处理单元执行时，使得所述第一处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的消息提示方法中的各种步骤。例如，所述第一处理单元可以执行如图5中所示的步骤S51，通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像，步骤S52，根据所述图像采集单元相对所述物理设备的实时姿态信息和所述图像采集单元的参数信息，确定所述物理设备在所述显示屏上的呈现位置信息；以及步骤S53、根据所述呈现位置信息，在所述显示屏的相应位置上叠加显示所述物理设备的三维显示信息。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
下面参照图8来描述根据本发明的这种实施方式的增强现实显示装置80。图8所示的用于增强现实显示装置仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，增强现实显示装置80可以以通用计算设备的形式表现。增强现实显示装置80的组件可以包括但不限于：上述至少一个第一处理单元81、上述至少一个存储单元82、连接不同系统组件(包括存储单元82和第一处理单元81)的总线83。
总线83表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元82可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)821和/或高速缓存存储器822，还可以进一步包括只读存储器(ROM)823。
存储单元82还可以包括具有一组(至少一个)程序模块824的程序/实用工具825，这样的程序模块824包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
增强现实显示装置80也可以与一个或多个外部设备84(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与增强现实显示装置80交互的设备通信，和/或与使得该增强现实显示装置80能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口85进行。并且，增强现实显示装置80还可以通过网络适配器86与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器86通过总线83与用于增强现实显示装置80的其它模块通信。应当理解，尽管图中未示出，可以结合增强现实显示装置80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余第一处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
示例性程序产品
在一些可能的实施方式中，本发明提供的增强现实显示方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的增强现实显示方法中的步骤，例如，所述终端设备可以执行如图5中所示的步骤S51，通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像，步骤S52，根据所述图像采集单元相对所述物理设备的实时姿态信息和所述图像采集单元的参数信息，确定所述物理设备在所述显示屏上的呈现位置信息；以及步骤S53、根据所述呈现位置信息，在所述显示屏的相应位置上叠加显示所述物理设备的三维显示信息。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
如图9所示，描述了根据本发明的实施方式的用于增强现实显示的程序产品90，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种增强现实AR显示方法，包括：
通过图像采集单元对当前场景中的物理设备进行图像采集，并在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；
根据所述图像采集单元相对所述物理设备的实时姿态信息和所述图像采集单元的参数信息，确定所述物理设备在所述显示屏上的呈现位置信息；
根据所述呈现位置信息，在所述显示屏的相应位置上叠加显示所述物理设备的三维显示信息，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。
2.根据权利要求1所述的方法，按照以下方法确定所述图像采集单元相对所述物理设备的实时姿态信息：
确定所述图像采集单元的第一初始姿态信息；
采集所述图像采集单元的位移信息和转动信息；
根据所述第一初始姿态信息、所述位移信息和所述转动信息，确定所述图像采集单元相对所述物理设备的实时姿态信息。
3.根据权利要求2所述的方法，确定所述图像采集单元相对所述物理设备的第一初始姿态信息，具体包括：
在通过图像采集单元对当前场景中的物理设备进行图像采集的同时，在相应于所述图像采集单元的显示屏上呈现预先存储的、所述物理设备的初始状态图像，所述初始状态图像中包含所述物理设备的第一轮廓线条；
识别所述实时图像中包含的物理设备的第二轮廓线条；
确定所述第一轮廓线条和所述第二轮廓线条匹配时，利用预先存储的、所述第一轮廓线条对应的第一组关键点信息和从所述第二轮廓线条中提取的第二组关键点信息以及所述图像采集单元的参数信息，确定所述图像采集单元相对所述物理设备的第一初始姿态信息。
4.根据权利要求3所述的方法，按照以下方法获得所述物理设备的初始状态图像：
获得所述物理设备的三维结构信息；
利用预设的第二初始姿态信息对所述物理设备的三维结构信息进行投影处理得到所述物理设备的初始状态图像。
5.根据权利要求4所述的方法，获得所述物理设备的三维结构信息，具体包括：
接收针对所述物理设备拍摄的图像，根据接收到的图像进行三维重建得到所述物理设备的三维结构信息；或者
接收用户提供的所述物理设备的三维结构信息。
6.根据权利要求1所述的方法，按照以下方法确定所述物理设备的三维显示信息：
根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述物理设备的三维素材信息，获得对应于所述物理设备的实时姿态的三维显示信息。
7.根据权利要求1～6任一权利要求所述的方法，所述物理设备内部结构为用户在使用所述物理设备时对所述用户不可见的物理设备内部结构。
8.根据权利要求1～6任一权利要求所述的方法，所述物理设备工作过程为所述物理设备内部结构中的工作过程。
9.根据权利要求8所述的方法，所述用于模拟所述物理设备工作过程的三维显示信息包括用于模拟所述物理设备工作过程中的相关固体、气体和/或液体的形态、位置和/或颜色变化的动态显示信息。
10.一种增强现实AR显示装置，包括：
图像采集单元，用于对当前场景中的物理设备进行图像采集；
呈现单元，用于在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；
第一确定单元，用于根据所述图像采集单元相对所述物理设备的实时姿态信息和所述图像采集单元的参数信息，确定所述物理设备在所述显示屏上的呈现位置信息；
显示单元，用于根据所述呈现位置信息，在所述显示屏的相应位置上叠加显示所述物理设备的三维显示信息，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。
CN201611104071.1A 2016-12-05 2016-12-05 一种增强现实显示方法和装置 Pending CN106817568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611104071.1A CN106817568A (zh) 2016-12-05 2016-12-05 一种增强现实显示方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611104071.1A CN106817568A (zh) 2016-12-05 2016-12-05 一种增强现实显示方法和装置

Publications (1)

Publication Number Publication Date
CN106817568A true CN106817568A (zh) 2017-06-09

Family

ID=59105973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611104071.1A Pending CN106817568A (zh) 2016-12-05 2016-12-05 一种增强现实显示方法和装置

Country Status (1)

Country Link
CN (1) CN106817568A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977082A (zh) * 2017-12-19 2018-05-01 亮风台（上海）信息科技有限公司 一种用于呈现ar信息的方法及系统
CN108171817A (zh) * 2018-01-10 2018-06-15 上海市地下空间设计研究总院有限公司 基于mr或ar的巡检方法、mr或ar设备及巡检系统
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技（深圳）有限公司 增强现实数据处理方法、装置、计算机设备和存储介质
CN109032348A (zh) * 2018-06-26 2018-12-18 亮风台（上海）信息科技有限公司 基于增强现实的智能制造方法与设备
CN109582147A (zh) * 2018-08-08 2019-04-05 亮风台（上海）信息科技有限公司 一种用于呈现增强交互内容的方法以及用户设备
CN109669541A (zh) * 2018-09-04 2019-04-23 亮风台（上海）信息科技有限公司 一种用于配置增强现实内容的方法与设备
CN109982033A (zh) * 2017-12-27 2019-07-05 宇博先进电子工业有限公司 使用于穿戴式装置中的实像定位方法
CN109979014A (zh) * 2017-12-27 2019-07-05 中华电信股份有限公司 扩增实境应用产生系统及方法
CN110021062A (zh) * 2018-01-08 2019-07-16 佛山市顺德区美的电热电器制造有限公司 一种产品特征的获取方法及终端、存储介质
WO2020083318A1 (zh) * 2018-10-23 2020-04-30 中兴通讯股份有限公司 平视显示系统、显示方法和汽车
CN111477060A (zh) * 2020-05-29 2020-07-31 安徽新视野科教文化股份有限公司 基于ar增强现实技术的地震实景模拟方法及其系统
WO2020168792A1 (zh) * 2019-02-18 2020-08-27 北京三快在线科技有限公司 增强现实显示方法与装置、电子设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101171565A (zh) * 2005-05-31 2008-04-30 菲利普莫里斯生产公司 虚拟现实吸烟系统
CN102789514A (zh) * 2012-04-20 2012-11-21 青岛理工大学 一种机械设备拆装3d在线诱导系统的诱导方法
CN102945637A (zh) * 2012-11-29 2013-02-27 河海大学 一种基于增强现实的嵌入式教学模型及其方法
CN103400119A (zh) * 2013-07-31 2013-11-20 南京融图创斯信息科技有限公司 基于人脸识别技术的混合显示眼镜交互展示方法
CN103561065A (zh) * 2013-10-22 2014-02-05 深圳市优逸电子科技有限公司 一种利用移动终端实现3d虚拟广告的系统及其方法
CN104471629A (zh) * 2012-06-13 2015-03-25 赛百瑞索路信有限公司 基于可以远程更新的增强现实模拟的用于焊接培训的先进装置
CN105303557A (zh) * 2015-09-21 2016-02-03 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101171565A (zh) * 2005-05-31 2008-04-30 菲利普莫里斯生产公司 虚拟现实吸烟系统
CN102789514A (zh) * 2012-04-20 2012-11-21 青岛理工大学 一种机械设备拆装3d在线诱导系统的诱导方法
CN104471629A (zh) * 2012-06-13 2015-03-25 赛百瑞索路信有限公司 基于可以远程更新的增强现实模拟的用于焊接培训的先进装置
CN102945637A (zh) * 2012-11-29 2013-02-27 河海大学 一种基于增强现实的嵌入式教学模型及其方法
CN103400119A (zh) * 2013-07-31 2013-11-20 南京融图创斯信息科技有限公司 基于人脸识别技术的混合显示眼镜交互展示方法
CN103561065A (zh) * 2013-10-22 2014-02-05 深圳市优逸电子科技有限公司 一种利用移动终端实现3d虚拟广告的系统及其方法
CN105303557A (zh) * 2015-09-21 2016-02-03 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977082A (zh) * 2017-12-19 2018-05-01 亮风台（上海）信息科技有限公司 一种用于呈现ar信息的方法及系统
CN109982033A (zh) * 2017-12-27 2019-07-05 宇博先进电子工业有限公司 使用于穿戴式装置中的实像定位方法
CN109979014A (zh) * 2017-12-27 2019-07-05 中华电信股份有限公司 扩增实境应用产生系统及方法
CN110021062A (zh) * 2018-01-08 2019-07-16 佛山市顺德区美的电热电器制造有限公司 一种产品特征的获取方法及终端、存储介质
CN108171817A (zh) * 2018-01-10 2018-06-15 上海市地下空间设计研究总院有限公司 基于mr或ar的巡检方法、mr或ar设备及巡检系统
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技（深圳）有限公司 增强现实数据处理方法、装置、计算机设备和存储介质
CN109032348A (zh) * 2018-06-26 2018-12-18 亮风台（上海）信息科技有限公司 基于增强现实的智能制造方法与设备
CN109032348B (zh) * 2018-06-26 2021-09-14 亮风台（上海）信息科技有限公司 基于增强现实的智能制造方法与设备
CN109582147A (zh) * 2018-08-08 2019-04-05 亮风台（上海）信息科技有限公司 一种用于呈现增强交互内容的方法以及用户设备
CN109582147B (zh) * 2018-08-08 2022-04-26 亮风台（上海）信息科技有限公司 一种用于呈现增强交互内容的方法以及用户设备
CN109669541A (zh) * 2018-09-04 2019-04-23 亮风台（上海）信息科技有限公司 一种用于配置增强现实内容的方法与设备
CN109669541B (zh) * 2018-09-04 2022-02-25 亮风台（上海）信息科技有限公司 一种用于配置增强现实内容的方法与设备
WO2020083318A1 (zh) * 2018-10-23 2020-04-30 中兴通讯股份有限公司 平视显示系统、显示方法和汽车
WO2020168792A1 (zh) * 2019-02-18 2020-08-27 北京三快在线科技有限公司 增强现实显示方法与装置、电子设备、存储介质
CN111477060A (zh) * 2020-05-29 2020-07-31 安徽新视野科教文化股份有限公司 基于ar增强现实技术的地震实景模拟方法及其系统

Similar Documents

Publication Publication Date Title
CN106817568A (zh) 一种增强现实显示方法和装置
CN106210468B (zh) 一种增强现实显示方法和装置
Sereno et al. Collaborative work in augmented reality: A survey
CN106600709A (zh) 基于装修信息模型的vr虚拟装修方法
CN106780421A (zh) 基于全景平台的装修效果展示方法
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN103778538A (zh) 一种家具仿真布局方法和系统
CN103530903A (zh) 一种虚拟试衣间的实现方法及实现系统
CN105139446A (zh) 一种基于kinect的全息虚拟试衣系统
CN105894584A (zh) 一种三维沉浸式环境下与现实环境交互的方法和装置
CN105184858A (zh) 一种增强现实移动终端的方法
CN110473293A (zh) 虚拟对象处理方法及装置、存储介质和电子设备
Li et al. Research on the application of AR technology based on Unity3D in education
Racz et al. VR aided architecture and interior design
CN107967054B (zh) 一种虚拟现实与增强现实耦合的沉浸式三维电子沙盘
EP4014468A1 (en) Systems and methods for virtual and augmented reality
CN102930083B (zh) 一种楼盘实时展示系统及方法
CN110544315A (zh) 虚拟对象的控制方法及相关设备
EP3594906B1 (en) Method and device for providing augmented reality, and computer program
Altabtabai et al. A user interface for parametric architectural design reviews
US20230162458A1 (en) Information processing apparatus, information processing method, and program
CN111652986B (zh) 舞台效果呈现方法、装置、电子设备及存储介质
Lu et al. Immersive interaction design based on perception of vector field climate data
CN210377371U (zh) 一种运用增强现实技术的建筑可视化系统
CN113220123A (zh) 一种音效控制的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190626

Address after: 311200 Room 102, 6 Blocks, C District, Qianjiang Century Park, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Yixian Advanced Technology Co., Ltd.

Address before: 310052 Building No. 599, Changhe Street Network Business Road, Binjiang District, Hangzhou City, Zhejiang Province, 4, 7 stories

Applicant before: NetEase (Hangzhou) Network Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170609