CN110275619A - 在头戴式显示器中显示真实物体的方法及其头戴式显示器 - Google Patents

在头戴式显示器中显示真实物体的方法及其头戴式显示器 Download PDF

Info

Publication number
CN110275619A
CN110275619A CN201910549634.5A CN201910549634A CN110275619A CN 110275619 A CN110275619 A CN 110275619A CN 201910549634 A CN201910549634 A CN 201910549634A CN 110275619 A CN110275619 A CN 110275619A
Authority
CN
China
Prior art keywords
user
real
image
world object
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910549634.5A
Other languages
English (en)
Inventor
马赓宇
李炜明
金容圭
金度完
郑载润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecom R&D Center
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201910549634.5A priority Critical patent/CN110275619A/zh
Publication of CN110275619A publication Critical patent/CN110275619A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种在头戴式显示器中显示真实物体的方法及其头戴式显示器。所述方法包括：(A)获取位于用户周围的真实物体的双目视图；以及(B)向用户呈现叠加有真实物体的双目视图的虚拟视野图像。根据所述方法及其头戴式显示器，用户在佩戴头戴式显示器时仍能够感知到周围的真实物体的实际三维空间位置、立体姿态及相关属性等信息，从而获得增强的虚拟视野体验。

Description

在头戴式显示器中显示真实物体的方法及其头戴式显示器
本申请是申请日为2015年08月31日、申请号为“201510549225.7”、发明名称为“在头戴式显示器中显示真实物体的方法及其头戴式显示器”的发明专利申请的分案申请。
技术领域
本发明总体说来涉及头戴式显示器技术领域，更具体地讲，涉及一种在头戴式显示器中显示真实物体的方法及显示真实物体的头戴式显示器。
背景技术
随着电子技术的发展，头戴式显示器(HMD)正成为重要的下一代显示设备，在娱乐、教育、办公等众多领域有着广泛的实际应用。当用户佩戴头戴式显示器时，双眼观察到的是由头戴式显示器的显示器和光学系统所构建的虚拟视野，因而无法观察到周围真实环境中的真实物体的情况，而这种情况在实际应用中往往给用户带来不便。
发明内容
本发明的示例性实施例在于提供一种在头戴式显示器中显示真实物体的方法及其头戴式显示器，以解决用户在佩戴头戴式显示器时无法观察到周围真实环境中的真实物体的情况而带来不便的问题。
根据本发明的示例性实施例，提供一种在头戴式显示器中显示真实物体的方法，包括：(A)获取位于用户周围的真实物体的双目视图；以及(B)向用户呈现叠加有真实物体的双目视图的虚拟视野图像。
可选地，在确定需要向用户呈现用户周围的真实物体的情况下，执行步骤(A)和/或步骤(B)。
可选地，真实物体包括以下项之中的至少一项：接近用户的身体的物体、贴有标签的物体、用户指定的物体、头戴式显示器上运行的应用当前需要使用的物体、操作控件所需的物体。
可选地，在以下条件之中的至少一项被满足时，确定需要向用户呈现真实物体：接收到请求呈现真实物体的用户输入；确定用户周围的真实物体与预设的呈现物体相匹配；在虚拟视野图像中显示的应用界面中检测到需要使用真实物体执行操作的控件；检测到用户的身体部位接近真实物体；检测到用户的身体部位朝向真实物体运动；确定头戴式显示器上运行的应用当前需要使用真实物体；确定到达预设的与用户周围的真实物体进行交互的时间。
可选地，所述方法还包括：(C)在以下条件之中的至少一项被满足时，向用户呈现未叠加有真实物体的双目视图的虚拟视野图像：接收到终止呈现真实物体的用户输入；确定用户周围的真实物体与预设的呈现物体不匹配；在虚拟视野图像中显示的应用界面中没有检测到需要使用真实物体执行操作的控件；确定用户的身体部位远离真实物体；确定头戴式显示器上运行的应用当前不需要使用真实物体；确定用户在预设时间段期间没有使用真实物体执行操作；确定用户能够在不观看真实物体的情况下执行操作。
可选地，步骤(A)包括：通过单个拍摄装置来捕获包括位于用户周围的真实物体的图像，根据捕获的图像获取位于用户周围的真实物体的双目视图。
可选地，在步骤(A)中，从捕获的图像中检测真实物体图像，基于检测到的真实物体图像确定另一视点的真实物体图像，并基于检测到的真实物体图像和所述另一视点的真实物体图像来得到真实物体的双目视图。
可选地，基于检测到的真实物体图像和所述另一视点的真实物体图像来得到真实物体的双目视图的步骤包括：基于所述单个拍摄装置与用户双目之间的位置关系，对检测到的真实物体图像和所述另一视点的真实物体图像进行视点校正来得到真实物体的双目视图。
可选地，步骤(A)包括：通过拍摄装置来捕获包括位于用户周围的真实物体的图像，从捕获的图像中检测真实物体图像，基于检测到的真实物体图像来得到真实物体的双目视图，其中，所述拍摄装置包括深度摄像头，或者，所述拍摄装置包括至少两个单视点摄像头。
可选地，基于检测到的真实物体图像来得到真实物体的双目视图的步骤包括：基于所述拍摄装置与用户双目之间的位置关系，对检测到的真实物体图像进行视点校正来得到真实物体的双目视图。
可选地，在检测不到真实物体之中的期望显示物体的真实物体图像时，扩大拍摄视角来重新捕获包括期望显示物体的图像，或者，提示用户转向期望显示物体所在的方位来重新捕获包括期望显示物体的图像。
可选地，在步骤(B)中，获取反映虚拟场景的虚拟场景图像，并通过将真实物体的双目视图与虚拟场景图像进行叠加来产生虚拟视野图像。
可选地，在步骤(B)中，在虚拟场景图像中的虚拟物体与真实物体在三维空间上存在遮挡的情况下，对虚拟物体进行缩放和/或移动。
可选地，在步骤(B)中，将真实物体显示为半透明、轮廓线或3D网格线之中的至少一项。
可选地，在步骤(B)中，根据以下显示方式之一将真实物体的双目视图叠加到头戴式显示器的虚拟视野图像：仅显示真实物体的双目视图而不显示虚拟场景图像、仅显示虚拟场景图像而不显示真实物体的双目视图、将真实物体的双目视图与虚拟场景图像在空间上融合显示、将真实物体的双目视图以画中画的形式显示在虚拟场景图像上、将虚拟场景图像以画中画的形式显示在真实物体的双目视图上。
可选地，在步骤(B)中，根据用户的操作来添加和/或删除叠加到虚拟视野图像的真实物体。
可选地，所述方法还包括：(D)获取关于物联网设备的显示项目，并将获取的显示项目叠加到虚拟视野图像，其中，所述显示项目表示物联网设备的以下项之中的至少一个：操作界面、操作状态、通知信息、指示信息。
可选地，通过以下处理之中的至少一项来获取关于物联网设备的显示项目：捕获位于用户的真实视野内的物联网设备的图像，并从捕获的物联网设备的图像提取关于物联网设备的显示项目；从位于用户的真实视野内和/或真实视野外的物联网设备接收关于物联网设备的显示项目；感测位于用户的真实视野外的物联网设备相对于头戴式显示器的位置作为指示信息。
可选地，所述方法还包括：(E)根据用户针对显示项目的操作来遥控物联网设备执行相应的处理。
根据本发明的另一示例性实施例，提供一种显示真实物体的头戴式显示器，包括：真实物体视图获取装置，获取位于用户周围的真实物体的双目视图；以及显示装置，向用户呈现叠加有真实物体的双目视图的虚拟视野图像。
可选地，所述头戴式显示器还包括：显示控制装置，确定是否需要向用户呈现用户周围的真实物体，其中，在显示控制装置确定需要向用户呈现用户周围的真实物体的情况下，真实物体视图获取装置获取位于用户周围的真实物体的双目视图和/或显示装置向用户呈现叠加有真实物体的双目视图的虚拟视野图像。
可选地，真实物体包括以下项之中的至少一项：接近用户的身体的物体、贴有标签的物体、用户指定的物体、头戴式显示器上运行的应用当前需要使用的物体、操作控件所需的物体。
可选地，在以下条件之中的至少一项被满足时，显示控制装置确定需要向用户呈现真实物体：接收到请求呈现真实物体的用户输入；确定用户周围的真实物体与预设的呈现物体相匹配；在虚拟视野图像中显示的应用界面中检测到需要使用真实物体执行操作的控件；检测到用户的身体部位接近真实物体；检测到用户的身体部位朝向真实物体运动；确定头戴式显示器上运行的应用当前需要使用真实物体；确定到达预设的与用户周围的真实物体进行交互的时间。
可选地，在以下条件之中的至少一项被满足时，显示控制装置确定不需要向用户呈现真实物体，显示装置向用户呈现未叠加有真实物体的双目视图的虚拟视野图像：接收到终止呈现真实物体的用户输入；确定用户周围的真实物体与预设的呈现物体不匹配；在虚拟视野图像中显示的应用界面中没有检测到需要使用真实物体执行操作的控件；确定用户的身体部位远离真实物体；确定头戴式显示器上运行的应用当前不需要使用真实物体；确定用户在预设时间段期间没有使用真实物体执行操作；确定用户能够在不观看真实物体的情况下执行操作。
可选地，所述头戴式显示器还包括：图像捕获装置，通过单个拍摄装置来捕获包括位于用户周围的真实物体的图像；双目视图产生装置，根据捕获的图像获取位于用户周围的真实物体的双目视图。
可选地，双目视图产生装置从捕获的图像中检测真实物体图像，基于检测到的真实物体图像确定另一视点的真实物体图像，并基于检测到的真实物体图像和所述另一视点的真实物体图像来得到真实物体的双目视图。
可选地，双目视图产生装置基于所述单个拍摄装置与用户双目之间的位置关系，对检测到的真实物体图像和所述另一视点的真实物体图像进行视点校正来得到真实物体的双目视图。
可选地，所述头戴式显示器还包括：图像捕获装置，通过拍摄装置来捕获包括位于用户周围的真实物体的图像，其中，所述拍摄装置包括深度摄像头，或者，所述拍摄装置包括至少两个单视点摄像头；双目视图产生装置，从捕获的图像中检测真实物体图像，基于检测到的真实物体图像来得到真实物体的双目视图。
可选地，双目视图产生装置基于所述拍摄装置与用户双目之间的位置关系，对检测到的真实物体图像进行视点校正来得到真实物体的双目视图。
可选地，在双目视图产生装置检测不到真实物体之中的期望显示物体的真实物体图像时，图像捕获装置扩大拍摄视角来重新捕获包括期望显示物体的图像，或者，图像捕获装置提示用户转向期望显示物体所在的方位来重新捕获包括期望显示物体的图像。
可选地，所述头戴式显示器还包括：虚拟视野图像产生装置，产生叠加有真实物体的双目视图的虚拟视野图像。
可选地，所述头戴式显示器还包括：虚拟场景图像获取装置，获取反映虚拟场景的虚拟场景图像，其中，虚拟视野图像产生装置通过将真实物体的双目视图与虚拟场景图像进行叠加来产生叠加有真实物体的双目视图的虚拟视野图像。
可选地，虚拟视野图像产生装置在虚拟场景图像中的虚拟物体与真实物体在三维空间上存在遮挡的情况下，对虚拟物体进行缩放和/或移动。
可选地，虚拟视野图像产生装置将真实物体显示为半透明、轮廓线或3D网格线之中的至少一项。
可选地，虚拟视野图像产生装置根据以下显示方式之一将真实物体的双目视图与虚拟场景图像进行叠加：仅显示真实物体的双目视图而不显示虚拟场景图像、仅显示虚拟场景图像而不显示真实物体的双目视图、将真实物体的双目视图与虚拟场景图像在空间上融合显示、将真实物体的双目视图以画中画的形式显示在虚拟场景图像上、将虚拟场景图像以画中画的形式显示在真实物体的双目视图上。
可选地，虚拟视野图像产生装置根据用户的操作来添加和/或删除叠加到虚拟视野图像的真实物体。
可选地，所述头戴式显示器还包括：显示项目获取装置，获取关于物联网设备的显示项目，并将获取的显示项目叠加到虚拟视野图像，其中，所述显示项目表示物联网设备的以下项之中的至少一个：操作界面、操作状态、通知信息、指示信息。
可选地，显示项目获取装置通过以下处理之中的至少一项来获取关于物联网设备的显示项目：捕获位于用户的真实视野内的物联网设备的图像，并从捕获的物联网设备的图像提取关于物联网设备的显示项目；从位于用户的真实视野内和/或真实视野外的物联网设备接收关于物联网设备的显示项目；感测位于用户的真实视野外的物联网设备相对于头戴式显示器的位置作为指示信息。
可选地，所述头戴式显示器还包括：操控装置，根据用户针对显示项目的操作来遥控物联网设备执行相应的处理。
在根据本发明示例性实施例的在头戴式显示器中显示真实物体的方法及其头戴式显示器中，能够向用户呈现叠加有用户周围的真实物体的双目视图的虚拟视野图像，从而用户在佩戴头戴式显示器时仍能够感知到周围的真实物体的实际三维空间位置、立体姿态及相关属性等信息，便于用户与周围的真实物体进行交互，完成必要的需要视觉图像反馈的行为。
附加地，本发明实施例能够判断需要向用户显示周围的真实物体的双目视图的时机；此外，还能够通过适合的方式在虚拟视野图像中向用户显示周围的真实物体的双目视图。
将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
图1示出根据本发明示例性实施例的在头戴式显示器中显示真实物体的方法的流程图；
图2示出根据本发明的另一示例性实施例的在头戴式显示器中显示真实物体的方法的流程图；
图3示出根据本发明的另一示例性实施例的在头戴式显示器中显示真实物体的方法的流程图；
图4示出根据本发明的另一示例性实施例的在头戴式显示器中显示真实物体的方法的流程图；
图5示出根据本发明示例性实施例的在头戴式显示器中显示物理键盘的方法的流程图；
图6示出根据本发明示例性实施例的头戴式显示器与物理键盘的连接方式的示例；
图7示出根据本发明示例性实施例的需要向用户呈现物理键盘的示例；
图8示出根据本发明示例性实施例的提示用户转向键盘所在的方位的示例；
图9示出根据本发明示例性实施例的基于捕获的图像得到键盘的双目视图的示例；
图10示出根据本发明示例性实施例的产生叠加有键盘的双目视图的虚拟视野图像的示例；
图11示出根据本发明示例性实施例的向用户呈现叠加有食物的双目视图的虚拟视野图像的示例；
图12示出根据本发明示例性实施例的在头戴式显示器中显示食物的方法的流程图；
图13示出根据本发明示例性实施例的所操作的按键的示例；
图14示出根据本发明示例性实施例的取景手势的示例；
图15示出根据本发明示例性实施例的通过检测遥控指令输入操作来确定用户需要进食的示例；
图16示出根据本发明示例性实施例的通过虚拟鼠标确定需要向用户呈现的物体的示例；
图17示出根据本发明示例性实施例的显示真实物体的示例；
图18示出根据本发明示例性实施例的删除叠加到虚拟视野图像的真实物体；
图19示出根据本发明示例性实施例的显示真实物体的双目视图的示例；
图20示出根据本发明示例性实施例的在头戴式显示器中显示可能发生碰撞的物体的方法的流程图；
图21示出根据本发明示例性实施例的在头戴式显示器中显示关于物联网设备的显示项目的方法的流程图；
图22示出根据本发明示例性实施例的向用户呈现叠加有显示项目的虚拟视野图像的示例；
图23示出根据本发明示例性实施例的向用户呈现叠加有移动通信终端的操作界面的虚拟视野图像的示例；
图24示出根据本发明示例性实施例的向用户呈现叠加有移动通信终端的来电信息的虚拟视野图像的示例；
图25示出根据本发明示例性实施例的向用户呈现叠加有移动通信终端接收到的短信息的虚拟视野图像的示例；
图26示出根据本发明示例性实施例的显示真实物体的头戴式显示器的框图；
图27示出根据本发明的另一示例性实施例的显示真实物体的头戴式显示器的框图；
图28示出根据本发明的另一示例性实施例的显示真实物体的头戴式显示器的框图；
图29示出根据本发明的另一示例性实施例的显示真实物体的头戴式显示器的框图；
图30示出根据本发明的另一示例性实施例的显示真实物体的头戴式显示器的框图。
具体实施方式
现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
以下，将结合图1至图4来描述根据本发明示例性实施例的在头戴式显示器中显示真实物体的方法。所述方法可由头戴式显示器来完成，也可通过计算机程序来实现。例如，所述方法可通过安装在头戴式显示器中的用于显示真实物体的应用来执行，或者通过头戴式显示器的操作系统中实现的功能程序来执行。此外，作为可选方式，所述方法中的部分步骤可由头戴式显示器来完成，另一部分步骤可由头戴式显示器之外的其它设备或器件来协作完成，本发明对此不作限制。
图1示出根据本发明示例性实施例的在头戴式显示器中显示真实物体的方法的流程图。
如图1所示，在步骤S10，获取位于用户周围的真实物体的双目视图。
这里，双目视图是针对佩戴头戴式显示器的用户的人眼的双目视图，通过真实物体的双目视图，用户大脑能够获取真实物体的深度信息，进而感受到真实物体的实际三维空间位置和立体姿态，即，用户通过真实物体的双目视图所感受到的真实物体的三维空间位置和立体姿态与用户通过人眼观察并感受到的真实物体的三维空间位置和立体姿态是一致的。
作为示例，真实物体可以是根据物体属性或使用场景而预先设置的呈现物体，可包括以下项之中的至少一项：接近用户的身体的物体、贴有标签的物体、用户指定的物体、头戴式显示器上运行的应用当前需要使用的物体、操作控件所需的物体。
作为示例，可通过单个拍摄装置来捕获包括位于用户周围的真实物体的图像，并根据捕获的图像获取位于用户周围的真实物体的双目视图。
这里，所述单个拍摄装置可以是仅具有一个视角的普通拍摄装置，由于所捕获的图像不具有深度信息，因此，相应地，可从捕获的图像中检测真实物体图像，基于检测到的真实物体图像确定另一视点的真实物体图像，并基于检测到的真实物体图像和所述另一视点的真实物体图像来得到真实物体的双目视图。
这里，真实物体图像即所捕获的图像中真实物体所在区域的图像。例如，可使用现有的各种图像识别方法来从所捕获的图像中检测出真实物体图像。
作为示例，可基于所述单个拍摄装置与用户双目之间的位置关系，对检测到的真实物体图像和所述另一视点的真实物体图像进行视点校正来得到真实物体的双目视图。
作为另一示例，可基于拍摄的立体图像来获取真实物体的双目视图。具体说来，可通过拍摄装置来捕获包括位于用户周围的真实物体的图像，从捕获的图像中检测真实物体图像，基于检测到的真实物体图像来得到真实物体的双目视图，其中，所述拍摄装置包括深度摄像头，或者，所述拍摄装置包括至少两个单视点摄像头。这里，所述至少两个单视点摄像头可具有重合的视角，从而通过深度摄像头，或者至少两个单视点摄像头能够捕获具有深度信息的立体图像。
作为示例，可基于所述拍摄装置与用户双目之间的位置关系，对检测到的真实物体图像进行视点校正来得到真实物体的双目视图。
应该理解，作为示例，上述单个拍摄装置、深度摄像头或单视点摄像头可以是头戴式显示器的内置拍摄装置，也可以是安装在头戴式显示器上的附接拍摄装置，例如，可以是其它设备(例如，智能手机)具有的摄像头，本发明对此不作限制。
优选地，在检测不到真实物体之中的期望显示物体的真实物体图像时，可扩大拍摄视角来重新捕获包括期望显示物体的图像。
或者，在检测不到真实物体之中的期望显示物体的真实物体图像时，可提示用户转向期望显示物体所在的方位来重新捕获包括期望显示物体的图像。例如，可通过图像、文字、音频、视频等来提示用户。作为示例，可将基于预先存储的真实物体的三维空间位置或经由定位装置获取的真实物体的三维空间位置来提示用户转向期望显示物体所在的方位来重新捕获包括期望显示物体的图像。
在步骤S20，向用户呈现叠加有真实物体的双目视图的虚拟视野图像。通过上述方式，用户能够在虚拟视野图像中观看到真实物体的双目视图(即，增强虚拟现实)，感受到真实物体的实际三维空间位置和立体姿态，准确地判断真实物体与自身的位置关系以及真实物体的立体姿态，完成必要的需要视觉图像反馈的行为。
这里，应该理解，可通过集成在头戴式显示器上的显示装置来向用户呈现叠加有真实物体的双目视图的虚拟视野图像，也可通过与头戴式显示器外接的其他显示装置来向用户呈现，本发明对此不作限制。
作为示例，在步骤S20中，可获取反映虚拟场景的虚拟场景图像，并通过将真实物体的双目视图与虚拟场景图像进行叠加来产生叠加有真实物体的双目视图的虚拟视野图像。即，向用户呈现的虚拟视野图像为在空间上融合了真实物体的双目视图和虚拟场景图像的虚拟视野图像，从而用户能够在正常的头戴式显示器的虚拟场景体验下，完成必要的需要视觉图像反馈的与真实物体进行交互的行为。
这里，虚拟场景图像即与头戴式显示器当前运行的应用相应的需要在用户的虚拟视野中向用户呈现的反映虚拟场景的图像。例如，如果头戴式显示器当前运行的应用是拳击、高尔夫等虚拟体感游戏，则虚拟场景图像即为需要在虚拟视野中向用户呈现的反映虚拟游戏场景的图像；如果头戴式显示器当前运行的应用是用于观看电影的应用，则虚拟场景图像即为需要在虚拟视野中向用户呈现的反映虚拟影院屏幕场景的图像。
作为示例，可根据以下显示方式之一将真实物体的双目视图叠加到头戴式显示器的虚拟视野图像：仅显示真实物体的双目视图而不显示虚拟场景图像、仅显示虚拟场景图像而不显示真实物体的双目视图、将真实物体的双目视图与虚拟场景图像在空间上融合显示、将真实物体的双目视图以画中画的形式显示在虚拟场景图像上、将虚拟场景图像以画中画的形式显示在真实物体的双目视图上。
作为示例，可将真实物体显示为半透明、轮廓线或3D网格线之中的至少一项。例如，可在虚拟场景图像中的虚拟物体与真实物体在三维空间上存在遮挡的情况下，将真实物体显示为半透明、轮廓线或3D网格线之中的至少一项，以减小对虚拟场景图像中的虚拟物体的遮挡，减小对观看虚拟场景图像的影响。
此外，作为示例，在虚拟场景图像中的虚拟物体与真实物体在三维空间上存在遮挡的情况下，也可对虚拟物体进行缩放和/或移动。例如，可对在虚拟场景图像中与真实物体在三维空间上存在遮挡的虚拟物体进行缩放和/或移动，也可在存在遮挡的情况下，将虚拟场景图像中的所有虚拟物体进行缩放和/或移动。应该理解，头戴式显示器可自动判断虚拟场景图像中的虚拟物体与真实物体在三维空间上的遮挡情况，并相应地对虚拟物体进行缩放和/或移动。此外，也可根据用户的操作来对虚拟物体进行缩放和/或移动。
此外，优选地，可根据用户的操作来添加和/或删除叠加到虚拟视野图像的真实物体。即，用户可根据自己的需求将未在虚拟视野图像中显示的真实物体的双目视图也叠加到虚拟视野图像中，和/或从虚拟视野图像中删除多余的、不需要呈现的真实物体的双目视图，以减小对观看虚拟场景图像的影响。
优选地，可在适当的情况下才向用户呈现叠加有真实物体的双目视图的虚拟视野图像。图2示出根据本发明的另一示例性实施例的在头戴式显示器中显示真实物体的方法的流程图。除图1所示的步骤S10和步骤S20之外，图2所示的在头戴式显示器中显示真实物体的方法还可包括步骤S30。步骤S10和步骤S20可参照前述的具体实施方式来实现，在此不再赘述。
在步骤S30，确定是否需要向用户呈现用户周围的真实物体，其中，在确定需要向用户呈现用户周围的真实物体的情况下，执行步骤S10和步骤S20。
这里，应该理解，上述步骤并非受限于图2所示的时序，而是可以根据需要或产品的设计进行适当的调整。例如，可持续执行步骤S10以实时获取位于用户周围的真实物体的双目视图，而只有在步骤S30确定需要向用户呈现用户周围的真实物体的情况下，才执行步骤S20。
作为示例，在检测到需要与用户周围的真实物体进行交互的情景时，可确定需要向用户呈现用户周围的真实物体。例如，需要与用户周围的真实物体进行交互的情景可包括以下项之中的至少一个：需要借助真实物体执行输入操作的情景(例如，需要使用键盘、鼠标、手柄等来执行输入操作的情景)、需要避免与真实物体碰撞的情景(例如，需要躲避靠近的人的情景)、需要用手抓取真实物体的情景(例如，需要吃东西或喝水的情景)。
根据本发明的示例性实施例，可根据各种情况来确定呈现真实物体的时机，作为示例，在以下条件之中的至少一项被满足时，可确定需要向用户呈现用户周围的真实物体：接收到请求呈现真实物体的用户输入；确定用户周围的真实物体与预设的呈现物体相匹配；在虚拟视野图像中显示的应用界面中检测到需要使用真实物体执行操作的控件；检测到用户的身体部位接近真实物体；检测到用户的身体部位朝向真实物体运动；确定头戴式显示器上运行的应用当前需要使用真实物体；确定到达预设的与用户周围的真实物体进行交互的时间。
通过上述方法，可判断用户在哪些时刻需要看到周围的真实物体，即需要向用户呈现周围的真实物体的双目视图的时机，便于用户及时获知周围的真实物体的实际三维空间位置和立体姿态。
优选地，可在适当的情况下终止向用户呈现叠加有真实物体的双目视图的虚拟视野图像。图3示出根据本发明的另一示例性实施例的在头戴式显示器中显示真实物体的方法的流程图。除图1所示的步骤S10和步骤S20之外，图3所示的在头戴式显示器中显示真实物体的方法还可包括步骤S40和S50。步骤S10和步骤S20可参照前述的具体实施方式来实现，在此不再赘述。
在步骤S40，确定是否需要继续向用户呈现用户周围的真实物体，其中，在确定不需要继续向用户呈现用户周围的真实物体的情况下，执行步骤S50。
作为示例，在检测到需要与用户周围的真实物体进行交互的情景结束时，可确定不需要继续向用户呈现用户周围的真实物体。
作为示例，在以下条件之中的至少一项被满足时，确定不需要继续向用户呈现用户周围的真实物体：接收到终止呈现真实物体的用户输入；确定用户周围的真实物体与预设的呈现物体不匹配；在虚拟视野图像中显示的应用界面中没有检测到需要使用真实物体执行操作的控件；确定用户的身体部位远离真实物体；确定头戴式显示器上运行的应用当前不需要使用真实物体；确定用户在预设时间段期间没有使用真实物体执行操作；确定用户能够在不观看真实物体的情况下执行操作。
关于请求呈现真实物体和/或终止呈现真实物体的用户输入，作为示例，可通过以下项之中的至少一项来实现：触屏操作、物理按键操作、遥控指令输入操作、声控操作、手势动作、头部动作、身体动作、视线动作、触碰动作、握持动作。
关于预设的呈现物体，可以是头戴式显示器中默认设置的需要呈现的物体，也可以是用户根据自己的需求所设置的需要呈现的物体。例如，预设的呈现物体可以是食物、餐具、用户的手、贴有特定标签的物体、人等。
在步骤S50，向用户呈现未叠加有真实物体的双目视图的虚拟视野图像。
通过上述方法，可在不需要向用户呈现用户周围的真实物体的情况下，向用户呈现未叠加有真实物体的双目视图的虚拟视野图像(即，仅向用户呈现虚拟场景图像)，以不影响用户观看虚拟场景图像。
图4示出根据本发明的另一示例性实施例的在头戴式显示器中显示真实物体的方法的流程图。除图1所示的步骤S10和步骤S20之外，图4所示的在头戴式显示器中显示真实物体的方法还可包括步骤S60。步骤S10和步骤S20可参照前述的具体实施方式来实现，在此不再赘述。
在步骤S60，获取关于物联网设备的显示项目，并将获取的显示项目叠加到虚拟视野图像，其中，所述显示项目表示物联网设备的以下项之中的至少一个：操作界面、操作状态、通知信息、指示信息。
这里，通知信息可以是文字、音频、视频、图像等信息。例如，如果物联网设备是通信设备，则通知消息可以是关于未接来电的文字信息；如果物联网设备是门禁设备，则通知消息可以是所捕获的监控图像。
指示信息是用于指示用户找到物联网设备的文字、音频、视频、图像等信息。例如，指示信息可以是箭头指示符，用户可根据箭头的指向获取物联网设备相对于用户的方位；指示信息也可以是指示用户与物联网设备的相对位置的文字(例如，通信设备在您左前方两米处)。
作为示例，可通过以下处理之中的至少一项来获取关于物联网设备的显示项目：捕获位于用户的真实视野内的物联网设备的图像，并从捕获的物联网设备的图像提取关于物联网设备的显示项目；从位于用户的真实视野内和/或真实视野外的物联网设备接收关于物联网设备的显示项目；感测位于用户的真实视野外的物联网设备相对于头戴式显示器的位置作为指示信息。
此外，根据本发明的另一示例性实施例的在头戴式显示器中显示真实物体的方法还可包括：根据用户针对显示项目的操作来遥控物联网设备执行相应的处理。
通过上述方法，用户能够在使用头戴式显示器时获知周围的物联网设备的相关信息，此外，还可遥控物联网设备执行相应的处理。
以下，将结合具体的应用场景来描述上述方法的具体实现方式，应该理解，下述具体实现方式不局限于个别的应用场景，完全可以应用在不同的场景中，关于基于不同场景所描述的具体实现方式彼此之间也可以融合使用，对此不作限制。
以下，将结合图5至图10来描述在头戴式显示器中显示物理键盘的应用场景。应该理解，虽然下述应用场景以物理键盘为例，但同样适用于类似的交互设备，例如，鼠标、遥控器、游戏手柄等。
图5示出根据本发明示例性实施例的在头戴式显示器中显示物理键盘的方法的流程图。这里，所述方法中的全部步骤可由头戴式显示器来执行，在这种情况下，头戴式显示器可通过有线或无线的方式与物理键盘连接。
此外，图5所示的方法也可由头戴式显示器执行一部分步骤，由头戴式显示器之外的处理器来执行另一部分步骤。图6示出根据本发明示例性实施例的头戴式显示器和物理键盘的连接方式的示例。如图6所示，头戴式显示器和物理键盘可通过有线或无线的方式与处理器相连接，即，所述方法中的一部分步骤由头戴式显示器来执行，另一部分步骤由头戴式显示器之外的处理器来执行。
具体说来，如图5所示，在步骤S101，确定是否需要向用户呈现用户周围的物理键盘。
可根据以下实施方式来确定是否需要向用户呈现用户周围的物理键盘。作为示例，在虚拟视野图像中显示的应用界面中检测到需要使用真实物体执行操作的控件的情况下，可确定需要向用户呈现用户周围的物理键盘。例如，可读取在虚拟视野图像中显示的应用界面中的所有控件的属性信息，并根据读取的属性信息来确定是否有需要使用交互设备执行操作的控件，在确定有需要借助交互设备执行操作的控件的情况下，可确定需要向用户呈现用户周围的交互设备，并可将物理键盘设置为需要向用户呈现的交互设备。图7示出根据本发明示例性实施例的需要向用户呈现物理键盘的示例。如图7所示，如果在虚拟视野图像中显示的应用界面中检测到需要使用交互设备来执行输入操作的控件，如图7中的(a)所示的提示输入文本信息的对话框，图7中的(b)所示的提示点击以开始的对话框，则可确定需要向用户呈现用户周围的物理键盘，以便用户执行相应的输入操作。
作为另一示例，在确定头戴式显示器上运行的应用当前需要使用物理键盘的情况下，可确定需要向用户呈现用户周围的物理键盘。这里，可根据应用确定当前需要使用的交互设备。例如，头戴式显示器上运行的应用为虚拟游戏应用，当前需要借助键盘来控制游戏角色，则可确定需要向用户呈现用户周围的物理键盘。并且，可将确定的需要向用户呈现的物理键盘添加到预设的呈现物体列表中。
作为另一示例，在接收到请求呈现物理键盘的用户输入的情况下，可确定需要向用户呈现物理键盘。这里，用户输入可以是触屏操作、物理按键操作、遥控指令输入操作、声控操作、手势动作、头部动作、身体动作、视线动作、触碰动作、握持动作等。
关于物理按键操作、触屏操作和遥控指令输入操作，可以是对头戴式显示器上的物理按键的操作，也可以是对触摸屏上的按键的操作，还可以是对其他能够遥控头戴式显示器的设备(例如，手柄等)的输入操作。例如，当检测到物理按键a的消息事件时，可确定需要向用户呈现物理键盘；当检测到物理按键b的消息事件时，可确定不需要向用户呈现物理键盘。此外，也可通过对同一物理按键的操作来切换是否需要呈现物理键盘。
关于手势操作，可通过拍摄装置检测用于指示需要呈现物理键盘的用户手势来确定需要向用户呈现物理键盘。例如，当检测到用于指示需要呈现物理键盘的手势a时，可确定需要向用户呈现物理键盘；当检测到用于指示不需要呈现物理键盘的手势b时，可确定不需要向用户呈现物理键盘。此外，也可通过同一手势操作来切换是否需要呈现物理键盘。
关于头部动作、身体动作、视线动作，可通过拍摄装置检测用于指示需要呈现物理键盘的用户姿态来确定需要向用户呈现物理键盘，例如，头部旋转或视线方向。例如，当检测到用户的视线满足条件a时，可确定需要向用户呈现物理键盘(例如，用户的视线看向虚拟视野图像中的提示输入文本信息的对话框)；当检测到用户的视线满足条件b时(例如，用户的视线看向虚拟视野图像中的虚拟物体、虚拟电影屏幕)，可确定不需要向用户呈现物理键盘。其中，条件a和条件b可以是互补的条件，也可以是不互补的条件。
关于声控操作，可通过麦克风采集用户的声音，并通过语音识别技术来识别用户的语音指令，确定是否需要向用户呈现物理键盘。
作为另一示例，在检测到手放在物理键盘上方的情况下，可确定需要向用户呈现物理键盘。例如，可通过拍摄装置检测用户周围是否有手(例如，可采用肤色检测方法)、是否有键盘、手是否在键盘上，当上述三个条件都满足时，可确定需要向用户呈现物理键盘；当上述三个条件中有一个条件不满足时，可确定不需要向用户呈现物理键盘。可同时或顺序检测用户周围是否有手、是否有键盘，并且不限定检测用户周围是否有手、是否有键盘的先后顺序，在检测到用户周围有手和键盘情况下，再进一步检测手是否在键盘上。
在步骤S101确定需要向用户呈现键盘的情况下，执行步骤S102。在步骤S102，通过拍摄装置捕获用户周围的图像，并从捕获的图像中检测键盘图像。
作为示例，可在捕获的图像中检测特征点，并通过将检测到的特征点和预先存储的键盘图像特征点匹配来检测键盘图像。例如，可根据捕获的图像中与预先存储的键盘图像特征点相匹配的特征点的图像坐标和预先储存的键盘图像特征点的坐标，确定捕获的图像中键盘的四个角点的图像坐标，然后基于确定的四个角点的图像坐标来确定捕获的图像中键盘的轮廓，进而确定捕获的图像中的键盘图像。这里，特征点可以是尺度不变特征变换(Scale-invariant Feature Transform，SIFT)特征点，也可以是本领域技术人员所公知的其他特征点。相应地，可使用相同或类似的方法计算出所捕获的图像中任意物体的轮廓点(即，物体的轮廓上的点)的图像坐标。此外，应该理解，也可通过其他方式来从捕获的图像中检测键盘图像。
下面以键盘的四个角点为例，具体说明捕获的图像中键盘的轮廓的计算过程。假设预先存储的键盘图像特征点的坐标为Pworld(在键盘所在的局部坐标系下)，预先存储的键盘图像的轮廓上的左上角顶点的坐标为Pcorner(在键盘所在的局部坐标系下)，捕获的图像中与预先存储的键盘图像特征点相匹配的特征点的坐标为Pimage，键盘所在的局部坐标系到拍摄装置的坐标系的变换用R和t表示，其中，R表示旋转，t表示位移，拍摄装置的投影矩阵为K，则有
Pimage＝K*(R*Pworld+t) (1)，
将预先存储的键盘图像特征点的坐标及相匹配的捕获的图像中的特征点的坐标分别代入式(1)，可求解得到R和t，然后可得到捕获的图像中键盘的左上角顶点的坐标为K*(R*Pcorner+t)，相应地，可得到捕获的图像中键盘的其他三个角点的坐标，连线即可得到捕获的图像中键盘的轮廓。相应地，可计算任何物体的轮廓点在捕获的图像中的坐标，从而得到该物体在捕获的图像上的投影的轮廓。
此外，如果从捕获的图像中没有检测到键盘图像，则可扩大拍摄视角(例如，使用广视角拍摄装置)来重新捕获用户周围的图像并从中检测键盘图像，或者，提示用户转向键盘所在的方位来重新捕获包括键盘的图像，例如，可利用在先前捕获的图像中检测到并记忆存储的键盘的位置信息或无线定位方式(例如，蓝牙传输、射频识别(Radio FrequencyIdentification，RFID)标签、红外线、超声波、磁场等方式)来确定键盘所在的方位。图8示出根据本发明示例性实施例的提示用户转向键盘所在的方位的示例。如图8所示，可在虚拟视野图像中叠加方向指示图像(例如，箭头)以指示用户沿该方向转动视野方向。
在步骤S103，基于所述拍摄装置与用户双目之间的位置关系，对检测到的键盘图像进行视点校正来得到键盘的双目视图。例如，根据拍摄装置的坐标系和用户双目的坐标系之间的旋转和平移关系对检测到的键盘图像进行单应变换，从而得到键盘的双目视图。拍摄装置的坐标系和用户双目的坐标系之间的旋转和平移关系可通过离线方式进行标定，也可读取和使用厂家所提供的标定数据。
作为示例，如果在步骤S102所使用的拍摄装置为单个单视点拍摄装置，则可基于检测到的键盘图像确定另一视点的键盘图像，然后基于所述单个拍摄装置与用户双目之间的位置关系，对检测到的键盘图像和所述另一视点的键盘图像进行视点校正来得到键盘的双目视图。
这里，由于所使用的拍摄装置为单个单视点拍摄装置，所以检测到的键盘图像只具有一个视点，需要将键盘图像转换为具有深度信息的立体图像。为此，需要从一个视点的键盘图像出发通过计算合成另一个视点的键盘图像，从而得到立体键盘图像。例如，对于键盘，可用一个平面矩形对其进行建模，计算其在三维空间中的位置和姿态。具体说来，可根据单应变换关系求取键盘在单视点拍摄装置的三维坐标系中的位置和姿态，当单视点拍摄装置和人眼的两个视点的旋转和平移参数已知，可将键盘分别投影到人眼的左眼视图和右眼视图中，从而令叠加到虚拟视野图像中的双目图像具有立体感，形成能够正确传达键盘的实际物理位置的视觉线索。对于形状更加复杂的物体，可用分段平面模型对物体表面形状进行近似，然后使用类似的方法对其位置和姿态进行估计，并通过投影重新生成物体的双目视图。
下面以具有一个视点的键盘图像为例，具体说明键盘的双目视图的计算过程。键盘上的特征点的三维坐标(在键盘所在的局部坐标系下)是已知的，例如，可通过预先测量，或者拍摄不同角度的多张图像，然后使用立体视觉方法进行三维重建得到。假设键盘上的特征点的三维坐标在键盘所在的局部坐标系下为Pobj，键盘上的特征点在拍摄装置的坐标系中的坐标为Pcam，键盘所在的局部坐标系到拍摄装置的坐标系的旋转和平移分别为R，t，用户的左右眼坐标系相对于拍摄装置的坐标系的旋转和平移分别为Rl，tl，Rr，tr，键盘上的特征点对应的捕获的图像中的投影点为Pimg，拍摄装置的内参数矩阵K可通过事先标定得到。
可利用观测到的投影点约束，求解得到R和t：
Pimg＝K*Pcam＝K*(Pobj*R+t) (2)，
则左眼图像的投影方程为：
Pleft＝K*(Pobj*Rl+tl) (3)，
由于Pobj在一个平面上，所以Pimg和Pleft满足单应变换，因此，可求出变换矩阵H，满足Pleft＝H*Pimg，根据变换矩阵H，可将检测到的键盘图像Icam转换为左眼看到的图像Ileft。相应地，对于右眼图像，可使用同样的方法得到。
图9示出根据本发明示例性实施例的基于捕获的图像得到键盘的双目视图的示例。如图9所示，从捕获的图像中检测键盘图像，再基于检测到的单视点的键盘图像确定键盘在三维空间中的位置和姿态，然后基于键盘在三维空间中的位置和姿态确定另一视点的键盘图像，再基于拍摄装置与用户双目之间的位置关系，对检测到单视点的键盘图像和确定的另一视点的键盘图像进行视点校正来得到键盘的双目视图，从而获得叠加有键盘的双目视图的虚拟视野图像。
作为另一示例，如果在步骤S102所使用的拍摄装置为深度摄像头，或者至少两个单视点摄像头，可基于所述拍摄装置与用户双目之间的位置关系，对检测到的键盘图像进行视点校正来得到键盘的双目视图。
当所述拍摄装置为至少两个单视点摄像头时，可通过所述至少两个摄像头获得键盘的3D图像以及键盘相对于所述拍摄装置的位置，然后，可根据键盘相对于所述拍摄装置的位置以及所述拍摄装置与用户双目之间的位置关系，将键盘的3D图像投射到双目视图中。
当所述拍摄装置为深度摄像头时，可通过所述深度摄像头获得键盘的3D图像以及键盘相对于所述深度摄像头的位置，然后，可根据键盘相对于所述深度摄像头的位置以及所述深度摄像头与用户双目之间的位置关系，将键盘的3D图像投射到双目视图中。
在步骤S104，向用户呈现叠加有键盘的双目视图的虚拟视野图像。作为示例，可先获取反映虚拟场景的虚拟场景图像，并通过将键盘的双目视图与虚拟场景图像进行叠加来产生叠加有键盘的双目视图的虚拟视野图像。图10示出根据本发明示例性实施例的产生叠加有键盘的双目视图的虚拟视野图像的示例。如图10中的(a)所示，通过拍摄装置捕获用户周围的图像，如图10中的(b)所示，对从捕获的图像中检测到的键盘图像进行视点校正来得到键盘的双目视图，如图10中的(c)所示，获取反映虚拟场景的虚拟场景图像，如图10中的(d)所示，将键盘的双目视图与虚拟场景图像进行叠加来产生虚拟视野图像并向用户输出。
在步骤S105，确定是否需要继续向用户呈现键盘。
作为示例，在检测到键盘使用结束的情况下，可确定不需要继续向用户呈现键盘。可通过以下实施方式来判断用户是否结束键盘使用。
作为示例，当检测到用户在预定时间段期间没有使用键盘进行输入时，可确定用户结束键盘使用。应该理解，可持续检测用户的键盘输入情况，当出现短暂的停顿时，不确定为用户结束键盘使用，只有当检测到用户中断使用键盘输入且超过预定时间段时，才确定为用户结束键盘使用。这里，所述预定时间段可由头戴式显示器自动设置，也可由用户自定义设置，例如，所述预定时间段可设置为5分钟。
作为另一示例，由于用户在使用键盘执行输入操作时，手离键盘的距离不会太远，所以当检测到用户的手部与键盘之间的距离超过预定使用距离阈值时，可确定用户结束键盘使用。例如，当检测到用户的双手与键盘之间的距离均超过第一使用距离阈值时，可确定用户结束键盘使用。在某些情况下，用户的一只手离开键盘很远，单另一只手还在键盘上，此时也不再需要使用键盘，因此，当检测到用户的单手与键盘之间的距离超过第二使用距离阈值时，可确定用户结束键盘。其中，第一使用距离阈值和第二使用距离阈值可能相同，也可能不同，可由头戴式显示器自动设置，也可由用户自定义设置，并且，采用双手与键盘之间的距离还是单手与键盘之间的距离的方式测量，可由头戴式显示器自动设置，也可由用户自定义设置。
作为另一示例，当检测到终止呈现键盘的用户输入时，可确定用户结束键盘使用。例如，用户按压特定的按钮等输入方式通知头戴式显示器终止显示键盘。
作为另一示例，当头戴式显示器上运行的应用当前不需要使用键盘时，可确定用户结束键盘使用。例如，检测到在虚拟视野图像中显示的应用界面中没有需要使用键盘执行操作的控件(例如，虚拟视野图像中显示的文字输入对话框消失)；或者，检测到需要使用键盘的应用已关闭。
应该理解，如果检测到用户在使用键盘输入的过程中切换到其他应用，可根据切换到的应用的具体情况，重新确定用户是否需要使用键盘，从而确定是否需要向用户呈现键盘。
在确定不需要继续向用户呈现键盘的情况下，执行步骤S106。在步骤S106，向用户呈现未叠加有键盘的双目视图的虚拟视野图像，例如，仅向用户呈现虚拟场景图像。
应该理解，上述以键盘为例的具体实施方式，同样适用于手柄(例如，利用头戴式显示器进行虚拟游戏时所使用的游戏手柄)。可检测头戴式显示器上运行的应用的运作情况，当运行的应用当前需要使用手柄操作时，可检测用户是否持有手柄，如果检测到用户目前持有手柄，则仅向用户呈现虚拟场景图像；如果检测到用户目前没有持有手柄，则可通过拍摄装置捕获用户周围的图像，并从捕获的图像中检测手柄。
可通过以下实施方式来检测用户是否持有手柄。作为示例，由于一般环境温度都低于人体温度，人手湿度一般会高于环境湿度，因此可通过检测手柄周围的温度和/或湿度来确定用户是否持有手柄。这里，可在手柄中设置温度传感器和/或湿度传感器来测量周围环境的温度和/或湿度。可根据测量得到的周围环境的温度和/或湿度与预设温度阈值和/或预设湿度阈值比较来确定手柄是否在用户手中。
作为另一示例，可通过检测手柄的运动情况来确定用户是否持有手柄。这里，可在手柄中设置运动传感器(例如，陀螺仪、惯性加速计等)，可通过分析运动的强度和持续时间来确定手柄是否在用户手中。
作为另一示例，由于人体内含有水分，因此是能够导电的导体，所以可通过检测电流和/或电感来确定用户是否持有手柄。这里，可在手柄表面安装导电材质，在手柄表面安装电极之后，可通过测量电极间的电流大小来估计出电阻，进而确定手柄是否在用户手中；或者，可通过测量单个电极的电感来判断该电极是否与人体相连。
当从捕获的图像中没有检测到手柄时，可提示用户周围没有手柄。在这种情况下，用户可能需要起身寻找手柄，因此可进一步询问用户是否要起身寻找手柄。如果用户确定需要起身寻找手柄，则可向用户呈现周围的真实物体的双目视图，方便用户直接看到周围的环境；如果用户确定不需要起身寻找手柄，则可切换进入应用的无真实手柄操作状态。当用户找到手柄并将其握入手中时，可仅向用户呈现虚拟场景图像；当用户没有找到手柄并放弃寻找手柄时，可仅向用户呈现虚拟场景图像。
当从捕获的图像中检测到手柄时，可判断其是否在用户的真实视野范围(即，用户当前不佩戴头戴式显示器时的视野范围)内。如果在用户的真实视野范围，则可向用户呈现叠加有手柄的双目视图的虚拟视野图像；如果不在用户的视野范围，则可提示用户在当前的视野范围内没有手柄，并可进一步提示用户转向手柄所在的方位来使手柄进入用户的真实视野范围内。例如，可通过图像、文字、音频、视频等来提示用户。手柄的定位方式可采用与键盘类似的定位方式，例如，可通过无线信号检测等方式来定位手柄。
作为示例，可在虚拟视野图像中显示提示框，提示框中可显示手柄不在视野范围内，以便用户调整视角来搜寻手柄，还可进一步根据手柄和用户的相对位置，在提示框中提示用户如何调整视角，从而帮助用户快速找到手柄。作为另一示例，可通过声音提示用户手柄不在视野范围内，进一步地还可根据手柄和用户的相对位置，通过声音提示用户如何调整视角。作为另一示例，可在虚拟视野图像中显示箭头指示符，通过箭头的指向来指示手柄所在的方位，进一步地，还可在虚拟视野图像中显示箭头指示符的同时，通过在虚拟视野图像中显示文字或者通过声音提示用户转动的角度和/或手柄与用户之间的距离。
通过上述方法，便于用户在佩戴头戴式显示器时找到交互设备并使用交互设备执行输入操作。
以下，将结合图11至图19来描述在佩戴头戴式显示器时进食的应用场景。图11示出根据本发明示例性实施例的向用户呈现叠加有食物的双目视图的虚拟视野图像的示例。如图11所示，向用户呈现叠加有食物的双目视图的虚拟视野图像，从而用户能够在使用头戴式显示器时完成进食的动作。应该理解，虽然下述应用场景以食物为例，但也同样适用于类似的其他物体。
图12示出根据本发明示例性实施例的在头戴式显示器中显示食物的方法的流程图。这里，所述方法中的全部步骤可由头戴式显示器来执行，也可由头戴式显示执行一部分步骤，由头戴式显示器之外的处理器来执行另一部分步骤。
如图12示，在步骤S201，确定用户是否需要进食。
可根据以下实施方式来确定用户是否需要进食。作为示例，在检测到预定按键操作的情况下，可确定用户需要进食。这里，所操作的按键可以是头戴式显示器上的硬件按键，也可以是头戴式显示器的显示屏上的按键，当检测到用户以预定方式按压预定按键时，可确定需要向用户呈现食品和/或饮品。所操作的按键还可以是虚拟按键，即，在虚拟视野图像中显示一个虚拟界面，通过检测用户和这个虚拟界面的交互情况来进行判断。其中，所述预定方式可以是以下方式之中的至少一项：短按、长按、短按预定次数、短按和长按交替进行等。图13示出根据本发明示例性实施例的所操作的按键的示例。如图13所示，所操作的按键可为头戴式显示器上的硬件按键、头戴式显示器的显示屏上的按键、虚拟界面中的虚拟按键。
作为另一示例，在检测到用户的预定手势的情况下，可确定用户需要进食。所述预定手势可以是单手完成的手势，也可以是双手完成的手势，所述预定手势的具体内容可以是以下手势之中的至少之一项：挥手、手划圆、手划方块、手划三角形、取景手势等。图14示出根据本发明示例性实施例的取景手势的示例，如图14所示，可根据取景手势所圈出的取景范围来确定需要向用户呈现的取景范围内的物体。可采用现有的手势探测设备来检测和识别手势所指示的具体内容。
作为另一示例，在检测到用户周围的贴有特定标签的物体的情况下，可确定需要向用户呈现所述贴有特定标签的物体。这里，所有需要向用户呈现的物体可统一贴有相同的特定标签，或者，不同类别的需要向用户呈现的物体可贴有不同类别的特定标签以便于对不同类别的物体进行标识，例如，可将第1类标签贴在桌子上来标识桌子，可将第2类标签贴在椅子上来标识椅子，可将第3类标签贴在餐具上来标记餐具，当检测到用户周围的贴有第3类标签贴的物体时，可确定用户需要进食。可通过各种方法来检测和识别特定标签。
作为另一示例，在检测到到达预设的用餐时间的情况下，可确定用户需要进食。头戴式显示器可自动预设用餐时间，例如，预设早餐开始的时间为7:30，午餐开始的时间为12:00，晚餐开始的时间为6:00。由于每个用户的用餐时间可能不同，因此，也可由用户根据自己的习惯来设置用餐时间，例如，用户可设置早餐开始的时间为8:00，午餐开始的时间为12:30，晚餐开始的时间为6:00。当同时存在头戴式显示器自动预设的用餐时间和用户预设的用餐时间时，可采用优先级的方式进行判断，例如，如果用户预设的用餐时间的优先级高于头戴式显示器自动预设的用餐时间的优先级，则可只在到达用户预设的用餐时间时，才可确定用户需要进食。此外，也可对头戴式显示器自动预设的用餐时间和用户预设的用餐时间都进行响应。
作为另一示例，可对周围的真实物体进行识别，确定真实物体的种类，在检测到食物、饮品和餐具中的至少一项的情况下，可确定用户需要进食。例如，可通过图像识别方法来从捕获的用户周围的图像中检测食物、饮品和餐具等，此外，也可通过其他方法来对用户周围的食物、饮品和餐具进行识别。
作为另一示例，在预设的用餐时间段期间检测到用户周围的食物、饮品和餐具中的至少一项的情况下，可确定用户需要进食。这里，可预先设置用餐时间段，例如，预设早餐时间段为7:00-10:00，午餐时间段为11:00-14:00，晚餐时间段为17:00-20:00，用餐时间段可由头戴式显示器自动设置(例如，出厂时的默认设置)，也可由用户设置。如果头戴式显示器自动预设的用餐时间段和用户预设的用餐时间段同时存在时，可采用优先级的方式进行判断，例如，如果用户预设的用餐时间段的优先级高于头戴式显示器自动预设的用餐时间段的优先级，则可只在到达用户预设的用餐时间段时才响应，此外，也可对头戴式显示器自动预设的用餐时间段和用户预设的用餐时间段都进行响应。可在预设的用餐时间段期间，通过图像识别等方法来检测用户周围是否有食物、饮品和餐具中的至少一项，以确定用户是否需要进食。
作为另一示例，在预设的用餐时间段期间检测到用户的预设手势或预定姿势的情况下，可确定用户需要进食。这里，可预先设置用餐时间段，例如，预设早餐时间段为7:00-10:00，午餐时间段为11:00-14:00，晚餐时间段为17:00-20:00，用餐时间段可由头戴式显示器自动设置(例如，出厂时的默认设置)，也可由用户设置。如果头戴式显示器自动预设的用餐时间段和用户预设的用餐时间段同时存在时，可采用优先级的方式进行判断，例如，如果用户预设的用餐时间段的优先级高于头戴式显示器自动预设的用餐时间段的优先级，则可只在到达用户预设的用餐时间段时才响应，此外，也可对头戴式显示器自动预设的用餐时间段和用户预设的用餐时间段都进行响应。所述预定手势可以是单手完成的手势，也可以是双手完成的手势，所述预定手势的具体内容可以是以下手势之中的至少一项：挥手、手划圆、手划方块、手划三角形、取景手势等。所述预定姿势可以是以下姿态之中的至少一项：转头、身体左倾、身体右倾等。可采用现有的手势探测设备或姿势探测设备来检测和识别手势或姿势的具体内容。
作为另一示例，在检测到预设的遥控指令输入操作的情况下，可确定用户需要进食。具体说来，可通过检测用户在其他设备上输入的遥控指令来判断用户是否需要进食。这里，所述其他设备可包括以下设备之中的至少一项：移动通信终端(例如，智能手机)、个人平板电脑、个人计算机、外设键盘、可穿戴设备、手柄等。可穿戴设备可包括以下项之中的至少一项：智能手环、智能手表等。所述其他设备可通过有线或无线的方式与头戴式显示器连接，其中，无线的方式可包括：蓝牙、超宽带、ZigBee(“紫蜂协议”)、无线保真(wirelessfidelity，Wi-Fi)、宏网络等。此外，所述遥控指令也可以是红外指令等。图15示出根据本发明示例性实施例的通过遥控指令输入操作来确定用户需要进食的示例。如图15所示，可通过在智能手机上输入遥控指令来确定用户需要进食。
作为另一示例，根据检测到的声控操作来确定用户是否需要进食。可通过麦克风采集用户的声音或其他声响信号，通过语音识别技术来识别用户的语音指令或声控指令，从而确定用户是否需要进食。例如，如果用户发出声控指令“开始吃饭”，头戴式显示器接收该声控指令并对该声控指令进行语音识别，从而确定该声控指令是用于确定用户需要进食的指令。在头戴式显示器中可预先存储声控指令和指示用户需要进食的指令的对应关系，例如，可采用对应表的形式进行显示，将以下声控指令与用户需要进食的指令对应显示：“开始显示饭菜”、“开始显示餐桌”等中英文指令或其他语言指令。应该理解，声控指令不限于上述例子，也可以是用户预先设置的其他声控指令，只要用户和头戴式显示器都知道该声控指令是对应于确定用户需要进食的声控指令即可。
在步骤S201确定用户需要进食的情况下，执行步骤S202。在步骤S202，确定需要向用户呈现的真实物体。这里，需要向用户呈现的真实物体可以是食品、饮品、餐具、手、餐桌等。
可通过以下实施方式来确定需要向用户呈现的物体。作为示例，头戴式显示器可预先存储有各类物品(例如，食物)的图像，可将从捕获的图像中检测到的真实物体的图像与预先存储的食物的图像进行匹配，如果匹配成功，则表明从捕获的图像中检测到的真实物体中包含食物，从而可确定从捕获的图像中检测到的真实物体为需要向用户呈现的物体。在一些情况下，用户可能希望尽可能少的显示真实物体，因此，在上述实现方式中，如果已经确定从捕获的图像中检测到的真实物体包含食物，则可将食物与其他真实物体分离，仅将食物确定为需要向用户呈现的物体，而不需要向用户呈现其他真实物体。此外，由于手部与食物的相对位置对于正确抓取很重要，还可通过各种算法对捕获的图像中的手部图像进行检测，如果检测到手部，可将手部也作为需要向用户呈现的物体。
作为另一示例，可在不同类别的物体上贴指示相应类别的标签以对不同类别的物体进行标识，头戴式显示器可对标签进行识别。例如，可将第1类标签贴在桌子上来标识桌子，可将第2类标签贴在椅子上来标识椅子，可将第3类标签贴在餐具上来标记餐具。当检测到第3类标签时，可确定需要向用户呈现用户周围的真实物体。在一些情况下，用户可能希望尽可能少的显示真实物体，因此，在上述实现方式中，如果已经检测到第3类标签，则可将贴有第3类标签的物体与其他真实物体分离，仅将贴有第3类标签的物体确定为需要向用户呈现的物体，而不需要向用户呈现其他真实物体。此外，由于手部与食物和/或饮品的相对位置对于正确抓取很重要，还可通过各种算法对捕获的图像中的手部图像进行检测，如果检测到手部，可将手部也作为需要向用户呈现的物体。
作为另一示例，可通过检测用户在某一区域的预定手势来确定需要或不需要向用户呈现的真实物体。所述预定手势可以是以下手势之中的至少一项：挥手、手划圆、手划方块、手划三角形、取景手势等。例如，如果检测到用户在某一区域画圈的手势，则可确定只需要向用户呈现画圈范围内的物体；如果检测到用户的取景手势，则可确定只需要向用户呈现取景手势圈出的物体；如果检测到用户手划三角形的手势时，则可确定需要向用户呈现餐桌上的所有物体；如果检测到用户手划方块的手势，则可确定只需要向用户呈现食物；如果检测到用户在真实物体上挥手的手势，则可确定不需要向用户呈现所述真实物体。
作为另一示例，可根据检测到的语音指令来确定需要或不需要向用户呈现的真实物体。例如，如果检测到语音指令为“显示餐桌及食物”，则可确定需要向用户呈现餐桌及餐桌上的所有食物；如果检测到语音指令为“只显示食物”，则可确定只需要向用户呈现食物；如果检测到语音指令为“不显示餐桌”，则可确定不需要向用户呈现餐桌。
作为另一示例，可通过语音指令和标签识别相结合的方式来确定需要或不需要向用户呈现的物体。例如，可将第1类标签贴在桌子上来标识桌子，可将第2类标签贴在椅子上来标识椅子，可将第3类标签贴在餐具上来标记餐具，头戴式显示器可对上述标签进行识别，当检测到语音指令为“只显示贴有第3类标签的物体”时，可确定只需要向用户呈现食物；当检测到语音指令为“显示贴有第3类标签和第1类标签的物体”，可确定需要向用呈现食物和餐桌；当检测到语音指令为“不显示贴有第1类标签的物体”，可确定不需要向用户呈现餐桌。
作为另一示例，可通过检测其他设备的遥控指令来确定需要或不需要向用户呈现的物体。其中，所述其他设备可包括以下项之中的至少一项：可穿戴设备、移动设备等，其中，可穿戴设备可以是以下项之中的至少一项：智能手环、智能手表等。遥控指令可包括需要呈现的物体的名称和/或不需要呈现的物体的名称。
作为另一示例，可在虚拟视野图像中显示虚拟鼠标，通过检测到的用户对虚拟鼠标的操作，可确定需要或不需要向用户呈现的物体。图16示出根据本发明示例性实施例的通过虚拟鼠标确定需要向用户呈现的物体的示例。如图16所示，用户可操作虚拟鼠标在虚拟视野图像中选中某几样物品，在检测到虚拟鼠标的选中操作后，可确定虚拟鼠标选中的物品为需要向用户呈现的物体。
在步骤S203，通过拍摄装置来捕获用户周围的图像，从捕获的图像中检测需要向用户呈现的真实物体的图像，并基于检测到的真实物体的图像来得到真实物体的双目视图。
这里，所述拍摄装置可以是单个单视点摄像头，也可以是双目摄像头、深度摄像头等。当拍摄装置是双目摄像头或深度摄像头时，从捕获的图像中检测需要向用户呈现的真实物体的图像时，不仅可以利用需要向用户呈现的真实物体的图像特征来检测，也可以利用需要向用户呈现的真实物体的深度信息来确定其所在的图像区域。此外，也可从捕获的图像中检测手部图像，以向用户提供更加完整的视觉反馈。
在步骤S204，向用户呈现叠加有真实物体的双目视图的虚拟视野图像。
这里，可获取反映虚拟场景的虚拟场景图像，并通过将真实物体的双目视图与虚拟场景图像进行叠加来产生叠加有真实物体的双目视图的虚拟视野图像。
由于在虚拟场景图像中的虚拟物体与真实物体在三维空间上可能存在遮挡，为了减小互相遮挡干扰，可通过以下方式来显示真实物体：
作为示例，可将真实物体的双目图像以半透明的方式显示。可根据在虚拟视野图像中显示的应用界面的内容类型和/或与用户的交互情况来判断是否以半透明方式显示真实物体。例如，用户通过头戴式显示器进行虚拟游戏时，检测到虚拟游戏的界面中游戏角色运动频繁，并需要大量的用户交互输入，可以半透明方式来显示真实物体。当检测到虚拟视野图像中显示的应用界面是虚拟影院，或者用户的输入控制频率降低时，可结束以半透明方式显示真实物体。类似地，可将真实物体显示为轮廓线或3D网格线。
作为另一示例，可对虚拟场景图像中的虚拟物体进行缩放和/或移动，从而可有效避免与真实物体在三维空间上遮挡的问题。例如，可在头戴式显示器运行虚拟影院时，将虚拟视野图像中显示的虚拟屏幕进行缩小并移动，以避免与真实物体重叠。
图17示出根据本发明示例性实施例的显示真实物体的示例。在图17中的(a)示出将真实物体显示为轮廓线，图17中的(b)示出对虚拟场景图像中的虚拟物体进行缩放和移动。
此外，当在虚拟场景图像中的虚拟物体与真实物体在三维空间上存在遮挡时，可对显示的优先顺序进行判断。可预设显示优先级列表，所述列表中对虚拟图像中的虚拟物体和真实物体的显示优先级顺序根据其重要性和紧急程度进行排序。该显示优先级列表可由头戴式显示器进行自动设置，也可由用户根据个人的使用习惯进行设置。可通过在所述列表中查找优先顺序来决定采用哪种显示方式，及在不同显示方式之间进行切换。
在步骤S205，根据用户的操作来添加和/或删除叠加到虚拟视野图像中的真实物体。当用户周围的真实物体过多，可能在虚拟视野图像中叠加过多的真实物体而影响用户观看虚拟场景图像的效果，因此用户可选择在虚拟视野图像中呈现哪些真实物体，或移除哪些真实物体。
图18示出根据本发明示例性实施例的删除叠加到虚拟视野图像的真实物体。如图18所示，可通过挥手的手势操作来移除已在虚拟视野图像中显示的真实物体。
在步骤S206，确定是否需要继续向用户呈现真实物体。
作为示例，可在检测到用户完成进食的情况下，确定不需要继续向用户呈现真实物体。可通过以下实施方式来检测用户是否完成进食：
作为示例，在检测到预定按键操作的情况下，可确定用户完成进食。其中，所操作的按键可以是头戴式显示器上的硬件按键，也可以是头戴式显示器的的显示屏上的按键，当检测到用户以预定方式按压预定按键时，可确定用户完成进食。所操作的按键还可以是虚拟按键，即，在虚拟视野图像中叠加一个虚拟界面，通过检测用户和这个虚拟界面的交互情况来进行判断。其中，所述预定方式可以是以下方式之中的至少一项：短按、长按、短按预定次数、短按和长按交替进行等。
作为另一示例，在检测到用户的预定手势的情况下，可确定用户进食完成。所述预定手势可以是单手完成的手势，也可以是双手完成的手势，所述预定手势的具体内容可以是以下手势之中的至少之一项：挥手、手划圆、手划方块、手划三角形、取景手势等。可采用现有的手势探测设备来检测和识别手势所指示的具体内容。
作为另一示例，可通过检测和识别物体上的标签来确定用户是否完成进食。例如，可在不同类别的物体上贴指示相应类别的标签以对不同类别的物体进行标识，头戴式显示器可对标签进行识别。例如，可将第1类标签贴在桌子上来标识桌子，可将第2类标签贴在椅子上来标识椅子，可将第3类标签贴在餐具上来标记餐具。当检测不到第3类标签时，可确定用户完成进食。
作为另一示例，可通过检测用户在其他设备上的输入的遥控指令来确定用户是否完成进食。这里，所述其他设备可以是以下设备之中的至少一项：移动通信终端、平板电脑、个人计算机、外设键盘、可穿戴式设备、手柄等。
作为另一示例，可通过识别用户的语音指令或特定的声响信号来确定用户是否完成进食。
当在步骤S206确定不需要继续向用户呈现真实物体时，执行步骤S207。在步骤S207，向用户呈现未叠加有真实物体的双目视图的虚拟视野图像，即终止向用户呈现真实物体的双目视图，仅向用户呈现虚拟场景图像。
应该理解，上述以进食为例的应用场景中的具体实施方式，同样适用于喝水的应用场景。当用户喝水时，喝水的动作由几个小幅度动作连续衔接组成：抓取杯子，将杯子移到嘴边，低头喝水，将杯子放回。相较于一般场景，饮水时要求的视野更广，需要显示水杯与周边其他物体的相对位置，例如，与桌子的相对位置。因此，可根据以下显示方式将真实物体的双目视图叠加到头戴式显示的虚拟视野图像：将真实物体的双目视图以画中画的形式显示在虚拟场景图像上(即，在虚拟场景图像的某个位置显示缩小的真实物体的双目视图)、仅显示真实物体的双目视图而不显示虚拟场景图像(即，在虚拟视野图像中仅显示真实物体的双目视图，用户好像是透过眼镜来看周围的真实景象)、将虚拟场景图像以画中画的形式显示在真实物体的双目视图上(即，在真实物体的双目视图的某个位置显示缩小的虚拟场景图像)、将真实物体的双目视图与虚拟场景图像在空间上融合显示(例如，在虚拟场景图像上以半透明的方式显示真实物体的双目视图)。图19示出根据本发明示例性实施例的显示真实物体的双目视图的示例。图19中的(a)示出将真实物体的双目视图以画中画的形式显示在虚拟场景图像上，图19中的(b)示出仅显示真实物体的双目视图而不显示虚拟场景图像，图19中的(c)示出将虚拟场景图像以画中画的形式显示在真实物体的双目视图上，图19中的(d)示出在虚拟场景图像上以半透明的方式显示真实物体的双目视图。
以下，将结合图20来描述在佩戴头戴式显示器时避免与真实物体发生碰撞的应用场景。为了避免在使用头戴式显示器时，用户的身体部位接近真实物体或者用户的身体部位朝向真实物体运动而造成与真实物体碰撞(例如，用户在使用头戴式显示器进行诸如拳击、高尔夫等虚拟体感游戏时，可能会碰撞到周围的物体或接近用户的物体)，可向用户呈现叠加有接近用户的身体的物体的双目视图的虚拟视野图像以提示用户。
图20示出根据本发明示例性实施例的在头戴式显示器中显示可能发生碰撞的物体的方法的流程图。这里，所述方法中的全部步骤可由头戴式显示器来执行，也可由头戴式显示执行一部分步骤，由头戴式显示器之外的处理器来执行另一部分步骤。
如图20所示，在步骤S301，确定是否需要向用户呈现周围的真实物体，即，确定用户周围是否存在可能发生碰撞的物体。可通过以下实施方式来检测用户周围是否存在可能与用户发生碰撞的物体。
作为示例，可通过头戴式显示器上的拍摄装置(例如，广角摄像头、深度摄像头等)，和/或独立于头戴式显示器的其他拍摄装置和/或传感器，获取用户周围的3D场景信息以及用户的位置和动作。当检测到用户距离周围的物体过近时(例如，距离小于危险距离阈值)，可确定需要向用户呈现周围的物体。
作为另一示例，可通过拍摄装置和传感器来确定用户的位置以及用户身体各部位的运动趋势，并根据用户的位置和用户的运动趋势确定用户是否可能会碰触到的周围的真实物体，当确定用户可能会碰触到周围的真实物体时，可确定需要向用户呈现周围的可能会碰触到的物体；当确定用户不可能会碰触到周围的真实物体时，可确定不需要向用户呈现周围的真实物体。
作为另一示例，可通过拍摄装置和传感器来确定用户的位置、用户身体各部位的运动趋势、用户周围的物体的位置及运动趋势，并根据用户的位置、用户身体各部位的运动趋势、用户周围的物体的位置及运动趋势确定用户是否可能会碰触到的周围的真实物体，当确定用户可能会碰触到周围的真实物体时，可确定需要向用户呈现周围的可能会碰触到的物体；当确定用户不可能会碰触到周围的真实物体时，可确定不需要向用户呈现周围的真实物体。
在步骤S302，通过拍摄装置捕获用户周围的图像，并从捕获的图像中检测可能发生碰撞的物体的图像。可对可能发生碰撞的物体的形状进行具体识别，例如，可识别出可能发生碰撞的物体的轮廓线、3D网格线、3D模型等信息。
在步骤S303，基于所述拍摄装置与用户双目之间的位置关系，对检测到的可能发生碰撞的物体的图像进行视点校正来得到可能发生碰撞的物体的双目视图。
在步骤S304，向用户呈现叠加有可能发生碰撞的物体的双目视图的虚拟视野图像。
作为示例，可将可能发生碰撞的物体显示为半透明、轮廓线或3D网格线之中的至少一项。将可能发生碰撞的物体显示为轮廓线即只在可能发生碰撞的物体的边缘位置显示轮廓线，以减少对虚拟场景图像的影响。
此外，也可以文字、标识图像、音频、视频等方式来提示用户周围存在可能发生碰撞的物体，例如，可在虚拟视野图像中显示提示信息(例如，以文字和/或图形的方式显示)来提示用户与可能发生碰撞的物体的距离。
在步骤S305，确定是否需要继续向用户呈现周围的真实物体。
作为示例，当检测到用户已远离显示的可能发生碰撞的物体时，可确定不需要再向用户显示所述物体；当检测到可能发生碰撞的物体已远离用户时，可确定不需要再向用户显示所述物体；当接收到用户的取消显示真实物体的指令时，可确定不需要向用户呈现真实物体，其中，所述指令可为以下项之中的至少一项：语音指令、按键指令、虚拟鼠标指令、来自可穿戴设备的指令等。
当在步骤S305确定不需要继续向用户呈现周围的真实物体时，执行步骤S306。在步骤S306，向用户呈现未叠加有真实物体的双目视图的虚拟视野图像，即终止向用户呈现真实物体的双目视图，仅向用户呈现虚拟场景图像。
此外，还可设置危险距离阈值，以及针对不同的危险距离和危险等级所使用的不同显示方式，从而可根据检测到的危险情况来使用适合的方式提示用户。
以下，将结合图21至图25来描述在头戴式显示器中显示关于物联网设备的显示项目的应用场景。从而用户可在使用头戴式显示器时，仍能够获知周围的物联网设备的工作状态及其他相关信息。
图21示出根据本发明示例性实施例的在头戴式显示器中显示关于物联网设备的显示项目的方法的流程图。这里，所述方法中的全部步骤可由头戴式显示器来执行，也可由头戴式显示执行一部分步骤，由头戴式显示器之外的处理器来执行另一部分步骤。
如图21所示，在步骤S401，获取关于物联网设备的显示项目。
这里，所述显示项目表示物联网设备的以下项之中的至少一个：操作界面、操作状态、通知信息、指示信息。
作为示例，可对用户的真实视野范围进行实时监视，当检测到用户的真实视野内有物联网设备出现时，可根据物联网设备的类型，获取其相应的显示项目。例如，可根据头戴式显示器的惯性测量单元(Inertial Measurement Unit，IMU)所测量的信息和用户所在房间的设施地图来对用户的真实视野范围进行实时监视。也可通过对头戴式显示器上安装的拍摄装置的视野进行分析得到。
例如，当检测到监控摄像头位于用户的真实视野内时，可获取监控摄像头拍摄到的监控画面。当检测到空调位于用户的真实视野内时，可通过通信获得空调的温度、湿度等参数。当检测到时钟位于用户的真实视野内时，可通过捕获的图像获取时钟显示的时间。当检测到烹调器具(例如，烤箱)位于用户的真实视野内时，可获取温度等工作状态。当检测到移动通信终端(例如，智能手机)位于用户的真实视野内时，可获取移动通信终端的操作界面。
此外，也可从位于用户的真实视野外的物联网设备接收关于物联网设备的显示项目。例如，当有客人到达大门，大门处的智能门铃可向头戴式显示器发送通知，头戴式显示器可接收到门口的图像。例如，头戴式显示器能够和用户的移动通信终端相互通信，当移动通信终端接收到需要用户响应的消息时，可将移动通信终端的操作界面发送到头戴式显示器。
在步骤S402，将获取的显示项目叠加到虚拟视野图像。这里，可在叠加有真实物体的双目视图的虚拟视野图像上进一步叠加物联网设备的显示项目。然而，应理解，本发明并非受限于此，虚拟视野图像可不包括任何真实物体的双目视图，甚至可不包括任何虚拟场景图像，而仅显示物联网设备的显示项目。
在步骤S403，向用户呈现叠加有显示项目的虚拟视野图像。这里，可按照任何适当的布局来呈现物联网的显示项目，以便用户能够与物联网设备实现良好的互动，优选地，还能够同时兼顾用户与虚拟场景和真实物体之间的交互。
图22示出根据本发明示例性实施例的向用户呈现叠加有显示项目的虚拟视野图像的示例。如图22所示，可在头戴式显示器的虚拟视野图像中显示空调的温度、湿度，时钟显示的时间，烤箱的工作状态，移动通信终端的操作界面，以及门禁设备所捕获的图像，此外，还可显示箭头指示图像，以提示用户已完成烹调的烤箱相对于用户的方位。
在步骤S404，根据用户针对显示项目的操作来遥控物联网设备执行相应的处理。
例如，如果物联网设备是移动通信终端，头戴式显示器可和移动通信终端相互通信，当移动通信终端接收到需要用户响应的消息时，可将移动通信终端的操作界面显示在虚拟视野图像中，用户可通过头戴式显示器进行相应的操作，例如，可遥控移动通信终端拨打和接听电话。此外，当用户完成对移动通信终端的遥控和/或查看，可通过检测用户的输入来结束在虚拟视野图像中显示关于移动通信终端的显示项目，用户的输入方式可参考前述输入方式，不再赘述。图23示出根据本发明示例性实施例的向用户呈现叠加有移动通信终端的操作界面的虚拟视野图像的示例。如图23所示，可在头戴式显示器的虚拟视野图像中显示移动通信终端的操作界面，以便用户及时获知移动通信终端接收到的消息和/或遥控移动通信终端。
例如，用户正在使用头戴式显示器进行虚拟游戏，移动通信终端有来电且移动通信终端在用户的真实视野外，此时，头戴式显示器可接收移动通信终端发送的来电信息并在虚拟视野图像中进行显示，从而用户不需要停止游戏，也不会错过重要来电。如果用户确定需要接听来电，可通过头戴式显示器直接接听来电(例如，将头戴式显示器作为蓝牙耳机进行接听)，此外，也可在虚拟视野图像中向用户显示指示信息(例如，通过箭头指示符、文字等方式)以指示用户移动通信终端相对于用户的方位。如果用户确定不接听来电，可通过头戴式显示器直接挂断电话，或者，遥控移动通信终端挂断电话，此外，用户也可不进行任何操作。如果用户希望过会回电，则可在头戴式显示器中设置回电的任务、或者遥控移动通信终端设置回电提醒。
图24示出根据本发明示例性实施例的向用户呈现叠加有移动通信终端的来电信息的虚拟视野图像的示例。如图24所示，当移动通信终端接收到来电时，可在头戴式显示器的虚拟视野图像中显示移动通信终端的来电信息，以便用户及时获知移动通信终端的来电信息，并且，还可显示箭头指示图像，以提示用户移动通信终端相对于用户的方位，此外，用户还可在头戴式显示器中设置回电的任务、或者遥控移动通信终端设置回电提醒。
例如，移动通信终端接收到短信息，此时，头戴式显示器可接收移动通信终端发送的短信息并在虚拟视野图像中进行显示。如果用户希望回复信息，可在头戴式显示器中编辑信息，并遥控移动通信终端进行回复，此外，也可向用户显示指示信息(例如，通过箭头指示符、文字等方式)以指示用户移动通信终端相对于用户的方位。如果用户希望过会回信息，则可在头戴式显示器中设置回复信息的任务、或者遥控移动通信终端设置回复信息的提醒。如果用户希望和发信人进行电话沟通，可根据用户的操作通过头戴式显示器拨打电话(例如，将头戴式显示器作为蓝牙耳机进行拨打)，此外，也可向用户显示指示信息(例如，通过箭头指示符、文字等方式)以指示用户移动通信终端相对于用户的方位。
图25示出根据本发明示例性实施例的向用户呈现叠加有移动通信终端接收到的短信息的虚拟视野图像的示例。如图25所示，当移动通信终端接收到短信息时，头戴式显示器可在虚拟视野图像中显示移动通信终端接收到的短信息，以便用户及时获知移动通信终端接收到的短信息，并且，还可显示箭头指示图像，以提示用户移动通信终端相对于用户的方位，此外，用户还可通过头戴式显示器直接呼叫发信人。
此外，用户可设置需要显示显示项目的物联网设备。可采用列表选择的方式，列出所有物联网设备的ID，用户可选中或取消选中物联网设备。并且可针对每个物联网设备进行详细设置，可列出每个物联网设备可发出的消息类型，针对每种类型的消息可设置是否需要显示，以及显示的方式。
此外，关于头戴式显示器运行的应用是否可被打扰，可设置多个级别，从可以接受任何消息(例如，虚拟影院应用)，到不希望被打扰(激烈对抗的实时虚拟网络游戏)。在高级别的应用中，可采取影响尽量小的提示方式(例如，闪动的亮点)；在低级别的应用中，可将消息的全部内容显示出来。
以下，将结合图26至图30来描述根据本发明示例性实施例的显示真实物体的头戴式显示器。根据本发明示例性实施例的显示真实物体的头戴式显示器所包括的装置可结合专门的器件(例如，传感器件)来实现，作为示例，所述装置可由数字信号处理器、现场可编程门阵列等通用硬件处理器来实现，也可通过专用芯片等专用硬件处理器来实现，还可完全通过计算机程序来以软件方式实现，例如，被实现为安装在头戴式显示器中的用于显示真实物体的应用中的模块，或者被实现为头戴式显示器的操作系统中实现的功能程序。此外，作为可选方式，所述装置中的部分或全部可集成在显示真实物体的头戴式显示器中，本发明对此不作限制。
图26示出根据本发明示例性实施例的显示真实物体的头戴式显示器的框图。如图26所示，根据本发明示例性实施例的显示真实物体的头戴式显示器包括：真实物体视图获取装置10和显示装置20。
具体说来，真实物体视图获取装置10用于获取位于用户周围的真实物体的双目视图。
这里，双目视图是针对佩戴头戴式显示器的用户的人眼的双目视图，通过真实物体的双目视图，用户大脑能够获取真实物体的深度信息，进而感受到真实物体的实际三维空间位置和立体姿态，即，用户通过真实物体的双目视图所感受到的真实物体的三维空间位置和立体姿态与用户通过人眼观察并感受到的真实物体的三维空间位置和立体姿态是一致的。
作为示例，真实物体可以是根据物体属性或使用场景而预先设置的呈现物体，可包括以下项之中的至少一项：接近用户的身体的物体、贴有标签的物体、用户指定的物体、头戴式显示器上运行的应用当前需要使用的物体、操作控件所需的物体。
显示装置20用于向用户呈现叠加有真实物体的双目视图的虚拟视野图像。通过上述头戴式显示器，用户能够在虚拟视野图像中观看到真实物体的双目视图(即，增强虚拟现实)，感受到真实物体的实际三维空间位置和立体姿态，准确地判断真实物体与自身的位置关系以及真实物体的立体姿态，完成必要的需要视觉图像反馈的行为。
这里，应该理解，可通过集成在头戴式显示器上的显示装置来向用户呈现叠加有真实物体的双目视图的虚拟视野图像，也可通过与头戴式显示器外接的其他显示装置来向用户呈现，本发明对此不作限制。
图27示出根据本发明的另一示例性实施例的显示真实物体的头戴式显示器的框图。如图27所示，根据本发明的另一示例性实施例的显示真实物体的头戴式显示器除包括图26所示的真实物体视图获取装置10和显示装置20之外，还可包括图像捕获装置30和双目视图产生装置40。
具体说来，图像捕获装置30用于通过拍摄装置来捕获包括位于用户周围的真实物体的图像。
双目视图产生装置40用于根据捕获的图像获取位于用户周围的真实物体的双目视图。
作为示例，图像捕获装置30可通过单个拍摄装置来捕获包括位于用户周围的真实物体的图像，双目视图产生装置40可根据捕获的图像获取位于用户周围的真实物体的双目视图。
这里，所述单个拍摄装置可以是仅具有一个视角的普通拍摄装置，由于图像捕获装置30所捕获的图像不具有深度信息，因此，相应地，双目视图产生装置40可从捕获的图像中检测真实物体图像，基于检测到的真实物体图像确定另一视点的真实物体图像，并基于检测到的真实物体图像和所述另一视点的真实物体图像来得到真实物体的双目视图。
这里，真实物体图像即所捕获的图像中真实物体所在区域的图像。例如，双目视图产生装置40可使用现有的各种图像识别方法来从所捕获的图像中检测出真实物体图像。
作为示例，双目视图产生装置40可基于所述单个拍摄装置与用户双目之间的位置关系，对检测到的真实物体图像和所述另一视点的真实物体图像进行视点校正来得到真实物体的双目视图。
作为另一示例，双目视图产生装置40可基于拍摄的立体图像来获取真实物体的双目视图。具体说来，图像捕获装置30可通过拍摄装置来捕获包括位于用户周围的真实物体的图像，双目视图产生装置40可从捕获的图像中检测真实物体图像，基于检测到的真实物体图像来得到真实物体的双目视图，其中，所述拍摄装置包括深度摄像头，或者，所述拍摄装置包括至少两个单视点摄像头。这里，所述至少两个单视点摄像头可具有重合的视角，从而通过深度摄像头，或者至少两个单视点摄像头能够捕获具有深度信息的立体图像。
作为示例，双目视图产生装置40可基于所述拍摄装置与用户双目之间的位置关系，对检测到的真实物体图像进行视点校正来得到真实物体的双目视图。
应该理解，作为示例，上述单个拍摄装置、深度摄像头或单视点摄像头可以是头戴式显示器的内置拍摄装置，也可以是安装在头戴式显示器上的附接拍摄装置，例如，可以是其它设备(例如，智能手机)具有的摄像头，本发明对此不作限制。
优选地，在双目视图产生装置40检测不到真实物体之中的期望显示物体的真实物体图像时，图像捕获装置30可扩大拍摄视角来重新捕获包括期望显示物体的图像。
或者，在双目视图产生装置40检测不到真实物体之中的期望显示物体的真实物体图像时，图像捕获装置30可提示用户转向期望显示物体所在的方位来重新捕获包括期望显示物体的图像。例如，可通过图像、文字、音频、视频等来提示用户。作为示例，图像捕获装置30可将基于预先存储的真实物体的三维空间位置或经由定位装置获取的真实物体的三维空间位置来提示用户转向期望显示物体所在的方位来重新捕获包括期望显示物体的图像。
图28示出根据本发明的另一示例性实施例的显示真实物体的头戴式显示器的框图。如图28所示，根据本发明的另一示例性实施例的显示真实物体的头戴式显示器除包括图26所示的真实物体视图获取装置10和显示装置20之外，还可包括虚拟视野图像产生装置50。
具体说来，虚拟视野图像产生装置50用于产生叠加有真实物体的双目视图的虚拟视野图像。
作为示例，根据本发明的另一示例性实施例的显示真实物体的头戴式显示器还可包括：虚拟场景图像获取装置(未示出)。
虚拟场景图像获取装置用于获取反映虚拟场景的虚拟场景图像，其中，虚拟视野图像产生装置50通过将真实物体的双目视图与虚拟场景图像进行叠加来产生叠加有真实物体的双目视图的虚拟视野图像。即，向用户呈现的虚拟视野图像为在空间上融合了真实物体的双目视图和虚拟场景图像的虚拟视野图像，从而用户能够在正常的头戴式显示器的虚拟场景体验下，完成必要的需要视觉图像反馈的与真实物体进行交互的行为。
这里，虚拟场景图像即与头戴式显示器当前运行的应用相应的需要在用户的虚拟视野中向用户呈现的反映虚拟场景的图像。例如，如果头戴式显示器当前运行的应用是拳击、高尔夫等虚拟体感游戏，则虚拟场景图像即为需要在虚拟视野中向用户呈现的反映虚拟游戏场景的图像；如果头戴式显示器当前运行的应用是用于观看电影的应用，则虚拟场景图像即为需要在虚拟视野中向用户呈现的反映虚拟影院屏幕场景的图像。
作为示例，虚拟视野图像产生装置50可根据以下显示方式之一将真实物体的双目视图叠加到头戴式显示器的虚拟视野图像：仅显示真实物体的双目视图而不显示虚拟场景图像、仅显示虚拟场景图像而不显示真实物体的双目视图、将真实物体的双目视图与虚拟场景图像在空间上融合显示、将真实物体的双目视图以画中画的形式显示在虚拟场景图像上、将虚拟场景图像以画中画的形式显示在真实物体的双目视图上。
作为示例，虚拟视野图像产生装置50可将真实物体显示为半透明、轮廓线或3D网格线之中的至少一项。例如，虚拟视野图像产生装置50可在虚拟场景图像中的虚拟物体与真实物体在三维空间上存在遮挡的情况下，将真实物体显示为半透明、轮廓线或3D网格线之中的至少一项，以减小对虚拟场景图像中的虚拟物体的遮挡，减小对观看虚拟场景图像的影响。
此外，作为示例，在虚拟场景图像中的虚拟物体与真实物体在三维空间上存在遮挡的情况下，虚拟视野图像产生装置50也可对虚拟物体进行缩放和/或移动。例如，虚拟视野图像产生装置50可对在虚拟场景图像中与真实物体在三维空间上存在遮挡的虚拟物体进行缩放和/或移动，也可在存在遮挡的情况下，将虚拟场景图像中的所有虚拟物体进行缩放和/或移动。应该理解，虚拟视野图像产生装置50可自动判断虚拟场景图像中的虚拟物体与真实物体在三维空间上的遮挡情况，并相应地对虚拟物体进行缩放和/或移动。此外，虚拟视野图像产生装置50也可根据用户的操作来对虚拟物体进行缩放和/或移动。
此外，优选地，虚拟视野图像产生装置50可根据用户的操作来添加和/或删除叠加到虚拟视野图像的真实物体。即，用户可根据自己的需求将未在虚拟视野图像中显示的真实物体的双目视图也叠加到虚拟视野图像中，和/或从虚拟视野图像中删除多余的、不需要呈现的真实物体的双目视图，以减小对观看虚拟场景图像的影响。
优选地，可在适当的情况下才向用户呈现叠加有真实物体的双目视图的虚拟视野图像，并可在适当的情况下终止向用户呈现叠加有真实物体的双目视图的虚拟视野图像。图29示出根据本发明的另一示例性实施例的显示真实物体的头戴式显示器的框图。如图29所示，根据本发明的另一示例性实施例的显示真实物体的头戴式显示器除包括图26所示的真实物体视图获取装置10和显示装置20之外，还可包括显示控制装置60。
具体说来，显示控制装置60用于确定是否需要向用户呈现用户周围的真实物体，其中，在显示控制装置60确定需要向用户呈现用户周围的真实物体的情况下，真实物体视图获取装置10获取位于用户周围的真实物体的双目视图和/或显示装置20向用户呈现叠加有真实物体的双目视图的虚拟视野图像。
作为示例，显示控制装置60在检测到需要与用户周围的真实物体进行交互的情景时，可确定需要向用户呈现用户周围的真实物体。例如，需要与用户周围的真实物体进行交互的情景可包括以下项之中的至少一个：需要借助真实物体执行输入操作的情景(例如，需要使用键盘、鼠标、手柄等来执行输入操作的情景)、需要避免与真实物体碰撞的情景(例如，需要躲避靠近的人的情景)、需要用手抓取真实物体的情景(例如，需要吃东西或喝水的情景)。
根据本发明的示例性实施例，可根据各种情况来确定呈现真实物体的时机，作为示例，在以下条件之中的至少一项被满足时，显示控制装置60可确定需要向用户呈现用户周围的真实物体：接收到请求呈现真实物体的用户输入；确定用户周围的真实物体与预设的呈现物体相匹配；在虚拟视野图像中显示的应用界面中检测到需要使用真实物体执行操作的控件；检测到用户的身体部位接近真实物体；检测到用户的身体部位朝向真实物体运动；确定头戴式显示器上运行的应用当前需要使用真实物体；确定到达预设的与用户周围的真实物体进行交互的时间。
通过显示控制装置60可判断用户在哪些时刻需要看到周围的真实物体，即需要向用户呈现周围的真实物体的双目视图的时机，便于用户及时获知周围的真实物体的实际三维空间位置和立体姿态。
作为示例，显示控制装置60还可确定是否需要继续向用户呈现用户周围的真实物体，其中，在显示控制装置60确定不需要继续向用户呈现用户周围的真实物体的情况下，显示装置20可向用户呈现未叠加有真实物体的双目视图的虚拟视野图像。
作为示例，显示控制装置60在检测到需要与用户周围的真实物体进行交互的情景结束时，可确定不需要继续向用户呈现用户周围的真实物体。
作为示例，在以下条件之中的至少一项被满足时，显示控制装置60可确定不需要向用户呈现真实物体：接收到终止呈现真实物体的用户输入；确定用户周围的真实物体与预设的呈现物体不匹配；在虚拟视野图像中显示的应用界面中没有检测到需要使用真实物体执行操作的控件；确定用户的身体部位远离真实物体；确定头戴式显示器上运行的应用当前不需要使用真实物体；确定用户在预设时间段期间没有使用真实物体执行操作；确定用户能够在不观看真实物体的情况下执行操作。
关于请求呈现真实物体和/或终止呈现真实物体的用户输入，作为示例，可通过以下项之中的至少一项来实现：触屏操作、物理按键操作、遥控指令输入操作、声控操作、手势动作、头部动作、身体动作、视线动作、触碰动作、握持动作。
关于预设的呈现物体，可以是头戴式显示器中默认设置的需要呈现的物体，也可以是用户根据自己的需求所设置的需要呈现的物体。例如，预设的呈现物体可以是食物、餐具、用户的手、贴有特定标签的物体、人等。
通过显示控制装置60可在不需要向用户呈现用户周围的真实物体的情况下，向用户呈现未叠加有真实物体的双目视图的虚拟视野图像(即，仅向用户呈现虚拟场景图像)，以不影响用户观看虚拟场景图像。
图30示出根据本发明的另一示例性实施例的显示真实物体的头戴式显示器的框图。如图30所示，根据本发明的另一示例性实施例的显示真实物体的头戴式显示器除包括图26所示的真实物体视图获取装置10和显示装置20之外，还可包括显示项目获取装置70。
显示项目获取装置70用于获取关于物联网设备的显示项目，并将获取的显示项目叠加到虚拟视野图像，其中，所述显示项目表示物联网设备的以下项之中的至少一个：操作界面、操作状态、通知信息、指示信息。
这里，通知信息可以是文字、音频、视频、图像等信息。例如，如果物联网设备是通信设备，则通知消息可以是关于未接来电的文字信息；如果物联网设备是门禁设备，则通知消息可以是所捕获的监控图像。
指示信息是用于指示用户找到物联网设备的文字、音频、视频、图像等信息。例如，指示信息可以是箭头指示符，用户可根据箭头的指向获取物联网设备相对于用户的方位；指示信息也可以是指示用户与物联网设备的相对位置的文字(例如，通信设备在您左前方两米处)。
作为示例，显示项目获取装置70可通过以下处理之中的至少一项来获取关于物联网设备的显示项目：捕获位于用户的真实视野内的物联网设备的图像，并从捕获的物联网设备的图像提取关于物联网设备的显示项目；从位于用户的真实视野内和/或真实视野外的物联网设备接收关于物联网设备的显示项目；感测位于用户的真实视野外的物联网设备相对于头戴式显示器的位置作为指示信息。
此外，根据本发明的另一示例性实施例的显示真实物体的头戴式显示器还可包括：操控装置(未示出)。
操控装置用于根据用户针对显示项目的操作来遥控物联网设备执行相应的处理。
通过上述头戴式显示器，用户能够在使用头戴式显示器时获知周围的物联网设备的相关信息，此外，还可遥控物联网设备执行相应的处理。
应该理解，根据本发明示例性实施例的显示真实物体的头戴式显示器可对根据图5至图25所描述的具体应用场景执行相应的处理，这里不再赘述。
根据本发明示例性实施例的在头戴式显示器中显示真实物体的方法及其头戴式显示器，能够向用户呈现叠加有用户周围的真实物体的双目视图的虚拟视野图像，从而用户在佩戴头戴式显示器时仍能够感知到周围的真实物体的实际三维空间位置、立体姿态及相关属性等信息，便于用户与周围的真实物体进行交互，完成必要的需要视觉图像反馈的行为。附加地，本发明实施例能够判断需要向用户显示周围的真实物体的双目视图的时机；此外，还能够通过适合的方式在虚拟视野图像中向用户显示周围的真实物体的双目视图。从而用户能够获得增强的虚拟视野体验。
虽然已表示和描述了本发明的一些示例性实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。

Claims (16)

1.一种在头戴式显示器中显示真实物体的方法，包括：
(A)获取位于用户周围的真实物体的双目视图；以及
(B)显示叠加有真实物体的双目视图的虚拟现实图像。
2.根据权利要求1所述的方法，其中，在确定需要显示用户周围的真实物体的情况下，执行步骤(A)和/或步骤(B)。
3.根据权利要求2所述的方法，其中，在以下条件之中的至少一项被满足时，确定需要显示用户周围的真实物体：接收到请求呈现真实物体的用户输入；确定用户周围的真实物体与预设的呈现物体相匹配；在虚拟现实图像中检测到需要使用真实物体执行操作的控件；检测到用户的身体部位接近真实物体；检测到用户的身体部位朝向真实物体运动；确定头戴式显示器当前需要使用真实物体；确定到达预设的与用户周围的真实物体进行交互的时间。
4.根据权利要求1所述的方法，其中，步骤(A)包括：
当检测到需要通过真实世界中的输入装置进行输入时，确定所述输入装置是否位于距用户预定距离之内；
当确定所述输入装置位于距用户预定距离之内时，获取所述输入设备的双目视图。
5.根据权利要求4所述的方法，其中，获取所述输入设备的双目视图的步骤包括：
当确定所述输入装置位于拍摄装置的拍摄视角之外时，扩大拍摄装置的拍摄视角；
当确定所述输入装置位于距用户所述预定距离之内时，使用扩大的拍摄视角来获取所述输入设备的双目视图。
6.根据权利要求4所述的方法，其中，步骤(B)包括：
响应于当前时间处于被设置用于与所述输入装置交互的预定时间段内，显示叠加有所述输入装置的双目视图的虚拟现实图像。
7.根据权利要求4所述的方法，其中，获取所述输入设备的双目视图的步骤包括：
使用拍摄装置捕获所述输入装置的第一图像；
基于捕获的第一图像，获取所述输入装置的第二图像，其中，第二图像的视角不同于第一图像的视角；
基于所述输入装置的第一图像和第二图像，获取所述输入装置的双目视图。
8.根据权利要求7所述的方法，其中，基于所述输入装置的第一图像和第二图像，获取所述输入装置的双目视图的步骤包括：
基于所述拍摄装置与用户双目之间的位置关系，对所述输入装置的第一图像和第二图像进行视点校正来得到所述输入装置的双目视图。
9.根据权利要求4所述的方法，其中，还包括：
在虚拟现实图像上显示方向指示图像，以指导用户改变用户到所述输入装置在真实世界中的位置的视线。
10.根据权利要求4所述的方法，其中，步骤(B)包括：
响应于确定用户的手被放置在所述输入装置上，显示叠加有所述输入装置的双目视图的虚拟现实图像。
11.根据权利要求4所述的方法，其中，步骤(B)包括：
当确定所述输入装置的双目视图与所述虚拟现实图像中的虚拟物体相互遮挡时，改变所述输入装置的双目视图的透明度。
12.根据权利要求4所述的方法，其中，所述预定距离是第一预定距离，第二预定距离大于第一预定距离，
其中，所述方法还包括：当确定从用户到所述输入装置的距离变为大于第二预定距离时，去除所述输入装置的双目视图。
13.根据权利要求4所述的方法，其中，还包括：当头戴式显示器显示需要通过所述输入装置输入的输入区时，确定需要通过真实世界中的所述输入装置进行输入，
其中，获取所述输入装置的双目视图的步骤包括：当所述输入区被显示且所述输入装置位于距用户预定距离之内时，获取所述输入装置的双目视图。
14.根据权利要求1或4所述的方法，其中，还包括：
显示允许用户选择与虚拟现实图像一起显示的至少一种真实物体类型的交互界面，
其中，所述交互界面上提供多个不同的真实物体类型。
15.根据权利要求4所述的方法，其中，还包括：
基于多个不同类型的标签之中附着于用户周围的多个真实物体的标签，确定需要通过真实世界中的所述输入装置进行输入。
16.一种头戴式显示器，包括：
显示器，被配置为显示虚拟现实图像；
处理器，被配置为获取位于用户周围的真实物体的双目视图，并控制显示器显示叠加有真实物体的双目视图的虚拟现实图像。
CN201910549634.5A 2015-08-31 2015-08-31 在头戴式显示器中显示真实物体的方法及其头戴式显示器 Pending CN110275619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910549634.5A CN110275619A (zh) 2015-08-31 2015-08-31 在头戴式显示器中显示真实物体的方法及其头戴式显示器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510549225.7A CN106484085B (zh) 2015-08-31 2015-08-31 在头戴式显示器中显示真实物体的方法及其头戴式显示器
CN201910549634.5A CN110275619A (zh) 2015-08-31 2015-08-31 在头戴式显示器中显示真实物体的方法及其头戴式显示器

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510549225.7A Division CN106484085B (zh) 2015-08-31 2015-08-31 在头戴式显示器中显示真实物体的方法及其头戴式显示器

Publications (1)

Publication Number Publication Date
CN110275619A true CN110275619A (zh) 2019-09-24

Family

ID=58236359

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910549634.5A Pending CN110275619A (zh) 2015-08-31 2015-08-31 在头戴式显示器中显示真实物体的方法及其头戴式显示器
CN201510549225.7A Active CN106484085B (zh) 2015-08-31 2015-08-31 在头戴式显示器中显示真实物体的方法及其头戴式显示器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510549225.7A Active CN106484085B (zh) 2015-08-31 2015-08-31 在头戴式显示器中显示真实物体的方法及其头戴式显示器

Country Status (3)

Country Link
EP (1) EP3281058A4 (zh)
KR (1) KR20170026164A (zh)
CN (2) CN110275619A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124112A (zh) * 2019-12-10 2020-05-08 北京一数科技有限公司 一种虚拟界面与实体物体的交互显示方法及装置
CN112445341A (zh) * 2020-11-23 2021-03-05 青岛小鸟看看科技有限公司 虚拟现实设备的键盘透视方法、装置及虚拟现实设备
CN112462937A (zh) * 2020-11-23 2021-03-09 青岛小鸟看看科技有限公司 虚拟现实设备的局部透视方法、装置及虚拟现实设备
CN112581054A (zh) * 2020-12-09 2021-03-30 珠海格力电器股份有限公司 一种物料管理方法及物料管理装置
CN114035732A (zh) * 2021-11-04 2022-02-11 海南诺亦腾海洋科技研究院有限公司 一键控制vr头显设备虚拟体验内容的方法及装置
CN114972692A (zh) * 2022-05-12 2022-08-30 北京领为军融科技有限公司 基于ai识别和混合现实的目标定位方法
CN116744195A (zh) * 2023-08-10 2023-09-12 苏州清听声学科技有限公司 一种参量阵扬声器及其指向性偏转方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7070547B2 (ja) * 2017-03-22 2022-05-18 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
CN107168515A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种vr一体机中手柄的定位方法和装置
CN106896925A (zh) * 2017-04-14 2017-06-27 陈柳华 一种虚拟现实与真实场景融合的装置
CN107222689B (zh) * 2017-05-18 2020-07-03 歌尔科技有限公司 基于vr镜头的实景切换方法及装置
CN108960008B (zh) * 2017-05-22 2021-12-14 华为技术有限公司 Vr显示的方法和装置、vr设备
CN107229342A (zh) * 2017-06-30 2017-10-03 宇龙计算机通信科技(深圳)有限公司 文件处理方法及用户设备
CN107577337A (zh) * 2017-07-25 2018-01-12 北京小鸟看看科技有限公司 一种头戴显示设备的键盘显示方法、装置及头戴显示设备
US10627635B2 (en) * 2017-08-02 2020-04-21 Microsoft Technology Licensing, Llc Transitioning into a VR environment and warning HMD users of real-world physical obstacles
CN107422942A (zh) * 2017-08-15 2017-12-01 吴金河 一种沉浸式体验的控制系统及方法
WO2019067642A1 (en) * 2017-09-29 2019-04-04 Zermatt Technologies Llc APPLICATION PRESENTATION BASED ON AN ENVIRONMENT
DE102017218215A1 (de) 2017-10-12 2019-04-18 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
KR102389185B1 (ko) 2017-10-17 2022-04-21 삼성전자주식회사 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
CN108169901A (zh) * 2017-12-27 2018-06-15 北京传嘉科技有限公司 Vr眼镜
CN108040247A (zh) * 2017-12-29 2018-05-15 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示设备及方法
CN108572723B (zh) * 2018-02-02 2021-01-29 陈尚语 一种防晕车方法及设备
KR102076647B1 (ko) * 2018-03-30 2020-02-12 데이터얼라이언스 주식회사 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
CN108519676B (zh) * 2018-04-09 2020-04-28 杭州瑞杰珑科技有限公司 一种头戴式助视装置
CN108764152B (zh) * 2018-05-29 2020-12-04 北京物灵智能科技有限公司 基于图片匹配实现互动提示的方法、装置及存储设备
CN108922115B (zh) * 2018-06-26 2020-12-18 联想(北京)有限公司 一种信息处理方法及电子设备
US11880911B2 (en) 2018-09-07 2024-01-23 Apple Inc. Transitioning between imagery and sounds of a virtual environment and a real environment
JP6739847B2 (ja) * 2018-09-12 2020-08-12 株式会社アルファコード 画像表示制御装置および画像表示制御用プログラム
EP3671410B1 (en) * 2018-12-19 2022-08-24 Siemens Healthcare GmbH Method and device to control a virtual reality display unit
US11137908B2 (en) * 2019-04-15 2021-10-05 Apple Inc. Keyboard operation with head-mounted device
US20200327867A1 (en) * 2019-04-15 2020-10-15 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US10992926B2 (en) * 2019-04-15 2021-04-27 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US11265487B2 (en) 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
CN110475103A (zh) * 2019-09-05 2019-11-19 上海临奇智能科技有限公司 一种头戴式可视设备
JP6754908B1 (ja) * 2020-02-07 2020-09-16 株式会社ドワンゴ 視聴端末、視聴方法、視聴システム及びプログラム
CN111427447B (zh) * 2020-03-04 2023-08-29 青岛小鸟看看科技有限公司 虚拟键盘的显示方法、头戴显示设备及系统
CN114827338A (zh) * 2021-01-29 2022-07-29 北京外号信息技术有限公司 用于在设备的显示媒介上呈现虚拟对象的方法和电子装置
CN114327044A (zh) * 2021-11-30 2022-04-12 歌尔光学科技有限公司 头戴显示设备的控制方法、装置、头戴显示设备及介质
WO2023130435A1 (zh) * 2022-01-10 2023-07-13 深圳市闪至科技有限公司 交互方法、头戴式显示设备、系统及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037882A (en) * 1997-09-30 2000-03-14 Levy; David H. Method and apparatus for inputting data to an electronic system
GB0113559D0 (en) * 2001-06-04 2001-07-25 Hewlett Packard Co Virtual reality
JP2005044102A (ja) * 2003-07-28 2005-02-17 Canon Inc 画像再生方法及び画像再生装置
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
CN101893935A (zh) * 2010-07-14 2010-11-24 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球系统构建方法
GB201200910D0 (en) * 2011-09-23 2012-02-29 Gixia Group Co Head-mounted somatosensory control and display system and method using same
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
JP2012173772A (ja) * 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
JP2013041431A (ja) * 2011-08-16 2013-02-28 Fujitsu Ltd 入力装置、入力制御方法及び入力制御プログラム
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
CN103534665A (zh) * 2011-04-04 2014-01-22 英特尔公司 平视显示器的键盘化身
CN103635869A (zh) * 2011-06-21 2014-03-12 英派尔科技开发有限公司 用于增强现实的基于手势的用户接口
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
CN103975268A (zh) * 2011-10-07 2014-08-06 谷歌公司 具有附近物体响应的可穿戴计算机
WO2015111283A1 (ja) * 2014-01-23 2015-07-30 ソニー株式会社 画像表示装置及び画像表示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6079614B2 (ja) * 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037882A (en) * 1997-09-30 2000-03-14 Levy; David H. Method and apparatus for inputting data to an electronic system
GB0113559D0 (en) * 2001-06-04 2001-07-25 Hewlett Packard Co Virtual reality
JP2005044102A (ja) * 2003-07-28 2005-02-17 Canon Inc 画像再生方法及び画像再生装置
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
CN101893935A (zh) * 2010-07-14 2010-11-24 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球系统构建方法
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
JP2012173772A (ja) * 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
CN103534665A (zh) * 2011-04-04 2014-01-22 英特尔公司 平视显示器的键盘化身
CN103635869A (zh) * 2011-06-21 2014-03-12 英派尔科技开发有限公司 用于增强现实的基于手势的用户接口
JP2013041431A (ja) * 2011-08-16 2013-02-28 Fujitsu Ltd 入力装置、入力制御方法及び入力制御プログラム
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
GB201200910D0 (en) * 2011-09-23 2012-02-29 Gixia Group Co Head-mounted somatosensory control and display system and method using same
CN103975268A (zh) * 2011-10-07 2014-08-06 谷歌公司 具有附近物体响应的可穿戴计算机
WO2015111283A1 (ja) * 2014-01-23 2015-07-30 ソニー株式会社 画像表示装置及び画像表示方法

Non-Patent Citations (16)

* Cited by examiner, † Cited by third party
Title
ROSS MESSING: "Distance Perception and Cues Distance in Virtual Reality", 《ACM SIGGRAPH SYMPOSIUM ONAPPLIED PERCEPTION IN GRAPHICS AND VISUALIZATION》 *
ROSS MESSING: "Distance Perception and Cues Distance in Virtual Reality", 《ACM SIGGRAPH SYMPOSIUM ONAPPLIED PERCEPTION IN GRAPHICS AND VISUALIZATION》, 26 July 2004 (2004-07-26) *
ROSS MESSING: "Distance Perception and the Visual Horizon in Head-Mounted Displays", 《ACM TRANSACTION ON APPLIED PERCEPTION》 *
ROSS MESSING: "Distance Perception and the Visual Horizon in Head-Mounted Displays", 《ACM TRANSACTION ON APPLIED PERCEPTION》, vol. 02, no. 03, 31 July 2005 (2005-07-31) *
张怡暄等: "基于深度的虚实场景高清图像的融合方法", 中国体视学与图像分析, no. 03, 25 September 2013 (2013-09-25) *
易俊等: "基于ARToolkit立体视觉成像增强现实系统的研究", 《微计算机信息》 *
易俊等: "基于ARToolkit立体视觉成像增强现实系统的研究", 《微计算机信息》, no. 28, 5 October 2007 (2007-10-05) *
易俊等: "基于ARToolkit立体视觉成像增强现实系统的研究", 微计算机信息, no. 28 *
武雪玲等: "仿射变换虚实配准的空间信息增强表达", 《计算机工程与应用》 *
武雪玲等: "仿射变换虚实配准的空间信息增强表达", 《计算机工程与应用》, no. 03, 21 January 2010 (2010-01-21) *
武雪玲等: "仿射变换虚实配准的空间信息增强表达", 计算机工程与应用, no. 03 *
王宇等: "基于全景成像的增强现实系统", 计算机工程, no. 03, 5 February 2010 (2010-02-05) *
王红等: "光学透视式增强现实显示系统虚实遮挡问题研究", 《中国图象图形学报》 *
王红等: "光学透视式增强现实显示系统虚实遮挡问题研究", 《中国图象图形学报》, no. 08, 15 August 2008 (2008-08-15) *
王红等: "光学透视式增强现实显示系统虚实遮挡问题研究", 中国图象图形学报, no. 08 *
王红等: "光学透视式增强现实显示系统虚实遮挡问题研究", 中国图象图形学报, no. 08, 15 August 2008 (2008-08-15) *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124112A (zh) * 2019-12-10 2020-05-08 北京一数科技有限公司 一种虚拟界面与实体物体的交互显示方法及装置
CN112445341A (zh) * 2020-11-23 2021-03-05 青岛小鸟看看科技有限公司 虚拟现实设备的键盘透视方法、装置及虚拟现实设备
CN112462937A (zh) * 2020-11-23 2021-03-09 青岛小鸟看看科技有限公司 虚拟现实设备的局部透视方法、装置及虚拟现实设备
US11861071B2 (en) 2020-11-23 2024-01-02 Qingdao Pico Technology Co., Ltd. Local perspective method and device of virtual reality equipment and virtual reality equipment
CN112581054A (zh) * 2020-12-09 2021-03-30 珠海格力电器股份有限公司 一种物料管理方法及物料管理装置
CN112581054B (zh) * 2020-12-09 2023-08-29 珠海格力电器股份有限公司 一种物料管理方法及物料管理装置
CN114035732A (zh) * 2021-11-04 2022-02-11 海南诺亦腾海洋科技研究院有限公司 一键控制vr头显设备虚拟体验内容的方法及装置
CN114972692A (zh) * 2022-05-12 2022-08-30 北京领为军融科技有限公司 基于ai识别和混合现实的目标定位方法
CN114972692B (zh) * 2022-05-12 2023-04-18 北京领为军融科技有限公司 基于ai识别和混合现实的目标定位方法
CN116744195A (zh) * 2023-08-10 2023-09-12 苏州清听声学科技有限公司 一种参量阵扬声器及其指向性偏转方法
CN116744195B (zh) * 2023-08-10 2023-10-31 苏州清听声学科技有限公司 一种参量阵扬声器及其指向性偏转方法

Also Published As

Publication number Publication date
EP3281058A1 (en) 2018-02-14
EP3281058A4 (en) 2018-04-11
KR20170026164A (ko) 2017-03-08
CN106484085A (zh) 2017-03-08
CN106484085B (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN106484085B (zh) 在头戴式显示器中显示真实物体的方法及其头戴式显示器
US20170061696A1 (en) Virtual reality display apparatus and display method thereof
US11810226B2 (en) Systems and methods for utilizing a living entity as a marker for augmented reality content
US11170580B2 (en) Information processing device, information processing method, and recording medium
US10474336B2 (en) Providing a user experience with virtual reality content and user-selected, real world objects
US10776618B2 (en) Mobile terminal and control method therefor
CN105259654B (zh) 眼镜式终端及其控制方法
US20180074332A1 (en) Systems and methods for transition between augmented reality and virtual reality
CN111052043A (zh) 使用现实界面控制外部设备
US20180288391A1 (en) Method for capturing virtual space and electronic device using the same
US20160314624A1 (en) Systems and methods for transition between augmented reality and virtual reality
CN106104650A (zh) 经由凝视检测进行远程设备控制
US11151796B2 (en) Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
US20140157206A1 (en) Mobile device providing 3d interface and gesture controlling method thereof
US20220011853A1 (en) Display control apparatus, display apparatus, display control method, and program
US11423627B2 (en) Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
CN107390863A (zh) 设备的控制方法及装置、电子设备、存储介质
KR20220018561A (ko) 사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들
US11195341B1 (en) Augmented reality eyewear with 3D costumes
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
KR20220018562A (ko) 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅
WO2015095507A1 (en) Location-based system for sharing augmented reality content
WO2023064719A1 (en) User interactions with remote devices
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
CN109448132B (zh) 显示控制方法及装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination