CN108421252B - 一种基于ar设备的游戏实现方法和ar设备 - Google Patents

一种基于ar设备的游戏实现方法和ar设备 Download PDF

Info

Publication number
CN108421252B
CN108421252B CN201710079357.7A CN201710079357A CN108421252B CN 108421252 B CN108421252 B CN 108421252B CN 201710079357 A CN201710079357 A CN 201710079357A CN 108421252 B CN108421252 B CN 108421252B
Authority
CN
China
Prior art keywords
user
virtual
game
display device
left eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710079357.7A
Other languages
English (en)
Other versions
CN108421252A (zh
Inventor
钟张翼
毛颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Rongmeng Intelligent Technology Co ltd
Original Assignee
Hangzhou Rongmeng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Rongmeng Intelligent Technology Co ltd filed Critical Hangzhou Rongmeng Intelligent Technology Co ltd
Priority to CN201710079357.7A priority Critical patent/CN108421252B/zh
Publication of CN108421252A publication Critical patent/CN108421252A/zh
Application granted granted Critical
Publication of CN108421252B publication Critical patent/CN108421252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/30—Miscellaneous game characteristics with a three-dimensional image
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)

Abstract

本申请涉及增强现实技术领域，尤其涉及一种基于AR设备的游戏实现方法和系统。该方法包括：接收的游戏内容；采集外部真实环境的真实图像；根据识别内容进行建模，构建虚拟环境；构建虚拟游戏物体，并且计算虚拟游戏物体的外部真实环境的投射位置；结合AR设备的姿态和位置，构建虚拟物体所对应的左眼图像和右眼图像；分别在AR设备的左眼显示设备和右眼显示设备上显示虚拟游戏物体对应的左眼图像和右眼图像，以使左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。本申请虚拟游戏物体与外部真实环境逻辑上融合，相比现有技术将数字信息和外界环境信息的简单叠加，更加真实。

Description

一种基于AR设备的游戏实现方法和AR设备
【技术领域】
本申请涉及增强现实技术领域，尤其涉及一种基于AR设备的游戏实现方法和AR设备。
【背景技术】
增强现实(augmented reality，AR)是近年来发展的一项新技术。增强现实的原理，是在通过头戴式显示器模拟虚拟视觉，叠加在用户正常的视觉上。
增强现实游戏是随着增强现实技术的发展而出现的一种新型的游戏形式。目前市面上宣传的增强游戏，是通过移动终端摄像头(比如手机摄像头)来摄取外界的图像，然后通过移动终端的处理，生成数字信息和外界图像在手机屏幕上显示，用户通过在移动终端触摸屏上的触摸和滑动来实现游戏。
本申请人在实现本申请的过程中，发现相关技术存在以下问题：数字信息和外界环境信息只是在移动终端屏幕上融合，不够真实，且数字信息和外界环境信息的融合往往只是简单的叠加，没有逻辑上真正的融合。
【发明内容】
本申请针对现有技术数字信息和外界环境信息在移动终端屏幕上融合不够真实，且数字信息和外界环境信息的融合往往只是简单的叠加，没有逻辑上真正的融合的技术问题，提供一种基于AR设备的游戏实现方法和AR设备，技术方案如下：
本申请实施例提供一种基于AR设备的游戏实现方法，包括：接收的游戏内容；
通过所述AR设备的摄像装置采集外部真实环境的真实图像；
根据所述真实图像，识别所述外部真实环境中所包含的真实物体，并且识别所述真实物体的位置；
根据所述识别到的真实物体和真实物体的位置进行建模，构建虚拟环境；
根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置；
根据所述虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述虚拟物体所对应的左眼图像和右眼图像；
分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。
可选地，所述方法还包括：
接收操作所述AR游戏的操作指令；
根据所述操作指令，调整所述游戏内容；
根据调整之后的所述游戏内容，调整在所述虚拟环境中的虚拟游戏物体，并且计算所述调整之后的虚拟游戏物体的外部真实环境的投射位置；
根据所述调整之后的虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述调整之后的虚拟物体所对应的左眼图像和右眼图像；
分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述调整之后的虚拟物体对应的左眼图像和右眼图像，以调整AR游戏。
可选地，
所述操作指令是根据识别到所述用户的操作动作生成的。
可选地，
所述操作指令是根据识别到所述用户的语音控制命令生成的。
可选地，
所述操作指令是根据识别到的用户的表情或者追踪到所述用户的人眼视线的焦点生成。
本申请实施例还提供
一种AR设备，包括：头戴框架11、摄像装置、处理器、显示设备和两个透视型导光元件，其中，所述显示设备包括左眼显示设备和右眼显示设备，所述左眼显示设备、右眼显示设备和两个透视型导光元件均固定头戴框架11，并且所述处理器分别与所述摄像装置和显示设备连接，所述头戴框架11用于佩戴在用户的头部，每一所述透视型导光元件具有一凹面，所述凹面朝向用户的双眼设置；
所述摄像装置用于采集外部真实环境的真实图像；
所述处理器用于接收游戏内容，所述处理器用于根据所述真实图像，识别所述外部真实环境中所包含的真实物体，并且识别所述真实物体的位置；
所述处理器还用于根据所述识别到的真实物体和真实物体的位置进行建模，构建虚拟环境；
所述处理器还用于根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置；
所述处理器还用于根据所述虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述虚拟物体所对应的左眼图像和右眼图像，并且分别在所述左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使经由一所述透视型导光元件的凹面反射的左眼图像的光线和外部真实环境的光线合成进入用户的左眼，以及经由另一所述透视型导光元件的凹面反射的右眼图像的光线和外部真实环境的光线合成进入用户的右眼，形成AR游戏。
可选地，所述处理器还用于：
接收操作所述AR游戏的操作指令；
根据所述操作指令，调整所述游戏内容；
根据调整之后的所述游戏内容，调整在所述虚拟环境中的虚拟游戏物体，并且计算所述调整之后的虚拟游戏物体的外部真实环境的投射位置；
根据所述调整之后的虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述调整之后的虚拟物体所对应的左眼图像和右眼图像，并且分别在所述左眼显示设备和右眼显示设备上显示所述调整之后的虚拟游戏物体对应的左眼图像和右眼图像，以调整AR游戏。
可选地，所述操作指令是根据识别到所述用户的操作动作生成的。
可选地，所述操作指令是根据识别到所述用户的语音控制命令生成的。
可选地，所述操作指令是根据识别到的用户的表情或者追踪到所述用户的人眼视线的焦点生成。
可选地，所述基于AR设备与外接设备相连时，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的显示设备进行交互。
本申请实施例的有益效果在于，本申请实施例提供的基于AR设备的游戏实现方法包括：接收的游戏内容；采集外部真实环境的真实图像及识别所述外部真实环境中所包含的真实物体及其位置；根据所述识别内容进行建模，构建虚拟环境；根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置；根据所述虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述虚拟物体所对应的左眼图像和右眼图像；分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。本申请实施例的基于AR设备的游戏实现方法，分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏，虚拟游戏物体与外部真实环境逻辑上融合，相比现有技术将数字信息和外界环境信息的简单叠加，更加真实。
【附图说明】
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本申请实施例提供的一种AR设备的头戴式显示器的应用原理示意图；
图2为本申请实施例提供的一种基于AR设备的使用情景示意图；
图3为本申请另一实施例提供的一种基于AR设备的使用情景示意图；
图4为本申请又一实施例提供的一种基于AR设备的使用情景示意图；
图5为本申请实施例提供的一种基于AR设备的游戏实现方法的流程图；
图6为本申请另一实施例提供的一种基于AR设备的游戏实现方法的流程图；
图7为本申请又一实施例提供的一种基于AR设备的使用情景示意图；
图8为本申请再一实施例提供的一种基于AR设备的使用情景示意图；
图9是本申请实施例提供的一种AR设备的结构示意图；
图10为本申请实施例提供的一种基于AR设备的游戏实现装置的结构框图；
图11为本申请另一实施例提供的一种基于AR设备的游戏实现装置的结构框图；
图12是本申请另一实施例提供的一种AR设备的结构示意图；
图13是本申请又一实施例提供的一种AR设备的结构框图；
图14是本发明实施例提供的一种AR设备的头戴式显示器的应用原理示意图；
图15a是图14中所示设有遮光层的透视型导光元件的结构示意图；
图15b是本发明实施例提供的一种AR设备的头戴式显示器的结构示意图；
图15c是显示设备中显示屏一实施例的结构示意图；
图15d是显示设备中显示屏又一实施例的结构示意图；
图15e是显示设备中显示屏又一实施例的结构示意图；
图15f是显示设备中显示屏又一实施例的结构示意图；
图16是用于介绍凹面的面型凹陷值所作出的透视型导光元件的剖视图；
图17是用于介绍面型凹陷值所作出的透视型导光元件的俯视图；
图18是用于介绍凸面的面型凹陷值所作出的透视型导光元件的剖视图；
图19是图14中所示AR设备的头戴式显示器中部分结构的摆放角度、光线反射示意图；
图20a是本发明实施例一提供的一种AR设备的结构示意图；
图20b是图20a所示的透视型导光元件设置在头戴框架上时的示意图；
图20c是图20a所示的显示模块的侧视角度与显示亮度之间的第一关系图；
图20d是图20a所示的显示模块的侧视角度与显示亮度之间的第二关系图；
图20e是图20a所示的显示模块的侧视角度与显示亮度之间的第三关系图；
图21a是佩戴图20a所示的AR设备时显示模块与用户脸部的位置关系示意图；
图21b是旋转图20a所示的显示模块的示意图；
图22是图20a所示的AR设备设置屈光度矫正镜片时的示意图；
图23是图20a所示的AR设备对角线视场区域与头部框架的最远端到用户头部最前端的距离关系的示意图；
图24是图20a所示的AR设备连接外接设备工作时的示意图；
图25是本发明实施例二提供的一种AR设备的结构示意图；
图26是图25所示的AR设备连接外接设备工作时的示意图；
图27是图25所示的AR设备连接外接设备工作时的又一示意图；
图28是图25所示的AR设备工作时的示意图。
【具体实施方式】
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
此外，下面所描述的本申请各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
本发明实施例提供的一种AR设备80，所述AR设备80的总重量小于350克，请参照图20a，其包括：头戴框架11、两个显示设备12、两个透视型导光元件13。其中，透视型导光元件13是一种部分透射、部分反射的光学合成装置。
所述显示设备12及透视型导光元件13皆设置在头戴框架11上，头戴框架11将显示设备12及透视型导光元件13进行固定。显示设备12设置在透视型导光元件13的上侧，显示设备12发出的光线能够经过透视型导光元件13后发生反射。可选地，所述显示设备12还可位于所述透视型导光元件13的侧方。
所述AR设备80还包括：主板17，主板17设置在头戴框架11上，且位于二显示设备12之间。所述主板17上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示设备12上。
如图9所示，本申请实施例提供的AR设备80包括头戴式显示器101，头戴式显示器101包括：头戴框架11、显示设备12、两个透视型导光元件13。其中，透视型导光元件13是一种部分透射、部分反射的光学合成器。在一些实施例中，AR设备80还包括运动传感器，如一个或多个陀螺仪，加速度计和磁场计等。AR设备80还可以进一步包括游戏手柄和游戏脚踏。
本申请实施例中，头戴框架11用于佩戴在用户的头部，每一透视型导光元件13具有一凹面，凹面朝向用户的双眼设置。如图1所示，经由一透视型导光元件13的凹面反射的第一光线进入用户的左眼，以及经由另一透视型导光元件13的凹面反射的第二光线用户的右眼，以在用户的头脑中形成虚拟物体所对应的左眼图像和右眼图像。其中，第一光线是由显示设备12发射的，且第一光线包含虚拟物体所对应的左眼图像，也可以说第一光线包含左眼虚拟图像信息，第二光线是由显示设备12发射的，且第二光线包含虚拟物体所对应的右眼图像，也可以说第二光线包含右眼虚拟图像信息。显示设备12发射出第一光线和第二光线，相当于显示设备12用于在其上显示所述虚拟游戏物体对应的左眼图像和右眼图像。显示设备12包括左眼显示设备1011和右眼显示设备1012，第一光线是由左眼显示设备1011发射的，且第一光线包含虚拟物体所对应的左眼图像，第二光线是由右眼显示设备1012发射的，且第二光线包含虚拟物体所对应的右眼图像。显示设备12发射出第一光线和第二光线，相当于左眼显示设备1011和右眼显示设备1012用于分别在其上显示所述虚拟游戏物体对应的左眼图像和右眼图像。
参阅图20b，两个透视型导光元件13设置在头戴框架11上，分别独立地嵌入到头戴框架11上。可选地，可在制作透视型导光元件的原材料上设置两个对应于用户左右眼的区域，所述区域的形状大小与上述的独立设置时的每一透视型导光元件13的形状大小相同；最终的效果为一块大的透视型导光元件上设置有两个对应于用户左右眼的区域。可以理解为在一块大的透视型导光元件的原材料上加工出两个与独立设置时的透视型导光元件13的形状大小相同的区域，即两个透视型导光元件13一体成型。所述设置有对应于用户左右眼区域的透视型导光元件嵌入到头戴框架11上。需要说明的是，显示设备12可拆卸安装于头戴框架11上，比如，显示设备12为手机、平板电脑等智能显示终端；或者，显示设备12固定安装于头戴框架11上，比如，显示设备12与头戴框架11集成设计。
在本申请实施例中，当头戴式显示器101实现增强现实的功能，每一透视型导光元件13还具有一与凹面相背设置的凸面；经由透视型导光元件13的凸面和凹面透射的包含外界图像信息的第三光线进入用户的双眼，以形成混合虚拟环境和外部真实环境的视觉。请参阅图14，一透视型导光元件13还具有与凹面131相背设置的凸面132，经由透视型导光元件13透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第三光线151进入用户的左眼14，同理，另一透视型导光元件13还具有与其凹面相背设置的凸面，经由该透视型导光元件13的凸面和凹面透射的包含外界图像信息的第三光线进入用户的右眼，用户能够看到外部真实环境，从而形成混合虚拟环境和外部真实环境的视觉感受。相对于现有技术通过移动终端屏幕的触摸和滑动来实现外界真实环境与数字信息的在移动终端屏幕的叠加的方式，在游戏进行的过程中，用户只是集中与移动终端屏幕的狭小区域，会忽视了周围的真实环境，容易有安全的隐患，比如看不到旁边行驶的汽车等。本申请实施例的头戴式显示器101的透视型导光元件13透视型导光元件13的凸面132和凹面131可以透射的包含外界图像信息的第三光线，更容易注意到外部真实环境是否存在安全隐患。
如图1所示，头戴式显示器101包括左右双眼各自的光学合成器(左眼光学合成器1013和右眼光学合成器1014)，具体地，光学合成器为透视型导光元件13，左眼光学合成器1013和右眼光学合成器1014分别一一对应地位于用户的左眼前方和右眼前方，和各自的显示设备12(左眼显示设备1011和右眼显示设备1012)。显示设备12发射的光线和外界光线，通过光学合成器以后，共同进入人眼，在人眼内融合，实现增强现实的功能。头戴框架11上可以安装两个显示设备左眼显示设备1011和右眼显示设备1012，用户的左眼和右眼分别对应地设置左眼显示设备1011和右眼显示设备1012，例如，左眼显示设备1011用于发射包含左眼虚拟图像信息的第一光线，右眼显示设备1012用于发射包含右眼虚拟图像信息的第二光线。左眼显示设备1011和右眼显示设备1012可以分别一一对应地位于两个透视型导光元件13的上方，当头戴式显示器101佩戴在用户的头部时，左眼显示设备1011和右眼显示设备1012分别一一对应地位于用户的左眼和右眼的上方；显示设备12也可以位于透视型导光元件13的侧方，即两个透视型导光元件13位于两个显示设备12之间，当头戴式显示器101佩戴在用户的头部时，两个显示设备12分别一一对应地位于用户的左眼和右眼的侧方。
头戴框架11上也可以安装单个显示设备12，该单个显示设备12上有两个显示区域，一个显示区域用于发射包含左眼虚拟图像信息的第一光线，另一个显示区域用于发射包含右眼虚拟图像信息的第二光线。
显示设备12包括但不限于LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)、LCOS(Liquid Crystal On Silicon，硅基液晶)等类型的显示器。
参阅图20c，图中的横向轴标识侧视角度，纵向轴表示显示亮度。显示设备12为LCD时，显示设备12的亮度是随着观察者的角度来变化的。对于普通LCD，在显示亮度为50％时的侧观察角度θ一般都比较大。
LCD应用于对于AR设备时，则比较适用于小的侧观察角度，这样的显示设备12的亮度就会集中在靠近中心的角度区域。因为AR设备主要使用靠近中心的角度区域，这样的话投影到用户眼中的第一光线及第二光线的亮度会比较高。参阅图20d，应用于AR设备中的LCD发出的第一光线及第二光线的亮度在显示亮度为50％时的侧观察角度θ一般都比较小。并且，应用于AR设备中的LCD发出的第一光线及第二光线的亮度的分布关于0度侧视角左右对称，且侧视角度小于60度。即是，用户视角垂直于显示设备12时，显示设备12发出的第一光线及第二光线的亮度的显示亮度为最大，用户视角向两侧偏移时，显示亮度逐渐减小，在侧视角小于60度时，显示亮度为0。
可选地，参阅图20e，应用于AR设备的LCD的发出的第一光线及第二光线的亮度的亮度分布可不关于0度侧视角对称，且显示亮度最亮时的侧视角度不为0度。
参阅图21a，两个显示设备12分别一一对应地位于两个透视型导光元件13的上方，用户佩戴上所述AR设备80时，显示设备12与用户头部的正平面形成一夹角a，所述夹角a的角度为0度至180度，优选为钝角。同时，显示设备12在水平面上的投影与正平面垂直。
参阅图21b，在某些实例中，透视型导光元件13的位置可以绕与水平面垂直的某一转轴旋转一定角度b，所述角度b的角度为0度至180度，优选为0度至90度。同时，对应左眼和右眼的透视型导光元件13可以通过头戴框架11上的机械结构调整间距，以适应不同用户的瞳距，保证使用时的舒适度和成像质量。所述两个透视型导光元件13的边缘之间的最远距离小于150毫米，即对应于左眼设置的透视型导光元件13的左边缘到对应于右眼设置的透视型导光元件13的右边缘的距离小于150毫米。相应的，显示设备12之间通过机械结构连接，所述显示设备12之间的距离也可以进行调整，或者通过调整显示内容在显示设备12上的位置达到同样的效果。
头戴框架11可以是用于挂在用户耳部和鼻梁部的眼镜式的框架结构，其上设置有鼻托111和镜腿112，通过鼻托111与镜腿112固定在用户的头部，所述镜腿112为可折叠结构，其中鼻托111对应固定在用户的鼻梁上，镜腿112对应固定在用户的耳朵上。进一步的，眼镜腿112之间还可以通过松紧带相连，佩戴时松紧带收紧眼镜腿，帮助框架在头部的固定。
可选地，鼻托111和镜腿112为可伸缩机构，可分别调整鼻托111的高度和镜腿112的伸缩长度。同样，鼻托111和镜腿112还可以为可拆卸结构，拆卸后可对鼻托111或者镜腿112进行更换。
可选地，头戴框架11可包括鼻托和伸缩皮筋，通过鼻托与伸缩皮筋固定在用户头部；或者仅包括伸缩皮筋，通过所述伸缩皮筋固定在用户头部。可选地，头戴框架11也可以是用于佩戴在用户头顶和鼻梁部的头盔式框架结构。本发明实施例中，由于头戴框架11的主要作用是用来佩戴在用户的头部以及为显示设备12、透视型导光元件13等光、电元器件提供支撑。
本申请实施例中，由于头戴框架11的主要作用是用来佩戴在用户的头部以及为显示设备12、透视型导光元件13等光、电元器件提供支撑，头戴框架11包括但不限于上述方式，在具备上述主要作用的前提下，本领域技术人员能够根据实际应用的需要对头戴框架11做出若干变形。
请参阅图22，可选地，在人眼与透视型导光元件13之间设置一屈光度矫正镜片16，所述屈光度矫正镜片16垂直于水平面设置。可选地，所述屈光度矫正镜片所在平面也可与水平面成30度到90度的夹角。可选地，可任意设置不同度数的屈光度矫正镜片。显示设备12发射包含左眼虚拟图像信息的第一光线121，经由透视型导光元件13的凹面131反射的第一光线121以及经由透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第三光线151进入用户的左眼14之前，先经过屈光度矫正镜片16。所述屈光度矫正镜片16为凹透镜，使经过其上的第一光线121以及第三光线151发散，使第一光线121以及第三光线151在左眼14上的焦点后移。同样，所述屈光度矫正镜片16还可为凸透镜，使经过其上的第一光线121以及第三光线151汇聚，使第一光线121以及第三光线151在左眼14上的焦点前移。
同理，显示设备12发射包含右眼虚拟图像信息的第二光线，经由另一透视型导光元件的凹面反射的第二光线以及经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第三光线进入用户的右眼之前，也先经过一屈光度矫正镜片。
参阅图23，AR设备80佩戴在用户头部上后，以用户的眼球为顶点，用户的眼球到通过所述透视型导光元件13看到的虚拟图像的虚拟显示区域的两侧边缘构成对角线视场区域。头部框架的最远端到与头部最前端接触位置的距离为c，可根据需要调节所述c的距离长度。所述对角线视场区域的角度大小与所述头戴框架11的最远端到与头部最前端接触位置的距离成反比。优选地，在保证对角线视场区域大于55度的前提下，头部框架的最远端到与头部最前端接触位置的距离小于80mm。
参阅图24，二显示设备12通过电缆连接到主板17上。
主板17上还设置有视频接口以及电源接口。
所述视频接口用于连接计算机、手机、或其他设备接收视频信号。其中所述视频接口可以为：hmdi、display port、thunderbolt或usb type-c，micro usb,MHL(Mobile High-Definition Link)等接口。
所述处理器801，用于解码视频信号传输并显示在显示设备12上。
电源接口，用于外接电源或电池供电。所述电源接口包括USB接口或者其他接口。
当AR设备80仅包括如上所述的头戴框架11、二显示设备12、两个透视型导光元件13及主板17时，所有的3D虚拟场景渲染、对应双眼的图像生成均在与增强现实显示设备12相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。
具体的，AR设备80通过视频接口接收外接设备的视频信号，解码后在显示设备12上显示。同时，与用户的交互通过计算机、手机、平板电脑等外接设备上的应用软件进行，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述AR设备进行交互。这种基本结构的应用实例包括但不限于大屏幕便携显示器。AR设备80可以将显示屏幕投射在用户视野内的某一固定位置。用户需要通过与AR设备80相连的设备上的软件进行调整投射屏幕的尺寸、位置等操作。
本发明实施例提供的一种AR设备80，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息的第一光线和包含右眼虚拟图像信息的第二光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。
下面结合具体附图对本发明实施例作具体阐述。
图14是本发明实施例提供的一种AR设备的头戴式显示器的应用原理示意图。
显示设备12发射包含左眼虚拟图像信息的第一光线121，经由一透视型导光元件13透视型导光元件13的凹面131反射的第一光线121进入用户的左眼14；同理，显示设备12发射包含右眼虚拟图像信息的第二光线，经由另一透视型导光元件13的凹面反射的第二光线进入用户的右眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，另外，不同于谷歌眼镜中通过在用户的右眼前直接设置一块小型显示屏的方式，导致视觉区域较小，本发明实施例中，通过两个透视型导光元件13反射更多的显示设备12发射的第一光线和第二光线分别进入用户的双眼，视觉区域较大。
在本发明实施例中，当头戴式显示器实现增强现实的功能，每一透视型导光元件13还具有一与凹面相背设置的凸面；经由透视型导光元件13的凸面和凹面透射的包含外界图像信息的第三光线进入用户的双眼，以形成混合3D虚拟场景和真实场景的视觉。再次参阅图14，一透视型导光元件13透视型导光元件13还具有与凹面131相背设置的凸面132，经由透视型导光元件13透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第三光线151进入用户的左眼14，同理，另一透视型导光元件13还具有与其凹面相背设置的凸面，经由该透视型导光元件13的凸面和凹面透射的包含外界图像信息的第三光线进入用户的右眼，用户能够看到外界的真实场景(外界真实环境)，从而形成混合3D虚拟场景(虚拟环境)和真实场景(外界真实环境)的视觉感受。
在本发明实施例中，当头戴式显示器实现虚拟现实的功能，每一透视型导光元件13的与凹面相背设置的另一表面包括但不限于凸面形状，为了阻挡包含外界图像信息的第三光线进入用户的双眼，即避免用户看到外界的真实场景，如图15a所示，可以在透视型导光元件13透视型导光元件13的与凹面131相背设置的另一表面上镀有或者粘贴有遮光层16a；如图15b所示，也可以在头戴框架11上设置用于阻挡包含外界图像信息的第三光线进入用户的双眼的遮光罩171，仅使得显示设备12发射的包含左眼虚拟图像信息的第一光线以及包含右眼虚拟图像信息的第二光线进入用户的双眼，在用户的大脑中形成3D虚拟场景的视觉感受，实现虚拟现实的功能。
在本发明实施例中，显示设备12包括显示屏，如图15c所示，所述显示屏可以是面型为球面的显示屏18，该显示屏18的球面的曲率半径为正，即显示屏18的发光表面181为凸面；如图15d所示，所述显示屏可以是面型为球面的显示屏19，该显示屏19的球面的曲率半径为负，即显示屏19的发光表面191为凹面；如图15e所示，所述显示屏也可以是面型为柱面的显示屏20，该显示屏20的柱面的曲率半径为正，即显示屏20的发光表面201a为外凸的柱面；如图15f所示，所述显示屏也可以是面型为柱面的显示屏29，该显示屏29的柱面的曲率半径为负，即显示屏29的发光表面291为内凹的柱面。
为了实现加载在显示设备12发射的第一光线和第二光线中的左眼虚拟图像信息和右眼虚拟图像信息高质量地呈现在用户的双眼视网膜上，两个透视型导光元件13的凹面需要能够平衡用户的双眼自带的像差、透视型导光元件13倾斜拜访所带来的像差等，基于此，根据四种特殊函数来设计透视型导光元件13的凹面，说明如下。
如图16所示，在光学概念中，面型凹陷值是指光学元件表面的不同区域在Z轴方向上距离光学元件表面的中心点O的距离。本发明实施例中，光学元件是指透视型导光元件13，光学元件表面是指透视型导光元件13的凹面，透视型导光元件13的凹面的面型凹陷值是sag(x,y)，如图17所示，透视型导光元件13的凹面在XY坐标面上的投影点坐标是(x,y)。
一、透视型导光元件13的凹面根据如下幂级数多项式函数设计：
其中，c是所述凹面和/或凸面的基本曲率，k是所述凹面和/或凸面的基本圆锥系数，N是多项式的数量，是第i阶多项式的系数，是标准的两个变量(x,y)的二元幂级数多项式。
二、透视型导光元件13的凹面根据如下Chebyshev多项式函数设计：
其中，c是所述凹面和/或凸面的基本曲率,N是x方向多项式的数量，M是y方向多项式的数量,是第ij阶多项式分部总和的系数，是将x坐标和y坐标重新定义到[-1,1]区间以后的标准化坐标；
其中，是x绝对值中的最大值，是y绝对值中的最大值。
三、透视型导光元件13的凹面根据如下标准Zernike多项式函数设计：
其中，c是所述凹面和/或凸面的基本曲率，k是所述凹面和/或凸面的基本圆锥系数,是第i阶非球面变量的系数，N是标准Zernike多项式的数量，ρ和φ分别是x坐标和y坐标相对应的极坐标，ρ的区间范围是[0，1],φ的区间范围是[0，2π]。是第i阶标准Zernike多项式。
四、透视型导光元件13的凹面根据如下Anamorphic函数设计：
其中，是所述凹面和/或凸面在x方向的基本曲率，是所述凹面和/或凸面在x方向的基本圆锥系数,是所述凹面和/或凸面在y方向的基本曲率，是所述凹面和/或凸面在y方向的基本圆锥系数,是轴向对称的第4高阶系数，是轴向不对称的第4高阶系数，是轴向对称的第6高阶系数，是轴向不对称的第6高阶系数，是轴向对称的第8高阶系数，是轴向不对称的第8高阶系数，是轴向对称的第10高阶系数，是轴向不对称的第10高阶系数。
如图18所示，在上述光学概念中，光学元件是指透视型导光元件13，光学元件表面是指透视型导光元件13的凸面，透视型导光元件13的凸面的面型凹陷值是sag(x,y)，如图17所示，透视型导光元件13的凸面在XY坐标面上的投影点坐标是(x,y)，为了保证包含外界图像信息的第三光线进入用户的双眼时，减少受到的干扰，根据上述幂级数多项式函数、Chebyshev多项式函数、标准Zernike多项式函数、Anamorphic函数中任一一种函数来设计透视型导光元件13的凸面。
在头戴式显示器实现增强现实的实际应用中，为了增加透视型导光元件13的凹面对显示设备12发射的第一光线和第二光线的反射率，例如，透视型导光元件13的凹面镀有反射膜，较佳的，镀有反射膜的透视型导光元件13的凹面的反射率是20％-80％。又如，若第一光线和第二光线是线偏振光，为了增加透视型导光元件13的凹面的反射率，透视型导光元件13的凹面镀有偏振反射膜，偏振反射膜的偏振方向与第一光线和第二光线的偏振方向之间的角度大于70°且小于等于90°，比如：偏振反射膜的偏振方向与第一光线和第二光线的偏振方向垂直，实现近乎为100％的反射率，另外，由于包含外界图像信息的第三光线是非偏振光，若透视型导光元件13的凹面镀有偏振反射膜，当第三光线经由该偏振反射膜时，有近乎50％的第三光线进入用户的双眼，用户仍然能够看到外界的真实场景。为了更好地让包含外界图像信息的第三光线进入用户的双眼，透视型导光元件13的凸面镀有增透膜。
在头戴式显示器的实际应用中，为了实现透视型导光元件13的凹面对显示设备12发射的第一光线和第二光线的反射率的可控调节，透视型导光元件13的凹面设有压敏反射膜，通过改变加载在压敏反射膜上的电压大小，能够调节压敏反射膜的反射率位于0至100％之间，当压敏反射膜的反射率为100％时，头戴式显示器可以实现虚拟现实的功能。
为了实现透视型导光元件13的与凹面相背设置的另一表面对包含外界图像信息的第三光线的透光率的可控调节，透视型导光元件13的与凹面相背设置的另一表面上设有压敏黑片，通过改变加载在压敏黑片上的电压大小，能够调节压敏黑片透光率的高低。
由于人眼的生理视场中，不同区域的重要程度不同，为了能够将经由透视型导光元件13的凹面反射的第一光线和第二光线进入人眼的生理视场的重要区域，较佳的，如图19所示，显示设备12相对于水平方向的摆放角度一是5°至70°之间的任一角度；第一光线中进入用户的左眼14视场上沿的反射光线521与入射光线522的角度二小于90°；第一光线中进入用户的左眼14视场下沿的反射光线531与入射光线532的角度三大于35°；第一光线中进入用户的左眼14视场上沿和视场下沿之间的反射光线与入射光线的角度在35°至90°之间。需要说明的是，本领域的技术人员能够根据实际应用的需要，通过调整显示设备12相对于水平方向的摆放角度一以及透视型导光元件13的摆放角度来调节角度二和角度三，以达到最佳效果，提高左眼虚拟图像信息和右眼虚拟图像信息的有效利用率，提升用户体验。
本发明实施例提供的一种头戴式显示器，通过两个透视型导光元件13的凹面更多地将包含左眼虚拟图像信息的第一光线和包含右眼虚拟图像信息的第二光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。
实施例二
参阅图25，在实施例一中提供的一种AR设备80的基础上，设置多个传感器进行对周边环境进行感知。
本实施例提供的一种AR设备80，所述AR设备80的总重量小于350克，其包括：头戴框架21、二显示设备22、两个透视型导光元件23及主板24。
所述显示设备22、透视型导光元件23及主板24皆设置在头戴框架21上，头戴框架21将显示设备22、透视型导光元件23及主板24进行固定。显示设备22设置在透视型导光元件23的上侧，显示设备22发出的光线能够经过透视型导光元件23后发生反射。主板24，主板24位于二显示设备22之间，所述主板24上设置有处理器801，所述处理器801用于处理虚拟图像信号并将虚拟图像信息显示在显示设备22上。
头戴框架21、二显示设备22、两个透视型导光元件23、主板24与实施例一中所述的头戴框架11、二显示设备12、两个透视型导光元件13、主板17的具体功能、结构及位置关系相同，在此不进行赘述。
同样，在人眼与透视型导光元件23之间设置一屈光度矫正镜片，所述屈光度矫正镜片垂直于水平面设置。可选地，可任意设置不同度数的屈光度矫正镜片。
头戴框架21上还设置有单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219。
单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219皆电连接在主板24上。
具体的，所述单目摄像头211为彩色单目摄像头，放置于头戴框架21的前部。用户佩戴所述AR设备80时，单目摄像头211朝向相对于用户脸部的另一侧，可以使用该摄像头进行拍照。进一步的，还可以对使用该摄像头，运用计算机视觉技术检测环境中的位置已知的标记，帮助所述AR设备80进行定位。
所述单目摄像头211还可以为高分辨率的摄像头，用于拍照或者拍摄视频；拍摄所获得的视频还可以通过软件叠加用户所见的虚拟物体，复现用户通过AR设备80看到的内容。
所述双目/多目摄像头212可以是单色或彩色的摄像头，其设置在头戴框架21前部或侧面，且位于单目摄像头211的一侧、两侧或者四周。进一步的，所述双目/多目摄像头212可以带有红外滤光片。使用双目摄像头，可以在获得环境图像的基础上，进一步得到图像上的景深信息。使用多目摄像头，则可以进一步扩展相机的视角，获得更多的环境图像与景深信息。双/多目摄像头212捕获的环境图像和距离信息可被用于:(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算AR设备80的姿态。(2)捕获用户手势、掌纹等用于人机交互。
可选地，上述的单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。
所述眼球追踪摄像头213，设置在透视型导光元件23的一侧，用户佩戴所述AR设备80时，眼球追踪摄像头213朝向相对于用户脸部的一侧。所述眼球追踪摄像头213用于跟踪人眼焦点，对人眼所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理。比如，在人眼所注视的物件旁边自动显示此物件的具体信息等。另外对人眼注视的区域可以显示高清晰度的虚拟物件图像，而对其他区域则只显示低清晰度图像即可，这样可以有效减少图像渲染的计算量，而不会影响用户体验。
陀螺仪214、加速度计215、磁场计216设置在二显示设备22之间。可以通过融合陀螺仪214、加速度计215和磁场计216的数据，得到用户头部与系统初始位置间相对姿态。这些传感器的原始数据可以进一步和双目/多目摄像头212的数据进行融合，得到AR设备80在固定环境中的位置和姿态。
所述景深传感器217设置在头戴框架21的前部，可以直接获得环境中的景深信息。与双/多目摄像头212相比，景深传感器可以获得更准确、分辨率更高的景深数据。类似的，使用这些数据可以：(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算AR设备80的姿态。(2)捕获用户手势、掌纹等用与人机交互。(3)检测用户周围物体的三维信息。
所述环境光传感器218设置在头戴框架21上，可以实时监控环境光线的强弱。AR设备80根据环境光的变化实时的调整显示设备22的亮度，以保证显示效果在不同环境光下的一致性。
所述距离传感器219设置在AR设备80与用户面部接触的位置，用于检测AR设备80是否佩戴在用户头部。若用户摘下了AR设备80，则可以通过关闭显示设备22、处理器801等方式节电。
可选地，所述AR设备80还包括：红外/近红外光LED，所述红外/近红外光LED电连接在主板24上，所述红外/近红外光LED用于为双目/多目摄像头212提供光源。具体为，所述红外/近红外LED发出红外线，在红外线到达通过双目/多目摄像头212获取的物体时，所述物体将红外线反射回去，双目/多目摄像头212上的感光元件接收反射回来的红外线并转换成电信号，接着在进行成像处理。
所述AR设备80在进行人机交互时，可进行的操作包括如下：
(1)AR设备80可以将显示屏幕投射在用户视野内的某一固定位置。用户可通过AR设备80上的传感器进行调整投射屏幕的尺寸、位置等操作。
(2)可以通过各类传感器进行手势、掌纹识别，用于人机交互。
(3)可以通过眼球追踪判断用户的意图，对人眼所观察虚拟物件或虚拟屏幕中的特定部位进行相应处理。
(4)还可以在支架上增加实体或触摸按钮、摇杆等，用于人机交互。
(5)可以配有遥控器，遥控器上有按钮、摇杆、触控板等，通过有线或无线的方式与AR设备80相连，作为人机交互界面。
(6)可以通过在主板上增加音频解码和功率放大芯片，集成耳塞插孔、耳塞、或喇叭等发生设备与麦克风，允许用户使用语音与AR设备80进行交互。
参阅图26，主板上设置有视频接口和处理器801。
当AR设备80包括如上所述的头戴框架21、二显示设备22、两个透视型导光元件23、主板24以及如上所述的多个传感器时，所有的3D虚拟场景渲染、对应双眼的图像生成以及多个传感器获取的数据的处理均可在与增强现实显示设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。
具体的，AR设备80通过视频接口接收外接设备的视频信号，解码后在显示设备22上显示。外接设备接收AR设备80上的多个传感器获取的数据，进行处理后根据数据对双眼显示的图像进行调整，在显示设备22上显示的图像上进行体现。AR设备80上的处理器801仅用于支持视频信号的传输与显示以及传感器数据的传递。
参阅图27，主板上设置有运算能力较强的处理器801，将部分或全部计算机视觉算法在AR设备80内完成。
具体的，AR设备80通过视频接口接收外接设备的视频信号，解码后在显示设备22上显示。外接设备接收AR设备80上的部分传感器获取的数据，进行处理后根据传感器数据对双眼显示的图像进行调整，在显示设备22上显示的图像上进行体现。其余传感器获取的数据则在AR设备80上处理。例如，单目摄像头211、双目/多目摄像头212、陀螺仪214、加速度计215、磁场计216及景深传感器217获取的数据在AR设备80中处理。眼球追踪摄像头213、环境光传感器218及距离传感器219获取的数据在外接设备中处理。AR设备80上的处理器801用于支持视频信号的传输与显示、部分传感器数据的处理以及其余传感器数据的传递。
参阅图28，主板上设置有高性能的处理器801以及图像处理器，在AR设备80内完成所有的运算。在这种模式下，增强现实显示无需连接外接设备，可作为一个独立的系统运行。
具体的，AR设备80将传感器获取的数据进行处理后,对双眼显示的图像进行调整,渲染后在显示设备22上显示。AR设备80上的处理器801用于视频信号的解码处理与显示以及传感器数据的处理。
在实施例一及实施例二中所述的AR设备80实现增强现实的实际应用中，为了增加透视型导光元件的凹面对显示设备发射的第一光线和第二光线的反射率，例如，透视型导光元件的凹面镀有反射膜，较佳的，镀有反射膜的透视型导光元件的凹面的反射率是20％-80％。又如，若第一光线和第二光线是线偏振光，为了增加透视型导光元件的凹面的反射率，透视型导光元件的凹面镀有偏振反射膜，偏振反射膜的偏振方向与第一光线和第二光线的偏振方向之间的角度大于70°且小于等于90°，比如：偏振反射膜的偏振方向与第一光线和第二光线的偏振方向垂直，实现近乎为100％的反射率，另外，由于包含外界图像信息的第三光线是非偏振光，若透视型导光元件的凹面镀有偏振反射膜，当第三光线经由该偏振反射膜时，有近乎50％的第三光线进入用户的双眼，用户仍然能够看到外界的真实场景。为了更好地让包含外界图像信息的第三光线进入用户的双眼，透视型导光元件的凸面镀有增透膜。
在实施例一及实施例二中所述的AR设备80的实际应用中，为了实现透视型导光元件的凹面对显示设备发射的第一光线和第二光线的反射率的可控调节，透视型导光元件的凹面设有压敏反射膜，通过改变加载在压敏反射膜上的电压大小，能够调节压敏反射膜的反射率位于0至100％之间，当压敏反射膜的反射率为100％时，AR设备80可以实现虚拟现实的功能。
为了实现透视型导光元件的与凹面相背设置的另一表面对包含外界图像信息的第三光线的透光率的可控调节，透视型导光元件的与凹面相背设置的另一表面上设有压敏黑片，通过改变加载在压敏黑片上的电压大小，能够调节压敏黑片透光率的高低。
本发明实施例提供的一种AR设备80，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息的第一光线和包含右眼虚拟图像信息的第二光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。同时在AR设备80上设置多个传感器，传感器感知周边的环境后，可将感知的结果在显示设备中显示的图像中进行体现，使得临场感受更好，用户体验更佳。
实施例三
进一步的，如图9和图13所示AR设备80除了包括头戴框架11、显示设备12和两个透视型导光元件13之外，还可以包括摄像装置108和处理器801。其中，所述显示设备12包括左眼显示设备1011和右眼显示设备1012，所述左眼显示设备1011、右眼显示设备1012和两个透视型导光元件13均固定头戴框架11，并且所述处理器801分别与所述摄像装置108和显示设备12连接，所述头戴框架11用于佩戴在用户的头部，每一所述透视型导光元件13具有如图14所示的一凹面131，所述凹面131朝向用户的双眼设置；
所述摄像装置108用于采集外部真实环境的真实图像；
所述处理器801用于接收游戏内容，所述处理器801用于根据所述真实图像，识别所述外部真实环境中所包含的真实物体，并且识别所述真实物体的位置。
在本实施例中，接收的游戏内容可以是先对游戏进行选择后接收的。如图2、图3所示，选择游戏可以是配置好的，也可以由用户通过AR设备80，通过在连接头戴式显示器101的移动终端104进行游戏内容的选择，或通过与头戴式显示器101连接的游戏手柄、游戏脚踏进行选择，或者还可以通过AR设备80采集的声音指令进行选择。
进一步地，头戴式显示器101和移动终端104相连接，这样用户可以在不同地点来玩AR游戏。头戴式显示器101和移动终端104之间的连接，可以是图2、图3中通过连接电缆105连接，也可以是通过无线技术(比如无线显示技术)来连接。
具体地，AR设备80的摄像装置108包括普通摄像头或景深摄像头，其中，景深摄像头可提供的图像和景深数据。进一步地，摄像装置108采集外部真实环境的真实图像为通过普通摄像头或景深摄像头照相的图像或者摄像提取的图像。本领域技术人员能够通过这些图像重建真实环境的空间三维模型，并且估计出头戴式显示器101在真实环境中的位置和姿态。利用以上信息才可以把虚拟物体显示在真实环境的正确位置。
头戴式显示器101的位置以及姿态估计可以和三同维场景重建同时进行。利用机器人导航中常用的同步定位和地图构建技术，我们可以选取三维场景中的多个特征点位置作为地图坐标。在头戴式显示器101移动过程中，在新采集的图像中找的这些特征点，并通过这些特征点在新图像中的位置来决定头戴式显示器101在整个三维场景中的位置和姿态。同时，如果在新采集图像中有新的特征点出现，也可以把这些新特征点作为坐标加入地图中，构建或者扩展新的地图。
更进一步，识别外部真实环境中所包含的真实物体可使用图像识别技术。例如使用图像识别中的模式识别(Pattern Recognition)，从大量信息和数据出发，在专家经验和已有认识的基础上，利用计算机和数学推理的方法对形状、模式、曲线、数字、字符格式和图形自动完成识别、评价的过程。模式识别包括两个阶段，即学习阶段和实现阶段，前者是对样本进行特征选择，寻找分类的规律，后者是根据分类规律对未知样本集进行分类和识别。例如，识别真实图像中的树，先对现实世界中各种树干与树枝的形状进行特征选择，将各种树干与树枝的形状的物体分类为树，当提取了真实图像中的树的树干和树枝的形状特征时，就识别该物体为树。进一步地，通过深度学习技术可以分析物体的种类、颜色和大小等等。例如真实图像中一颗小树，可识别出树的形状，绿色，和树的高度宽度等。这样，就能知道使用户附近有哪些物体，并且的技术感知物体的属性。
所述处理器801还用于根据所述识别到的真实物体和真实物体的位置进行建模，构建虚拟环境。
在本实施例中，虚拟环境是根据所述识别到的真实物体和真实物体的位置进行建模产生的，虚拟环境为真实物体和真实物体的位置3D建模的环境。而且应尽量使虚拟环境与真实物体和真实物体的位置一一对应。
所述处理器还用于根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置。
针对不同的游戏内容，需要在虚拟环境中构建不同的虚拟游戏物体，还可以将虚拟游戏物体投放到虚拟游戏物体的外部真实环境的投射位置。例如，在捕捉小动物的游戏内容下，可在虚拟环境中构建小狗，并且将小狗投放到有遮挡的位置，如桌子后面，或者一棵树的后面。其中，遮挡的虚拟游戏物体为虚拟游戏物体的部分或全部，如桌子遮挡了小狗的下半身，或者桌子把小狗的全身遮挡。当需要把小狗投放到一棵树的后面时，需要计算虚拟游戏物体的外部真实环境的投射位置，即计算头戴式显示器101从哪个角度发出光线投射到用户的左眼或右眼，然后，经过人脑的处理，虚拟游戏物体是以三维的形式投射在用户的眼前，给用户真实的感觉。相对于现有技术中用户与数字信息的交互一般是通过对移动终端屏幕的触摸和滑动来实现，通过计算所述虚拟游戏物体的外部真实环境的投射位置，让虚拟游戏物体是以三维的形式投射在用户的眼前的方式更直观，提升用户体验。
所述处理器还用于根据所述虚拟物体的投射位置，并且结合所述AR设备80的姿态和位置，构建所述虚拟物体所对应的左眼图像和右眼图像。并且分别在所述左眼显示设备1011和右眼显示设备1012上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使经由一所述透视型导光元件13的凹面131反射的左眼图像的光线和外部真实环境的光线合成进入用户的左眼，以及经由另一所述透视型导光元件13的凹面131反射的右眼图像的光线和外部真实环境的光线合成进入用户的右眼，形成AR游戏。
虚拟物体的投射位置需结合AR设备80的姿态和位置来构建虚拟物体所对应的左眼图像和右眼图像。AR设备80不同的姿态和位置，会带来不一样的视觉体验。进一步地，AR设备80的头戴式显示器101上还可以带有一个或多个陀螺仪、加速度计或磁场计，结合普通摄像头或景深摄像头提供的外部真实环境的真实图像和景深数据，计算头戴式显示器101在真实空间中的位置和姿态。在一些实施例中，还可以结合一个或多个运动传感器的运动数据。其中，一个或多个运动传感器包括位于所述头戴式显示器101上的一个或多个运动传感器，还可以包括用户手部佩戴的智能手表、脚部佩戴的脚环或身体其他部位佩戴的运动传感器。
以图4为例，AR设备80的头戴式显示器101，头戴式显示器101在用户眼前投射虚拟屏幕和虚拟键盘，计算头戴式显示器101在外部真实环境的位置和姿态等价于计算头戴式显示器坐标系与外部真实环境坐标系的相对位置和角度关系。由于头戴式显示器101中投射的数字内容，如虚拟屏幕、虚拟键盘等等，在计算头戴式显示器坐标系中的位置和姿态已知，通过可以获得投射数字内容(相当于虚拟屏幕、虚拟键盘或虚拟游戏物体的一者或者多者)在外部真实环境坐标系()中的位置和角度。相对的，若希望投射内容出现在外部真实环境坐标系()的某个位置和角度，则可通过关系，计算出投射内容在头戴式显示器坐标系中的位置和姿态，将虚拟屏幕、虚拟键盘或虚拟游戏物体等投射内容放置于此。相对于现有技术中用户与数字信息的交互一般是通过对移动终端屏幕的触摸和滑动来实现，本实施例中的虚拟屏幕较移动终端的屏幕大，能够显示外部真实环境和数字内容的融合信息的区域也较移动终端的屏幕的大，给用户更好的沉浸感。
所述头戴式显示器101还包括左眼显示设备1011和右眼显示设备1012，所述左眼显示设备1011和右眼显示设备1012分别位于用户的左眼和右眼的上方或侧方，所述左眼显示设备1011和右眼显示设备1012用于分别在其上显示所述虚拟游戏物体对应的左眼图像和右眼图像；
所述头戴式显示器101还包括左眼光学合成器1013和右眼光学合成器1014，所述左眼光学合成器1013和右眼光学合成器1014分别位于用户的左眼前方和右眼前方，所述左眼光学合成器1013和右眼光学合成器1014用于分别将所述左眼显示设备1011和外部真实环境的光线、右眼显示设备1012和外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。
将上述构建所述虚拟物体所对应的左眼图像和右眼图像分别在AR设备80的左眼显示设备1011和右眼显示设备1012上显示，这样，给佩戴头戴式显示器101的用户带来的体验是：当用户头部转动时，可以通过调整投射内容在头戴式显示器101内显示的位置和姿态，将投射内容“固定”在真实空间(相当于外部真实环境)内，让用户感觉到觉得虚拟的屏幕和虚拟游戏物体(如小狗)是真实的。例如，用户正对桌面，头戴式显示器101投射虚拟内容(相当于虚拟游戏物体)，正对用户，放置在外部真实环境中的桌面上。当用户的头部移动或转动以后，通过计算头戴式显示器101坐标系与外部真实环境坐标系的相对位置和角度关系，让投射的虚拟内容在外部真实环境中的位置不发生改变，让用户产生数字内容(相当于虚拟游戏物体)是真实存在且放置在桌面上的错觉。
或者，使用者正对桌片，AR设备投射虚拟内容(相当于虚拟游戏物体)，正对用户，放置在真实空间中的桌面上。当使用者的头部移动或转动以后，投射的虚拟内容(相当于虚拟游戏物体)在真实空间中的相对角度不发生改变，在使用者移动时，投射的虚拟键盘和屏幕在真实空间中的相对位置发生改变，跟随着使用者进行移动。
在此基础上，用户的位置，虚拟游戏物体的位置，和外部真实环境中的真实物体的位置之间的位置关系也可以在外部真实环境中被计算，用来控制虚拟游戏物体的显示方式。比如图3中所示，虚拟游戏物体小恐龙103被外部真实环境中的一棵树102遮挡，这样小恐龙103就只显示未被遮挡的部分。如图2中所示，如果小恐龙103从树102后走出，虚拟物体所对应的左眼图像和右眼图像将会显示虚拟游戏物体小恐龙103全部身体。或者如图4中所示，用户走到能看到全部小恐龙103的角度，数字显示(相当于虚拟物体所对应的左眼图像和右眼图像)将会显示虚拟游戏物体小恐龙103全部身体。这只是一个例子，表明虚拟游戏物体，真实物体，和用户(佩戴的AR设备80)的相对关系全部被建模，并且控制虚拟物体所对应的左眼图像和右眼图像的显示，给用户真实的感觉。
本申请实施例的有益效果在于，本申请实施例提供的AR设备80包括AR设备80和处理器801。AR设备80包括头戴式显示器101，头戴式显示器101包括摄像装置108，所述摄像装置108用于采集外部真实环境的真实图像。处理器801与AR设备80连接，所述处理器801用于接收游戏内容，所述处理器用于根据所述真实图像，识别所述外部真实环境中所包含的真实物体，并且识别所述真实物体的位置；处理器801还用于根据所述识别到的真实物体和真实物体的位置进行建模，构建虚拟环境；所述处理器801还用于根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置；所述处理器801还用于根据所述虚拟物体的投射位置，并且结合所述AR设备80的姿态和位置，构建所述虚拟物体所对应的左眼图像和右眼图像。所述头戴式显示器101还包括左眼显示设备1011和右眼显示设备1012，所述左眼显示设备1011和右眼显示设备1012分别位于用户的左眼和右眼的上方或侧方，所述左眼显示设备1011和右眼显示设备1012用于分别在其上显示所述虚拟游戏物体对应的左眼图像和右眼图像；所述头戴式显示器101还包括左眼光学合成器1013和右眼光学合成器1014，所述左眼光学合成器1013和右眼光学合成器1014分别位于用户的左眼前方和右眼前方，所述左眼光学合成器1013和右眼光学合成器1014用于分别将所述左眼显示设备和外部真实环境的光线、右眼显示设备和外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。本申请实施例的AR设备80，分别在所述头戴式显示器101的左眼显示设备1011和右眼显示设备1012上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备1011、右眼显示设备1012以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏，虚拟游戏物体与外部真实环境逻辑上融合，相比现有技术将数字信息和外界环境信息的简单叠加，更加真实。
在另一实施例中，所述处理器801还用于接收操作所述AR游戏的操作指令。
在本实施例中，接收的操作AR游戏的操作指令可以由用户进行的操作，如图3所示通过在连接头戴式显示器101的移动终端104上进行对游戏的操作，生成操作指令，发送到头戴式显示器101。或通过与头戴式显示器连接的游戏手柄、游戏脚踏进行的游戏操作，还可以通过AR设备采集的声音指令转化成的对游戏的操作指令。
处理器801还用于根据所述操作指令，调整所述游戏内容。
不同的操作指令对应不同的游戏内容，接收到操作指令，可根据预设的操作指令与游戏内容对照表，调整游戏内容。如操作指令是训练小狗捡球，则游戏内容也调整为包含小狗和球。
处理器801还用于根据调整之后的所述游戏内容，调整在所述虚拟环境中的虚拟游戏物体，并且计算所述调整之后的虚拟游戏物体的外部真实环境的投射位置。
由于游戏内容的变化，虚拟游戏物体也需要进行调整。需要说明的是，调整之后的虚拟游戏物体的外部真实环境的投射位置如何计算与上述实施例计算虚拟游戏物体的外部真实环境的投射位置的方式相同，在此不再详述。如在训练小狗捡球的游戏中，初始时，需要投射出球在外部真实环境的远处，小狗在用户在左前方。
处理器801还用于根据所述调整之后的虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述调整之后的虚拟物体所对应的左眼图像和右眼图像，并且分别在所述左眼显示设备1011和右眼显示设备1012上显示所述调整之后的虚拟游戏物体对应的左眼图像和右眼图像，以调整AR游戏。
即所述左眼显示设备1011和右眼显示设备1012还用于分别在其上显示所述调整之后的虚拟物体对应的左眼图像和右眼图像，以调整AR游戏。
显示上述调整之后的虚拟物体所对应的左眼图像和右眼图像，以调整AR游戏。
本实施例的有益效果在于，在本实施例中，处理器801根据接收的操作指令，调整游戏内容，并调整虚拟游戏物体并计算其在外部真实环境的投射位置，结合AR设备的姿态和位置，构建调整之后的虚拟物体所对应的左眼图像和右眼图像，在左眼显示设备1011和右眼显示设备1012显示，以调整AR游戏。实现从操作指令对AR游戏的调整，用户可根据意愿发出想玩的AR游戏的操作指令，游戏内容可控可选，提升了用户体验。
在又一实施例中，所述操作指令是根据识别到所述用户的操作动作生成的。具体地，用户的操作动作可以通过位于使用者手部、脚部或身体其他部位的一个或多个运动传感器采集，根据接收的使用者手部或脚部的一个或多个运动传感器的运动数据，分析使用者手部或脚部的运动；根据使用者手部或脚部的运动，判断使用者的输入命令；根据所述使用者的输入命令，查询预设输入对照表，做出对所述使用者的输入命令的响应。
例如，AR设备80还可以带有一个或数个手环、脚环配件，通过蓝牙、zigbee hub(一种近距离、低复杂度、低功耗、低速率、低成本的双向无线通讯技术，也被称为“HomeRFLite”、“RF-EasyLink”或“fireFly”无线电技术)、wifi等无线通讯方式与头戴式显示器相连。手环内带有陀螺仪、加速度计或磁场计中的一种或多种运动传感器，通过数据处理分析判断用户手臂、腿部的运动，了解用户的输入意图。比如，若传感器判断用户做出了投掷的动作，则游戏中可以作为投掷道具、捕获小动物的输入。再比如，若传感器判断用户做出了踢腿动作，则可以判定使用者希望攻击眼前的小怪兽。
在其他实施例中，还可以使用头戴式显示器101是配置的摄像装置108(普通摄像头和景深摄像头)对用户的动作进行识别，识别出用户的动作代表的操作指令后执行，实现用户的动作和虚拟游戏物体的互动。例如，用户的动作为手势，手势的输入可以是单手或者是双手输入。与虚拟游戏物体的互动可是是单凭手势来进行，比如如图7中让小恐龙103跳到用户的手201上。或者，用户也可以用手对虚拟游戏物体进行接触，比如用户用手201抚摸小恐龙103来培养感情等。又或者是通过游戏道具，用户通过手势来控制游戏道具来与虚拟游戏物体进行互动，比如图8所示通过撒出网107来捕捉小恐龙103。
本实施例的有益效果在于，在本实施例中，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如手势进行交互，给用户全新的游戏感觉。
在再一实施例中，所述操作指令是根据识别到所述用户的语音控制命令生成的。
AR设备上还可以带有一个或数个麦克风等声音识别设备，使得用户可以通过语音与AR游戏进行交互。例如，可以给小动物发出各种命令对其进行训练等等。比如当麦克风识别到用户发出“小狗蹲下”时，则操作指令为“小狗蹲下”，调整游戏内容为训练小狗，计算小狗在外部真实环境的投射位置，再结合AR设备的姿态和位置构建小狗蹲下所对应的左眼图像和右眼图像，以调整AR游戏为训练小狗。
本实施例的有益效果在于，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如用户的语音进行交互，给用户全新的游戏感觉。
在另一实施例中，所述操作指令是追踪到所述用户的人眼视线的焦点生成。
AR设备80中的头戴式显示器101可配置眼球追踪摄像头213，跟踪人眼焦点。对人眼所观察虚拟游戏物体或虚拟屏幕中的特定部位进行追踪和特殊处理。进一步地，追踪人眼所观察真实物体或虚拟游戏物体；根据追踪得到的真实物体或虚拟游戏物体，查询所述真实物体或虚拟游戏物体对应的预设特殊处理对照表，根据所述预设特殊处理对照表，做出特殊处理。预设特殊处理对照表中预先储存识别出的特殊处理对应的操作。比如，若用户将视线集中在虚拟的小动物上，游戏程序可以做出判定，用户希望捕获小动物，然后自动投掷道具。又比如，若用户将视线集中在外部真实环境的一个商店上，游戏可以作出判定用户希望购买或出售道具，则自动调出物品买卖的菜单。再比如，若用户将视线集中在另一个游戏玩家身上，游戏自动判定用户希望挑战对方，通过网络向对方发送PK申请。
本实施例的有益效果在于，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如用户的语音进行交互，给用户全新的游戏感觉。
在又一实施例中，所述操作指令是根据识别到的用户的表情生成。
例如图9所示，AR设备80，具体包括头戴式显示器101，头戴式显示器101上还可以带有一个或多个摄像装置108拍摄用户的脸，并通过计算机视觉算法判定用户的表情。比如在对小动物经行训练的过程中，小动物训练努力，效果很好，用户可以用开心的表情鼓励小动物。又比如，用户与小动物交互时，表情发生变化，小动物可以根据用户的表情改变对用户的反馈，当用户不开心时，说一些鼓励的话，做一些关心的动作；当用户分心发呆时，提醒用户将注意力集中在小动物身上。
本实施例的有益效果在于，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如用户的人眼视线的焦点进行交互，给用户全新的游戏感觉。
请参考图12，图12是本申请实施例提供的一种AR设备80的结构示意图，如图12所示，该AR设备80包括：
一个或多个处理器801以及存储器802，图12中以一个处理器801为例。
AR设备80还可以包括：输入装置803和输出装置804。
处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图12中以通过总线连接为例。
存储器802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的基于AR设备的游戏实现方法对应的程序指令/模块(例如，附图10所示的采集模块31、识别模块32、建模模块33，构建及计算模块34，第一构建模块35、第一显示模块36和图11所示的采集模块31、识别模块32、建模模块33，构建及计算模块34，第一构建模块35、第一显示模块36、接收模块37、调整模块38、调整和计算模块39、第二构建模块41、第二显示模块42)。处理器801通过运行存储在存储器802中的非易失性软件程序、指令以及模块，从而执行AR设备80的各种功能应用以及数据处理，即实现上述方法实施例基于AR设备的游戏实现方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据AR设备80的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至AR设备80。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置803可接收游戏内容和操作AR游戏的操作指令，以及识别到的用户的操作动作生成的操作指令、识别到的用户的语音控制命令生成的操作指令和识别到的用户的表情或者追踪到所述用户的人眼视线的焦点生成的操作指令有关的键信号输入。输出装置804可包括显示屏、显示设备12和透视型导光元件13等显示设备。
所述一个或者多个模块存储在所述存储器802中，当被所述一个或者多个处理器801执行时，执行上述任意方法实施例中的基于AR设备的游戏实现方法，例如，执行以上描述的图5中的方法步骤10至步骤60，图6中的方法步骤10至步骤250，实现图10中的模块31-36、实现图11中的单元31-42的功能。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的AR设备80以多种形式存在，包括但不限于：
(1)头戴式显示器101。
(2)游戏手柄。
(3)游戏脚踏。
(4)其他具有数据交互功能的AR游戏装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
如图5所示，本申请实施例还提供基于AR设备的游戏实现方法，包括：接收的游戏内容。
步骤10、通过所述AR设备的摄像装置采集外部真实环境的真实图像。
步骤20、根据所述真实图像，识别所述外部真实环境中所包含的真实物体，并且识别所述真实物体的位置。
步骤30、根据所述识别到的真实物体和真实物体的位置进行建模，构建虚拟环境。
步骤40、根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置。
步骤50、根据所述虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述虚拟物体所对应的左眼图像和右眼图像。
步骤60、分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。
需要说明的是，本申请实施例提出的基于AR设备的游戏实现方法与本申请实体装置实施例的AR设备80基于相同的发明构思，方法实施例中与产品实施例的相应技术内容可相互适用，此处不再详述。
本申请实施例的有益效果在于，本申请实施例提供的基于AR设备的游戏实现方法包括：接收的游戏内容；采集外部真实环境的真实图像及识别所述外部真实环境中所包含的真实物体及其位置；根据所述识别内容进行建模，构建虚拟环境；根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置；根据所述虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述虚拟物体所对应的左眼图像和右眼图像；分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。本申请实施例的基于AR设备的游戏实现方法，分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏，虚拟游戏物体与外部真实环境逻辑上融合，相比现有技术将数字信息和外界环境信息的简单叠加，更加真实。
在另一实施例中，如图6所示，所述方法还包括：
步骤210、接收操作所述AR游戏的操作指令。
步骤220、根据所述操作指令，调整所述游戏内容。
步骤230、根据调整之后的所述游戏内容，调整在所述虚拟环境中的虚拟游戏物体，并且计算所述调整之后的虚拟游戏物体的外部真实环境的投射位置。
步骤240、根据所述调整之后的虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述调整之后的虚拟物体所对应的左眼图像和右眼图像。
需要说明的是，构建调整之后的虚拟物体所对应的左眼图像和右眼图像与上述实施例构建虚拟物体所对应的左眼图像和右眼图像的方式相同，在此不再详述。例如在训练小狗捡球的游戏中，当用户走向球时，AR设备的位置发生改变，画面中的球越来越近，构建的调整之后的虚拟物体所对应的左眼图像和右眼图像也随之改变。
步骤250、分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述调整之后的虚拟物体对应的左眼图像和右眼图像，以调整AR游戏。
需要说明的是，本申请实施例提出的基于AR设备的游戏实现方法与本申请实体装置实施例的AR设备80基于相同的发明构思，方法实施例中与产品实施例的相应技术内容可相互适用，此处不再详述。
本实施例的有益效果在于，在本实施例中，根据接收的操作指令，调整游戏内容，并调整虚拟游戏物体并计算其在外部真实环境的投射位置，结合AR设备的姿态和位置，构建调整之后的虚拟物体所对应的左眼图像和右眼图像还用于分别在其上显示所述调整之后的虚拟物体对应的左眼图像和右眼图像，以调整AR游戏。实现从操作指令对AR游戏的调整，用户可根据意愿发出想玩的AR游戏的操作指令，游戏内容可控可选，提升了用户体验。
在又一实施例中，所述操作指令是根据识别到所述用户的操作动作生成的。
需要说明的是，本申请实施例提出的基于AR设备的游戏实现方法与本申请实体装置实施例的AR设备80基于相同的发明构思，方法实施例中与产品实施例的相应技术内容可相互适用，此处不再详述。
本实施例的有益效果在于，在本实施例中，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如手势进行交互，给用户全新的游戏感觉。
在再一实施例中，所述操作指令是根据识别到所述用户的语音控制命令生成的。
需要说明的是，本申请实施例提出的基于AR设备的游戏实现方法与本申请实体装置实施例的AR设备80基于相同的发明构思，方法实施例中与产品实施例的相应技术内容可相互适用，此处不再详述。
本实施例的有益效果在于，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如用户的语音进行交互，给用户全新的游戏感觉。
在另一实施例中，所述操作指令是追踪到所述用户的人眼视线的焦点生成。
需要说明的是，本申请实施例提出的基于AR设备的游戏实现方法与本申请实体装置实施例的AR设备80基于相同的发明构思，方法实施例中与产品实施例的相应技术内容可相互适用，此处不再详述。
本实施例的有益效果在于，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如用户的语音进行交互，给用户全新的游戏感觉。
在又一实施例中，所述操作指令是根据识别到的用户的表情生成。
需要说明的是，本申请实施例提出的基于AR设备的游戏实现方法与本申请实体装置实施例的AR设备80基于相同的发明构思，方法实施例中与产品实施例的相应技术内容可相互适用，此处不再详述。
本实施例的有益效果在于，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如用户的人眼视线的焦点进行交互，给用户全新的游戏感觉。
本申请实施例还提供一种基于AR设备的游戏实现装置30，如图10所示，包括采集模块31、识别模块32、建模模块33，构建及计算模块34，第一构建模块35和第一显示模块36。
在本实施例中，采集模块31，用于通过所述AR设备的摄像装置采集外部真实环境的真实图像；
识别模块32，用于根据所述真实图像，识别所述外部真实环境中所包含的真实物体，并且识别所述真实物体的位置；
建模模块33，用于根据所述识别到的真实物体和真实物体的位置进行建模，构建虚拟环境；
构建及计算模块34，用于根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置；
第一构建模块35，用于根据所述虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述虚拟物体所对应的左眼图像和右眼图像；
第一显示模块36，用于分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。
需要说明的是，本申请实施例提出的基于AR设备的游戏实现装置30与本申请方法实施例提出的基于AR设备的游戏实现方法以及本申请实体装置实施例的AR设备80基于相同的发明构思，产品实施例、方法实施例与装置实施例中的相应技术内容可相互适用，此处不再详述。
本申请实施例的有益效果在于，本申请实施例提供的基于AR设备的游戏实现装置包括：接收的游戏内容；采集模块31用于采集外部真实环境的真实图像及识别模块32用于识别所述外部真实环境中所包含的真实物体及其位置；建模模块33用于根据所述识别内容进行建模，构建虚拟环境；构建及计算模块34用于根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置；第一构建模块35用于根据所述虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述虚拟物体所对应的左眼图像和右眼图像；第一显示模块36用于分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。本申请实施例的基于AR设备的游戏实现装置30，分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏，虚拟游戏物体与外部真实环境逻辑上融合，相比现有技术将数字信息和外界环境信息的简单叠加，更加真实。
在另一实施例中，如图11所示，所述装置还包括接收模块37、调整模块38、调整和计算模块39、第二构建模块41和第二显示模块42。
在本实施例中，接收模块37，用于接收操作所述AR游戏的操作指令；
调整模块38，用于根据所述操作指令，调整所述游戏内容；
调整和计算模块39，根据调整之后的所述游戏内容，调整在所述虚拟环境中的虚拟游戏物体，并且计算所述调整之后的虚拟游戏物体的外部真实环境的投射位置；
第二构建模块41，用于根据所述调整之后的虚拟物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述调整之后的虚拟物体所对应的左眼图像和右眼图像；
第二显示模块42，用于分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述调整之后的虚拟物体对应的左眼图像和右眼图像，以调整AR游戏。
需要说明的是，本申请实施例提出的基于AR设备的游戏实现装置30与本申请方法实施例提出的基于AR设备的游戏实现方法以及本申请实体装置实施例的AR设备80基于相同的发明构思，产品实施例、方法实施例与装置实施例中的相应技术内容可相互适用，此处不再详述。
本实施例的有益效果在于，在本实施例中，根据接收的操作指令，调整游戏内容，并调整虚拟游戏物体并计算其在外部真实环境的投射位置，结合AR设备的姿态和位置，构建调整之后的虚拟物体所对应的左眼图像和右眼图像并显示，以调整AR游戏。实现从操作指令对AR游戏的调整，用户可根据意愿发出想玩的AR游戏的操作指令，游戏内容可控可选，提升了用户体验。
在又一实施例中，所述操作指令是根据识别到所述用户的操作动作生成的。
需要说明的是，本申请实施例提出的基于AR设备的游戏实现装置30与本申请方法实施例提出的基于AR设备的游戏实现方法以及本申请实体装置实施例的AR设备80基于相同的发明构思，产品实施例、方法实施例与装置实施例中的相应技术内容可相互适用，此处不再详述。
本实施例的有益效果在于，在本实施例中，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如手势进行交互，给用户全新的游戏感觉。
在再一实施例中，所述操作指令是根据识别到所述用户的语音控制命令生成的。
本实施例的有益效果在于，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如用户的语音进行交互，给用户全新的游戏感觉。
在另一实施例中，所述操作指令是追踪到所述用户的人眼视线的焦点生成。
本实施例的有益效果在于，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如用户的人眼视线的焦点进行交互，给用户全新的游戏感觉。
在又一实施例中，所述操作指令是根据识别到的用户的表情生成。
本实施例的有益效果在于，AR游戏中的虚拟游戏物体能够和外部真实环境以及用户的动作，例如用户的表情进行交互，给用户全新的游戏感觉。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种AR设备，其特征在于，包括：
头戴框架、摄像装置、处理器、显示设备和两个透视型导光元件，其中，所述显示设备包括左眼显示设备和右眼显示设备，所述左眼显示设备、右眼显示设备和两个透视型导光元件均固定头戴框架，并且所述处理器分别与所述摄像装置和显示设备连接，所述头戴框架用于佩戴在用户的头部，每一所述透视型导光元件具有一凹面，所述凹面朝向用户的双眼设置；
所述AR设备还包括屈光度矫正镜片，两个显示设备一一对应所述两个透视型导光元件，位于所述两个透视型导光元件的上方或侧方，两个显示设备之间通过第一机械结构连接，所述屈光度矫正镜片位于人眼与所述透视型导光元件之间；
所述摄像装置用于采集外部真实环境的真实图像；
调整两个显示设备的间距；
调整显示内容在显示设备上的位置；
通过第二机械结构调整所述两个透视型导光元件的间距；
所述透视型导光元件的位置可以绕与水平面垂直的转轴旋转，旋转角度的范围为0度至180度；
所述屈光度矫正镜片所在平面与水平面成30度到90度的夹角；
调整所述屈光度矫正镜片的度数；
显示设备发射包含左眼虚拟图像信息的第一光线，经由透视型导光元件的凹面反射的第一光线以及经由透视型导光元件的凸面和凹面透射的包含外界图像信息的第三光线进入用户的左眼之前，先经过屈光矫正镜片；
所述处理器用于接收游戏内容，所述处理器用于根据所述真实图像，识别所述外部真实环境中所包含的真实物体，并且识别所述真实物体的位置；
所述处理器还用于根据所述识别到的真实物体和真实物体的位置进行建模，构建虚拟环境；
所述处理器还用于根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置；
所述处理器还用于根据所述虚拟游戏物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述虚拟游戏物体所对应的左眼图像和右眼图像，并且分别在所述左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使经由一所述透视型导光元件的凹面反射的左眼图像的光线和外部真实环境的光线合成进入用户的左眼，以及经由另一所述透视型导光元件的凹面反射的右眼图像的光线和外部真实环境的光线合成进入用户的右眼，形成AR游戏。
2.根据权利要求1所述的AR设备，其特征在于，所述处理器还用于：
接收操作所述AR游戏的操作指令；
根据所述操作指令，调整所述游戏内容；
根据调整之后的所述游戏内容，调整在所述虚拟环境中的虚拟游戏物体，并且计算所述调整之后的虚拟游戏物体的外部真实环境的投射位置；
根据所述调整之后的虚拟游戏物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述调整之后的虚拟游戏物体所对应的左眼图像和右眼图像，并且分别在所述左眼显示设备和右眼显示设备上显示所述调整之后的虚拟游戏物体对应的左眼图像和右眼图像，以调整AR游戏。
3.根据权利要求2所述的AR设备，其特征在于，所述操作指令是根据识别到所述用户的操作动作生成的。
4.根据权利要求2所述的AR设备，其特征在于，所述操作指令是根据识别到所述用户的语音控制命令生成的。
5.根据权利要求2所述的AR设备，其特征在于，所述操作指令是根据识别到的用户的表情或者追踪到所述用户的人眼视线的焦点生成。
6.根据权利要求2所述的AR设备，其特征在于，AR设备与外接设备相连时，可通过使用外接设备上的鼠标键盘、触摸板或按钮与基于增强现实的显示设备进行交互。
7.一种基于AR设备的游戏实现方法，其特征在于，用于权利要求1-6任一项所述的AR设备，所述方法包括：
接收游戏内容；
通过所述AR设备的摄像装置采集外部真实环境的真实图像；
调整两个显示设备的间距；
调整显示内容在显示设备上的位置；
通过第二机械结构调整所述两个透视型导光元件的间距；
所述透视型导光元件的位置可以绕与水平面垂直的转轴旋转，旋转角度的范围为0度至180度；
所述屈光度矫正镜片所在平面与水平面成30度到90度的夹角；
调整所述屈光度矫正镜片的度数；
显示设备发射包含左眼虚拟图像信息的第一光线，经由透视型导光元件的凹面反射的第一光线以及经由透视型导光元件的凸面和凹面透射的包含外界图像信息的第三光线进入用户的左眼之前，先经过屈光矫正镜片；
根据所述真实图像，识别所述外部真实环境中所包含的真实物体，并且识别所述真实物体的位置；
根据所述识别到的真实物体和真实物体的位置进行建模，构建虚拟环境；根据所述游戏内容，在所述虚拟环境中构建虚拟游戏物体，并且计算所述虚拟游戏物体的外部真实环境的投射位置；
根据所述虚拟游戏物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述虚拟游戏物体所对应的左眼图像和右眼图像；
分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述虚拟游戏物体对应的左眼图像和右眼图像，以使所述左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
接收操作所述AR游戏的操作指令；
根据所述操作指令，调整所述游戏内容；
根据调整之后的所述游戏内容，调整在所述虚拟环境中的虚拟游戏物体，并且计算所述调整之后的虚拟游戏物体的外部真实环境的投射位置；
根据所述调整之后的虚拟游戏物体的投射位置，并且结合所述AR设备的姿态和位置，构建所述调整之后的虚拟游戏物体所对应的左眼图像和右眼图像；
分别在所述AR设备的左眼显示设备和右眼显示设备上显示所述调整之后的虚拟游戏物体对应的左眼图像和右眼图像，以调整AR游戏。
9.根据权利要求8所述的方法，其特征在于，所述操作指令是根据识别到所述用户的操作动作生成的。
10.根据权利要求8所述的方法，其特征在于，所述操作指令是根据识别到所述用户的语音控制命令生成的。
11.根据权利要求8所述的方法，其特征在于，所述操作指令是根据识别到的用户的表情或者追踪到所述用户的人眼视线的焦点生成。
CN201710079357.7A 2017-02-14 2017-02-14 一种基于ar设备的游戏实现方法和ar设备 Active CN108421252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710079357.7A CN108421252B (zh) 2017-02-14 2017-02-14 一种基于ar设备的游戏实现方法和ar设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710079357.7A CN108421252B (zh) 2017-02-14 2017-02-14 一种基于ar设备的游戏实现方法和ar设备

Publications (2)

Publication Number Publication Date
CN108421252A CN108421252A (zh) 2018-08-21
CN108421252B true CN108421252B (zh) 2023-12-29

Family

ID=63155187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710079357.7A Active CN108421252B (zh) 2017-02-14 2017-02-14 一种基于ar设备的游戏实现方法和ar设备

Country Status (1)

Country Link
CN (1) CN108421252B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377566B (zh) * 2018-10-29 2023-08-11 北京西潼科技有限公司 基于增强现实的显示系统、图像处理方法及装置
CN109126119A (zh) * 2018-11-01 2019-01-04 广州翼凌峰动漫科技有限公司 一种基于增强现实技术的游玩装置
CN109597492B (zh) * 2018-12-05 2022-03-04 谷东科技有限公司 激光虚拟键盘与ar眼镜交互系统
CN111352239A (zh) * 2018-12-22 2020-06-30 杭州融梦智能科技有限公司 增强现实显示设备及应用增强现实显示设备的交互方法
CN111202663B (zh) * 2019-12-31 2022-12-27 浙江工业大学 一种基于vr技术的视觉训练学习系统
CN111429567B (zh) * 2020-03-23 2023-06-13 成都威爱新经济技术研究院有限公司 一种数字虚拟人眼球真实环境反射方法
CN111553972B (zh) * 2020-04-27 2023-06-30 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
CN112363628A (zh) * 2020-11-27 2021-02-12 上海影创信息科技有限公司 虚拟对象互动处理的方法和系统及其vr眼镜
CN113680054A (zh) * 2021-07-21 2021-11-23 温州大学 基于计算机视觉库的游戏交互方法及装置
CN114063778A (zh) * 2021-11-17 2022-02-18 北京蜂巢世纪科技有限公司 一种利用ar眼镜模拟图像的方法、装置、ar眼镜及介质
CN116943191A (zh) * 2022-04-18 2023-10-27 腾讯科技（深圳）有限公司 基于故事场景的人机互动方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568026B (zh) * 2011-12-12 2014-01-29 浙江大学 一种多视点自由立体显示的三维增强现实方法
CN102945564A (zh) * 2012-10-16 2013-02-27 上海大学 基于视频透视式增强现实的真三维建模系统和方法

Also Published As

Publication number Publication date
CN108421252A (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
CN108421252B (zh) 一种基于ar设备的游戏实现方法和ar设备
CN113168007B (zh) 用于增强现实的系统和方法
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
US10860089B2 (en) Method of suppressing VR sickness, system for executing the method, and information processing device
CN105068648A (zh) 头戴式智能交互系统
US11656471B2 (en) Eyewear including a push-pull lens set
JP2023509823A (ja) 遠近調節型倍率補正光学システム
US20230288701A1 (en) Sensor emulation
US20230185090A1 (en) Eyewear including a non-uniform push-pull lens set
CN108696740A (zh) 一种基于增强现实的直播方法及设备
KR20220111575A (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
JP2017099686A (ja) ゲーム用ヘッドマウントディスプレイ、ゲーム用ヘッドマウントディスプレイのプログラム、およびゲーム用ヘッドマウントディスプレイの制御方法
JP2017111537A (ja) ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム
US20240087221A1 (en) Method and apparatus for determining persona of avatar object in virtual space
KR20240036433A (ko) 가상 공간에 배치되는 아바타 오브젝트의 페르소나를 결정하는 방법 및 장치
KR20240097656A (ko) 외부 전자 장치로부터 획득된 생체 데이터에 기반하여 화면을 전환하기 위한 웨어러블 장치 및 그 방법
KR20240049085A (ko) 알림 정보를 제공하기 위한 전자 장치 및 방법
KR20230027817A (ko) 아바타 생성 및 가상 피팅을 위한 전자 장치 및 전자 장치의 동작 방법
KR20240062980A (ko) 메타버스에서 외부 장치를 사용하는 전자 장치 및 이의 제어 방법
KR20240081242A (ko) 운동 보조 피드백을 제공하는 방법 및 이를 위한 전자 장치
KR20240035284A (ko) 오브젝트에 기초한 컨텐츠 공유를 제공하는 전자 장치 및 방법
CN114446262A (zh) 色偏矫正方法和头戴显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191223

Address after: Room a-b102-1229, 198 Qidi Road, Xiaoshan Economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou rongmeng Intelligent Technology Co.,Ltd.

Address before: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A (located in Shenzhen Qianhai business secretary Co. Ltd.)

Applicant before: SHENZHEN DREAMWORLD SMART TECHNOLOGY Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant