CN108427195A - 一种基于增强现实的信息处理方法及设备 - Google Patents

一种基于增强现实的信息处理方法及设备 Download PDF

Info

Publication number
CN108427195A
CN108427195A CN201710079356.2A CN201710079356A CN108427195A CN 108427195 A CN108427195 A CN 108427195A CN 201710079356 A CN201710079356 A CN 201710079356A CN 108427195 A CN108427195 A CN 108427195A
Authority
CN
China
Prior art keywords
image
augmented reality
light
information processing
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710079356.2A
Other languages
English (en)
Inventor
毛颖
钟张翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou rongmeng Intelligent Technology Co., Ltd
Original Assignee
Shenzhen Dream Vision Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dream Vision Intelligent Technology Co Ltd filed Critical Shenzhen Dream Vision Intelligent Technology Co Ltd
Priority to CN201710079356.2A priority Critical patent/CN108427195A/zh
Priority to PCT/CN2018/073463 priority patent/WO2018149266A1/zh
Publication of CN108427195A publication Critical patent/CN108427195A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施方式公开了一种基于增强现实的信息处理方法，包括：获取包含会议室的实景图像的第一光线；发出包含虚拟图像的第二光线；将所述包含会议室的实景图像的第一光线合成与包含虚拟图像的第二光线进行合成。区别于现有技术，本实施方式提供的一种基于增强现实的信息处理方法将会议室的实景图像与虚拟图像结合，虚拟图像能够为参会者提供信息提示，辅助参会者进行会议的进行，用户体验好，使用方便。

Description

一种基于增强现实的信息处理方法及设备
技术领域
本发明实施方式涉及增强现实技术领域，特别是涉及一种基于增强现实的信息处理方法及设备。
背景技术
目前，无论在政府、企业、各类非赢利性组织，还是各类教育机构，会议主要的形式是参会者集中在会议室内，通过投影仪、电视、音响设备等，将各类数字信息，如文档、幻灯片、视频、图像等，传递给所有参会人员。若有远程参会者，则通常使用如Webex，GoToMeetings等网络会议服务，通过互联网共享双方在本地屏幕上显示的内容，同步双方所见的内容。并通过网络或电话进行视频或音频通话，使双方能够看到对方，拉近距离。
发明人在实现本申请的过程中，发现现有技术至少存在以下问题，比如，对于在会议室内的参会者：
数字信息呈现不够直观。由于数字信息的呈现主要依赖二维的显示屏幕或投影，在很多需要展示三维模型的情况下，比如产品展示、工程部件演示等等，从二维平面式只能从一个或几个角度观察，不够直观。
难以协同控制数字信息。以产品展示为例，当主持人在屏幕上展示产品的三维模型是，仅主持人可以控制模型的展示角度和模型大小，其他参会人员在讨论过程中，如果需要转动三维模型，则需要向主持人描述转动方向，缩放部位等等，无法直接进行操作，非常不便，不利于协同工作。
无法便捷地对每个参会者提供个性化的私密信息服务。举例来说，在大企业内两个团队第一次开会，由于双方是第一次见面，即便做了自我介绍，也常常会在会议的过程当中无法回忆起对方中某人或某几个人的姓名、职务、背景等等。因此容易产生各种误会和不变。现有的会议解决方案对此完全束手无策。另外，在开会的过程中，特别是对于商务会谈，时常出现需要与某人或某几人私下交流的状况，现有的网络会议服务提供了网络私聊的功能，来尝试解决这一问题。但是，由于开会时大家的注意力不会一直集中在自己面前的电脑屏幕上，而是更多的目视正在说话的参会者，这样，私聊的信息传递会非常不及时，往往被收信方看见时已经为时过晚。而通过其他方式交流，私密性有无法得到保障。
对于远程的参会者，现有的会议方式也有不少缺陷：
临场感有限，讨论时融入感差，无法面对面交流。由于远程参会者和本地参会者主要通过摄像头拍摄现场让对方见到自己，而仅在电脑屏幕显示对方的视频，临场感差，难以融入会议展开讨论。如果会议时仅仅通过网络音频或电话沟通，那情况会更加糟糕，甚至会出现人多的一方展开热烈的讨论，而将电话另一端的参会者完全忽略的情况。
无法清晰的了解正在说话的参会者。假若在每一个远程会议点都只有一名参会者，当某位参会者说话时，现有的网络会议软件均能提示是哪一个会议点的参会者在说话。但是，如果某一个会议室内有多位参会者，现有的会议软件无法分辨是哪位参会者正在说话。对于其他远程会议点的参会者，倘若对其他参会者并不熟悉，即便有网络视频，也常常会难以分辨是谁正在说话。
与在会议室内的参会者一样，远程参会者同样面对数字信息呈现不够直观，难以协同控制数字信息，以及无法便捷地对每个参会者提供个性化的私密信息服务等问题。
发明内容
本发明实施方式主要解决的技术问题是提供一种基于增强现实的信息处理方法及设备，具有临场感，内容显示直观。
为解决上述技术问题，本发明实施方式提供一种基于增强现实的信息处理方法，包括：获取包含会议室的实景图像的第一光线；发出包含虚拟图像的第二光线；将所述包含会议室的实景图像的第一光线合成与包含虚拟图像的第二光线进行合成。
区别于现有技术，本实施方式提供的一种基于增强现实的信息处理方法将会议室的实景图像与虚拟图像结合，虚拟图像能够为参会者提供信息提示，辅助参会者进行会议的进行，用户体验好，使用方便。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1a是本发明实施例一提供的一种基于增强现实的信息处理设备的结构示意图；
图1b是图1a所示的透视型导光元件设置在头戴框架上时的示意图；
图1c是图1a所示的显示模块的侧视角度与显示亮度之间的第一关系图；
图1d是图1a所示的显示模块的侧视角度与显示亮度之间的第二关系图；
图1e是图1a所示的显示模块的侧视角度与显示亮度之间的第三关系图；
图2a是佩戴图1a所示的基于增强现实的信息处理设备时显示模块与用户脸部的位置关系示意图；
图2b是旋转图1a所示的显示模块的示意图；
图3是图1a所示的基于增强现实的信息处理设备的成像原理示意图；
图4是图1a所示的基于增强现实的信息处理设备设置屈光度矫正镜片时的示意图；
图5是图1a所示的基于增强现实的信息处理设备对角线视场区域与头部框架的最远端到用户头部最前端的距离关系的示意图；
图6是图1a所示的基于增强现实的信息处理设备连接外接设备工作时的示意图；
图7是本发明实施例二提供的一种基于增强现实的信息处理设备的结构示意图；
图8是图7所示的基于增强现实的信息处理设备连接外接设备工作时的示意图；
图9是图7所示的基于增强现实的信息处理设备连接外接设备工作时的又一示意图；
图10是图7所示的基于增强现实的信息处理设备工作时的示意图；
图11是本发明第三实施例提供的一种基于增强现实的信息处理方法的应用实例图；
图12是本发明第三实施例提供的一种基于增强现实的信息处理方法中的第一显示模式的示意图；
图13是本发明第三实施例提供的一种基于增强现实的信息处理方法中的第二显示模式的示意图；
图14是本发明第三实施例提供的一种基于增强现实的信息处理方法中的同步显示时的示意图；
图15是本发明第三实施例提供的一种基于增强现实的信息处理方法进行人脸识别时的示意图；
图16是本发明第三实施例提供的一种基于增强现实的信息处理方法进行远程显示时的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
参阅图1a，本发明实施例提供的一种基于增强现实的信息处理设备，所述基于增强现实的信息处理设备的总重量小于350克，其包括：头戴框架11、两个显示模块12、两个透视型导光元件13。其中，透视型导光元件13是一种部分透射、部分反射的光学合成装置。
所述显示模块12及透视形导光元件13皆设置在头戴框架11上，支架11将显示模块12及透视形导光元件13进行固定。显示模块12设置在透视形导光元件13的上侧，显示模块12发出的光线能够经过透视形导光元件13后发生反射。可选地，所述显示模块13还可位于所述透视型导光元件13的侧方。
所述基于增强现实的信息处理设备还包括：主板17，主板17设置在头戴框架11上，且位于二显示模块12之间。所述主板17上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块12上。
本发明实施例中，头戴框架11用于佩戴在用户的头部，每一透视型导光元件13具有一凹面，凹面朝向用户的双眼设置。经由一透视型导光元件13的凹面反射的第一光线进入用户的左眼，以及经由另一透视型导光元件13的凹面反射的另一第一光线进入用户的右眼，以在用户的头脑中形成3D虚拟场景的视觉。其中，第一光线是由显示模块12发射的，且第一光线包含左眼及右眼的虚拟图像信息。
参阅图1b，两个透视型导光元件13设置在头戴框架11上，分别独立地嵌入到头戴框架11上。可选地，可在制作透视型导光元件的原材料上设置两个对应于用户左右眼的区域，所述区域的形状大小与上述的独立设置时的每一透视型导光元件13的形状大小相同；最终的效果为一块大的透视型导光元件上设置有两个对应于用户左右眼的区域。可以理解为在一块大的透视型导光元件的原材料上加工出两个与独立设置时的透视型导光元件13的形状大小相同的区域，即两个透视型导光元件13一体成型。所述设置有对应于用户左右眼区域的透视型导光元件嵌入到头戴框架11上。
需要说明的是，显示模块12可拆卸安装于头戴框架11上，比如，显示模块为手机、平板电脑等智能显示终端；或者，显示模块固定安装于头戴框架上，比如，显示模块与头戴框架集成设计。
头戴框架11上可以安装两个显示模块12，用户的左眼和右眼分别对应地设置一个显示模块12，例如，一个显示模块12用于发射包含左眼虚拟图像信息的第一光线，另一个显示模块12用于发射包含右眼虚拟图像信息的另一第一光线。两个显示模块12可以分别一一对应地位于两个透视型导光元件13的上方，当基于增强现实的信息处理设备佩戴在用户的头部时，两个显示模块12分别一一对应地位于用户的左眼和右眼的上方；显示模块12也可以位于透视型导光元件的侧方，即两个透视型导光元件位于两个显示模块之间，当基于增强现实的信息处理设备佩戴在用户的头部时，两个显示模块分别一一对应地位于用户的左眼和右眼的侧方。
头戴框架11上也可以安装单个显示模块12，该单个显示模块12上有两个显示区域，一个显示区域用于发射包含左眼虚拟图像信息的第一光线，另一个显示区域用于发射包含右眼虚拟图像信息的另一第一光线。
显示模块包括但不限于LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)、LCOS(Liquid Crystal On Silicon，硅基液晶)等类型的显示器。
参阅图1c，图中的横向轴标识侧视角度，纵向轴表示显示亮度。显示模块12为LCD时，显示模块12的亮度是随着观察者的角度来变化的。对于普通LCD，在显示亮度为50％时的侧观察角度θ一般都比较大。
LCD应用于对于增强现实显示系统时，则比较适用于小的侧观察角度，这样的显示模块12的亮度就会集中在靠近中心的角度区域。因为增强现实显示系统主要使用靠近中心的角度区域，这样的话投影到用户眼中的第一光线及第二光线的亮度会比较高。参阅图1d，应用于增强现实显示系统中的LCD发出的第一光线及第二光线的亮度在显示亮度为50％时的侧观察角度θ一般都比较小。并且，应用于增强现实显示系统中的LCD发出的第一光线及第二光线的亮度的分布关于0度侧视角左右对称，且侧视角度小于60度。即是，用户视角垂直于显示模块12时，显示模块12发出的第一光线及第二光线的亮度的显示亮度为最大，用户视角向两侧偏移时，显示亮度逐渐减小，在侧视角小于60度时，显示亮度为0。
可选地，参阅图1e，应用于增强现实显示系统的LCD的发出的第一光线及第二光线的亮度分布可不关于0度侧视角对称，且显示亮度最亮时的侧视角度不为0度。
参阅图2a，两个显示模块12分别一一对应地位于两个透视型导光元件13的上方，用户佩戴上所述基于增强现实的信息处理设备时，显示模块12与用户头部的正平面形成一夹角a，所述夹角a的角度为0度至180度，优选为钝角。同时，显示模块12在水平面上的投影与正平面垂直。
参阅图2b，在某些实例中，透视形导光元件13的位置可以绕与水平面垂直的某一转轴旋转一定角度b，所述角度b的角度为0度至180度，优选为0度至90度。同时，对应左眼和右眼的透视型导光元件13可以通过头戴框架11上的机械结构调整间距，以适应不同用户的瞳距，保证使用时的舒适度和成像质量。所述两个透视型导光元件13的边缘之间的最远距离小于150毫米，即对应于左眼设置的透视型导光元件13的左边缘到对应于右眼设置的透视型导光元件13的右边缘的距离小于150毫米。相应的，显示模块12之间通过机械结构连接，所述显示模块12之间的距离也可以进行调整，或者通过调整显示内容在显示模块12上的位置达到同样的效果。
头戴框架11可以是用于挂在用户耳部和鼻梁部的眼镜式的框架结构，其上设置有鼻托111和镜腿112，通过鼻托111与镜腿112固定在用户的头部，所述镜腿112为可折叠结构，其中鼻托111对应固定在用户的鼻梁上，镜腿112对应固定在用户的耳朵上。进一步的，眼镜腿112之间还可以通过松紧带相连，佩戴时松紧带收紧眼镜腿，帮助框架在头部的固定。
可选地，鼻托111和镜腿112为可伸缩机构，可分别调整鼻托111的高度和镜腿112的伸缩长度。同样，鼻托111和镜腿112还可以为可拆卸结构，拆卸后可对鼻托111或者镜腿112进行更换。
可选地，头戴框架11可包括鼻托和伸缩皮筋，通过鼻托与伸缩皮筋固定在用户头部；或者仅包括伸缩皮筋，通过所述伸缩皮筋固定在用户头部。可选地，头戴框架11也可以是用于佩戴在用户头顶和鼻梁部的头盔式框架结构。本发明实施例中，由于头戴框架11的主要作用是用来佩戴在用户的头部以及为显示模块12、透视型导光元件13等光、电元器件提供支撑，头戴框架包括但不限于上述方式，在具备上述主要作用的前提下，本领域技术人员能够根据实际应用的需要对头戴框架作出若干变形。
参阅图3，显示模块12发射包含左眼虚拟图像信息的第一光线121，经由一透视型导光元件13的凹面131反射的第一光线121进入用户的左眼14；同理，显示模块发射包含右眼虚拟图像信息的另一第一光线，经由另一透视型导光元件的凹面反射的另一第一光线进入用户的右眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，另外，不同于谷歌眼镜中通过在用户的右眼前直接设置一块小型显示屏的方式，导致视觉区域较小，本发明实施例中，通过两个透视型导光元件反射更多的显示模块发射的第一光线分别进入用户的双眼，视觉区域较大。
在本发明实施例中，当基于增强现实的信息处理设备实现增强现实的功能，每一透视型导光元件13还具有一与凹面相背设置的凸面；经由透视型导光元件13的凸面和凹面透射的包含外界图像信息的第二光线进入用户的双眼，以形成混合3D虚拟场景和真实场景的视觉。再次参阅图1a，一透视型导光元件13还具有与凹面131相背设置的凸面132，经由透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第二光线151进入用户的左眼14，同理，另一透视型导光元件还具有与其凹面相背设置的凸面，经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第二光线进入用户的右眼，用户能够看到外界的真实场景，从而形成混合3D虚拟场景和真实场景的视觉感受。
参阅图4，可选地，在人眼与透视型导光元件13之间设置一屈光度矫正镜片16，所述屈光度矫正镜片16垂直于水平面设置。可选地，所述屈光度矫正镜片所在平面也可与水平面成30度到90度的夹角。可选地，可任意设置不同度数的屈光度矫正镜片。显示模块12发射包含左眼虚拟图像信息的第一光线121，经由透视型导光元件13的凹面131反射的第一光线121以及经由透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第二光线151进入用户的左眼14之前，先经过屈光矫正镜片16。所述屈光矫正镜片16为凹透镜，使经过其上的第一光线121以及第二光线151发散，使第一光线121以及第二光线151在左眼14上的焦点后移。同样，所述屈光矫正镜片16还可为凸透镜，使经过其上的第一光线121以及第二光线151汇聚，使第一光线121以及第二光线151在左眼14上的焦点前移。
同理，显示模块发射包含右眼虚拟图像信息的另一第一光线，经由另一透视型导光元件的凹面反射的另一第一光线以及经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第二光线进入用户的右眼之前，也先经过一屈光度矫正镜片。
参阅图5，基于增强现实的信息处理设备佩戴在用户头部上后，以用户的眼球为顶点，用户的眼球到通过所述透视型导光元件13看到的虚拟图像的虚拟显示区域的两侧边缘构成对角线视场区域。头部框架的最远端到与头部最前端接触位置的距离为c，可根据需要调节所述c的距离长度。所述对角线视场区域的角度大小与所述头部框架11的最远端到与头部最前端接触位置的距离成反比。优选地，在保证对角线视场区域大于55度的前提下，头部框架的最远端到与头部最前端接触位置的距离小于80mm。
参阅图6，二显示模块12通过电缆连接到主板17上。
主板17上还设置有视频接口、电源接口、通信芯片以及存储器。
所述视频接口用于连接计算机、手机、或其他设备接收视频信号。其中所述视频接口可以为：hmdi、display port、thunderbolt或usb type-c，micro usb,MHL(Mobile High-Definition Link)等接口。
所述处理器，用于处理数据，其中主要用于解码视频信号传输并显示在显示模块12上。
所述电源接口，用于外接电源或电池供电。所述电源接口包括USB接口或者其他接口。
所述通信芯片，用于通过通信协议与外界进行数据交互，具体为通过WiFi、WDMA、TD-LTE等通信协议连接互联网，再通过互联网获取数据或者与其它基于增强现实的信息处理设备连接；或者直接通过通信协议与其它基于增强现实的信息处理设备相连。
所述存储器，用于存储数据，主要用于存储显示模块12中显示的显示数据。
当基于增强现实的信息处理设备仅包括如上所述的头戴框架11、二显示模块12、两个透视型导光元件13及主板17时，所有的3D虚拟场景渲染、对应双眼的图像生成均在与基于增强现实的信息处理设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。
具体地，基于增强现实的信息处理设备通过视频接口接收外接设备的视频信号，解码后在显示模块12上显示。同时，与用户的交互通过计算机、手机、平板电脑等外接设备上的应用软件进行，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的信息处理设备进行交互。这种基本结构的应用实例包括但不限于大屏幕便携显示器。基于增强现实的信息处理设备可以将显示屏幕投射在用户视野内的某一固定位置。用户需要通过与基于增强现实的信息处理设备相连的设备上的软件进行调整投射屏幕的尺寸、位置等操作。
本发明实施例提供的一种基于增强现实的信息处理设备，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息以及右眼虚拟图像信息的第一光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。
实施例二
参阅图7，在实施例一中提供的一种基于增强现实的信息处理设备的基础上，设置多个传感器进行对周边环境进行感知。
本实施例提供的一种基于增强现实的信息处理设备，所述基于增强现实的信息处理设备的总重量小于350克，其包括：头戴框架21、二显示模块22、两个透视型导光元件23及主板24。
所述显示模块22、透视形导光元件23及主板24皆设置在头戴框架21上，头戴框架21将显示模块22、透视形导光元件23及主板24进行固定。显示模块22设置在透视形导光元件23的上侧，显示模块22发出的光线能够经过透视形导光元件23后发生反射。主板24，主板24位于二显示模块22之间，所述主板24上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块22上。
头戴框架21、二显示模块22、两个透视型导光元件23、主板24与实施例一中所述的头戴框架11、二显示模块12、两个透视型导光元件13、主板17的具体功能、结构及位置关系相同，在此不进行赘述。
同样，在人眼与透视型导光元件23之间设置一屈光度矫正镜片，所述屈光度矫正镜片垂直于水平面设置。可选地，可任意设置不同度数的屈光度矫正镜片。
头部框架21上还设置有单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219。
单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219皆电连接在主板24上。
具体地，所述单目摄像头211为彩色单目摄像头，放置于头部框架21的前部。用户佩戴所述基于增强现实的信息处理设备时，单目摄像头211朝向相对于用户脸部的另一侧，可以使用该摄像头进行拍照。进一步的，还可以对使用该摄像头，运用计算机视觉技术检测环境中的位置已知的标记，帮助所述基于增强现实的信息处理设备进行定位。
所述单目摄像头211还可以为高分辨率的摄像头，用于拍照或者拍摄视频；拍摄所获得的视频还可以通过软件叠加用户所见的虚拟物体，复现用户通过基于增强现实的信息处理设备看到的内容。
所述双目/多目摄像头212可以是单色或彩色的摄像头，其设置在头戴框架21前部或侧面，且位于单目摄像头211的一侧、两侧或者四周。进一步的，所述双目/多目摄像头212可以带有红外滤光片。使用双目摄像头，可以在获得环境图像的基础上，进一步得到图像上的景深信息。使用多目摄像头，则可以进一步扩展相机的视角，获得更多的环境图像与景深信息。双/多目摄像头212捕获的环境图像和距离信息可被用于:(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算基于增强现实的信息处理设备的姿态。(2)捕获用户手势、掌纹等用于人机交互。
可选地，上述的单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。
所述眼球追踪摄像头213，设置在透视型导光元件23的一侧，用户佩戴所述基于增强现实的信息处理设备时，眼球追踪摄像头213朝向相对于用户脸部的一侧。所述眼球追踪摄像头213用于跟踪人眼焦点，对人眼所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理。比如，在人眼所注视的物件旁边自动显示此物件的具体信息等。另外对人眼注视的区域可以显示高清晰度的虚拟物件图像，而对其他区域则只显示低清晰度图像即可，这样可以有效减少图像渲染的计算量，而不会影响用户体验。
陀螺仪214、加速度计215、磁场计216设置在二显示模块22之间。可以通过融合陀螺仪214、加速度计215和磁场计216的数据，得到用户头部与系统初始位置间相对姿态。这些传感器的原始数据可以进一步和双目/多目摄像头212的数据进行融合，得到基于增强现实的信息处理设备在固定环境中的位置和姿态。
所述景深传感器217设置在头戴框架21的前部，可以直接获得环境中的景深信息。与双/多目摄像头212相比，景深传感器可以获得更准确、分辨率更高的景深数据。类似的，使用这些数据可以：(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算基于增强现实的信息处理设备的姿态。(2)捕获用户手势、掌纹等用与人机交互。(3)检测用户周围物体的三维信息。
所述环境光传感器218设置在头戴框架21上，可以实时监控环境光线的强弱。基于增强现实的信息处理设备根据环境光的变化实时的调整显示模块22的亮度，以保证显示效果在不同环境光下的一致性。
所述距离传感器219设置在基于增强现实的信息处理设备与用户面部接触的位置，用于检测基于增强现实的信息处理设备是否佩戴在用户头部。若用户摘下了基于增强现实的信息处理设备，则可以通过关闭显示模块22、处理器等方式节电。
可选地，所述基于增强现实的信息处理设备还包括：红外/近红外光LED，所述红外/近红外光LED电连接在主板24上，所述红外/近红外光LED用于为双目/多目摄像头212提供光源。具体为，所述红外/近红外LED发出红外线，在红外线到达通过双目/多目摄像头212获取的物体时，所述物体将红外线反射回去，双目/多目摄像头212上的感光元件接收反射回来的红外线并转换成电信号，接着在进行成像处理。
所述基于增强现实的信息处理设备在进行人机交互时，可进行的操作包括如下：
(1)基于增强现实的信息处理设备可以将显示屏幕投射在用户视野内的某一固定位置。用户可通过基于增强现实的信息处理设备上的传感器进行调整投射屏幕的尺寸、位置等操作。
(2)可以通过各类传感器进行手势、掌纹识别，用于人机交互。
(3)可以通过眼球追踪判断用户的意图，对人眼所观察虚拟物件或虚拟屏幕中的特定部位进行相应处理。
(4)还可以在支架上增加实体或触摸按钮、摇杆等，用于人机交互。
(5)可以配有遥控器，遥控器上有按钮、摇杆、触控板等，通过有线或无线的方式与基于增强现实的信息处理设备相连，作为人机交互界面。
(6)可以通过在主板上增加音频解码和功率放大芯片，集成耳塞插孔、耳塞、或喇叭等发生设备与麦克风，允许用户使用语音与基于增强现实的信息处理设备进行交互。
参阅图8，主板上设置有视频接口和处理器。
当基于增强现实的信息处理设备包括如上所述的头戴框架21、二显示模块22、两个透视型导光元件23、主板24以及如上所述的多个传感器时，所有的3D虚拟场景渲染、对应双眼的图像生成以及多个传感器获取的数据的处理均可在与基于增强现实的信息处理设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。
具体地，基于增强现实的信息处理设备通过视频接口接收外接设备的视频信号，解码后在显示模块23上显示。外接设备接收基于增强现实的信息处理设备上的多个传感器获取的数据，进行处理后根据数据对双眼显示的图像进行调整，在显示模块23上显示的图像上进行体现。基于增强现实的信息处理设备上的处理器仅用于支持视频信号的传输与显示以及传感器数据的传递。
参阅图9，主板上设置有运算能力较强的处理器，将部分或全部计算机视觉算法在基于增强现实的信息处理设备内完成。
具体地，基于增强现实的信息处理设备通过视频接口接收外接设备的视频信号，解码后在显示模块23上显示。外接设备接收基于增强现实的信息处理设备上的部分传感器获取的数据，进行处理后根据传感器数据对双眼显示的图像进行调整，在显示模块23上显示的图像上进行体现。其余传感器获取的数据则在基于增强现实的信息处理设备上处理。例如，单目摄像头211、双目/多目摄像头212、陀螺仪214、加速度计215、磁场计216及景深传感器217获取的数据在基于增强现实的信息处理设备中处理。眼球追踪摄像头213、环境光传感器218及距离传感器219获取的数据在外接设备中处理。基于增强现实的信息处理设备上的处理器用于支持视频信号的传输与显示、部分传感器数据的处理以及其余传感器数据的传递。
参阅图10，主板上设置有高性能的处理器以及图像处理器，在基于增强现实的信息处理设备内完成所有的运算。在这种模式下，增强现实显示无需连接外接设备，可作为一个独立的系统运行。
具体地，基于增强现实的信息处理设备将传感器获取的数据进行处理后,对双眼显示的图像进行调整,渲染后在显示模块23上显示。基于增强现实的信息处理设备上的处理器用于视频信号的解码处理与显示以及传感器数据的处理。
在实施例一及实施例二中所述的基于增强现实的信息处理设备实现增强现实的实际应用中，为了增加透视型导光元件的凹面对显示模块发射的第一光线的反射率，例如，透视型导光元件的凹面镀有反射膜，较佳的，镀有反射膜的透视型导光元件的凹面的反射率是20％-80％。又如，若第一光线是线偏振光，为了增加透视型导光元件的凹面的反射率，透视型导光元件的凹面镀有偏振反射膜，偏振反射膜的偏振方向与第一光线的偏振方向之间的角度大于70°且小于等于90°，比如：偏振反射膜的偏振方向与第一光线的偏振方向垂直，实现近乎为100％的反射率，另外，由于包含外界图像信息的第二光线是非偏振光，若透视型导光元件的凹面镀有偏振反射膜，当第二光线经由该偏振反射膜时，有近乎50％的第二光线进入用户的双眼，用户仍然能够看到外界的真实场景。为了更好地让包含外界图像信息的第二光线进入用户的双眼，透视型导光元件的凸面镀有增透膜。
在实施例一及实施例二中所述的基于增强现实的信息处理设备的实际应用中，为了实现透视型导光元件的凹面对显示模块发射的第一光线的反射率的可控调节，透视型导光元件的凹面设有压敏反射膜，通过改变加载在压敏反射膜上的电压大小，能够调节压敏反射膜的反射率位于0至100％之间，当压敏反射膜的反射率为100％时，基于增强现实的信息处理设备可以实现虚拟现实的功能。
为了实现透视型导光元件的与凹面相背设置的另一表面对包含外界图像信息的第二光线的透光率的可控调节，透视型导光元件的与凹面相背设置的另一表面上设有压敏黑片，通过改变加载在压敏黑片上的电压大小，能够调节压敏黑片透光率的高低。
本发明实施例提供的一种基于增强现实的信息处理设备，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息及包含右眼虚拟图像信息的第一光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。同时在基于增强现实的信息处理设备上设置多个传感器，传感器感知周边的环境后，可将感知的结果在显示模块中显示的图像中进行体现，使得临场感受更好，用户体验更佳。
实施例三
本实施例提供一种基于增强现实的信息处理方法，包括：
获取包含会议室的实景图像的第一光线；
发出包含虚拟图像的第二光线；
将所述包含会议室的实景图像的第一光线合成与包含虚拟图像的第二光线进行合成。
具体地，参阅图11，在传统会议方式的基础上，参会者佩戴实施例一或二所述的基于增强现实的信息处理设备，将基于增强现实的信息处理设备连接至笔记本电脑，基于增强现实的信息处理设备获取通过笔记本电脑传送的虚拟图像的显示数据，然后在基于增强现实的信息处理设备的显示模块12上进行显示。虚拟图像的显示数据包括：一块或数块虚拟显示屏，各种虚拟的三维物体等，两个显示模块12发出包含上述虚拟图像的显示数据的光线再结合获取的经过透视型导光元件13的包含会议室景象图像信息的光线，两种光线经过基于增强现实的信息处理设备上的透视型导光元件13的合成后在用户眼睛内融合，经过参会者的人脑处理，可以将虚拟图像的显示数据的内容以三维的形式呈现在参会者的眼前。可以理解为所述基于增强现实的信息处理设备将虚拟图像的显示数据投射在用户视野内的会议室实景图像中。
在此种应用场景中，所有的场景渲染、两个显示模块12上的图像生成均在与基于增强现实的信息处理设备相连的笔记本电脑中进行。与虚拟图像的显示数据的交互通过笔记本电脑上的应用软件进行。比如，参会者可通过笔记本电脑上的应用软件进行调整投射虚拟显示屏幕的尺寸、位置等操作。
同样，部分的场景渲染、两个显示模块12上的部分图像生成可在与基于增强现实的信息处理设备相连的笔记本电脑中进行，其他部分的场景渲染以及两个显示模块12上的其他部分的图像生成在基于增强现实的信息处理设备上进行。或者全部的场景渲染、两个显示模块12上的全部图像生成在基于增强现实的信息处理设备的处理器中处理。
同样，基于增强现实的信息处理设备还可以不接笔记本电脑使用，从基于增强现实的信息处理设备内的存储器中调用虚拟图像的显示数据在显示模块12中进行显示。
所述一块或数块虚拟显示屏，主要用来显示仅参会者本人可见的文字内容或二维图像，比如做报告时的演讲稿，其他参会者实时发送的私聊信息等。由于这些信息直接出现在参会者的视野内，可以很方便地被看到且仅有参会者能看到，一些开会时需要私下传递的信息能够在保证私密性的同时，确保被收信方及时阅读。
所述各种虚拟的三维物件，比如产品的三维模型等，并可以通过常规的鼠标、键盘操作对其进行转动、平移、缩放、局部放大等操作。三维模型角度、位置、大小等信息都可以通过通信芯片实时地传递给其他参会者，使他们能够同步的看到模型的变化，使得围绕这些三维物件的探讨变得非常便利。三维物体还可以是人物的三维形象。三维形象可以是类似动画人物的虚构形象，也可以是通过一个或多个摄像机拍摄后合成的真实三维形象。
由于参会者依然可以看见周围的环境，因此使用鼠标键盘进行输入不会带来任何困难。
可选地，基于增强现实的信息处理设备也可以连接至手机、平板电脑等移动端设备，通过外接有线、无线鼠标键盘进行输入，对显示数据进行控制。
将获取到的所述会议室的实景图像与所述虚拟图像合成后进行显示时包括第一显示模式、第二显示模式或第三模式；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式。所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。
由于基于增强现实的信息处理设备仅作为显示器，并不具备感知周围环境和头显在三维空间中位置的能力，当参会者头部发生转动或移动时，基于增强现实的信息处理设备在用户视野内投射的显示数据也会跟着在真实空间中发生转动和移动，仅在参会者本人视野内的位置和姿态固定。参阅图12，虚拟显示屏、虚拟产品等显示数据在基于增强现实的信息处理设备的坐标系FH中的位置和姿态是固定的。当参会者头部发生转动时，基于增强现实的信息处理设备在真实空间中的位置和姿态发生变化，即FH与FI的相对位置和姿态发生变化，投射的显示数据在真实空间坐标系FI中的位置和姿态也会随之改变。这种显示模式称为“第一显示模式”。处理器将所述包含会议室的实景图像的第一光线合成与包含虚拟图像的第二光线进行合成后以第一显示模式进行显示。
在实施例二所述的基于增强现实的信息处理设备的应用时，可以通过单目摄像头211运用计算机视觉技术检测环境中的位置已知的标记，帮助所述基于增强现实的信息处理设备进行定位，通过景深传感器217获得环境中的景深信息。或者，基于增强现实的信息处理设备还可以通过使用双目/多目摄像头212，在获得环境图像的基础上，进一步得到获取的图像上的景深信息。接着，基于增强现实的信息处理设备通过将单目摄像头211、景深传感器217或者双目/多目摄像头212获得的数据进行处理，处理器利用计算机视觉技术对周围环境进行3D建模，实时识别真实环境中不同物体并确定它们在空间中的位置和姿态。这样，基于增强现实的信息处理设备能分析得出参会者附近有哪些空间能够较好地投射虚拟显示屏、虚拟产品以及其他数字内容等显示数据。另外，基于增强现实的信息处理设备还可以通过陀螺仪214、加速度计215、磁场计216获取的数据结合单目摄像头211、景深传感器217或者双目/多目摄像头212获得的图像和景深数据，计算基于增强现实的信息处理设备在真实空间中的位置和姿态，即坐标系FH与FI的相对位置和角度关系T。由于基于增强现实的信息处理设备中投射的虚拟图像的显示数据，如虚拟显示屏、虚拟产品等，在坐标系FH中的位置和姿态已知，通过T可以获得投射数字内容在真实空间(FI)中的位置和角度。相对的，若希望投射内容出现在真实空间(FI)的某个位置和角度，则可通过关系T，计算出投射内容在基于增强现实的信息处理设备坐标系FH中的位置和姿态，将虚拟屏幕等投射内容放置于此。
这样，基于增强现实的信息处理设备可以实现“第二显示模式”。参阅图13，当参会者头部转动时，可以通过调整投射内容在基于增强现实的信息处理设备内显示的位置和姿态，将投射内容“固定”在真实空间内，让参会者感觉到觉得虚拟物体是真实的。
基于增强现实的信息处理设备使用陀螺仪、加速度计和磁场计，获得用户头部与所处环境间的相对角度，可以实现“第三显示模式”在这种显示模式下，虚拟物体的与环境间的相对角度固定，但相对位置可以发生移动。
综上所述，第一显示模式、第二显示模式以及第三显示模式与真实环境以及使用者头部之间的关系如下表所示：
与环境相对位置 与环境相对角度 与头部相对位置 与头部相对角度
第一显示模式 不固定 不固定 固定 固定
第二显示模式 固定 固定 不固定 不固定
第三显示模式 不固定 固定 固定 不固定
需要注意的是，“第一显示模式”、“第二显示模式”或“第三显示模式”可以针对不同的虚拟图像混合使用，可以由系统软件决定也可以由使用者自主设置。
所述“第一显示模式”、“第二显示模式”或“第三模式”通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。
具体地，通过单目摄像头211、景深传感器217或者双目/多目摄像头212扫描并识别在实景图像中设置的二维码，所述二维码包含开启第一显示模式、开启第二显示模式的信息或开启第三显示模式的信息。在识别出二维码中的信息后，以所述二维码的信息对应的显示模式进行显示。如，扫描出二维码中的信息为开启第一显示模式的信息，则以第一显示模式进行显示；又如扫描出的二维码中的信息为开启第二显示模式或者第三显示模式的信息，则以第二显示模式或者第三模式进行显示。
同理，可通过单目摄像头211、景深传感器217或者双目/多目摄像头212扫描并识别在实景图像中设置的人工标记，所述人工标记包含开启第一显示模式或者开启第二显示模式的信息。如，识别出人工标记中的信息为开启第一显示模式的信息，则以第一显示模式进行显示；又如识别出的人工标记中的信息为开启第二显示模式第三模式的信息，则以第二显示模式或者第三模式进行显示。
二维码或其他实景图像中设置的二维平面上的人工标记还可以用于辅助以第二显示模式显示时的基于增强现实的信息处理设备进行定位：根据单目摄像头211、景深传感器217或者双目/多目摄像头212拍摄到的二维码或者人工标记的形状与大小，与该二维码或者人工标记在二维平面上的实际大小与形状进行比对，推算出标记与摄像头之间的相对位置和角度。由于标记在环境中的位置固定，则可以由此计算出基于增强现实的信息处理设备与环境的相对位置和角度关系T，从而实现第二显示模式。
所述一种基于增强现实的信息处理方法还包括：将虚拟图像在不同的基于增强现实的信息处理设备中进行同步显示。具体地，参阅图14，每一个参会者佩戴的基于增强现实的信息处理设备投射的虚拟物体，包括虚拟显示器、虚拟产品等等，均可以设置为同步模式，通过通信芯片连接其它基于增强现实的信息处理设备并将虚拟物体的模型、大小、姿态以及位置，同步传送至每一个或指定参会者佩戴的基于增强现实的信息处理设备内的显示模块12中显示。被同步的参会者也可以对虚拟物体的大小、姿态以及位置进行控制与调整，并同步传送至其他同步显示的参会者，实现在增强现实环境下的协同工作。同步显示对于第一显示模式和第二显示模式均适用。在第一显示模式中，同步虚拟物体在参会者是视野范围内的位置。若在第二显示模式中进行同步显示，则同步虚拟物体在真实空间中的位置。且参会者们同处一个会议室内，虚拟产品对所有人来说都出现在空间中同一位置，协同工作的体验会非常接近面对一个真实产品时的情况，效果逼真。
进一步的，可对虚拟图像进行操控。基于增强现实的信息处理设备可通过单目摄像头211、景深传感器217或者双目/多目摄像头212跟踪用户的手势的运动，分析参会者的意图，实现对虚拟显示的内容进行操作。
示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212跟踪参会者的手指的位置，在识别到手指的点击动作之后，执行手指点击动作对应的操作指令。
示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212识别到参会者的手势的抓取动作，则执行抓取动作对应的指令，对虚拟屏幕整体，或者虚拟屏幕中的物体进行拖曳操作。
示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212识别到放大或缩小的手势动作，则执行放大或缩小的手势动作对应的指令，对虚拟屏幕或者虚拟屏幕中的物体进行缩放。
这些对虚拟物体的手势操作同样可以被同步到指定或所有参会者的头显内，若与第二显示模式相结合，可以实现自然逼真的多人交互。
进一步的，可对参会者进行人脸识别，显示识别到的人脸对应的参会者的身份信息。参阅图15，A基于增强现实的信息处理设备可以单目摄像头211或者双目/多目摄像头212拍摄周围的环境，运用计算机视觉技术识别所有参会者的人脸，分别与公司内部的数据库或参会者社交网络页面上的头像进行比对，识别出面前每一位参会者的姓名、职位、背景等信息，并直接投影在基于增强现实的信息处理设备内、每一位参会者附近的虚拟提示板上，使参会者即便是第一次见面也能迅速了解对方的重要信息，使会议更加高效。
可选地，所述一种基于增强现实的信息处理方法还包括：获取远程的会议室的实景图像和/或远程的基于增强现实的信息处理设备中显示的虚拟图像，与本地的实景图像和/或虚拟图像合成后进行显示。参阅图16，会议室一和会议室二分别在不同的地点。A、B在会议室一内，C在会议室二进行远程会议。参会者A、B可以通过在会议室一内设置的摄像头以及基于增强现实的信息处理设备上的景深传感器217，对自己所处的环境进行实时的三维建模，并将三维影像通过通信芯片连接网络实时的传送至C的基于增强现实的信息处理设备中，经处理器处理后投射在C眼前，投射在C眼前的三维影像为A、B所在会议室的图像和/或A、B佩戴的基于增强现实的信息处理设备上显示的虚拟图像与C所在会议室的图像和/或C佩戴的基于增强现实的信息处理设备上显示的虚拟图像经处理器合成后的景象。同样，C可以将自己的三维影像通过网络传送至会议室内的A、B佩戴的基于增强现实的信息处理设备中，经处理器处理后投射在A、B的眼前。若C的基于增强现实的信息处理设备使用第二显示模式，对周围环境进行了建模，则可以将A，B的虚拟图像固定在会议桌前的空椅子上。同样的，A和B也可以将C的三维虚拟影像固定在A和B所在会议室内的空椅子上。这样，对所有参会者来说，都会觉得所有参会者是在同一个会议室内开会，极大的提升临场感。
可选地，还可通过眼球追踪摄像头213跟踪参会者的眼睛的焦点，对参会者眼睛焦点所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理，比如，在参会者眼睛所集中观察的局部区域，自动显示注释，和所观察物体的具体信息等。这些附加显示同样可以有选择地与其他参会者进行同步。
区别于现有技术，本实施方式提供的一种基于增强现实的信息处理方法将会议室的实景图像与虚拟图像结合，虚拟图像能够为参会者提供信息提示，辅助参会者进行会议的进行，用户体验好，使用方便。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (22)

1.一种基于增强现实的信息处理方法，其特征在于，包括：
获取包含会议室的实景图像的第一光线；
发出包含虚拟图像的第二光线；
将所述包含会议室的实景图像的第一光线合成与包含虚拟图像的第二光线进行合成。
2.根据权利要求1所述的方法，其特征在于，所述虚拟图像包括：一块或数块虚拟显示屏和/或虚拟的三维物体。
3.根据权利要求2所述的方法，其特征在于，所述一块或数块虚拟显示屏用来显示文字内容或者二维图像；所述虚拟的三维物体包括产品的三维模型或人物的三维形象；所述人物的三维形象包括类似动画人物的虚构形象或通过一个/多个摄像机拍摄后合成的真实三维形象。
4.根据权利要求1-3任一项权利要求所述的方法，其特征在于，将获取到的所述会议室的景实景图像与所述虚拟图像合成后进行显示时包括第一显示模式、第二显示模式或第三显示模式；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式；所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。
5.根据权利要求3所述的方法，其特征在于，所述第一显示模式、第二显示模式或第三显示模式通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。
6.根据权利要求1-3任一项权利要求所述的方法，其特征在于，所述方法还包括：获取到的所述会议室实景图像与所述虚拟图像合成后显示在多个基于增强现实的信息处理设备上，每一基于增强现实的信息处理设备通信连接，将虚拟图像在不同的基于增强现实的信息处理设备中进行同步显示。
7.根据权利要求1-3任一项权利要求所述的方法，其特征在于，所述方法还包括：跟踪手势的运动，对虚拟图像进行操作。
8.根据权利要求1-3任一项权利要求所述的方法，其特征在于，所述方法还包括：进行人脸识别，显示识别到的人脸对应的参会者的身份信息。
9.根据权利要求1-3任一项权利要求所述的方法，其特征在于，获取远程的实景图像和/或虚拟图像，与获取的本地的实景图像和/或虚拟图像合成后进行显示。
10.根据权利要求1-3任一项权利要求所述的方法，其特征在于，所述方法还包括：对用户眼睛所注视的虚拟图像的特定部位进行追踪和特定处理。
11.一种基于增强现实的信息处理设备，包括：
透视型导光元件，用于获取包含会议室的实景图像的第一光线；
显示模块，用于显示虚拟图像并发出包含虚拟图像的第二光线；
透视型导光元件还用于将所述包含会议室的实景图像的第一光线合成与包含虚拟图像的第二光线进行合成。
12.根据权利要求11所述的设备，其特征在于，显示模块显示的虚拟图像包括：一块或数块虚拟显示屏和/或虚拟的三维物体。
13.根据权利要求12所述的设备，其特征在于，所述一块或数块虚拟显示屏用来显示文字内容或者二维图像；所述虚拟的三维物体包括产品的三维模型或人物的三维形象；所述人物的三维形象包括类似动画人物的虚构形象或通过一个/多个摄像机拍摄后合成的真实三维形象。
14.根据权利要求11-13任一项权利要求所述的设备，其特征在于，所述设备还包括处理器、陀螺仪、加速度计、磁场计、单目摄像头、景深传感器或者双目/多目摄像头，所述处理器用于将所述包含虚拟图像的第一光线与包含会议室的实景图像的第二光线进行合成后以第一显示模式进行显示；或者处理器结合陀螺仪、加速度计、磁场计、单目摄像头、景深传感器或者双目/多目摄像头的数据后以第二显示模式进行显示；或者处理器结合陀螺仪、加速度计或磁场计的数据后，以第三显示模式进行显示；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式；所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。
15.根据权利要求14所述的设备，其特征在于，所述第一显示模式、第二显示模式或第三显示模式通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。
16.根据权利要求14所述的设备，其特征在于，所述单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。
17.根据权利要求11-13任一项权利要求所述的设备，其特征在于，所述设备还包括：通信芯片，用于与其它基于增强现实的信息处理设备进行通信连接；处理器将所述虚拟图像通过通信芯片发送至其它基于增强现实的信息处理设备上，将虚拟图像在其它基于增强现实的信息处理设备中进行同步显示。
18.根据权利要求11-13任一项权利要求所述的设备，其特征在于，所述单目摄像头、景深传感器或者双目/多目摄像头还用于跟踪手势的运动，并识别手势动作。
19.根据权利要求11-13任一项权利要求所述的设备，其特征在于，所述方法还包括：单目摄像头或者双目/多目摄像头还用于进行人脸识别，识别到的数据经处理器处理后在显示模块中显示识别到的人脸对应的参会者的身份信息。
20.根据权利要求11-13任一项权利要求所述的设备，其特征在于，通信芯片还用于获取远程的会议室的实景图像和/或虚拟图像，处理器将获取远程的会议室的实景图像和/或虚拟图像与获取的本地的实景图像和/或虚拟图像合成后进行显示。
21.根据权利要求11-13任一项权利要求所述的设备，其特征在于，所述设备还包括眼球追踪摄像头，用于对用户眼睛所注视的虚拟图像的特定部位进行追踪和特定处理。
22.根据权利要求11-13任一项权利要求所述的设备，其特征在于，所述基于增强现实的信息处理设备与外接设备相连时，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的信息处理设备进行交互。
CN201710079356.2A 2017-02-14 2017-02-14 一种基于增强现实的信息处理方法及设备 Pending CN108427195A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710079356.2A CN108427195A (zh) 2017-02-14 2017-02-14 一种基于增强现实的信息处理方法及设备
PCT/CN2018/073463 WO2018149266A1 (zh) 2017-02-14 2018-01-19 一种基于增强现实的信息处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710079356.2A CN108427195A (zh) 2017-02-14 2017-02-14 一种基于增强现实的信息处理方法及设备

Publications (1)

Publication Number Publication Date
CN108427195A true CN108427195A (zh) 2018-08-21

Family

ID=63155182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710079356.2A Pending CN108427195A (zh) 2017-02-14 2017-02-14 一种基于增强现实的信息处理方法及设备

Country Status (2)

Country Link
CN (1) CN108427195A (zh)
WO (1) WO2018149266A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582822A (zh) * 2020-05-07 2020-08-25 维沃移动通信有限公司 基于ar的会议方法、装置及电子设备
CN113676690A (zh) * 2020-05-14 2021-11-19 钉钉控股（开曼）有限公司 一种视频会议的实现方法、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102577370A (zh) * 2010-03-31 2012-07-11 新日铁系统集成株式会社 信息处理系统、会议管理装置、信息处理方法、会议管理装置的控制方法以及程序
US20130215235A1 (en) * 2011-04-29 2013-08-22 Austin Russell Three-dimensional imager and projection device
CN104915979A (zh) * 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
US9165318B1 (en) * 2013-05-29 2015-10-20 Amazon Technologies, Inc. Augmented reality presentation
CN105283825A (zh) * 2013-05-22 2016-01-27 微软技术许可有限责任公司 增强现实对象的身体锁定放置
CN105915879A (zh) * 2016-04-14 2016-08-31 京东方科技集团股份有限公司 一种视频显示方法、头戴式显示装置及系统
CN105955453A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种3d沉浸式环境下的信息输入方法
CN106056405A (zh) * 2016-05-27 2016-10-26 上海青研科技有限公司 基于虚拟现实视觉兴趣区域的广告定向推送技术
CN106339087A (zh) * 2016-08-29 2017-01-18 上海青研科技有限公司 一种基于多维坐标的眼球追踪方法及其装置
CN106354205A (zh) * 2016-08-25 2017-01-25 安徽协创物联网技术有限公司 一种可穿戴虚拟现实实现系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
WO2013171731A1 (en) * 2012-05-16 2013-11-21 Imagine Mobile Augmented Reality Ltd A system worn by a moving user for fully augmenting reality by anchoring virtual objects
CN106302132A (zh) * 2016-09-14 2017-01-04 华南理工大学 一种基于增强现实的3d即时通讯系统与方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102577370A (zh) * 2010-03-31 2012-07-11 新日铁系统集成株式会社 信息处理系统、会议管理装置、信息处理方法、会议管理装置的控制方法以及程序
US20130215235A1 (en) * 2011-04-29 2013-08-22 Austin Russell Three-dimensional imager and projection device
CN105283825A (zh) * 2013-05-22 2016-01-27 微软技术许可有限责任公司 增强现实对象的身体锁定放置
US9165318B1 (en) * 2013-05-29 2015-10-20 Amazon Technologies, Inc. Augmented reality presentation
CN104915979A (zh) * 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN105915879A (zh) * 2016-04-14 2016-08-31 京东方科技集团股份有限公司 一种视频显示方法、头戴式显示装置及系统
CN105955453A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种3d沉浸式环境下的信息输入方法
CN106056405A (zh) * 2016-05-27 2016-10-26 上海青研科技有限公司 基于虚拟现实视觉兴趣区域的广告定向推送技术
CN106354205A (zh) * 2016-08-25 2017-01-25 安徽协创物联网技术有限公司 一种可穿戴虚拟现实实现系统
CN106339087A (zh) * 2016-08-29 2017-01-18 上海青研科技有限公司 一种基于多维坐标的眼球追踪方法及其装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582822A (zh) * 2020-05-07 2020-08-25 维沃移动通信有限公司 基于ar的会议方法、装置及电子设备
CN113676690A (zh) * 2020-05-14 2021-11-19 钉钉控股（开曼）有限公司 一种视频会议的实现方法、设备及存储介质

Also Published As

Publication number Publication date
WO2018149266A1 (zh) 2018-08-23

Similar Documents

Publication Publication Date Title
US10554921B1 (en) Gaze-correct video conferencing systems and methods
US10691934B2 (en) Real-time visual feedback for user positioning with respect to a camera and a display
EP3358835B1 (en) Improved method and system for video conferences with hmds
TW297985B (zh)
CN107924584B (zh) 增强现实
US8395655B2 (en) System and method for enabling collaboration in a video conferencing system
US8908008B2 (en) Methods and systems for establishing eye contact and accurate gaze in remote collaboration
CN114365197A (zh) 在具有多个物理参与者的环境中放置虚拟内容
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
JP2017504277A (ja) ウェアラブルディスプレイ装置を用いてミラービデオチャットを可能にするシステム及び方法
US20160269685A1 (en) Video interaction between physical locations
JP2003506973A (ja) 通信システム
US9270933B1 (en) System and method for face-to-face video communication
WO2018149267A1 (zh) 一种基于增强现实的显示方法及设备
Roberts et al. Communicating eye-gaze across a distance: Comparing an eye-gaze enabled immersive collaborative virtual environment, aligned video conferencing, and being together
CN108446011A (zh) 一种基于增强现实的医疗辅助方法及设备
TW202141120A (zh) 具可調整影像感測模組的頭戴式裝置及其系統
CN108427195A (zh) 一种基于增强现实的信息处理方法及设备
JP7525598B2 (ja) 通信端末装置、通信方法、およびソフトウェアプログラム
KR20170014818A (ko) 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치
US11972505B2 (en) Augmented image overlay on external panel
CN108696740A (zh) 一种基于增强现实的直播方法及设备
JPH0832948A (ja) 視線一致テレビ会議システム
CA3206829A1 (en) Virtual eye contact in video interaction
JP3721624B2 (ja) Ｔｖ電話システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20191219

Address after: Room a-b102-1229, 198 Qidi Road, Xiaoshan Economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou rongmeng Intelligent Technology Co., Ltd

Address before: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A (located in Shenzhen Qianhai business secretary Co. Ltd.)

Applicant before: Shenzhen Dream Vision Intelligent Technology Co., Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180821

RJ01 Rejection of invention patent application after publication