CN106843456B - 一种基于姿态追踪的显示方法、装置和虚拟现实设备 - Google Patents

一种基于姿态追踪的显示方法、装置和虚拟现实设备 Download PDF

Info

Publication number
CN106843456B
CN106843456B CN201610676198.4A CN201610676198A CN106843456B CN 106843456 B CN106843456 B CN 106843456B CN 201610676198 A CN201610676198 A CN 201610676198A CN 106843456 B CN106843456 B CN 106843456B
Authority
CN
China
Prior art keywords
real scene
equipment
wearer
picture
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610676198.4A
Other languages
English (en)
Other versions
CN106843456A (zh
Inventor
宋磊
刘江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SuperD Co Ltd
Original Assignee
Shenzhen Super Perfect Optics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Perfect Optics Ltd filed Critical Shenzhen Super Perfect Optics Ltd
Priority to CN201610676198.4A priority Critical patent/CN106843456B/zh
Publication of CN106843456A publication Critical patent/CN106843456A/zh
Application granted granted Critical
Publication of CN106843456B publication Critical patent/CN106843456B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于姿态追踪的显示方法、装置和虚拟现实设备，为能够易于实施且可实现大范围、高精度的姿态追踪，提升虚拟现实设备的显示效果而设计。所述基于姿态追踪的显示方法，应用于装配有双摄像头的虚拟现实设备，所述方法包括：获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。本发明可应用在虚拟现实、增强现实和机器视觉等领域。

Description

一种基于姿态追踪的显示方法、装置和虚拟现实设备
技术领域
本发明涉及虚拟现实(Virtual Reality，简称VR)、增强现实(AugmentedReality，简称AR)、机器视觉等技术领域，尤其涉及一种基于姿态追踪的显示方法、装置和虚拟现实设备。
背景技术
VR技术是主要通过综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。
VR设备需要根据用户的姿态来判断显示的内容是否符合人类的视觉习惯，根据用户的姿态来改变显示内容，来带给用户沉浸感。目前，简易的VR设备通常只能利用姿态传感器(陀螺仪、地磁计、加速计等)提供旋转运动信息，更精密的VR/AR设备通过外设来辅助提供精确的姿态跟踪信息，比如：1、通过外置摄像头追踪头盔表面的红外传感器；2、采用激光追踪定位技术，通过激光传感器识别头盔上的光敏传感器。
以上两种技术各有优缺点，其中方法1实现简单、计算量小，但是受限于外置摄像头的视场角，容易出现跟踪丢失。而方法2可实现大范围的追踪，精度高，但是外设复杂成本高，不便于普及。
发明内容
本发明的目的旨在提供一种基于姿态追踪的显示方法、装置和VR设备，易于实施且可实现大范围、高精度的姿态追踪，提升VR设备的显示效果，有效增进佩戴使用VR设备的用户的沉浸感，提升用户体验。
第一方面，本发明实施例提供了一种基于姿态追踪的显示方法，应用于VR设备，所述VR设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像，所述方法包括：
获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；
根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；
根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。
结合第一方面，在第一方面的第一种实施方式中：
所述VR设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；
所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息包括：
根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。
结合第一方面的第一种实施方式，在第一方面的第二种实施方式中：
所述根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息包括：
根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；
根据所述设备佩戴者的平移运动信息和所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。
结合第一方面的第二种实施方式，在第一方面的第三种实施方式中：
所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息包括：
提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；
标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；
根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；
根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；
根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离。
结合第一方面的第三种实施方式，在第一方面的第四种实施方式中：
所述根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离包括：
对所有所述同名点的实际平移距离进行平均值计算，将计算后得到的结果确定为所述设备佩戴者的实际平移距离。
结合第一方面或第一方面的第一种至第四种实施方式中的任意一种实施方式，在第一方面的第五种实施方式中：
所述双摄像头包括模拟人眼的左摄像头和右摄像头；
所述显示画面包括VR场景画面；
所述获取所述双摄像头采集的真实场景影像信息，具体包括：获取所述模拟人眼的双摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；
在所述获取与所述设备佩戴者的当前姿态对应的显示画面后，所述将所述显示画面提供给所述设备佩戴者前，所述方法还包括：根据所述真实场景影像信息和所述VR场景画面，生成融合场景画面；
所述将所述显示画面提供给所述设备佩戴者包括：
将所述融合场景画面提供给所述设备佩戴者。
结合第一方面的第五种实施方式，在第一方面的第六种实施方式中：
根据所述模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面；
接收场景呈现切换指令；
根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或VR场景画面。
结合第一方面的第六种实施方式，在第一方面的第七种实施方式中：
所述场景呈现切换指令包括：
按键切换指令、手势切换指令或距离感应切换指令。
结合第一方面的第五种实施方式，在第一方面的第八种实施方式中：
所述真实场景影像信息包括左摄像头拍摄的左图及右摄像头拍摄的右图；
所述VR场景画面包括虚拟场景的左视图及右视图；
所述根据所述真实场景影像信息和所述VR场景画面，生成融合场景画面包括：
将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
根据所述融合场景左图及右图，生成融合场景。
结合第一方面的第一种实施方式，在第一方面的第九种实施方式中：
所述姿态传感器包括陀螺仪、地磁计、加速计中的至少一种。
第二方面，本发明实施例提供了一种基于姿态追踪的显示装置，应用于VR设备，所述VR设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像，所述装置包括：
真实场景影像获取单元，用于获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；
姿态确定单元，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；
显示单元，用于根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。
结合第二方面，在第二方面的第一种实施方式中：
所述VR设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；
所述姿态确定单元具体用于：
根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。
结合第二方面的第一种实施方式，在第二方面的第二种实施方式中：
所述姿态确定单元包括：
运动信息确定模块，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；
姿态信息确定模块，用于根据所述设备佩戴者的平移运动信息和所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。
结合第二方面的第二种实施方式，在第二方面的第三种实施方式中：
所述运动信息确定模块用于：
提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；
标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；
根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；
根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；
根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离。
结合第二方面或第二方面的第一种到第三种实施方式中的任意一种实施方式，在第二方面的第四种实施方式中：
所述双摄像头包括模拟人眼的左摄像头和右摄像头；
所述显示画面包括VR场景画面；
所述真实场景影像获取单元，具体用于：获取所述模拟人眼的双摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；
所述显示单元包括：
显示画面获取模块，用于根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的VR场景画面；
融合模块，用于根据所述真实场景影像信息和所述VR场景画面，生成融合场景画面；
显示模块，用于将所述融合场景画面提供给所述设备佩戴者。
结合第二方面的第四种实施方式，在第二方面的第五种实施方式中：
所述显示单元还包括：
增强现实画面获取模块，用于根据所述模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面；
切换模块，用于接收场景呈现切换指令，根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或VR场景画面。
结合第二方面的第四种实施方式，在第二方面的第六种实施方式中：
所述真实场景影像信息包括左摄像头拍摄的左图及右摄像头拍摄的右图；
所述VR场景画面包括虚拟场景的左视图及右视图；
所述融合模块用于：
将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
根据所述融合场景左图及右图，生成融合场景。
第三方面，本发明实施例提供了一种VR设备，包括：
双摄像头，用于采集设备佩戴者正面的真实场景影像；
中央处理器，与双摄像头相连接，获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化，根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息，根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面；
显示器，与所述中央处理器相连接，用于将所述显示画面呈现给所述设备佩戴者。
结合第三方面，在第三方面的第一种实施方式中：
所述VR设备还包括姿态传感器，与所述中央处理器相连接，用于感测所述设备佩戴者的旋转运动信息；
所述中央处理器用于：
根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。
结合第三方面的第一种实施方式，在第三方面的第二种实施方式中：
所述中央处理器用于：
提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；
标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；
根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；
根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；
根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离。
结合第三方面，在第三方面的第三种实施方式中：
所述双摄像头包括模拟人眼的左摄像头和右摄像头；
所述显示画面包括VR场景画面；
所述设备还包括眼球跟踪设备，与所述中央处理器相连接，用于进行眼球跟踪，追踪人眼的视线变化；
所述中央处理器还用于根据眼球跟踪设备追踪的人眼的视线变化，调整所述双摄像头方向，以便所述双摄像头按照人眼视线方向实时采集真实场景影像信息；
所述中央处理器用于：获取所述模拟人眼的双摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的VR场景画面，根据所述真实场景影像信息和所述VR场景画面，生成融合场景画面；
所述显示器，用于将所述融合场景画面呈现给所述设备佩戴者。
结合第三方面的第三种实施方式，在第三方面的第四种实施方式中：
所述设备还包括切换指令接收装置，与所述中央处理器相连接，用于接收场景呈现切换指令；
所述中央处理器用于，根据所述模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面，根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或VR场景画面。
结合第三方面的第四种实施方式，在第三方面的第五种实施方式中：
所述切换指令接收装置包括切换按键或者传感器。
结合第三方面或第三方面的第一种到第五种实施方式中的任意一种实施方式，在第三方面的第六种实施方式中：
所述VR设备包括：智能眼镜或头盔。
本发明实施例提供的基于姿态追踪的显示方法、装置和VR设备，在VR设备上装配能够采集设备佩戴者正面的真实场景影像的双摄像头，并利用双摄像头所采集到的真实场景影像，来确定出设备佩戴者的当前姿态信息，从而根据设备佩戴者的姿态改变显示内容，方案易于实施，能够较为准确的预测设备佩戴者的姿态变化状况，而且，同时对设备佩戴者使用VR设备的场地的要求限制较少，可实现大范围的姿态追踪，也不需要更多外部辅助设备，可以有效提升VR设备的显示效果，增进佩戴使用VR设备的用户的沉浸感，提升用户体验。
附图说明
图1是本发明实施例提供的一种基于姿态追踪的显示方法的流程图；
图2是本发明实施例中具有双摄像头的VR设备示意图；
图3是本发明实施例中姿态拆解为旋转运动与平移运动的示意图；
图4是本发明实施例提供的一种VR设备的结构示意图；
图5是本发明实施例提供的一种智能眼镜的结构示意图；
图6是双目立体视觉成像示意图；
图7是本发明实施例中虚拟现实设备中装配的姿态传感器头部位置的跟踪数据的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本领域技术人员所公知的，前文背景技术中也已提及，VR设备需要根据设备佩戴者的姿态来判断显示的内容是否符合人类的视觉习惯，根据设备佩戴者的姿态来改变显示内容，本发明实施例中，这里的“姿态”是指设备佩戴者的头部的姿态，VR显示设备会通过对头部姿态的追踪，即佩戴者视角的追踪，适应性的转换显示内容，从而给佩戴者一种身临其境的感觉，即沉浸感。若姿态追踪不够准确，会导致显示画面与用户的视觉习惯并不匹配，会给用户带来头晕等不适感。
本发明实施例旨在提供一种基于姿态追踪的显示方法、装置和VR设备，易于实施且可实现大范围、高精度的姿态追踪，提升VR设备的显示效果，有效增进佩戴使用VR设备的用户的沉浸感，提升用户体验。
图1为本发明实施例提供的基于姿态追踪的显示方法的一种流程图，该显示方法应用于VR设备，该VR设备可以是VR眼镜，也可以是VR头盔等。该VR设备上需要装配有双摄像头，该双摄像头能够采集设备佩戴者正面的真实场景影像。所谓真实场景，是指设备佩戴者所处的真实空间。
该VR设备可参见图2的示意性示意图，可以理解的是，图2所示的VR设备仅为例示，不对本发明产生任何限制。如图2所示，VR设备上装配有双摄像头01，该双摄像头01设置在设备正面壳体02上，从而可以采集设备佩戴者正面的真实场景影像。图2所示示例中，双摄像头为模拟双眼设置，双摄像头分别对应佩戴者的左右眼设置，即双摄像头镜头中心连线与左右眼双眼连线平行。当然本发明不限于此，双摄像头的设置方位不限，例如倾斜设置，即，其镜头中心连线与左右眼双眼连线成一定角度。无论与双眼对应设置还是倾斜设置，双摄像头镜头中心间距d可以等于人眼瞳距的距离，也可以是其他合理距离，例如根据摄像头镜头参数所确定的中心间距，本发明对此不做限定。而且，双摄像头可设置为可自动或者手动调节的，例如，中心间距可调，视场角可调等等。
如图1所示，本发明实施例提供的基于姿态追踪的显示方法，包括：
步骤101，获取装配在VR设备上的双摄像头采集的真实场景影像信息。
本发明实施例中，用户(即设备佩戴者)在使用VR设备时，双摄像头将实时采集设备佩戴者正面的真实场景的影像。
显然，在设备佩戴者的头部姿态发生变化时，双摄像头采集的真实场景影像信息会随之改变。基于此，本发明实施例中，利用双摄像头所采集到的真实场景影像信息，基于真实场景影像信息的变化确定出设备佩戴者头部姿态的变化，进而调整显示画面。
步骤102，根据双摄像头采集的真实场景影像信息，确定设备佩戴者的当前姿态信息。
可以理解的是，针对真实场景空间中的一点，前后不同时刻，若设备佩戴者的头部姿态发生了改变，那么该点在摄像头前后不同时刻所采集到的真实场景影像中，会处于不同的位置。本步骤中，即可根据前后不同时刻所采集的真实场景影像中，确定真实场景空间中的同一点所发生的相对平移距离，进而根据该相对平移距离，得到设备佩戴者头部的实际平移距离，进而根据设备佩戴者的实际平移距离，确定设备佩戴者的当前姿态信息。
优选的，在本发明的一个实施例中，除双摄像头之外，VR设备上还装配有姿态传感器，例如，陀螺仪、地磁计、加速计中的至少一种，用于感测设备佩戴者的旋转运动信息。本步骤中，将根据双摄像头采集的真实场景影像信息和姿态传感器感测的设备佩戴者的旋转运动信息，来确定设备佩戴者的当前姿态信息，亦即，利用双摄像头采集的真实场景影像，来确定佩戴者的平移运动信息，利用姿态传感器感测，来获取设备佩戴者的旋转运动信息，进而，根据平移运动信息和旋转运动信息，来确定设备佩戴者当前的姿态。由于既能得到平移运动信息又能得到旋转运动信息，因此，对设备佩戴者使用VR设备的场地的要求限制较少，可实现大范围的姿态追踪。
具体的，可以首先提取双摄像头采集当前帧的两幅真实场景影像中的特征点，将当前帧的两幅真实场景影像中的特征点中的同名点标记出来。接下来，确定同名点的深度信息，并且确定同名点前后两帧真实场景影像中即当前帧与当前帧的前一帧中所发生的相对平移距离。然后，根据同名点的相对平移距离，确定出同名点的实际平移距离；根据同名点的实际平移距离，确定设备佩戴者头部的实际平移距离，具体可对所有同名点的实际平移距离进行平均值计算，将计算后得到的结果确定为设备佩戴者头部的实际平移距离。
其中，同名点是指空间中一个点经过多个摄像头camera采集时，投影在camera成像传感器上不同的位置形成的像点，表现形式为同一个点在多个视角的采集画面上有不同的坐标。由于本发明实施例中使用双摄像头采集当前真实场景影像，因此，可利用现有技术中公知的双目视觉系统的理论，例如使用SIFT算法，提取出双摄像头拍摄的两幅影像中的特征点，利用最小均方差ZSSD算法，标记出特征点中的同名点，即标记出双摄像头拍摄的两幅影像中的匹配点集对(两幅影像中的同名点)，进而可利用摄像头的已知镜头参数，例如焦距等，可得到同名点的深度信息，最后根据深度和相对平移距离这两个信息得到设备佩戴者实际平移距离。
需要说明的是，本发明实施例中，所得到的相对平移距离和实际平移距离，可包括X、Y、Z三个方向中至少一个方向上的平移距离。
举例说明，参见图6的双目立体视觉成像示意图，左摄像头Cl和右摄像头Cr之间的距离为T,焦距为f，空间中一点P，点P在左摄像头Cl拍摄的图像中，水平坐标为Xl，右摄像头拍摄的图像中，水平坐标为Xr，则Xl和Xr，则利用双目立体视觉成像理论，P点的深度Z可通过如下公式进行运算：
上述方式仅为示例，可以理解的是，双目视觉系统理论为本领域的公知常识，因此，本发明实施例中对于如何得到深度不做进一步详细描述。
步骤103，根据当前姿态信息，获取与设备佩戴者的当前姿态对应的显示画面，并将显示画面提供给设备佩戴者。
其中，显示画面通常为VR场景画面。针对于VR场景画面的显示，均是根据当前姿态信息，即变换左右虚拟摄像机的相关显示参数，变换左右虚拟摄像机的拍摄方位，从而在进行画面显示时，使得所显示的画面与设备佩戴者的姿态相对应，增加沉浸感。可以理解的是，根据设备佩戴者当前姿态来进行显示，是现有技术中较为成熟的技术方案，这里不再进行赘述。
举例说明，可以预先将双摄像头的拍摄空间范围与显示画面的空间范围进行对应，则利用双摄像头拍摄的画面所确定的实际平移距离，即可获得在显示画面空间所对应的平移距离，进而根据显示画面空间的平移距离来调节虚拟摄像机的位置，从而改变显示画面。
本发明实施例提供的基于姿态追踪的显示方法、装置和VR设备，在VR设备上装配能够采集设备佩戴者正面的真实场景影像的双摄像头，并利用双摄像头所采集到的真实场景影像，来确定出设备佩戴者的当前姿态信息，从而根据设备佩戴者的姿态改变显示内容，方案易于实施，能够较为准确的预测设备佩戴者的姿态变化状况，而且，同时对设备佩戴者使用VR设备的场地的要求限制较少，可实现大范围的姿态追踪，也不需要更多外部辅助设备，可以有效提升VR设备的显示效果，增进佩戴使用VR设备的用户的沉浸感，提升用户体验。
增强现实AR技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。
现有技术中的一些头盔显示器，比如，类似Oculus的产品，能够让用户体验VR效果，像google眼镜类似的产品能够让用户体验AR效果。但是，现有的VR设备能够观看虚拟的场景、人物等，但这些虚拟的场景人物都是预先设计好的，或者是按照特定算法渲染而成的，并没有结合用户使用VR头盔时的场景，缺少与现实环境的互动。而现有的AR眼镜能够看到用户眼前的真实环境，并能够分析图像，给出一些提示信息，但不能体验逼真的虚拟场景带来的愉悦，也即AR很难做好虚拟真实的结合。
因此，作为一种改进，在本发明的一个实施例中，VR设备所配置的双摄像头以模拟人眼的方式设置，即双摄像头包括模拟人眼的左摄像头和右摄像头，该双摄像头可以追踪人眼的视线变化，按照人眼的视线方向采集真实场景影像，即复现人眼的观看效果，达到左右摄像头所采集到真实场景影像即是设备佩戴者当前若未佩戴VR设备所看到的真实场景画面的效果。这种情况下，在步骤101中，获取的是模拟人眼的双摄像头按照设备佩戴者的视线方向采集的真实场景影像信息。在步骤103中，获取了与所述设备佩戴者的当前姿态对应的VR场景画面后，根据双摄像头采集的真实场景影像信息和获取的VR场景画面，生成融合场景画面，并将融合场景画面提供给所述设备佩戴者，从而实现了在VR过程中能够结合真实场景，实现VR与增强现实融合的效果，并能够增进人机交互、提升用户体验。而且，由于真实场景和虚拟内容的良好融合，用户能够体验更加逼真的虚拟与现实的结合，很好的解决了AR很难做好虚拟真实的结合问题，以及VR设备不兼容AR应用的问题。
具体的，为了获取人眼的视线变化，可以在VR设备内部安装眼部视线追踪模块，以追踪视线变化。具体的，可以利用现有技术中的眼球跟踪技术，例如根据眼球和眼球周边的特征变化进行跟踪、根据虹膜角度变化进行跟踪、主动投射红外线等光束到虹膜来提取特征进行跟踪来确定人眼的视线变化等。当然，本发明实施例不限于此，在本发明的技术构思下，本领域技术人员可以利用任意可行的技术追踪人眼的视线变化进而调整模拟人眼的左右眼摄像头的采集方向，实时采集真实场景信息。
具体的，真实场景影像信息包括双摄像头中左摄像头拍摄的左图及右摄像头拍摄的右图，而VR场景画面包括虚拟场景的左视图及右视图。则可将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图，将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图，根据所述融合场景左图及右图，生成融合场景。
进一步的，在本实施例中，除了实现真实场景信息与虚拟场景信息融合，生成融合场景外，还可以根据模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面。VR设备可通过场景呈现切换指令实现融合场景画面、增强现实场景画面或虚拟现实场景画面三者之间的切换，从而使得VR设备兼具AR功能、VR功能以及融合AR及VR功能。具体的切换指令可以包括：按键切换指令、手势切换指令或距离感应切换指令。这里需要说明的是，本发明实施例中，增强现实场景是指利用增强现实技术将真实场景信息进行呈现的场景，虚拟现实场景是指利用虚拟现实技术将虚拟现实场景信息进行呈现的场景。
在本发明实施例中，VR、AR、VR和AR兼容三种模式可以根据需求进行切换。切换时最直接的方法是通过VR设备外部的按钮进行切换，即在头盔的某个位置设置按钮，在设备佩戴者点击按钮时，进行模式的切换。可以利用多个按钮，也可以利用一个按钮。利用一个按钮进行模式切换时，例如，如果当前是VR模式，按一下按钮则切换到AR模式；如果当前是AR模式，按一下按钮则切换到VR和AR兼容模式；如果当前是VR和AR兼容模式，按一下按钮则切换到VR模式。
此外，也可以使用手势识别的方法进行模式切换。而在配置了相应的功能模块后，语言、肢体动作都可以进行模式之间的切换。
此外，可以在某种条件下触发模式切换，例如根据距离感应进行模式切换，假设用户在VR模式下佩戴VR设备行走时，前方一定距离内存在障碍物时，即感应到与障碍物之间的距离小于预设阈值，亦即相当于接收到距离感应切换指令，可以进行模式转换，将VR模式切换到VR和AR兼容模式，或者AR模式。
在本发明实施例中，还可以通过切换指令分别实现AR及VR应用，当该设备开启VR模式后，该设备就像普通VR设备一样，可以观看虚拟的场景及模型，并可以通过头部运动和双摄像头进行交互控制，即随姿态改变虚拟现实场景画面。当该设备开启AR模式后，该设备则利用模拟双眼的双摄像头，实时显示图像给用户，同时对摄像头提供的图像进行目标检测，检测得到目标的相关信息，例如类别、介绍等等，之后将该目标对应的相关信息显示出来。
为进一步理解本发明方法实施例，下面结合具体的实施例，对本发明方法作进一步阐述。
本实施例中，VR设备配置有双目摄像头Camera和姿态传感器，姿态传感器可以为陀螺仪、地磁计、加速计中的至少一种。
特别指出，可以理解的是，基于设备佩戴者实际使用中的状况可知，不仅仅包括佩戴者头部绕颈部旋转的运动，还包括全身姿态的变化形成的头部平移运动，设备佩戴者头部的姿态的变化是平移运动与旋转运动的结合。参见图3所示的姿态变化示意图，从图中可以看出，任意一个姿态可以拆解为一个旋转运动和一个平移运动。向量v1表示的姿态变为v2表示的姿态过程中，既有旋转运动也有平移运动，可以理解为先向v1’做旋转运动，再由v1’做平移运动到v2。
因此，本实施例的关键点在于通过双目摄像头camera获得平移运动信息，然后与姿态传感器记录的旋转运动结合进行姿态追踪，计算出姿态信息。
具体的，本实施例基于姿态追踪的显示方法，过程如下：
根据图2，首先从双目camera获取当前真实场景信息，对每个camera的画面进行特征点提取，然后两个camera的画面进行特征点匹配，将两个camera画面特征点集合中的同名点标记出来。由于已知camera的镜头参数比如：FOV，因此可以计算出这些同名点到camera的实际距离，即这些同名点的深度。
具体的，如果此时是起始时刻，假设此时获取的双目camera画面是F0，此时规定此刻的平移运动不存在，只根据姿态传感器输出的方位角判断应该生成的图像内容呈现给VR设备佩戴者。
如果此时不是起始时刻，那么假设此时获取的双目camera画面是Fn。同样的，先对Fn的双目camera画面进行特征点提取，然后进行特征点的双目匹配，将两个camera画面特征点集合中的同名点标记出来。由于已知camera的镜头参数比如：FOV，因此可以计算出这些同名点到camera的实际距离，即同名点的深度。然后再将Fn中双目camera的画面分别与Fn-1帧的双目camera画面进行匹配，即Fn中左camera的画面与Fn-1中左camera的画面进行匹配，Fn中右camera的画面与Fn-1中右camera的画面进行匹配，计算出两帧画面采集时间段内同名点发生的相对平移距离，利用相对平移距离再结合已经获取的同名点到camera的实际距离(即深度)，可以计算出同名点实际的平移距离，即，佩戴者头部的实际平移距离。接下来把同名点集合中的所有同名点均进行以上操作，得到每个点的平移距离后取均值作为最终的实际平移距离。利用实际平移距离与姿态传感器提供的方位角描述的旋转运动进行运动合成得到姿态的当前状态。最后根据姿态的当前状态计算应该生成的显示图像输出给VR设备佩戴者。
其中，针对于相对平移距离和实际平移距离的运算，举例说明如下：
以水平方向为X方向，竖直方向为Y方向，垂直于X和Y方向的摄像头朝向方向为Z方向建立坐标系，摄像头初始位置为坐标原点(0，0，0)，空间上一点A的坐标为(x，y，z)，可以理解的是，A点到摄像头的距离为z，即A点的深度为z。
假设摄像头的焦距为f，则投影平面为z＝f，则摄像头在初始位置时，A点在投影平面上的投影点A1的坐标，即摄像头所拍摄到的真实影像上A点的坐标为：
当设备佩戴者的头部发生移动，相应地摄像头发生移动，为说明且理解目的，假设摄像头仅在水平方向移动，且移动的距离、即实际移动距离为D，此时，摄像头的坐标改变为(D，0，0)。此时，A点在投影平面上的投影点A2的坐标，即设备佩戴者的头部发生移动后，摄像头所拍摄到的真实影像上A点的坐标为：
两张图像上，A点所发生的相对平移距离d为：
根据双摄像头拍摄的左右图像，利用双目视觉理论，能够获取到A点的深度z，而根据同一摄像头所拍摄的前后两帧图像，经过图像扫描匹配，能够查找到前后两帧图像的A点，进而可以得到A点的相对平移距离d，而摄像头的焦距已知，则根据上述公式(1)，即可得到摄像头的实际平移距离。
此外，目前市面上已面世深度摄像头，深度摄像头可以直接给出A点的深度，因此，若双摄像头采用深度摄像头，则可直接获取到该深度，无需进一步的运算。
显然，可以理解的是，上述实际平移距离的确定方式仅为示例，起到说明和加强理解作用，但本发明不限于此，在本发明所公开的设计构思下，本领域技术人员可以选择任意合理可行的确定方式。而且，上述示例中，为便于理解和说明，假设摄像头仅在水平方向平移移动。但本发明不限于此，摄像头平移运动方向不限，可将摄像头平移运动分解为X、Y、Z三个方向上的运动，并按照现有技术中的合理可行的方式，分别得到三个方向上的平移距离。
在得到摄像头的实际平移距离后，本实施例中，将利用实际平移距离与姿态传感器提供的方位角描述的旋转运动进行运动合成得到姿态的当前状态，最后根据姿态的当前状态计算应该生成的显示图像输出给VR设备佩戴者。从原理上来讲，该过程实际上可以理解为根据姿态的当前状态改变用于进行画面显示的虚拟摄像机的拍摄位置和角度，从而使得显示的画面与设备佩戴者当前的姿态即当前的观察视角相对应。
具体的，参见图7，用户头部佩戴有虚拟现实设备，虚拟现实设备所装配的姿态传感器所获取到的实时跟踪数据，即旋转运动信息可包括：设备佩戴者头部在三维空间中的实时转动角度(Pitch,Yaw,Roll)，其中，Pitch：用户头部相对于x轴的转动角度；Yaw：用户头部相对于y轴的转动角度；Roll：用户头部相对于z轴的转动角度。
在根据姿态进行显示时，可根据头部旋转运动的跟踪数据Pitch,Yaw,Roll，则可以得到设备佩戴者头部分别关于x,y,z轴的旋转矩阵：
进而，则可以得到设备佩戴者头部分别关于x,轴y轴和z轴的旋转矩阵
VRotation＝RotationPitch*RotationYaw*RotationRoll
在很多场景(例如第一人称射击游戏)中，可仅关注头部关于x轴和y轴的旋转变换，只需要令关于z轴旋转矩阵为单位矩阵：
RotationRoll＝E
根据利用双摄像头拍摄的真实场景图像所确定的实际平移距离，假设该实际平移距离包括X、Y、Z轴三个方向上的平移距离，分别为：X_offset、Y_offset、Z_offset，则可以得到设备佩戴者头部分别关于x,y,z轴的平移矩阵：
根据旋转矩阵和平移矩阵，对原观察矩阵V进行变换，则变换后的观察矩阵V′:
V′＝VRotation*Vposition*V
进而，即可利用根据新的观察矩阵V′，构建并显示虚拟现实场景或者融合场景的图像，从而使该图像与设备佩戴者头部位置变化后的观察视角同步。
与前述方法相对应，本发明实施例还提供一种基于姿态追踪的显示装置，应用于VR设备，该VR设备上设置有能够采集设备佩戴者正面的真实场景影像的双摄像头，该装置包括：
真实场景影像获取单元，用于获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；
姿态确定单元，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；
显示单元，用于根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。
本发明实施例提供的基于姿态追踪的装置，VR设备上装配能够采集设备佩戴者正面的真实场景影像的双摄像头，并利用双摄像头所采集到的真实场景影像，来确定出设备佩戴者的当前姿态信息，从而根据设备佩戴者的姿态改变显示内容，方案易于实施，能够较为准确的预测设备佩戴者的姿态变化状况，而且，同时对设备佩戴者使用VR设备的场地的要求限制较少，可实现大范围的姿态追踪，也不需要更多外部辅助设备，可以有效提升VR设备的显示效果，增进佩戴使用VR设备的用户的沉浸感，提升用户体验。
可选的，在本发明的一个实施例中：
VR设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；
姿态确定单元具体用于：
根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。
进一步具体的，在本发明的一个实施例中：
姿态确定单元包括：
运动信息确定模块，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；
姿态信息确定模块，用于根据所述设备佩戴者的平移运动信息和所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。
其中，可选的，运动信息确定模块用于：
提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；
标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；
根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；
根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；
根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离。
具体的，在本发明的一个实施例中：
所述双摄像头包括模拟人眼的左摄像头和右摄像头；
所述显示画面包括虚拟现实场景画面；
真实场景影像获取，具体用于：获取所述模拟人眼的双摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；
显示单元包括：
显示画面获取模块，用于根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的虚拟现实场景画面；
融合模块，用于根据所述真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；
显示模块，用于将所述融合场景画面提供给所述设备佩戴者。
所述显示单元还包括：
增强现实画面获取模块，用于根据所述模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面；
切换模块，用于接收场景呈现切换指令，根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或虚拟现实场景画面。
进一步具体的，在本发明的一个实施例中：
所述真实场景影像信息包括左摄像头拍摄的左图及右摄像头拍摄的右图；
所述虚拟现实场景画面包括虚拟场景的左视图及右视图；
所述融合模块用于：
将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
根据所述融合场景左图及右图，生成融合场景。
结合图4和图5所示，本发明实施例还提供一种VR设备，其包括：
双摄像头51，用于采集设备佩戴者正面的真实场景影像；
中央处理器52，与双摄像头51相连接，获取双摄像头51采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化，根据双摄像头51采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息，根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面；
显示器53，与中央处理器52相连接，用于将所述显示画面呈现给所述设备佩戴者。
进一步的，在本发明的一个实施例中，VR设备还包括姿态传感器(图5未示出)，与中央处理器52相连接，用于感测所述设备佩戴者的旋转运动信息；
中央处理器52用于：
根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。
具体的，中央处理器52用于：
提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；
标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；
根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；
根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；
根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离。
可选的，在本发明的一个实施例中：
所述双摄像头包括模拟人眼的左摄像头和右摄像头；
所述显示画面包括虚拟现实场景画面；
所述设备还包括眼球跟踪设备(图4中未示出)，与所述中央处理器52相连接，用于进行眼球跟踪，追踪人眼的视线变化；
中央处理器52还用于根据眼球跟踪设备追踪的人眼的视线变化，调整所述双摄像头方向，以便所述双摄像头按照人眼视线方向实时采集真实场景影像信息；
中央处理器52用于：获取所述模拟人眼的双摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的虚拟现实场景画面，根据所述真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；
显示器53，用于将所述融合场景画面呈现给所述设备佩戴者。
可选的，在本发明的一个实施例中：
所述VR设备还包括切换指令接收装置(图4中未示出)，与所述中央处理器相连接，用于接收场景呈现切换指令；
中央处理器52用于，根据所述模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面，根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或虚拟现实场景画面。
举例而言，所述切换指令接收装置包括切换按键或者传感器。
所述VR设备可包括：智能眼镜或头盔等具有VR功能的电子设备
图5为本发明实施例提供的一种VR设备----智能眼镜的外观示意图，可以理解的是，该智能眼镜仅为例示，不对本发明产生任何限制。如图5所示，该眼镜包括眼镜本体60，眼镜本体的前表面设置有用于模拟人眼的右眼摄像头61和左眼摄像头62，用于模拟用户双眼采集真实场景信息，中央处理器(未示出)和显示器(未示出)设置在眼镜本体60的内部，该眼镜还设置有物理按键63，用于开关眼镜，还可用于用户下发各种指令，例如用户可以通过操作物理按键63下发场景呈现切换指令，使得智能眼镜在VR显示模式、融合显示模式和AR显示模式等模式中切换。该眼镜还包括绑带64，在用户佩戴眼镜时套设在用户头部，起到固定眼镜的作用。
在本发明实施例中，中央处理器为该用户终端的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储单元内的软件程序和/或模块，以及调用存储在存储单元内的数据，以执行电子设备的各种功能和/或处理数据。所述中央处理器可以由集成电路组成，也可以由连接多颗相同功能或不同功能的封表集成芯片而组成。即处理器可以是GPU、数字信号处理器、及通信单元中的控制芯片的组合。
本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种基于姿态追踪的显示方法，应用于虚拟现实设备，其特征在于，所述虚拟现实设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像；
所述虚拟现实设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；
所述方法包括：
获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；
根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；
所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息包括：
提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；
标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；
根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；
根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；
根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离；
根据所述设备佩戴者的实际平移距离和所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息；
根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。
2.根据权利要求1所述的方法，其特征在于，所述根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离包括：
对所有所述同名点的实际平移距离进行平均值计算，将计算后得到的结果确定为所述设备佩戴者的实际平移距离。
3.根据权利要求1至2任一项所述的方法，其特征在于，所述双摄像头包括模拟人眼的左摄像头和右摄像头；
所述显示画面包括虚拟现实场景画面；
所述获取所述双摄像头采集的真实场景影像信息，具体包括：获取所述模拟人眼的双摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；
在所述获取与所述设备佩戴者的当前姿态对应的显示画面后，所述将所述显示画面提供给所述设备佩戴者前，所述方法还包括：
根据所述真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；
所述将所述显示画面提供给所述设备佩戴者包括：
将所述融合场景画面提供给所述设备佩戴者。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面；
接收场景呈现切换指令；
根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或虚拟现实场景画面。
5.根据权利要求4所述的方法，其特征在于，所述场景呈现切换指令包括：
按键切换指令、手势切换指令或距离感应切换指令。
6.根据权利要求3所述的方法，其特征在于，所述真实场景影像信息包括左摄像头拍摄的左图及右摄像头拍摄的右图；
所述虚拟现实场景画面包括虚拟场景的左视图及右视图；
所述根据所述真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面包括：
将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
根据所述融合场景左图及右图，生成融合场景。
7.根据权利要求1所述的方法，其特征在于，所述姿态传感器包括陀螺仪、地磁计、加速计中的至少一种。
8.一种基于姿态追踪的显示装置，应用于虚拟现实设备，其特征在于，所述虚拟现实设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像；
所述虚拟现实设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；
所述装置包括：
真实场景影像获取单元，用于获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；
运动信息确定模块，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；
所述运动信息确定模块用于：
提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；
标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；
根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；
根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；
根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离。
姿态信息确定模块，用于根据所述设备佩戴者的实际平移距离和所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息；
显示单元，用于根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。
9.根据权利要求1所述的装置，其特征在于，所述双摄像头包括模拟人眼的左摄像头和右摄像头；
所述显示画面包括虚拟现实场景画面；
所述真实场景影像获取单元，具体用于：获取所述模拟人眼的双摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；
所述显示单元包括：
显示画面获取模块，用于根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的虚拟现实场景画面；
融合模块，用于根据所述真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；
显示模块，用于将所述融合场景画面提供给所述设备佩戴者。
10.根据权利要求9所述的装置，其特征在于，所述显示单元还包括：
增强现实画面获取模块，用于根据所述模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面；
切换模块，用于接收场景呈现切换指令，根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或虚拟现实场景画面。
11.根据权利要求9所述的装置，其特征在于，所述真实场景影像信息包括左摄像头拍摄的左图及右摄像头拍摄的右图；
所述虚拟现实场景画面包括虚拟场景的左视图及右视图；
所述融合模块用于：
将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；
将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；
根据所述融合场景左图及右图，生成融合场景。
12.一种虚拟现实设备，其特征在于，包括：
双摄像头，用于采集设备佩戴者正面的真实场景影像；
中央处理器，与双摄像头相连接，获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化，根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息，根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面；
姿态传感器，与所述中央处理器相连接，用于感测所述设备佩戴者的旋转运动信息；
所述中央处理器用于：
提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；
标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；
根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；
根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；
根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离；
根据所述设备佩戴者的实际平移距离和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息；
显示器，与所述中央处理器相连接，用于将所述显示画面呈现给所述设备佩戴者。
13.根据权利要求12所述的虚拟现实设备，其特征在于，所述双摄像头包括模拟人眼的左摄像头和右摄像头；
所述显示画面包括虚拟现实场景画面；
所述设备还包括眼球跟踪设备，与所述中央处理器相连接，用于进行眼球跟踪，追踪人眼的视线变化；
所述中央处理器还用于根据眼球跟踪设备追踪的人眼的视线变化，调整所述双摄像头方向，以便所述双摄像头按照人眼视线方向实时采集真实场景影像信息；
所述中央处理器用于：获取所述模拟人眼的双摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的虚拟现实场景画面，根据所述真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；
所述显示器，用于将所述融合场景画面呈现给所述设备佩戴者。
14.根据权利要求13所述的虚拟现实设备，其特征在于，所述设备还包括切换指令接收装置，与所述中央处理器相连接，用于接收场景呈现切换指令；
所述中央处理器用于，根据所述模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面，根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或虚拟现实场景画面。
15.根据权利要求14所述的虚拟现实设备，其特征在于，所述切换指令接收装置包括切换按键或者传感器。
16.根据权利要求12-15任一项所述的虚拟现实设备，其特征在于，所述虚拟现实设备包括：智能眼镜或头盔。
CN201610676198.4A 2016-08-16 2016-08-16 一种基于姿态追踪的显示方法、装置和虚拟现实设备 Expired - Fee Related CN106843456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610676198.4A CN106843456B (zh) 2016-08-16 2016-08-16 一种基于姿态追踪的显示方法、装置和虚拟现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610676198.4A CN106843456B (zh) 2016-08-16 2016-08-16 一种基于姿态追踪的显示方法、装置和虚拟现实设备

Publications (2)

Publication Number Publication Date
CN106843456A CN106843456A (zh) 2017-06-13
CN106843456B true CN106843456B (zh) 2018-06-29

Family

ID=59145579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610676198.4A Expired - Fee Related CN106843456B (zh) 2016-08-16 2016-08-16 一种基于姿态追踪的显示方法、装置和虚拟现实设备

Country Status (1)

Country Link
CN (1) CN106843456B (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107396111B (zh) * 2017-07-13 2020-07-14 河北中科恒运软件科技股份有限公司 介导现实中自动视频插帧补偿方法及系统
CN107346534B (zh) * 2017-07-13 2020-10-30 河北中科恒运软件科技股份有限公司 介导现实中的视频物体阴影检测和消除方法及系统
CN109255838B (zh) * 2017-07-14 2023-08-25 北京行云时空科技有限公司 避免增强现实显示设备观看重影的方法及设备
CN107277376A (zh) * 2017-08-03 2017-10-20 上海闻泰电子科技有限公司 摄像头动态拍摄的方法及装置
CN109952757B (zh) * 2017-08-24 2020-06-05 腾讯科技（深圳）有限公司 基于虚拟现实应用录制视频的方法、终端设备及存储介质
CN107632704B (zh) * 2017-09-01 2020-05-15 广州励丰文化科技股份有限公司 一种基于光学定位的混合现实音频控制方法及服务设备
CN107632703A (zh) * 2017-09-01 2018-01-26 广州励丰文化科技股份有限公司 基于双目摄像头的混合现实音频控制方法及服务设备
CN109683701A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于视线跟踪的增强现实交互方法和装置
CN108259738A (zh) * 2017-11-20 2018-07-06 优视科技有限公司 摄像头控制方法、设备及电子设备
CN108053388A (zh) * 2017-12-27 2018-05-18 北京灵犀微光科技有限公司 双目近眼显示的图像融合方法和装置
CN108305326A (zh) * 2018-01-22 2018-07-20 中国人民解放军陆军航空兵学院 一种混合虚拟现实的方法
CN110134226B (zh) * 2018-02-09 2022-05-10 深圳市掌网科技股份有限公司 一种辅助定位装置以及采用该装置的虚拟现实操作平台
CN108537845B (zh) * 2018-04-27 2023-01-03 腾讯科技（深圳）有限公司 位姿确定方法、装置及存储介质
CN110599549B (zh) * 2018-04-27 2023-01-10 腾讯科技（深圳）有限公司 界面显示方法、装置及存储介质
CN108734736B (zh) * 2018-05-22 2021-10-26 腾讯科技（深圳）有限公司 相机姿态追踪方法、装置、设备及存储介质
CN109445596B (zh) * 2018-11-02 2023-09-08 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
CN109445602B (zh) * 2018-11-16 2024-03-08 歌尔科技有限公司 一种头戴显示设备
CN109685013B (zh) * 2018-12-25 2020-11-24 上海智臻智能网络科技股份有限公司 人体姿态识别中头部关键点的检测方法及装置
CN109920063B (zh) * 2019-03-11 2023-04-28 中船第九设计研究院工程有限公司 一种船舶分段堆场引导系统构建方法
CN113875227A (zh) * 2019-05-17 2021-12-31 索尼集团公司 信息处理设备、信息处理方法和程序
CN110308794A (zh) * 2019-07-04 2019-10-08 郑州大学 具有两种显示模式的虚拟现实头盔及显示模式的控制方法
CN110568924A (zh) * 2019-07-29 2019-12-13 上海英众信息科技有限公司 一种基于眼部识别的vr控制方法
CN112672135A (zh) * 2019-10-15 2021-04-16 郑州大学 一种基于5g远程控制技术的双摄像头vr视频直播装置
CN111103688A (zh) * 2019-12-11 2020-05-05 塔普翊海（上海）智能科技有限公司 一种防晕眩设备、系统和方法
WO2021127888A1 (zh) * 2019-12-23 2021-07-01 深圳市大疆创新科技有限公司 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质
CN111464781A (zh) * 2020-03-24 2020-07-28 Oppo广东移动通信有限公司 图像显示方法、图像显示装置、存储介质与电子设备
CN112085853A (zh) * 2020-07-29 2020-12-15 济南浪潮高新科技投资发展有限公司 一种基于摄像头和vr设备的ar显示方法及系统
CN111939425A (zh) * 2020-08-24 2020-11-17 西部医学科技集团有限公司 一种基于vr康复系统
CN112114667A (zh) * 2020-08-26 2020-12-22 济南浪潮高新科技投资发展有限公司 一种基于双目摄像头和vr设备的ar显示方法及系统
CN114326109B (zh) * 2020-09-30 2023-03-10 宇龙计算机通信科技(深圳)有限公司 一种眼镜结构
CN112365605A (zh) * 2020-11-27 2021-02-12 上海影创信息科技有限公司 场地进入对象的提示方法和系统及其vr眼镜
CN112465990A (zh) * 2020-12-04 2021-03-09 上海影创信息科技有限公司 基于接触热特征的vr设备安全防护方法和系统及其vr眼镜
CN112446967A (zh) * 2020-12-04 2021-03-05 上海影创信息科技有限公司 Vr设备的安全防护方法和系统及其vr眼镜
CN114286142B (zh) * 2021-01-18 2023-03-28 海信视像科技股份有限公司 一种虚拟现实设备及vr场景截屏方法
JP2022156159A (ja) * 2021-03-31 2022-10-14 セイコーエプソン株式会社 頭部装着型装置、頭部装着型装置の制御方法及び制御プログラム
CN113099204B (zh) * 2021-04-13 2022-12-13 北京航空航天大学青岛研究院 一种基于vr头戴显示设备的远程实景增强现实方法
CN113223182B (zh) * 2021-04-28 2024-05-14 深圳市思麦云科技有限公司 一种基于mr眼镜技术应用于汽车行业的学习终端
CN113660477A (zh) * 2021-08-16 2021-11-16 吕良方 一种vr眼镜及其图像呈现方法
CN113608623B (zh) * 2021-08-27 2023-09-26 江西佳铭特实业有限公司 一种基于人脸识别的车用vr设备
CN113923501B (zh) * 2021-10-09 2022-06-17 深圳市中渤光电有限公司 基于vr虚拟现实的led屏全景显示方法及系统
CN115761249B (zh) * 2022-12-28 2024-02-23 北京曼恒数字技术有限公司 一种图像处理方法、系统、电子设备及计算机程序产品
CN116700500B (zh) * 2023-08-07 2024-05-24 江西科技学院 多场景vr互动方法、系统及存储介质
CN117115400A (zh) * 2023-09-15 2023-11-24 深圳市红箭头科技有限公司 实时显示全身人体动作的方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
WO2013188069A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Input method designed for augmented reality goggles
CN104883556A (zh) * 2015-05-25 2015-09-02 深圳市虚拟现实科技有限公司 基于增强现实的三维显示方法和增强现实眼镜
CN105391938A (zh) * 2014-08-27 2016-03-09 株式会社理光 图像处理装置、图像处理方法和计算机程序产品
CN105573486A (zh) * 2014-05-30 2016-05-11 索尼电脑娱乐美国公司 具有与移动计算设备介接的接口的头戴式设备(hmd)系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201314984D0 (en) * 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US20160232399A1 (en) * 2014-04-08 2016-08-11 Umoove Services Ltd. System and method of detecting a gaze of a viewer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
WO2013188069A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Input method designed for augmented reality goggles
CN105573486A (zh) * 2014-05-30 2016-05-11 索尼电脑娱乐美国公司 具有与移动计算设备介接的接口的头戴式设备(hmd)系统
CN105391938A (zh) * 2014-08-27 2016-03-09 株式会社理光 图像处理装置、图像处理方法和计算机程序产品
CN104883556A (zh) * 2015-05-25 2015-09-02 深圳市虚拟现实科技有限公司 基于增强现实的三维显示方法和增强现实眼镜

Also Published As

Publication number Publication date
CN106843456A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106843456B (zh) 一种基于姿态追踪的显示方法、装置和虚拟现实设备
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
CN105955456B (zh) 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
JP6276882B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN107315470B (zh) 图形处理方法、处理器和虚拟现实系统
CN105264478B (zh) 全息锚定和动态定位
CN104699247B (zh) 一种基于机器视觉的虚拟现实交互系统及方法
US10054796B2 (en) Display
CN106066701B (zh) 一种ar和vr数据处理设备与方法
CN107274438B (zh) 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
CN104536579B (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
JP5541974B2 (ja) 画像表示プログラム、装置、システムおよび方法
CA2620619C (en) Capturing and processing facial motion data
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
WO2016204914A1 (en) Complementary augmented reality
WO2019152619A1 (en) Blink-based calibration of an optical see-through head-mounted display
KR20140108128A (ko) 증강 현실 제공 장치 및 방법
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN205195880U (zh) 观看设备及观看系统
JP7262973B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20240036327A1 (en) Head-mounted display and image displaying method
JP5021676B2 (ja) モーションキャプチャにおける眼球運動データ置換
JP5362357B2 (ja) 顔の動きのデータの撮影及び処理
JP2002032788A (ja) 仮想現実提供方法、仮想現実提供装置及び仮想現実提供プログラムを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180717

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee after: SUPERD Co.,Ltd.

Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen.

Patentee before: SHENZHEN SUPER PERFECT OPTICS Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180629

CF01 Termination of patent right due to non-payment of annual fee