CN108124150B - 虚拟现实头戴显示设备及通过其观察真实场景的方法 - Google Patents

虚拟现实头戴显示设备及通过其观察真实场景的方法 Download PDF

Info

Publication number
CN108124150B
CN108124150B CN201711432986.XA CN201711432986A CN108124150B CN 108124150 B CN108124150 B CN 108124150B CN 201711432986 A CN201711432986 A CN 201711432986A CN 108124150 B CN108124150 B CN 108124150B
Authority
CN
China
Prior art keywords
camera
painting canvas
information
softcam
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711432986.XA
Other languages
English (en)
Other versions
CN108124150A (zh
Inventor
邱涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201711432986.XA priority Critical patent/CN108124150B/zh
Publication of CN108124150A publication Critical patent/CN108124150A/zh
Application granted granted Critical
Publication of CN108124150B publication Critical patent/CN108124150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟现实头戴显示设备及通过其观察真实场景的方法,虚拟现实头戴显示设备根据双物理摄像头的视场角FOV信息和虚拟摄像头与画布的距离计算虚拟场景中的画布大小,并按照计算的画布大小设置画布,能够准确匹配和还原人眼视角的大小,采用与物理双摄像头的视场角FOV信息相同的双虚拟摄像头获取画布的图像并渲染后输出至显示屏幕上,因而,显示屏上显示的真实场景的比例与现实世界真实场景的比例一致,使用户在头戴显示设备中看到的画面和在现实世界中看到的一致,也即可以通过显示屏幕显示的画面能够准确的判断出物体的距离和大小,实时观察外部世界,无需摘下头戴显示设备即能够通过肢体灵活与现实世界进行交互。

Description

虚拟现实头戴显示设备及通过其观察真实场景的方法
技术领域
本发明涉及虚拟现实技术领域,具体地说,是涉及一种虚拟现实头戴显示设备及通过其观察真实场景的方法。
背景技术
近年来VR技术得到了空前发展,用户使用VR体验的时间也越来越长,但是当使用VR进行观看电影或玩游戏时就不能和现实世界进行有效的交互,需要用户摘下虚拟现实头戴显示设备,真正用自己的双眼查看外部现实世界进行交互,给用户使用带来不便,用户体验差。
对于增加单摄像头的虚拟现实头戴显示设备,可以通过摄像头拍摄真实场景的图片,并将其显示在VR场景中,但是,此种方案仅仅是将2D图像显示在VR场景中,用户通过显示屏看到的外部景象不具有景深等信息,因此无法像正常用双眼观看实际环境那样能够准确的判断画面中物体的大小及与物体之间的距离等信息,没有立体真实感,故而不能和现实世界进行有效的交互。
发明内容
本发明提出了一种能够观察真实场景的虚拟现实头戴显示设备及通过虚拟现实头戴显示设备观察真实场景的方法,解决了现有虚拟现实头戴显示设备在佩戴使用时不能和现实世界进行有效交互的技术问题。
为了解决上述技术问题,本发明采用以下技术方案予以实现:
一种能够观察真实场景的虚拟现实头戴显示设备,所述设备包括:
虚拟场景画布设置单元,用于根据第一摄像头的视场角FOV信息和第一虚拟摄像头与第一画布的距离计算虚拟场景中第一画布的大小,根据第一画布的大小设置第一画布;用于根据第二摄像头的视场角FOV信息和第二虚拟摄像头与第二画布的距离计算虚拟场景中第二画布的大小,根据第二画布的大小设置第二画布;
真实场景信息获取单元,包括第一摄像头和第二摄像头,用于采集真实场景信息;
画布,包括第一画布和第二画布,所述第一画布用于接收第一摄像头采集的真实场景信息;所述第二画布用于接收第二摄像头采集的真实场景信息;
真实场景信息输出单元,包括第一虚拟摄像头和第二虚拟摄像头,第一虚拟摄像头用于获取所述第一画布的信息并将第一画布的信息进行渲染后输出至显示屏幕上;第二虚拟摄像头用于获取所述第二画布的信息并将第二画布的信息进行渲染后输出至显示屏幕上;其中,
所述第一虚拟摄像头的视场角FOV信息与所述第一摄像头的视场角FOV信息相同,所述第二虚拟摄像头的视场角FOV信息与所述第二摄像头的视场角FOV信息相同,所述第一虚拟摄像头与所述第二虚拟摄像头之间的距离与所述第一摄像头与所述第二摄像头之间的距离相同;
显示屏幕,用于显示真实场景信息。
如上所述的能够观察真实场景的虚拟现实头戴显示设备,所述第一摄像头和第二摄像头之间的距离范围为58mm~64mm。
如上所述的能够观察真实场景的虚拟现实头戴显示设备,所述第一摄像头和第二摄像头之间的距离为标准瞳距。
如上所述的能够观察真实场景的虚拟现实头戴显示设备,所述第一摄像头和第二摄像头的视场角FOV包括水平视场角HFOV和垂直视场角VFOV,垂直视场角VFOV的取值范围为80°-98°,水平视场角HFOV的取值范围为90°-180°。
如上所述的能够观察真实场景的虚拟现实头戴显示设备,所述虚拟场景画布设置单元设置的第一画布大小为:高(2m1×tanα1)、宽(2m1×tanβ1),其中,m1为第一虚拟摄像头与第一画布的距离,α1为第一摄像头垂直视场角HFOV的一半,β1为第一摄像头水平视场角VFOV的一半;所述虚拟场景画布设置单元设置的第二画布大小为:高(2m2×tanα2)、宽 (2m2×tanβ2),其中,m2为第二虚拟摄像头与第二画布的距离,α2为第二摄像头垂直视场角HFOV的一半,β2为第二摄像头水平视场角VFOV的一半。
如上所述的能够观察真实场景的虚拟现实头戴显示设备,α12,β12,m1=m2
如上所述的能够观察真实场景的虚拟现实头戴显示设备,所述第一虚拟摄像头位于所述第一画布的中垂线上,所述第二摄像头位于所述第二画布的中垂线上。
一种通过虚拟现实头戴显示设备观察真实场景的方法:
设置视场角FOV信息与所述第一摄像头的视场角FOV信息相同的第一虚拟摄像头、设置视场角FOV信息与所述第二摄像头的视场角FOV信息相同的第二虚拟摄像头,设置第一虚拟摄像头与所述第二虚拟摄像头之间的距离与所述第一摄像头与所述第二摄像头之间的距离相同;
根据第一摄像头的视场角FOV信息和第一虚拟摄像头与第一画布的距离计算虚拟场景中第一画布的大小,根据第一画布的大小设置第一画布;根据第二摄像头的视场角FOV信息和第二虚拟摄像头与第二画布的距离计算虚拟场景中第二画布的大小,根据第二画布的大小设置第二画布;
第一摄像头模拟人眼采集真实场景信息并传递到第一画布上;第二摄像头模拟人眼采集真实场景信息并传递到第二画布上;
第一虚拟摄像头获取所述第一画布的信息并将第一画布的信息进行渲染后输出至显示屏幕上;第二虚拟摄像头获取所述第二画布的信息并将第二画布的信息进行渲染后输出至显示屏幕上;
显示屏幕显示真实场景信息。
如上所述的通过虚拟现实头戴显示设备观察真实场景的方法,所述虚拟场景画布设置单元计算第一画布大小的方法为:获取第一虚拟摄像头与第一画布的距离m1,获取第一摄像头垂直视场角HFOV,获取第一摄像头水平视场角VFOV, α1=1/2*第一摄像头垂直视场角HFOV,β1= 1/2*第一摄像头水平视场角VFOV,第一画布的大小为:高(2m1×tanα1)、宽(2m1×tanβ1);所述虚拟场景画布设置单元计算第二画布大小的方法为:获取第二虚拟摄像头与第二画布的距离m2,获取第二摄像头垂直视场角HFOV,获取第二摄像头水平视场角VFOV, α2=1/2*第二摄像头垂直视场角HFOV,β2= 1/2*第二摄像头水平视场角VFOV,第二画布的大小为:高(2m2×tanα2)、宽(2m2×tanβ2)。
如上所述的通过虚拟现实头戴显示设备观察真实场景的方法,α12,β12,m1=m2
与现有技术相比,本发明的优点和积极效果是:本发明虚拟现实头戴显示设备根据双物理摄像头的视场角FOV信息和虚拟摄像头与画布的距离计算虚拟场景中的画布大小,并按照计算的画布大小设置画布,能够准确匹配和还原人眼视角的大小,采用与物理双摄像头的视场角FOV信息相同的双虚拟摄像头获取画布的图像并渲染后输出至显示屏幕上,因而,显示屏上显示的真实场景的比例与现实世界真实场景的比例一致,使用户在头戴显示设备中看到的画面和在现实世界中看到的一致,也即可以通过显示屏幕显示的画面能够准确的判断出物体的距离和大小,实时观察外部世界,无需摘下头戴显示设备即能够通过肢体灵活与现实世界进行交互。
结合附图阅读本发明实施方式的详细描述后,本发明的其他特点和优点将变得更加清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明具体实施例虚拟现实头戴显示设备的原理框图。
图2是本发明具体实施例虚拟现实头戴显示设备的原理示意图。
图3是本发明具体实施例中画布计算方法示意图。
图4是本发明具体实施例通过虚拟现实头戴显示设备观察真实场景的方法流程图;
图5是本发明一些实施例提供的虚拟现实头戴显示设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例提出了一种虚拟现实头戴显示设备,本实施例的头戴显示设备一方面具有普通头戴显示设备的功能,即在左右眼屏幕分别显示左右眼的图像,利用人的左右眼获取信息差异,人眼获取这种带有差异的信息后在脑海中产生立体感,引导用户产生一种身在虚拟环境中的感觉,对于此功能及实现方式为现有技术,此处不再赘述。本实施例的头戴显示设备另一方面具有观察现实世界真实场景的功能,能够使用户在头戴显示设备中看到的画面和在现实世界中看到的一致,也即可以通过显示画面能够准确的判断出物体的距离和大小,实时观察外部世界,无需摘下头戴显示设备即能够通过肢体灵活与现实世界进行交互。
下面,对本实施例的头戴显示设备具有观察现实世界真实场景的功能的实现方式进行说明:
如图1、2所示,本实施例能够观察真实场景的虚拟现实头戴显示设备包括:真实场景信息获取单元、虚拟场景画布设置单元、画布、真实场景信息输出单元和显示屏幕。下面依次进行说明:
真实场景信息获取单元,包括第一摄像头和第二摄像头,用于模拟人眼采集真实场景信息。
第一摄像头为left Cam,用于模拟人体左眼采集真实场景信息。第一摄像头具有视场角FOV信息,包括第一摄像头水平视场角HFOV和第一摄像头垂直视场角VFOV。
第二摄像头为Right Cam,用于模拟人体右眼采集真实场景信息。第二摄像头具有视场角FOV信息,包括第二摄像头水平视场角HFOV和第二摄像头垂直视场角VFOV。
由于正常人体左眼和右眼的视场角相同,因而,本实施例中,第一摄像头的视场角FOV信息与第二摄像头的视场角FOV信息相同,也即,第一摄像头水平视场角HFOV与第二摄像头水平视场角HFOV相同,第一摄像头垂直视场角VFOV与第二摄像头垂直视场角VFOV相同。
由于是为了获取最接近人眼观察的景象及范围,而人眼的视场角范围一般为水平视场角为180°,垂直视场角为96°,因此,第一摄像头垂直视场角VFOV的取值范围为80°-98°,水平视场角HFOV的取值范围为90°-180°;第二摄像头垂直视场角VFOV的取值范围为80°-98°,水平视场角HFOV的取值范围为90°-180°。第一摄像头和第二摄像头拍摄出来的图像范围与人眼所能够观察到的范围基本保持一致,尽量给用户带来最真实的感受。
第一摄像头和第二摄像头之间的距离范围为58mm~64mm,为正常的人体瞳距的距离范围。优选的,第一摄像头和第二摄像头之间的距离为国际标准瞳距63mm,以提高第一摄像头和第二摄像头模拟人眼采集真实场景信息的精确度。
画布包括第一画布和第二画布。
第一画布为left canvas,用于接收第一摄像头采集的真实场景信息。第一画布由虚拟场景画布设置单元计算大小并设置。
第二画布为right canvas,用于接收第二摄像头采集的真实场景信息。第二画布由虚拟场景画布设置单元计算大小并设置。
真实场景信息输出单元,包括第一虚拟摄像头Unity Left Cam和第二虚拟摄像头Unity Right Cam,第一虚拟摄像头用于获取第一画布的信息并将第一画布的信息进行渲染后输出至显示屏幕(显示屏幕的左半部分或左眼屏幕)上;第二虚拟摄像头用于获取第二画布的信息并将第二画布的信息进行渲染后输出至显示屏幕(显示屏幕的右半部分或右眼屏幕)上。
两个虚拟摄像头Unity Left Cam和Unity Right Cam,分别与left Cam和RightCam一一对应。其中,第一虚拟摄像头的视场角FOV信息与第一摄像头的视场角FOV信息相同,第二虚拟摄像头的视场角FOV信息与第二摄像头的视场角FOV信息相同,第一虚拟摄像头与第二虚拟摄像头之间的距离与第一摄像头与第二摄像头之间的距离相同。
虚拟场景画布设置单元,用于根据第一摄像头的视场角FOV信息和第一虚拟摄像头与第一画布的距离计算虚拟场景中第一画布的大小,根据第一画布的大小设置第一画布;用于根据第二摄像头的视场角FOV信息和第二虚拟摄像头与第二画布的距离计算虚拟场景中第二画布的大小,根据第二画布的大小设置第二画布。
第一虚拟摄像头位于第一画布的中垂线上,第二摄像头位于第二画布的中垂线上。
第一画布大小为:高(2m1×tanα1)、宽 (2m1×tanβ1),其中,m1为第一虚拟摄像头Unity Left Cam与第一画布的距离,α1为第一摄像头垂直视场角HFOV的一半,β1为第一摄像头水平视场角VFOV的一半。第二画布大小为:高(2m2×tanα2)、宽(2m2×tanβ2),其中,m2为第二虚拟摄像头与第二画布的距离,α2为第二摄像头垂直视场角HFOV的一半,β2为第二摄像头水平视场角VFOV的一半。
本实施例中,由于第一摄像头的视场角FOV信息与第二摄像头的视场角FOV信息相同,第一虚拟摄像头的视场角FOV信息与第二虚拟摄像头的视场角FOV信息相同,第一虚拟摄像头与第一画布的距离和第二虚拟摄像头与第二画布的距离相同,也即,α12,β12,m1=m2,因而,第一画布的大小与第二画布的大小相同,仅计算第一画布的大小即可得出第二画布的大小,或者,仅计算第二画布的大小即可得出第一画布的大小。
如图3所示,以任意一画布大小的计算方式为例进行说明,另外一画布大小的计算方式与本举例的计算方式相同,将虚拟摄像头与虚拟摄像头在画布上的垂点b进行连线,虚拟摄像头与垂点b之间的线段为中心垂线,将中心垂线的长度(也即虚拟摄像头到其画布的距离)设定为m。
根据虚拟摄像头的垂直视场角VFOV和水平视场角HFOV计算画布的高度和宽度。画布的高度=2×bc=2×m×tanα,画布的宽度=2×ac=2×m×tanβ。
α=1/2×垂直视场角HFOV。
β=1/2×水平视场角VFOV。
因而,可以计算出画布的大小为:高(2×m×tanα)、宽(2×m×tanβ)。
显示屏幕,用于显示真实场景信息。
显示屏幕可以为一个屏幕,包括左半部分和右半部分,左半部分用于显示第一虚拟摄像头渲染的图像,右半部分用于显示第二虚拟摄像头渲染的图像。
或者,显示屏幕可以为两个屏幕,包括左眼屏幕和右眼屏幕,左眼屏幕用于显示第一虚拟摄像头渲染的图像,右眼屏幕用于显示第二虚拟摄像头渲染的图像。
本实施例头戴显示设备使用户在头戴显示设备的显示屏幕上看到的画面和在现实世界中的一致,也即可以通过显示屏幕的画面能够准确的判断出物体的距离和大小,实时观察外部世界,无需摘下头戴显示设备即能够通过肢体灵活与现实世界进行交互,用户的使用体验好。
本实施例还提出了一种通过虚拟现实头戴显示设备观察真实场景的方法,主要是通过虚拟摄像头与画布的距离和物理摄像头的视场角信息计算出虚拟场景中的画布大小,真实还原人眼看到现实世界的场景,让用户在VR场景中获得和在现实世界中一样的体验。其中,虚拟现实头戴显示设备如上所述。
如图4所示,本实施例通过虚拟现实头戴显示设备观察真实场景的方法包括以下步骤:
S1、设置视场角FOV信息与第一摄像头的视场角FOV信息相同的第一虚拟摄像头,设置视场角FOV信息与第二摄像头的视场角FOV信息相同的第二虚拟摄像头,设置第一虚拟摄像头与第二虚拟摄像头之间的距离与第一摄像头与第二摄像头之间的距离相同。
第一虚拟摄像头和第二虚拟摄像头分别为Unity Left Cam和Unity Right Cam,分别与第一摄像头left Cam和第二摄像头Right Cam一一对应。
虚拟摄像头即用于反映两个物理摄像头,通过将虚拟摄像头的成像参数设置与物理摄像头一致,才能够将物理摄像头所采集的图像信息通过虚拟摄像头处理时不会产生扭曲、拉伸等形变,进而保证最终通过显示屏幕显示给用户时,用户能够看到的图像更接近真实场景。
确保头戴显示设备上的物理镜头(第一摄像头和第二摄像头)和VR场景中的镜头(第一虚拟摄像头和第二虚拟摄像头)之间的距离是相同的,其中,国际标准瞳距为63mm,本实施例中优选设置第一摄像头和第二摄像头中心之间的距离为63mm。
S2、根据第一摄像头的视场角FOV信息和第一虚拟摄像头与第一画布的距离计算虚拟场景中第一画布的大小,根据第一画布的大小设置第一画布;根据第二摄像头的视场角FOV信息和第二虚拟摄像头与第二画布的距离计算虚拟场景中第二画布的大小,根据第二画布的大小设置第二画布。
虚拟场景画布设置单元计算第一画布大小的方法为:获取第一虚拟摄像头与第一画布的距离m1,获取第一摄像头垂直视场角HFOV,获取第一摄像头水平视场角VFOV, α1=1/2×第一摄像头垂直视场角HFOV,β1= 1/2×第一摄像头水平视场角VFOV,第一画布的大小为:高(2m1×tanα1)、宽 (2m1×tanβ1)。
虚拟场景画布设置单元计算第二画布大小的方法为:获取第二虚拟摄像头与第二画布的距离m2,获取第二摄像头垂直视场角HFOV,获取第二摄像头水平视场角VFOV, α2=1/2*第二摄像头垂直视场角HFOV,β2= 1/2*第二摄像头水平视场角VFOV,第二画布的大小为:高(2m2×tanα2)、宽(2m2×tanβ2)。
本实施例中,由于第一摄像头的视场角FOV信息与第二摄像头的视场角FOV信息相同,第一虚拟摄像头的视场角FOV信息与第二虚拟摄像头的视场角FOV信息相同,第一虚拟摄像头与第一画布的距离和第二虚拟摄像头与第二画布的距离相同,也即,α12,β12,m1=m2,因而,第一画布的大小与第二画布的大小相同,仅计算第一画布的大小即可得出第二画布的大小,或者,仅计算第二画布的大小即可得出第一画布的大小。
如图3所示,以任意一画布大小的计算方式为例进行说明,另外一画布大小的计算方式与本举例的计算方式相同,将虚拟摄像头与虚拟摄像头在画布上的垂点b进行连线,虚拟摄像头与垂点b之间的线段为中心垂线,将中心垂线的长度(也即虚拟摄像头到其画布的距离)设定为m。分别为两个虚拟摄像头建立画布时,各虚拟摄像头位于其画布的中垂线上,且各虚拟摄像头到其画布的距离为已知。
根据虚拟摄像头的垂直视场角VFOV和水平视场角HFOV计算画布的高度和宽度。画布的高度=2×bc=2×m×tanα,画布的宽度=2×ac=2×m×tanβ。
α=1/2×垂直视场角HFOV。
β=1/2×水平视场角VFOV。
因而,可以计算出画布的大小为:高(2m×tanα)、宽(2m×tanβ)。
S3、第一摄像头模拟人眼采集真实场景信息并传递到第一画布上;第二摄像头模拟人眼采集真实场景信息并传递到第二画布上。
S4、第一虚拟摄像头获取所述第一画布的信息并将第一画布的信息进行渲染后输出至显示屏幕(显示屏幕的左半部分或左眼屏幕)上;第二虚拟摄像头获取所述第二画布的信息并将第二画布的信息进行渲染后输出至显示屏幕(显示屏幕的右半部分或右眼屏幕)上。
其中,第一虚拟摄像头只渲染第一画布,第二虚拟摄像头只渲染第二画布,目的是实现景深效果,避免出现重影。
S5、显示屏幕显示真实场景信息。
显示屏幕可以为一个屏幕,包括左半部分和右半部分,左半部分显示第一虚拟摄像头渲染的图像,右半部分显示第二虚拟摄像头渲染的图像。或者,显示屏幕可以为两个屏幕,包括左眼屏幕和右眼屏幕,左眼屏幕显示第一虚拟摄像头渲染的图像,右眼屏幕显示第二虚拟摄像头渲染的图像。
本实施例通过虚拟现实头戴显示设备观察真实场景的方法,通过获取两个物理摄像头的视场角信息,将摄像头的成像实时传递给VR开发工具,VR开发工具通过获取摄像头的视场角参数信息,计算得到匹配人眼视角大小的画布,以此设置VR场景中成像画布的大小,准确匹配和还原人眼视角的大小,使用户在VR场景中看到的画面和在现实世界中看到的一致,也即可以通过显示画面能够准确的判断出物体的距离和大小,实时观察外部世界,无需摘下头戴显示设备即能够通过肢体灵活与现实世界进行交互。
本方法中虚拟摄像头的设置、画布的建立以及画布渲染等可以采用VR开发工具实现,例如Unity、Unreal等,但不限于上述工具。
需要说明的是,步骤S5中显示屏幕显示真实场景信息时,用户可以通过切换显示的方式选择全屏显示,此时将显示屏幕会关闭当前的VR显示内容,或者选择小窗显示,该种方式无需关闭当前的VR显示内容,两者可以同时播放。
本发明一些实施例提供的虚拟现实头戴显示设备可以为外接式头戴显示设备或者一体式头戴显示设备,其中外接式头戴显示设备需要与外部处理系统(例如计算机处理系统)配合使用。
图5示出了一些实施例中头戴显示设备500的内部配置结构示意图。
显示单元501可以包括显示面板,显示面板设置在头戴显示设备500上面向用户面部的侧表面,可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
虚拟图像光学单元502以放大方式拍摄显示单元501所显示的图像,并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元501上的显示图像,可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、 或者使用外部相机510拍摄的现实场景的图像。一些实施例中,虚拟图像光学单元502可以包括透镜单元,例如球面透镜、非球面透镜、菲涅尔透镜等。
输入操作单元503包括至少一个用来执行输入操作的操作部件,例如按键、按钮、开关或者其他具有类似功能的部件,通过操作部件接收用户指令,并且向控制单元507输出指令。
状态信息获取单元504用于获取穿戴头戴显示设备500的用户的状态信息。状态信息获取单元504可以包括各种类型的传感器,用于自身检测状态信息,并可以通过通信单元505从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元504可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元504可以包括陀螺仪传感器、 加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、 红外传感器、射频场强度传感器中的一个或者多个。此外,状态信息获取单元504获取穿戴头戴显示设备500的用户的状态信息,例如获取例如用户的操作状态(用户是否穿戴头戴显示设备500)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态,手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的),甚至生理状态。
通信单元505执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外,控制单元507可以从通信单元505向外部装置发送传输数据。通信方式可以是有线或者无线形式,例如移动高清链接 (MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真 (Wi-Fi)、蓝牙通信或低功耗蓝牙通信,以及IEEE802.11s标准的网状网络等。另外,通信单元505可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。
一些实施例中,头戴显示设备500还可以包括存储单元,存储单元506是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中,存储单元506可以存储应用程序或各种类型的数据。例如,用户使用头戴显示设备100观看的内容可以存储在存储单元506中。
一些实施例中,头戴显示设备500还可以包括控制单元,控制单元507可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中,控制单元507可以用于执行存储单元506存储的应用程序,或者控制单元507还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。
图像处理单元508用于执行信号处理,比如与从控制单元507输出的图像信号相关的图像质量校正,以及将其分辨率转换为根据显示单元501的屏幕的分辨率。然后,显示驱动单元509依次选择显示单元501的每行像素,并逐行依次扫描显示单元501的每行像素,因而提供基于经信号处理的图像信号的像素信号。
一些实施例中,头戴显示设备500还可以包括外部相机。外部相机510可以设置在头戴显示设备500主体前表面,外部相机510可以为一个或者多个。外部相机510可以获取三维信息,并且也可以用作距离传感器。另外,探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机510一起使用。外部相机510和距离传感器可以用于检测穿戴头戴显示设备500的用户的身体位置、 姿态和形状。另外,一定条件下用户可以通过外部相机510直接观看或者预览现实场景。
一些实施例中,头戴显示设备500还可以包括声音处理单元,声音处理单元511可以执行从控制单元507输出的声音信号的声音质量校正或声音放大,以及输入声音信号的信号处理等。然后,声音输入/输出单元512在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是,图5中虚线框示出的结构或部件可以独立于头戴显示设备500之外,例如可以设置在外部处理系统(例如计算机系统)中与头戴显示设备500配合使用;或者,虚线框示出的结构或部件可以设置在头戴显示设备500内部或者表面上。
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。

Claims (10)

1.一种能够观察真实场景的虚拟现实头戴显示设备,其特征在于,所述设备包括:
虚拟场景画布设置单元,用于根据第一摄像头的视场角FOV信息和第一虚拟摄像头与第一画布的距离计算虚拟场景中第一画布的大小,根据第一画布的大小设置第一画布;用于根据第二摄像头的视场角FOV信息和第二虚拟摄像头与第二画布的距离计算虚拟场景中第二画布的大小,根据第二画布的大小设置第二画布;
真实场景信息获取单元,包括第一摄像头和第二摄像头,用于采集真实场景信息;
画布,包括第一画布和第二画布,所述第一画布用于接收第一摄像头采集的真实场景信息;所述第二画布用于接收第二摄像头采集的真实场景信息;
真实场景信息输出单元,包括第一虚拟摄像头和第二虚拟摄像头,第一虚拟摄像头用于获取所述第一画布的信息并将第一画布的信息进行渲染后输出至显示屏幕上;第二虚拟摄像头用于获取所述第二画布的信息并将第二画布的信息进行渲染后输出至显示屏幕上;其中,
所述第一虚拟摄像头的视场角FOV信息与所述第一摄像头的视场角FOV信息相同,所述第二虚拟摄像头的视场角FOV信息与所述第二摄像头的视场角FOV信息相同,所述第一虚拟摄像头与所述第二虚拟摄像头之间的距离与所述第一摄像头与所述第二摄像头之间的距离相同;
显示屏幕,用于显示真实场景信息。
2.根据权利要求1所述的能够观察真实场景的虚拟现实头戴显示设备,其特征在于,所述第一摄像头和第二摄像头之间的距离范围为58mm~64mm。
3.根据权利要求2所述的能够观察真实场景的虚拟现实头戴显示设备,其特征在于,所述第一摄像头和第二摄像头之间的距离为标准瞳距。
4.根据权利要求1所述的能够观察真实场景的虚拟现实头戴显示设备,其特征在于,所述第一摄像头和第二摄像头的视场角FOV包括水平视场角HFOV和垂直视场角VFOV,垂直视场角VFOV的取值范围为80°-98°,水平视场角HFOV的取值范围为90°-180°。
5.根据权利要求1-4任意一项所述的能够观察真实场景的虚拟现实头戴显示设备,其特征在于,所述虚拟场景画布设置单元设置的第一画布大小为:高为2m1×tanα1、宽 为2m1×tanβ1,其中,m1为第一虚拟摄像头与第一画布的距离,α1为第一摄像头垂直视场角HFOV的一半,β1为第一摄像头水平视场角VFOV的一半;所述虚拟场景画布设置单元设置的第二画布大小为:高为2m2×tanα2、宽为2m2×tanβ2,其中,m2为第二虚拟摄像头与第二画布的距离,α2为第二摄像头垂直视场角HFOV的一半,β2为第二摄像头水平视场角VFOV的一半。
6.根据权利要求5所述的能够观察真实场景的虚拟现实头戴显示设备,其特征在于,α12,β12,m1=m2
7.根据权利要求4所述的能够观察真实场景的虚拟现实头戴显示设备,其特征在于,所述第一虚拟摄像头位于所述第一画布的中垂线上,所述第二摄像头位于所述第二画布的中垂线上。
8.一种通过虚拟现实头戴显示设备观察真实场景的方法,其特征在于,所述方法为:
设置视场角FOV信息与第一摄像头的视场角FOV信息相同的第一虚拟摄像头、设置视场角FOV信息与第二摄像头的视场角FOV信息相同的第二虚拟摄像头,设置第一虚拟摄像头与所述第二虚拟摄像头之间的距离与所述第一摄像头与所述第二摄像头之间的距离相同;
根据第一摄像头的视场角FOV信息和第一虚拟摄像头与第一画布的距离计算虚拟场景中第一画布的大小,根据第一画布的大小设置第一画布;根据第二摄像头的视场角FOV信息和第二虚拟摄像头与第二画布的距离计算虚拟场景中第二画布的大小,根据第二画布的大小设置第二画布;
第一摄像头模拟人眼采集真实场景信息并传递到第一画布上;第二摄像头模拟人眼采集真实场景信息并传递到第二画布上;
第一虚拟摄像头获取所述第一画布的信息并将第一画布的信息进行渲染后输出至显示屏幕上;第二虚拟摄像头获取所述第二画布的信息并将第二画布的信息进行渲染后输出至显示屏幕上;
显示屏幕显示真实场景信息。
9.根据权利要求8所述的通过虚拟现实头戴显示设备观察真实场景的方法,其特征在于,虚拟场景画布设置单元计算第一画布大小的方法为:获取第一虚拟摄像头与第一画布的距离m1,获取第一摄像头垂直视场角HFOV,获取第一摄像头水平视场角VFOV, α1=1/2*第一摄像头垂直视场角HFOV,β1= 1/2*第一摄像头水平视场角VFOV,第一画布的大小为:高为2m1×tanα1、宽 为2m1×tanβ1;所述虚拟场景画布设置单元计算第二画布大小的方法为:获取第二虚拟摄像头与第二画布的距离m2,获取第二摄像头垂直视场角HFOV,获取第二摄像头水平视场角VFOV, α2=1/2*第二摄像头垂直视场角HFOV,β2= 1/2*第二摄像头水平视场角VFOV,第二画布的大小为:高为2m2×tanα2、宽2m2×tanβ2
10.根据权利要求9所述的通过虚拟现实头戴显示设备观察真实场景的方法,其特征在于,α12,β12,m1=m2
CN201711432986.XA 2017-12-26 2017-12-26 虚拟现实头戴显示设备及通过其观察真实场景的方法 Active CN108124150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711432986.XA CN108124150B (zh) 2017-12-26 2017-12-26 虚拟现实头戴显示设备及通过其观察真实场景的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711432986.XA CN108124150B (zh) 2017-12-26 2017-12-26 虚拟现实头戴显示设备及通过其观察真实场景的方法

Publications (2)

Publication Number Publication Date
CN108124150A CN108124150A (zh) 2018-06-05
CN108124150B true CN108124150B (zh) 2019-11-05

Family

ID=62231829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711432986.XA Active CN108124150B (zh) 2017-12-26 2017-12-26 虚拟现实头戴显示设备及通过其观察真实场景的方法

Country Status (1)

Country Link
CN (1) CN108124150B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109045486A (zh) * 2018-06-06 2018-12-21 沈阳东软医疗系统有限公司 一种应用于治疗过程的交互方法、装置和系统
CN108989784A (zh) * 2018-07-09 2018-12-11 歌尔科技有限公司 虚拟现实设备的图像显示方法、装置、设备及存储介质
CN109445596B (zh) * 2018-11-02 2023-09-08 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
CN111127621B (zh) * 2019-12-31 2024-02-09 歌尔科技有限公司 画面渲染方法、装置和可读存储介质
CN111915736A (zh) * 2020-08-06 2020-11-10 黄得锋 一种ar交互控制系统、装置及应用

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811687A (zh) * 2015-04-24 2015-07-29 小鸟科技有限公司 一种虚拟现实头盔的电路系统和虚拟现实头盔
CN105657406A (zh) * 2015-12-31 2016-06-08 北京小鸟看看科技有限公司 三维观察视角选定方法和装置
CN105933690A (zh) * 2016-04-20 2016-09-07 乐视控股(北京)有限公司 一种自适应调整3d画面内容大小的方法和装置
CN107277485B (zh) * 2017-07-18 2019-06-18 歌尔科技有限公司 基于虚拟现实的图像显示方法和装置

Also Published As

Publication number Publication date
CN108124150A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
CN108124150B (zh) 虚拟现实头戴显示设备及通过其观察真实场景的方法
CN108153424B (zh) 头显设备的眼动和头动交互方法
CN105556508B (zh) 虚拟镜子的装置、系统和方法
CN107376349A (zh) 被遮挡的虚拟图像显示
US20180082479A1 (en) Virtual fitting method, virtual fitting glasses and virtual fitting system
CN105338887A (zh) 肌肤的感官评价装置以及肌肤的评价方法
KR20180096434A (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
CN110413105A (zh) 虚拟环境内的虚拟对象的有形可视化
CN109074681A (zh) 信息处理装置、信息处理方法和程序
CN109002164B (zh) 头戴显示设备的显示方法、装置及头戴显示设备
CN108762492A (zh) 基于虚拟场景实现信息处理的方法、装置、设备及存储介质
CN107231529A (zh) 图像处理方法、移动终端及存储介质
CN105763829A (zh) 一种图像处理方法及电子设备
CN110378914A (zh) 基于注视点信息的渲染方法及装置、系统、显示设备
CN107678539A (zh) 用于头戴显示设备的显示方法及头戴显示设备
WO2020020022A1 (zh) 视觉识别方法及其系统
CN106840112A (zh) 一种利用自由空间视线凝视点测量的空间几何量测量方法
CN109002248B (zh) Vr场景截图方法、设备及存储介质
CN109901290A (zh) 注视区域的确定方法、装置及可穿戴设备
CN109358754A (zh) 一种混合现实头戴显示系统
CN108830943A (zh) 一种图像处理方法及虚拟现实设备
CN205485923U (zh) 一种虚拟现实设备
CN107854288A (zh) 基于数字智能虚拟三维立体影像技术的视觉失调监测及康复训练用眼镜
CN104883561B (zh) 三维全景显示方法和头戴式显示设备
US11113379B2 (en) Unlocking method and virtual reality device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201021

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Patentee before: GOERTEK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221226

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.