CN109002164B - 头戴显示设备的显示方法、装置及头戴显示设备 - Google Patents

头戴显示设备的显示方法、装置及头戴显示设备 Download PDF

Info

Publication number
CN109002164B
CN109002164B CN201810753105.2A CN201810753105A CN109002164B CN 109002164 B CN109002164 B CN 109002164B CN 201810753105 A CN201810753105 A CN 201810753105A CN 109002164 B CN109002164 B CN 109002164B
Authority
CN
China
Prior art keywords
user
distance
pupil
virtual
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810753105.2A
Other languages
English (en)
Other versions
CN109002164A (zh
Inventor
邱涛
姜滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN201810753105.2A priority Critical patent/CN109002164B/zh
Publication of CN109002164A publication Critical patent/CN109002164A/zh
Application granted granted Critical
Publication of CN109002164B publication Critical patent/CN109002164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施例提供一种头戴显示设备的显示方法、装置及头戴显示设备。其中,所述方法,包括:获取用户的瞳距信息;根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离;利用调整后的所述两个虚拟相机,渲染虚拟场景画面。本发明实施例提供的技术方案能够根据不同用户的实际瞳距来改变渲染内容,以适配不同用户,达到较好的视觉体验效果。

Description

头戴显示设备的显示方法、装置及头戴显示设备
技术领域
本发明涉及电子技术领域,尤其涉及一种头戴显示设备的显示方法、装置及头戴显示设备。
背景技术
近年来,随着虚拟现实(VR)和增强现实(AR)技术的不断发展,头戴显示设备越来越被普及和应用。
头戴显示设备内所配置的瞳距直接影响景深和比例,当头戴显示设备内所配置的瞳距(即虚拟场景中的两个虚拟相机之间的距离)与用户的瞳距不匹配时,会直接影响到用户体验。现有技术中,头戴显示设备的瞳距信息(IPD)通常在出厂时就被固定配置,后续无法更改。这就导致那些与头戴显示设备的瞳距不匹配的用户难以得到很好的用户体验。
发明内容
本发明提供一种头戴显示设备的显示方法、装置及头戴显示设备,用于解决现有技术中因瞳距不匹配的原因导致的用户视觉体验差的问题。
本发明的一个方面提供一种头戴显示设备的显示方法,包括:
获取用户的瞳距信息;
根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离;
利用调整后的所述两个虚拟相机,渲染虚拟场景画面。
可选地,根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离,包括:
获取所述两个虚拟相机在本地坐标系下的坐标信息;
根据所述瞳距信息,调整所述坐标信息。
可选地,所述本地坐标系的坐标原点建立在所述两个虚拟相机中的第一虚拟相机上,且所述两个虚拟相机中的第二虚拟相机位于所述本地坐标系的第一坐标轴上;以及
根据所述瞳距信息,调整所述坐标信息,包括:获取所述第二虚拟相机在所述本地坐标系的第一坐标轴上的坐标值;
更改所述坐标值使得所述第二虚拟相机距所述第一虚拟相机的距离为所述瞳距信息对应的数值。可选地,获取用户的瞳距信息,包括:
通过图像采集装置获取所述用户视线方向朝向正前方的眼部图像;
根据所述眼部图像,确定所述用户的瞳距信息。
可选地,上述方法,还包括:
显示引导标识或者播放虚拟的远景图像,以引导所述用户视线方向朝向正前方。
可选地,上述方法,还可包括:
接收传感器在头戴显示设备的使用状态发生变化时生成的触发信号;
若所述触发信号表明所述使用状态由未佩戴状态变为佩戴状态,则重新获取佩戴用户的瞳距信息以根据重新获取到的瞳距信息,调整所述虚拟场景中两个虚拟相机之间的距离。
可选地,上述方法,还可包括:
若所述触发信号表明所述使用状态由佩戴状态变为未佩戴状态,则执行设备休眠处理;
若所述触发信号表明所述使用状态由未佩戴状态变为佩戴状态,则执行设备唤醒处理以在唤醒后重新获取佩戴用户的瞳距信息。
本发明的又一方面提供了一种显示装置。显示装置包括:
获取模块,用于获取用户的瞳距信息;
调整模块,用于根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离;
渲染模块,用于利用调整后的所述两个虚拟相机,渲染虚拟场景画面。
可选地,所述调整模块,包括:
获取单元,用于获取所述两个虚拟相机在本地坐标系下的坐标信息;
调整单元,用于根据所述瞳距信息,调整所述坐标信息。
本发明的又一方面提供了一种头戴显示设备,该头戴显示设备包括存储器和处理器;所述存储器用于存储一条或多条计算机指令,所述一条或多条计算机指令被所述处理器执行时能够实现上述任一项所述显示方法中的步骤。
本发明实施例提供的技术方案中,根据获取到的用户的瞳距信息,来设置虚拟场景中两个虚拟相机之间的距离,也即是根据用户的实际瞳距来调节头戴显示设备中的瞳距,使得头戴显示设备中的瞳距与用户的实际瞳距相匹配。可见,本发明实施例提供的技术方案能够根据不同用户的实际瞳距来改变渲染内容,以适配不同用户,达到较好的视觉体验效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的显示方法的流程示意图;
图2为本发明一实施例提供的第一距离的计算原理图;
图3为本发明一实施例提供的显示装置的结构框图;
图4为本发明又一实施例提供的头戴显示设备的结构框图;
图5示出了头戴显示设备的内部配置结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于监测”。类似地,取决于语境,短语“如果确定”或“如果监测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当监测(陈述的条件或事件)时”或“响应于监测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
图1为本发明一实施例提供的显示方法的流程示意图。如图1所示,该方法包括:
1101、获取用户的瞳距信息。
1102、根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离。
1103、利用调整后的所述两个虚拟相机,渲染虚拟场景画面。
在上述步骤1101中,用户的瞳距信息可通过用户的选择操作或输入操作得到。例如:事先为用户提供多个不同瞳距信息的备选项,用户通过头戴显示设备上的选择按键或者通过与头戴显示设备配合使用的手柄上的操作杆来选择与自己适配的瞳距信息;或者,接收用户通过头戴显示设备或与头戴显示设备配合使用的手柄上的数字按键所输入的瞳距信息。
为了避免因瞳距信息的手动选择或输入所带来的用户操作复杂度,可通过拍摄方式得到用户的瞳距信息。即通过拍摄得到用户的眼部图像,根据眼部图像来确定用户的瞳距信息,在下面实施例中会详细进行介绍。
在上述步骤1102中,虚拟场景以及虚拟场景中两个虚拟相机多由Unity等软件创建。两个虚拟相机是用来模拟人类双眼的数学模型,数学模型的建立方法可参见现有技术,在此不再赘述。
两个虚拟相机之间的距离指的是两个虚拟相机的两个视点距离,也即是头戴显示设备的瞳距。
根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离,可采用如下方法中的一种来实现:
方法A:根据用户的瞳距信息,在预先为两个虚拟相机配置的多个距离选项中选择匹配度最高的距离选项;将虚拟场景中两个虚拟相机之间的距离更改为选中的距离选项对应的距离值。
方法B:将虚拟场景中两个虚拟相机之间的距离更改为用户的瞳距信息对应的数值,使得调整后的两个虚拟相机之间的距离与用户的实际瞳距一致。
例如:当用户的瞳距信息为58mm,则将虚拟场景中两个虚拟相机之间的距离调整为58mm。
由于不同用户的实际瞳距信息千差万别,很难事先配置与所有用户的实际瞳距相一致的各种距离选项,因此根据方法A调整得到的两个虚拟相机之间的距离很难保证与所有用户的实际瞳距保持一致。而根据方法B调整得到的两个虚拟相机之间的距离可保证与所有用户的实际瞳距保持一致。
在上述步骤1103中,当两个虚拟相机之间的距离被调整后,后续即可利用调整后的两个虚拟相机来对虚拟场景进行采集,以在显示屏幕上渲染虚拟场景画面。其中,虚拟场景画面包括左视图画面和右视图画面,左视图画面和右视图画面分别输送到用户的左眼和右眼,经过用户大脑综合后就形成了立体图像。
需要说明的是,通常虚拟场景画面会随着用户的运动、用户头部的偏转情况发生改变,也即是显示屏幕上显示的虚拟场景画面会发生改变。但是,由于显示屏幕上显示的每一对左眼帧和右眼帧均是利用由调整后的两个虚拟相机对虚拟场景进行采集得到的,因此,显示屏幕显示的每一对左眼帧和右眼帧之间的视差与两个虚拟相机之间的距离相匹配,即显示屏幕中显示的每一对左眼帧和右眼帧之间的视差均与用户的实际瞳距相匹配。
本发明实施例提供的技术方案中,根据获取到的用户的瞳距信息,来调整虚拟场景中两个虚拟相机之间的距离,也即是根据用户的实际瞳距来调节头戴显示设备中的瞳距,使得头戴显示设备中的瞳距与用户的实际瞳距相匹配。可见,本发明实施例提供的技术方案能够根据不同用户的实际瞳距来改变渲染内容,以适配不同用户,达到较好的视觉体验效果。
需要补充的是,可在虚拟场景画面渲染送屏前,根据用户的瞳距信息调整虚拟场景中两个虚拟相机之间的距离。这样,可避免在虚拟场景画面渲染送屏后调整给用户带来的短暂的眩晕感。
在一种可实现的方案中,上述1102中“根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离”,具体可采用如下步骤来实现:
1021、获取所述两个虚拟相机在本地坐标系下的坐标信息。
1022、根据所述瞳距信息,调整所述坐标信息。
通常,在创建两个虚拟相机对应的数学模型(例如:双目虚拟相机模型)时,会为每个虚拟相机建立一个本地坐标系,每个虚拟相机的本地坐标系会随着虚拟相机的移动或转动而随之移动或转动。
上述1021中的本地坐标系可以为两个虚拟相机中任一虚拟相机的本地坐标系。例如,两个虚拟相机中包括第一虚拟相机和第二虚拟相机。上述1021中的本地坐标系为第一虚拟相机的本地坐标系。两个虚拟相机在本地坐标系下的坐标信息具体为两个虚拟相机的视点在本地坐标系下的坐标信息。例如:第一虚拟相机的坐标信息为(x1,y1,z1),第二虚拟相机的坐标信息为(x2,y2,z2),此时,第一虚拟相机和第二虚拟相机之间的距离为D1:
Figure BDA0001726073480000071
上述1022中,可根据瞳距信息单独改变第一虚拟相机的坐标信息或第二虚拟相机的坐标信息,或者同时改变第一虚拟相机和第二虚拟相机的坐标信息。本实施例对此不作具体限定,只要能够将第一虚拟相机和第二虚拟相机之间的距离更改为瞳距信息对应的数值(即瞳距)即可。
需要补充说明的是,在更改坐标信息时,为了不影响后续画面渲染,需保证调整前和调整后两个虚拟相机之间的相对方位保持不变。举例来说:调整之前,第一虚拟相机位于A点,第二虚拟相机位于B点,调整之后,第一虚拟相机位于C点,第二虚拟相机位于D点,A、B、C、D点需位于同一条直线上。
具体实施时,为了方便后续计算,可在创建两个虚拟相机对应的数学模型时,将第一虚拟相机的本地坐标系的坐标原点建立在第一虚拟相机上,即建立在第一虚拟相机的视点上,且所述两个虚拟相机中的第二虚拟相机位于所述本地坐标系的第一坐标轴上。这样,只需更改第二虚拟相机位于第一坐标轴上的坐标值即可。具体地,上述1022中“根据所述瞳距信息,调整所述坐标信息”,具体可采用如下步骤实现:
S11、获取所述第二虚拟相机在所述本地坐标系的第一坐标轴上的坐标值。
S12、更改所述坐标值使得所述第二虚拟相机距所述第一虚拟相机的距离为所述瞳距信息对应的数值。
上述S12中,可直接将所述坐标值更改为瞳距信息对应的数值即可。
进一步的,上述实施例提及的通过拍照方式来获取用户的瞳距信息,具体可采用如下步骤来实现:
1011、通过图像采集装置获取用户视线方向朝向正前方的眼部图像。
1022、根据眼部图像,确定所述用户的瞳距信息。
上述1011中,获取用户视线方向朝向正前方的眼部图像是为了后续瞳距信息的确定更加精确。图像采集装置可设置在头戴显示设备正对用户面部的位置处,对用户眼部进行拍摄以获取到眼部图像。具体地,图像采集装置可位于头戴显示设备的左、右透镜的对称线上,这样可减少后续确定瞳距信息步骤中的计算量。
为了使用户视线朝向正前方,上述方法还可包括下述1104、1105和1106中的一个步骤:
1104:语音提示用户视线朝向正前方。
例如:在用户带上头戴显示设备后,语音提示“请视线超向正前方”。
1105、在显示屏幕上显示引导标识,以引导所述用户视线方向朝向正前方。
在用户带上头戴显示设备后,启动头戴显示设备,在启动画面中显示一引导标识来引导用户视线方向朝向正前方。引导标识包括但不限于十字标识、圆点标识、五角星标识。
1106、在显示屏幕上播放虚拟的远景图像,以引导所述用户视线方向朝向正前方。
虚拟的远景图像展示了一虚拟场景,该虚拟场景中包括远方景色,调动用户看向该虚拟场景中的远方景色,使得用户视线方向朝向正前方。
图像采集装置可在语音提示、显示屏幕显示引导标识或显示屏幕播放虚拟的远景图像后,对用户眼部进行连续拍照得到多张眼部图像,后续通过图像识别技术从中选取一张用户视线朝向正前方的眼部图像。或者,在语音提示、显示屏幕显示引导标识或显示屏幕播放虚拟的远景图像后,开始计时,当计时时长到达预设时长时,图像采集装置对所述用户的眼部进行拍摄得到眼部图像。预设时长可根据实际需要进行设定,本发明实施例对此不作具体限定,例如:设定为0.5s或1s。
上述1022中,根据所述眼部图像,确定所述用户的瞳距信息,具体可采用如下步骤来实现:
S31、根据所述眼部图像,确定所述用户的瞳孔距所述用户的面部中心线的第一距离。
S32、根据所述第一距离,计算得到所述瞳距信息。
其中,面部中心线即为与两眼瞳孔连线垂直的鼻梁中线。通常,正常人的双眼瞳孔距面部中心线的第一距离是相等的,因此,可仅计算出左眼瞳孔和右眼瞳孔中的一个距面部中心线的第一距离即可,后续将该第一距离的两倍作为瞳距信息。当然,也可分别计算出用户左眼瞳孔和右眼瞳距距用户面部中心线的第一距离,将左眼瞳孔距用户面部中心线的第一距离和右眼瞳距距用户面部中心线的第一距离相加,得到瞳距信息。
为了方便数据处理,可将图像采集装置设置在头戴显示设备的左、右透镜的对称线上,所述左、右透镜的对称线与所述左、右透镜的中心点连线垂直。这样,第一距离的计算过程如下:根据所述眼部图像,计算得到所述用户的瞳孔距头戴显示设备上左、右透镜的对称线的第二距离;根据所述第二距离以及所述用户的瞳孔距所述左、右透镜所在平面的第三距离,确定所述第一距离;所述左、右透镜分别与所述用户的左、右眼一一对应。通常,用户的瞳孔距左、右透镜所在平面的第三距离由头戴显示设备中的左、右透镜所在平面距头戴显示设备的与用户面部接触表面的距离确定,也就是说,每个用户的瞳孔距左、右透镜所在平面的第三距离是一致的。因此,这个第三距离可事先进行配置,后续直接获取即可。
例如:如图2所示,已知:第二距离为c和第三距离为a,则由勾股定理公式b2=c2-a2即可计算得到第一距离b的值。
需要说明的是:如图2所示,若图像采集装置400位于左、右透镜的对称线上且位于左、右透镜的中心点连线的中点位置处,则眼部图像中瞳孔的深度信息即为第二距离c(如图2所示)。若图像采集装置400位于左、右透镜的对称线上,但不在左、右透镜的中心点连线的中点位置处,则后续可根据眼部图像中瞳孔的深度信息z以及图像采集装置距左、右透镜的中心点连线的中点位置处的距离l,可计算得到第二距离c。计算公式如下:
Figure BDA0001726073480000101
图2中,箭头30所指的为左透镜的中心点、箭头31所指的为右透镜的中心点,箭头20所指的为用户左眼、箭头21所指的为用户右眼。
在一种可实现的方案中,图像采集装置可为红外摄像头。当图像采集装置为红外摄像头时,头戴显示设备与用户面部正对的位置处还设置有红外光源,用于在红外摄像头拍摄时对用户眼部进行补光。
考虑到在实际应用中,头戴显示设备启动后,中途会更换用户。为了使得更换后的用户也能够得到较好的视觉体验,可再次根据更换后用户的瞳距信息对两个虚拟相机之间的距离进行调整。具体地,上述方法,还可包括:
1107、接收传感器在头戴显示设备的使用状态发生变化时生成的触发信号。
1108、若所述触发信号表明所述使用状态由未佩戴状态变为佩戴状态,则重新获取佩戴用户的瞳距信息以根据重新获取到的瞳距信息,调整所述虚拟场景中两个虚拟相机之间的距离。
其中,所述传感器可包括但不限于距离传感器或压力传感器。可在头戴显示设备的与用户头部或脸部接触的位置处设置传感器。
当头戴显示设备被戴上或被摘下时,传感器都能检测到并生成触发信号。例如:在头戴显示设备为佩戴状态时,距离传感器检测到的距离信息会比较小,一旦头戴显示设备被摘下,距离传感器检测到的距离信息会突然变大,此时,可触发生成触发信号,该触发信号表明头戴显示设备的使用状态由佩戴状态变为未佩戴状态。再例如:在头戴显示设备为未佩戴状态时,压力传感器检测到的压力信息会比较小或为0,一旦头戴显示设备被戴上,压力传感器检测到的压力信息会突然变大,此时,可触发生成触发信号,该触发信号表明头戴显示设备的使用状态由未佩戴状态变为佩戴状态。
上述108中,重新获取佩戴用户的瞳距信息以及根据重新获取到的瞳距信息,调整所述虚拟场景中两个虚拟相机之间的距离的步骤可参见上述实施例中的相应内容,在此不再赘述。
进一步的,上述方法,还可包括:
1109、若所述触发信号表明所述使用状态由佩戴状态变为未佩戴状态,则执行设备休眠处理。
1110、若所述触发信号表明所述使用状态由未佩戴状态变为佩戴状态,则执行设备唤醒处理以在唤醒后重新获取佩戴用户的瞳距信息。
通过休眠和唤醒处理可有效节约电量,并通过唤醒处理实现对佩戴用户的瞳距信息的重新获取的触发。
本发明又一些实施例提供了一种显示装置。如图3所示,该显示装置包括:获取模块301、调整模块302、渲染模块303。其中,获取模块301,用于获取用户的瞳距信息;调整模块302,用于根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离;渲染模块303,用于利用调整后的所述两个虚拟相机,渲染虚拟场景画面。
进一步的,调整模块302,包括:
获取单元,用于获取所述两个虚拟相机在本地坐标系下的坐标信息;
调整单元,用于根据所述瞳距信息,调整所述坐标信息。
进一步的,所述本地坐标系的坐标原点建立在所述两个虚拟相机中的第一虚拟相机上,且所述两个虚拟相机中的第二虚拟相机位于所述本地坐标系的第一坐标轴上;以及
所述调整单元,具体用于:获取所述第二虚拟相机在所述本地坐标系的第一坐标轴上的坐标值;
更改所述坐标值使得所述第二虚拟相机距所述第一虚拟相机的距离为所述瞳距信息对应的数值。进一步的,获取模块301,包括:
通过图像采集装置获取所述用户视线方向朝向正前方的眼部图像;
根据所述眼部图像,确定所述用户的瞳距信息。
进一步的,上述装置,还包括:
显示模块,用于显示引导标识或者播放虚拟的远景图像,以引导所述用户视线方向朝向正前方。
进一步的,上述装置,还包括:
接收模块,用于接收传感器在头戴显示设备的使用状态发生变化时生成的触发信号;
重新模块,用于若所述触发信号表明所述使用状态由未佩戴状态变为佩戴状态,则重新获取佩戴用户的瞳距信息以根据重新获取到的瞳距信息,调整所述虚拟场景中两个虚拟相机之间的距离。
进一步的,上述装置,还包括:
执行模块,用于若所述触发信号表明所述使用状态由佩戴状态变为未佩戴状态,则执行设备休眠处理;若所述触发信号表明所述使用状态由未佩戴状态变为佩戴状态,则执行设备唤醒处理以在唤醒后重新获取佩戴用户的瞳距信息。
本发明实施例提供的技术方案中,根据获取到的用户的瞳距信息,来设置虚拟场景中两个虚拟相机之间的距离,也即是根据用户的实际瞳距来调节头戴显示设备中的瞳距,使得头戴显示设备中的瞳距与用户的实际瞳距相匹配。可见,本发明实施例提供的技术方案能够根据不同用户的实际瞳距来改变渲染内容,以适配不同用户,达到较好的视觉体验效果。
这里需要说明的是:上述实施例提供的显示装置可实现上述各方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
本发明一实施例还提供一种头戴显示设备。如图4所示,该头戴显示设备设备包括处理器401和存储器402,所述存储器402用于存储支持处理器401执行上述各实施例提供的显示方法的程序,所述处理器401被配置为用于执行所述存储器402中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器401调用执行。所述一条或多条计算机指令被处理器401执行时能够实现上述显示方法中的步骤。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的显示方法对应的程序指令/模块(例如,附图3所示的获取模块301、设置模块302、渲染模块303)。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块,从而执行头戴显示设备的各种功能应用以及数据处理,即实现上述方法实施例的显示方法。
所述处理器401用于:获取用户的瞳距信息;根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离;利用调整后的所述两个虚拟相机,渲染虚拟场景画面。
处理器401可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
图5示出了一些实施例中头戴显示设备100的内部配置结构示意图。
显示单元101可以包括显示面板,显示面板设置在头戴显示设备100上面向用户面部的侧表面,可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
虚拟图像光学单元102允许用户按放大的虚拟图像观察显示单元101所显示的图像。作为输出到显示单元101上的显示图像,可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机110拍摄的现实场景的图像。一些实施例中,虚拟图像光学单元102可以包括透镜单元,例如球面透镜、非球面透镜、菲涅尔透镜等。
输入操作单元103包括至少一个用来执行输入操作的操作部件,例如按键、按钮、开关或者其他具有类似功能的部件,通过操作部件接收用户指令,并且向控制单元107输出指令。
状态信息获取单元104用于获取穿戴头戴显示设备100的用户的状态信息。状态信息获取单元104可以包括各种类型的传感器,用于自身检测状态信息,并可以通过通信单元105从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元104可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元104可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外,状态信息获取单元104获取头戴显示设备100的用户的状态信息,例如获取例如用户的操作状态(用户是否穿戴头戴显示设备100)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态,手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的),甚至生理状态。
通信单元105执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外,控制单元107可以从通信单元105向外部装置发送传输数据。通信方式可以是有线或者无线形式,例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信,以及IEEE802.11s标准的网状网络等。另外,通信单元105可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。
一些实施例中,头戴显示设备100还可以包括存储单元,存储单元106是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中,存储单元106可以存储应用程序或各种类型的数据。例如,用户使用头戴显示设备100观看的内容可以存储在存储单元106中。
一些实施例中,头戴显示设备100还可以包括控制单元,控制单元107可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中,控制单元107可以用于执行存储单元106存储的应用程序,或者控制单元107还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。
图像处理单元108用于执行信号处理,比如与从控制单元107输出的图像信号相关的图像质量校正,以及将其分辨率转换为根据显示单元101的屏幕的分辨率。然后,显示驱动单元109依次选择显示单元101的每行像素,并逐行依次扫描显示单元101的每行像素,因而提供基于经信号处理的图像信号的像素信号。
一些实施例中,头戴显示设备100还可以包括外部相机。外部相机110可以设置在头戴显示设备100主体前表面,外部相机110可以为一个或者多个。外部相机110可以获取三维信息,并且也可以用作距离传感器。另外,探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机110一起使用。外部相机110和距离传感器可以用于检测头戴显示设备100的用户的身体位置、姿态和形状。另外,一定条件下用户可以通过外部相机110直接观看或者预览现实场景。
一些实施例中,头戴显示设备100还可以包括声音处理单元,声音处理单元111可以执行从控制单元107输出的声音信号的声音质量校正或声音放大,以及输入声音信号的信号处理等。然后,声音输入/输出单元112在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是,图1中虚线框示出的结构或部件可以独立于头戴显示设备100之外,例如可以设置在外部处理系统(例如计算机系统)中与头戴显示设备100配合使用;或者,虚线框示出的结构或部件可以设置在头戴显示设备100内部或者表面上。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (9)

1.一种头戴显示设备的显示方法,其特征在于,包括:
获取用户的瞳距信息;
根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离;
利用调整后的所述两个虚拟相机,渲染虚拟场景画面;
所述获取用户的瞳距信息,包括:
通过图像采集装置获取所述用户视线方向朝向正前方的眼部图像;
根据所述眼部图像,确定所述用户的瞳距信息;
所述根据所述眼部图像,确定所述用户的瞳距信息,包括:
根据所述眼部图像,确定所述用户的瞳孔距所述用户的面部中心线的第一距离;
根据所述第一距离,计算得到所述瞳距信息;
所述根据所述眼部图像,确定所述用户的瞳孔距所述用户的面部中心线的第一距离包括:
根据所述眼部图像,计算得到所述用户的瞳孔距头戴显示设备上左、右透镜的对称线的第二距离;
根据所述第二距离以及所述用户的瞳孔距所述左、右透镜所在平面的第三距离,确定所述第一距离;其中,所述用户的瞳孔距左、右透镜所在平面的第三距离由所述头戴显示设备中的左、右透镜所在平面距所述头戴显示设备的与用户面部接触表面的距离确定;
所述左、右透镜分别与所述用户的左、右眼一一对应。
2.根据权利要求1所述的方法,其特征在于,根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离,包括:
获取所述两个虚拟相机在本地坐标系下的坐标信息;
根据所述瞳距信息,调整所述坐标信息。
3.根据权利要求2所述的方法,其特征在于,所述本地坐标系的坐标原点建立在所述两个虚拟相机中的第一虚拟相机上,且所述两个虚拟相机中的第二虚拟相机位于所述本地坐标系的第一坐标轴上;以及
根据所述瞳距信息,调整所述坐标信息,包括:获取所述第二虚拟相机在所述本地坐标系的第一坐标轴上的坐标值;
更改所述坐标值使得所述第二虚拟相机距所述第一虚拟相机的距离为所述瞳距信息对应的数值。
4.根据权利要求1所述的方法,其特征在于,还包括:
显示引导标识或者播放虚拟的远景图像,以引导所述用户视线方向朝向正前方。
5.根据权利要求1-3中任一项所述的方法,其特征在于,还包括:
接收传感器在所述头戴显示设备的使用状态发生变化时生成的触发信号;
若所述触发信号表明所述使用状态由未佩戴状态变为佩戴状态,则重新获取佩戴用户的瞳距信息以根据重新获取到的瞳距信息,调整所述虚拟场景中两个虚拟相机之间的距离。
6.根据权利要求5所述的方法,其特征在于,还包括:
若所述触发信号表明所述使用状态由佩戴状态变为未佩戴状态,则执行设备休眠处理;
若所述触发信号表明所述使用状态由未佩戴状态变为佩戴状态,则执行设备唤醒处理以在唤醒后重新获取佩戴用户的瞳距信息。
7.一种头戴显示设备的显示装置,其特征在于,包括:
获取模块,用于获取用户的瞳距信息;
调整模块,用于根据所述瞳距信息,调整虚拟场景中两个虚拟相机之间的距离;
渲染模块,用于利用调整后的所述两个虚拟相机,渲染虚拟场景画面;
所述获取模块,还用于:
通过图像采集装置获取所述用户视线方向朝向正前方的眼部图像;
根据所述眼部图像,确定所述用户的瞳距信息;
所述根据所述眼部图像,确定所述用户的瞳距信息,包括:
根据所述眼部图像,确定所述用户的瞳孔距所述用户的面部中心线的第一距离;
根据所述第一距离,计算得到所述瞳距信息;
所述根据所述眼部图像,确定所述用户的瞳孔距所述用户的面部中心线的第一距离包括:
根据所述眼部图像,计算得到所述用户的瞳孔距头戴显示设备上左、右透镜的对称线的第二距离;
根据所述第二距离以及所述用户的瞳孔距所述左、右透镜所在平面的第三距离,确定所述第一距离;其中,所述用户的瞳孔距左、右透镜所在平面的第三距离由所述头戴显示设备中的左、右透镜所在平面距所述头戴显示设备的与用户面部接触表面的距离确定;
所述左、右透镜分别与所述用户的左、右眼一一对应。
8.根据权利要求7所述的显示装置,其特征在于,所述调整模块,包括:
获取单元,用于获取所述两个虚拟相机在本地坐标系下的坐标信息;
调整单元,用于根据所述瞳距信息,调整所述坐标信息。
9.一种头戴显示设备,其特征在于,包括存储器和处理器;所述存储器用于存储一条或多条计算机指令,所述一条或多条计算机指令被所述处理器执行时能够实现上述1-6任一项所述显示方法中的步骤。
CN201810753105.2A 2018-07-10 2018-07-10 头戴显示设备的显示方法、装置及头戴显示设备 Active CN109002164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810753105.2A CN109002164B (zh) 2018-07-10 2018-07-10 头戴显示设备的显示方法、装置及头戴显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810753105.2A CN109002164B (zh) 2018-07-10 2018-07-10 头戴显示设备的显示方法、装置及头戴显示设备

Publications (2)

Publication Number Publication Date
CN109002164A CN109002164A (zh) 2018-12-14
CN109002164B true CN109002164B (zh) 2021-08-24

Family

ID=64598912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810753105.2A Active CN109002164B (zh) 2018-07-10 2018-07-10 头戴显示设备的显示方法、装置及头戴显示设备

Country Status (1)

Country Link
CN (1) CN109002164B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327758B (zh) * 2018-12-17 2022-08-02 中兴通讯股份有限公司 摄像头共享方法及装置
CN109901709B (zh) * 2019-01-14 2022-06-14 北京七鑫易维信息技术有限公司 调节显示画面的方法、装置及vr设备
CN110928516B (zh) * 2019-12-12 2023-08-01 Oppo广东移动通信有限公司 增强现实的显示方法、装置、终端及计算机可读存储介质
CN111352510B (zh) * 2020-03-30 2023-08-04 歌尔股份有限公司 一种虚拟模型的创建方法、系统、装置及头戴式设备
CN114860063B (zh) * 2021-02-03 2024-03-15 广州视享科技有限公司 头戴式显示设备的画面显示方法、装置、电子设备及介质
CN113612978B (zh) * 2021-07-01 2024-06-25 江西科骏实业有限公司 几何失真校正方法、装置、系统与计算机可读存储介质
CN113611181B (zh) * 2021-07-09 2023-06-13 中国舰船研究设计中心 一种虚拟仿真场景的立体显示方法及装置
CN113866987A (zh) * 2021-09-29 2021-12-31 北京理工大学 利用手势交互调节增强现实头盔显示器瞳距和像面的方法
CN114859561B (zh) * 2022-07-11 2022-10-28 泽景(西安)汽车电子有限责任公司 一种可穿戴显示设备及其控制方法、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014045392A (ja) * 2012-08-28 2014-03-13 Minoru Inaba 立体映像受像機
CN105611278A (zh) * 2016-02-01 2016-05-25 欧洲电子有限公司 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备
CN206294244U (zh) * 2016-11-23 2017-06-30 东莞市未来梦虚拟现实信息科技有限公司 一种虚拟现实全景摄像设备
CN107302694A (zh) * 2017-05-22 2017-10-27 歌尔科技有限公司 通过虚拟现实设备呈现场景的方法、设备及虚拟现实设备
CN107506036A (zh) * 2017-08-23 2017-12-22 歌尔股份有限公司 Vr瞳距调节方法和装置
CN107657654A (zh) * 2017-09-21 2018-02-02 北京小鸟看看科技有限公司 一种虚拟现实场景渲染方法、装置和头戴显示设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014045392A (ja) * 2012-08-28 2014-03-13 Minoru Inaba 立体映像受像機
CN105611278A (zh) * 2016-02-01 2016-05-25 欧洲电子有限公司 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备
CN206294244U (zh) * 2016-11-23 2017-06-30 东莞市未来梦虚拟现实信息科技有限公司 一种虚拟现实全景摄像设备
CN107302694A (zh) * 2017-05-22 2017-10-27 歌尔科技有限公司 通过虚拟现实设备呈现场景的方法、设备及虚拟现实设备
CN107506036A (zh) * 2017-08-23 2017-12-22 歌尔股份有限公司 Vr瞳距调节方法和装置
CN107657654A (zh) * 2017-09-21 2018-02-02 北京小鸟看看科技有限公司 一种虚拟现实场景渲染方法、装置和头戴显示设备

Also Published As

Publication number Publication date
CN109002164A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109002164B (zh) 头戴显示设备的显示方法、装置及头戴显示设备
US10848745B2 (en) Head-mounted display tracking system
KR20210154814A (ko) 패스 쓰루 이미징을 갖는 헤드 마운트 디스플레이
KR102331780B1 (ko) 증강 현실 시스템들에 커플링된 프라이버시-민감 소비자 카메라들
JP5538483B2 (ja) 映像処理装置、映像処理方法、および映像処理システム
WO2017163720A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
EP3671408B1 (en) Virtual reality device and content adjusting method therefor
CN109002248B (zh) Vr场景截图方法、设备及存储介质
CN111213375B (zh) 信息处理装置、信息处理方法以及程序
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
US10248842B1 (en) Face tracking using structured light within a head-mounted display
US20200213467A1 (en) Image display system, image display method, and image display program
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
RU2020126876A (ru) Устройство и способ формирования изображений вида
CN109408011B (zh) 头戴显示设备的显示方法、装置及设备
CN107426522B (zh) 基于虚拟现实设备的视频方法和系统
CN107958478B (zh) 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
US20230403386A1 (en) Image display within a three-dimensional environment
US20200304770A1 (en) Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method
WO2021130986A1 (ja) 映像表示装置及び映像表示方法
JP2013131884A (ja) 眼鏡
JP2021068296A (ja) 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201028

Address after: 261061 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261061 East of Dongming Road, Weifang High-tech Zone, Weifang City, Shandong Province, North of Yuqing East Street (Room 502, Goertek Office Building)

Applicant before: GoerTek Optical Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221128

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.