CN108604385A - 一种应用界面显示方法及装置 - Google Patents

一种应用界面显示方法及装置 Download PDF

Info

Publication number
CN108604385A
CN108604385A CN201780010154.0A CN201780010154A CN108604385A CN 108604385 A CN108604385 A CN 108604385A CN 201780010154 A CN201780010154 A CN 201780010154A CN 108604385 A CN108604385 A CN 108604385A
Authority
CN
China
Prior art keywords
eye image
interface
region
eye
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780010154.0A
Other languages
English (en)
Inventor
曹海恒
谭利文
孙伟
陈心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108604385A publication Critical patent/CN108604385A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种应用界面显示方法及装置。本申请实施例方法用于应用界面显示装置在VR设备上显示2D应用程序的界面,该方法包括:获取待显示界面,所述待显示界面为2D应用程序的界面;对所述待显示界面进行维度转换处理,得到所述待显示界面对应的第一左眼图像及所述第一右眼图像,所述第一左眼图像及所述第一右眼图像用于呈现具有三维视觉效果的所述待显示界面;获取用户的第一头部姿态;根据所述第一头部姿态,调整所述第一左眼图像得到第二左眼图像,并调整所述第一右眼图像得到第二右眼图像;在所述VR设备的左眼视野区域显示所述第二左眼图像,并在所述VR设备的右眼视野区域显示所述第二右眼图像。

Description

一种应用界面显示方法及装置
本申请要求于2016年11月8日提交中国专利局、申请号为201610980760.2、发明名称为“一种低时延立体显示二维图像的方法和设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机应用领域,尤其涉及一种应用界面显示方法及装置。
背景技术
虚拟现实(Virtual Reality,VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。随着用户对生活质量的需求,虚拟现实显示技术的发展成了社会关注的焦点。
虚拟现实设备要求分别渲染出左眼画面和右眼画面来产生立体感,而现有的大部分应用程序的界面都是二维(two dimension,2D)的,无法满足虚拟现实设备的需求,这就使得大量的应用程序无法在虚拟现实系统中使用。
现有技术通过对开放图形库(Open Graphics Library,OpenGL)函数以左右分屏方式将虚拟现实场景写入安卓系统的帧缓存中,并利用安卓系统读取帧缓存中的内容进行绘制来实现虚拟现实场景在虚拟设备的左右屏幕上的显示,形成虚拟现实场景中的虚拟屏幕,最后直接将获取的待显示二维应用界面的纹理分别绘制到左右屏幕的虚拟现实场景中的虚拟屏幕上,从而使得二维应用界面同时渲染出左右眼的画面,具有立体感。
但是将二维应用界面渲染成具有三维视觉效果的图像,需要的时间较长,渲染出来的结果较滞后,不能与用户的视野贴合,容易使用户产生视觉错位,从而导致晕眩,体验较差。
发明内容
本申请实施例提供了一种应用界面显示方法,可以避免在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
有鉴于此,本申请第一方面提供一种应用界面显示方法,该方法用于应用界面显示装置在VR设备上显示二维应用程序的界面,该方法包括:
应用界面显示装置获取待显示界面,该待显示界面为二维应用程序的界面,应用界面显示装置获取待显示界面后,对该待显示界面进行维度转换处理得到待显示界面对应的第一左眼图像及第一右眼图像,该第一左眼图像及第二右眼图像用于呈现具有三维视觉效果的待显示界面,然后,应用界面显示装置获取用户当前的头部姿态,即第一头部姿态,再根据该第一头部姿态调整第一左眼图像及第一右眼图像得到第二左眼图像及第二右眼图像,最后在VR设备的左眼视野区域显示该第二左眼图像,在VR设备的右眼视野区域显示该第二右眼图像。
需要说明的是,维度转换处理指的是将二维应用程序的界面转换成具有三维视觉效果的界面。左眼图像指的是针对用户左眼视野生成的图像,右眼图像指的是针对用户右眼视野生成的图像。VR设备根据用户的左右眼分为左眼视野区域和右眼视野区域,左眼视野区域为VR设备中与用户左眼视野对准的屏幕区域或光学镜片组,右眼视野区域为VR设备中与用户右眼视野对准的屏幕区域或光学镜片组。
本申请实施例对待显示界面进行维度转换处理得到左屏幕及右屏幕对应的图像后,再获取用户当前的头部姿态,并根据该头部姿态调整左屏幕及右屏幕对应的图像,再将调整后的图像分别显示在左屏幕及右屏幕上。也就是说本申请在对待显示界面进行维度转换得到具有三维视觉效果的图像后,还会根据用户最新的头部姿态对转换后的结果进行调整,从而使得最终显示的图像的位置更加贴合与用户的视野,避免了在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
结合本申请第一方面,在本申请第一方面的第一种实现方式中,应用界面显示装置进行维度转换处理的过程具体可以包括:
应用界面显示装置对待显示界面进行双目渲染,得到待显示界面的第三左眼图像及第三右眼图像,再对第三左眼图像及第三右眼图像进行桶形畸变处理,得到待显示界面的第一左眼图像及待显示界面的第一右眼图像。
需要说明的是,经过光学处理使得远离光轴区域的放大率比光轴附近的低,在像平面内出现图中所示的外凸情景称为桶形畸变,而本申请中的桶形畸变处理用于抵消VR设备中的光学镜片产生的畸变。
本申请实施例通过双目渲染得到具有三维视觉效果的图像后,还会对图像进行桶形畸变处理,以抵消VR设备中的光学镜片产生的畸变,提升了图像质量,增强用户体验。
结合本申请第一方面的第一种实现方式,在本申请第一方面的第二种实现方式中,应用界面显示装置对待显示界面进行双目渲染得到第三左眼图像及第三右眼图像的过程具体包括:
应用界面显示装置获取待显示界面后,获取用户当前的头部姿态,即第二头部姿态,然后根据第二头部姿态分别确定第一区域即第二区域,并在第一区域绘制待显示界面得到第三左眼图像,在第二区域绘制待显示界面得到第三右眼图像,其中,第一区域为预设三维场景的左眼图像中用于展示待显示界面的区域,第二区域为预设的三维场景的右眼图像中用于展示待显示界面的区域。
本申请实施例通过将待显示界面绘制到预设三维场景的方式进行双目渲染,使得用户能够置身在预设的三维场景中进行待显示界面的浏览,提升了方案的灵活性,进一步增强了用户体验。
结合本申请第一方面,第一方面的第一或第二种实现方式,在本申请第一方面的第三种实现方式中,应用界面显示装置根据该第一头部姿态调整第一左眼图像及第一右眼图像得到第二左眼图像及第二右眼图像的过程具体包括:
应用界面显示装置根据第一有部姿态对第一左眼图像进行异步时间扭曲得到第二左眼 图像,并对第一右眼图像进行异步时间扭曲得到第二右眼图像。需要说明的是,异步时间扭曲是一种图像修正的技术,在使用虚拟现实设备时,由于头部运动过快,而造场景渲染的延迟,即头已经转过去了,但是图像还没有渲染出来,或者渲染的是上一帧的图像,异步时间扭曲通过扭曲一副被送往显示设备之前图像,来解决这个延迟问题。
本申请实施例提供了一种调整图像的具体方式,提高了方案的可实现性。
结合本申请第一方面,第一方面的第一至第三种实现方式中的任意一种实现方式,在本申请第一方面的第四种实现方式中,
应用界面显示装置获取待显示界面具体可以通过如下方式:应用界面显示装置从移动终端获取待显示界面;
对应地,应用界面显示装置在VR设备的左眼视野区域显示第二左眼图像,并在VR设备的右眼视野区域显示第二右眼图像具体可以通过如下方式:应用界面显示装置将第二左眼图像及第二右眼图像发送给移动终端,该移动终端的屏幕包括第三区域和第四区域,第三区域对应VR设备的左眼视野区域,第四区域对应VR设备的右眼视野区域,则移动终端接收到应用界面显示装置发送的第二左眼图像及第二右眼图像后,移动终端在屏幕的第三区域显示第二左眼图像,在屏幕的第四区域显示第二右眼图像。
本申请实施例提供了一种获取待显示界面及显示待显示界面的具体方式,提高了方案的可实现性。
结合本申请实施例第一方面的第四种实现方式,在本申请实施例第一方面的第五种实现方式中,该移动终端包括SurfaceFlinger模块,该SurfaceFlinger是安卓系统中负责显示合成的模块,能够计算出每个图层最终合成图像中的位置,然后生成最终的显示缓冲,再显示到特定的显示设备上。
则应用界面显示装置具体可以通过如下方式从移动终端获取待显示界面:应用界面显示装置从该SurfaceFlinger模块获取待显示界面;
对应地,应用界面显示装置可以通过如下方式将第二左眼图像及第二右眼图像发送给移动终端:应用界面显示装置将第二左眼图像及第二右眼图像发送至该SurfaceFlinger模块,以使得该SurfaceFlinger模块在移动终端的屏幕的第三区域显示第二左眼图像,在屏幕的第四区域显示第二右眼图像。
本申请实施例应用界面显示装置可以是独立于安卓系统的装置,即本申请实施例中的应用界面显示方法可以不依赖于安卓系统,可以减轻移动终端的运算负担,另外当该方法中用到的算法需要更新时,该更新可以独立于安卓系统进行,当安卓系统中的内部架构发生更新时,该方法中用到的算法不需要进行相应的修改,灵活性和通用性更高。
本申请第二方面提供了一种应用界面显示装置,该装置用于在VR设备上显示二维应用程序的界面,该装置包括:
第一获取模块,用于获取待显示界面,该待显示界面为2D应用程序的界面;
处理模块,用于对第一获取模块获取的待显示界面进行维度转换处理,得到待显示界面对应的第一左眼图像及第一右眼图像,第一左眼图像及第一右眼图像用于呈现具有三维视觉效果的待显示界面;
第二获取模块,用于获取用户的第一头部姿态;
调整模块,用于根据第二获取模块获取的第一头部姿态,调整第一左眼图像得到第二左眼图像,并调整第一右眼图像得到第二右眼图像;
显示模块,用于在VR设备的左眼视野区域显示第二左眼图像,并在VR设备的右眼视野区域显示第二右眼图像。
本申请实施例对待显示界面进行维度转换处理得到左屏幕及右屏幕对应的图像后,再获取用户当前的头部姿态,并根据该头部姿态调整左屏幕及右屏幕对应的图像,再将调整后的图像分别显示在左屏幕及右屏幕上。也就是说本申请在对待显示界面进行维度转换得到具有三维视觉效果的图像后,还会根据用户最新的头部姿态对转换后的结果进行调整,从而使得最终显示的图像的位置更加贴合与用户的视野,避免了在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
结合本申请第二方面,在本申请第二方面的第一种实现方式中,处理模块具体包括:
渲染单元,用于对待显示界面进行双目渲染,得到待显示界面的第三左眼图像及第三右眼图像;
处理单元,用于对第三左眼图像及第三右眼图像进行桶形畸变处理,得到待显示界面的第一左眼图像及待显示界面的第一右眼图像。
本申请实施例处理单元可以对图像进行畸变处理,以抵消VR设备中的光学镜片产生的畸变,提升了图像质量,增强用户体验。
结合本申请第二方面,在本申请第二方面的第一种实现方式中,渲染单元具体可以包括:
第一获取子单元,用于获取用户的第二头部姿态;
确定子单元,用于根据第二头部姿态分别确定第一区域及第二区域,第一区域为预设的三维场景的左眼图像中用于展示待显示界面的区域,第二区域为预设的三维场景的右眼图像中用于展示待显示界面的区域;
绘制子单元,用于在第一区域绘制待显示界面得到第三左眼图像,并在第二区域绘制待显示界面得到第三右眼图像。
本申请实施例渲染单元通过绘制子单元将待显示界面绘制到预设三维场景中,使得用户能够置身在预设的三维场景中进行待显示界面的浏览,提升了方案的灵活性,进一步增强了用户体验。
结合本申请第二方面,第二方面的第一或第二种实现方式,在本申请第二方面的第三种实现方式中,调整模块具体可以包括:
时间扭曲单元,用于根据第一头部姿态对第一左眼图像进行异步时间扭曲得到第二左眼图像,对第一右眼图像进行异步时间扭曲得到第二右眼图像。
本申请实施例提供了一种调整模块调整图像的具体方式,提高了方案的可实现性。
结合本申请第二方面,第二方面的第一或第二种实现方式,在本申请第二方面的第三种实现方式中,第一获取模块具体可以包括:
获取单元,用于从移动终端获取所述待显示界面;
对应地,显示模块具体可以包括:
发送单元,用于将第二左眼图像及第二右眼图像发送给移动终端,使得移动终端在屏幕的第三区域显示第二左眼图像,在屏幕的第四区域显示第二右眼图像,移动终端的屏幕包括第三区域和第四区域,第三区域对应VR设备的左眼视野区域,第四区域对应VR设备的右眼视野区域。
本申请实施例提供了一种获取单元获取待显示界面及显示模块显示待显示界面的具体方式,提高了方案的可实现性。
结合本申请第二方面的第三种实现方式,在本申请第二方面的第四种实现方式中,该移动终端包括SurfaceFlinger模块,该获取单元具体可以包括:
第二获取子单元,用于从SurfaceFlinger模块处获取待显示界面;
对应地,该发送单元具体可以包括:
发送子单元,用于将第二左眼图像及第二右眼图像发送至SurfaceFlinger模块,以使得SurfaceFlinger模块端在移动终端的屏幕的第三区域显示第二左眼图像,在屏幕的第四区域显示第二右眼图像。
本申请实施例应用界面显示装置可以是独立于安卓系统的装置,即可以不依赖于安卓系统执行本申请实施例中的方法,可以减轻移动终端的运算负担,另外当该方法中用到的算法需要更新时,该更新可以独立于安卓系统进行,当安卓系统中的内部架构发生更新时,该方法中用到的算法不需要进行相应的修改,灵活性和通用性更高。
本申请的第三方面提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面,第一方面的第一至第五种实现方式中任意一种实现方式所述的方法。
本申请的第四方面提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面,第一方面的第一至第五种实现方式中任意一种实现方式所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例对待显示界面进行维度转换处理得到左屏幕及右屏幕对应的图像后,再获取用户当前的头部姿态,并根据该头部姿态调整左屏幕及右屏幕对应的图像,再将调整后的图像分别显示在左屏幕及右屏幕上。也就是说本申请在对待显示界面进行维度转换得到具有三维视觉效果的图像后,还会根据用户最新的头部姿态对转换后的结果进行调整,从而使得最终显示的图像的位置更加贴合与用户的视野,避免了在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例。
图1是本申请实施例中应用界面显示方法的一个实施例流程图;
图2是本申请实施例中应用界面显示方法的另一实施例流程图;
图3是本申请实施例中第三左眼图像及第四左眼图像的一个示意图;
图4是本申请实施例中应用界面显示系统的一个实施例示意图;
图5是本申请实施例中应用界面显示方法的另一实施例流程图;
图6是本申请实施例中应用界面显示装置的一个实施例示意图;
图7是本申请实施例中应用界面显示装置的另一实施例示意图;
图8是本申请实施例中应用界面显示装置的另一实施例示意图;
图9是本申请实施例中应用界面显示装置的另一实施例示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供了一种应用界面显示方法及装置,用于避免在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
为了便于理解本申请实施例,下面对本申请实施例的技术背景进行简单介绍:
VR设备指的是与虚拟现实技术领域相关的硬件产品,是虚拟现实解决方案中用到的硬件设备。现阶段虚拟现实中常用到的硬件设备,大致可以分为建模设备、三维视觉显示设备、声音设备和交互设备这四类。而本申请实施例中的VR设备指的是三维视觉显示设备,比如三维展示系统,大型投影系统(如CAVE),头戴显示设备等。
VR头戴显示设备,简称VR头显,是一种利用头戴式显示设备将用户的对外界的视觉、听觉封闭,引导用户产生一种身在虚拟环境中的感觉。本申请实施例中VR设备包括左眼视野区域和右眼视野区域,其中左眼视野区域用于在用户的左眼显示左眼图像,右眼视野用于在用户的右眼显示右眼图像,在用户的左右眼分别显示带有差异的左眼图像和右眼图像后,用户即可在脑海中产生立体感。VR头显可以细分为三类:外接头显、一体机头显、移动端头显。其中,外接头显和一体机头显具有独立的屏幕,外接头显是通过外接设备输入的数据在自带的屏幕上显示左眼图像和右眼图像,以使得用户沉浸在虚拟环境中,一体机头显则不需要借助任何输入输出设备就可以使得用户沉浸在虚拟环境中。而移动端头显,也称为VR眼镜盒子,需要将移动终端放入该VR眼镜盒子,在移动终端的屏幕显示左眼图像和右眼图像,用户通过该VR眼镜盒子获取移动终端上的左眼图像和右眼图像在脑海中产生立体感和沉浸感。
而本申请实施例中的应用界面显示方法,用于应用界面显示装置在VR设备上显示2D应用程序的界面。具体地,对于外接头显,应用界面显示装置可以是该外接头显,也可以是能够与上述外接头显连接的输入设备,如电脑(personal computer,PC),手机等;对于一体机头显,应用界面显示装置可以是该一体机头显,也可以是该一体机头显中用于渲染图像的部件;对于移动端头显,应用界面显示装置可以是该移动端头显,也可以是能够放置在该移动端头显中用于显示左眼图像及右眼图像的移动终端。应用界面显示装置还可以是能够与上述三种头显,或输入设备,或移动终端通信的其他设备,如云端服务器等。
下面先介绍本申请实施例中的应用界面显示方法,请参阅图1,本申请实施例中应用界面显示方法的一个实施例包括:
101、应用界面显示装置获取待显示界面;
应用界面显示装置获取待显示界面,待显示界面为需要显示在显示设备的屏幕上的界面,该待显示界面可以是任意一个二维应用程序的界面,也可以是由多个二维应用程序的界面所合成的界面,具体此处不作限定。应理解,二维应用程序指的是基于二维显示所开发的应用程序。
102、应用界面显示装置对待显示界面进行维度转换处理,得到该待显示界面的第一左眼图像及第一右眼图像;
应用界面显示装置获取待显示界面后,对该待显示界面进行维度转换处理,得到该待显示界面的第一左眼图像及第一右眼图像,该第一左眼图像及第一右眼图像用于呈现具有三维视觉效果的待显示界面。
应理解,本申请实施例中,维度转换处理指的是将二维应用程序的界面转换成具有三维视觉效果的界面。还应理解,本申请实施例中的左眼图像指的是针对用户左眼视野生成的图像,右眼图像指的是针对用户右眼视野生成的图像。
103、应用界面显示装置获取用户的第一头部姿态;
在应用界面显示装置执行上述101及102的过程中,用户的头部姿态可能会发生变化,则当应用界面显示装置执行完步骤102,得到第一左眼图像及第一右眼图像之后,会获取用户最新的头部姿态,即第一头部姿态。应理解,头部姿态具体可以包括用户头部偏转方向、用户头部的偏转角度或用户头部的运动模式,还可以包括其他姿态信息,具体此处不作限定。
104、应用界面显示装置根据第一头部姿态调整第一左眼图像得到第二左眼图像,并调整第一右眼图像得到第二右眼图像;
获取第一头部姿态后,应用界面显示装置根据第一头部姿态对第一左眼图像进行调整得到第二左眼图像,同时对第一右眼图像进行调整得到第二右眼图像。
105、应用界面显示装置在VR设备的左眼视野区域显示第二左眼图像,并在VR设备的右眼视野区域显示第二右眼图像。
应理解,本申请实施例中VR设备根据用户的左右眼视野分为左眼视野区域和右眼视野区域,具体地,若VR设备具有独立屏幕,则左眼视野区域为该屏幕上用户的左眼所看到的区域,应用界面显示装置在该区域显示第二左眼图像,右眼视野区域为该屏幕上用户 的右眼所看到的区域,应用界面显示装置在该区域显示第二右眼图像,第二左眼图像及第二右眼图像通过对应的光学镜片组显示在用户的左右眼中;若VR设备不具有独立屏幕,则左眼视野区域为VR设备上用户左眼所对准的光学镜片组,应用界面显示装置将第二左眼图像显示在外接屏幕中该光学镜片组所对准的区域,右眼视野区域为VR设备上用户右眼所对准的光学镜片组,应用界面显示装置将第二右眼图像显示在外接屏幕中该光学镜片组所对准的区域,则第二左眼图像及第二右眼图像通过光路变形最终显示在用户的左右眼中。这样,通过VR设备的左眼视野区域和右眼视野区域分别在用户的左眼和右眼显示第二左眼图像和第二右眼图像,用户即可在大脑中合成一副立体图像,呈现出三维效果的待显示界面。本申请实施例对待显示界面进行维度转换处理得到左右眼对应的图像后,再获取用户当前的头部姿态,并根据该头部姿态调整左右眼对应的图像,再将调整后的图像分别显示在VR设备的左右眼视野区域上。也就是说本申请在对待显示界面进行维度转换得到具有三维视觉效果的图像后,还会根据用户最新的头部姿态对转换后的结果进行调整,从而使得最终显示的图像的位置更加贴合与用户的视野,避免了在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
基于上述图1对应的实施例可知,应用界面显示装置可以通过多种方式将二维应用程序的界面转换成具有三维视觉效果的界面,下面以其中一种为例对本申请实施例中的应用界面显示方法进行详细描述,请参阅图2,本申请实施例中应用界面显示方法的另一实施例包括:
201、应用界面显示装置获取待显示界面;
应用界面显示装置获取待显示界面,待显示界面为需要显示在显示设备的屏幕上的界面,该待显示界面可以是任意一个二维应用程序的界面,也可以是由多个二维应用程序的界面所合成的界面,具体此处不作限定。应理解,二维应用程序指的是基于二维显示所开发的应用程序。还应理解,SurfaceFlinger是安卓系统中负责显示合成的模块,能够接收窗口和图层作为输入,根据各图层的纵深、透明度、大小、位置等参数,计算出每个图层(Surface)最终合成图像中的位置,然后生成最终的显示缓冲(Buffer),再显示到特定的显示设备上。
202、应用界面显示装置对待显示界面进行双目渲染,得到该待显示界面的第三左眼图像及第三右眼图像;
应理解,用户的左眼和右眼能够各自独立看物体,而左右眼之间的有一定的间距,所以对于同一个目标,用户左眼中的图像与用户右眼中的图像是有差别的,这种从具有一定距离的两个点上观察用一个目标所产生的差异称为视差。用户的大脑能够将具有视差的左眼图像和右眼图像进行融合,产生出有空间感的立体视觉效果,从而用户能够看到立体的物体。
基于上述原理,应用界面显示装置获取待显示界面后,针对用户的左眼和右眼绘制出待显示界面的左眼图像和右眼图像,即对待显示界面进行双目渲染(Stereoscopic Rendering)得到待显示界面的左眼图像和右眼图像,为了便于描述,这里将双目渲染得到的左眼图像 和右眼图像称为第三左眼图像和第三右眼图像。如图3为第三左眼图像及第三右眼图像的一个示例,通过VR设备获取该第三左眼图像及第三右眼图像,用户大脑即可将这两幅图像进行融合,产生立体视觉效果,让用户看到三维的待显示界面。
具体地,应用界面显示装置可以通过如下方式针对用户的左眼和右眼绘制出待显示界面的第三左眼图像和第三右眼图像:获取用户的第二头部姿态,根据第二头部姿态分别确定第一区域及第二区域,在第一区域绘制该待显示界面得到第三左眼图像,并在第二区域绘制该待显示界面得到第三右眼图像,其中第一区域为预设的三维场景的左眼图像中用于展示该待显示界面的区域,第二区域为预设的三维场景的右眼图像中用于展示该待显示界面的区域。
本申请实施例中,用户或系统可以预先设定一个或多个三维场景,并针对用户的左眼和右眼绘制该三维场景的左眼图像和右眼图像,用户将左眼对准VR设备的左眼视野区域,右眼对准VR设备的右眼视野区域,即可获取该左眼图像及右眼图像,通过大脑合成即可产生立体感和沉浸感,使用户置身于该预设的三维场景中。而这些预设的三维场景中均包含有用于显示待显示界面的展示区,这个展示区在三维场景的左眼图像中对应的区域即为第一区域,在三维场景的右眼图像中对应的区域即为第二区域。当应用界面显示装置在第一区域即第二区域分别绘制待显示界面后,用户置身于该预设的三维场景中时,就该展示区看到该待显示界面。具体地,该预设的三维场景可以是电影院,商场,教室等,此处不再一一列举,对应地展示区可以是电影院中的荧幕,商场中的广告屏,教室中的黑板等。
应理解,VR技术是使得用户沉浸在模拟环境中,所以用户使用VR设备看到的三维场景会模拟现实中情形,当用户头部转动时,用户所看到的三维场景也会转动,其场景中的元素会发生变化,以教室场景为例,用户初始视野以教室中央的位置设定,此时用户可以看到前方的桌椅,讲台和整个黑板,而当用户头部往上抬时,用户仅能看到上半边的黑板和天花板。因此,随着用户头部的运动,展示区在用户视野中的位置会发生变化,甚至不在用户视野内。故应用界面显示装置会获取用户当前的头部姿态,即第二头部姿态后,再根据该第二头部姿态确定展示区在用户视野中的位置,即确定第一区域的第一位置信息,以及第二区域的第二位置信息,位置信息具体可以是区域各个顶点在屏幕中对应的坐标信息,也可以是其他能够确定位置的信息,具体此处不作限定。然后,应用界面显示装置可以根据第一位置信息将待显示界面绘制到第一区域中得到第三左眼图像,根据第二位置信息将该待显示界面绘制到第二区域中得到第三右眼图像。
需要说明的是,本申请实施例中第二头部姿态指的是应用界面显示装置通过上述方式对待显示界面进行双目渲染时获取的头部姿态,而下述步骤204中的第一头部姿态指的是桶形畸变处理后,进行图像调整前获取的头部姿态。第一头部姿态与第二头部姿态是应用显示界面装置在不同时间获取用户的头部姿态,第一头部姿态用于双目渲染,第二头部姿态用于图像调整。而本申请实施例中的第一头姿态或第二头部姿态是通过传感器确定的,具体可以是VR设备中的传感器,也可以是应用界面显示装置中的传感器,还可以是其他外接设备的传感器,具体此处不作限定。
还需要说明的是,应用界面显示装置还可以通过其他方式得到待显示界面的第三左眼 图像和第三右眼图像,具体此处不作限定。
203、应用界面显示装置对第三左眼图像及第三右眼图像进行桶形畸变处理,得到该待显示界面的第一左眼图像及第一右眼图像;
由于VR设备中包含有多组光学镜片,用户通过光学镜片获取图像时,图像边缘会发生不同程度的畸变,而本申请实施例中,应用界面显示装置针对用户左右眼绘制第三左图像及第三右眼图像后,会对第三左眼图像进行桶形畸变处理得到第一左眼图像,同时对第三右眼图像进行桶形畸变处理得到第一右眼图像,以此将光学镜片产生的畸变抵消。
具体地,应用界面显示装置可以利用着色器(Shader)通过一组预设参数,对第五图像及第六图像中的各个元素进行桶形畸变得到第一左眼图像及第一右眼图像。该预设参数是针对VR设备中的透镜参数设置的,如厚度、折射率、瞳距等等。应用界面显示装置还可以通过其他方式进行桶形畸变处理,具体此处不作限定。
204、应用界面显示装置获取用户的第一头部姿态;
在应用界面显示装置执行上述201至203的过程中,用户的头部姿态可能会发生变化,则当应用界面显示装置执行完步骤203,得到第一左眼图像及第一右眼图像之后,应用界面显示装置会获取用户最新的头部姿态,即第一头部姿态。应理解,头部姿态具体可以包括用户头部偏转方向、用户头部的偏转角度或用户头部的运动模式,运动模式具体可以是左右摇摆,上下摇摆,或其他,具体此处不作限定,头部姿态还可以包括其他姿态信息,具体此处不作限定。
205、应用界面显示装置根据第一头部姿态,调整第一左眼图像得到第二左眼图像,并调整第一右眼图像得到第二右眼图像;
获取第一头部姿态后,应用界面显示装置根据第一头部姿态对第一左眼图像进行调整得到第二左眼图像,同时对第一右眼图像进行调整得到第二右眼图像。具体地,应用界面显示装置可以根据第一头部姿态计算出变换矩阵,根据该变换矩阵对第一左眼图像进行变换得到第二左眼图像,对第一右眼图像进行变换得到第二右眼图像,也就是对第一左眼图像进行异步时间扭曲得到第二左眼图像,对第一右眼图像进行异步时间扭曲得到第二右眼图像。具体地,应用界面显示装置可以利用着色器(Shader)通过一组预设参数,对第一左眼图像及第一右眼图像的纹理数据进行异步时间扭曲操作得到第二左眼图像和第二右眼图像。也可以通过其他方式进行异步时间扭曲得到第二左眼图像和第二右眼图像,具体此处不作限定。
应理解,异步时间扭曲(Asynchronous Timewarp,ATW)是一种图像修正的技术,在使用虚拟现实设备时,由于头部运动过快,而造场景渲染的延迟,即头已经转过去了,但是图像还没有渲染出来,或者渲染的是上一帧的图像,异步时间扭曲通过扭曲一副被送往显示设备之前图像,来解决这个延迟问题。具体地,异步时间扭曲指的是对一副图像进行拉伸和位移等操作,比如说,当获取到的第一头部姿态为向左转动时,应用界面显示装置根据该第一头部姿态,将第一左眼图像和第一右眼图像分别往左拉伸和平移得到第二左眼图像和第二右眼图像,比如说,当获取到的第一头部姿态为向下转动,则应用界面显示装置根据该第一头部姿态,将第一左眼图像往下拉伸和平移得到第二左眼图像和第二右眼 图像。基于获取的第一头部姿态信息的不同,调整的方式也不同,此处不再一一列举。
206、应用界面显示装置在VR设备的左眼视野区域上显示第二左眼图像,并在VR设备的右眼视野区域上显示第二右眼图像。
应理解,本申请实施例中VR设备根据用户的左右眼视野分为左眼视野区域和右眼视野区域,具体地,若VR设备具有独立屏幕,则左眼视野区域为该屏幕上用户的左眼所看到的区域,应用界面显示装置在该区域显示第二左眼图像,右眼视野区域为该屏幕上用户的右眼所看到的区域,应用界面显示装置在该区域显示第二右眼图像,第二左眼图像及第二右眼图像通过对应的光学镜片组显示在用户的左右眼中;若VR设备不具有独立屏幕,则左眼视野区域为VR设备上用户左眼所对准的光学镜片组,应用界面显示装置将第二左眼图像显示在外接屏幕中该光学镜片组所对准的区域,右眼视野区域为VR设备上用户右眼所对准的光学镜片组,应用界面显示装置将第二右眼图像显示在外接屏幕中该光学镜片组所对准的区域,则第二左眼图像及第二右眼图像通过光路变形最终显示在用户的左右眼中。这样,通过VR设备的左眼视野区域和右眼视野区域分别在用户的左眼和右眼显示第二左眼图像和第二右眼图像,用户即可在大脑中合成一副立体图像,呈现出三维效果的待显示界面。
本申请实施例对待显示界面进行维度转换处理得到左右眼对应的图像后,再获取用户当前的头部姿态,并根据该头部姿态调整左右眼对应的图像,再将调整后的图像分别显示在VR设备的左右眼视野区域上。也就是说本申请在对待显示界面进行维度转换得到具有三维视觉效果的图像后,还会根据用户最新的头部姿态对转换后的结果进行调整,从而使得最终显示的图像的位置更加贴合与用户的视野,避免了在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
其次,本申请实施例提供了对待显示界面进行双目渲染,将二维应用界面渲染成具有三维视觉效果的图像后,还会对该图像进行桶形畸变,以消除VR设备中的光学镜片产生的畸变,提升了图像质量,增强用户体验。
再次,本申请实施例提供了多种根据头部姿态进行图像调整的方式,提高了方案的灵活性。
为了便于理解本申请实施例,下面对本申请实施例所适用的一个应用场景进行简单介绍,请参阅图4,本申请实施例提供的应用界面显示方法及装置所适用的一种系统组成结构示意图。该系统可以包括一台移动端头显401和一台移动终端402。其中,该移动终端402包含有屏幕,该屏幕包括第三区域和第四区域,用户在使用时首先需要将该移动终端放置在该移动端头显401内,并将第三区域与该移动端头显401的左眼视野区域对准,第四区域与该移动端头显401的右眼视野区域对准,然后佩戴该移动端头显401,将左眼对准该移动端头显401的左眼视野区域,右眼对准该移动端头显401的右眼视野区域。
该移动端头显的左眼视野区域和右眼视野区域分别包含有至少一组光学镜片,用于将移动终端402所显示的图像进行光学处理,并将处理后的图像显示在用户视网膜上,使用户脑海中产生立体感和沉浸感。该移动端头显401还可以包括用于追踪用户头部姿态的传 感器,用于处理数据的CPU等。
基于上述图4对应的场景,请参阅图5,本申请实施例中应用界面显示方法的另一实施例包括:
501、应用界面显示装置从移动终端处获取待显示界面;
本申请实施例中,用户佩戴移动端头显后,当用户需要对二维应用程序的界面进行显示时,移动终端根据用户操作确定需要显示的二维应用程序的界面,应用界面显示装置从移动终端处获取待显示界面。
具体地,本申请实施例中,移动终端可以包含SurfaceFlinger模块。SurfaceFlinger是安卓系统中负责显示合成的模块,能够接收窗口和图层作为输入,根据各图层的纵深、透明度、大小、位置等参数,计算出每个图层(Surface)最终合成图像中的位置,然后生成最终的显示缓冲(Buffer),再显示到特定的显示设备上。则移动终端可以通过SurfaceFlinger模块生成该待显示界面,应用界面显示装置从该SurfaceFlinger模块处获取该待显示界面。
可选地,本申请实施例中,应用界面显示装置可以是该移动终端,该移动终端通过SurfaceFlinger模块合成该待显示界面,再通过跨进程通信接口将该待显示界面传输至另一独立于安卓系统的进程中,并在该进程中执行如下步骤502至步骤503。
可选地,本申请实施例中的应用界面显示装置还可以是独立于安卓系统的其他用户设备,如PC。该用户设备可以通过数据线,无线网络,蓝牙或其他方式与移动终端建立连接,当移动终端通过SurfaceFlinger模块合成待显示界面后,该用户设备再通过该连接从该移动终端中获取该待显示界面,并执行如下步骤502至步骤503。
可选地,本申请实施例中的应用界面显示装置还可以是独立于安卓系统的云端服务器,该移动终端通过无线网络与该云端服务器进行通信,并将SurfaceFlinger模块合成的待显示界面传输至该云端服务器,该云端服务器接收该待显示界面,并执行如下步骤502至步骤503。
502、应用界面显示装置对待显示界面进行维度转换处理,得到待显示界面对应的第一左眼图像及第一右眼图像;
应用界面显示装置获取待显示界面后,可以通过如上述图2对应实施例中步骤202至步骤203所述的方式对待显示界面进行维度转换处理得到第一左眼图像及第一右眼图像,也可以通过其他方式得到待显示界面的第一左眼图像及第一右眼图像,具体此处不作限定。
503、应用界面显示装置获取用户的第一头部姿态;
本申请实施例中,移动端头显中的传感器能够实时追踪用户的头部姿态,则当应用界面显示装置得到第一左眼图像及第二右眼图像后,应用界面显示装置从该移动头显中的传感器获取用户当前的头部姿态,即第一头部姿态。
504、应用界面显示装置根据第一头部姿态,调整第一左眼图像得到第二左眼图像,并调整第一右眼图像得到第二右眼图像;
应用界面显示装置获取第一头部姿态后,可以通过如图2对应实施例中步骤505所述的方式对第一左眼图像及第一右眼图像进行调整得到第二左眼图像及第二右眼图像,也可以通过其他方式对第一左眼图像及第一右眼图像进行调整,具体此处不作限定。
505、应用界面显示装置将第二左眼图像及第二右眼图像发送给移动终端。
应用界面显示装置得到第二左眼图像及第二右眼图像后,将第二左眼图像及第二右眼图像发送给移动终端,使得移动终端在屏幕的第三区域显示该第二左眼图像,在屏幕的第四区域显示该第二右眼图像。则用户左眼通过移动头显的左眼视野区域获取该第三区域中的第二左眼图像,右眼通过移动头显的右眼视野区域获取该第四区域中的第二右眼图像,在大脑中就可以将第二左眼图像及第二右眼图像合成一副立体图像,呈现出三维效果的待显示界面。
可选地,本申请实施例中,应用界面显示装置可以是该移动终端,当该移动终端该独立于安卓系统的另一进程中执行完步骤502及步骤503得到第二左眼图像及第二右眼图像后,将通过跨进程通信接口将该的人左眼图像及第二右眼图像发送至该SurfaceFlinger模块,由该SurfaceFlinger模块生成显示缓冲,并在屏幕上显示该第二左眼图像及第二右眼图像。
可选地,本申请实施例中的应用界面显示装置还可以是独立于安卓系统的其他用户设备或云端服务器,当该用户设备或云端服务器执行步骤502及步骤503得到第二左眼图像及第二右眼图像后,可以通过无线网络或其他方式将该第二左眼图像及第二右眼图像发送至该SurfaceFlinger模块,由SurfaceFlinger模块生产显示缓冲,并在屏幕上显示该第二左眼图像及第二右眼图像。
本申请实施例对待显示界面进行维度转换处理得到左右眼对应的图像后,再获取用户当前的头部姿态,并根据该头部姿态调整左右眼对应的图像,再将调整后的图像分别显示在VR设备的左右眼视野区域上。也就是说本申请在对待显示界面进行维度转换得到具有三维视觉效果的图像后,还会根据用户最新的头部姿态对转换后的结果进行调整,从而使得最终显示的图像的位置更加贴合与用户的视野,避免了在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
其次,本申请实施例中的应用界面显示方法可以在移动终端中独立于安卓系统的另一进程中运行,也可以在独立于安卓系统的用户设备或云端服务器中运行。即本申请实施例中的应用界面显示方法不依赖于安卓系统,可以减轻移动终端的运算负担,另外当该方法中用到的算法需要更新时,该更新可以独立于安卓系统进行,当安卓系统中的内部架构发生更新时,该方法中用到的算法不需要进行相应的修改,灵活性和通用性更高。
基于上述图5对应的实施例,在本申请实施例提供的应用界面显示方法的另一实施例中,该移动终端可以是基于安卓系统的手机,该手机中包含有SurfaceFlinger进程,及另一独立于安卓系统的3DConverter进程。
则在本申请实施例中,当用户点击该安卓系统手机中的二维应用程序的图标时,手机启动该二维应用程序对应的进程(Process100),SurfaceFlinger为Process100创建一个图层(Surface),同时创建该Surface对应的图形缓冲区(GraphicBuffer),为了便于描述,这里将该Surface对应的图形缓冲区称为第一图像缓冲区(gb100)。SurfaceFlinger将该第一图形缓冲区中的数据通过Binder机制传递至Process100,Process100将该gb100中的数据映射到进程空间中。然后Process100根据应用的绘制逻辑,通过OpenGL函数执行绘制操作, 并将绘制结果写入该进程空间中,同时通过Binder机制通知SurfaceFlinger绘制已完成。
SurfaceFlinger在定时器信号驱动下,每隔固定周期检测该gb100中的数据是否有更新,若有更新,则对gb100进行标记,标记内容主要是SurfaceFlinger对gb100合成策略,比如SurfaceFlinger是通过图形处理器(Graphics Processing Unit,GPU)还是硬件合成器(Hardware Compose,HWC)处理gb100,此处处理是指将多个应用的图形缓冲区的合成,并送至帧缓冲(framebuffer)显示。SurfaceFlinger通过遍历待显示的gb100中的数据,通过glDrawArray函数的调用,将该数据以纹理的形式绘制到图层帧缓冲(FramebufferSurface)对应的图形缓冲区(gb200)中。
手机启动3DConverter进程后,3DConverter通过跨进程通信接口(Interfacer100)从SurfaceFlinger处获取gb200中的数据,即待显示界面的纹理数据,然后将该纹理数据更新至第一纹理块(P200_texture100),然后将第一纹理块作为OpenGL函数的输入,对待显示界面进行一次渲染,并将一次渲染的结果存储到第二纹理块(P200_texture200)中。一次渲染的具体过程如下:
3DConverter将gb200中的数据更新至第一纹理块后,确定预设的三维场景为电影院场景,该场景中包含有一个荧幕(展示区),3DConverter通过VR设备中的传感器获取用户当前的头部姿态(第一头部姿态),然后将电影院场景的模型数据(包括电影院模型的顶点、几何、颜色等),第一纹理块中存储的待显示界面的纹理数据以及获取到的头部姿态等信息作为输入,进程两次调用glDrawArray,分别计算出荧幕在用虚拟场景中的位置,得到四个的顶点坐标,然后根据该顶点坐标以及待显示界面的纹理数据将待显示界面绘制到该三维场景中,得到该三维场景(包含待显示界面)对应的第三左眼图像和第三右眼图像。然后在OpenGL的着色器中,通过一组预设参数,对上述第三左眼图像和第三右眼图像进行桶形畸变得到第一左眼图像及第一右眼图像,并将第一左眼图像及第一右眼图像存储以纹理的形式存储到第二纹理块中。
3DConverter将第一左眼图像及第一右眼图像存储到第二纹理块后,将第二纹理块作为OpenGL函数的输入,进行二次渲染,并将二次渲染结果存到第一纹理块中。二次渲染的具体过程如下:
3DConverter通过VR设备中的传感器获取用户当前的头部姿态(第一头部姿态),然后根据该头部姿态计算出变换矩阵,使用该变换矩阵对存储在第二纹理块中的图像进行变换,并绘制出变换后的图像,具体地,在使用OpenGL绘制时,OpenGL的着色器通过另一组预设参数对第二纹理块中的纹理数据进行异步时间扭曲操作得到第二左眼图像及第二右眼图像,并该第二左眼图像及第二右眼图像以纹理的形式存储到第一纹理块中。
应理解,正常情况下,纹理块是OpenGL绘制的输入,帧缓冲是绘制的输出,但本申请实施例是将绘制结果输出到纹理块中,具体是将第一纹理块关联到第一帧缓冲(p200_faramebuffer100)的颜色挂载点上,将第二纹理块关联到第二针缓冲(p200_faramebuffer200)的颜色挂载点上,通过对第一帧缓冲的调用,就可以将一次渲染结果存储到第二纹理块中,通过对第二帧缓冲的调用,就可以将二次渲染的结果存储到第一纹理块中。
最后,3DConverter通过跨进程通信接口(Interfacer200)通知SurfaceFlinger渲染结束,并将第一纹理块中的纹理数据发送至SurfaceFlinger,SurfaceFlinger根据该纹理数据,在手机的屏幕的第三区域显示第二左眼图像,同时在屏幕的第四区域显示第二右眼图像。则用户通过VR设备,将左眼对准手机的左屏幕,右眼对准手机的右屏幕,就感受到身处预设的电影院场景中,并且在该电影院的荧幕上看到该待显示界面。
上面介绍了本申请实施例中的应用界面显示方法,下面对本申请实施例中的应用界面显示装置进行介绍,应理解,本申请实施例中的应用界面显示装置用于在VR设备上显示2D应用程序的界面,该应用界面显示装置可以是该VR设备,也可以是能够与该VR设备连接的通讯设备,如PC,移动终端,云端服务器等,还可以是该VR设备或通讯设备中的部件,具体此处不作限定。
下面先从功能模块的角度介绍本申请实施例中的应用界面显示装置,请参阅图6,本申请实施例中应用界面显示装置的一个实施例包括:
第一获取模块601,用于获取待显示界面,该待显示界面为2D应用程序的界面;
处理模块602,用于对第一获取模块601获取的待显示界面进行维度转换处理,得到待显示界面对应的第一左眼图像及第一右眼图像,第一左眼图像及第一右眼图像用于呈现具有三维视觉效果的待显示界面;
第二获取模块603,用于获取用户的第一头部姿态;
调整模块604,用于根据第二获取模块获取的第一头部姿态,调整第一左眼图像得到第二左眼图像,并调整第一右眼图像得到第二右眼图像;
显示模块605,用于在VR设备的左眼视野区域显示第二左眼图像,并在VR设备的右眼视野区域显示第二右眼图像。
本申请实施例处理模块602对待显示界面进行维度转换处理得到左右眼对应的图像后,第二获取模块603获取用户当前的头部姿态,调整模块604根据该头部姿态调整左右眼对应的图像,显示模块再将调整后的图像分别显示在VR设备的左右眼视野区域上。也就是说本申请在对待显示界面进行维度转换得到具有三维视觉效果的图像后,还会根据用户最新的头部姿态对转换后的结果进行调整,从而使得最终显示的图像的位置更加贴合与用户的视野,避免了在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
基于上述图6对应的实施例可知,处理模块可以通过多种方式将二维应用程序的界面转换成具有三维视觉效果的界面,下面以其中一种为例对本申请实施例中的应用界面显示装置进行详细描述,请参阅图7,本申请实施例中应用界面显示装置的另一实施例包括:
第一获取模块701,用于获取待显示界面,该待显示界面为2D应用程序的界面;
处理模块702,用于对第一获取模块701获取的待显示界面进行维度转换处理,得到待显示界面对应的第一左眼图像及第一右眼图像,第一左眼图像及第一右眼图像用于呈现具有三维视觉效果的待显示界面;
第二获取模块703,用于获取用户的第一头部姿态;
调整模块704,用于根据第二获取模块获取的第一头部姿态,调整第一左眼图像得到 第二左眼图像,并调整第一右眼图像得到第二右眼图像;
显示模块705,用于在VR设备的左眼视野区域显示第二左眼图像,并在VR设备的右眼视野区域显示第二右眼图像;
本申请实施例中,处理模块702包括:
渲染单元7021,用于对待显示界面进行双目渲染,得到待显示界面的第三左眼图像及第三右眼图像;
处理单元7022,用于对第三左眼图像及第三右眼图像进行桶形畸变处理,得到待显示界面的第一左眼图像及待显示界面的第一右眼图像。
可选地,在本申请实施例中,渲染单元7021可以包括:
第一获取子单元70211,用于获取用户的第二头部姿态;
确定子单元70212,用于根据第二头部姿态分别确定第一区域及第二区域,第一区域为预设的三维场景的左眼图像中用于展示待显示界面的区域,第二区域为预设的三维场景的右眼图像中用于展示待显示界面的区域;
绘制子单元70213,用于在第一区域绘制待显示界面得到第三左眼图像,并在第二区域绘制待显示界面得到第三右眼图像。
可选地,在本申请实施例中,调整模块704可以包括:
时间扭曲单元7041,用于根据第一头部姿态对第一左眼图像进行异步时间扭曲得到第二左眼图像,对第一右眼图像进行异步时间扭曲得到第二右眼图像。
本申请实施例处理模块702对待显示界面进行维度转换处理得到左右眼对应的图像后,第二获取模块703获取用户当前的头部姿态,调整模块704根据该头部姿态调整左右眼对应的图像,显示模块再将调整后的图像分别显示在VR设备的左右眼视野区域上。也就是说本申请在对待显示界面进行维度转换得到具有三维视觉效果的图像后,还会根据用户最新的头部姿态对转换后的结果进行调整,从而使得最终显示的图像的位置更加贴合与用户的视野,避免了在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
其次,本申请实施例提供了对待显示界面进行双目渲染,将二维应用界面渲染成具有三维视觉效果的图像后,还会对该图像进行桶形畸变,以消除VR设备中的光学镜片产生的畸变,提升了图像质量,增强用户体验。
再次,本申请实施例提供了一种根据头部姿态进行图像调整的方式,提高了方案的可实现性。
为了便于理解本申请实施例,请参阅图4,基于上述图4对应的系统场景,请参阅图8,本申请实施例中应用界面显示装置的另一实施例包括:
第一获取模块801,用于获取待显示界面,该待显示界面为2D应用程序的界面;
处理模块802,用于对第一获取模块801获取的待显示界面进行维度转换处理,得到待显示界面对应的第一左眼图像及第一右眼图像,第一左眼图像及第一右眼图像用于呈现具有三维视觉效果的待显示界面;
第二获取模块803,用于获取用户的第一头部姿态;
调整模块804,用于根据第二获取模块获取的第一头部姿态,调整第一左眼图像得到第二左眼图像,并调整第一右眼图像得到第二右眼图像;
显示模块805,用于在VR设备的左眼视野区域显示第二左眼图像,并在VR设备的右眼视野区域显示第二右眼图像;
其中,第一获取模块801包括:
获取单元8011,用于从移动终端获取所述待显示界面;
对应地,显示模块805包括:
发送单元8051,用于将第二左眼图像及第二右眼图像发送给移动终端,使得移动终端在屏幕的第三区域显示第二左眼图像,在屏幕的第四区域显示第二右眼图像,移动终端的屏幕包括第三区域和第四区域,第三区域对应VR设备的左眼视野区域,第四区域对应VR设备的右眼视野区域;
可选地,本申请实施例中,获取单元8011可以包括:
第二获取子单元80111,用于从SurfaceFlinger模块处获取待显示界面;
对应地,发送单元8051可以包括:
发送子单元80511,用于将第二左眼图像及第二右眼图像发送至SurfaceFlinger模块,以使得SurfaceFlinger模块端在移动终端的屏幕的第三区域显示第二左眼图像,在屏幕的第四区域显示第二右眼图像;
应理解,在本申请实施例中,应用界面显示装置可以是如图4所示的移动终端,可以是独立于安卓系统的其他用户设备,如PC等,可以是独立于安卓系统的云端服务器,还可以是其他设备,具体此处不作限定。
本申请实施例处理模块802对待显示界面进行维度转换处理得到左右眼对应的图像后,第二获取模块803获取用户当前的头部姿态,调整模块804根据该头部姿态调整左右眼对应的图像,显示模块再将调整后的图像分别显示在VR设备的左右眼视野区域上。也就是说本申请在对待显示界面进行维度转换得到具有三维视觉效果的图像后,还会根据用户最新的头部姿态对转换后的结果进行调整,从而使得最终显示的图像的位置更加贴合与用户的视野,避免了在二维应用界面渲染成具有三维视觉效果的图像的过程中,由于用户头部姿态变化而导致的图像位置和用户视野错位而造成的晕眩感,提升用户体验。
其次,本申请实施例中的应用界面显示装置可以是独立于安卓系统的用户设备或云端服务器,即本申请实施例中的应用界面显示方法不依赖于安卓系统,可以减轻移动终端的运算负担,另外当该方法中用到的算法需要更新时,该更新可以独立于安卓系统进行,当安卓系统中的内部架构发生更新时,该方法中用到的算法不需要进行相应的修改,灵活性和通用性更高。
上面从功能模块的角度介绍了本申请实施例中的应用界面显示装置,下面从实体硬件的角度介绍本申请实施例中的应用界面显示装置,请参阅图9,图9是本申请实施例应用界面显示装置90的结构示意图。应用界面显示装置90可包括输入设备910、输出设备920、处理器930和存储器940。
存储器940可以包括只读存储器和随机存取存储器,并向处理器930提供指令和数据。 存储器940的一部分还可以包括非易失性随机存取存储器(Non-Volatile Random Access Memory,NVRAM)。
存储器940存储了如下的元素,可执行模块或者数据结构,或者它们的子集,或者它们的扩展集:
操作指令:包括各种操作指令,用于实现各种操作。
操作系统:包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
本申请实施例中,应用界面显示装置或VR设备中包括至少一台显示器,应用界面显示装置中的处理器930具体用于:
获取待显示界面,待显示界面为2D应用程序的界面;
对待显示界面进行维度转换处理,得到待显示界面对应的第一左眼图像及第一右眼图像,第一左眼图像及第一右眼图像用于呈现具有三维视觉效果的待显示界面;
获取用户的第一头部姿态;
根据第一头部姿态,调整第一左眼图像得到第二左眼图像,并调整第一右眼图像得到第二右眼图像;
控制显示器在VR设备的左眼视野区域显示第二左眼图像,并在VR设备的右眼视野区域显示第二右眼图像。
处理器930控制应用界面显示装置90的操作,处理器930还可以称为中央处理单元(Central Processing Unit,CPU)。存储器940可以包括只读存储器和随机存取存储器,并向处理器930提供指令和数据。存储器940的一部分还可以包括NVRAM。具体的应用中,应用界面显示装置90的各个组件通过总线系统950耦合在一起,其中总线系统950除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统950。
上述本申请实施例揭示的方法可以应用于处理器930中,或者由处理器930实现。处理器930可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器930中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器930可以是通用处理器、数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器940,处理器930读取存储器940中的信息,结合其硬件完成上述方法的步骤。在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机 程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

  1. 一种应用界面显示方法,用于应用界面显示装置在虚拟现实VR设备上显示二维2D应用程序的界面,其特征在于,包括:
    获取待显示界面,所述待显示界面为2D应用程序的界面;
    对所述待显示界面进行维度转换处理,得到所述待显示界面对应的第一左眼图像及所述第一右眼图像,所述第一左眼图像及所述第一右眼图像用于呈现具有三维视觉效果的所述待显示界面;
    获取用户的第一头部姿态;
    根据所述第一头部姿态,调整所述第一左眼图像得到第二左眼图像,并调整所述第一右眼图像得到第二右眼图像;
    在所述VR设备的左眼视野区域显示所述第二左眼图像,并在所述VR设备的右眼视野区域显示所述第二右眼图像。
  2. 根据权利要求1所述的方法,其特征在于,所述对所述待显示界面进行维度转换处理包括:
    对所述待显示界面进行双目渲染,得到所述待显示界面的第三左眼图像及第三右眼图像;
    对所述第三左眼图像及所述第三右眼图像进行桶形畸变处理,得到所述待显示界面的第一左眼图像及所述待显示界面的第一右眼图像。
  3. 根据权利要求2所述的方法,其特征在于,所述对所述待显示界面进行双目渲染,得到所述待显示界面的第三左眼图像及第三右眼图像包括:
    获取用户的第二头部姿态;
    根据所述第二头部姿态分别确定第一区域及第二区域,所述第一区域为预设的三维场景的左眼图像中用于展示所述待显示界面的区域,所述第二区域为所述预设的三维场景的右眼图像中用于展示所述待显示界面的区域;
    在所述第一区域绘制所述待显示界面得到所述第三左眼图像,并在所述第二区域绘制所述待显示界面得到所述第三右眼图像。
  4. 根据权利要求1所述的方法,其特征在于,所述根据所述第一头部姿态,调整所述第一左眼图像得到第二左眼图像,并调整所述第一右眼图像得到第二右眼图像包括:
    根据所述第一头部姿态对所述第一左眼图像进行异步时间扭曲得到第二左眼图像,对所述第一右眼图像进行异步时间扭曲得到第二右眼图像。
  5. 根据权利要求1至4中任一项所述的方法,其特征在于,所述获取待显示界面包括:
    从移动终端获取所述待显示界面;
    所述在VR设备的左眼视野区域显示所述第二左眼图像,并在所述VR设备的右眼视野区域显示所述第二右眼图像包括:
    将所述第二左眼图像及所述第二右眼图像发送给所述移动终端,使得所述移动终端在屏幕的第三区域显示所述第二左眼图像,在屏幕的第四区域显示所述第二右眼图像,所述移动终端的屏幕包括第三区域和第四区域,所述第三区域对应所述VR设备的左眼视野区 域,所述第四区域对应所述VR设备的右眼视野区域。
  6. 根据权利要求5所述的方法,其特征在于,所述移动终端包括SurfaceFlinger模块,所述从所述移动终端获取待显示界面包括:
    从所述SurfaceFlinger模块处获取所述待显示界面。
    所述将所述第二左眼图像及所述第二右眼图像发送给所述移动终端包括:
    将所述第二左眼图像及所述第二右眼图像发送至所述SurfaceFlinger模块,以使得所述SurfaceFlinger模块端在所述移动终端的屏幕的第三区域显示所述第二左眼图像,在屏幕的第四区域显示所述第二右眼图像。
  7. 一种应用界面显示装置,用于在虚拟现实VR设备上显示二维2D应用程序的界面,其特征在于,包括:
    第一获取模块,用于获取待显示界面,所述待显示界面为2D应用程序的界面;
    处理模块,用于对所述第一获取模块获取的所述待显示界面进行维度转换处理,得到所述待显示界面对应的第一左眼图像及所述第一右眼图像,所述第一左眼图像及所述第一右眼图像用于呈现具有三维视觉效果的所述待显示界面;
    第二获取模块,用于获取用户的第一头部姿态;
    调整模块,用于根据所述第二获取模块获取的所述第一头部姿态,调整所述第一左眼图像得到第二左眼图像,并调整所述第一右眼图像得到第二右眼图像;
    显示模块,用于在所述VR设备的左眼视野区域显示所述第二左眼图像,并在所述VR设备的右眼视野区域显示所述第二右眼图像。
  8. 根据权利要求7所述的装置,其特征在于,所述处理模块包括:
    渲染单元,用于对所述待显示界面进行双目渲染,得到所述待显示界面的第三左眼图像及第三右眼图像;
    处理单元,用于对所述第三左眼图像及所述第三右眼图像进行桶形畸变处理,得到所述待显示界面的第一左眼图像及所述待显示界面的第一右眼图像。
  9. 根据权利要求8所述的装置,其特征在于,所述渲染单元包括:
    第一获取子单元,用于获取用户的第二头部姿态;
    确定子单元,用于根据所述第二头部姿态分别确定第一区域及第二区域,所述第一区域为预设的三维场景的左眼图像中用于展示所述待显示界面的区域,所述第二区域为所述预设的三维场景的右眼图像中用于展示所述待显示界面的区域;
    绘制子单元,用于在所述第一区域绘制所述待显示界面得到所述第三左眼图像,并在所述第二区域绘制所述待显示界面得到所述第三右眼图像。
  10. 根据权利要求7所述的装置,其特征在于,所述调整模块包括:
    时间扭曲单元,用于根据所述第一头部姿态对所述第一左眼图像进行异步时间扭曲得到第二左眼图像,对所述第一右眼图像进行异步时间扭曲得到第二右眼图像。
  11. 根据权利要求7至10中任一项所述的装置,其特征在于,所述第一获取模块包括:
    获取单元,用于从移动终端获取所述待显示界面;
    所述显示模块包括:
    发送单元,用于将所述第二左眼图像及所述第二右眼图像发送给所述移动终端,使得所述移动终端在屏幕的第三区域显示所述第二左眼图像,在屏幕的第四区域显示所述第二右眼图像,所述移动终端的屏幕包括第三区域和第四区域,所述第三区域对应所述VR设备的左眼视野区域,所述第四区域对应所述VR设备的右眼视野区域。
  12. 根据权利要求11所述的装置,其特征在于,所述移动终端包括SurfaceFlinger模块,所述获取单元包括:
    第二获取子单元,用于从所述SurfaceFlinger模块处获取所述待显示界面。
    所述发送单元包括:
    发送子单元,用于将所述第二左眼图像及所述第二右眼图像发送至所述SurfaceFlinger模块,以使得所述SurfaceFlinger模块端在所述移动终端的屏幕的第三区域显示所述第二左眼图像,在屏幕的第四区域显示所述第二右眼图像。
  13. 一种应用界面显示装置,用于在虚拟现实VR设备上显示二维2D应用程序的界面,其特征在于,所述应用界面显示装置或所述VR设备中包括至少一台显示器;所述应用界面显示装置包括:输入设备,输出设备,处理器和存储器;
    所述存储器用于存储程序;
    所述处理器用于执行所述存储器中的程序,具体包括如下步骤:
    获取待显示界面,所述待显示界面为2D应用程序的界面;
    对所述待显示界面进行维度转换处理,得到所述待显示界面对应的第一左眼图像及所述第一右眼图像,所述第一左眼图像及所述第一右眼图像用于呈现具有三维视觉效果的所述待显示界面;
    获取用户的第一头部姿态;
    根据所述第一头部姿态,调整所述第一左眼图像得到第二左眼图像,并调整所述第一右眼图像得到第二右眼图像;
    控制所述显示器在所述VR设备的左眼视野区域显示所述第二左眼图像,并在所述VR设备的右眼视野区域显示所述第二右眼图像。
  14. 一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至6中任意一项所述的方法。
  15. 一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如权利要求1至6中任意一项所述的方法。
CN201780010154.0A 2016-11-08 2017-03-24 一种应用界面显示方法及装置 Pending CN108604385A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2016109807602 2016-11-08
CN201610980760 2016-11-08
PCT/CN2017/078027 WO2018086295A1 (zh) 2016-11-08 2017-03-24 一种应用界面显示方法及装置

Publications (1)

Publication Number Publication Date
CN108604385A true CN108604385A (zh) 2018-09-28

Family

ID=62110374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780010154.0A Pending CN108604385A (zh) 2016-11-08 2017-03-24 一种应用界面显示方法及装置

Country Status (2)

Country Link
CN (1) CN108604385A (zh)
WO (1) WO2018086295A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286866A (zh) * 2019-06-24 2019-09-27 上海临奇智能科技有限公司 一种虚拟透明屏的呈现方法及设备
CN112015264A (zh) * 2019-05-30 2020-12-01 深圳市冠旭电子股份有限公司 虚拟现实显示方法、虚拟现实显示装置及虚拟现实设备
CN113342220A (zh) * 2021-05-11 2021-09-03 杭州灵伴科技有限公司 窗口渲染方法、头戴式显示套件和计算机可读介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7194263B2 (ja) * 2018-08-23 2022-12-21 アップル インコーポレイテッド プロセスデータ共有のための方法及びデバイス
CN110597577A (zh) * 2019-05-31 2019-12-20 珠海全志科技股份有限公司 一种头戴可视设备及其分屏显示方法和装置
CN111556305B (zh) 2020-05-20 2022-04-15 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
CN112965773B (zh) * 2021-03-03 2024-05-28 闪耀现实(无锡)科技有限公司 用于信息显示的方法、装置、设备和存储介质
CN113589927B (zh) * 2021-07-23 2023-07-28 杭州灵伴科技有限公司 分屏显示方法、头戴式显示设备和计算机可读介质
CN113538648B (zh) * 2021-07-27 2024-04-30 歌尔科技有限公司 图像渲染方法、装置、设备及计算机可读存储介质
CN113660476A (zh) * 2021-08-16 2021-11-16 纵深视觉科技(南京)有限责任公司 一种基于Web页面的立体显示系统及方法
CN114674531A (zh) * 2021-08-30 2022-06-28 北京新能源汽车股份有限公司 一种车辆后视镜的边界确定方法、装置、控制设备及汽车
CN115190284B (zh) * 2022-07-06 2024-02-27 敏捷医疗科技(苏州)有限公司 一种图像处理方法
CN115272568B (zh) * 2022-07-12 2024-06-28 重庆大学 一种位错界面特征三维可视化方法
CN114972607B (zh) * 2022-07-29 2022-10-21 烟台芯瞳半导体科技有限公司 加速图像显示的数据传输方法、装置及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611909A (zh) * 2011-02-08 2012-07-25 微软公司 具有运动视差的三维显示
CN103416072A (zh) * 2011-03-06 2013-11-27 索尼公司 显示系统、显示设备、以及中继设备
CN105376546A (zh) * 2015-11-09 2016-03-02 中科创达软件股份有限公司 一种2d转3d方法、装置及移动终端
CN105447898A (zh) * 2015-12-31 2016-03-30 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236074B (zh) * 2013-03-25 2015-12-23 深圳超多维光电子有限公司 一种2d/3d图像处理方法及装置
CN103402106B (zh) * 2013-07-25 2016-01-06 青岛海信电器股份有限公司 三维图像显示方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611909A (zh) * 2011-02-08 2012-07-25 微软公司 具有运动视差的三维显示
CN103416072A (zh) * 2011-03-06 2013-11-27 索尼公司 显示系统、显示设备、以及中继设备
CN105376546A (zh) * 2015-11-09 2016-03-02 中科创达软件股份有限公司 一种2d转3d方法、装置及移动终端
CN105447898A (zh) * 2015-12-31 2016-03-30 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J.M.P. VAN WAVEREN: "The Asynchronous Time Warp for Virtual Reality on Consumer Hardware", 《VRST’16》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015264A (zh) * 2019-05-30 2020-12-01 深圳市冠旭电子股份有限公司 虚拟现实显示方法、虚拟现实显示装置及虚拟现实设备
CN112015264B (zh) * 2019-05-30 2023-10-20 深圳市冠旭电子股份有限公司 虚拟现实显示方法、虚拟现实显示装置及虚拟现实设备
CN110286866A (zh) * 2019-06-24 2019-09-27 上海临奇智能科技有限公司 一种虚拟透明屏的呈现方法及设备
CN113342220A (zh) * 2021-05-11 2021-09-03 杭州灵伴科技有限公司 窗口渲染方法、头戴式显示套件和计算机可读介质
CN113342220B (zh) * 2021-05-11 2023-09-12 杭州灵伴科技有限公司 窗口渲染方法、头戴式显示套件和计算机可读介质

Also Published As

Publication number Publication date
WO2018086295A1 (zh) 2018-05-17

Similar Documents

Publication Publication Date Title
CN108604385A (zh) 一种应用界面显示方法及装置
US10089790B2 (en) Predictive virtual reality display system with post rendering correction
US10083538B2 (en) Variable resolution virtual reality display system
US10739936B2 (en) Zero parallax drawing within a three dimensional display
US20210283496A1 (en) Realistic Virtual/Augmented/Mixed Reality Viewing and Interactions
US9886102B2 (en) Three dimensional display system and use
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
KR102093619B1 (ko) 그래픽 프로세싱 유닛에서의 전자 디스플레이 안정화
KR101661991B1 (ko) 모바일 확장 공간에서의 3d 드로잉을 지원하기 위한 hmd 장치 및 방법
CN108596854B (zh) 图像畸变校正方法及装置、计算机可读介质、电子设备
CN110431599A (zh) 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
US9681122B2 (en) Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
JP2012079291A (ja) プログラム、情報記憶媒体及び画像生成システム
US9325960B2 (en) Maintenance of three dimensional stereoscopic effect through compensation for parallax setting
CN114026603B (zh) 渲染计算机生成现实文本
WO2018064287A1 (en) Predictive virtual reality display system with post rendering correction
KR100381817B1 (ko) 제트버퍼를 이용한 입체영상 생성방법 및 기록매체
JP7426413B2 (ja) ブレンドモード3次元ディスプレイシステムおよび方法
US20220300120A1 (en) Information processing apparatus, and control method
US11543655B1 (en) Rendering for multi-focus display systems
JPH07200870A (ja) 立体視用3次元画像生成装置
US11237413B1 (en) Multi-focal display based on polarization switches and geometric phase lenses
KR101874760B1 (ko) 정보 처리 장치, 제어 방법 및 기록 매체
JP5428409B2 (ja) 画像生成方法
KR101227183B1 (ko) 3d 그래픽 모델 입체 렌더링 장치 및 입체 렌더링 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928

RJ01 Rejection of invention patent application after publication