CN109803138A - 自适应交错图像卷绕的方法、系统以及记录介质 - Google Patents

自适应交错图像卷绕的方法、系统以及记录介质 Download PDF

Info

Publication number
CN109803138A
CN109803138A CN201811366664.4A CN201811366664A CN109803138A CN 109803138 A CN109803138 A CN 109803138A CN 201811366664 A CN201811366664 A CN 201811366664A CN 109803138 A CN109803138 A CN 109803138A
Authority
CN
China
Prior art keywords
resolution
display
frame
computing device
wear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811366664.4A
Other languages
English (en)
Other versions
CN109803138B (zh
Inventor
陈俊霖
温予佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN109803138A publication Critical patent/CN109803138A/zh
Application granted granted Critical
Publication of CN109803138B publication Critical patent/CN109803138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明提供一种自适应交错图像卷绕的方法、系统以及记录介质。所述方法适用于具有头戴式装置和计算装置的显示系统。在所述方法中,计算装置根据帧率生成待显示在头戴式装置上的多个图像帧,其中所述待在相同时间点显示在第一显示器及第二显示器上的所生成图像帧包括具有第一分辨率的第一帧及具有第二分辨率的第二帧,所述第二分辨率低于第一分辨率。将所生成的图像帧从计算装置传递到头戴式装置。头戴式装置将图像帧中具有第二分辨率的第二帧恢复到第一显示器及第二显示器的正常分辨率,且随后将第一帧及所恢复第二帧交错显示在第一显示器及第二显示器上。

Description

自适应交错图像卷绕的方法、系统以及记录介质
技术领域
本发明涉及虚拟现实的方法和系统,且尤其涉及自适应交错图像卷绕的方法、系统以及记录介质。
背景技术
虚拟现实(virtual reality;VR)是一种使用计算机仿真技术来在三维(three-dimensional;3D)空间中产生虚拟世界的技术。虚拟世界由计算机图形构成且通过在由用户穿戴的头戴式装置(head-mounted display;HMD)上显示帧并与设置在用户身体上或设置在用户身体周围的传感器合作,提供主要基于与听觉和触觉的感知合作的可视感知的人工环境。在体验VR时,用户不仅具有浸入可视感知的虚拟世界中的感觉,而且还可在虚拟世界中做动作,或甚至如同在现实世界中一样与虚拟世界中的物体交互。
为了产生用户的完全浸入环境,需要提高图像分辨率。因为对图像分辨率的要求变得越来越高,所以呈现图像帧的计算装置的计算负载量增加,且待从计算装置传输到HMD的图像帧的数据大小也增加。最终,减小数据大小和计算负载量以在保持图像质量的同时防止数据传输延迟可能具有挑战性且不现实。
发明内容
本申请涉及自适应交错图像卷绕的方法、系统以及记录介质,其在相同时间点交错生成具有不同分辨率的用于左眼和用于右眼的图像帧,以便减小图像帧的数据大小。
本申请提供一种自适应交错图像卷绕方法,其适用于具有头戴式装置(HMD)和计算装置的显示系统。HMD包含用于左眼的第一显示器和用于右眼的第二显示器。在所述方法中,计算装置根据帧率生成待显示在HMD上的多个图像帧,其中所生成待在相同时间点显示在第一显示器和第二显示器上的图像帧包括具有第一分辨率的第一帧和具有第二分辨率的第二帧,所述第二分分辨率低于第一分辨率。将所生成的图像帧从计算装置传递到HMD。HMD将图像帧中具有第二分辨率的第二帧恢复到第一显示器和第二显示器的正常分辨率,且随后将第一帧和所恢复第二帧交错显示在第一显示器和第二显示器上。
在本申请的实施例中,所生成待在下一时间点显示在第一显示器和第二显示器上的第一帧和第二帧被切换。
在本申请的实施例中,所述方法还包含通过计算装置检测计算装置的计算负载量,以及根据检测到的计算负载量自适应地调节第二分辨率。
在本申请的实施例中,所述方法还包含通过计算装置检测用于传递所生成的图像帧的传输带宽,以及根据检测到的传输带宽自适应地调节第二分辨率。
在本申请的实施例中,所述方法还包含通过计算装置检测穿戴HMD的用户的移动速度,以及根据检测到的移动速度自适应地调节第二分辨率。
在本申请的实施例中,所述方法还包含通过计算装置分析待生成的图像帧中的图像内容以检测图像内容的视场(field of view;FOV)的移动速度,以及根据检测到的移动速度自适应地调节第二分辨率。
在本申请的实施例中,根据检测到的移动速度自适应地调节第二分辨率的步骤包含:如果检测到的移动速度超过第一阈值,那么降低第二分辨率。
在本申请的实施例中,第一分辨率是第一显示器和第二显示器的正常分辨率。
在本申请的实施例中,所述方法还包含:如果第一分辨率不等于正常分辨率,那么将具有第一分辨率的第一帧恢复到正常分辨率;以及通过HMD将所恢复第一帧和第二帧交错显示在第一显示器和第二显示器上。
本申请提供一种自适应交错图像卷绕的显示系统,所述显示系统包含计算装置和HMD。HMD连接到计算装置且包含用于左眼的第一显示器和用于右眼的第二显示器。计算装置经配置以根据帧率生成待显示在HMD上的多个图像帧,其中所生成待在相同时间点显示在第一显示器和第二显示器上的图像帧包括具有第一分辨率的第一帧和具有第二分辨率的第二帧,所述第二分辨率低于第一分辨率。计算装置经配置以将所生成的图像帧传递到HMD。HMD经配置以将图像帧中具有第二分辨率的第二帧恢复到第一显示器和第二显示器的正常分辨率,且将第一帧和所恢复第二帧交错显示在第一显示器和第二显示器上。
在本申请的实施例中,所生成待在下一时间点显示在第一显示器和第二显示器上的所生成第一帧和第二帧被切换。
在本申请的实施例中,计算装置还经配置以检测计算装置的计算负载量,以及根据检测到的计算负载量自适应地调节第二分辨率。
在本申请的实施例中,计算装置还经配置以检测传递所生成的图像帧的传输带宽,以及根据检测到的传输带宽自适应地调节第二分辨率。
在本申请的实施例中,显示系统还包含定位器,所述定位器定位穿戴HMD的用户且经配置以追踪穿戴HMD的用户的移动速度。计算装置经配置以通过网络与定位器连接、检测用户的移动速度以及根据检测到的移动速度自适应地调节第二分辨率。
在本申请的实施例中,HMD包含运动传感器,所述运动传感器经配置以追踪穿戴HMD的用户的移动速度。计算装置经配置以检测用户的移动速度,且经配置以根据检测到的移动速度自适应地调节第二分辨率。
在本申请的实施例中,计算装置进一步经配置以分析待生成的图像帧中的图像内容以检测图像内容的视场(FOV)的移动速度,且经配置以根据检测到的移动速度自适应地调节第二分辨率。
在本申请的实施例中,计算装置还包含:如果检测到的移动速度超过第一阈值,那么降低第二分辨率。
在本申请的实施例中,第一分辨率为第一显示器和第二显示器的正常分辨率。
在本申请的实施例中,HMD还包括:如果第一分辨率不等于正常分辨率,那么将具有第一分辨率的第一帧恢复到正常分辨率,且将所恢复第一帧和第二帧交错显示在第一显示器和第二显示器上。
本申请提供一种非暂时性计算机可读记录介质,其经配置以记录程序,其中程序通过计算装置中的处理器加载以执行以下步骤。计算装置根据帧率生成待显示在HMD上的多个图像帧,其中所生成待在相同时间点显示在第一显示器和第二显示器上的图像帧包括具有第一分辨率的第一帧和具有第二分辨率的第二帧,所述第二分辨率低于第一分辨率。将所生成的图像帧从计算装置传递到HMD。HMD将图像帧中具有第二分辨率的第二帧恢复到第一显示器和第二显示器的正常分辨率,且HMD将第一帧和所恢复第二帧交错显示在第一显示器和第二显示器上。
根据以上描述,在本申请的自适应交错图像卷绕的方法、系统以及记录介质中,图像帧被交错地显示,其中待在相同时间点显示的图像帧中的至少一个的总像素数减小,以在保持图像帧的质量的同时减小计算装置的计算负载量和用于传输的数据大小。因此,可在不降低图像质量的情况下保留观看体验。
为了使前述内容更容易理解,以下详细地描述伴有附图的若干实施例。
附图说明
包含附图以提供对本公开的进一步理解,且附图并入本说明书中并构成本说明书的一部分。附图说明本公开的示例性实施例,且与描述一起用以解释本公开的原理。
图1是根据本申请的实施例的显示系统的框图。
图2是示出根据本申请的实施例的自适应交错图像卷绕的方法的流程图。
图3A和图3B示出根据本申请的实施例的在显示系统中生成的图像帧的实例。
图4示出根据本申请的实施例的交错显示图像帧的实例。
图5是示出根据本申请的实施例的自适应地调节图像帧的分辨率的方法的流程图。
附图标号说明
100:显示系统;
110:计算装置;
120:头戴式装置;
121:第一显示器;
122:第二显示器;
310、320、330、340、410、420、420r、430、430r、440、450、460、460r、470、470r、480:图像帧;
S202、S204、S206、S208、S502、S504、S506:步骤;
t0、t1、t2、t3:时间点。
具体实施方式
根据本申请,计算装置生成待显示在头戴式装置(HMD)上的多个图像帧。待在相同时间点显示的用于左眼和右眼的图像帧是以不同分辨率生成,所述分辨率中的一个高于另一个,使得待由计算装置生成的图像帧的总像素数和待传递到HMD的数据大小可减小。在将图像帧传递到HMD之后,HMD将具有减小分辨率的图像帧恢复到HMD的正常分辨率,且将所恢复的图像帧和原先具有正常分辨率的图像帧交错显示。因此,可保留用户的观看体验。
图1是根据本申请的实施例的显示系统的框图。参考图1,本发明实施例的显示系统100包含计算装置110和头戴式装置(HMD)120,且其功能在下文描述。
计算装置110可为例如文件服务器、数据库服务器、应用程序服务器、工作站、个人计算机或具有计算能力的笔记本电脑且包含处理器。处理器例如为中央处理单元(centralprocessing unit;CPU)、图形处理单元(graphics processing unit;GPU)或通用或专用的任何其它可编程微处理器、数字信号处理器(digital signal processor;DSP)、可编程控制器、专用集成电路(application specific integrated circuit;ASIC)、可编程逻辑装置(programmable logic device;PLD)、或其它类似装置、或这些装置的组合。
HMD 120例如为液晶显示器(liquid-crystal display;LCD)、发光二极管(light-emitting diode;LED)显示器或其它合适类型的显示器,其以头盔或镜片形式制造供用户穿戴于头上。在本发明实施例中,HMD 120连接到计算装置110,且包含用于左眼的第一显示器121和用于右眼的第二显示器122。
应提及的是,在一实施例中,计算装置110与HMD 120分开设置,且以有线或无线方式连接到HMD 120以供数据传输。在另一实施例中,计算装置也可集成在HMD 120中,且与HMD 120通过传输线连接以供数据传输,此不受本申请限制。本申请的自适应交错图像卷绕的方法的详细步骤在下文描述。
图2是示出根据本申请的实施例的自适应交错图像卷绕的方法的流程图。参考图2,本发明实施例的方法适用于图1的显示系统100,参考显示系统100的各种组件在下文描述本申请的自适应交错图像卷绕的方法的详细步骤。
首先,计算装置110根据帧率生成待显示在HMD 120上的多个图像帧(步骤S202)。详细地说,所生成待在相同时间点显示在第一显示器121和第二显示器122上的图像帧例如包含具有第一分辨率的第一帧和具有第二分辨率的第二帧,所述第二分辨率低于第一分辨率。另外,计算装置110切换待在下一时间点显示在第一显示器和第二显示器上的第一帧和第二帧。
举例来说,图3A和图3B示出根据本申请的实施例的在显示系统中生成的图像帧的实例。图3A分别示出通过计算装置110所生成待在相同时间点显示在第一显示器121和第二显示器122上的图像帧310和图像帧320。
参考图3A,所生成待显示在第一显示器121上的图像帧310具有第一分辨率,且所生成待显示在第二显示器122上的图像帧320具有低于第一分辨率的第二分辨率。在本发明实施例中,计算装置110生成具有较低分辨率的图像帧320,以便减小图像帧320的数据大小。
在本实施例中,第一分辨率等于第一显示器121和第二显示器122的正常分辨率。然而,在另一实施例中,图像帧310的第一分辨率也可低于第一显示器121和第二显示器122的正常分辨率。在此情况下,举例来说,计算装置110也减小图像帧310的数据大小。
在另一实施例中,计算装置110可通过应用技术进一步减小计算装置的计算负载量,来生成具有较低分辨率的图像帧,如简化的分辨率减小、具有色调的Y通道、交错呈现的帧或格纹呈现的图像,此不受本申请限制。
图3B分别示出所生成待在图3A的时间点的下一时间点显示在第一显示器121和第二显示器122上的图像帧330和图像帧340,且分别生成具有第二分辨率和第一分辨率的图像帧330和图像帧340。也就是说,计算装置110生成待显示在第二显示器122上的具有第一分辨率的图像帧340,且生成待显示在第一显示器121上的具有低于第一分辨率的第二分辨率的图像帧330。
回到图2中的流程图,在生成图像帧之后,计算装置110将所生成的图像传递到HMD120(步骤S204)。随后,HMD 120将图像帧中具有第二分辨率的第二帧恢复到第一显示器121和第二显示器122的正常分辨率(步骤S206)。
参考图3A,HMD 120通过放大图像帧320来将图像帧320恢复到正常分辨率,以便生成具有第二显示器122的正常分辨率的所恢复图像帧(未示出)。参考图3B,HMD 120通过放大图像帧330来将图像帧330恢复到正常分辨率,以便生成具有第一显示器121的正常分辨率的所恢复图像帧(未示出)。例如,HMD 120可通过最近邻插值(Nearest NeighborInterpolation)、双线性插值(Bilinear Interpolation)或双立方插值(BicubicInterpolation)等应用插值方法,来将图像帧放大到第一显示器121和第二显示器122的正常分辨率,此不受本申请限制。
在另一实施例中,如果图像帧310和图像帧340的第一分辨率也通过计算装置110减小,那么HMD 120可通过分别放大图像帧310和图像帧340将具有第一分辨率的图像帧310和图像帧340进一步恢复到正常分辨率。
最后,HMD 120将第一帧和所恢复第二帧交错显示在第一显示器121和第二显示器122上(步骤S208)。也就是说,HMD 120将具有等于正常分辨率的第一分辨率的第一帧和具有正常分辨率的所恢复第二帧在相同时间点分别显示在第一显示器121和第二显示器122上,且随后将具有第一分辨率的第一帧和具有正常分辨率的所恢复第二帧在下一时间点分别显示在第二显示器122和第一显示器121上。因为第一帧和所恢复第二帧在第一显示器121和第二显示器122上交错,所以可实现类似于观看初始全分辨率帧的观看体验。
举例来说,图4示出根据本申请的实施例的交错显示图像帧的实例。参考图4,多个图像帧经生成且在不同时间点显示在第一显示器121和第二显示器122上。在时间点t0时,HMD 120将具有等于第一显示器121的正常分辨率的第一分辨率的图像帧410显示在第一显示器121上,且将具有正常分辨率的从具有第二分辨率的图像帧420恢复的所恢复图像帧420r显示在第二显示器122上。在下一时间点t1时,HMD 120将具有第一分辨率的图像帧440显示在第二显示器122,且将具有正常分辨率的从具有第二分辨率的图像帧430恢复的所恢复图像帧430r显示在第一显示器121上。在时间点t2时,HMD 120将具有第一分辨率的图像帧450显示在第一显示器121上,且将具有正常分辨率的从具有第二分辨率的图像帧460恢复的所恢复图像帧460r显示在第二显示器122上。在时间点t3时,HMD 120将具有第一分辨率的图像帧480显示在第二显示器122上,且将具有正常分辨率的从具有第二分辨率的图像帧470恢复的所恢复图像帧470r显示在第一显示器121上。HMD 120可以如以上所示出的交错方式持续显示图像帧和所恢复图像帧。
基于以上,因为HMD 120为不同眼睛交错显示所恢复图像帧和具有正常分辨率的图像帧,所以即使计算装置生成具有不同分辨率的图像帧,所述分辨率中的一个高于另一以供减小数据大小,可实现类似于观看初始全分辨率帧的观看体验。
另外,基于通过计算装置110和HMD 120检测到的不同状态,计算装置110可将图像帧自适应地调节到不同分辨率。在一个实施例中,可同时调节第一分辨率和第二分辨率。然而,在另一实施例中,计算装置110可检测本身计算的负载量且根据检测到的计算负载量自适应地调节第二分辨率(即较低分辨率)。即,在如GPU计算负载量的计算负载量高时,计算装置110可进一步降低第二分辨率。在又一实施例中,计算装置110可检测用于传递所生成的图像帧的传输带宽且根据传输带宽自适应地调节第二分辨率,以便减小待传递的数据大小并防止数据传输延迟。
在一个实施例中,因为用户在进行快速移动时可能未注意图像质量的降低,所以可自适应地降低待生成的图像帧的分辨率同时仍可保留用户的观看体验。因此,计算装置110可进一步检测穿戴HMD 120的用户的移动速度,以便自适应地调节图像帧的分辨率。
详细地说,参考图1,显示系统100可还包含至少一个定位器(未示出),所述定位器定位穿戴HMD 120的用户的位置且追踪用户的移动速度。定位器包含例如激光器或红外(infrared;IR)发射器和接收器,采用所述定位器以在三维(3D)空间中检测目标的距离,且与配置在目标(例如HMD 120)上的多个校准器合作,可定位目标在3D空间中的位置。所述定位器可设置在用户的活动空间的拐角处,所述定位器不仅用以定位用户在3D空间中的位置而且也用以界定活动空间的边界。计算装置110可通过有线或无线方式与定位器连接以供数据传输。因此,计算装置110可根据通过定位器检测到的移动速度自适应地调节待生成的图像帧的分辨率。
在另一实施例中,计算装置110可通过使用运动传感器检测和追踪用户的移动速度。详细地说,参考图1,HMD 120可还包含运动传感器(未示出),如重力传感器或陀螺仪传感器,所述运动传感器追踪穿戴HMD 120的用户的移动速度。运动传感器能够检测头部旋转或用户的头部的倾角且将头部旋转或用户的头部的倾角反馈到计算装置110,以使得计算装置110可根据通过运动传感器检测到的移动速度自适应地调节待生成的图像帧的分辨率。
在一个实施例中,代替检测用户的移动速度,计算装置110可分析图像帧的图像内容以直接地检测图像内容的视场(FOV)的移动速度,以便根据检测到的移动速度调节待生成的图像帧的分辨率。另外,因为用户可能未注意极快移动图像内容中的图像质量的降低,所以可自适应地降低待生成的图像帧的分辨率同时仍可保留用户的观看体验。
详细地说,图5是示出根据本申请的实施例的自适应地调节图像帧的分辨率的方法的流程图。在本发明实施例中,计算装置110根据待生成的图像帧中的图像内容的FOV的移动速度调节图像帧的分辨率。
参考图5,计算装置110分析待生成的图像帧中的图像内容,以检测图像内容的FOV的移动速度(步骤S502)。随后计算装置110根据检测到的移动速度自适应地调节第二分辨率。详细地说,计算装置110确定检测到的移动速度是否超过第一阈值(步骤S504)。如果检测到的移动速度超过第一阈值(在步骤S504中为是),此意味着图像内容改变太快而不能被用户注意到,那么计算装置110可降低第二分辨率(步骤S506),以便进一步减小待生成的图像帧的数据大小。否则,如果检测到的移动速度不超过第二阈值(在步骤S504中为否),那么计算装置110可保持第二分辨率以便保留观看体验,并持续分析图像内容(步骤S502)以确定是否改变第二分辨率。
另外,除在相同时间点自适应地调节用于左眼和右眼的图像帧中的一个的分辨率之外,计算装置110还可自适应地调节两个图像帧的分辨率。也就是说,计算装置110可生成具有第一分辨率的第一帧和具有低于第一分辨率的第二分辨率的第二帧,所述第一帧和第二帧待在相同时间点显示在第一显示器121和第二显示器122上,第一分辨率和第二分辨率皆小于第一显示器121和第二显示器122的正常分辨率。
在从计算装置110接收图像帧时,除将图像帧中具有第二分辨率的第二帧恢复到第一显示器121和第二显示器122的正常分辨率之外,HMD 120还可确定第一帧的第一分辨率是否等于第一显示器121和第二显示器122的正常分辨率,且如果第一分辨率不等于正常分辨率,那么将具有第一分辨率的第一帧恢复到正常分辨率。因此,HMD 120可将所恢复的第一帧和第二帧交错显示在第一显示器和第二显示器上,以便保留观看体验同时减小图像帧的数据大小。
本发明进一步涉及一种非暂时性计算机可读记录介质,其经配置以记录通过计算装置中的处理器加载以执行自适应交错图像卷绕的方法的每一步骤的程序。计算机程序由多个程序部分(例如,构造组织图式程序部分,批准列表程序部分,设置程序部分以及部署程序部分等)构成。在程序部分加载到处理器中且被执行之后,可完成自适应交错图像卷绕的方法的步骤。
所属领域的技术人员将显而易见,在不脱离本公开的范围或精神的情况下可对所揭示的实施例作出各种修改和变化。鉴于是以上内容,在所述修改和变化属于所附权利要求书和其等效物的范围内的前提下,希望本公开涵盖修改和变化。

Claims (20)

1.一种自适应交错图像卷绕方法,适用于具有头戴式装置以及计算装置的显示系统,其中所述头戴式装置包括用于左眼的第一显示器以及用于右眼的第二显示器,所述方法包括:
通过所述计算装置根据帧率生成待显示在所述头戴式装置上的多个图像帧,其中所生成待在相同时间点显示在所述第一显示器以及所述第二显示器上的所述图像帧包括具有第一分辨率的第一帧以及具有第二分辨率的第二帧,所述第二分辨率低于所述第一分辨率;
将所述所生成的图像帧从所述计算装置传递到所述头戴式装置;
通过所述头戴式装置将所述图像帧中具有所述第二分辨率的所述第二帧恢复到所述第一显示器以及所述第二显示器的正常分辨率;以及
通过所述头戴式装置将所述第一帧以及所述所恢复第二帧交错显示在所述第一显示器以及所述第二显示器上。
2.根据权利要求1所述的自适应交错图像卷绕方法,其中所生成待在下一时间点显示在所述第一显示器以及所述第二显示器上的所述第一帧以及所述第二帧被切换。
3.根据权利要求1所述的自适应交错图像卷绕方法,还包括:
通过所述计算装置检测所述计算装置的计算负载量;以及
根据所述检测到的计算负载量自适应地调节所述第二分辨率。
4.根据权利要求1所述的自适应交错图像卷绕方法,还包括:
通过所述计算装置检测用于传递所述所生成的图像帧的传输带宽;以及
根据所述检测到的传输带宽自适应地调节所述第二分辨率。
5.根据权利要求1所述的自适应交错图像卷绕方法,还包括:
通过所述计算装置检测穿戴所述头戴式装置的用户的移动速度;以及
根据所述检测到的移动速度自适应地调节所述第二分辨率。
6.根据权利要求1所述的自适应交错图像卷绕方法,还包括:
通过所述计算装置分析待生成的所述图像帧中的图像内容以检测所述图像内容的视场的移动速度;以及
根据所述检测到的移动速度自适应地调节所述第二分辨率。
7.根据权利要求6所述的自适应交错图像卷绕方法,其中所述根据所述检测到的移动速度自适应地调节所述第二分辨率的步骤包括:
如果所述检测到的移动速度超过第一阈值,降低所述第二分辨率。
8.根据权利要求1所述的自适应交错图像卷绕方法,其中所述第一分辨率为所述第一显示器以及所述第二显示器的所述正常分辨率。
9.根据权利要求1所述的自适应交错图像卷绕方法,还包括:
如果所述第一分辨率不等于所述正常分辨率,将具有所述第一分辨率的所述第一帧恢复到所述正常分辨率,以及通过所述头戴式装置在所述第一显示器以及第二显示器上交错显示所述所恢复的第一帧以及第二帧。
10.一种自适应交错图像卷绕的显示系统,包括:
计算装置;以及
头戴式装置,连接到所述计算装置,包括用于左眼的第一显示器以及用于右眼的第二显示器,
其中所述计算装置经配置以根据帧率生成待显示在所述头戴式装置上的多个图像帧,其中所生成待在在相同时间点显示在所述第一显示器以及所述第二显示器上的所述图像帧包括具有第一分辨率的第一帧以及具有第二分辨率的第二帧,所述第二分辨率低于所述第一分辨率,
其中所述计算装置经配置以将所述所生成的图像帧传递到所述头戴式装置,
其中所述头戴式装置经配置以将所述图像帧中具有所述第二分辨率的所述第二帧恢复到所述第一显示器以及所述第二显示器的正常分辨率,以及将所述第一帧以及所述所恢复第二帧交错显示在所述第一显示器以及所述第二显示器上。
11.根据权利要求10所述的自适应交错图像卷绕的显示系统,其中所生成待在下一时间点显示在所述第一显示器以及所述第二显示器上的所述第一帧以及所述第二帧被切换。
12.根据权利要求10所述的自适应交错图像卷绕的显示系统,其中所述计算装置还包括:
检测所述计算装置的计算负载量;以及
根据所述检测到的计算负载量自适应地调节所述第二分辨率。
13.根据权利要求10所述的自适应交错图像卷绕的显示系统,其中所述计算装置还包括:
检测用于传递所述所生成的图像帧的传输带宽;以及
根据所述检测到的传输带宽自适应地调节所述第二分辨率。
14.根据权利要求10所述的自适应交错图像卷绕的显示系统,还包括:
定位器,定位穿戴所述头戴式装置的用户以及经配置以追踪穿戴所述头戴式装置的所述用户的移动速度,
其中所述计算装置经配置以通过网络与所述定位器连接、检测所述用户的所述移动速度以及根据所述检测到的移动速度自适应地调节所述第二分辨率。
15.根据权利要求10所述的自适应交错图像卷绕的显示系统,其中所述头戴式装置包括:
运动传感器,经配置以追踪穿戴所述头戴式装置的用户的移动速度,
其中所述计算装置经配置以检测所述用户的所述移动速度以及根据所述检测到的移动速度自适应地调节所述第二分辨率。
16.根据权利要求10所述的自适应交错图像卷绕的显示系统,其中所述计算装置还包括:
分析待生成的所述图像帧中的图像内容以检测所述图像内容的视场的移动速度;以及
根据所述检测到的移动速度自适应地调节所述第二分辨率。
17.根据权利要求16所述的自适应交错图像卷绕的显示系统,其中所述计算装置还包括:
如果所述检测到的移动速度超过第一阈值,降低所述第二分辨率。
18.根据权利要求10所述的自适应交错图像卷绕的显示系统,其中所述第一分辨率为所述第一显示器以及所述第二显示器的所述正常分辨率。
19.根据权利要求10所述的自适应交错图像卷绕的显示系统,其中所述头戴式装置还包括:
如果所述第一分辨率不等于所述正常分辨率,将具有所述第一分辨率的所述第一帧恢复到所述正常分辨率,以及在所述第一显示器以及第二显示器上交错显示所述所恢复的第一帧以及第二帧。
20.一种非暂时性计算机可读记录介质,经配置以记录程序,其中所述程序通过计算装置中的处理器加载以执行以下步骤:
通过所述计算装置根据帧率生成待显示在头戴式装置上的多个图像帧,其中所生成待在相同时间点显示在所述第一显示器以及所述第二显示器上的所述图像帧包括具有第一分辨率的第一帧以及具有第二分辨率的第二帧,所述第二分辨率低于所述第一分辨率;
将所述所生成的图像帧从所述计算装置传递到所述头戴式装置;
通过所述头戴式装置将所述图像帧中具有所述第二分辨率的所述第二帧恢复到所述第一显示器以及所述第二显示器的正常分辨率;以及
通过所述头戴式装置将所述第一帧以及所述所恢复第二帧交错显示在所述第一显示器以及所述第二显示器上。
CN201811366664.4A 2017-11-16 2018-11-16 自适应交错图像卷绕的方法、系统以及记录介质 Active CN109803138B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762586891P 2017-11-16 2017-11-16
US62/586,891 2017-11-16

Publications (2)

Publication Number Publication Date
CN109803138A true CN109803138A (zh) 2019-05-24
CN109803138B CN109803138B (zh) 2020-10-09

Family

ID=66432636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811366664.4A Active CN109803138B (zh) 2017-11-16 2018-11-16 自适应交错图像卷绕的方法、系统以及记录介质

Country Status (3)

Country Link
US (1) US10742966B2 (zh)
CN (1) CN109803138B (zh)
TW (1) TWI687088B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166758A (zh) * 2019-06-24 2019-08-23 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质
CN113938665A (zh) * 2020-07-14 2022-01-14 宏达国际电子股份有限公司 用于传输缩减的深度信息的方法和电子装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI704376B (zh) * 2019-07-19 2020-09-11 宏碁股份有限公司 視角校正方法、虛擬實境顯示系統與運算裝置
CN113797418A (zh) * 2020-06-12 2021-12-17 中强光电股份有限公司 医疗影像设备以及医疗影像显示方法
US20220201271A1 (en) * 2020-12-23 2022-06-23 Facebook Technologies, Llc Temporal foveated rendering
WO2022212109A1 (en) * 2021-03-31 2022-10-06 Dathomir Laboratories Llc Techniques for viewing 3d photos and 3d videos

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装
CN103039082A (zh) * 2010-06-08 2013-04-10 Lg电子株式会社 图像处理方法和根据该方法的图像显示装置
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
CN103221872A (zh) * 2010-10-08 2013-07-24 视立方有限公司 具有主动快门板的3d显示系统
JP2016019170A (ja) * 2014-07-09 2016-02-01 日本放送協会 立体映像表示装置および映像生成プログラム
US20160241836A1 (en) * 2015-02-17 2016-08-18 Nextvr Inc. Methods and apparatus for receiving and/or using reduced resolution images
EP3111640A1 (en) * 2014-02-26 2017-01-04 Sony Computer Entertainment Europe Limited Image encoding and display

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
CN204258990U (zh) 2014-12-24 2015-04-08 何军 智能头戴显示装置
GB201603144D0 (en) * 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
CN105812768B (zh) 2016-03-18 2018-06-19 深圳市维尚境界显示技术有限公司 一种3d视频在vr设备中的播放方法及系统
US10366536B2 (en) * 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
KR102623391B1 (ko) * 2017-01-10 2024-01-11 삼성전자주식회사 영상 출력 방법 및 이를 지원하는 전자 장치
CN106713922B (zh) * 2017-01-13 2020-03-06 京东方科技集团股份有限公司 图像处理方法和电子设备
US10268263B2 (en) * 2017-04-20 2019-04-23 Microsoft Technology Licensing, Llc Vestibular anchoring
US11216907B2 (en) * 2017-05-18 2022-01-04 Sony Interactive Entertainment Inc. Image generating apparatus, method, and program for displaying image resolution with motion in head-mounted display (HMD)

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装
CN103039082A (zh) * 2010-06-08 2013-04-10 Lg电子株式会社 图像处理方法和根据该方法的图像显示装置
CN103221872A (zh) * 2010-10-08 2013-07-24 视立方有限公司 具有主动快门板的3d显示系统
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
EP3111640A1 (en) * 2014-02-26 2017-01-04 Sony Computer Entertainment Europe Limited Image encoding and display
JP2016019170A (ja) * 2014-07-09 2016-02-01 日本放送協会 立体映像表示装置および映像生成プログラム
US20160241836A1 (en) * 2015-02-17 2016-08-18 Nextvr Inc. Methods and apparatus for receiving and/or using reduced resolution images

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166758A (zh) * 2019-06-24 2019-08-23 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质
WO2020259402A1 (zh) * 2019-06-24 2020-12-30 京东方科技集团股份有限公司 图像处理方法、装置、终端设备、介质、可穿戴系统
CN110166758B (zh) * 2019-06-24 2021-08-13 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质
CN113938665A (zh) * 2020-07-14 2022-01-14 宏达国际电子股份有限公司 用于传输缩减的深度信息的方法和电子装置
CN113938665B (zh) * 2020-07-14 2023-10-13 宏达国际电子股份有限公司 用于传输缩减的深度信息的方法和电子装置
US11869167B2 (en) 2020-07-14 2024-01-09 Htc Corporation Method for transmitting reduced depth information and electronic device

Also Published As

Publication number Publication date
TW201924327A (zh) 2019-06-16
TWI687088B (zh) 2020-03-01
US20190149809A1 (en) 2019-05-16
US10742966B2 (en) 2020-08-11
CN109803138B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN109803138A (zh) 自适应交错图像卷绕的方法、系统以及记录介质
US10324523B2 (en) Rendering virtual images based on predicted head posture
US10559065B2 (en) Information processing apparatus and information processing method
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
US10255713B2 (en) System and method for dynamically adjusting rendering parameters based on user movements
US9741167B1 (en) Method and system for providing an image of a virtual space to a head mounted display
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US9117384B2 (en) System and method for bendable display
US9875079B1 (en) Information processing method and system for executing the information processing method
CN111602082B (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
US9720497B2 (en) Method and apparatus for controlling rendering quality
US10969861B2 (en) Image processing device, image processing method, and image system
US20230245261A1 (en) Foveated rendering using eye motion
EP3619685B1 (en) Head mounted display and method
CN108363486A (zh) 图像显示装置及方法、图像处理装置及方法和存储介质
JP2020003898A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20230131854A (ko) 상황 인식 확장 현실 시스템
EP3236306A1 (en) A method for rendering a 3d virtual reality and a virtual reality equipment for implementing the method
KR20210138484A (ko) 깊이 맵 복구를 위한 시스템 및 방법
US20230410699A1 (en) Structured display shutdown for video pass-through electronic devices
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
Pan et al. Exploration of using face tracking to reduce GPU rendering on current and future auto-stereoscopic displays
WO2022004130A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
US20220383512A1 (en) Tracking method for image generation, a computer program product and a computer system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant