CN109791431A - 视点渲染 - Google Patents

视点渲染 Download PDF

Info

Publication number
CN109791431A
CN109791431A CN201780044311.XA CN201780044311A CN109791431A CN 109791431 A CN109791431 A CN 109791431A CN 201780044311 A CN201780044311 A CN 201780044311A CN 109791431 A CN109791431 A CN 109791431A
Authority
CN
China
Prior art keywords
display
blinkpunkt
area
resolution
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780044311.XA
Other languages
English (en)
Other versions
CN109791431B (zh
Inventor
安德烈亚斯·科林斯特姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toby Joint-Stock Co
Original Assignee
Toby Joint-Stock Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toby Joint-Stock Co filed Critical Toby Joint-Stock Co
Priority to CN202210669935.3A priority Critical patent/CN115220572A/zh
Publication of CN109791431A publication Critical patent/CN109791431A/zh
Application granted granted Critical
Publication of CN109791431B publication Critical patent/CN109791431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Abstract

根据本发明,公开了一种用于基于用户在显示器上的注视点来改变显示的方法。该方法可以包括确定用户在显示器上的注视点。该方法还可以包括使显示器的第一区域以第一方式显示,该第一区域包括注视点和周围区域。该方法还可以包括使显示器的第二区域以第二方式显示,该第二区域不同于第一区域,并且第二方式不同于第一方式。

Description

视点渲染
背景技术
可以在显示器上使用图形项来向观看者显示数据和信息。这些图形项可以包括文本、图像和视频。计算领域中的图形项目是众所周知的,并且已经使用了很多年。近来,在显示器上显示三维(3D)图形项在诸如游戏、建模和电影领域中的重要性已经增加。
当显示图形项时,诸如计算机的系统使用处理器结合存储器在屏幕或其它显示器设备上显示项。用于显示图形项的方法在变化,但是通常它们依赖于计算机解释命令来控制提供用于显示的图形项的图形处理设备。图形处理设备通常包含为此目的的定制硬件,其包括处理器和存储器。在一些计算机系统中,图形处理设备被完全集成,而在其它系统中,图形处理设备被提供为称为图形卡的独立组件。
图形处理设备在其处理能力上具有限制,通常以在任何给定时间可以在屏幕上显示的图形项的量来量化。这通常受实现图形处理设备的硬件的能力的限制,该图形处理设备包括处理器、存储器和通信信道。附加地,能够在给定点显示在屏幕上的图形项的量可以通过图形处理设备和计算机之间的通信限制来限制。
在许多需要在屏幕上显示图形项的情形中,用户仅在任何给定时间关注在屏幕的一部分上,并且因此仅关注在图形项的一部分上。同时,其它图形项继续显示在屏幕的用户不关注的其余部分上。这浪费有价值的图形处理设备资源来产生用户不能完全理解的图形项,因为人的视觉灵敏度在那些刚刚聚焦的图像之外显著下降。
发明内容
在一个实施例中,提供了一种用于基于用户在显示器上的注视点来改变显示的方法。该方法可以包括确定用户在显示器上的注视点。该方法也可以包括使显示器的第一区域以第一方式显示,该第一区域包括注视点和周围区域。该方法还可以包括使显示器的第二区域以第二方式显示,该第二区域不同于第一区域,并且第二方式不同于第一方式。
在另一实施例中,提供一种用于基于用户在显示器上的注视点来改变显示器上的内容的系统。该系统可以包括用于确定用户在显示器上的注视点的眼睛跟踪设备和处理器。处理器可以用于至少使显示器的第一区域以第一方式显示,该第一区域包括注视点和周围区域。处理器也可以用于至少使显示器的第二区域以第二方式显示,该第二区域不同于第一区域,并且第二方式不同于第一方式。
在另一实施例中,提供了一种非暂时性机器可读介质,其具有在其上存储的用于基于用户在显示器上的注视点来改变显示器上的内容的指令。该指令可由一个或多个处理器执行,以至少确定用户在显示器上的注视点,并使显示器的第一区域以第一方式显示,该第一区域包括注视点和周围区域。该指令还可以被执行以至少使得显示器的第二区域以第二方式显示,第二区域不同于第一区域,并且第二方式不同于第一方式。
附图说明
结合附图描述本发明:
图1是用于基于眼睛跟踪调节显示器设备的本发明的一个实施例的示意图;
图2是展示本发明的一些实施例的各个方面的显示器设备的示意图;
图3是展示本发明的一些实施例的各个方面的显示器设备的另一示意图;
图4是展示本发明的一些实施例的各个方面的显示器设备的另一示意图;
图5是与本发明的一些实施例相关的虚拟像素与真实像素的示意图;
图6是用于基于眼睛跟踪修改显示器设备的本发明的一种方法的流程图;
图7是用于基于眼睛跟踪修改显示器设备的本发明的另一方法的流程图;
图8是用于基于眼睛跟踪修改显示器设备的本发明的另一方法的流程图;
图9是用于基于眼睛跟踪修改显示器设备的本发明的另一方法的流程图;
图10是能够在本发明的装置或系统的至少一些部分中使用,或者实施本发明的方法的至少一些部分的示例性计算机系统的方框图。
在附图中,类似的组件和/或特征可以具有相同的数字参考标记。进一步,相同类型的各种组件可以通过在参考标记之后通过在类似组件和/或特征之间进行区分的字母来区分。如果在说明书中仅使用第一数字参考标记,则说明书可应用于具有相同第一数字参考标记的类似组件和/或特征中的任何一个,而与字母后缀无关。
具体实施方式
随后的描述仅提供示例性实施例,并且不旨在限制本公开的范围、应用或配置。相反,随后的对示例性实施例的描述将为本领域技术人员提供用于实施一个或多个示例性实施例的操作性描述。应当理解的是,在不脱离如所附权利要求书中阐述的本发明的精神和范围的情况下,可以在元件的功能和布置方面进行各种改变。
例如,关于一个实施例讨论的任何细节可以存在或不存在于该实施例的所有预期的版本中。同样地,关于一个实施例讨论的任何细节可以存在或不存在于本文讨论的其它实施例的所有预期的版本中。最后,本文没有关于实施例的任何细节的讨论将是这样的隐含认识,即这样的细节可能存在或不存在于本文讨论的任何实施例的任何版本中。
在以下描述中给出具体细节以提供对实施例的透彻理解。然而,本领域的技术人员将理解的是,可以在没有这些特定细节的情况下实践实施例。例如,本发明中的电路、系统、网络、过程和其它元件可以以框图形式示出为组件,以免在不必要的细节上模糊实施例。在其它实例中,可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免模糊实施例。
并且,应注意的是,单个实施例可以被描述为过程,该过程被描绘为程序框图、流程图、数据流程图、结构图或方框图。虽然流程图可以将操作描述为顺序过程,但是可以并行或同时执行许多操作。此外,可以重新安排操作的顺序。过程可以在其操作完成时终止,但可以具有未论述或包含在图中的附加步骤。此外,不是任何具体描述的过程中的所有操作都可能在所有实施例中发生。过程可以对应于方法、函数、过程、子例程、子程序等。当过程对应于函数时,其终止对应于该函数返回到调用函数或主函数。
术语“机器可读介质”包括但不限于瞬态和非瞬态、便携式或固定存储设备、光存储设备、无线信道和能够存储、包含或承载指令和/或数据的各种其它介质。代码段或机器可执行指令可以表示过程、函数、子程序,程序、例程、子例程、模块、软件包、类,或指令、数据结构或程序语句的任意组合。代码段可通过传递和/或接收信息、数据、变元、参数或存储器内容而耦接到另一代码段或硬件电路。信息、变元、参数、数据等可以经由包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的装置传递、转发或传输。
另外,本发明的实施例可以至少部分地手动或自动地实施。可以通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来执行或至少辅助手动或自动实施方式。当以软件、固件、中间件或微代码实施时,执行必要任务的程序代码或代码段可以存储在机器可读介质中。处理器可以执行必要的任务。
现在转向图1,示出了具有显示器110和眼睛跟踪设备120的系统100。计算机130与显示器110通信,并包括中央处理单元(CPU)140和图形处理单元(GPU)150。主板160允许CPU140、GPU 150和眼睛跟踪设备120之间的通信。为了公开的目的,显示器110、眼睛跟踪设备120和计算机130本质上仅仅是示例性的,因为其它计算设备、显示器和眼睛跟踪设备包括各种台式计算机、膝上型计算机、笔记本计算机、平板电脑、移动和蜂窝设备、诸如虚拟现实耳机和手表/计算机等的可佩戴设备也可以实现图1中的一些或全部组件。另外,以下讨论的图5示出了存在于计算机130的各种实施例中的其它可能的组件。
已经确定的是,当个人用户在注视点160关注在显示器110上时,用户仅能够以高分辨率细节关注在注视点160周围的第一区域163上。在周围区域166中,人眼可以确定细节的分辨率下降。因此,较少量的计算资源,例如CPU 140和GPU 150的处理能力,可以专门用于渲染显示器的该部分。因此,通过采用眼睛跟踪设备120,用户注视在显示器110上的位置可以确定,并被用于通知CPU 140和GPU 150如何最有效地渲染显示器110的不同区域到不超过平均用户可以有效地确定的细节水平,从而节约计算资源。围绕注视点160的第一区域163可以是动态的,随着注视点移动而移动,意味着显示器110的不同部分。
转向图2,也已经确定在注视点160的水平轴210上分辨率感知大于在竖直轴220上的分辨率感知。因此,如图2所示,分辨率感知在紧围绕注视点160的第一区域163内最大,并且在第二区域170更小,并且在第三区域173甚至更小。
最后,也已经确定分辨率感知在从注视点开始的周边上不是一致的方向。现在转向图3,将示出人们沿其周边的水平轴210如何具有大于水平分辨率的竖直分辨率,以及沿其周边的竖直轴220如何具有大于竖直分辨率的水平分辨率。与在水平轴210和竖直轴220两者上的垂直光栅320相比,人们能够更好地看到平行光栅310。这意味着当在距注视点163一定的角距离时,竖直分辨率感知沿水平轴210更大,而水平分辨率感知沿竖直轴的更大。同样的效果发生在水平轴210和竖直轴220之间的其它非主/中间轴230处。
因此,如图4所示,渲染显示器110的最有效的计算资源方式是(1)以高分辨率410渲染第一区域163;(2)以远离第一区域163的逐渐降低的分辨率渲染剩余区域166;(3)以较低的和水平取向的矩形分辨率420渲染围绕水平轴210的区域;(4)以更低的和基本上平行的矩形分辨率430渲染围绕中间轴230的区域;和(5)以甚至更低和竖直取向的矩形分辨率440渲染围绕竖直轴220的区域。注意的是,对于中间轴,术语“基本上平行”意味着对于给定轴,周围分辨率将平行于可以接近或准确地平行于处于接近轴或准确地位于该轴上的分辨率的分辨率。
为了渲染不同尺寸的像素,可以在需要不同尺寸和/或形状的像素的每个位置处采用虚拟像素化方案。图5示出了虚拟像素如何由多个较小的真实像素组成。因此,在高分辨率区域中,可以采用真实像素,其中以潜在独立的水平渲染每个真实像素以获得最高可能的图像质量。同时,在低分辨率区域中,可以采用虚拟像素,其中以潜在独立的水平渲染每个虚拟像素,以获得该区域必要的最小图像质量(即,在用户视觉的周边处不能感知到更高的图像质量)。虽然每个虚拟像素可以被包括在多个真实像素上,但是给定虚拟像素内的所有真实像素将以相同的方式被渲染,以使得整个给定虚拟像素被渲染,就好像它是单个像素一样。
尽管上述讨论集中于修改显示器的不同区域(即,包括注视点的第一区域、超出第一区域的显示器的其余部分、包括注视点的水平轴的一部分的第二区域、包括注视点的竖直轴的一部分的第三区域、以及包括注视点的中间轴的一部分的第四区域)的分辨率,但是也可以以较低质量水平渲染其它视觉质量,以便实现节省计算资源的目的。仅作为示例,可以以以下(当与较高品质区域中的第一显示方式的质量相比时)显示减小的显示器质量区域:从第一方式降低的分辨率、从第一方式降低的遮光质量、从第一方式降低的阴影质量、从第一方式降低的反射渲染质量、从第一方式降低的纹理映射质量、从第一方式降低的帧速率、从第一方式降低的雾化/粒子质量、从第一方式降低的半透明度渲染质量、从第一方式降低的抗混叠质量、从第一方式降低的帧速率、以及从第一方式降低的三维渲染质量。如本领域已知的,降低渲染质量的其它方式也是可能的。
图6是用于基于用户的注视点改变显示器上的内容的本发明的一种方法600的方框图。在框610处,确定用户在显示器上的注视点。在框620处,以第一方式显示显示器的第一区域。显示器的第一区域包括注视点和周围区域。基于如由眼睛跟踪设备和/或处理器所确定的从显示器到用户眼睛的距离,可以调节周围区域的尺寸。
在框630处,以不同于第一方式的第二方式显示显示器的第二区域(其不同于显示器的第一区域)。第二方式是使渲染质量从第一方式降低的方式。如上所讨论,这可以是较低的分辨率和/或其它质量。在一些实施例中,第二区域可以是除了第一区域之外的显示器的其余部分,而在其它实施例中,第二区域可以包括延伸到注视点的左侧或右侧的水平轴的一部分,或者在注视点之上或之下延伸的竖直轴的一部分。第二区域还可以或可替换地包括成角度地位于水平轴和竖直轴之间的中间轴的一部分。
图7是用于基于用户的注视点改变显示器上的内容的本发明的另一方法700的方框图。在框710处,确定用户在显示器上的注视点。在框720处,以第一方式显示显示器的第一区域。显示器的第一区域包括注视点和周围区域。基于如由眼睛跟踪设备和/或处理器确定的从显示器到用户眼睛的距离,可以调节周围区域的尺寸。
在框730处,以不同于第一方式的第二方式显示显示器的第二区域(其不同于显示器的第一区域)。第二方式是使渲染质量从第一方式降低的方式。如上所讨论,这可以是较低的分辨率和/或其它质量。在一些实施例中,第二区域可以是除了第一区域之外的显示器的其余部分,而在其它实施例中,第二区域可以包括延伸到注视点的左侧或右侧的水平轴的一部分,或者在注视点之上或之下延伸的竖直轴的一部分。第二区域还可以或可替换地包括成角度地位于水平轴和竖直轴之间的中间轴的一部分。
在框740处,以不同于第一和第二方式的第三方式显示显示器的第三区域(其不同于显示器的第一区域或第二区域)。第三方式是使渲染质量从第一方式和第二方式降低的方式。如上所述,这可以是较低的分辨率和/或其它质量。在一些实施例中,第三区域可以是除了第一区域和第二区域之外的显示器的其余部分,而在其它实施例中,第三区域可以包括延伸到注视点的左侧或右侧的水平轴的一部分,或者在注视点之上或之下延伸的竖直轴的一部分。例如,如果第二区域包括水平轴的一部分,则第三区域可以包括竖直轴的一部分(反之亦然)。第三区域还可以或可替换地包括成角度地位于水平轴和竖直轴之间的中间轴的一部分。
图8是用于基于用户的注视点改变显示器上的内容的本发明的另一方法800的方框图。在框810处,确定用户在显示器上的注视点。在框820处,以第一方式显示显示器的第一区域。显示器的第一区域包括注视点和周围区域。基于如由眼睛跟踪设备和/或处理器确定的从显示器到用户眼睛的距离,可以调节周围区域的尺寸。
在框830处,确定从注视点到显示器的其它潜在第二区域的角距离。如果角距离足够大,则可以允许降低的质量渲染,而不降低用户感知的质量。此后,在框840处,以基于角距离且不同于第一方式的第二方式显示该第二区域。第二方式是使渲染质量从第一方式降低的方式。如上所讨论,这可以是较低的分辨率和/或其它质量。以这种方式,取决于实施例,可以分析从用户眼睛到第一区域之外的屏幕的各个部分(潜在的所有剩余区域)的角距离,以确定候选用于降低的质量渲染的一个或多个区域。候选用于降低的质量渲染的最小角距离包括距注视点20、21、22、23、24或25度和更大的那些显示器的区域。
图9是用于基于用户的注视点改变显示器上的内容的本发明的另一方法900的方框图。在框910处,确定用户在显示器上的注视点。在框920处,以第一方式显示显示器的第一区域。显示器的第一区域包括注视点和周围区域。基于如由眼睛跟踪设备和/或处理器确定的从显示器到用户眼睛的距离,可以调节周围区域的尺寸。
在框630,以不同于第一方式的第二方式显示显示器的第二区域(其不同于显示器的第一区域)。第二方式是使渲染质量从第一方式降低的方式。如上所讨论,这可以是较低的分辨率和/或其它质量。在一些实施例中,第二区域可以是除了第一区域之外的显示器的其余部分,而在其它实施例中,第二区域可以包括延伸到注视点的左侧或右侧的水平轴的一部分,或者在注视点之上或之下延伸的竖直轴的一部分。第二区域也可以或可替换地包括成角度地位于水平轴和竖直轴之间的中间轴的一部分。
在框940处,以不同于第一和第二方式的第三方式显示显示器的第三区域(其不同于显示器的第一区域或第二区域)。第三方式是使渲染质量从第一方式和第二方式降低的方式。如上所讨论,这可以是较低的分辨率和/或其它质量。在一些实施例中,第三区域可以是除了第一区域和第二区域之外的显示器的其余部分,而在其它实施例中,第三区域可以包括延伸到注视点的左侧或右侧的水平轴的一部分,或者在注视点之上或之下延伸的竖直轴的一部分。例如,如果第二区域包括水平轴的一部分,则第三区域可以包括竖直轴的一部分(反之亦然)。第三区域也可以或可替换地包括成角度地位于水平轴和竖直轴之间的中间轴的一部分。
在框950处,以不同于第一、第二和第三方式的第四方式显示显示器的第四区域(其不同于显示器的第一区域、第二区域或第三区域)。第四方式是使渲染质量从第一方式、第二方式和第三方式降低的方式。如上所讨论,这可以是较低的分辨率和/或其它质量。在一些实施例中,第四区域可以是除了第一、第二和第三区域之外的显示器的其余部分,而在其它实施例中,第四区域可以包括延伸到注视点的左侧或右侧的水平轴的一部分,或者在注视点之上或之下延伸的竖直轴的一部分。例如,如果第二区域包括水平轴的一部分,则第三区域可以包括竖直轴的一部分(反之亦然)。第四区域也可以或可替换地包括成角度地位于水平轴和竖直轴之间的中间轴的一部分(特别是在第二和第三区域已经包括这些区域的那些实施例中)。
图10是示出其中可以实施本发明的实施例的示例性计算机系统1000的方框图。该示例示出了计算机系统1000,例如可以整体地、部分地或以各种修改来使用,以提供显示器、计算设备、中央处理单元、图形处理单元、眼睛跟踪设备和/或如以上讨论的本发明的其它组件的功能。例如,本发明的各种组件的各种功能可以由计算机系统1000控制,包括,仅作为示例,渲染显示器的不同部分、确定注视点等。
计算机系统1000被示出为包括可以经由总线1090电耦接的硬件元件。硬件元件可以包括一个或多个中央处理单元1010、一个或多个输入设备1020(例如,鼠标、键盘、眼睛跟踪设备等)以及一个或多个输出设备1030(例如,显示器设备、打印机等)。计算机系统1000也可以包括一个或多个存储设备1040。作为示例,存储设备1040可以是盘驱动器、光存储设备、诸如可编程的、可闪存更新的随机存取存储器(RAM)和/或只读存储器(ROM)的固态存储设备和/或类似物。
计算机系统1000可以附加地包括计算机可读存储介质读取器1050、通信系统1060(例如,调制解调器、网络卡(无线或有线)、红外通信设备、蓝牙设备、蜂窝通信设备等),以及工作存储器1080,其可以包括如上所述的RAM和ROM设备。在一些实施例中,计算机系统1000也可以包括处理加速单元1070,其可以包括数字信号处理器、专用处理器等。
计算机可读存储介质读取器1050可以进一步连接到计算机可读存储介质,一起(并且可选地,与存储设备1040组合)综合地表示远程、本地、固定和/或可移动存储设备以及用于临时和/或更永久地包含计算机可读信息的存储介质。通信系统1060可以允许与网络、系统、计算机和/或上述其它组件交换数据。
计算机系统1000也可以包括软件元件,被示出为当前位于工作存储器1080内,包括操作系统1084和/或其它代码1088。应当理解的是计算机系统1000的交替的实施例可以具有上述的多种变型。例如,在硬件、软件(包括便携式软件,例如小应用程序)或两者中也可以使用定制的硬件和/或可以实施特定的元件。另外,也可以发生与诸如网络输入/输出和数据获取设备之类的其它计算设备的连接。
计算机系统1000的软件可以包括代码1088,用于实施如本文所述的体系结构的各种元件的任何或全部功能。例如,存储在诸如系统1000之类的计算机系统上和/或由诸如系统1000之类的计算机系统执行的软件可以提供本发明的显示器、计算设备、中央处理单元、图形处理单元、眼睛跟踪设备和/或其它组件的功能,诸如以上讨论的那些。以上更详细地讨论了可由软件在这些组件中的一些上实施的方法。
为了清楚和理解的目的,现在已经详细描述了本发明。然而,应当理解的是,可以在所附权利要求的范围内实现某些改变和修改。

Claims (14)

1.一种用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中所述方法包括:
在显示器上确定用户的注视点:
使所述显示器的第一区域以第一方式显示,所述第一区域包括所述注视点和周围区域;并且
使所述显示器的第二区域以第二方式显示,所述第二区域不同于所述第一区域,并且所述第二方式不同于所述第一方式,其中所述第二方式包括具有多个虚拟像素的分辨率,并且其中所述第二区域包括:
延伸到所述注视点的左侧或右侧的水平轴的至少一部分,其中每个虚拟像素具有大于高度的宽度;或者
在所述注视点之上或之下延伸的竖直轴的至少一部分,其中每个虚拟像素具有大于宽度的高度。
2.如权利要求1所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中:
所述第二区域包括延伸到所述注视点的左侧或右侧的水平轴的至少一部分;并且
所述方法还包括使所述显示器的第三区域以第三方式显示,其中:
所述第三区域包括在所述注视点之上或之下延伸的所述竖直轴的至少一部分;
所述第三区域与所述第一区域和所述第二区域不同;并且
所述第三方式与所述第一方式和所述第二方式不同。
3.如权利要求1所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中:
所述第二区域包括在所述注视点之上或之下延伸的所述竖直轴的至少一部分;并且
所述方法进一步包括使所述显示器的第三区域以第三方式显示,其中:
所述第三区域包括延伸到所述注视点的所述左侧或所述右侧的所述水平轴的至少一部分;
所述第三区域与所述第一区域和所述第二区域不同;并且
所述第三方式不同于所述第一方式和所述第二方式。
4.如权利要求1所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中:
所述第一方式包括第一分辨率,
所述第二方式包括第二分辨率;并且
所述第二分辨率低于所述第一分辨率。
5.如权利要求2所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中:
所述第一方式包括第一分辨率,
所述第二方式包括第二分辨率;
所述第三方式包括第三分辨率;
所述第三分辨率低于所述第二分辨率;并且
所述第二分辨率低于所述第一分辨率。
6.如权利要求3所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中:
所述第一方式包括第一分辨率;
所述第二方式包括第二分辨率,
所述第三方式包括第三分辨率;
所述第二分辨率低于所述第三分辨率;并且
所述第三分辨率低于所述第一分辨率。
7.如权利要求1所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中每个虚拟像素包括:
多个实际像素。
8.如权利要求1所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中:
所述方法还包括基于所述用户的视点,确定从所述注视点到所述第二区域的角距离;并且
所述第二方式至少部分地基于所述角距离。
9.如权利要求2所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中所述方法进一步包括:
使所述显示器的第四区域以第四方式显示,其中:
所述第四区域包括成角度地位于所述水平轴与所述竖直轴之间的中间轴的一部分;
所述第四区域与所述第一区域、第二区域和第三区域不同;并且
所述第四方式不同于所述第一方式、第二方式和第三方式。
10.如权利要求9所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中:
所述第一方式包括第一分辨率;
所述第二方式包括第二分辨率;
所述第三方式包括第三分辨率;
所述第四方式包括第四分辨率;
所述第二分辨率低于所述第一分辨率;
所述第四分辨率低于所述第二分辨率;并且
所述第三分辨率低于所述第四分辨率。
11.如权利要求10所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中所述第四分辨率包括:
多个虚拟像素,每个虚拟像素具有基本上平行于所述中间轴的长度和基本上垂直于中间轴的宽度,其中每个虚拟像素具有大于宽度的长度。
12.如权利要求1所述的用于基于用户在显示器上的注视点来改变显示器上的内容的方法,其中所述第二方式选自由以下组成的组:
从所述第一方式降低的分辨率;
从所述第一方式降低的遮光质量;
从所述第一方式降低的阴影质量;
从所述第一方式降低的反射渲染质量;
从所述第一方式降低的纹理映射质量,
从所述第一方式降低的帧速率;
从所述第一方式降低的雾化/颗粒质量;
从所述第一方式降低的半透明度渲染质量;
从所述第一方式降低的抗混叠质量;
从所述第一方式降低的帧速率;和
从所述第一方式降低的三维渲染质量。
13.一种用于基于用户在显示器上的注视点来改变显示器上的内容的系统,其中所述系统包括:
眼睛跟踪设备,用于确定用户在显示器上的注视点;以及
处理器,用于至少:
使所述显示器的第一区域以第一方式显示,所述第一区域包括所述注视点和周围区域;并且
使所述显示器的第二区域以第二方式显示,所述第二区域不同于所述第一区域,并且所述第二方式不同于所述第一方式,其中所述第二方式包括具有多个虚拟像素的分辨率,并且其中所述第二区域包括:
延伸到所述注视点的左侧或右侧的水平轴的至少一部分,其中每个虚拟像素具有大于高度的宽度;或者
在所述注视点之上或之下延伸的竖直轴的至少一部分,其中每个虚拟像素具有大于宽度的高度。
14.一种非暂时性机器可读介质,其具有存储在其上的用于基于用户在显示器上的注视点来改变显示器上的内容的指令,其中所述指令可由一个或多个处理器执行以至少:
确定用户在显示器上的注视点;
使所述显示器的第一区域以第一方式显示,所述第一区域包括所述注视点和周围区域;并且
使所述显示器的第二区域以第二方式显示,所述第二区域不同于所述第一区域,并且所述第二方式不同于所述第一方式,其中所述第二方式包括具有多个虚拟像素的分辨率,并且其中所述第二区域包括:
延伸到所述注视点的左侧或右侧的水平轴的至少一部分,其中每个虚拟像素具有大于高度的宽度;或者
在所述注视点之上或之下延伸的竖直轴的至少一部分,其中每个虚拟像素具有大于宽度的高度。
CN201780044311.XA 2016-07-18 2017-07-14 视点渲染 Active CN109791431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210669935.3A CN115220572A (zh) 2016-07-18 2017-07-14 视点渲染

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/212,889 2016-07-18
US15/212,889 US10152122B2 (en) 2016-07-18 2016-07-18 Foveated rendering
PCT/US2017/042073 WO2018017404A1 (en) 2016-07-18 2017-07-14 Foveated rendering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210669935.3A Division CN115220572A (zh) 2016-07-18 2017-07-14 视点渲染

Publications (2)

Publication Number Publication Date
CN109791431A true CN109791431A (zh) 2019-05-21
CN109791431B CN109791431B (zh) 2022-06-24

Family

ID=59582002

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210669935.3A Pending CN115220572A (zh) 2016-07-18 2017-07-14 视点渲染
CN201780044311.XA Active CN109791431B (zh) 2016-07-18 2017-07-14 视点渲染

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210669935.3A Pending CN115220572A (zh) 2016-07-18 2017-07-14 视点渲染

Country Status (5)

Country Link
US (2) US10152122B2 (zh)
EP (1) EP3485350B1 (zh)
CN (2) CN115220572A (zh)
ES (1) ES2793226T3 (zh)
WO (1) WO2018017404A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10152122B2 (en) 2016-07-18 2018-12-11 Tobii Ab Foveated rendering
KR20180025524A (ko) * 2016-08-31 2018-03-09 엘지디스플레이 주식회사 개인 몰입형 표시장치 및 이의 구동방법
CN110214349B (zh) * 2017-01-25 2022-10-04 苹果公司 具有中心凹形显示系统的电子设备
US10649524B2 (en) * 2017-04-07 2020-05-12 Intel Corporation Apparatus and method for foveated rendering, bin comparison and TBIMR memory-backed storage for virtual reality implementations
US20190005920A1 (en) * 2017-06-30 2019-01-03 Wuhan China Star Optoelectronics Technology Co., L td. Termianl apparatus and display method
US10699663B2 (en) 2018-02-27 2020-06-30 Tobii Ab Providing an image with a scaler chip in direct communication with an eye tracking device
US10970811B1 (en) * 2019-09-23 2021-04-06 Facebook Technologies, Llc Axis based compression for remote rendering
WO2021242008A1 (en) 2020-05-28 2021-12-02 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100056274A1 (en) * 2008-08-28 2010-03-04 Nokia Corporation Visual cognition aware display and visual data transmission architecture
CN103765374A (zh) * 2011-09-08 2014-04-30 英特尔公司 交互式屏幕观看
US20150287158A1 (en) * 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10123550A (ja) 1996-10-16 1998-05-15 Semiconductor Energy Lab Co Ltd 表示システム
US6924816B2 (en) * 2000-03-17 2005-08-02 Sun Microsystems, Inc. Compensating for the chromatic distortion of displayed images
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
AU2008288212B2 (en) * 2007-08-16 2013-10-10 Bae Systems Plc Imaging device
US20140092006A1 (en) 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
US9727991B2 (en) * 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
US9710058B2 (en) 2013-09-03 2017-07-18 Tobii Ab Portable eye tracking device
US10037620B2 (en) * 2015-05-29 2018-07-31 Nvidia Corporation Piecewise linear irregular rasterization
IN2015CH02866A (zh) * 2015-06-09 2015-07-17 Wipro Ltd
WO2017053966A1 (en) * 2015-09-24 2017-03-30 Tobii Ab Eye-tracking enabled wearable devices
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10152122B2 (en) 2016-07-18 2018-12-11 Tobii Ab Foveated rendering
US10497295B1 (en) * 2018-03-14 2019-12-03 Facebook Technologies, Llc Near-eye display assembly with adjustable resolution and frame rate

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100056274A1 (en) * 2008-08-28 2010-03-04 Nokia Corporation Visual cognition aware display and visual data transmission architecture
CN103765374A (zh) * 2011-09-08 2014-04-30 英特尔公司 交互式屏幕观看
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
US20150287158A1 (en) * 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters

Also Published As

Publication number Publication date
US20190346919A1 (en) 2019-11-14
CN109791431B (zh) 2022-06-24
US20180018018A1 (en) 2018-01-18
EP3485350B1 (en) 2020-04-22
US10152122B2 (en) 2018-12-11
WO2018017404A1 (en) 2018-01-25
ES2793226T3 (es) 2020-11-13
US10928897B2 (en) 2021-02-23
CN115220572A (zh) 2022-10-21
EP3485350A1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
CN109791431A (zh) 视点渲染
US11368746B2 (en) Method and device for generating special effect program file package, method and device for generating special effect, and electronic device
US10082867B2 (en) Display control method and display control apparatus
CN110869884A (zh) 用于注视点渲染系统的时间超级采样
US10712817B1 (en) Image re-projection for foveated rendering
US20200241731A1 (en) Virtual reality vr interface generation method and apparatus
CN112703464A (zh) 基于用户注视的分布式注视点渲染
US20170153712A1 (en) Input system and input method
CN109741289B (zh) 一种图像融合方法和vr设备
US10324736B2 (en) Transitioning between 2D and stereoscopic 3D webpage presentation
CN111292236B (zh) 一种减少中央凹注视渲染中的混叠伪像的方法和计算系统
CN108076384B (zh) 一种基于虚拟现实的图像处理方法、装置、设备和介质
US20130293547A1 (en) Graphics rendering technique for autostereoscopic three dimensional display
US20200244944A1 (en) Text display method and apparatus in virtual reality, and virtual reality device
KR20230075440A (ko) 확장 현실 시스템을 위한 사용자 인터페이스 레이아웃 및 입력의 동적 구성
KR20120012858A (ko) 3차원 그래픽 기반 단말기에서 객체 렌더링 장치 및 방법
CN111275801A (zh) 一种三维画面渲染方法及装置
US10257500B2 (en) Stereoscopic 3D webpage overlay
US10685289B2 (en) Techniques for improving classification performance in supervised learning
Ahn et al. Real-time adjustment of contrast saliency for improved information visibility in mobile augmented reality
US9972062B2 (en) Parallel flood-fill techniques and architecture
JP2017068438A (ja) シルエットを生成するためのコンピュータ・プログラムおよびコンピュータ実装方法
CN106707513B (zh) Vr系统及其显示设备
JPWO2019159239A1 (ja) 画像処理装置、表示画像生成方法、およびフォントのデータ構造
US9811945B2 (en) On-demand transformation aware shape tessellation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant