CN105408838A - 基于用户观察的屏幕区域动态调整gpu特征 - Google Patents

基于用户观察的屏幕区域动态调整gpu特征 Download PDF

Info

Publication number
CN105408838A
CN105408838A CN201480042751.8A CN201480042751A CN105408838A CN 105408838 A CN105408838 A CN 105408838A CN 201480042751 A CN201480042751 A CN 201480042751A CN 105408838 A CN105408838 A CN 105408838A
Authority
CN
China
Prior art keywords
gpu
display
user
display panel
visual focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480042751.8A
Other languages
English (en)
Inventor
安德鲁·米查姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN105408838A publication Critical patent/CN105408838A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs

Abstract

本发明的一方面提出了允许基于用户观察的屏幕区域动态调整GPU的性能级别的解决方案。根据一个实施例，确定用户在一个或多个显示面板中的焦点。针对该区域和/或显示面板实施渲染的GPU将响应于用户的焦点动态调整(即增大)性能级别，而所有其他GPU(例如针对其他区域和/或显示面板实施渲染的GPU)将经历减小的级别性能。根据这样的实施例，动态减小焦点区域之外的GPU的性能级别可导致以下重大益处中的任何一个或多个，包括更低的功耗率、更少的处理、更少(更不频繁)的存储器访问、以及减少的热量和噪声水平。

Description

基于用户观察的屏幕区域动态调整GPU特征
背景技术
在现代计算系统诸如台式机、笔记本以及视频游戏机等中，图形处理子系统用来实施图形渲染。传统上，图形处理子系统包括一个或多个图形处理单元或“GPU”，其是设计为高效实施图形处理操作的专用处理器。
一些现代主电路板常常包括两个或更多个图形子系统。例如，一般的配置包括集成图形处理单元以及一个或多个附加扩展槽，扩展槽可用于添加一个或多个分立的图形单元。每个图形处理子系统可以并且典型地确实具有其自身的输出端子，该输出端子具有与一个或多个音频/视频标准(例如VGA、HDMI、DVI等)相对应的一个或多个端口，即使典型地在任何时候计算系统中仅一个图形处理子系统将在运行。
可替代地，其他现代计算系统可包括能够(在单个卡上)同时利用两个或更多个GPU、或者甚至两个或更多个单独的专用视频卡以生成到单个显示器的输出的主电路板。在这些实现方案中，两个或更多个图形处理单元(GPU)在为系统实施图形处理任务诸如渲染三维场景时共同分担工作量。理想地，两个(或更多个)同样的图形卡安装在包含同样数目的扩展槽的母板上，以“主从”配置设置。每个卡被给予3D场景的相同部分进行渲染，但是实际上一部分工作量是由从卡处理，所产生的图像通过称为GPU桥的连接器或通过通信总线(例如PCI-express总线)发送。例如，对于单面板多GPU配置中的典型场景，主卡渲染场景的一部分(例如顶部)，而从卡渲染剩余的部分。当从卡完成实施渲染操作以通过图形显示场景时，从卡将它们各自的输出发送到主卡，主卡将所产生的图像进行同步和组合，以形成一个合计的图像并随后将最终的经渲染场景输出到显示设备。在最近的发展中，由GPU所渲染的场景部分可被动态调整，以考虑场景局部部分的复杂度的不同。
最近，将输出显示到多个显示器的以多GPU为特征的配置的系统已经大大普及。在这些系统中，每个GPU单独耦连到显示设备，基础计算机系统的操作系统和其执行应用将多个子系统感知为单个的、经组合的图形子系统，该图形子系统的总分辨率等于GPU所渲染区域的总和。采用传统的多GPU技术，每个GPU渲染经组合场景的静态分区，并将各自渲染的部分输出到其附接的显示器。典型地，显示监视器彼此(水平或垂直地)紧挨放置，以给用户单个大显示器的印象。每个显示监视器因此显示场景的一部分(或“帧”)。虽然每个GPU独自渲染其对应的分区，但是在场景显示(也称为“呈现”)在显示设备之前会针对场景的各帧实施GPU之间的最终同步。
传统上，每个GPU将以相等的、预选择的性能级别实施。然而，在玩游戏或者其他视觉集中的会话，这种配置的用户典型地在任何一个时间点上将集中于单个面板的一个区域，虽然特定区域和/或显示面板可频繁变化。例如，在许多视频游戏中，场景的焦点典型地是场景的中间，虽然有时用户的注意力可指向场景的其他部分。在这些实例中，以与捕获用户注意力的显示器相同的级别运行不是用户焦点的显示器的GPU是不必要的，结果导致计算资源的无端低效使用。
发明内容
提供该概要以按简化的形式介绍下面在具体实施方式中将进一步描述的选择的概念。该概要并非意在标识所要求的主题的关键特征或本质特征，也不意在用来限制所要求主题的范围。
本发明的一方面提出了允许基于用户观察的屏幕区域动态调整GPU的性能级别的解决方案。根据一个实施例，确定用户在一个或多个显示面板中的焦点。针对该区域和/或显示面板实施渲染的GPU将响应于用户的焦点而动态调整(即增大)性能级别，而所有其他GPU(例如针对其他区域和/或显示面板实施渲染的GPU)将经历减小的级别性能。根据这样的实施例，动态减小焦点区域之外的GPU的性能级别可导致以下重大益处中的任何一个或多个，包括更低的功耗率、更少的处理、更少(更不频繁)的存储器访问、以及减少的热量和噪声水平。
在一个实施例中，不断地确定用户所观察的区域(例如焦点)。用户焦点的改变将导致对应显示器性能级别的对应改变。可通过(分别)使能或禁用特征来动态增大或减小性能级别。例如，用户在三个水平配置的显示面板中的中间显示面板中聚焦的部位或区域可导致中间显示面板的GPU中的某些特征被使能，左侧和右侧显示面板的GPU中的相同特征被禁用。当用户的焦点改变到左侧显示面板时，系统将检测该改变，并自动(例如通过使能某些预指定的特征)增大左侧显示面板的性能级别，减小中央显示面板的性能级别，并且维持最右侧显示面板的较低性能级别。
根据一些方面，可通过一个或多个追踪方法实施用户观察屏幕区域的检测。在一个实施例中，GPU所产生的图形输出可包括立体或三维图像，其要求专用的光学设备(例如3D眼镜)来充分体验。根据这样的实施例，可将视频记录设备(例如小摄像机)安装到光学设备追踪用户的眼球移动。在其他实施例中，可通过光学设备外部的运动感应或追踪设备或布置在光学设备上的类似设备追踪3D眼镜自身的位置、方向和定向。
根据本发明的另一方面，提出了允许通过调整单个显示面板节约计算机资源的解决方案。根据实施例，实施用户焦点的追踪以确定单个显示面板的特定区域。基于所确定的焦点调整性能级别。根据这些实施例，甚至可将计算机资源的节约应用于仅具有一个显示面板的配置。
附图说明
附图包含在说明书中并形成说明书的一部分。附图示出实施例。附图与具体描述一起旨在解释实施例的原理。
图1描绘根据本发明各实施例的、用于基于用户观察的屏幕区域对多GPU多显示器系统的动态性能调整过程的流程图。
图2A描绘根据本发明各实施例的、基于用户观察的屏幕区域具有相对性能级别的第一示例性多显示器配置。
图2B描绘根据本发明各实施例的、基于用户观察的屏幕区域具有相对性能级别的第二示例性多显示器配置。
图2C描绘根据本发明各实施例的、基于用户观察的屏幕区域具有相对性能级别的第三示例性多显示器配置。
图3A描绘根据本发明各实施例的、基于用户观察的屏幕区域指示相对性能级别的第一示例性屏幕上图形输出。
图3B描绘根据本发明各实施例的、基于用户观察的屏幕区域指示相对性能级别的第二示例性屏幕上图形输出。
图3C描绘根据本发明各实施例的、基于用户观察的屏幕区域指示相对性能级别的第三示例性屏幕上图形输出。
图4描绘根据本发明实施例的具有眼球追踪能力的示例性光学设备。
图5描绘在其上可实现本发明的实施例的示例性计算系统。
具体实施方式
现在将对所要求主题、用于射线照相系统的使用的方法和系统的优选实施例做出详细参考，其示例在附图中示出。虽然将结合优选实施例描述所要求的主题，但是将理解它们并非意在限制这些实施例。相反，所要求的主题意在覆盖可包括在如附随的权利要求所限定的精神和范围内的替代物、修改和等同物。
此外，在对所要求主题实施例的下面的详细描述中，阐述大量的具体细节以提供对所要求主题的透彻理解。然而，本领域普通技术人员将理解，所要求的主题可以没有这些具体细节而加以实践。
下面的详细描述的一些部分以过程、步骤、逻辑块、处理和可在计算机存储器上对数据位实施的操作的其他符号表示的形式加以呈现。这些描述和表示是数据处理领域的技术人员所使用以最有效地将他们的工作实质传达给本领域其他技术人员的手段。在本申请中，过程、计算机生成的步骤、逻辑块、处理等通常被构想为导致期望结果的自相一致的步骤或指令序列。步骤是那些要求物理量的物理操作的步骤。虽然不是必要的，但是这些物理量通常采用电或磁信号的形式，其能够在计算机系统中被存储、转移、组合、比较以及其他操作。主要由于公共使用的原因，已证明有时将这些信号引用为位、值、元素、符号、字符、术语、数字等是便利的。
然而，应该记住，所有这些类似的术语均与合适的物理量相关联，并且仅是应用于这些量的便利的标签。除非特别指出，否则如从下面的讨论中显而易见的，将理解，贯穿所要求的主题，利用诸如“存储”、“创建”、“保护”“接收”、“加密”、“解密”、“毁坏”等术语的讨论指代计算机系统或集成电路或类似电子计算设备包括嵌入式系统的动作和处理，其将计算机系统的寄存器和存储器内表示为物理(电子)量的数据操作和转换为类似地表示为计算机系统存储器或寄存器或其他这类信息存储、传输或显示设备内的物理量的其他数据。
所要求主题的实施例被呈现为包括配备有一个或多个背光的图像显示设备，诸如平板电视或监视器。这些背光可被规划为为图像显示设备的像素提供照明。在某些实施例中，背光的位置将图像显示设备的像素分为多个区域，每个区域与离该区域位置最近的背光相关联，并为该区域的像素提供主要照明源。在某些实施例中，由临近背光所提供的照明可能覆盖一个或多个区域的一个或多个部分。在又一些实施例中，由背光所提供的照明的强度离背光距离越远越减小(衰减)。
基于用户观察的区域的示例性显示调整
图1示出根据本发明实施例的、用于基于用户观察的屏幕区域对多GPU多显示器系统的动态性能调整的示例性方法100的流程图。步骤101-107描述包括根据本文所描述的各实施例的过程100的示例性步骤。根据各实施例，步骤101-107可贯穿使用或查看时段不断重复。根据所要求的发明的一方面，过程100可在例如包括一个或多个图形处理子系统的系统中实施，一个或多个图形处理子系统各自耦连到同样多个显示设备，并配置为并行操作以呈现单个连续显示区域。这些图形处理子系统可实现为硬件，例如分立的图形处理单元或“视频卡”，或者在一些实施例中实现为虚拟GPU。出于示例性目的，本文描述在计算系统中包括三个分立的视频卡的以三个GPU配置为特征的实施例，每个视频卡连接到以水平配置放置的显示设备(例如监视器、屏幕、显示面板等)。
对应于针对每个场景将由每个GPU所渲染的场景的部分，在显示设备之间分配将在多个显示设备中显示的示例性场景。在显示设备中所显示的场景的部分构成相应显示器和GPU关系的“帧”。在替代实施例中，可将两个或更多个图形处理子系统耦连到相同的显示设备，并且将其配置为针对相同显示帧的部分的渲染图形输出。根据另一方面，过程100可实现为一系列计算机可执行指令。
在步骤401，查询并确定用户的视觉焦点。根据一些方面，可通过一个或多个眼球追踪方法来实施对用户视觉焦点的检测。在一个实施例中，GPU所产生的图形输出可包括立体或三维图像，其要求专用的光学设备(例如眼镜)来充分体验。根据这样的实施例，可将诸如一个或多个小摄像机的视频记录设备安装到追踪用户的眼球运动的光学设备。这些摄像机可进一步配置为处理眼球运动以确定用户的视觉焦点。用户视觉焦点的追踪可包括确定用户正积极观看的显示面板的区域或部分、用户的视线或用户视觉注意力或兴趣的其他指示。
可替代地，摄像机可配置为(例如通过无线通信协议)传送到包括GPU的计算系统中的处理器，以实施分析并导出用户正聚焦的特定区域和/或显示面板。在其他实施例中，可通过光学设备外部的运动感应或追踪设备、或置于光学设备上的类似设备来追踪光学设备自身的位置、方向和定向。在进一步的实施例中，可使用配置为确定并将陀螺仪定向输出到计算系统的陀螺仪(gyroscope)来陀螺仪作用地实施光学设备的定位、方向和定向。可替代地，除了陀螺仪定位系统或代替陀螺仪定位系统，实施例可使用运动感应设备。
根据一些实施例，可在用户会话过程中(例如在较短的预定时间间隔内)反复实施对用户视觉焦点的检测。例如，安装在光学设备上的摄像机可扫描运动的眼球移动的迹象或位置，并每毫秒(一秒的1/1000)将结果数据发送到计算系统。同样地，对于在其中光学设备的移动和/或定向的实施例中，可实施陀螺仪检测和/或运动检测，数据在类似的间隔内传输。虽然使用示例性眼球追踪、陀螺仪方法和/或运动感应方法描述实施例，但是将理解，除了本文所描述的那些之外，所要求发明的实施例很好地适用于采用这些技术的替代实现方案。
在步骤103，分析与(例如由于眼球追踪、陀螺仪和/或运动感应方法)所确定的视觉焦点相对应的数据，以确定与用户所观察的区域相对应的显示面板。例如，在多显示器配置中，可确定具体的面板。在单显示器配置中，可确定显示面板上的特定区域。数据的分析和处理可由计算系统中的处理器来实施。在一些实施例中，可将眼球追踪和定位数据(例如无线地)接收到耦连到计算系统的无线接收器中。在一些实施例中，数据可由包括在无线接收器中的处理器处理。在一些实施例中，可将数据封装、格式化、并转发到计算系统的中央处理单元。一旦识别到特定的显示面板(或显示区域)，将指令递送到系统的一个或多个GPU，以通知GPU根据需要调整它们各自的性能级别。
在步骤405，动态调整与用户所关注的显示面板(或区域)相对应的GPU的性能级别。在一些实施例中，调整性能级别可包括使能对图形输出的渲染有影响的某些特征。这些特征可包括(但不限于)：
抗锯齿；
滤波；
动态范围光照；
解交错；
硬件加速；
缩放；以及
颜色与误差校正。
可使能在GPU中负责针对在步骤103所确定的与用户视觉焦点相对应的显示面板(或区域)生成图形输出的这些特征中的所有或一些。
根据一些实施例，系统中的每个GPU可配置为以多个预配置的相对性能级别中的一个来操作。这些性能级别可与时钟频率相对应，并且可包括一个或多个(如上文所描述的)特征。在较高性能级别，增大的时钟频率可导致较高的功耗率、更频繁的存储器访问请求、以及更热烈的风机噪音。根据其中GPU配置为以多个相对性能级别之一操作的实施例，可在步骤405将与用户焦点相对应的显示器的GPU动态调整到最高性能级别。如果在步骤101和103中检测到用户的焦点区域没有改变，与用户的焦点相对应的显示面板的GPU保持以其先前的(高)级别操作。
在步骤407中，动态调整系统中与(如在步骤103中所确定的)用户焦点不相对应的显示面板或区域的一个或多个GPU的性能级别。在一些实例中，步骤407与步骤405同时(或同步)实施。在实施例中，可通过禁用某些特征(例如以上关于步骤405所列出的特征)来减小这些GPU的性能级别。在进一步的实施例中，可将性能级别减小到预配置的性能级别，该预配置的性能级别可调整GPU的时钟频率并禁用一个或多个特征。根据这样的实施例，减小GPU的性能级别将导致更低的功耗率、同样地更少的(或更不频繁的)存储器访问请求、以及更少的热量和风机噪音。
在一些实施例中，预配置的性能级别可以是两个或更多个离散的性能级别之一。在可替代的实施例中，该性能级别可与一系列渐进(递减或递增)性能级别中的一个性能级别相对应。在多显示器配置中，被确定不与包括用户观察的屏幕区域的显示面板相对应的GPU可使其性能级别减小。这在当GPU先前以较高性能级别操作(例如，在过程的上次迭代期间，耦连到该GPU的显示面板与用户观察的屏幕区域相对应)时发生。对于已经正以较低性能级别操作的GPU，可不需要改变。根据一些实施例，某些应用可要求最小的性能级别。在这些实例中，可以不将GPU的性能级别减小到所要求的最小性能级别以下，即使确定用户所观察的屏幕区域在与不同的GPU相对应的显示面板中。反而可将GPU的性能级别维持在应用所允许的最低性能级别，直到用户观察的焦点与该GPU的显示面板相对应。
示例性显示器配置
图2A-2C描绘根据本发明各实施例的、基于用户观察的屏幕区域具有相对性能级别的示例性多显示器配置。如图2a-2c所描绘的，提供以水平定向的三个显示面板的配置。在这样的实施例中，三个显示面板中的每个可以可通信地耦连到同一个计算系统的图形处理单元，并且用于同时显示一个或多个应用的图形输出。
如图2A中所描绘的，用户201a位于三个显示面板(显示器203a、205a、207a)的每个之前。如图2A中所描绘的，用户201a的焦点与最左侧显示器(203a)中的区域相对应。在示例性场景中，用户201a的焦点可在过程100的第一次迭代期间被确定。根据所要求发明的实施例，耦连到最左侧显示面板(203a)的GPU的性能级别(例如资源消耗和/或特征)可响应于用户当前焦点的确定而被动态调整。如所描绘的，与最左侧显示面板203a相对应的GPU的(由向上方向的垂直箭头所指示的)性能级别被增大。耦连到中央显示器(205a)和右侧显示器(207a)的GPU的(由向下方向的垂直箭头所指示的)性能级别也可响应于用户当前焦点确定在不同的显示面板而被调整。根据实施例，当用户的焦点在焦点查询(过程100的步骤101)之间未改变时，当前的性能级别可维持。例如，当用户201a的焦点保持指向左侧面板203a时，左侧面板的高性能级别以及中央和右侧面板的(较)低性能级别可维持。
如图2B中所描绘的，用户201b的焦点现在与中央显示器(205b)中的区域相对应。在该示例性场景中，用户201b的焦点可通过过程100的第二次迭代确定。根据所要求发明的实施例，耦连到中央显示面板(205b)的GPU的性能级别(例如资源消耗和/或特征)响应于用户当前焦点的确定而被动态调整。例如，与最中央的显示面板205b相对应的GPU的(由向上方向的垂直箭头所指示的)性能级别可被增大。在该示例性场景中，耦连到左侧显示器(203b)的GPU的(由向下方向的垂直箭头所指示的)性能级别响应于用户焦点区域改变的确定而被调整，同时耦连到右侧显示面板的GPU的性能级别保持在(较)低的性能级别，不过在图2a到图2b之间可能没经历改变。
如图2C中所描绘的，用户201c的焦点现在与右侧显示面板(207c)中的区域相对应。在该示例性场景中，用户201c的焦点可通过过程100的第三次迭代确定。根据所要求发明的实施例，耦连到中央显示面板(207c)的GPU的性能级别(例如资源消耗和/或特征)响应于用户当前焦点的确定而被动态调整。例如，与最右侧的显示面板207c相对应的GPU的(由向上方向的垂直箭头所指示的)性能级别被增大。在该示例性场景中，耦连到中央显示器(205c)的GPU的(由向下方向的垂直箭头所指示的)性能级别响应于用户焦点区域改变的确定而被调整，同时耦连到左侧显示面板的GPU的性能级别保持在(较)低的性能级别，不过在图2B到图2C之间该GPU可能没经历改变。
图3A-3C描绘根据本发明各实施例的、基于用户观察的屏幕区域指示相对性能级别的示例性屏幕上图形输出。如图3A-3C中所描绘的，提供以水平定向的三个显示面板的配置。在这样的实施例中，三个显示面板中的每个可以可通信地耦连到同一个计算系统的图形处理单元，并且用于同时显示一个或多个应用的图形输出。
如图3A中所描绘的，追踪设备301a位于靠近三个显示面板(显示器303a、305a、307a)。在一些实施例中，追踪设备301a可包括无线接收器设备，其配置为从用户佩戴的光学设备无线地接收(例如由摄像机所捕获的)眼球追踪数据。追踪设备301a可进一步配置为处理眼球追踪数据，以确定与用户观察的区域相对应的显示面板。可替代地，追踪设备301a可配置为将数据转发到计算系统的处理器用于分析。在其他实施例中，追踪设备301a可配置为追踪和/分析光学设备或用户眼球/脸部的陀螺仪运动。在进一步的实施例中，追踪设备301a可配置为经由运动感应处理确定用户的脸部、眼球或用户佩戴的光学设备的移动、位置和定向。
如图3A中所描述的，用户的焦点可被确定(例如通过追踪设备301a)与中央显示器(305a)中的区域相对应。在示例性场景中，可在过程100的第一次迭代期间确定用户的焦点。根据所要求发明的实施例，耦连到中央显示器(305a)的GPU的性能级别(例如资源消耗和/或特征)可响应于用户当前焦点的确定而被动态调整。如所描绘的，与中央显示面板305a相对应的GPU的(由较高图形饱和度所指示的)性能级别被增大。耦连到左侧显示面板(303a)和右侧显示面板(307a)的GPU的(由较低图形饱和度所指示的)性能级别也可响应于用户当前焦点确定在不同的显示面板而被调整。如上文关于图2A所描述的，当用户的焦点在焦点查询(过程100的步骤101)之间未改变时，当前的性能级别可维持。例如，当追踪设备301a确定用户的焦点在过程100的下一次迭代中指向中央面板305a时，中央面板的高性能级别以及左侧和右侧面板的(较)低性能级别可维持。
如图3B中所描绘的，已(例如经由来自追踪设备301b的确定)检测到用户的焦点改变成与左侧显示面板303b相对应。在该示例性场景中，用户的焦点在过程100的第二次迭代期间由追踪设备301b确定。根据所要求发明的实施例，耦连到左侧显示面板(303b)的GPU的性能级别(例如资源消耗和/或特征)响应于用户当前焦点的确定而被动态调整(增大)。与左侧显示面板303b相对应的GPU经历(由较高图形饱和度所指示的)性能级别的增大，同时右侧显示面板307b未经历改变。
根据一些实施例，为了顾及用户焦点的快速改变，耦连到与用户当前焦点的显示面板不对应的显示面板的GPU的调整可实现时延。在示例性场景中，在已(经由追踪设备301b)检测到用户焦点已改变到不同的显示面板303b之后，耦连到用户先前所观察区域(例如中央显示面板305b)的GPU的性能级别保持在高级别。该性能级别可持续在高级别，直到过了预定量的时间并且在该段时间期间尚未检测到用户的焦点变回中央显示器。在性能级别包括多个离散的级别之一的实施例中，可以不调整(减小)性能级别，直到过了全部持续时间。在性能级别与一系列性能级别之一相对应时，在预定量时间期间，代替经历性能的单个突降，可逐渐减小性能级别。
图3C描绘在用户观察的屏幕区域(焦点)改变一次之后、在预定时间段过去之后显示面板(303c、305c、307c)的性能级别的状态。如图3C中所描绘的，已(由追踪设备301c)确定用户的焦点没有改变。在该示例性场景中，已经确定用户的焦点在第一次检测到从中央显示面板305c(如图3A中所描绘的305a)改变之后保持在显示面板303c。在检测到焦点改变之后，一旦过了预定时间段，则调整中央显示器305c的性能级别。如(不足的)图形饱和度所指示的，可通过禁用耦连到中央显示器305c的GPU中的某些特征或降低资源消耗率来减小中央显示器305c的性能级别。如图3C中所描绘的，因为确定用户的焦点没有进一步改变，所以右侧显示面板307b未经历改变。
虽然已将图2A-2C和3A-3C描述为具有以水平配置的三个显示面板，但是本发明的实施例很好地适用于改变显示面板的数目和/或配置。在单显示面板配置中，可实施对显示面板特定区域的检测，每个区域由一个GPU进行图形渲染。
示例性光学设备
图4描绘根据本发明实施例的具有眼球追踪能力的示例性光学设备400。在一些实施例中，经GPU渲染并显示在显示设备(例如图2A-3C中所描绘的配置)中的图形输出可立体输出，例如作为三维显示器。在这样的实例中，光学设备400可包括一副三维眼镜。可替代地，光学设备400可实现为具有计算和/或数据传送能力的眼镜。根据实施例，光学设备400可用来追踪用户观察的(多个显示面板之一中或一个显示面板多个区域之一中的)焦点区域。如图4中所描绘的，光学设备400可经由成像设备(例如摄像机403)通过追踪用户眼球的移动追踪用户观察的焦点区域。如所示的，这些摄像机403可安装在光学设备400的内侧。可替代地，光学设备可包括陀螺仪和/或运动检测(例如加速计)设备。根据实施例，光学设备400可将用户眼球追踪数据(例如经由无线流)传送到接收器设备(例如图3A-3C中的追踪设备301a、301b、301c)，所述接收器设备耦连到包括GPU的计算系统。
示例性计算系统
如图5中所呈现的，用于实现实施例的示例性系统包括通用计算系统环境，诸如计算系统600。在其最基本的配置中，计算系统500典型地包括至少一个处理单元501和存储器、以及地址/数据总线509(或其他接口)用于传达信息。取决于计算系统环境的精确配置和类型，存储器可以是易失性的(诸如RAM502)、非易失性的(诸如ROM503、闪存等)或两者的某种组合。计算机系统500还可包括一个或多个图形子系统505，用于例如通过将信息显示在由多个视频电缆511连接的附接的显示设备510上来将信息呈现给计算机用户。如图5中所描绘的，三个图形子系统505经由视频电缆511单独耦连到分开的显示设备510。在一个实施例中，可以通过图形子系统505整体或部分地实施用于动态的适应性的性能调整的过程100并显示在附接的显示设备510中。
此外，计算系统500还可具有附加的特征/功能。例如，计算系统500还可包括附加的(可移动的和/或不可移动的)存储，包括但不限于磁盘或光盘或磁带。这类附加的存储在图5中通过数据存储设备504示出。计算机存储介质包括以任何方法或技术实现的易失性的和非易失性的、可移动的和不可移动的介质，其用于诸如计算机可读指令、数据结构、程序模块或其他数据的信息的存储。RAM502、ROM503以及数据存储设备504均是计算机存储介质的示例。
计算机系统500还包括可选的字母数字输入设备506、可选的光标控制或指向设备507、以及一个或多个信号通信接口(输入/输出设备，例如网络接口卡)508。可选的字母数字输入设备506可将信息和命令选择传达到中央处理器501。可选的光标控制或指向设备507耦连到总线509，用于将用户输入信息和命令选择传达到中央处理器501。信号通信接口(输入/输出设备)508也耦连到总线509，其可以是串行端口。通信接口509还可包括无线通信机制。使用通信接口509，计算机系统500可以可通信地耦连到诸如互联网或内联网(例如局域网)的通信网络上的其他计算机系统，或可以接收数据(例如数字电视信号)。
根据本发明的实施例，提供了新的解决方案和方法用于基于用户观察的屏幕区域动态调整图形处理单元的特征使能和性能级别。通过对渲染图形输出用于显示在与用户当前焦点区域不对应的显示面板的图形处理单元的特征和性能级别进行动态调整，高级别处理的资源消耗和不利副作用，诸如噪声和热量，可被大大减小，而对用户视觉体验仅有一点或没有有害影响。
在前述说明书中，已参照大量的具体细节描述了实施例，这些具体细节可随实现方案而改变。因此，本发明的唯一排他性指示以及申请人所意在的本发明，以权利要求发布的具体形式从本申请发布的一套权利要求，包括任何后续的修正。因此，未在权利要求中明确记载的限制、元件、性质、特征、益处或属性不应以任何方式限制该权利要求的范围。因此，说明书和附图被视为示例性而非限制性功能。

Claims (15)

1.一种系统，包括：
多个显示面板；
耦连到所述多个显示面板的多个图形处理单元(GPU)，所述多个图形处理单元配置为渲染图形输出以在所述多个显示面板上显示；
能够操作为确定用户的视觉焦点的机械装置，所述视觉焦点与所述多个显示面板中的第一显示面板中的位置相对应；以及
其中，与所述多个GPU相对应的多个性能级别基于所述用户的视觉焦点的位置被动态调整。
2.根据权利要求1所述的系统，其中当所述用户的视觉焦点与所述第一显示面板中的位置相对应时，耦连到所述第一显示面板的GPU的性能级别被增大。
3.根据权利要求2所述的系统，其中耦连到所述第一显示面板的GPU的性能级别被增大时，所述GPU的功耗率增大。
4.根据权利要求1所述的系统，其中当所述用户的视觉焦点与所述第一显示面板中的位置相对应时，未耦连到所述第一显示面板的GPU的性能级别被动态减小。
5.根据权利要求4所述的系统，其中当耦连到所述第一显示面板的GPU的性能级别增大时，未耦连到所述第一显示面板的GPU的功耗率减小。
6.根据权利要求1所述的系统，其中所述机械装置包括多个摄像设备。
7.根据权利要求6所述的系统，其中所述多个摄像设备能够操作为连续追踪所述用户的眼球移动以确定所述用户的视觉焦点。
8.根据权利要求6所述的系统，进一步包括能够操作为被所述用户所佩戴的光学设备，其中所述多个摄像设备布置于所述光学设备上。
9.根据权利要求8所述的系统，其中所述光学设备包括一副眼镜。
10.根据权利要求9所述的系统，其中所述机械装置能够操作为实施所述光学设备相对于所述多个显示面板的定向的陀螺仪确定。
11.根据权利要求1所述的系统，其中与所述多个GPU相对应的多个性能级别响应于所述用户的视觉焦点的位置的改变而被动态调整。
12.一种方法，包括：
确定在多个显示器中观看者的视线；
确定所述观看者的视觉焦点与所述多个显示器中的第一显示器相对应；
响应于确定所述观看者的视觉焦点与所述第一显示器相对应，动态地增大第一图形处理单元(GPU)的性能级别，当所述观看者的视觉焦点与所述第一显示器相对应时维持所述动态地增大，所述第一图形处理单元用来渲染在所述第一显示器中所显示的图形输出；以及
响应于所述动态地增大所述第一GPU的性能级别，动态地减小至少一个GPU的性能级别，
其中所述至少一个GPU耦连到不是所述第一显示器的所述多个显示器中的至少一个显示器，并且用来渲染在所述至少一个显示器中所显示的图形输出。
13.根据权利要求12所述的方法，进一步包括：
检测所述观看者的视觉焦点的改变；
确定所述观看者的视觉焦点改变到与所述多个显示器中的第二显示器相对应，所述第二显示器包括不是所述第一显示器的不同的显示器；
当所述观看者的视觉焦点与所述第二显示器相对应时，响应于确定所述观看者的视觉焦点改变到与所述第二显示器相对应，动态地增大第二GPU的性能级别，其中所述第二GPU耦连到所述第二显示器并且用来渲染在所述第二显示器中显示的图形输出；以及
响应于动态地增大所述第二GPU的性能级别，动态地减小所述第一GPU的性能级别。
14.根据权利要求12所述的方法，其中所述动态地减小所述第一GPU的性能级别在确定所述观看者的视觉焦点改变之后的预定时间段之后实施。
15.根据权利要求12所述的方法，其中所述确定所述观看者的视觉焦点包括实施以下中的至少一个：
经由包括在所述观看者所佩戴的光学设备中的多个摄像设备扫描所述观看者的眼球的位置；
经由靠近所述多个显示面板的至少一个面板放置的摄像设备扫描所述观看者的眼球的位置；以及
陀螺仪作用地确定所述用户所佩戴的光学设备相对于所述多个显示器的定向。
CN201480042751.8A 2013-08-09 2014-08-06 基于用户观察的屏幕区域动态调整gpu特征 Pending CN105408838A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/963,523 US20150042553A1 (en) 2013-08-09 2013-08-09 Dynamic gpu feature adjustment based on user-observed screen area
US13/963,523 2013-08-09
PCT/US2014/049963 WO2015021170A1 (en) 2013-08-09 2014-08-06 Dynamic gpu feature adjustment based on user-observed screen area

Publications (1)

Publication Number Publication Date
CN105408838A true CN105408838A (zh) 2016-03-16

Family

ID=52448178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480042751.8A Pending CN105408838A (zh) 2013-08-09 2014-08-06 基于用户观察的屏幕区域动态调整gpu特征

Country Status (4)

Country Link
US (1) US20150042553A1 (zh)
CN (1) CN105408838A (zh)
DE (1) DE112014003669T5 (zh)
WO (1) WO2015021170A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095375A (zh) * 2016-06-27 2016-11-09 联想(北京)有限公司 显示控制方法和装置
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN106485790A (zh) * 2016-09-30 2017-03-08 珠海市魅族科技有限公司 一种画面显示的方法以及装置
CN106652972A (zh) * 2017-01-03 2017-05-10 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
CN108469893A (zh) * 2018-03-09 2018-08-31 海尔优家智能科技（北京）有限公司 显示屏的控制方法、装置、设备及计算机可读存储介质
WO2022007247A1 (zh) * 2020-07-10 2022-01-13 歌尔股份有限公司 头戴式设备及其渲染方法、存储介质
CN117241447A (zh) * 2023-11-14 2023-12-15 深圳市创先照明科技有限公司 灯光控制方法、装置、电子设备及计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367117B2 (en) 2013-08-29 2016-06-14 Sony Interactive Entertainment America Llc Attention-based rendering and fidelity
JP6578901B2 (ja) * 2015-11-13 2019-09-25 株式会社デンソー 表示制御装置
US10410313B2 (en) 2016-08-05 2019-09-10 Qualcomm Incorporated Dynamic foveation adjustment
US10152822B2 (en) 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US11475636B2 (en) 2017-10-31 2022-10-18 Vmware, Inc. Augmented reality and virtual reality engine for virtual desktop infrastucture
US10621768B2 (en) * 2018-01-09 2020-04-14 Vmware, Inc. Augmented reality and virtual reality engine at the object level for virtual desktop infrastucture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060119603A1 (en) * 2004-12-03 2006-06-08 Hewlett-Packard Development Company, L. P. System and method of controlling a graphics controller
CN101536077A (zh) * 2006-11-09 2009-09-16 索尼爱立信移动通讯股份有限公司 基于眼睛跟踪来调整显示亮度和/或刷新率
US20110157193A1 (en) * 2009-12-29 2011-06-30 Nvidia Corporation Load balancing in a system with multi-graphics processors and multi-display systems
US20120212398A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20120324256A1 (en) * 2011-06-14 2012-12-20 International Business Machines Corporation Display management for multi-screen computing environments

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047047B2 (en) * 2010-10-01 2015-06-02 Z124 Allowing multiple orientations in dual screen view
US7698579B2 (en) * 2006-08-03 2010-04-13 Apple Inc. Multiplexed graphics architecture for graphics power management
US8570331B1 (en) * 2006-08-24 2013-10-29 Nvidia Corporation System, method, and computer program product for policy-based routing of objects in a multi-graphics processor environment
WO2011149480A1 (en) * 2010-05-28 2011-12-01 Hewlett-Packard Development Company, L.P. Disabling a display refresh process
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US9829970B2 (en) * 2011-06-27 2017-11-28 International Business Machines Corporation System for switching displays based on the viewing direction of a user
US8692833B2 (en) * 2011-08-09 2014-04-08 Apple Inc. Low-power GPU states for reducing power consumption
US20140347363A1 (en) * 2013-05-22 2014-11-27 Nikos Kaburlasos Localized Graphics Processing Based on User Interest

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060119603A1 (en) * 2004-12-03 2006-06-08 Hewlett-Packard Development Company, L. P. System and method of controlling a graphics controller
CN101536077A (zh) * 2006-11-09 2009-09-16 索尼爱立信移动通讯股份有限公司 基于眼睛跟踪来调整显示亮度和/或刷新率
US20110157193A1 (en) * 2009-12-29 2011-06-30 Nvidia Corporation Load balancing in a system with multi-graphics processors and multi-display systems
US20120212398A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20120324256A1 (en) * 2011-06-14 2012-12-20 International Business Machines Corporation Display management for multi-screen computing environments

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095375A (zh) * 2016-06-27 2016-11-09 联想(北京)有限公司 显示控制方法和装置
CN106095375B (zh) * 2016-06-27 2021-07-16 联想(北京)有限公司 显示控制方法和装置
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN106485790A (zh) * 2016-09-30 2017-03-08 珠海市魅族科技有限公司 一种画面显示的方法以及装置
CN106652972A (zh) * 2017-01-03 2017-05-10 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
US10691393B2 (en) 2017-01-03 2020-06-23 Boe Technology Group Co., Ltd. Processing circuit of display panel, display method and display device
CN108469893A (zh) * 2018-03-09 2018-08-31 海尔优家智能科技（北京）有限公司 显示屏的控制方法、装置、设备及计算机可读存储介质
CN108469893B (zh) * 2018-03-09 2021-08-27 海尔优家智能科技（北京）有限公司 显示屏的控制方法、装置、设备及计算机可读存储介质
WO2022007247A1 (zh) * 2020-07-10 2022-01-13 歌尔股份有限公司 头戴式设备及其渲染方法、存储介质
CN117241447A (zh) * 2023-11-14 2023-12-15 深圳市创先照明科技有限公司 灯光控制方法、装置、电子设备及计算机可读存储介质
CN117241447B (zh) * 2023-11-14 2024-03-05 深圳市创先照明科技有限公司 灯光控制方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20150042553A1 (en) 2015-02-12
DE112014003669T5 (de) 2016-05-12
WO2015021170A1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
CN105408838A (zh) 基于用户观察的屏幕区域动态调整gpu特征
CN109308173B (zh) 显示方法及装置、显示终端及计算机存储介质
US11024083B2 (en) Server, user terminal device, and control method therefor
US20170084231A1 (en) Imaging system management for camera mounted behind transparent display
US10659769B2 (en) Image processing apparatus, image processing method, and storage medium
CN101966393B (zh) 显示器观看系统和基于活动跟踪优化显示器画面的方法
KR102463304B1 (ko) 비디오 처리 방법 및 장치, 전자기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램
WO2015116217A1 (en) Camera included in display
US10621902B2 (en) Driving circuit for display screen with adjustable color depth bit value, display method and display device
EA032105B1 (ru) Способ и система для отображения трехмерных объектов
US20120200593A1 (en) Resolution Management for Multi-View Display Technologies
US20080278573A1 (en) Method and Arrangement for Monoscopically Representing at Least One Area of an Image on an Autostereoscopic Display Apparatus and Information Reproduction Unit Having Such an Arrangement
KR20230110357A (ko) 물리적 키보드 추적
CN111654746A (zh) 视频的插帧方法、装置、电子设备和存储介质
WO2022146023A1 (en) System and method for synthetic depth-of-field effect rendering for videos
KR20150081765A (ko) 영상 데이터 출력 제어 방법 및 이를 지원하는 장치
Li et al. Enhancing 3d applications using stereoscopic 3d and motion parallax
Feldstein et al. A simple video-based technique for measuring latency in virtual reality or teleoperation
CN102186094A (zh) 一种媒体文件的播放方法及装置
WO2021063319A1 (zh) 实现3d显示的方法及装置、3d显示终端
KR102195053B1 (ko) 증강 이미지를 생성하기 위한 텔레비전 방송 시스템
CN109859328B (zh) 一种场景切换方法、装置、设备和介质
US10209523B1 (en) Apparatus, system, and method for blur reduction for head-mounted displays
CN113315964B (zh) 一种3d图像的显示方法、装置及电子设备
KR20160081551A (ko) 무안경 3d 방식의 디스플레이 장치 및 이의 광원 구동 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160316