CN112055875B - 电子显示器部分图像帧更新系统和方法 - Google Patents

Abstract

本发明公开了一种电子设备(10)，所述电子设备可包括显示器(12)面板和图像数据源(38)，所述图像数据源被设计成通过比较源图像数据(78)和与前一图像帧(72)相对应的图像数据来确定所述图像帧中的不同区域(84)。所述电子设备(10)还可包括所述图像数据源(38)与所述显示器(12)面板之间的显示流水线(36)。所述显示流水线(36)可包括用于将图像数据从源空间转换到显示空间的图像处理电路(27)，以及用于对所述图像数据进行空间处理的图像处理电路。所述显示流水线(36)可通过将所述不同区域(84)转换到所述显示空间来确定裁剪区域(116)，并且由所述图像处理电路(27)基于要进行空间处理的所述图像数据来确定部分帧区域(120)。所述显示流水线(36)还可通过将所述部分帧区域转换到所述源空间来确定和检索小于所述图像帧的获取区域(86)。

Description

电子显示器部分图像帧更新系统和方法

背景技术

本公开总体涉及电子显示器，并且更具体地涉及刷新(例如，更新)显示在电子显示器上的图像。

本部分旨在向读者介绍可能与本公开的各个方面相关的本领域的各个方面，本公开的各个方面在下文中描述和/或受权利要求保护。该讨论被认为有助于为读者提供背景信息以便于更好地理解本公开的各个方面。相应地，应当理解，应就此而论阅读这些陈述，而不是作为对现有技术的认可。

电子设备通常使用一个或多个电子显示器通过显示一个或多个图像(例如，图像帧)来呈现信息的视觉表示，如文本、静态图像和/或视频。例如，此类电子设备可包括计算机、移动电话、便携式媒体设备、平板电脑、电视、虚拟现实头戴式耳机和车辆仪表板等。在任何情况下，为了显示图像，电子显示器可至少部分地基于例如从图像数据源诸如外部存储器(例如，源缓冲器)检索(例如，获取)的对应图像数据来控制其显示器像素的光发射(例如，亮度)。为了促进改善感知的图像质量，在一些情况下，可在将图像数据用于显示对应图像之前对其进行处理。另外，为了控制光发射，电子显示器可调节供应给其显示器像素的电功率的量值(例如，电压和/或电流)。

因此，写入图像、检索对应图像数据以及处理对应图像数据可能消耗资源，诸如电力和/或存储器访问带宽。事实上，资源使用通常取决于获取、处理并因此用于更新(例如，写入或刷新)对应图像的图像数据的量。例如，增加接收和处理的图像数据的量可能增加功率消耗，从而以更快的速率耗尽存储的电能。附加地或另选地，增加检索的图像数据的量可能增加存储器访问带宽利用率，从而减少可用于其他进程的带宽。

发明内容

下面阐述本文所公开的某些实施方案的概要。应当理解，呈现这些方面仅仅是为了向读者提供这些特定实施方案的简明概要，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下面可没有阐述的多个方面。

可能期望改变电子显示器上所示的当前帧。因此，可通过电子设备的显示流水线发送后续图像数据来更新电子显示器以供观看。在一些实施方案中，部分帧更新可被发送到电子显示器以仅改变显示器像素的一部分。可通过仅更新(例如，刷新)相对于先前帧可能改变的显示器像素来实现显著的功率节省。

电子设备可通过检查多个因素来确定是否要利用部分帧更新。例如，电子设备可以确定已相对于前一帧改变的图像数据的不同区域。在一个实施方案中，如果改变的图像数据的量大于阈值，则可以排除部分帧更新。另外，如果检测到场景变化，则可能不希望执行部分帧更新。此外，当确定是否需要部分帧更新时，还可以考虑环境因素，诸如导致目标光输出(例如，来自背光源的光输出)变化的环境照明变化。

在一些实施方案中，可以在电子显示器上呈现之前缓冲多个帧，例如，在任意呈现时间场景中，可以采用多个帧的帧调度。因此，部分帧寄存器可跟踪各个帧及其进行部分帧更新的可取性。换句话讲，帧的部分帧更新资格可在帧调度期间改变，并且部分帧寄存器可跟踪该资格。

为了促进执行部分帧更新，不同区域可用于确定其他部分区域，诸如裁剪区域、部分处理区域、部分帧区域和/或部分缩放(例如，获取)区域。根据在显示流水线内完成的空间处理，可使用更多或更少的部分区域。在一些实施方案中，可在显示流水线获取图像数据之前确定部分区域中的每个部分区域。图像的部分区域可包含在显示流水线的不同区段中使用的图像数据。例如，显示流水线可以从图像数据源获取图像数据的部分缩放区域并且处理图像数据，例如通过空间抖动图像数据和/或实现颜色管理或混合技术。另外，显示流水线可将裁剪区域内的图像数据输出到显示驱动器以在显示器上显示。

附图说明

在阅读以下详细描述并参考附图时可更好地理解本公开的各个方面，在附图中：

图1是根据实施方案的包括电子显示器的电子设备的框图；

图2是根据实施方案的图1的电子设备的示例；

图3是根据实施方案的图1的电子设备的另一示例；

图4是根据实施方案的图1的电子设备的另一示例；

图5是根据实施方案的图1的电子设备的另一示例；

图6是根据实施方案的耦接在图1的电子设备中包括的图像数据源和显示驱动器之间的显示流水线的框图；

图7是根据一个实施方案的用于操作图6的显示流水线的过程的流程图；

图8是根据一个实施方案的源空间中的源图像帧的示例；

图9是根据一个实施方案的在图8的源图像帧之后的源空间中的另一个源图像帧的示例；

图10是根据一个实施方案的用于操作图6的显示流水线以获取图像数据的过程的流程图；

图11是根据一个实施方案的用于确定是否排除部分帧更新的过程的流程图；

图12是根据一个实施方案的与图9的另一个源图像帧相对应的显示空间中的显示图像帧的示例；并且

图13是根据一个实施方案的用于操作图6的显示流水线以获取部分缩放区域的过程的流程图。

具体实施方式

下文将描述一个或多个具体实施方案。为了提供这些实施方案的简要描述，本说明书中未描述实际具体实施的所有特征。应当了解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须要作出特定于许多具体实施的决策以实现开发者的具体目标，诸如符合可从一个具体实施变化为另一具体实施的与系统相关和与商业相关的约束。此外，应当理解，此类开发工作有可能复杂并且耗时，但是对于受益于本公开的本领域的普通技术人员而言，其仍将是设计、加工和制造的常规工作。

电子设备通常使用一个或多个电子显示器通过随时间显示一个或多个图像来呈现信息的视觉表示，诸如文本、静态图像和/或视频。例如，此类电子设备可包括计算机、移动电话、便携式媒体设备、平板电脑、电视、虚拟现实头戴式耳机和车辆仪表板等。图像可源自存储器、外部连接、用户输入、内部处理输出和/或其他装置。图像还可以遵循显示流水线，并在获取和显示在电子显示器上之间进行进一步的图像处理。换句话讲，显示流水线可以例如通过处理图像数据以在显示对应图像时改善感知的观看来促进在电子显示器上显示图像。用于图像处理的此类显示流水线可以是基于软件和/或硬件的。

可随时间将多个不同的图像发送到电子设备的显示器。对应于及时发送到显示器的单个图像的一组图像数据可被称为帧。显示器上示出的帧可基于计算的、外部输入和/或用户提示周期性地和/或在需要时改变。帧率(例如，刷新率)可以对应于帧改变的速率，并且可以是恒定的或变化的。例如，在任意呈现时间(APT)场景中，帧速率可因帧而异。

当希望改变当前显示的帧时，可通过显示流水线发送后续图像数据。在一些实施方案中，可在呈现之前缓冲多个帧。然而，检索和处理图像数据以及更新(例如，写入或刷新)所显示图像通常消耗存储器访问带宽和/或电力。为了促进降低功率消耗和/或其他系统资源诸如存储器访问和/或处理带宽，显示流水线可以生成部分帧更新以例如在不更新整个帧的情况下更新涵盖当前帧与后续帧之间的差异的帧的一个或多个部分。

电子设备可通过检查多个因素来确定是否要采用部分帧更新。例如，电子设备可以确定已相对于前一帧改变的图像数据的不同区域。在一个实施方案中，如果改变的图像数据的量大于阈值，则可以排除部分帧更新。另外，如果检测到场景变化，则可能不希望执行部分帧更新。此外，环境因素诸如导致期望光输出(例如，来自背光源的光输出)变化的环境照明变化也可确定是否需要部分帧更新。可基于寄存器值确定的其他因素诸如显示流水线的配置也可影响部分帧更新的可取性。显示流水线的此类配置项可包括例如像素对比度控制(PCC)块、颜色管理块、垂直缩放器块、水平缩放器块、抖动块等的状态。

在一些实施方案中，可在呈现之前缓冲多个帧。例如，在任意呈现时间场景中，可采用多个帧的帧调度。因此，部分帧寄存器可跟踪各个帧及其进行部分帧更新的可取性。换句话讲，帧的部分帧更新资格可在帧调度期间改变，并且部分帧寄存器可跟踪该资格。

当要完成部分帧更新时，可将所确定的不同区域从源空间转换到显示空间。这可涉及例如源图像的缩放、旋转、镜像和/或翻转，以满足显示空间的参数。因此，不同区域可用于确定其他部分区域，诸如裁剪区域、部分处理区域、部分帧区域和/或部分缩放(例如，获取)区域。根据在显示流水线内完成的空间处理，可使用更多或更少的部分区域。在一些实施方案中，可在显示流水线获取图像数据之前确定部分区域中的每个部分区域。图像数据的部分区域可以包含在显示流水线的不同区段(例如，空间处理)中使用的图像数据。例如，显示流水线可以从图像数据源获取图像数据的部分缩放区域并且处理图像数据，例如通过空间抖动图像数据和/或实现颜色管理或混合技术。另外，显示流水线可将裁剪区域内的图像数据输出到显示驱动器以在显示器上显示。

为了便于说明，图1示出了包括电子显示器12的电子设备10。如将在下面更详细描述的，电子设备10可为任何合适的电子设备，诸如计算机、移动电话、便携式媒体设备、平板电脑、电视、虚拟现实头戴式装置、车辆仪表板等。因此，应当指出的是，图1仅为特定具体实施的一个示例，并且旨在例示可存在于电子设备10中的部件的类型。

在所描绘的实施方案中，电子设备10包括电子显示器12、一个或多个输入设备14、一个或多个输入/输出(I/O)端口16、具有一个或多个处理器或处理器内核的处理器内核复合体18、本地存储器20、主存储器存储设备22、网络接口24、电源26和图像处理电路27。图1中描述的各种部件可包括硬件元件(例如，电路)、软件元件(例如，存储指令的有形非暂态计算机可读介质)或硬件元件和软件元件的组合。应当指出的是，各种描绘的部件可被组合成较少部件或分离成附加部件。例如，本地存储器20和主存储器存储设备22可被包括在单个部件中。另外，图像处理电路27(例如图形处理单元)可被包括在处理器内核复合体18中。

如图所示，处理器内核复合体18与本地存储器20和主存储器存储设备22可操作地耦接。因此，处理器内核复合体18可执行存储在局部存储器20和/或主存储器存储设备22中的指令以执行诸如生成和/或传输图像数据的操作。如此，处理器内核复合体18可包括一个或多个通用微处理器、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)或它们的任何组合。

除了指令之外，本地存储器20和/或主存储器存储设备22可以存储有待被处理器内核复合体18处理的数据。因此，在一些实施方案中，本地存储器20和/或主存储器存储设备22可包括一种或多种有形非暂态计算机可读介质。例如，本地存储器20可包括随机存取存储器(RAM)，并且主存储器存储设备22可包括只读存储器(ROM)、可重写非易失性存储器(诸如闪存存储器、硬盘驱动器、光盘等等)。

如图所示，处理器内核复合体18也与网络接口24可操作地耦接。在一些实施方案中，网络接口24可便于与另一电子设备和/或网络传送数据。例如，网络接口24(例如，射频系统)可以使电子设备10能够通信地耦接到个人局域网(PAN)(诸如蓝牙网络)、局域网(LAN)(诸如802.11x Wi-Fi网络)和/或广域网(WAN)(诸如4G或长期演进(LTE)蜂窝网络)。

此外，如图所示，处理器内核复合体18可操作地耦接到电源26。在一些实施方案中，电源26可向电子设备10中的一个或多个部件(诸如处理器内核复合体18和/或电子显示器12)提供电力。因此，电源26可包括任何合适的能量源，诸如可再充电的锂聚合物(Li-poly)电池和/或交流电(AC)电源转换器。

另外，如图所示，处理器内核复合体18与一个或多个I/O端口16可操作地耦接。在一些实施方案中，I/O端口16可使得电子设备10能够与其他电子设备对接。例如，在连接了便携式存储设备时，I/O端口16可以使得处理器内核复合体18能够与便携式存储设备之间传达数据。

如图所示，电子设备10还与一个或多个输入设备14可操作地耦接。在一些实施方案中，输入设备14可通过(例如)接收用户输入而促进与电子设备10的用户交互。因此，输入设备14可包括按钮、键盘、鼠标、触控板等。另外，在一些实施方案中，输入设备14可包括电子显示器12中的触摸感测部件。在此类实施方案中，触摸感测部件可通过检测物体触摸电子显示器12的表面的发生和/或位置来接收用户输入。

除了实现用户输入之外，电子显示器12可包括具有显示驱动器以及一个或多个显示器像素的显示器面板。在一些实施方案中，显示器像素可被布置成阵列(例如，网格)。另外，在一些实施方案中，显示驱动器可经由对应的扫描(例如，栅极)线耦接到显示器像素的每个行，并且经由对应的数据线耦接到显示器像素的每个列。

在任何情况下，如上所述，电子显示器12可控制从显示器像素发出的光以通过至少部分地基于对应的图像数据来显示帧以呈现信息的视觉表示诸如操作系统的图形用户界面(GUI)、应用界面、静态图像或视频内容。如图所示，电子显示器12可操作地耦接至处理器内核复合体18和图像处理电路27。这样，电子显示器12可至少部分地基于由处理器内核复合体18、图像处理电路27生成的图像数据来显示帧。附加地或另选地，电子显示器12可至少部分地基于经由网络接口24、输入设备和/或I/O端口16接收的图像数据来显示帧。

如上所述，电子设备10可为任何合适的电子设备。为了便于说明，合适的电子设备10，尤其是手持设备10A的一个示例示于图2中。在一些实施方案中，手持设备10A可以是便携式电话、媒体播放器、个人数据管理器、手持式游戏平台等等。出于例示目的，手持设备10A可以是智能电话，诸如可购自Apple inc.的任何

型号。

如图所示，手持设备10A包括壳体28(例如外壳)。在一些实施方案中，壳体28可保护内部部件免受物理性损坏，并且/或者屏蔽内部部件使其免受电磁干扰。另外，如图所示，壳体28可以围绕电子显示器12。在所描绘的实施方案中，电子显示器12显示具有图标32阵列的图形用户界面(GUI)30。举例来讲，当通过输入设备14或电子显示器12的触摸感测部件选择图标32时，可以启动应用程序。

此外，如图所示，可以通过壳体28中的开口触及输入设备14。如上所述，输入设备14可使得用户能够与手持设备10A进行交互。例如，输入设备14可使得用户能够激活或去激活手持设备10A、将用户界面导航至home屏幕、将用户界面导航到用户可配置的应用屏幕、激活语音识别特征结构、提供音量控制和/或在震动和响铃模式之间切换。如图所示，可通过壳体28中的开口触及I/O端口16。在一些实施方案中，I/O端口16可包括例如连接至外部设备的音频插孔。

为了进一步说明，合适的电子设备10，尤其是平板设备10B的另一示例示于图3中。出于例示目的，平板设备10B可为可购自Apple inc.的任何

型号。在图4中示出了合适的电子设备10的另一示例，其具体为计算机10C。为了示意性的目的，计算机10C可为可购自Apple Inc.的任何

或

型号。合适的电子设备10，尤其是手表10D的另一个示例示于图5中。为了示意性的目的，手表10D可为可购自Apple Inc.的任何Apple

型号。如图所示，平板设备10B、计算机10C和手表10D各自还包括电子显示器12、输入设备14、I/O端口16和壳体28。

如上所述，电子显示器12可基于例如从处理器内核复合体18和/或图像处理电路27接收的图像数据来显示帧。为了便于说明，图6示出了包括操作地检索、处理以及输出图像数据的显示流水线36的电子设备10的部分34。在一些实施方案中，显示流水线36可分析和/或处理从图像数据源38获得的图像数据，例如，以从图像数据确定部分帧更新，从而更新电子显示器12的显示器像素的一部分。另外，在一些实施方案中，显示驱动器40可以至少部分地基于从显示流水线36接收的图像数据生成模拟和/或数字电信号并将该模拟和/或数字电信号提供给显示器像素以显示帧。

在一些实施方案中，可在电子设备10、电子显示器12或它们的组合中实现显示流水线36和/或显示驱动器40。例如，显示流水线36可包括在处理器内核复合体18、图像处理电路27、电子显示器12中的定时控制器(TCON)、一个或多个其他处理单元或电路或它们的任何组合中。另外，可实现控制器42以同步和/或补充对从图像数据源38收集的图像数据的处理。例如，在一些实施方案中，控制器42可起到TCON的作用。控制器42可包括处理器44和/或存储器46，并且可被实现为单独的电路或集成到其他部件中。例如，与显示流水线36一样，可在电子设备10中实现控制器42，诸如与处理器内核复合体18、图像处理电路27、与一个或多个其他处理单元或电路或它们的任何组合一样。

控制器42和/或处理器内核复合体18可以在到达显示流水线36之前有助于创建、渲染和/或处理图像数据。图像数据可存储在显示流水线36能够访问的源缓冲器48中。在一些实施方案中，源缓冲器48可以是图像数据源38的一部分或集成到显示流水线36中。在一些情况下，电子设备10可包括被实现以处理图像数据的一个或多个处理流水线(例如，显示流水线36)。为了促进通信，可将图像数据存储在处理流水线外部的图像数据源38中。在此类情况下，处理流水线诸如显示流水线36可包括读取(例如，检索)和/或写入(例如，存储)图像数据源38(例如，存储器46、主存储器存储设备22和/或本地存储器)中的图像数据的直接存储器存取(DMA)块。

当由显示流水线36从图像数据源38或源缓冲器48检索(例如，获取)图像数据时，可在源空间中指定图像数据。源空间可包括图像数据的源原生的文件格式和/或编码。显示流水线36可将源空间中的图像数据映射到显示空间，使得图像数据可经由显示驱动器40输出在电子显示器12上。不同类型、模型、尺寸和分辨率的电子显示器12可具有不同的显示空间。显示空间可以是由电子显示器12理解和显示的空间。另外，不同的电子显示器12和/或显示驱动器40能够以特定次序读取数据。例如，电子显示器12能够以横向取向布置，然而，图像数据可仍然以纵向取向更新到屏幕。在此类示例中，图像数据可在显示流水线36中旋转以适应屏幕取向。在另一个示例中，显示流水线36可以翻转或镜像来自前向相机的图像数据，使得电子显示器12示出相机馈送的直观镜像描绘。此外，例如，如果电子显示器12具有与图像数据不同的分辨率、颜色格式(例如，红-绿-蓝(RGB)、亮度-色度(YCC格式，诸如YCbCr)等)或调色板，则显示流水线36可缩放图像数据并且/或者转换图像数据的颜色格式和/或调色板以适应电子显示器12的能力。因此，图像数据从源空间到显示空间的映射可包括旋转、缩放、镜像、翻转、格式改变和/或其他自适应。

显示流水线36可包括一组图像数据处理块50，该组图像数据处理块执行从源空间到显示空间的图像数据的此类映射以及各种其他图像处理技术。图像数据处理块50可包括例如颜色管理(CM)块52、混合块54、像素对比度控制(PCC)块56、抖动块58和裁剪块60。在一些实施方案中，显示流水线36可包括更多的、更少的、组合的、分割的和/或重新排序的图像数据处理块50。

CM块52和混合块54可以例如经由旋转、缩放、镜像、翻转和/或其他调整将颜色、亮度、强度、像素位置和/或其他图像特性从源空间映射到显示空间。基于显示空间的特性和环境因素诸如环境照明，PCC块56可分析图像数据并应用色调映射。此类色调映射可基于图像数据特性和环境因素来改变像素的颜色和亮度水平。PCC块56还可有助于将“网格”上的图像数据对准以输出到显示驱动器以供正确观看。

抖动块58可有助于全局地或局部地平滑和/或调节像素颜色和强度。这些调节可有助于补偿量化误差。例如，显示器可能无法实现源图像数据的全彩色调色板或位深度。不是仅仅四舍五入或估计到最近的颜色，抖动块58可将显示器调色板的颜色交织在局部像素中以近似原始图像数据并且提供更美观、清楚和/或清晰的输出以供观看。这样，抖动块58可提供图像数据到电子显示器12的位深度的附加映射。附加地或另选地，抖动块58还可提供时间抖动，时间抖动可使不同帧上的颜色和/或光强度交替以产生期望颜色的外观。

在将帧的图像数据发送到显示驱动器40之前，可通过裁剪块60对其进行处理。裁剪块可以选择要在电子显示器12上显示或更新的帧的边界和/或区域。例如，如果处理了部分帧更新，则裁剪块60可限定要将像素的哪个部分发送到电子显示器12。显示驱动器40可利用数据线和源极线来更新显示。接收到要改变的像素，显示驱动器40可更新电子显示器12的该部分，同时不重新驱动和/或改变与前一帧相比没有改变的像素。

为了便于进一步说明，图7描述了用于操作显示流水线36的示例性过程62。一般来讲，过程62包括检索源图像数据(过程框64)以及处理源图像数据以生成显示图像数据(过程框66)。控制器42和/或显示流水线36还可配置电子显示器以接收显示图像数据(过程框68)。然后，显示流水线36可将显示图像数据输出到显示驱动器40以用于在电子显示器12上观看(过程框70)。如上所述，在一些实施方案中，该过程可基于硬件，基于在显示流水线36中形成的电路连接来实现。附加地或另选地，过程可通过使用处理电路诸如控制器处理器44执行存储在有形非暂态计算机可读介质诸如控制器存储器46中的指令来实现。

在一些实施方案中，控制器42可指示显示流水线36从图像数据源38检索(例如，获取或读取)源图像数据(过程框64)。如上所述，源图像数据可存储在源缓冲器48中。因此，在一些实施方案中，显示流水线36可经由DMA从源缓冲器48检索源图像数据。一旦图像数据被接收到显示流水线36中，显示流水线36就可开始和/或继续图像处理。

为了便于说明，图8描绘了示例性源图像72。示例性源图像72示出了完整源图像边界76内的时钟74。可能期望在电子设备10诸如移动设备、可穿戴设备或具有电子显示器12的任何合适且期望的设备上显示此类源图像。如上所述，可以周期性地更新图像以改变电子显示器12上的图片。这样，可以由显示流水线36检索连续的源图像数据以保持到电子显示器12的期望输出。每个图像可被连续处理并在期望时刻输出。例如，时钟74的指针可在后续帧中移动以与经过的分钟实时相对应。

为此，图9描绘了更新的源图像78的示例。虽然图像的大部分是相同的，但当前指针80移动到更新的图像的新位置作为更新的指针82。包含从当前指针80到更新的指针82的变化的区域为不同区域84。为了促进改善资源使用效率(例如，减少功率消耗)，显示流水线36可检索和处理小于完整源图像边界76的图像数据。

如上所述，显示流水线36可处理源图像数据以确定和输出显示图像数据。这样，显示流水线36可以执行空间处理(例如，空间抖动)。因此，为了有效地处理不同区域84，显示流水线36可不仅仅获取不同区域84。为了涵盖用于空间和/或其他图像处理的不同区域和附近像素区域，可以确定部分缩放区域86(例如，获取区域)并将其提取(例如，获取)到显示流水线36中。

控制器42可基于图10中流程图88所示例的多个因素来确定是否要获取部分缩放区域86或完整源图像。可首先确定由显示流水线36使用的参数，诸如电子显示器12的当前状态、图像数据处理块50的当前状态、显示流水线寄存器(例如，部分帧寄存器、PCC寄存器、抖动寄存器、缩放寄存器等)的当前状态、环境因素诸如环境照明，以及当前显示的像素颜色和强度水平(过程框90)。显示流水线36的参数连同当前图像数据和后续图像数据可用于确定要获取哪个区域，例如，完整源图像帧或部分帧。如果排除了部分帧更新(决策框92)、检测到场景变化(决策框94)或者检测到环境变化(决策框96)，则可获取完整源图像(过程框98)。然而，如果不是，则然后可至少部分地基于不同区域84和显示流水线参数来确定部分缩放区域86(过程框100)。然后可从图像数据源38获取该部分缩放区域86(过程框102)。

图11呈现了流程图104以更好地说明部分帧是否被排除的确定。在确定排除时，控制器42可以比较当前源图像和后续源图像(过程框106)。另外，可以参考整个电子设备10中的寄存器值和/或缓冲器值，以检查后续源图像的差异程度。如果当前源图像和后续源图像之间的差值大于阈值(决策框108)，则排除部分帧更新(过程框110)。

除了不同区域阈值之外，还可评估显示流水线寄存器以进行部分帧更新排除(过程框111)。如上所述，显示流水线寄存器可表示显示流水线36的状态。在一些实施方案中，如果一些显示流水线寄存器已经从一个帧改变为下一个帧，则在输出时可以改变多于不同区域。因此，可获取完整的源图像。另外，一些类型的图像处理可能与部分帧更新不兼容。如果启用了用于此类图像处理技术的显示流水线寄存器，则可排除部分帧更新。然而，如果不同区域小于阈值并且显示流水线寄存器是合适的，则不排除部分帧更新(过程框112)。

在一些实施方案中，时间事件(例如，场景变化)可导致获取完整图像源。另外，如果发生环境变化，诸如环境照明变化，则可能发生对全局亮度的修改，也导致完整源图像获取。根据电子设备10及其具体实施，还可使用其他因素来确定是否需要部分帧更新。部分帧寄存器可跟踪在处理时给定帧是否可利用部分帧更新。例如，帧最初可适用于部分帧更新，然而，如果例如由于APT被启用而采用帧调度，则到处理帧时，可能不再需要部分帧更新。因此，可基于诸如上述那些因素的确定来更新部分帧寄存器。

尽管上文根据控制器42进行了说明，但确定是获取完整的源图像还是部分缩放区域86以及确定不同区域84和对应的部分缩放区域86可由控制器42、显示流水线36、显示驱动器40、处理器内核复合体18和/或电子设备10内的其他处理电路来实现。如果部分缩放区域86尚未在内部，则可将其传送到显示流水线36以例如经由DMA进行检索。控制器42和/或显示流水线36还可将显示流水线36和/或显示驱动器40中的寄存器配置为接收完整帧更新或部分帧更新。然后可经由显示流水线36处理用于部分帧更新或完整帧更新的图像数据并将其输出到显示驱动器40。

当处理部分缩放区域86时，显示流水线36可通过图像数据处理块50继续处理。然而，因为从图像数据源38检索到的部分缩放区域86不包括整个图像数据集，所以要处理的图像数据量可能明显较少。这可能是有益的，因为降低了显示流水线36的工作负荷从而允许显示流水线36为其他任务或帧消耗更少的功率和/或释放处理带宽。

如上所述，显示流水线36可以在执行图像处理时将图像数据从源空间转换到显示空间。此外，取决于要在显示流水线36内完成的图像处理，要由显示流水线36获取的部分缩放区域86可大于不同区域84。因此，在确定要获取的部分缩放区域86之前，不同区域84可用于确定显示空间中的一个或多个其他部分区域。

为了便于说明显示空间部分区域，图12描绘了显示空间中的帧114的视觉表示。在一个实施方案中，不同区域84可用于确定裁剪区域116。裁剪区域116可包括可能受不同区域84的变化影响的显示空间像素。换句话讲，裁剪区域116可以仅包含要传输到电子显示器12的像素区域。可通过将不同区域84从源空间转换到显示空间来确定裁剪区域116。如上所述，该转换或映射将源空间的偏移和维度转换到显示空间。此类转换可包括考虑旋转、镜像、高度、宽度、偏移、缩放和/或其他映射方面。另外，至少基于所启用的图像处理技术，可扩展裁剪区域116使得可能受不同区域84影响的像素被包括在裁剪区域116内。

尽管裁剪区域116可涵盖可能被改变的像素区域，但在一些场景中，这可取决于在显示流水线36中利用的所需图像处理，改变的像素周围的区域可用于处理这些变化。例如，可基于裁剪区域116来确定部分处理区域118以扩展部分区域并将其与帧114的网格对准。虽然部分帧更新的图像数据可能经受与完整图像数据集类似的处理，但是当例如在CM块52和混合块54中从源空间映射到显示空间时，部分区域可能不与显示空间的网格完全对准。在一些实施方案中，一些图像处理技术可依赖于此类网格来实现适当的功能。例如，可基于像素块例如32×32像素块或64×64像素块来确定在图像处理期间使用的像素统计值。因此，部分处理区域118可将裁剪区域116扩展成与网格对准。因此，裁剪区域116可完全包括在部分处理区域118内。然而，在一些实施方案中，例如如果禁用统计值收集，则部分处理区域118可与裁剪区域116相同。

此外，如果启用的话，则可从部分处理区域118确定部分帧区域120以考虑空间处理技术，例如在抖动块58中。实际上，部分帧区域120可扩展超出部分处理区域118，以允许分析可能影响部分处理区域118和/或裁剪区域116中的像素的像素数据。因此，部分帧区域120可包括图像数据以生成帧114的变化。另外，部分帧区域120可包括不输出到显示驱动器40的图像数据，但该图像数据可用于由显示流水线36进行的计算。在一些实施方案中，可以依次在显示流水线36中利用多种空间处理或其他图像处理技术。在这种情况下，可以确定多个部分帧区域120，每个部分帧区域用于显示流水线36中的对应图像处理步骤。因此，每个连续的部分帧区域120可完全包含前一部分区域以及部分处理区域118和裁剪区域116。然而，如果不需要进一步处理或启用部分帧区域120，则该部分帧区域可与部分处理区域118相同。最大部分帧区域120可包括要驱动通过显示流水线36的图像数据的完整集合。

根据最大部分帧区域120，如果存在多于一个部分帧区域，则可确定部分缩放区域86。可通过将部分帧区域120从显示空间转换回源空间来确定部分缩放区域86，例如通过旋转、缩放、镜像、翻转和/或其他映射技术。这些映射技术可以是用于从不同区域84确定裁剪区域116的那些映射技术的反转。如本文所述，可以在从存储器中获取部分缩放区域86之前确定在显示流水线36中利用的部分区域。这样，一旦获取部分缩放区域86的图像数据，就可以在适当阶段处在显示流水线36中利用每个部分区域直到裁剪区域116输出到电子显示器12。

部分帧区域120可用于图像数据的空间处理，例如，在抖动块58中。可对部分处理区域118中的图像数据收集像素统计值。裁剪块60可通过减小到显示驱动器40的输出至裁剪区域116来抛光图像处理，该裁剪区域包含从当前帧到后续帧的变化。在一些实施方案中，显示流水线36中的连续步骤可使用相同或更小尺寸的连续部分区域。电子显示器12的多余驱动像素的这种减少可进一步减少电子显示器12和/或电子设备10的功率和/或带宽的消耗。总之，帧114的裁剪区域116可被发送到显示驱动器40以在电子显示器12上进行适当的改变，而帧114的其余部分保持不变。

当要完成部分帧更新时，可在图像处理期间的不同点处使用上述部分区域。部分区域可为矩形或任何其他合适的形状以适应处理。在一个实施方案中，在获取图像数据之前，可由电子设备10的控制器42、显示驱动器40和/或任何合适的处理器来确定部分区域，如图13中的流程图122所示。

可确定包含自前一帧以来已被修改的源图像数据的不同区域84(过程框124)。可以从不同区域84确定裁剪区域116，该裁剪区域仅包含与可能受不同区域84的像素影响的显示器像素相对应的图像数据(过程框126)。因为裁剪区域116呈现在显示空间中，所以可至少部分地基于不同区域84从源空间到显示空间的映射来确定裁剪区域116。

可从裁剪区域116确定部分处理区域118(过程框128)。部分处理区域118可包含用于收集裁剪区域116中和周围的像素统计值的图像数据。根据部分处理区域118，可确定部分帧区域120(过程框130)。部分帧区域120可包含要推送通过并用于显示流水线36中的处理的图像数据。另外，在一些实施方案中，如果利用使用改变的像素周围的区域的多种图像处理技术(例如多种空间处理技术诸如空间抖动)，则可确定多个部分帧区域120。

根据最大部分帧区域120，可确定部分缩放区域86(过程框132)。部分缩放区域86可包含要从图像数据源38或源缓冲器48获取的图像数据。一旦确定了部分缩放区域86，就可获取部分缩放区域86内的对应图像数据(过程框134)。然后可经由显示流水线36利用部分区域来处理部分缩放区域86的图像数据(过程框136)。例如，CM块52和混合块54可以将部分缩放区域86的图像数据映射到部分帧区域120中，并且可以对部分处理区域118内的图像数据收集像素统计值。然后，裁剪块60可以将经处理的图像数据裁剪到裁剪区域116的边界，并且例如经由显示驱动器40将图像数据的裁剪区域116输出到电子显示器12(过程框138)。

尽管上述部分区域被陈述为按次序确定和处理，但根据实施方式，可以按不同次序确定和/或处理更多或更少的部分区域。然而，在处理之后，在部分帧更新期间，传送到电子显示器12以进行更新的图像数据的部分区域可以小于完整帧更新。因此，通过将更新的帧的尺寸减小到部分区域(例如，部分缩放区域86)，电子设备10可减少功率消耗并释放存储器和/或处理器带宽。

已经以示例的方式示出了上述具体实施方案，并且应当理解，这些实施方案可容许各种修改和另选形式。还应当理解，权利要求书并非旨在限于所公开的特定形式，而是旨在覆盖落在本公开的实质和范围内的所有修改、等同物和替代方案。

本文所述的和受权利要求保护的技术被引用并应用于实物和实际性质的具体示例，其明显改善了本技术领域，并且因此不是抽象、无形或纯理论的。此外，如果附加到本说明书结尾的任何权利要求包含被指定为“用于[执行][功能]…的装置”或“用于[执行][功能]…的步骤”的一个或多个元件，则这些元件将按照35U.S.C.112(f)进行解释。然而，对于任何包含以任何其他方式指定的元件的任何权利要求，这些元件将不会根据35U.S.C.112(f)进行解释。

Claims (21)

1.一种电子设备，包括：

显示器面板，所述显示器面板包括显示器像素，所述显示器像素被配置为至少部分地基于显示图像数据来显示当前图像帧；

图像处理电路，所述处理电路被配置为：

将源图像数据处理成所述显示图像数据以用于帧更新；以及

响应于包括部分帧更新的所述帧更新，将所述显示图像数据的量减少到裁剪区域的量，其中所述裁剪区域包括要在所述帧更新中改变的所述显示图像数据的全部，其中所述裁剪区域排除在所述帧更新中没有改变的所述显示图像数据的至少一部分，其中所述裁剪区域的尺寸和位置至少部分地基于所述源图像数据的不同区域而被确定；和

一个或多个部分帧寄存器，所述一个或多个部分帧寄存器被配置为跟踪是否要针对所述帧更新发生所述部分帧更新，其中所述部分帧寄存器被配置为至少部分地基于是否检测到在紧接在所述当前图像帧之前的一个或多个图像帧上的环境光的环境变化来跟踪是否要发生所述部分帧更新。

2.根据权利要求1所述的电子设备，其中所述图像处理电路被配置为至少部分地基于所述裁剪区域来获取所述源图像数据的部分缩放区域以供所述图像处理电路处理，其中所述部分缩放区域大于或等于所述不同区域，并且其中所述部分缩放区域不涵盖整个帧。

3.根据权利要求2所述的电子设备，其中所述图像处理电路被配置为：

通过处理对应于所述部分缩放区域的所述源图像数据并使用要在所述帧更新中改变的所述显示图像数据填充所述裁剪区域来解析所述裁剪区域；以及

将所述裁剪区域内的所述显示图像数据输出到所述显示器面板。

4.根据权利要求1所述的电子设备，其中所述不同区域包括已针对所述帧更新而改变的所述源图像数据的第一部分，并且排除针对所述帧更新没有改变的所述源图像数据的第二部分。

5.根据权利要求1所述的电子设备，其中所述帧更新包括从前一图像帧到所述当前图像帧的改变，并且其中所述部分帧寄存器被配置为跟踪在帧调度期间是否要发生所述部分帧更新。

6.根据权利要求1所述的电子设备，其中所述部分帧寄存器被配置为至少部分地基于以下各项来跟踪是否要发生所述部分帧更新：

所述当前图像帧中所述不同区域的尺寸；

是否在所述当前图像帧与紧接的前一图像帧之间检测到场景变化；或者

其组合。

7.根据权利要求1所述的电子设备，其中所述显示器面板被配置为：

至少部分地基于所述裁剪区域内对应于所述当前图像帧的所述显示图像数据来刷新所述显示器像素的第一部分；以及

在所述显示器像素的位于所述裁剪区域之外的第二部分处继续显示紧接的前一图像帧的所述显示图像数据。

8.根据权利要求1所述的电子设备，其中所述图像处理电路被配置为：通过至少部分地基于所述显示器面板的分辨率缩放所述不同区域，确定所述裁剪区域。

9.根据权利要求1所述的电子设备，其中所述电子设备包括便携式电话、媒体播放器、个人数据管理器、手持式游戏平台、平板设备、计算机或它们的任何组合。

10.一种被配置为在显示器上执行帧更新的电子设备，所述电子设备包括：

图像处理电路，所述图像处理电路被配置为响应于包括部分帧更新的所述帧更新确定图像数据的裁剪区域，其中所述裁剪区域包括已从前一帧改变的所述图像数据的全部，其中所述裁剪区域排除尚未从所述前一帧改变的所述图像数据的部分，其中所述裁剪区域的尺寸和位置至少部分地基于所述图像数据的不同区域而被确定；和

一个或多个部分帧寄存器，所述一个或多个部分帧寄存器被配置为跟踪在帧调度期间是否要针对所述帧更新发生所述部分帧更新，其中所述部分帧寄存器被配置为至少部分地基于是否检测到在紧接在当前图像帧之前的一个或多个图像帧上的环境光的环境变化来跟踪是否要发生所述部分帧更新。

11.根据权利要求10所述的电子设备，其中所述帧更新包括所述部分帧更新或整个帧更新，其中所述图像处理电路被配置为如果所述部分帧更新受到限制，则执行所述整个帧更新而不是所述部分帧更新。

12.根据权利要求11所述的电子设备，其中如果已从所述前一帧改变的所述图像数据的量大于阈值、检测到场景变化、要实现全局亮度的变化或它们的组合，则所述部分帧更新受到限制。

13.根据权利要求12所述的电子设备，其中在所述部分帧更新期间，所述图像处理电路被配置为获取部分缩放区域而不是整个帧，其中所述部分缩放区域的尺寸和位置至少部分地基于所述裁剪区域而被确定。

14.根据权利要求13所述的电子设备，其中在所述部分缩放区域被获取之前由所述图像处理电路确定所述不同区域。

15.一种用于执行部分帧更新的方法，所述方法包括：

确定是否需要所述部分帧更新，其中所述确定至少部分地基于一个或多个部分帧寄存器，所述一个或多个部分帧寄存器被配置为至少部分地基于对在紧接在当前图像帧之前的一个或多个图像帧上的环境光的环境变化的检测来跟踪是否要发生所述部分帧更新；

经由电子设备的图像处理电路确定不同区域，其中所述不同区域包括自前一帧以来已改变的图像数据的第一区域，并且排除自所述前一帧以来没有改变的所述图像数据的第二区域；

经由所述图像处理电路至少部分地基于所述不同区域来确定裁剪区域的尺寸和位置；

经由所述图像处理电路至少部分地基于所述裁剪区域的所述尺寸和所述位置来确定部分缩放区域的尺寸和位置，其中所述部分缩放区域包括在处理所述图像数据时要由所述图像处理电路使用的所述图像数据的全部，其中所述部分缩放区域不涵盖整个帧；

获取所述图像数据的对应于所述部分缩放区域的一部分；

通过在所述图像处理电路中处理所述图像数据的对应于所述部分缩放区域的所述一部分并且使用经处理的图像数据填充所述裁剪区域来解析所述裁剪区域，使得所述裁剪区域包括自所述前一帧以来已改变的所述图像数据的所述第一区域并且排除自所述前一帧以来没有改变的所述图像数据的所述第二区域的至少一部分；以及

输出所述裁剪区域内的所述经处理的图像数据以在电子显示器上显示。

16.根据权利要求15所述的方法，其中所述不同区域和所述部分缩放区域设置在源空间中，并且所述裁剪区域至少部分地通过将所述不同区域映射到显示空间中而被确定。

17.根据权利要求15所述的方法，包括经由所述图像处理电路至少部分地基于所述裁剪区域的所述尺寸和所述位置来确定一个或多个部分区域的尺寸和位置，其中所述一个或多个部分区域设置在显示空间中，其中所述一个或多个部分区域各自包括所述图像数据的分段，其中所述一个或多个部分区域中的每个部分区域的所述图像数据的所述分段对应于用于图像处理技术的所述图像数据。

18.根据权利要求15所述的方法，其中确定是否需要所述部分帧更新还包括：

确定所述部分帧更新是否被阻止，其中如果自所述前一帧以来大于阈值量的所述图像数据已改变或者如果一组显示流水线寄存器指定不适合执行所述部分帧更新，则所述部分帧更新被阻止；

确定是否已发生时间事件，其中所述时间事件包括场景变化；或者

它们的组合。

19.一种电子设备，包括：

显示器面板，所述显示器面板包括显示器像素，所述显示器像素被配置为至少部分地基于显示图像数据来显示当前图像帧；和

图像处理电路，所述处理电路被配置为：

将源图像数据处理成所述显示图像数据以用于帧更新；

响应于包括部分帧更新的所述帧更新，将所述显示图像数据的量减少到裁剪区域的量，其中所述裁剪区域包括要在所述帧更新中改变的所述显示图像数据的全部，其中所述裁剪区域排除在所述帧更新中没有改变的所述显示图像数据的至少一部分，其中所述裁剪区域的尺寸和位置至少部分地基于所述源图像数据的不同区域而被确定；

至少部分地基于所述裁剪区域来获取所述源图像数据的部分缩放区域以供所述图像处理电路处理，其中所述部分缩放区域大于或等于所述不同区域，并且其中所述部分缩放区域不涵盖整个帧；

通过处理对应于所述部分缩放区域的所述源图像数据并使用要在所述帧更新中改变的所述显示图像数据填充所述裁剪区域来解析所述裁剪区域；以及

将所述裁剪区域内的所述显示图像数据输出到所述显示器面板；和

一个或多个部分帧寄存器，所述一个或多个部分帧寄存器被配置为至少部分地基于以下项来跟踪是否要针对所述帧更新发生所述部分帧更新：所述当前图像帧中的所述不同区域的尺寸，是否在所述当前图像帧和紧接的前一图像帧之间检测到场景变化，以及是否在所述当前图像帧和所述紧接的前一图像帧之间检测到环境光的环境变化。

20.一种电子设备，包括：

显示器面板，所述显示器面板被配置为至少部分地基于显示图像数据来控制显示器像素的亮度以促进显示当前图像帧；

图像数据源，所述图像数据源被配置为至少部分地通过将与所述当前图像帧相对应的当前源图像数据和与紧接的前一图像帧相对应的前一源图像数据进行比较来确定所述当前图像帧中的不同区域；和

显示流水线，所述显示流水线耦接在所述图像数据源与所述显示器面板之间，其中：

所述显示流水线包括：

第一图像数据处理电路，所述第一图像数据处理电路被配置为将所述当前源图像数据从源空间转换到显示空间，从而生成所述显示图像数据；和

第二图像数据处理电路，所述第二图像数据处理电路被配置为对所述显示图像数据进行空间处理；并且

所述显示流水线被配置为：

至少部分地通过将所述当前图像帧中的所述不同区域从所述源空间转换到所述显示空间来确定裁剪区域；

至少部分地基于要由所述第二图像数据处理电路进行空间处理的所述显示图像数据来确定第一部分帧区域；

通过将所述第一部分帧区域从所述显示空间转换到所述源空间来确定小于所述当前图像帧的获取区域；以及

从所述图像数据源检索所述获取区域内的所述当前源图像数据的一部分，以使所述显示流水线能够仅将所述裁剪区域内的所述显示图像数据输出到所述显示器面板。

21.一种包括一个或多个有形非暂态机器可读介质的制品，所述一个或多个有形非暂态机器可读介质包括用于以下操作的指令：

确定是否需要部分帧更新，其中所述确定至少部分地基于一个或多个部分帧寄存器，所述一个或多个部分帧寄存器被配置为至少部分地基于对在紧接在当前图像帧之前的一个或多个图像帧上的环境光的环境变化的检测来跟踪是否要发生所述部分帧更新；

确定图像数据的不同区域，其中所述不同区域包括自前一帧以来已改变的所述图像数据的第一区域，并且排除自所述前一帧以来没有改变的所述图像数据的第二区域；

至少部分地基于所述不同区域来确定裁剪区域的尺寸和位置；

至少部分地基于所述裁剪区域的所述尺寸和所述位置来确定部分缩放区域的尺寸和位置，其中所述部分缩放区域包括在处理所述图像数据时要使用的所述图像数据的全部，其中所述部分缩放区域不涵盖整个帧；

获取所述图像数据的对应于所述部分缩放区域的一部分；

通过处理所述图像数据的对应于所述部分缩放区域的所述一部分并且使用经处理的图像数据填充所述裁剪区域来解析所述裁剪区域，使得所述裁剪区域包括自所述前一帧以来已改变的所述图像数据的所述第一区域并且排除自所述前一帧以来没有改变的所述图像数据的所述第二区域的至少一部分；以及

输出所述裁剪区域内的所述经处理的图像数据以在电子显示器上显示。

Images