CN108352050B - 基于视频解码模式更新用于显示的区域 - Google Patents

Abstract

本发明描述一种技术，其中视频解码模式用于确定图片的哪一区域需要合成。如果当前图片的区域以跳过模式进行解码，其中所述跳过模式的参考图片是紧接在所述当前图片之前显示的先前图片，那么那一区域的像素值可能不需要从系统存储器检索。

Description

基于视频解码模式更新用于显示的区域

技术领域

本发明涉及显示图像内容，且更确切地说，涉及更新待显示的图像内容。

背景技术

视频解码器解码视频数据以生成待显示的图片，且将所生成图片存储于视频缓冲器中。显示处理器检索来自视频缓冲器的所生成图片的图像内容，且合成用于显示的图像内容。

发明内容

一般来说，本发明描述一种技术，其用于识别当前图片的相对于紧接着的先前图片而改变的区域以使得仅当前图片的改变的区域由显示处理器从系统存储器检索以用于合成。为了识别当前图片的改变的区域，处理电路识别当前图片的哪些区域由复制紧接在当前图片之前显示的先前图片的相同位置区域的像素值生成。显示处理器可不检索当前图片的确定已从紧接在当前图片之前显示的先前图片的相同位置区域复制的区域。

在一个实例中，本发明描述一种合成用于显示的图像的方法，所述方法包括：利用处理电路识别当前图片中由复制紧接在当前图片之前显示的先前图片中的一或多个相应相同位置区域的像素值生成的一或多个第一区域；利用处理电路基于当前图片中的一或多个所识别第一区域来识别当前图片的相对于先前图片而改变的第二区域；以及利用处理电路向显示处理器提供指令以从系统存储器检索当前图片的相对于先前图片而改变的所识别第二区域的像素值，且不从系统存储器检索一或多个第一区域的像素值，以用于合成具有一或多个层的图像内容的当前图片以生成合成图像。

在一个实例中，本发明描述用于合成用于显示的图像的装置，所述装置包括：显示处理器；系统存储器，其配置成存储紧接在当前图片之前显示的先前图片；以及处理电路。处理电路配置成：识别当前图片中由复制紧接在当前图片之前显示的先前图片中的一或多个相应相同位置区域的存储于系统存储器中的像素值生成的一或多个第一区域；基于当前图片中一或多个所识别第一区域来识别当前图片的相对于先前图片而改变的第二区域；以及向显示处理器提供指令以从系统存储器检索当前图片的相对于先前图片而改变的所识别第二区域的像素值，且不从系统存储器检索一或多个第一区域的像素值，以用于合成具有一或多个层的图像内容的当前图片以生成合成图像。

在一个实例中，本发明描述用于合成用于显示的图像的装置，所述装置包括：用于识别当前图片中的一或多个第一区域的装置，所述第一区域由复制紧接在当前图片之前显示的先前图片中的一或多个相应相同位置区域的像素值生成；用于识别当前图片的第二区域的装置，所述第二区域基于当前图片中的一或多个所识别第一区域相对于先前图片而改变；以及用于向显示处理器提供指令以从系统存储器检索当前图片的相对于先前图片而改变的所识别第二区域的像素值的装置，且不从系统存储器检索一或多个第一区域的像素值，以用于合成具有一或多个层的图像内容的当前图片以生成合成图像。

在一个实例中，本发明描述一种具有存储于其上的指令的计算机可读存储媒体，当执行所述指令时使得用于合成用于显示的图像的装置的一或多个处理器进行以下操作：识别当前图片中由复制紧接在当前图片之前显示的先前图片中的一或多个相应相同位置区域的像素值生成的一或多个第一区域；基于当前图片中的一或多个所识别第一区域来识别当前图片的相对于先前图片而改变的第二区域；以及向显示处理器提供指令以从系统存储器检索当前图片的相对于先前图片而改变的所识别第二区域的像素值，且不从系统存储器检索一或多个第一区域的像素值，以用于合成具有一或多个层的图像内容的当前图片以生成合成图像。

随附图式和以下描述中阐述一或多个实例的细节。其它特征、目标和优点将从描述、图式和权利要求书中显而易见。

附图说明

图1是说明根据本发明中所描述的一或多个实例技术的用于图像合成和显示的实例装置的框图。

图2是说明具有以跳过模式解码的区域的当前图片的实例的概念图。

图3是说明用于确定哪些区域待合成的实例技术的流程图。

图4是说明根据本发明的用于图像合成和显示的实例技术的流程图。

具体实施方式

在处理器上执行的各种应用程序以及操作系统级操作创建用于显示的图像内容。作为一实例，在处理器上执行的应用程序可生成用于当前日期和时间的图像内容，在处理器上执行的另一应用程序可生成用于显示器的背景和/或边缘的图像内容，在处理器上执行的另一应用程序可生成用于指示音频音量级的图像内容，等等。作为额外实例，视频解码器可解码用于在图像帧的至少一部分中显示的视频数据。其它实例存在，且技术大体上涉及生成用于显示的图像内容的各种实例。

所生成图像内容中的每一个可视为单独层，且系统存储器可包含存储所述层中的每一个的层缓冲器。举例来说，视频解码器解析位流中的视频数据以重新建构显示的视频图片。由视频解码器生成的视频图片形成层缓冲器中的视频层。处理器可指示显示处理器(例如，向显示处理器提供指令)从层缓冲器检索视频层和其它层(例如，由图形处理单元(GPU)建构的用户界面层)且将所述层合成在一起从而形成显示处理器显示的合成图像(即，组合所述层的合成图像)。然而，在一些情况下，显示处理器可能不具有充足资源来执行合成，且与诸如GPU的其它组件共享合成任务。

尽管诸如GPU的其它单元可有助于合成，但从处理效率和适当的资源利用角度来看，显示处理器执行合成可以是有利的，以使得其它单元可执行其相应功能(例如，以使得执行合成任务的GPU不浪费时钟循环，而其它GPU任务延迟)。确保显示处理器执行合成而非与其它组件共享任务的一种方式是限制需要合成的面积量。

举例来说，如果图片的仅一些图像内容根据先前图片进行了改变，那么显示处理器检索图片的仅改变的图像内容且将先前图片的图像内容再用于其它部分可以是有利的。换句话说，减少显示处理器需要检索的数据量的一种方式是确定从一个图片到下一个图片改变的区域，且使显示处理器仅检索改变的所确定区域的图像内容。一般来说，由于检索资料需要较低功率，所以减少显示处理器需要检索的数据量提高处理效率。另外，由于处理的资料较少，所以显示处理器可能够较快合成图像。

本发明描述利用视频解码器来帮助确定从一个图片到另一个图片改变的区域的实例技术，且这一信息用于指示显示处理器关于从系统存储器检索哪一区域的像素值以及哪一区域的像素值可从本地存储器检索。视频解码包含跳过模式。在跳过模式中，当前图片中的块的视频内容(例如，块的像素值)从较早解码图像中的块复制。如果跳过模式所识别的这一较早解码图像也是紧接在显示当前图片的时间之前显示的图片，那么启用跳过模式的当前图片中的宏块并不是具有改变的图像内容的区域。在这种情况下，形成在当前图片的所有块与按显示次序紧接在前的图片中启用跳过模式的块之间的残差的区域是具有改变的图像内容的区域。显示处理器利用关于形成残差的区域的信息来减少其需要检索的数据量。

残差是指像素值之间的差值，所述差值可以是红绿蓝(red-green-blue；RGB)值的差值或亮度值与色度值的差值。不存在以跳过模式编码的块的残差，这是因为块的像素值从另一块复制(即，像素值的差值在块与较早块之间确定)。

在一些情况下，整个图片可并未使用按显示次序紧接在前的图片中的对应宏块从按显示次序紧接在前的图片而改变，这是因为整个图片是呈跳过模式。在这种情况下，需要由显示处理器检索的数据量进一步减少。对于这类实例，显示处理器可利用全部的先前图片作为当前图片，且不检索当前图片的任何图像内容。

本发明中所描述的实例技术描述为通过处理电路执行。执行实例技术的处理电路的一个实例是处理器，如中央处理单元(CPU)。举例来说，CPU可确定当前图片的哪一部分基于当前图片的哪一区域使用按显示次序紧接在前的图片的图像内容以跳过模式解码来相对于按显示次序紧接在前的图片而改变。CPU随后可基于确定当前图片的哪一部分改变来指示(例如，将指令提供到)显示处理器关于显示处理器需要检索的图像内容。

然而，技术不限于此。在一些实例中，显示处理器或一些其它处理单元可执行本发明中描述的技术，且在这类实例中，处理电路可包含显示处理器或这些其它处理单元中的一或多个。处理电路还可指处理器(例如，CPU)与显示处理器的组合。因此，术语“处理电路”一般用于指执行实例技术的集成电路组件且可包含处理器(CPU、应用程序处理器或GPU)、显示处理器、两个的组合或组件的一些其它组合。处理电路可以是通用可编程处理器、专用逻辑电路或两个的组合。

图1是说明根据本发明中所描述的一或多个实例技术用于图像显示的实例装置的框图。图1说明装置10，其实例包含(但不限于)如媒体播放器的视频装置、机顶盒、如移动电话的无线手持机(例如，所谓的智能电话)、个人数字助理(PDA)、台式计算机、笔记本计算机、游戏控制台、视频会议单元、平板计算装置、数字查询一体机、数字指示牌和类似物。

在图1的实例中，装置10包含处理器12、图形处理单元(GPU)14、系统存储器16、视频解码器17、显示处理器18、显示器19、用户界面20和收发器模块22。在装置10是移动装置的实例中，显示处理器18是移动显示处理器(MDP)。在一些实例中，如装置10是移动装置的实例，处理器12、GPU 14、视频解码器17和显示处理器18可形成为集成电路(IC)。举例来说，IC可视为芯片封装内的处理芯片，且可以是芯片上系统(SoC)。在一些实例中，处理器12、GPU 14、视频解码器17和显示处理器18中的两个或更多个可一起容纳于相同IC中且另一个或其它的容纳于不同集成电路(即，不同芯片封装)中，或所有四个可容纳于不同IC中或容纳于相同IC上。

处理器12、GPU 14、视频解码器17和显示处理器18的实例包含(但不限于)一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。处理器12可以是装置10的中央处理单元(CPU)。在一些实例中，GPU 14可以是包含集成和/或离散逻辑电路的专用硬件，所述电路为GPU 14提供适用于图形处理的大规模平行处理能力。在一些情况下，GPU 14还可包含通用处理能力，且在实施通用处理任务(即，非图形相关任务)时可称作通用GPU(GPGPU)。显示处理器18还可以是设计成从系统存储器16检索图像内容、将图像内容合成到图像帧中且将图像帧输出到显示器19的专用集成电路硬件。

视频解码器17可以是专用集成电路硬件或硬件执行软件，或其组合。在任一情况下，视频解码器17配置成解码视频数据。举例来说，视频解码器17可接收视频解码器17解析的位流以确定解码图片的方式。视频解码器17可解码视频数据以生成用于显示的图片。图片可形成待合成的层中的一个以用于呈现在显示器上。

处理器12可执行各种类型的应用程序。应用程序的实例包含网络浏览器、电子邮件应用程序、电子数据表、文字处理应用程序、视频游戏或生成用于显示的可视对象的其它应用程序。在一些实例中，处理器12可执行应用程序以生成用于电视、电影或其它查看应用程序的视频内容。系统存储器16可存储用于执行一或多个应用程序的指令。在处理器12上执行应用程序使得处理器12产生用于待显示的图像内容的图形数据。处理器12可将图像内容的图形数据传输到GPU 14以用于基于处理器12传输到GPU 14的指令或命令来进一步处理。

处理器12可根据特定应用处理接口(API)与GPU 14通信。这类API的实例包含的API、克罗诺斯(Khronos)组织的或OpenGL以及OpenCL^TM；然而，本发明的各方面不限于DirectX、OpenGL或OpenCL API，且可扩展到其它类型的API。此外，本发明中描述的技术不需要根据API起作用，且处理器12和GPU 14可利用任何通信技术。

系统存储器16可以是装置10的存储器。系统存储器16可包括一或多个计算机可读存储媒体。系统存储器16的实例包含(但不限于)随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器，或可用于运载或存储呈指令和/或数据结构形式的所要程序代码且可由计算机或处理器存取的其它媒体。

在一些方面，系统存储器16可包含使得处理器12、GPU 14、视频解码器17和/或显示处理器18执行在本发明中归属到处理器12、GPU 14、视频解码器17和/或显示处理器18的功能的指令。因此，系统存储器16可以是具有存储于其上的指令的计算机可读存储媒体，当执行所述指令时使得一或多个处理器(例如，处理器12、GPU 14、视频解码器17和/或显示处理器18)执行各种功能。

系统存储器16是非暂时性存储媒体。术语“非暂时性”指示存储媒体不以载波或传播信号体现。然而，术语“非暂时性”不应解释为意味着系统存储器16是非可移动的或其内容是静态的。作为一个实例，可从装置10移除系统存储器16，且将所述系统存储器移动到另一装置。作为另一实例，大体类似于系统存储器16的记忆体可插入到装置10中。在某些实例中，非暂时性存储媒体可存储可随时间改变的数据(例如，在RAM中)。

系统存储器16在处理器12、视频解码器17、GPU 14和显示处理器18的外部。举例来说，处理器12、视频解码器17、GPU 14和显示处理器18可利用总线与系统存储器16通信，其中这一总线由装置10的各种组件共用。系统存储器16不应与处理器12、视频解码器17、GPU14和显示处理器18的本地存储器混淆。举例来说，显示处理器18的本地存储器可由显示处理器18的组件存取而不需要存取连接到系统存储器16的总线。本地存储器提供快速存取，而经由系统存储器16的存取可较慢。在一些实例中，处理器12、视频解码器17、GPU 14和显示处理器18可共用公用本地存储器，但实例技术不限于此。

在本发明中所描述的技术中，处理器12可指示GPU 14再现图形图像内容。举例来说，在处理器12上执行的应用程序可生成待显示的底色图案(例如，背景)的图形图像内容，在处理器12上执行的另一应用程序可生成指示日时间的图形图像内容，在处理器12上执行的另一应用程序可生成指示无线信号强度的图形图像内容(例如，用于支持无线通信的装置，如智能电话、平板计算机、计算机、电视机、游戏控制台或类似装置)等等。处理器12的框架(例如，在处理器12上执行的软件模块、在处理器12上执行的硬件，或其组合)可指示GPU14再现由这些应用程序中的每一个生成的图形图像内容。处理器12的框架的一个实例可以是在处理器12上执行的操作系统(OS)。

转而，GPU 14再现由这些应用程序中的每一个生成的图形图像内容。举例来说，来自相应应用程序的相应图形图像内容可视为相应层。与以上实例一致，一个层是底色图案，另一层是时间信息，另一层是无线信号强度，等等。GPU 14可将所得层存储于系统存储器16中的层缓冲器中。

除GPU 14之外，视频解码器17也生成待显示的图像内容(例如，图片)。视频解码器17生成的图片形成层缓冲器中的视频层。为了生成视频层的图片，视频解码器17一般逐块重新建构图片块，即通过重新建构形成总体图片的部分的多个块，但在一些情况下视频解码器17有可能直接重新建构完整图片。视频解码器17在块上实施各种解码模式，如帧间预测解码和帧内预测解码，以重新建构块。除帧间预测和帧内预测之外，视频解码器17可实施跳过模式以用于重新建构图片的一或多个块。

如果块待以跳过模式解码，那么视频编码器可包含编码的视频位流中的语法元素以指示用于块的跳过模式或用于包含块的较大区域的跳过模式。视频解码器17解析包含视频数据的位流，所述视频数据用于生成图片且确定指示是否启用跳过模式的语法元素指示跳过模式启用以用于块。另外，视频解码器17确定待以跳过模式解码的块的参考图片。视频编码器用来指示块以跳过模式编码的语法元素可以是一位标记或多位语法元素的部分。跳过模式编码的指示可以是逐块、逐层或逐帧的，且可根据现有视频编码标准(例如，H.264或H.265)预制，但技术不限于任何特定视频编码标准或受限于基于标准的视频编码。

视频解码器17从参考图片复制相同位置块(例如，在相同位置中)的像素值作为待解码的块。在这个实例中，在解码后，块具有与参考图片中的相同位置块相同的像素值。如更详细地描述，本发明中所描述的实例利用指示块是否是跳过模式解码的信息来确定显示处理器18需要从系统存储器16检索哪一区域以用于合成。

显示处理器18可从系统存储器16中的层缓冲器检索相应层且合成层从而形成单一图像帧。显示处理器18随后可将图像帧输出到显示器19。另外，显示处理器18可将合成图像帧存储于显示处理器18的本地存储器或显示器19的本地存储器中。

层的合成可视为将层拼接在一起或以其他方式组合层从而形成一个图像。层可显示于彼此顶部上(例如，基于z级层次)，其中一个层部分或完全地遮挡另一层。作为一实例，GPU 14可输出用户界面的图形内容以用于控制视频重放(例如，快进按钮、暂停按钮等)。，且视频解码器17可生成图片以用于视频重放。在这个实例中，用户界面可以是一个层且视频重放中的图片是另一层。显示处理器18作为合成的部分可在视频重放中利用用户界面覆盖图片的一部分，即以使得用户界面表现为覆叠在图片上。

一般来说，显示处理器18较适用于图像合成。然而，显示处理器18可需要从系统存储器16检索相对大量的图像内容资料以用于合成。检索这类相对大的数据量不利地影响存储器带宽，这是因为与装置10的组件互连的总线通过转移这一大量资料而堵塞，这转而使得装置10的其它组件在执行相应功能中延迟。此外，如果显示处理器18必须合成相对大量的图像内容，那么图像合成可延迟。

限制显示处理器18需要检索的图像内容资料的量的一种方式是使显示处理器18仅检索层相对于紧接在前的合成图像而改变的那些部分。对于其余部分，显示处理器18再使用紧接在前的合成图像的图像内容，即按显示次序的。举例来说，对于其余部分，显示处理器18从本地存储器检索像素值。

举例来说，显示处理器18可配置成合成层以生成可在特定速率(例如，30帧每秒、15帧每秒等)下显示的合成图像。然而，并非全部图像内容从一个显示情况到下一显示情况改变。换句话说，一些图像内容从合成图像到合成图像保持相同。如果图像内容并未改变，那么显示处理器18可再使用来自先前合成图像的图像内容而非不必要地从系统存储器16检索这一并未改变的图像内容。

作为一实例，背景底色图案层一般从一个合成图像到下一合成图像并未改变。在这种情况下，每当显示处理器18执行合成以生成合成图像时，显示处理器18可不需要检索背景底色图案的图像内容。确切地说，显示处理器18可再使用从一个合成图像到下一合成图像并未改变的背景底色图案的部分。

在一些情况下，处理器12可能够确定从一个合成图像到下一合成图像改变的层内的所有区域，且使得显示处理器18(例如，向显示处理器18提供指令以)检索改变的仅确定的区域的图像内容(例如，像素值)。图像内容从一个合成图像到下一合成图像改变的区域可称作脏区。为简洁起见，从一个合成图像到下一合成图像改变的层内的区域称为DR(脏区)。

举例来说，处理器12可确定从一个合成图像到下一合成图像改变的相应层的区域的并集作为更新区。举例来说，处理器12可确定更新区＝并集(所有层的DR)。并集操作产生相应层中相对于紧接在前的合成图像而改变的所有区域的组合面积。处理器12随后可向显示处理器18提供指令以检索仅更新区的图像内容，且不检索其它区域的图像内容，且使得显示处理器18进行合成。举例来说，如果显示器19是命令方式面板(例如，所谓的智能面板)，那么显示处理器18可能够合成仅更新区域。

处理器12可能够基于根据OpenGL API生成的命令确定由GPU 14生成的图像内容相对于紧接在前的合成图像而改变的区域。举例来说，如果处理器12根据OpenGL API发指令给GPU 14，那么处理器12可利用给GPU 14的指令来确定层的哪一区域改变。

然而，视频解码器17可不配置成输出指示当前图片中的区域是否相对于按显示次序紧接在前的当前图片(即，当前图片是在先前图片后显示的紧接的下一图片)的先前图片而改变信息。举例来说，当前图片中的区域是紧接在前的当前图片的先前图片中的相同位置区域的一致复本是有可能的。

如果视频解码器17不提供处理器12可用于确定视频层中的区域是否从一个合成图像到下一合成图像改变的信息，那么处理器12使得显示处理器18(例如，向显示处理器18提供指令以)检索整个视频层(即，视频层始终视为完整更新层)。然而，在这种状况下，视频层可并未从一个合成图像到下一合成图像改变，但处理器12仍使得显示处理器18来检索整个视频层。

在一些情况下，如固定或低运动视频，更新区可相对小的。处理器12始终使得显示处理器刷新完整视频层(例如，再合成图片)，在这类情况下，导致硬件资源的低效利用，尤其对于装置10的电池操作实例，且尤其在装置10正播放高分辨率内容时，如HD/2k/4k消退内容。

在以上实例中，图片的一或多个区域可具有与紧接在前的图片的一或多个相同位置区域相同的图像内容。在一些实例中，整个图片可以是按显示次序紧接在前的图片的复本。对于这类图片，向显示处理器18提供指令以检索作为紧接先前图片的复本的图片是计算浪费。

在本发明中所描述的技术中，处理器12可确定视频解码器17是否通过复制紧接在当前图片之前显示的先前图片中的一或多个相应相同位置区域的像素值来生成当前图片中的一或多个区域。作为一个例子，视频解码器17可配置成(例如，视需要通过视频解码器17的更新软件)输出指示当前图片的哪一块(例如，区域)以跳过模式解码的信息且输出指示这些块的参考图片的信息。如果处理器12基于输出信息利用作为按显示次序紧接在当前图片前的先前图片的参考图片来确定当前图片中的块以跳过模式解码，那么处理器12可确定这些区域并未从一个图片到下一图片改变。处理器12可以其它方式确定哪一块使用跳过模式解码，其中参考图片是紧接在前的图片。另外，在整个当前图片利用作为按显示次序紧接在前的图片的参考图片以跳过模式解码的情况下，处理器12可类似地执行。以这种方式，处理器12可识别当前图片中的一或多个第一区域的，所述第一区域由复制紧接在所述当前图片之前显示的先前图片中的一或多个相应相同位置区域的像素值生成。

处理器12还可基于确定当前图片中的一或多个区域来确定当前图片的哪一区域相对于先前图片而改变，所述一或多个区域由视频解码器17复制紧接在当前图片之前显示的先前图片中的一或多个相应相同位置区域的像素值生成。换句话说，处理器12可基于当前图片中的一或多个所识别第一区域来识别当前图片相对于先前图片而改变的第二区域。

举例来说，处理器12可确定当前图片的所有区域不使用跳过模式解码，且因此向显示处理器18提供指令以从系统存储器16检索整个图片的像素值。作为另一实例，处理器12可确定块是使用跳过模式解码，且还确定跳过模式编码块的参考图片并未按显示次序紧接在图片前，且因此向显示处理器18提供指令以从系统存储器16检索这类块的像素值。在各情况下，不以跳过模式编码的块和以跳过模式编码但具有不为按显示次序紧接在图片前的参考图片的块形成当前图片可视为已相对于紧接在前的图片而改变的区域。

处理器12可向显示处理器18提供指令以从系统存储器16检索当前图片的相对于先前图片而改变的所识别第二区域的像素值，且不从系统存储器16检索一或多个第一区域的像素值(例如，利用紧接在前的图片以跳过模式解码的区域)，以用于利用一或多个层的图像内容合成当前图片以生成合成图像。作为一实例，处理器12可向显示处理器18指令提供以从层缓冲器检索当前图片的改变的所的识别区域的图像内容，且不检索当前图片的其它区域。

在一些实例中，处理器12可基于当前图片的所识别第二区域与一或多个层的图像内容的相应区域的并集来识别更新区域，所述第二区域相对于先前图片而改变，所述一或多个层的图像内容具有相对于紧接在显示合成图像之前显示的先前合成图像而改变的图像内容。在这些实例中，处理器12可向显示处理器18提供指令以合成所识别更新区域。

处理器12随后可向显示处理器18提供指令以在显示器19上显示合成图像。举例来说，处理器12可使得显示处理器18合成具有一或多个层的图像内容的所确定区域的所检索图像内容以生成合成图像。

以上实例描述为由处理器12执行。然而，本发明中所描述的技术不限于此。举例来说，在一些实例中，显示处理器18可配置成执行相对于处理器12所描述的实例技术，以及相对于显示处理器18所描述的技术。举例来说，显示处理器18可使得自身合成仅更新区域，所述更新区域是当前图片的所确定区域与一或多个层的图像内容的相应区域的并集，所述所确定的区域相对于先前图片而改变，所述一或多个层的图像内容具有相对于紧接在显示合成图像之前显示的先前合成图像而改变的图像内容或位置。

除执行这些实例技术的处理器12和/或显示处理器18之外，装置10的其它组件有可能实施以上描述的一或多个实例。因此，在本发明中，术语“处理电路”用于描述可实施本发明中所描述的实例技术的组件。处理电路的实例包含处理器12、显示处理器18、视频解码器17、GPU 14或这些组件的任何组合。

举例来说，在处理电路限于处理器12的一些情况下，显示处理器18可不同于处理电路(但有可能显示处理器18仍容纳于相同芯片中作为处理器12)。在实例中，其中显示处理器18实施以上相对于处理器12描述的实例，或处理器12和显示处理器18在一起实施以上相对于处理器12描述的实例技术，处理电路包含显示处理器18。

装置10还可包含显示器19、用户界面20和收发器模块22。装置10可包含出于清楚起见而未在图1中展示的额外模块或单元。举例来说，装置10可包含皆不在图1中展示的扬声器和麦克风，以在装置10是移动无线电话的实例中实现电话通信。此外，装置10中所展示的各种模块和单元可并不在装置10的每一实例中都是必要的。举例来说，在装置10是台式计算机的实例中，用户界面20和显示器19可在装置10外部。作为另一实例，在显示器19是移动装置或其它计算装置的触敏或压敏显示器的实例中，用户界面20可以是显示器19的部分。

显示器19可包括液晶显示器(LCD)、阴极射线管(CRT)显示器、等离子显示器、触敏显示器、压敏显示器或另一类型的显示装置。用户界面20的实例包含(但不限于)轨迹球、鼠标、键盘和其它类型的输入装置。用户界面20还可以是触摸屏且可并入作为显示器19的一部分。收发器模块22可包含允许装置10与另一装置或网络之间的无线或有线通信的电路。收发器模块22可包含调制器、解调器、放大器以及其它用于有线或无线通信的这类电路。

图2是说明具有以跳过模式解码的区域的当前图片的实例的概念图。图2说明当前图片32和先前图片33。在这个实例中，先前图片33在视频解码器17解码当前图片32之前由视频解码器17解码。另外，在本发明中所描述的技术中，当前图片32是完全解码图像(例如，在所有当前图片32上的解码过程是完全的)。当前图片32现在显示过程中，不在解码过程中。在这个实例中，先前图片33是紧接在当前图片32之前显示的图片(例如，先前图片33是按显示次序紧接在当前图片32前的先前图片)。系统存储器16可包含存储紧接在当前图片32之前显示的先前图片32的缓冲器。

当前图片32包含区域34A、区域36A和区域38A。区域34A、36A和38A可以是当前图片32的单个块(例如，宏块)或当前图片32的块的群组。先前图片33包含相应相同位置区域34B、区域36B和区域38。区域34A是与区域34B相同位置，这是因为区域34A在当前图片32内处于与在先前图片33内的区域34B相同位置。同样适用于区域36A、区域36B和区域38A、区域38B。

如果区域34A、36A和38A利用作为先前图片33的参考图片各自由视频解码器17以跳过模式解码，那么像区域34A的素值(例如，明度和彩度值或RGB值)是区域34B的对应像素值的复本，且同样适用于区域36A、区域36B和区域38A、区域38B。在这种情况下，处理器12可识别当前图片32中的区域34A、36A和38A作为由复制紧接在当前图片32之前显示的先前图片33中的一或多个相应相同位置区域34B、区域36B和区域38B的像素值生成的。

处理器12可基于当前图片32中的一或多个所识别第一区域(例如，一或多个区域34A、36A和38A)来识别当前图片32的相对于先前图片33而改变的第二区域。举例来说，处理器12可确定当前图片32中相对于先前图片33中的相同位置区域而改变的所有区域，除34A、36A和38A以外。处理器12可向显示处理器18提供指令以从系统存储器16检索当前图片的相对于先前图片而改变的所识别第二区域(例如，除34A、36A和38A以外的所有区域)的像素值，且不从系统存储器16检索一或多个第一区域(例如，区域34A、36A和38A)的像素值，以用于合成具有一或多个层的图像内容的当前图片以生成合成图像。

在一些实例中，显示处理器18从本地存储器(例如，高速缓冲存储器、显示处理器18的暂存器等)检索一或多个所识别第一区域的像素值。举例来说，在合成后，显示处理器18在本地存储器中存储合成图像。在这种情况下，在合成当前图片期间，对于一或多个所识别第一区域的像素值，显示处理器18能够从本地存储器而非从系统存储器16检索其像素值。举例来说，处理器12可向显示处理器18提供指令以从系统存储器16中的层缓冲器检索当前图片的改变的所识别第二区域的像素值。另外，处理器12可向显示处理器18提供指令以从显示处理器18的本地存储器(这可包含显示器19的存储器)检索一或多个第一区域的像素值。

处理器12还可向显示处理器18提供指令以输出用于在显示器19上显示合成图像的信息。举例来说，显示处理器18可输出值到显示器19，所述值使得显示器19上的像素以不同颜色照明。显示器19上的像素的照明可基于由显示处理器18基于合成图像的像素值确定的输出值。

图3是说明用于确定哪些区域待合成的实例技术的流程图。视频解码器17可解析位流以确定指示块或图片或块的群组是否待以跳过模式解码的语法元素指示块或图片或块的群组是否待以跳过模式解码(40)。视频解码器17可向处理器12输出指示块或图片或块的群组是否以跳过模式解码且进一步指示其参考图片的信息。在一些实例中，并非输出用于每一跳过模式解码块或多个块的信息，当参考图片是按显示次序紧接在前的图片时，视频解码器17可向处理器12输出指示一或多个块仅以跳过模式解码的信息。

在这个实例中，如果处理器12确定整个图片以跳过模式解码(42的是)，那么处理器12可确定当前图片32的图像内容不相对于先前图片33而改变。换句话说，处理器12可确定在当前图片32中不存在脏区(44)。处理器12可将指示当前图片32全部以跳过模式解码的元数据写入到输出缓冲器(例如，处理器12的系统存储器16或本地存储器)以使得处理器12可稍晚使用这一信息来指示显示处理器18关于显示处理器18待从系统存储器16检索的层和图像内容以用于合成(50)。

如果处理器12识别当前图片32的一些块但非全部块以跳过模式解码(42的是)，那么处理器12可利用作为按显示次序紧接在图片前的参考图片来识别以跳过模式解码的当前图片32的块(M)和当前图片32中的块(S)的总数(46)。

在这个实例中，处理器12可从M减去S以识别当前图片32的哪些区域相对于先前图片33改变(48)。处理器12可将当前图片32的M-S区域相对于先前图片33改变的元数据写入到输出缓冲器(例如，处理器12的系统存储器16或本地存储器中)以使得处理器12可稍晚使用这一信息指示显示处理器18关于显示处理器18待从系统存储器16检索的层和图像内容以用于合成(50)。

图4是说明根据本发明的用于图像合成和显示的实例技术的流程图。为了简单起见，本发明相对于处理电路进行描述，所述处理电路的实例包含处理器12、显示处理器18、视频解码器17或GPU 14中的任一个或任何组合。

处理电路可配置成识别当前图片32中由复制存储于系统存储器16中的紧接在当前图片32之前显示的先前图片33中的一或多个相应相同位置区域34B、36B和38B的像素值生成的一或多个第一区域(例如，区域34A、36A和38A)(100)。处理电路可基于当前图片32中的一或多个第一区域(例如，区域34A、36A和38A)的确定来识别当前图片32的相对于先前图片33而改变的第二区域(102)。

处理电路可向显示处理器18提供指令以从系统存储器16检索当前图片的相对于先前图片而改变的所识别第二区域的像素值，且不从系统存储器16检索一或多个第一区域的像素值(例如，由于这些区域待从本地存储器检索)，以用于合成具有一或多个层(例如，用户层间、背景层等)的图像内容的当前图片以生成合成图像(104)。以这种方式，需要从系统存储器16检索的数据量可减少，这是由于资料中的一些正从本地存储器检索，这消耗较少功率且可需要较少时间。处理电路可向显示处理器18提供指令以输出用于显示合成图像的信息(106)。

在某一实例中，处理电路配置成基于当前图片32的所确定区域34A、36A和38A与一或多个层的图像内容的相应区域的并集来识别更新区域，所述所确定区域相对于先前图片33而改变，所述一或多个层的图像内容具有相对于紧接在显示合成图像之前显示的先前合成图像而改变的图像内容。在这些实例中，处理电路可向显示处理器18提供指令以合成所识别更新区域。

此外，出于存储器带宽节省目的，处理电路可使得显示处理器18从层缓冲器检索当前图片32的改变的所确定区域34A、36A和38A的图像内容，且不检索当前图片32的其它区域。在这些实例中，处理电路可使得显示处理器18合成具有一或多个层的图像内容的所确定区域34A、36A和38A的检索图像内容合成图像。以生成

在一或多个实例中，所描述功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读介质可包含计算机可读存储媒体，其对应于如数据存储媒体的有形媒体。以这种方式，计算机可读媒体通常可以对应于非暂时性的有形的计算机可读存储媒体。数据存储媒体可以是可由一或多个计算机或者一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制，这类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。应理解，计算机可读存储媒体和数据存储媒体并不包含载波、信号或其它暂时性媒体，而是替代地涉及非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上的组合也应包含于计算机可读媒体的范围内。

指令可以由一或多个处理器执行，所述一或多个处理器如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可在配置成编码和解码的专用硬件和/或软件模块内提供，或并入在组合编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于多种装置或设备中，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调配置成执行所揭示的技术的装置的功能方面，但未必需要由不同硬件单元实现。确切地，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (25)

1.一种合成用于显示的图像的方法，所述方法包括：基于紧接在当前图片之前显示的先前图片的像素值来重新建构所述当前图片的至少一部分，其中重新建构包括生成所述当前图片中由复制紧接在所述当前图片之前显示的所述先前图片中的一或多个相同位置区域的像素值生成的一或多个第一区域；在重新建构所述当前图片之后，利用处理电路且基于用于重新建构所述当前图片的解码模式来识别所述当前图片中的所述一或多个第一区域；在重新建构所述当前图片之后，利用所述处理电路来识别所述当前图片的一或多个第二区域，所述第二区域基于所述当前图片中的所述所识别一或多个第一区域相对于所述先前图片而改变；以及利用所述处理电路向显示处理器提供指令以从系统存储器检索所述当前图片的相对于所述先前图片而改变的所述所识别一或多个第二区域的像素值，且不从所述系统存储器检索所述所识别一或多个第一区域的像素值，以用于合成具有一或多个层的图像内容的所述当前图片以生成合成图像。

2.根据权利要求1所述的方法，其进一步包括：向所述显示处理器提供指令以输出用于显示所述合成图像的信息。

3.根据权利要求1所述的方法，其进一步包括：基于所述当前图片的所述所识别一或多个第二区域与所述一或多个层的图像内容的相应区域的并集来识别更新区域，所述第二区域相对于所述先前图片而改变，所述一或多个层的图像内容具有相对于紧接在显示所述合成图像之前显示的先前合成图像而改变的图像内容；以及向所述显示处理器提供指令以合成所述所识别更新区域。

4.根据权利要求1所述的方法，其中所述当前图片包括第一图片，所述方法进一步包括：确定第二图片的全部由复制紧接在所述第二图片之前显示的第三图片的像素值生成；响应于确定所述第二图片的全部由复制像素值生成，向所述显示处理器提供指令以利用所述一或多个层的图像内容合成所述第二图片，而不从所述系统存储器检索所述第二图片的任何像素值。

5.根据权利要求1所述的方法，其中向所述显示处理器提供指令以检索像素值包括向所述显示处理器提供指令以从所述系统存储器中的层缓冲器检索所述当前图片的改变的所述所识别一或多个第二区域的像素值，所述方法进一步包括：向所述显示处理器提供指令以从所述显示处理器的本地存储器检索所述所识别一或多个第一区域的像素值。

6.根据权利要求1所述的方法，其中识别所述当前图片中由复制紧接在所述当前图片之前显示的所述先前图片中的所述一或多个相应相同位置区域的像素值生成的所述一或多个第一区域包括：确定所述当前图片中的所述一或多个第一区域以跳过模式进行解码；以及确定用于所述跳过模式的参考图片是紧接在所述当前图片之前显示的所述先前图片。

7.根据权利要求1所述的方法，其中所述处理电路包含所述显示处理器。

8.根据权利要求1所述的方法，其进一步包括利用所述显示处理器合成具有所述一或多个层的图像内容的所述所识别一或多个第二区域以通过拼接所述所识别一或多个第二区域与所述一或多个层的图像内容的图像内容来生成合成图像。

9.一种用于合成用于显示的图像的装置，所述装置包括：显示处理器；系统存储器，其配置成存储紧接在当前图片之前显示的先前图片；以及处理电路，其配置成：基于紧接在所述当前图片之前显示的先前图片的像素值来重新建构当前图片的至少一部分，其中为了重新建构，所述处理电路配置成由复制紧接在所述当前图片之前显示的所述先前图片中的一或多个相应相同位置区域的像素值来生成所述当前图片中的一或多个第一区域；在重新建构所述当前图片之后，基于用于重新建构所述当前图片的解码模式来识别所述当前图片中的所述一或多个第一区域；在重新建构所述当前图片之后，识别所述当前图片的一或多个第二区域，所述第二区域基于所述当前图片中的所述所识别一或多个第一区域相对于所述先前图片而改变；以及向所述显示处理器提供指令以从所述系统存储器检索所述当前图片的相对于所述先前图片而改变的所述所识别一或多个第二区域的像素值，且不从所述系统存储器检索所述所识别一或多个第一区域的像素值，以用于合成具有一或多个层的图像内容的所述当前图片以生成合成图像。

10.根据权利要求9所述的装置，其中所述处理电路配置成向所述显示处理器提供指令以输出用于显示所述合成图像的信息。

11.根据权利要求9所述的装置，其中所述处理电路配置成：基于所述当前图片的所述所识别一或多个第二区域与所述一或多个层的图像内容的相应区域的并集来识别更新区域，所述第二区域相对于所述先前图片而改变，所述一或多个层的图像内容具有相对于紧接在显示所述合成图像之前显示的先前合成图像而改变的图像内容；以及向所述显示处理器提供指令以合成所述所识别更新区域。

12.根据权利要求9所述的装置，其中所述当前图片包括第一图片，且其中所述处理电路配置成：确定第二图片的全部由复制紧接在所述第二图片之前显示的第三图片的像素值生成；响应于确定所述第二图片的全部由复制像素值生成，向所述显示处理器提供指令以合成具有所述一或多个层的图像内容的所述第二图片，而不从所述系统存储器检索所述第二图片的任何像素值。

13.根据权利要求9所述的装置，其进一步包括：所述系统存储器中的层缓冲器，其中所述处理电路配置成：向所述显示处理器提供指令以从所述系统存储器中的所述层缓冲器检索所述当前图片的改变的所述所识别一或多个第二区域的像素值；以及向所述显示处理器提供指令以从所述显示处理器的本地存储器检索所述所识别一或多个第一区域的像素值。

14.根据权利要求9所述的装置，其中为了识别所述当前图片中的由复制紧接在所述当前图片之前显示的所述先前图片中的所述一或多个相应相同位置区域的像素值生成的所述一或多个第一区域，所述处理电路配置成：确定所述当前图片中的所述一或多个第一区域以跳过模式进行解码；以及确定用于所述跳过模式的参考图片是紧接在所述当前图片之前显示的所述先前图片。

15.根据权利要求9所述的装置，其中所述处理电路包含所述显示处理器。

16.根据权利要求9所述的装置，其中所述显示处理器配置成合成具有一或多个层的图像内容的所述所识别一或多个第二区域以通过拼接所述所识别一或多个第二区域与所述一或多个层的图像内容的图像内容来生成所述合成图像。

17.根据权利要求9所述的装置，其中所述装置包括以下中的一个：无线装置，其包括配置成显示所述合成图像的显示器；集成电路；或微处理器。

18.一种用于合成用于显示的图像的装置，所述装置包括：用于基于紧接在当前图片之前显示的先前图片的像素值来重新建构所述当前图片的至少一部分的装置，其中重新建构包括由复制紧接在所述当前图片之前显示的所述先前图片中的一或多个相应相同位置区域的像素值生成所述当前图片中的一或多个第一区域；在重新建构所述当前图片之后且基于用于重新建构所述当前图片的解码模式，用于识别所述当前图片中的所述一或多个第一区域的装置；在重新建构所述当前图片之后，用于识别所述当前图片的一或多个第二区域的装置，所述第二区域基于所述当前图片中的所述所识别一或多个第一区域相对于所述先前图片而改变；以及用于向显示处理器提供指令以从系统存储器检索所述当前图片的相对于所述先前图片而改变的所述所识别一或多个第二区域的像素值的装置，且不从所述系统存储器检索所述所识别一或多个第一区域的像素值，以用于合成具有一或多个层的图像内容的所述当前图片以生成合成图像。

19.根据权利要求18所述的装置，其进一步包括：用于向所述显示处理器提供指令以输出用于显示所述合成图像的信息的装置。

20.根据权利要求18所述的装置，其进一步包括：用于基于所述当前图片的所述所识别一或多个第二区域与所述一或多个层的图像内容的相应区域的并集来识别更新区域的装置，所述第二区域相对于所述先前图片而改变，所述一或多个层的图像内容具有相对于紧接在显示所述合成图像之前显示的先前合成图像而改变的图像内容；以及用于向所述显示处理器提供指令以合成所述所识别更新区域的装置。

21.根据权利要求18所述的装置，其中用于识别所述当前图片中的由复制紧接在所述当前图片之前显示的所述先前图片中的所述一或多个相应相同位置区域的像素值生成的所述一或多个第一区域的所述装置包括：用于确定所述当前图片中的所述一或多个第一区域以跳过模式进行解码的装置；以及用于确定用于所述跳过模式的参考图片是紧接在所述当前图片之前显示的所述先前图片的装置。

22.一种具有存储于其上的指令的计算机可读存储媒体，当执行所述指令时使得用于合成用于显示的图像的装置的一或多个处理器进行以下操作：基于紧接在当前图片之前显示的先前图片的像素值来重新建构所述当前图片的至少一部分，其中使得一或多个处理器重新建构的指令包括使得所述一或多个处理器由复制紧接在所述当前图片之前显示的所述先前图片中的一或多个相应相同位置区域的像素值生成所述当前图片中的一或多个第一区域的指令；在重新建构所述当前图片之后，基于用于重新建构所述当前图片的解码模式来识别所述当前图片中的所述一或多个第一区域；在重新建构所述当前图片之后，识别所述当前图片的一或多个第二区域，所述第二区域基于所述当前图片中的所述所识别一或多个第一区域相对于所述先前图片而改变；以及向显示处理器提供指令以从系统存储器检索所述当前图片的相对于所述先前图片而改变的所述所识别一或多个第二区域的像素值，且不从所述系统存储器检索所述所识别一或多个第一区域的像素值，以用于合成具有一或多个层的图像内容的所述当前图片以生成合成图像。

23.根据权利要求22所述的计算机可读存储媒体，其进一步包括使得一或多个处理器进行以下操作的指令：向所述显示处理器提供指令以输出用于显示所述合成图像的信息。

24.根据权利要求22所述的计算机可读存储媒体，其进一步包括使得一或多个处理器进行以下操作的指令：基于所述当前图片的所述所识别一或多个第二区域与所述一或多个层的图像内容的相应区域的并集来识别更新区域，所述第二区域相对于所述先前图片而改变，所述一或多个层的图像内容具有相对于紧接在显示所述合成图像之前显示的先前合成图像而改变的图像内容；以及向所述显示处理器提供指令以合成所述所识别更新区域。

25.根据权利要求22所述的计算机可读存储媒体，其中使得所述一或多个处理器识别所述当前图片中由复制紧接在所述当前图片之前显示的所述先前图片中的所述一或多个相应相同位置区域的像素值生成的所述一或多个第一区域的所述指令包括使得所述一或多个处理器进行以下操作的指令：确定所述当前图片中的所述一或多个第一区域以跳过模式进行解码；以及确定用于所述跳过模式的参考图片是紧接在所述当前图片之前显示的所述先前图片。