CN105378791A - 经抽取图像数据的传输及恢复 - Google Patents

Abstract

一种处理装置，其接收包括一或多个色度通道及一亮度通道的第一组图像数据。所述处理装置降低所述一或多个色度通道的分辨率以产生一或多个分辨率降低的色度通道。所述处理装置将所述亮度通道及所述一或多个分辨率降低的色度通道布置成第二组图像数据。所述亮度通道及所述一或多个分辨率降低的色度通道的空间坐标在所述第二组图像数据的空间位置中不重叠。所述处理装置将所述第二组图像数据传输到下游装置。

Description

经抽取图像数据的传输及恢复

技术领域

本发明的实施例涉及图像处理，且更特定来说，涉及视频或图像内的经抽取颜色通道的传输、接收及恢复。

背景技术

众所周知，人类视觉系统(下称“HVS”)在亮度域中相比于在颜色域中对空间细节更敏感。此效应的精确测量已表明，在正常白天观察条件下，HVS针对明度细节相比于针对颜色细节多约2.2倍的空间视敏度。图像及视频(例如见于JPEG(参看ISO/IEC10918-1:1994)及大多数视频压缩系统，例如MPEG及其衍生物(参看ISO/IEC13818、ISO/IEC14496及ISO/IEC23008))的有效传输及处理通过将明度(Y或亮度)通道与颜色(CbCr或色度)通道分离并接着在编码及传输之前按一个倍频程进行抽取而降低色度通道的分辨率来充分利用此效应。此通常被称为4:2:0色度子采样。这些经抽取色度通道的存在是通过位流旗标而从编码器发信到解码器。在接收及解码后，位流旗标的存在就通常通过简单的升采样过程(例如，双三次插值或双线性插值)向解码器指示按比例放大色度通道。

按一个以上倍频程抽取色度通道可显著地降低待传输的信息的量，但是经解码及经按比例放大的色度通道展现包含小对象的降低的饱和度的多种假象及颜色溢出，颜色溢出为颜色从小对象溢入到相邻背景对象中的感知。主要出于此原因，在任何当前图像或视频压缩标准中不支持按一个以上倍频程抽取色度通道。

在使用更高级的按比例放大方法进行图像引导式按比例缩放时已存在一些近期工作，例如在科普夫(Kopf)、约翰尼斯(Johannes)等人的“联合双边升采样”(美国计算机协会图形学(TOG)(ACMTransactionsonGraphics)，第26卷，第3期.ACM，2007年(其以引用的方式并入本文中))中所教示，以联合双边采样的形式允许3D图像的经抽取深度图的恢复，所述3D图像可应用于经抽取色度通道的恢复，所述经抽取色度通道已按一个以上倍频程抽取。然而，由于位流语法不支持发信按一个以上倍频程抽取的此类通道，故实施这些方法需要对图像及视频的编码及解码标准进行紧耦合及改变。

另外，按一个以上倍频程简单地按比例缩小色度通道并传递与全分辨率亮度通道共同混合的经抽取色度通道会使大多数视频解码器的运动估计混淆，这是由于它们依赖于亮度及色度通道的空间对应性以便实现准确的运动估计，借此降低它们的效率。另外，在针对图像编码及视频编码器两者的低位率、高量化的情景中，经共同混合的色度通道可在亮度通道上遗留可见的印记，从而在亮度通道上造成可辨认为色度通道的阴影的假象。

发明内容

通过提供一种用于按一个以上倍频程抽取的色度通道的传输、接收及恢复及按比例放大的系统及方法而在所属领域中补救上述问题且实现技术解决方案。第一处理装置的第一颜色通道处理器通过子采样按一个以上倍频程抽取输入图像或视频的色度通道以创建经抽取色度通道。所述第一颜色通道处理器将全分辨率亮度通道及经抽取色度通道布置在新的第二图像或视频的不同空间位置中，使得它们不重叠。所述第一颜色通道处理器将所述第二图像或视频传递到编码器。所述编码器将所述经编码的所述第二图像或视频传递到传输器，所述传输器将所述经编码的第二图像或视频传输到第二处理装置。所述第一处理装置通过带内或带外发信方法中的任一者向所述第二处理装置发信所述经抽取色度通道的存在。所述第二处理装置用基于标准的解码器解码所述经编码的第二图像以创建经解码的第二图像。所述第二处理装置的第二颜色通道处理器将所述经解码的第二图像的所述亮度及色度非重叠空间布置分离成分离通道。所述第二颜色通道处理器使用所述经分离亮度通道作为统计先验而执行所述经分离的经抽取色度通道的联合双边升采样以匹配于所述经分离亮度通道的分辨率。所述联合双边升采样可包括逐倍频程多尺度联合双边升采样。所述第二处理装置可进一步对所述经恢复色度通道执行直方图拉伸操作。

通过提供一种用于编码图像数据的系统及方法而在所属领域中补救上述问题且实现技术解决方案。第一处理装置的颜色通道处理器接收包括一或多个色度通道及一亮度通道的第一组图像数据。所述颜色通道处理器降低所述一或多个色度通道的分辨率以产生一或多个分辨率降低的色度通道。所述颜色通道处理器将所述亮度通道及所述一或多个分辨率降低的色度通道布置成第二组图像数据。所述亮度通道及所述一或多个分辨率降低的色度通道的空间坐标在所述第二组图像数据的空间位置中不重叠。所述处理装置将所述第二组图像数据传输到下游装置。

在实例中，所述第一组图像数据及所述第二组图像数据可由多个像素组成，所述多个像素中的每一像素具有所述一或多个色度通道及所述亮度通道。

在实例中，降低所述一或多个色度通道的所述分辨率可包括按至少一个倍频程抽取所述一或多个色度通道。在实例中，按至少一个倍频程抽取所述一或多个色度通道可包括按一个以上倍频程抽取所述一或多个色度通道。

在实例中，降低所述一或多个色度通道的所述分辨率可包括使用降采样方法抽取所述一或多个色度通道。使用降采样方法抽取所述一或多个色度通道可包括使用插值方法通过连续地应用单倍频程降采样步骤抽取所述一或多个色度通道。

在实例中，所述处理装置可向所述下游装置传输包括所述第一组图像数据的所述一或多个色度通道的所述分辨率的降低程度的信息。在实例中，所述处理装置可向所述下游装置传输包括所述第二组图像数据的所述亮度通道及所述一或多个分辨率降低的色度通道的所述布置的信息。所述信息可包括所述亮度通道及所述一或多个分辨率降低的色度通道的所述空间坐标不重叠的指示。

在实例中，所述颜色通道处理器可将所述第二组图像数据传输到编码器。所述编码器可操作以使用编码方法编码所述第二组图像数据。所述编码器可将所述经编码的第二组图像数据传输到传输器。所述传输器可将所述经编码的第二组图像数据传输到所述下游装置。

通过提供一种用于解码图像数据的系统及方法而在所属领域中补救上述问题且实现技术解决方案。第一处理装置从第二处理装置接收包括一或多个色度通道及一亮度通道的第一组图像数据。所述一或多个色度通道在分辨率方面相对于所述亮度通道而降低。所述第一处理装置进一步从所述第二处理装置接收包括所述一或多个色度通道的所述分辨率的降低程度的第一信息及包括所述亮度通道及所述一或多个分辨率降低的色度通道的空间布置的第二信息。所述第一处理装置的颜色通道处理器鉴于所述第二信息而反转所述亮度通道及所述一或多个分辨率降低的色度通道的所述空间布置以产生第二组图像数据。所述颜色通道处理器鉴于所述第一信息而恢复所述一或多个分辨率降低的色度通道的所述分辨率以实质上匹配于所述经分离亮度通道的所述分辨率以产生第三组图像数据。所述第一处理装置将所述第三组图像数据传输到下游装置。

在实例中，所述第一组图像数据、所述第二组图像数据及所述第三组图像数据是由多个像素组成，所述多个像素中的每一像素具有所述一或多个色度通道及所述亮度通道。

在实例中，所述第一信息可指示按至少一个倍频程抽取所述一或多个分辨率降低的色度通道。在实例中，所述第一信息可指示按一个以上倍频程抽取所述一或多个分辨率降低的色度通道。

在实例中，所述第二信息可指示所述亮度通道及所述一或多个分辨率降低的色度通道的空间坐标不重叠。

在实例中，反转所述亮度通道及所述一或多个分辨率降低的色度通道的所述空间布置可包括鉴于所述第一信息而将所述亮度通道与所述一或多个分辨率降低的色度通道分离。

在实例中，恢复所述一或多个分辨率降低的色度通道的所述分辨率以实质上匹配于所述经分离亮度通道的所述分辨率可包括执行所述经分离的经抽取色度通道的联合双边升采样以匹配于所述经分离亮度通道的所述分辨率。

在实例中，根据所述第一信息及所述第二信息使用所述经分离亮度通道作为统计先验。

在实例中，所述联合双边升采样可为所述经分离的经抽取色度通道的逐倍频程多尺度联合双边升采样。

在实例中，所述颜色通道处理器可对所述经恢复的一或多个色度通道执行直方图拉伸操作。

在实例中，恢复所述分辨率可进一步包括组合所述经分离的经恢复的一或多个色度通道及所述亮度通道以产生所述第三组图像数据。可将所述经恢复的第三组图像数据传输到显示器或下游装置。

附图说明

结合附图考虑下文提出的实例的详细描述将更容易理解本发明，且其中相同的元件符号是指类似的元件。

图1为说明实例计算系统的框图，本发明的实例可在所述实例计算系统中操作。

图2为说明与图1的编码计算系统相关联的编码方法的实例的流程图。

图3为说明解码计算系统的实例的框图，本发明的实例可在所述解码计算系统中操作。

图4为说明与图3的编码计算系统相关联的解码方法的实例的流程图。

图5为图1及3的计算系统相结合而工作的实例实施方案的框图。

图6展示全分辨率亮度通道及经双倍频程抽取的色度通道在相同空间程度中共同混合的布置(现有技术)。

图7展示通过使亮度与按一个以上倍频程抽取的色度通道共同混合而引入的阴影假象(现有技术)。

图8展示亮度通道及按一个以上倍频程子采样的色度通道的所揭露空间布置。

图9展示亮度通道及按一个以上倍频程子采样的色度通道的所揭露空间布置，所述一个以上倍频程允许更有效地使用可用帧程度。

图10展示HVS针对明度及颜色的空间分辨率敏感度。

图11展示原始全分辨率Cb通道。

图12展示当与按一个以上倍频程抽取的色度通道一起使用时通过现有技术色度按比例放大过程而引入的Cb通道中的颜色溢出(现有技术)。

图13展示通过本发明的实例恢复Cb通道。

图14说明呈计算机系统的实例形式的机器的图形表示，在所述计算机系统内可执行用于致使所述机器执行本文中论述的方法中的一或多者的一组指令。

应理解，附图是出于说明本发明的概念的目的且可不按比例。

具体实施方式

本发明的实施例提供一种用于按一个以上倍频程抽取的色度通道的抽取、传输、接收及恢复及按比例放大的系统及方法。

在实例中，第一颜色通道处理器通过子采样按一个以上倍频程抽取输入图像或视频的色度通道以创建经抽取色度通道。第一颜色通道处理器将全分辨率亮度通道及经抽取色度通道布置在新的第二图像或视频的不同空间位置中，使得全分辨率亮度通道及经抽取色度通道不重叠。第一颜色通道处理器将第二图像或视频传递到编码器。编码器将经编码的第二图像或视频传递到传输器，传输器将经编码的第二图像或视频传输到例如解码器的下游装置(例如，经由网络)。颜色通道处理器通过带内或带外发信方法中的任一者向解码器发信指示经抽取色度通道的存在的第一信息及指示全分辨率亮度通道及经抽取色度通道的非重叠空间布置的布置的第二信息。

在另一实例中，解码器用解码器读取或解码经编码的第二图像或视频以创建经解码的第二图像。第二颜色通道处理器接收并使用第一信息及第二信息以将经解码的第二图像的亮度及色度非重叠空间布置分离成分离通道。第二颜色通道处理器使用经分离亮度通道作为统计先验而执行经分离的经抽取色度通道的联合双边升采样以匹配于经分离亮度通道的分辨率。

在实例中，联合双边升采样可包括逐倍频程多尺度联合双边升采样。

在实例中，第二颜色通道处理器可进一步对经恢复色度通道执行直方图拉伸操作。

本发明的实施例允许图像及视频的传输带宽的降低而不引入可见的假象。本发明的实施例无需改变图像或视频编码器、解码器或其标准。描述一种用于发信编码器的预滤波及解码器的后滤波以发信本发明的实例系统的存在及配置的方法。

在以下描述中，陈述众多细节。然而，对于所属领域的技术人员来说将明显的是，可在无需这些特定细节的情况下实践本发明。在一些例子中，以框图形式而非详细地展示众所周知的结构及装置以便避免混淆本发明的实例。

图1为按一个以上倍频程抽取图像及视频的色度通道的实例编码计算系统100的框图，本发明的实例可在实例编码计算系统100中操作。计算系统100可从一或多个图像数据源105(例如，视频摄像机或在线存储装置或传输媒体)接收图像数据。计算系统100还可包含数字视频或图像捕获系统110及计算平台115。数字视频或图像捕获系统110可处理图像数据。在实例中，图像数据可包括一或多个静止图像、数字视频的流，或模拟视频到数字视频，其被转换为可由计算平台115作为一或多个图像数据源105而处理的形式。计算平台115可包括主机系统120，主机系统120可包括(例如)处理装置125，例如一或多个中央处理单元130a到130n。处理装置125可耦合到主机存储器135。主机存储器135可将从一或多个数据源105接收的图像数据存储在图像数据缓冲器150中。

处理装置可进一步实施图形处理单元140(GPU)。所属领域的技术人员应了解，可利用除了GPU以外的其它协处理器架构，例如但不限于DSP、FPGA，或ASIC，或处理装置125自身的附属固定功能特征。所属领域的技术人员应进一步了解，GPU140可与中央处理单元130a到130n配置在同一物理芯片或逻辑装置上，其也被称为加速处理单元(“APU”)，如可被发现于移动电话及平板计算机中。分离的GPU及CPU功能可被发现于其中GPU为物理扩展卡的计算机服务器系统以及个人计算机系统及膝上型计算机中。GPU140可包括GPU存储器137。所属领域的技术人员应了解，主机存储器135及GPU存储器137也可配置在同一物理芯片或逻辑装置上，例如在APU上。

处理装置125可经配置以实施颜色通道处理器145以从数据源105接收图像数据，及接收图像数据缓冲器150，图像数据缓冲器150可作为图像缓冲器155被转移到GPU存储器137。在一个实例中，处理装置125可将颜色通道处理器145实施为GPU140的组件。在实例中，颜色通道处理器145可经配置以抽取图像缓冲器155的色度通道及空间上再布置图像缓冲器155的经抽取色度及亮度通道以产生经转换图像数据。

在一个实例中，经转换图像数据可显示在显示器170上。在另一实例中，颜色通道处理器145可将经转换图像数据传输到编码器180。在一个实例中，编码器180可使用所属领域中已知的编码方法编码经转换图像数据。编码器180可将经编码数据传送到传输器185，传输器185直接或通过网络195将经编码数据传输到一或多个下游装置190。在一个实例中，编码器180或传输器185中的一者或两者可位于处理装置125或计算平台115外部。在另一实例中，编码器180或传输器185中的一者或两者可与处理装置125或计算平台115集成。

图2为说明用于按一或多个倍频程抽取图像数据(例如，数字静止图像或视频)的色度通道的编码方法的实例的流程图。方法200可由图1的计算机系统100执行，且可包括硬件(例如，电路系统、专用逻辑、可编程逻辑、微代码等等)、软件(例如，在处理装置上运行的指令)或其组合。在一个实例中，方法200可主要由图1的计算系统100的颜色通道处理器145执行。

如图2所示，为了允许计算系统100编码图像数据，在框210处，颜色通道处理器145可从图像缓冲器155接收第一组图像数据。图像缓冲器155中的第一组图像数据的一或多个像素可包括多个像素，其中每一像素包括一亮度通道及一或多个颜色通道。在框220处，颜色通道处理器145可降低图像缓冲器155中的图像数据的一或多个颜色通道的分辨率。在实例中，颜色通道处理器145可通过按至少一个倍频程(例如，一或多个倍频程)进行抽取来降低图像缓冲器155中的图像数据的一或多个颜色通道的分辨率。在另一实例中，颜色通道处理器145可通过按一个以上倍频程进行抽取来降低图像缓冲器155中的图像数据的一或多个颜色通道的分辨率。

在实例中，颜色通道处理器145可通过使用降采样方法抽取一或多个色度通道来降低一或多个色度通道的分辨率。在实例中，降采样方法可包括使用例如Lanczos插值、双三次插值或双线性插值的插值方法连续地应用单倍频程降采样步骤。在另一实例中，颜色通道处理器145可使用例如Lanczos插值或双三次插值的插值方法在单一步骤中执行抽取。

在框230处，颜色通道处理器145可在图像缓冲器155中将亮度通道及一或多个分辨率降低的色度通道布置成第二组图像数据，使得亮度通道及一或多个分辨率降低的色度通道的空间坐标在第二组图像数据的空间位置中不重叠。图像缓冲器155中的第二组图像数据的一或多个像素可包括多个像素，多个像素中的每一像素具有一或多个色度通道及亮度通道。

如本文中所使用，包装器可指在视频文件格式的SMPTE清晰度的意义上使用的术语，其中“要素”描述编码解码器有效负载及其内容，且“包装器”描述用于要素的文件格式或传输格式或其它有效负载封装。所属领域的技术人员应了解，包装器也可指用于单一图像的文件格式，例如JFIF，其描述JPEG图像将被封装到文件中的标准方式。

在框240处，颜色通道处理器145可将图像缓冲器155中的第二组图像数据传输到编码器180(或包装器)。在框250处，编码器180可编码图像缓冲器155中的第二组图像数据。在框260中处，编码器180可将经编码的第二组图像数据传输到传输器185。在框270中处，传输器185可将经编码的第二组图像数据(例如，图像缓冲器155中的非重叠图像数据)传输到显示器170或一或多个下游装置190中的一或多者。在一个实例中，传输器185可通过网络195将图像缓冲器155传输到一或多个下游装置190(例如，第二处理装置(例如，到编码器180、多路复用器、包装器或显示器170))。

在实例中，颜色通道处理器145可进一步将一组配置旗标传输到下游装置190。在实例中，配置旗标可传送第一组图像数据的一或多个色度通道的分辨率的降低程度。第一组图像数据的一或多个色度通道的分辨率的降低程度可包括由颜色通道处理器145抽取(例如，按一或多个倍频程)图像缓冲器155中的第一组图像数据的程度。

在实例中，配置旗标可进一步在由颜色通道处理器145使用的图像缓冲器155中传送包括第二组图像数据的亮度通道及一或多个分辨率降低的色度通道的空间布置的信息。所述信息可包括亮度通道及一或多个分辨率降低的色度通道的空间坐标不重叠的指示(例如，包括经抽取图像数据的亮度通道及色度通道的特定再布置使得亮度通道及色度通道不重叠的信息)。

图3为接收、恢复及按比例放大已按一或多个倍频程抽取的经编码图像数据(例如，数字静止图像或视频)的色度通道的实例解码计算系统300的框图，本发明的实例可在实例解码计算系统300中操作。在实例中，计算系统300可经配置以从一或多个数据源305接收经编码图像数据。一或多个数据源305可为图1的编码计算系统100。计算系统300还可包含计算平台315。计算平台315可包括主机系统320，主机系统320可包括(例如)处理装置325，例如一或多个中央处理单元330a到330n。处理装置325耦合到主机存储器335。主机存储器335可将从一或多个数据源305接收的经编码图像数据(例如，数字图像或视频数据)存储在图像数据缓冲器350中。经编码图像数据可由接收器360接收，由解码器365解码，并传递到图像数据缓冲器350。接收器360可直接从一或多个数据源305或经由网络310接收经编码图像数据。在一个实例中，接收器360或解码器365中的一者或两者可位于处理装置325或计算平台315外部。在另一实例中，接收器360或解码器365中的一者或两者可与处理装置325或计算平台315集成。

处理装置325可进一步实施图形处理单元340(GPU)。所属领域的技术人员应了解，可利用除了GPU以外的其它协处理器架构，例如但不限于DSP、FPGA，或ASIC，或处理装置325自身的附属固定功能特征。所属领域的技术人员应进一步了解，GPU340可与中央处理单元330a到330n配置在同一物理芯片或逻辑装置上，其也被称为“APU”，例如被发现于移动电话及平板计算机上。分离的GPU及CPU功能可被发现与其中GPU为物理扩展卡的计算机服务器系统以及个人计算机系统及膝上型计算机上。GPU340可包括GPU存储器337。所属领域的技术人员应了解，主机存储器335及GPU存储器337也可配置在同一物理芯片或逻辑装置上，例如在APU上。所属领域的技术人员应进一步了解，解码处理装置325可部分地或完全地与编码处理装置125集成到图1的计算系统100中以提供编码及解码功能性两者。

处理装置325可经配置以通过接收器360从数据源305接收经编码图像数据及一组配置旗标(例如，图1的编码系统100中使用的配置旗标)。处理装置325可经配置以转移所述一组配置旗标并创建基于所接收的经编码图像数据的图像数据缓冲器350到解码器365以解码图像数据缓冲器350及所述一组配置旗标。解码器365可经配置以将图像数据缓冲器350及所述一组配置旗标转移到作为图像数据缓冲器355的GPU存储器337。

处理装置325可经配置以实施颜色通道处理器345以从解码器、多路分用器或解包器接收图像数据缓冲器355及所述一组配置旗标。在一个实例中，处理装置325可将颜色通道处理器345实施为GPU340的组件。

颜色通道处理器345可经配置以通过根据所述一组配置旗标将经解码的第二图像的亮度及色度非重叠空间布置分离成分离通道而反转空间布置(例如，图1的编码系统100中使用的空间布置)。颜色通道处理器345可经配置以根据所述一组配置旗标使用经分离亮度通道作为统计先验而执行经分离的经抽取色度通道的联合双边升采样以匹配于经分离亮度通道的分辨率。在实例中，颜色通道处理器345可经配置以执行经分离的经抽取色度通道的逐倍频程多尺度联合双边升采样以匹配于经分离亮度通道的分辨率。在实例中，颜色通道处理器345可经配置以对经恢复色度通道执行直方图拉伸操作。颜色处理器可在图像数据缓冲器355中将经分离通道组合到经恢复图像数据中，其适合于在显示器370上进行显示输出或适合于传输到一或多个下游装置375(例如，编码器)。

图4为说明用于接收、恢复及按比例放大按一或多个倍频程抽取的图像数据(例如，数字静止图像或视频)的色度通道的解码方法400的实例的流程图。方法400可由图3的计算机系统300执行，且可包括硬件(例如，电路系统、专用逻辑、可编程逻辑、微代码等等)、软件(例如，在处理装置上运行的指令)或其组合。在一个实例中，方法300可主要由图3的计算系统300的颜色通道处理器345执行。

如图4所示，为了允许计算系统300解码图像数据，在框410处，接收器360在图像数据缓冲器350中从数据源305接收经编码图像数据及一组配置旗标。经编码图像数据可包括一或多个色度通道及一亮度通道，其中一或多个色度通道在分辨率方面相对于亮度通道而降低。图像数据缓冲器350中的经编码图像数据可包括多个像素，其中每一像素包括一亮度通道及一或多个颜色通道。

在实例中，配置旗标可传送包括一或多个色度通道的分辨率的降低程度的第一信息及包括亮度通道及一或多个分辨率降低的色度通道的空间布置的第二信息。在实例中，第一信息可指示按至少一个倍频程抽取一或多个分辨率降低的色度通道。在实例中，第一信息可指示按一个以上倍频程抽取一或多个分辨率降低的色度通道。在实例中，第二信息可传送从数据源305接收的图像的空间布置(例如，经抽取图像数据的亮度通道及色度通道的再布置，使得亮度通道及色度通道不重叠)。

在框420处，解码器365解码所述图像数据及所述一组配置旗标，并将经解码图像数据放置在处理装置325的图像数据缓冲器350中。在框430处，处理装置325将经解码图像数据缓冲器305及所述一组配置旗标转移到GPU存储器337的GPU图像数据缓冲器355。在框440处，颜色通道处理器345从GPU存储器337接收图像数据缓冲器355及所述一组配置旗标。图像数据缓冲器355中的经解码图像数据可包括多个像素，其中每一像素包括一亮度通道及一或多个颜色通道。

在框450处，颜色通道处理器345鉴于第二信息而反转图像数据缓冲器355中的图像数据的多个像素的亮度通道及一或多个颜色通道的空间布置(例如，图1的编码系统100中使用的空间布置)以产生第二组图像数据。在实例中，颜色通道处理器345可鉴于所述一组配置旗标通过将经解码图像数据的亮度及色度非重叠空间布置分离成分离亮度通道及一或多个色度通道而反转亮度通道及一或多个颜色通道的空间布置。

在框460处，颜色通道处理器345鉴于第一信息而恢复一或多个分辨率降低的色度通道的分辨率以实质上匹配于经分离亮度通道的分辨率以在图像数据缓冲器355中产生第三组图像数据。在实例中，颜色通道处理器345可根据所述一组配置旗标使用图像数据缓冲器355的经分离亮度通道作为统计先验而执行图像数据缓冲器355中的图像数据的一或多个颜色通道的逐倍频程多尺度联合双边升采样以匹配于图像数据缓冲器355中的图像数据的经分离亮度通道的分辨率。

在实例中，恢复一或多个分辨率降低的色度通道的分辨率以实质上匹配于经分离亮度的分辨率可进一步包括：颜色通道处理器345组合经分离的经恢复的一或多个色度通道及亮度通道以在图像数据缓冲器355中产生第三组图像数据。图像数据缓冲器355中的第三图像数据可包括多个像素，其中每一像素包括一亮度通道及一或多个颜色通道。

在框470处，颜色通道处理器345可对图像数据缓冲器中的图像数据的经恢复的一或多个色度通道执行直方图拉伸操作，其现在适合于在显示器370上进行显示输出或适合于传输到一或多个下游装置375(例如，通过网络310的编码器)。

在框480处，颜色空间处理器345可将经恢复图像数据传输到显示器370或下游装置375。

在一个实例中，可用图像数据缓冲器350中的图像数据从数据源305(例如，图1的计算系统100)带内或带外接收所述一组配置旗标。

图5为图1及3的计算系统100、300相结合而工作的实例实施方案500的框图。图1及3的计算系统100、300的实例实施方案500包括在硬件(例如，电路系统、专用逻辑、可编程逻辑、微代码等等)、软件(例如，在处理装置上运行的指令)或其组合中的实施方案。

如图5所示，可将原始数字图像或视频505输入到第一颜色通道抽取过程510。在实例中，未抽取亮度通道，仅抽取颜色通道。在实例中，数字图像或视频505可呈YCbCr颜色格式，且仅抽取CbCr通道。所应用的抽取的程度形成一组配置旗标的第一部分。

抽取过程510将亮度及经抽取色度通道输出到空间布置过程520。

图6展示全分辨率亮度通道及经双倍频程抽取的色度通道在相同空间程度中共同混合的布置600。当编码器仅支持色度通道的单倍频程抽取时，用以传输按一个以上倍频程抽取的色度通道的唯一方式是将它们作为经单倍频程抽取的色度通道的较小部分而嵌入。图6展示嵌入在顶端左侧第八个帧程度中经抽取CbCr色度通道。

图7展示在解码及恢复之后的溢出及阴影假象，其可在执行图5的框520中所示的空间布置过程及使用图6的布置的情况下引起。注意，全范围图像的锥形体在圆形区域中具有较小阴影副本。此为具有与亮度通道在分辨率方面的失配的经共同混合的色度通道的结果。另外，此布置在对大多数现代编码器不利，这是由于这些编码器的预期为色度及亮度在分辨率方面匹配(或至少如按一个倍频程所抽取而发信色度)，使得运动估计可使用数据的所有三个通道以执行块匹配。此类对应性的缺乏会引起编码器产生更多运动矢量误差，这又增加对编码更多误差残余数据的需要。

图8为图5的空间布置过程520的结果的一个实例800的图解，其中空间布置过程将色度通道放置在顶端左边图像坐标805(例如，色度象限805)中，并放置通过色度垂直分辨率的程度而下移的亮度通道(例如，在亮度象限810中)。此布置防止在分辨率方面失配的亮度通道及色度通道遭受溢出或阴影假象。应注意，图8的布置包含色度象限805中的亮度数据及亮度象限810中的色度数据。在色度象限805的情况下，有必要将无正负号的亮度通道像素值设置为中心或中列数(例如，在8位颜色深度的情况下为127)而非零；否则，编码器的积极量化会对色度象限805不利，这是由于编码器将色度象限805解释为含有格外暗的颜色。在亮度象限810的情况下，重要的是确保将有正负号的色度通道像素值调为零。以此方式，亮度象限810由编码器解释为含有灰度数据。图8的布置的优势为其通过在将经受得住编码及解码过程的空白区域中设置宏块颜色值而允许配置旗标的带内发信。所属领域的技术人员应了解，许多此类布置是可能的。

图9展示允许更有效地使用可用帧区域的空间布置900的另一实例。对满足及防止最终假象的唯一要求是确保亮度通道及色度通道的空间程度不重叠。图9包含色度象限905、910中的亮度数据及亮度象限915中的色度数据。在色度象限905、910的情况下，有必要将无正负号的亮度通道像素值设置为中心或中列数(例如，在8位颜色深度的情况下为127)而非零，否则，编码器的积极量化将对色度象限905、910不利，这是由于编码器将色度象限905、910解释为含有格外暗的颜色。在亮度象限915的情况下，重要的是确保将有正负号的色度通道像素值调为零。以此方式，亮度象限915由编码器解释为含有灰度数据。

空间布置过程520将图像或视频数据输出到编码器525，并向编码器525或直接向传输器/多路复用器/写入器530传送所述一组配置旗标。所属领域的技术人员应了解，在许多情况下，文件格式封装或流多路复用过程可与编码器525协同定位。另外，可向编码器525或传输器/多路复用器/写入器530传送所述一组配置旗标，使得它们被传达到下游接收器/多路分用器/读取器过程540，且如此而使得不需要编码器525、解码器545、传输器/多路复用器/写入器530或接收器/多路分用器/读取器540过程的定制实施方案。如所属领域中众所周知的，文件及流格式为实现这种情形提供多种方式。

在实例中，可使用JPEG文件交换格式(下文称JFIF)以封装JPEG压缩图像法，且JFIF以包含EXIF、ICC配置文件及图片信息的许多格式(其中任一者可用以传送所述一组配置旗标)指定众所周知的元数据扩展。

在实例中，H264编码位流支持包含任选补充增强信息(SEI)标头，其中可嵌入所述一组配置旗标。这些方法不需改变编码器(或解码器)过程525、545，但是仅需改变向编码器525或传输器/多路复用器/写入器530输出这些值并伴随地向下游解码器545或接收器/多路分用器/读取器540查询这些值的能力。

用以传送所述一组配置旗标的其它方式根本与编码器或编码解码器格式无关，但是与输送流自身有关。在实例中，这些包含MPEG输送流的ES描述符，其可用于本文中描述的目的，且还经由RTP扩展标头而使用。

所属领域的技术人员应了解，虽然用于所述一组配置旗标的许多传送方法是可能的，但是所述传送方法的理想特性可包含编码器及解码器实施方案的独立性，且经由API或其它方法通过位于编码器、解码器、传输器、接收器、多路复用器、多路分用器、读取器及写入器外部的过程存取经传送的一组配置旗标。这还可包含完全带外传送，例如根据所述一组配置旗标的值进行的特定编码器及解码器的标准化，或由其它通道或上下文进行的这些值的传达，例如，由MPEG-DASH或HLS流的清单文件，或由分离文件或协议(作为非限制性实例)。

连同压缩图像或视频数据自身，所述一组配置旗标可任选地从上游传输器/多路复用器/写入器530经由传输通道535或存储媒体而被传输到或传达到下游接收器/多路分用器/读取器540，下游接收器/多路分用器/读取器540将所述图像或视频数据解封为适合于解码器545的形式，且将所述数据输出到空间分离过程550。

空间分离过程550反转空间布置过程520并将数据输出到颜色恢复过程560。

抽取并接着恢复色度通道的优势为显著地降低待编码、传输及解码的数据。由于HVS分辨率对明度的敏感度比颜色的敏感度大超过两倍，故一种众所周知且常见的标准传输及接收方法为YCbCR4:2:0子采样，其按一个倍频程抽取颜色通道。此匹配于HVS对明度及颜色空间分辨率的不同敏感度。

图10展示HVS针对明度及颜色的空间分辨率敏感度。按一个倍频程抽取颜色通道(或将垂直及水平分辨率减半)会安全地匹配于在正常观察条件下的HVS的敏感度。

然而，按一个以上倍频程进行抽取而不需恢复过程比由例如双三次或Lanzcos的线性采样器进行升采样更复杂，这引起有异议的假象及图像质量退化。

图11展示原始全分辨率Cb通道。

图12展示当与按一个以上倍频程抽取的色度通道一起使用时通过现有技术色度按比例放大过程而引入的Cb通道中的颜色溢出。在图中明显的整体模糊效应引起锥形体的红及绿颜色溢入到背景中，且反之亦然。

对此问题的解决方案是使用联合双边滤波及按比例放大，或多尺度逐倍频程联合双边滤波及按比例放大。

图13展示通过本发明的实例恢复颜色通道。

本文中描述的多尺度联合双边滤波器在若干显著方面不同于众所周知的双边滤波器及联合双边滤波器。以下方程式1及2中所定义的正常双边滤波器通过在驱动加权的分析下构成一范围的空间距离及构成图像内的域的辐射度距离而适应性地加权滤波器权数。更特定来说，针对输入图像Z、输出图像Z′及支持Ω的窗，如下在方程式1中定义典型的双边滤波器：

方程式1

${Z^{\′}}_x=\frac{{\mathrm{\Σ}}_{\mathrm{\ξ}\∈\mathrm{\Ω}}g(\mathrm{\ξ}-x)r(Z_{\mathrm{\ξ}}-Z_x)Z_{\mathrm{\ξ}}}{{\mathrm{\Σ}}_{\mathrm{\ξ}\∈\mathrm{\Ω}}g(\mathrm{\ξ}-x)r(Z_{\mathrm{\ξ}}-Z_x)}$

其中g为高斯空间加权函数，且r为辐射度加权函数。辐射度的典型值包含组成像素样本的亮度或强度。系统输入典型地由修改g及r函数的常数因子σ_s及σ_r供应，如在方程式2及3中：

方程式2

$g(\mathrm{\ξ}-x)=e^{-0.5{\left(\frac{\left|\right|\mathrm{\ξ}-x\left|\right|}{{\mathrm{\σ}}_s}\right)}^2}$

方程式3

$r(\mathrm{\ξ}-x)=e^{-0.5{\left(\frac{\left|Z\left(\mathrm{\ξ}\right)-Z\left(x\right)\right|}{{\mathrm{\σ}}_r}\right)}^2}$

辐射度域的辐射度函数r由以上方程式3定义。方程式2定义函数g中的空间加权。

相比之下，代替仅使用辐射度(或亮度)以引导滤波器的加权，联合双边滤波器对第一图像域执行滤波，同时通过第二域的加权而引导。针对在本发明中预期的意义上的联合双边滤波，辐射度加权可由方程式4到5及其在下文中的附随描述而定义。

因子σ_s及σ_r的较小值分别增加空间及辐射度加权贡献的局部性及类似性。辐射度函数r的指数的分母中的L1距离测量适于其中仅亮度或强度足以充分地区别边缘及边界局部性的图像。在实例中，被滤波的第一域联合地为Cb及Cr，或相似颜色通道。

在实例中，第二图像辐射度域由亮度通道的第二输出提供，如在方程式4中的函数：

方程式4

${Z^{\′}}_x=\frac{{\mathrm{\Σ}}_{\mathrm{\ξ}\∈\mathrm{\Ω}}g(\mathrm{\ξ}-x)r(Z_{\mathrm{\ξ}}-Z_x)d(Y_{\mathrm{\ξ}}-Y_x)Z_{\mathrm{\ξ}}}{{\mathrm{\Σ}}_{\mathrm{\ξ}\∈\mathrm{\Ω}}g(\mathrm{\ξ}-x)r(Z_{\mathrm{\ξ}}-Z_x)d(Y_{\mathrm{\ξ}}-Y_x)}$

其中新的第二域辐射度函数d由方程式5定义：

方程式5

$d(\mathrm{\ξ}-x)=e^{-0.5{\left(\frac{\mathrm{\δ}\left(Y\right(\mathrm{\ξ})-Y(x\left)\right)}{{\mathrm{\σ}}_d}\right)}^2}$

且函数d测量亮度的差。形式上，当亮度以与色度通道不同的较高分辨率被采样时，此被更适当地称为联合双边升采样过程而非滤波过程。以新的升采样分辨率进行的联合双边升采样过程的后续反复将被认为是滤波。滤波器的整体应用效应为第二域引导第一域的滤波；第二域被称为“统计先验”。

本发明中的联合双边滤波的多尺度变异每次使一或多个倍频程工作，或甚至每次使部分倍频程工作；以如下方式：第一联合双边升采样到下一较高分辨率，联合双边滤波的后续反复，接着为后续第二双边升采样，及滤波直到达到CbCr或颜色通道的最终分辨率。此布置的效应是计算复杂性的巨大降低；在用多尺度途径的情况下，可使用采样过程的适度支持区域，例如5x5，以实现良好结果，而单片的非多尺度途径需要非常大的支持区域及潜在需要更多反复的滤波过程以收敛到可接受的结果。

颜色恢复过程560将经重构数字图像或视频的经恢复色度通道输出到任选直方图过程570。对于图像的高度饱和部分，例如，明亮颜色的标志，颜色恢复过程560可不足以恢复原始输入图像中存在的原始高色度值及能量。在此类情况下，可使用直方图拉伸功能。直方图拉伸功能可使用美国专利案第8,704,842号中揭露的技术，或如在共同待决的美国专利案第14/032,640号中所教示而操纵基于感知颜色的接收系统的第一及第二接收值，借此避免针对直方图计算的需要，其揭露内容的全文以引用的方式并入本文中。

本发明的实例的预编码过程足够地有效地在实时及近实时以多种分辨率在同时期的、商业的、畅销的计算机硬件及多个图像及视频上以30fps针对4K视频分辨率视频以大于实时方式执行。本发明的实施例的后解码过程足够有效地以全HD分辨率针对视频或图像的单一例子在具有GPU、CPU或APU的任何最终用户装置上执行，例如，功能型电话、智能电话、平板计算机、膝上型计算机、PC、机顶盒及电视。

根据本发明的实例的在编码器近接及解码器近接两者处的此效率组合开创新的应用。这些应用包含但不限于用于过度顶级视频配送的实时改进感知质量及/或改进视频编码器效率、当从移动装置中上传及下载视频及图像数据时的公共无线电存取网络拥挤的成本有效的实时降低、增加的实时通带电视配送能力、卫星转发器能力的增加、用于内容管理系统及网络DVR架构的存储成本的降低，及在分配网络核心处的图像及视频的高通量处理。

图14说明呈计算机系统1400的实例形式的机器的图形表示，在计算机系统1400内可执行用于致使所述机器执行本文中论述的方法中的一或多者的一组指令。在一些实例中，机器可在LAN、内联网、外联网或互联网中连接(例如，联网)到其它机器。机器可以服务器机器的能力操作于客户端-服务器网络环境中。机器可为个人计算机(PC)、机顶盒(STB)、服务器、网络路由器、交换机或桥接器，或能够执行指定由那种机器采取的动作的一组指令(顺序的或以其它方式)的任何机器。另外，虽然仅说明单一机器，但是术语“机器”应还被理解为包含个别地或联合地执行一组(或多组)指令以执行本文中论述的方法中的任何一或多者的任何机器集合。

实例计算机系统1400包含处理装置(处理器)1402、主存储器1404(例如，只读存储器(ROM)、闪速存储器、动态随机存取存储器(DRAM)，例如同步DRAM(SDRAM))、静态存储器1406(例如，闪速存储器、静态随机存取存储器(SRAM))及数据存储装置1416，其经由总线1408而与彼此通信。

处理器1402表示一或多个通用处理装置，例如，微处理器、中央处理单元及类似物。更特定来说，处理器1402可为复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器，或实施其它指令集的处理器，或实施指令集组合的处理器。处理器1402可还为一或多个专用处理装置，例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器或类似物。图1及3所示的颜色通道处理器145、345可分别由经配置以执行本文中论述的操作及步骤的处理器1402执行。

计算机系统1400可进一步包含网络接口装置1422。计算机系统1400还可包含视频显示单元1410(例如，液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入装置1412(例如，键盘)、光标控制装置1414(例如，鼠标)，及信号产生装置1420(例如，扬声器)。

驱动单元1416可包含存储有一或多组指令(例如，颜色空间处理器145、345的指令)的计算机可读媒体1424，所述一或多组指令使本文中描述的方法或功能中的任何一或多者具体化。颜色空间处理器145、345的指令在由计算机系统1400执行期间还可全部地或至少部分地驻留在主存储器1404内及/或处理器1402内，主存储器1404及处理器1402还构成计算机可读媒体。颜色通道处理器145、345的指令可进一步经由网络接口装置1422通过网络被传输或接收。

虽然在实例中将计算机可读存储媒体1424展示为单一媒体，但是术语“计算机可读存储媒体”应被理解为包含存储一或多组指令的单一非暂时性媒体或多个非暂时性媒体(例如，集中式或分布式数据库，及/或关联高速缓冲存储器及服务器)。术语“计算机可读存储媒体”还可被理解为包含能够存储、编码或运载用于由机器执行的一组指令且致使机器执行本发明的方法中的任何一或多者的任何媒体。术语“计算机可读存储媒体”还因此被理解为包含但不限于固态存储器、光学媒体及磁性媒体。

在以上描述中，陈述众多细节。然而，对于受益于本发明的所属领域的一般技术人员来说明显的是，可在无需这些特定细节的情况下实践本发明的实例。在一些例子中，以框图形式而非详细地展示众所周知的结构及装置以便避免混淆所述描述。

在计算机存储器内，依据数据位上操作的算法及符号表示而呈现详细描述的一些部分。这些算法描述及表示为所属数据处理领域的技术人员使用以最有效地向所属领域的技术人员传送他们工作的本质的工具。算法在此处且通常被设想为产生所需结果的有条理的步骤序列。所述步骤为需要物理量的物理操纵的步骤。通常但未必，这些量呈能够被存储、转移、组合、比较或以其它方式操纵的电信号或磁性信号的形式。主要出于常见使用的原因，有时已经证明方便的是将这些信号称为位、值、元素、符号、字符、术语、数字或类似物。

然而，应记住，所有这些术语及类似术语将与适当物理量相关联，且仅为应用于这些量的方便标签。从以上论述中明显看出，除非另有明确叙述，否则应了解，贯穿所述描述，利用例如“接收”、“写入”、“维持”或类似物的术语的论述是指计算机系统或类似电子计算装置的动作或过程，所述计算机系统或类似电子计算装置向新坐标系统将在计算机系统的寄存器及存储器内表示为物理(例如，电子)量的数据操纵及转换为在计算机系统存储器或寄存器或其它此类信息存储、传输或显示装置内类似地表示为物理量的其它数据。

本发明的实例还涉及一种用于执行文本中的操作的设备。此设备是出于所需目的而被特定地构造，或其可包括由计算机中存储的计算机程序选择性地激活或再配置的通用计算机。本文中所揭露的用于按一个以上倍频程抽取的色度通道的传输、接收及恢复及按比例放大的系统或方法改进许多领域中现有图像及视频压缩或传输系统及方法解决问题的感知质量及/或传输或存储效率，例如过度顶级视频配送的实时效率、当从移动装置中上传及下载视频及图像数据时的公共无线电存取网络拥挤的成本有效的实时降低、增加的实时通带电视配送能力、卫星转发器能力的增加、用于内容管理系统及网络DVR架构的存储成本的降低，及在分配网络核心处的图像及视频的高通量处理(仅举几个实例)。

此类计算机程序可存储在计算机可读存储媒体中，例如但不限于包含软盘、光盘、CD-ROM及磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁性或光学卡的任何类型的光盘，或适合于存储电子指令的任何类型的媒体。

本文中呈现的算法及显示并不固有地涉及任何特定计算机或其它设备。根据本文中的教示，多种通用系统可与程序一起被使用，或可被证明为方便的是构造用以执行所需方法步骤的更特定化设备。根据本文中的描述出现用于多种这些系统的实例结构。另外，未参考任何特定编程语言描述本发明。应了解，可使用多种编程语言来实施本文中所描述的本发明的教示。

应理解，以上描述希望为说明性的而非限制性的。对于所属领域的技术人员来说，在阅读及理解以上描述后，许多其它实例就将为明显的。因此，应参考所附权利要求书连同此类权利要求书授权的等效物的全范围来确定本发明的范围。

Claims (30)

1.一种方法，其包括：

由处理装置接收包括一或多个色度通道及一亮度通道的第一组图像数据；

由所述处理装置降低所述一或多个色度通道的分辨率以产生一或多个分辨率降低的色度通道；

由所述处理装置将所述亮度通道及所述一或多个分辨率降低的色度通道布置成第二组图像数据，其中所述亮度通道及所述一或多个分辨率降低的色度通道的空间坐标在所述第二组图像数据的空间位置中不重叠；及

由所述处理装置将所述第二组图像数据传输到下游装置。

2.根据权利要求1所述的方法，其中所述第一组图像数据及所述第二组图像数据是由多个像素组成，所述多个像素中的每一像素具有所述一或多个色度通道及所述亮度通道。

3.根据权利要求1所述的方法，其中降低所述一或多个色度通道的所述分辨率包括按至少一个倍频程抽取所述一或多个色度通道。

4.根据权利要求2所述的方法，其中按至少一个倍频程抽取所述一或多个色度通道包括按一个以上倍频程抽取所述一或多个色度通道。

5.根据权利要求1所述的方法，其中降低所述一或多个色度通道的所述分辨率包括使用降采样方法抽取所述一或多个色度通道。

6.根据权利要求5所述的方法，其中使用降采样方法抽取所述一或多个色度通道包括使用插值方法通过连续地应用单倍频程降采样步骤抽取所述一或多个色度通道。

7.根据权利要求6所述的方法，其中所述插值方法为兰乔斯插值、双三次插值或双线性插值中的至少一者。

8.根据权利要求5所述的方法，其中使用降采样方法抽取所述一或多个色度通道包括使用插值方法在单一步骤中抽取所述一或多个色度通道。

9.根据权利要求8所述的方法，其中所述插值方法为兰乔斯插值或双三次插值中的至少一者。

10.根据权利要求1所述的方法，其进一步包括向所述下游装置传输包括所述第一组图像数据的所述一或多个色度通道的所述分辨率的降低程度的信息。

11.根据权利要求1所述的方法，其进一步包括向所述下游装置传输包括所述第二组图像数据的所述亮度通道及所述一或多个分辨率降低的色度通道的所述布置的信息。

12.根据权利要求11所述的方法，其中所述信息包括所述亮度通道及所述一或多个分辨率降低的色度通道的所述空间坐标不重叠的指示。

13.根据权利要求1所述的方法，其中将所述第二组图像数据传输到下游装置进一步包括：

将所述第二组图像数据传输到编码器，其中所述编码器可操作以使用编码方法编码所述第二组图像数据；

由所述编码器将所述经编码的第二组图像数据传输到传输器；及

由所述传输器将所述经编码的第二组图像数据传输到所述下游装置。

14.一种系统，其包括：

处理装置的存储器，所述处理装置用以接收包括一或多个色度通道及一亮度通道的第一组图像数据；

所述处理装置的颜色通道处理器，所述颜色通道处理器耦合到并能够使用所述存储器，所述颜色通道处理器用以：

接收包括一或多个色度通道及一亮度通道的第一组图像数据；

降低所述一或多个色度通道的分辨率以产生一或多个分辨率降低的色度通道；

将所述亮度通道及所述一或多个分辨率降低的色度通道布置成第二组图像数据，其中所述亮度通道及所述一或多个分辨率降低的色度通道的空间坐标在所述第二组图像数据的空间位置中不重叠；及

将所述第二组图像数据传输到下游装置。

15.根据权利要求14所述的系统，其中降低所述一或多个色度通道的所述分辨率包括按一个以上倍频程抽取所述一或多个色度通道。

16.根据权利要求14所述的系统，其中所述颜色通道处理器进一步用以传输包括所述第一组图像数据的所述一或多个色度通道的所述分辨率的降低程度的信息。

17.根据权利要求14所述的系统，其中所述颜色通道处理器进一步用以传输包括所述第二组图像数据的所述亮度通道及所述一或多个分辨率降低的色度通道的所述布置的信息。

18.根据权利要求17所述的系统，其中所述信息包括所述亮度通道及所述一或多个分辨率降低的色度通道的所述空间坐标不重叠的指示。

19.一种方法，其包括：

由第一处理装置从第二处理装置接收包括一或多个色度通道及一亮度通道的第一组图像数据，其中所述一或多个色度通道在分辨率方面相对于所述亮度通道而降低；

由所述第一处理装置从第二处理装置接收包括所述一或多个色度通道的所述分辨率的降低程度的第一信息及包括所述亮度通道及所述一或多个分辨率降低的色度通道的空间布置的第二信息；

由所述第一处理装置鉴于所述第二信息而反转所述亮度通道及所述一或多个分辨率降低的色度通道的所述空间布置以产生第二组图像数据；

由所述第一处理装置鉴于所述第一信息而恢复所述一或多个分辨率降低的色度通道的所述分辨率以实质上匹配于所述经分离亮度通道的所述分辨率以产生第三组图像数据；及

由所述处理装置将所述第三组图像数据传输到下游装置。

20.根据权利要求19所述的方法，其中所述第一组图像数据、所述第二组图像数据及所述第三组图像数据是由多个像素组成，所述多个像素中的每一像素具有所述一或多个色度通道及所述亮度通道。

21.根据权利要求19所述的方法，其中所述第一信息指示按至少一个倍频程抽取所述一或多个分辨率降低的色度通道。

22.根据权利要求21所述的方法，其中所述第一信息指示按一个以上倍频程抽取所述一或多个分辨率降低的色度通道。

23.根据权利要求19所述的方法，其中所述第二信息指示所述亮度通道及所述一或多个分辨率降低的色度通道的空间坐标不重叠。

24.根据权利要求19所述的方法，其中反转所述亮度通道及所述一或多个分辨率降低的色度通道的所述空间布置包括鉴于所述第一信息而将所述亮度通道与所述一或多个分辨率降低的色度通道分离。

25.根据权利要求19所述的方法，其中恢复所述一或多个分辨率降低的色度通道的所述分辨率以实质上匹配于所述经分离亮度通道的所述分辨率包括执行所述经分离的经抽取色度通道的联合双边升采样以匹配于所述经分离亮度通道的所述分辨率。

26.根据权利要求25所述的方法，其中根据所述第一信息及所述第二信息使用所述经分离亮度通道作为统计先验。

27.根据权利要求25所述的方法，其中所述联合双边升采样为所述经分离的经抽取色度通道的逐倍频程多尺度联合双边升采样。

28.根据权利要求19所述的方法，其进一步包括由所述颜色通道处理器对所述经恢复的一或多个色度通道执行直方图拉伸操作。

29.根据权利要求19所述的方法，其进一步包括，其中恢复进一步包括组合所述经分离的经恢复的一或多个色度通道及所述亮度通道以产生所述第三组图像数据。

30.一种系统，其包括：

第一处理装置的存储器，所述第一处理装置从第二处理装置接收：

包括一或多个色度通道及一亮度通道的第一组图像数据，其中所述一或多个色度通道在分辨率方面相对于所述亮度通道而降低，

包括所述一或多个色度通道的所述分辨率的降低程度的第一信息，及

包括所述亮度通道及所述一或多个分辨率降低的色度通道的空间布置的第二信息；

所述第一处理装置的颜色通道处理器，所述颜色空间处理器耦合到并能够使用所述存储器，所述颜色通道处理器用以：

鉴于所述第二信息而反转所述亮度通道及所述一或多个分辨率降低的色度通道的所述空间布置以产生第二组图像数据；

鉴于所述第一信息而恢复所述一或多个分辨率降低的色度通道的所述分辨率以实质上匹配于所述经分离亮度通道的所述分辨率以产生第三组图像数据；及

将所述第三组图像数据传输到下游装置。