CN101310528B - 高动态图像传输系统，以及该系统的编码和解码装置和方法 - Google Patents

Abstract

此高动态图像传输系统包括编码装置，能够产生：-对图像进行编码的标准比特流，其中以标准动态范围对各像素的亮度进行编码，以及-至少第二比特流，包含根据标准比特流中包含的以标准动态范围进行编码的亮度，重建高动态图像的亮度所需的信息。

Description

高动态图像传输系统,以及该系统的编码和解码装置和方法

技术领域

本发明涉及一种高动态图像传输系统，以及该系统的编码和解码装置和方法。

背景技术

图像的动态范围对应于对所述图像各像素的亮度进行编码所需的比特数。

“标准动态接收机”指定了能够显示至多2ⁿ个亮度级的接收机，其中n通常是小于或等于8的整数。

高动态图像接收机是一种能够显示至少2^m个亮度级的接收机，其中m是大于或等于10的整数。

“高动态图像”还指定了一种图像，该图像是用m个比特对像素亮度进行编码的。通常“标准动态图像”的亮度是以多于n个比特进行编码的。

比如，以下文章A1就对高动态图像接收机进行了描述：

H.Seetzen、W.Heidrich、W.Stuerzlinger、G.Ward、L.Whitehead、M.Trentacoste、A.Ghosh、A.Vorozcovs于04年8月8日至12日在美国洛杉矶市举行的SIGGRAPH 04大会上发表的“High dynamic rangedisplay system(高动态范围显示系统)”。

因此，优选实现高动态原始数字图像的传输系统，该传输系统包括：

-配备了由像素矩阵构成的HDR(高动态范围)屏幕的至少一个高动态图像接收机，能够将各像素的亮度调节成至少2^m种可能亮度级中的任一亮度级，

-配备了由像素矩阵构成的屏幕的至少一个标准动态图像接收机，能够将各像素的亮度仅调节成至少2ⁿ种可能亮度级中的任一亮度级，其中n是严格小于m的整数，以及

-发送机，包括能够产生对原始图像进行编码的比特流的专用编码装置，该发送机能够向所有接收机发送这些比特流。

数字图像可以被看成三维矩阵，其中前两个坐标X、Y表示例如图像中像素的位置，第三个坐标表示其亮度。当涉及视频影片时，还可以向该矩阵中添加代表时间的第四维。上述矩阵无法直接发送至图像接收机。

通常，要对数字图像进行编码，将其转换成比特流，然后发送至各接收机。比特流是比特的时间序列。这种编码可以使图像得到显著的压缩，并可以极大地减少向接收机发送图像所需的比特数。

到目前为止，标准动态图像接收机还不能直接显示对高动态图像进行编码的比特流。实际上，为了可以显示高动态图像，必须将用来对该图像进行编码的亮度级截短(truncate)，使其能够对应于接收机能够显示的亮度级。这种对于标准动态图像接收机的修改难于实现而且十分复杂。

发明内容

本发明意在解决这一问题。本发明提出了一种高动态图像传输系统，其中减少了应用于标准动态图像接收机的修改。

因此，本发明的目的在于提出一种高动态原始数字图像传输系统，其中编码装置能够产生：

-对原始图像进行编码的标准比特流，其中，每幅原始图像中各像素的亮度唯一地被编码为最多n个比特，以及

-至少第二比特流，所述第二比特流包含根据标准比特流中包含的被编码为n个比特的亮度，重建每幅原始图像中各像素的被编码为m个比特的亮度所需的附加信息。

在上述系统中，为了显示被编码为标准比特流的图像，标准动态图像接收机无需减小编码图像的动态范围。因此，减少了该接收机为显示高动态图像所需执行的处理量。

第二流使得高动态图像接收机能够通过利用其全部可能的亮度范围来显示图像。

因此，上述系统使得可以将高动态图像发送至一组不同的图像接收机，而无需对标准动态图像接收机做很大的修改。此外，由于不再需要为标准动态接收机专门提供标准数据并为高动态接收机专门提供同标准数据存在高度冗余的其他高质量数据，因此减少了所需发送的信息量。

本系统的实施例可以包括一个或多个以下特征：

-高动态图像接收机包括：能够投影图像I_LED的投影机；由图像投影机提供背光(back-light)的、用于显示图像I_LCD的LCD(液晶显示器)显示器。第二比特流是残留比特流，包含图像I_LCD中各个像素同根据标准比特流得到的对图像I_LCD的估计结果中各对应像素间的亮度差，

-编码装置能够产生根据标准比特流来对图像I_LED进行编码的第三比特流。

上述实施例还具有以下优点：

-通过发送残留比特流来减少所要传输的除标准比特流以外的信息量，以及

-还可根据标准比特流来编码对图像I_LED进行编码的比特流，以减少所要传输的除标准比特流以外的信息量，并简化高动态图像接收机的实现。

本发明的目的还在于提出一种能够在上述传输系统中实现的编码装置。

本发明的目的还在于提出一种能够在上述传输系统中实现的高动态图像接收机的解码装置。

该解码装置的实施例可以包括一个或多个以下特征：

-解码装置能够利用标准比特流和至少第二比特流，利用标准比特流中包含的被编码为n个比特的亮度来重建每幅原始图像中各像素的被编码为m个比特的亮度，

-解码装置能够根据残留比特流和由标准比特流得到的对图像I_LCD的估计来产生图像I_LCD。

-解码装置能够根据标准比特流和根据标准比特流产生的对图像I_LED进行编码的第三比特流来重建图像I_LED。

本发明的目的还在于提出一种能够在上述传输系统中实现的、高动态原始数字图像的编码方法。

本发明的目的还在于提出一种能够对利用上述编码方法编码的图像进行解码的方法，所述解码方法包括根据标准比特流和至少第二比特流来重建被编码为m个比特的亮度的步骤。

该解码方法的实施例可以包括以下特征：

-根据标准比特流和残留比特流来构建图像估计I_LCD的步骤。

附图说明

通过阅读以下说明，并参考附图，可更好地理解本发明，其中说明仅供参考，附图中：

-图1是高动态图像传输系统的体系结构的示意图，

-图2是在图1系统中实现的编码装置的体系结构的示意图，

-图3是在图1系统中实现的解码装置的结构的示意图，

-图4是在图1系统中实现的编码方法的流程图，

-图5是在图1系统的高动态图像接收机中实现的解码方法的流程图，以及

-图6是在图1系统的标准动态图像接收机中实现的解码方法的流程图。

具体实施方式

图1表示高动态图像I_ini传输系统2。

在本说明的其余部分，将不再对所属领域技术人员所公知的功能和特征予以详细说明。

系统2包括发送机4，用于通过信息传输网络8向大量图像接收机发送图像I_ini。

网络8可以是例如无线网络或者长途有线网络。

为了简化图1，只示出了两个接收机10和12。

发送机4连接至高动态图像源，例如包含在记录载体(support)上14的高动态图像的源。这些图像I_ini可以是比如视频影片中的图像。

发送机4包括编码装置20，编码装置20能够将图像I_ini转换为三个比特流F_std、F_res和F_LED。下面将参考图2对这些比特流以及装置20予以更加详细的说明。

此处用能够执行信息记录载体上记录的指令的可编程电子计算机来实现装置20。为此，载体14包含若干指令，比如，当可编程计算机执行这些指令时，这些指令实现图4的方法。

接收机10是标准图像接收机。接收机10包括特定的解码装置22，用于将比特流F_std转换成标准图像I_std。图像I_std具有标准动态范围，此处标准动态范围意味着各像素的亮度被编码为最多n个比特，其中n是比如小于或等于8的整数。

接收机10还包括屏幕24，用于显示图像I_std。在屏幕24的正面上形成像素矩阵。各像素可以采用选自至多2ⁿ个可能亮度级的亮度级。屏幕24可以是比如CRT(阴极射线管)屏幕。

接收机12是高动态图像接收机。该接收机的结构可以像比如前面所引用的文章A1中说明的那样。因而，此处只对有助于理解本发明的必要细节加以说明。

接收机12包括解码装置26，解码装置26能够根据比特流F_std、F_res和F_LED来重建图像I_LED和图像I_LCD。

接收机12还包括HDR(高动态范围)屏幕，此处HDR屏幕是由投影机28和由投影机28提供背光的显示器30所形成的。更具体地说，投影机28设计用于将图像I_LED投影到显示器的背面，而显示器30设计用于显示图像I_LCD。

投影机28包括比如：由LED(发光二极管)构成的可控栅34，以及依照由装置26解码得到的图像I_LED对可控栅34进行控制的控制装置36。

显示器30是比如LCD(液晶显示器)，包括受控于控制装置40的LCD屏幕38。装置40可以对由装置26解码得到的图像I_LCD的显示进行控制。

下面将根据图3对装置26予以更加详细地说明。

通常用能够执行信息记录载体42上记录的指令的传统可编程电子计算机来实现装置26。为此，记录载体42含有用于执行图5方法的指令。

图2更加详细地示出了编码装置20。装置20包括用于接收图像I_ini的输入50以及分别用于比特流F_LED、F_res和F_std的三个输出52、53和54。

输入50连接至动态缩减器56。缩减器56通过截短对各像素亮度进行编码所需的比特数，减小图像I_ini的动态范围。

例如，缩减器56可以对各像素执行以下操作：

$I_{\mathrm{red}}(x,y)=\sqrt{I_{\mathrm{ini}}(x,y)}---\left(1\right)$

其中：

-I_ini(x，y)是图像I_ini中坐标x、y处像素的亮度，以及

-I_red(x，y)是图像I_red中坐标x、y处像素的亮度，其中图像I_red具有降低了的动态范围。

将图像I_red发送至位于校正器60前的子采样器58。子采样器58降低图像I_red的分辨率(即像素数)，使其等于LED栅34的分辨率。

校正器60对分辨率被降低了的图像加以校正，以补偿相邻LED信号的重叠现象。然后，校正器60传送图像I_LED。

将图像I_LED发送至编码器62，编码器62可以根据图像I_LED和流F_std来产生将被发送至所有接收机的比特流F_LED。流F_LED根据流F_std中编码的图像I_std对图像I_LED进行编码。利用图像I_LED和I_std间的相关性对流F_LED进行压缩。

还将图像I_LED发送至低通滤波器64，低通滤波器64可以重建栅34所投影的图像，再现来自该栅的各LED的空间响应。

将滤波器64产生的图像发送至内插器64，产生具有与图像I_ini相同  分辨率(即具有相同像素数)的图像I_filt。

将图像I_filt发送至本地均衡器68，在其中对图像的各像素执行以下操作：

$I_{\mathrm{LCD}}(x,y)=\frac{I_{\mathrm{ini}}(x,y)}{I_{\mathrm{filt}}(x,y)}---\left(2\right)$

其中：

-I_ini(x，y)是图像I_ini中坐标x、y处的像素的亮度，

-I_filt(x，y)是图像I_filt中坐标x、y处的像素的亮度，以及

-I_LCD(x，y)是图像I_LCD中坐标x、y处的像素的亮度。

文章A1中示出了模块56至68的实施例。

装置20还包括直接连接至输入50的动态缩减器70。缩减器70能够减小图像I_ini的动态范围，以便形成动态范围减小了的图像I_std。例如，为此缩减器70可以应用以下关系式：

I_std(x，y)＝I_ini(x，y)/Q                           (3)

其中：

-I_ini(x，y)是图像I_ini中坐标x、y处的像素的亮度，

-Q是2^p形式的2的幂，其中p是预先确定的整数，

-I_std(x，y)是图像I_std中坐标x、y处的像素的亮度。

此处p等于2。

将衰减器70的一个输出连接至均衡器72的输入。

均衡器72的另一个输入接收图像I_filt。均衡器72的作用是产生对图像I_LCD的估计结果I’_std。为此，均衡器进行以下操作，例如：

$I_{\mathrm{std}}^{\′}(x,y)=\frac{I_{\mathrm{std}}(x,y)*Q}{I_{\mathrm{filt}}(x,y)}---\left(4\right)$

其中I’_std(x，y)是图像I’_std中坐标x、y处的像素的亮度。

均衡器的输出72和68分别连接至减法器74的输入。减法器74从图像I_LCD中各像素的亮度中减去图像I’_std中对应像素的亮度。将此减法运算的结果记为I_res。

减法器74的输出连接至编码器76的输入，以根据图像I_res产生比特流F_res。

最后，装置20包括编码器78，编码器78连接至缩减器70的输出，并且能够根据缩减器70所产生的图像I_std产生比特流F_std。

编码器62、76和79能产生符合视听或多媒体信号传输标准的比特流。例如，可以考虑使用符合JPEG 2000标准的位平面进行编码。

优选情况下，编码器78产生比特流F_std，接收机10无需对该比特流执行该接收机10为了显示标准动态图像所执行的处理之外的特殊处理。

此处，优选情况下，编码器78和只能发送标准动态图像的标准发送机所用的编码器相同。因此，所有标准接收机都能够在不加修改的情况下对比特流F_std进行解码，其中标准接收机能够显示标准发送机所产生的比特流中编码的图像。

图3更详细地示出了接收机12的解码装置26。

装置26包括三个输入82、84和86，分别用于接收比特流F_LED、F_std和F_res。

装置26还包括两个输出88和90，分别用于发送图像和图像

和

分别对应于根据比特流F_LED、F_std和F_res构建的图像估计I_LED和I_LCD。

装置26包括三个解码器92、94和96，分别连接至输入82、84和86。

解码器96只根据比特流F_res产生对残留图像I_res的估计

装置94只根据比特流F_std产生对图像I_std的估计

最后，解码器92根据比特流F_LED并考虑解码器94所发送的信息，产生估计

解码器92的输出连接至输出88。解码器92的输出还连接至低通滤波器98的输入，低通滤波器98的输出连接至内插器100的输入。低通滤波器98及内插器100分别与低通滤波器64及内插器66相同。因此，内插器100的一个输出产生了图像I_filt的估计

装置26还包括均衡器102，均衡器102连接至内插器100的输出和解码器94的输出。比如，均衡器102和均衡器72相同。

因此，在均衡器102的输出处产生了图像I’_std的估

装置26包括加法器104，专门用于将估计中各像素的亮度同估计

中的各对应像素的亮度相加。此加法运算的结果就形成了由输出90所提供的估计

下面根据图4的方法对编码装置20的操作予以更加详细的说明。

起初，在阶段110，构建图像I_LED。

在该阶段110期间，在步骤112中，缩减器56减小图像I_ini的动态范围。

接着，在步骤114中，用滤波器58对动态范围减小了的图像I_red进行滤波，接着，在步骤116中，用校正器60对其加以校正，以构建图像I_LED。

一旦在阶段110构建了图像I_LED，就在阶段120构建图像I_LCD。

在该阶段120期间，在步骤122中，用滤波器64对图像I_LED进行滤波，接着，在步骤124中用内插器66对该滤波结果进行内插，以获得图像I_filt。最后，在步骤126中，用均衡器68构建图像I_LCD。

文章A1对阶段110和120进行了更加详细的说明。

与阶段110和120并行地，在步骤130中，缩减器70根据图像I_ini构建图像I_std。然后，在步骤132中均衡器72根据图像I_std和I_filt构建图像I’_std。

在阶段120和步骤132结尾处，在步骤134中，减法器74建立残留图像I_res。

并行地，在步骤136和138中，解码器78和76分别产生比特流F_std和F_res。

在步骤140中，根据比特流F_std的编码来对图像I_LED进行编码，以获得比特流F_LED，以便对流F_std和F_LED的冗余加以限制。从而，压缩了传输的比特流。

在步骤138、136和140结尾处，在步骤144中，通过网络8向系统2中的一组接收机发送比特流F_LED、F_res和F_std。

在步骤144结尾处，方法返回到阶段110和步骤130，以对后继图像进行编码。

下面将根据图5的方法对解码装置26的操作予以说明。

装置26接收比特流F_LED、F_std和F_res。

然后，解码器94在步骤150中重构估计与之并行地，在步骤152中，解码器94构建估计

在步骤154中，解码器92根据与比特流F_std的解码有关的信息来构建估计

在阶段156中，构建图像I_filt的估计

更准确地说，在步骤158中，滤波器98对估计

进行滤波，然后，在步骤160中，对步骤158的结果进行内插，以获得估计在阶段156之后，在步骤162中，根据估计

和

构建估计

比如，步骤162可以和步骤132相同。

在步骤164中，根据估计

和重建估计

步骤164可用求和器104实现。

接着，在步骤168中利用估计

来控制投影机28。更准确地说，在该步骤168中，投影机28将图像I_LED的估计投影到显示器的背面。与之并行地，在步骤170中，显示器30显示图像I_LCD的估计。

因此，接收机12所显示的像素亮度是LED栅34的亮度值和屏幕38中位于同一束路径上的像素的亮度值之和。因此，执行步骤168和170就形成了重建图像I_ini亮度的步骤172。

下面将参考图6的方法，对接收机10的操作予以说明。

在步骤180中，装置22选择比特流F_std，并对其进行解码，以获得图像I_std。

在步骤184中，命令屏幕24显示图像I_std。没有必要为接收机10缩减接收图像的动态范围。

Claims (13)

1.一种高动态原始数字图像的传输系统，其中每幅图像中各像素的亮度级被编码为m个比特，m是大于或等于10的整数，所述系统包括：

-配备了由像素矩阵构成的高动态范围HDR屏幕的至少一个高动态图像接收机(12)，能够将各像素的亮度调节成至少2^m种可能亮度级中的任一亮度级，

-提供由像素矩阵构成的屏幕(24)的至少一个标准动态图像接收机(10)，仅能够将各像素的亮度调节成至少2ⁿ种可能亮度级中的任一亮度级，其中n是严格小于m的整数，以及

-发送机(4)，包括用于产生对原始图像进行编码的比特流的专用编码装置(20)，所述发送机能够向所有接收机发送这些比特流，

其特征在于，所述编码装置能够产生：

-对原始图像进行编码的标准比特流，其中，每幅原始图像中各像素的亮度被唯一地编码为至多n个比特，以及

-至少第二比特流，包含：根据标准比特流中包含的编码为n个比特的亮度、重建每幅原始图像中各像素的被编码为m个比特的亮度所需的附加信息。

2.根据权利要求1所述的系统，其特征在于，所述高动态图像接收机包括：

-能够投影图像I_LED的投影机(28)；

-由图像投影机提供背光的液晶显示器LCD(30)，用于显示图像I_LCD，并且

-其中第二比特流是残留比特流，包含图像I_LCD中各像素与根据标准比特流得到的对图像I_LCD的估计中各对应像素间的亮度差。

3.根据权利要求2所述的系统，其特征在于，所述编码装置(20)能够产生根据标准比特流来对图像I_LED进行编码的第三比特流。

4.一种编码装置(20)，适于产生对高动态原始数字图像进行编码的比特流，其中各像素的亮度级被编码为m个比特，m是大于或等于10的整数，其特征在于，所述编码装置包括： 

-能够产生对原始图像进行编码的标准比特流的装置，其中，每幅原始图像中各像素的亮度被唯一地编码为至多n个比特，其中n是严格小于m的整数，以及

-至少能够产生第二比特流的装置，所述第二比特流包含：根据标准比特流中包含的编码为n个比特的亮度、重建每幅原始图像中各像素的被编码为m个比特的亮度所需的附加信息。

5.根据权利要求4所述的编码装置(20)，其特征在于，所述第二比特流是残留比特流，所述残留比特流只对图像I_LCD中各像素与根据标准比特流得到的图像估计I_LCD中各对应像素间的亮度差进行编码，图像I_LCD由液晶显示器LCD显示，液晶显示器LCD由用于投影图像I_LED的图像投影机提供背光。

6.根据权利要求4或5所述的编码装置(20)，其特征在于，所述编码装置还包括能够产生根据标准比特流来对图像I_LED进行编码的第三比特流的装置，图像I_LED由图像投影机投影，图像投影机用于为液晶显示器LCD提供背光，所述液晶显示器LCD用于显示图像I_LCD。

7.一种高动态原始数字图像的解码装置(26)，其中各像素的亮度级被编码为m个比特，m是大于或等于10的整数，其特征在于，所述解码装置包括能够根据以下比特流，由标准比特流中包含的编码为n个比特的亮度，重建每幅原始图像中各像素的被编码为m个比特的亮度的装置：

-对原始图像进行编码的标准比特流，其中，每幅原始图像中各像素的亮度被唯一地编码为至多n个比特，其中n是严格小于m的整数，以及

-至少第二比特流，包含：根据标准比特流中包含的编码为n个比特的亮度、重建每幅原始图像中各像素的被编码为m个比特的亮度所需的附加信息。

8.根据权利要求7所述的解码装置(26)，其特征在于，所述解码装置还包括能够根据所述第二比特流和由标准比特流得到的图像估计I_LCD来产生图像I_LCD的装置，其中，所述第二比特流是残留比特流，所述残留比特流只对图像I_LCD中各像素与根据标准比特流得到的图像估 计I_LCD中各对应像素间的亮度差进行编码，图像I_LCD由液晶显示器LCD来显示，液晶显示器LCD由用于投影图像I_LED的图像投影机提供背光。

9.根据权利要求7或8所述的解码装置(26)，其特征在于，所述解码装置还包括能够根据标准比特流以及第三比特流，重建图像I_LED的装置，其中所述第三比特流根据标准比特流来对图像I_LED进行编码，其中图像I_LED由图像投影机投影，图像投影机用于为液晶显示器LCD提供背光，所述液晶显示器LCD用于显示图像I_LCD。

10.一种高动态原始数字图像的编码方法，其中每幅图像中各像素的亮度级被编码为m个比特，m是大于或等于10的整数，其特征在于，所述方法包括多个步骤，用以产生：

-对原始图像进行编码的标准比特流，其中，每幅原始图像中各像素的亮度唯一地被编码为至多n个比特，其中n是严格小于m的整数，以及

-至少第二比特流，包含：根据标准比特流中包含的编码为n个比特的亮度、重建每幅原始图像中各像素的被编码为m个比特的亮度所需的附加信息。

11.根据权利要求10所述的编码方法，其特征在于，所述第二比特流(138)是残留比特流，所述残留比特流只对图像I_LCD中各像素与根据标准比特流得到的估计图像I_LCD中各对应像素间的亮度差进行编码。

12.一种高动态原始数字图像的解码方法，其中所述高动态原始数字图像是采用根据权利要求10所述的编码方法进行编码的，其特征在于，所述解码方法包括步骤：根据所述标准比特流和至少所述第二比特流来重建(172)被编码为m个比特的亮度。

13.根据权利要求12所述的解码方法，其特征在于，包括：根据所述标准比特流和所述第二比特流来构建图像估计I_LCD的步骤(164)，其中，所述第二比特流是残留比特流，所述残留比特流只对图像I_LCD中各像素与根据标准比特流得到的图像估计I_LCD中各对应像素间的亮度差进行编码，图像I_LCD由液晶显示器LCD来显示，液晶显示器LCD由用于投影图像I_LED的图像投影机提供背光。 

Images