CN103262535B

CN103262535B - 利用时间性一致动态范围映射的视频编码技术

Info

Publication number: CN103262535B
Application number: CN201180061241.1A
Authority: CN
Inventors: 延斯-乌韦·加尔巴斯; 赫伯特·托马
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2010-10-19
Filing date: 2011-10-12
Publication date: 2016-08-31
Anticipated expiration: 2031-10-12
Also published as: KR101531119B1; WO2012052338A1; US9532047B2; JP6121331B2; JP2017073792A; KR20130084670A; US10205958B2; AU2011319562A1; RU2550533C2; AR083481A1; JP2013545371A; CA2815158C; JP6453832B2; CA2815158A1; AU2011319562B2; BR112013009596A2; TR201802251T4; ES2663213T3; EP2630794B1; EP2630794A1

Abstract

通过利用加权预测的构思来实现更有效地共同使用一方面动态范围映射及另一方面时间性预测以诸如用来编码高动态范围HDR帧序列，使得从得自该参考帧的映射参数变迁至该目前时间性预测帧。由此方式，时间性预测不会不通过，且尽管在动态范围映射中有逐帧变异，如此仍可维持编码效率。至于有利端方面，加权时间性预测已经落入既有视频编码级诸如H.264/AVC的能力以内。

Description

利用时间性一致动态范围映射的视频编码技术

技术领域

本案涉及诸如用于HDR序列的视频编码。

背景技术

至目前为止，大部分图像及视频编码应用只能包含约两个数量级的亮度范围（低动态范围（LDR））[1]。但人类视觉系统（HVS）允许调整适当包含多于十个数量级范围的光状况[2]。有渐增数目的应用可从全HDR高度表示型态获益（例如CGI、特效制作、HDR显示器），HDR视频编码方法的需求日增。运用标准编码方法，例如H.264/AVC，无需过多额外努力将允许从LDR朝HDR视频编码无缝式地变迁。注意于此项工作中，HDR一词系指实际亮度值表示型态而非指调性映射LDR表示型态，后者偶尔称作为HDRI。

因HDR数据的最自然表示型态，亦即浮点数并不会导致良好压缩，处理上也昂贵，若干作者提示从浮点亮度值合宜地映射至整数照度值[3、4、5、6]。这些亮度对照度映射关系共同具有精度的关联损耗系小于人类视觉系统（HVS）公差，因而未察觉任何失真。其进一步共同具有在进一步处理前，施加HDR图像数据转换成CIELUV色空间[1]。换言之，数据系通过亮度成分Y及彩度成分（u’,v’）表示。（u’,v’）彩色表示型态的优点为其为知觉上均匀。换言之，在此表示型态中相等偏移值表示相对知觉色差，因此，可以例如8位的位深度而线性地映射至整数值。此种从可知觉的（u’,v’）区间[0,0.62]映射至[0,255]范围的整数值，导入了0.00172的最大绝对值量化误差，该值远小于视觉上可见临界值。

因人类视觉系统遵守韦伯-福克纳（Weber-Fechner）法则，大部分工作中，针对大型亮度范围，进行亮度Y映射至照度代码值的对数映射[3、5、6]。如此导致常数相对量化误差，结果获得知觉上一致的亮度表示型态。例如于[3]中Larson提示下示亮度对照度映射（LogLuv变换）：

将区间[5.44x10^-20,1.84x10¹⁹]的实数值亮度映射至范围[0,2¹⁵-1]内的15位整数照度值，及反之亦然。换言之，约38亮度数量级以0.27%相对阶梯形表示。此远小于约1%的视觉上可见量化临界值[1]。

但通过此映射关系所包含的动态范围系远超过人类视觉系统所能同时知觉的范围。此外，跨据如此高动态范围的自然图像数据并不存在。针对可进行进一步图像处理步骤的无损耗图像数据压缩，如此极高范围及保真度可能有用；但针对旨在由人类观察者观看的有损耗视频编码则否。结果，无需保留表示无法察觉或不会出现在来源图像或讯视框的亮度值的位。因如此将降级压缩效率，例如于以TIFF存库编码的HDR静像[3]，在LogLuv变换前，比例因子可用来将来源图像缩放至适当范围。于相似的LogLuv办法中[6]，缩放业已施加至各个个别视频序列框来探索给定位深度的可能照度代码值的完整范围。

但类似许多HDR视频编码方法，后者只是HDR图像编码直捷地延伸至个别视帧。因此该办法缺乏显著地降级压缩效率的若干特定视频方面。最值得注意者，以个别缩放而将连续帧的亮度值映射至不同代码值，显著地有损该序列的时间性一致。结果，于H.264/AVC视频编码器中的时间性移动补偿预测大半不合格。

当然，此点对其它时间性预测编码器及也对亮度值以外的样本值亦为真。

发明内容

如此，本发明的一个目的提出一种编码构思，允许更有效地共同使用一方面动态范围映射及另一方面时间性预测。

此项目的系通过申请专利范围独立项的主旨达成。

潜在本发明的基本构思在于更有效地共同使用一方面动态范围映射及另一方面时间性预测诸如用来编码高动态范围（HDR）帧序列系通过探索加权预测构思来从得自该参考帧的映射参数变迁至该目前时间性预测帧而予达成。通过此方式，时间性预测不会不通过，且尽管于动态范围映射中有逐帧变异，如此仍可维持编码效率。至于有利端方面，加权时间性预测已经落入既有视频编码级诸如H.264/AVC的能力以内。

后文将以更详细细节描述本发明的较佳实施例。更明确言之。

附图说明

图1示出了根据一实施例视频编码器的框图；

图2示出了根据一实施例图1的视频编码级的框图；

图3示出了根据一实施例视频解码器的框图；

图4示出了根据一实施例视频解码级的框图；

图5示出了示旨在例示说明根据一实施例，通过图1的视频编码器所产生的及通过图3的视频解码器所解码的数据流的一部分；

图6为具有不同帧的不同范围的示例性自适应对数亮度对照度映射的线图；以及

图7示出了三个情况的编码结果，换言之，根据就附图描述的实施例使用时间性一致映射，使用逐帧调适而未遵守时间性一致，以及针对不同视频块（左、中、右）使用常数映射，并使用不同手段用于质量降级（上列及下列）。

具体实施方式

在于后文参考附图描述本发明的进一步细节之前，在不同附图间出现的相同组件使用相同组件符号来标示，据此，这些组件就一个附图的描述也适用于另一附图，只要后者的特定细节并无相反教示即可。

图1示出了根据本发明的一实施例的视频编码器10。视频编码器10被配置为编码帧14的第一序列12，这些帧的样本值16以包含第一动态范围的第一格式表示。举例言之，帧序列12可以是视频，诸如HDR视频，样本值16可表示各个帧14的亮度分布的空间取样。其中，表示样本值16的第一格式可以为浮点格式。细节实例将概括如下。但须注意通过样本值16空间取样的信息类别并非限于亮度。相反，其它类别信息可以是样本值16的对象。举例言之，帧14可表示深度映射表，及据此，序列12可表示某个情况的深度映射表的时间性取样等。

视频编码器10包含样本值转换器18、视频编码级20、及参数设定器22。样本值转换器18及视频编码级20连接在视频编码器10的输入端24与输出端26间，其中，输入端24被配置为接收帧序列12，而输出端26被配置为输出通过视频编码器10编码序列12所得的数据流。参数设定器22具有连接至输入端24的输入端，及分别地连接至样本值转换器18及视频编码级20的参数输入端的输出端。如虚线28指示，参数设定器22也可输出贡献数据流26的侧边信息，如后文详述的。

样本值转换器18被配置为将该第一序列12的这些帧14的样本值16从该第一格式转换成一第二格式，该第二格式具有小于该第一动态范围的一第二动态范围。如此，样本值转换器18将帧32的第二序列30转送至视频编码级20，该第二序列完全对应于序列12，只是样本值16已从该第一格式被转换成一第二格式。因此，每个帧32对应于序列12的相应帧14，帧32以与序列12内的对应帧14相同的顺序被排列在序列30的内部。

第二格式例如可以为整数格式，其中，例如帧32的样本值34例如以使用二元代码的PCM编码形式表示。举例言之，样本值34可以n位表示，n例如等于8、9、或10。例如在8位的情况下，如此第二格式将只包含约二个数量级（10²≈2⁸）的样本值范围；在10位的情况下，如此第二格式将只包含约三个数量级（10³≈2¹⁰）的样本值范围。与此作比较，通过此表示样本值16的第一格式包含较大的或甚至更大的动态范围。如前所述及根据如下概括的更细节实施例，第一格式可以为浮点格式。但第一格式也可以是整数格式，但使用比第二格式更多个位。

为了将第一序列12的帧14的样本值从第一格式转换成第二格式，样本值转换器18使用映射函数36，该函数将第一动态范围40中的一部分38映射至第二动态范围42。更明确言之，样本值转换器18被配置为使得被映射函数36映射至相对应于第二格式的动态范围42的该部分38可以以逐帧为基础，通过由参数设定器22所设定的映射参数45（容后详述）来设定。在后文以进一步细节概括的特定实施例中，映射函数36表示于对数定义域的第一动态范围40与在线性定义域的第二动态范围间的线性映射函数。但替代此型函数，也可使用其它严格的单调函数。容后详述，部分38以逐帧为基础通过参数设定器22设定，因此捕获含在第一格式的相应帧14内部的基本所有的信息。简言之，参数设定器22寻求在第一动态范围40内部的定位及维度或缩放部分38，使得在相应帧14内部的全部的知觉上相关样本具有在该部分38内部的其样本值16，使得全部这些样本值皆未经裁剪地正确映射至第二格式的第二动态范围42。目前帧内部的样本值16的分布44实例在图1中示例出。在图1的实例中，该分布完全包含在部分38内部。容后详述，分布44可只表示在帧14某个部分内部的样本值16分布，诸如其中心部分，原因在于此种中心部分最可能含有视频内容情景中的最重要部分。

如明显清楚可见的，在第一动态范围40内部的样本值16的分布可根据不同帧而改变，据此，图1以虚线46示出在序列12内部另一帧14的具体分布。如图1具体所示，此种分布46例如相对于目前帧的分布44可位移及/或分布更窄。据此，参数设定器22可设定帧的映射参数44，样本值分布46与限定部分48的映射参数45不同。举例言之，样本值分布46可设定这些帧的映射参数，使得图形控制器48近似被分布46所占用的第一动态范围40的一部分，换言之，使得部分48尽可能地小但仍然包含分布46范围，同等适用于部分38有关分布44的叙述。

如此，序列30实质上相对应于序列12，但样本值以另一格式表示。但观看序列30将导致不愉快的印象，原因在于在序列30内部的一个帧的样本值34与同一序列的另一帧内部的样本值34不同以另一亮度部分限定。举例言之，前述序列12的帧将具有样本值16映射至分别驻在部分38及48的样本值34。如此，例如一个帧的样本值34与在序列30内部另一个帧的样本值不同极其可能相对应于另一个实际亮度值。若无额外措施，则视频编码级20无法使用例如移动补偿预测进行寻常时间性预测，原因在于所需移动向量搜寻最可能为不成功。

更明确言之，视频编码级20被配置为使用通过由一加权参数加权及通过一偏移参数偏移的该第二序列30的第二帧或该第二序列30的第二帧的一重建版本作为参考而通过该第二序列30的第一帧的加权时间性预测来编码帧32的第二序列30。换言之，视频编码级20可通过移动补偿预测且使用另一个先前已编码帧32的序列30作为参考来时间性地预测一目前帧32的序列30。移动补偿预测可以逐一区域基础执行。移动预测数据诸如移动向量及参考帧指数连同后述加样/偏移参数一起插入数据流作为侧边信息。各个时间性地预测区块可关联一个视频编码级20确定的移动向量，该项确定系通过由确定在参考亦即通过参数50所加权的及样本值偏移的参考帧内部目前帧32的目前区块内容的最佳匹配，尝试相对应于该区块在目前帧内部位置而做各个位移（移动向量）。为了限制搜寻的额外管理数据量，视频编码级20将搜寻限于某个搜寻范围。

如后文将变得更为清晰，由于下述事实，视频编码级20使用加权时间性预测，参数设定器22可就关联的映射部分48及38间之差而调适参考帧成为目前帧。

更明确言之，参数设定器22取决于参考帧的映射参数45，设定该加权参数及该偏移参数，一起在图1以箭头50示出，参考帧的映射参数系经由该加权参数及偏移参数50而与目前帧的映射参数关联，容后详述。换言之，参数设定器22负责设定下述二者：一方面目前帧的该加权参数及偏移参数50，及另一方面，目前帧的映射参数45。但参数设定器22无法与设定目前帧的映射参数45独立无关地设定加权参数和偏移参数50。反而两项设定系以例如独特方式而彼此相关。据此，实际上，参数设定器22同时设定加权参数及偏移参数50及映射参数45二者，并且更明确言之，使得加权参数及偏移参数50位移与缩放参考帧部分48的尺寸，使得如此位移及缩放获得目前帧的一部分38，如前文讨论该部分38适用于捕获分布44的知觉上相关部分。加权/偏移参数50通过其施加至参考帧而位移与缩放参考帧部分48的尺寸：加权/偏移参数50将部分48内部的全部可能值映射至一起跨据限定部分38的一范围的数值。

容后详述，根据特定实施例，在描述图1的视频编码器的功能前，将就图2叙述体现视频编码级20的实施例。根据图2的一实施例，视频编码级20包含残差编码器60、熵编码器62、残差重建器64、时间性预测器66、减法器68、加法器70、另一加法器72、及加权器或乘法器74。减法器68、残差编码器60、及熵编码器62系以所述顺序连接在视频编码级20的输入端76与输出端78间，该输入端76又系连接至样本值转换器18的输出端，及该输出端78转而连接至视频编码器10的输出端26。残差重建器64的输入端系连接至残差编码器60的输出端。加法器70的第一输入端系连接至残差重建器64的输出端。乘法器74、加法器72及时间性预测器66形成回路，且系以所述顺序串接在加法器70的一输出端与其另一输入端间。同时，乘法器74、加法器72、及时间性预测器66的串接系连接至减法器68的又一相减输入端。分别施加至加法器72及乘法器74的另一输入端的数值系通过将加载视频编码级20的参数输入端80的偏移参数50加权而予确定。

在操作中，目前帧载入输入端76，同时目前帧的时系施加于减法器68的相减输入端。从目前帧扣除时间性预测84所得预测残差82系通过残差编码器60编码。残差编码器60例如可让预测残差82接受变换，诸如频谱分解变换，其中残差编码器60系以逐一区块为基础而执行此项变换。此外或另外，残差编码器60可施加量化至预测残差82上来减少含在预测残差82内部欲编码入数据流的信息内容。残差编码器60可使用量化器阶梯形参数作为用于量化的参数，如虚线箭头86例示显示，该量化可额外地逐框改变。于残差编码器60的输出端，如此获得预测残差的遗漏编码版本88。也在输出端78通过熵编码器62以无遗漏方法将预测残差编码入数据流。

残差重建器64在其连接至加法器70第一输入端的输出端回复预测残差的重建版本90。于加法器70的另一输入端，加载目前帧的时间性预测84结果，据此加法器70组合重建残差90及时间性预测84来获得目前帧的重建版本，构成下个帧的时间性预测基础。容后详述，乘法器74取决于加权参数而相乘或缩放重建版本70的各个样本值；及加法器72取决于各个如此缩放的样本值的偏移参数而加上偏移值。通过此方式，重建版本70的样本值系位移至目前帧部分38内部的相对应于亮度位置来时间性地预测下一个。据此，于加法器72的输出端，获得已加权且已偏移的参考帧92，基于此时间性预测器66使用例如移动预测而进行时间性预测。举例言之，时间性预测器66针对目前帧的某个区块，使用参考帧92中的潜在已内插且位移（根据移动向量）部分作为目前进入输入端76的目前帧此一区块的预测。

如此，当视频编码级20使用加权时间性预测时，时间性预测器66使用来自92的已样本值加权及已样本值偏移中先前已编码帧的重建版本作为加法器70的输出而非直接输出。因此这些帧间部分38及48的定位及维度差被平衡。甚至换言之，参数设定器22保证平衡，而参数设定器22又妥为设定进入输入端80的加权及偏移参数50。

如此，再度转向图1，参数设定器22可被配置为确定第一动态范围40的占用部分，在该占用部分内部分布第一序列12的目前帧的样本值16，设定加权及偏移参数50使得通过映射参数55针对目前帧设定部分38近似占用部分。甚至换言之，参数设定器22可首先检视分布44来确定第一动态范围40的关注占用部分。然后，参数设定器22可设定目前帧的加权及偏移参数50，使得这些参数50施加至重建版本70的样本值有效地结果导致其重建版本70表示重建的该帧的部分48的位移与缩放，来获得近似由分布44所限定的占用部分的部分38。

就此方面而言，须注意于内部，视频编码级20可使用比较序列30的动态范围更高的动态范围，诸如较高位数来表示从施加加权及偏移参数于输入端80所得的已缩放且已样本值偏移的参考帧至参考帧亦即参考帧92的重建70，使用这些参数的施加不会导致任何裁剪问题。表示位数例如增加2。

如此，在更进一步细节，参数设定器22可被配置为根据由目前帧及参考帧的映射参数所设定的部分38、48的上限间的偏差或下限间的偏差而设定偏移参数；及根据部分38、48个别长度间的偏移而设定加权参数于后文进一步概括的特定实施例中，举例言之，样本值转换器18被配置为将第一序列12的帧14的样本值据据下式从第一格式转换成第二格式

b \cdot (\log_{m} (\hat{Y}) - a)

其中b及a由映射参数45所包含且系根据下式而与得自该第一动态范围40中的该部分至的一下限及上限有关

b = \frac{2^{n} - 1}{\log_{m} ({\hat{Y}}_{\max} / {\hat{Y}}_{\min})}, a = \log_{m} ({\hat{Y}}_{\min})

其中log_m为以m为底的一对数函数，及n为指示该第二格式的整数表示型态的位数的一整数。若系如此，则参数设定器可被配置为确定该第一动态范围的一占用部分，该第一序列12的该第一帧14的样本值16系分布于该占用部分内，及设定该加权参数及该偏移参数使得

\frac{\log_{m} ({\hat{Y}}_{\max, k} / {\hat{Y}}_{\min, k})}{\log_{m} ({\hat{Y}}_{\max, l} / {\hat{Y}}_{\min, l})} = \tilde{w}

\frac{\log_{m} ({\hat{Y}}_{\min, k} / {\hat{Y}}_{\min, l})}{\log_{m} ({\hat{Y}}_{\max, l} / {\hat{Y}}_{\min, l})} = 2^{n} - 1 = \tilde{o}

但限制条件为

及

其中Y_min为该占用部分的一下限，及Y_max为一上限。

加权及偏移参数的精度及范围可受视频编码级20所限，视频编码级20例如根据H.264/AVC操作。若系如此，则参数设定器可被配置为确定该第一动态范围的一占用部分，该第一序列12的该第一帧14的样本值16系分布于该占用部分内，及设定该加权参数及该偏移参数使得

\frac{\log_{m} ({\hat{Y}}_{\max, k} / {\hat{Y}}_{\min, k})}{\log_{m} ({\hat{Y}}_{\max, l} / {\hat{Y}}_{\min, l})} 2^{\log WD} = \hat{w}

\frac{\log_{m} ({\hat{Y}}_{\min, k} / {\hat{Y}}_{\min, l}) 2^{n} - 1}{\log_{m} ({\hat{Y}}_{\max, l} / {\hat{Y}}_{\min, l}) 2^{{n - n}_{0}}} = \hat{o}

但限制条件为

及

其中Y_min为该占用部分的一下限，及Y_max为一上限，n₀为与的一定义范围有关的一整数，指数l指示该第一帧序列的该第一帧，指数k指示该第一帧序列的该第二帧，及logWD由加权参数所包含，及系由偏移参数所包含。及的可容许精度可以是整数，的范围例如限于

- 128 \leq \hat{w}

\leq 127 .

再者，将就后文概括的细节实施例讨论，视频编码级20及残差编码器60可被配置为使用量于编码第二帧32序列30；及参数设定器22可被配置为取决于针对相应帧设定的相应部分38、48的长度而设定该序列30的帧32的量化器阶梯形参数。通过此手段，可调谐其时间性变异的量化噪声，否则若使用静态量化器阶梯形参数，则因部分38及48分别的长度的时间变异将产生量化噪声。参数设定器22可被配置为与针对第二序列的起始帧，诸如IPPPPP…序列的I帧的量化器阶梯形参数不同地将该量化器阶梯形参数编码成数据流。

就图3而言，在已经描述针对视频编码器的实施例后，根据一实施例视频解码器100描述如下。视频解码器用于重建帧104的序列102，其样本值106系以得自数据流诸如通过图1的视频编码器产生的数据流，包含第一动态范围的第一格式表示。样本值106表示的格式可以是样本值16的格式。但非必要。

视频解码器100包含视频解码级108、参数设定器110及样本值再转换器112。又复，视频解码器100包含前述数据流进入视频解码器100的输入端114，及用于输出序列102的输出端116。在输入端114与输出端116间，视频解码级108及样本值再转换器112系以所述顺序串接。参数设定器110系连接在输入端114与样本值再转换器112的参数输入端间。

就图4而言，显示视频解码级108可实质上类似图2编码器的组件64、70、74、72及66体现。更明确言之，视频解码级108可包含残差重建器118、加法器120、时间性预测器122、缩放器/乘法器124及额外加法器126。残差重建器118及加法器120可串接在视频解码级108其又连接至输入端114，与视频解码级的输出端130间，输出端130又连接至样本值再转换器112。呈回路形式，乘法器124、加法器126、及时间性预测器122系以所述顺序串接在加法器120的一输出端与其又一输入端间。施加至乘法器124及加法器126的额外输入端的数值系根据视频解码级108从进入输入端128的数据流所推出出的加权及偏移参数加以控制。

如此，已经叙述视频解码器100及视频解码级108分别的内部结构后，根据一实施例，其操作模式容后详述。

如前文已述，视频解码器100用于解码例如通过图1的视频编码器所产生的数据流。该数据流系已经于较低动态范围格式及使用视频编码级20插入数据流作为侧边信息的加权及偏移参数50而从序列30推出。据此，视频解码器可存取在编码端所使用的加权及偏移参数50，且可通过由例如若干速率/失真最佳化而使用在编码端最终所选用的参数而在编码端仿真重建。

更明确言之，视频解码级108系被配置为从进入输入端114的数据流，重建第二帧32’序列30’，该序列30’系相对应于图1的序列30，但编码损耗诸如通过视频编码级20所导入的量化损耗除外。帧32’的样本值34’据此也以包含第二动态范围42的第二格式表示，该第二动态范围42系小于最终重建序列102的动态范围。恰如同视频编码级20的情况，视频解码级108使用第二序列30’的参考帧作为参考，该参考电压节点系通过加权参数加权及通过偏移参数偏移，二者皆由进入输入端114的数据流所包含，通过第二序列30’的目前帧的加权时间性预测执行重建。参数设定器110又系被配置为取决于第二序列30’的参考帧的映射参数、及目前帧的加权参数及偏移参数50而设定针对第二序列30’目前帧的映射参数132。样本值再转换器112又系被配置为使用与由样本值转换器18所使用的映射函数颠倒的映射函数，该映射函数将第二动态范围42映射至第一动态范围诸如40中的该部分，该部分通过针对第二序列的相应帧的映射参数所设定，将第二序列30’的帧32’的样本值34’从第二格式转换成第一格式。

假设例如视频解码级108的残差重建器118目前重建目前帧32’的残差，该项重建在图4通过134指示。显然残差134将相对应于在图2组件符号88编码期间出现的残差。加法器120将此残差134组合目前帧的时间性预测136作为时间性预测器122的输出，因而达成目前帧亦即帧32’的重建版本138。又更假设此一重建版本138用作为帧序列30’的随后解碼帧的参考帧。然后，加权参数及偏移参数将含在用于随后解码帧的数据流内部，及据此，参考帧32’的样本值34’在实际上用于通过预测器122执行时间性预测中的参考140的前将在级124及126被偏移与缩放。此点与编码端的功能成镜像。时间性预测器122使用含在数据流内部的移动向量来从参考140获得时间性预测136。至于用来表示参考140的动态范围或位数，系高于原先宣称的序列30的动态范围，其重建在视频解码级108的130输出，潜在地裁剪掉否则可能发生的效应，原因在于有效地避免在级124及126施加加权及偏移参数50。

如此，由视频解码级108输出的序列30’表示在编码端输入视频编码级20的帧序列30的重建。样本值再转换器112通过将帧32’的样本值映射至具有足够动态范围的共享格式上，将此序列30’转入有意义的序列102，来因应容纳在原先材料12的动态范围。此种格式可以是序列12的样本值16格式，但也从其中偏移。为了在此共享动态范围内部获得各个帧32’的样本值34’包含的部分，样本值再转换器112依次施加与这些32’相关联的加权及偏移参数链。更明确言之，针对目前帧，样本值再转换器112通过施加目前帧的加权及偏移参数至先前针对目前帧的参考帧确定的该部分的位置及维度上而确定此一部分，亦即其位置及其维度。通过此方式，样本值再转换器112依序地回复图1所示部分38及48。

如此，又换言之，前述映射参数可限定第一动态范围40中的该部分38的长度及针对目前帧32’的第一动态范围中的该部分38的下限或上限及参数设定器110可被配置为取决于针对目前帧k的加权参数通过序列30’的参考帧l的映射参数限定而修改第一动态范围40中的该部分48的长度来推出出由目前帧k的移动参数132所限定的部分38的长度取决于针对目前帧k的偏移参数通过参考帧l的映射参数限定而修改第一动态范围40中的该部分48的下限或上限来推出出下限或上限针对第二序列30’的目前帧设定此一映射参数132。据此，参数设定器110通过含在输入输入端114的数据流的加权及偏移参数50操控来类似参数设定器22作用而控制视频编码级20及样本值转换器18。

在此瞬间，须注意图3的参数设定器110仅连接至样本值再转换器112，而参数设定器110分别地只控制样本值转换器18及视频编码级20。编码位置与解码位置间似乎不相一致系基于前述事实：编码器的视频编码级20无法自由选择加权及偏移参数。反而与从外侧规定相同，亦即通过参数设定器22，当设定这些加权及偏移参数时须将原先信号及其分布44及46分别地列入考虑。但参数设定器110通过此选择结果，经由含在经由输入端110到达的数据流内的侧边信息操控，及如此，视频解码级108可使用含在数据流的加权/偏移参数信息，与参数设定器22对相同信息亦即加权/偏移参数信息的评估独立无关，据此，磷需从参数设定器110前导至视频解码级108的控制路径。但根据另一实施例，参数设定器110负责二设定值，据此从外侧控制视频解码级108。在后述情况下，控制路径将从参数设定器110前导至视频解码级108。

如前文已述，如下概括实施例的进一步细节说明将使用二格式间的对数映射函数，亦即第一格式对数定义域与第二格式对数定义域间的线性映射函数。据此，样本值再转换器112可被配置为根据下式，将第二序列30’的帧32’的样本值L_n34’从第二格式转换成第一格式

m^{(L_{n} + ϵ) b^{- 1} + a}

其中b及a系由映射参数所包含且系根据下式而与得自该第一动态范围中的该部分38Y_min至Y_max的一下限Y_min及上限Y_max有关

b = \frac{2^{n} - 1}{\log_{m} ({\hat{Y}}_{\max} / {\hat{Y}}_{\min})}, a = \log_{m} ({\hat{Y}}_{\min})

其中log_m为以m为底的一对数函数，及n为指示该第二格式的整数表示型态的位数的一整数。

若是，则样本值再转换器112可被配置为计算a及b使得

\frac{\log_{m} ({\hat{Y}}_{\max, k} / {\hat{Y}}_{\min, k})}{\log_{m} ({\hat{Y}}_{\max, l} / {\hat{Y}}_{\min, l})} \cdot 2^{\log WD} = \hat{w}

nο为与的一定义范围有关的一整数，指数l指示该第一帧序列的该第一帧，指数m指示该第一帧序列的该第二帧，及logWD由加权参数所包含，及由偏移参数所包含。

再者，类似于前文描述，视频解码级108可被配置为在重建第二帧序列时使用量化器阶梯形参数，并且参数设定器可被配置为如对个别第二帧序列设定，取决于第一动态范围中的该部分长度，设定第二帧序列的量化器阶梯形参数。就此方面而言，参数设定器110可被配置为与该第二序列的一起始帧的一量化器阶梯形参数不同地解码来自该数据流的该量化器阶梯形参数。

也如前述，虽然已经假设第一帧序列的样本值为亮度浮点值，并且该第二序列的这些帧的样本值为照度整数值，也存在有其它可能性。

图5示出了根据如前文就图1至图4概括的实施例，从编码端发射至解码端的数据流的具体部分。从前文讨论接着数据流150具有第一帧序列102，其样本值以包含第一动态范围的第一格式表示，在其中以可重建形式编码。更明确言之，第一序列经由第二帧32序列30间接地编码成数据流150，其样本值以包含小于第一动态范围的第二动态范围42的第二格式表示，第二序列使用于加权参数加权及以偏移参数偏移的第二序列30’的第二帧作为参考，通过第二序列30’的第一帧的加权时间性预测编码成数据流，其中该加权参数及偏移参数由数据流所包含使得针对第二序列30’的第一帧的映射参数132取决于第二序列30’的第二帧的映射参数、加权参数及偏移参数；该第二序列的帧32’的样本值34’使用映射函数从第二格式被转成第一格式，该映射函数将第二动态范围42映射至通过第二序列的相应帧的映射参数所设定的第一动态范围40中的一部分上，重建该第一序列。换言之，数据流可被结构化成帧部分152，该帧部分152各自系与帧30’及104的个别一者相关联。各帧30’可以区块为单位编码成数据流150。各个帧部分152可包括移动预测数据154，例如包括移动向量。此外各个帧部分152数据可包括个别权利要求的加权及偏移参数50。数据流可经编码使得各帧部分的移动预测数据154回头参考156时间t上紧接在前的帧部分，亦即帧部分152沿呈现时间轴排列。换言的，各帧可以是使用紧接在前的帧作为参考帧的P帧，共享动态范围40中的部分可使用此一相依性链更新。仅帧的序列的总第一帧亦即起始帧158可以是I帧，或各GOP的起始帧，亦即（紧接在前的）图像群。此一起始帧158其中可能已经结合针对此第一帧158的映射参数的明确编码160。另外，甚至可无需此一明确编码160。又，各帧152，或起始帧158以外的各帧152其中可已经编码量化器阶梯形参数162，规定用来于残差重建器118解量化的量化器阶梯形，且依部分38的长度设定。更明确言的，量化器阶梯形参数162可使用起始帧部分158的（明确地或暗示地确定的）量化器阶梯形参数作为参考而以不同方式编码成数据流。

已经使用相当概括性术语作说明，用于编码及解码装置的实施例，亦即表示前述实施例的更具体体现的进一步细节实施例概括如下。根据如下概括的具体体现细节，逐帧自适应亮度对照度映射用来执行视频解码/编码级与样本值重新/转换分别间的变迁。根据如下概括的实施例，H.264/AVC的加权预测工具经探讨来维持时间性一致。换言之，根据后述实施例，前述实施例的视频编码级及视频解码级作用类似遵循H.264的实体，亦即视频编码级20产生遵循H.264数据流，视频解码级108遵守H.264/AVC标准而体现。图5的数据流甚至可完全遵循H.264/AVC。如此，根据下述实施例，加权预测工具不仅探索来维持时间性一致，但同时也传输用于样本值转换的自适应映射参数。再者，将提供实例有关针对与自适应对应相依性的各个帧如何调适量化参数（QP）。

如此，在后文中，通过使用数学方程式以进一步细节，呈现就图1至图5的前述实施例的体现细节。随后在章节2，呈现使用这些体现细节的实验结果。

1.1.动态范围自适应亮度映射

后文中，发明人重新探讨视频编码应用的亮度对照度映射。在后文亮度对照度映射函数的更概略性公式中可知代表性亮度范围[Y_min，Y_max]、照度位深度n、及相关联的相对精度间的折衷：

Y = 2^{(L_{n} + 0.5) \frac{\log_{2} (Y_{\max} / Y_{\min})}{2^{n} - 1} + \log_{2} (Y_{\min})} . - - - (3)

亮度Y的对数与照度空间L间的此种线性关系也阐释于图6。图6显示自适应对数亮度对照度映射：不同帧l及k的不同范围导致不同的映射函数。结果不同照度值可表示相同亮度值。

显然，当Y_min及Y_max分别等于目前视帧的最小及最大亮度时，映射达成最高保真度。换言的，若在视帧的既有亮度值系通过映射函数以最陡峭可能斜率映射至整个照度范围。但因动态范围可由一个帧变异至下个帧（即便在静态景象亦如此，因噪声缘故），此种直捷自适应将打破视频序列的时间性一致而阻止有效时间性预测。下一章节将呈示考虑此一效应的自适应映射。

1.2.时间性一致自适应亮度映射

考虑高动态范围（HDR）视频序列的两个接续帧k及l=k+1分别具有不同亮度范围[Y_min,k,Y_max,k]及[Y_min,l,Y_max,l]。显然，使用在（2）中各个帧的极值将导致各个帧不同的映射。换言之，在帧k及l的相同亮度值将分别地映射至不同照度值L_n,k及L_n,l，如图1举例说明。使用针对帧k及l的不同映射，将（3）插入（2）获得：

\begin{matrix} L_{n, l} = (L_{n, k} + 0.5) \frac{\log_{2} (Y_{\max, k} / Y_{\min, k})}{\log_{2} (Y_{\max, l} / Y_{\min, l})} \\ + (2^{n} - 1) \frac{\log_{2} (Y_{\min, k} / Y_{\min, l})}{\log_{2} (Y_{\max, l} / Y_{\min, l})} \\ = (L_{n, k} + 0.5) \cdot w + o . \end{matrix} - - - (4)

显然，基于相同亮度值的二照度值L_n,k与L_n,l间的关系系全然由标度w及偏移值o所限定。w及o容易从范围[Y_min,k,Y_max,k]及[Y_min,l,Y_max,l]推出出。

H.264/AVC为限定用于加权预测（WP）工具语法的第一国际视频编码标准[7]。加权预测（WP）原先旨在用于增强淡入及淡出序列的编码效率，在该处移动补偿预测通常无法发挥作用。允许每个截割片明确地传讯加权参数及偏移参数这些参数可用于加权及移位参考帧用于加强时间性预测。方程式（4）显示成功帧的动态范围改变仅只导致在照度空间有相同亮度值的加权w及偏移o。因此，尽管亮度范围有任何变化，H.264/AVC的加权预测语法完美地适合允许有效时间性预测。例如考虑通过可执行HDR的相机面对明亮日光记录接近静态景象的情况。现在阳光突然被云遮住，动态范围将改变数个数量级，而全部前景物件的亮度值将约略维持恒定。若发明人使用WP工具来调适参考帧的照度值，则允许对植基于相同亮度值的前景像素作完美时间性预测。此外，WP参数信息系足够传递用于亮度对照度映射的逐帧调适任何需要的侧边信息，容后详述。

在H.264/AVC中，及的精度及动态范围有限。二参数可具有-128至127间的整数值。的精度受1/2^logWD的量化区间所限，于该处logWD系明确地传讯且可具有0至7的整数值。结果，logWD值愈高，结果导致更精细粒度的参数表示型态。也表示需要更多位来编码加权因子，及有效缩放范围的缩窄[7]。偏移参数的阶梯形系由2^n-8定义来考虑于H.264/AVC编码器的照度表示型态的深度n。结果为了允许从一个帧至下个帧具有不变亮度值的完美时间性预测，需要量化自适应映射函数的变化，使得可以H.264/AVC WP参数及表示。

换言之，给定由帧k所包含的动态亮度范围发明人发现最小值及最大值满足

及

但限制条件为

及（7）

后二个不等式确保由自适应映射所包含的亮度范围包含至少存在于目前帧的亮度范围[Y_min,l,Y_max,l]。

实际上，参数设定器22通过解出（5）及（6），设定及及朝零舍入，可找到此一问题的解。如此获得及的初始值，及可解出（5）及（6）w.r.t.及

{\hat{Y}}_{\min, l} = 2^{[\log_{2} (Y_{\min, k}) - \frac{\hat{o} \cdot 2^{\log WD} 2^{n - 8}}{\hat{ω} \cdot 2^{n} - 1} \log_{2} (Y_{\max, k} / Y_{\min, k})]} - - - (8)

{\hat{Y}}_{\max, l} = 2^{[\frac{2^{\log WD}}{\hat{ω}} \cdot \log_{2} (Y_{\max, k} / Y_{\min, k}) + \log_{2} ({\hat{Y}}_{\min, l})] .} - - - (9)

若结果违反（7）的条件中的一者，则参数设定器22可递减或递增达1且重新计算（8）及（9）。

在找到帧l w.r.t.帧k的最佳亮度范围后，参数设定器22及样本值转换器18可使用这些值映射于（2）。此外，加权参数及偏移参数及可资利用于H.264/AVC视频编码器20的加权时间性预测。最后，从（5）及（6）的关系可知，给定前一帧48的范围，这些参数完全足够确切回复目前帧38的亮度范围。当第一帧（及可能地IDR帧）的映射包含最大可见动态范围时，无需额外侧边信息用于自适应映射。否则，第一帧的范围须明确地传讯给解码器，如虚线28例示说明。但概略言的，根据章节1的方案避免浮点值缩放信息须传递作为各个帧的侧边信息，否则会使标准顺应编码复杂化且增加位率。

1.3.时间性一致量化

根据前述手段，针对各个帧，不同亮度范围系映射至照度代码值。因此，在H.264/AVC编码过程中使用相同QP，将导致亮度空间的变化的量化，取决于映射。换言之，即使编码器可使用常数量化，有效量化将随时间大为改变，结果导致质量及位率的强力变化。因此，根据一实施例，编码级20及108将亮度映射范围列入考虑，及据此而找出各个帧的适当ΔQP。此处，ΔQP表示针对目前帧w.r.t.用来编码第一帧的参考QP的QP偏移值。图1中容易可见，为了将相同有效量化导入亮度值，目前帧l及任意参考帧k的量化器阶梯形Q_step,l及Q_step,k须根据下式相关联

{Qrel}_{l, k} = \frac{Q_{step, 1}}{Q_{step, k}} = \frac{\log_{2} (Y_{\max, k} / Y_{\min, k})}{\log_{2} (Y_{\max, l} / Y_{\min, l})} . - - - (10)

考虑下述事实，当QP值增加6单位时，根据定义Q_step约加倍，发明人可谓：

{Qrel}_{l, k} \approx 2^{ΔQ P_{l, k} / 6} &DoubleRightArrow; ΔQ P_{l, k} = round (6 \log_{2} ({Qrel}_{l, k})) . - - - (11)

在此工作中，发明人经常性使用一序列的第一帧作为用于针对各个帧计算QP偏移值的参考帧。换言之，任意帧l将以QP=QP_l+ΔQP_l,1量化。

2.实验结果

为了评估章节1的时间性一致亮度对照度映射，发明人使用三个高动态范围（HDR）测试序列：全景、隧道、及日光进行编码实验。全部序列皆具有640x480像素分辨率及30fps的帧率。全景测试序列系通过摇摄8000x4000像素HDR全景图像产生。可显示暗的内部区及来自窗外极明亮的阳光反射。总动态范围约为10¹⁰：1。隧道及日光系从行驶中的汽车内部使用HDR视频摄影机免费得自马克-蒲朗克协会拍摄[8]。前者显示行驶通过暗隧道，后者显示在高速公路上行驶面对明亮阳光。这些序列中表示的总动态范围分别为10⁵：1及10⁷：1。于发明人的实验中，发明人使用两个量表来评估解码HDR视频的质量：HDR可见差预测器（VDP）[9]及知觉上一致峰值信号对噪声比（PU PSNR）[10]。前者估计观察者将注意到不同的一对图像中的像素百分比，机率大于75%。后者量表为常用于HDR的PSNR量表的直捷延伸。用于低动态范围（LDR）图像，假设经γ校正的像素代码值为知觉上一致，换言之，于图像的亮区及暗区同等可见相等误差幅值。但此一假设不适用于HDR图像，因此，代码值须缩放至知觉一致空间才可求出有意义PSNR值[10]。

为了编码这些序列，首先从RGB浮点值变换成LogLuv空间，及然后以H.264/AVC参考软件JM17.2编码。日度成分系以12位/样本的位深度编码，u’及v’成分系通过两个因子垂直地及水平地次取样，及以8位/样本编码。发明人使用相同组态H.264/AVC高轮廓数据具8x8变换、IPPP GOP结构，15框内周期及CABAC作用态用于全部实验。针对各个编码器回合选择固定参考QP且未作动速率控制。但如章节1.3所述，逐帧QP可偏离此一参考QP。解码序列后，映射回RGB浮点值，其质量根据前述量表评估。

更明确言之，图7示出三个情况的编码结果：根据章节1时间性一致映射（「提示」）、针对各个帧逐帧调适而无时间性一致（「逐帧」）[6]、及整个视觉亮度范围[10^-4,10⁸]的常数映射（「视觉范围」）。上列：可见差预测器（VDP）。下列：知觉上一致峰值信号对噪声比（PUPSNR）。

图7示出以全部解码帧的VDP平均表示（上列）及以亮度成分的平均PU PSNR表示（下列）全部测试序列的编码结果。更明确言之，图7显示三个情况的编码结果：时间性一致映射（「提示」）、针对各个帧逐帧调适而无时间性一致（「逐帧」）[6]、及整个视觉亮度范围[10^-4,10⁸]的常数映射（「视觉范围」）。上列：可见差预测器（VDP）。下列：知觉上一致峰值信号对噪声比（PU PSNR）。

提示方法（「提示」）系与图7中两个参考方法比较：亮度对照度映射的对各帧动态范围的直捷逐帧调适而未考虑时间性一致（「逐帧」）[6]、及整个视觉亮度范围[10^-4,10⁸]的常数映射（「视觉范围」）。在后述情况下，映射函数的亮度范围可能超过许多HDR视频序列的出现亮度范围。但于实时编码应用中，无法将映射范围缩窄至一序列的绝对亮度范围，原因在于如此将要求在编码前处理整个序列。图7明白显示所提示的映射表现显著超过全部测试序列的参考方法。此处值得注意者为VDP量表为临界值量表，只提供有关像素是否察觉错误的估值。并未陈述此一误差对观察者有如何恼人。如此，例如图7（a）结果可解译如下：若许可约1%像素察觉有误，提供所提示的映射则只需小于2500千位/秒的位率。如此比较在「视觉范围」（「逐帧」）情景达成相同VDP值的5000千位/秒（3250千位/秒）减少约50%（25%）。同理，在图7（b）及图（c）可针对隧道及日光测试序列观察得巨大位率节省。

如所预期，图7（d）至图（f）的PU PSNR结果阐释与全部序列的VDP结果相似的效能特性。此外，允许使用所提示方法用于大范围位率可达成质量增益的量化结论。举例言的，针对全景序列，所提示方法的PUPSNR值超过「视觉范围」映射的PU PSNR值于3250千位/秒达3分贝（参考图7（d））。如此表示于知觉上一致亮度空间的均方差于相同位率时减半，而视觉质量大增。

值得注意者为用于全景序列，逐帧自适应映射比较非自适应「视觉范围」映射对编码效率有极其不利影响。此一序列具有其动态范围极大且极快速变化，因此于逐帧自适应映射的情况下，时间性预测不合格（参考图7（a）、（d））。另一方面，在图7（b）及图（e）可观察得所提示方法的表现几乎与「逐帧」映射相同。于此序列中，动态范围的时间性改变极为平滑。在发明人的实验中，发明人进一步观察得用于「逐帧」映射，每当动态范围显著改变时，位率及质量有强力时间性变化。此种负面效应可通过所提示方法的时间性一致量化及映射而克服。

3.结论

如此，在章节1曾经提示自适应亮度对照度映射允许以最先进H.264/AVC视频编码标准压缩浮点高动态范围视频数据。类似其它方法，映射系适用于各个帧的动态范围。虽言如此，通过探讨H.264/AVC的加权预测工具及通过根据映射函数施加量化参数的逐帧自适应，维持时间性一致。无需额外侧边信息，比较非自适应方法，可在相等质量观察得显著位率节省高达50%。

最后须注意在章节1-3呈现的全部细节也可在某些意义上改变。举例言的，就图1至图5所述加权/偏移参数及章节1-3所述加权/偏移参数皆不限于H.264/AVC标准，也即logWD、及加权/偏移参数可以不同语法元素形式传输。更明确言之，无需将加权参数的传输分裂成两个语法元素实体logWD、同理，须注意序列30及30’分别可以IPPPP…序列形式或IPPPP…GOP形式使用个别紧接前方的帧作为参考帧编码。第一I帧可表示起始帧，如章节1.3所述，指出量化参数可重新调整。但前述全部实施例皆非限于此型序列。即便B帧可用于视频编码级20及视频解码级108的编解码方案内部，此时于22实行额外措施来满足由就两个参考帧而言目前帧的加权/偏移参数所加诸的限制，换言之，考虑目前帧的参考帧的加权/偏移参数及目前帧的另一参考电压节点的加权/偏移参数，而二参数对系在数据流内部传输。

再者，如前文已述，替代亮度对照度映射，另一种映射可成为前文概括实施例的主旨。换言之，样本值可关联亮度以外的信息。又，图2及图4的视频编码级20及视频解码级108的体现须了解只是举例说明本质。举例言的，可删除用于熵编码残差信号88的熵编码器62。同理熵解码器129可选择性地连接在图4的视频解码级108的输入端128与残差重建器118间。

虽然已经以装置脉络描述若干方面，但显然这些方面也表示相对应方法的描述，在该处方块或装置相对应于方法步骤或方法步骤的特征结构。同理，在方法步骤脉络描述的方面也表示相对应装置的相对应区块或物项或特征结构的描述。部分或全部方法步骤可通过（或使用）硬件装置例如，微处理器、可编程计算机或电子电路执行。于若干实施例中，最重要方法步骤中的某一者或多者可通过此种装置执行。

本发明数据流可存储在数字存储媒介上，或可在发射媒介诸如无线发射媒介或有线发射媒介诸如因特网上发射。

取决于某些体现要求，本发明的实施例可于硬件或于软件体现。体现可使用数字存储媒介执行，例如软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存，具有可电子读取控制信号存储于其上，这些信号与（或可与）可编程计算机系统协作，因而执行个别方法。因此，数字存储媒介可以是计算机可读取。

根据本发明的若干实施例包含具有可电子读取控制信号的数据载体，这些信号可与可编程计算机系统协作，因而执行此处所述方法中的一者。

大致言之，本发明的实施例可体现为具有程序代码的计算机程序产品，该程序代码系当计算机程序产品在计算机上运行时可执行这些方法中的一者。程序代码例如可存储在机器可读取载体上。

其它实施例包含存储在机器可读取载体上用于执行此处所述方法中的一者的计算机程序。

换言之，因此，本发明的实施例为一种具有一程序代码的计算机程序，该程序代码系当该计算机程序于一计算机上运行时用于执行此处所述方法中的一者。

因此，本发明方法的又一实施例为数据载体（或数字存储媒介或计算机可读取媒介）包含用于执行此处所述方法中的一者的计算机程序记录于其上。数据载体或数字存储媒介或记录媒介典型地为具体有形及/或非瞬时。

因此，本发明方法的又一实施例为表示用于执行此处所述方法中的一者的计算机程序的数据流或信号序列。数据流或信号序列例如可被配置为经由数据通讯连接，例如经由因特网转移。

又一实施例包含处理构件例如计算机或可编程逻辑装置，其被配置为或适用于执行此处所述方法中的一者。

又一实施例包含计算机其上安装有用于执行此处所述方法中的一者的计算机程序。

根据本发明的又一实施例包含一种装置或统被配置为转移（例如电子式或光学式）用于执行此处所述方法中的一者的计算机程序给一接收器。该接收器例如可以是计算机、行动装置、内存装置等。该装置或系统例如包含用于转移计算机程序给接收器的文档服务器。

在若干实施例中，可编程逻辑装置（例如可现场编程门阵列）可用来执行此处描述的方法的部分或全部功能。在若干实施例中，可现场编程门阵列可与微处理器协作来执行此处所述方法中的一者。大致上这些方法较佳系通过任何硬件装置执行。

前述实施例仅供举例说明本发明原理。须了解此处所述配置及细节的修改及变化将为本领域技术人员显然易知。因此，旨在仅受审查中的专利申请范围所限而非受用于描述及解说此处实施例所呈示的特定细节所限。

又换言之，已描述适合用于高动态范围（HDR）序列的有效压缩的实施例。为了获得与H.264/AVC视频编码标准可兼容的编码表示型态，浮点值HDR值系映射至适当整数表示型态。使用的映射适合各个视帧的动态范围。此外，为了补偿跨帧的相关联的动态反差变化，介绍加权预测方法及量化调适。

从另一观点，前述实施例为也描述于EP10151074.1的自适应LogLuv变换的改良，该案额外细节系以引用方式并入此处。基本上，并已使用类似EP10151074.1的浮点至整数值的自适应对数映射。但此一映射参数不再全然自由。反而根据前述实施例，该映射参数系限于匹配H.264/AVC视频编解码器的特性，及尤其H.264/AVC的加权预测（WP）工具。具有这些限制，获得下列效益：（1）WP工具可用来确保时间性一致。（2）WP的H.264/AVC语法可用来传讯LogLuv映射参数，如此免除额外侧边信息的需要。在前文说明中，已示出如何根据自适应映射而调适H.264/AVC编码器的量化参数。

参考文献

[1]Erik Reinhard,Greg Ward,Sumanta Pattanaik,and Paul Debevec,HighDynamic Range Imaging:Acquisition,Display,and Image-Based Lighting,MorganKaufmann Publishers Inc.,San Francisco,CA,USA,2005.

[2]J.A.Ferwerda,“Elements of early vision for computer graphics,”IEEEComp.Graph.and Appl.,vol.21,no.5,pp.22–33,2001.

[3]Gregory Ward Larson,“The LogLuv encoding for full gamut,highdynamic range images,”Journal of Graph.Tools,vol.3,no.1,pp.15–31,1998.

[4]Mantiuk,Grzegorz Krawczyk,Karol Myszkowski,and Hans-PeterSeidel,“Perception-motivated high dynamic range video encoding,”ACMTrans.Graph.,vol.23,no.3,pp.733–741,2004.

[5]Masahiro Okuda and Nicola Adami,“Effective color spacerepresentation for wavelet based compression of HDR images,”in InternationalConference on Image Analysis and Processing,2007,pp.388–392.

[6]Ajit Motra and Herbert Thoma,“An adaptive LogLuv transform forhigh dynamic range video compression,”in Proc.Intl.Conf.on Image Processing（ICIP）,Hong Kong,China,Sept.2010.

[7]J.M.Boyce,“Weighted prediction in the H.264/MPEG AVC video codingstandard,”in Proc.Intl.Symposium on Circuits and Systems（ISCAS）,May 2004,pp.789–792.

[8]Grzegorz Krawczy,“HDR video environment maps samples,”http://www.mpi-inf.mpg.de/resources/hdr/video/,MPI

[9]Mantiuk,Scott Daly,Karol Myszkowski,and Hans-Peter Seidel,“Predicting visible differences in high dynamic range images–model and itscalibration,”in SPIE Human Vision and Electronic Imaging X,2005.

[10]TunC，Ozan Aydin,Mantiuk,and Hans-Peter Seidel,“Extendingquality metrics to full dynamic range images,”in SPIE Human Vision andElectronic Imaging XIII,San Jose,USA,Jan.2008

Claims

1.一种用于编码帧(14)的第一序列(12)的视频编码器，所述帧的样本值(16)以包含一第一动态范围的第一格式来表示，所述视频编码器包含：

一样本值转换器(18)，被配置为使用一映射函数(36)而将所述第一序列(12)的所述帧(14)的样本值(16)从所述第一格式转换成具有小于所述第一动态范围的一第二动态范围的一第二格式，以获得帧(32)的第二序列(30)，所述映射函数将所述第一动态范围(40)中可通过一映射参数(45)设定的一部分(38)映射到所述第二动态范围(42)上；

一视频编码级(20)，所述视频编码级被配置为使用通过一加权参数加权及通过一偏移参数偏移的所述第二序列(30)的一第二帧或者所述第二序列(30)的所述第二帧的一重建版本作为一参考，通过所述第二序列(30)的一第一帧的加权时间性预测来编码所述帧(32)的所述第二序列(30)；以及

一参数设定器(22)，用于通过以下来设定所述加权参数和所述偏移参数(50)以及与所述第二序列的所述第一帧对应的所述第一序列的第一帧的所述映射参数：

确定所述第一动态范围(40)的一占用部分，其中，所述第一序列(12)的所述第一帧的所述样本值(16)分布于所述占用部分内，以及

同时设定所述加权参数和所述偏移参数(50)以及所述第一序列的所述第一帧的所述映射函数，使得所述加权参数和所述偏移参数移动并缩放所述第一动态范围(40)中由所述第一序列的所述第二帧的所述映射参数设定的所述部分，以产生捕获所述占用部分的区间，所述区间为所述第一动态范围(40)中由所述第一序列的所述第一帧的所述映射参数设定的所述部分。

2.根据权利要求1所述的视频编码器，其中，所述参数设定器(22)被配置为根据由所述第一序列的所述第一帧和所述第二帧各自的所述映射参数所设定的所述部分(38/48)的上限间的一偏差或下限间的一偏差来设定所述偏移参数，并根据由所述第一序列的所述第一帧和所述第二帧各自的所述映射参数所设定的所述部分(38,48)的长度间的偏差来设定所述加权参数

3.根据权利要求1所述的视频编码器，其中，所述样本值转换器(18)被配置为根据下式将所述第一序列(12)的所述帧(14)的样本值从所述第一格式转换成所述第二格式

b \cdot (\log_{m} (\hat{Y}) - a)

其中，b及a表示所述映射参数并根据下式而与所述第一动态范围(40)中的所述部分至(38)的一下限和上限有关

b = \frac{2^{n} - 1}{\log_{m} ({\hat{Y}}_{\max} / {\hat{Y}}_{\min})}, a = \log_{m} ({\hat{Y}}_{\min})

其中，log_m为以m为底的一对数函数，并且n为指示所述第二格式的整数表示型态的位数的一整数。

4.根据权利要求3所述的视频编码器，其中，所述参数设定器(22)被配置为确定所述第一动态范围(40)的一占用部分，其中，所述第一序列(12)的所述第一帧的所述样本值(16)分布(44)于所述占用部分内，并设定所述加权参数和所述偏移参数(50)，使得

\frac{\log_{m} ({\hat{Y}}_{\max, k} {\hat{Y}}_{\min, k})}{\log_{m} ({\hat{Y}}_{\max,_{l}} {\hat{Y}}_{\min, l})} \cdot 2^{\log W D} = \hat{w}

限制条件为

及

其中，为所述占用部分的一下限，为所述占用部分的一上限，nο为与的一定义范围有关的一整数，指数l指示所述第一帧序列的所述第一帧，指数k指示所述第一帧序列的所述第二帧，和logWD表示所述加权参数，并且表示所述偏移参数。

5.根据权利要求1所述的视频编码器，其中，所述视频编码级(20)被配置为在编码所述帧的所述第二序列(30)时使用一量化器阶梯形参数，并且所述参数设定器(22)被配置为取决于所述第一动态范围(40)中的针对所述第一序列的对应于所述第二序列的各个帧的所述帧所设定的所述部分的长度，来设定所述第二序列(39)的所述帧(12)的所述量化器阶梯形参数。

6.根据权利要求5所述的视频编码器，其中，所述参数设定器(22)被配置为与所述第二序列的一起始帧的一量化器阶梯形参数不同地将所述量化器阶梯形参数编码成一数据流。

7.根据权利要求1所述的视频编码器，其中，所述第一序列的所述帧的所述样本值为亮度浮点值，并且所述第二序列的所述帧的样本值为照度整数值。

8.一种用于从一数据流重建帧的第一序列(102)的视频解码器，所述帧的样本值以包含一第一动态范围的一第一格式表示，所述视频解码器包含：

一视频解码级(108)，被配置为使用通过由所述数据流包含的一加权参数加权和由所述数据流包含的一偏移参数偏移的第二序列(30’)的一第二帧作为参考，通过所述第二序列(30’)的一第一帧的一加权时间性预测而从所述数据流重建帧(32’)的所述第二序列(30’)，所述帧的所述样本值以包含小于所述第一动态范围的第二动态范围(42)的一第二格式表示；

一参数设定器(110)，被配置为取决于所述第二序列(30’)的所述第二帧的一映射参数、所述加权参数和所述偏移参数，来设定所述第二序列(30’)的所述第一帧的一映射参数(132)，以及

一样本值再转换器(112)，被配置为使用一映射函数将所述第二序列的所述帧(32’)的所述样本值(34’)从所述第二格式转换成所述第一格式，所述映射函数将所述第二动态范围(42)映射到所述第一动态范围(40)中通过所述第二序列的相应帧的映射参数所设定的一部分上。

9.根据权利要求8所述的视频解码器，其中，所述映射参数限定所述第一动态范围(40)中的所述部分(38)的一长度和所述第一动态范围中的所述部分(38)的一下限和一上限，并且其中，所述参数设定器被配置为通过下列处理来设定所述第二序列(30’)的所述第一帧的所述映射参数：取决于所述加权参数，修改所述第一动态范围(40)中由所述第二序列(30’)的所述第二帧的映射参数所限定的所述部分(48)的一长度以推出所述第一动态范围中由所述第二序列的所述第一帧的映射参数所限定的所述部分(38)的长度；以及取决于所述偏移参数，修改所述第一动态范围(40)中由所述第二序列的所述第二帧的所述映射参数所限定的所述部分(48)的一下限或上限以推出所述第二序列的所述第一帧。

10.根据权利要求8所述的视频解码器，其中，所述样本值再转换器(112)被配置为将所述第二序列(30’)的所述帧(32’)的所述样本值L_n(34’)根据下式从所述第二格式转换成所述第一格式

m^{(L_{n} + ϵ) b^{- 1} + a}

其中，b和a表示映射参数且根据下式而与所述第一动态范围中的所述部分(38)至的下限和上限有关

b = \frac{2^{n} - 1}{\log_{m} ({\hat{Y}}_{\max} / {\hat{Y}}_{\min})}, a = \log_{m} ({\hat{Y}}_{\min})

其中，log_m为以m为底的一对数函数，n为指示所述第二格式的整数表示型态的位数的一整数。

11.根据权利要求10所述的视频解码器，其中，所述参数设定器(110)被配置为计算a和b，使得

\frac{\log_{m} ({\hat{Y}}_{\max, k} {\hat{Y}}_{\min, k})}{\log_{m} ({\hat{Y}}_{\max,_{l}} {\hat{Y}}_{\min, l})} \cdot 2^{\log W D} = \hat{w}

nο为与的一定义范围有关的一整数，指数l指示所述第二序列的所述第一帧，指数k指示所述第二序列的所述第二帧，和logWD表示所述加权参数，并且表示所述偏移参数。

12.根据权利要求8所述的视频解码器，其中，所述视频解码级(108)被配置为在重建所述帧的所述第二序列时使用一量化器阶梯形参数，并且所述参数设定器被配置为取决于所述第一动态范围中的针对所述第二序列的各个帧所设定所述部分的一长度来设定所述第二序列的所述帧的量化器阶梯形参数。

13.根据权利要求12所述的视频解码器，其中，所述参数设定器(110)被配置为与所述第二序列的一起始帧的一量化器阶梯形参数不同地从所述数据流解码所述量化器阶梯形参数。

14.根据权利要求8所述的视频解码器，其中，所述第一序列的所述帧的样本值为亮度浮点值，并且所述第二序列的所述帧的样本值为照度整数值。

15.一种用于编码帧(14)的第一序列(12)的方法，所述帧的样本值(16)以包含一第一动态范围的一第一格式表示，所述方法包含：

使用一映射函数(36)而将所述第一序列(12)的所述帧(14)的样本值(16)从所述第一格式转换成具有小于所述第一动态范围的一第二动态范围的一第二格式以获得帧(32)的第二序列(30)，所述映射函数将所述第一动态范围(40)中可通过一映射参数(45)设定的一部分(38)映射至所述第二动态范围(42)；

使用通过一加权参数加权和通过一偏移参数偏移的所述第二序列(30)的一第二帧或者所述第二序列(30)的所述第二帧的一重建版本作为一参考，通过所述第二序列(30)的一第一帧的加权时间性预测来编码所述帧(32)的所述第二序列(30)；以及

通过以下方式，来设定所述加权参数和所述偏移参数(50)以及与所述第二序列的所述第一帧对应的所述第一序列的所述第一帧的映射参数：

16.一种用于从一数据流重建帧的一第一序列(102)的方法，所述帧的样本值以包含一第一动态范围的一第一格式表示，所述方法包含：

使用通过由所述数据流包含的一加权参数加权及通过由所述数据流包含的一偏移参数偏移的第二序列(30’)的一第二帧作为参考，通过所述第二序列(30’)的第一帧的加权时间性预测而从所述数据流重建帧(32’)的所述第二序列(30’)，所述帧的样本值以包含小于所述第一动态范围的一第二动态范围(42)的一第二格式表示；

取决于所述第二序列(30’)的所述第二帧的一映射参数、所述加权参数及所述偏移参数，来设定所述第二序列(30’)的所述第一帧的一映射参数(132)，以及

使用一映射函数将所述第二序列的所述帧(32’)的样本值(34’)从所述第二格式转换成所述第一格式，所述映射函数将所述第二动态范围(42)映射到所述第一动态范围(40)中通过所述第二序列的相应帧的映射参数所设定的一部分上。