CN103391437A - 一种高动态图像视觉无损压缩的方法及装置 - Google Patents

Abstract

本发明公开了一种高动态图像视觉无损压缩的方法及装置，所述装置包括量化运算单元、反量化运算单元、重构图像存储单元、亮度预测运算单元、频率预测运算单元和量化强度调整运算单元，并且通过所述亮度预测运算单元、所述频率预测运算单元和所述量化强度调整运算单元修改所述量化运算单元、所述反量化运算单元和重构图像存储单元。本发明的图像压缩技术的基础上增加了局部区域亮度预测运算单元、局部区域频率预测运算单元和自适应的量化强度调整运算单元,使得图像压缩处理时能够依据图像局部区域的亮度和频率预测信息自适应的调整量化强度，从而避免暗部和平坦区域的缺陷，提升图像压缩性能。

Description

一种高动态图像视觉无损压缩的方法及装置

技术领域

本发明涉及一种图像压缩技术领域，尤其涉及一种高动态图像视觉无损压缩的方法及装置。

背景技术

图像压缩的目的是减少图像数据中的冗余信息，用更少的比特数存储图像，以减少系统访问带宽和存储空间的开销。图像压缩方法可以是无损的也可以是有损的，但在压缩比要求较高或是要求固定压缩比的应用场景中有损压缩在所难免，通过量化处理达到所需的压缩率，但量化处理也会导致图像质量的下降。在图像压缩处理中量化处理实际上是导致图像质量下降最主要的原因，JPEG是应用极广的图像压缩标准，对经过DCT（Discrete Cosine Transform）变换后的频率系数进行量化；JPEG-LS是一种近无损的图像压缩方法，对预测残差图像做量化；也有像H.264的I（帧内）图像编码，对变换后的残差图像做量化。JPEG、JPEG-LS和H.264的量化处理都未考虑局部区域的亮度和频率，笼统的采用对等的量化强度。

高动态（High Dynamic Range）成像的目的是要正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度，为表示更大的亮度范围，高动态图像和普通图像相比需要更大的数据位宽度，通常数据位宽度会达到20比特（支持120DB动态范围），但普通的显示设备能区分的色阶的数目256阶（也就是8比特的位宽），远不及高动态图像所表征的色阶数，为了让高动态范围的图像能在低动

态范围的显示设备上良好的呈现，需采用色阶重建（Tone Mapping）处理技术在显示前对高动态图像进行处理。目前色阶重建处理技术分为两类，全局色阶重建（如Gamma校正）和局部色阶重建，全局色阶重建时输入输出是一对一映射，局部色阶重建是一对多的映射，但无论是全局还是局部色阶重建，其处理方法大体上都是对暗部进行拉升，而对亮部进行抑制。对暗部拉伸近似于对暗部区域乘以较大的数字增益，使其能够在显示器上呈现，但同时也会放大暗部的噪声以及前处理的人工痕迹，当然，图像压缩所引入的量化噪声也同样会放大。

在图像处理中有一些处理更适合在色阶重建处理前的线性域上进行，在这些处理中有的（例如3D降噪）需要访问多帧的图像数据，这些图像需要存储访问，需要消耗系统带宽和存储空间，将图像压缩后存储，则可大量节省系统带宽和存储空间。高动态图像的数据

图像压缩的目的是减少图像数据中的冗余信息，用更少的比特数存储图像，以减少系统访问带宽和存储空间的开销。图像压缩方法可以是无损的也可以是有损的，但在压缩比要求较高或是要求固定压缩比的应用场景中有损压缩在所难免，通过量化处理达到所需的压缩率，但量化处理也会导致图像质量的下降。在图像压缩处理中量化处理实际上是导致图像质量下降最主要的原因，JPEG是应用极广的图像压缩标准，对经过DCT（Discrete Cosine Transform）变换后的频率系数进行量化；JPEG-LS是一种近无损的图像压缩方法，对预测残差图像做量化；也有像H.264的I（帧内）图像编码，对变换后的残差图像做量化。JPEG、JPEG-LS和H.264的量化处理都未考虑局部区域的亮度和频率，笼统的采用对等的量化强度。

高动态（High Dynamic Range）成像的目的是要正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度，为表示更大的亮度范围，高动态图像和普通图像相比需要更大的数据位宽度，通常数据位宽度会达到20比特（支持120DB动态范围），但普通的显示设备能区分的色阶的数目256阶（也就是8比特的位宽），远不及高动态图像所表征的色阶数，为了让高动态范围的图像能在低动态范围的显示设备上良好的呈现，需采用色阶重建（Tone Mapping）处理技术在显示前对高动态图像进行处理。目前色阶重建处理技术分为两类，全局色阶重建（如Gamma校正）和局部色阶重建，全局色阶重建时输入输出是一对一映射，局部色阶重建是一对多的映射，但无论是全局还是局部色阶重建，其处理方法大体上都是对暗部进行拉升，而对亮部进行抑制。对暗部拉伸近似于对暗部区域乘以较大的数字增益，使其能够在显示器上呈现，但同时也会放大暗部的噪声以及前处理的人工痕迹，当然，图像压缩所引入的量化噪声也同样会放大。

在图像处理中有一些处理更适合在色阶重建处理前的线性域上进行，在这些处理中有的（例如3D降噪）需要访问多帧的图像数据，这些图像需要存储访问，需要消耗系统带宽和存储空间，将图像压缩后存储，则可大量节省系统带宽和存储空间。高动态图像的数据位宽度大，对系统存储空间和访问带宽的需求更大，因此对高动态图像进行压缩也更为迫切。图1给出了在线性域上对参考图像作压缩的示意图，首先从图像传感器接受图像数据，然后进行线性域图像处理，再做色阶重构处理，最后送显示器显示，在做线性域的处理时，为减少系统开销对参考图像进行压缩存储。常用的压缩技术对亮区和暗区采用等同的量化强度，暗部和亮部的量化噪声几乎等同，由于色阶重建对暗部细节和噪声都有放大的作用，色阶重建后暗部量化噪声更加显著，所以采用现有的图像压缩方法对线性域图像（特别是高动态图像）进行压缩不能获得很好的效果，其量化处理方法需做改进。

人眼对光强的敏感度更趋向于比值关系，同样的误差值放在暗部比亮部更容易察觉，即使是对色阶重建后图像进行压缩，这种量化噪声明暗对比差异人眼也容易分辨出来。另外，人眼对一个区域的感知结果会受到其周围邻近区域的影响，例如人眼对空间频率较低区域的对比差异敏感度较高，在平坦区域的量化噪声比纹理区域的量化噪声更容易察觉。现有图像压缩的量化方法主要是以提升客观指标为主要目的，缺乏对“视觉无损”的考虑。

总之来说，由于现有的图像压缩技术缺少亮度和频率自适应的量化强度调整功能，导致压缩后图像暗部细节和动态范围的过渡损失，不适于做线性域图像（特别是高动态图像）的压缩。

发明内容

本发明所要解决的技术问题是提供一种使得图像压缩处理时能够依据图像局部区域的亮度和频率预测信息自适应的调整量化强度，从而避免暗部和平坦区域的缺陷，提升图像压缩性能的高动态图像视觉无损压缩的方法及装置。

为实现上述技术效果，本发明公开了一种高动态图像视觉无损压缩的装置，包括量化运算单元、反量化运算单元、重构图像存储单元、亮度预测运算单元、频率预测运算单元和量化强度调整运算单元，并且通过所述亮度预测运算单元、所述频率预测运算单元和所述量化强度调整运算单元修改所述量化运算单元、所述反量化运算单元和重构图像存储单元。

所述装置进一步的改进在于，所述亮度预测运算单元根据当前编码区域左上重构图像数据预测当前区域的亮度，所述频率预测运算单元根据当前编码区域左上重构图像数据预测当前区域的频率，所述量化强度调整单元依据当前区域的亮度和频率预测值对指定的量化强度作调整，相应的降低暗部和平坦区域的量化强度或增加高量和强纹理区域的量化强度。

所述装置进一步的改进在于，在频域图像压缩结构的基础上通过增加反量化运算单元、反变换运算单元、重构图像存储单元、亮度预测运算单元和量化强度调整运算单元修改量化运算单元。

所述装置进一步的改进在于，在空域图像压缩结构的基础上通过增加亮度预测运算单元和量化强度调整运算单元，修改量化运算单元、反量化运算单元和重构图像存储单元。

所述装置进一步的改进在于，在频域空域结合的图像压缩结构的基础是上通过增加亮度预测运算单元和量化强度调整运算单元，修改量化运算单元、反量化运算单元和重构图像存储单元。

本发明还公开了一种高动态图像视觉无损压缩的方法，所述方法包括以下步骤：

步骤1001：从重构图像存储单元取当前编码区域左上重构图像；

步骤1002：利用所述左上重构图像预测当前区域的亮度；

步骤1003：利用所述左上重构图像预测当前区域的频率；

步骤1004：利用亮度预测值和色阶重建映射函数计算基于亮度的量化强度调整因子；

步骤1005：利用频率预测值和色阶重建映射函数计算基于频率的量化强度调整因子；

步骤1006：利用所述亮度和频率的量化强度调整因子，计算调整后的量化系数；

步骤1007：利用所述调整后的量化系数对图像进行量化、反量化压缩处理。

本发明由于采用了以上技术方案，使其具有以下有益效果是：在现有的图像压缩技术的基础上增加了局部区域亮度预测运算单元、局部区域频率预测运算单元和自适应的量化强度调整运算单元,使得图像压缩处理时能够依据图像局部区域的亮度和频率预测信息自适应的调整量化强度，从而避免暗部和平坦区域的缺陷，提升图像压缩性能。

附图说明

图1是线性域图像压缩示意图。

图2是空域图像压缩流程图。

图3是频域图像压缩流程图。

图4是空域频域图像压缩流程图。

图5是本发明高动态图像视觉无损压缩的装置中频域图像压缩方法改进的结构示意图。

图6是本发明高动态图像视觉无损压缩的装置中空域图像压缩方法改进的结构示意图。

图7是当前点左上重构点示意图。

图8是本发明高动态图像视觉无损压缩的装置中空域频域结合的图像压缩方法改进的结构示意图。

图9是本发明高动态图像视觉无损压缩的装置中预测亮度和预测频率相结合的量化强度调整结构示意图。

图10是本发明高动态图像视觉无损压缩的方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

现有的图像压缩方法总体上可分为三类：空域图像压缩、频域图像压缩和空域频域相结合的方法。空域图像压缩方法的基本流程如图2所示，包括预测运算单元、残差运算单元、量化运算单元、反量化运算单元、重构运算单元、重构图像存储单元和熵编码运算单元。频域图像压缩方法的基本流程如图3所示，包括变换运算单元、量化运算单元和熵编码单元。空域频域相结合的图像压缩方法基本流程如图4所示，包括预测运算单元、残差运算单元、变换运算单元、量化运算单元、反量化运算单元、反变换运算单元、重构运算单元、重构图像存储单元和熵编码单元。

上述三种图像压缩方法的量化处理对像各有区别，空域压缩方法的量化处理对象是原图和预测图的残差图，频域压缩方法的量化处理对象是原图经过变换后的频域图，空域频域相结合的方法的处理对象是经过变换后的残差图。总的来说，无论是空域还是频域图像压缩的方法，都是需要采用量化的手段达到所需的压缩率，量化就意味着有量化噪声的出现，由于量化处理未考虑局部区域的亮度和频率强度，量化噪声在暗部和平坦区域更明显，经过色阶重建后暗部区域的缺陷尤为显著。

针对上述问题，本发明提供一种高动态图像视觉无损压缩的方法使得图像压缩处理时能够依据图像局部区域的亮度和频率预测信息自适应的调整量化强度，从而避免暗部和平坦区域的缺陷，提升图像压缩性能。本发明在现有的图像压缩技术的基础上增加了局部区域亮度预测运算单元、局部区域频率预测运算单元和自适应的量化强度调整运算单元。局部亮度预测单元根据当前处理的点或块的左上重构图像数据预测当前点或块的亮度，局部频率预测单元根据当前点或块的左、上重构图像数据预测当前点或块的频率，这里使用重构图像数据的重要目的是使图像解压缩时可得到和图像压缩一致的亮度预测信息，从而保证压缩和解压缩的一致性。自适应的量化强度调整单元，依据当前点或块的亮度和频率预测值对指定的量化强度作调整，相应的降低暗部和平坦区域的量化强度或是增加高量和强纹理区域的量化强度。总的来说，量化强度调整的目标可以灵活配置，既可以是以优化某一客观指标为目的，例如常用的PSNR（峰值信噪比），也可以是优化某种视觉喜好，使压缩后的图像更趋于“视觉无损”的优化效果。

在频域图像压缩的基础上改进的结构示意图，如图5是所示，增加了反量化运算单元501、反变换运算单元502、重构图像存储单元503、亮度预测运算单元504和量化强度调整运算单元505，修改了量化运算单元506，各单元的具体功能及单元间的连接关系如下所述：

反量化运算单元501用于对量化后的变换图像做反量化运算，得到反量化后的频域图像数据，反量化运算单元501和量化运算单元506一样都使用调整后的量化系数，反量化运算单元501的输出结果将送给反变换运算单元做进一步的处理。

反变换运算单元502用于对变换域的图像做逆变换，将频域图像还原为空域的图像，反变换的输入为反量化后的频域图像数据，经过逆变换后得到重构图像数据，并将重构图像数据送给重构图像存储单元做进一步处理。

重构图像存储单元503用于存储重构图像，重构图像存储单元可为亮度预测运算单元（以及频率预测运算单元）提供当前压缩区域左、上、左上和右上区域的重构图像数据。

亮度预测运算单元504用于预测当前区域的亮度，亮度的预测需用到当前点或块左上区域重构图像的数据，亮度预测运算单元504输出结果为预测亮度值，量化强度调整运算单元可参考改值对量化系数做调整。

亮度预测可以有多种方法，以基于点的亮度预测计算方法为例，如图7所示，a、b、c、d分别为当前点的左边、上边、右上和左上参考点，分别为这些参考点对应的重构图像象素值，则亮度预测值可通过下式计算得到：

$L_P=\frac{(L_a^R+L_b^R+L_c^R+L_d^R)}{4}$

其中，L_P为当前点亮度的预测值。

亮度预测也可考虑图像局部跳变，减少图像跳变对亮度预测的影响，可对亮度预测的计算做一些改进，如下所示：

如果 $|L_a^R-L_d^R|<|L_b^R-L_c^R|$ 则

$L_P=\frac{(L_a^R+L_d^R)}{2}$

否则

$L_P=\frac{(L_b^R+L_c^R)}{2}$

这里，L_P为当前点亮度的预测值。

总之，亮度预测计算可以有多种方法，并不局限于上面所列的两种计算方法，可根据性能的要求和系统承受能力做相应的变化。

量化强度调整运算单元505用于调整量化系数，改运算单元依据亮度预测值或其它的一些信息对指定的量化系数做调整，输出调整后的量化系数，调整后的量化系数，可供量化及反量化运算单元使用。

一种量化系数调整的方法是在指定的量化系数上，依据预测亮度值得到一个增益，并将其乘到指定的量化系数上得到调整后的量化系数，具体如下式所示：

QM₌G_L·Q

其中，Q为指定量化系数可以是一个数也可以是一个矩阵或是其它量化系数的表示方法，G_L为基于亮度预测值得到量化系数调整因子，该因子通过亮度预测值和色阶重建的映射函数计算得到，Q_M为调整后的量化强度，同样该值可以是一个数也可以是一个矩阵或是其它量化系数的表示方法。

量化强度调整的目标可以是优化某一客观指标，例如PSNR（峰值信噪比），也可以是优化某种视觉喜好，使压缩后的图像更趋于“视觉无损”的优化效果。仅考虑预测亮度，以优化PSNR(峰值信噪比)为例，量化强度调整因子G_L的计算方法如下：

$G_L=\frac{2^{m-n}}{f\left({\stackrel{\&prime;}{L}}_P\right)}$

其中，n为色阶重建的输入数据位宽，m为色阶重建处理的输出数据位宽，f(X)为色阶重建的亮度映射函数，

为色阶重建亮度映射函数的一阶倒数，以Gamma映射为例，f(X)表示如下：

$f\left(x\right)=2^m\&CenterDot;{\left(\frac{x}{2^n}\right)}^{\frac{1}{\mathrm{\&gamma;}}}$

其中，n为色阶重建的输入数据位宽，m为色阶重建处理的输出数据位宽，γ为Gamma映射因子。

PSNR是最普遍，最广泛使用的画质评鉴的客观量测法，不过实验结果都显示，PSNR的分数无法和人眼看到的视觉品质完全一致，有可能PSNR较高者看起来反而比PSNR较低者差。这是因为人眼的视觉对于误差的敏感度并不是绝对的，其感知结果会受到许多因素的影响而产生变化，在某些情况下要求全局量化误差比例相等，则可将量化强度调整因子G_L的计算方法修改为：

$G_L=\frac{2^{(m-n)}}{f\left({\stackrel{\&prime;}{L}}_P\right)}\&CenterDot;\frac{2^{m-1}}{f\left(L_P\right)}$

量化处理模块506，该模块使用调整后的量化系数，输出量化后频域图像数据。

在空域图像压缩的基础上改进的结构示意如图6所示，和原始的压缩方法相比增加了亮度预测运算单元601和量化强度调整运算单元602，并修改了量化运算单元603、反量化运算单元604和重构图像存储单元605，各单元的具体功能及其连接关系如下所述：

亮度预测运算单元601用于预测当前区域的亮度，亮度的预测需用到当前点或块左上重构图像的数据，亮度预测运算单元的结果为预测亮度值，供量化强度调整运算单元使用，具体运算方法参见上述亮度预测运算单元504。

量化强度调整运算单元602根据预测亮度值和指定的量化系数计算当前点或区域的量化强度，输出调整后的量化系数供量化运算单元和反量化运算单元使用，具体方法参见上述量化强度调整运算单元505。

量化运算单元603，该单元使用调整后的量化系数，输出量化后残差图像数据。

反量化运算单元604，该单元使用调整后的量化系数，输出反量化后残差图像数据。

在频域空域结合的图像压缩方法的基础上改进的结构示意如图8所示，和原始的压缩方法相比增加了亮度预测运算单元801和量化强度调整运算单元802，并修改了量化运算单元803、反量化运算单元804和重构图像存储单元805，各单元的具体功能及其连接关系如下：

亮度预测运算单元801，同上亮度预测运算单元601。

量化强度调整运算单元802，同上量化强度调整运算单元602。

量化运算单元803，该单元使用调整后的量化系数，输出量化后频域残差图像数据。

反量化运算单元804，该单元使用调整后的量化系数，输出反量化后频域残差图像数据。

由于人眼对空间频率较低的对比差异敏感度较高，人眼对一个区域的感知结果会受到其周围邻近区域的影响，量化强度的调整不仅可以考虑亮度信息也可考虑频率信息，本发明也提供一种频率预测法，用于预测当前区域的频率分布状况，并根据频率分布状况对量化系数做调整，基于空域图像压缩改进的结构示意图如图9所示，在空域图像压缩的基础上增加了亮度预测运算单元901、频率预测预算单元902和量化强度调整运算单元903，并修改了量化运算单元904、反量化运算单元905和重构图像存储单元906，各单元的具体功能及其连接关系如下所述：

亮度预测运算单元901，同上亮度预测运算单元504。

频率预测运算单元902用于预测当前区域的频率，频率的预测需用到当区域左上重构图像的数据，频率预测运算单元的结果为预测频率值，供量化强度调整运算单元使用。

仍以点的预测为例，频率预测计算方法如下：

$F_P=\frac{|L_a^R-L_d^R|+|L_a^R-L_b^R|+|L_a^R-L_c^R|+|L_b^R-L_d^R|}{4}$

其中，

分别为当前点m左、上、右上和左上相邻的点的重构值，如图7所示，F_P为当前点频率的预测值。

量化强度调整运算单元903根据亮度预测值、频率预测值和指定的量化强度计算当区域的量化强度，输出调整后的量化强度给量化运算单元和反量化运算单元使用。

基于频率的量化强度调整因子G_F的计算方法如下：

$G_F=e^{\mathrm{\&alpha;}\&CenterDot;\left(\frac{F_P}{2^n}\right)}$

其中，F_P为当前点频率的预测值，n为色阶重建输入数据位宽，α为根据用户喜好所设定的常量（推荐设为1.85）。

最终的量化强度计算如下式所示：

Q_M=G_L·G_F·Q

量化运算单元904，同上量化运算单元603。

反量化预算单元905、同上反量化运算单元604。

重构图像存储单元906、同上重构图像存储单元605。

基于预测频率的量化强度调整也可作用于频域图像压缩方法和空域频域结合的压缩方法。

线性域（或是高动态）图像损压缩的方法，如图10所示，包括如下步骤：

步骤1001、从重构图像存储单元取当前编码区域左上重构图像；

步骤1002、利用左上重构图像预测当前区域亮度；

步骤1003、利用左上重构图像预测当前区域的频率；

步骤1004、利用亮度预测值和色阶重建映射函数计算基于亮度的量化强度调整因子；

步骤1005、利用频率预测值和色阶重建映射函数计算基于频率的量化强度调整因子；

步骤1006、利用亮度和频率量化强度调整因子，计算调整后的量化系数；

步骤1007、利用调整后的量化系数对图像进行量化、反量化等压缩处理。

以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (6)

1.一种高动态图像视觉无损压缩的装置，其特征在于：所述装置包括量化运算单元、反量化运算单元、重构图像存储单元、亮度预测运算单元、频率预测运算单元和量化强度调整运算单元，并且通过所述亮度预测运算单元、所述频率预测运算单元和所述量化强度调整运算单元修改所述量化运算单元、所述反量化运算单元和重构图像存储单元。

2.如权利要求1所述的装置，其特征在于：所述亮度预测运算单元根据当前编码区域左上重构图像数据预测当前区域的亮度，所述频率预测运算单元根据当前编码区域左上重构图像数据预测当前区域的频率，所述量化强度调整单元依据当前区域的亮度和频率预测值对指定的量化强度作调整，相应的降低暗部和平坦区域的量化强度或增加高量和强纹理区域的量化强度。

3.如权利要求2所述的装置，其特征在于：在频域图像压缩结构的基础上通过增加反量化运算单元、反变换运算单元、重构图像存储单元、亮度预测运算单元和量化强度调整运算单元修改量化运算单元。

4.如权利要求2所述的装置，其特征在于：在空域图像压缩结构的基础上通过增加亮度预测运算单元和量化强度调整运算单元，修改量化运算单元、反量化运算单元和重构图像存储单元。

5.如权利要求2所述的装置，其特征在于：在频域空域结合的图像压缩结构的基础是上通过增加亮度预测运算单元和量化强度调整运算单元，修改量化运算单元、反量化运算单元和重构图像存储单元。

6.一种高动态图像视觉无损压缩的方法，其特征在于所述方法包括以下步骤：

步骤1001：从重构图像存储单元取当前编码区域左上重构图像；

步骤1002：利用所述左上重构图像预测当前区域的亮度；

步骤1003：利用所述左上重构图像预测当前区域的频率；

步骤1004:利用亮度预测值和色阶重建映射函数计算基于亮度的量化强度调整因子；

步骤1005:利用频率预测值和色阶重建映射函数计算基于频率的量化强度调整因子；

步骤1006:利用所述亮度和频率的量化强度调整因子，计算调整后的量化系数；

步骤1007:利用所述调整后的量化系数对图像进行量化、反量化压缩处理。

Images