CN101854536A - 一种视频编解码的图像视觉效果提升方法 - Google Patents

Abstract

本发明涉及一种视频编解码的图像视觉效果提升方法，该方法在编码端包括以下步骤：图像边界信息增强处理；自适应亮度变换处理；色度信息的自适应增强处理。该方法在解码端则包括以下步骤：基于块统计特性的边界信息自适应增强；自适应亮度变换处理；色度信息的自适应增强处理。本发明根据编解码端图像源的特点，一方面利用亮度空间处理技术去除方块效应、增强高频信息、改善亮度信息分布，来增强图像的亮度信息；另一方面利用色度空间处理技术，增强图像的色彩效果，最终达到图像的视觉效果提升的目的。

Description

一种视频编解码的图像视觉效果提升方法

【技术领域】

本发明涉及一种视频编码方法，具体涉及一种用于视频编码的视频编解码的图像视觉效果提升方法。

【背景技术】

从人的视觉系统看，色彩可用亮度、色调和饱和度来描述，通常把色调和饱和度通称为色度，用来表示颜色的类别与深浅程度。视频编码处理中，对于不同的帧，人们关心的区域在动态变化，这就需要算法能根据编码源图像的变化，动态调整变换函数，以使得在各种场景下，图像的亮度值分布能按需求方向得到改善。亮度值变换中，通过大量统计实验取得固定变化函数及其参数集，一般情况下，可以达到加强的目的。但在某些特殊场景(如整体很暗的场景)，若按一般场景处理，将会致使图像视觉质量下降。

对于物体的色彩信息，人们总是希望色彩越丰富越好。由此在视觉舒适度要求下，变换强度越大越能提升色度信息不足的图像的色彩。而人类的肤色介于黄、红之间，若对于全局区域采用同一模式，取大的调整值，会产生肤色视觉区域不舒适感，取小的值会制约其他色彩域的物体要求彩色信息增强的目的。若将算法依赖于肤色区域的检测，一则增加计算量，二则没有一种准确率100％肤色区域检测算法、而且会产生由离散点域错判带来的平衡过渡问题等。虽然人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，但有时视频编码器所处理的图像序列携带的色度信息不足，如摄像头获得的图像，从而需要利用前处理技术，增强图像的色彩。目前的色彩处理手段多为基于RGB、HSV色彩模型，而编码源格式采取亮度信息与色度信息的分离表示模式即YUV。虽然通过色彩空间转换技术可以实现各种模型之间的转换，但由此变换与反变换而带来的计算量也是很大的。

图像信息源经过压缩编解码后，质量会有不同程度的下降。基于方块的编解码策略带来的方块效应、高频信息的削弱与丢失等问题存在于解码端图像序列中。为了在保护边界高频信息不丢失的情况下消除方块问题，同时，考虑到基于方块的编解码策略的特点，方块效应多出现在块与块的交界处，所以采用基于方块的边界自适应增强法。

【发明内容】

为了提高编码端图像源的视觉效果，本发明提供了一种视频编解码的图像视觉效果提升方法。该方法采用了边界信息增强技术，提升图像的高频信息含量，同时分别提出亮度与色度的自适应增强技术来改善图像亮度信息分布、增强图像色度信息。

本发明方法在编码端包括以下步骤：

S11：提取图像边界信息，增强边界信息操作，步骤为：

S111：提取图像f(x，y)边界信息h(x，y)

h(x，y)＝γ(f(x，y))

S112：对提取的边界信息h(x，y)再作变换，获取边界增强图像g(x，y)

g(x，y)＝φ(f(x，y)，h(x，y))

其中：f(x，y)为编码端原始图像亮度值，γ(x)为边界信息提取函数，φ(f(x，y)，h(x，y))为针对原始图像与边界信息特点所选用的变换函数；

S12：自适应亮度变换，改善图像的亮度值分布：

g’(x，y)＝ψ(f(x，y)，α(k)|k＝1，2，...，K)，

其中：g’(x，y)为变换后亮度值，ψ(x，α(k)|k＝1，2，...，K)为变换函数，其中α(k)为变换函数ψ(x，α(k)|k＝1，2，...，K)的参数集，K为参数个数；

S13：色度信息自适应增强，在UV色度空间作色度信息自适应增强，

其中：

为变换函数，w为权重函数，由α_u、α_v确定UV色度偏差位置，β_u、β_v决定色度调节步长。

图像信息源经过压缩编解码后，质量会有不同程度的下降，基于方块的编解码策略带来的方块效应、高频信息的削弱与丢失等问题存在于解码端图像序列中，同时考虑到提升解码端图像的视觉效果的需要，本发明提供了一种视频编解码的图像视觉效果提升方法。

本发明方法在解码端包括以下步骤：

在解码端包括：

S21：根据方块统计特性，选择处理模式，

if(t_0＞Thres_1)        mode＝平坦区域处理法

else                    mode＝复杂区域处理法

由确定的处理模式，进行去除块效应与增强边界信息操作；

其中：f(x，y)为解码端原始图像值，t_0为统计区域

的统计特性变量名，η_j(j＝0，1，2)为统计特征函数，

为与η_j相应的统计区域，Thres_1为判断当前处理区域是平坦区域还是复杂区域的阈值；

S22：自适应亮度变换，改善图像的亮度值分布：

g(x，y)＝ψ(f(x，y)，α(k)|k＝1，2，...，K)，

其中：f(x，y)为解码端原始图像亮度值，g(x，y)为变换后亮度值，ψ(x，α(k)|k＝1，2，...，K)为变换函数，其中α(k)为变换函数ψ(x，α(k)|k＝1，2，...，K)的参数集，K为参数个数；

S23：色度信息自适应增强，在UV色度空间作色度信息自适应增强，

其中：

为变换函数，w为权重函数，由α_u、α_v确定UV色度偏差位置，β_u、β_v决定色度调节步长。

通过上述方法，可以自适应调整去除方块效应、增强图像亮度、色度信息，达到提升编解码后图像的客观效果与主观效果的目的。而在解码端采用本发明的自适应边界信息增强技术，可以在提升处理速度的同时保持分离法在增强边界信息与去除方块效应的效果，可以非常显著地提高图像的客观效果与主观效果。

【附图说明】

图1是本发明方法在编码端的流程示意图；

图2是图1所示的边界信息增强的流程示意意图；

图3是图1所示的自适应亮度变换的流程示意意图；

图4是图1所示的色度信息自适应增强的流程示意图；

图5是本发明方法在解码端的流程示意图；

图6是测试源格式_WMV原始解码端图像的原始解码图像、采用现有技术分离法以及采用自适应边界增强图像处理的对比图；

图7是测试源格式_WMV原始解码端图像与采用本发明处理后图像的效果的对比图。

【具体实施方式】

参见图1，图1是本发明的视频编解码的图像视觉效果提升方法在编码端的流程示意图。该方法在编码端包括以下步骤：

1.本步骤进行边界信息增强处理，如图2所示进一步包括以下步骤：

a1：提取图像f(x，y)边界信息h(x，y)

h(x，y)＝γ(f(x，y))

b1：对提取的边界信息h(x，y)再作变换，获取边界增强图像g(x，y)

g(x，y)＝φ(f(x，y)，h(x，y))

其中：f(x，y)为编码端原始图像亮度值，φ(f(x，y)，h(x，y))为针对原始图像与边界信息特点所选用的变换函数，γ(x)边界信息提取函数，根据不同应用要求可取不同方法，就导数法而言，可取一阶导数、二阶等，如梯度模提取法：

$\left|\mathrm{grad}\left(f(x,y)\right)\right|=\underset{l}{\max }\left(\frac{\∂f(x,y)}{\∂l}\right);$

2.视频编码处理中，对于不同的帧，人们关心的区域在动态变化，这就需要算法能根据编码源图像的变化，动态调整变换函数，以使得在各种场景下，图像的亮度值分布能按需求方向得到改善，亮度值变换中，通过大量统计实验取得固定变化函数及其参数集，一般情况下，可以达到加强的目的，但在某些特殊场景(如整体很暗的场景)，若按一般场景处理，将会致使图像视觉质量下降。

本步骤进行自适应亮度变换，改善图像的亮度值分布，自适应亮度值变换的原理就是，根据变换前图像亮度值的统计特性，自适应更新变换函数的参数集，从而使得变换函数随着不同的图像特性，动态的调整变换函数，来优化处理方法：

g(x，y)＝ψ(f(x，y)，α(k)|k＝1，2，...，K)，

其中：f(x，y)为解码端原始图像亮度值，g(x，y)为变换后亮度值，ψ(x，α(k)|k＝1，2，...，K)为变换函数，其中α(k)为变换函数ψ(x，α(k)|k＝1，2，...，K)的参数集，K为参数个数；

如图3所示，步骤2进一步包括以下步骤：

a2：设当前帧图像的特征空间为

ξ_i I ξ_j＝φ，i≠j统计亮度信息获取图像整体统计特性，

for(k＝0；k＜M；k++)i    f(f(x，y)∈ξ_k)计算ξ_k统计特性

最后，获得该帧图像统计特性

其中：ξ_k，分别为图像特征子空间、ξ_k的统计特性；

b2：根据视觉特点结合区域统计特性调整阈值，将图像划分为不同的区域

由全局与区域统计关系η(x，Φ₁，Φ₂，...，Φ_N)，调整统计特性门限阈值P_H为P′_H

P′_H＝ratio*η(P_H，Φ₁，Φ₂，...，Φ_N)

其中Φ_k为Ω_k的统计特性

P_H、P′_H分别为整体统计信息获取的阈值与调整后的阈值，ratio为不同图像帧采用的局部信息调整因子；

c2：由统计特性得到变换函数参数值

α(k)＝η_k(P′_H)                k＝1，2，...K

η_k(x)为变换函数ψ(x，α(k)|k＝1，2，...，K)的参数α(k)的调节函数。

d2：利用亮度变换函数ψ(f(x，y)，α(k)|k＝1，2，...，K)，进行亮度变换，改善图像亮度信息的分布。

其中：f(x，y)为解码端原始图像亮度值，g(x，y)为变换后亮度值，ψ(x，α(k)|k＝1，2，...，K)为变换函数，其中α(k)为变换函数ψ(x，α(k)|k＝1，2，...，K)的参数集，K为参数个数。

3.色度信息自适应增强，在UV色度空间作色度信息自适应增强，

其中：

为变换函数，w为权重函数，由α_u、α_v确定UV色度偏差位置，β_u、β_v决定色度调节步长。

如图4所示，进一步包括以下步骤：

a3：通过统计当前图像帧UV特性，获取UV空间饱和度信息κ；

b3：由色彩饱和度信息计算调节参数

α_u＝γ_u(κ)        β_u＝γ_u(κ)

α_v＝γ_v(κ)        β_v＝γ_v(κ)

c3：由UV空间模型下的统计实验，获取肤色分布经验值区间，确定权重函数w＝η(θ)，θ为肤色经验值区间θ∈[θ₁，θ₂]。

w＝η(θ)，η(θ)为只有一个最小值点的连续函数且w_min＝η((θ₁+θ₂)/2)。

d3：利用色度变函数

进行色度变换，增强图像的色度信息。

其中：

为变换函数，w为权重函数，由α_u、α_v确定UV色度偏差位置，β_u、β_v决定色度调节步长。

虽然通过色彩空间转换技术可以实现各种模型之间的转换，但由此变换与反变换而带来的计算量也是很大的，考虑到编码器所处理的文件格式，减少格式转换时间。本发明直接在UV色度空间作色彩信息处理。

参见图5，图5是本发明的视频编解码的图像视觉效果提升方法在解码端的流程示意图。该方法在解码端包括以下步骤：

10.根据方块统计特性，选择处理模式，

if(t_0＞Thres_1)        mode＝平坦区域处理法

else                    mode＝复杂区域处理法

由确定的处理模式，自适应边界信息增强，同时进行去除块效应与增强边界信息操作；

对于平坦区域处理：

if(t_1j＞Thres_2)        加权低通滤波

else                     保护边界信息

其中：t_1j为第j个平坦区域的统计特性变量名，Thres_2为当前处理的平坦区域选取不同处理方法的阈值，

对于复杂区域处理：

if(t_2_j＞Thres_2)

f(x_M，y_N|(x_m，y_n)∈block_j，m＝1，2，...，M，n＝1，2，...，N)-＝κ；

f(x₁，y₁|(x_m，y_n)∈block_j+1，m＝1，2，...，M，n＝1，2，...，N)+＝κ；

else        增强边界信息。

其中：f(x，y)为解码端原始图像值，t_0为统计区域

的统计特性变量名，η_j(j＝0，1，2)为统计特征函数，

为与η_j相应的统计区域，Thres_1为判断当前处理区域是平坦区域还是复杂区域的阈值；t_2j为第j个复杂区域

的统计特性变量名，Thres_3为当前处理的复杂区域选取不同处理方法的阈值。

下表为本步骤自适应边界信息增强处理与现有技术中分离法处理比较实验，实验条件采用图像源尺寸为320x240，使用相同的解码器，客观效果比较如下：

由上表可以看出，采用本发明的自适应边界信息增强方法可以大幅度的提高处理速度。

图6是测试源格式_WMV原始解码端图像的原始解码图像、采用现有技术分离法以及采用自适应边界增强图像处理的对比图，主观效果比较，采用本步骤的自适应边界增强图像处理可以显著提高图像的主观质量。

20.自适应亮度变换，改善图像的亮度值分布，自适应亮度值变换的原理就是，根据变换前图像亮度值的统计特性，自适应更新变换函数的参数集，从而使得变换函数随着不同的图像特性，动态的调整变换函数，来优化处理方法：

g(x，y)＝ψ(f(x，y)，α(k)|k＝1，2，...，K)，

其中：f(x，y)为解码端原始图像亮度值，g(x，y)为变换后亮度值，ψ(x，α(k)|k＝1，2，...，K)为变换函数，其中α(k)为变换函数ψ(x，α(k)|k＝1，2，...，K)的参数集，K为参数个数；

30.色度信息自适应增强，在UV色度空间作色度信息自适应增强，

其中：

为变换函数，w为权重函数，由α_u、α_v确定UV色度偏差位置，β_u、β_v决定色度调节步长。

图7是测试源格式_WMV原始解码端图像与采用本发明处理后图像的效果的对比图，通过上述方法的步骤10、步骤20以及步骤30后，可以自适应调整去除方块效应、增强图像亮度、色度信息，达到提升编解码后图像的客观效果与主观效果的目的。

在上述实施例中，仅对本发明进行了示范性描述，但是本领域技术人员在不脱离本发明所保护的范围和精神的情况下，可根据不同的实际需要设计出各种实施方式。

Claims (6)

1.一种视频编解码的图像视觉效果提升方法，所述方法在编码端包括以下步骤：

S11：提取图像边界信息，增强边界信息操作，具体步骤为：

S111：提取图像f(x，y)边界信息h(x，y)

h(x，y)＝γ(f(x，y))

S112：对提取的边界信息h(x，y)再作变换，获取边界增强图像g(x，y)

g(x，y)＝φ(f(x，y)，h(x，y))

其中：f(x，y)为编码端原始图像亮度值，γ(x)为边界信息提取函数，φ(f(x，y)，h(x，y))为针对原始图像与边界信息特点所选用的变换函数；

S12：自适应亮度变换，改善图像的亮度值分布：

g’(x，y)＝ψ(f(x，y)，α(k)|k＝1，2，...，K)，

其中：g’(x，y)为变换后亮度值，ψ(x，α(k)|k＝1，2，...，K)为变换函数，其中α(k)为变换函数ψ(x，α(k)|k＝1，2，...，K)的参数集，K为参数个数；

S13：色度信息自适应增强，在UV色度空间作色度信息自适应增强，

其中：

为变换函数，w为权重函数，由α_u、α_v确定UV色度偏差位置，β_u、β_v决定色度调节步长。

2.根据权利要求1所述所述视频编解码的图像视觉效果提升方法，其特征在于：所述步骤S12进一步包括以下步骤：

S121：设当前帧图像的特征空间为

ξ_i I ξ_j＝φ，i≠j统计亮度信息获取图像整体统计特性，

for(k＝0；k＜M；k++)    if(f(x，y)∈ξ_k)计算ξ_k统计特性

最后，获得该帧图像统计特性

其中：ξ_k，分别为图像特征子空间、ξ_k的统计特性；

S122：根据视觉特点结合区域统计特性调整阈值，将图像划分为不同的区域

由全局与区域统计关系η(x，Φ₁，Φ₂，...，Φ_N)，调整统计特性门限阈值P_H为P′_H

P′_H＝ratio*η(P_H，Φ₁，Φ₂，...，Φ_N)

其中Φ_k为Ω_k的统计特性

P_H、P′_H分别为整体统计信息获取的阈值与调整后的阈值，ratio为不同图像帧采用的局部信息调整因子；

S123：由统计特性得到变换函数参数值

α(k)＝η_k(P′_H)            k＝1，2，...K

η_k(x)为变换函数ψ(x，α(k)|k＝1，2，...，K)的参数α(k)的调节函数。

S124：利用亮度变换函数ψ(f(x，y)，α(k)|k＝1，2，...，K)，进行亮度变换，改善图像亮度信息的分布。

3.根据权利要求1所述的所述视频编解码的图像视觉效果提升方法，其特征在于：步骤S13进一步包括：

S131：通过建立UV色度空间模型mod(u(x，y)，

统计当前图像帧UV特性，获取UV空间饱和度信息κ；

S132：由色彩饱和度信息计算调节参数

α_u＝γ_u(κ)        β_u＝γ_u(κ)

α_v＝γ_v(κ)        γ_v＝γ_v(κ)

S133：由UV空间模型下的统计实验，获取肤色分布经验值区间θ∈[θ₁，θ₂]，确定权重函数w＝η(θ)，η(θ)为只有一个最小值点的连续函数且w_min＝η((θ₁+θ₂)/2)，由w控制平缓向其他色彩带过渡；

S134：利用色度变函数

进行色度变换，增强图像的色度信息。

4.根据权利要求1所述的视频编解码的图像视觉效果提升方法，其特征在于：步骤S111中γ(x)为边界信息提取函数，可采用梯度模提取法：

$\left|\mathrm{grad}\left(f(x,y)\right)\right|=\underset{l}{\max }\left(\frac{\∂f(x,y)}{\∂l}\right).$

5.一种视频编解码的图像视觉效果提升方法，所述方法在解码端包括以下步骤：

S21：根据方块统计特性，选择处理模式，

if(t_0＞Thres_1)        mode＝平坦区域处理法

else                    mode＝复杂区域处理法

由确定的处理模式，进行自适应边界增强处理，同时进行去除块效应与增强边界信息处理；

其中：f(x，y)为解码端原始图像值，t_0为统计区域

的统计特性变量名，η_j(j＝0，1，2)为统计特征函数，

为与η_j相应的统计区域，Thres_1为判断当前处理区域是平坦区域还是复杂区域的阈值；

S22：自适应亮度变换，改善图像的亮度值分布；

S23：色度信息自适应增强，在UV色度空间作色度信息处理。

6.根据权利要求5所述视频编解码的图像视觉效果提升方法，其特征在于：在所述步骤S21中，所述进行去除块效应与增强边界的方法为：

对于平坦区域处理：

if(t_1_j＞Thres_2)        加权低通滤波

else                     保护边界信息

其中：t_1j为第j个平坦区域

的统计特性变量名，Thres_2为当前处理的平坦区域选取不同处理方法的阈值，

对于复杂区域处理：

if(t_2_j＞Thres_3)

f(x_M，y_N|(x_m，y_n)∈block_j，m＝1，2，...，M，n＝1，2，...，N)-＝κ；

f(x₁，y₁|(x_m，y_n)∈block_j+1，m＝1，2，...，M，n＝1，2，...，N)+＝κ；

else    增强边界信息

其中：t_2j为第j个复杂区域

的统计特性变量名，Thres_3为当前处理的复杂区域选取不同处理方法的阈值。

Images