CN101416218A - 用于提高图像信号视觉质量的方法和系统 - Google Patents

Abstract

本发明涉及一种图像处理系统，其中处理模块用于在至少第一层和第二层中处理进入的图形输入信号(101)，其中所述处理导致至少第一和第二经过处理的图像信号。信号分析器(111)根据图像输入信号确定一个或多个图像控制参数(121，122)，并且使用这些控制参数操作组合电路(120)，将经过处理的图像信号组合成图像输出信号(102)。

Description

用于提高图像信号视觉质量的方法和系统

技术领域

本发明涉及用于通过分别在至少第一层和第二层中处理图像信号并且随后将经过处理的图像信号组合成单个图像输出信号来提高图像信号视觉质量的方法和系统。

背景技术

低比特率压缩视频流通常看起来是糟糕的，在高电视机上尤其如此，其中分块伪影和所谓的蚊影是最令人心烦的伪影。通常，为了去除某些类型的伪影，通过去除某种类型的伪影来处理原始图像输入信号，即执行一种其中去除某些类型的伪影的滤波处理。当然，这意味着经过处理的信号与原始信号相比缺少一些数据，例如在Y、U和/或V分量中可能存在其中例如锐度这样的重要性质可能在很大程度上消失的像素。

已经开发了蚊影和分块伪影减少算法以便去除分块伪影和蚊影。通过只将这两种算法之一应用到图像输入信号，只能去除这两种伪影之一，即或者分块伪影或者蚊影。已经进行了通过以级联的方式将这两种算法应用到原始图像输入信号上来去除这些类型的伪影二者的尝试，所述级联的方式即首先应用用于去除第一种类型的伪影(例如蚊影)的第一种算法并且随后将第二种算法应用到已经经过处理的信号上以便去除第二种类型的伪影(例如分块伪影)。

然而，以这种级联的方式应用这些算法的缺点在于，在应用第一种算法之后，将会去除后一种算法可能从中受益或者甚至可能对于后一种算法必不可少的数据。这显然容易导致来自后一种算法的图像输出信号具有比原始图像输入信号更低的质量，即经过处理的图像将比原始图像更糟糕。

发明内容

本发明的目的是通过提供允许多个处理步骤的用于图像处理的方法和系统来克服所述问题，其中每个处理步骤在原始图像输入信号上执行，并且其中以最佳的方式将结果得到的经过处理的图像信号组合成单个图像输出信号。

依照一个方面，本发明涉及图像处理方法，该方法包括：

(a)在至少第一层和第二层中处理进入的图像输入信号，所述处理分别导致至少第一和第二经过处理的图像信号；

(b)根据一个或多个所述信号来确定一个或多个图像控制参数；以及

(c)使用所述一个或多个图像控制参数作为操作参数将所述经过处理的图像信号组合成图像输出信号。

相应地，由于所述处理步骤以并行的方式而不是以级联的方式执行，因而保证了在每个处理步骤中对原始图像输入信号进行处理，而不是像级联方式处理中的情况那样、对性质(例如亮度和/或颜色值)改变了的经过处理的图像信号进行处理。因此，每个对应处理步骤的结果被最优化，这是因为每个处理步骤处理原始图像输入信号而不是经过处理的信号。此外，所述一个或多个操作参数提供了一种允许以最佳的方式将经过处理的图像信号组合成所述单个图像输出信号的重要工具。其结果显然是质量高于原始画面的输出画面。

在一个实施例中，根据一个或多个所述信号确定所述一个或多个图像控制参数的步骤包括根据图像输入信号确定所述图像控制参数。在另一个实施例中，根据一个或多个所述信号确定所述一个或多个图像控制参数的步骤包括根据经过处理的图像信号确定所述图像控制参数。在又一个实施例中，根据一个或多个所述信号确定所述一个或多个图像控制参数的步骤包括根据图像输入信号以及根据经过处理的图像信号确定所述图像控制参数。通过这种方式，提供了确定图像控制参数的不同可能性，这是因为在一些方案中可能优选的是根据图像输入信号确定这些参数，在一些方案中可能优选的是根据图像输出信号确定这些参数，并且在一些方案中可能优选的是使用根据图像输入信号和图像输出信号确定的“组合”图像控制参数。

在一个实施例中，在所述至少第一层和第二层中处理所述进入的图像输入信号还包括根据经过处理的图像信号确定统计数据，所述统计数据用作附加的操作参数以便将所述经过处理的图像信号组合成所述单个图像输出信号。这种统计数据的一个实例是分块伪影的存在性，例如“弱”、“中”和“强”。

在一个实施例中，根据所述一个或多个信号确定所述一个或多个图像控制参数包括确定所述一个或多个信号的图像的纹理分量的空间图像梯度。

在一个实施例中，根据所述一个或多个信号确定所述一个或多个图像控制参数包括确定图像分块内的每像素加权图像梯度值，所述每像素加权图像梯度值代表所述一个或多个信号的图像的纹理分量的图像梯度平均能量。

在一个实施例中，根据所述一个或多个信号确定所述一个或多个图像控制参数包括确定每图像分块的平均值和方差值，其代表所述一个或多个信号的图像的纹理分量的图像梯度平均能量。

在一个实施例中，在所述至少第一层和第二层中处理进入的图像输入信号的步骤还包括在所述至少第一层和第二层中的至少一个中另外处理经过处理的图像信号。相应地，这允许在一个或多个所述层中进行级联处理，所述级联处理例如首先在相同层中应用去分块(deblocking)算法并且随后应用去蚊影算法，或者以相反的顺序进行。

依照另一个方面，本发明涉及用于存储用来允许处理单元执行上述方法步骤的指令的计算机可读介质。

依照又一个方面，本发明涉及图像处理系统，该图像处理系统包括：

(a)处理模块，其用于在至少第一层和第二层中处理进入的图像输入信号，所述处理导致至少第一和第二经过处理的图像信号，

(b)信号分析器，其用于根据一个或多个所述信号来确定一个或多个图像控制参数，以及

(c)组合电路，其由所述信号分析器操作以便将所述经过处理的图像信号组合成图像输出信号，其中所述操作基于使用一个或多个图像控制参数作为操作参数。

附图说明

下面将仅仅通过举例的方式并且参照附图来描述本发明的实施例，在附图中：

图1示出了依照本发明的图像处理系统；

图2示出了用于计算要用作控制参数的图像梯度的方向；

图3示出了依照本发明的两层系统的实施例；以及

图4示出了依照本发明的图像处理方法。

具体实施方式

图1示出了依照本发明的图像处理系统100，其中该系统包括处理模块103、105、107、109、信号分析器111以及组合电路120。系统100可以是任何数量的不同电子设备的视频接收器部件，所述电子设备例如HDTV主流和高端TV以及DVD+RW播放器等等。特别地，在系统100中，图像输入101信号可以是视频解码器(例如MPEG-2解码器)的输出。可选地，如果例如从PCI或者以太网连接接收混合信号，那么可能存在可选的数字解码模块。

如这里所示出的，通过处理模块103、105、107、109以“并行的方式”在多个层112、113、114、115中处理图像输入信号101，所述处理模块独立地处理原始图像输入信号101，所述处理结果得到经过处理的图像信号116、117、118、119。术语“处理”可以涉及应用到原始图像输入信号101上以便去除某些不想要特征和/或伪影的滤波处理，例如，所述处理可以涉及任何类型的后处理算法，例如去除分块伪影的去分块算法或者用于去除蚊影的去蚊影算法。经过处理的图像信号116-119为与原始图像输入信号101相比、缺少任何所述特征的相应图像信号。由每个对应处理模块执行的处理步骤之后继之以计算机程序中的预定义指令，所述计算机程序可以集成到所述系统的硬件中，或者嵌入到所述系统中，或者为外部计算机程序。

信号分析器111适于根据原始图像输入信号101确定一个或多个图像控制参数121，并且还适于操作组合电路120，其中在组合电路120中，经过处理的图像信号116-119被组合成单个图像输出信号102。信号分析器111还适于根据这些经过处理的图像信号116-119确定除了根据原始图像输入信号101而获得的所述图像控制参数121之外的或者代替这些图像控制参数121的一个或多个图像控制信号122。这例如在其中编码伪影可能触发错误决策的情况下可能具有优势。

在一个有利的实施例中，一个或多个图像控制参数121、122包括所述图像输入信号101和/或经过处理的图像信号116-119的图像的纹理分量的空间图像梯度。这些可以例如包括在不同方向：垂直、水平和两个对角方向(45°和135°)上的方向图像梯度的集合。如图2所示，梯度沿着四个不同的方向：(i)南北(NS)，(ii)东西(EW)，(iii)西北-东南(NWSE)以及(iv)东北-西南(NESW)。此外，这些空间导数使用沿这四个方向的掩码：

$M_{\mathrm{NS}}=\left[\begin{array}{ccc}1& 1& 1\\ 0& 0& 0\\ -1& -1& -1\end{array}\right]$

$M_{\mathrm{EW}}=\left[\begin{array}{ccc}1& 0& -1\\ 1& 0& -1\\ 1& 0& -1\end{array}\right]$

$M_{\mathrm{NWSE}}=\left[\begin{array}{ccc}1& 0& 0\\ 1& 0& -1\\ 0& -1& -1\end{array}\right]$

$M_{\mathrm{NESW}}=\left[\begin{array}{ccc}0& 1& 1\\ -1& 0& 1\\ -1& -1& 0\end{array}\right]$

使用这四个掩码，可以计算图像的空间图像梯度：

I_NS(x，y)＝M_NS*I(x，y)

I_EW(x，y)＝M_EW*I(x，y)

I_NWSE(x，y)＝M_NWSE*I(x，y)

I_NESW(x，y)＝M_NESW*I(x，y)

其中I(x，y)为空间图像梯度。

在一个实施例中，一个或多个图像控制参数121、122包括确定图像分块内的每像素的加权图像梯度值，所述每像素的加权图像梯度值代表所述图像输入信号101和/或经过处理的图像信号116-119的图像的纹理分量的图像梯度平均能量。这可以通过对这些基于像素的图像梯度进行平方、在所有方向上求和(除以4)、归一化并且取平方根来完成。因此，

$P(x,y)=\frac{1}{\sqrt{2}}\×\sqrt{I_{\mathrm{NS}}\×I_{\mathrm{NS}}+I_{\mathrm{EW}}\×I_{\mathrm{EW}}+I_{\mathrm{NWSE}}\×I_{\mathrm{NWSE}}+I_{\mathrm{NESW}}\×I_{\mathrm{NESW}}}$

其中，I_NS≡I_NS(x，y)等等，并且P(x，y)代表每像素的平均图像梯度。实际上，P(x，y)代表图像梯度能量的归一化平方根。给定每图像像素的加权图像梯度P(x，y)，可以因此计算每给定方块的一阶统计量。平均计算是所述一阶统计量计算。这可以依照下式实现为对于每个N×N分块计算平均值：

$\⟨p\⟩=\underset{i}{\mathrm{\Σ}}P(x_i,y_i)/(N\×N)$

在一个实施例中，一个或多个图像控制参数121、122包括图像分块内的每像素加权图像梯度值，所述每像素加权图像梯度值代表所述图像输入信号101和/或经过处理的图像信号116-119的图像的纹理分量的图像梯度平均能量。给定每图像像素的加权图像梯度P(x，y)，可以因此计算每给定方块的给出方差的二阶统计量。因此，可以通过下式计算N×N分块内的方差：

$\mathrm{\ΔP}=\sqrt{(P(x,y)-\⟨P\⟩)\×(P(x,y)-\⟨P\⟩)}/(N\×N)$

然而，使用其他类型的计算也是可能的，所述计算例如三阶及三阶以上统计量的计算。

在一个实施例中，在所述至少第一层和第二层112-115中处理进入的图像输入信号101还涉及统计数据123-126，所述统计数据123-126适于用作用于将所述经过处理的图像信号116-119组合成所述单个图像输出信号102的附加操作参数。这些统计数据可能有用于例如对处理步骤进行排序。

图3示出了两层112-113系统的一个实施例，每层包括用于分别处理图像输入信号101的信号处理模块103、105。所述处理可以例如包括在每个相应层中应用去分块算法和去蚊影算法，其中得到的经过处理的信号116、117将是其中去除了涉及分块伪影和蚊影的数据的信号。

在这个实施例中，信号分析器111通过首先根据图像输入信号101计算度量信号m205(例如图像分块内的所述每像素的空间图像梯度和/或加权图像梯度值和/或所述每图像分块的平均值和方差值)来确定图像控制参数201，并且实现表查找技术204以便确定一个或多个图像控制参数201。如这里所说明的，图像控制参数201包括单个控制参数α，该控制参数α根据图像输入信号101确定并且被发送到包括两个乘法器202和203(分别乘以α和1-α)的组合电路120。举例而言，0≤α≤1，并且可以代表经过处理的信号的优选组合的一种权值，即，如果例如α＝0.5，那么均匀地组合经过处理的图像信号，而如果例如α＝0.8，那么经过处理的图像信号116比经过处理的图像信号117具有更大的相关性，即80％对比用于图像信号117的20％。下面的实例示出了可以如何根据度量信号m确定控制参数α：

m1＝10；g1＝0.25，

m2＝15；g2＝0.5，

m3＝20；g3＝0.75，

m4＝30；g4＝1.0，

gainmin＝0.0

gain＝0.0；

如果(m>m1)，则{gain＝g1；}

如果(m>m2)，则{gain＝g2；}

如果(m>m3)，则{gain＝g3；}

如果(m>m4)，则{gain＝g4；}

如果(gain<gainmin)，则{gain＝gainmin；}

α＝gain。

图4示出了依照本发明的图像处理方法，其中进入的图像输入信号在至少第一层和第二层中被处理(S1)400，其中所述处理得到至少第一和第二经过处理的图像信号。

为了以最佳的方式将这些经过处理的图像信号组合成图像输出信号，根据图像输入信号确定(S2)401一个或多个图像控制参数。这些可以例如包括所述图像输入信号的和/或来自经过处理的图像信号的图像的纹理分量的空间图像梯度，或者图像分块内的每像素加权图像梯度值(其代表所述图像输入信号的和/或来自经过处理的图像信号的图像的纹理分量的图像梯度平均能量)，或者每图像分块的平均值和方差值(代表所述图像输入信号的和/或来自经过处理的图像信号的图像的纹理分量的图像梯度平均能量)。

最后，使用所述一个或多个图像控制参数作为操作参数将经过处理的图像信号组合成所述图像输出信号(S3)402。

在一个实施例中，处理图像输入信号的步骤包括以“并行的方式”在每个所述层中应用各种后处理算法。举例而言，所述层数可以是2，并且所应用的算法可以是用于在一个所述层中去除蚊影的蚊影减少算法以及用于在另一个层中去除分块伪影的分块伪影减少算法(参见图2)。

在另一个实施例中，在一个或多个所述层中的处理步骤还包括添加至少第二个处理步骤，即以级联的方式组合所述处理。举例而言，在第一层中，可以将蚊影减少处理应用到图像输入信号上，并且随后在相同层可以将分块伪影算法应用到经过处理的信号上。

在上面给出的描述中，术语“图像”应当从广义上来理解。这个术语包括帧、场以及可以整体地或者部分地构成画面的任何其他实体。而且，存在许多借助于硬件或软件项或者这两者来实现功能的方式。在这个方面，所述附图是非常简略的，并且仅代表本发明的可能的实施例。因此，尽管附图将不同的功能显示为不同的功能块，但是这决没有排除单个硬件或软件项实现多个功能。它也没有排除硬件或软件项或者这两者的组合实现一定功能。

上面的注解表明，参照附图的详细描述说明了而不是限制了本发明。存在许多落入随附权利要求的范围内的可替换方案。权利要求中的任何附图标记不应当被解释为限制了该权利要求。措词“包括”并没有排除存在权利要求中未列出的元件或步骤。元件或步骤之前的措词“一”或“一个”并没有排除存在多个这样的元件或步骤。

Claims (11)

1.一种图像处理方法，包括：

(a)在至少第一层和第二层(112-115)中处理(400)进入的图像输入信号(101)，所述处理分别导致至少第一和第二经过处理的图像信号(116-119)；

(b)根据一个或多个所述信号(101，116-119)确定(401)一个或多个图像控制参数(121，122)；

(c)使用所述一个或多个图像控制参数(121，122)作为操作参数将所述经过处理的图像信号(116-119)组合(402)成图像输出信号(102)。

2.依照权利要求1的方法，其中所述根据一个或多个所述信号(101，116-119)确定(401)所述一个或多个图像控制参数(121，122)的步骤包括根据所述图像输入信号(101)确定所述图像控制参数(121，122)。

3.依照权利要求1的方法，其中所述根据一个或多个所述信号(101，116-119)确定(401)所述一个或多个图像控制参数(121，122)的步骤包括根据所述经过处理的图像信号(116-119)确定所述图像控制参数(121，122)。

4.依照权利要求1的方法，其中所述根据一个或多个所述信号(101，116-119)确定(401)所述一个或多个图像控制参数(121，122)的步骤包括根据所述图像输入信号(101)以及根据经过处理的图像信号(116-119)确定所述图像控制参数(121，122)。

5.依照权利要求1的方法，其中所述在所述至少第一层和第二层(112-115)中处理(400)所述进入的图像输入信号(101)还包括确定统计数据(123-126)，所述统计数据用作用于将所述经过处理的图像信号(116-119)组合成所述单个图像输出信号(102)的附加操作参数。

6.依照权利要求1的方法，其中所述根据所述一个或多个信号(101，116-119)确定所述一个或多个图像控制参数(121，122)包括确定所述一个或多个信号(101，116-119)的图像的纹理分量的空间图像梯度。

7.依照权利要求1的方法，其中所述根据所述一个或多个信号(101，116-119)确定所述一个或多个图像控制参数(121，122)包括确定图像分块内的每像素加权图像梯度值，所述每像素加权图像梯度值代表所述一个或多个信号(101，116-119)的图像的纹理分量的图像梯度平均能量。

8.依照权利要求1的方法，其中所述根据所述一个或多个信号(101，116-119)确定所述一个或多个图像控制参数(121，122)包括确定每图像分块的平均值和方差值，所述每图像分块的平均值和方差值代表所述一个或多个信号(101，116-119)的图像的纹理分量的图像梯度平均能量。

9.依照权利要求1的方法，其中所述在所述至少第一层和第二层(112-115)中处理(400)进入的图像输入信号(101)的步骤还包括在所述至少第一层和第二层(112-115)中的至少一个中另外处理经过处理的图像信号(116-119)。

10.一种用于存储用来允许处理单元执行权利要求1中的方法步骤的指令的计算机可读介质。

11.一种图像处理系统，包括：

(a)处理模块(103，105，107，109)，其用于在至少第一层和第二层(112-115)中处理进入的图像输入信号(101)，所述处理分别导致至少第一和第二经过处理的图像信号(116-119)；

(b)信号分析器(111)，其用于根据一个或多个所述信号(101，116-119)确定一个或多个图像控制参数(121，122)；以及

(c)组合电路(120)，其由所述信号分析器(111)操作以便将所述经过处理的图像信号(116-119)组合成图像输出信号(102)，其中所述操作基于使用一个或多个图像控制参数(121，122)作为操作参数。

Images