CN1833440A

CN1833440A - 内插图像的后处理

Info

Publication number: CN1833440A
Application number: CNA2004800224350A
Authority: CN
Inventors: G·德哈恩; E·B·贝勒斯
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-08-05
Filing date: 2004-07-29
Publication date: 2006-09-13
Also published as: US7136107B2; US20050030424A1; WO2005013614A1; JP2007501560A; EP1654872A1; KR20060069443A

Abstract

公开了一种用于把输入图像变换成输出图像的图像变换单元(100)。图像变换单元(100)包括：第一计算装置(104)，用于计算第一组像素值的第一加权和值，第一组像素值相应于输入图像的像素；第二计算装置(102)，用于计算第二组内插值的第二加权和值，第二组内插值是对在输入图像的采样网格中不存在的空间位置进行内插而计算的；组合装置(106)，用于把第一加权和值与第二加权和值组合而计算第三和值；以及箝位装置(108)，用于把第三和值箝位在最小值与最大值之间，最小值和最大值是从输入图像的像素值得出的。

Description

内插图像的后处理

本发明涉及用于把输入的图像变换成输出图像的图像变换单元。

本发明还涉及图像处理设备，它包括：

-接收装置，用于接收相应于输入图像序列的信号；以及

-图像变换装置，用于把输入图像的第一图像变换成输出图像。

本发明还涉及把输入的图像变换成输出图像的方法。

本发明还涉及被计算机装置装载的计算机程序产品，它包括用来把输入图像变换成输出图像的指令，该计算机装置包括处理装置和存储器。

隔行扫描是用于交替地发送奇数或偶数图像行的通常的视频广播过程。去隔行扫描试图恢复全部的垂直分辨率，即，使得奇数行和偶数行对于每个图像可同时得到。为了把隔行扫描的视频信号变换成逐行扫描的信号，在过去的几十年提出了各种各样的方法。对于去隔行扫描的介绍可以在以下的综述性文章中找到：Gerard de Haan和ErwinBellers，“De-interlacing-An Overview”(去隔行扫描的综述)，Proceeding of IEEE(1998)。

提供最高的图像质量的算法使得内插适配于在空间域(取决于边缘的内插)或在时间域(运动补偿的内插)中找到最大相关值。当前最先进的方法同时应用运动补偿和方向适配。这些方法的缺点在于，它们容易出现运动向量和/或边缘取向错误。结果，可能出现严重的人工产物。

本发明的目的是提供在开头段落中描述的那种图像变换单元，它被安排来减小由于像素值的内插造成的伪像。

本发明的这个目的是这样达到的，该图像变换单元包括：

-第一计算装置，用于计算第一组像素值的第一加权和值，第一组像素值相应于输入图像的像素；

-第二计算装置，用于计算第二组内插值的第二加权和值，第二组内插值是通过对在输入图像的采样网格中不存在的空间位置进行内插而计算的，第二加权和值是根据滤波器系数计算的，滤波器系数的和值基本上等于零；

-组合装置，用于把第一加权和值与第二加权和值相组合而计算第三和值；以及

-箝位装置，用于把第三和值箝位在最小值与最大值之间，最小值是从输入图像的第三组像素值得到的以及最大值是从输入图像的第四组像素值得到的。

优选地，第一计算装置相应于低通滤波器。第二计算装置相应于高通滤波器，因为滤波器系数的和值等于零。人工产物的减小(即对不适当的内插值进行修正)是这样达到的：把这些内插值进行高通滤波所得到的值和输入图像的原先的数值进行低通滤波而得到的其它数值进行组合。换句话说，输入图像的低频部分被添加到内插值的高频部分的放大的版本中。放大是采用适当的滤波器系数的结果。所建议的操作的结果是，在输出图像中不会出现低频人工产物。潜在的过冲和欠冲则通过箝位装置而被消除。

优选地，第三组像素值和第四组像素值互相相等。典型地，第三组像素值包括属于在所考虑的内插值的相邻各像素的不足20个数值。

按照本发明的图像滤波器单元的实施例还包括内插单元，用于根据另外的输入图像的另外的像素值来计算内插值。内插单元可以是去隔行扫描单元。替换地，内插单元是空间上变换单元。空间上变换技术例如使得标准分辨率(SD)视频材料能在高分辨率(HD)电视机(TV)显示器上观看。除了传统的线性技术以外，提出了多种非线性算法以完成这种上变换。有时，这些技术被称为基于内容的、内容自适应的、或与边缘相关的空间上变换。多种这样的上变换技术在以下的概述性文章中描述：Meng Zhao等，“Towards an overview of spatialup-conversion techniques”(关于空间上变换的综述)，Proceedingsof ISCE 2002，Erfurt，Germany，23-26 September 2002。

替换地，图像变换单元不包括内插单元，即，去隔行扫描单元或空间上变换单元，但被连接到这样的内插单元，并且被安排成作为一种后处理以减小人工产物。

在按照本发明的图像滤波器单元的实施例中，第二计算装置的滤波器系数是固定的，即，预定的。这些滤波器系数如此确定为以达到对内插值的高频部分的放大。因为有箝位装置，所以没有过冲或欠冲的危险。然而，替换地，滤波器系数可能是可控制的。因此，按照本发明的图像滤波器单元的实施例包括控制装置，用于根据内插单元的控制信号控制滤波器系数。按照本发明的这个实施例的优点是人工产物的进一步减小。

控制内插的参数的质量涉及到人工产物的概率。例如，在运动补偿的去隔行扫描的情形下，运动向量的正确性对于逐行输出图像的质量，即内插的像素值的适当性，是重要的。在这种情形下，应用有关运动向量的质量的知识来控制滤波器系数是有利的。代表运动向量的质量的参数是匹配误差。典型的运动估计单元被安排成根据第一图像的各像素值和第二图像的另外各像素值之间各差值的和值来估计运动向量。匹配误差可以是绝对差(SAD)的和值。优选的运动估值在以下的文章中规定：G.de Haan等，“True-Motion Estimation with 3-DRecursive Search Block Matching”(用3D搜索块匹配的其实运动估计)，IEEE Transactions on circuits and systems for videotechnology，vol.3，No.5，October 1993，pp.368-379。

在取决于边缘的内插的情形下，应用有关估值的边缘的质量的知识来控制滤波器系数是有利的。

在按照本发明的图像滤波器单元的实施例中，最小值等于第三组像素值中具有最小值的一个特定的像素值。替换地，通过对第三组中多个具有相对较低数值的像素值进行平均而计算最小值。最大值的确定优选地基于类似的方法，虽然是基于最大值。

本发明的再一个目的是提供在开头段落中描述的那种图像处理设备，它被安排来减少由于像素值的内插造成的人工产物。

本发明的这个目的是这样达到的，该图像变换单元包括：

图像处理设备可任选地包括用于显示第二图像的显示设备。图像处理设备可以是电视机、机顶盒、卫星调谐器、VCR(盒式磁带录像机)或DVD(数字通用盘)播放器。

本发明的再一个目的是提供在开头段落中描述的那种方法，通过该方法，可以减少由于像素值的内插造成的人工产物。

本发明的这个目的的达到在于，方法包括：

-计算第一组像素值的第一加权和值，第一组像素值相应于输入图像的像素；

-计算第二组内插值的第二加权和值，第二组内插值是通过对在输入图像的采样网格中不存在的空间位置进行内插而计算的，第二加权和值是根据滤波器系数计算的，滤波器系数的和值基本上等于零；

-把第一加权和值与第二加权和值相组合而计算第三和值；以及

-把第三和值箝位在最小值与最大值之间，最小值是从输入图像的第三组像素值得到的以及最大值是从输入图像的第四组像素值得到的。

本发明的再一个目的是提供在开头段落中描述的那种计算机程序产品，通过该程序产品，可以减少由于像素值的内插造成的人工产物。

本发明的这个目的是这样达到的，该计算机程序产品在被装载后为所述处理装置提供以实行以下步骤的能力：

-把第一加权和值与第二加权和值组合而计算第三和值；以及

图像变换单元的修正和它的变化方案可以相应于所描述的图像处理设备、方法和计算机程序产品的修正和变化方案。

通过此后描述的实施方案和实施例以及参照附图就阐述和明白按照本发明的图像处理设备的图像变换单元、方法、和计算机程序产品的这些和其它方面，其中：

图1A示意地显示按照本发明的图像变换单元的实施例，就这一点而言；

图1B示意地显示具有多个输入和输出样本的、图1A的图像变换单元。

图2示意地显示按照本发明的包括用于控制高通滤波器的控制单元的图像变换单元的实施例；

图3示意地显示按照本发明的包括乘法单元的图像变换单元的替换实施例；以及

图4示意地显示按照本发明的图像处理设备的实施例。

相同的标号被使用来在所有图上表示相同的部件。

图1A示意地显示按照本发明的图像变换单元100的实施例，就上下文而言，图像变换单元100连接到去隔行扫描单元110和合并单元112。去隔行扫描单元被安排来对于特定的视频场计算丢失的像素的数值。例如，对于相应于图像的偶数行的视频场，相应于奇数行的像素值是丢失的，即，在输入图像的采样网格处没有与空间位置相对应的像素值。这些丢失的像素值通过当前的视频场的像素值的内插而被近似。这意味着，例如，从必须计算其数值的空间位置之上和之下的那些行取得的像素值，被用作为内插的输入。所取的实际像素值可能是基于图像上检测到的边缘。优选地，时间环境下的像素值也被应用于插值。优选地，前一个视频场的像素值和运动向量的像素值被用作为后一种内插的输入。

合并单元112被安排成藉助于分别把相应于输入图像的奇数或偶数视频行的原先的像素值与相应于输出图像的奇数或偶数视频行利用图像变换单元100计算而得的数值进行组合而构建输出图像。

图像变换单元100包括：

-低通滤波器104，用于计算第一组像素值的第一加权和值，第一组像素值相应于输入图像的像素；

-高通滤波器102，用于计算第二组内插值的第二加权和值；

-相加单元106，把第一加权和值与第二加权和值组合而计算第三和值；以及

-箝位单元108，用于把第三个和值箝位在最小值与最大值之间。

低通滤波器104的输出I_LF(y，n)在公式1中被规定：

I_LF(y，n)＝1*O(y-3，n)+8*O(y-1，n)+8*O(y+1，n)+1*O(y+3，n) (1)

其中O(y，n)是来自视频信号的原先可得到的行的样本，y表示垂直位置，即，在逐行帧中也即输出图像中的行数，以及n表示图像号。从公式1可以得出，低通滤波是基于位于所考虑像素的以上和以下的4个像素的数值。

高通滤波器102的输出I_HF(y，n)在公式2中被规定：

I_HF(y，n)＝-5*I_i(y-2，n)+10*I_i(y，n)+-5*I_i(y+2，n) (2)

其中I_i(y，n)是从去隔行扫描单元110得到的内插样本。从公式2可以得出，高通滤波是基于3个像素值。一个特定像素的滤波后的数值是基于该特定的像素、位于该特定的像素以上的像素、和位于该特定的像素以下的像素。

高通滤波器102的输出端与低通滤波器104的输出端被连接到相加单元106，用于把第一加权和值与第二加权和值组合而计算第三和值。

相加单元106的输出被连接到箝位单元单元108，用于把第三和值箝位在最小值与最大值之间。最小值与最大值是从内插样本的以上和以下的行取得的像素值组得出的。优选地，该组各像素在水平位置上偏离不大于预定的距离，例如在水平方向的+/-3个样本。箝位单元108的箝位操作在公式3中规定。

I(y，n)＝clip(I_LF+I_HF，min，max) (3)

其中

clip (a, \min, \max) = \{\begin{matrix} a & if & \min < a < \max \\ \min & if & a < \min \\ \max & if & a > \max \end{matrix}

低通滤波器104、高通滤波器102、相加单元106、和箝位单元108可以用一个处理器来实施。除此以外图像变换单元100，去隔行扫描单元110和合并单元112可以使用一个处理器来实施。通常，这些功能是在软件程序产品的控制下执行的。在执行期间，通常把软件程序产品装载在如RAM的存储器中，并从那里执行。程序可以从基础存储器装载，诸如ROM、硬盘、或磁贮存装置和/或光贮存装置，或可以经由如互联网的网络装载。任选地，专用集成电路提供所公开的功能。

图1B示意地显示具有多个输入和输出样本的、图1A的图像变换单元。一个特定的输出样本I(y，n)是根据7个输入样本的加权的和值计算的。任选地，取决于它的数值，输出样本根据另外的输入样本被箝位，这些输入样本例如来自包括以下的O(x-2，y+1，n)，O(x-1，y+1，n)，O(x，y+1，n)，O(x+1，y+1，n)，0(x+2，y+1，n)，O(x-2，y-1，n)，O(x-1，y-1，n)，O(x，y-1，n)，O(x+1，y-1，n)，和0(x+2，y-1，n)的组。

结合图1A和1B描述的图像变换单元100被连接到去隔行扫描单元110，并且被安排成沿垂直方向执行一维滤波。将会看到，按照本发明的替换实施例被安排成沿水平方向执行一维滤波，以及按照本发明的再一个实施例被安排成同时沿水平方向和垂直方向执行二维滤波。后者的实施例可以与被安排成把输入图像变换成具有较高的空间分辨率的输出图像的空间上变换单元相组合地被应用。

图2示意地显示包括用于控制高通滤波器102的控制单元202的、按照本发明的图像变换单元200的实施例。控制单元202被安排成根据由内插单元例如去隔行扫描单元110所提供的控制信号来计算用于高通滤波器102的滤波器系数。控制信号可以从运动向量的估值或图像的边缘的估值而得出。控制单元202、低通滤波器104、高通滤波器102、相加单元106和箝位单元108可以用一个处理器来实施。

图3示意地显示包括乘法单元302的、按照本发明的图像变换单元300的替换实施例。乘法单元302被安排成把高通滤波的信号I_HF(y，n)乘以由控制单元202提供的增益。应当指出，通过调节用于高通滤波器102的滤波器系数，正如结合图2描述的，可以得到与调节这个增益相同的效果。乘法单元302、低通滤波器104、高通滤波器102、相加单元106和箝位单元108可以使用一个处理器来实施。

图4示意地显示按照本发明的图像处理设备400的实施例，包括：

-接收装置402，用于接收代表SD图像的信号；

-如分别结合图1A、1B、2和3的任一项描述的图像处理部件110、112、100、200、300的组合404；以及

-显示设备406，用于显示图像处理部件的组合404的HD输出图像。显示设备406是可选的。

信号可以是经由天线或电缆接收的广播信号，但也可以是来自诸如VCR(盒式磁带录像机)或数字通用盘(DVD)的贮存设备的信号。信号在输入连接头408处提供。图像处理设备400例如可以是电视机。替换地，图像处理设备400不包括任选的显示设备，但向一个确实包括显示设备406的设备提供HD图像。这样，图像处理设备400例如可以是机顶盒、卫星调谐器、VCR播放器或DVD播放器。但它也可以是一个被电影摄影棚或广播电台应用的系统。

应当指出，上述的实施例是显示而不是限制本发明，以及本领域技术人员能够在不背离所附权利要求的范围的条件下设计替换的实施例。在权利要求中，在括号之间的任何标号不应当被看作为限制该权利要求。单字‘包括’不排除在权利要求中未列出的单元或步骤的存在。在单元前面的单字‘一个’不排除多个这样的单元的存在。本发明可以藉助于包括几种不同单元的硬件和藉助于适当编程的计算机来实施。在枚举几个装置的单位权利要求中，这些装置的几个装置可以由同一个硬件项目来体现。

Claims

1.一种用于把输入图像变换成输出图像的图像变换单元(100，200，300)，图像变换单元(100，200，300)包括：

-第一计算装置(104)，用于计算第一组像素值的第一加权和值，第一组像素值相应于输入图像的像素；

-第二计算装置(102)，用于计算第二组内插值的第二加权和值，第二组内插值是通过对在输入图像的采样网格中不存在的空间位置进行内插而计算的，第二加权和值是根据滤波器系数计算的，滤波器系数的和值基本上等于零；

-组合装置(106)，用于把第一加权和值与第二加权和值相组合而计算第三和值；以及

-箝位装置(108)，用于把第三和值箝位在最小值与最大值之间，最小值是从输入图像的第三组像素值得到的以及最大值是从输入图像的第四组像素值得到的。

2.如权利要求1中要求的图像变换单元(100，200，300)，还包括内插单元(110)，用于根据另外的输入图像的另外的像素值来计算内插值。

3.如权利要求2中要求的图像变换单元(100，200，300)，其中内插单元(110)是去隔行扫描单元。

4.如权利要求2中要求的图像变换单元(100，200，300)，其中内插单元(110)是空间上变换单元。

5.如权利要求2中要求的图像变换单元(200，300)，还包括控制装置(202)，用于根据内插单元(110)的控制信号控制滤波器系数。

6.如权利要求5中要求的图像变换单元(200，300)，其中内插单元(110)被安排成根据运动向量来计算内插值以及控制信号是基于运动向量的。

7.如权利要求1中要求的图像变换单元(100，200，300)，其中最小值等于第三组像素值中具有最小值的一个特定的像素值。

8.一种图像处理设备(400)，包括：

-接收装置(402)，用于接收相应于输入图像序列的信号；以及

-图像变换单元(100，200，300)，用于把输入图像中的第一个输入图像变换成输出图像，图像变换单元(100，200，300)是如权利要求2中要求的。

9.如权利要求8中要求的图像处理设备(400)，其特征在于，还包括显示设备(406)，用于显示输出图像。

10.如权利要求9中要求的图像处理设备(400)，其特征在于，它是电视机。

11.一种把输入图像变换成输出图像的方法，方法包括：

12.一种要被计算机设备装载的计算机程序产品，包括把输入图像变换成输出图像的指令，计算机设备包括处理装置和存储器，计算机程序产品在被装载后为所述处理装置提供以实行以下步骤的能力：

-把第三个值箝位在最小值与最大值之间，最小值是从输入图像的第三组像素值得到的以及最大值是从输入图像的第四组像素值得到的。