CN1771516A

CN1771516A - 空间图像变换

Info

Publication number: CN1771516A
Application number: CNA2004800095491A
Authority: CN
Inventors: G·德哈安
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-04-10
Filing date: 2004-03-31
Publication date: 2006-05-10
Also published as: JP2006523409A; US20060181643A1; KR20050119689A; EP1616300A1; WO2004090812A1

Abstract

本发明涉及一种图像变换单元(100)，用于将具有第一分辨率的输入图像变换为具有高于该第一分辨率的第二分辨率的输出图像。该图像变换单元(100)包括：一个系数确定装置(108)，用于基于该输入图像的像素值确定第一滤波器系数；以及一个自适应滤波装置(106)，用于基于该输入图像的所述像素值中的第一个和该第一滤波器系数计算中间图像的第二像素值；以及一个低通滤波器，用于对该中间图像进行滤波，从而得到输出图像。

Description

空间图像变换

本发明涉及一种用于将具有第一分辨率的第一图像变换为具有高于第一分辨率的第二分辨率的第二图像的图像变换单元，该图像变换单元包括：

-一个系数确定装置，用于基于该第一图像的像素值确定第一滤波器系数；以及

-一个自适应滤波装置，用于基于该第一图像的所述像素值中的第一个和该第一滤波器系数计算该第二图像的第二像素值。

本发明还涉及一种图像处理设备，包括：

-接收装置，用于接收一个对应于第一图像的信号；以及

-一个图像变换单元，用于将该第一图像变换为第二图像，正如上面所描述的那样。

本发明还涉及一种将具有第一分辨率的第一图像变换为具有高于第一分辨率的第二分辨率的第二图像的方法，该方法包括：

-基于该第一图像的像素值确定第一滤波器系数；以及

-基于该第一图像的所述像素值中的第一个和该第一滤波器系数计算该第二图像的第二像素值。

本发明还涉及一种将被计算机装置加载的计算机程序产品，包括将具有第一分辨率的第一图像变换为具有高于该第一分辨率的第二分辨率的第二图像的指令。

HDTV的出现强调对于使标准清晰度(SD)视频素材能在高清晰度(HD)电视(TV)显示器上观看的空间上变换技术的需要。传统的技术是线性内插方法，诸如双线性内插和使用多相位低通内插滤波器的方法。前者因为它的低质量而不普遍用于电视应用中，而后者在商业上可获得的IC中是可用的。使用所述线性方法，帧中的像素数量增加了，但是图像的感知清晰度没有增加。换句话说，显示器的性能没有被完全利用。

除传统的线性技术之外，已经提出多个非线性算法以便获得该上变换。有时这些技术被称为基于内容的或者边缘相关的空间上变换。这些上变换技术中的多个已经在下述概述文章中描述了：Meng Zhao等人的“Towards an overview of spatial up-conversion techniques(空间上变换技术概述)”，ISCE 2002年学报，德国Erfurt，2002年9月23-26日。

较好的技术是非线性的，因为这是在另外可利用的频谱中产生信息的唯一方法。因为该附加信息从未被摄影机记录而是被估计，应用关于自然图像的假设，其并不是随着时间固有地一致的。实际上，出现表现为“边缘忙乱(edge-business)”的伪像。

本发明的一个目的是提供一种在开头段落中描述的图像变换单元，其被安排为提供具有改进的感知结果的图像。

实现本发明的该目的在于该图像变换单元还包括一个用于滤波第二图像的低通滤波器。通过低通滤波，实现了噪声减少和时间一致性。优选地，该低通滤波集中在已经由非线性空间上变换引入的空间频谱部分。注意，在当前图像处理体系结构中，如果可利用的话，则在空间上变换之前执行噪声减少。这样做的一个原因在于，在空间上变换之后执行低通滤波是相对昂贵的，因为需要存储中间结果。另一个原因在于计算量是相对高的。

所述低通滤波器是时间滤波器、空间滤波器或时空滤波器。

根据本发明的图像变换单元的一个实施例包括一个特征提取单元，用于从该第一图像或该第二图像提取特征。该特征提取单元被安排为控制该低通滤波器。优选地，该特征提取单元被安排为从该第一图像提取特征。应用该第一图像而不是该第二图像来控制对该第二图像的低通滤波的优点在于该控制不会受到由上变换引起的伪像的干扰，其中该第一图像是没有经过上变换的原始图像。

在根据本发明的图像变换单元的一个实施例中，该特征提取单元是用于检测该第一图像中的边缘的边缘检测器单元。优选地，该实施例包括一个边缘自适应低通滤波器，其被设计成沿着边缘滤波该第二图像。或者，应用一个K最近或西格马最近空间滤波器。或者，该特征提取单元是一个用于检测第二图像中的边缘的边缘检测器单元。

在根据本发明的图像变换单元的另一实施例中，该特征提取单元是用于相对于一系列图像中的第三图像计算一个表示该第一图像中的运动量的值的运动检测器单元，其中该第一图像和第三图像都属于该一系列图像。优选地，根据本发明的该实施例包括一个递归时间低通滤波器。在该情况下，表示运动量的值被应用于控制第二图像和先前滤波的图像之间的混合比率。递归时间低通滤波器是相对便宜的和鲁棒的。或者，该特征提取单元是用于相对于另一系列图像中的第四图像计算一个表示第二图像中的运动量的值的运动检测器单元，其中该第二图像和第四图像都属于该另一系列图像。

在根据本发明的图像变换单元的另一实施例中，特征提取单元是用于相对于一系列图像中的第三图像的其它像素组计算第一图像的对应像素组的运动矢量的运动估计单元，其中该第一图像和第三图像都属于该一系列图像。优选地，根据本发明的该实施例包括一个递归时间低通滤波器，其包括一个用于对先前滤波的图像进行运动补偿的运动补偿单元。应用运动补偿的一个优点在于，即使在运动的情况下，该图像变换单元仍提供高质量的输出图像。或者，特征提取单元是用于相对于另一系列图像中的第四图像的其它像素组计算第二图像中的对应像素组的运动矢量的运动估计单元，其中该第二图像和第四图像都属于该另一系列图像。

根据本发明的图像变换单元的一个实施例被安排为将第二图像的预定空间频率范围中的各分量选择性地提供到时间滤波器，该预定的频率范围对应于在第一图像的奈奎斯特频率之上的频率。在根据本发明的该实施例中，低通滤波集中在已经由非线性空间上变换引入的空间频谱部分。空间频谱的其它部分基本上保持不变。

根据本发明的图像变换单元的一个实施例包括一个连接到自适应滤波装置的频带分割单元，该频带分割单元被安排为将所述分量提供到该时间滤波器。或者，该图像变换单元被设计成从经过内容自适应上变换的第二图像中减去从第一图像导出的经线性上变换的图像，并且被安排为对中间的减法图像(subtraction image)执行低通滤波，其后附加地是经线性上变换的图像。

本发明的另一目的是提供一种在开头段落中描述的图像处理设备，其被安排为提供具有改进的感知结果的图像。

实现本发明的该目的在于图像变换单元还包括一个用于滤波该第二图像的低通滤波器。该图像处理设备可选地包括一个用于显示该经滤波的图像的显示装置。该图像处理设备可以例如是一个TV、机顶盒、卫星调谐器、VCR(盒式磁带录像机)播放器或DVD(数字通用盘)播放器。

本发明的另一目的是提供一种在开头段落中描述的方法，其提供具有改进的感知结果的图像。

实现本发明的该目的在于该方法还包括对第二图像进行低通滤波。

本发明的另一目的是提供一种在开头段落中描述的计算机程序产品，其提供具有改进的感知结果的图像。

实现本发明的该目的在于该计算机程序产品在加载后为处理装置提供执行下列步骤的能力：

-基于第一图像的像素值确定第一滤波器系数；

-基于第一图像的所述像素值中的第一个和第一滤波器系数计算第二图像的第二像素值；以及

-对该第二图像进行低通滤波。

图像变换单元的修改及其变型可以对应于所描述的图像处理设备、方法和计算机程序产品的修改及其变型。

参照下文描述的实现方式和实施例并且参照附图，根据本发明的图像变换单元、图像处理设备、方法和计算机程序产品的这些和其它方面将变得明显并且将被说明，其中：

图1示意性地示出根据本发明的图像变换单元的一个实施例；

图2示意性地示出根据本发明的图像变换单元的一个实施例，其包括一个用于控制低通滤波器的特征提取单元；

图3示意性地示出根据本发明的图像变换单元的一个实施例，其包括一个一阶时间递归滤波器；

图4示意性地示出根据本发明的图像变换单元的一个实施例，其包括一个一阶时间递归滤波器，该滤波器包括对先前滤波的图像的运动补偿；

图5示意性地示出根据本发明的图像变换单元的一个实施例，其包括连接到自适应滤波装置的频带分割单元，该频带分割单元被安排为将预定空间频率范围中的第二图像的各分量提供到该低通滤波器；

图6示意性地示出根据本发明的图像变换单元的一个实施例，其包括一个线性变换单元和一个非线性变换单元；以及

图7示意性地示出根据本发明的图像处理设备的一个实施例。

在所有图中，相同的附图标记表示类似的部件。

图1示意性地示出根据本发明的图像变换单元100的一个实施例。图像变换单元100被安排为将具有第一分辨率的输入图像变换为具有高于第一分辨率的第二分辨率的输出图像。通常该输入图像是SD(标准清晰度)图像的输入序列视频的一部分，其在图像变换单元100的输入连接器110处被提供，并且第二图像是输出HD(高清晰度)图像序列的一部分。图像变换单元100在输出连接器112处提供输出HD图像序列。该图像变换单元包括：

-一个内容自适应上变换单元102，其将输入图像变换为具有高于输入图像的分辨率的中间图像；以及

-一个低通滤波器104，用于对该中间图像进行滤波从而得到输出图像。

该内容自适应上变换单元102包括：

-一个系数确定装置108，用于基于输入图像的像素值确定滤波器系数；以及

-一个自适应滤波单元106，用于基于输入图像的像素值和从输入图像导出的滤波器系数来计算中间图像的像素值。

内容自适应上变换单元102基于在下述文章中描述的上变换算法之一：Meng Zhao等人的“Towards an overview of spatial up-conversion techniques(空间上变换技术概述)”，ISCE2002年学报，德国Erfurt，2002年9月23-26。

滤波器系数确定单元108、自适应滤波单元106和低通滤波器104可以使用一个处理器实现。通常，这些功能在软件程序产品的控制下执行。在执行期间，通常软件程序产品被加载到存储器(比如RAM)中，并且从那里执行。该程序可以从背景存储器(比如ROM、硬盘或磁和/或光存储器)加载，或者可以通过因特网之类的网络加载。或者，一个专用集成电路提供所公开的功能。

图2示意性地示出根据本发明的图像变换单元200的一个实施例，其包括一个用于控制低通滤波器104的特征提取单元202。该特征提取单元202可以是一个用于检测输入图像中的边缘的边缘检测器装置。在该情况下，该低通滤波器可以执行一个边缘自适应滤波，如下述文章中所解释的那样：R.Jha和M.E.Jernigan的“Edge adaptivefiltering：how much and which direction？(边缘自适应滤波：什么程度以及哪个方向？)”，IEEE International Conference on Man andCybernetics学报，1989年11月14-17日，第一卷第364-366页。或者，该特征提取单元202被安排为相对于另一输入图像计算一个表示该输入图像中的运动量的值。优选地，运动的方向也被估计。在该情况下，该特征提取单元202是一个用于相对于另一输入图像的其它像素组计算该输入图像的对应像素组的运动矢量的运动估计单元。该运动估计器例如是下文中规定的：G.de Haan等人的“True-MotionEstimation with 3-D Recursive Search Block Matching(使用3D递归搜索块匹配的真实运动估计)”，IEEE Transactions on circuits andsystems for video technology，第3卷，第5期，1993年10月，第368-379页。该低通滤波可以基于下文中公开的算法：E.Dubois和S.Sabri的“Noise reduction in image sequences using motion compensatedtemporal filtering(使用经运动补偿的时间滤波的图像序列中的噪声减少)”，IEEE Transactions on Communication，第7期，1984年，第826-831页。

图3示意性地示出根据本发明的图像变换单元300的一个实施例，其包括一阶时间递归滤波器104。该一阶时间递归滤波器104包括用于暂时存储最近滤波的图像的存储器装置302。将该经滤波的图像与由内容自适应上变换单元102提供的中间图像进行混合。该混合通过混合单元304执行，该混合单元基于参数k被控制，参数k已经通过特征提取单元202从一个或多个输入图像中导出。该一阶时间递归滤波器104的输出由等式1给出：

F_{F} (\overset{&RightArrow;}{x}, n) = kF (\overset{&RightArrow;}{x}, n) + (1 - k) F_{F} (\overset{&RightArrow;}{x}, n - 1), - - - - (1)

其中像素位置是

输入亮度值是以及输出亮度值是

图4示意性地示出根据本发明的图像变换单元400的一个实施例，其包括一个一阶时间递归滤波器104，该滤波器包括对先前滤波的图像的运动补偿。根据本发明的该实施例包括一个运动估计单元404和一个运动补偿单元402，其中向该运动补偿单元402提供由运动估计单元404估计的运动矢量。先前滤波的图像在通过混合单元304执行混合之前相对于最近滤波的图像被运动补偿。或者，最近滤波的图像在通过混合单元304执行混合之前相对于先前滤波的图像被运动补偿。(未示出)。用于控制混合比率的参数k可以通过分离的特征提取单元202计算。然而，优选地该参数k基于所估计的运动矢量并且通过运动估计单元404计算。这意味着特征提取单元202是可选的，或者是运动估计单元404的一部分。

图5示意性地示出根据本发明的图像变换单元500的一个实施例，其包括一个连接到自适应滤波单元106的频带分割单元502，该频带分割单元502被安排为将预定空间频率范围内的第二图像的各分量提供到低通滤波器104。该预定空间频率范围基本上对应于在输入图像的奈奎斯特频率之上的频率。在根据本发明的该实施例中，时间低通滤波集中在已经由非线性空间上变换引入的空间频谱部分上。空间频谱的另一部分由频带分割单元502提供到加法单元504，经时间低通滤波的图像数据也被提供到该加法单元。下面解释图像变换单元500的工作。输入图像通过内容自适应上变换单元102被上变换为中间图像。中间图像的各频率分量通过频带分割单元502被分割为第一空间频率分量和第二频率分量，第一频率分量在输入图像的奈奎斯特频率之下，第二频率分量在输入图像的奈奎斯特频率之上。第二频率分量被提供到时间递归滤波器104。通过加法单元504将时间递归滤波器104的输出与第一空间频率分量相混合。

图6示意性地示出根据本发明的图像变换单元600的一个实施例，其包括一个线性变换单元602和一个非线性变换单元102。在根据本发明的该实施例中，低通滤波集中在已经由非线性空间上变换引入的空间频谱部分上。空间频谱的其它部分基本上保持不变。图像变换单元600包括：

-一个内容自适应上变换单元102，其将具有第一分辨率的输入图像变换为具有高于第一分辨率的第二分辨率的第一中间图像；

-一个线性上变换单元602，其将输入图像变换为具有第二分辨率的第二中同图像；

-一个减法单元604，用于从该第一中间图像中减去该第二中间图像；

-一个低通滤波器104，用于对该减法图像进行滤波；

-一个组合单元504，用于将该经滤波的减法图像与该第二中间图像相组合。

优选地，该图像变换单元600还包括一个如参照图1-5中的任一个描述的用于控制低通滤波器104的特征提取单元202。该第二中间图像(也就是经线性上变换的图像)包括在低于输入图像的奈奎斯特频率的范围中的频率分量。然而，该第一中间图像(也就是经非线性上变换的图像)也包括在输入图像的奈奎斯特频率之上的范围中的频率分量。通过从该第一中间图像中减去该第二中间图像，在输入图像的奈奎斯特频率之上的范围中的频率分量被选择。该减法图像(也就是具有相对高的空间频率的图像)随后通过时间滤波器被低通滤波，该时间滤波器优选地是经运动补偿的一阶时间递归滤波器。最后，将经滤波的减法图像与第二中间图像(也就是经线性上变换的图像)相组合。

图7示意性地示出根据本发明的图像处理设备700的一个实施例，包括：

-接收装置702，用于接收一个表示SD图像的信号；

-图像变换单元704，如参照图1-6中的任何一个所描述的那样；以及

-一个显示装置706，用于显示图像变换单元704的HD输出图像。该显示装置706是可选的。

所述信号可以是通过天线或电缆接收的广播信号，但是也可以是来自存储装置(比如VCR(盒式磁带录像机)或数字通用盘(DVD))的信号。该信号在输入连接器708处被提供。图像处理设备700例如可以是一个TV。或者，图像处理设备700不包括可选的显示装置，而是将HD图像提供到一个包括显示装置706的设备。因此图像处理设备700例如可以是一个机顶盒、卫星调谐器、VCR播放器或者DVD播放器。但是它也可能是由电影制片厂或广播商应用的系统。

应该注意，上述实施例说明而不是限制本发明，并且本领域的熟练技术人员在不脱离所附权利要求书范围的情况下将能够设计替换实施例。在权利要求书中，放在括号中的附图标记不限制该权利要求。“包括”一词不排除没有在权利要求中列出的元件或步骤的存在。在元件前面的“一个”不排除存在多个这样的元件。本发明可以通过包括几个不同元件的硬件和适当编程的计算机实现。在列举几个装置的装置权利要求中，这些装置中的几个可以通过同一硬件项实现。

Claims

1、一种图像变换单元(100，200，300，400，500，600)，用于将具有第一分辨率的第一图像变换为具有高于该第一分辨率的第二分辨率的第二图像，该图像变换单元(100，200，300，400，500，600)包括：

-一个系数确定装置(108)，用于基于该第一图像的像素值确定第一滤波器系数；以及

-一个自适应滤波装置(106)，用于基于该第一图像的所述像素值中的第一个和该第一滤波器系数计算该第二图像的第二像素值，

其特征在于，该图像变换单元(100，200，300，400，500，600)还包括一个用于对该第二图像进行滤波的低通滤波器(104)。

2、根据权利要求1所述的图像变换单元(200，300，400，500，600)，其特征在于，该图像变换单元(100，200，300，400，500，600)包括一个用于从该第一图像或该第二图像中提取特征的特征提取单元(202)，并且该特征提取单元(202)被安排为控制该低通滤波器(104)。

3、根据权利要求2所述的图像变换单元(200，300，400，500，600)，其特征在于，该特征提取单元(202)是一个用于检测该第一图像中的边缘的边缘检测器单元。

4、根据权利要求2所述的图像变换单元(200，300，400，500，600)，其特征在于，该特征提取单元(202)是一个用于相对于一系列图像中的第三图像计算一个表示该第一图像中的运动量的值的运动检测器单元，该第一图像和该第三图像都属于该一系列图像。

5、根据权利要求2所述的图像变换单元(200，300，400，500，600)，其特征在于，该特征提取单元(202)是一个用于相对于一系列图像中的第三图像的其它像素组计算该第一图像的对应像素组的运动矢量的运动估计单元，该第一图像和该第三图像都属于该一系列图像。

6、根据权利要求1所述的图像变换单元(100，200，300，400，500，600)，其特征在于，该低通滤波器(104)是一个时间滤波器。

7、根据权利要求6所述的图像变换单元(400，500)，其特征在于，该低通滤波器(104)是一个时间递归滤波器，该时间递归滤波器包括一个用于对先前滤波的图像进行运动补偿的运动补偿单元(402)

8、根据权利要求6所述的图像变换单元(500，600)，其特征在于，该图像变换单元(500，600)被安排为将该第二图像的一个预定空间频率范围中的各分量选择性地提供到该时间滤波器，该预定频率范围对应于在该第一图像的奈奎斯特频率之上的频率。

9、根据权利要求8所述的图像变换单元(500)，其特征在于，该图像变换单元(500)包括一个连接到该自适应滤波装置的频带分割单元，并且该频带分割单元被安排为将所述分量提供到该时间滤波器。

10、根据权利要求3所述的图像变换单元(100，200)，其特征在于，该低通滤波器(104)是一个边缘自适应空间低通滤波器。

11、一种图像处理设备(700)，包括：

-接收装置，用于接收一个对应于第一图像的信号；以及

-一个图像变换单元(100，200，300，400，500，600)，用于将该第一图像变换为第二图像，该图像变换单元(100，200，300，400，500，600)如权利要求1所述。

12、根据权利要求11所述的图像处理设备(700)，其特征在于，该图像处理设备(700)还包括一个用于显示经低通滤波的第二图像的显示装置(706)。

13、根据权利要求11所述的图像处理设备(700)，其特征在于，它是一个电视。

14、一种将具有第一分辨率的第一图像变换为具有高于该第一分辨率的第二分辨率的第二图像的方法，该方法包括：

-基于该第一图像的像素值确定第一滤波器系数；以及

-基于该第一图像的所述像素值中的第一个和该第一滤波器系数计算该第二图像的第二像素值，其特征在于，该方法包括对该第二图像进行低通滤波。

15、一种由计算机装置加载的计算机程序产品，其包括用来将具有第一分辨率的第一图像变换为具有高于该第一分辨率的第二分辨率的第二图像的指令，该计算机装置包括处理装置和一个存储器，该计算机程序产品在被加载后为所述处理装置提供执行下列步骤的能力：

-基于该第一图像的像素值确定第一滤波器系数；

-基于该第一图像的所述像素值中的第一个和该第一滤波器系数计算该第二图像的第二像素值；以及

-对该第二图像进行低通滤波。