CN100438609C - 带有降质的图像处理单元 - Google Patents

Abstract

一种图像处理单元(100，200，300)，用于根据输入图像序列计算输出图像序列，包括：运动估计单元(102)，用于根据输入图像计算运动矢量场；质量测量单元(104)，用于计算运动矢量场的质量测量值；内插单元(106)，用于根据运动矢量场利用输入图像的像素值的内插计算输出图像；和控制装置(108)，根据质量测量控制内插单元(106)。质量测量单元(104)配置为根据邻近运动矢量之间的最大差计算质量测量的值。如果质量测量的值低于预定阈值则执行运动补偿内插，否则执行非运动补偿内插。

Description

带有降质的图像处理单元

技术领域

本发明涉及一种用于根据输入图像序列计算输出图像序列的图像处理单元，包括：

-运动估计单元，用于根据输入图像计算运动矢量场，运动矢量场包括属于第一组像素的第一运动矢量和属于第二组像素的第二运动矢量；

-质量测量单元，用于计算运动矢量场的质量测量的值；

-内插单元，用于利用输入图像的像素值的内插计算输出图像的第一图像，该内插基于运动矢量场；和

-控制单元，根据质量测量控制内插单元。

本发明进一步涉及一种图像处理装置，包括：

-接收装置，用于接收对应于输入图像序列的信号；和

-这种图像处理单元，用于根据输入图像序列计算输出图像序列。

本发明进一步涉及一种根据输入图像序列计算输出图像序列的方法，包括：

-根据输入图像计算运动矢量场，运动矢量场包括属于第一组像素的第一运动矢量和属于第二组像素的第二运动矢量；

-计算运动矢量场的质量测量的值；

-利用输入图像的像素值的内插计算输出图像的第一图像，该内插基于运动矢量场；和

-根据质量测量控制像素值的内插。

背景技术

运动估计在许多视频信号处理的应用中起着重要的作用。象图像速率上变换、去隔行和视频压缩这样的应用，所得图像质量能够通过使用运动矢量而大大改善。对于视频压缩，即编码，运动估计对降低存储和传输的需求至关重要。尤其是通常用于图像速率上变换、去隔行和视频格式转换的运动估计单元，得出“真”运动矢量场至关重要。“真”运动矢量场精确描述了图像中的实际运动。通常，用于编码的运动估计单元不具有这种严格的条件。结果，不精确的运动矢量场造成额外的存储和传输需求。

文献中记载了大量不同的运动估计算法。为了纵览，参看书“Digital Signal ProcesSing”，A.Tekalp，Prentice Hall，1995，ISBN O-13-190075-7。对于消费类应用来说，许多运动估计单元计算过于复杂，或者不能达到消费类应用所必需的质量级别。象G.de Haan在“Motionestimation and compensation”，Ph.D.thesis，Technical UniversityDelft，1992中描述的三维递归搜索或R.Wittebrood和G.de Haan在Proceedings of ICCE，230-231页，IEEE，2000年6月的“Second generationDSP software for picture rate conversion”中描述的、基于对象的估计器的运动估计算法，尝试估计大量视频序列的真运动，并且成功了。但是仍然有一些视频序列，运动估计单元未能对其估计真运动。可能出现失败的典型视频序列是具有很大运动、大均匀区域、重复结构的序列，和具有大加速度或小运动对象的序列。如果运动估计单元未能估计正确的运动，使用这些错误的、不精确的运动矢量会在运动补偿结果中产生恼人的人为失真。这些人为失真甚至可能大于由旨在得到类似结果的不太复杂的补偿算法产生的人为失真。因此，需要检测运动估计单元的工作是否作得好，即所得运动矢量场是否正确和精确。

许多用于检测错误运动矢量场的不同算法可从文献得知，和/或在目前的电子设备中执行。在下文中，讨论多个这样的方法。即描述多个运动矢量场的质量测量。运动估计单元通常在图像中存在大速度时失败。这是由某些运动估计单元为运动矢量定义的有限范围造成的。这可以在块匹配器中见到(参见引用的书“Digital Signal Processing”)。另一个原因是支持运动估计单元的假设仅对小运动有效，该假设随着渐增的运动变得越来越不精确。这对于像素递归估计器或光流估计器是这样的(参见引用的书”Digital Signal Processing”)。因此，对于运动矢量场的质量，使用得最多的指示是视频序列中存在的对象的运动幅度的一些测量。在对象、段、图像区或块的运动超过预定阈值时，打开降质(fall-back)算法。使用降质算法的概念在EP0.648.046中公开。可以例如如下执行：

其中对必须判决是否要打开降质处理的区域R，N是区域R中的位置

处的运动矢量的数目。T₁是可以局部适应图像内容的阈值。

通常，运动估计是一个优化问题。对于图像中的每个对象、段、图像区或块，对一组候选运动矢量进行匹配误差最小化。例如，该匹配误差可以是绝对差的和(SAD)：

$\mathrm{SAD}=\underset{\stackrel{\→}{x}\∈R}{\mathrm{\Σ}}|F(\stackrel{\→}{D}\left(\stackrel{\→}{x}\right),n)-F(\stackrel{\→}{D}\left(\stackrel{\→}{x}\right),n-1)|---\left(2\right)$

其它的匹配准则是互相关和均方误差。显然，运动矢量越好，匹配误差越低。因此，匹配误差是运动矢量质量的指示并可以被用来检测错误运动矢量。如果对象的匹配误差超过预定阈值，则运动矢量错误的概率就大。这种降质检测在US5.940.145和US5.546.130中公开。作为举例：

其中运动补偿的差在区域R中的所有位置求和。F(

n)和F(

n-1)是当前和先前图像的亮度值，

是位置

的运动矢量。

通常，自然图像序列的真运动矢量场是时空一致的。众所周知，时空矛盾测量是运动矢量场正确性的较好指示。参见G.de Haan“Motionestimation and compensation”，Ph.D.thesis，Technical UniversityDelft，1992。如果运动矢量场空间或时间上很矛盾，就要打开降质算法。

例如，如果时间上矛盾：

其中连续图像的对应运动矢量之间的所有差相加。如果空间上矛盾：

其中S

是包含

的所有邻近位置的组。

也可以使用例如上述类型的多个质量测量的合并。合并给出比单个测量更稳健的结果。依靠该合并测量，就可以确定是否要打开降质算法。该方法在US5.546.130中公开。

代替选择降质或不降质，也可以使用质量测量实现内插算法之间更渐进的转换。此时，质量测量用作混合参数，降质内插和运动补偿的内插的结果以混合参数，即运动矢量场的质量测量确定的比例混合。

通常，上述质量测量是运动矢量场整体质量的较好指示。因此，可用作降质处理的检测。但是，还存在这些指示失败的情况。典型的示例是和其周围相比具有较高速度的较小对象。这将通过示例解释。假定在山峰的背景上飞行的飞机的图像序列。飞机被摄像机跟踪，背景从左向右移动。飞机的平均亮度值略低于背景的平均亮度，飞机的尺寸大约为5个块，一个块包括8×8个像素。背景的速度高，但是可以通过运动估计单元正确估计。问题在于较小的飞机。运动估计单元在估计飞机的运动时失败。许多块被赋予了正确的运动，但是其它一些块被赋予了背景的速度。因为飞机的运动和背景的运动之间差较大，会由使用这些运动矢量产生相当多的人为失真。对于图像率上变换的情况，飞机将分解破碎，一部分由正确的运动描述，另一部分由背景的速度描述。通常，观众的眼睛将集中在飞机上，因为这是摄像机跟踪的对象。飞机错误的重现会非常恼人。

发明内容

发明的目的是提供一种在开始段落中描述的那种图像处理单元，改善了错误运动矢量场的检测。

实现发明的该目的在于质量测量单元配置为根据第一运动矢量和第二运动矢量之间的最大差计算质量测量的值。优选地，第一组像素是第二组像素的邻近像素组。典型地，像素组是像素块。优选地，如果质量测量的值低于预定阈值，内插单元配置为根据运动矢量场进行输入图像的像素值的运动补偿内插，如果质量测量的值高于预定阅值，则配置为执行输入图像的像素值的替代内插。

重要的观测数据是上述人为失真即分解破碎的对象将变得更明显而恼人，因为正确和指定的运动之间的差增加了。如果能够检测正确和指定的运动之间的差，则在该差超过预定阈值时将可以进入降质。由于正确的运动未知，所以需要启发式的方法。上述那种最明显的人为失真在移动背景上跟踪小对象时发生。由于对象被跟踪，它的速度接近于零。如果零速度包括在运动估计单元对其进行匹配误差最小化的运动矢量候选组中，则跟踪对象内的许多块被指定正确的运动矢量即零矢量的概率会很高。显然，跟踪对象的其它块将被指定错误的运动矢量，即背景的运动矢量。结果，将在跟踪的对象内存在错误和正确的运动矢量，而且在该对象的有些地方，正确和错误的矢量将位于邻近的块上。因此，两个邻近像素组的运动矢量之间的差或绝对差是跟踪对象中正确和指定的运动之间的差的适当近似。这些差的最大值，称为局部运动矢量对比，是降质检测的良好测量：

上述其它质量测量，即如方程式1、3-5中规定的质量测量不能检测该人为失真。如果对象的速度不是过高，则应用方程式1不能检测到问题。平均匹配误差将为低，因为整个背景的运动被正确估计。由于飞机和背景的亮度值较类似，局部匹配误差也为低。因此，方程式3也不适合。运动矢量场也呈现很高的空间和很高的时间一致性。所以，方程式4和5将不触发降质处理。

虽然解释集中在其中小对象被摄像机跟踪的情况，但是在许多情况中，邻近块之间的运动矢量的差都是良好的测量。以下原因令此显得有道理。首先，块边界与实际对象边界不一致，这将产生人为失真，即使各块的运动矢量正确。通常，这些人为失真在邻近块的运动矢量之间的差越大时越明显。第二，当前运动估计单元在遮掩区中失败。在这些区域中发生典型的人为失真，称为晕轮(halo)。晕轮是目前运动估计单元的主要问题之一。如果遮掩区中的邻近速度相似，该晕轮就小，但是差越大，晕轮越大，晕轮越明显而恼人。第三，真运动矢量场时空都一致。实际上，几乎所有的运动估计单元将该一致性强加于运动矢量场。最后，如果运动估计单元在可编程装置上实施，大的邻近速度差意味着视频数据能够被有效存储的概率为低。这会导致性能问题，和由这些性能问题产生的人为失真，例如跳帧。

在如方程式5中规定的空间矛盾测量和如方程式6中规定的局部运动矢量对比之间存在重要的差异。在空间一致性确定了指示运动矢量场整体质量的测量的地方，局部运动矢量对比指示了在图像中会看到显著的人为失真的概率。因此，局部运动矢量对比是很严格的测量，应当特别在观察者对人为失真很挑别和不是必须使用运动矢量的应用中使用。空间矛盾测量应当在运动矢量不能被忽略和产生的人为失真可以以其它方式例如在视频压缩中来掩盖的地方使用。

在按照发明的图像处理单元的实施例中，其中内插单元配置为执行替代内插，替代内插包括非运动补偿内插。这可以通过将包括等于零的运动矢量的运动矢量场提供给内插单元来实现。替代地，向内插单元提供的运动矢量不与运动估计单元计算的运动矢量对应，但是由这些运动矢量产生，例如通过将运动矢量的长度除以因子。由此，按照发明的图像处理单元的实施例配置为从基本上正确运动补偿的内插逐渐减弱到完全没有运动补偿的内插。

在按照发明的图像处理单元的另一实施例中，替代内插包括输入图像像素值的复制。这是指多个输入图像被直接复制来形成多个输出图像。该实施例的优点是其简易性。

在按照发明的图像处理单元的另一实施例中，质量测量单元配置为根据第一运动矢量的水平分量和第二运动矢量的水平分量之间的最大差计算质量测量的值。在多数图像序列中，对象，例如演员或车辆都沿水平方向运动。集中于水平运动是有利的。由于同样的原因，优选地，对应第一运动矢量的第一组像素位于对应第二运动矢量的第二组像素的水平位置。

在按照发明的图像处理单元的另一实施例中，预定阈值是自适应阈值。优选地，自适应阈值基于为运动矢量计算的匹配误差。如果匹配误差较低，则自适应阈值的值应当较高，因为运动矢量正确的概率此时较高。按照发明的该实施例的优点是更稳健的降质判决策略。

发明的另一目的是提供一种在开始段落中描述的那种图像处理装置，改善了错误运动矢量场的检测。

实现发明的该目的在于质量测量单元配置为根据第一运动矢量和第二运动矢量之间的最大差计算质量测量的值。图像处理装置可以包括附加部件，例如用于显示输出图像的显示装置。图像处理单元支持一个或多个以下类型的图像处理：

-去隔行：隔行是交替发送奇数或偶数图像行的普通视频广播方法。去隔行用于恢复完整的垂直分辨率，即，使每个图像的奇数和偶数行同时可用；

-上变换：从一系列原始输入图像计算更大系列的输出图像。输出图像时间上位于两个原始输入图像之间；

-时间降噪。这也包括空间处理，产生时空降噪；和

-视频压缩，即编码或解码，例如按照MPEG标准。

发明的另一目的是提供一种在开始段落中描述的那种方法，改善了错误运动矢量场的检测。

实现发明的该目的在于根据第一运动矢量和第二运动矢量之间的最大差计算质量测量的值。

图像处理单元的改变和其变化可以对应所述的图像处理装置和方法的改变和变化。

附图说明

按照发明的图像处理单元、图像处理装置和方法的这些和其它方面将参考相应附图就下文所述实施和示例变得明显并且参考相应附图就下文所述实施和示例说明清楚，其中：

图1示意性示出了图像处理单元的实施例；

图2示意性示出了配置为在运动补偿和非运动补偿内插器之间切换的图像处理单元的实施例；

图3示意性示出了配置为混合来自运动补偿和非运动补偿内插器的中间图像的图像处理单元的实施例；和

图4示意性示出了按照发明的图像处理装置的实施例。

相同的参考号用于在所有附图中表示类似的部分。

具体实施方式

图1示意性示出了按照发明的图像处理单元100的实施例。此时，图像处理单元100对应于扫描率上变换器。向图像处理单元100提供了表示输入连接器110处的输入图像序列的信号，和表示输出连接器112处的输出图像序列的信号。输出图像数目高于输入图像数目。一些输出图像时间上位于两个原始输入图像之间。图像处理单元100包括：

-运动估计单元102，用于根据输入图像计算运动矢量场。运动矢量场包括运动矢量。运动估计单元102是例如G.de Haan等在1993年10月IEEE Transactions on circuits and systems for videotechnology，vol.3，no.5，368-379页的文章“True-Motion Estimationwith 3-D Recursive Search Block Matching”中规定的；

-质量测量单元104，用于计算运动矢量场的质量测量值。质量测量根据运动矢量场的邻近运动矢量之间的最大差来计算，如在方程式6中规定的。除了该计算，其它计算，例如在方程式1、3-5中规定的，被执行来估计运动矢量场的质量；

-内插单元106，用于利用输入图像像素值的内插计算输出图像的第一图像。内插单元被设计为支持各种内插，从基于由运动估计单元102提供的运动矢量场的运动补偿内插，到复制原始图像像素值以获得输出图像。结合图2和3来描述各种内插。

-控制单元108，根据计算的质量测量控制内插单元。

图像处理单元100的工作如下。对于每对连续输入图像，计算运动矢量场。每个运动矢量场的质量通过计算质量测量来确定。该质量测量利用控制单元108与预定阈值比较。如果运动矢量场的质量令人满意，则控制单元触发内插单元106根据运动矢量场计算运动补偿的输出图像。典型地，输出图像序列既包括输入图像的直接复制，也包括基于多个输入图像的内插图像。但是如果运动矢量场的质量整体上、特别是局部不令人满意，则内插的类型逐渐转换为非运动补偿内插。

显然，按照发明的质量测量能够与其它质量测量例如如方程式1、3-5规定的质量测量合并。

运动估计单元102、质量测量单元104、内插单元106和控制单元108可以使用一个处理器来实现。通常，在软件程序产品的控制下执行这些功能。在执行期间，软件程序产品通常被装载到存储器例如RAM中并从其执行。程序可以从后台存储器例如ROM、硬盘或磁和/或光存储器或者可以经网络例如互联网来装载。可选择特定用途集成电路来提供公开的功能。

图2示意性示出了配置为在运动补偿内插器202和非运动补偿内插器204之间切换的图像处理单元200的实施例。内插单元包括开关206，利用控制单元108来控制。如果控制单元108确定运动矢量场的质量良好，则在输出连接器112提供由运动补偿内插器202计算的图像。但是，如果控制单元108确定运动矢量场的质量不好，则在输出连接器112提供由非运动补偿内插器204计算的图像。因此，内插单元106是在运动补偿模式或非运动补偿模式中。

可选地，内插单元106支持附加模式。例如，开关206保持对应于传输来自运动补偿内插器202的图像的状态，尽管控制装置108已经确定运动矢量场的质量不足。但是，代替直接应用运动矢量场计算内插图像，如由运动估计单元104计算的，现在内插根据修改的运动矢量场。修改的类型可以是运动矢量和从1.0经0.75、0.5、0.25变化到0.0的加权因子的乘积。

图3示意性示出了配置为混合来自运动补偿内插器202和非运动补偿内插器204的中间图像的另一图像处理单元300的实施例。内插单元包括利用控制单元108控制的两个乘法器302和304，和加法器306，用于对由运动补偿内插器202和非运动补偿内插器204分别提供的两个加权中间图像序列求和。乘法器302和304配置为分别用第一乘法因子k和第二乘法因子1-k乘以两个中间图像序列。k的值和质量测量的值有关。如果运动矢量场的质量较高，则k的值等于1.0，如果运动矢量场的质量较低，则k的值等于0.0。

可选择为控制装置108提供运动矢量场的匹配误差。应用这些匹配误差来自适应如方程式6中规定的预定阈值。这是指此时的预定阈值是自适应阈值。如果匹配误差较低，则自适应阈值的值应较高，因为运动矢量正确的概率此时较高。

图4示意性示出了按照发明的图像处理装置400的实施例，包括：

-接收装置402，用于接收表示输入图像的信号。信号可以是经天线和有线接收到的广播信号，也可以是来自存储装置例如VCR(录像机)和数字通用盘(DVD)的信号。在输入连接器408提供信号；

-如结合图1、2或3之一描述的图像处理单元404；和

-显示装置406，用于显示图像处理单元404的输出图像。该显示装置406是可选的。

图像处理装置400可以例如是TV。可选择地，图像处理装置400不包括可选显示装置，而为包括显示装置406的设备提供输出图像。从而图像处理装置400可以例如是机顶盒、卫星调谐器、VCR播放器或DVD播放器。但是，它也可以是由电影厂或广播公司应用的系统。

应当说明，上述实施例说明而不是限制发明，本领域的技术人员能够不脱离所附权利要求的范围设计出替代的实施例。在权利要求中，任何位于括号之间的参考号不应解释为限制权利要求。单词“包括”不排除未在权利要求中列出的元件或步骤的存在。元件之前的单词“一个”不排除多个这种元件的存在。发明可以利用包括几个不同元件的硬件和利用适当编程的计算机来实现。在单元权利要求中列举了结构装置，这些装置的结构可以由同一个元件包含。

Claims (11)

1.一种图像处理单元(100，200，300)，用于根据输入图像序列计算输出图像序列，包括：

-运动估计单元(102)，用于根据输入图像计算运动矢量场，运动矢量场包括属于第一组像素的第一运动矢量和属于第二组像素的第二运动矢量，所述第二组像素与第一组像素相邻；

-质量测量单元(104)，用于计算运动矢量场的质量测量值；

-内插单元(106)，用于利用输入图像的像素值的内插计算输出图像的第一图像，内插基于运动矢量场；和

-控制装置(108)，根据质量测量的值与预定阈值之间的比较控制内插单元(106)，如果质量测量的值低于所述预定阈值，内插单元(106)执行像素值的运动补偿内插，如果质量测量的值高于预定阈值，则内插单元(106)执行像素值的替代内插，其特征在于质量测量单元(104)配置为根据第一运动矢量和第二运动矢量之间的最大差计算质量测量的值。

2.如权利要求1所述的图像处理单元(100，200，300)，其特征在于替代内插包括非运动补偿内插。

3.如权利要求1所述的图像处理单元(100，200，300)，其特征在于替代内插包括输入图像的像素值的复制。

4.如权利要求1所述的图像处理单元(100，200，300)，其特征在于质量测量单元(104)配置为根据第一运动矢量的水平分量和第二运动矢量的水平分量之间的最大差计算质量测量的值。

5.如权利要求1所述的图像处理单元(100，200，300)，其特征在于第一像素组位于第二像素组的水平位置。

6.如权利要求1所述的图像处理单元(100，200，300)，其特征在于预定阈值是自适应阈值。

7.如权利要求6所述的图像处理单元(100，200，300)，其特征在于自适应阈值基于为第一和第二运动矢量计算的匹配误差。

8.一种图像处理装置(400)，包括：

-接收装置(402)，用于接收对应于输入图像序列的信号；和

-如权利要求1所述的图像处理单元(100，200，300)，用于根据输入图像序列计算输出图像序列。

9.如权利要求8所述的图像处理装置(400)，其特征在于进一步包括用于显示输出图像的显示装置(406)。

10.如权利要求9所述的图像处理装置(400)，其特征在于它是TV。

11.一种根据输入图像序列计算输出图像序列的方法，包括：

-根据输入图像计算运动矢量场，运动矢量场包括属于第一组像素的第一运动矢量和属于第二组像素的第二运动矢量，所述第二组像素与第一组像素相邻；

-计算运动矢量场的质量测量值；

-利用输入图像的像素值的内插计算输出图像的第一图像，内插基于运动矢量场；和

-根据质量测量的值与预定阈值之间的比较控制所述内插执行这些像素值的运动补偿内插，如果质量测量的值低于所述预定阈值，执行像素值的运动补偿内插，如果质量测量的值高于预定阈值，则执行像素值的替代内插，特征在于根据第一运动矢量和第二运动矢量之间的最大差计算质量测量的值。

Images