CN1429454A - 运动矢量场饱和度检测方法 - Google Patents

Abstract

该方法的特征在于执行：对运动矢量的数量进行计数，该矢量至少有一个分量大于一个预定值但小于最大值，将该数量与至少一个预定值的阈值进行比较，其中，如果该数量大于预定的阈值，则该运动矢量场被证实是饱和的。应用涉及图像内插。

Description

运动矢量场饱和度检测方法

技术领域

本发明涉及对运动矢量场的饱和度进行检测的方法与设备。

背景技术

帧频转换，例如在标准转换期间，通常要求两个步骤：

·运动估算，以生成一个矢量场，能够可靠地实现形成场景的对象的时空展开，

·内插，可以利用该矢量场准确地把对象置入将要建立的中间帧。

通常用于帧频转换的运动补偿内插法并非总是适合于在视频序列中所遇到的所有情况的。运动估算器以及相关的内插器不支持幅值不加限制的运动矢量。硬件结构的制约乃至软件的制约要求固定最大的运行值。超过这些值，运行过程就会出现故障。

问题在于对能够赋予运动矢量场的可信度进行估算，以获得质量良好的内插图像。对于这一估算，只考虑矢量场，其水平与饱和阈值相称的运动矢量的数量，这是不够的。这不会使通过为数众多的配置来获得质量良好的内插图像成为可能，例如，当图像中小尺寸的物体作大运动的时候。

发明内容

本发明的目的就在于缓解上述的缺陷。

其主题是在时刻t对与图像相关的运动矢量场的饱和度进行检测的方法，包括以下步骤：

·对运动矢量的数量进行计算，该矢量至少有一个分量大于一个预定值但小于最大值；

·将该数量与至少一个预定的阈值进行比较，

而且其中，如果该数量大于预定的阈值，则运动矢量场被证实是饱和的。

根据特殊的特征，包括附加步骤，把图像分解为m个子图像，对每个子图像m进行计数以便生成数量Nb_Sat(m，t)，对每个子图像进行比较，如果对至少一个字图像该数量大于预定的阈值，则该场被证实是饱和的。

根据特殊的特征，如果至少一个子图像具有多个矢量大于第一阈值则该场被认为是饱和的，并且，如果该子图像集具有多个矢量Nb_Sat(m，t)小于第二预定阈值则该场被认为是非饱和的。

本发明还涉及内插图像序列的方法，根据运动矢量进行第一种类型的内插，而实现第二种类型的内插与运动矢量无关，如果当前图像的运动矢量场被证实是非饱和的，则执行第一种类型的内插，如果当前图像的运动矢量场被证实是饱和的，则执行第二类型的内插，如果运动矢量场未被证实是饱和的或是非饱和的，则执行前一图像的相同类型的内插。

本发明还涉及用于图像内插的一个设备，包括用于提供一个运动矢量场的运动估算电路，用于作为运动矢量场函数的临时内插的第一电路，以及用于非运动补偿的临时内插的第二电路，还包括运动场和检测电路，用于接收运动矢量场并执行该方法，对饱和状态进行检测并根据该电路检测到饱和场还是非饱和场分别将第一内插器或第二内插器的输出切换到该设备的输出。

该方法定义了一个能与此前估算的运动矢量场相关的可信度参数。该参数对于帧而言是整体性的，并能实现使用运动场的一个特定模式。例如在频率转换中，当对运动矢量场的这一可信度为零时，则取消动运动补偿内插。因此，该参数的值能够控制更为合适的内插形式。

附图说明

通过下面利用范例并参照图1进行的描述，本发明的性能与优点将更为明显。

图1示出了执行本发明方法的内插设备。

具体实施方式

对于图像序列的每一个图像，以一种已知的方式预先对一个运动矢量场进行估算。该场包括沿着横座标轴与纵座标轴的两个分量。这里，选择水平分量作为屏幕上最具代表性的运动。人眼对水平方向上的运动更为敏感，而屏幕的水平尺寸通常更大，尤其是使用16/9显示器的时候。无论如何，完全可以根据一个与水平分量相关，另一个与垂直分量相关的两个检测器，并对它们的量值进行合成来进行讨论，例如，如果这两个饱和检测器中至少有一个被触发，则禁止运动补偿内插的实施。

运动矢量场是根据运动估算的算法进行估算的，而运动估算的范围一般说来取决于为显示而设的计算能力，所允许的计算时间，所要求的精度等。换句话说，通常要求远小于图像尺寸的运动矢量的最大幅值被采用。这涉及饱和阈值，以及对于每个分量而言，能被运动矢量的分量所采用的最大值。因此，运动估算及其紧随其后的实施被用于在操作上支持被处理的运动矢量的这些最大值。

本发明的方法基于对超过一个检测阈值却低于饱和阈值的矢量进行的计数，而饱和阈值是与这一最大的操作幅值对应的。如果通过计数得到的矢量数超过一个特定阈值，则该矢量场被证实是饱和的。

为证实运动矢量场是饱和的，通过选择与运动矢量允许的最大值有关的界限，就可能提高检测器的可靠性并因此而提高检测的可信度。对于利用根据源自于象素的空间或时间环境的值进行初始化的算法的运动估算器，例如递进型运动估算器而言，这一点尤为适合。

这可以包括其检索窗口能够递归定义的块匹配运动估算器，还可包括递归的PEL型运动估算器。

如果这一环境对应着一个饱和的并且因而是虚假的矢量，则该算法根据该虚值执行其迭代，以生成一个与该饱和矢量相临的矢量的概率就很高。该矢量也是虚矢量，尽管其并不是饱和的。

实际上这是消除关于系统所允许的最大值的振荡的问题，而这种振荡是由于该算法通常要为这些初始值设定计算范围而致。

在一个示范性的实施例中，该系统在操作上对矢量的水平分量的范围在-32至+31之间的幅值提供支持。如果因此而用5个二进制位编码的话，我们关心的是水平分量的整数部分。

例如，把饱和检测阈值定为-28与+28，也就是说，显然低于这些最大值。接近于-32与+31的值被认为是不可靠的值，因其接近饱和，并且检测系统是对位于这些值域中的，即位于-28至-32与+28至+31这两个值域中的矢量的数量进行计数为基础的。

根据本发明的另一特征，图像的运动矢量场被分解为等规格的矢量的子图像。该图像被分解为子图像，并且该图像就是与每个将被加以研究的子图像相关的矢量场，这些矢量场被称为矢量子图像。

在一个范例性的实施例中，采用了8个子图像，在纵轴上分为2个，而在横轴上分为4个。

对于矢量的每个子图像，编制了一个直方图：HISTO[m，n，t]，其中m是子图像，n是运动矢量的水平分量的幅值，而t是当前帧的时刻。因此，HISTO[m，n，t]表示T(t)的帧或图像的子图像m中的采样或象素的数量，其水平分量的值为n。

子图像的数量称为M，而系统所支持的最大运行幅值称为N。

为编制这些直方图，每个子图像m均逐一地单独遍励。为矢量选定的精度，确定直方图单元的数量，这些都直接与检测的精度相关。通过实验，选用了一个象素幅离的精度，与屏幕宽度为Wx，每条扫描线由720个象素组成的距离Wx/720相对应。

对于每个子图像直方图，均对其幅值超过与饱和阈值不同的一个所谓检测阈值的矢量进行计数。该检测阈值称为S_Sat，对于每个直方图而言均是相同的。

对于每个子图像m，均以下列方法对幅值超越量进行计算： $\mathrm{Nb}\_\mathrm{Sat}(m,t)=\underset{n=-N}{\overset{n=-S\_\mathrm{Sat}}{\mathrm{\Σ}}}\mathrm{Histo}(m,n,t)+\underset{n=+S\_\mathrm{Sat}}{\overset{n=+(N-1)}{\mathrm{\Σ}}}\mathrm{Histo}(m,n,t)$

根据对超越量Nb_Sat(m，t)的计数M进行试验，以便给出一个全局性的饱和变量Sat_Glob(t)，利用该变量就能够把附属于帧或图像T(t)的运动矢量场定义为饱和场或非饱和场。

实际上变量Sat_Glob(t)是一个可信度参数，可根据所允许的幅值的超越量出运动场的关联。如果矢量场中幅值大于一个确定阈值的矢量的密度过大，则系统转入饱和模式，以保证下游应用的特定的行为。

实际上这是一个完整图像的已被证实饱和或未被证实饱和的矢量场，因为根据子图像来选择一种类型的处理方式会导致人眼可见的疵漏。选择具体到与一个子图像对应的图像区的一个内插对于人眼而言太容易看出来了。

该变量Sat_Glob(t)是根据两个阈值求出的，这就能够给出一个临时性的滞后。较高的阈值Sat_Compt_H用于转入饱和模式(Sat_Glob(t)＝1)，而低阈值Sat_Compt_B用于进入非饱和状态(Sat_Glob(t)＝0)。

转移条件如下：

如果对于至少一个子图像m而言

Nb_Sat(m，t)≥Sat_Compt_H，

则Sat_Glob(t)＝1

证实该运动矢量场饱和。

如果Nb_Sat(m，t)≥Sat_Compt_B与m，也就是说与所有的子图像无关，

则Sat_Glob(t)＝0

证实该运动矢量场非饱和。

如果对这两个条件均不满足，

则Sat_Glob(t)＝Sat_Glob(t-1)，

运动矢量场维持其前面的一种状态，即为前一帧或图像T(t-1)的运动矢量场指定的状态。

对于本方法所源自的帧频转换方面的应用以及对于等于32的最大运行幅值N，采用的是以下阈值：

S_Sat＝28

Sat_Compt_H＝该子图像中的象素数量的1/3。

Sat_Compt_B＝该子图像中的象素数量的1/5，

为可靠起见，变量Sat_Glob(t)在系统启动时被初始化，预置为0。

对于帧率转换方面的应用，作为范例给出的规范与阈值已得以优化。而对于其他应用以及根据该参数所必须发挥的作用，将采用新的阈值。

通过对完整图像的每个矢量子图像而不是其整体的矢量场分别独立地进行考虑，就能够改善局部异常的敏感度。实际上人眼对缺陷是敏感的，甚至是一个点状的缺陷，比如说与图像的一个小区域对应的，在图像中迅速移动的物体上的一个小点这般大小的缺陷。对图像进行总体分析不可能对这些局部的幅值超量作出轻易的检测。这样，通过分解为子图像，就能够对孤立的超量现象进行考虑。但是，这些子图像的尺寸必须保持足够的大小，以便所进行的计数能够持久。

矢量场饱和度的检测能够使系统免受由于系统所允许的幅值超量所造成的影响。所形成的变量还是一个与该矢量场相关的参数，能够被下游所设置的运动补偿应用所采用。

所建立的滞后本身自然地成为饱和信息的临时过滤器，使临时转换得以延续。避免过于频繁的转换能够抑制图像序列中连续性的故障。

在帧频转换的应用中，不适时的或者是短期的转换当然是不希望的，因为相对于持续的转换而言，它们是非常易被察觉的。

本方法虽然是在帧频内插的范围内制定的，但是也能够支持用于其他类型的处理的其他的可信度规范。对于每个系统，作为其性能的函数，并且作为受到保护的处理过程的函数，可以对检测阈值进行修改。

在不背离本发明的范围的情况下，也可以应用不同规格的子图像，子图像的每个阈值则是取决于图像中的象素的数量与整个图像中的象素的数量的比率的一个经过修正的系数。

还能够通过为某些子图像选择一个不同的检测阈值的方式，或者通过选择与计数得到的，对于某些子图像而言是不同的，矢量的数量Nb_Sat(m，t)相关的阈值的方式，对作为子图像的地理性位置的一个函数的检测敏感度进行调整。这样，就能使检测得以改进，例如，对于处于屏幕中心位置的子图像，观众对有关这些子图像的缺陷是更为敏感的。实际上，一个阈值可以根据人们愿意分配给子图像的敏感度而被赋予每一个子图像。

本发明还涉及到用于实现上述方法的一个内插设备。

图1给出了这一设备。该设备输入端处的图像被送至提供运动矢量的运动估算器1。运动估算器输出端处的图像被并行送至第一电路2，以便根据运动信息进行内插，例如送至进行运动补偿内插的第一电路和不考虑运动矢量信息的第二电路3，例如送至进行非运动补偿的临时内插的电路。运动估算器输出端处的运动矢量场被并行送至内插电路2，以便其进行运动补偿内插，并被送至应用上述方法的矢量场饱和度检测电路4。由该饱和度检测电路生成的饱和信息对该设备的输出进行控制：

·如果该信息表明该运动矢量场是一个饱和场，则该电路把该设备的输出转移至第二内插电路3的输出端。

·如果该信息表明该运动矢量场是一个非饱和场，则该电路把该设备的输出转移至第一内插电路2的输出端。

·如果该检测电路所生成的信息未给出有关该运动矢量场的特性的标识，也就是说，如果变量Sat_Golb(t)处于滞后阶段，则该设备的输出保持与和前一幅图像相关的同一内插电路的连接。

这样，根据有关该运动矢量场的饱和度信息，内插操作可以是运动补偿内插或者是非运动补偿的临时性内插。

Claims (8)

1.一种用于在时刻t与图像相关的运动矢量场的饱和度进行检测的方法，其特征在于，它包括步骤：

·对运动矢量的数量进行计数，该矢量至少有一个分量大于预定值但小于最大值；

·将该数量与至少一个预定的阈值进行比较；

其中，如果该数量大于预定的阈值，则该运动矢量场被证实是饱和的。

2.根据权利要求1所述的方法，其特征在于，包括附加步骤，把图像分解为m个子图像，对每个子图像m进行计数以便生成数量Nb_Sat(m，t)，对每个子图像进行比较，并且对于至少一个子图像而言如果该数量大于预定的阈值，则该场被证实是饱和的。

3.根据权利要求2所述的方法，其特征在于，对于要求检测敏感度更好的子图像，该预定值较小。

4.根据权利要求2所述的方法，其特征在于，对于要求检测敏感度更好的子图像，该预定的阈值较小。

5.根据权利要求2所述的方法，其特征在于，如果至少有一个子图像具有大于第一阈值的多个矢量，则证实该场是饱和的，如果子图像集具有小于第二预定阈值的多个矢量Nb_Sat(m，t)，则证实该场是非饱和的。

6.根据权利要求5所述的方法，其特征在于，第一阈值比第二阈值大出一个确定的值，以便形成一个滞后。

7.一种用于内插图像序列的方法，根据运动矢量的状态执行第一种类型的内插(2)，并且，不考虑运动矢量执行第二类型的内插(3)，其特征在于，如果根据权利要求6所述的方法，当前图像的运动矢量场被证实是非饱和的(4)，则执行第一种类型的内插，如果根据权利要求6所述的方法，当前图像的运动矢量场被证实是饱和的(4)，则执行第二种类型的内插，如果运动矢量场未被证实是饱和的或是非饱和的，则执行前一图像的相同类型的内插。

8.一种用于图像内插的设备，包括用于提供运动矢量场的运动估算电路(1)，用于作为运动矢量函数的临时内插(2)的第一电路，以及用于非运动补偿的临时内插(3)的第二电路，其特征在于，它还包括运动场饱和检测电路(4)，用于接收运动矢量场并执行权利要求3所述的方法，而且还根据该电路检测到非饱和场还是饱和场而分别将第一内插器(2)或第二内插器(3)的输出切换到该设备的输出。