CN1921602A - 移动补偿为基础的影像信号帧频转换方法 - Google Patents

Abstract

本发明是关于移动补偿为基础的影像信号帧频转换方法，就是在影像信号处理当中，将任意的影像信号与其影像信号相比转换为相对帧频更高的图像信号。以插补的画面为标准推定移动矢量的方法为从空间上插补的(interpolation)像素移动的矢量，不仅要考虑到周围字块移动的矢量，还要同时考虑亮度数值，可以防止在插补的画面中出现没有分配亮度数值的像素的情况。在多种影像信号间转换帧频中，将任意影像信号转换为比其影像信号相对垂直频率要高的影像信号时，为从相邻二个字段或帧开始形成新的字段或帧，而需要推定移动的矢量。

Description

移动补偿为基础的影像信号帧频转换方法

技术领域

本发明是关于图像信号处理的技术，尤其是关于移动补偿为基础的影像信号帧频转换方法，这种帧频转换可以将任意的影像转换为比其影像信号相对帧频更高的影像信号。

背景技术

一般来说，为提高帧频(frame rate)应从时间上相邻近的二个画面(帧)中形成新的画面，为此最简单的方法是单纯的反复以前的画面。

但如果使用这种方法的话，在移动大的区域中可以看到移动的不连续性，由此，现在正在研究使用移动信息从时间上插补的画面的方法。

在影像顺序中移动的信息可以在图像的压缩(compression)、分析(ahalysis)、分割(segmentation)、及增加(enhancement)等多种应用领域中使用。移动信息通过移动推定(motion estimation)过程来实现。到目前为止，广泛使用的方法包括：字段匹配移动推定(block matching motion estimation)方法和影像时空间倾斜(spatial-temporal gradient)为基础的光流动(opticalflow)推定方法。

下面参照附图对传统技术移动矢量推定及插补的方法加以说明。

图1是传统技术移动矢量推定方法的构成示意图。图2是传统技术中像素单位的移动矢量空间插补的方法的构成示意图。

为提高帧频，应以像素为单位推定时间上相邻的二个帧之间的移动矢量。图1显示的移动矢量推定方法是以字段(block)为单位的移动矢量推定方法。

图2是像素为单位的移动矢量推定的空间插补的技法的示意图。

首先，图1是以之前的画面为标准，在现在的画面中以字段为单位推定移动矢量的，为插补的之前的画面和现在的画面之间的画面，首先推定现在的画面各像素中的移动矢量。

同时这一移动矢量的轨迹和要插补的画面相遇的像素中的亮度数值取决于移动矢量连接的现在的画面的像素和之前的画面的像素。

在图1中，用实线表示的箭头表示的是实际推定的移动矢量(motion vector)，而用虚线表示的箭头则是表示空间上插补的的移动矢量。

但是，如果使用这种方法的话，在插补的的画面中不具有移动的矢量，即可以出现没有分配亮度数值的像素(missing pixels)。

另一方面，在现在的画面的各像素中为推定移动矢量，计算以上所有移动矢量即可，但这种接近方式需要大计算量，所以实时实现就比较困难。

由此，有以字节为单位推定移动矢量，其以外的像素参照周边字段移动矢量来进行计算的方法。

图2是在没有分配移动矢量的现有的画面的像素中，利用周边临近的四个字段移动矢量，进行空间上的插补的(插值)。属于斜线部分的像素应使用周边4个的字段移动像素(MV1)(MV2)(MV3)(MV4)，进行空间上的插补的。

在空间上移动矢量的插值中，向任意字节所属的所有像素分配字节移动矢量的方法最为容易。

举例来说，一种方法为：P1中的移动矢量通过MV1数值来分配，在P4中是分配MV4的方式。接下来，在任意的位置中插补的移动矢量时，使用周边4个字节移动矢量来进行插补的(插值)。

这种方法为计算P1中的移动矢量，而利用周边的4个字节移动矢量(MV1)(MV2)(MV3)(MV4)，利用P1和各字节中心之间的距离来进行双线型(bi-linear)插补的。但是这种插补的技法只是利用移动矢量，而没有使用周边亮度信息，所以在有移动边界的地区附近可能会出现插补的移动矢量模糊的情况，由此在时间上插补的的画面亮度数值也会出现模糊的情况。

发明内容

本发明为解决上面传统技术所存在的影像信号处理方法上的问题，其目的是提供一种以移动补偿为基础的影像信号帧频变换方法，它是将影像信号处理时任意影像信号转换为比其影像信号相对帧频更高的影像信号。

为了实现上述目的，依据要发明的移动补偿为基础的影像信号帧频转换方法，为推定影像信号帧频转换的移动矢量，而分为如下几个步骤。第一步骤：选择具有插补的画面代表像素的侯选移动矢量(CMV)；第二步骤：以二层次影像信号的一轴为基准，以侯选移动矢量与现在画面和以前画面相遇时的像素为中心形成各自的字段；第三步骤：计算与字段相应的像素亮度数值差异；第四步骤：计算差值最小的侯选移动矢量分配至插补的画面的字段移动矢量值。

在这里，在计算像素亮度数值差的步骤中，当侯选移动矢量(CMV)成份为偶数时，以相应字段代表像素为标准，在以往画面和现在画面中寻找互相对称的侯选移动矢量，构成相应字段的像素差值的绝对值全部相加来求得。

比较理想的是，在像素亮度数值差计算的步骤中，当侯选移动矢量成份为奇数时，移动不经过代表像素的侯选移动矢量的路径，使其经过代表像素，利用临近各像素之间数值的像素，进行线型插值，形成字段，求得现在画面和以前画面的字段亮度数值差。

同时，为实现影像信号帧频转换的像素单位移动矢量在空间上插补的，包括如下几个步骤。第一步骤：计算包括临近现在像素的字段代表像素的像素中的亮度分散数值；第二步骤：当计算的亮度分散数值在标准数值以上的情况时，字段移动矢量间的大小和方向中，计算相关性；第三步骤：依据字段移动矢量间的相关性计算数值，如判断相应区域中有移动界限的话，根据大小和方向对字段移动矢量进行分类；第四步骤：决定分类的移动矢量的移动界线，插补的相应不同区域的移动矢量。

在这里，如果计算的亮度分散数值为标准数值以下的话，判断相应区域的亮度数值均一，利用相应字段移动矢量进行双线型插补的。如果字段矢量间的相关性计算数值为标准数值以上的话，判断相应区域中有移动界限，利用相应字段移动矢量来进行双线型的插补的。

本发明的效果：

本发明的移动补偿基础的影像信号帧频转换方法，就是以插补的画面为标准推定移动矢量，为从空间上插补的(interpolation)像素移动的矢量，不仅要考虑到周围字块移动的矢量，还要同时考虑亮度数值，这样可以防止在插补的补正的画面中出现没有分配亮度数值的像素的情况。

与此相同的本发明，在多种影像信号间转换帧频中，将任意影像信号转换为比其影像信号相对垂直频率要高的影像信号时，为从相邻二个字段或帧开始形成新的字段或帧，而需要推定移动的矢量。

为进一步说明本发明的上述目的、结构特点和效果，以下将结合附图对本发明进行详细的描述。

附图说明

图1是现有技术的移动矢量推定方法的示意图；

图2是在传统技术中像素为单位的移动矢量的空间补偿方法示意图；

图3是依据本发明以插补的画面为中心推定移动矢量的方法构成图；

图4a是移动矢量的大小为偶数的情况下移动矢量的推定方法构成图；

图4b是当移动矢量大小为奇数的情况时，移动矢量推定方法的构成图；

图5是依据本发明空间上插补的移动矢量方法的流程图；

图6a和图6b是空间上插补的移动矢量方法的构成图。

具体实施方式

依据本发明的用于转换帧频的移动矢量推定和插补的方法的实施例，参照附图加以详细地说明。

图3是以依据本发明的插补的画面为中心来推定移动矢量的方法构成图。

本发明是关于为变换帧频而推定移动矢量和插补的的，它是将影像信号处理时任意影像信号转换为比其影像信号相对帧频更高的影像信号。

为此，在本发明中提供了以下二种方法。第一种方法是：在时间上插补的的画面中为防止出现没有分配亮度值的像素，而以插补的的画面为标准推定移动矢量；第二种方法是：为在空间上插补的像素移动矢量，不仅考虑周边字段移动矢量，同时也要考虑亮度的数值。

即，在插补的的画面中为防止出现没有分配亮度值的像度，而以插补的的画面为标准推定移动矢量。这一步骤中的移动矢量是以字段为单位的移动矢量。

为从空间上插补的像素为单位的移动矢量，不仅使用临近字段的移动矢量，同时也使用到周边像素亮度的数值。

首先，对于依据本发明的字段移动矢量的推定说明如下。

图3是以插补的画面为中心推定移动矢量方法的示意图，为增加说明的清晰度而只显示了二层次影像信号的一个轴，假定一个字段所包含的像素个数为三个，那么就表示P1、P2、P3是各字段的代表像素。

首先，选择插补的的画面代表像素的侯选移动矢量，侯选移动矢量以现在的画面和之前的画面相遇的像素为中心分别形成字段后，计算这一字段相应像素的亮度数值差。

接下来，这一数值最小的侯选移动矢量分配至插补的画面字段的移动矢量数值。

在这里，用实线标注的箭头部分表示的是实际推定的移动矢量，而用虚线标注的箭头部分表示的是空间上的插补的移动矢量。

同时，当侯选移动矢量的成分可以分为奇数的情况和偶数的情况。

图4a是移动矢量的大小为偶数情况时的移动矢量推定方法构成示意图。图4B是移动矢量的大小为奇数情况下的移动矢量推定方法的构成示意图。

与图4a中所示相同，代表像素P2中的侯选移动矢量的成份如果假定为偶数的话，以代表像素为标准，查找之前画面和现在画面相对称的侯选移动矢量，形成侯选移动矢量的之前画面和现在画面字段亮度数值的差计算如下：

【数学式1】

Error(CMV_even)＝(c2-r1+c1-r2+c3-r0)

即，之前画面和现在画面的字段亮度的差值(Error(CMV_even))是从现在画面像素数值(c2)中减去之前画面的像素数值(r1)，从现在画面的像素数值(c1)中减去之前画面的像素数值(r2)，从现在画面的像素数值(c3)中减去之前画面的像素数值(r0)的绝对值全部相加而求得。

侯选移动矢量成份为奇数时与图4b表示的相同。

经过代表像素的侯选移动矢量的成份如果是奇数的话与图4b所示相同，侯选移动矢量(CMV)的路径实际上不经过代表像素P3。

由此，在这种情况下，为使侯选移动矢量经过字段代表像素P3，而向下移动约半个像素，之后利用临近像素之间数值的像素，进行线型插补的，接着形成字段，计算现在画面和之前画面字段的亮度数值差值。

举例来说，当侯选移动矢量为CMV_ODD情况时，利用现在画面的像素值c0和c1、c1和c2、c2和c3，分别形成c01、c12、c23。将这一数值作为现在画面的字段。

与此相同，在之前的画面中，利用像素数值r0和r1、r1和r2、r2和r3，分别形成r01、r12、r23，将这一数值作为之前画面的字段，同时，与CMV_ODD相对应的字段亮度数值差计算方法如下。

【数学式2】

Error(CMV_odd)＝(c01-r01+c12-r12+c23-r23)

通过这种方式，对于所有侯选运动矢量(CMV)，计算相应现在画面和之前画面的字段间亮度数值的差，之后，将这一数值最小的侯选移动矢量分配至这一代表像素的移动矢量。

同时，对从以字段为单位推定的移动矢量中，在空间上插补的以像素为单位的移动矢量的方法加以说明。

图5是依据本发明在空间上插补的移动矢量的方法流程图。

首先，在没有移动界限的部分中，因为字段代表像素的移动矢量之间的相关性高，所以相邻字段移动矢量通过双线型的方式加以插补的，进而计算出像素移动矢量。

但是，在移动界限中的像素情况时，因为推定单纯相邻字段的代表像素的移动矢量互不相同，所以如果只使用他们来进行双线型插补的的话，可能会发生插补的的移动矢量出现模糊的像素。

这种现象在时间插补的的画面中也可能发生亮度数值模糊的现象。

由此，首先判断现有的像素是否在移动界限中，根据其结果，应选择不同的像素移动矢量的插补的方式。

具体来说，与图5所示相同，为判断现在的像素是否在移动界限之中，在本发明中使用像素相邻的4个字段的代表像素中的移动矢量大小及方向，以及包括代表像素的像素中的亮度数值的分散。

S501，为在空间上插补的构成形成移动矢量推定的单位字段的X1-X4之间的像素(图2斜线部分的像素)中的移动矢量，计算这一区域中的亮度数值的分散。

S503，在这里，计算的分散数值与标准数值相比如果小的话，这一区域的亮度数值就比较均一，由此，因为不是所属移动界限的区域，所以这一区域所属的像素运动矢量利用MV1-MV4进行双线型的插补的。

S502，如果，分散数值与标准数值相比大的话，那这一区域是可以包括在移动界限之内的区域，所以为决定是否包括于移动界限，调查MV1-MV4之间的相关性。

在这里，4个移动矢量在大小和方向中如果具有任一程度一定的相关性的话，就可判断在这一区域中没有移动界限，流程进入S503，进行MV1-MV4双线型插补的，插补的所属区域的像素的移动矢量。

S504、S505，如果，这4个字段移动矢量之间的相关性较低的话，相应区域中判断有移动界限，根据大小和方向，对字段移动矢量进行分类

S506、S507，利用此，在空间上将移动矢量插补的的像素划分为几个区域，决定移动界限，根据各个区域，进行独立的移动矢量插补的。

在这里，移动矢量的分类可以分为每二个互相相关和第三个互相相关的情况。

图6a和图6b是字段移动矢量每二个互相相同情况的示意图。区域1中的移动矢量(MV1)(MV2)相似，区域2中的移动矢量(MV3)(MV4)相似。

这种情况可以知道在移动矢量插补的的像素之间亮度数值的界限即移动界限为水平。由此，查找水平边沿成份(图6a中水平边沿在中间出现的情况)后，以此为标准划分为属于区域1和区域2的像素。

属于区域1的像素使用移动矢量(MV1)和(MV2)来进行插值，属于区域2的像素使用移动矢量(MV3)和(MV4来进行插值，

同时与图6a所示相同，字段移动矢量每三个互相存在相关性的情况下空间上的插值方法与下相同。

图6a表示的是移动矢量(MV1)(MV2)(MV3)互相存在相关性的情况，移动矢量插补的的像素中可以得知亮度数值的界限按45度方向存在。

同此，查找45度方向的边沿成份后，以此为标准划分为属于区域1和区域2的像素，在这里属于区域1的像素利用移动矢量(MV1)(MV2)(MV3)进行插值，属于区域2的像素使用MV4。

依据本发明的移动补偿为基础的帧频转换方法，就是在影像信号处理当中，将任意的影像信号与其影像信号相比转换为相对帧频更高的图像信号。以插补的画面为标准推定移动矢量，可以防止在插补的画面中出现没有分配亮度数值的像素的情况。为在空间上插补的像素移动矢量，不仅考虑周围字段移动矢量，同时还考虑到亮度数值。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明权利要求书的范围内。

Claims (6)

1、一种移动补偿为基础的影像信号帧频转换方法，其特征在于为推定影像信号帧频转换的移动矢量，而分为如下四个步骤：

第一步骤：选择具有插补的画面代表像素的侯选移动矢量；

第二步骤：以二层次影像信号的一轴为基准，以侯选移动矢量与现在画面和之前画面相遇时的像素为中心形成各自的字段；

第三步骤：计算与字段相应的像素亮度数值差异；

第四步骤：计算差值最小的侯选移动矢量分配至插补的画面的字段移动矢量值。

2、如权利要求1所述移动补偿为基础的影像信号帧频转换方法，其特征在于：

在所述计算与字段相应的像素亮度数值差的步骤中，当侯选移动矢量成份为偶数时，以相应字段代表像素为标准，在之前画面和现在画面中寻找互相对称的侯选移动矢量，构成相应字段的像素差值的绝对值全部相加来求得。

3、如权利要求1所述移动补偿为基础的影像信号帧频转换方法，其特征在于：

在所述计算与字段相应的像素亮度数值差的步骤中，当侯选移动矢量成份为奇数时，移动不经过代表像素的侯选移动矢量的路径，为使侯选移动矢量经过字段代表像素，利用临近各像素之间数值的像素，进行线型插值，形成字段，求得现在画面和之前画面的字段亮度数值差。

4、一种移动补偿为基础的影像信号帧频转换方法，其特征在于为实现影像信号帧频转换的像素单位移动矢量在空间上插补的，包括如下几个步骤：

第一步骤：计算包括临近现在像素的字段代表像素的像素中的亮度分散数值；

第二步骤：当计算的亮度分散数值在标准数值以上的情况时，字段移动矢量间的大小和方向中，计算相关性；

第三步骤：依据字段移动矢量间的相关性计算数值，如判断相应区域中有移动界限的话，根据大小和方向对字段移动矢量进行分类；

第四步骤：决定分类的移动矢量的移动界线，插补的相应不同区域的移动矢量。

5、如权利要求4所述移动补偿为基础的影像信号帧频转换方法，其特征在于：

在所述的第一步骤中，如果计算的亮度分散数值为标准数值以下的话，判断相应区域的亮度数值均一，利用相应字段移动矢量进行双线型插补的。

6如权利要求项4所述移动补偿为基础的影像信号帧频转换方法，其特征在于：

在所述第二步骤中，如果字段矢量间的相关性计算数值为标准数值以上的话，判断相应区域中有移动界限，利用相应字段移动矢量来进行双线型的插补的。

Images