CN102223552B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备和图像处理方法。该图像处理设备包括：从第一视频图像和第二视频图像检测运动矢量的单元；检测第一视频图像的帧和第二视频图像的帧之间的视差矢量的单元；当在一个视频图像的帧中存在未检测到运动矢量的非检测位置时、通过使用视差矢量检测另一视频图像的帧中所包括的与该非检测位置相对应的相应位置并对所述非检测位置设置另一视频图像的帧在该相应位置处的运动矢量来进行校正的单元；以及使用校正后的运动矢量生成第一视频图像和第二视频图像的各自的插值帧的单元。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种通过显示右眼用的视频图像和左眼用的视频图像来获得立体视频的图像处理设备和图像处理方法。

背景技术

随着立体视频的日益普及，对与立体视频兼容的视频产品的需求日趋增长。就此而言，涉及增加帧的数量的帧频转换(以下称为FRC)是用于提高运动图像的平滑度和抑制闪烁的有效技术。因此，FRC在立体视频中同样变得必要。在FRC中，通过在帧之间生成插值帧来增加帧的数量。矢量插值是广泛使用的用于生成插值帧的方法。在矢量插值中，获得要进行插值的两个帧之间的运动矢量，并且将这两个帧中的像素位置移位运动矢量量的1/2，从而生成插值帧(日本特开平3-263989号公报)。例如，在日本特开2009-3507号公报中公开一种用于在诸如立体视频等的多视点视频图像中生成插值帧的方法。

发明内容

然而，在立体视频的FRC中，存在这样的情况：针对特定被摄体，在一只眼用的帧中检测到了运动矢量，但是在另一只眼用的帧中没有检测到运动矢量。因此，在通过仅在一只眼用的帧中的矢量插值所生成的插值帧中，不能显示正确的立体图像，因此立体感丧失，这是个问题。日本特开2009-3507号公报所述的技术没有解决这一问题。

本发明提供一种技术，该技术用于在立体视频的帧频转换中，即使当在一只眼用的帧中没有检测到运动矢量时，也使得生成不会丧失立体感的插值帧。

本发明的第一方面，是一种图像处理设备，其在构成立体视频的第一视频图像和第二视频图像各自的帧之间生成插值帧，所述图像处理设备包括：

运动矢量检测单元，其使用构成所述第一视频图像的、在时间上连续的两个帧和构成所述第二视频图像的、在时间上连续的两个帧，检测各视频图像的帧之间的运动矢量；

视差矢量检测单元，其使用构成所述第一视频图像的帧和构成所述第二视频图像的帧，检测表示这两个帧之间的视差的视差矢量；

校正单元，当在所述第一视频图像和所述第二视频图像中的一个视频图像的帧中存在未检测到运动矢量的非检测位置时，该校正单元通过使用所述视差矢量检测另一视频图像的帧中所包括的与所述非检测位置相对应的相应位置、并且对所述非检测位置设置所述另一视频图像的帧在所述相应位置处的运动矢量，来进行校正；以及

插值帧生成单元，其使用校正后的运动矢量，生成所述第一视频图像和所述第二视频图像各自的插值帧。

本发明的第二方面是一种图像处理设备，其在构成立体视频的第一视频图像和第二视频图像各自的帧之间生成插值帧，所述图像处理设备包括：

运动矢量检测单元，其使用构成所述第一视频图像的、在时间上连续的两个帧和构成所述第二视频图像的、在时间上连续的两个帧，检测各视频图像的帧之间的运动矢量；

视差矢量检测单元，其使用构成所述第一视频图像的帧和构成所述第二视频图像的帧，检测表示这两个帧之间的视差的视差矢量；

校正单元，当在所述第一视频图像和所述第二视频图像中的一个视频图像的帧中存在未检测到运动矢量的非检测位置时，该校正单元通过对所述非检测位置设置0大小的运动矢量、使用所述视差矢量检测另一视频图像的帧中所包括的与所述非检测位置相对应的相应位置、并且将在所述相应位置处所检测到的运动矢量替换为0大小的运动矢量，来进行校正；以及

插值帧生成单元，其使用校正后的运动矢量，生成所述第一视频图像和所述第二视频图像各自的插值帧。

本发明的第三方面是一种图像处理方法，其是由在构成立体视频的第一视频图像和第二视频图像各自的帧之间生成插值帧的图像处理设备所执行的方法，所述图像处理方法包括以下步骤：

使用构成所述第一视频图像的、在时间上连续的两个帧和构成所述第二视频图像的、在时间上连续的两个帧，检测各视频图像的帧之间的运动矢量；

使用构成所述第一视频图像的帧和构成所述第二视频图像的帧，检测表示这两个帧之间的视差的视差矢量；

当在所述第一视频图像和所述第二视频图像中的一个视频图像的帧中存在未检测到运动矢量的非检测位置时，通过使用所述视差矢量检测另一视频图像的帧中所包括的与所述非检测位置相对应的相应位置、并且对所述非检测位置设置所述另一视频图像的帧在所述相应位置处的运动矢量，来进行校正；以及

使用校正后的运动矢量，生成所述第一视频图像和所述第二视频图像各自的插值帧。

本发明的第四方面是一种图像处理方法，其是由在构成立体视频的第一视频图像和第二视频图像各自的帧之间生成插值帧的图像处理设备所执行的方法，所述图像处理方法包括以下步骤：

使用构成所述第一视频图像的、在时间上连续的两个帧和构成所述第二视频图像的、在时间上连续的两个帧，检测各视频图像的帧之间的运动矢量；

使用构成所述第一视频图像的帧和构成所述第二视频图像的帧，检测表示这两个帧之间的视差的视差矢量；

当在所述第一视频图像和所述第二视频图像中的一个视频图像的帧中存在未检测到运动矢量的非检测位置时，通过对所述非检测位置设置0大小的运动矢量、使用所述视差矢量检测另一视频图像的帧中所包括的与所述非检测位置相对应的相应位置、并且将在所述相应位置处所检测到的运动矢量替换为0大小的运动矢量，来进行校正；以及

使用校正后的运动矢量，生成所述第一视频图像和所述第二视频图像各自的插值帧。

本发明使得在立体视频的帧频转换中，即使当在一只眼用的帧中没有检测到运动矢量时，也生成不丧失立体感的插值帧。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明的图像处理设备的功能结构的例子的框图；

图2是示出输入视频图像信号的例子的图；

图3是示出输出视频图像信号的例子的图；

图4是示出根据实施例1的插值帧生成单元的功能结构的例子的框图；

图5是示出块分割的例子的图；

图6是示出搜索范围的例子的图；

图7A～7F是示出传统插值帧生成方法的例子的图；

图8A～8F是示出根据实施例1的插值帧生成方法的例子的图；

图9A～9F是示出传统插值帧生成方法的例子的图；

图10A～10F是示出根据实施例1的插值帧生成方法的例子的图；

图11是示出根据实施例2的插值帧生成单元的功能结构的例子的框图；

图12A～12F是示出根据实施例2的插值帧生成方法的例子的图；以及

图13A～13F是示出根据实施例2的插值帧生成方法的例子的图。

具体实施方式

实施例1

下面参考附图说明根据本发明实施例1的图像处理设备和使用该图像处理设备所执行的图像处理方法。本实施例的图像处理设备在构成立体视频的第一视频图像的帧和第二视频图像的帧之间生成插值帧。

总体结构

首先说明根据实施例1的图像处理设备的总体结构。图1是示出根据实施例1的图像处理设备的功能结构的框图。如图1所示，根据实施例1的图像处理设备具有帧存储器101和插值帧生成单元102。在本实施例中，将输入至图像处理设备的视频图像(输入视频图像信号)的帧表示为F(n，p)，并且将在输入视频图像信号的帧之间插值得到的插值帧表示为AF(n’，p)。输入至图像显示设备的视频图像是构成立体图像的第一视频图像(例如，右眼用的视频图像)和第二视频图像(例如，左眼用的视频图像)。这里，n表示帧编号，以及p表示帧所属视频图像的眼。p＝L的情况表示该帧是左眼用的视频图像的帧，以及p＝R的情况表示该帧是右眼用的视频图像的帧。插值帧AF(n’，p)表示在第n帧和第(n+1)帧之间插值得到的插值帧。

从IN(输入)向帧存储器101输入输入视频图像信号。在输入视频图像信号中，如图2所示，在时间方向上交替排列左眼帧和右眼帧(帧顺序方式)。

帧存储器101逐帧存储输入视频图像信号。帧存储器101存储帧F(n，L)、F(n+1，L)、F(n，R)、F(n+1，R)，并且将这些帧输入至插值帧生成单元102。

插值帧生成单元102根据帧F(n，L)、F(n+1，L)、F(n，R)、F(n+1，R)生成插值帧AF(n’，L)、AF(n’，R)。下面说明用于生成插值帧的方法。将生成的插值帧AF(n’，L)、AF(n’，R)输入至帧存储器101。

帧存储器101存储输入的插值帧AF(n’，L)、AF(n’，R)。如图3所示，帧存储器101输出在输入视频图像信号的帧之间插入插值帧的输出视频图像信号。

插值帧生成单元的详细说明

接着详细说明实施例1的插值帧生成单元102。

图4是示出插值帧生成单元102的功能结构的框图。如图4所示，插值帧生成单元102具有运动矢量检测单元401、402、视差矢量检测单元403、404、运动矢量校正单元405、406、407、408和插值处理单元409、410。

在本实施例中，将表示视频图像中的运动的运动矢量表示为{V(n，p)}和{W(n，p)}，将表示右眼用的视频图像和左眼用的视频图像之间的视差的视差矢量表示为{PV(n，p)}，并且将校正后的运动矢量表示为{AV(n，p)}和{AW(n，p)}。在本实施例中，将每一个帧分割成多个分割区域，并且针对每一个分割区域检测运动矢量和视差矢量。然而，运动矢量和视差矢量的检测方法没有限制。例如，可以针对每个像素位置检测运动矢量和视差矢量。矢量{V(n，p)}、{W(n，p)}、{PV(n，p)}、{AV(n，p)}、{AW(n，p)}包括如通过将p眼用的第n帧分割成多个块所检测到的针对每个块的所有矢量。下面进一步说明用于检测每个块的矢量的方法。针对任意块blk，将矢量表示为V(n，p，blk)、W(n，p，blk)、PV(n，p，blk)、AV(n，p，blk)、AW(n，p，blk)。

运动矢量检测单元401、402从第一视频图像和第二视频图像的帧检测各自的运动矢量。在本实施例中，使用在时间上连续的两个帧A、B，以使得以从帧A中的位置直到帧B中的相应位置的矢量和从帧B中的位置直到帧A中的相应位置的矢量的形式来检测运动矢量。

运动矢量检测单元401从帧F(n，L)和帧F(n+1，L)检测到运动矢量{V(n，L)}、{W(n+1，L)}。

具体地，如图5所示，将第n帧分割成多个块。在本实施例中，一个块的大小为16像素×16像素(垂直方向上的像素的数量×水平方向上的像素的数量)。接着，针对每个块，从第(n+1)帧搜索与块中的像素值的绝对差的和(SAD)最小的区域的位置。例如，针对每个块，通过在以与块的位置相同的位置为基准的预定范围(搜索范围)内逐像素移动所选择的区域(大小与块的大小相同的区域)，在第(n+1)帧中搜索上述位置。在本实施例中，搜索范围为48像素×160像素(图6)。如果搜索位置处的SAD小于预先设置的阈值，则将该搜索位置和块位置之间的差(从块位置直到该搜索位置的矢量)作为该块的运动矢量。如果SAD等于或大于阈值，则对该块做出判断“无运动矢量”。块位置可以是任一位置，例如，块的中心位置，只要可以通过该块位置指定块的位置即可。

针对第n帧中的所有块进行上述处理，以检测被表示为V(n，L)的每个块的运动矢量。

类似地，运动矢量检测单元401将第(n+1)帧分割成多个块，针对每个块从第n帧搜索SAD最小的区域的位置，并且检测被表示为W(n+1，L)的每个块的运动矢量。

运动矢量检测单元402通过进行与运动矢量检测单元401的处理相同的处理，从帧F(n，R)、F(n+1，R)检测运动矢量{V(n，R)}、{W(n+1，R)}。

视差矢量检测单元403从帧F(n，L)、F(n，R)检测表示帧之间的视差的视差矢量。如运动矢量一样，通过块匹配方法检测视差矢量。

具体地，将帧F(n，L)分割成多个块(具有大小16像素×16像素的块)，并且从帧F(n，R)搜索与各块中的像素值的SAD最小的区域的位置。视差矢量基本上不具有垂直方向成分，因此搜索范围可以仅在水平方向上扩展(例如，在16像素×160像素上)。如运动矢量的情况一样，设置阈值，从而使得如果搜索位置处的SAD小于阈值，则将该搜索位置和块位置之间的差作为该块的视差矢量，并且，如果SAD等于或大于阈值，则针对该块判断为“无视差矢量”。

针对所有块进行该处理，以检测被表示为PV(n，L)的各块的视差矢量。

类似地，视差矢量检测单元403将帧F(n，R)分割成多个块，针对每个块从帧F(n，L)搜索SAD最小的区域的位置，并且检测被表示为PV(n，R)的各块的视差矢量。

视差矢量检测单元404进行与视差矢量检测单元403的处理相同的处理，以从帧F(n+1，L)、F(n+1，R)检测第(n+1)右眼帧和左眼帧之间的视差矢量{PV(n+1，L)}、{PV(n+1，R)}。

在本实施例中，运动矢量检测单元401、402中的块的大小与视差矢量检测单元403、404中的块的大小相同，但是块大小也可以不同。例如，运动矢量检测单元401、402中的块大小可以是8像素×8像素，以及视差矢量检测单元403、404中的块大小可以是16像素×16像素。用于判断是否存在运动矢量和是否存在视差矢量的阈值可以相互相同或不同。

如果在第一视频图像或第二视频图像中的视频图像帧中存在未检测到运动矢量的非检测位置，则运动矢量校正单元405～408使用视差矢量，从另一视频图像的帧中检测非检测位置的相应位置。接着，运动矢量校正单元405～408进行包含对非检测位置设置在相应位置所检测到的运动矢量的校正。运动矢量校正单元405～408对应于本发明的校正单元。

运动矢量校正单元405针对由运动矢量检测单元401所检测到的运动矢量{V(n，L)}，校正被判断为“无运动矢量”的块的运动矢量。具体地，块blk1的运动矢量替换为帧F(n，R)的、与帧F(n，L)的被判断为“无运动矢量”的块blk1相对应的(具有相同数据的)块blk2的运动矢量。也就是说，运动矢量V(n，L，blk1)替换为运动矢量V(n，R，blk2)。

更详细地说，在帧F(n，L)和帧F(n，R)之间存在视差，因此同一物体不一定处于相同位置。因此，使用由视差矢量检测单元403所检测到的视差矢量{PV(n，L)}在帧F(n，R)内寻找出帧F(n，L)的块对应于哪个块。具体地，在帧F(n，R)中，从帧F(n，L)中的块blk1的位置移位视差矢量PV(n，L，blk1)的位置处的块blk2构成与块blk1相对应的块。

在目的地位置与帧F(n，R)的块位置不完全一致的情况下(即以目的地位置为基准的、具有与块的大小相同的大小的区域跨多个块的情况下)，根据目的地位置计算运动矢量。具体地，通过将以目的地位置为基准的区域所跨的各块的运动矢量与各块中该区域所重叠的面积相对于块的大小的比相乘得到的值相加，来获得相应块的运动矢量。

运动矢量校正单元405对既不具有运动矢量也不具有视差矢量的块分配0矢量(0大小的矢量)。

校正被判断为“无运动矢量”的块的运动矢量，并且将运动矢量{V(n，L)}作为运动矢量{AV(n，L)}。针对替换为从运动矢量{V(n，R)}所获取的运动矢量的运动矢量，运动矢量{AV(n，L)}附加有信息“已校正”，并且针对没有进行该替换的运动矢量，运动矢量{AV(n，L)}附加有信息“未校正”。

类似于运动矢量校正单元405，运动矢量校正单元406针对由运动矢量检测单元401所检测到的运动矢量{W(n+1，L)}，校正被判断为“无运动矢量”的块的运动矢量。运动矢量{W(n+1，L)}变成运动矢量{AW(n+1，L)}。

类似于运动矢量校正单元405，运动矢量校正单元407针对由运动矢量检测单元402所检测到的运动矢量{V(n，R)}，校正被判断为“无运动矢量”的块的运动矢量。运动矢量{V(n，R)}变成运动矢量{AV(n，R)}。

类似于运动矢量校正单元405，运动矢量校正单元408针对由运动矢量检测单元402所检测到的运动矢量{W(n+1，R)}，校正被判断为“无运动矢量”的块的运动矢量。运动矢量{W(n+1，R)}变成运动矢量{AW(n+1，R)}。

插值处理单元409、410(插值帧生成单元)使用校正后的运动矢量，生成在第一视频图像和第二视频图像的各个帧之间插值得到的插值帧。在本实施例中，基于运动矢量，将帧(帧A、B)中的各像素映射到插值帧中的位置，此后，使用被映射到插值帧中的每个位置的各像素，生成插值帧的各像素。通过仅使用多个像素中校正了运动矢量检测结果的位置处的像素，生成将这多个像素映射至的插值帧位置的像素。

插值处理单元409使用帧F(n，L)、F(n+1，L)和校正后的运动矢量{AV(n，L)}、{AW(n+1，L)}，生成插值帧AF(n’，L)。

具体地，在插值帧AF(n’，L)中，在从帧F(n，L)的块blk的位置移位相应运动矢量AV(n，L，blk)的1/2的位置处生成块blk(像素组)。类似地，在插值帧AF(n’，L)中，在从帧F(n+1，L)的块blk的位置移位相应运动矢量AW(n+1，L，blk)的1/2的位置处生成块blk。在所生成的块重叠的部分处，逐像素计算重叠块的像素值的平均值，并且将该平均值作为插值帧AF(n’，L)的像素值(平均化处理)。然而，在重叠块包括通过运动矢量校正单元405～408校正了运动矢量的位置处的块的情况下，不进行上述平均化处理，并且使该块的像素值优先，并且将其作为插值帧AF(n’，L)的像素值。在校正了运动矢量的位置处的块之间重叠的情况下，逐像素计算重叠块的像素值的平均值，并且将该平均值作为插值帧AF(n’，L)的像素值。

在插值帧AF(n’，L)中，没有生成帧F(n，L)、F(n+1，L)的块的部分的像素值是帧F(n+1，L)和帧F(n，L)的、与没有生成帧F(n，L)、F(n+1，L)的块的部分的位置相同的位置处的像素值的平均值。

如插值处理单元409一样，插值处理单元410使用帧F(n，R)、F(n+1，R)和校正后的运动矢量{AV(n，R)}、{AW(n+1，R)}，生成插值帧AF(n’，R)。

在上述实施例1中这样生成插值帧。

插值帧生成单元的详细说明

接着详细说明实施例1的插值帧生成单元102的操作。

图7A～7F、8A～8F是用于说明在出帧(frame-out)实例中插值帧生成单元102的操作的图，其中，在该实例中，黑色正方形物体(以下简称为“物体”)在白色背景上从右向左移动。图7A～7D、8A～8D表示输入的视频图像信号帧，而图7E、7F、8E、8F表示插值帧。具体地，图7A、8A表示帧F(n，L)，图7B、8B表示帧F(n，R)，图7C、8C表示帧F(n+1，L)，图7D、8D表示帧F(n+1，R)，图7E、8E表示插值帧AF(n’，L)，以及图7F、8F表示插值帧AF(n’，R)。为简化说明，将每个帧分割成6×10块，从而使得物体的大小与一个块的大小恰好相同。对该操作的说明集中于黑色正方形物体。将物体的块表示为B(n，p)。

在图7A～7F、8A～8F中，帧F(n，L)的块B(n，L)中的物体和帧F(n，R)的块B(n，R)中的物体相互对应，并且具有立体视频视差。因此，看到物体好像悬浮在白色背景上。物体向左移动，并且变成位于帧F(n，L)随后的帧F(n+1，L)中的块B(n+1，L)处。物体在帧F(n+1，R)中出帧。具体地，物体变成位于帧外部的块B(n+1，R)处，并且不再包括在视频图像信号(帧)中。

为了阐明根据本实施例的操作(用于生成插值帧的方法)和传统操作的不同，首先参考图7A～7F说明传统操作。

在传统方法中，在帧F(n，L)和帧F(n+1，L)之间检测物体的运动矢量。因此，在插值帧AF(n’，L)中的块B(n’，L)处生成物体。然而，在帧F(n，R)和帧F(n+1，R)之间，在帧F(n+1，R)中没有物体。因此，未检测到物体的运动矢量，并且不能进行矢量插值。例如，如果在未检测到运动矢量的情况下使用0矢量，则在插值帧AF(n’，R)中，在与块B(n，R)的位置相同的位置处的块B(n’，R)处生成物体。在这种情况下，没有在本应生成物体的位置处生成物体。因此，在块B(n’，L)和块B(n’，R)中生成的物体的视差不正确，并且丧失立体感。前一帧和后一帧的连续性同样丢失。另外，在其它插值数据、例如白色背景数据的生成位置与物体的生成位置重叠的情况下，重叠位置处的像素值是黑色像素值和白色像素值的平均值。结果，黑色正方形物体变成灰色正方形物体。

接着参考图8A～8F给出对根据本实施例的操作的说明。本实施例使得可以解决上述问题。

从帧F(n+1，L)搜索帧F(n，L)的块B(n，L)处的物体。具体地，从帧F(n+1，L)搜索与块B(n，L)中的像素值的SAD最小且该SAD小于阈值的区域。结果，块B(n，L)中的像素值与块B(n+1，L)中的像素值相一致，从而获得运动矢量V(n，L，B(n，L))。从帧F(n，L)搜索帧F(n+1，L)的块B(n+1，L)中的物体。结果，块B(n+1，L)中的像素值与块B(n，L)中的像素值相一致，从而获得运动矢量W(n+1，L，B(n+1，L))。

获取运动矢量V(n，L，B(n，L))、W(n+1，L，B(n+1，L))，因此AV(n，L，B(n，L))＝V(n，L，B(n，L))、AW(n+1，L，B(n+1，L))＝W(n+1，L，B(n+1，L))。在插值帧AF(n’，L)中，在从块位置移位运动矢量AV(n，L，B(n，L))的1/2的位置处生成块B(n，L)。在从块位置移位运动矢量AW(n+1，L，B(n+1，L))的1/2的位置处生成块B(n+1，L)。在插值帧AF(n’，L)所生成的块B(n，L)、B(n+1，L)相互重叠，因此逐像素计算块B(n，L)、B(n+1，L)中的像素值的平均值，以求出块B(n’，L)中的像素值。块B(n，L)、B(n+1，L)均是黑色正方形物体的块，因此该像素值即使在进行平均化时也不改变(即，块B(n’，L)也是黑色正方形物体的块)。

从帧F(n+1，R)搜索帧F(n，R)的块B(n，R)处的物体。结果，没有找到与块B(n，R)中的像素值相一致的区域(具体地，SAD小于阈值的区域)。因此，将块B(n，R)判断为“无运动矢量”。针对帧F(n+1，R)中的各块，从帧F(n，R)搜索最小SAD区域，并且检测到运动矢量{W(n+1，R)}。然而，在帧F(n+1，R)中没有黑色正方形物体，因此运动矢量{W(n+1，R)}不包括与黑色正方形物体有关的运动矢量。

在帧F(n，L)、F(n，R)之间检测视差矢量{PV(n，L)}、{PV(n，R)}。使用视差矢量{PV(n，R)}从帧F(n，L)检测与被判断为“无运动矢量”的块B(n，R)相对应的块B(n，L)(检测到运动矢量的块)。获取块B(n，L)的运动矢量V(n，L，B(n，L)作为运动矢量AV(n，R，B(n，R))。接着，在插值帧AF(n’，R)中，在从块B(n，R)的块位置移位运动矢量AV(n，R，B(n，R))的1/2的位置处，即在块B(n’，R)的位置处生成块B(n，R)。在插值帧AF(n’，R)中，在一些情况下相互重叠地生成块B(n，R)和其它块(白色背景块)。然而，运动矢量AV(n，R，B(n，R))是“已校正”的运动矢量，因此，在不经过平均化的情况下，使黑色正方形物体的数据(像素值)优先。

以上述方式生成插值帧，这使得在保持正确视差的块B(n’，L)、B(n’，R)处生成黑色正方形物体，并且使得生成没有丧失立体感的插值帧。

接着参考图9A～9F、10A～10F说明在白色背景上从右到左移动的黑色正方形物体的入帧(frame-in)的情况下插值帧生成单元102的操作。与图7A～7F、8A～8F相同，图9A～9D、10A～10D表示输入视频图像信号的帧，以及图9E、9F、10E、10F表示插值帧。

首先参考图9A～9F说明传统操作。如图9A～9F所示，帧F(n，L)不包含物体。在帧F(n+1，L)处，物体入帧，并且变成位于块B(n+1，L)处。在帧F(n+1，R)中，位于帧F(n，R)中的块B(n，R)处的物体向左移动，并且变成位于块B(n+1，R)处。

在传统方法中，在帧F(n，R)和帧F(n+1，R)之间检测物体的运动矢量。因此，在插值帧AF(n’，R)中的块B(n’，R)处生成物体。然而，在帧F(n，L)和帧F(n+1，L)之间未检测到物体的运动矢量。结果，在插值帧AF(n’，L)中，在与块B(n+1，L)的位置相同的位置处，即在块B(n’，L)处生成物体。同样，在这种情况下，没有在本应生成物体的位置处生成物体。结果，在块B(n’，L)和块B(n’，R)中生成的物体的视差不正确，并且立体感丧失。前一帧和后一帧的连续性同样丢失。另外，在其它插值数据、例如白色背景数据的生成位置与物体的生成位置重叠的情况下，重叠位置处的像素值是黑色像素值和白色像素值的平均值。结果，黑色正方形物体变成灰色正方形物体。

接着参考图10A～10F给出根据本实施例的操作的说明。

从帧F(n+1，R)搜索帧F(n，R)的块B(n，R)处的物体。结果，块B(n，R)中的像素值与块B(n+1，R)中的像素值相一致，从而获得运动矢量V(n，L，B(n，R))。从帧F(n，R)搜索帧F(n+1，R)的块B(n+1，R)中的物体。结果，块B(n+1，R)中的像素值与块B(n，R)中的像素值相一致，从而获得运动矢量W(n+1，R，B(n+1，R))。

获取运动矢量V(n，R，B(n，R))、W(n+1，R，B(n+1，R))，因此AV(n，R，B(n，R))＝V(n，R，B(n，R))和AW(n+1，R，B(n+1，R))＝W(n+1，R，B(n+1，R))。在插值帧AF(n’，R)中，在从块B(n，R)的块位置移位运动矢量AV(n，R，B(n，R))的1/2的位置处生成块B(n，R)。在从块B(n+1，R)的块位置移位运动矢量AW(n+1，R，B(n+1，R))的1/2的位置处生成块B(n+1，R)。在插值帧AF(n’，R)处生成的块B(n，R)、B(n+1，R)相互重叠，因此逐像素计算块B(n，R)、B(n+1，R)中的像素值的平均值，以求出块B(n’，R)中的像素值。块B(n，R)、B(n+1，R)均是黑色正方形物体的块，因此该像素值即使在进行平均化时也不改变(即块B(n’，R)也是黑色正方形物体的块)。

针对帧F(n，L)中的各块，从帧F(n+1，L)搜索最小SAD区域，并且检测运动矢量{V(n，L)}。然而，在帧F(n，L)中没有黑色正方形物体，因此运动矢量{V(n，L)}不包括与黑色正方形物体有关的运动矢量。从帧F(n，L)搜索帧F(n+1，L)的块B(n+1，L)中的物体。结果，没能找到与块B(n+1，L)中的像素值相一致的区域。因此，将块B(n+1，L)判断为“无运动矢量”。

在帧F(n+1，L)、F(n+1，R)之间检测视差矢量{PV(n+1，L)}、{PV(n+1，R)}。因此，使用视差矢量{PV(n+1，L)}从帧F(n+1，R)检测到与被判断为“无运动矢量”的块B(n+1，L)相对应的块B(n+1，R)(检测到运动矢量的块)。获取块B(n+1，R)的运动矢量W(n+1，R，B(n+1，R))作为运动矢量AW(n+1，L，B(n+1，L))。接着，在插值帧AF(n’，L)中，在从块B(n+1，L)的块位置移位运动矢量AW(n+1，L，B(n+1，L))的1/2的位置处，即块B(n’，L)的位置处生成块B(n+1，L)。在插值帧AF(n’，L)中，在一些情况下相互重叠地生成块B(n，R)和其它块(白色背景块)。然而，运动矢量AW(n+1，L，B(n+1，L))是“已校正”的运动矢量，因此，在不经过平均化的情况下，使黑色正方形物体的数据(像素值)优先。

以上述方式生成插值帧，这使得在保持正确视差的块B(n’，L)、B(n’，R)处生成黑色正方形物体，并且使得生成没有丧失立体感的插值帧。

因此，在本实施例中，如上所述，如果在一只眼用的帧中存在运动矢量的非检测位置，则针对该非检测位置设置在另一只眼用的帧中与该非检测位置相对应的相应位置处所检测到的运动矢量。通过使用这样所设置的运动矢量生成插值帧，在立体视频的帧频转换时，可以保持正确的视差。具体地，在本实施例中，即使在一只眼用的帧中未能检测到运动矢量的情况下，也可以生成没有丧失立体感的插值帧。

在本实施例中，通过仅使用多个像素中校正了运动矢量检测结果的位置处的像素，在将这多个像素映射至的插值帧的位置处生成像素。作为结果，可以进一步保持立体感，同时抑制被摄体的颜色变化。

实施例2

接着参考附图说明根据本发明实施例2的图像处理设备和使用该图像处理设备所执行的图像处理方法。在实施例1中，在一只眼用的帧中未检测到运动矢量的情况下，使用在另一只眼的帧中所检测到的运动矢量进行矢量插值。在实施例2中，在一只眼用的帧中未检测到运动矢量的情况下，校正这两个帧的运动矢量，以不进行矢量插值。不再说明与实施例1的相同的特征和功能。

总体结构

根据实施例2的图像处理设备的总体结构与如图1所示的根据实施例1的图像处理设备的相同。根据实施例2的图像处理设备中的插值帧生成单元102的结构不同于根据实施例1的图像处理设备中的插值帧生成单元102的结构。

插值帧生成单元的详细说明

接着详细说明实施例2的插值帧生成单元102。

图11是示出插值帧生成单元102的功能结构的框图。以相同的附图标记表示与实施例1中相同的功能块，并且省略对其的重复说明。

如果在第一视频图像或第二视频图像的视频图像帧中存在没有检测到运动矢量的非检测位置，则运动矢量校正单元1105～1108使用视差矢量，从另一视频图像的帧检测与非检测位置相对应的相应位置。进行校正从而针对上述非检测位置设置0大小的运动矢量(0矢量)，并且将在上述相应位置处所检测到的运动矢量替换为0矢量。在本实施例中，运动矢量校正单元1105～1108对应于校正单元。

在本实施例中，用于生成插值帧的像素的插值处理单元409、410不使用与帧A、B中将运动矢量替换为0矢量的一个帧内的位置相对应的另一帧内的位置处的像素。帧A、B是在时间上连续的帧。

如果存在被运动矢量检测单元402判断为“无运动矢量”的块，则运动矢量校正单元1105校正由运动矢量检测单元401所检测到的运动矢量。具体地，将帧F(n，L)的、与帧F(n，R)中被判断为“无运动矢量”的块blk1相对应的块blk2的运动矢量V(n，L，blk2)替换为0矢量。以与实施例1中相同的方式，使用视差矢量PV(n，R，blk1)检测帧F(n，L)中的与帧F(n，R)中的块相对应的块。具体地，在帧F(n，L)中，从帧F(n，R)中的块blk1的位置移位视差矢量PV(n，R，blk1)的位置处的块blk2构成与块blk1相对应的块。

在以通过移位视差矢量所到达的位置为基准的、具有与块的大小相同的大小的区域跨多个块的情况下，将所跨的所有块的运动矢量都设置成0矢量。

另外，将运动矢量替换为0矢量的块的位置信息{al}以及替换前的运动矢量{V(n，L)}通知给运动矢量校正单元1106。

运动矢量校正单元1106将通过矢量校正单元1106将运动矢量替换为0矢量的块的位置信息{bl}以及替换前的运动矢量{W(n+1，L)}发送至运动矢量校正单元1105。运动矢量校正单元1105基于该位置信息{b1}和运动矢量{W(n+1，L)}，校正帧F(n，L)中与以位置信息{b1}所表示的块相对应的块的运动矢量。具体地，在帧F(n，L)中，校正从以位置信息{b1}所表示的块中的一个块blk 1的位置移位运动矢量W(n+1，L，blk1)的位置处的块的运动矢量。更具体地，将运动矢量V(n，L，blk2)修改成NI(不插值)，其中，块blk2表示要校正的块。插值处理单元409、410不使用运动矢量被这样设置成NI的块来生成插值帧中的像素(块)。在以通过移位运动矢量所到达的位置为基准的、具有与块的大小相同的大小的区域跨多个块的情况下，将所跨的所有块的运动矢量都设置成NI。

对由运动矢量检测单元401判断为“无运动矢量”的块(帧F(n，L)中的块)设置(分配)0矢量。

这样校正运动矢量{V(n，L)}以求出运动矢量{AV(n，L)}。

在运动矢量{AV(n，L)}中，对通过运动矢量校正单元1105设置和替换为0矢量的运动矢量添加信息“已校正”，并且对其它运动矢量添加信息“未校正”。

如运动矢量校正单元1105一样，运动矢量校正单元1106对帧F(n+1，L)中被判断为“无运动矢量”的块设置0矢量。将帧F(n+1，L)中的、与帧F(n+1，R)中被判断为“无运动矢量”的块相对应的块的运动矢量替换为0矢量。将帧F(n+1，L)中的与以位置信息{al}所表示的块相对应的块的运动矢量修改成NI。结果，运动矢量{W(n+1，L)}变成运动矢量{AW(n+1，L)}。将与将运动矢量替换为0矢量的块有关的坐标信息{bl}以及替换前的运动矢量{W(n+1，L)}通知给运动矢量校正单元1105。

如运动矢量校正单元1105一样，运动矢量校正单元1107对帧F(n，R)中被判断为“无运动矢量”的块设置0矢量，并且将帧F(n，R)中的、与帧F(n，L)中被判断为“无运动矢量”的块相对应的块的运动矢量替换为0矢量。将帧F(n，R)中的与以由运动矢量校正单元1108所发送的位置信息{br}所表示的块相对应的块的运动矢量修改成NI。从而运动矢量{V(n，R)}变成运动矢量{AV(n，R)}。将与将运动矢量替换为0矢量的块有关的坐标信息{ar}以及替换前的运动矢量{V(n，R)}通知给运动矢量校正单元1108。

如运动矢量校正单元1105一样，运动矢量校正单元1108对帧F(n+1，R)中被判断为“无运动矢量”的块设置0矢量，并且将帧F(n+1，R)中的、与帧F(n+1，L)中被判断为“无运动矢量”的块相对应的块的运动矢量替换为0矢量。将帧F(n+1，R)中的与以由运动矢量校正单元1107发送的位置信息{ar}所表示的块相对应的块的运动矢量修改成NI。从而运动矢量{W(n+1，R)}变成运动矢量{AW(n+1，R)}。将与将运动矢量替换为0矢量的块有关的坐标信息{br}以及替换前的运动矢量{W(n+1，R)}通知给运动矢量校正单元1108。

如上所述，在实施例2中这样生成插值帧。

插值帧生成单元的详细说明

接着详细说明实施例2的插值帧生成单元102的操作。

图12A～12F是用于说明在出帧实例中插值帧生成单元102的操作的图，其中，在该实例中，黑色正方形物体在白色背景上从右向左移动。与图7A～7F、8A～8F、9A～9F、10A～10F相同，图12A～12D表示输入视频图像信号的帧，以及图12E、12F表示插值帧。

从帧F(n+1，L)搜索帧F(n，L)的块B(n，L)处的物体。结果，块B(n，L)中的像素值与块B(n+1，L)中的像素值相一致，从而获得运动矢量V(n，L，B(n，L))。从帧F(n，L)搜索帧F(n+1，L)的块B(n+1，L)中的物体。结果，块B(n+1，L)中的像素值与块B(n，L)中的像素值相一致，从而获得运动矢量W(n+1，L，B(n+1，L))。

从帧F(n+1，R)搜索帧F(n，R)的块B(n，R)处的物体。结果，不能找到与块B(n，R)中的像素值相一致的区域。因此，将块B(n，R)判断为“无运动矢量”。针对帧F(n+1，R)中的各块，从帧F(n，R)搜索最小SAD区域，并且检测运动矢量{W(n+1，R)}。然而，在帧F(n+1，R)中没有黑色正方形物体，因此运动矢量{W(n+1，R)}不包括与黑色正方形物体有关的运动矢量。

在帧F(n，L)、F(n，R)之间检测视差矢量{PV(n，L)}、{PV(n，R)}。可以根据视差矢量{PV(n，R)}得到块B(n，R)和块B(n，L)之间的对应关系。

由于将块B(n，R)判断为“无运动矢量”，因而将相应块B(n，L)的运动矢量V(n，L，B(n，L))替换为0矢量。将替换后的运动矢量(0矢量)表示为AV(n，L，B(n，L))。

通过从将运动矢量替换为0矢量的块B(n，L)的位置移位替换前的运动矢量V(n，L，B(n，L))，可以得到帧F(n+1，L)中块B(n+1，L)的位置。将块B(n+1，L)的运动矢量W(n+1，L，B(n+1，L))修改成NI(不插值)。将修改后的运动矢量(NI)表示为AW(n+1，L，B(n+1，L))。

运动矢量V(n，R，B(n，R))是“无运动矢量”，因此AV(n，R，B(n，R))＝0矢量。

在生成插值帧AF(n’，L)时，运动矢量AV(n，L，B(n，L))是0矢量，因此在与块B(n，L)的位置相同的位置的块B(n’，L)处生成物体。由于运动矢量AW(n+1，L，B(n+1，L))是NI(不插值)，则不使用块B(n+1，L)来生成插值帧AF(n’，L)。

在生成插值帧AF(n’，R)时，运动矢量AV(n，R，B(n，R))是0矢量，因此在与块B(n，R)的位置相同的位置的块B(n’，R)处生成物体。

在插值帧中，在一些情况下相互重叠地生成块B(n，L)、B(n，R)和其它块(白色背景块)。然而，这些块的运动矢量是“已校正”的运动矢量。因此，在不经过平均化的情况下，使黑色正方形物体的数据(像素值)优先。

以上述方式生成插值帧，这使得在保持正确视差的块B(n’，L)、B(n’，R)处生成黑色正方形物体，并且使得生成没有丧失立体感的插值帧。

接着参考图13A～13F说明在白色背景上从右向左移动的黑色正方形物体入帧的情况下插值帧生成单元102的操作。与图7A～7F、8A～8F、9A～9F、10A～10F、12A～12F相同，图13A～13D表示输入视频图像信号的帧，以及图13E、13F表示插值帧。

从帧F(n+1，R)搜索帧F(n，R)的块B(n，R)处的物体。结果，块B(n，R)中的像素值与块B(n+1，R)中的像素值相一致，从而获得运动矢量V(n，R，B(n，R))。从帧F(n，R)搜索帧F(n+1，R)的块B(n+1，R)中的物体。结果，块B(n+1，R)中的像素值与块B(n，R)中的像素值相一致，从而获得运动矢量W(n+1，R，B(n+1，R))。

对帧F(n，L)中的各块，从帧F(n+1，L)搜索最小SAD区域，并且检测运动矢量{V(n，L)}。然而，在帧F(n，L)中没有黑色正方形物体，因此运动矢量{V(n，L)}不包括与黑色正方形物体有关的运动矢量。从帧F(n，L)搜索帧F(n+1，L)的块B(n+1，L)中的物体。结果，不能找到与块B(n+1，L)中的像素值相一致的区域。因此，将块B(n+1，L)判断为“无运动矢量”。

在帧F(n+1，L)、F(n+1，R)之间检测视差矢量{PV(n+1，L)}、{PV(n+1，R)}。可以根据视差矢量{PV(n+1，L)}得到块B(n+1，L)和块B(n+1，R)之间的对应关系。

由于将块B(n+1，L)判断为“无运动矢量”，则将相应块B(n+1，R)的运动矢量W(n+1，R，B(n+1，R))替换为0矢量。将替换后的运动矢量(0矢量)表示为AW(n+1，R，B(n+1，R))。

通过从将运动矢量替换为0矢量的块B(n+1，R)的位置移位替换前的运动矢量W(n+1，R，B(n+1，R))，可以得到帧F(n，R)中块B(n，R)的位置。将块B(n，R)的运动矢量V(n，R，B(n，R))修改成NI(不插值)。将修改后的运动矢量(NI)表示为AV(n，R，B(n，R))。

运动矢量W(n+1，L，B(n+1，L))是“无运动矢量”，因此AW(n+1，L，B(n+1，L))＝0矢量。

在生成插值帧AF(n’，L)时，运动矢量AW(n+1，L，B(n+1，L))是0矢量，因此在与块B(n+1，L)的位置相同的位置的块B(n’，L)处生成物体。

在生成插值帧AF(n’，R)时，运动矢量AW(n+1，R，B(n+1，R))是0矢量，因此在与块B(n+1，R)的位置相同的位置的块B(n’，R)处生成物体。由于运动矢量AV(n，R，B(n，R))是NI(不插值)，因而不使用块B(n，R)来生成插值帧AF(n’，R)。

在插值帧中，在一些情况下与其它块(白色背景块)重叠地生成块B(n+1，L)、B(n+1，R)。然而，这些块的运动矢量是“已校正”的运动矢量，因此在不经过平均化的情况下，使黑色正方形物体的数据(像素值)优先。

以上述方式生成插值帧，这使得在保持正确视差的块B(n’，L)、B(n’，R)处生成黑色正方形物体，并且使得生成没有丧失立体感的插值帧。

因此，在本实施例中，如果在一只眼用的帧中存在运动矢量的非检测位置，如上所述，则对非检测位置设置0矢量。在另一帧中，将在与非检测位置相对应的相应位置处所检测到的运动矢量替换为0矢量。通过使用这样所设置的运动矢量生成插值帧，可以保持正确视差。具体地，在本实施例中，在立体视频的帧频转换时，即使在一只眼用的帧中未能检测到运动矢量的情况下，也可以生成没有丧失立体感的插值帧。

在本实施例中，不使用与将运动矢量替换为0矢量的一只眼用的帧中的位置相对应的该只眼用的另一帧中的位置处的像素来生成插值帧中的像素。结果，这使得防止在一个插值帧中的不同位置处生成同一被摄体，并且使得进一步保持立体感。

基于输入的视频图像信号是帧顺序方式的立体视频信号的实例，说明了实施例1、2。然而，本发明不限于帧顺序方式。例如，在单独输入右眼用的视频图像和左眼用的视频图像的情况下，也可以实现本发明，只要在将这两种视频图像信号存储在帧存储器中之后生成插值帧即可。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (6)

1.一种图像处理设备，其在构成立体视频的第一视频图像和第二视频图像各自的帧之间生成插值帧，所述图像处理设备包括：

运动矢量检测单元，其使用构成所述第一视频图像的、在时间上连续的两个帧和构成所述第二视频图像的、在时间上连续的两个帧，检测各视频图像的帧之间的表示视频图像中的被摄体随着时间的经过的运动的运动矢量；

视差矢量检测单元，其使用构成所述第一视频图像的帧和构成所述第二视频图像的帧，检测表示这两个帧之间的视差的视差矢量；

校正单元，当在所述第一视频图像和所述第二视频图像中的一个视频图像的帧中存在未检测到被摄体的运动矢量的非检测位置时，该校正单元通过使用所述视差矢量检测另一视频图像的帧中所包括的与所述非检测位置相对应的相应位置、并且对所述非检测位置设置所述另一视频图像的帧在所述相应位置处的被摄体的运动矢量，来进行校正；以及

插值帧生成单元，其使用校正后的运动矢量，生成所述第一视频图像和所述第二视频图像各自的插值帧。

2.根据权利要求1所述的图像处理设备，其特征在于，

所述插值帧生成单元基于被摄体的运动矢量将帧中的各像素映射到插值帧中的位置，此后使用被映射到插值帧中的各个位置的像素生成插值帧的各像素；以及

通过仅使用多个像素中通过所述校正单元校正了运动矢量检测结果的位置处的像素，生成插值帧中的、所述多个像素所映射至的位置处的像素。

3.一种图像处理设备，其在构成立体视频的第一视频图像和第二视频图像各自的帧之间生成插值帧，所述图像处理设备包括：

运动矢量检测单元，其使用构成所述第一视频图像的、在时间上连续的两个帧和构成所述第二视频图像的、在时间上连续的两个帧，检测各视频图像的帧之间的表示视频图像中的被摄体随着时间的经过的运动的运动矢量；

视差矢量检测单元，其使用构成所述第一视频图像的帧和构成所述第二视频图像的帧，检测表示这两个帧之间的视差的视差矢量；

校正单元，当在所述第一视频图像和所述第二视频图像中的一个视频图像的帧中存在未检测到被摄体的运动矢量的非检测位置时，该校正单元通过对所述非检测位置设置0大小的运动矢量、使用所述视差矢量检测另一视频图像的帧中所包括的与所述非检测位置相对应的相应位置、并且将在所述相应位置处所检测到的被摄体的运动矢量替换为0大小的运动矢量，来进行校正；以及

插值帧生成单元，其使用校正后的运动矢量，生成所述第一视频图像和所述第二视频图像各自的插值帧。

4.根据权利要求3所述的图像处理设备，其特征在于，

所述插值帧生成单元基于被摄体的运动矢量将帧中的各像素映射到插值帧中的位置，此后使用被映射到插值帧中的各个位置的像素生成插值帧的各像素；以及

通过仅使用多个像素中通过所述校正单元校正了运动矢量检测结果的位置处的像素，生成插值帧中的、所述多个像素所映射至的位置处的像素。

5.一种图像处理方法，其是由在构成立体视频的第一视频图像和第二视频图像各自的帧之间生成插值帧的图像处理设备所执行的方法，所述图像处理方法包括以下步骤：

使用构成所述第一视频图像的、在时间上连续的两个帧和构成所述第二视频图像的、在时间上连续的两个帧，检测各视频图像的帧之间的表示视频图像中的被摄体随着时间的经过的运动的运动矢量；

使用构成所述第一视频图像的帧和构成所述第二视频图像的帧，检测表示这两个帧之间的视差的视差矢量；

当在所述第一视频图像和所述第二视频图像中的一个视频图像的帧中存在未检测到被摄体的运动矢量的非检测位置时，通过使用所述视差矢量检测另一视频图像的帧中所包括的与所述非检测位置相对应的相应位置、并且对所述非检测位置设置所述另一视频图像的帧在所述相应位置处的被摄体的运动矢量，来进行校正；以及

使用校正后的运动矢量，生成所述第一视频图像和所述第二视频图像各自的插值帧。

6.一种图像处理方法，其是由在构成立体视频的第一视频图像和第二视频图像各自的帧之间生成插值帧的图像处理设备所执行的方法，所述图像处理方法包括以下步骤：

使用构成所述第一视频图像的、在时间上连续的两个帧和构成所述第二视频图像的、在时间上连续的两个帧，检测各视频图像的帧之间的表示视频图像中的被摄体随着时间的经过的运动的运动矢量；

使用构成所述第一视频图像的帧和构成所述第二视频图像的帧，检测表示这两个帧之间的视差的视差矢量；

当在所述第一视频图像和所述第二视频图像中的一个视频图像的帧中存在未检测到被摄体的运动矢量的非检测位置时，通过对所述非检测位置设置0大小的运动矢量、使用所述视差矢量检测另一视频图像的帧中所包括的与所述非检测位置相对应的相应位置、并且将在所述相应位置处所检测到的被摄体的运动矢量替换为0大小的运动矢量，来进行校正；以及

使用校正后的运动矢量，生成所述第一视频图像和所述第二视频图像各自的插值帧。