CN101237578B - 经分离成静态和运动对象的移动估算的帧插入装置和方法 - Google Patents

Abstract

所提供的是一种帧插入装置和方法，其中移动估算是通过分离成静态对象和运动对象执行的。该帧插入装置插入包括第n帧和设置邻近第n帧的第(n-1)帧的多个帧以便产生一个插入帧。该装置的一些实施例包括静态对象分离单元、运动矢量(MV)估算单元和插入帧生成单元。该静态对象分离单元可以将第n帧的宏块(MB)与第(n-1)帧的MB比较，第(n-1)帧的MB可以对应于第n帧的MB，以便将第n帧的每个MB分离成静态对象和运动对象。该MV估算单元可以在第(n-1)帧中搜索与第n帧的MB的每个匹配的MB以估算一个MV，第n帧的MB的每个可以确定为是运动对象。该插入帧生成单元可以使用估算的MV、第n帧和第(n-1)帧产生插入帧。

Description

经分离成静态和运动对象的移动估算的帧插入装置和方法

技术领域

本申请要求于2007年2月2日在韩国知识产权局申请的韩国专利申请No.10-2007-0011259的权益，其公开作为参考资料整体结合在此处。

背景技术

本发明通常涉及电子显示控制，并且尤其是，涉及转换帧的帧速率转换装置和方法。

通常，在个人计算机(PC)或者高清晰度电视(HDTV)中，为了在具有诸如PAL或者NTSC的各种各样的广播信号标准的节目之间兼容，可以执行帧速率转换。帧速率转换可以指的是每秒输出的帧数目的转换。尤其是，当帧速率被提高的时候，可能需要插入新的帧。该插入的帧可以称为插入帧。为了产生该插入帧，可以使用运动估算(ME)。ME可以包括搜索在先前帧和当前帧之间最相似的块。运动矢量(MV)可以表示在ME时块运动的幅度。

常规的ME方法可用于降低视频数据的时间冗余度，并且可用于产生该MV。在用于产生该MV的各种各样的ME方法之中，可以使用块匹配算法(BMA)。BMA可以搜索在每个块中的运动，并且将一个对应于该运动的运动矢量施加于包括在该块中的所有的像素。BMA可能需要少量的时间来执行，并且可以容易地作为硬件实现。在常规视频中，运动可以划分为旋转、平移和放大/缩小。在这点上，假定在具有微小的间隔的帧之间的运动是微乎其微的。因此，在视频中仅仅存在平移，并且在相同的块中的所有像素的运动是相同的假定之下，可以执行BMA。因此，该BMA可以搜索在先前帧的搜索范围中最类似于当前帧的当前块的块，并且将在二个块之间的移动确定为MV。这个过程可以被称作全搜索。每个块可以由16×16个像素组成，并且可以被称作宏块(MB)。

因为全搜索可以与包括在搜索范围中的所有像素执行比较，其可以找到一个具有最小的匹配误差的MV。但是，该全搜索可以需要很大的计算资源。换句话说，常规的BMA可以导致不必要的计算和功率消耗，因为其可以甚至对于没有运动的部分执行ME。此外，通过在静态对象和运动对象之间不加区别，常规的BMA可能执行错误的ME。在这点上，当错误的ME被施加于插入的图像的时候，可能道致在显示质量方面退化。

发明内容

本发明的一些实施例提供一种通过分离成静态对象和运动对象，能够经由低功率驱动和精确的真实运动矢量，仅仅对运动对象执行移动估算，和在修改的搜索范围中执行移动估算，产生精确的插入帧的帧插入装置。一种帧插入装置的一些实施例插入包括第n帧和设置邻近于第n帧的第(n-1)帧的多个帧以产生一个插入帧，其可以包括：静态对象分离单元，其配置以将多个第n帧宏块(MB)的第n帧MB与多个第(n-1)帧MB的第(n-1)帧MB比较，以将该第n帧MB分离成静态对象和运动对象；运动矢量(MV)估算单元，其被配置以在第(n-1)帧搜索与被确定是运动对象的第n帧MB匹配的MB以估算一个MV。一些实施例可以包括一个插入帧生成单元，其被配置以使用估算的MV、第n帧和第(n-1)帧产生该插入帧。

在一些实施例中，该MV估算单元包括搜索范围处理单元，其被配置以在第(n-1)帧的第一搜索范围中搜索与该第n帧MB匹配的MB以估算第一MV；修改的搜索范围处理单元，其被配置以在第(n-1)帧的第二搜索范围中搜索与该第n帧MB匹配的MB以估算第二MV；当前MB处理单元，其被配置以将第n帧MB与对应于第n帧MB的多个第(n-1)帧MB的第(n-1)帧MB匹配以估算第三MV。在一些实施例中，第一搜索范围包括第(n-1)帧的多个MB，并且第二搜索范围包括与被确定是运动对象的多个第n帧MB相对应的多个第(n-1)帧MB。

在一些实施例中，第一搜索范围包括对应于该匹配的第n帧MB的该第(n-1)帧MB以及邻近该相应第(n-1)帧MB的多个第(n-1)帧MB。在一些实施例中，第二搜索范围包括对应于该匹配的第n帧MB的该第(n-1)帧MB以及邻近该相应的第(n-1)帧MB且对应于确定是运动对象的多个第n帧MB的多个第(n-1)帧MB。

在一些实施例中，搜索范围处理单元被配置以计算用于匹配MB的绝对差值的总和(SAD)，和估算在具有最小的SAD的第(n-1)帧MB和第n帧MB之间的第一MV。一些实施例提供修改的搜索范围处理单元被配置以计算用于匹配MB的绝对差值的总和(SAD)，和估算在具有最小的SAD的第(n-1)帧MB和第n帧MB之间的第二MV。在一些实施例中，当前MB处理单元被配置以计算用于匹配MB的绝对差值的总和(SAD)以估算第三MV。

一些实施例提供插入帧生成单元被配置以使用估算的第一MV、估算的第二MV和估算的第三MV的平均值产生插入帧。在一些实施例中，插入帧生成单元被配置以当与第n帧MB匹配的匹配MB存在于第(n-1)帧中的时候，使用第n帧MB和第(n-1)帧MB的平均值产生插入帧。

在一些实施例中，插入帧生成单元被配置以当与第n帧MB匹配的匹配MB不存在于第(n-1)帧中的时候，按照估算的MV的方向，使用第n帧MB或者第(n-1)帧MB产生插入帧。在一些实施例中，当估算的MV的方向是从左至右的时候，插入帧生成单元使用第n帧MB，当估算的MV的方向是从右到左的时候，使用第(n-1)帧MB。在一些实施例中，静态对象分离单元被配置以计算第n帧MB和相应的第(n-1)帧MB的亮度信号之间的差值，将该差值与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标，并且将多个第n帧MB的每个分离成静态对象和运动对象。

在一些实施例中，静态对象分离单元被配置以当该差值大于阈值的时候，将第n帧MB确定为运动对象，并且当该差值小于阈值的时候，将第n帧MB确定为静态对象。在一些实施例中，MV估算单元被配置以在第(n-1)帧的搜索范围中搜索与第n帧的MB匹配的MB以估算MV，其中该搜索范围包括与第n帧MB对应的第(n-1)帧MB，以及邻近与第n帧MB对应的该第(n-1)帧MB的多个第(n-1)帧MB。

本发明的一些实施例包括一种帧插入装置，其插入包括第n帧和设置邻近第n帧的第(n-1)帧的多个帧以便产生一个插入帧。这样的装置的一些实施例包括静态对象分离单元，其配置以将第n帧宏块(MB)与对应于第n帧MB的第(n-1)帧MB比较，以将多个第n帧MB的每个分离成静态对象和运动对象；运动矢量(MV)估算单元，其被配置以在第(n-1)帧的搜索范围中搜索与被确定是运动对象的多个第n帧MB的每个匹配的MB以估算一个MV。一些实施例包括插入帧生成单元，其被配置以使用估算的MV、第n帧和第(n-1)帧产生该插入帧，使得该搜索范围包括对应于多个第n帧MB的每个的第(n-1)帧MB，多个第n帧MB被确定是运动对象。

在一些实施例中，搜索范围包括对应于该匹配的第n帧MB的该第(n-1)帧MB以及邻近该相应第(n-1)帧MB、并与被确定是运动对象的多个第n帧MB相对应的多个第(n-1)帧MB。一些实施例提供插入帧生成单元被配置以当匹配第n帧MB的MB存在于第(n-1)帧中的时候，使用第n帧MB和第(n-1)帧MB的平均值产生插入帧。

在一些实施例中，插入帧生成单元被配置以当与第n帧MB匹配的第(n-1)帧MB不存在于第(n-1)帧中的时候，按照估算的MV的方向，使用第n帧MB或者第(n-1)帧MB产生插入帧。

在一些实施例中，静态对象分离单元被配置以计算在第n帧MB和相应的第(n-1)帧MB的亮度信号之间的差值，将该差值与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标，并且将每个第n帧MB分离成静态对象和运动对象。

本发明的一些实施例包括插入方法，其插入包括第n帧和设置邻近第n帧的第(n-1)帧的多个帧以产生一个插入帧。这样的方法的一些实施例包括将第n帧宏块(MB)与对应于第n帧MB的第(n-1)帧MB比较，以将多个第n帧MB的每个分离成静态对象和运动对象；在第(n-1)帧中搜索与被确定是运动对象的多个第n帧MB的每个匹配的MB。一些实施例包括响应匹配多个第n帧MB的每个的MB估算运动矢量(MV)，多个第n帧MB被确定是运动对象；和使用估算的MV、第n帧和第(n-1)帧产生插入帧。

在一些实施例中，估算该MV包括：在第(n-1)帧的第一搜索范围中搜索与多个第n帧MB的每个匹配的MB以估算第一MV；在第(n-1)帧的第二搜索范围中搜索与多个第n帧MB的每个匹配的MB以估算第二MV；和将第n帧MB与第(n-1)帧MB匹配以估算第三MV，第(n-1)帧MB对应于第n帧MB。在一些实施例中，第一搜索范围包括多个第(n-1)帧MB，并且第二搜索范围包括多个第(n-1)帧MB，多个第(n-1)帧MB对应于被确定是运动对象的多个第n帧MB。

在一些实施例中，第一搜索范围包括对应于该匹配的第n帧MB的该第(n-1)帧MB以及邻近该相应第(n-1)帧MB的多个第(n-1)帧MB。在一些实施例中，第二搜索范围包括与匹配的第n帧MB相对应的第(n-1)帧MB，以及邻近该相应的第(n-1)帧MB、并与被确定为是运动对象的多个第n帧MB对应的多个第(n-1)帧MB。

在一些实施例中，第一MV的估算包括计算用于匹配MB的绝对差值(SAD)的总和，和估算在第(n-1)帧MB和第n帧MB之间的第一MV，第(n-1)帧MB具有最小的SAD。在一些实施例中，第二MV的估算包括计算用于匹配MB的绝对差值的总和，和估算在具有最小的SAD的第(n-1)帧MB和第n帧MB之间的第二MV。在一些实施例中，第三MV的估算包括计算用于匹配MB的绝对差值的总和(SAD)以估算第三MV。

在一些实施例中，产生插入帧包括选择估算的第一MV、估算的第二MV和估算的第三MV的平均值，和使用选择的平均值产生插入帧。

在一些实施例中，产生插入帧包括：确定匹配第n帧MB的MB是否存在于第(n-1)帧中，当匹配第n帧MB的MB存在于第(n-1)帧中的时候，使用第n帧MB和第(n-1)帧MB的平均值产生插入帧，和当匹配第n帧MB的MB没有存在于第(n-1)帧中的时候，按照估算的MV的方向，使用第n帧MB或者第(n-1)帧MB产生插入帧。

在一些实施例中，按照估算的MV的方向产生插入帧包括：确定估算的MV的方向，当估算的MV的方向是从左至右的时候，使用第n帧MB产生插入帧，和当估算的MV的方向是从右到左的时候，使用第(n-1)帧MB产生插入帧。

在一些实施例中，将第n帧宏块(MB)与对应于第n帧MB的第(n-1)帧MB比较，以将多个第n帧MB的每个分离成静态对象和运动对象包括：计算在第n帧MB和相应的第(n-1)帧MB的亮度信号之间的差值，和将该差值与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标。一些实施例包括将第n帧MB的每个分离成静态对象和运动对象。

在一些实施例中，将第n帧MB的每个分离包括：当该差值大于阈值的时候，将第n帧MB确定为运动对象，并且当该差值小于阈值的时候，将第n帧MB确定为静态对象。

在一些实施例中，该MV的估算包括在第(n-1)帧的搜索范围中搜索与第n帧MB匹配的MB以估算该MV，其中搜索范围包括与匹配的第n帧MB对应的第(n-1)帧MB，以及邻近相应的第(n-1)帧MB是多个第(n-1)帧MB。

本发明的一些实施例包括帧插入方法，其插入包括第n帧和设置邻近第n帧的第(n-1)帧的多个帧以产生一个插入帧。一些实施例的方法包括将在第n帧中的第n帧宏块(MB)与在对应于第n帧MB的第(n-1)帧中的第(n-1)帧MB比较，以将多个第n帧MB的每个分离成静态对象和运动对象。一些实施例可以包括在第(n-1)帧的搜索范围中搜索MB以估算一个运动矢量(MV)，该MB与确定是运动对象的第n帧MB的每个匹配，和使用估算的MV、第n帧和第(n-1)帧产生插入帧。在一些实施例中，该搜索范围包括对应于第n帧MB的第(n-1)帧MB，第n帧MB被确定是运动对象。

在一些实施例中，该搜索范围包括对应于该匹配的第n帧MB的该第(n-1)帧MB，以及邻近该相应第(n-1)帧MB、并与被确定是运动对象的多个第n帧MB对应的多个第(n-1)帧MB。

在一些实施例中，产生插入帧包括：确定匹配第n帧MB的MB是否存在于第(n-1)帧中，当匹配第n帧MB的MB存在于第(n-1)帧中的时候，使用第n帧MB和第(n-1)帧MB的平均值产生插入帧，和当匹配第n帧MB的MB没有存在于第(n-1)帧中的时候，按照估算的MV的方向，使用第n帧MB或者第(n-1)帧MB产生插入帧。

在一些实施例中，按照估算的MV的方向产生插入帧包括：确定估算的MV的方向，当估算的MV的方向是从左至右的时候，使用第n帧MB产生插入帧，和当估算的MV的方向是从右到左的时候，使用第(n-1)帧MB产生插入帧。在一些实施例中，将在第n帧中的第n帧宏块(MB)与在对应于第n帧MB的第(n-1)帧中的第(n-1)帧MB比较，以将多个第n帧MB的每个分离成静态对象和运动对象包括：计算在第n帧MB和相应的第(n-1)帧MB的亮度信号之间的差值，将该差值与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标，和将第n帧MB的每个分离成静态对象和运动对象。

附图说明

该附图被包括以提供对本发明进一步的理解，并且被结合进和构成本说明书的一部分。该附图举例说明本发明示范的实施例，并且与该说明书一起用来解释本发明的原理。

图1是按照本发明一些实施例的帧插入装置的方框图。

图2举例说明按照本发明一些实施例被分成宏块的帧。

图3是按照本发明一些实施例的帧插入方法的流程图。

图4和图5举例说明按照在图1中举例说明的静态对象分离单元的操作被分成宏块的帧。

图6A至图6C举例说明按照在图1中举例说明的运动矢量估算单元的操作被分成宏块的帧。

图7是按照本发明一些实施例的考虑一个封闭(occlusion)区域的帧插入方法的流程图。

图8A和图8B举例说明按照本发明一些实施例对于宏块估算的运动矢量的方向。

图9举例说明按照在图7中举例说明的一些实施例产生一个用于遮挡(occlusion)区域的插入帧。

图10是举例说明按照本发明一些实施例的帧插入装置的方框图。

图11是举例说明按照本发明一些实施例的帧插入装置的方框图。

具体实施方式

现在将在下文中参考伴随的附图更加充分地描述本发明的实施例，其中本发明的实施例被示出。但是，本发明可以以许多不同的形式实施，并且将不会认为是局限于在此处阐述的实施例。更合适地，这些实施例被提供为使得这个公开将是全面的和完整的，并且将对那些本领域技术人员完全地表达本发明的范围。相同的数字自始至终地指的是相同的单元。

应该明白，虽然可以在此处使用术语第一、第二等等来描述各种各样的单元，这些单元将不会受到这些术语的限制。这些术语仅仅用于将一个单元与另一个区别。例如，不脱离本发明的范围，第一单元可以称为第二单元，并且类似地，第二单元可以称为第一单元。如在此处使用的，该术语“和/或”包括一个或多个相关的列表项的任意和所有组合。

应该理解，当一个单元被称为是“连接”或者“耦合”到另一个单元的时候，其可以直接地连接或者耦合到另一个单元，或者可能存在插入的单元。相比之下，当一个单元被称为是“直接地连接”或者“直接地耦合”到另一个单元上的时候，不存在插入的单元。用于描述在几个单元之间的关系的其它的措词将以类似的方式(即，“在之间”对比“直接在之间”，“邻近”对比“直接邻近”等等)解释。

在此处使用的术语仅仅是为了描述特定的实施例的目的，并且不意欲限制本发明。如在此处使用的，除了该上下文清楚地表示别的方式之外，单数形式“一个”和“该”意欲同样包括多于一个的形式。应该进一步明白，当在此处使用的时候，该术语“包括”、“包含”指定存在规定的特点、操作、单元和/或部件，但是不排除存在或者增加一个或多个其它的特点、操作、单元、部件和/或其分组。

除了定义的别的方式之外，在此处使用的所有术语(包括技术和科学术语)具有与由本发明属于的该领域普通的技术人员通常所理解相同的含义。应该进一步明白，在此处使用的术语应该解释为具有一个含义，该含义符合在本公开和有关的领域的背景下的其含义，并且除了在此处特意地如此定义的之外，不会以理想化或者极度地正式的意义解释。

现在参考图1，其是按照本发明的一些实施例的帧插入装置100的方框图。该帧插入装置100可以包括静态对象分离单元110、运动矢量(MV)估算单元130和插入帧生成单元170。该帧插入装置100可以通过插入第n帧和第(n-1)帧来产生一个插入帧，其中n是大于2的整数。第n帧可以是当前帧，并且第(n-1)帧可以是直接地在当前帧之前的先前帧。该静态对象分离单元110可以以宏块(MB)为单位将第n帧分离成静态对象和运动对象。换句话说，该帧插入装置100可以将第n帧的每个MB与第(n-1)帧的相应的MB比较，并且将第n帧的每个MB分离成静态对象和运动对象。

该MV估算单元130可以在第(n-1)帧中搜索与第n帧的MB的每个匹配的MB，第n帧的MB的每个可以确定为是运动对象。以这样的方式，可以估算MV。该MV估算单元130可以包括搜索范围处理单元140、修改的搜索范围处理单元150和当前MB处理单元160。该搜索范围处理单元140可以在第(n-1)帧的第一搜索范围中搜索与第n帧的MB的每个匹配的MB。以这样的方式，可以估算第一MV。第一搜索范围可以包括第(n-1)帧的匹配MB和第(n-1)帧的MB，第(n-1)帧的MB可以设置邻近第(n-1)帧的匹配MB。换句话说，该搜索范围处理单元140可以使用全搜索估算一个MV。该修改的搜索范围处理单元150可以在第(n-1)帧的第二搜索范围中搜索与第n帧的MB的每个匹配的MB。从而，可以估算第二MV。第二搜索范围可以包括第(n-1)帧的MB，其可以对应于确定是运动对象的第n帧的MB。该当前MB处理单元160可以将第n帧的MB与对应于第n帧的MB的第(n-1)帧的MB匹配。从而，可以估算第三MV。稍后将参考图3至图6更详细地描述该静态对象分离单元110、搜索范围处理单元140、修改的搜索范围处理单元150和当前MB处理单元160。

该插入帧生成单元170可以使用估算的MV、第n帧和第(n-1)帧产生该插入帧。该插入帧生成单元170可以使用估算的第一MV、估算的第二MV和/或估算的第三MV的平均值来产生该插入帧。该插入帧生成单元170可以按照是否明显地存在与第n帧的MB匹配的第(n-1)帧的MB来使用不同的帧插入方法。以这样的方式，可以处理一个遮挡区域。稍后将参考图7至图9更详细地描述该插入帧生成单元170的操作。

现在参考图2，其举例说明按照本发明一些实施例划分为MB的帧。一个帧可以被分成多个MB，其每个可以例如由16×16个像素组成。在一些实施例中，该MB的每个也可以由像素的各种各样的数量和/或结构组成。

现在参考图3，其是按照本发明一些实施例的帧插入方法的流程图；图4和图5举例说明在图1中举例说明的静态对象分离单元110的操作中被分成宏块的帧410和450；和图6A至6C举例说明在图1中举例说明的运动矢量估算单元130的操作中被分成宏块的帧410和450。参考图1和图3至图6C，该静态对象分离单元110可以计算在第n帧的MB和第(n-1)帧MB的亮度值之间的差值(模块310)。该差值Img_Diff可以如下计算：

Img_Diff＝|f(x，y，n-1)-f(x，y，n)|………………………(1)，

这里f()表示帧的亮度值，x和y表示帧的空间位置，并且n和(n-1)表示帧号。

如在图4中举例说明的，当第n帧450被分成5×5个MB(MB’_11、MB’_12、…、MB’_55)，并且第(n-1)帧410被分成5×5个MB(MB_11、MB_12、…、MB_55)的时候，用于相应于此的第n帧450的MB和第(n-1)帧450的MB的差值Img_Diff被计算。换句话说，在第n帧450的MB(MB’_11)的亮度值和第(n-1)帧410的MB(MB_11)的亮度值之间的差值可以被计算，在第n帧450的MB(MB’_12)的亮度值和第(n-1)帧410的MB(MB_12)的亮度值之间的差值可以被计算。以这样的方式，用于其它的MB的差值Img_Diff可以被计算。

在一些实施例中，该静态对象分离单元110可以将该差值与一个阈值比较(模块320)，该阈值是用于将运动对象与静态对象区别的指标。该差值对于运动对象可以是很大的，而该差值对于静态对象可以是很小的。因此，该静态对象分离单元110可以将该差值与该阈值比较，以便确定如果该差值大于该阈值，相应的MB是运动对象，并且如果该差值小于该阈值，确定该MB是静态对象。一旦完成对于第n帧450的每个MB分离成运动对象和/或静态对象，“1”分配给确定是运动对象的MB，并且“0”分配给确定是静态对象的MB，如在图5中举例说明的。以这样的方式，可以实现二元化的(binarized)图像。在以下的描述中，运动估算(ME)可以仅仅对于分配“1”的MB执行。由于分配“ 0 ” 的MB被确定是静态对象，可以无需用于分配“0”的MB的ME，使用第(n-1)帧的相应的MB产生一个插入帧。

该搜索范围处理单元140、修改的搜索范围处理单元150和当前MB处理单元160可以估算用于MB的第一MV、第二MV和第三MV，该MB被确定是运动对象。

在下文中，将参考图6A描述按照一些实施例的搜索范围处理单元140的操作。为了处理第n帧450的MB 610，该搜索范围处理单元140可以搜索一个MB，在第(n-1)帧410的第一搜索范围630中其与第n帧的MB 610匹配。以这样的方式，可以估算第一MV(模块330)。第一搜索范围630可以包括对应于第n帧450的MB 610的第(n-1)帧410的MB(MB_33)，以及第(n-1)帧410的MB(MB_22、MB_23、MB_24、MB_32、MB_34、MB_42、MB_43和MB_44)，其设置邻近于该MB(MB_33)。如举例说明的，虽然包括在第一搜索范围中的MB具有3×3的大小，在一些实施例中，它们也可以尤其具有4×4、4×5和/或5×5的大小。

现在将参考图6B描述按照一些实施例的修改的搜索范围处理单元150的操作。为了处理第n帧450的MB 610，该修改的搜索范围处理单元150可以搜索一个MB，在第(n-1)帧410的第二搜索范围650中其与第n帧的MB 610匹配。以这样的方式，可以估算第二MV(模块340)。第二搜索范围650可以包括对应于第n帧450的MB 610的第(n-1)帧410的MB(MB_33)。第二搜索范围650可以包括第(n-1)帧410的MB(MB_22、MB_23、、MB_24MB_32、MB_33和MB_34)，其被设置邻近于MB(MB_33)，并且对应于第n帧450的MB(MB’_22、MB’_23、MB’_24、MB’_32、MB’_33和MB’_34)，其被确定是运动对象。换句话说，仅仅第(n-1)帧410的MB(MB_22、MB_23、MB_24、MB_32、MB_33和MB_34)，对应于在第n帧450的MB以外分配“1”的MB(MB’_22、MB’_23、MB’_24、MB’_32、MB’_33和MB’_34)，可以定义为第二搜索范围650。

现在将参考图6C描述按照一些实施例的当前MB处理单元160的操作。为了处理第n帧450的MB 610，当前MB处理单元160可以将第n帧450的MB 610与对应于MB 610的第(n-1)帧410的MB(MB’_33)匹配。以这样的方式，可以估算第三MV(模块350)。

对于利用搜索范围处理单元130、修改的搜索范围处理单元150和当前MB处理单元160的运动矢量估算，可以使用均方差(MSE)算法、平均绝对差值(MAD)算法，和绝对差值(SAD)的总和算法。可以使用SAD算法执行运动矢量估算，在此处将描述该SAD算法。在一些实施例中，可以尤其在本发明的范围和精神内使用MAD算法执行运动矢量估算。

在被处理的当前MB和包括在第一搜索范围或者第二搜索范围中的所有MB之间的SAD可以使用公式2计算。一个MV可以通过在当前MB和具有如在公式3中最小的SAD的MB之间的空间距离确定。在一些实施例中，该SAD可以计算如下：

$\mathrm{SAD}(\mathrm{dx},\mathrm{dy})=\underset{i=x}{\overset{x+N-1}{\mathrm{\Σ}}}\underset{j=y}{\overset{y+N=1}{\mathrm{\Σ}}}|f_n(m,n)-f_{n-1}(i+\mathrm{dx},j+\mathrm{dy})|$ ...................(2)，

这里N表示MB的大小，i和j表示当前帧的空间位置，n和(n-1)表示帧编号，和dx和dy表示在当前帧和先前帧，即，第n帧和第(n-1)帧的MB的位置之间的差值。使用该SAD，用于具有最小SAD的MB的MV可以如下获得：

$({\mathrm{MV}}_x,{\mathrm{MV}}_y)=\underset{(\mathrm{dx},\mathrm{dy})\∈R^2}{\min }\mathrm{SAD}(\mathrm{dx},\mathrm{dy})$ ....................(3)，

这里R表示用于ME的搜索范围。在一些实施例中，R可以是第一搜索范围、第二搜索范围，和/或MB(MB_33)。

该插入帧生成单元170可以选择估算的第一MV、估算的第二MV，和/或估算的第三MV的平均值(模块360)，并且使用选择的平均值产生该插入帧(模块370)。在一些实施例中，当估算的第一、第二或者第三MV的任何一个急剧地变化的时候，该插入帧生成单元170可以将该MV识别为噪声，并且除去该MV。在下文中，将描述按照该插入帧生成单元170的一些实施例用于处理遮挡区域的操作。

现在参考图7，其是按照本发明一些实施例考虑到遮挡区域的帧插入方法的流程图；和图8A和图8B举例说明按照本发明一些实施例对于MB估算的MV的方向。同样参考图1和图4，该插入帧生成单元170可以确定是否与第n帧450的MB匹配的MB明显地存在于第(n-1)帧410中(模块710)。在这点上，该插入帧生成单元170可以确定第(n-1)帧410是否包括一个准确地与第n帧450的MB匹配的MB。当第(n-1)帧410的MB和第n帧450的MB精确地彼此匹配的时候，SAD可能等于0。在这种情况下，该插入帧可以使用第n帧450的MB和其第(n-1)帧410的匹配MB的平均值来产生(模块720)。

如果没有明显地存在与第n帧450的MB匹配的第(n-1)帧410的MB，那么该遮挡区域存在。在这种情况下，没有存在于第(n-1)帧410中的图像可以存在于第n帧450中，或者存在于第(n-1)帧410中的图像可能不存在于第n帧450中。当存在该遮挡区域的时候，该估算的MV的方向可以如在图8A中举例说明的那样确定(模块730)。在图8A中，以X标记的MB可以确定为是静态对象。当估算的MV具有如在图8A中举例说明的方向的时候，“0”可以分配给一个MB，其中用于该MB的MV的SAD等于0，如在图8B中举例说明的。当用于MB的MV的SAD不等于0，并且MV的方向是从左至右的时候，该MB可以被分配“-1”。当用于MB的MV的SAD不等于0，并且MV的方向是从右到左的时候，该MB可以被分配“1”。当“-1”被分配给第n帧450的MB的时候，该插入帧可以使用第n帧450的MB来产生(模块740)。当“1”被分配给第n帧450的MB的时候，该插入帧可以使用第(n-1)帧410的相应的MB来产生(模块750)。

现在参考图9，其举例说明按照在图7中举例说明的一些实施例产生用于遮挡区域的插入帧的过程。将首先描述用于在先前帧910和当前帧950之间产生插入帧970的阶段(a)。存在于先前帧910中的部分920通过利用汽车挡住而在当前帧950中消失。在这种情况下，由于一个对应于部分960的MB从右到左运动，其可能被分配“1”，并且该插入帧970可以使用先前帧910的部分920来产生。

接下来，将描述用于在先前帧950和当前帧910之间产生插入帧970的阶段(b)。没有存在于先前帧950中的部分920存在于当前帧910中。由于对应于部分960的MB从左至右运动，其可以被分配“-1”，并且该插入帧970可以使用当前帧910的部分920来产生。

现在参考图10，其是按照本发明一些实施例的帧插入装置1000的方框图。静态对象分离单元101、搜索范围处理单元1040和插入帧生成单元1070可以以与如以上对于图1讨论的静态对象分离单元110、搜索范围处理单元140和插入帧生成单元170同样的方式工作。该帧插入装置1000可以由该搜索范围处理单元1040获得与以上对于图1所述的相同的第一MV，而在图1中举例说明的该帧插入装置100可以由MV估算单元130获得三个估算的MV。该帧插入装置1000的其它的部件可以按照以上对于图1所述的那些起作用，并且因此将不再描述。

现在参考图11，其是按照本发明一些实施例的帧插入装置1100的方框图。静态对象分离单元1110、修改的搜索范围处理单元1150和插入帧生成单元1170以与以上对于图1所述类似的方式工作。该帧插入装置1100可以由修改的搜索范围处理单元1150获得与以上对于图1所述的相同的第二MV，而在图1中举例说明的该帧插入装置100可以由MV估算单元130获得三个估算的MV。该帧插入装置1100的其它的部件可以按照以上对于图1所述的那些起作用，并且因此将不再描述。

如在此处描述的，按照本发明的一些实施例，一个输入视频可以按照该输入视频的特征分离成静态对象和运动对象，并且可以仅仅对于该运动对象执行运动估算。以这样的方式，使用较少的功率可以驱动显示器。此外，通过仅仅在修改的搜索范围中执行运动估算，可以降低不必要的计算，并且可以处理遮挡区域。此外，由于可以选择三个估算的运动矢量的平均值，错误的MV可以被校正，并且可以获得真实的运动矢量，从而实现高精度的视频。

以上公开的主题将考虑是说明性的，而不是限制性的，并且所附的权利要求意欲覆盖落在本发明的实际精神和范围内的所有上述的修改、增加和其它的实施例。因此，对于法律允许的最大范围来说，本发明的范围是由以下的权利要求和其等效物的可允许的解释来确定的，并且将不会受上述的详细说明约束或者限制。

在该附图和说明书中，已经公开了本发明典型的优选实施例，虽然采用了特定的术语，它们仅仅被用于通用和说明的意义，而不是用于限制的目的，本发明的范围在以下的权利要求中阐述。

Claims (37)

1.一种帧插入装置，其插入包括第n帧和设置邻近于第n帧的第(n-1)帧的多个帧以产生一个插入帧，其中n是大于2的整数，该帧插入装置包括：

静态对象分离单元，其被配置以将多个第n帧宏块的第n帧宏块与多个第(n-1)帧宏块的第(n-1)帧宏块比较，以将该第n帧宏块分离成静态对象和运动对象；

运动矢量估算单元，其被配置以在第(n-1)帧搜索与被确定是运动对象的第n帧宏块匹配的宏块以估算一个运动矢量；和

插入帧生成单元，其被配置以使用估算的运动矢量、第n帧和第(n-1)帧产生该插入帧。

2.根据权利要求1的帧插入装置，其中运动矢量估算单元包括：

搜索范围处理单元，其被配置以在第(n-1)帧的第一搜索范围中搜索与该第n帧宏块匹配的宏块以估算第一运动矢量；

修改的搜索范围处理单元，其被配置以在第(n-1)帧的第二搜索范围中搜索与该第n帧宏块匹配的宏块以估算第二运动矢量；和

当前宏块处理单元，其被配置以将第n帧宏块与对应于第n帧宏块的多个第(n-1)帧宏块的第(n-1)帧宏块匹配以估算第三运动矢量，

其中第一搜索范围包括第(n-1)帧的多个宏块，并且第二搜索范围包括与被确定是运动对象的多个第n帧宏块相对应的多个第(n-1)帧宏块。

3.根据权利要求2的帧插入装置，其中第一搜索范围包括对应于该匹配的第n帧宏块的该第(n-1)帧宏块以及邻近该相应第(n-1)帧宏块的多个第(n-1)帧宏块。

4.根据权利要求2的帧插入装置，其中第二搜索范围包括对应于该匹配的第n帧宏块的该第(n-1)帧宏块以及邻近该相应的第(n-1)帧宏块且对应于确定是运动对象的多个第n帧宏块的多个第(n-1)帧宏块。

5.根据权利要求2的帧插入装置，其中搜索范围处理单元被配置以计算用于匹配宏块的绝对差值的总和，和估算在具有最小的绝对差值的总和的第(n-1)帧宏块和第n帧宏块之间的第一运动矢量。

6.根据权利要求2的帧插入装置，其中修改的搜索范围处理单元被配置以计算用于匹配宏块的绝对差值的总和，和估算在具有最小的绝对差值的总和的第(n-1)帧宏块和第n帧宏块之间的第二运动矢量。

7.根据权利要求2的帧插入装置，其中当前宏块处理单元被配置以计算用于匹配宏块的绝对差值的总和以估算第三运动矢量。

8.根据权利要求2的帧插入装置，其中插入帧生成单元被配置以使用估算的第一运动矢量、估算的第二运动矢量和估算的第三运动矢量的平均值产生插入帧。

9.根据权利要求1的帧插入装置，其中插入帧生成单元被配置以当与第n帧宏块匹配的匹配宏块存在于第(n-1)帧中的时候，使用第n帧宏块和第(n-1)帧宏块的平均值产生插入帧。

10.根据权利要求1的帧插入装置，其中插入帧生成单元被配置以当与第n帧宏块匹配的匹配宏块不存在于第(n-1)帧中的时候，按照估算的运动矢量的方向，使用第n帧宏块或者第(n-1)帧宏块产生插入帧。

11.根据权利要求10的帧插入装置，其中当估算的运动矢量的方向是从左至右的时候，插入帧生成单元使用第n帧宏块，当估算的运动矢量的方向是从右到左的时候，插入帧生成单元使用第(n-1)帧宏块。

12.根据权利要求1的帧插入装置，其中静态对象分离单元被配置以计算第n帧宏块和相应的第(n-1)帧宏块的亮度信号之间的差值，将该差值与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标，并且将多个第n帧宏块的每个分离成静态对象和运动对象。

13.根据权利要求12的帧插入装置，其中静态对象分离单元被配置以当该差值大于阈值的时候，将第n帧宏块确定为运动对象，并且当该差值小于阈值的时候，将第n帧宏块确定为静态对象。

14.根据权利要求1的帧插入装置，其中运动矢量估算单元被配置以在第(n-1)帧的搜索范围中搜索与第n帧的宏块匹配的宏块以估算运动矢量，其中该搜索范围包括与第n帧宏块对应的第(n-1)帧宏块、以及邻近与第n帧宏块对应的该第(n-1)帧宏块的多个第(n-1)帧宏块。

15.一种帧插入装置，其插入包括第n帧和设置邻近于第n帧的第(n-1)帧的多个帧以便产生一个插入帧，其中n是大于2的整数，该帧插入装置包括：

静态对象分离单元，其被配置以将第n帧宏块与对应于第n帧宏块的第(n-1)帧宏块比较，以将多个第n帧宏块的每个分离成静态对象和运动对象；

运动矢量估算单元，其被配置以在第(n-1)帧的搜索范围中搜索与被确定是运动对象的多个第n帧宏块的每个匹配的宏块以估算一个运动矢量；和

插入帧生成单元，其被配置以使用估算的运动矢量、第n帧和第(n-1)帧产生该插入帧，

其中搜索范围包括对应于多个第n帧宏块的每个的第(n-1)帧宏块，多个第n帧宏块被确定是运动对象。

16.根据权利要求15的帧插入装置，其中搜索范围包括对应于该匹配的第n帧宏块的该第(n-1)帧宏块以及设置邻近该相应第(n-1)帧宏块、并与被确定是运动对象的多个第n帧宏块相对应的多个第(n-1)帧宏块。

17.根据权利要求15的帧插入装置，其中插入帧生成单元被配置以当匹配第n帧宏块的宏块存在于第(n-1)帧中的时候，使用第n帧宏块和第(n-1)帧宏块的平均值产生插入帧。

18.根据权利要求15的帧插入装置，其中插入帧生成单元被配置以当与第n帧宏块匹配的第(n-1)帧宏块不存在于第(n-1)帧中的时候，按照估算的运动矢量的方向，使用第n帧宏块或者第(n-1)帧宏块产生插入帧。

19.根据权利要求15的帧插入装置，其中静态对象分离单元被配置以计算在第n帧宏块和相应的第(n-1)帧宏块的亮度信号之间的差值，以将该差值与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标，并且将每个第n帧宏块分离成静态对象和运动对象。

20.一种帧插入方法，其插入包括第n帧和设置邻近于第n帧的第(n-1)帧的多个帧以产生一个插入帧，其中n是大于2的整数，该帧插入方法包括：

将第n帧宏块与对应于第n帧宏块的第(n-1)帧宏块比较，以将多个第n帧宏块的每个分离成静态对象和运动对象；

在第(n-1)帧中搜索与被确定是运动对象的多个第n帧宏块的每个匹配的宏块；

响应匹配多个第n帧宏块的每个的宏块估算运动矢量，多个第n帧宏块被确定是运动对象；和

使用估算的运动矢量、第n帧和第(n-1)帧产生插入帧。

21.根据权利要求20的帧插入方法，其中估算运动矢量包括：

在第(n-1)帧的第一搜索范围中搜索与多个第n帧宏块的每个匹配的宏块以估算第一运动矢量；

在第(n-1)帧的第二搜索范围中搜索与多个第n帧宏块的每个匹配的宏块以估算第二运动矢量；和

将第n帧宏块与第(n-1)帧宏块匹配以估算第三运动矢量，第(n-1)帧宏块对应于第n帧宏块，

其中第一搜索范围包括多个第(n-1)帧宏块，并且第二搜索范围包括多个第(n-1)帧宏块，多个第(n-1)帧宏块对应于被确定是运动对象的多个第n帧宏块。

22.根据权利要求21的帧插入方法，其中第一搜索范围包括对应于该匹配的第n帧宏块的该第(n-1)帧宏块以及设置邻近该相应第(n-1)帧宏块的多个第(n-1)帧宏块。

23.根据权利要求21的帧插入方法，其中第二搜索范围包括与匹配的第n帧宏块相对应的第(n-1)帧宏块，以及邻近该相应的第(n-1)帧宏块、并与被确定为是运动对象的多个第n帧宏块对应的多个第(n-1)帧宏块。

24.根据权利要求21的帧插入方法，其中第一运动矢量的估算包括：

计算用于匹配宏块的绝对差值的总和；和

估算在具有最小的绝对差值的总和的第(n-1)帧宏块和第n帧宏块之间的第一运动矢量。

25.根据权利要求21的帧插入方法，其中第二运动矢量的估算包括：

计算用于匹配宏块的绝对差值的总和；和

估算在具有最小的绝对差值的总和的第(n-1)帧宏块和第n帧宏块之间的第二运动矢量。

26.根据权利要求21的帧插入方法，其中第三运动矢量的估算包括计算用于匹配宏块的绝对差值的总和以估算第三运动矢量。

27.根据权利要求21的帧插入方法，其中产生插入帧包括：

选择估算的第一运动矢量、估算的第二运动矢量和估算的第三运动矢量的平均值；和

使用选择的平均值产生插入帧。

28.根据权利要求20的帧插入方法，其中产生插入帧包括：

确定匹配第n帧宏块的宏块是否存在于第(n-1)帧中；

当匹配第n帧宏块的宏块存在于第(n-1)帧中的时候，使用第n帧宏块和第(n-1)帧宏块的平均值产生插入帧；和

当匹配第n帧宏块的宏块没有存在于第(n-1)帧中的时候，按照估算的运动矢量的方向，使用第n帧宏块或者第(n-1)帧宏块产生插入帧。

29.根据权利要求28的帧插入方法，其中按照估算的运动矢量的方向产生插入帧包括：

确定估算的运动矢量的方向；

当估算的运动矢量的方向是从左至右的时候，使用第n帧宏块产生插入帧；和

当估算的运动矢量的方向是从右到左的时候，使用第(n-1)帧宏块产生插入帧。

30.根据权利要求20的帧插入方法，其中将第n帧宏块与对应于第n帧宏块的第(n-1)帧宏块比较，以将多个第n帧宏块的每个分离成静态对象和运动对象包括：

计算在第n帧宏块和相应的第(n-1)帧宏块的亮度信号之间的差值；

将该差值与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标；和

将多个第n帧宏块的每个分离成静态对象和运动对象。

31.根据权利要求30的帧插入方法，其中分离多个第n帧宏块的每个包括：

当该差值大于该阈值的时候，将第n帧宏块确定为运动对象；和

当该差值小于该阈值的时候，将第n帧宏块确定为静态对象。

32.根据权利要求20的帧插入方法，其中该运动矢量的估算包括在第(n-1)帧的搜索范围中搜索与第n帧宏块匹配的宏块以估算该运动矢量，其中搜索范围包括与匹配的第n帧宏块对应的第(n-1)帧宏块，以及邻近相应的第(n-1)帧宏块的多个第(n-1)帧宏块。

33.一种帧插入方法，其插入包括第n帧和设置邻近于第n帧的第(n-1)帧的多个帧以产生一个插入帧，其中n是大于2的整数，该帧插入方法包括：

将在第n帧中的第n帧宏块与在对应于第n帧宏块的第(n-1)帧中的第(n-1)帧宏块比较，以将多个第n帧宏块的每个分离成静态对象和运动对象；

在第(n-1)帧的搜索范围中搜索与确定是运动对象的多个第n帧宏块的每个匹配的宏块以估算一个运动矢量；和

使用估算的运动矢量、第n帧和第(n-1)帧产生插入帧，

其中搜索范围包括对应于第n帧宏块的第(n-1)帧宏块，第n帧宏块被确定是运动对象。

34.根据权利要求33的帧插入方法，其中搜索范围包括对应于该匹配的第n帧宏块的该第(n-1)帧宏块，以及邻近该相应第(n-1)帧宏块、并与被确定是运动对象的多个第n帧宏块对应的多个第(n-1)帧宏块。

35.根据权利要求33的帧插入方法，其中产生插入帧包括：

确定匹配第n帧宏块的宏块是否存在于第(n-1)帧中；

当匹配第n帧宏块的宏块存在于第(n-1)帧中的时候，使用第n帧宏块和第(n-1)帧宏块的平均值产生插入帧；和

当匹配第n帧宏块的宏块没有存在于第(n-1)帧中的时候，按照估算的运动矢量的方向，使用第n帧宏块或者第(n-1)帧宏块产生插入帧。

36.根据权利要求33的帧插入方法，其中按照估算的运动矢量的方向产生插入帧包括：

确定估算的运动矢量的方向；

当估算的运动矢量的方向是从左至右的时候，使用第n帧宏块产生插入帧；和

当估算的运动矢量的方向是从右到左的时候，使用第(n-1)帧宏块产生插入帧。

37.根据权利要求33的帧插入方法，其中将在第n帧中的第n帧宏块与在对应于第n帧宏块的第(n-1)帧中的第(n-1)帧宏块比较，以将多个第n帧宏块的每个分离成静态对象和运动对象包括：

计算在第n帧宏块和相应的第(n-1)帧宏块的亮度信号之间的差值；

将该差值与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标；和

将多个第n帧宏块的每个分离成静态对象和运动对象。

Images