CN100372381C - 基于模式分析的运动矢量补偿装置和方法 - Google Patents
基于模式分析的运动矢量补偿装置和方法 Download PDFInfo
- Publication number
- CN100372381C CN100372381C CNB2004100621395A CN200410062139A CN100372381C CN 100372381 C CN100372381 C CN 100372381C CN B2004100621395 A CNB2004100621395 A CN B2004100621395A CN 200410062139 A CN200410062139 A CN 200410062139A CN 100372381 C CN100372381 C CN 100372381C
- Authority
- CN
- China
- Prior art keywords
- motion vector
- projection
- motion
- values
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
Abstract
披露了一种通过确定在用于运动预测的目标块中是否存在模式图像补偿预测运动矢量的装置和方法。运动预测部分将当前帧/场的当前块与在先前帧/场建立的一搜索区域相比较,计算多个运动矢量预测误差值,并基于多个运动预测误差值预测当前块的暂时运动矢量。模式确定单元分析所计算的运动预测误差值,并确定该当前块是否是模式图像。如果该当前块被确定是模式图像,则运动补偿单元使用多个运动预测误差值生成该当前块的补偿运动矢量。运动矢量选择单元基于模式确定单元的结果选择最终运动矢量。
Description
技术领域
本发明涉及一种基于模式分析的运动矢量补偿装置和方法,并且更为具体地,涉及一种通过确定进行运动预测的块(block)是否是一个模式图(pattern image)而对预测的运动矢量进行补偿的装置和方法。
背景技术
在诸如帧速率上转换(FRC)和隔行-逐行转换(IPC)的图像处理中,必然要进行图像帧之间的运动预测。所述运动预测被用于预测运动矢量和补偿所述运动,并且,一般来说,块匹配算法(BMA)被用于所述预测。
所述BMA将与一个块大体匹配的两个连续帧/场进行比较,并且预测每个块的一个运动矢量。在此,通过利用已知的运动预测误差值,例如,绝对差分值的和,来预测所述运动矢量。此外,运动补偿处理使用所预测的运动矢量对运动进行补偿。
然而,基于块预测的常规运动预测有时会生成不准确的运动矢量。特别是,仅就周期模式的图像、即如图1A所示周期重复的同一图像而言,使用所述BMA很难预测精确的运动矢量。所述周期模式是一种以某一间隔重复某一图像的模式,例如阶梯,斑马,格子,等等。
因此,如图1B所示,当在使用BMA预测的运动矢量的基础上将运动补偿应用于周期模式的图像时,在帧/场的图像压缩过程中将出现块伪像(artifact)出现。所述块伪像指的是一个在相邻块之间的边界中断,并且导致伴随低图像质量的可视和另人讨厌的图像。这种块伪像是在没有考虑相邻块补偿的情况下使用预测的运动矢量实施基于块的运动补偿而引起的。
发明概述
为解决与常规装置相关的上述缺陷以及其它问题而研发了本发明。本发明的一个方面是提供一种基于模式分析的运动矢量补偿装置和方法,能够在考虑到多个块当中关联性的情况下,通过确定在多个块中是否存在某个模式图像,对运动矢量进行补偿,借此减少由于在某个块上不准确预测的运动矢量所导致的块伪像。
通过提供一种基于模式分析的运动矢量补偿装置,上述以及其它目的和优点被充分地实现。所述补偿装置包括:一个运动预测部分,用于将当前帧/场的当前块与在先前帧/场中所建立的某一搜索区域进行比较,计算多个运动预测误差值,并基于所述多个运动预测误差值预测当前块的一个暂时的运动矢量;一个模式确定单元,用于分析所计算的运动预测误差值,并确定当前块是否是一个模式图像;一个运动补偿单元,用于如果当前块被确定为是所述模式图像,则使用所述多个运动预测误差值生成当前块的一个补偿运动矢量;以及一个运动矢量选择单元,用于在所述模式确定单元结果的基础上从由运动预测部分预测的暂时运动矢量或由与动补偿部分预测的补偿运动矢量中选择一个最终的运动矢量。
详细地说,所述运动预测部分包括:一个运动预测误差计算单元,用于将一个块匹配方法应用当前块和以某一规模被分成多个块的当前帧/场的搜索区域,并计算多个运动预测误差值;以及一个运动矢量预测单元,用于在所生成的多个运动预测误差值的一个最小运动预测误差值的一个点的基础上,预测当前块的暂时运动矢量。
在一个实施例中,所述模式确定单元包括一个积分投影(integralprojection)单元,用于将积分投影应用于所述多个运动预测误差值,并生成多个投影值;一个投影值确认单元,用于确认在与小于多个投影值的第一和第二投影值的预定第一和第二投影值对应的两点之间至少一个最小局部投影值的数量;一个周期计算单元,用于计算包括至少一个连续出现在所述多个投影值中的最小局部投影值的重复周期的数量,并将搜索区域的长度除以重复周期的数量以计算一个周期;以及一个模式确定单元,用于分析所确认的最小局部投影值的数量和所计算的重复周期的数量,并确定当前块是否是所述模式图像。
另外,所述积分投影单元包括一个垂直投影器,用于在垂直方向上将所述积分投影应用于多个运动预测误差值,并生成多个垂直投影值;还包括一个水平投影器,用于在水平方向上,将所述积分投影应用于多个运动预测误差值,并生成多个水平投影值。
另外,所述投影值确认单元包括一个垂直投影值确认部分,用于确认在与小于所生成的多个垂直投影值的第一和第二垂直投影值的预定第一和第二垂直投影值对应的两点之间的最小垂直局部投影值的数量;以及一个水平投影值确认部分,用于确认在与小于所生成的多个水平投影值的第一和第二水平投影值的预定第一和第二水平投影值对应的两点之间的最小局部水平投影值的数量。
此外,所述周期计算单元包括:一个垂直周期计算器;用于计算包括连续出现在多个垂直投影值中的至少一个或者多个最小局部垂直投影值的重复垂直周期的数量;以及一个水平周期计算器,用于计算包括连续出现在多个水平投影值中的至少一个或者多个最小局部水平投影值的重复水平周期的数量。
在一个实施例中,所述垂直和水平周期计算器基于以下的等式计算重复的垂直和水平周期的数量:
其中,γV表示重复垂直周期的数量,LV,a表示通过将多个垂直投影值的两相邻垂直投影值之间的所有绝对差相加所得到的垂直投影长度,LV,p表示多个垂直投影值的最大和最小垂直投影值之间的绝对差,γh表示重复水平周期的数量,Lh,a表示通过将多个水平投影值的两相邻水平投影值之间的所有绝对差相加所得到的水平投影长度;以及Lh,p表示多个水平投影值中的最大和最小水平投影值之间的绝对差。
另外,所述垂直周期计算器将搜索区域的水平长度除以重复垂直周期的数量并计算所述模式图像的垂直周期,以及所述水平周期计算器将搜索区域的垂直长度除以重复水平周期的数量并计算所述模式图像的水平周期。
详细地说,如果最小局部投影值的数量至少是2并且重复周期的数量大于预定的第一阈值,则所述模式确定单元确定当前块是一个模式图像。
在另一个范例性实施例中,基于模式分析的运动矢量补偿装置还包括一个模式分类部分,用于在当前块是模式图像的情况下,依据位于搜索区域中心最近处的最小局部误差值的一点,将模式图像分类为具有当前块的零个运动的静态模式图像或者由于当前块的运动而生成的动态模式图像。
另外,所述模式分类部分将位于搜索区域中心最近处的最小局部误差值与周期计算单元计算的周期相比较,并将模式图像分类,所述最小局部误差值是与在小于多个运动预测误差值中的第一和第二误差值的预定第一和第二误差值对应的两点之间的至少一个最小局部误差值中的一个。
另外,如果所述模式图像满足以下条件,则所述模式分类部分确定所述模式图像为静态模式图像:
|u|=α·p
其中,u表示位于最近处的第一最小局部误差值的点,α表示某一恒量,以及p表示由周期计算单元计算的周期。
详细地说,所述运动补偿单元包括:一个静态运动补偿单元,用于在所述模式图像被分类为静态模式图像的情况下,基于与第一最小局部误差值相应的点,预测和生成补偿运动矢量;一个平均矢量计算单元,用于在所述模式图像被分类为动态模式图像的情况下,计算与当前块相邻的块的运动矢量的平均矢量;以及一个动态运动补偿单元,用于在位于最靠近所计算的平均矢量的至少一个或多个最小局部误差值的第二最小局部误差值的一个点的基础上预测和生成补偿运动矢量。
另外,如果所述模式确定单元确定当前块是模式图像,则所述运动矢量选择单元选择运动补偿单元预测的补偿运动矢量作为最终运动矢量。
另外,如果所述模式分类部分将模式图像分类为静态模式图像,则所述运动矢量选择单元选择由静态运动补偿单元预测的补偿运动矢量,同时,如果所述模式分类部分将模式图像分类为动态模式图像,则所述运动矢量选择单元选择由动态运动补偿单元预测的补偿运动矢量。
在一个范例性实施例中,使用绝对差的和(SAD),平均绝对差(MAD),或者平均平方误差(MSE)计算第一和第二运动预测误差值。
同时,通过提供一种基于模式分析的运动矢量补偿方法,上述以及其它目的和优势被充分地实现,所述补偿方法包括:运动预测步骤,用于将当前帧/场的当前块与先前帧/场中所建立的一搜索区域进行比较,计算多个运动预测误差值,并基于所述多个运动预测误差值预测当前块的一个暂时的运动矢量;模式确定步骤,用于分析计算的运动预测误差值,并确定当前块是否是一个模式图像;如果当前块确定为所述模式图像,则一个运动补偿步骤通过利用所述多个运动预测误差值,生成当前块的一个补偿运动矢量;以及运动矢量选择步骤,用于选择由运动预测步骤预测的暂时运动矢量或者由基于模式确定步骤一个结果的运动补偿步骤所补偿的补偿运动矢量作为最终运动矢量。
详细地说,所述运动预测步骤包括:运动预测误差计算步骤,用于将一个块匹配方法应用于当前块和以某一规模将当前帧/场分成多个块的搜索区域,并计算多个运动预测误差值;以及运动矢量预测步骤,基于生成的多个运动预测误差值中一个最小运动预测误差值的一点,预测当前块的暂时运动矢量。
另外,所述模式确定步骤包括:积分投影(integral projection)步骤,用于将积分投影施加于所述多个运动预测误差值,并生成多个投影值;投影值确认步骤,用于确认在与预定第一和第二投影值对应的两个点之间小于多个投影值的第一和第二投影值的至少一个最小局部投影值的数量;周期计算步骤用于计算重复周期的数量,所述重复周期包括连续出现在多个投影值中的至少一个最小局部投影值,并将搜索区域的长度除以重复周期的数量以计算一个周期;以及模式确定步骤,用于分析所确认的最小局部投影值的数量和所计算的重复周期的数量,并确定当前块是否是所述模式图像。
另外,所述积分投影步骤包括一个垂直投影步骤,用于在垂直方向上将所述积分投影应用于多个运动预测误差值,并生成多个垂直投影值;以及一个水平投影步骤,用于在水平方向上将所述积分投影应用于多个运动预测误差值,并生成多个水平投影值。
另外,所述投影值确认步骤包括一个垂直投影值确认步骤,用于确认在与预定第一和第二投影值对应的两个点之间小于所生成的多个垂直投影值的第一和第二投影值的最小垂直局部投影值的数量;以及一个水平投影值确认步骤,用于确认在与预定第一和第二水平投影值对应的两点之间小于所生成的多个水平投影值的第一和第二水平投影值的最小水平局部投影值的数量。
另外,所述周期计算方法包括:垂直周期计算步骤,用于计算重复垂直周期的数量,所述重复垂直周期包括连续出现在多个垂直投影值中的至少一个或者多个最小局部垂直投影值;以及水平周期计算步骤,用于计算重复水平周期的数量,所述重复水平周期包括连续出现在多个水平投影值中的至少一个或者多个最小局部水平投影值。
在一个范例性实施例中,所述垂直和水平周期计算步骤基于以下等式计
算重复的垂直和水平周期的数量:
其中,γV表示重复垂直周期的数量,LV,a表示通过将多个垂直投影值中两相邻垂直投影值之间的所有绝对差相加所得到的一个垂直投影长度,LV,p表示多个垂直投影值中的最大和最小垂直投影值之间的绝对差,γh表示重复水平周期的数量,Lh,a表示通过将多个水平投影值中两相邻水平投影值之间的所有绝对差相加所得到的一个水平投影长度;以及Lh,p表示多个水平投影值中的最大和最小水平投影值之间的绝对差。
另外,所述垂直周期计算步骤将搜索区域的水平长度除以重复垂直周期的数量,并计算所述模式图像的垂直周期,以及所述水平周期计算步骤将搜索区域的垂直长度除以重复水平周期的数量,并计算所述模式图像的一个水平周期。
如果最小局部投影值的数量至少是2并且重复周期的数量大于一个预定的第一阈值,则所述模式确定步骤确定当前块是一个模式图像。
详细地说,基于模式分析的运动矢量补偿方法还包括一个模式分类步骤,用于在当前块是模式图像的情况下,以位于搜索区域中心最近处的最小局部误差值的一点伪基础,将模式图像分类为具有零运动当前块的静态模式图像或者由于当前块的运动而生成的动态模式图像。
另外,所述模式分类步骤将位于搜索区域中心最近处的第一最小局部误差值与周期计算步骤计算的周期相比较,并将模式图像分类,所述第一最小局部误差值是在与预定第一和第二误差值对应的两点之间小于多个运动预测误差值的第一和第二误差值的至少一个最小局部误差值的一个。
如果所述模式图像满足以下条件,则所述模式分类步骤确定所述模式图像为静态模式图像:
|u|=α·p
其中,u表示位于最近处的第一最小局部误差值的点,α表示某一恒量,以及p表示由周期计算单元计算出的周期。
详细地说,所述运动补偿步骤包括:一个静态运动补偿步骤,用于在所述模式图像被分类为静态模式图像的情况下,在与第一最小局部误差值对应的一个点的基础上预测和生成补偿运动矢量;一个平均矢量计算步骤,用于在所述模式图像被分类为动态模式图像的情况下,计算当前块的相邻块运动矢量的平均矢量;以及一个动态运动补偿步骤,用于在最接近所计算平均矢量的至少一个最小局部误差值的第二最小局部误差值的基础上预测和生成补偿运动矢量。
另外,如果所述模式确定步骤确定当前块是模式图像,则所述运动矢量选择步骤选择由运动补偿步骤预测的补偿运动矢量作为最终运动矢量。
如果所述模式分类步骤将模式图像分类为静态模式图像,则所述运动矢量选择步骤选择由静态运动补偿单元预测的补偿运动矢量,同时,如果所述模式分类步骤将模式图像分类为动态模式图像,则所述运动矢量选择步骤选择由动态运动补偿步骤预测的补偿运动矢量。
附图说明
通过参照附图描述本发明的一些实施例,本发明的上述方面和特点将更为明显,其中:
图1A示出了常规周期模式图像的视图。
图1B示出了利用常规运动预测方法具有块伪像的周期模式的模拟图像。
图2的框图简要示出了根据本发明优选实施例的基于模式的运动矢量补偿装置。
图3的框图详细示出了图2所示的模式确定单元。
图4以三维形式示出了由图2所示的运动预测误差计算单元所计算的部分SAD图。
图5示出了从图4所示SAD图中得到的多个垂直投影值。
图6A和图6B是分别显示一个由静态模式图像得到的二维SAD图和一个由动态模式图像得到的二维SAD图的视图。
图7示出了利用图2所示模式确定单元减少了块伪像的图像模拟视图。
图8是一个简要地解释图2中基于模式的运动矢量补偿过程的流程图。
具体实施方式
在下文中,将参照附图详细描述本发明。
图2的框图简要示出了根据本发明范例性实施例的一个基于模式分析的运动矢量补偿装置,以及图3的框图详细示出了图2所示模式确定单元的结构。
参照图2,基于模式分析的运动矢量补偿装置200具有运动预测部分210、模式确定单元、模式分类部分230、运动补偿单元240以及运动矢量选择单元250。
运动预测部分210包括运动预测误差计算单元212和运动矢量预测单元214。
运动预测误差计算单元212将当前输入帧/场fn(在下文中,称为‘当前帧’)分为每一个具有某一规模的多个块,并预测每个块的运动矢量γ。详细地说,运动预测误差计算单元212将是划分后多个块当中一个块的与预测的运动矢量相关的当前块与在先前帧/场fn-1(在下文中,称为‘先前帧’)中建立的搜索区域相比较,以计算多个运动预测误差值。
这里,所述多个运动预测误差值能够通过双向BMA,单向BMA,或者所有已知的能预测运动矢量的方法预测。另外,所述运动预测误差值能够通过诸如绝对差和(SAD),平均绝对差(MAD),平均平方误差(MSE)等等多种方法计算,但是本发明应用所述SAD值,所以该数值被称为“SAD值”。
运动矢量预测单元214根据所计算的多个运动预测误差值的最小误差值预测当前块的暂时运动矢量(暂时MV)。
在这个方法中,运动预测部分210预测划分后多个块的SAD值和暂时运动矢量。
根据SAD图所计算的SAD值以及SAD图的规模和搜索区域K×K的规模相同。图4以三维形式示出了部分所计算的SAD图。参照图4,x表示搜索区域的水平方向轴,以及y表示搜索区域的垂直方向轴。例如,该图示出在(x,y)=(0,5)处的SAD值为1500。这里,形成所述SAD图的多个SAD值是利用上述BMA所得到的。
被施加运动补偿的多个块中当前块的SAD图被传送给运动矢量预测单元214、模式确定单元220、模式分类部分230和以下将描述的运动补偿单元240。此外,当前块的暂时运动矢量被传送给下面将要描述的运动矢量选择单元250。
模式确定单元220分析所计算的SAD图,即形成一个搜索区域的多个SAD值,并确定在当前块中是否存在模式图像。所述模式图像是一个以特定间隔周期性重复的图像,称之为‘周期模式图像’。参照图3,模式确定单元220包括积分投影单元222、投影值确认单元224、周期计算单元226和模式确定单元228。另外,模式确定单元220通过分别考虑SAD图的垂直和水平方向特性确定一个周期模式图像。下面将详细描述为确定水平方向的周期模式而对每个块的处理,且由于垂直方向的周期模式的确定与水平方向的周期模式的确定几乎相同,所以,为解释方便起见,只简要描述垂直方向周期模式的确定。
积分投影单元222将所述积分投影应用于当前块的SAD图以生成多个积分矢量(在下文中称为‘投影值’)。因此,能够最小化由于噪音而引起的图像质量下降。
在本发明中,投影单元222应用水平和垂直投影,因此,集成投影单元222具有垂直投影器222a和水平投影器222b。
垂直投影器222a在垂直方向上将垂直积分投影应用于当前块的SAD图,以生成多个垂直投影值。即,所述垂直投影器222a施加垂直积分投影以在垂直方向上确定一个周期模式,例如使用该周期模式,一个K×K矩阵的所述SAD图被转换成一个K×1矩阵的垂直投影值。
图5示出了在图4所示SAD图的基础上生成的多个垂直投影值。
由垂直积分投影所生成的第X点垂直投影值可由下述等式1表示:
等式1:
参照图5和等式1,x表示一个搜索区域的一个垂直方向轴,SV(X)表示在第X点的垂直投影值,E(x,y)表示对应于运动矢量(x,y)的一个SAD值,以及K表示位于搜索区域y轴上的SAD值的总数。
水平投影器222b在水平方向上将积分投影应用于当前块的SAD图,以生成多个水平投影值。即,所述水平投影器222b应用水平积分投影来确定垂直方向的周期模式,通过上述水平积分投影,一个(K×K)矩阵的SAD图转换成一个(K×l)矩阵的水平投影值。所述水平积分投影生成的y点(yth)水平投影值能够用以下等式2表示:等式2:
参照等式2,y表示一个搜索区域的垂直方向轴,Sh(y)表示在y点的水平投影值,E(x,y)表示一个对应于运动矢量(x,y)的SAD值,以及K表示在搜索区域x轴上的SAD值的总数。
所生成的多个垂直和水平投影值被传送给投影值确认单元224。
投影值确认单元224确认由积分投影单元222生成的多个投影值中最小局部投影值n的数量。这里,最小局部投影值位于多个投影值的第一和第二投影值之间,但小于第一和第二投影值。所确认的最小局部投影值在模式确定单元228确定是否存在一个模式图像的时候使用,其中所述模式确定单元228将在之后描述。
在本发明中,投影值确认单元224具有垂直投影值确认部分224a和水平投影值确认部分224b。
所述垂直投影值确认部分224a确认生成的多个确认投影值中最小局部垂直投影值nV的数量。最小局部垂直投影值处于多个垂直投影值的第一和第二垂直投影值之间,但是小于第一和第二垂直投影值。参照图5,当某一垂直投影值SV(X)小于相邻的两个垂直投影值SV(X-1)和SV(X+1)时,SV(X)对应于最小局部垂直投影值。
水平投影值确认部分224b确认生成的多个水平投影值的最小局部水平投影值nh的数量。这里,最小局部水平投影值位于多个水平投影值的第一和第二水平投影值之间,但是小于第一和第二水平投影值。
此外,垂直和水平投影确认部分224a和224b将各经过确认的最小局部值的位置信息传送给模式分类部分230、静态运动补偿单元242以及以下将描述的动态运动补偿单元246。
周期计算单元226计算包括在由集成投影单元222生成的多个投影值中连续出现的多个最小局部投影值中的至少一个最小局部投影值的重复周期γ的数量。另外,周期计算单元226将搜索区域的长度或规模除以重复周期的数量,并计算周期T。
在本发明中,周期计算单元226具有垂直周期计算器226a和水平周期计算器226b。
垂直周期计算器226a利用等式3计算重复垂直周期的数量。在这里,所述垂直周期指的是一些包括连续出现在由垂直投影器222a所生成的多个垂直投影值中的至少一个最小局部垂直投影值的周期。
等式3:
其中,γV表示重复垂直周期的数量,LV,a表示通过将多个垂直投影值的两相邻垂直投影值之间的所有绝对差相加所得到的垂直投影长度,以及LV,p表示多个垂直投影值中最大和最小垂直投影值(SV,max,SV,min)之间的绝对差。在等式3中,多个垂直投影值的最大和最小垂直投影值(SV,max,SV,min)之间的绝对差指的是对应于半个周期的垂直投影值之间的差,所以,能够使用等式3来计算重复垂直周期的数量。因此,2LV,p指的是对应于一个周期的差。
另外,所述垂直周期计算器226a基于以下的等式4计算一个垂直周期:
等式4:
其中,Tv表示垂直周期,K表示搜索区域的水平方向长度,以及γV表示重复垂直周期的数量。参照等式4,所述垂直周期计算器226a将搜索区域的水平方向长度除以重复垂直周期数量,然后计算垂直周期。
另一方面,水平周期计算器226b基于等式5计算重复水平周期的数量。这里,所述水平周期指的是一些包括连续出现在由水平投影器222b所生成的多个水平投影值中至少一个最小局部水平投影值的周期。
等式5:
其中,γh表示重复水平周期的数量,Lh,a表示通过将多个水平投影值的两相邻水平投影值之间的所有绝对差相加所得到的水平投影长度,以及Lh,p表示多个水平投影值中最大和最小水平投影值(Sh,max,Sh,min)之间的绝对差。参照等式5,水平投影值的最大和最小水平投影值之间的差指的是对应于半个周期的水平投影值之间的差,所以,能够使用等式5计算重复水平周期的数量。因此,2Lh,p指的是对应于一个周期的差。
另外,水平周期计算器226b利用以下的等式6计算水平周期:
等式6:
其中,Th表示一个水平周期,K表示一个搜索区域的垂直方向长度,以及γh表示重复水平周期的数量。参照等式6,所述水平周期计算器226b将一个搜索区域的垂直方向长度除以重复水平周期的数量,然后计算水平周期。
模式确定单元228分析由投影值确认单元224确认的最小局部投影值n的数量和由周期计算单元226计算的重复周期γ的数量,并确定在当前块中是否存在模式图像。详细地说,如果存在至少两个最小局部投影值并且重复周期的数量大于预定的第一阈值,则所述模式确定单元228将当前块确定为周期模式图像。
例如,当在垂直方向确定一个周期模式时,如果存在至少两个由垂直投影值确认部分224a所确认的最小局部垂直投影值,并且垂直周期计算器226a所计算的垂直周期大于第一阈值1.75,则所述模式确定单元228确定当前块为一个垂直方向的周期模式图像。另外,至于对水平方向的周期模式的确定,所建立的第一阈值可以与1.75相同或不同。
另外,所述模式确定单元228将确定结果传送给模式分类部分230、运动补偿单元240以及之后将描述的运动矢量选择单元250。
如果模式确定单元228确定当前块是一个模式图像,则模式分类部分230在最接近搜索区域中心(即零矢量)、没有运动的最小局部误差值存在的位置的基础上,将所述模式图像分类成静态模式图像和动态模式图像中的任何一个。这里,所述静态模式图像是指基本不具有当前块运动(即,零矢量)的周期模式图像,以及所述动态模式图像是指具有当前块基本运动的周期模式图像。
详细地说,模式分类部分230将位于搜索区域中心最近距离处的至少一个最小局部误差值与由周期计算单元226所计算的周期模式图像的周期相比较,并将模式图像分类成一个垂直方向的模式图像或一个水平方向的模式图像。所述最小局部误差值是指位于预定的第一和第二误差值之间但小于第一和第二误差值的SAD图的一个数值。
例如,模式分类部分230使用下述等式7分类水平方向的周期模式图像:
等式7:
periodic pattern image in horizotal direction=
static pattern image:if|x’|<αTv,or,
dynamic pattern image,otherwise
其中,x’表示最接近搜索区域中心处的所述最小局部误差值的位置,T表示一个垂直周期,以及α表示本发明中的某一常数1/8,但不局限于此。
图6A用于解释静态模式图像的SAD图,以及图6B用于解释动态模式图像的SAD图,图6A和6B都是图4所示SAD图的搜索区域中心区的二维图表。
首先,参照等式7和图6A,点P和R总的每一个表示最小局部误差值,点C表示搜索区域的中心,用于指出其中不存在当前块运动的位置,以及L表示从搜索区域C的中心左移α和右移Tv的范围,该范围被预先建立以用于模式图像分类。在这种情况下,如果点R、即最接近搜索区域中心C的最小局部误差值包括在范围L内,则模式分类部分230将模式确定单元220已确定的垂直方向的周期模式图像分类为静态模式图像。这里,所述最小全局误差值是指形成SAD图的多个运动预测误差值的最小运动预测误差值。
另一方面,参照等式7和图6B,如果点R、即最接近搜索区域中心C的最小局部误差值没有包括在所建立的范围L内,则模式分类部分230将模式确定单元220已确定的水平方向的周期模式图像分类为动态模式图像。
另外,模式分类部分230基于等式8分类垂直方向的周期模式图像:
等式8:
periodic pattern image in vertical direction=
static pattern image,if|y’|<αTh,or,
dynamic pattern image,otherwise
参照等式8,y’表示最接近搜索区域中心的最小局部误差值的点,Th表示水平周期,以及α表示一个特定系数,本发明中所述系数为1/8,但该系数并不局限于此。实现水平方向的模式图像的分类与实现垂直方向的模式图像的分类相同,因此,将省略对水平方向模式图像的分类的解释。
如果当前块被确定为是一个模式图像,则运动补偿单元240使用SAD图生成当前块的补偿运动矢量。具体地说,运动补偿单元240依据模式确定单元220所确定的垂直和水平方向的模式图像而生成被适当补偿的运动矢量。周期模式的最小局部误差值的点伴随着周期模式的运动而移动,因此,运动补偿单元240在考虑周期模式运动的同时实施补偿。即,运动补偿单元240根据模式分类部分230作出的分类结果适当地执行运动补偿。为此,运动补偿单元240具有静态运动补偿单元242、平均矢量计算单元244和动态运动补偿单元246。
静态运动补偿单元242生成被模式分类部分230确定为是静态模式图像的当前块的补偿运动矢量。详细地说,静态运动补偿单元242根据最小局部误差值的点、例如是最接近搜索区域中心的图6A中的点R生成补偿运动矢量。由此,避免了将与其它最小局部误差值、例如是图6A中的点P和Q对应的矢量确定为当前块的最终运动矢量。静态运动补偿单元242中的补偿处理根据形成周期模式的多个块确定相容的运动矢量。由此,预测的矢量被用在对图像的补偿中,所以,块间模式的误匹配、即在周期模式图像中发生的块伪像现象能够被大大地减少。
另外,如果模式分类部分230确定当前块的模式图像是动态模式图像,则平均矢量计算单元244在生成补偿运动矢量之前计算与当前块相邻的块的运动矢量的平均矢量。这里,各相邻块的运动矢量是由之后将要描述的运动矢量选择单元250提供的最终运动矢量。
下面将参照图6B详细描述在上述相邻块运动矢量的平均矢量的基础上动态运动补偿单元246近似地预测当前块的运动矢量。即,在位于最接近至少一个最小局部误差值的所计算的平均矢量的最小局部误差值的点R的基础上,动态运动补偿单元246生成一个补偿运动矢量。但是,由于在当前块的模式图像是动态模式图像情况下不能确定多个最小局部误差值中的任何一个都指出了基本运动,所以,相邻块的运动矢量当中的关联性被用于生成当前块的补偿的运动矢量(MV)。
运动矢量选择单元250选择由运动预测部分210预测的暂时运动矢量作为最终运动矢量(最终MV),并且基于模式确定单元228的确定结果,运动补偿单元240生成补偿运动矢量。详细地说,如果模式确定单元228确定当前块不是模式图像,运动矢量选择单元250选择运动预测部分210预测的暂时运动矢量作为最终的运动矢量。
相反,如果模式确定单元228确定当前块是模式图像,则运动矢量选择单元250选择由静态运动补偿242和动态运动补偿单元246中任何一个所生成的补偿运动矢量作为最终运动矢量。即,如果所述模式确定单元228确定当前块是模式图像,且模式分类部分230将模式图像分类为静态模式图像,则所述运动矢量选择单元250选择由所述静态运动补偿单元242生成的补偿运动矢量作为最终的运动矢量。另外,如果所述模式确定单元228确定当前块是模式图像并且所述模式分类部分230将模式图像分类为动态模式图像,则所述运动矢量选择单元250选择由所述动态运动补偿单元246生成的补偿运动矢量作为最终的运动矢量。
如上所述,通过确定当前块是否是一个模式图像并接着确定一个最终运动矢量,在图像输出终端(未示出)能够得到,如图7所示的,与图1A相比图像中的块伪像已经明显减少的图像。
图8的流程用于简要解释基于图2所示模式的运动矢量补偿处理。
参照图2至图8,首先,运动预测误差计算单元212将当前块与在先前帧建立的搜索区域相比较,并计算多个运动预测误差值(S805)。SAD、MAD和MSE值中的任何一个都能够被应用于所述多个运动预测误差值,和在本发明中应用SAD值。因此,在下文中,所计算的多个运动预测误差值被称之为SAD图。运动矢量预测单元214基于具有SAD图中最小SAD值的一点预测当前块的一个暂时运动矢量(S810)。
如果计算出了SAD图,则积分投影单元222将一个积分投影施加于SAD图,并生成多个投影值(S815)。投影值确认单元224确认在步骤S815中生成的多个投影值的最小局部投影值的数量(S820)。另外,周期计算单元226计算包括在多个投影值中连续出现的最小局部投影值的至少一个投影值的重复周期的数量,并将该搜索区域的长度除以重复周期数,以计算实际的周期(S825)。
如果执行了步骤S825,则模式确定单元228分析在步骤S820确认的最小局部投影值的数量和步骤S825中计算的重复周期的数量,并确定当前块是否是一个模式图像(S830)。如果步骤S830确定当前块不是模式图像,则运动矢量选择单元250选择步骤S810中预测的暂时运动矢量作为当前块的最终运动矢量(S835)。
相反,如果步骤S830确定当前块是模式图像,则模式分类部分230将模式图像分类成一个静态模式图像或者一个动态模式图像(S840)。
如果步骤S840将模式图像分类为静态模式图像,则静态运动补偿单元242基于最接近搜索区域中的最小局部误差值的点预测补偿运动矢量(S845)。另外,运动矢量选择单元250选择在步骤S845中预测的补偿运动矢量作为当前块的最终运动矢量。
相反,如果步骤S840将模式图像确定为动态模式图像,则平均矢量计算单元244计算与当前块相邻的块的运动矢量的平均矢量(S855)。如果执行了步骤S855,则动态运动补偿单元246基于在步骤S855计算的最接近平均矢量的SAD图中最小局部误差值的点预测补偿运动矢量(S860)。另外,运动矢量选择单元250选择步骤S860中预测的补偿运动矢量作为当前块的最终运动矢量(S850)。
同时,在上述的本发明中,如果模式确定单元228确定当前块是模式图像,则模式分类部分230、静态运动补偿单元242以及动态运动补偿单元246读出由垂直投影值确认部分224a和水平投影值确认部分224b分别确认的最小局部误差值的点的信息,并且执行它们各自的操作。
如果模式确定单元228确定当前块是该模式图像,模式分类部分230、静态运动补偿单元242以及动态运动补偿单元246提取由垂直投影值确认部分224a和水平投影值确认部分224b分别确认的最小局部投影值的点的信息,并且执行它们各自的操作。
以下将描述对最小局部投影值的点的信息的提取和参照图2描述各个操作。
运动预测部分210预测上述被平均划分的块的SAD值和暂时运动矢量。此外,运动预测部分210将包含SAD值的SAD图传送给模式确定单元220和模式分类部分230。
模式确定单元220分析所传送的SAD图,并确定当前块是否是一个模式图像。为此,模式确定单元220的积分投影单元222将积分投影应用于当前块的SAD图,并生成多个积分矢量。所述积分投影单元222最好应用垂直积分投影和水平积分投影分别生成多个垂直积分矢量和水平积分矢量。在下文中,所述垂直积分矢量被称之为‘垂直投影值’,所述水平积分矢量被称之为‘水平投影值’。
另外,投影值确认单元224确认所生成的多个垂直投影值的最小局部垂直投影值的数量nv,和所生成的水平投影值的最小局部水平投影值的数量nh。另外,投影值确认单元224确认多个最小局部垂直和水平投影值的点的信息,并将该信息传送给模式分类部分230、静态运动补偿单元242以及动态运动补偿单元246。
如果模式确定单元228确定当前块是所述模式图像,则模式分类部分230在最接近该搜索区域中心且指出不存在运动的最小局部投影值的点的基础上将模式图像分类为静态模式图像或动态模式图像。
详细地说,模式分类部分230将位于最接近该搜索区域中心的点处的至少一个或多个最小局部投影值的最小局部投影值与由周期计算单元226所计算的周期模式图像的周期相比较,并将该模式图像分类为一个垂直方向的模式图像或者分类为一个水平方向的模式图像。所述最小局部投影值是指小于与SAD投影值中预定第一和第二投影值对应的SAD投影值的值。
由于能够类似地应用结合图6A和图6B的所做的上述描述,因此,关于由模式分类部分230对模式图像进行分类的描述将省略。但是,图6A和图6B示出了当前块的模式图像的分类,从而将最小全局误差值设置为最小全局投影值并将最小局部误差值设置为最小局部投影值。
在模式分类部分230处理结果的基础上,运动补偿单元240执行运动补偿。具体地说,如果当前块是一个模式图像,则运动补偿单元240使用多个积分矢量的点的信息、即由投影值确认单元224确认的积分投影值,并生成当前块的补偿运动矢量。
详细地说,静态运动补偿单元242使用多个积分投影值的点的信息,并生成被确定为是静态模式图像的当前块的补偿运动矢量,而动态运动补偿单元246使用多个积分投影值的点的信息和由平均矢量计算单元244所计算的平均矢量,并生成被确定为是动态模式图像的当前块的补偿运动矢量。
运动矢量选择单元250选择由运动预测部分210预测的暂时运动矢量或由运动补偿单元240在模式确定单元228确定结果的基础上补偿的补偿运动矢量作为最终运动矢量(最终MV)。
即,如果模式确定单元228确定当前块不是一个模式图像,则运动矢量选择单元250选择由运动预测部分210预测的暂时运动矢量作为最终运动矢量。
相反,如果模式确定单元228确定当前块是所述模式图像,那么,运动矢量选择单元250选择由静态运动补偿单元242或动态运动补偿单元246所生成的补偿运动矢量作为最终运动矢量。
此外,本发明的垂直和水平周期计算器226a和226b可以在不考虑模式确定单元228确定结果的情况下计算垂直和水平周期,但是,也可以仅在模式确定单元228确定当前块是模式图像的情况下采用该垂直和水平周期计算器226a和226b计算垂直和水平周期。
如截至目前所描述的,根据本发明基于模式分析的运动矢量补偿装置和方法能够在运动预测误差值的基础上分析其中很难精确预测运动矢量的模式区域的模式并使用相邻块当中的关联性精确预测运动矢量。因此,当应用于FRC、IPC、...、等等时,本发明能够有效地减少诸如由于运动矢量预测误差而在补偿图像中发生的块伪像的图像质量降低现象。
上述的实施例和优点只是范例且不能解释为对本发明的限制。本教导能够容易地应用于其它类型的设备。另外,本发明实施例的描述也仅试图用来说明,而不是用来限制权利要求的范围,并且许多替换、修改以及变化对本领域的普通技术人员来说都将是显而易见的。
Claims (31)
1.一种基于模式分析的运动矢量补偿装置,包括:
运动预测误差计算单元,用于将一个块匹配方法应用于当前块和当前帧或场的搜索区域,并计算多个运动预测误差值;
运动矢量预测单元,用于在所生成的多个运动预测误差值的最小运动预测误差值的一个点的基础上预测该当前块的暂时运动矢量;
积分投影单元,用于将一个积分投影应用于多个运动预测误差值,并生成多个投影值;
投影值确认单元,用于确认在与预定的第一和第二投影值对应的两点之间、但小于多个投影值的第一和第二投影值的最小局部投影值的数量;
周期计算单元,用于计算包括在该多个投影值中连续出现的至少一个最小局部投影值的重复周期的数量,并将该搜索区域的长度除以重复周期的数量以计算所述周期;
模式确定单元,用于分析所确认的最小局部投影值的数量和所计算的重复周期的数量,并确定该当前块是否是模式图像;
运动补偿单元,用于在该当前块被确定为是一个模式图像的情况下使用该多个运动预测误差值生成该当前块的一个补偿运动矢量;以及
运动矢量选择单元,用于选择由该运动预测误差计算单元和该运动矢量预测单元所预测的该暂时运动矢量或者由该运动补偿单元在该模式确定单元确定结果的基础上补偿的该补偿运动矢量作为最终运动矢量。
2.如权利要求1所述的基于模式分析的运动矢量补偿装置,其中,所述积分投影单元包括:
垂直投影器,用于将所述积分投影应用于在垂直方向上的多个运动预测误差值,并生成多个垂直投影值;以及
水平投影器,用于将所述积分投影应用于在水平方向上的多个运动预测误差值,并生成多个水平投影值。
3.如权利要求2所述的基于模式分析的运动矢量补偿装置,其中,所述投影值确认单元包括:
垂直投影值确认部分,用于确认在与预定的第一和第二垂直投影值对应的两点之间、但小于所生成的多个垂直投影值的第一和第二垂直投影值的最小垂直局部投影值的数量;以及
水平投影值确认部分,用于确认在与预定的第一和第二水平投影值对应的两点之间、但小于所生成的多个水平投影值的第一和第二水平投影值的最小水平局部投影值的数量。
4.如权利要求3所述的基于模式分析的运动矢量补偿装置,其中,所述周期计算单元包括:
垂直周期计算器,用于计算包括连续出现在多个垂直投影值中的至少一个最小局部垂直投影值的重复垂直周期的数量;以及
水平周期计算器,用于计算包括连续出现在多个水平投影值的至少一个或多个最小局部水平投影值的重复水平周期的数量。
5.如权利要求4所述的基于模式分析的运动矢量补偿装置,其中,所述垂直和水平周期计算器基于以下的等式计算重复垂直和水平周期的数量:
其中,γv表示重复垂直周期的数量,Lv,a表示通过将多个垂直投影值的两相邻垂直投影值之间的所有绝对差相加所得到的垂直投影长度,Lv,p表示多个垂直投影值的最大和最小垂直投影值之间的绝对差,γh表示重复水平周期的数量,Lh,a表示通过将多个水平投影值的两相邻水平投影值之间的所有绝对差相加所得到的水平投影长度;以及Lh,p表示多个水平投影值的最大和最小水平投影值之间的绝对差。
6.如权利要求4所述的基于模式分析的运动矢量补偿装置,其中,所述垂直周期计算器将该搜索区域的水平长度除以重复垂直周期的数量并计算所述模式图像的垂直周期,以及所述水平周期计算器将该搜索区域的垂直长度除以重复水平周期的数量并计算所述模式图像的水平周期。
7.如权利要求1所述的基于模式分析的运动矢量补偿装置,其中,如果最小局部投影值的数量至少是2和重复周期的数量大于预定的第一阈值,则所述模式确定单元确定该当前块是一个模式图像。
8.如权利要求1所述的基于模式分析的运动矢量补偿装置,还包括模式分类部分,用于在该当前块是模式图像的情况下,依据最接近该搜索区域中心的一个最小局部误差值的一个点,将该模式图像分类成具有零运动当前块的静态模式图像或分类成由于该当前块的运动而发生的动态模式图像。
9.如权利要求8所述的基于模式分析的运动矢量补偿装置,其中,所述模式分类部分将最接近该搜索区域中心的第一最小局部误差值与由所述周期计算单元所计算的周期相比较,并将该模式图像分类,所述第一最小局部误差值是与在预定的第一和第二误差值对应的两点之间、但小于多个运动预测误差值的第一和第二误差值的至少一个最小局部误差值中的一个。
10.如权利要求9所述的基于模式分析的运动矢量补偿装置,其中,如果所述模式图像满足下述条件,则所述模式分类部分确定所述模式图像是静态模式图像:
|u|=α·p
其中,u表示位于搜索区域中心最近处的第一最小局部误差值的点,α表示某一常数,以及p表示由所述周期计算单元计算出的周期。
11.如权利要求9所述的基于模式分析的运动矢量补偿装置,其中,所述运动补偿单元包括:
静态运动补偿单元,用于在所述模式图像被分类为静态模式图像的情况下,以与第一最小局部误差值对应的点为基础预测和生成补偿运动矢量;
平均矢量计算单元,用于在所述模式图像被分类为动态模式图像的情况下计算与当前块相邻的块的运动矢量的平均矢量;以及
动态运动补偿单元,用于在位于所计算平均矢量最近处的至少一个或多个最小局部误差值的第二最小局部误差值的点的基础上预测和生成所述补偿运动矢量。
12.如权利要求1所述的基于模式分析的运动矢量补偿装置,其中,如果所述模式确定单元确定该当前块是所述模式图像,则所述运动矢量选择单元选择由所述运动补偿单元预测的补偿运动矢量作为最终运动矢量。
13.如权利要求11所述的基于模式分析的运动矢量补偿装置,其中,如果所述模式分类部分将该模式图像分类为所述静态模式图像,则所述运动矢量选择单元选择由静态运动补偿单元预测的补偿运动矢量,和如果所述模式分类部分将该模式图像分类为所述动态模式图像,则所述运动矢量选择单元选择由动态运动补偿单元预测的补偿运动矢量。
14.如权利要求1所述的基于模式分析的运动矢量补偿装置,其中,所述多个运动预测误差值包括第一和第二运动预测误差值,其使用绝对差和、平均绝对差或者平均平方误差计算。
15.一种基于模式分析的运动矢量补偿方法,包括:
运动预测误差计算步骤,用于将一个块匹配方法应用于当前块和当前帧或场的搜索区域,并计算多个运动预测误差值;
运动矢量预测步骤,用于在所生成的多个运动预测误差值的一个最小运动预测误差值的一点的基础上预测当前块的暂时运动矢量;
积分投影步骤,用于将积分投影应用于所述多个运动预测误差值,并生成多个投影值;
投影值确认步骤,用于确认与在预定的第一和第二投影值所对应的两点之间、但小于多个投影值的第一和第二投影值的最小局部投影值的数量;
周期计算步骤,用于计算包括连续出现在多个投影值中的至少一个最小局部投影值的重复周期的数量,并将该搜索区域的长度除以重复周期的数量以计算一个周期;
模式确定步骤,用于分析所确认的最小局部投影值的数量和所计算的重复周期的数量,并确定当前块是否是模式图像;
运动补偿步骤,用于如果当前块被确定为是所述模式图像,则使用所述多个运动预测误差值生成当前块的补偿运动矢量;以及
运动矢量选择步骤,用于选择由该运动预测误差计算步骤和该运动矢量预测步骤预测的暂时运动矢量或者由所述运动补偿步骤在所述模式确定步骤的结果的基础上补偿的补偿运动矢量作为最终运动矢量。
16.如权利要求15所述的基于模式分析的运动矢量补偿方法,其中,所述积分投影步骤包括:
垂直投影步骤,用于在垂直方向上将所述积分投影应用于多个运动预测误差值,并生成多个垂直投影值;以及
水平投影步骤,用于在水平方向上将所述积分投影应用于多个运动预测误差值,并生成多个水平投影值。
17.如权利要求16所述的基于模式分析的运动矢量补偿方法,其中,所述投影值确认步骤包括:
垂直投影值确认步骤,用于确认与在预定的第一和第二垂直投影值所对应的两点之间、但小于所生成的多个垂直投影值的第一和第二垂直投影值的最小垂直局部投影值的数量;以及
水平投影值确认步骤,用于确认与在预定的第一和第二水平投影值所对应的两点之间、但小于所生成的多个水平投影值的第一和第二水平投影值的最小局部水平投影值的数量。
18.如权利要求17所述的基于模式分析的运动矢量补偿方法,其中,所述周期计算步骤包括:
垂直周期计算步骤,用于计算包括连续地出现在多个垂直投影值中的至少一个最小局部垂直投影值的重复垂直周期的数量;以及
水平周期计算步骤,用于计算包括连续地出现在多个水平投影值中的至少一个最小局部水平投影值的重复水平周期的数量。
19.如权利要求18所述的基于模式分析的运动矢量补偿方法,其中,所述垂直和水平周期计算步骤基于以下的等式计算重复的垂直和水平周期的数量:
其中,γv表示重复垂直周期的数量,Lv,a表示通过将多个垂直投影值的两相邻垂直投影值之间的所有绝对差相加所得到的垂直投影长度,Lv,p表示多个垂直投影值的最大和最小垂直投影值之间的绝对差,γh表示重复水平周期的数量,Lh,a表示通过将多个水平投影值的两相邻水平投影值之间的所有绝对差相加所得到的水平投影长度;以及Lh,p表示多个水平投影值中的最大和最小水平投影值之间的绝对差。
20.如权利要求18所述的基于模式分析的运动矢量补偿方法,其中,所述垂直周期计算步骤将该搜索区域的水平长度除以重复垂直周期的数量,并计算所述模式图像的垂直周期,以及所述水平周期计算步骤将该搜索区域的垂直长度除以重复水平周期的数量,并计算所述模式图像的水平周期。
21.如权利要求15所述的基于模式分析的运动矢量补偿方法,其中,如果最小局部投影值的数量至少是2并且重复周期的数量大于一预定第一阈值,则所述模式确定步骤确定当前块是一个模式图像。
22.如权利要求15所述的基于模式分析的运动矢量补偿方法,还包括一个模式分类步骤,用于在该当前块是所述模式图像的情况下,依据位于该搜索区域中心最近处的最小局部误差值的一点将模式图像分类为具有零运动当前块的静态模式图像或由于当前块的运动而发生的动态模式图像。
23.如权利要求22所述的基于模式分析的运动矢量补偿方法,其中,所述模式分类步骤将位于搜索区域中心最近处的一个第一最小局部误差值与周期计算步骤计算的周期相比较,并将模式图像分类,所述第一最小局部误差值是在与预定第一和第二误差值对应的两点之间、但小于多个运动预测误差值的第一和第二误差值的至少一个最小局部误差值中的一个。
24.如权利要求23所述的基于模式分析的运动矢量补偿方法,其中,如果所述模式图像满足以下条件,则所述模式分类步骤确定该模式图像为静态模式图像:
|u|=α·p
其中,u表示位于最近处的第一最小局部误差值的点,α表示某一常数,以及p表示由周期计算单元计算出的周期。
25.如权利要求23所述的基于模式分析的运动矢量补偿方法,其中,所述运动补偿步骤包括:
静态运动补偿步骤,用于在所述模式图像被分类为是所述静态模式图像的情况下,在与该第一最小局部误差值对应的点的基础上预测和生成该补偿运动矢量;
平均矢量计算步骤,用于在所述模式图像被分类为动态模式图像的情况下,计算与当前块相邻的块的运动矢量的平均矢量;以及
动态运动补偿步骤,用于在位于所计算的平均矢量最近处的至少一个或多个最小局部误差值的第二最小局部误差值的点的基础上预测和生成所述补偿运动矢量。
26.如权利要求15所述的基于模式分析的运动矢量补偿方法,其中,如果所述模式确定步骤确定该当前块是所述模式图像,则所述运动矢量选择步骤选择由所述运动补偿步骤所预测的补偿运动矢量作为最终运动矢量。
27.如权利要求25所述的基于模式分析的运动矢量补偿方法,其中,如果所述模式分类步骤将该模式图像分类为静态模式图像,则所述运动矢量选择步骤选择由静态运动补偿单元预测的补偿运动矢量,和如果所述模式分类步骤将该模式图像分类为动态模式图像,则所述运动矢量选择步骤选择由动态运动补偿步骤预测的补偿运动矢量。
28.如权利要求15所述的基于模式分析的运动矢量补偿方法,其中,所述多个运动预测误差值包括第一和第二运动预测误差值,其使用绝对差和,平均绝对差或平均平方误差计算。
29.一种基于模式分析的运动矢量补偿装置,包括:
运动预测部分,用于将当前帧或场的当前块与在先前帧或场建立的一搜索区域相比较,计算多个运动矢量预测误差值,并基于多个运动预测误差值预测当前块的一个暂时运动矢量;
积分投影单元,用于将积分投影应用于多个运动预测误差值,并生成多个投影值;
投影值确认单元,用于确认具有小于与所述多个投影值的预定第一和第二投影值对应的运动预测误差值的运动预测误差值的至少一个或多个最小局部投影值的数量;
周期计算单元,用于计算包括连续地出现在多个投影值中的至少一个最小局部投影值的重复周期数量,并将该搜索区域的长度除以重复周期的数量以计算一个周期;
模式确定单元,用于分析所确认的最小局部投影值的数量和所计算的重复周期的数量,并确定该当前块是否是模式图像;
运动补偿单元,用于如果当前块被确定为是所述模式图像,则使用多个积分矢量的点的信息生成当前块的补偿运动矢量;以及
运动矢量选择单元,用于选择由运动预测部分预测的暂时运动矢量或者由所述运动补偿单元基于模式确定单元的结果所补偿的补偿运动矢量作为最终运动矢量。
30.如权利要求29所述的基于模式分析的运动矢量补偿装置,还包括一个模式分类部分,用于在该当前块是所述模式图像的情况下,在位于搜索区域中心最近处的最小局部误差值的一点的基础上,将该模式图像分类成具有零运动当前块的静态模式图像或由于当前块的运动而发生的动态模式图像。
31.如权利要求29所述的基于模式分析的运动矢量补偿装置,其中,如果所述模式确定单元确定该当前块是所述模式图像,则所述运动矢量选择单元选择由所述运动补偿单元预测的补偿运动矢量作为最终运动矢量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR53232/2003 | 2003-07-31 | ||
KR20030053232A KR100573696B1 (ko) | 2003-07-31 | 2003-07-31 | 패턴 분석에 기반한 움직임 벡터 보정 장치 및 방법 |
KR53232/03 | 2003-07-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1581982A CN1581982A (zh) | 2005-02-16 |
CN100372381C true CN100372381C (zh) | 2008-02-27 |
Family
ID=34101805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100621395A Expired - Fee Related CN100372381C (zh) | 2003-07-31 | 2004-07-02 | 基于模式分析的运动矢量补偿装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7555166B2 (zh) |
JP (1) | JP4155952B2 (zh) |
KR (1) | KR100573696B1 (zh) |
CN (1) | CN100372381C (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1931141A4 (en) * | 2005-09-30 | 2010-11-03 | Sharp Kk | IMAGE DISPLAY DEVICE AND METHOD |
US7551232B2 (en) * | 2005-11-14 | 2009-06-23 | Lsi Corporation | Noise adaptive 3D composite noise reduction |
US8120658B2 (en) * | 2006-01-19 | 2012-02-21 | Qualcomm Incorporated | Hand jitter reduction system for cameras |
US8019179B2 (en) * | 2006-01-19 | 2011-09-13 | Qualcomm Incorporated | Hand jitter reduction for compensating for linear displacement |
US8064722B1 (en) * | 2006-03-07 | 2011-11-22 | The United States Of America As Represented By The Secretary Of The Navy | Method and system for analyzing signal-vector data for pattern recognition from first order sensors |
US20070296855A1 (en) * | 2006-06-22 | 2007-12-27 | Yunwei Jia | Video processing using region-based statistical measurements |
JP2008042332A (ja) * | 2006-08-02 | 2008-02-21 | Toshiba Corp | 補間フレーム作成方法及び補間フレーム作成装置 |
JP4743048B2 (ja) * | 2006-08-31 | 2011-08-10 | カシオ計算機株式会社 | 撮像装置及びプログラム |
JP4752685B2 (ja) * | 2006-08-31 | 2011-08-17 | カシオ計算機株式会社 | 撮像装置及びプログラム |
JP4869045B2 (ja) | 2006-11-30 | 2012-02-01 | 株式会社東芝 | 補間フレーム作成方法および補間フレーム作成装置 |
JP4869049B2 (ja) | 2006-12-08 | 2012-02-01 | 株式会社東芝 | 補間フレーム画像作成方法および補間フレーム画像作成装置 |
EP2188978A2 (en) * | 2007-09-10 | 2010-05-26 | Nxp B.V. | Method and apparatus for line-based motion estimation in video image data |
WO2009085205A1 (en) * | 2007-12-20 | 2009-07-09 | Integrated Device Technology, Inc. | Image interpolation with halo reduction |
CN101946514B (zh) * | 2007-12-20 | 2014-06-04 | 高通股份有限公司 | 使用自适应搜索范围的真实运动矢量估计 |
US20090161011A1 (en) * | 2007-12-21 | 2009-06-25 | Barak Hurwitz | Frame rate conversion method based on global motion estimation |
US8144766B2 (en) * | 2008-07-16 | 2012-03-27 | Sony Corporation | Simple next search position selection for motion estimation iterative search |
JP4406892B1 (ja) * | 2008-11-28 | 2010-02-03 | 日本ビクター株式会社 | 繰り返しオブジェクト検出装置及び方法 |
KR101548269B1 (ko) | 2008-12-02 | 2015-08-31 | 삼성전자주식회사 | 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법 |
JP5372721B2 (ja) * | 2009-12-11 | 2013-12-18 | ルネサスエレクトロニクス株式会社 | 映像信号処理装置、方法及びプログラム |
US8488007B2 (en) * | 2010-01-19 | 2013-07-16 | Sony Corporation | Method to estimate segmented motion |
KR101630688B1 (ko) | 2010-02-17 | 2016-06-16 | 삼성전자주식회사 | 움직임 예측 장치 및 방법과 영상 처리 장치 |
US8594199B2 (en) * | 2010-03-08 | 2013-11-26 | Qualcomm Incorporated | Apparatus and method for motion vector filtering based on local image segmentation and lattice maps |
US8285079B2 (en) * | 2010-03-19 | 2012-10-09 | Sony Corporation | Method for highly accurate estimation of motion using phase correlation |
JP5441803B2 (ja) * | 2010-04-12 | 2014-03-12 | キヤノン株式会社 | 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム |
US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
JP5091994B2 (ja) | 2010-09-02 | 2012-12-05 | 株式会社東芝 | 動きベクトル検出装置 |
US8675080B2 (en) * | 2010-12-30 | 2014-03-18 | Stmicroelectronics, Inc. | Motion estimation in imaging systems |
WO2013005917A1 (ko) * | 2011-07-06 | 2013-01-10 | 에스케이플래닛 주식회사 | 멀티캐스트 기반 컨텐츠 전송 시스템과 방법, 및 고속 움직임 추정을 위한 장치와 방법 |
EP2751740A4 (en) * | 2011-08-29 | 2015-07-29 | Nokia Corp | METHOD AND APPARATUS FOR OBJECT CHARACTERISTIC AND DETECTION CALCULATION USING TEMPORAL REDUNDANCY BETWEEN VIDEO FRAMES |
JP6222514B2 (ja) * | 2012-01-11 | 2017-11-01 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置、およびコンピュータブログラム |
US8676866B2 (en) | 2012-03-19 | 2014-03-18 | Sap Ag | Computing canonical hierarchical schemas |
US8473474B1 (en) * | 2012-03-28 | 2013-06-25 | Sap Ag | Granularity-adaptive extraction of correlation structures in databases |
JP6074198B2 (ja) * | 2012-09-12 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
CN107942731B (zh) * | 2017-12-11 | 2021-03-30 | 上海电机学院 | 一种基于预测的人行栈桥主动波浪补偿装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1209707A (zh) * | 1997-08-25 | 1999-03-03 | 三菱电机株式会社 | 动图象编码方式及动图象译码方式 |
US6025879A (en) * | 1996-08-29 | 2000-02-15 | Kokusai Denshin Denwa Kabushiki Kaisha | System for moving object detection in moving picture |
JP2001112009A (ja) * | 1999-10-14 | 2001-04-20 | Oki Electric Ind Co Ltd | 動画像符号化装置および復号装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0126871B1 (ko) * | 1994-07-30 | 1997-12-29 | 심상철 | 양방향 이동벡터 추정을 위한 고속 블럭정합 방식 |
KR0174597B1 (ko) | 1995-06-29 | 1999-04-01 | 김광호 | 교환기에 있어서 데이타 베이스를 이용한 레지스터 시그날링 제어방법 |
KR19990005282A (ko) | 1997-06-30 | 1999-01-25 | 배순훈 | 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법 |
JPH11243551A (ja) | 1997-12-25 | 1999-09-07 | Mitsubishi Electric Corp | 動き補償装置と動画像符号化装置及び方法 |
US6430317B1 (en) * | 1997-12-31 | 2002-08-06 | Sarnoff Corporation | Method and apparatus for estimating motion using block features obtained from an M-ary pyramid |
JP4356140B2 (ja) | 1999-05-20 | 2009-11-04 | 富士通株式会社 | 画像の動きベクトル計測方法及び装置 |
EP1440581B1 (en) | 2001-07-10 | 2014-10-08 | Entropic Communications, Inc. | Unit for and method of motion estimation, and image processing apparatus provided with such motion estimation unit |
US7336707B2 (en) * | 2003-06-06 | 2008-02-26 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting improper area for motion compensation in video signal |
-
2003
- 2003-07-31 KR KR20030053232A patent/KR100573696B1/ko not_active IP Right Cessation
-
2004
- 2004-07-02 CN CNB2004100621395A patent/CN100372381C/zh not_active Expired - Fee Related
- 2004-07-12 US US10/887,897 patent/US7555166B2/en not_active Expired - Fee Related
- 2004-07-23 JP JP2004216508A patent/JP4155952B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6025879A (en) * | 1996-08-29 | 2000-02-15 | Kokusai Denshin Denwa Kabushiki Kaisha | System for moving object detection in moving picture |
CN1209707A (zh) * | 1997-08-25 | 1999-03-03 | 三菱电机株式会社 | 动图象编码方式及动图象译码方式 |
JP2001112009A (ja) * | 1999-10-14 | 2001-04-20 | Oki Electric Ind Co Ltd | 動画像符号化装置および復号装置 |
Non-Patent Citations (3)
Title |
---|
MPEG-2视频编码的运动估计与实现. 陈维强,高文.自动化学报,第24卷第5期. 1998 * |
基于空相关性的自适应运动估计方法. 洪波,庄健敏,余松煜.计算机工程,第26卷第8期. 2000 * |
空时相关多分辨运动估计算法. 张旭东,王德生,彭应宁.电子科学学刊,第20卷第3期. 1998 * |
Also Published As
Publication number | Publication date |
---|---|
US7555166B2 (en) | 2009-06-30 |
CN1581982A (zh) | 2005-02-16 |
KR100573696B1 (ko) | 2006-04-26 |
US20050025342A1 (en) | 2005-02-03 |
JP4155952B2 (ja) | 2008-09-24 |
JP2005056410A (ja) | 2005-03-03 |
KR20050014569A (ko) | 2005-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100372381C (zh) | 基于模式分析的运动矢量补偿装置和方法 | |
US7680186B2 (en) | Apparatus for estimating motion considering correlation between blocks and method thereof | |
KR101217627B1 (ko) | 블록 기반의 움직임 추정 방법 및 장치 | |
US7075988B2 (en) | Apparatus and method of converting frame and/or field rate using adaptive motion compensation | |
KR100579493B1 (ko) | 움직임 벡터 생성 장치 및 방법 | |
KR100870278B1 (ko) | 보간 프레임 작성 장치 | |
US20030161403A1 (en) | Apparatus for and method of transforming scanning format | |
JP2004530367A (ja) | 動きベクトル予測方法及び動きベクトル予測装置 | |
JP2005012797A (ja) | 動き補償のための画素値選択装置および方法 | |
KR100692600B1 (ko) | 움직임 추정 장치 및 방법 | |
KR20040105866A (ko) | 움직임 추정 유닛 및 움직임 벡터 추정 방법 | |
JP2005528708A (ja) | 現動きベクトルを推定するユニット及び方法 | |
JP2008502196A (ja) | グローバル動きベクトルの探索方法 | |
US20100245664A1 (en) | Device and method for adaptive blending motion compensation interpolation in frame rate up-conversion | |
JP2005528709A (ja) | 現動きベクトルを推定するユニット及び方法 | |
US20140327820A1 (en) | Motion vector estimation device, motion vector estimation method, and program for estimating motion vector | |
KR20170027509A (ko) | 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치 | |
EP1707011B1 (en) | Distributing candidate vectors based on local motion complexity | |
KR20110097868A (ko) | 위상 평면 상관을 위한 적응형 주파수 도메인 필터링 | |
KR100969420B1 (ko) | 프레임 레이트 변환 방법 | |
US20050025243A1 (en) | Motion type decision apparatus and method thereof | |
US10432962B1 (en) | Accuracy and local smoothness of motion vector fields using motion-model fitting | |
KR20050081730A (ko) | 움직임 보상 기반의 영상 신호 프레임율 변환 방법 | |
KR100810391B1 (ko) | 움직임 보간을 이용한 프레임 레이트 변환 방법 | |
Blume et al. | Segmentation in the loop: an iterative object-based algorithm for motion estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080227 Termination date: 20150702 |
|
EXPY | Termination of patent right or utility model |