CN100534131C - 具有改进的运动向量选择的运动向量估算器和估算方法 - Google Patents
具有改进的运动向量选择的运动向量估算器和估算方法 Download PDFInfo
- Publication number
- CN100534131C CN100534131C CNB2005100696108A CN200510069610A CN100534131C CN 100534131 C CN100534131 C CN 100534131C CN B2005100696108 A CNB2005100696108 A CN B2005100696108A CN 200510069610 A CN200510069610 A CN 200510069610A CN 100534131 C CN100534131 C CN 100534131C
- Authority
- CN
- China
- Prior art keywords
- motion vector
- motion
- image
- error amount
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种运动估算的改进方法。为此,两次评估运动向量估算的预测质量,即通过单独地相对于两个在前场来比较预测质量,并且将两个所计算的误差值组合为单个误差值,以从多个候选向量选择最佳的运动向量估算。以这种方式,通过消除不可靠估算,仅仅通过引用单个候选向量不能检测到它们,来改善图像对象的实际运动的确定。
Description
技术领域
本发明涉及一种改进的运动估算。具体地说,本发明涉及用于估算在视频序列中的图像块和对应运动估算器之间的运动向量的方法。
背景技术
在不断增加的数量的应用中、特别是在现代电视接收机的数字信号处理中使用运动估算。具体地说,现代电视接收机进行帧速率变化,特别是以上变换或运动补偿上变换的形式,以提高所再现的图像的画面质量。例如,对于具有50Hz到诸如60Hz、66.67Hz、75Hz、100Hz等的较高频率的场或帧频的视频序列,执行运动补偿上变换。50Hz输入信号频率主要适用于基于PAL或SECAM标准的电视信号广播,基于NTSC的视频信号具有60Hz的输入频率。60Hz输入视频信号可以被上变换为诸如72Hz、80Hz、90Hz、120Hz等的较高频率。
在上变换期间,产生中间图像,它们反映当不由50Hz或60Hz输入视频序列表示时的在多个位置的视频内容。为此,需要考虑运动对象的运动以便适当地反映在由对象的运动引起的随后图像之间的改变。基于块来计算对象的运动,并且根据在前一个和随后图像之间新产生图像时的相对位置来进行运动补偿。
对于运动向量确定,每个图像被划分为多个块。每个块进行运动估算,以便检测对象自在前图像的移位。最好是通过使用多个预定的候选向量来避免用于检测在预定搜索范围内的在前图像中的最佳匹配块的耗时的全搜索算法。所述候选向量组包括多个预定的最可能的运动向量。
基于对于每个候选向量计算的误差值从候选向量选择运动向量。这个误差函数估算在按照相应的候选向量而选择的在前图像中的当前块和候选块之间的一致程度。具有最小误差函数的最佳匹配向量被选择作为当前块的运动向量。作为对于在当前和前一个块之间的相似程度的量度,可以使用绝对差的和(SAD)。
所述预定的候选向量组可以包括作为已经对于当前图像的相邻块被确定的候选向量的运动向量、已经对于在类似位置的在前图像中的块被确定的运动向量等。
Gerard de Haan等1998年2月在视频技术的电路和系统IEEE会刊第8卷第一期中的文章“使用来自参数运动模型的候选向量的有效真实运动估算器”(“An Efficient True-Motion Estimator Using Candidate Vectors from aParametric Motion Model”from Gerard de Haan et al.in IEEE Transactions onCircuits and Systems for Video Technology,vol.8,no.1,February 1998)中描述了作为候选向量的全局运动向量的计算。所述全局运动向量反映了图像的所有块的公共运动。
EP-A-0 578 290描述了基于当前图像的相邻块的运动向量的另一种候选向量。通过增加具有随机幅度的更新向量来修改这些向量的长度和方向。可以通过向相应的SAD增加预定的惩罚(penalty)值来控制作为当前块的运动向量的这些类型的向量的选择。按照所增加的惩罚,可以相应地降低被选择作为当前块的运动向量的可能性。
除了图像内插之外,还在视频图像的编码期间使用运动估算,以便使用暂时冗余度。为此,已经开发了多个视频编码标准。广泛使用的是被表示为H.26x或MPEG-x的编码标准。
在高端电视接收机中使用的上变换算法受到当处理稀水平行或周期结构时引起的估算误差的影响。
由于按照隔行扫描电视标准PAL、SECAM或NTSC而发送的视频信号的隔行扫描传输限制而引起在水平行的运动向量估算误差。在由在逐行扫描图形中的两个相邻行的像素表示的稀水平行的情况下,这个行被划分为在逐行扫描视频信号中的多个单独行,以便这两个行之一是第一场的部分,第二行是下一个场的部分。一种运动估算算法将因此检测当随后场的行看起来重复地从一个场向上运动和从下一个场向下运动时的随后的上升和下降方向的运动向量。
另一个问题是由在输入序列中的周期结构引起的。在确定当前块的运动向量后,运动估算算法将以提供相等的估算误差,即SAD值的多个不同的运动估算返回。由于相等的估算质量,所述估算算法可以选择这些运动估算的任何一种。但是不在用于确定这个块的正确运动的位置。
例如,假定具有6像素宽度的周期结构的图案以每个场7个像素的速度移动。正确的运动估算将返回表示7像素移位的一个运动向量。但是,表示1像素、-5像素、-12像素或13像素的移位的运动向量也产生相同的低误差值。如果当前块完全位于具有周期图案的运动图像对象内则发生这样的问题。
如果不能确定精确地反映运动对象的正确运动的运动向量,则在运动补偿图像中、特别是在水平行或周期结构上,强的人为因素变得很显著。
发明内容
本发明旨在改善运动补偿和提供一种用于确定运动向量的改进方法和一种改进的运动估算器。
按照本发明的第一方面,提供一种用于确定在视频图像序列中的当前图像的块的运动向量的方法。每个视频图像被划分为多个块。为了确定运动向量,所述方法提供对于当前块的运动向量的不同估算。根据当前块和由运动向量估算引用的在前图像的块来对于每个运动向量估算计算误差值。根据当前块和按照运动向量估算引用的另一个在前图像中的块来对于至少一个运动向量估算计算另一个误差值。如果对于当前图像块接收到胶片模式指示,则采用两个所计算的单独误差值的仅仅一个来选择运动向量。否则,将根据单个运动向量估算而计算的误差值组合为用于选择步骤的单个误差值。将那个运动向量估算选择作为具有最小误差值的当前块的运动向量。
按照本发明的另一个方面,提供了一种运动估算器,用于确定在视频图像序列中的当前图像的块的运动向量。每个视频图像被划分为多个块。所述运动估算器包括候选向量产生器、第一和第二误差计算器、组合器件和选择器。候选向量产生器提供当前块的运动向量的不同估算。第一误差计算器根据当前块和由运动向量估算引用的在前图像的块来对于每个运动向量估算计算误差值。第二误差计算器根据当前块和按照运动向量估算引用的另一个在前图像中的块来对于至少一个运动向量估算计算另一个误差值。如果对于当前图像块接收到胶片模式指示,则选择器件根据两个所计算的单独误差值的仅仅一个来选择运动向量。否则,组合器根据单个运动向量估算而计算的误差值组合为单个误差值。选择器将那个运动向量估算选择作为具有最小误差值的当前块的运动向量。
本发明的特殊手段是避免从多个候选向量错误地选择运动向量。一般,运动向量的选择是基于所述所计算的最小误差值。本发明不仅仅使用通过引用在前图像而计算的单个误差值。通过引用另一个在前图像来计算另一个误差值,其中,运动向量长度相应地被调整。源于相同运动向量估算的两个所计算的误差值被组合和与其他候选向量的误差值相比较。以这种方式,可以通过提高所计算的误差值来有效地“惩罚”不正确地反映图像对象的实际运动的运动向量。根据估算质量,对于相同运动向量估算计算的第二误差值引入了错误运动向量的较高误差值,以便这些向量不可能被选择作为当前块的运动向量。
这是当通过引用不包括稀行的图像部分而计算错误的运动估算的另外计算的误差值的时候对于水平行被实现的,以便提高误差值。
当在引用不匹配周期图案的运动的另一个图像时,通过使用附加的误差值作为所有错误运动向量来精确地检测周期图案的真实运动,所有错误运动向量是惩罚从仅仅引用用于误差值计算的单个图像产生的。因此,本发明使得能够以简单的方式来检测图像对象的真实运动。
如果在源于相同原始图像的至少两个连续场检测到胶片模式。因此,在时间上较靠近当前场的在前场具有与当前场或与其他在前场相同的运动相位。因此,基于在时间上靠近当前场的在前场的误差值将使得组合的单个误差值失真。为了避免单个误差值的这种失真,仅仅使用在时间上相对于当前图像更远的在前场来用于计算误差值。
最好是,一个被计算的平均值作为基于对于单个运动向量估算计算的误差值的单个误差值。以这种方式,当选择当前块的适当运动向量时考虑相对于两个在前图像的预测质量。
按照一个优选实施例,通过在计算平均值之前向误差值分配不同的加权系数来计算两个误差值。以这种方式,可以调整第二误差值对于运动向量选择的影响。
最好是,不同的加权系数被应用到两个所计算的误差值。通过向已经根据在时间上靠近当前图像的在前图像而计算的误差值分配较大的加权系数,可以更适当地考虑不同的图像类型。可以使用具有短时间距离的图像数据来更准确地估算仅仅包括不规则结构的图像的运动。另一方面,可以使用两个单独的误差值来确定周期结构的正确运动向量。使用不同大小的所述加权系数,可以提供单个误差值,它同时反映对于包括不规则结构或周期结构的图像的需要。
按照一个特定的优选实施例,被分配到基于在时间上靠近当前图像的在前图像的误差值的加权系数是大约3/4,和分配到另一个误差值的加权系数是大约1/4。这些特定的加权系数使得能够提供用于同时反映不同图像类型的需要的最佳单个误差值。
最好是,以下的至少一个被用作用于选择当前块的运动向量的候选向量:指向当前块的块位置的零运动向量、已经对于当前图像中的相邻块确定的运动向量、已经对于在当前图像中的相邻块确定的运动向量,其中通过加上更新向量来改变向量长度,和已经对于在前图像的块确定的运动向量。根据不同的估算方案,可以高效率和精确地确定当前块的运动向量。
最好是,所述视频序列是隔行扫描的视频序列,用于计算误差值而引用的图像是位于紧接当前场之前的两个场。
按照另一个优选实施例,对于所有运动向量估算方案计算多个误差值。
按照另一个实施例,通过引用另一个在前图像来计算单个运动向量估算的至少第三误差值。以这种方式,可以以改进的精度来验证当前块的运动估算的适用性。
附图说明
通过下面对优选实施例的说明,本发明的其他实施例和优点将变得更明显,其中:
图1示出了为了运动估算目的将一个视频图像划分为多个均匀大小的块,
图2示出了空间预测序列的示例,
图3示出了空间和时间预测向量的示例,
图4示出了场速率变换器的示例配置,
图5示出了在隔行扫描视频序列中的稀水平行的表示的示例,
图6示出了通过引用单个在前场的不同候选序列而预测周期结构的示例,
图7示出了通过不同的候选序列来预测周期结构,其中通过引用两个不同的在前场来估算预测质量,
图8示出了按照本发明的运动估算器的示例配置,
图9示出了使用运动估算的混合视频编码器的示例配置。
具体实施方式
本发明涉及数字信号处理,特别是在现代电视接收机中的信号处理。现代电视接收机使用上变换算法以提高所再现的画面质量。为此,要从两个后续图像产生中间图像。为了产生中间图像,需要考虑移动对象的运动,以便将对象位置适当地适配到由内插图像反映的时间点。
在块基础上进行运动估算。为此,每个所接收的图像被划分为多个块,如例如图1所示。通过确定在在前图像中的最佳匹配块,每个当前块单独地进行运动估算。
为了避免在预定搜索区域内的耗时的全搜索,仅仅向运动估算器提供有限的一组候选序列。从这些候选向量,运动估算器从具有最小数量的偏移的在前图像的相应块选择可以预测当前块的向量。
图1示出了将每个视频图像划分为多个块B(x,y)。每个块具有宽度X和高度Y,其中,X和Y分别表示在行和列方向中的像素的数量。可以通过使用下面的公式来计算每行或每列的块的数量:
xmax=每行像素/X
ymax=每列像素/Y
对于这些块的每一个,从多个不同的候选向量计算运动向量。传统上,所述候选向量组包括例如下列运动向量:
C1=(0;0)
可以从上述方程看出,候选向量可以包括零运动向量(C1)用于空间预测的相邻块的运动向量(C2,C3)和/或用于时间预测的在前图像的运动向量(C6,C7)。
可以通过使用被累积为空间预测向量C2、C3的更新向量来改进空间预测。为了考虑与所选择的候选向量相比较对象运动的较小变化,将更新向量应用到运动向量以建立新的候选向量C4、C5。虽然在上述的候选向量列表中,更新向量仅仅被应用到候选向量C2和C3,但是它也可以以相同方式被应用到任何其他的候选向量,诸如候选向量C6、C7。
虽然上述列表的时间预测向量C6和C7定义了具有两个块偏移的候选向量的使用,但是也可以使用取代两个,诸如零、1、3等的任何其他偏移。
虽然已经就当前和在前图像描述了时间预测向量,但是术语“图像”可以涉及隔行扫描视频序列的场或逐行扫描视频序列的帧。相应地,所产生的中间图像可以是依赖于视频序列类型的场或帧。
而且,上述的候选向量列表既不是完全也不要求包括所有上述的候选向量。可以使用任何其他的候选向量组来进行当前块的最佳匹配运动向量的确定。
对于每个候选向量,计算和评估预测误差以便确定最佳匹配运动向量。作为预测误差的量度,可以确定绝对差的和(SAD)。那个候选向量被选择和被考虑来表示具有最小SAD的块的最佳运动。
当相对于其他候选向量更推崇运动向量候选C1-C7的某些时,可以向用于单独候选的所确定的SAD加上可编程的“惩罚”。以这种方式,特定候选的选择可以优先。最好是,所述惩罚值与运动向量候选C4、C5的更新向量的长度成比例。
除了候选向量的上述列表之外,还可以考虑全局运动向量。全局运动向量表示适用于视频图像的所有块的运动。这样的运动向量适用于摄象机扫视。
图2示出了空间预测向量的一个示例。在当前图像n中的水平和垂直方向中的相邻块的已经确定的运动向量可以有益地被用作空间预测向量,以便计算当前块B(x,y)的运动向量。图2示出了当前块B(x,y)和来自当前场n的两个可能的空间预测运动向量。
另外,图3示出了来自在前场n-1的可能时间预测向量B′(x+2,y)和B′(x,y+2)。虽然在图2和3中将特定的块图解为时间和空间运动向量预测,但是本领域的技术人员知道可以使用来自当前块的位置的任何其他偏移。
图4示出了场速率变换器的配置。来自当前场n和在前场n-1的图像数据被应用到运动估算器ME和运动补偿内插器MCI。运动估算器ME计算被应用到运动补偿内插器MCI的当前图像的运动向量场。运动补偿内插器MCI由此产生要被显示在显示器上的新图像数据。
图5示出了在隔行扫描水平图像的序列中由逐行扫描图像表示中的两个相邻行表示的一个稀行的分布。所述稀行具有两个相邻行的高度,并且不在随后的帧之间移动。如果帧被划分为顶场和底场,则单个行被划分为由顶场和底场交替显示的两行。这是由与帧相比较场的垂直分辨率降低而引起的。虽然PAL帧具有576行的分辨率,但是每个场仅仅包括288行。因此,480行的一个NTSC帧是由两个240行的场组成的。
由于在连续场中行的不稳定的垂直位置,引用在前场的运动估算总是检测相应的运动向量。
图6示出了以7像素/场的速度移动的6像素宽度的周期结构。当确定用于这样的周期结构的运动的一个运动向量时,选择器可以等同地选择与所述周期结构一致的预测之一。例如,移动7个像素或1个像素的图案将导致相同低的误差值。
只要通过对于在前场评估时间预测而计算误差值,则在正确的运动向量和相差周期结构的周期(即在图6的示例中的6个像素)的其他候选之间的误差值中没有差别。但是,在确定不适当地反映有关另一个在前图像,例如有关场n-2,的对象运动的运动向量候选的另一个误差值中,可以检测错误的运动。为此,本发明建议不仅当计算误差值时考虑所述在前图像,而且考虑另外的在前图像。图7示出了所得结果的不同运动估算。
图8示出了按照本发明的运动估算器的示例配置。当前输入场n被存储在输入场存储器110中,并且被延迟装置121、123两次延迟一个场的周期,被存储在另外的场存储器113、116中。由SAD计算器130、160并行地使用相同候选向量来计算两个误差值。因此,第一误差计算器130根据场n和场n-1的图像数据来计算第一误差值SAD场。第二误差计算器160根据场n和场n-2的图像数据来计算第二误差值SAD帧。两个误差值被提供到加权单元150,以便计算单个误差值SAD加权,它用于从由候选向量产生器140提供的多个候选向量C1-C7确定当前的运动向量。
加权单元150向所计算的误差值SAD场和SAD帧分配加权系数。可以通过向两个误差值分配大约0.5的相同加权系数来计算来自两个单独的误差值SAD场和SAD帧的平均单个误差值。
但是,按照另一个实施例,不同的加权系数被应用到两个所计算的误差值。较大的加权系数被分配到根据在时间上靠近当前图像的在前图像计算的误差值SAD场。因此,可以更合适地考虑不同的图像类型。在可以使用基于具有短时间距离的图像数据的误差值来更准确地确定包括不规则结构的图像的运动的同时,使用两个单独的误差值来正确地确定周期结构的运动向量。如测试所示,可以通过向SAD场分配加权系数0.75和向SAD帧分配加权系数0.25来获得同时反映不同图像类型的需要的最佳单个误差值。
误差值组合器150还接收块模式或场模式信号,它在加权处理期间被考虑来指示被分配到所计算的误差值SAD场和SAD帧的加权系数。所述块模式信号可以指示所引用的图像数据的特定运动相位。以这种方式,当组合两个误差值时可以考虑特定的运动相位结构。例如,块模式信号可以指示是否所引用的图像数据涉及相同或不同的运动相位并相应地分配加权系数。
按照输入视频序列的所检测的胶片模式或视频模式,控制加权处理,以便在加权处理期间由误差值组合器150适当地考虑在胶片模式期间的当前运动相位的重复。如果检测到胶片模式,则仅仅SAM帧被使用,并且被传送到误差值组合器150的输出来作为SAD加权。这样做是因为场n-1具有与场n相同的运动相位,或场n-1具有与场n-2相同的运动相位,因此SAD场值将使得所得结果的SAD失真。
本领域的技术人员知道可以在场或块基础上使用源模式信息。两种变异导致视频模式和胶片模式源素材的良好估算结果。但是,在混合模式中,基于块的模式检测将提供更好的估算结果。
对于所有的候选向量,对于每个候选向量C1-C7计算两次误差值,最好是绝对差的和(SAD)。当计算在场n和场n-2之间的第二误差值时,运动向量的长度随之适配,即与用于场n-1的运动向量相比较所述运动向量的长度被加倍。
选择器(在图8中未示出)选择具有最低误差值SAD加权的运动向量估算。
与上述的估算手段相比较可以以不同的方式来计算候选向量C1-C7。上述的编号和估算方案仅仅表示其优选的示例。
而且,可以通过加上所谓的“惩罚值”来进一步修改用于将单独的误差值组合为单个误差值SAD加权的加权函数。例如,可以通过向与更新向量u成比例的误差值加上一个值来惩罚上述的运动向量估算C4和C5。
而且,本发明可以不仅可以使用上变换算法,而且可以使用电视接收机输入信号和视频压缩所使用的运动估算的标准变换。
虽然前面已经主要在中间图像的内插方面,特别是用于在现代电视接收机中的场或帧速率变换方面描述了本发明,但是本发明的改进的运动估算也可以以对应的方式被应用到视频数据压缩。
视频数据的压缩一般使用多个主阶段(见图9)。每个单独图像被划分为像素的块以便使得每个图像在块级上进行数据压缩。这样的块划分可以对应于图1所示的划分。通过将每个块进行转换以便将每个块的像素从空间域向频率域转换来降低在图像内的空间冗余。所得结果的转换系数被量化,并且对量化的转换系数进行熵编码。
而且,利用在随后图像的块之间的时间关联性,以便仅仅发送在后续图像之间的差。这是通过使用运动估算/补偿技术来实现的。通过所谓的混合编码技术来进行时间关联性的利用,所述技术将时间和空间压缩技术与统计编码相组合。
参见图9,图9示出了混合视频编码器的一个示例。一般由标号1表示的视频编码器包括减法器10,用于确定在当前视频图像和基于运动补偿的先前编码图像的当前图像的预测信号之间的差。转换和量化单元20将来自空间域的预测误差转换到频域中,并且量化所获得的转换系数。熵编码单元90对所量化的转换系数熵编码。
编码器1使用差分脉码调制(DPCM),它仅仅发送在输入视频序列的随后图像之间的差。这些差被由接收要编码的视频图像和要从其减去的预测信号的减法器10确定。
所述预测信号基于在编码器处的先前编码图像的解码结果。这是通过被并入到视频编码器的解码单元来实现的。解码单元以相反的方式来执行编码步骤。逆量化和逆转换单元30解量化所量化的系数,并且将逆转换应用于解量化系数。加法器35累加解码的差和预测信号。
预测信号由在当前和先前场或帧之间的运动估算产生。通过用于接收当前输入信号和本地解码图像的运动估算器70来进行运动估算。最好是,按照本发明来进行运动估算。根据运动估算的结果,由运动补偿器60进行运动补偿。
总之,本发明提供了一种用于运动估算的改进方法。为此,两次评估运动向量估算的预测质量,即通过单独地相对于两个在前场来比较预测质量,并且将两个所计算的误差值组合为单个误差值,以从多个候选向量选择最佳的运动向量估算。以这种方式,通过消除不可靠估算,仅仅通过引用单个候选向量不能检测到它们来改善图像对象的实际运动的确定。
Claims (34)
1.一种用于确定在视频图像序列中的当前图像的块的运动向量的方法,每个视频图像被划分为多个块,所述方法包括步骤:
提供对于当前块的运动向量的不同估算;
根据当前块和由运动向量估算引用的第一在前图像的块来对于每个运动向量估算计算误差值;
根据当前块和按照运动向量估算引用的另一个在前图像中的块来对于至少一个运动向量估算计算另一个误差值;
将根据单个运动向量估算而计算的误差值组合为用于选择步骤的单个误差值;
接收用于当前图像块的胶片模式指示;
如果所述胶片模式指示指示当前块在胶片模式中,则输出所计算的另一个误差值作为所述单个误差值;和
选择具有最小误差值的运动向量估算作为当前块的运动向量。
2.按照权利要求1的方法,其中,通过计算平均值来组合所述误差值。
3.按照权利要求2的方法,其中,所述误差值被累加和除以所累加的误差值的数量。
4.按照权利要求3的方法,其中,在累加前加权所述误差值。
5.按照权利要求4的方法,其中,不同的加权系数被分配到所述误差值。
6.按照权利要求5的方法,其中,被分配到所述第一在前图像的所述误差值的加权系数大于被分配到所述另一个在前图像的误差值的加权系数。
7.按照权利要求5的方法,其中,被分配到所述第一在前图像的所述误差值的加权系数是3/4,和分配到所述另一个在前图像的误差值的加权系数是1/4。
8.按照权利要求1的方法,其中,所述运动向量估算是基于下述预测方案的至少一个:
指向当前块的块位置的运动向量估算;
与对于在当前图像中的相邻块已经确定的运动向量对应的运动向量估算;
与将所述已经确定的运动向量改变向量长度得到的运动向量对应的运动向量估算,其中,通过向所述已经确定的运动向量加上更新向量来改变向量长度;和
与对于在在前图像的块已经确定的运动向量对应的运动向量估算。
9.按照权利要求1的方法,其中,根据在当前块和由运动向量估算引用的块之间的像素差的累加来计算所述误差值。
10.按照权利要求1的方法,其中,所述视频序列是隔行扫描的视频序列。
11.按照权利要求1的方法,其中,所述另一个在前图像是在所述第一在前图像之前的所述视频序列的图像。
12.按照权利要求8的方法,其中,按照与所述另一个在前图像的时间距离来调整运动向量估算的长度。
13.按照权利要求1-12中的任一权利要求的方法,其中,根据当前块和按照运动向量估算引用的另一个在前图像中的块来对于每一个运动向量估算计算又一误差值。
14.按照权利要求1-12中的任一权利要求的方法,其中,所述视频序列是隔行扫描的视频序列,由所述运动向量估算引用的所述图像是紧接在当前场之前的场,和所述另一个在前图像是紧接在由所述运动向量估算引用的所述图像之前的场。
15.按照权利要求1-12中的任一权利要求的方法,还包括步骤:通过引用又一个在前图像来计算单个运动向量估算的至少第三个误差值。
16.一种编码视频图像的序列的方法,包括按照权利要求1-15中的任一权利要求的运动估算方法。
17.一种用于内插视频图像序列的方法,包括使用按照权利要求1-15中的任一权利要求的运动估算方法的运动补偿。
18.一种运动估算器,用于确定在视频图像序列中的当前图像的块的运动向量,每个视频图像被划分为多个块,所述运动估算器包括:
候选向量产生器(140),用于提供当前块的运动向量的不同估算;
第一误差计算器(130),用于根据当前块和由运动向量估算引用的第一在前图像的块来对于每个运动向量估算计算误差值;
第二误差计算器(160),用于根据当前块和按照运动向量估算引用的另一个在前图像中的块来对于至少一个运动向量估算计算另一个误差值;
组合器(150),用于将根据单个运动向量估算而计算的误差值组合为单个误差值;
所述组合器(150)接收用于当前图像块的胶片模式指示,并且如果所述胶片模式指示指示当前块在胶片模式中,则输出所计算的另一个误差值来作为所述单个误差值;和
选择器,用于选择具有最小误差值的运动向量估算作为当前块的运动向量。
19.按照权利要求18的运动估算器,其中,所述组合器(150)根据所述误差值来计算平均值。
20.按照权利要求19的运动估算器,其中,所述组合器(150)累加所述误差值,并且将累加和除以所累加误差值的数量。
21.按照权利要求20的运动估算器,其中,所述组合器(150)加权所述误差值。
22.按照权利要求21的运动估算器,其中,所述组合器(150)将不同的加权系数分配到所述误差值。
23.按照权利要求22的运动估算器,其中,所述组合器(150)向所述第一在前图像的所述误差值分配一个加权系数,这个加权系数大于被分配到所述另一个在前图像的误差值的加权系数。
24.按照权利要求22的运动估算器,其中,被分配到所述第一在前图像的所述误差值的加权系数是3/4,和分配到所述另一个在前图像的误差值的加权系数是1/4。
25.按照权利要求18的运动估算器,其中,所述候选向量产生器(140)基于下述预测方案的至少一个来产生所述运动向量估算:
指向当前块的块位置的运动向量估算;
与对于在当前图像中的相邻块已经确定的运动向量对应的运动向量估算;
与将所述已经确定的运动向量改变向量长度得到的运动向量对应的运动向量估算,其中,通过向所述已经确定的运动向量加上更新向量来改变向量长度;和
与对于在在前图像中的块已经确定的运动向量对应的运动向量估算。
26.按照权利要求18-25中的任一权利要求的运动估算器,其中,所述误差值计算器(130,160)根据在当前块和由运动向量估算引用的块之间的像素差的累加来计算所述误差值。
27.按照权利要求18-25中的任一权利要求的运动估算器,其中,所述视频序列是隔行扫描的视频序列。
28.按照权利要求18-25中的任一权利要求的运动估算器,其中,所述另一个在前图像是在所述第一在前图像之前的所述视频序列的图像。
29.按照权利要求18-25中的任一权利要求的运动估算器,其中,所述第二误差计算器(160)按照与所述另一个在前图像的时间距离来调整运动向量估算的长度。
30.按照权利要求18-25中的任一权利要求的运动估算器,其中,所述视频序列是隔行扫描的视频序列,由所述运动向量估算引用的所述图像是紧接在当前场之前的场,和所述另一个在前图像是紧接在由所述运动向量估算引用的所述图像之前的场。
31.按照权利要求18-25中的任一权利要求的运动估算器,其中,所述第二误差计算器(160)计算所有预测向量的单个运动向量估算的多个误差值。
32.按照权利要求18-25中的任一权利要求的运动估算器,还包括第三误差计算器,用于通过引用又一个在前图像来计算单个运动向量估算的至少第三误差值。
33.一种编码视频图像的序列的编码器,包括按照权利要求18-32中的任一权利要求的运动估算器。
34.一种用于内插视频图像序列的内插器,包括使用按照权利要求18-32中的任一权利要求的运动估算器的运动补偿。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP04010298A EP1592255A1 (en) | 2004-04-30 | 2004-04-30 | Motion vector estimation with improved motion vector selection |
EP04010298.0 | 2004-04-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1694502A CN1694502A (zh) | 2005-11-09 |
CN100534131C true CN100534131C (zh) | 2009-08-26 |
Family
ID=34924802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100696108A Expired - Fee Related CN100534131C (zh) | 2004-04-30 | 2005-04-29 | 具有改进的运动向量选择的运动向量估算器和估算方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7693218B2 (zh) |
EP (1) | EP1592255A1 (zh) |
JP (1) | JP2005318586A (zh) |
KR (1) | KR20060047590A (zh) |
CN (1) | CN100534131C (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100692600B1 (ko) * | 2005-02-22 | 2007-03-13 | 삼성전자주식회사 | 움직임 추정 장치 및 방법 |
US8588513B2 (en) * | 2005-07-18 | 2013-11-19 | Broadcom Corporation | Method and system for motion compensation |
KR100843083B1 (ko) * | 2005-12-14 | 2008-07-02 | 삼성전자주식회사 | 움직임 추정 기반 프레임 보간을 위한 장치 및 방법 |
JP5145887B2 (ja) * | 2007-07-13 | 2013-02-20 | 富士通株式会社 | フレーム補間装置および方法 |
KR101445791B1 (ko) * | 2008-05-10 | 2014-10-02 | 삼성전자주식회사 | 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치 |
JP4748191B2 (ja) * | 2008-07-30 | 2011-08-17 | ソニー株式会社 | 動きベクトル検出装置、動きベクトル検出方法及びプログラム |
WO2010046854A1 (en) * | 2008-10-22 | 2010-04-29 | Nxp B.V. | Device and method for motion estimation and compensation |
GB2469679B (en) * | 2009-04-23 | 2012-05-02 | Imagination Tech Ltd | Object tracking using momentum and acceleration vectors in a motion estimation system |
JP5441803B2 (ja) * | 2010-04-12 | 2014-03-12 | キヤノン株式会社 | 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム |
US9357229B2 (en) | 2010-07-28 | 2016-05-31 | Qualcomm Incorporated | Coding motion vectors in video coding |
JP2012049603A (ja) * | 2010-08-24 | 2012-03-08 | Olympus Corp | 画像処理装置および画像処理プログラム |
RU2010144450A (ru) | 2010-10-29 | 2012-05-10 | ЭлЭсАй Корпорейшн (US) | Оценка движения для видео транскодера |
US9066102B2 (en) | 2010-11-17 | 2015-06-23 | Qualcomm Incorporated | Reference picture list construction for generalized P/B frames in video coding |
PL2675167T3 (pl) * | 2011-02-10 | 2018-11-30 | Sun Patent Trust | Sposób kodowania ruchomych obrazów, urządzenie do kodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, urządzenie do dekodowania ruchomych obrazów oraz urządzenie do kodowania i dekodowania ruchomych obrazów |
US10395378B2 (en) * | 2016-07-15 | 2019-08-27 | Samsung Electronics Co., Ltd. | Detecting periodic patterns and aperture problems for motion estimation |
CN106993108B (zh) * | 2017-04-07 | 2020-08-28 | 上海顺久电子科技有限公司 | 一种确定视频图像在运动估计中的随机量的方法和装置 |
US10904555B2 (en) * | 2018-07-11 | 2021-01-26 | Tencent America LLC | Method and apparatus for video coding |
WO2023230310A1 (en) * | 2022-05-26 | 2023-11-30 | Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic | System and method for real-time image registration during radiotherapy using deep learning |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5929919A (en) * | 1994-04-05 | 1999-07-27 | U.S. Philips Corporation | Motion-compensated field rate conversion |
JP3355054B2 (ja) * | 1995-03-10 | 2002-12-09 | 日本放送協会 | 動きベクトル検出方法および動きベクトル検出装置 |
US6061401A (en) * | 1995-03-20 | 2000-05-09 | Daewoo Electronics Co., Ltd. | Method and apparatus for selectively encoding/decoding a video signal |
US5687097A (en) * | 1995-07-13 | 1997-11-11 | Zapex Technologies, Inc. | Method and apparatus for efficiently determining a frame motion vector in a video encoder |
JP3495485B2 (ja) * | 1995-12-19 | 2004-02-09 | 日本放送協会 | 画像変換装置 |
DE69727911D1 (de) * | 1997-04-24 | 2004-04-08 | St Microelectronics Srl | Verfahren zur Erhöhung der bewegungsgeschätzten und bewegungskompensierten Bildfrequenz für Videoanwendungen, und Vorrichtung zur Verwendung eines solchen Verfahrens |
KR100582856B1 (ko) | 1997-09-23 | 2006-05-24 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 움직임 추정 및 움직임 보상된 보간법 |
JP3540142B2 (ja) * | 1998-01-30 | 2004-07-07 | 株式会社東芝 | 動きベクトル検出回路および動きベクトル検出方法 |
JP2000134585A (ja) * | 1998-10-23 | 2000-05-12 | Hitachi Ltd | 動きベクトル決定方法、画像信号のフレーム数変換方法および回路 |
US7236526B1 (en) * | 1999-02-09 | 2007-06-26 | Sony Corporation | Coding system and its method, coding device and its method, decoding device and its method, recording device and its method, and reproducing device and its method |
JP4622077B2 (ja) * | 2000-10-11 | 2011-02-02 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
EP1364528A1 (en) | 2001-02-21 | 2003-11-26 | Koninklijke Philips Electronics N.V. | Facilitating motion estimation |
-
2004
- 2004-04-30 EP EP04010298A patent/EP1592255A1/en not_active Withdrawn
-
2005
- 2005-04-06 US US11/099,571 patent/US7693218B2/en not_active Expired - Fee Related
- 2005-04-19 JP JP2005121676A patent/JP2005318586A/ja active Pending
- 2005-04-28 KR KR1020050035566A patent/KR20060047590A/ko not_active Application Discontinuation
- 2005-04-29 CN CNB2005100696108A patent/CN100534131C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR20060047590A (ko) | 2006-05-18 |
CN1694502A (zh) | 2005-11-09 |
US20050243929A1 (en) | 2005-11-03 |
EP1592255A1 (en) | 2005-11-02 |
US7693218B2 (en) | 2010-04-06 |
JP2005318586A (ja) | 2005-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100534131C (zh) | 具有改进的运动向量选择的运动向量估算器和估算方法 | |
CN100452832C (zh) | 使用行和列向量的运动向量估计 | |
CN1694501B (zh) | 用于确定运动矢量的方法和使用该方法的运动估算器 | |
CN100370807C (zh) | 采用自适应时间预测的运动向量估计方法及其运动估计器 | |
US7116372B2 (en) | Method and apparatus for deinterlacing | |
US5410356A (en) | Scanning-line interpolation apparatus | |
US7593059B2 (en) | Image conversion device and method | |
US8692934B2 (en) | Method and system for frame rate adaptation | |
KR100726552B1 (ko) | 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법 | |
JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
KR100624304B1 (ko) | 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법 | |
US8421918B2 (en) | De-interlacing video | |
An et al. | Improved picture-rate conversion using classification-based LMS-filters | |
Chiang et al. | Novel artifact detection for motion compensated deinterlacing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090826 Termination date: 20120429 |