CN1177483C - 运动估计算法 - Google Patents
运动估计算法Info
- Publication number
- CN1177483C CN1177483C CNB018013686A CN01801368A CN1177483C CN 1177483 C CN1177483 C CN 1177483C CN B018013686 A CNB018013686 A CN B018013686A CN 01801368 A CN01801368 A CN 01801368A CN 1177483 C CN1177483 C CN 1177483C
- Authority
- CN
- China
- Prior art keywords
- motion vector
- candidate motion
- search
- estimation
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 170
- 239000013598 vector Substances 0.000 claims abstract description 143
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 2
- 230000000052 comparative effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 238000011156 evaluation Methods 0.000 abstract description 3
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 206010027336 Menstruation delayed Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229940085606 rembrandt Drugs 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种用于在执行运动估计的处理过程中识别当前图象中的当前像素块的最佳运动矢量的方法。该方法通过下面的步骤来执行：对于每个候选运动矢量来说，通过计算表示当前像素块的像素值与在参考像素块中的相应数目的像素值之间的差值的误差值来估算(30)当前像素块的多个候选运动矢量。具有最低计算误差值的候选运动矢量被选为当前像素块的最佳运动矢量。候选运动矢量最好在两个不同阶段中估算，包括：第一阶段：包括估算具有成为最佳候选运动矢量的内在高概率的候选运动矢量的子集；以及第二阶段(80)：包括在规定的搜索区中执行空间搜索。
Description
发明背景
本发明一般涉及在数字视频编码器中具有特定用途的一种提高硬件效率的高性能运动估计算法。该运动估计算法也可用在其它视频信号处理器中，如用在场频转换器中。
为了尽可能减小传送给定图象质量的数字编码视频数据(“数字视频数据”)所需的带宽，多种不同的视频压缩算法已经被开发用于数字编码(“压缩”)视频数据。几个多媒体技术规范委员会已经建立并提出了用于编码/压缩音频和视频数据的标准。广为人知并被广泛接受的国际标准是由运动图象专家组(MPEG)提供的，它包括MPEG-1和MPEG-2标准。这些用于运动图象压缩的MPEG标准被用在现有的各类视频重放产品中，包括数字多用(或视频)盘(DVD)播放器、具有DVD重放能力的多媒体PC和卫星广播数字视频。
尽管MPEG标准通常提供高图象质量，但对于某些应用来说，数据速率/带宽要求太大了。视频会议是一个特别的应用，它一般不需要MPEG提供的编码分辨率，这是因为图象与图象之间的画面内容一般变化不大，例如在图象中，大部分运动被限定在与会者的头和肩所处的菱形区中。总之，由于在视频会议应用中运动图象序列几乎没有什么运动，因此图象与图象之间会有大量的冗余，结果，对于给定的图象质量来说，视频数据的压缩程度会非常大。而且，许多视频会议的可用带宽小于2M比特/秒，这相对于MPEG传输来说则太慢了。
与MPEG一样，H.261编码算法使用DCT(离散余弦变换)编码和差分编码的组合。但只使用I-图象和P图象。I-图象只使用该图象中所含的信息进行编码，所以它被称作“帧内编码”或“帧内”图象。P-图象使用基于过去参考(或“锚(anchor)”)图象的信息的运动补偿预测(或“运动估计”)进行编码，所以它被称作“预测”或“被预测的”图象。根据H.261标准，压缩的数字视频数据流分层排列在四个层中：图象、块组(GOB)、宏块(MB)和块。图象是顶层。每个图象被分成块组(GOB)。GOB是CIF(公用中间格式)图象的十二分之一。每个GOB被分成33个宏块。每个宏块由16×16的像素阵列构成。
总之，就象MPEG一样，H.261使用运动估计来编码序列图象中那些可能由于运动而发生变化的部分。具体来说，H.261使用“运动矢量”(MV)，根据在给定的N×N个像素的搜索范围内的当前宏块的像素与锚图象中的相应像素阵列之间的比较，这些运动矢量规定当前图象内的“宏块”相对于其在锚图象中的原始位置的位置。根据H.261标准，最小搜索范围是+/-7个像素，最大搜索范围是+/-15个像素。应当理解，在所有H.261应用中使用最大搜索范围并不一定能提高压缩信号的质量。在这方面，由于H.261应用能够以范围从64k比特/秒到1,084k比特/秒的各种比特率操作，所以实际采用的搜索范围会有所不同。例如，在高比特率下，相邻图象间的时间间隔较小，因此使用较小的搜索范围就可实现给定的图象质量。在低比特率下，情况正好相反，实现给定的图象质量则需要较大的搜索范围。
一旦一个特定宏块的运动矢量被确定，那么就从当前宏块的相应像素中减去由该运动矢量识别的锚图象中的最匹配宏块的像素值，随后，由此产生的差值使用离散余弦变换(DCT)算法进行变换，其产生的系数均被量化和霍夫曼编码(与运动矢量和其它信息所涉及的一样并识别该宏块)。在运动估计处理期间，如果在锚图象中未检测到充分的宏块匹配(即该差值超过一个预定的阈值量度)，或者如果当前图象是I图象，则该宏块被指定为“帧内”宏块并且该宏块被相应地编码。
H.261标准并不规定所采用的运动估计算法的任何特定实施方案。换句话说，H.261为视频会议系统的制造商留下了开放的运动估计算法实施方案的细节。总之，各种测量方法和量度(metrics)被使用并被推荐用于计算与当前宏块最匹配(即最小差值/误差)的锚图象内的像素阵列的位置，并且各种运动估计算法被使用并被推荐用于搜索并确定锚图象中最匹配宏块的位置。这些运动估计(M.E.)算法一般由处理器上运行的软件来执行，处理器可以是PhilipsSemiconductors制造并销售的TriMedia处理器，它的任务是在视频会议系统中编码视频数据。其中心目的是尽快确定锚图象中最匹配宏块的位置，同时尽可能减小处理器执行该算法的负载，并保持一个可接受的误差/不准确度水平。实际执行运动估计搜索算法的硬件/软件有时被称作“搜索引擎”。就搜索引擎而言，其中心目的是优化其性能，同时尽可能减小执行运动估计算法所需的资源。简而言之，其基本目的就是尽可能减少计算量和计算时间。
用于估算匹配质量的最熟知的标准或量度是绝对差值之和(SAD)和方差之和(SSD)。SAD量度构成当前宏块中的N个像素中的每个像素(对于一个16×16的宏块来说，N＝256)和估算的锚图象中的比较宏块的相应像素中的各个像素的差值的绝对值之和。SSD量度构成上述像素差的平方和。在一个给定运动估计搜索序列期间，在锚图象中得出最小SAD或SSD值(使用标准/量度均可)的候选宏块被选为“最佳匹配”。该宏块相对于当前宏块的水平和垂直位置(即x，y位置)(即x，y“位移”)，或者其导数被规定为当前宏块的“运动矢量”。如果SAD或SSD的值(无论哪一个均可)大于预定的阈值，则可以确定当前宏块不存在合适的匹配，因此作为帧内宏块编码。通常，与SSD量度相比，SAD量度的计算简便快速，但准确性较低。换言之，SSD量度的计算与SAD量度的计算相比需要更大的处理器来发挥作用，因而从“成本函数”的观点来看则被认为比较“贵”。
在H.261领域中，假定搜索范围是+/-15个像素，那么就必须估算961个候选运动矢量，即在锚图象的给定搜索范围内总共有961个不同宏块大小的像素阵列，它们作为被估算的当前宏块的“最佳匹配”的候选宏块。被估算的每个运动矢量将得出一个不同的均方误差(MSE)差值。具有最小MSE值的运动矢量是真正的“最佳匹配”。由于每个运动矢量的估算需要进行大量的减法和加法，因此对于运动估计搜索引擎来说在给定搜索范围内计算961个不同运动矢量中的每一个矢量的MSE值是完全不现实的。这种理论上的“完全搜索算法”总会产生真正的“最佳匹配”。但是，由于从实施的角度来讲是不现实的，因此它仅仅被用作是一个参考或标准，以能够对更多不同的实际运动估计算法进行比较，这些实际的运动估计算法只估算给定搜索范围内的运动矢量全集的一个子集，有时把这种技术称作“二次取样”。使用这种二次取样技术的运动估计算法有时被称作“快速搜索算法”，这是因为它们与“完全搜索算法”相比可以被更快地执行并且计算量更小。
总之，在运动估算搜索速度和运动估算搜索精确度(以及由此产生的编码数字视频数据的图象质量)之间存在固有的折衷。而且，搜索引擎的性能与其最小化其产生的数据集的能力直接有关。因此，把当前宏块与参考图象中的所选“最佳匹配”宏块之间的MSE减少因数n将会把性能近似提高n的倒数。因此，其中心目的就是设计一种能够优化性能并在同时尽可能减小所需计算量和计算时间的运动估计算法(搜索策略)。在这方面，运动估计可被认为在数学上等价于一个找出成本函数的最小值的优化问题。
为了便于更好地理解本发明的原理，下面将回顾一下运动估计搜索的理论框架。概括来说，MSE差值的阵列(在H.261领域中的961个MSE差值)可被看作是一个“误差面”，它具有与误差成正比的高度。由于大多数视频会议的景物绝大部分是低空间频率的数据，因此该误差面的空间频率一般也较低并且是均匀波动的，其中一个或仅仅一些“谷值”围绕在最小误差周围。在H.261领域中的误差面的这些特性允许在搜索运动估计的最小误差值时使用严格的二次取样。特别是，与任意一个候选运动矢量估算相关的误差值可提供有关搜索空间的整个区域的信息，与两个候选运动矢量估算相关的两个误差值的比较可提供有关两个候选项之间的误差面的斜率的信息。异常情况会发生，就象在使棋盘格成像时一样。在这种图象中，在白方格匹配白方格的每种情况下，误差面将会受到抑制，并且确定在其中象和马也对齐的实际最小误差值的位置是困难的。因而可以理解，二次取样可能会导致错误的判断，并且在其它条件均相同的情况下，任何搜索策略的“成功”(准确度/分辨率)均与进行估算的取样数有关(即取样密度)。另外还应理解，根据二次取样而定的搜索策略的成功至少在某种程度上是依赖于误差面的连续性而定的。
从一个宏块到空间相邻的宏块以及从一帧中的一个宏块到下一帧中的相同宏块也会存在矢量相关性。举例来说，如果与会者的肘部在第n帧中向东北方向移动了三个像素，那么可以合理地推断出：在相邻宏块中的与会者的手部在第n帧中也将具有相同类型的运动，并且两个宏块在第n+1帧中将具有相似的矢量。这些空间及时间相关性是不完善的，并且不可能被忽略。但是，完全依赖这些空间及时间相关性的搜索策略只能提供可从运动补偿/运动编码获得的一小部分益处。
前面提出的一些运动估计算法过分依赖于误差面的简单性，从而极大地降低了正确解释它的概率。举例来说，一类特别有效的运动估计算法是那些以“维度序列”方式运行的算法。尽管这类运动估计算法在细节上会有所不同，但对以“维度序列”方式运行的一种典型运动估计算法的以下描述将会呈现出使用这种运动估计算法的上述弱点。具体来说，根据该典型算法，第一系列的估算是沿着水平轴来执行的，以便沿着水平轴确定第一最小误差点的位置。第二系列的估算是沿着经过上面识别的第一最小误差点的垂直线来执行的，并且沿着该垂直线的第二最小误差点被识别。由于该搜索是在搜索空间的水平和垂直方向上交替进行的，所以它可被认为是“维度序列”处理。候选项之间的间隔则被减小，并且该维度序列处理被重复，以确定在所识别的每个最小误差点的一行候选项的位置。最后，如果时间允许的话，与最终“胜者”(即具有最小误差值的候选项)最接近的候选项可被估算。尽管这种维度序列方法所需的总估算数是最小的，但如果误差面包含不只一个“谷值”，那么在整个误差面中漏掉实际最小误差的概率是相当高的。
大多数运动估计算法是二维操作的，而且是在不断增加的分辨率(即下降的搜索范围)的几个级别中操作的，因此可将其看作为多级或多层的。一个典型的多层算法可使四个分级中的每一级的分辨率加倍。如图1所示，在每一级中，间隔为45°的八个矢量均被估算。如果矢量尺寸是等概率的，那么这将表示一个最佳的解决办法。但是，这种策略并不匹配视频会议数据集中高峰值分布的矢量。在这方面，运动估计的大部分益处来源于小矢量，但上述典型的分层算法却将其大部分时间用在了搜索大矢量上。其行为也是完全不适合的，因为它忽略了建议修改搜索序列的误差面数据。在每一级中，“西北的”候选项首先被估算，第八个估算的是“西南的”候选项，而这与沿着该路线确定的误差面形状无关，即根据搜索序列期间作出的判断，该搜索序列并不适合。
如果希望减轻处理负担，这必然意味着减少估算的数目，那么最显而易见的策略是更粗略地取样。在这方面，由Compression Labs，Inc.(CLI)在二十世纪八十年代晚期制造并销售的商标名为“Rembrandt”的56Kbs编解码器采用了一种运动估计算法，如图2所示，该算法在每个级别中估算间隔为90°的四个矢量，在其它级别中则将该模式旋转45°。在偶数级中，位移是N、E、W和S，在奇数级中是NE、SE、SW和NW。在视频会议应用中，尽管这种运动估计算法对于为其设计的应用来说是良好工作的，但这个搜索方案由于取样少的原因而往往漏掉最佳矢量。
发明概述
根据以上的描述，目前在相关技术中需要一种运动估计算法来克服现有技术的缺点和不足。本发明使用一种简单且用途广泛的实施方案来满足这个需要，该实施方案可减少所需的计算时间和计算量。本发明由独立权利要求限定，从属权利要求限定优选实施例。
本发明的一个优选实施例包括一种方法，在执行运动估计的处理中，该方法用于识别当前图象中的当前像素块的最佳运动矢量。该方法通过下面的步骤来执行：对于每个候选运动矢量来说，通过计算表示当前像素块的像素值与在参考像素块中的相应数目的像素值之间的差值的误差值来估算当前像素块的多个候选运动矢量。当估算每个候选运动矢量时，最好在几个点检验误差值，同时计算误差值，并且一旦确定该候选运动矢量的误差值超过预定阈值时，则停止该运动矢量的估算。具有最低计算误差值的候选运动矢量被选为当前像素块的最佳运动矢量。
候选运动矢量最好在两个不同阶段中估算，包括：第一阶段：估算具有成为最佳候选运动矢量的内在高概率的候选运动矢量的子集；以及第二阶段：在参考图象的预定搜索区中执行空间搜索，以便识别每个相应的候选运动矢量估算的预定搜索区中的一个不同的参考像素块。
候选运动矢量的子集最好包括：第一候选运动矢量，它对应于与当前图象中的当前像素块的位置相同的参考图像中的参考像素块的位置；第二候选运动矢量，它对应于与当前图象中的当前像素块的位置相同的前个图像中的参考像素块的位置；及第三候选运动矢量，它构成先前为当前图像中的之前像素块确定的最佳运动矢量。优选地，如果确定第一候选运动矢量的误差值低于预定的运动估计终止阈值，则不执行另外的估算。
空间搜索最好在多个不同的搜索级别中执行。在目前优选的实施例中，在每个搜索级别的空间搜索是可重入的，并在每个搜索级别被优选执行，其方式是重新确定空间搜索的中心是被识别为空间搜索中的该点的最佳候选运动矢量，该最佳候选运动矢量是其误差值低于在空间搜索的该点发现的最低误差值的矢量。优选地，根据空间搜索期间进行估算的结果，空间搜索的搜索模式适合于以试探的方式变化。
该方法由用来操作软件实施的状态机的软件来执行。该软件最好包括定义搜索序列的源代码和在规定存储空间中构建状态机的函数。源代码最好只在初始化时执行一次。该搜索序列最好是自适应试探搜索序列。通过从预定存储空间进行的单一读取，在搜索序列的任意一点的源代码可识别要被估算的下一个候选运动矢量的合适x，y位置。另外，根据表示一个新的最佳候选运动矢量已被识别或者表示两个最近估算之间的比较的测试比特的极性，通过在存储空间中读出两个位置之一，在搜索序列的任意一点的源代码可识别要被估算的下一个运动矢量。
附图简述
结合附图阅读下面的详细描述，本发明的这些以及其它目的、特征和优点将会显而易见，其中：
图1所示为在之前提出的第一运动估计算法中使用的搜索模式的示意图；
图2所示为在之前提出的第二运动估计算法中使用的搜索模式的示意图；
图3所示为在本发明的运动估计算法的当前优选实施例中使用的搜索模式的示意图；
图4A-4D所示为构成本发明目前所考虑的优选实施例的上述运动估计算法的流程图的连续部分；及
图5表示根据本发明的视频信号处理设备。
本发明的详细描述
下面将描述本发明的一个典型实施例的运动估计算法。该运动估计算法在处理器上运行的软件中执行，该处理器可以是PhilipsSemiconductors制造并销售的TriMedia处理器。
本发明的运动估计算法将以不同的方式来获得高性能并在同时尽可能减少计算时间和计算量，下面对每一种方式均进行描述。
根据本发明的第一创新方面，最好在几个点检验所有正在进行的估算，如果当前值大于以前识别的最佳值，则立即中止该估算，以节省大量的计算时间和计算量。应当认识到，重要的是尽可能识别最小的可能误差值，以便最大限度的节省计算量，而这可通过使用这种估算中止方案实现。
根据本发明的第二创新方面，最佳运动矢量的搜索被分成粗略搜索阶段和精确搜索阶段。在粗略搜索阶段中，最可能的候选运动矢量(即，那些具有最低误差值的具有最高固有概率的候选运动矢量)被估算。如果这些最可能的候选运动矢量中的任意一个矢量近似正确的话，它们将得出一个小误差值。在精确搜索阶段，空间搜索是在多个(如3个)不同搜索级别中进行的。粗略搜索阶段也可被看作是“预先的空间搜索阶段”。
根据该特定的典型实施例，如下是三个最可能的候选矢量。被估算的第一个最可能的候选运动矢量是(0，0)，即在参考帧中的相同宏块的矢量。在该典型实施例中，所使用的搜索估算量度是SAD。如果SAD值低于一个预定阈值(在该典型实施例中被设置为“384”)，则通过该运动估计处理程序不能期望明显的增益，因而立即退出该功能。为了充分利用该判断结果，该调用功能(calling function)应当把返回的低误差值解释为VCAP“不编码”命令，并跳过正向DCT以及该运动估计。这个措施本身就可明显地节省计算时间和计算量。在这方面，据估计，在H.261编码应用中的总计算负担的大约60％都用于运动估计处理。在几乎所有视频会议应用中的很大一部分宏块(如33％的宏块)可被简单地“填满”，因而几乎不需要任何处理时间和系数数据。因此，上述措施可潜在地大大减少运动估计的计算负担。
被估算的第二个最可能的候选矢量是在之前帧中的相同宏块的矢量。这个选择是以下面的事实为基础的，即在一个特定区域中，几个帧之间的速度和方向常常是连续的，并且在一帧中经历的运动与下一帧中的运动密切相关。
被估算的第三个最可能的候选矢量(除了该帧左边的宏块)是为相同帧的前个宏块确定的运动矢量。同样，该选择是基于以下的事实，即如果运动区域大于一个宏块，则整个宏块组将具有类似的运动矢量。
如图3所示，根据本发明的第三创新方面，在精确搜索阶段的前两个搜索级别，彼此间隔60°的六个候选项被估算。在前两个搜索级别中，两个“六角形”搜索模式被按顺序估算。第一搜索模式具有(x，y)坐标(4，0)和(2，3)，有四个共轭对，第二搜索模式具有(x，y)坐标(2，0)和(1，2)，有四个共轭对。全部八个外围候选项在第三搜索级中估算。作为比较，经典的分层搜索执行1+8+8+8+8＝33个SAD估算，而本发明的运动估计算法采用的典型搜索包括粗略搜索阶段(即在空间搜索之前)在内执行3+6+6+8＝23个SAD估算。但应当认识到，根据上述的估算中止方案，这些估算中的大部分在进行过程中都将被减弱。
根据本发明的第四创新方面，在每个搜索级别中执行的搜索以所识别的最佳候选项为中心，而不是以搜索区的中心为中心。利用这种方式，正如所分析的一样，误差面是沿着它所指引的任意一个方向的斜面的随之的“下坡”。具体来说，在每个搜索级别中执行的搜索是“可重入的”，也就是说，在每个搜索级别中，无论何时识别出具有新的最小误差值(即低于以前识别的最佳误差值)的候选运动矢量，其位置均成为另一组估算即彼此间隔60°的六个候选项的中心。估算以这种方式继续，直到确定最近的“最佳”候选运动矢量由六个“次级”候选运动矢量(在精确搜索阶段的第三级别中为八个，这可从下面的描述中看出)围绕为止。应当认识到，构成视频会议应用的大部分的小矢量(例如，处在零误差值的周围)只需要少数的额外估算来完成重入。大矢量则需要更多的估算，但它们并不常见。
利用这种方法将找出具有真正“总体”最小误差值的候选运动矢量，或者将找出具有所谓的“局部”最小误差值的候选运动矢量。在任意一种情况下，一些运动补偿增益将会产生，当然，如果未找到具有真正“总体”最小误差值的候选运动矢量，则该增益将会减小。通过这种方式，较小的第一搜索模式可快速地沿着误差面的斜面到达远处的最小值。就是在这个区域中，运动估计算法应当花费一些时间来确定最小值的位置，而不是有规律地把整个搜索空间分类。
尽管这个“捷径”容易出现一些错误，但在视频会议应用的上下文中的整个性能通过该应用中的视频数据的统计行为得以加强。举例来说，在误差面的东向和西向均较低的情况下，西向的最小值最可能被识别，这仅仅是因为该方向首先被估算，从而使其难以在向东方向上跟踪误差面。尽管如此，即使在这种及类似情况下找到的错误最小值往往也是一个小数值，从而会减轻该误差的反面效果。
根据本发明的第五创新方面，对于每组估算来说，搜索区域或范围被减小，例如，只估算一个规定像素位移(搜索区域)内的候选运动矢量，例如从最近识别的“最佳”候选运动矢量的位置开始的+/-四个像素。这种技术基于以下的观察，即由于绝大多数的最佳运动矢量具有小矢量值，因此在每个搜索序列开始时估算六个非常远的候选项是非常浪费处理器资源的。尽管在快速识别具有大矢量值的运动矢量时较大的搜索范围是非常有效的，但其在这种不常见情况下的速度将会付出很大的代价。在大部分情况下，减小搜索范围的技术仍然能够用来识别最佳运动矢量。在真正的最小值较远的少数情况下，假设在最小值的通常方向上的第一级别的候选项具有比零候选项低的值，并且搜索可从该点开始进行。当然，任意的误差面构型都是可能的，在某些情况下，该假设将会被证明为是错误的，从而使该算法难以确定远处最小值的位置。在这方面，应当理解，本发明的运动估计算法并不能保证成功，但它会尽力提高成功的概率。该算法的每个方面并不是必然以统计概率为基础的，而且大部分性能是通过下面的步骤来实现的，即提高确定非常远的大量小矢量最小值的位置的概率，同时只是略微降低确定非常远的不常见大矢量最小值的概率。
根据本发明的第六创新方面，搜索模式根据搜索历史以试探方式自适应变化。传统的分层搜索模式是从左向右，从上向下，没有任何变化。本发明的算法的可重入方面有利于根据搜索历史来改变搜索序列。假定一种简单的情况，如果“西边”的候选项被首先估算，并在随后发现“东边”的候选项最小，则搜索模式应当重新确定所找到的最佳矢量(即“东边”的候选项)为中心并且重新开始。为了把该发现考虑进去，搜索模式可自适应变化。在这方面，该算法被编程以具有以“东边”候选项开始下一组估算的智能，并且不再估算新的“西边”的候选项，这是因为它在重新确定搜索中心之前是旧的“中心”候选项，因此早已在以前的估算序列中估算过。通常，本发明的算法被编程以使用从以前的估算所获得的知识来避免重复处理，并且自适应改变搜索来尽可能提高搜索效率。由于(精确搜索阶段的)三个搜索级别中的每个级别可被重入多次，其中搜索中心在六个或八个方向中的几个方向上移动，所以可利用字面上的数百个搜索模式来估算矢量阵列，每一种模式均针对所遇到的特定误差面进行优化(尽可能具有较少的给定参数)。
根据本发明的第七创新方面，该运动估计算法可由软件执行状态机来执行。搜索智能驻留于由函数stseq所指的512个字的存储空间中。包含其自身地址的存储空间仅仅是状态机的定义。定义搜索模式的源代码只需在初始化时执行一次。
在搜索序列的任意一点，要被估算的下一个候选矢量合适的x，y位置可利用从512个字的存储空间的单一读出来获得。在搜索序列的任意一点，根据形成存储器(缓冲器)地址的最高有效比特(MSB)的单个“测试”比特的极性(‘1’或‘0’)，两个矢量之一被读出。通常，该“测试”比特表示已经发现一个新的“最佳”候选矢量；在其它情况下，它表示两个最近估算之间的比较结果。以此方式，在每个测试点，在接着要估算的两个潜在候选矢量之间进行二元选择。剩余的8个地址比特由缓冲器本身提供。通过把位移设置为一个不能接受的值，则可在影响到给定组的位移或者把当前状态解释为比较请求之间进行选择。随后，该地址被增加。
应当理解，任何运动估计搜索策略，无论多么复杂，都可被嵌入状态机的缓冲器中，且不会增加处理器的开销，如TriMedia的周期。执行时间将大体保持在一个估算(即SAD计算)所需周期的候选矢量估算时间数，如果一个良好的候选项被快速定位，则可以减少一些时间。还应当理解，上述的特定搜索方案只是不限数目的方案中的一种，这些方案可被容易地结合，也许还具有非常优良的效果。
现在参考图4A-4D，可以看到表示构成本发明目前所考虑的优选实施例的上述运动估计算法的流程图的连续部分。参考图4A，该算法开始于步骤10，并在步骤20立即进入第一搜索阶段。在第一搜索阶段，第一个最可能的候选运动矢量(MV)的SAD在步骤30被计算。在步骤40，判断SAD是否小于一个预定阈值，该阈值优选为之前的最小SAD。如果判断结果为“是”，则整个算法在步骤50结束(退出)。如果判断为“否”，则该算法前进到步骤60，在步骤60，第二个最可能的候选运动矢量(MV)的SAD被计算。该算法则前进到步骤70，在步骤70，第三个最可能的候选运动矢量(MV)的SAD被计算。接着，在步骤80，该算法前进到第二搜索阶段。
现在参考图4B，在步骤90，该算法进入第二搜索阶段的第一搜索级别。接着，在步骤100，通过计算每个此类候选MV的SAD，彼此间隔60°的6个候选MV被估算。在步骤110，判断该SAD是否小于一个预定阈值。如果在步骤110判断结果为“是”，则在步骤150通过重新确定新最佳候选MV，即具有新的最小SAD的候选MV的搜索中心来重新进入该搜索。该算法随后前进到步骤160，在步骤160，围绕着新的最佳候选MV的6个新候选MV被估算，其中搜索模式最好以试探方式来变化。每个估算的新候选运动矢量的SAD被计算。该算法随后返回到步骤110。如果在步骤110的判断结果为“否”，则在步骤120判断全部6个候选MV是否均被估算。如果在步骤120的判断结果是“否”，则该算法前进到步骤130，在步骤130，下一个候选MV被估算，该算法返回至步骤110。如果在步骤120的判断结果为“是”，则在步骤140，该算法前进到第二搜索阶段的下一个(第二)搜索级别。
现在参考图4C，在步骤170，该算法进入第二搜索阶段的第二搜索级别。接着，在步骤180，通过计算每个此类候选MV的SAD，彼此间隔60°的6个候选MV被估算。在步骤190，判断SAD是否小于一个预定阈值，该阈值最好是之前的最小SAD。如果在步骤190的判断结果为“是”，则在步骤230通过重新确定新的最佳候选MV，即具有新的最小SAD的候选MV的搜索中心来重新进入搜索。该算法随后前进到步骤240，在步骤240，围绕着新的最佳候选MV的6个新候选MV被估算，其中搜索模式最好以试探方式来变化。每个被估算的新候选运动矢量的SAD被计算。该算法随后返回到步骤190。如果在步骤190的判断结果是“否”，则在步骤200判断全部6个候选MV是否均被估算。如果在步骤200的判断结果是“否”，则该算法前进到步骤210，在步骤210，下一个候选MV被估算，并且该算法返回至步骤190。如果在步骤200的判断结果为“是”，则在步骤220，该算法前进到第二搜索阶段的下一个(第三)搜索级别。
现在参考图4D，在步骤250，该算法进入第二搜索阶段的第三搜索级别。接着，在步骤260，通过计算每个此类候选MV的SAD，彼此间隔45°的8个候选MV被估算。在步骤270，判断SAD是否小于一个预定阈值，该阈值最好是之前的最小SAD。如果在步骤270的判断结果为“是”，则在步骤310通过重新确定新的最佳候选MV，即具有新的最小SAD的候选MV的搜索中心来重新进入搜索。该算法随后前进到步骤320，在步骤320，围绕着新的最佳候选MV的8个新候选MV被估算，其中搜索模式最好以试探方式来变化。该算法随后返回到步骤270。如果在步骤270的判断结果是“否”，则在步骤280判断全部8个候选MV是否均被估算。如果在步骤280的判断结果是“否”，则该算法前进到步骤290，在步骤290，下一个候选MV被估算，并且该算法返回至步骤270。如果在步骤280的判断结果是“是”，则在步骤300，该算法结束(退出)。
尽管未在上述典型实施例中执行，但也可在包括大范围搜索区的第一搜索阶段中使用较粗略的搜索估算量度，如SAD，并在包括较小搜索区的第二搜索阶段中执行较精确的搜索估算量度，如SSD。利用这种方式，快速SAD估算量度可在搜索区较宽时使用，并且更高计算强度的SSD估算量度可在搜索区变窄之后使用。
图5表示根据本发明的视频信号处理设备。该设备包括运动估算器ME，用于不依赖于估算的运动矢量来执行视频信号。该视频信号处理器可以是诸如MPEG或H.261型的数字视频编码器。视频信号处理器VSP也可以是场频转换器，如用于获得100Hz电视信号的场频倍频器，该100Hz电视信号在图5的视频信号处理设备的100Hz显示器D上显示。
尽管上面已经详细描述了本发明，但应当理解，对于本专业技术人员来说显见的在此所教导的本发明基本概念的许多变化和/或改进和/或其它实施例仍然在所附权利要求定义的本发明的宗旨和范围之内。
Claims (15)
1.一种用于在执行运动估计的处理过程中识别当前图像中的当前像素块的最佳运动矢量的方法，包括：
识别当前像素块的多个候选运动矢量；
通过为每个候选运动矢量计算表示当前像素块的像素值与参考像素块中相应数目的像素值之间的差值的误差值来估算(30，100，180，260)当前像素块的多个候选运动矢量；并且
选择具有最低计算误差值的候选运动矢量作为最佳运动矢量；
其中该估算包括：
第一阶段(20)：包括估算(30，60，70)候选运动矢量的子集，该子集至少包括如下候选运动矢量中的一个：
第一候选运动矢量，它对应于与当前图象中的当前像素块的位置相同的参考图像中的参考像素块的位置；
第二候选运动矢量，它对应于与当前图象中的当前像素块的位置相同的前个图像中的参考像素块的位置；及
第三候选运动矢量，它是先前为当前图像中的在前像素块确定的；
以及第二阶段(80)：包括在参考图象的规定的搜索区中执行空间搜索(90，170，250)，以便识别每个相应的候选运动矢量估算的规定搜索区中的一个不同的参考像素块。
2.如权利要求1所述的方法，其中，第二阶段(80)在多个不同搜索级别(90，170，250)中执行。
3.如权利要求1所述的方法，其中，该空间搜索(90，170，250)是一种自适应试探搜索。
4.如权利要求1所述的方法，其中，候选运动矢量的子集包括第一候选运动矢量、第二候选运动矢量和第三候选运动矢量中的每一个。
5.如权利要求1或4所述的方法，其中，如果确定第一候选运动矢量的误差值低于规定的运动估计终止阈值，则不执行另外的估算(50)。
6.如权利要求1所述的方法，其中，空间搜索(90，170，250)通过重新确定空间搜索的中心(150，230，310)为被识别为空间搜索中的该点的最佳候选运动矢量来执行，该最佳候选运动矢量是其误差值低于在空间搜索中的该点发现的最低误差值的矢量。
7.如权利要求1所述的方法，其中，空间搜索(90，170，250)的搜索模式根据空间搜索期间进行估算的结果而自适应变化。
8.如权利要求1所述的方法，其中，该方法由软件来执行，该软件包括：
定义搜索序列的源代码；和
在规定存储空间中构建状态机的函数。
9.如权利要求8所述的方法，其中，该搜索序列是一种自适应的试探搜索序列。
10.如权利要求8所述的方法，其中，通过从规定的存储空间进行的单一读取，在搜索序列的任意一点的源代码可识别要被估算的下一个候选运动矢量的合适的坐标x，y位置。
11.如权利要求10所述的方法，其中，根据指示一个新的最佳候选运动矢量已被识别或者指示两个最近估算之间的比较结果的测试比特的极性，该测试比特形成存储空间地址的最高有效位，通过在存储空间中读出两个位置之一，在搜索序列的任意一点的源代码可识别要被估算的下一个候选运动矢量。
12.如权利要求1所述的方法，还包括：在估算每个候选运动矢量时，在计算误差值的同时检验误差值，并且一旦确定该候选运动矢量的误差值超过规定的阈值时就中止该候选运动矢量的估算。
13.一种用于在执行运动估计的处理过程中识别当前图像中的当前像素块的最佳运动矢量的设备，该设备包括：
用于识别当前像素块的多个候选运动矢量的装置；
通过为每个候选运动矢量计算表示当前像素块的像素值与参考像素块中的相应数目的像素值之间的差值的误差值来估算当前像素块的多个候选运动矢量的装置；以及
用于选择具有最低计算误差值的候选运动矢量作为最佳运动矢量的装置；
其中该估算装置包括：用于估算候选运动矢量的子集的第一装置，该子集至少包括如下候选运动矢量中的一个：
第一候选运动矢量，它对应于与当前图象中的当前像素块的位置相同的参考图像中的参考像素块的位置；
第二候选运动矢量，它对应于与当前图象中的当前像素块的位置相同的前个图像中的参考像素块的位置；及
第三候选运动矢量，它是先前为当前图像中的在前像素块确定的；
以及第二装置，用于在参考图象的规定搜索区中执行空间搜索，以便识别每个相应的候选运动矢量估算的规定搜索区中的一个不同的参考像素块。
14.如权利要求13所述的设备，通过包括如下装置被用作数字视频编码器：
根据运动矢量产生压缩视频信号的装置。
15.如权利要求13所述的设备，通过包括如下装置被用作视频信号处理设备：
不依赖于运动矢量而处理视频信号的装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/533,487 | 2000-03-23 | ||
| US09/533,487 US6567469B1 (en) | 2000-03-23 | 2000-03-23 | Motion estimation algorithm suitable for H.261 videoconferencing applications |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1381145A CN1381145A (zh) | 2002-11-20 |
| CN1177483C true CN1177483C (zh) | 2004-11-24 |
Family
ID=24126170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB018013686A Expired - Lifetime CN1177483C (zh) | 2000-03-23 | 2001-03-13 | 运动估计算法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6567469B1 (zh) |
| EP (1) | EP1188322A2 (zh) |
| JP (1) | JP2003528500A (zh) |
| KR (1) | KR100752530B1 (zh) |
| CN (1) | CN1177483C (zh) |
| WO (1) | WO2001072045A2 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107005709A (zh) * | 2014-12-23 | 2017-08-01 | 英特尔公司 | 对于任意形状的运动估计 |
Families Citing this family (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6633611B2 (en) * | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
| US7072398B2 (en) * | 2000-12-06 | 2006-07-04 | Kai-Kuang Ma | System and method for motion vector generation and analysis of digital video clips |
| US6700996B1 (en) * | 2000-06-07 | 2004-03-02 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US6654502B1 (en) * | 2000-06-07 | 2003-11-25 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US6907080B1 (en) * | 2000-06-07 | 2005-06-14 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US7327787B1 (en) * | 2000-11-20 | 2008-02-05 | Intel Corporation | Method and apparatus for motion estimation |
| US20020131500A1 (en) * | 2001-02-01 | 2002-09-19 | Gandhi Bhavan R. | Method for determining a motion vector for a video signal |
| US6687301B2 (en) * | 2001-03-19 | 2004-02-03 | Fulvio Moschetti | Method for block matching motion estimation in digital video sequences |
| US6891890B1 (en) * | 2001-04-24 | 2005-05-10 | Vweb Corporation | Multi-phase motion estimation system and method |
| US6934332B1 (en) | 2001-04-24 | 2005-08-23 | Vweb Corporation | Motion estimation using predetermined pixel patterns and subpatterns |
| US6813315B1 (en) | 2001-04-24 | 2004-11-02 | Vweb Corporation | Motion estimation using multiple search windows |
| EP1659802B1 (en) * | 2001-10-05 | 2008-07-23 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for compensating for motion vector errors in image data |
| KR100450746B1 (ko) * | 2001-12-15 | 2004-10-01 | 한국전자통신연구원 | 계층탐색 기반의 혼합형 움직임 추정 장치 및 방법 |
| TW548990B (en) * | 2001-12-31 | 2003-08-21 | Univ Nat Chiao Tung | Fast motion estimation method using N-queen pixel decimation |
| KR100846769B1 (ko) * | 2002-02-19 | 2008-07-16 | 삼성전자주식회사 | 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치 |
| JP2003299040A (ja) * | 2002-04-03 | 2003-10-17 | Sony Corp | 動きベクトル検出装置及び方法 |
| US7039246B2 (en) * | 2002-05-03 | 2006-05-02 | Qualcomm Incorporated | Video encoding techniques |
| US7940844B2 (en) | 2002-06-18 | 2011-05-10 | Qualcomm Incorporated | Video encoding and decoding techniques |
| US7239721B1 (en) * | 2002-07-14 | 2007-07-03 | Apple Inc. | Adaptive motion estimation |
| US7742525B1 (en) * | 2002-07-14 | 2010-06-22 | Apple Inc. | Adaptive motion estimation |
| KR100865034B1 (ko) | 2002-07-18 | 2008-10-23 | 엘지전자 주식회사 | 모션 벡터 예측 방법 |
| KR100490730B1 (ko) * | 2002-10-22 | 2005-05-24 | 한국전자통신연구원 | 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법 |
| KR100561394B1 (ko) * | 2002-12-30 | 2006-03-16 | 삼성전자주식회사 | 영상 부호화 시 부호화 모드 결정 및 관리 장치와 그 방법 |
| US7720151B2 (en) * | 2003-02-11 | 2010-05-18 | Texas Instruments Incorporated | Motion estimation using early decision for goodness of estimation with quick convergence feedback |
| US20050013496A1 (en) * | 2003-07-16 | 2005-01-20 | Bruls Wilhelmus Hendrikus Alfonsus | Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder |
| KR100579542B1 (ko) * | 2003-07-29 | 2006-05-15 | 삼성전자주식회사 | 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법 |
| US9351013B2 (en) * | 2003-11-13 | 2016-05-24 | Qualcomm Incorporated | Selective and/or scalable complexity control for video codecs |
| JP2005167976A (ja) * | 2003-11-14 | 2005-06-23 | Victor Co Of Japan Ltd | 動きベクトル検出装置及び動きベクトル検出プログラム |
| US7660439B1 (en) | 2003-12-16 | 2010-02-09 | Verificon Corporation | Method and system for flow detection and motion analysis |
| EP1765020A4 (en) * | 2004-06-14 | 2010-10-06 | Jbf Partners Inc | METHOD FOR ENCODING MOVING IMAGES AND METHOD FOR DECODING MOVING IMAGES |
| US8111752B2 (en) * | 2004-06-27 | 2012-02-07 | Apple Inc. | Encoding mode pruning during video encoding |
| US20050286777A1 (en) * | 2004-06-27 | 2005-12-29 | Roger Kumar | Encoding and decoding images |
| US7792188B2 (en) | 2004-06-27 | 2010-09-07 | Apple Inc. | Selecting encoding types and predictive modes for encoding video data |
| JP4699460B2 (ja) * | 2004-07-20 | 2011-06-08 | クゥアルコム・インコーポレイテッド | 時間的なビデオ圧縮における運動ベクトル予測のための方法および装置 |
| TWI239474B (en) * | 2004-07-28 | 2005-09-11 | Novatek Microelectronics Corp | Circuit for counting sum of absolute difference |
| US20060056511A1 (en) * | 2004-08-27 | 2006-03-16 | University Of Victoria Innovation And Development Corporation | Flexible polygon motion estimating method and system |
| CN102685495B (zh) * | 2004-10-14 | 2015-06-17 | 英特尔公司 | 采用自适应搜索策略的快速多帧运动估计 |
| US7609765B2 (en) * | 2004-12-02 | 2009-10-27 | Intel Corporation | Fast multi-frame motion estimation with adaptive search strategies |
| WO2006039843A1 (en) * | 2004-10-14 | 2006-04-20 | Intel Corporation | Fast multi-frame motion estimation with adaptive search strategies |
| CN101754011B (zh) * | 2004-10-14 | 2013-01-02 | 英特尔公司 | 采用自适应搜索策略的快速多帧运动估计方法 |
| JP4504230B2 (ja) * | 2005-03-02 | 2010-07-14 | 株式会社東芝 | 動画像処理装置、動画像処理方法、及び動画像処理プログラム |
| TWI295540B (en) * | 2005-06-15 | 2008-04-01 | Novatek Microelectronics Corp | Motion estimation circuit and operating method thereof |
| US8588513B2 (en) * | 2005-07-18 | 2013-11-19 | Broadcom Corporation | Method and system for motion compensation |
| US7852940B2 (en) * | 2005-10-20 | 2010-12-14 | Qualcomm Incorporated | Scalable motion estimation for video encoding |
| US20070237233A1 (en) * | 2006-04-10 | 2007-10-11 | Anthony Mark Jones | Motion compensation in digital video |
| US7830565B2 (en) * | 2006-06-27 | 2010-11-09 | Motorola, Inc. | Image capture device with rolling band shutter |
| US20080056367A1 (en) * | 2006-08-30 | 2008-03-06 | Liu Wenjin | Multi-step directional-line motion estimation |
| US9307122B2 (en) * | 2006-09-27 | 2016-04-05 | Core Wireless Licensing S.A.R.L. | Method, apparatus, and computer program product for providing motion estimation for video encoding |
| JP4961236B2 (ja) * | 2007-03-27 | 2012-06-27 | 株式会社メガチップス | 動き探索方法 |
| US8488676B2 (en) * | 2007-05-14 | 2013-07-16 | Himax Technologies Limited | Motion estimation method |
| US8817878B2 (en) * | 2007-11-07 | 2014-08-26 | Broadcom Corporation | Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach |
| US8223235B2 (en) * | 2007-12-13 | 2012-07-17 | Motorola Mobility, Inc. | Digital imager with dual rolling shutters |
| ATE550879T1 (de) * | 2007-12-19 | 2012-04-15 | Dolby Lab Licensing Corp | Adaptive bewegungsschätzung |
| US20090207915A1 (en) * | 2008-02-15 | 2009-08-20 | Freescale Semiconductor, Inc. | Scalable motion search ranges in multiple resolution motion estimation for video compression |
| US8831101B2 (en) * | 2008-08-02 | 2014-09-09 | Ecole De Technologie Superieure | Method and system for determining a metric for comparing image blocks in motion compensated video coding |
| CN101686393B (zh) * | 2008-09-28 | 2012-10-17 | 华为技术有限公司 | 应用于模板匹配的快速运动搜索方法及装置 |
| KR100930744B1 (ko) * | 2009-03-04 | 2009-12-09 | 엘지전자 주식회사 | 모션 벡터 예측 방법 |
| KR100920628B1 (ko) * | 2009-03-04 | 2009-10-08 | 엘지전자 주식회사 | 모션 벡터 예측 방법 |
| TWI384865B (zh) * | 2009-03-18 | 2013-02-01 | Mstar Semiconductor Inc | 影像處理之方法及電路 |
| JP5091994B2 (ja) * | 2010-09-02 | 2012-12-05 | 株式会社東芝 | 動きベクトル検出装置 |
| US9288491B2 (en) | 2010-12-13 | 2016-03-15 | Electronics And Telecommunications Research Institute | Method and device for determining reference unit |
| PL3751854T3 (pl) * | 2011-05-24 | 2023-08-28 | Sun Patent Trust | Sposób kodowania obrazu, urządzenie do kodowania obrazu, sposób dekodowania obrazu, urządzenie do dekodowania obrazu oraz urządzenie do kodowania/dekodowania obrazu |
| PL3739884T3 (pl) * | 2011-06-27 | 2021-11-22 | Samsung Electronics Co., Ltd. | Kodowanie i dekodowanie informacji o ruchu |
| WO2013005917A1 (ko) * | 2011-07-06 | 2013-01-10 | 에스케이플래닛 주식회사 | 멀티캐스트 기반 컨텐츠 전송 시스템과 방법, 및 고속 움직임 추정을 위한 장치와 방법 |
| US9571833B2 (en) | 2011-11-04 | 2017-02-14 | Nokia Technologies Oy | Method for coding and an apparatus |
| JP6110724B2 (ja) * | 2013-05-01 | 2017-04-05 | 日本放送協会 | 画像処理装置、符号化装置、及び符号化プログラム |
| TWI472231B (zh) | 2013-11-27 | 2015-02-01 | Ind Tech Res Inst | 用於移動估計的視訊前處理方法與裝置 |
| FR3051309A1 (fr) * | 2016-05-10 | 2017-11-17 | Bcom | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image |
| CN111372085B (zh) * | 2018-12-25 | 2021-07-09 | 厦门星宸科技有限公司 | 影像解码装置与方法 |
| CN116074533B (zh) * | 2023-04-06 | 2023-08-22 | 湖南国科微电子股份有限公司 | 运动矢量预测方法、系统、电子设备及存储介质 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0535746B1 (en) * | 1991-09-30 | 1997-01-29 | Philips Electronics Uk Limited | Motion vector estimation, motion picture encoding and storage |
| US5594813A (en) * | 1992-02-19 | 1997-01-14 | Integrated Information Technology, Inc. | Programmable architecture and methods for motion estimation |
| KR0160618B1 (ko) * | 1992-10-27 | 1999-01-15 | 윤종용 | 실시간 움직임 추정장치 및 그 방법 |
| JPH07115646A (ja) * | 1993-10-20 | 1995-05-02 | Sony Corp | 画像処理装置 |
| US5594504A (en) * | 1994-07-06 | 1997-01-14 | Lucent Technologies Inc. | Predictive video coding using a motion vector updating routine |
| KR0178231B1 (ko) * | 1995-08-10 | 1999-05-01 | 배순훈 | 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치 |
| US5696836A (en) * | 1995-03-17 | 1997-12-09 | Lsi Logic Corporation | Motion estimation processor architecture for full search block matching |
| EP0734175B1 (en) * | 1995-03-20 | 2000-06-28 | Daewoo Electronics Co., Ltd | Hierarchical motion vector estimation using multiple block sizes |
| US5575286A (en) | 1995-03-31 | 1996-11-19 | Siemens Medical Systems, Inc. | Method and apparatus for generating large compound ultrasound image |
| KR100207390B1 (ko) * | 1995-09-15 | 1999-07-15 | 전주범 | 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법 |
| US5751838A (en) | 1996-01-26 | 1998-05-12 | Nec Research Institute, Inc. | Correction of camera motion between two image frames |
| US5790207A (en) * | 1996-03-14 | 1998-08-04 | Daewoo Electronics, Co., Ltd. | Motion compensation method for use in an image encoding system |
| US5717478A (en) * | 1996-06-07 | 1998-02-10 | Besicorp Group Inc. | Photovoltaic module with liquid crystal display indicator |
| US5721595A (en) * | 1996-06-19 | 1998-02-24 | United Microelectronics Corporation | Motion estimation block matching process and apparatus for video image processing |
| JPH1079947A (ja) * | 1996-09-03 | 1998-03-24 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
| FR2757296B1 (fr) * | 1996-12-13 | 2001-10-12 | Sgs Thomson Microelectronics | Procede et dispositif d'estimation de mouvement de portions d'images pour circuit de compression d'images mobiles |
| JP3631868B2 (ja) * | 1996-12-20 | 2005-03-23 | 株式会社東芝 | 動きベクトル検出装置および方法 |
| TW361051B (en) * | 1997-01-09 | 1999-06-11 | Matsushita Electric Ind Co Ltd | Motion vector detection apparatus |
| US6122320A (en) * | 1997-03-14 | 2000-09-19 | Cselt-Centro Studi E Laboratori Telecomunicazioni S.P.A. | Circuit for motion estimation in digitized video sequence encoders |
| US6041078A (en) | 1997-03-25 | 2000-03-21 | Level One Communications, Inc. | Method for simplifying bit matched motion estimation |
| US6418166B1 (en) * | 1998-11-30 | 2002-07-09 | Microsoft Corporation | Motion estimation and block matching pattern |
-
2000
- 2000-03-23 US US09/533,487 patent/US6567469B1/en not_active Expired - Lifetime
-
2001
- 2001-03-13 JP JP2001568619A patent/JP2003528500A/ja active Pending
- 2001-03-13 WO PCT/EP2001/002818 patent/WO2001072045A2/en not_active Application Discontinuation
- 2001-03-13 KR KR1020017014977A patent/KR100752530B1/ko not_active IP Right Cessation
- 2001-03-13 EP EP01913874A patent/EP1188322A2/en not_active Withdrawn
- 2001-03-13 CN CNB018013686A patent/CN1177483C/zh not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107005709A (zh) * | 2014-12-23 | 2017-08-01 | 英特尔公司 | 对于任意形状的运动估计 |
| CN107005709B (zh) * | 2014-12-23 | 2020-08-21 | 英特尔公司 | 对于任意形状的运动估计 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2001072045A3 (en) | 2002-01-03 |
| US6567469B1 (en) | 2003-05-20 |
| KR100752530B1 (ko) | 2007-08-29 |
| WO2001072045A2 (en) | 2001-09-27 |
| EP1188322A2 (en) | 2002-03-20 |
| KR20020025874A (ko) | 2002-04-04 |
| CN1381145A (zh) | 2002-11-20 |
| JP2003528500A (ja) | 2003-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1177483C (zh) | 运动估计算法 | |
| JP5785285B2 (ja) | 動き予測検索範囲及び拡張動きベクトルの範囲の動的選択 | |
| US8406303B2 (en) | Motion estimation using prediction guided decimated search | |
| JP5844394B2 (ja) | 適応探索範囲を用いた動き推定 | |
| JP4711712B2 (ja) | 行ベクトルおよび列ベクトルを用いた動きベクトル検出 | |
| US20220217337A1 (en) | Method, codec device for intra frame and inter frame joint prediction | |
| KR950009699B1 (ko) | 움직임벡터 검출방법 및 장치 | |
| CN101378504B (zh) | 用于h.264编码的块匹配运动估计方法 | |
| CN1675848A (zh) | 用于执行高质量快速预测运动搜索的方法和设备 | |
| EP1732329A1 (en) | Method and apparatus for coding moving images | |
| KR101217627B1 (ko) | 블록 기반의 움직임 추정 방법 및 장치 | |
| JP2002518897A (ja) | ブロック整合法及び統合投射法を用いた階層的動き評価処理及び装置 | |
| CN1348312A (zh) | 用于混合型高速运动估计的方法和设备 | |
| CN100401779C (zh) | 用于分级运动估计的方法 | |
| CN1774933A (zh) | 确定视频编码器中的自适应运动矢量的搜索范围的方法及设备 | |
| US20050135481A1 (en) | Motion estimation with scalable searching range | |
| CN112235570B (zh) | 基于预编码的深度预测方法、帧内方向预测方法 | |
| CN1520179A (zh) | 用于编码/解码隔行扫描视频信号的方法和装置 | |
| CN1457196A (zh) | 基于时空域相关性运动矢量预测的视频编码方法 | |
| US6925125B2 (en) | Enhanced aperture problem solving method using displaced center quadtree adaptive partitioning | |
| CN109982079B (zh) | 一种结合纹理空间相关性的帧内预测模式选择方法 | |
| KR100987581B1 (ko) | 고속 움직임 추정을 위한 부분 블록정합 방법 | |
| JP4547668B2 (ja) | 動き補償予測符号化装置及び動き補償予測符号化方法 | |
| KR100747587B1 (ko) | 움직임 추정 방법 및 장치 | |
| CN1346216A (zh) | 运动估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: IPG ELECTRONICS 503 CO., LTD. Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS CO., LTD. Effective date: 20090821 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20090821 Address after: British Channel Islands Patentee after: Koninkl Philips Electronics NV Address before: Holland Ian Deho Finn Patentee before: Koninklike Philips Electronics N. V. |
|
| ASS | Succession or assignment of patent right |
Owner name: PENDRAGON WIRELESS CO., LTD. Free format text: FORMER OWNER: IPG ELECTRONICS 503 LTD. Effective date: 20130105 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20130105 Address after: Washington State Patentee after: Pendragon wireless limited liability company Address before: British Channel Islands Patentee before: Koninkl Philips Electronics NV |
|
| CX01 | Expiry of patent term |
Granted publication date: 20041124 |
|
| CX01 | Expiry of patent term |