CN1809839A - 自适应的多维信号序列编码/解码方法和装置 - Google Patents

自适应的多维信号序列编码/解码方法和装置 Download PDF

Info

Publication number
CN1809839A
CN1809839A CNA2004800176253A CN200480017625A CN1809839A CN 1809839 A CN1809839 A CN 1809839A CN A2004800176253 A CNA2004800176253 A CN A2004800176253A CN 200480017625 A CN200480017625 A CN 200480017625A CN 1809839 A CN1809839 A CN 1809839A
Authority
CN
China
Prior art keywords
dimension
piece
frame
block
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800176253A
Other languages
English (en)
Inventor
T－C·李
W－L·陈
Y·黄
L－H·姚
H－S·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VICHIP CORP
Original Assignee
VICHIP CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=33551961&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1809839(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by VICHIP CORP filed Critical VICHIP CORP
Publication of CN1809839A publication Critical patent/CN1809839A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Discrete Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明描述了一种处理信号序列的系统和方法。公开了一个混合型的基于块匹配和转换的N维信号序列编码器和解码器。该编码器包括编码器侧的块匹配预测器，其包括基于墒的成本函数，该成本函数可根据块匹配差值的特定能量监测而被估计；一种快速块匹配搜索方法，它学习来自相邻块的结果，并且仅仅通过访问少量的点来执行大范围的搜索。而且公开了一种方法，其基于编码器的输出，来动态地调节成本函数参数和其他的编码控制参数，并对编码器的质量和性能进行优化。

Description

自适应的多维信号序列编码/解码方法和装置
本申请要求2003年6月23日提交的、题为“自适应的多维信号序列编码/解码方法和装置(Method and Apparatus for AdaptiveMultiple-Dimensional Signal Sequences Encoding/Decoding)”的美国临时专利申请第60/480985号的优先权，在此将其内容以引用方式并入本文。
技术领域
一个实施例一般地涉及数据编码、存储、分配和解码，更特别地(但不是专门地)是涉及利用n维块匹配方法的n维信号序列编码、存储、分配和解码。
背景技术
视频信号通常具有大量的信息。因而，视频信号通常是在被传输或存储之前被压缩编码。为了以高效率对视频信号进行编码，单位为帧的图像被分成单位为预定数目像素的多个块。对每个块进行正交变换，把图像的空间频率分成多个频率分量。每个频率分量作为变换系数被获得和被编码。
发明内容
根据本发明的一个方面，处理信号序列的一个系统包括：一个接收信号序列的区分器或差示器(differentiator)，所述信号序列包括一个n维当前帧，所述n维当前帧包括多个当前帧块和多个n维参考帧，所述多个n维参考帧中的每一帧包括多个参考帧块；一个存储所述多个n维参考帧的帧缓冲器；一个块匹配预测器，其为所述多个当前帧块中的每一块识别所述多个参考帧块中的一个预测块，并为所述多个当前帧块中每一块的相应预测块确定一个参考位移索引和一个块预测差值，其中所述参考位移索引用以识别所述参考帧块内的一个点；一个块编码器，其对所述多个当前帧块中每一块的相应块预测差值和相应参考位移索引进行编码，并藉此创建多个编码块；和一个序列编码器，其根据预定格式把所述多个编码块打包在一起。
根据另一个方面，一个存储系统包括n维存储器。该n维存储器包括一个或多个存储切片或存储器分割区(memory slice)，以允许在一个时钟周期中在每个切片中存储或取出一个数据项；组织一个n维帧内的n维数据以允许一个既定立方体(cube)内的所有数据在多个周期中被访问的装置，所述立方体可位于该n维帧中的任何地方，其中周期的数量被确定为该立方体内的全部点数除以存储切片的数量；一个寻址转换模块，其基于n维地址输入从所述一个或多个存储切片中访问数据；以及一个数据多路复用器/多路分离器，以将来自所述一个或多个切片的数据流桥接到利用n维数据的一个或多个外部处理模块。
根据另外一个方面，一种系统包括一个处理阵列，该处理阵列包括一个或多个信号处理单元，以处理n维数据输入；一个或多个数据寄存器，其为所述信号处理单元存储数据；以及控制所述处理阵列的装置，其允许一个数据元素由所述阵列中一个以上的处理器使用。
根据另外的一个方面，一种方法包括：接收一个n维帧序列，该n维帧序列包含一个原始n维帧；并且以保存所述原始n维帧内块的相邻关系的顺序，来扫描所述n维帧序列，使其成为一个一维的块序列。
参考附图和下文的详细描述，本发明的其它特征将是明显的。
附图说明
虽然本发明是通过示例来描述的，但其并不限于所附的附图。附图中相同的参考标记表示类似的元件。
图1根据本发明的一个实施例示出了一个自适应多维信号序列编码系统。
图2根据本发明的一个实施例示出了利用线性模型和分段线性模型来拟合R_AC与AC_NORM。
图3根据本发明的一个实施例示出了自适应的速率(rate)查询表/求值器的结构。
图4根据本发明的一个实施例示出了一个快速ME(运动估计)搜索过程。
图5根据本发明的一个实施例示出了在二维视频序列情况中邻居开拓集(neighbor exploit set)的一个示例。
图6根据本发明的一个实施例示出了为确定详细搜索起点而被求值的点。
图7根据本发明的一个实施例示出了详细搜索的一个实施例。
图8根据本发明的一个实施例示出了全局搜索的一个实施例。
图9根据本发明的一个实施例示出了利用碎片网格点(fractionalgrid points)上的块匹配进行编码的一个实施例
图10根据本发明的一个实施例示出了ME搜索过程中利用平均滤波器来计算子像素值。
图11根据本发明的一个实施例示出了一个自适应ME控制结构。
图12根据本发明的一个实施例示出了可调节的ME搜索范围的一个示例。
图13根据本发明的一个实施例示出了MEPU周期调度器的一个实施例。
图14根据本发明的一个实施例示出了在螺旋搜索情况中的提前终止(early-termination)。
图15示出了具有用于帧中的块的固定网格的二维帧以及需要在任意位置的块存取模式的示例。
图16示出了N维存储器结构的一个实施例。
图17示出了二维存储器中切片ID的分配，以允许在一个周期中在任何位置存取一个二维块。
图18示出了二维存储器中切片ID分配，以允许在2个周期的猝发(burst)中在任何位置存取一个二维块。
图19示出了多级N维存储器的一个实施例，其利用SDRAM作为第二级外部记忆装置(memory storage)。
图20示出了第二级外部SDRAM中二维帧数据的分配，以优化二维块的访问性能。
图21示出了一个线性第二级外部存储器中的一个二维块的数据分配序列。
图22示出了ME搜索的PSP阵列处理器的一个实施例。
图23示出了ME搜索算法中通常使用的单处理器螺旋搜索模式。
图24示出了利用一个3×3阵列的平行螺旋搜索模式的示例。
图25示出了假定使用的是传统的线性存储器，在该3×3阵列中的数据存取共享。
图26示出了假定使用的是二维存储器，在该3×3阵列中的数据存取共享。
图27根据本发明的一个实施例示出了N维信号序列的示例。
图28根据本发明的一个实施例示出了相邻保留(neighborpreserving)的一种扫描方法。
图29根据本发明的一个实施例示出了二维帧中的一个块。
图30根据本发明的一个实施例示出了应用到CCD或CMOS图像传感器的相邻保留扫描。
具体实施方式
在本文的描述中，提供了大量的具体细节，如系统组件和方法的描述，以提供对本发明的实施例的透彻理解。然而，相关技术领域的技术人员将认识到，如果缺少一个或多个这样的具体细节，或者利用了其它的系统、方法、组件、材料、部件等等，仍然可以实现本发明。此外，公知的结构、材料或操作未被详细地显示或描述，以免混淆本发明的特征。
在整个说明书中所提到的“一个实施例”或“实施例”表示结合该实施例描述的一个特定特征、结构或特性将被包括在本发明的至少一个实施例中。因此，整个说明书中各处出现的短语“在一个实施例中”或“在实施例中”，并不必表示同一个实施例。此外，特定的特征、结构或特性可以任何适当的方式被包含在一个或多个实施例中。
概述
在一个实施例中，描述了一种有效地压缩多维信号序列的方法和装置，以在一定的失真限制下降低比特速率。该方法可被用于对一个N维信号序列进行编码，图27示出了一些示例。该方法的一个示例性应用是在以传输和存储为目的的视频编码中。需注意的是，尽管在下文的多数描述中，仅将二维视频信号序列压缩作为说明性示例而详细描述，但是本文给出的方法和装置可扩展到压缩一个普通的n维信号序列。
N维块匹配信号序列的编码
图1示出了一个自适应多维信号序列编码系统100的一个示例性实施例的方框图。该系统可被用于压缩n维信号序列中的一个序列。图27中的项2704、2705和2706是n维序列的一些示例。该系统的输入可以是一个n维信号帧(如图27中的项2701、2702和2703)。一个帧可由n维块组成。图29表示二维帧2901中的块2902的一个示例。如图1所示，系统100在帧缓冲器102中保存一组解码帧。目标块是一个块或参考帧中多个块的某种组合。输入帧101中的每个块可根据预定标准与帧缓冲器内参考帧中的多个目标块匹配。
为改进对帧间信号变化的跟踪，块尺寸可以是可变的。在一个实施例中，不同的块尺寸和块形状可被用于匹配参考帧中的块。较大的块可被用于跟踪较大对象的移动，而较小的块可被用于跟踪较小对象的移动。该块匹配的操作可在二维视频编码情况中的运动估计的一个示例形式中被执行。在发现最佳目标块之后，当前块与目标块之间的差别通过n维系数去相关转换T104被转换，该转换系数通过一个可选的量化操作Q105被量化，然后与运动矢量信息一起被编码。如果要求无损编码，量化操作Q可被跳过。在无损编码的情况下，编码过程是可逆的，即，原始信号序列可由解码器以准确度100％的进行恢复。由于人眼具有一定的精确度限制，因此在不影响人类感觉的情况下可允许进行一定程度的量化。量化的配置方式应使量化误差不会被人眼明显感知。
在一个典型的视频压缩系统中，转换T是一个二维离散余弦变换(DCT)(参考文献[1])。在一些情况下，DCT可产生接近于最优的系数去相关结果。但是，由于计算的复杂性，DCT通常只能处理小的固定块(MPEG4标准中为8×8，和H.264标准中为4×4)。为了具有较大的块尺寸和节省计算时间，在一个实施例中，离散哈达马变换(DHT)可被用作系数去相关转换。根据去相关系数(参考文献[2])，与DCT不同的是，DHT可能不是最优的。但是，由于DHT只要求加法和减法操作，因此其处理非常大的块尺寸是可能的，而且与DCT相比复杂性较低。在一个示例性实施例中，系统100允许转换可选的可变块尺寸，而且可选地，允许为不同的块尺寸利用不同的转换。例如，DCT可被用于转换较小的块，而DHT可被用于转换较大的块。利用可变块尺寸转换，转换的块尺寸可与块匹配大小相同，从而产生比小固定块尺寸的转换更好的系数去相关效果。
被编码的视频的质量是由量化控制的，量化是基于特定的量化参数(QP)把转换系数量化为离散级别。QP越大，级别的数量就越少，因此表示系数的比特的数量越少，但这是以降低质量为代价的。认真调节QP，可对速率-失真进行平衡折衷。在量化操作之后，转换块中的许多系数变为0。为了降低比特速率，通过折线扫描方法(从低频分量到高频分量扫描这些系数，或以相反的方向扫描)来扫描量化的转换系数。该操作把N维系数转换为一维序列。然后被扫描的一维序列通过游程长度(run-length)编码106被编码，其对多个前导零(游程)、非零系数(级别)值对(pairs)的示例表单中的信息进行编码。然后该(游程，级别)对可利用熵编码操作107(如霍夫曼(Huffman)或算术编码)被编码，以进一步降低速率。
运动估计(ME)成本函数
在一个示例性实施例中，一个运动估计(ME)模块103是图1所示的系统中的一个计算强度模块。ME块匹配可以基于对参考帧中当前块与目标块之间误差测量的最小化来进行。误差测量可以根据差值能量测量而被指定(例如，这两块像素之间的平方误差之和(SSE)或绝对误差(SAE)之和，SAE作为ME搜索的最广泛使用的测量，以节省计算时间(参考文献[1]))。利用如SAE或SSE的差值能量测量并不一定产生最小的比特速率。在一个实施例中，一个墒测量可被用作成本函数，引导ME搜索来发现最佳目标块。该墒测量可以测量在给定了参考帧的情况下，对当前块进行编码所需的信息量。在一个示例性实施例中，可以利用一种引导ME搜索以便为目标块发现最小墒的方法。在一个实施例中，该ME成本函数可表示为：
J＝Rate_T(T(FPD)|QP)+Rate_MV(MV)                    (1)
其中Rate_*()是信号通过它的每个编码方法如Rate_T、Rate_MV等等的比特数量；T(FPD)是帧预测差值FPD的变换式；QP是量化参数。
由于确定Rate_MV()很容易，因此成本函数J可以通过确定ME搜索过程中的Rate_T(T(FPD)|QP)的近似值而被求值。在一个实施例中，Rate_T()可以表示为：
Rate_T(T(FPD)|QP)＝Rate_T_DC(T_DC{FPD)|QP_dc)+
                   Rate_T_AC(T_AC(FPD)|QP_ac)
                   ～＝Rate_T_DC(DC{FPD)|QP_dc)+
                   Rate_T_AC(AC_NORM(FPD)|QP_ac)
                                                  (2)
其中T_DC(FPD)是T{FPD)的DC分量；T_AC(FPD)是T(FPD)的AC矩阵；DC(FPD)是FPD块的DC值；AC_Norm(FPD)是FPD块的AC矩阵的Norm(范数)值：
AC_NORM(FPD)＝∑ijABS(FPDij-DC(FPD))              (3)
墒测量的一种简单近似值可被表示为：
J＝R_DC(DC(FPD)|QP_dc)+R_AC(AC_NORM(FPD)|QP_ac)
+
R_MV(MV)                                          (4)
其中R_DC()和R_MV()可通过简单的表查询而被准确地求值；R_AC()可通过一个预先拟合的表而被近似求值。
R_AC与AC_NORM之间的关系可取决于所用的编码方法，并且在一个实施例中，可通过线性或分段线性模型进行拟合，如图2所示。在一个实施例中，利用MPEG4标准，R_AC()的下列近似值可被利用：
R_AC(AC_NORM|QP_ac)＝AC_NORM/(2*QP_ac)            (5)
在另一个实施例中，下列线性模型可被利用：
R_AC(AC_NORM(FPD)|QP_ac)＝K*AC_NORM/QP_ac           (6)
一般地，K可基于FPD的局部统计而变化。为发现R_AC与AC_NORM之间的局部统计关系，可使用一种自适应方法，以动态地调节上文指定的因子K。
图3表示自适应速率查询表/求值器结构的一个实施例。在ME搜索过程中，墒(表示为比特速率)可通过将一组表输入参数301输入到速率查询表/求值器302而被估计。对于每个块来说，来自墒编码107的实际的编码速率303可与估计的速率304比较，误差305可被反馈到自适应速率查询表，以调节某些表参数，从而降低速率误差。总之，速率查询表包括一个准确速率部分和一个估计速率部分，如下所示：
J～＝R_Accurate+R_Estimation                         (7)
R_Accurate是速率的一部分，其在给定某些输入参数的情况下，可被准确地确定。在一个具体实施例中，R_Accurate包括R_DC和R_MV，即：
R_Accurate＝R_DC(DC/QP_dc)+R_MV(MV)                  (8)
R_Estimation是块的估计部分，一般取决于到查询表的一组输入参数。在一个实施例中，R_Estimation是作为特定输入参数的一个线性组合，即：
R_Estimation＝∑iKi*(Xi-Θi)                         (9)
其中{Xi}是输入参数，{Θi}是输入参数的阈值，而{Ki}是加权因子。这里我们采用了最小均方(LMS)算法(参考文献[3])来训练(train)加权因子{Ki}，使阈值{Θi}预先固定或动态可调。在上述方法的一个具体实施例中，我们可准确地查询R_DC()、R_MV_X()和R_MV_Y()(以及在H.264中使用的多个帧参考情况下的R_MV_F())，利用线性模型自适应地调节R_AC()的因子K。在该情况下，成本函数可表示如下：
J＝R_DC(DC|QP_dc)+R_MV(MV)+
K*(AC_NORM-AC_THRESHOLD)/QP_ac                 (10)
将R设为墒编码之后的块的速率(包括DCT和MV的速率)，并将J设为块的速率的估计值，则K可以是通过下面的过程被调节
ΔK＝μ*(R-J)*(AC_NORM-AC_THRESHOLD)/QP_ac
                                               (11)
其中ΔK是因子K的平差，(R-J)是速率误差；μ是学习因子，通常以平衡收敛速度与稳定性的方式来设定；AC_THRESHOLD是在AC速率保持非零时表征最小AC_NORM值的阈值。AC_THRESHOLD可被预先固定为特定值或者可被动态地调节。在一个实施例中，AC_THRESHOLD可根据下列示例性处理被调节(以类似C语言的伪码来表示)：
Zero_Point＝Th0；
for each block {//块处理的循环
     ……
     If{Actual AC Rate＝＝0}{
         Zero_Point＝α*AC_NORM+(1-α)*
         Zero_Point；AC_THRESHOLD＝m*Zero_Point；
     }
}
其中Zero_Point是跟踪零速率AC_NORM位置的一个变量；Zero_Point在程序开始时被初始化为Th0；α是平均窗口控制因子，它是一个大于0的小的正数；m是一个比例因子，基于平均的Zero_Point值控制AC_THRESHOLD的位置。
在一个实施例中，在(11)中调节K的方法可以使速率函数的均方误差最小化：
min E{(R-J)2}                                      (12)
一般地，多个参数可被用于确定R_Estimation，如(9)中所指定的，其中可对因子K使用下面所示的自适应方法：
对于每个i，ΔKi＝μ*(R-J)*(Xi-Θi)                  (13)
在一个实施例中，与基于成本函数的差值能量测量相比，基于墒的成本函数(4)可产生较低的比特速率和较好的图像质量。
ME搜索方法
为了识别产生最低成本函数值的最佳点，需要进行大区域搜索。为了支持实时应用，应该避免计算成本过高。在一个示例性实施例中，使用一种方法，以执行大区域ME搜索，以小于与完全搜索相比的计算时间的1％来产生接近于完全搜索的结果。该方法是基于这样一种现象，即：真实世界的N维帧序列中的多数帧内(如在典型的视频实例中)，只有少量的运动矢量串，运动矢量域从每个串内的块到块连续地变化。基于这一观察，来自相邻块的运动矢量可提供有关ME搜索的起点的一个好的建议。
图4表示快速ME搜索过程的一个实施例，在操作401中，一组点基于相邻块的参考位移索引(如运动矢量(MVs))而被求值，(和可能的是，MVs指定的围绕那些点的直接邻近的点，如图6所示)，以确定详细搜索的起点(图4中的操作402)。邻近的块可以是空间域和/或时域中的邻居，可被称为邻居开拓集。图5表示把该方法应用于二维视频序列情况的一个示例，其中来自三个相邻块的MVs：左501，上502，上右503，以及原点被用于确定当前块500的ME搜索的起点。四个块一起构成该当前块的邻居开拓集504。产生最低成本值的点被选择作为详细ME搜索的一个起点。
在邻居开拓操作401之后，执行详细搜索操作402。详细搜索可被利用，以执行围绕搜索起点的点的彻底的求值，这可基于邻居开拓集中的点的求值而被选择。
图7表示该操作的一个具体实施例。这里，在围绕搜索起点701的一个小区域内执行两个级别的搜索。在级别1，对于所有其它的点，执行ME搜索。在确定了级别1上的最佳点703之后，其在级别0上的直接邻近点704被求值，以确定出最佳点。将迄今发现的最佳成本函数值设置为J-Best。
在详细搜索之后，在图4的操作403执行大区域的分层搜索。操作403可被称为全局搜索操作，该操作的目的是在大的搜索窗口中的点进行取样，以发现在详细搜索区域之外的运动矢量，万一相邻块不提供准确的初始起点。图8表示该操作的一个实施例。这里N个级别的分层搜索被执行。在每个级别上，围绕来自上个级别的最佳点的8个点被求值。对于搜索窗口＝+-128的情况，表示如下：
级别6：(64，0)，(-64，0)，(0，64)，(0，-64)，(64，64)，
       (64，-64)，(-64，64)，(-64，64)
级别5：来自级别6中的最佳点
       (+-32，0)，(0，+-32)，(+-32，+-32)
级别4：来自级别5中的最佳点
       (+-16，0)，(0，+-16)，(+-16，+-16)
级别3：来自级别4中的最佳点
       (+-8，0)，(0，+-8)，(+-8，+-8)
级别2：来自级别3中的最佳点
       (+-4，0)，(0，+-4)，(+-4，+-4)
级别1：来自级别2中的最佳点
       (+-2，0)，(0，+-2)，(+-2，+-2)
级别0：来自级别1中的最佳点
       (+-1，0)，(0，+-1)，(+-1，+-1)
为节省计算时间，可以不必一直搜索到级别0。在级别3停止(操作尺寸8)即可产生可接受的结果。该过程可继续，直到达到最终级别。在N级分层搜索的过程中具有最小成本值的点随后可与来自详细搜索的最佳点比较，产生较小的成本值的点被选择作为最佳ME搜索匹配点。
图4中表示的ME搜索操作不同于通常使用的快速搜索方法。图4的操作401、402、493的独特组合和顺序可产生接近于完全搜索的结果。这里，操作401可被用来从相邻块识别发现的MV，以设定详细搜索起点。操作402可被用来对操作401中发现的最佳起点周围的点彻底求值。该操作也可设定下一个操作的成本函数值阈值。如果详细搜索不能发现产生足够低成本值的点，操作403可超出小的详细搜索区域，以覆盖全部的搜索空间，尽量达到良好的点的邻近。来自先前求值的块的这些搜索结果可被转移到邻近的块。这种中继效果可传播好的结果，并且可以产生块间的一个局部的组合作，以实现全局最优化，这类似于在蜂窝自动机(参考文献[4])或神经网络系统(参考文献[5])中观察到的系统动态特性。
碎片网格点搜索方法
在一个实施例中，为了进一步降低速率，在通过执行上述ME搜索过程发现了最佳的完整网格点之后，可以执行碎片网格点搜索。在MPEG4和H.264标准中，使用多分支插值函数以创建q-pel模式的h-pel像素。如果在ME搜索内部循环(loop)中执行，这可以是高强度的计算。为了说明该问题，可以采用一种利用简化插值在碎片点上执行ME搜索的方法。在一个示例性实施例中，可以在一个视频编码应用中采用一个简单的滤波器来为ME搜索产生子像素值。在发现了最佳的sub-pel点之后，可以利用更复杂的多分支滤波器来进行运动补偿计算。其结果可接近于利用真正多分支滤波器的ME搜索。通过选择自适应运动补偿滤波器可以增强这些结果。图9示出了该原理的一个示例性实施例。利用一个简单的平均滤波器来执行ME搜索，然后选择一个在运动补偿(MC)过程中产生较低速率的滤波器。图10示出了如何使用平均滤波器来计算ME搜索过程中的子像素值。仅仅在完整像素(1001，1001a等)处才可以得到这些像素值，而子像素位置只能被插值。在一个实施例中，使用了双线性插值来为ME搜索参考帧计算子像素值。图10中示例的说明如下：
半像素：
在1002的像素值＝
(在1001处的像素值+在1001a的像素值)/2
1/4像素：
在1003的像素值＝
(在1001的像素值+在1002的像素值)/2
1/8像素：
在1004的像素值＝
(在1001的像素值+在1003的像素值)/2
在一个实施例中，该方法可被扩展到对1/(2n)像素进行求值，并且可以被进一步扩展来处理N维信号序列。
自适应编码器控制器
这些输入帧中各个块的特性在一个帧内以及在帧和帧之间是变化的。可以基于编码器输出的反馈，以及可选地基于在整个编码过程中测量的某些块特性值的反馈，利用一个结构来改善编码器的质量和性能。例如，跨越块和帧的MV距离分布可以是不均匀的。由于较大的MV意味着需要更多的ME搜索周期，因此跨越块和帧可能需要不均匀的ME搜索周期。在一个实施例中，为了更好地利用硬件处理周期，利用了一种可以在帧和块中进行周期共享的方法。图11表示一种自适应ME控制结构。ME处理单元(MEPU)1101是一个执行ME搜索的引擎。ME控制单元(MECU)1102是用于控制MEPU的单元。MECU将某些ME监测参数1104、编码器反馈参数1106和存储在参数存储器1103中的某些可调参数作为输入，创建一组ME控制参数1105，自适应地控制MEPU，以便更好地利用MEPU周期来实现最佳的ME搜索目标。图3所示的自适应速率查询表和前面所述的学习方法可被认为是图11中ME控制函数1107的一个具体实施例。
在ME控制函数的另一个示例性实施例中，基于来自先前帧的MV值，可为当前帧调节ME搜索范围。可以监测先前的X、Y(以及H.264情况下的帧)运动矢量值，从而可以扩大或缩小当前帧上每个维度(X、Y或F)的ME搜索范围。该自适应ME搜索窗口调节方法可有效地降低表示运动矢量需要的比特速率，并降低ME搜索的周期数。
图12示出了ME搜索范围的一个示例。
调节方法。对于既定的当前ME搜索范围D1201，ME搜索范围可根据下面的标准被调节：
1.如果范围大于扩大的范围阈值1204(在该例中设定为3D/4)的MVs的数量大于某个预先设定的阈值数量，则将ME搜索范围扩大到2D。
2.如果范围大于缩小的范围阈值1205(在该例中设定为3D/8)的MVs的数量小于某个预先设定的阈值数量，则将ME搜索范围缩小到D/2。
图12所示的方法可被用来调节每个独立ME搜索维度(对于H.264多帧情况而言，是X、Y和可能的F)上的ME搜索范围。
除了上述自适应ME搜索范围方法之外，当满足一定条件时，系统100也可提前终止每个块的ME搜索，以节省处理周期。提前终止所节省的处理周期可被添加到可用周期池中。MECU将基于该池中的可用周期来分配和调度MEPU将要使用的周期。这种方案可以允许充分利用可用处理周期来实现最佳的ME搜索结果。
图13表示MEPU周期调度器1301的一个实施例。MEPU周期调度器基于周期池中可用周期来调节用于MEPU 1302中各个模块的ME控制参数。
3种示例性的提前终止情况如下所示：
1.跳过情形：根据参考帧中相同位置的块来检查当前块。如果两个块相同，则可跳过ME处理。在这种情况下，我们跳过了视频编码循环的主要部分(包括ME、DCT等)，节省了许多周期。用于跳过的类似条件的一个实施例是：
a.计算当前块与参考帧的相同位置的块之间的块差值(BD)。
b.计算DC[BD]和AC[BD]
c.如果DC[BD]/QP_dc＜SKIP_DC_TH且AC[BD]/QP_ac＜SKIP_AC_TH，则跳过。SKIP_DC_TH和SKIP_AC_TH是确定SKIP条件的一些阈值。SKIP_DC_TH和SKIP_AC_TH可被固定或根据来自编码器的特定反馈动态地调节。例如，在一个实施例中，SKIP_AC_TH被设定为上述的动态调节的AC_THRESHOLD值。
2.良好匹配终止：在ME搜索特定块的过程中的任何时刻，当成本函数值低于特定阈值J_Early_Terminate_TH时，我们可终止ME搜索。当发现了非常好的块匹配时，这种情况就会发生，从而形成低成本函数值。J_Early_Terminate_TH可以是预先固定的值或基于编码器的特定特性值可动态地调节。例如，在本发明的一个实施例中，
J_Early_Terminate_TH＝f*J_B_est_Mean
其中f是小于1的正数，用于控制J_Early_Terminate_TH；J_Best_Mean是通过特定移动取样窗口的J_Best的移动平均值。在本发明的一个实施例中，J_Best_Mean可通过下面公式被简单计算：
J_Best_Mean＝α*J_Best+(1-α)*J_Best_Mean
其中α是小于1的小数值，用于控制移动平均窗口的宽度。
3.ME搜索放弃终止：如果进一步的ME搜索不可能产生比迄今发现的最佳成本值J_Best更好的结果，这将发生。当这一情况发生时，我们不需要浪费周期来搜索该特定块的更多的点。这可由将来搜索点的一些较低的界限估计来求值。如果将来搜索点的较低界限大于迄今发现的最佳成本，那么可终止搜索，不用牺牲任何东西。该想法可被认为是应用经常用于策略树搜索的A*搜索算法(参考文献[6])到ME搜索。下面的实施例是由该想法派生的一些实施例：
a.在完成1MV搜索之后，和4MV搜索之前，如果从1MV发现的最佳成本小于运动矢量速率，我们终止4MV搜索，即，
J_Best(1MV)＜＝R_MV(4MV)
这是因为
R_MV(4MV)＜J(4MV)＝
R_DC(4MV)+R_AC(4MV)+R_MV(4MV)
b.在MPEG4中，如果我们执行遵循来自ME预测点的螺旋模式的ME搜索，则R_MV(MV)将从运动矢量的速率的增加顺序中的搜索起点中被分类。在该情况下，如果运动矢量的速率大于迄今发现的最佳成本，我们可终止ME搜索过程。该想法被表示在图14中。如图14所示，ME搜索从某种预测点1401开始。如图14所示，ME搜索遵循某种螺旋波扩展模式。在MPEG4中，MV被编码为自预测点的差值：R_MV＝R_MV_X(Delta_X)+R_MV_Y(Delta_Y)。R_MV_X()和R_MV_Y()遵循相同VLC表R_MV(Delta)，二者随Delta单调增长。在图14中，如果R_MV(D)＞＝J_Best(迄今发现的最佳成本值)，当ME搜索波扩展到达波阵面1402时，可终止该搜索，因为所有将来的R_MV()将大于R_MV(D)。
在另一个实施例中，A*搜索方法可被用来以删节搜索过程中被求值的点的数量。一般地，如果在任何既定点p的成本函数J(p)大于特定的界限B(p)，并且如果B(p)＞J_Best，迄今发现的最佳成本函数值，则点p可被跳过，而不牺牲任何质量。注意，B(p)可以是某种变量，在点p的求值全部过程中增加，同时有关点p的更多信息被处理。在任何给定的时刻，如果满足B(p)＞J_Best，点p的计算可被停止。
相邻保留扫描方法
为了从前面的块处理结果中获得最佳的自适应学习效果，如果按照一定的序列来扫描和处理这些块，以保留空间和时间距离的顺序关系，那么所学习的信息可能会更加有用。图28示出了在二维视频序列处理中实施一种相邻保留扫描方法的示例。这里，块2803根据2804所示的顺序被扫描和处理。该方法的说明如下：
(a)扫描n块组(由n个块构成的组)的一行，正整数n从前一行结束的位置开始n块组下一行。
(b)扫描完一帧之后，从前一帧结束的位置处开始下一帧的扫描，而且扫描这些行的顺序与前一帧的相反。对每帧重复(a)和(b)。所示的扫描过程可以保留扫描序列中的相邻关系，即扫描之后一维序列中的相邻块在原始的N维序列中也是空间或时间上相邻的。一般地，相邻保留扫描使下列条件的匹配最大化：
(a)扫描后一维序列中的相邻块在原始N维序列中也是邻居。
(b)如果块是同一帧中的相邻块(空间邻居)，或位于邻近帧中相同位置(时间邻居)，两个块被认为是邻居。
这个示例性的扫描方法可被分层使用。
在一个实施例中，也可通过相同的方法在每个N维块内扫描N维块本身。一般地，可允许该扫描方法具有多级层次结构。一种示例性相邻保留扫描方法也可被用于外围图像扫描设备，例如电荷耦合装置(CCD)传感器和CMOS传感器，以准备好与信号处理顺序相匹配的输入信号。这样，从输入传感设备中移除帧缓冲器就成为可能。图30表示我们的扫描方法应用于CNOS或CCD图像扫描的一个实施例。这里，在每个像素3001感知的光信号以保留相邻关系的顺序3002而被扫描出。
N维记忆装置
ME算法的实施在访问参考缓冲存储器时通常具有瓶颈。利用典型地以视频算法在2维或3维目标中组织的视频流，基于存储器的一维线性寻址不提供有效率的结果。为解决这个问题，在传统的基于一维寻址的存储器的基础上开发了一种特殊的存储器结构，即N维记忆装置，以优化ME算法帧缓冲器存取的存储器访问效率和存取模式的灵活性。当然，该结构的使用并不仅限于ME算法。任何N维数据处理均可利用该机制来实现灵活性和效率优势。
图15说明该存储器访问问题。一个2维的例子在该图表中被用作示例，如在ME算法中。在视频应用程序中，视频数据通常是以2维帧来组织，表示出在电视屏幕上任何情况的一个图像。(图15中的1501)在一个帧内部，数据通常是以小于2维的块被组织。这些块通常尺寸是16×16或8×8。这些块被形成为具有每个帧上的固定网格模式(图15中的1502)。
在视频算法中，必须以高效方式来访问这些块，如在1个单周期或单个猝发中得到所有像素。在视频算法中，一个2维块必须在不对齐固定网格的任何随机位置被访问，如图15中1503所示。
电子存储器(如SDRAM、SRAM等)是按照基于一维的寻址机制而被组织的，最多是以线性方式来对像素进行同时访问/猝发，即访问一行像素。利用存储器中像素数据分配的某些预先安排，在一个与该帧中的固定网格模式对齐的块进行猝发是可能的。但是，不可能在一个周期/一个猝发中访问一个随机位置的块。
存储器结构方案的一个实施例的方框图表示在图16中。在该方框图中，n维目标存储器被分成L个切片。每个存储器切片是一个传统的一维存储器(如在SRAM中)。每个切片的数据宽度是该目标的最小单元尺寸。在视频中，该尺寸是(例如8比特的)一个像素。在其它应用中，存储器切片的总线宽度可以是任何尺寸。L切片组织的目的是允许在一个周期中(如果数据块具有L个元素)，或每个具有L个元素的多个访问周期的一个猝发中访问一个N维块。实现该目的的问题在于如何将N维块数据分配成L个切片。我们为分配到每个切片的数据设定了2个条件：
(1)属于同一块的数据元素应该被平均分配成L个切片，以使该块中的L个数据元素能够被无冲突地同时访问。
(2)如果切片的数量L小于一个块中数据元素的数量，例如如果B＝L*M，其中B是一个块中数据元素的数量，那么一个块中的多个元素(M)会存在于同一个切片上。M个数据元素应该被放置在一个切片的连续区域内，从而实现单个猝发的块访问。
基于一种示例性方法的数据分配示例被示于图17中。在该图中，示出了一个L＝12的3×4的2维块的示例。可见，在一个单周期中可以访问该帧中任意的3×4块。L＝6、M＝2的另一个示例被表示在图18中。在该例中，所有3×4的块均由具有相同切片存储器ID的2个元素组成。也就是说，该3×4的块可在2个时钟周期中被访问。另外，如图17和18所示，对一行中L个像素的任意访问也可在一个时钟周期中完成，因为在行像素集中不存在切片存储器重叠。
一旦根据示例性方法完成了数据分配，就可设计地址转换和数据多路控制，以反映图16所示的分配模式。
在一个示例性实施例中，可以用参数来表示维度数目n、每个维度上块尺寸的大小、以及存储器切片的数目L，以适应特定应用所需要的任何可能的情况。
多级N维记忆装置
视频ME算法具有下列一组独特的要求，这将其与非实时CPU系统区别开来。
1.大容量
2.大带宽
3.2维数据元素的随机访问
4.低成本
在这些要求中，第二和第三项要求可通过先前所述的存储机制解决。但是，如果仅使用N维存储装置，也许并不能满足大容量和低成本方面的要求。另外，较大的切片数量L将提供较大的访问带宽，但同时也会增加成本。
可将传统的多级高速缓冲存储器结构用于所述的N维存储器中。n维记忆装置的高速度和成本使之最适于用作最接近于处理引擎的最核心层次的存储器。
用于该n维记忆装置的一个示例性二级存储器实施例被表示在图19中。在这种机制中，对数据进行组织，以便首先从第二级存储器(例如一个SDRAM)中读取数据，并将其存储在片上(on-chip)n维记忆装置中。一旦数据存储在n维记忆装置中，那么数据就可被灵活地访问，并被多次重复使用。这样，就降低了对外部SDRAM带宽和访问模式灵活性的要求。
如果将SDRAM用作二级n维记忆装置中的第二级存储器时，在SDRAM使用中需要精心设置某些细节来支持n维数据结构，并克服SDRAM架构的限制。由于SDRAM设计架构方面的原因，存在与SDRAM访问有关的开销。典型的是，SDRAM访问包括下列操作，每个操作所具有的各种延迟都会在猝发之间产生开销：
(1)先前访问的存储体(memory bank)的预先充电
(2)发送RAS命令
(3)发送CAS命令
没有像素数据的适当安排，猝发访问之间的开销可能是非常高的。另一方面，SDRAM提供了多存储体的存储结构，允许独立地发出命令和预先充电。利用帧的像素数据的适当组织，SDRAM访问开销可被最小化。为做到这点，我们如在图20中固定SDRAM中的帧缓冲器数据分配模式。一个帧缓冲器首先被预先分成固定尺寸的块(16×16、8×8或其它固定尺寸)，每个块被分配到一个SDRAM存储器的存储体中。图20中的示例表示8×8的块。这些块被对齐到固定网格模式，如图15的1502所示。这些块被有顺序地排列成有顺序的存储体ID，如图20所示。在一个块内，像素数据以图21所示的顺序被排列。
藉此，下面列出的对SDRAM的访问模式是以零开销方式完成的：
(1)块猝发：整个块被连续地排列在一个存储体中。因此，只需利用一个单个猝发即可完成整个块的访问。
(2)有顺序的块猝发：光栅扫描顺序中的多个块猝发(如图20所示)是利用多个猝发实现的。由于每个块是被分配到不同的存储体中，所以这些猝发命令是由管道传送的，不存在开销问题。
(3)行访问：可利用多个猝发来访问相同线上的一行像素。此外，多个猝发属于不同的存储体，因此进行跨猝发的管道传送是可能的。是否存在零开销取决于块内的猝发长度，以及SDRAM的CAS和RAS延迟。
尽管对外部SDRAM的访问可以具有非常有限的访问模式，但是对于将SDRAM作为第二或更高级别存储器的多级N维记忆装置而言，一旦将数据从SDRAM读到N维记忆装置中，数据访问就会非常灵活。
ME搜索的平行螺旋模式(PSP)阵列处理器
在一个实施例中提出了一种结构，以降低利用平行螺旋搜索模式和阵列处理器的ME算法中对参考带宽的需求。该方案可允许多个处理器共享来自参考缓冲器的相同数据输出，如图22所示。
在一个实施例中，可以利用ME算法中的固定搜索/访问模式的特点。共享二级存储器输出的方法是预先规定ME算法中搜索模式，以使多个搜索点被平行或并行地处理。传统上，ME算法利用各种算法。一种实施方式利用了螺旋搜索，其遵循预先规定的搜索路线，直到最终发现最佳搜索点。图23示出了一个操作尺寸为4像素的螺旋搜索。为允许具有固定访问存储器的访问模式的平行搜索，本发明利用一种搜索模式，即“平行螺旋搜索”。
图24示出了平行螺旋模式的一个示例，该平行螺旋模式具有平行的P个搜索点，在该例中P＝9。利用固定的3×3网格模式中平行处理的P搜索点，输入数据可被进一步分析，以增强共享和降低存储器带宽使用。
该概念的一个示例被表示在图25中。图中的每个搜索点规定了成本函数将被执行的位置。在该例中，可以假定成本函数是基于一个尺寸为16×16的块。搜索点1、2和3共享每行中24个像素中的16个像素。这样，当从参考缓冲器读取第一行时，其被全部3个搜索点1、2和3共享。从第5行开始，数据被搜索点1、2、3、4、5和6共享。从第9行开始，被全部9个搜索点共享。由于9个搜索点是以固定的3×3网格排列，参考缓冲器的访问模式是固定的，并容易设计为重新使用数据，当数据被从缓冲器读取时。
注意，在基于平行螺旋搜索模式的该阵列处理结构中，搜索模式操作尺寸，X、Y方向上的阵列尺寸是可被设定为任何值的所有参数。
用于ME搜索具有N维存储器的PSP阵列处理器
可替代地，PSP阵列处理器也可参加一列数据，或一个数据块(如4×4)，如果一个N维存储器与平行螺旋阵列处理器一起被使用。该组合的一个实施例表示在图26中。
使用具有N维记忆装置的平行螺旋阵列处理器可以获得更好的性能。在没有N维记忆装置的情况下，该阵列处理器仅能读取和共享一行或一列的数据。假定参考缓冲器的数据宽度为16像素，即提供输入数据时是一次提供16像素。考虑图25中的情况。如果没有可用的N维记忆装置，每次就只能读取一行或一列的16个像素。为了访问全部24行、每行24个像素，9个处理器就需要和共享48个周期。这样，每个处理器的周期数量就是48/9＝5.33。
如果N维记忆装置可用，从而允许在一个周期中访问一个4×4块(如图26所示)，那么总共需要36个周期。在这种情况下，每个处理器的周期数量为36/9＝4。注意，在不存在PSP和阵列处理器的情况下，周期数量为每个处理器16个周期。该性能对单独PSP处理器从16改进到5.33，对具有N维存储的PSP改进到4。总之，这种阵列处理器架构可被单独使用，或者如此处所述，可以与N维存储器一起使用。与传统的单螺旋点搜索模式相比，利用带二级存储器的阵列处理器的平行螺旋模式可使ME算法的执行效率更高，以搜索更多的点，从而获得更高的压缩性能。
还要注意的是，本文描述的实施例不仅可以实施在物理电路(例如半导体芯片)中，而且也可以实施在机器可读介质中。例如，上面所讨论的电路和设计可以存储在和/或嵌入在与用于设计半导体器件的设计工具有关的机器可读介质中。具体示例包括以“VHSIC硬件描述语言”(VHDL)语言、Verilog语言或SPICE语言表现的网表(netlist)。部分网表示例包括：行为层网表、寄存器传送层(RTL)网表、栅层网表、以及晶体管层网表。机器可读介质也包括具有布局信息例如GDS-II文件的介质。此外，用于半导体芯片设计的网表文件或其它机器可读介质可使用在仿真环境中，以执行本文所述原理的各种方法。
因此，也应理解的是，本发明的实施例可被用作或支持在某种形式的处理核(例如计算机的CPU)上执行的软件程序，或在机器可读介质上或其中实施或实现的软件程序。机器可读介质包括存储或传输机器(如计算机)可读形式信息的任何装置或机制。例如，机器可读介质包括只读存储器(ROM)，随机访问存储器(RAM)，磁盘存储介质，光存储器，闪存装置，电子、光学、声学或其它形式的传播信号(例如载波、红外信号、数字信号等)等等。
至此，本文已描述了自适应多维信号序列编码和解码的方法和系统。尽管本发明的描述参考了具体的示例性实施例，但是显然，在不脱离本发明的更广泛的精神和范围的情况下，可对这些实施例做出各种修改和变化。因此，应该以一种说明性的而非限制性的角度来看待本发明的说明书和附图。
参考文献
[1]Iaiain E.G.Richardson，Video Codec Design，John Willey&Sons，Ltd.，2002，1983
[2]Douglas F.Elliott and K.Ramamohan Rao，Fast Transforms：Algorithms，Analyses，APPlications，Academic Press，1983
[3]Bernard Widrow and Samuel D.Steams，Adaptive SignalProcessing，Prentice-Hall，Inc.，1985
[4]John von Neumann，″Theory of Self-Reproducing Automata″，edited and completed by Arthur W.Burks，University of Illinois Press，Urbana and London，1966
[5]Tsu-Chang Lee，Structure Level Adaptation for Artifcial N6uralN6tworks，Kluwer Academic Publishers，1991
[6]Nils J.Nilsson，Principles of Artificial Intelligence，MorganKaufmann，1986

Claims (78)

1.一种处理信号序列的系统，该系统包括：
一个接收信号序列的区分器，所述信号序列包括一个n维当前帧，所述n维当前帧包括多个当前帧块和多个n维参考帧，所述多个n维参考帧中的每一帧包括多个参考帧块；
一个存储所述多个n维参考帧的帧缓冲器；
一个块匹配预测器，其为所述多个当前帧块中的每一块识别所述多个参考帧块中的一个预测块，并为所述多个当前帧块中每一块的相应预测块确定一个参考位移索引和一个块预测差值，其中所述参考位移索引用以识别所述参考帧块内的一个点；
一个块编码器，其对所述多个当前帧块中每一块的相应块预测差值和相应参考位移索引进行编码，并藉此创建多个编码块；和
一个序列编码器，其根据预定格式把所述多个编码块打包在一起。
2.根据权利要求1所述的系统，包括：
一个序列解码器，其根据所述预定格式对所述多个编码块进行解包；和
一个块解码器，其利用相应的块预测差值和相应的参考位移索引对所述多个编码块中的每一块进行解码。
3.根据权利要求1所述的系统，其中所述预测块被识别，从而使利用所述多个参考帧块对一个当前帧块进行编码所需的信息量减至最小。
4.根据权利要求1所述的系统，其包括一个成本估计组件，以确定识别所述预测块的计算强度，所述成本估计组件利用了一个成本函数。
5.根据权利要求4所述的系统，其中所述成本估计组件是利用基于一个或多个参数的一个估计，所述参数选自包括所述块预测差值的一个或多个特性值和所述块匹配预测器的一个或多个状态的的线性组合的组中。
6.根据权利要求4所述的系统，其中所述成本函数是基于至少一个表查询，所述表查询具有所述块预测差值的特性值和所述块匹配预测器的一个或多个状态指定的表条目。
7.根据权利要求3所述的系统，其中利用所述多个参考帧块对所述当前帧块进行编码所需的信息量是由相应块预测差值的比特速率与相应参考位移索引的比特速率之和确定的。
8.根据权利要求1所述的系统，其包括一个系数去相关转换组件，以在对转换的N维系数进行编码之前，利用N维系数去相关转换T来转换所述块预测差值。
9.根据权利要求1所述的系统，其中所述块匹配预测器能够处理各种形状和尺寸的块。
10.根据权利要求8所述的系统，其中所述系数去相关转换组件能够处理各种形状和尺寸的块。
11.根据权利要求8所述的系统，其中所述系数去相关转换组件将利用具有有关形状和尺寸的块，所述有关形状和尺寸是由所述块匹配预测器选择的。
12.根据权利要求8所述的系统，其中所述系数去相关转换组件是根据一个或多个系统性能要求来利用一种转换方法。
13.根据权利要求8所述的系统，其中所述块编码器是利用N维折线扫描和游程长度编码对转换的N维系数进行编码。
14.根据权利要求8所述的系统，其中所述转换T是一个N维离散余弦变换DCT。
15.根据权利要求8所述的系统，其中所述转换T是N维离散哈达马变换DHT。
16.根据权利要求4所述的系统，其中所述成本函数J的形式如下：
J＝Rdc(DC)+Rac(AC)+Rri(参考索引)
其中Rdc(DC)是所述块预测差值的DC系数的速率；Rac(AC)是所述块预测差值的AC系数的速率；而Rri(参考索引)是所述参考索引的速率。
17.根据权利要求16所述的系统，其中Rac(AC)可被估计为AC_NORM(Rac(AC_NORM))，其中AC_NORM是所述块预测差值的AC部件的NORM。
18.根据权利要求17所述的系统，其中Rac(AC_NORM)是AC_NORM的线性函数或者是AC_NORM的分段线性函数。
19.根据权利要求18所述的系统，其中Rac(AC_NORM)的形式如下：
Rac(AC_NORM)＝K*(AC_NORM-AC_THRESHOLD)/QP_ac
其中AC_THRESHOLD能够可选地从所述估计中移除。
20.根据权利要求19所述的系统，其中所述K能够通过基于实际速率的最小均方LMS算法调节，以致
ΔK＝μ*Error*(AC_NORM-AC_THRESHOLD)/QP_ac
其中Error是所述速率估计误差，所述μ是一个学习因子，并且Error＝Actual_AC_Rate-Rac(AC_NORM)。
21.根据权利要求19所述的系统，其中利用实际的AC速率和AC_NORM可调节所述AC_THRESHOLD。
22.根据权利要求17所述的系统，其中所述AC_NORM是L1NORM，所述L1 NORM是所述块预测差值中每个分量的绝对值之和。
23.根据权利要求17所述的系统，其中所述AC_NORM是L2NORM，所述L2 NORM是所述块预测差值中每个分量的平方之和。
24.根据权利要求1所述的系统，其中所述系统适合用于对二维视频序列进行编码。
25.根据权利要求1所述的系统，其中所述块匹配预测器对所述多个参考帧中一个或多个参考帧内的一个或多个点进行求值。
26.根据权利要求25所述的系统，其中所述多个参考帧中一个或多个参考帧内的一个或多个点的求值包括了一种邻居开拓操作，所述邻居开拓操作包括利用响应一个相邻块而获得的结果对所述目标参考块求值。
27.根据权利要求26所述的系统，其中所述块匹配预测器是利用与所述相邻块有关的参考位移索引对所述目标参考块求值。
28.根据权利要求27所述的系统，其中所述邻居开拓操作是利用与所述相邻块有关的参考位移索引对所述目标参考块的目标系统对象进行求值，以确定所述目标参考块是否是所述预测块。
29.根据权利要求28所述的系统，其包括：
识别由所述参考位移索引所指示的一个目标点；和
对邻近点进行求值，所述邻近点是直接与所述目标点相邻。
30.根据权利要求29所述的系统，其中所述块匹配预测器执行详细搜索操作，所述详细搜索操作对所述目标点周围的区域进行求值。
31.根据权利要求30所述的系统，其中所述详细搜索操作包括：
在每个维度上以步长2来识别所述目标点周围的一个最佳点；和
对直接邻近所述目标点的一个或多个点进行求值。
32.根据权利要求25所述的系统，其中所述块匹配预测器执行全局搜索操作，所述全局搜索操是响应用于多个点求值的一个阈值的建立而被执行的。
33.根据权利要求32所述的系统，其中所述全局搜索操作包括一个N级分层搜索。
34.根据权利要求33所述的系统，其中所述N级分层搜索可在级别K＞0时停止。
35.根据权利要求32所述的系统，其中所述阈值是通过所述邻居开拓操作的最佳结果来建立的。
36.根据权利要求32所述的系统，其中所述阈值是通过所述详细搜索操作的最佳结果来建立的。
37.根据权利要求1所述的系统，其中所述方法适合用于对二维视频序列进行编码。
38.根据权利要求1所述的系统，其中：
所述块匹配预测器包括一个碎片点预测器；和
所述参考帧包括多个网格点和多个碎片点。
39.根据权利要求38所述的系统，其中来自所述多个碎片点的一个碎片点上的信号是根据一个或多个完整网格点或者根据一个或多个先前插值的网格点而被插值的。
40.根据权利要求39所述的系统，其中所述碎片点是利用双线性插值而被插值的。
41.根据权利要求39所述的系统，其中所述碎片点是利用多分支插值而被插值的。
42.根据权利要求39所述的系统，其中所述块匹配预测器是利用第一插值机制对来自所述多个碎片点的一个或多个碎片点进行求值，以选择最佳点，并且利用第二插值机制来计算所述块预测差值。
43.根据权利要求42所述的系统，其中所述第一插值机制是基于双线性插值，而所述第二插值机制是基于多分支插值。
44.根据权利要求39所述的系统，其中所述第二插值机制能够被自适应地从一组插值中选择，以对目标系统对象进行优化。
45.根据权利要求1所述的系统，其包括一个编码反馈控制单元，以动态地调节一个或多个编码参数，其中所述一个或多个编码参数是根据一个或多个条件而被调节的，所述一个或多个条件选自包括从所述块编码器获得的一个或多个反馈参数和一组编码器监测参数的组中。
46.根据权利要求45所述的系统，其中所述编码反馈控制单元包括一个自适应块匹配控制单元，以根据从所选择的一个或多个条件动态地调节一个或多个预测处理参数，所述一个或多个条件选自包括从所述块编码器获得的一个或多个反馈参数和一组编码器监测参数的组中。
47.根据权利要求46所述的系统，其中所述块匹配控制单元是基于来自先前编码帧的一个或多个搜索特征，为所述当前帧在每个维度上调节一个搜索范围。
48.根据权利要求47所述的系统，其中所述当前帧的每个维度上的所述搜索范围是基于来自先前编码帧的运动矢量分布的函数而被调节的。
49.根据权利要求46所述的系统，其中所述块匹配控制单元根据来自所述块编码器的反馈，来调节由所述成本估计组件所利用的一个成本函数。
50.根据权利要求49所述的系统，其中所述块匹配控制单元根据所述块编码器创建的一个实际成本函数值与一个估计的成本值之间的误差，来调节所述成本函数的参数，所述估计成本值是利用所述参数表示的成本函数来计算的。
51.根据权利要求49所述的系统，其中所述成本函数利用最小均方LMS算法被组织和调节。
52.根据权利要求46所述的系统，其中所述块匹配预测器控制单元动态地调节一个或多个处理参数，从而为块预测处理分配和调度处理周期。
53.根据权利要求1所述的系统，其中所述块匹配预测器根据一个提前终止条件来终止处理。
54.根据权利要求53所述的系统，其中所述提前终止条件包括一个跳过条件，所述跳过条件指示根据一个跳过阈值，所述当前块可由先前的块表示。
55.根据权利要求54所述的系统，其中所述跳过阈值根据来自所述块编码器的反馈是动态可调的。
56.根据权利要求53所述的系统，其中所述提前终止条件包括一个良好匹配条件，所述良好匹配条件指示一个成本函数值小于一个预先确定的良好匹配阈值。
57.根据权利要求56所述的系统，其中所述良好匹配阈值能够根据先前求值块的特性值的移动窗口平均值的函数被动态地调节。
58.根据权利要求57所述的系统，其中所述特性值是先前求值块的最佳成本函数值。
59.根据权利要求53所述的系统，其中所述提前终止条件包括一个放弃条件，所述放弃条件是响应这样一个决定，即进一步搜索产生的成本函数值将不会低于迄今发现的最佳成本值，而被触发的。
60.根据权利要求1所述的系统，其中所述块匹配预测器基于A*算法跳过搜索点。
61.根据权利要求1所述的系统，其中所述块匹配预测器利用平行螺旋搜索过程对参考帧进行求值。
62.根据权利要求1所述的系统，其中所述块匹配预测器利用一个处理器阵列对所述参考帧中多个点上的系统对象求值，所述处理器阵列包括一个或多个信号处理单元，以处理N维数据输入。
63.一种存储系统，其包括：
n维存储器，所述n维存储器包括：
一个或多个存储切片，以允许在一个时钟周期中在每个切片中存储或取出一个数据项；
组织一个n维帧内的n维数据以允许一个既定立方体内的所有数据在多个周期中被访问的装置，所述立方体可位于该n维帧中的任何地方，其中周期的数量被确定为该立方体内的全部点数除以存储切片的数量；
一个寻址转换模块，其基于n维地址输入从所述一个或多个存储切片中访问数据；以及
一个数据多路复用器/多路分离器，以将来自所述一个或多个切片的数据流桥接到利用n维数据的一个或多个外部处理模块。
64.根据权利要求53所述的系统，其包括：
至少一个级别的块存储器，从而以块的形式存储数据，所述块存储器被连接到所述n维存储器；
一个寻址转换模块，以访问所述块存储器和所述n维存储器中的数据；以及
一个数据多路复用器/多路分离器，以将来自所述n维存储器的数据流桥接到所述块存储器。
65.根据权利要求64所述的系统，其中所述块存储器是SDRAM。
66.根据权利要求63所述的系统，其中所述存储系统适于存储二维图像。
67.一种系统，其包括：
一个处理阵列，该处理阵列包括一个或多个信号处理单元，以处理n维数据输入；
一个或多个数据寄存器，其为所述信号处理单元存储数据；以及
控制所述处理阵列的装置，其允许一个数据元素由所述阵列中一个以上的处理器使用。
68.根据权利要求67所述的系统，其中所述处理阵列处理来自一个n维存储器的数据，其中所述n维存储器包括：
一个或多个存储切片，以允许在一个时钟周期中在每个切片中存储或取出一个数据项；
组织一个n维帧内的n维数据以允许一个既定立方体内的所有数据在多个周期中被访问的装置，所述立方体可位于该n维帧中的任何地方，其中周期的数量被确定为该立方体内的全部点数除以存储切片的数量；
一个寻址转换模块，其基于n维地址输入从所述一个或多个存储切片中访问数据；以及
一个数据多路复用器/多路分离器，以将来自所述一个或多个切片的数据流桥接到利用n维数据的一个或多个外部处理模块。
69.根据权利要求67所述的系统，其中所述处理阵列处理来自多级n维存储器的数据，其中所述多级n维存储器包括：
至少一个级别的块存储器，从而以块的形式存储数据，所述块存储器被连接到所述n维存储器；
一个寻址转换模块，以访问所述块存储器和所述n维存储器中的数据；以及
一个数据多路复用器/多路分离器，以将来自所述n维存储器的数据流桥接到所述块存储器。
70.根据权利要求67所述的系统，其中所述系统适于对二维视频序列进行编码。
71.一种方法，其包括：
接收一个n维帧序列，该n维帧序列包含一个原始n维帧；并且
以保存所述原始n维帧内块的相邻关系的顺序，来扫描所述n维帧序列，使其成为一个一维的块序列。
72.根据权利要求71所述的方法，其中如果两个块是空间上或时间上的邻居，那么它们就被认为是邻居。
73.根据权利要求71所述的方法，其中所述方法适于对二维视频序列进行编码。
74.根据权利要求73所述的方法，其中所述的扫描所述n维帧序列使其成为一个一维的块序列的步骤包括：
扫描来自所述n维帧序列的一组块中第一行的点；
识别这组块中第二行的点，识别所述第二行的点的开端位于所述第一行结束的位置处。
75.根据权利要求74所述的方法，其包括：
对完成所述n维帧序列的第一帧的扫描做出响应；
对所述n维帧序列的第二帧进行扫描，识别所述第一帧结束处的所述第二帧的开端；并且
扫描所述第二帧中各行的点，扫描顺序与扫描所述第一帧时的顺序相反。
76.一种处理信号序列的方法，其包括：
接收一个信号序列，所述信号序列包括一个n维当前帧，所述n维当前帧包括多个当前帧块和多个n维参考帧，所述多个n维参考帧中的每一帧包括多个参考帧块；
存储所述多个n维参考帧；
为所述多个当前帧块中的每一块识别所述多个参考帧块中的一个预测块；
为所述多个当前帧块中每一块的相应预测块确定一个参考位移索引和一个块预测差值，其中所述参考位移索引用于识别参考帧块内的一个点；
为所述多个当前帧块中的每一块，对其相应的块预测差值和相应的参考位移索引进行编码，并藉此创建多个编码块；并且
根据预定格式把所述多个编码块打包在一起。
77.一种处理信号序列的系统，其包括：
用于接收一个信号序列的装置，所述信号序列包括一个n维当前帧，所述n维当前帧包括多个当前帧块和多个n维参考帧，所述多个n维参考帧中的每一帧包括多个参考帧块；
存储所述多个n维参考帧的装置；
为所述多个当前帧块中的每一块识别所述多个参考帧块中一个预测块的装置；
为所述多个当前帧块中每一块的相应预测块确定一个参考位移索引和一个块预测差值的装置，其中所述参考位移索引用于识别参考帧块内的一个点；
为所述多个当前帧块中的每一块、对其相应块预测差值和相应参考位移索引进行编码的装置，并藉此创建多个编码块；以及
根据预定格式把所述多个编码块打包在一起的装置。
78.一种存有电路描述的机器可读介质，所述电路包括：
一个用于接收信号序列的区分器，所述信号序列包括一个n维当前帧，所述n维当前帧包括多个当前帧块和多个n维参考帧，所述多个n维参考帧中的每一帧包括多个参考帧块；
一个存储所述多个n维参考帧的帧缓冲器；
一个块匹配预测器，其为所述多个当前帧块中的每一块识别所述多个参考帧块中的一个预测块，并为所述多个当前帧块中每一块的相应预测块确定一个参考位移索引和一个块预测差值，其中所述参考位移索引用于识别所述参考帧块内的一个点；
一个块编码器，其为所述多个当前帧块中的每一块，对其相应的块预测差值和相应的参考位移索引进行编码，并藉此创建多个编码块；以及
一个序列编码器，其根据预定格式把所述多个编码块打包在一起。
CNA2004800176253A 2003-06-23 2004-06-23 自适应的多维信号序列编码/解码方法和装置 Pending CN1809839A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US48098503P 2003-06-23 2003-06-23
US60/480,985 2003-06-23

Publications (1)

Publication Number Publication Date
CN1809839A true CN1809839A (zh) 2006-07-26

Family

ID=33551961

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800176253A Pending CN1809839A (zh) 2003-06-23 2004-06-23 自适应的多维信号序列编码/解码方法和装置

Country Status (5)

Country Link
US (3) US7471724B2 (zh)
EP (1) EP1644896A2 (zh)
JP (1) JP2007525078A (zh)
CN (1) CN1809839A (zh)
WO (2) WO2005001773A2 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924933A (zh) * 2009-04-10 2010-12-22 特克特朗尼克国际销售有限责任公司 跟踪视频帧序列中感兴趣区域的方法
CN101933328A (zh) * 2008-01-22 2010-12-29 杜比实验室特许公司 利用动态查询表更新的自适应运动信息成本估计
CN102413326A (zh) * 2010-09-26 2012-04-11 华为技术有限公司 视频编码、解码方法和装置
CN102742267A (zh) * 2007-12-19 2012-10-17 杜比实验室特许公司 自适应运动估计
CN103918002A (zh) * 2011-11-10 2014-07-09 英特尔公司 用于视频分析和编码的存储器控制器
CN104159003A (zh) * 2014-08-21 2014-11-19 武汉大学 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统
CN105284110A (zh) * 2013-07-31 2016-01-27 松下电器（美国）知识产权公司 图像编码方法及图像编码装置
CN105338354A (zh) * 2015-09-29 2016-02-17 北京奇艺世纪科技有限公司 一种运动向量估计方法和装置
CN110996300A (zh) * 2019-11-12 2020-04-10 北京航空航天大学 一种基于交通场景安全的车载终端信息安全风险控制方法
CN115103196A (zh) * 2022-06-21 2022-09-23 安谋科技（中国）有限公司 图像编码方法、电子设备以及介质

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9170812B2 (en) * 2002-03-21 2015-10-27 Pact Xpp Technologies Ag Data processing system having integrated pipelined array data processor
US7180947B2 (en) * 2003-03-31 2007-02-20 Planning Systems Incorporated Method and apparatus for a dynamic data correction appliance
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
CN100542287C (zh) * 2003-06-27 2009-09-16 Nxp股份有限公司 用于手持设备的编码的方法
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
JP4031455B2 (ja) * 2004-03-29 2008-01-09 株式会社東芝 画像符号化装置
US8665955B2 (en) * 2004-06-11 2014-03-04 Nxp, B.V. Method of storing pictures in a memory using compression coding and cost function including power consumption
JP4175296B2 (ja) * 2004-06-25 2008-11-05 キャタピラージャパン株式会社 建設機械のデータ処理装置及び建設機械のデータ処理方法
SE0401812D0 (sv) * 2004-07-08 2004-07-08 Anoto Ab Method in creating a symbol pattern, symbol pattern obtained thereby method and system for finding a position in such symbol pattern and computer program product for performing the method
KR20060043120A (ko) * 2004-09-23 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100694059B1 (ko) * 2004-09-30 2007-03-12 삼성전자주식회사 멀티 타임 스캔 방식에 기초한 인터 모드 인코딩 및디코딩 방법 및 장치
KR100647294B1 (ko) 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
EP1689192A3 (en) * 2005-02-04 2011-10-26 Thomson Licensing Method and device for scanning in a data frame
US7536487B1 (en) * 2005-03-11 2009-05-19 Ambarella, Inc. Low power memory hierarchy for high performance video processor
EP1886502A2 (en) * 2005-04-13 2008-02-13 Universität Hannover Method and apparatus for enhanced video coding
US7822278B1 (en) 2005-09-20 2010-10-26 Teradici Corporation Methods and apparatus for encoding a digital video signal
US10038756B2 (en) 2005-09-14 2018-07-31 Millenial Media LLC Managing sponsored content based on device characteristics
US10911894B2 (en) 2005-09-14 2021-02-02 Verizon Media Inc. Use of dynamic content generation parameters based on previous performance of those parameters
US20110313853A1 (en) 2005-09-14 2011-12-22 Jorey Ramer System for targeting advertising content to a plurality of mobile communication facilities
US10585942B2 (en) * 2005-09-14 2020-03-10 Millennial Media Llc Presentation of search results to mobile devices based on viewing history
US9703892B2 (en) 2005-09-14 2017-07-11 Millennial Media Llc Predictive text completion for a mobile communication facility
US10592930B2 (en) 2005-09-14 2020-03-17 Millenial Media, LLC Syndication of a behavioral profile using a monetization platform
US7676394B2 (en) 2005-09-14 2010-03-09 Jumptap, Inc. Dynamic bidding and expected value
US8532633B2 (en) 2005-09-14 2013-09-10 Jumptap, Inc. System for targeting advertising content to a plurality of mobile communication facilities
US8688671B2 (en) * 2005-09-14 2014-04-01 Millennial Media Managing sponsored content based on geographic region
US7885335B2 (en) * 2005-09-16 2011-02-08 Sont Corporation Variable shape motion estimation in video sequence
SG130962A1 (en) * 2005-09-16 2007-04-26 St Microelectronics Asia A method and system for adaptive pre-filtering for digital video signals
JP5013040B2 (ja) * 2005-09-29 2012-08-29 株式会社メガチップス 動き探索方法
WO2007040349A1 (en) * 2005-10-05 2007-04-12 Lg Electronics Inc. Method and apparatus for signal processing
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US7693219B2 (en) * 2006-01-04 2010-04-06 Freescale Semiconductor, Inc. System and method for fast motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
US8437396B2 (en) * 2006-08-10 2013-05-07 Vixs Systems, Inc. Motion search module with field and frame processing and methods for use therewith
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
JP2008109632A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
US8069321B2 (en) 2006-11-13 2011-11-29 I365 Inc. Secondary pools
KR101356735B1 (ko) * 2007-01-03 2014-02-03 삼성전자주식회사 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법
TW200838321A (en) * 2007-03-02 2008-09-16 X8 Technology Inc Motion estimation method and system with dual search windows for high resolution video coding
US9253491B2 (en) * 2007-04-02 2016-02-02 Vestel Elektronik Sanayi Ve Method and apparatus for transcoding a video signal
US7929652B2 (en) * 2007-04-10 2011-04-19 Qualcomm Incorporated Adaptive pilot and data symbol estimation
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US9118927B2 (en) * 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
US8731048B2 (en) * 2007-08-17 2014-05-20 Tsai Sheng Group Llc Efficient temporal search range control for video encoding processes
US8799342B2 (en) * 2007-08-28 2014-08-05 Honda Motor Co., Ltd. Signal processing device
KR101385956B1 (ko) 2007-08-31 2014-04-17 삼성전자주식회사 미디어 신호 인코딩/디코딩 방법 및 장치
US8127233B2 (en) * 2007-09-24 2012-02-28 Microsoft Corporation Remote user interface updates using difference and motion encoding
US8619877B2 (en) * 2007-10-11 2013-12-31 Microsoft Corporation Optimized key frame caching for remote interface rendering
KR101597325B1 (ko) 2007-10-16 2016-03-02 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
EP2232869A1 (fr) * 2007-11-28 2010-09-29 France Telecom Codage de mouvement sans transmission d' information de mouvement, et decodage
US8432975B2 (en) * 2008-01-18 2013-04-30 Mediatek Inc. Apparatus and method for processing a picture frame
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8055025B2 (en) * 2008-06-14 2011-11-08 City University Of Hong Kong Motion estimation method
WO2009155398A1 (en) * 2008-06-20 2009-12-23 Dolby Laboratories Licensing Corporation Video compression under multiple distortion constraints
JP5361896B2 (ja) * 2008-09-29 2013-12-04 パナソニック株式会社 動画像符号化方法および動画像符号化装置
US8363727B2 (en) * 2008-09-30 2013-01-29 Microsoft Corporation Techniques to perform fast motion estimation
AU2008240343B2 (en) * 2008-10-31 2012-04-19 Canon Kabushiki Kaisha Rate-distortion control in DVC with no feedback
EP2351374A1 (en) * 2008-11-25 2011-08-03 Thomson Licensing Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US8290952B2 (en) * 2009-06-24 2012-10-16 Nokia Corporation Method and apparatus for retrieving nearby data
GB2474250B (en) * 2009-10-07 2015-05-06 Advanced Risc Mach Ltd Video reference frame retrieval
CN102316317B (zh) 2010-07-10 2013-04-24 华为技术有限公司 一种生成图像预测值的方法和装置
US8712930B1 (en) 2010-08-09 2014-04-29 Google Inc. Encoding digital content based on models for predicting similarity between exemplars
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US20120236940A1 (en) * 2011-03-16 2012-09-20 Texas Instruments Incorporated Method for Efficient Parallel Processing for Real-Time Video Coding
US8515193B1 (en) * 2011-04-08 2013-08-20 Google Inc. Image compression using exemplar dictionary based on hierarchical clustering
EP2727356A2 (en) * 2011-06-30 2014-05-07 Huawei Technologies Co., Ltd Fast encoding method for lossless coding
US9232233B2 (en) * 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
US20130031497A1 (en) * 2011-07-29 2013-01-31 Nokia Corporation Method and apparatus for enabling multi-parameter discovery and input
US9490850B1 (en) 2011-11-28 2016-11-08 Google Inc. Method and apparatus for decoding packetized data
US9319065B2 (en) * 2012-03-15 2016-04-19 Nokia Technologies Oy Encoding and decoding of data
US9185429B1 (en) * 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US9344727B2 (en) * 2012-05-14 2016-05-17 Ati Technologies Ulc Method of using a reduced number of macroblock coding modes in a first view based on total coding mode complexity values of macroblocks in second view
US10034023B1 (en) 2012-07-30 2018-07-24 Google Llc Extended protection of digital video streams
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
WO2014193630A1 (en) * 2013-05-30 2014-12-04 Intel Corporation Quantization offset and cost factor modification for video encoding
US10091511B2 (en) * 2015-01-05 2018-10-02 Getgo, Inc. Efficient video block matching
KR102600756B1 (ko) * 2015-03-06 2023-11-10 한국과학기술원 저 복잡도 변환에 기반한 영상 부호화 및 복호화 방법 및 이를 이용하는 장치
CN104767998B (zh) * 2015-03-25 2017-12-08 北京大学 一种面向视频的视觉特征编码方法及装置
CN104767997B (zh) * 2015-03-25 2017-10-27 北京大学 一种面向视频的视觉特征编码方法及装置
US10531111B2 (en) 2015-11-06 2020-01-07 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
CN107194961B (zh) * 2017-05-19 2020-09-22 西安电子科技大学 群体图像编码中多参考图像的确定方法
US11070813B2 (en) * 2018-06-29 2021-07-20 Intel Corporation Global motion estimation and modeling for accurate global motion compensation for efficient video processing or coding
US10765944B2 (en) * 2018-09-07 2020-09-08 Electronic Arts Inc. Machine learning models for implementing animation actions
US11443137B2 (en) * 2019-07-31 2022-09-13 Rohde & Schwarz Gmbh & Co. Kg Method and apparatus for detecting signal features
US11210221B2 (en) * 2019-12-10 2021-12-28 Pony Ai Inc. Memory architecture for efficient spatial-temporal data storage and access
US11531633B2 (en) 2021-04-01 2022-12-20 quadric.io, Inc. Systems and methods for intelligently implementing concurrent transfers of data within a machine perception and dense algorithm integrated circuit

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3308990B2 (ja) 1992-07-03 2002-07-29 松下電器産業株式会社 動画像の予測符号化方法及び予測符号化装置
WO1996008114A1 (en) * 1994-09-02 1996-03-14 David Sarnoff Research Center, Inc. Method and apparatus for global-to-local block motion estimation
US6317819B1 (en) * 1996-01-11 2001-11-13 Steven G. Morton Digital signal processor containing scalar processor and a plurality of vector processors operating from a single instruction
US5847776A (en) * 1996-06-24 1998-12-08 Vdonet Corporation Ltd. Method for entropy constrained motion estimation and coding of motion vectors with increased search range
GB9712651D0 (en) * 1997-06-18 1997-08-20 Nds Ltd Improvements in or relating to encoding digital signals
GB9721662D0 (en) * 1997-10-14 1997-12-10 Philips Electronics Nv Encoded video signal formatting
US6130911A (en) * 1997-11-21 2000-10-10 Sharp Laboratories Of America, Inc. Method and apparatus for compressing reference frames in an interframe video codec
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
CN1193620C (zh) * 2000-01-21 2005-03-16 诺基亚有限公司 视频编码器的运动估计方法及系统
US20020122491A1 (en) * 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102742267A (zh) * 2007-12-19 2012-10-17 杜比实验室特许公司 自适应运动估计
CN102742267B (zh) * 2007-12-19 2015-05-27 杜比实验室特许公司 自适应运动估计
CN101933328A (zh) * 2008-01-22 2010-12-29 杜比实验室特许公司 利用动态查询表更新的自适应运动信息成本估计
CN101924933A (zh) * 2009-04-10 2010-12-22 特克特朗尼克国际销售有限责任公司 跟踪视频帧序列中感兴趣区域的方法
CN102413326A (zh) * 2010-09-26 2012-04-11 华为技术有限公司 视频编码、解码方法和装置
CN102413326B (zh) * 2010-09-26 2014-04-30 华为技术有限公司 视频编码、解码方法和装置
CN103918002A (zh) * 2011-11-10 2014-07-09 英特尔公司 用于视频分析和编码的存储器控制器
CN103918002B (zh) * 2011-11-10 2018-11-27 英特尔公司 用于视频分析和编码的存储器控制器
CN105284110A (zh) * 2013-07-31 2016-01-27 松下电器（美国）知识产权公司 图像编码方法及图像编码装置
CN105284110B (zh) * 2013-07-31 2019-04-23 太阳专利托管公司 图像编码方法及图像编码装置
CN104159003B (zh) * 2014-08-21 2017-08-25 武汉大学 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统
CN104159003A (zh) * 2014-08-21 2014-11-19 武汉大学 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统
CN105338354A (zh) * 2015-09-29 2016-02-17 北京奇艺世纪科技有限公司 一种运动向量估计方法和装置
CN105338354B (zh) * 2015-09-29 2019-04-05 北京奇艺世纪科技有限公司 一种运动向量估计方法和装置
CN110996300A (zh) * 2019-11-12 2020-04-10 北京航空航天大学 一种基于交通场景安全的车载终端信息安全风险控制方法
CN115103196A (zh) * 2022-06-21 2022-09-23 安谋科技（中国）有限公司 图像编码方法、电子设备以及介质

Also Published As

Publication number Publication date
JP2007525078A (ja) 2007-08-30
WO2005001773A3 (en) 2005-10-13
US20050111548A1 (en) 2005-05-26
US7499491B2 (en) 2009-03-03
WO2005001773A2 (en) 2005-01-06
US20050013369A1 (en) 2005-01-20
WO2005002235A3 (en) 2005-05-19
US7471724B2 (en) 2008-12-30
US20040258147A1 (en) 2004-12-23
EP1644896A2 (en) 2006-04-12
WO2005002235A2 (en) 2005-01-06

Similar Documents

Publication Publication Date Title
CN1809839A (zh) 自适应的多维信号序列编码/解码方法和装置
JP6841361B2 (ja) Ｈｅｖｃビデオ符号化における論理的イントラモードネーミング
CN1254113C (zh) 图像编码装置、图像编码方法、图像解码装置、图像解码方法和通信装置
CN1211761C (zh) 图像编码数据变换装置
CN1274158C (zh) 视频信息编码和解码方法、运动补偿视频编码器和相应的解码器
CN1232122C (zh) 用于编码和/或解码运动图像的方法和装置
CN1126065C (zh) 压缩和解压缩图象
CN1671209A (zh) 运动图像编码装置
JP6342500B2 (ja) 再帰的なブロック・パーティショニング
CN103947206B (zh) 基于区域的图像压缩的方法和装置
CN1809165A (zh) 预测频率变换系数方法和设备、编码器和解码器及其方法
CN1956546A (zh) 图像编码装置
CN1977541A (zh) 运动补偿预测方法和运动补偿预测装置
CN1910931A (zh) 视频编码方法及装置、视频解码方法及装置、其程序及记录该程序的记录介质
KR101263090B1 (ko) 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
CN1806447A (zh) 图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、图像解码程序、记录图像编码程序的记录媒体、记录图像解码程序的记录媒体
CN1627824A (zh) 位流控制的后处理过滤
CN1791226A (zh) 面内预测装置和面内预测方法
CN1697328A (zh) 快速视频编解码变换实现
CN1652608A (zh) 数据处理装置及其方法以及编码装置和解码装置
CN1320830C (zh) 噪声估计方法和设备、以及利用其编码视频的方法和设备
CN1813478A (zh) 用于手持设备的编码的方法
CN1495603A (zh) 用操作指令编码的计算机可读介质
CN1684519A (zh) 运动图像编码装置及方法、运动图像译码装置及方法
CN1777287A (zh) 图像解码装置、程序、方法、及图像编码装置、程序、方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication