CN1157956C - 运动估计器 - Google Patents
运动估计器 Download PDFInfo
- Publication number
- CN1157956C CN1157956C CNB011012854A CN01101285A CN1157956C CN 1157956 C CN1157956 C CN 1157956C CN B011012854 A CNB011012854 A CN B011012854A CN 01101285 A CN01101285 A CN 01101285A CN 1157956 C CN1157956 C CN 1157956C
- Authority
- CN
- China
- Prior art keywords
- data
- search
- antipode
- calculator
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
提供了一种能够在压缩运动图象时进行快速运动估计的运动估计器。该运动估计器包括第一存储器、前一搜索域存储器提供器、第一开关部分、第二开关部分、计算器和移位寄存器。该运动估计器可以快速地进行,特别是,对基于半像素的搜索进行得有效且快速。
Description
技术领域
本发明涉及运动估计器,更详细地,涉及能够在运动的图象压缩时进行快速运动估计的运动估计器。
背景技术
运动估计器是用来通过去除视频编码器中的输入视频数据的暂时冗余来增加压缩效率。用于压缩运动图象的通常标准大多基于块编码器。这种块编码器使用块匹配算法。块匹配算法执行基于块的运动估计。根据块匹配算法,在当前帧中一个图象块和某一个图象块大多相似时,该图象块就被从前一帧的搜索域中的候选块中选出。在此,当前帧中处理的块和前一帧中极相似的候选块之间的相应区域的差异被称为运动矢量(motion vector MV)。通常,绝对差异和(sum of the absolute difference SAD)由运动估计器计算出来。当运动估计器按照16×16的块单元执行时,SAD和MV分别由方程1和方程2计算。
MV=arg(u,v)minSAD(u,v) (2)
在此,C(i,j)是当前帧的块数据,P(i+u,j+v)是前一帧的候选块数据,以及(u,v)是候选的运动矢量。
当根据这种计算方法确定实际设计运动估计器时,需要考虑运动估计的性能和运算总量。对于运动估计,大部分工作量是计算SAD。换言之,要计算一个SAD,必须进行绝对值运算和累加运算。具体地说,这种运算的运算量正比于所要处理的块的大小。根据常规的运算估计方法,因为运算量大,可以需要很多时间进行运动估计。
为了解决这个问题,提出了分层运动估计。图1说明了这种分层运动估计方法。根据图1中所示的分层运动估计方法,下层的图象是被二次采样,接着产生中层的二次采样以及上层的二次采样。接着,为了从中层的图象中选择初始的搜索域候选图象,根据上层的二次采样图象来计算SAD。然后,利用外围的宏块之间的相互关系从中层的图象中选出更多的搜索域候选。根据选定的初始搜索域候选块来计算SAD,以及某个位置上的具有最小SAD的最终的MV可以从下层的图象中获得。
这种方法并不降低估计性能并且可以获得比全搜索方法更快速的处理。但是,更快速的运动估计仍是需要的。
发明内容
为了解决上述问题,本发明的目的之一就是提供一种可以快速执行运动估计的运动估计器。
相应地,为了获得本发明上述目的,提供了一种用于对压缩图象数据帧进行运动估计的运动估计器,包括∷第一存储器,包括用于按照行方式存储前一搜索域数据的具有多个存储器区域的前一搜索域存储器和用于按照行方式存储当前处理域的数据的当前处理域存储器;前一搜索域存储器提供器,用于提供移位和输出从多个存储器区域中循环地输出的前一搜索域数据;第一开关部分,用于选择从前一搜索域存储器提供器中输出的前一搜索域数据;第二开关部分,用于选择从当前处理域存储器中按照行输出的当前处理域数据;计算器,包括多个并行连接的绝对差异和绝对差异和的计算器,这些绝对差异和计算器计算所选的前一搜索域数据和当前处理域数据的绝对差异和;和移位寄存器,用于接收和移位一系列绝对差异和计算器输出的绝对差异和数据并将移位后的数据和其他系列绝对差异和计算器的绝对差异和数据进行相加,然后输出一个部分绝对差异和。
最好是:当搜索域的大小置为p时,计算器包括p个并行连接的绝对差异和计算器,并且该移位寄存器包含有2p+1个寄存器。
运动估计器最好还包括用于缓冲输入数据的缓存器;用于从缓存器输出25_移位数据的25_移位寄存器;用于将部分绝对差异和和从25_移位寄存器输出的数据相加从而输出一个绝对差异和的加法器;一个用于利用加法器输出的绝对差异和产生运动矢量的绝对差异和比较和运动矢量产生单元;一个用于20_移位运动矢量并将该结果输出到绝对差异和比较和运动矢量产生单元的22_移位寄存器。
最好的运动估计器还包括当分层运动估计器使用3层时,用于处理22_移位运算并利用中层的外设宏块的运动矢量间的相互关系获得一个初始搜索点的22_移位寄存器。
运动估计器最好还包括直接存储器存取控制器,用于控制当前处理域数据和前一搜索域数据并分别将他们存储到第一存储器中,并根据运动估计控制器的处理提供数据给计算器;运动估计控制器,用于根据直接存储器存取控制器输出的控制信号来控制运动估计;和第二存储器,用于存储计算后的部分绝对差异和。
第一存储器分为具有三个区域的前一搜索域存储器和当前处理域存储器,计算器包括利用前一搜索域数据和当前处理域数据计算绝对差异和的第一、第二、第三和第四绝对差异和计算器,以及移位寄存器包括用于9_移位和输出第一绝对差异和计算器输出的绝对差异和数据的第一9_移位寄存器;用于将第一9_移位寄存器输出的数据和第二绝对差异和计算器输出的数据进行相加的第一加法器;用于9_移位和输出第二绝对差异和计算器输出的绝对差异和数据的第二9_移位寄存器;用于将第二9_移位寄存器输出的数据和第三绝对差异和计算器输出的数据进行相加的第二加法器;用于9_移位和输出第三绝对差异和计算器输出的绝对差异和数据的第三9_移位寄存器;和用于将第三9_移位寄存器输出的数据和第四绝对差异和计算器输出的数据进行相加的第三加法器。
最好是,每个第一到第四绝对差异和计算器包括寄存器和减法器,减法器的一个输入端连接到相应的寄存器的输出端,每一减法器的另一输入端连接到相应的开关。
最好是,该运动估计器还包括插补器,用于对前一搜索域的数据执行插补并将插补后的结果数据输出。
运动估计器进一步包括DMA控制器,DMA控制器用于在前一搜索域数据和当前处理域数据之间执行识别并依据处理状态控制被提供给前一搜索域数据提供器和计算器的数据。
附图说明
上述本发明的目的和优点通过附图中优选的实施例的详细说明将会得到更好的阐述。
图1说明了常规的分层运动估计方法;
图2的框图示出了根据本发明的实施例的运动估计器的配置;
图3A详细说明了图2中的运动估计器中的第一存储器,部分SAD计算器,和插补器;
图3B详细说明了图2中的运动估计器中的开关和开关控制器;
图4示出了前一搜索域数据在存储器中排列顺序;
图5示出了在图3中所示的计算器内当前块数据4×4像素在寄存器中的排列顺序;
图6示出了图2中的运动估计器中数据流;
图7示出了在根据本发明的运动估计器中以半像素单元进行搜索的步骤;
图8示出了图2中的运动估计器中插补器的一个例子;
图9示出了是图2中当使用半像素进行搜索时,运动估计器中的数据流;
图10示出了当采用根据本发明的分层搜索的运动估计器时,中层和下层搜索域;
图11示出了是用于使用在图2中的运动估计器的外设宏块间进行插补的方法再多选择一个初始搜索点的22_移位寄存器的配置;
图12示出了在前一搜索域数据中按照垂直方向进行4∶1抽选的过程;
图13示出了上层中的数据处理流;
图14示出了在前一搜索域数据中按照垂直方向进行2∶1抽选的步骤;
图15示出了中层的数据处理;
图16示出了中层的数据处理流;
图17示出了下层的数据处理;和
图18示出了下层的数据处理流。
具体实施方式
下面,将参照图详细描述一个根据本发明的优选实施例。
根据本发明的实施例中的运动估计器是基于使用3层的分层运动估计的方法。SAD的计算是在下层按照16×16的块,在中层按照8×8的块,在上层按照4×4的块进行计算的。换言之,通过在下层执行1/2抽选后得到中层,在中层执行1/2抽选后得到上层。而且,在上层的±4像素的单元中执行搜索,在中层和下层的±2像素单元进行搜索。本实施例中的运动估计器在全像素单元中完成下层的估计后,在半像素单元中执行下层的估计。在由本申请人提出的韩国专利申请No.98-6718中公开了一种改进的运动估计方法,这种运动估计方法可以包括在本说明书中作为一个参考的例子。根据上述专利申请公开的运动估计方法,和从中层选择的候选宏块一起使用在下层中外设宏块之间的相互关系至少要多选择一个候选宏块。
参照图2,根据本发明的优选实施例中的运动估计器包括第一存储器200,部分绝对差异和(SAD)计算器(处理组件processing element(PE))210,插补器212,加法器220,和缓存器222。而且,运动估计器还包括25_移位寄存器230,SAD比较器和运动矢量(MV)产生部分240,22-移位寄存器250,直接存储器存取(DMA)控制器260,运动估计(ME)控制器270和第二存储器280。第一存储器分为前一搜索域存储器202和当前处理域存储器204。
在操作中,DMA控制器260为了执行运动估计控制分别存储于第一存储器200的当前的块数据和前一搜索域数据。DMA控制器还控制第一存储器200以根据ME控制器270的处理将数据提供给部分SAD计算器210。
部分SAD计算器210接收当前块数据和前一搜索域数据并计算部分SAD。运动估计器包括22_移位寄存器250,在使用3层执行分层运动估计时,22_移位寄存器通过使用在中层外设宏块的MV之间相互关系来获得一个初始搜索点。
图3A详细示出了图2中的运动估计器中的第一存储器200,部分SAD计算器210和插补器212。参照图3A,第一存储器200分为前一搜索域存储器和当前处理域存储器,前一搜索域存储器具有三个区域(前一搜索域存储器_A、前一搜索域存储器_B、前一搜索域存储器_C)。部分SAD计算器210包括前一搜索域数据提供器30,计算器32和移位寄存器部分34。参见图3B,开关部分382和386被提供到前一搜索域数据提供器30和计算器32之间。开关384被提供在插补器212的输出端和计算器32之间。开关388被提供在当前处理域存储器的输出端和计算器32之间。在本实施例中,开关和开关部分由开关控制器36输出的控制信号Ctrl_A,Ctrl_B,Ctrl_C,和Ctrl_D控制。开关控制器36可以在ME控制器270内提供。
前一搜索域数据提供器30包括第一前一搜索域数据提供器30a、第二前一搜索域数据提供器30b和第三前一搜索域数据提供器30c。计算器32包括第一SAD计算器322、第二SAD计算器324、第三SAD计算器326和第四SAD计算器328。移位寄存器部分34包括第一9_移位寄存器340、第二9_移位寄存器344、第三9_移位寄存器348和加法器342、346以及350。
在操作中,开关部分382根据控制信号Ctrl_A选择从前一搜索域数据提供器30输出的前一搜索域数据。开关部分388根据控制信号Ctrl_D选择从当前处理域存储器输出的当前处理域数据的行。部分SAD计算器210接收来自前一搜索域存储器中的相应前一搜索域的数据和来自当前处理域存储器中的相应当前被处理的数据块数据并计算部分SAD。DMA控制器260识别相应前一搜索域的数据和相应当前被处理的数据块数据。本实施例中的部分SAD计算器210可以仅对相对于4×4块的±4像素的搜索域执行操作。因此,本实施例中的运动估计器通过使用加法器220和缓存器222以及25_移位寄存器230可以得到大于4×4块的SAD。
部分SAD计算器210通过前一搜索域存储器的三个通道(前一搜索域存储器_A、前一搜索域存储器_B、前一搜索域存储器_C)和当前处理域存储器的通道接收前一搜索域数据和当前处理域数据。
图4示出了前一搜索域数据在存储器中的排列顺序。参见图4,前一搜索域数据第一行的数据是从前一搜索域存储器_A中输出的,第二行的数据是从前一搜索域存储器_B中输出的,第三行的数据是从前一搜索域存储器_C中输出的。然后,第四行的数据是从前一搜索域存储器_A中输出的。在图4中,从前一搜索域存储器_A中输出的数据用“○”代表,从前一搜索域存储器_B中输出的数据用“◇”代表,从前一搜索域存储器_C中输出的数据用“□”代表。
部分SAD计算器210也可以从当前处理域存储器中接收当前处理域数据。图5示出了4×4像素的当前处理域数据在图3A中的计算器32的寄存器中的排列顺序。如图5所示,由4×4像素组成的当前处理域数据被装入图3A中的寄存器CR0,CR1,…,CR15中。当当前处理域数据被装入到寄存器CR0,CR1,…,CR15的同时,前一搜索域的数据被装入到PAR0,PAR1,…,PAR4,PBR1,…,PBR4,PCR0,…,PCR4。当数据被完全装入到寄存器后,部分SAD计算器210的每个减法器SUB计算前一搜索域数据和当前处理域数据之间的差异。尽管图中未示出,SAD计算器分别接收来自减法器的差异,并将这些差异的绝对值输出。SAD计算器的输出值是在各自的像素上执行操作后得到的数值,并且将这些数值中具有相同的水平元素的值进行相加。经过这样的处理,一旦当前一搜索域数据被输入,则当前处理域中各行的差异的绝对值就计算出来了。
为了描述的清楚起见,图4中前一搜索域数据的最顶行中左边的第一个像素定义为p(0,0)。从像素数据p(0,0)右移一个像素位置的像素数据定义为p(0,1),从像素数据p(0,0)右移两个像素位置的像素数据定义为p(0,2),从像素数据p(0,0)下移一个像素位置的像素数据定义为p(1,0),从像素数据p(0,0)下移两个像素位置的像素数据定义为p(2,0)。
同样地,图5中当前处理域数据的最顶行中左边的第一个像素定义为c(0,0)。从像素数据c(0,0)右移一个像素位置的像素数据定义为c(0,1),从像素数据c(0,0)右移两个像素位置的像素数据定义为c(0,2),从像素数据c(0,0)下移一个像素位置的像素数据定义为c(1,0),从像素数据c(0,0)下移两个像素位置的像素数据定义为c(2,0)。
通过这样的定义,数据c(0,0)被装入寄存器CR0。数据c(0,1)被装入寄存器CR1。数据c(1,0)被装入寄存器CR4。数据c(1,1)被装入寄存器CR5。数据c(3,3)被装入寄存器CR15。
部分SAD计算器210在当前处理域内以行为单位执行运算得到结果L0(0,0),L1(0,0),L2(0,0),L3(0,0)经由第一到第四SAD计算器322,324,326,328输出,L0(0,0),L1(0,0),L2(0,0),L3(0,0)分别由下列方程3a,方程3b,方程3c,方程3d表示。
L0(0,0)=|c(0,0)-p(0,0)|+|c(0,1)-p(0,1)|+|c(0,2)-p(0,
2)|+|c(0,3)-p(0,3)| (3a)
L1(0,0)=|c(1,0)-p(0,0)|+|c(1,1)-p(0,1)|+|c(1,2)-p(0,
2)|+|c(1,3)-p(0,3)| (3b)
L2(0,0)=|c(2,0)-p(0,0)|+|c(2,1)-p(0,1)|+|c(2,2)-p(0,
2)|+|c(2,3)-p(0,3)| (3c)
L3(0,0)=|c(3,0)-p(0,0)|+|c(3,1)-p(0,1)|+|c(3,2)-p(0,
2)|+|c(3,3)-p(0,3)| (3d)
结果值L0(0,0),L1(0,0),L2(0,0),L3(0,0)分别对应当前处理域数据的第一到第四行。假设i是一个正数,指示一行;j是一个正数,指示一列,和当前一搜索域数据表示为p(i,j),则前一搜索域数据p(i,j)和本处理域数据的相应的第一到第四行经运算后的结果表示为L0(i,j),L1(i,j),L2(i,j),L 3(i,j)。根据这些表示,搜索域的顶行左起第一个数据的SAD可以由方程(4)表示。
SAD=L0(0,0)+L1(1,0)+L2(2,0)+L3(3,0) (4)前一搜索域的数据一行接一行地输入到部分SAD计算器210。因此,经方程(4)计算的SAD值是首先由部分SAD计算器210获得的SAD值。
通过对前一搜索域数据和当前处理域数据的第一行进行计算获得了值L0(0,0)。但是,仅当前一搜索域数据的第二行输入到部分SAD计算器210时,值L1(0,0)才可以获得。仅当前一搜索域数据的第三行输入到部分SAD计算器210时,值L2(0,0)才可以获得。仅当前一搜索域数据的第四行输入到部分SAD计算器210时,值L3(0,0)才可以获得。换言之,当搜索域的范围设为-p到+p时,获得值L0(0,0)和L1(0,0)需要相应2p+1的时间差异。因此,为了增加L0(0,0)值和L1(0,0)值需要2p+1个时钟周期的时间延迟。在本实施例中,搜索域设为-4到+4,所以需要9个时钟周期的时间延迟。移位寄存器部分34的9_移位寄存器340,344和348是用于延迟操作的。再参见图3A,第一9_移位寄存器340通过9个时钟周期将自第一SAD计算器322输出的SAD数据移位并将结果输出。第一加法器342将第一9_移位寄存器340的输出数据和第二SAD计算器324的输出数据进行相加。第二9_移位寄存器344通过9个时钟周期将自第二SAD计算器324输出的SAD数据移位并将结果输出。第二加法器346将第二9_移位寄存器344的输出数据和第三SAD计算器326的输出数据进行相加。第三9_移位寄存器348通过9个时钟周期将自第三SAD计算器326输出的SAD数据移位并将结果输出。第三加法器350将第三9_移位寄存器348的输出数据和第四SAD计算器328的输出数据进行相加。第三加法器350的输出数据是用于给定的搜索域的部分SAD。
参见图6,在本实施例的运动估计器中,为了增加值L0(0,0)和L1(0,0)需要9个时钟周期的时间延迟。另外,在本实施例中并未出现为了将前一搜索域数据的第一行装入寄存器部分34所必须的除了9个时钟延迟之外的延迟。换言之,图6中阴影线部分所示的L0(0,0),L1(1,0),L2(2,0)和L3(3,0)是依次在每个时钟周期内获得的。接下来,图6中用打点的块表示的L0(0,1),L1(1,1),L2(2,1)和L3(3,1)也是依次在每个时钟周期内获得的。因此,当除去初始数据存储时间,通过全部搜索而得到的4×4像素搜索域的单独的SAD所需的全部时间是9×12,即,108个时钟周期。
当完成全像素的搜索后,根据本发明的运动估计器在通过全像素搜索后获得的MV点的基础上执行半像素搜索。
插补器212从三个前一搜索域存储器(前一搜索域存储器_A、前一搜索域存储器_B、前一搜索域存储器_C)中接收数据。
参照图7来描述在根据本发明的运动估计器中使用的半像素搜索过程。应该确定半像素搜索的搜索点。当搜索点用alpha(i,j),beta(i,j)和gamma(i,j)表示时,他们可以分别由方程(5a),方程(5b),和方程(5c)确定。
alpha(i,j)=p(i,j)+p(i+1j)+p(i,j+1)+p(i+1,j+1)//4 (5a)
beta(i,j)=p(i,j)+p(i,j+1j)//2 (5b)
gamma(i,j)=p(i,j)+p(i,j+1)//2 (5c)例如,和alpha(0,0)对应的搜索点称为70,和beta(0,1)对应的搜索点称为72,和gamma(1,0)对应的搜索点称为74,和alpha(0,4)对应的搜索点称为76,gamma(1,4)对应的搜索点称为78。
图8示出了图2的运动估计器中的插补器212的一个例子。例如,插补器212从寄存器PAR0,PBR0和PCR0中的两个寄存器,从寄存器PAR1,PBR1和PCR1中的两个寄存器,从寄存器PAR2,PBR2和PCR2中的两个寄存器,从寄存器PAR3,PBR3和PCR3中的两个寄存器,以及从寄存器PAR4,PBR4和PCR4中的两个寄存器中有选择地接收前一搜索域数据。接着,插补器212根据方程(5a)(5b)和(5c)执行插补操作,从而获得alpha,beta和gamma像素值。插补器212通过输出端顺序输出像素值。
因此,插补器212输出包括一个最高有效位(MSB)和一个最低有效位(LSB)的4位插补后的数据。开关384根据控制信号Crtl_B从插补器212的一个输出端顺序转换到另一个输出端,从而选择的数据被输入到计算器32。开关转换部分386根据控制信号Crtl_C选择插补数据并将这个插补后的数据输出到计算器32。通过计算器32和移位寄存器部分34可以获得一个与插补后数据相应的部分SAD。
换言之,根据本发明的运动估计器在读取前一帧域数据的单一操作中可同时产生alpha,beta,gamma搜索点的像素值。因此,根据本发明的运动估计器的处理速率要快于常规运动估计器的处理速度。
另外,当完成一个4×4域的运动估计后对另一个4×4域进行运动估计,例如,与alpha(0,4)相应的搜索点76的像素值和与beta(1,4)相应的搜索点78的像素值可以移位写入已经读出的前一搜索域数据来获得。因此,根据本发明的运动估计器可以有效地执行快速半像素搜索。
图9示出了当在图2的运动估计器施行半像素搜索后出现的数据流。参见图9,对于运动估计器需要24个时钟周期来完成一个单一的4×4块的半像素搜索。
图2的运动估计器提供的部分SAD计算器的处理单元是4×4块。当该运动估计器用于3层分层搜索时,运动估计器在上层的4×4块内的-4到+4像素间的搜索域内进行全搜索。运动估计器在中层的8×8块内的-2到+2像素间的搜索域内进行搜索。运动估计器在下层的16×16块内的-2到+2像素间的搜索域内进行搜索。
图2的运动估计器中的部分SAD计算器可以处理4×4块。因此,为了在中层的8×8块和下层的16×16块中进行运动估计,必须将中层分为4个块,将下层分为16个块,在每个块内计算SAD并将结果相加。但是,如图10所示,因为中层和下层的搜索域相应于-2到+2像素,所以通过一个简单的搜索操作就可以得到相应25点的部分SAD。为此,参见图2,根据本发明的运动估计器包括25_移位寄存器230。运动估计器将一部分SAD输入到25_移位寄存器,只要后续的部分SAD输出就对在25_移位寄存器230中存储的数据移位,并将相对于第一4×4块的部分SAD与相对于下一个4×4块的部分SAD进行相加,从而对每一执行在中层和下层中执行搜索操作。
图2中的运动估计器根据相邻宏块间的相互关系的三个初始搜索点中选择一个。外设宏块的位置可以按照图11中所示的进行设置。因为MV是从在水平方向的左上的一个输入图象帧开始获得,所以当前块和当前块前的宏块之间距离和输入图象帧内水平宏块的数目相同。因此,当假设输入图象帧是具有352×288的CIF型像素时,输入图象帧在水平方向上最大可以有22个宏块。因此,在本发明的另一个实施例中,运动估计器还包括22_移位寄存器阵列1100和中值计算器1102。22_移位寄存器阵列1100接收外设宏块的MV,并将中值计算器1102输出作为候选MV的MV的中值,从而使用在外设宏块间的相互关系选择一个候选MV。所选的候选MV作为中层的初始搜索点使用。
在应用了根据本发明实施例中的运动估计器的3层分层搜索中,上层数据通过对原始数据进行4∶1抽选而获得。在本实施例中,抽选是对原始数据采用每4个采样值中选取一个的方式而执行的。因为当前处理域数据被存储在单一的当前处理域数据存储器中,所以当前处理域数据按照从水平和垂直方向每4个采样值中选取一个的方法获得。因为前一搜索域数据分别存储在三个的前一搜索域数据存储器中,在水平方向上,前一搜索域数据按照当前处理域数据的方法在每4个采样值中选取一个,在垂直方向上,前一搜索域数据按照图12所示的方法进行抽选。换言之,因为前一搜索域数据按照本实施例存储在前一搜索域数据存储器中,所以,搜索域数据的第一行存储在前一搜索域存储器_A中,搜索域数据的第二行存储在前一搜索域存储器_B中,搜索域数据的第三行存储在前一搜索域存储器_C中,需要在图2中的DMA处理器260中增加4个地址并且按照前一搜索域存储器_A、前一搜索域存储器_B、前一搜索域存储器_C的顺序从前一搜索域存储器中读出控制数据。
从存储器读出的数据存储在部分SAD计算器210的寄存器中。在搜索域的±4像素范围内进行全搜索,这样具有最小SAD的两个位置被选为中层的初始搜索点。上层的数据处理流如图13所示。图13和图6基本一样,因此它的描述就忽略了。
中层数据按照2∶1从下层数据中抽选获得。相应地,如图14所示,在当前处理域存储器和前一搜索域存储器的水平和垂直方向上地址递加2,从而在存储于存储器中的数据进行读出和跳过操作,如图14所示。因为前一搜索域数据分别存储在三个前一搜索域数据存储器中,所以在垂直方向按照前一搜索域存储器_A、前一搜索域存储器_B、前一搜索域存储器_C的顺序读出数据,这样在垂直方向的前一搜索域数据中可以进行2∶1抽选。
在中层,在根据上层中的两个初始搜索点和从22_移位寄存器250中得到的候选MV所对应的一个初始点的基础上相对于8×8块的±2像素搜索域内进行全搜索后就得到了部分SAD。因为部分SAD计算器210是设计用于在4×4块单元内进行搜索的,所以为了对中层的8×8的块进行搜索,则当前帧中的8×8的块应该分为四个4×4块,如图15所示。换言之,在±2像素搜索域中的25点的部分SAD可以根据第一4×4块获得并存储到25_移位寄存器230中。接着加法器220将根据第一4×4块获得的部分SAD和根据下一4×4块获得的部分SAD相加。将上述过程重复四次就得到了对应8×8块的SAD。得到的对应基于中层三个初始搜索点的单个±2像素搜索域的SAD中,具有最小的SAD的被用做下层的初始搜索点。图16示出了中层的数据处理流。参见图16,为了将L0(0,0)和L1(1,0)进行相加,中层需要5个时钟周期的延迟。换言之,阴影块中的L0(0,0),L1(1,0),L2(2,0)和L3(3,0)是按顺序在每个时钟周期中获得,接着打点的块L0(0,1),L1(1,1),L2(2,1)和L3(3,1)也是按顺序在每个时钟周期中获得。
下层数据是原始数据。在从中层得到的初始搜索点的基础上通过相应于16×16块的±2像素搜索域的全搜索得到了一个具有最小SAD的位置。从这一位置,基于全像素搜索的最终的MV就得到了。在下层的运动估计是按照16×16块进行的,如图17所示。当部分SAD计算器210按照4×4块单元进行运算时,可以将在4×4块的搜索重复执行16次来获得16×16块相应的SAD。下层的数据处理流如图18所示。图18中的数据处理流和图16中的一样,图16示出的是按照±2域进行搜索的中层的数据处理流,因此图18的描述忽略。
如上所述,根据本发明的运动估计器可以快速地进行,特别是,对基于半像素的搜索进行得有效且快速。
Claims (9)
1、一种用于对压缩图象数据帧进行运动估计的运动估计器,包括:
第一存储器,包括用于按照行方式存储前一搜索域数据的具有多个存储器区域的前一搜索域存储器和用于按照行方式存储当前处理域的数据的当前处理域存储器;
前一搜索域存储器提供器,用于提供移位和输出从多个存储器区域中循环地输出的前一搜索域数据;
第一开关部分,用于选择从前一搜索域存储器提供器中输出的前一搜索域数据;
第二开关部分,用于选择从当前处理域存储器中按照行输出的当前处理域数据;
计算器,包括多个并行连接的绝对差异和绝对差异和的计算器,这些绝对差异和计算器计算所选的前一搜索域数据和当前处理域数据的绝对差异和;和
移位寄存器,用于接收和移位一系列绝对差异和计算器输出的绝对差异和数据并将移位后的数据和其他系列绝对差异和计算器的绝对差异和数据进行相加,然后输出一个部分绝对差异和。
2、如权利要求1中所述的运动估计器,当搜索域的大小置为p时,计算器包括p个并行连接的绝对差异和计算器,和含有2p+1个寄存器的移位寄存器。
3、如权利要求1或2中所述的运动估计器,进一步包括:
用于缓冲输入数据的缓存器;
用于从缓存器输出25_移位数据的25_移位寄存器;
用于将部分绝对差异和和从25_移位寄存器输出的数据相加从而输出一个绝对差异和的加法器;
一个用于利用加法器输出的绝对差异和产生运动矢量的绝对差异和比较和运动矢量产生单元;
一个用于20_移位运动矢量并将该结果输出到绝对差异和比较和运动矢量产生单元的22_移位寄存器。
4、如权利要求1中所述的运动估计器,进一步包括用来当使用3层的分层运动估计被执行时,用于处理22_移位运算,并利用中层的外设宏块的运动矢量间的相互关系获得一个初始搜索点的22_移位寄存器。
5、如权利要求1中所述的运动估计器,进一步包括:
直接存储器存取控制器,用于控制当前处理域数据和前一搜索域数据并分别将他们存储到第一存储器中,并根据运动估计控制器的处理提供数据给计算器;
运动估计控制器,用于根据直接存储器存取控制器输出的控制信号来控制运动估计;和
第二存储器,用于存储计算后的部分绝对差异和。
6、如权利要求1中所述的运动估计器,其中,第一存储器分为具有三个区域的前一搜索域存储器和当前处理域存储器,计算器包括利用前一搜索域数据和当前处理域数据计算绝对差异和的第一、第二、第三和第四绝对差异和计算器,以及移位寄存器包括用于9_移位和输出第一绝对差异和计算器输出的绝对差异和数据的第一9_移位寄存器;用于将第一9_移位寄存器输出的数据和第二绝对差异和计算器输出的数据进行相加的第一加法器;用于9_移位和输出第二绝对差异和计算器输出的绝对差异和数据的第二9_移位寄存器;用于将第二9_移位寄存器输出的数据和第三绝对差异和计算器输出的数据进行相加的第二加法器;用于9_移位和输出第三绝对差异和计算器输出的绝对差异和数据的第三9_移位寄存器;和用于将第三9_移位寄存器输出的数据和第四绝对差异和计算器输出的数据进行相加的第三加法器。
7、如权利要求6中所述的运动估计器,其中第一到第四绝对差异和计算器包括寄存器和减法器,减法器的一个输入端连接到相应的寄存器的输出端,每一减法器的另一输入端连接到相应的开关。
8、如权利要求1中所述的运动估计器,进一步包括执行插补前一搜索域的数据并将插补的结果数据输出的插补器。
9、如权利要求1中所述的运动估计器,进一步包括用于在前一搜索域数据和当前处理域数据之间执行识别并将根据一处理状态将他们提供给前一搜索域数据提供器和计算器的直接存储器存取控制器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR4049/2000 | 2000-01-27 | ||
KR20000004049A KR100677082B1 (ko) | 2000-01-27 | 2000-01-27 | 움직임 추정기 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1316856A CN1316856A (zh) | 2001-10-10 |
CN1157956C true CN1157956C (zh) | 2004-07-14 |
Family
ID=19642130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB011012854A Expired - Fee Related CN1157956C (zh) | 2000-01-27 | 2001-01-17 | 运动估计器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6690730B2 (zh) |
EP (1) | EP1120747A3 (zh) |
JP (1) | JP3863376B2 (zh) |
KR (1) | KR100677082B1 (zh) |
CN (1) | CN1157956C (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4765194B2 (ja) * | 2001-05-10 | 2011-09-07 | ソニー株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム |
US6987866B2 (en) * | 2001-06-05 | 2006-01-17 | Micron Technology, Inc. | Multi-modal motion estimation for video sequences |
US7236177B2 (en) * | 2001-12-04 | 2007-06-26 | Qualcomm Incorporated | Processing digital video data |
KR20030073141A (ko) * | 2002-03-08 | 2003-09-19 | 주식회사 엘지이아이 | Mpeg-4 비디오 코덱에서 움직임 벡터 코딩을 위한움직임 벡터 메모리 최소화 방법 |
US7817717B2 (en) * | 2002-06-18 | 2010-10-19 | Qualcomm Incorporated | Motion estimation techniques for video encoding |
US7940844B2 (en) | 2002-06-18 | 2011-05-10 | Qualcomm Incorporated | Video encoding and decoding techniques |
KR20040008359A (ko) * | 2002-07-18 | 2004-01-31 | 삼성전자주식회사 | 계층적 움직임 벡터 탐색을 이용한 움직임 추정 방법 및장치 및 그를 적용한 동영상 부호화 시스템 |
EP1395061A1 (en) * | 2002-08-27 | 2004-03-03 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for compensation of erroneous motion vectors in video data |
KR100508975B1 (ko) | 2003-05-20 | 2005-08-17 | 주식회사 팬택 | 다층 레벨 연속 제거 알고리즘을 이용한 동영상 움직임추정 방법 |
KR20060037352A (ko) * | 2003-07-15 | 2006-05-03 | 톰슨 라이센싱 | 고속 검색 블록 매칭에 의한 움직임 추정 |
KR100970726B1 (ko) * | 2003-10-04 | 2010-07-16 | 삼성전자주식회사 | 계층적 움직임 추정 방법 |
KR100846780B1 (ko) | 2003-11-10 | 2008-07-16 | 삼성전자주식회사 | 움직임 벡터 추정 방법 및 장치 |
KR100621137B1 (ko) * | 2004-02-27 | 2006-09-13 | 세이코 엡슨 가부시키가이샤 | 동화상 부호화 장치 및 동화상 처리장치 |
TWI239474B (en) * | 2004-07-28 | 2005-09-11 | Novatek Microelectronics Corp | Circuit for counting sum of absolute difference |
CN100339976C (zh) * | 2004-08-09 | 2007-09-26 | Thomson宽带研发(北京)有限公司 | 多模多尺度运动估计的超大规模集成电路体系结构及方法 |
KR100657274B1 (ko) * | 2004-08-24 | 2006-12-14 | 삼성전자주식회사 | 인트라 예측방법 및 그 방법을 사용한 영상처리장치 |
US20060120455A1 (en) * | 2004-12-08 | 2006-06-08 | Park Seong M | Apparatus for motion estimation of video data |
KR100686393B1 (ko) * | 2005-04-07 | 2007-03-02 | 주식회사 텔레칩스 | 하드웨어 구현에 적합한 움직임 예측 장치 및 그 방법 |
EP1729518A1 (en) * | 2005-05-31 | 2006-12-06 | Novatek Microelectronics Corp. | Circuit for computing sums of absolute difference |
TWI277010B (en) * | 2005-09-08 | 2007-03-21 | Quanta Comp Inc | Motion vector estimation system and method |
US8275049B2 (en) | 2006-06-16 | 2012-09-25 | Via Technologies, Inc. | Systems and methods of improved motion estimation using a graphics processing unit |
TWI444047B (zh) * | 2006-06-16 | 2014-07-01 | Via Tech Inc | 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元 |
US20080126278A1 (en) * | 2006-11-29 | 2008-05-29 | Alexander Bronstein | Parallel processing motion estimation for H.264 video codec |
US8090024B2 (en) * | 2007-06-25 | 2012-01-03 | Sigma Designs, Inc. | Methods for processing two data frames with scalable data utilization |
CN101212682B (zh) * | 2007-12-22 | 2011-06-15 | 深圳市同洲电子股份有限公司 | 一种运动搜索区域的数据加载装置和方法 |
US8098733B2 (en) * | 2008-03-10 | 2012-01-17 | Neomagic Corp. | Multi-directional motion estimation using parallel processors and pre-computed search-strategy offset tables |
US8982952B2 (en) * | 2008-06-02 | 2015-03-17 | Broadcom Corporation | Method and system for using motion vector confidence to determine a fine motion estimation patch priority list for a scalable coder |
KR100973083B1 (ko) * | 2008-12-31 | 2010-07-29 | 전자부품연구원 | 어레이 기반의 움직임 벡터 추출기 및 그 방법 |
CN102790884B (zh) * | 2012-07-27 | 2016-05-04 | 上海交通大学 | 一种基于分层运动估计的搜索方法及其实现系统 |
TW201409994A (zh) | 2012-08-30 | 2014-03-01 | Novatek Microelectronics Corp | 立體視訊的編碼方法與編碼裝置 |
CN103686190A (zh) * | 2012-09-07 | 2014-03-26 | 联咏科技股份有限公司 | 立体视频的编码方法与编码装置 |
EP2772189A1 (en) * | 2013-02-28 | 2014-09-03 | Koninklijke Philips N.V. | Apparatus and method for determining vital sign information from a subject |
CN103974077B (zh) * | 2014-05-14 | 2017-04-19 | 东南大学 | 一种用于h.264编码的整数运动估计快速搜索方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300497A (ja) * | 1992-04-21 | 1993-11-12 | Mitsubishi Electric Corp | 画像処理装置及びディジタル信号処理プロセッサ |
US5706059A (en) * | 1994-11-30 | 1998-01-06 | National Semiconductor Corp. | Motion estimation using a hierarchical search |
FR2728091B1 (fr) * | 1994-12-13 | 1997-01-31 | Thomson Consumer Electronics | Procede de selection de vecteurs mouvement et dispositif de traitement d'images mettant en oeuvre ledit procede |
US6549575B1 (en) * | 1996-11-07 | 2003-04-15 | International Business Machines Corporation. | Efficient, flexible motion estimation architecture for real time MPEG2 compliant encoding |
US6118901A (en) * | 1997-10-31 | 2000-09-12 | National Science Council | Array architecture with data-rings for 3-step hierarchical search block matching algorithm |
KR100275694B1 (ko) * | 1998-03-02 | 2000-12-15 | 윤덕용 | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 |
EP0944245B1 (en) * | 1998-03-20 | 2001-07-25 | SGS-THOMSON MICROELECTRONICS S.r.l. | Hierarchical recursive motion estimator for video images encoder |
TW376659B (en) * | 1998-05-21 | 1999-12-11 | Nat Science Council | Motion estimator using 3-step hierarchical search block-matching algorithm |
JPH11346369A (ja) * | 1998-06-01 | 1999-12-14 | Nec Corp | 動ベクトル検出回路 |
US6259737B1 (en) * | 1998-06-05 | 2001-07-10 | Innomedia Pte Ltd | Method and apparatus for fast motion estimation in video coding |
US6363117B1 (en) * | 1998-12-31 | 2002-03-26 | Sony Corporation | Video compression using fast block motion estimation |
JP2001251632A (ja) * | 1999-12-27 | 2001-09-14 | Toshiba Corp | 動きベクトル検出方法および装置並びに動きベクトル検出プログラム |
US6563874B1 (en) * | 2000-06-23 | 2003-05-13 | Hitachi America, Ltd. | Fast search method for motion estimation |
-
2000
- 2000-01-27 KR KR20000004049A patent/KR100677082B1/ko not_active IP Right Cessation
- 2000-12-12 EP EP20000311043 patent/EP1120747A3/en not_active Withdrawn
-
2001
- 2001-01-17 CN CNB011012854A patent/CN1157956C/zh not_active Expired - Fee Related
- 2001-01-24 JP JP2001016271A patent/JP3863376B2/ja not_active Expired - Fee Related
- 2001-01-29 US US09/770,235 patent/US6690730B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1120747A3 (en) | 2004-05-19 |
US6690730B2 (en) | 2004-02-10 |
KR20010076707A (ko) | 2001-08-16 |
JP3863376B2 (ja) | 2006-12-27 |
EP1120747A2 (en) | 2001-08-01 |
JP2001218215A (ja) | 2001-08-10 |
CN1316856A (zh) | 2001-10-10 |
US20010028681A1 (en) | 2001-10-11 |
KR100677082B1 (ko) | 2007-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1157956C (zh) | 运动估计器 | |
CN1297134C (zh) | 用于扫描搜索区内参考宏块窗口的运动估计装置和方法 | |
US8218635B2 (en) | Systolic-array based systems and methods for performing block matching in motion compensation | |
CN1719901A (zh) | 基于运动估计多分辨率方法及存储执行其程序的记录介质 | |
US10785498B2 (en) | System and method of mapping multiple reference frame motion estimation on multi-core DSP architecture | |
KR101578052B1 (ko) | 움직임 추정 장치 및 이를 구비하는 동영상 부호화 장치 | |
CN1933600A (zh) | 用于h.264/avc编码器的运动估计方法 | |
CN1976476A (zh) | 融合多参考帧选择和运动估计的快速帧间模式判决方法 | |
CN1852442A (zh) | 一种分层运动估计方法和超大规模集成电路 | |
Chao et al. | A novel hybrid motion estimator supporting diamond search and fast full search | |
CN1627825A (zh) | 用于运动图像编码的运动估计方法 | |
CN1495603A (zh) | 用操作指令编码的计算机可读介质 | |
CN1946178A (zh) | 一种用于运动估计的vlsi装置及运动估计的方法 | |
CN1190949C (zh) | 确定一个数据样本与其它数据样本的内插值之间相似程度 | |
CN100340118C (zh) | 运动估计的超大规模集成电路体系结构及数据缓存的方法 | |
JPH11346369A (ja) | 動ベクトル検出回路 | |
CN1201589C (zh) | 运动估计方法和装置 | |
CN1110209C (zh) | 用于预测运动的设备及其相应的图像压缩系统 | |
CN1283107C (zh) | 快速运动预测方法及其装置 | |
Berns et al. | A flexible motion estimation chip for variable size block matching | |
CN101370143B (zh) | 图像的运动估计方法及装置 | |
CN100339976C (zh) | 多模多尺度运动估计的超大规模集成电路体系结构及方法 | |
JP4859168B2 (ja) | 動き検出装置及び動き検出方法 | |
KR100571907B1 (ko) | 동영상 추정 알고리즘에 있어서 프로세싱 엘레멘트 수 결정 방법 | |
Wang et al. | An efficient fractional motion estimation architecture for AVS real-time full HD video encoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20040714 Termination date: 20160117 |
|
EXPY | Termination of patent right or utility model |