CN101557461B - 运动估测中时间关联向量的处理装置及方法 - Google Patents

Abstract

本发明提供运动估测中时间关联向量的处理装置及方法，一运动向量估测装置对第一像素执行一运动估测，以产生一第一运动向量。一运动向量补偿装置依据该第一运动向量对第一像素执行运动向量补偿，以获得一第二像素。一运动向量暂存器储存影像像素的运动向量。一运动向量决定装置判断运动向量暂存器中第二像素的对应储存位置上是否储存有一第二运动向量，若有，则依据一判断机制更新该运动向量暂存器中该第二像素的对应储存位置，若否，则直接将该第一运动向量储存到该运动向量暂存器中该第二像素的对应储存位置上。使用本发明可调整时间关联向量，使运动估测装置可以更快速及准确地找到正确的运动向量。

Description

运动估测中时间关联向量的处理装置及方法 

技术领域

本发明关于影像处理技术领域，尤指一种用于降低电影信号运动不连续的时间关联向量的处理装置及方法。 

背景技术

先进电视信号处理通常包含运动估测及运动补偿技术，应用于画框频率转换，利用提高显示时信号的有效画框频率，降低运动不连续(motion judder)或运动模糊的问题(motion blur)，前者常出现于原始信号为电影视频信号或显示在大屏幕时，后者多为液晶电视的显示技术而产生。IEEE学报：电路和系统-视频技术(第3卷、第5期、1993年10月)(IEEE transactions oncircuits and systems for video technology.VOL.3，NO.5，October 1993)中的论文“True-Motion estimation with 3-D recursive search block matching”提出从空间及时间上选出候选向量，在空间上及时间上进行递回处理，可以利用较少数的运算，快速收敛到真正运动向量。如何选择较佳的候选向量，对最后运动向量的准确性有很大的影响。对于候选向量的选择，一般会考虑空间上的一致性及时间上的关联性。前者基于假设物体为刚体且具有一定空间大小，后者则假设物体运动为等速移动。当正确的运动向量出现在候选向量中，可以使运动向量有较大的机会收敛到正确的运动向量，而错误的候选运动向量，可能会干扰运动估测，提高运动向量错误的机会。图1为空间及时间的运动向量的示意图。如图1所示，对像素(i，j)执行运动估测及运动补偿时，除了空间的候选向量SMV0，SMV1，SMV2外，更可考虑时间上的候选向量TMV，从而达到快速收敛到真正运动向量的目的。 

图2为现有技术中时间关联运动向量产生的方式。假设在时间Tn-1及 时间Tn之间进行运动估测，且运动向量场MVn-1的位置对应时间Tn-1，故对于时间Tn-1画面上一像素P(i)，若其运动向量为MVn-1(i)，在Tn时，该像素P(i)将移动到像素P(i+MVn-1)点上，该像素P(i)的运动向量MVn-1(i)则储存于与该像素P(i)对应的储存位置。 

在计算Tn及Tn+1间的运动向量MVn时，在时间Tn时的像素P(i)(实心方块)的时间关联运动向量应与时间Tn-1时像素P(i-3)有关。亦即当物体为等速移动时，在时间Tn时的像素P(i)的时间关联运动向量为时间Tn时像素P(i)的速度，亦即，时间Tn时像素P(i)的时间关联运动向量为在时间Tn-1时像素P(i-3)的点，再加上该像素P(i-3)的MVn-1后，会移动至Tn时P(i)点的位置。此时，该MVn-1即为时间Tn时像素P(i)的时间关联运动向量。假定运动向量范围为-5～+5，则在时间Tn-1时P(i-5)到P(i+5)位置的像素，加上该点的运动向量，皆有可能会运动到时间Tn时像素P(i)。当物体发生遮没(cover：两运动向量交会)的情形时，则在搜寻范围中可能找到两个以上通过时间Tn时像素P(i)的运动向量，或是物体发生出现(uncover)的情形时，则在搜寻范围中找不到通过时间Tn时像素P(i)的运动向量。在现有技术中，在时间Tn-1时该像素P(i)的运动向量MVn-1(i)储存于与该像素P(i)对应的储存位置，待进行至时间Tn计算运动向量时，取出并在可能范围搜寻，以产生时间关联向量。若运动向量范围增加，搜寻可能范围的运算就会增加，而导致运算量过大而不符实际需求。由此可知，现有时间关联运动向量的储存方式仍有诸多缺失而有予以改善的必要。 

发明内容

本发明发目的主要是在提供一种运动估测中时间关联向量的处理装置及方法，可调整时间关联向量，使运动估测装置可以更快速及准确地找到正确的运动向量。 

依据本发明之一特色，本发明提供运动估测中时间关联向量的处理装置，用于调整时间关联向量，该时间关联向量对应一影像的一像素，该影像 是由一个二维阵列的像素阵所组成。该处理装置包含一运动向量估测装置、一运动向量补偿装置、一运动向量暂存器、及一运动向量决定装置。该运动向量估测装置对从影像中读取的一第一像素(i，j)执行一运动估测，以产生一第一运动向量MV1。该运动向量补偿装置连接至运动向量估测装置，依据第一运动向量MV1对第一像素(i，j)执行运动向量补偿，以获得一第二像素(i’，j’)。该运动向量暂存器连接至运动向量补偿装置，储存该影像中像素的运动向量。该运动向量决定装置连接至运动向量估测装置、运动向量补偿装置及运动向量暂存器，判断在运动向量暂存器中第二像素(i’，j’)的对应储存位置上是否储存有一第二运动向量MV2，若判定为是，则依据一判断机制更新该运动向量暂存器中第二像素(i’，j’)的对应储存位置上储存的运动向量，若否，则直接将第一运动向量MV1储存到运动向量暂存器中第二像素(i’，j’)的对应储存位置上。 

所述时间关联向量的处理装置进一步包含：一运动向量帧暂存器，连接至所述运动向量暂存器，以暂存来自所述运动向量暂存器的运动向量； 

所述运动向量暂存器进一步用于，待所述第二像素的对应存储位置上的运动向量不再被更新后，将该存储位置上的运动向量储存至所述运动向量帧暂存器。 

其中，所述运动向量补偿装置对所述第一像素执行平移，以获得所述第二像素，其中，平移量为所述第一运动向量。 

所述运动向量决定装置的一种实施方式为，该运动向量决定装置包含： 

一第一减法器，以将所述第一运动向量与一全域运动向量相减，以产生一第一差值； 

一第二减法器，以将所述第二运动向量与所述全域运动向量相减，以产生一第二差值； 

一第一绝对值产生装置，连接至所述第一减法器，对所述第一差值取绝对值，以产生一第一绝对差值； 

一第二绝对值产生装置，连接至所述第二减法器，对所述第二差值取绝对 值，以产生一第二绝对差值； 

一第一比较器，连接至所述第一绝对值产生装置及所述第二绝对值产生装置，比较所述第一绝对差值和所述第二绝对差值，当所述第一绝对差值大于所述第二绝对差值时，产生高电位的第一比较信号，当所述第一绝对差值小于或等于所述第二绝对差值时，产生低电位的第一比较信号；以及 

一第一多任务器，连接至所述第一比较器，并接收所述第一运动向量及所述第二运动向量，当所述第一比较信号为高电位时，输出所述第一运动向量，当所述第一比较信号为低电位时，输出所述第二运动向量。 

所述运动向量决定装置的另一种实施方式为，该运动向量决定装置包含： 

一第三减法器，其将所述第一运动向量与所述第二运动向量相减，以产生一第三差值； 

一第三绝对值产生装置，连接至所述第三减法器，对所述第三差值取绝对值，以产生一第三绝对差值； 

一第二比较器，连接至所述第三绝对值产生装置，当所述第三绝对差值小于一门槛值时，产生一低电位的一第二比较信号，当所述第三绝对差值大于或等于所述门槛值时，产生一高电位的一第二比较信号； 

一最小值产生装置，接收所述第一运动向量及所述第二运动向量，输出所述第一运动向量及所述第二运动向量中较小者，为一较小运动向量；以及 

一第二多任务器，连接至所述第二比较器及所述最小值产生装置，接收所述较小运动向量及一遮没指标cover_flag，当所述第二比较信号为高电位时，输出所述遮没指标cover_flag；当所述第一比较信号为低电位时，输出所述较小运动向量。 

依据本发明之另一特色，本发明还提供一种运动估测中时间关联向量的处理方法，其用以调整时间关联向量，每个时间关联向量对应一影像中的一个像素，该影像是由一个二维阵列的像素阵所组成，该方法包含步骤：(A)重置一运动向量暂存器，其中该运动向量暂存器用于储存所述影像中像素的运动向量；(B)对从影像中读取的一第一像素(i，j)执行一运动估测，以产生一 第一运动向量MV1；(C)依据所述第一运动向量MV1对所述第一像素(i，j)执行运动向量补偿，以获得一第二像素(i’，j’)；(D)判断在所述运动向量暂存器中第二像素(i’，j’)的对应储存位置上是否储存有一第二运动向量MV2；若是，则执行步骤(F)；否则，执行步骤(E)；(E)直接将该第一运动向量MV1储存到运动向量暂存器中第二像素(i’，j’)的对应储存位置上，执行步骤(G)；(F)依据一判断机制更新运动向量暂存器中第二像素(i’，j’)的对应储存位置上储存的运动向量，执行步骤(G)；(G)重回步骤(B)，以处理所述第一像素(i，j)的后续像素。 

步骤(C)所述运动向量补偿为：对所述第一像素执行平移，以获得所述第二像素，其中，平移量为所述第一运动向量。 

步骤(F)所述依据一判断机制更新所述运动向量暂存器中第二像素的对应储存位置上储存的运动向量的操作包含下列步骤： 

F1、计算所述第一运动向量与一全域运动向量之间差值的绝对值，以产生一第一绝对差值，计算所述第二运动向量与所述全域运动向量之间差值的绝对值，以产生一第二绝对差值； 

F2、当所述第一绝对差值大于所述第二绝对差值时，将所述第二运动向量储存到运动向量暂存器中第二像素的对应储存位置上；当所述第一绝对差值小于或等于所述第二绝对差值时，将所述第一运动向量储存到运动向量暂存器中第二像素的对应储存位置上。 

或者，步骤(F)所述依据一判断机制更新所述运动向量暂存器中第二像素的对应储存位置上储存的运动向量的操作包含下列步骤： 

FF1、计算所述第一运动向量与所述第二运动向量之间差值的绝对值，以产生一第三绝对差值； 

FF2、当所述第三绝对差值小于一门槛值时，将所述第一运动向量与所述第二运动向量中较小者储存到运动向量暂存器中第二像素的对应储存位置上；当所述第三绝对差值大于或等于所述门槛值时，将一遮没指标cover_flag储存到运动向量暂存器中第二像素的对应储存位置上。 

本发明运用运动向量补偿装置(MV compensator)、运动向量决定装置的 空向量指标检测(empty flag check)和非空向量处理(non-empty MVprocessing)，可在处理时间候选向量时，进行遮没(cover)或出现(uncover)侦测，利用遮没或出现的特性，调整时间关联向量，使运动估测(motionestimation)装置可以更快速及准确地找到正确的运动向量。 

附图说明

图1为空间及时间的运动向量的示意图。 

图2为现有时间关联运动向量产生的方式的示意图。 

图3为本发明运动估测中时间关联向量的处理装置的方块图。 

图4为本发明运动向量决定装置的方块图。 

图5为本发明运动向量决定装置另一实施例的方块图。 

图6为本发明运动估测中时间关联向量的方法的流程图。 

图7为本发明判断机制的流程图。 

图8为本发明判断机制另一实施例的流程图。 

图9为本发明运动估测中时间关联向量的储存示意图。 

主要元件符号说明 

处理装置300                运动向量估测装置310 

运动向量补偿装置320        运动向量暂存器340 

运动向量决定装置330        运动向量帧暂存器350 

第一减法器410              第二减法器420 

第一绝对值产生装置430      第二绝对值产生装置440 

第一比较器450              第一多任务器460 

第三减法器510              第三绝对值产生装置520 

第二比较器530              最小值产生装置540 

第二多任务器550 

步骤S610～S660、S710～S740、S810～S840 

具体实施方式

请参见图3，其显示本发明运动估测中时间关联向量的处理装置300的方块图。该时间关联向量的处理装置300用于调整时间关联向量，每个时间关联向量对应一影像的一像素，该影像是由一个二维阵列的像素阵所组成，在本实施例中，以一像素举例说明，本领域技术人员可依据本发明技术推广至2×2、4×4、6×6、8×8、16×16等等规格的像素区块。如图3所示，该处理装置300包含一运动向量估测装置310、一运动向量补偿装置320、一运动向量暂存器340、及一运动向量决定装置330。 

运动向量估测装置310，读取影像中的一第一像素(i，j)，并对该第一像素(i，j)执行一运动估测，以产生一第一运动向量MV1。 

运动向量补偿装置320连接至运动向量估测装置310，依据运动向量估测装置310产生的第一运动向量MV1对第一像素(i，j)执行运动向量补偿，以获得一第二像素(i’，j’)，该第二像素(i’，j’)对应的存储位置即为运动向量所应储存的位置，其中，该运动向量补偿装置320对第一像素(i，j)执行平移，以获得一第二像素(i’，j’)位置，其中，平移量为第一运动向量MV1。 

运动向量暂存器340连接至运动向量补偿装置320和运动向量决定装置330，用于储存影像中像素的运动向量。在对当前时刻的影像进行运动估测之前该运动向量暂存器340被重置。在一实施例中将该运动向量暂存器340中的每一储存单位重置为空(Empty，E)的状态。在实际中，还可以重置为一预设状态值。 

运动向量决定装置330连接至运动向量估测装置310及运动向量暂存器340，判断在运动向量暂存器340的第二像素(i’，j’)的对应储存位置中是否储存有不同于第一运动向量MV1的一个运动向量，称为第二运动向量MV2，若判定在该运动向量暂存器340中有储存第二运动向量MV2，则依据一判断机制更新该运动向量暂存器340中第二像素(i’，j’)的对应储存位置上储存的运动向量，若否，则直接将第一运动向量MV1储存到运动向量暂存器340 中第二像素(i’，j’)的对应储存位置上。 

在一种实施方式中，运动向量暂存器340具有控制单元，能够根据运动向量补偿装置320提供的第二像素(i’，j’)，输出该第二像素(i’，j’)对应存储位置上的信息给运动向量决定装置330。对于本领域技术人员来讲，暂存器340的存储单元与控制单元选择为分立或合并是可选的方式，实质上都是通过控制单元来对(i’，j’)的对应储存位置进行操作的，因此，将暂存器340的控制单元分立在其它装置中，均视为本申请中的运动向量补偿装置与暂存器相连。例如，在另一种实施方式中，可将运动向量暂存器340的控制单元设置在运动向量决定装置330中，运动向量决定装置330即可根据运动向量补偿装置320提供的第二像素(i’，j’)，在运动向量暂存器340中对该第二像素(i’，j’)对应存储位置上的信息进行操作。 

较佳地，该处理装置300进一步包括运动向量帧暂存器350，该运动向量帧暂存器350连接至运动向量暂存器340以及运动向量估测装置310，以暂存影像的运动向量。具体来说，待第二像素(i’，j’)的对应存储位置上的运动向量不再被更新后，运动向量暂存器340将该存储位置上的运动向量储存至运动向量帧暂存器350。可见，运动向量帧暂存器350存储的是运动向量暂存器340处理完毕的运动向量。 

运动向量帧暂存器350还可以进一步将其存储的运动向量作为下一时刻的时间关联向量提供给运动向量估测装置310。 

图4显示依据本发明运动向量决定装置330的方块图，该运动向量决定装置330包含：一第一减法器410、一第二减法器420、一第一绝对值产生装置430、一第二绝对值产生装置440、一第一比较器450、及一第一多任务器460。 

第一减法器410将第一运动向量MV1与一全域运动向量GMV(globalmotion vector)相减，以产生一第一差值。该第二减法器420将第二运动向量MV2与该全域运动向量GMV相减，以产生一第二差值。 

第一绝对值产生装置430连接至第一减法器410，对第一差值取绝对值， 产生第一绝对差值1st_abs。第二绝对值产生装置440连接至第二减法器420，对第二差值取绝对值，产生一第二绝对差值2nd_abs。 

第一比较器450连接至第一绝对值产生装置430及第二绝对值产生装置440，以产生一第一比较信号。当第一绝对差值1st_abs大于第二绝对差值2nd_abs时，产生一高电位的第一比较信号；反之产生一低电位的第一比较信号。 

第一多任务器460连接至第一比较器450，并接收第一运动向量MV1及第二运动向量MV2，当第一比较器450产生的第一比较信号为高电位时，输出该第一运动向量MV1，当该第一比较信号为低电位时，输出该第二运动向量MV2。输出的运动向量储存到第二像素(i’，j’)的对应储存位置上。 

由于该全域运动向量GMV通常反应背景的运动向量，而本发明在此主要获得前景的运动向量，故当该第一比较信号为高电位时，代表该第一运动向量MV1与全域运动向量GMV的差值大于该第二运动向量MV2与全域运动向量GMV的差值，故第一多任务器460输出第一运动向量MV1。当第一比较信号为低电位时，代表第一运动向量MV1与全域运动向量GMV的差值小于或等于第二运动向量MV2与全域运动向量GMV的差值，故第一多任务器460输出第二运动向量MV2。 

运动向量决定装置330分别计算两向量MV1、MV2与全域运动向量GMV的差距，选取差距较大的运动向量为时间关联向量。一般而言，背景在画面中会占有较大的范围，当此情形发生时，全域运动向量GMV有较大机会和背景运动向量相同。如前所述，两运动向量交会时通常是遮没发生的时候，此时会需要区分何者为前景，何者为背景，利用一般背景较大的特性，选择和全域运动向量GMV差距较大的向量，出现前景向量的机会较高。 

采用本实施例中的运动向量决定装置330最后输出的时间关联向量为：若第二像素(i’，j’)的对应储存位置未被更新，仍为空(Empty)，则输出空向量指标，亦即此位置对应于出现(uncover)部份，并无可靠的时间关联向量，若只被更新一次，输出该运动向量，作为下个时间点运动估测检视等速 度运动条件，若被更新超过两次，则输出最后被更新的运动向量，该运动向量是较可能的时间向量。运动估测利用时间关联向量，可以作为候选向量的选择，或是利用时间关联向量调整不同候选者的处罚代价(penalty)。 

图5显示本发明运动向量决定装置330另一实施例的方块图，该运动向量决定装置330包含：一第三减法器510、一第三绝对值产生装置520、一第二比较器530、一最小值产生装置540、及一第二多任务器550。 

第三减法器510将第一运动向量MV1与第二运动向量MV2相减，以产生一第三差值。第三绝对值产生装置520连接至第三减法器510，对第三差值取绝对值，产生一第三绝对差值3rd_abs。 

第二比较器530连接至第三绝对值产生装置520，当第三绝对差值3rd_abs小于一门槛值Th时，产生一低电位的一第二比较信号，当该第三绝对差值3rd_abs大于或等于该门槛值Th时，产生一高电位的一第二比较信号。 

最小值产生装置540接收第一运动向量MV1及第二运动向量MV2，输出该第一运动向量MV1及该第二运动向量MV2中较小者，为一较小运动向量。 

第二多任务器550连接至第二比较器530及最小值产生装置540，接收较小运动向量及一遮没指标cover_flag，当第二比较信号为高电位时，输出该遮没指标cover_flag，当第一比较信号为低电位时，输出该较小运动向量。 

当第二比较信号为高电位时，代表第一运动向量MV1与第二运动向量MV2的差值大于或等于门槛值Th，表示极有可能第一运动向量MV1与第二运动向量MV2二者中其一为前景运动向量而另一为背景运动向量，此时找出的前景运动向量亦不是很准确，故该第二多任务器550输出遮没指标cover_flag。 

当第二比较信号为低电位时，代表第一运动向量MV1与第二运动向量MV2的差值小于门槛值Th，表示极有可能第一运动向量MV1与第二运动向量MV2二者均为前景运动向量或背景运动向量，故该第二多任务器550 输出第一运动向量MV1与第二运动向量MV2中的较小者。 

MV2表示原存在的非空向量指标的时间关联向量，MV1表示此次运动估测所得的运动向量。首先计算两向量的差值并取绝对值，可以得到此两向量的距离，此距离和门槛值Th比较，若大于该门槛值Th，将时间关联向量设定为遮没指标，代表此位置发生遮没，单一时间向量可能造成错误时间关联性估测，此指标可关闭运动估测时选取时间关联向量动作，或改变时间关联向量候选的处罚代价。若两运动向量距离小于该门槛值Th，则选取较小的运动向量为时间关联向量，以产生较稳定的运动向量场。 

采用本实施例中的运动向量决定装置330最后输出的时间关联向量为：若第二像素(i’，j’)的对应储存位置未被更新，则输出空向量指标，亦即此位置对应于出现(uncover)部份，并无可靠的时间关联向量，若只被更新一次，输出该运动向量，作为下个时间点运动估测检视等速度运动条件，若被更新超过两次，则输出较可能的时间向量，或是输出遮没指标，即cover_flag。 

图6为本发明运动估测中时间关联向量的处理方法的流程图，其用以调整时间关联向量，每个时间关联向量对应影像中的一个像素，该影像是由一个二维阵列的像素阵所组成。首先，在步骤S610中重置运动向量暂存器340，其中该运动向量暂存器340用于储存该影像中像素的运动向量。在一实施例中，将该运动向量暂存器340中的每一储存单位重置为空(Empty，E)的状态。 

在步骤S620中，运动向量估测装置310从运动向量帧暂存器350读取影像中的一第一像素(i，j)，并对该第一像素(i，j)执行一运动估测，以产生一第一运动向量MV1。 

在步骤S630中，运动向量补偿装置320依据第一运动向量MV1对第一像素(i，j)执行运动向量补偿，以获得一第二像素(i’，j’)位置，其中，该运动向量补偿装置320对第一像素(i，j)执行平移，以获得第二像素(i’，j’)位置，其中平移量为第一运动向量MV1。 

在步骤S640中，判断运动向量暂存器340中第二像素(i’，j’)的对应储存位置中是否已储存有一不同于MV1的运动向量，称为第二运动向量MV2。 亦即判断第二像素(i’，j’)对应的储存位置是否为空(Empty，E)的状态。 

若判定在运动向量暂存器340中没有储存第二运动向量MV2，则在步骤S650中直接将第一运动向量MV1储存在运动向量暂存器340中第二像素(i’，j’)的对应储存位置上，并重回步骤S620，以处理该第一像素(i，j)的后续像素。 

若判定在运动向量暂存器340中已经储存了第二运动向量MV2，则在步骤S660中依据一判断机制更新运动向量暂存器340中第二像素(i’，j’)的对应储存位置上，并重回步骤S620，以处理该第一像素(i，j)的后续像素。 

图7为图6的流程中所述判断机制的流程图，在步骤S710中计算第一运动向量MV1与一全域运动向量GMV之间差值的绝对值，以产生一第一绝对差值1st_abs，计算第二运动向量MV2与该全域运动向量GMV之间差值的绝对值，以产生一第二绝对差值2nd_abs。 

在步骤S720中，判断第一绝对差值1st_abs是否大于第二绝对差值2nd_abs。当第一绝对差值1st_abs小于或等于第二绝对差值2nd_abs时，在步骤S730中将第二运动向量MV2储存到运动向量暂存器340中第二像素(i’，j’)的对应储存位置上；当第一绝对差值1st_abs大于第二绝对差值2nd_abs时，在步骤S740中将第一运动向量MV1储存到运动向量暂存器340中第二像素(i’，j’)的对应储存位置上。 

图8为图6的流程中所述判断机制另一实施例的流程图，在步骤S810中计算第一运动向量MV1与第二运动向量MV2之间差值的绝对值，以产生一第三绝对差值3rd_abs。 

在步骤S820中，判断第三绝对差值3rd_abs是否小于一门槛值Th。 

当第三绝对差值3rd_abs小于一门槛值Th时，在步骤S830中将第一运动向量MV1与第二运动向量MV2中较小者储存到运动向量暂存器340中第二像素(i’，j’)的对应储存位置上。 

当第三绝对差值3rd_abs大于或等于一门槛值Th时，在步骤S840中将一遮没指标cover_flag储存到运动向量暂存器340中第二像素(i’，j’)的对应储 存位置上。 

图9为本发明运动估测中时间关联向量的储存示意图。请一并参酌图6及图9。为了方便说明，图9中仅举例一维运动向量的平移，亦即在步骤S630中，运动向量补偿装置320对第一像素(i，j)仅执行X-轴方向平移，至于二维运动向量的平移是本领域技术人员基于本发明所描述的技术方案可以完成，在此不予赘述。 

如图9所示，在骤S610中将运动向量暂存器340中的每一储存单位3401，3402，3403，...重置为空的状态(Empty，E)。 

在步骤S620中，运动向量估测装置310从运动向量帧暂存器350读取影像中的第一像素(i，j)，并对该第一像素(i，j)执行一运动估测，以产生一第一运动向量MV1。亦即读取影像中的像素P(i-5)，并对像素P(i-5)执行一运动估测而产生运动向量MVn-1(i-5)。 

在步骤S630中，运动向量补偿装置320对第一像素(i，j)执行平移，以获得一第二像素(i’，j’)位置，其中平移量为第一运动向量MV1。本步骤中，该运动向量补偿装置320对像素P(i-5)执行平移，由于运动向量MVn-1(i-5)的X-轴方向分量为0，故执行平移后，该第二像素(i’，j’)位置亦为像素P(i-5)位置。 

在步骤S640中，判断该第二像素(i’，j’)对应的储存位置是否为空的状态(Empty，E)，亦即判断像素P(i-5)对应的储存单位3401是否为空的状态(E)。 

由于储存单位3401为空的状态(E)，则在步骤S650中直接将该运动向量MVn-1(i-5)储存到运动向量暂存器340中第二像素(i’，j’)的对应储存单位3401中，并重回步骤S620，以处理该第一像素(i，j)的后续像素P(i-4)。像素P(i-4)的处理过程与像素P(i-5)相同，不予赘述。 

在像素P(i-3)的处理过程中，在步骤S630中，运动向量补偿装置320对该第一像素(i，j)执行平移，以获得一第二像素(i’，j’)位置。亦即该运动向量补偿装置320对像素P(i-3)执行平移，由于运动向量MVn-1(i-3)的X-轴方向分量为2个像素，故执行平移后，该第二像素(i’，j’)位置为像素P(i-1)位置。 

由于储存单位3405为空的状态(E)，则在步骤S650中直接将该运动向量MVn-1(i-3)储存到运动向量暂存器340中第二像素(i’，j’)的对应储存单位3405中，并重回步骤S620，以处理该第一像素(i，j)的后续像素P(i-2)。像素P(i-2)、P(i-1)、P(i)、P(i+1)的处理过程与像素P(i-3)相同，不予赘述。 

在像素P(i+2)的处理过程中，在步骤S630中，该运动向量补偿装置320对第一像素(i，j)执行平移，以获得一第二像素(i’，j’)位置。亦即该运动向量补偿装置320对像素P(i+2)执行平移，由于运动向量MVn-1(i+2)的X-轴方向分量为1个像素，故执行平移后，该第二像素(i’，j’)位置为像素P(i+3)位置。 

在步骤S640中，判断第二像素P(i+3)对应的储存位置是否为空的状态(Empty，E)，亦即判断像素P(i+3)对应的储存单位3409是否为空的状态(E)。 

由于储存单位3409先前已填入运动向量MVn-1(i+1)，故判定在该运动向量暂存器340的储存单位3409中有储存运动向量MVn-1(i+1)，于是在步骤S660中依据前述判断机制更新运动向量暂存器340中的对应储存单位3409，并重回步骤S620，以处理该第一像素P(i+2)的后续像素P(i+3)。 

由前述说明可知，本发明在进行运动估测之前，先将时间关联向量对应的储存位置设为空向量指标(E)，进行运动估测后，产生当前估测像素在该时间(Current ME position)的运动向量(MVn-1)，利用此运动向量进行运动补偿，可计算出补偿后运动向量位置(compensated MV position)。若该位置的时间关联向量的储存位置为空向量指标，将时间关联向量的储存位置更新为当前运动估测的运动向量。假如补偿后运动向量位置的时间关联向量并非空向量指标，则利用时间关联向量决定装置，比较原时间关联向量以及新计算的运动向量，产生最后时间关联向量结果。 

本发明运用空向量指标设定(empty flag setting)、运动向量补偿装置(MVcompensator)、运动向量决定装置的空向量指标检测(empty flag check)和非空向量处理(non-empty MV processing)操作，可在处理时间候选向量时，进行遮没(cover)或出现(uncover)侦测，利用遮没或出现的特性，调整时间关联向量，使运动估测(motion estimation)装置可以更快速及准确地找到正确的运动 向量。 

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (9)

1.一种运动估测中时间关联向量的处理方法，其用以调整时间关联向量，该时间关联向量对应一影像的一像素，该影像是由一个二维阵列的像素阵所组成，其特征在于，该方法包含以下步骤：

A、重置一运动向量暂存器，其中该运动向量暂存器用于储存所述影像中像素的运动向量；

B、对从影像中读取的一第一像素执行一运动估测，以产生一第一运动向量；

C、依据所述第一运动向量对所述第一像素执行运动向量补偿，以获得一第二像素；

D、判断所述运动向量暂存器中第二像素的对应储存位置上是否储存有一第二运动向量；如果是，则执行步骤F；否则，执行步骤E；

E、直接将所述第一运动向量储存到运动向量暂存器中第二像素的对应储存位置上，执行步骤G；

F、依据一判断机制更新所述运动向量暂存器中第二像素的对应储存位置上储存的运动向量，执行步骤G；

G、重回步骤B，以处理所述第一像素的后续像素。

2.如权利要求1所述的处理方法，其特征在于，步骤C所述运动向量补偿为：对所述第一像素执行平移，以获得所述第二像素，其中，平移量为所述第一运动向量。

3.如权利要求1或2所述的处理方法，其特征在于，步骤F所述依据一判断机制更新所述运动向量暂存器中第二像素的对应储存位置上储存的运动向量的操作包含下列步骤：

F1、计算所述第一运动向量与一全域运动向量之间差值的绝对值，以产生一第一绝对差值，计算所述第二运动向量与所述全域运动向量之间差值的绝对值，以产生一第二绝对差值；

F2、当所述第一绝对差值大于所述第二绝对差值时，将所述第二运动向量 储存到运动向量暂存器中第二像素的对应储存位置上；当所述第一绝对差值小于或等于所述第二绝对差值时，将所述第一运动向量储存到运动向量暂存器中第二像素的对应储存位置上。

4.如权利要求1或2所述的处理方法，其特征在于，步骤F所述依据一判断机制更新所述运动向量暂存器中第二像素的对应储存位置上储存的运动向量的操作包含下列步骤：

FF1、计算所述第一运动向量与所述第二运动向量之间差值的绝对值，以产生一第三绝对差值；

FF2、当所述第三绝对差值小于一门槛值时，将所述第一运动向量与所述第二运动向量中较小者储存到运动向量暂存器中第二像素的对应储存位置上；当所述第三绝对差值大于或等于所述门槛值时，将一遮没指标cover_flag储存到运动向量暂存器中第二像素的对应储存位置上。

5.一种运动估测中时间关联向量的处理装置，其用以调整时间关联向量，该时间关联向量对应一影像的一像素，该影像是由一个二维阵列的像素阵所组成，其特征在于，该处理装置包含：

一运动向量估测装置，其对从影像中读取的一第一像素执行一运动估测，以产生一第一运动向量；

一运动向量补偿装置，连接至所述运动向量估测装置，依据所述第一运动向量对所述第一像素执行运动向量补偿，以获得一第二像素；

一运动向量暂存器，连接至所述运动向量补偿装置，用于储存所述影像的像素的运动向量；以及

一运动向量决定装置，连接至所述运动向量估测装置及所述运动向量暂存器，判断所述运动向量暂存器中第二像素的对应储存位置上是否储存有一第二运动向量，若是，则依据一判断机制更新所述运动向量暂存器中第二像素的对应储存位置上储存的运动向量，若否，则直接将所述第一运动向量储存到所述运动向量暂存器中第二像素的对应储存位置上。

6.如权利要求5所述的时间关联向量的处理装置，其特征在于，所述时间 关联向量的处理装置进一步包含：

一运动向量帧暂存器，连接至所述运动向量暂存器，用以暂存来自所述运动向量暂存器的运动向量；

所述运动向量暂存器进一步用于，待所述第二像素的对应存储位置上的运动向量不再被更新后，将该存储位置上的运动向量储存至所述运动向量帧暂存器。

7.如权利要求5所述的处理装置，其特征在于，所述运动向量补偿装置对所述第一像素执行平移，以获得所述第二像素，其中，平移量为所述第一运动向量。

8.如权利要求5或6或7所述的处理装置，其特征在于，所述运动向量决定装置包含：

一第一减法器，以将所述第一运动向量与一全域运动向量相减，以产生一第一差值；

一第二减法器，以将所述第二运动向量与所述全域运动向量相减，以产生一第二差值；

一第一绝对值产生装置，连接至所述第一减法器，对所述第一差值取绝对值，以产生一第一绝对差值；

一第二绝对值产生装置，连接至所述第二减法器，对所述第二差值取绝对值，以产生一第二绝对差值；

一第一比较器，连接至所述第一绝对值产生装置及所述第二绝对值产生装置，比较所述第一绝对差值和所述第二绝对差值，当所述第一绝对差值大于所述第二绝对差值时，产生高电位的第一比较信号，当所述第一绝对差值小于或等于所述第二绝对差值时，产生低电位的第一比较信号；以及

一第一多任务器，连接至所述第一比较器，并接收所述第一运动向量及所述第二运动向量，当所述第一比较信号为高电位时，输出所述第一运动向量，当所述第一比较信号为低电位时，输出所述第二运动向量。

9.如权利要求5或6或7项所述的处理装置，其特征在于，所述运动向量 决定装置包含：

一第三减法器，其将所述第一运动向量与所述第二运动向量相减，以产生一第三差值；

一第三绝对值产生装置，连接至所述第三减法器，对所述第三差值取绝对值，以产生一第三绝对差值；

一第二比较器，连接至所述第三绝对值产生装置，当所述第三绝对差值小于一门槛值时，产生一低电位的一第二比较信号，当所述第三绝对差值大于或等于所述门槛值时，产生一高电位的一第二比较信号；

一最小值产生装置，接收所述第一运动向量及所述第二运动向量，输出所述第一运动向量及所述第二运动向量中较小者，为一较小运动向量；以及

一第二多任务器，连接至所述第二比较器及所述最小值产生装置，接收所述较小运动向量及一遮没指标cover_flag，当所述第二比较信号为高电位时，输出所述遮没指标cover_flag；当所述第一比较信号为低电位时，输出所述较小运动向量。 

Images