CN1129882A - 运动矢量检测装置和用其对运动进行补偿的预测编码系统 - Google Patents
运动矢量检测装置和用其对运动进行补偿的预测编码系统 Download PDFInfo
- Publication number
- CN1129882A CN1129882A CN95116645A CN95116645A CN1129882A CN 1129882 A CN1129882 A CN 1129882A CN 95116645 A CN95116645 A CN 95116645A CN 95116645 A CN95116645 A CN 95116645A CN 1129882 A CN1129882 A CN 1129882A
- Authority
- CN
- China
- Prior art keywords
- information sets
- search
- feature extraction
- sub
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
一种运动矢量检测装置,包括基准帧信息组特征抽取装置;搜索帧信息组特征抽取装置;帧运动矢量产生装置;第一数据除法装置;第二数据除法装置;奇数场运动矢量产生装置;偶数场运动矢量产生装置;根据除法电路把由特征抽取电路提供的匹配元素分成奇数场和偶数场匹配元素,利用奇数和偶数场匹配元素进行的匹配处理提供奇数和偶数场运动矢量。其使在获得场匹配元素时,取消了特征抽取电路。
Description
本发明涉及一种运动矢量检测装置以及使用这种检测装置对运动进行补偿的预测编码系统。
图37示出了一种用于对一视频信号的数据进行压缩而使用DCT(离散余弦变换)的两帧之间的运动补偿的预测编码系统。一数字视频信号DV被提供给一个减法器2,利用该减法器2可从一个预测视频信号PDV中减去所述的数字视频信号DV,并提供一个预测误差信号PER。由于两帧之间的所述视频信号通常是彼此相关的,所以,所示的预测误差信号PER一般很小。来自所述减法器2的所述预测误差信号PER被提供给一个DCT电路3,该电路用于对每一个编码信息组的数据执行一个离散余弦变换处理。
由所述DCT电路3提供的传输系数数据TCD被提供给量化器4,该量化器4用于执行一个量化操作。在所述量化器4中,当所述数据TCD接近零时,用于量化的级宽很小,且离开零越远,量化的级宽就变得越大。这是由于就重要变化而言粗量化是不明显的。使用这种非线性量化对所述数据进行压缩。利用可变长度编码器5对来自所述量化器4的被量化的数据进行编码,输出编码数据DT。
利用反向量化器6对来自所述量化器4的量化的数据进行反量化。来自所述反向量化器6的变换系数数据TCDp(近似等于变换系数数据TCD)被提供给一个反向DCT电路7,该反向DCT电路7执行一个反向的离散余弦变换处理。从所述反向DCT电路7输出的预测误差信号PERp被提供给加法器8,该加法器8将它加到所述预测视频信号PDV上。由所述加法器8输出的视频信号通过使用一个帧存贮器9被延迟一帧,一个运动补偿电路10提供所述的预测视频信号PDV,用于对存在的任一运动提供补偿。
一个运动矢量检测装置11将所述帧存贮器9中输出的在前帧中接收的一帧数字视频信号DV和所述的视频信号,以现有技术中公知的方式对运动矢量进行检测。利用如上所述的运动补偿电路10,根据所述运动矢量检测电路11的检测所提供的所述运动矢量信息,确定所需的补偿量。
当在如图37所示的用于对两帧之间的运动进行补偿的预测编码系统中的所述运动矢量检测电路11和其它的装置使用一种匹配方法去检测运动矢量时,一个基准帧被分成多个相等的信息组(基准信息组),在前面或后面的帧中搜索与每个信息组都具最佳匹配的信息组(搜索帧),并且如图38所示,两个这种匹配信息组之间的距离被确定为一个运动矢量。
通常,为了搜索这种最佳匹配信息组,两个信息组之内的所有像素彼此相减,计算其绝对值或平方的和,并确定具有最小值的位置为运动矢量。在具有16个像素乘以16行的信息组的情况下,需要进行256次的减法和绝对值计算以及256次的加法计算以搜索一个点。如果设定所述的搜索范围是沿水平和垂直方向的自-8到+7的范围,那么就必须搜索256个点。这就需要大量的计算并需要大量的硬件。
目前,已经提出了一种用于减少电路规模的方法。将具有如图40A所示的(m×n)个像素的一个帧信息组分成多个子信息组,如图40B所示,其中的每一个子信息组都具有(a×b)个像素,在每一个子信息组中所有像素的集合给出了一个代表值。这种用于减少每个信息组中像素数量的转换被称作“特征抽取”。
利用特征抽取,匹配元素的(m×n)像素可以被减少到(n×m)/(a×b),借此,以减少电路的规模。在图40C中,所述阴影区域对应于特征抽取后的两维频率成分,而由虚线所规定的区域对应于所选特征抽取之前的两维频率成分。水平轴表示水平频率fh[cpw],而垂直轴表示一个垂直频率fv[cph]。另外,fsv表示一帧之内的行数(例如在所述NTSC系统中为525)且fsh表示在一行内的采样数(例如在所述NTSC系统中该采样数为910),其中所述的采样频率为4 fsc(fsc是彩色副载频)
图40示出了所述帧运动矢量的检测。为了检测一个场运动矢量,如图41A所示将具有(m×n/2)个像素的一个场信息组分成多个子信息组,其中每一个子信息组在奇数或偶数场中都具有(a×b/2)个像素,并且将每个子信息组内所有像素的集合给出一个代表值。根据这种特性抽取,匹配元素的(m×n/2)个像素可以被减至(n×m)/(a×b),从而减少了电路的规模。在图41C中,所述的阴影区对应于特征抽取之后的两维频率成分,而由虚线所规定的区域对应于特征抽取之前的两维频率成分。
图39示出了一种帧/场运动矢量检测装置,在该装置中,通过使用特征抽取可以减少电路的规模。标号20表示一个帧存贮器,该帧存贮器用于存贮一个基准帧中的像素信号,在所述基准帧中的像素信号由一个控制电路50的控制从所述帧存贮器20中读出,并被提供给特征抽取电路21。所述的特征抽取电路21执行特征抽取(图40B),借此,所述的帧信息组被分成多个子信息组并且将每个子信息组中所有元素的集合给出一个代表值。
标号30表示一个帧存贮器,该存贮器用于存贮与所述搜索帧相关的像素信号。与所述搜索帧信息组相关的像素信号是在控制电路50的控制之下从所述帧存贮器30中读出的,并且被提供给所述特征抽取电路31。所述的特征抽取电路31执行特征抽取(图40B),借此,所述的帧信息组被分成多个子信息组并且将每个子信息组中所有元素的集合给出一个代表值,所述的代表值作为一个匹配元素被提供给匹配电路40FL。
所述的匹配电路40FL测量每一个基准帧信息组特征抽取元素和所述搜索帧信息组之间的差,并计算每一差值的绝对值或平方,该值被作为一个预测值而提供给一个预测电路41FL。尽管上面没有描述,但与对应于规定基准帧信息组的搜索帧信息组相关的像素信号是在控制电路50的控制下从所述帧存贮器30中读出的,并且是利用所述特征抽取电路31进行特征提取的。这样,与所述各搜索帧信息组相对应的预测值被从所述的匹配电路40FL提供给所述的预测电路41FL。
所述预测电路41FL在与所有搜索帧信息组相对应的多个预测值中选择与所规定基准帧信息组最匹配的搜索帧信息组,并且把相对于基准帧信息组的最匹配搜索帧信息组的位置作为一帧运动矢量。这种帧运动矢量的检测是针对多个从所述帧存贮器20中读出的基准帧信息组进行的。
与所述基准奇数场信息组相关的像素信号是在所述控制电路50的控制之下从所述帧存贮器20中读出的,并将它提供给所述的特征抽取电路22。所述的特征抽取电路21执行所述的特征抽取(图41B),借此,使得奇数场信息组被分成多个子信息组,并且将每个子信息组中所有元素的集合给出一个代表值。所示的代表值被作为一个匹配元素而提供给匹配电路40FO。
在所述控制电路50的控制之下,与搜索奇数场信息组相关的像素信号被从所述帧存贮器30中读出,并提供给特征抽取电路32。所述的特征抽取电路32执行特征抽取(图41B),借此,所述的奇数场信息组被分成多个子信息组并且将每一个子信息组中所有元素的集合给出一个代表值。所述的代表值被作为一个匹配元素提供给一个匹配电路40FO。
所述的匹配电路40FO测量所述每一个基准奇数场信息组特征抽取元素和所述搜索奇数场信息组之间的差,并计算每一个差值的绝对值或平方,然后,将该值作为一个预测值提供给预测电路41FO。虽然上面没有描述,但与所规定基准奇数场信息组相对应的所述搜索奇数场信息组相关的像素信号也是在所述控制电路50的控制之下从所述帧存贮器30中读出并利用所述特征抽取电路32进行特征抽取的。随后,与各搜索奇数场信息组相对应的预测值被从所述的匹配电路40FO提供给所述的预测电路41FO。
所述的预测电路41FO从与所有搜索奇数场信息组相对应的预测值中选择与所规定基准奇数场信息组最匹配的所述搜索奇数场信息组,并且输出相关于所述基准奇数场信息组的最佳匹配的搜索奇数场信息组的位置作为一个场的运动矢量。这种奇数场运动矢量的检测是针对一定数量的从所述帧存贮器20中读出的所述基准奇数场信息组执行的。
标号23和33表示用于偶数场信息组的特征抽取电路,标号40FE表示一个匹配电路,标号41FE表示一个预测电路。这些电路分别对应于用于所述奇数场信息组的特征抽取电路22和32、匹配电路40FO和预测电路41FO。所述的预测电路41FE输出多个偶数场运动矢量,这些矢量对应于若干个从所述帧存贮器20中读出的基准偶数场信息组中的每一个。
下面将描述一个用于所述帧信息组的特征抽取电路21和31的例子。在这个例子中,构成一个帧信息组的(m×n)个像素数据被转换成(m/2×n/2)数据(代表值)。在这个例子中,如图42A所示的(m×n)个像素数据通过一个如图42B所示的两维滤波器(LPF)并被转换成为图42C所示的数据。此后,所述数据的信息组部分被二次采样,以获得如图42D所示的(m/2×n/2)数据。在图42B所示的两维滤波器中,Z-1表示一个像素延迟,而Z-L表示一个与所述帧结构相关的行延迟。在图42E中,阴影区表示在特征抽取之后的一个两维频率成分,而由虚线所规定的区域表示特征抽取前的一个两维频率成分。
利用通过使用图39所示的特征抽取可以减少电路规模而进行运动矢量的简单检测,当需要检测所述帧运动矢量和场运动矢量时,其电路规模比或对所述帧运动矢量检测或对场运动矢量检测所需的电路规模要大。
另外,由于下面的原因,用于特征抽取的低通滤波器不足以对与所述信息组相关的特征进行抽取。
图43A和43B示出了当在两个场之间的一个目标未发生形状变化并且在未移动时切换(cut-in)奇数和偶数场的一维中的垂直波形。图43C和43D示出了根据多个垂直采样间隔所采样的数据。当利用与帧信息组类似的方式将所述的视频信号处理成帧结构时,如图43E所示,与奇数和偶数场相关的采样数据被合并到一起。
在这种情况下,由于在所述奇数和偶数场中没有目标运动,所以合并后的信号形成了一个如图43E所示的连续波形,与这种状态相关的频率成分示于图44C。换言之,当在与所述帧结构相关的垂直方向内的采样频率为fs,那么,在fs/2处就没有频率成分。这是由于在图43C和图43D中所示的与奇数和偶数场相关的采样数据的频率成分分别示于图44A和图44B,而在fs/2处的两个频率成分彼此相差180°,因而彼此相互抵消掉了。
图45A和图45B示出了在两个场之间的目标未发生形状变化却产生了运动的情况下,切换(cut-in)所述奇数和偶数场的一维内的垂直波形。图45C和45D示出了根据垂直采样间隔所采样的数据。图45E示出了一种状态,在该状态下,与每一个场相关的采样数据被合并到一起。
由于在所述奇数和偶数场内的一个目标是运动的,所以,被合并到一起的信号构成了一个如图45E所示的不连续波形。与这种状态相关的频率成分示于图45C。由于示于图46A和和46B的与所述奇数和偶数场的采样数据(图45C和图45D)相关的fs/2处的频率成分彼此相差180°+α,所以,在fs/2处的频率成分没有被抵消。
图47A和47B示出了在所述两场之间的目标形状发生变化并发生运动的情况下,切换与所述奇数和偶数场相关的一维内的垂直波形。图47C和47D示出了根据垂直采样间隔所采样的数据。图47E示出了一种状态,在该状态下,与每个场相关的采样数据被合并到一起。
由于在所述奇数和偶数场中目标的形状和运动都发生了变化,所以所述合并到一起的信号形成了一个如图47E所示的不连续波形。图48C示出了在这种情况下的频率成分。比起所述低频含量来,它可以包括一个在fs/2处的大的高频含量,所述大的高频含量往往会具有较大的信号成分。由于在图48A和图48B中所示在fs/2处与所述奇数和偶数场采样数据(图47C和47D)相关的频率成分具有相移,所以其可以包括在fs/2处的大的频率成分。
图49示出了根据所述目标的运动和垂直分辨率的频率成分。从图中可以明显地看出,不管所述的垂直分辨率如何,与所述帧结构信号相关的高频含量都很小。当运动等级和形状变化增加时,所述帧结构信号的高频含量也增加。当包括有大量的高频含量时,若使用所述低通滤波器仅抽取其低频含量并以此对信息组作特征抽取,那么就会降低运动矢量的检测精度。
与本发明有关的文献可参考本申请人于1990年2月17日提交的日本申请:06-043131,以及1994年1月21日的06-022223日本申请和1994年4月19日的06-104707日本申请。相应于上述的三件申请已在美国申请。
本发明的一个目的是提供一种改进的运动矢量检测装置,利用该装置,当同时检测所述帧运动矢量和场运动矢量时,可以减少电路的规模。本发明的另一个目的是提供一种改进的运动矢量检测装置,利用这种装置,可以在减少用于特征抽取的电路规模的同时,可以改善所述运动矢量简单检测的精度。本发明的再一个目的是提供一种利用所述的运动矢量检测装置对所述运动进行补偿的改进的预测编码系统。
根据本发明的一个方面,所述的帧匹配元素被分成所述奇数和偶数场匹配元素,借此以删除用于获得所述奇数和偶数场匹配元素的特征抽取电路,从而减小了电路的规模。
根据本发明的另一方面,由所述场信息组特征抽取装置提供的奇数和偶数场匹配元素被一起合成到帧匹配元素中,从而删除了用于获得所述帧匹配元素的特征抽取电路,从而减少了电路规模。
根据本发明的再一个方面,所述帧信息组特征抽取装置根据构成每一子信息组的和每一集(set)奇数和偶数场像素把所述的帧匹配元素抽取出来作为代表值。因此,可以抽取出与所述帧匹配元素相关的高频含量,从而可以使得当存在有重要运动或形状变化化且所述信号具有一定量的高频含量时,也能令人满意地执行所述的特征抽取。并借此进一步改善与所述帧运动矢量的检测精度。
根据本发明的再一个方面,由于利用在规则间隔处使与所述帧匹配元素相关的垂直方向采样相位相互间隔的方式由所述帧信息组特征抽取装置执行构成所述子信息组的多个像素的加权和所述代表值的计算,所以,可以令人满意地抽取所述的高频含量。
根据本发明的再一个方面,由所述场信息组特征抽取装置所提供的奇数和偶数场匹配元素被一起集合成多个帧匹配元素。因此,可以抽取出与所述多个帧匹配元素相关的高频含量,从而可以使得在存在有重要运动或形状变化且所述信号包括有一定数量高频含量的情况下,令人满意地执行所述的特征抽取。借此,改善了对所述帧运动矢量的检测精度。
根据本发明的再一个方面,所述帧信息组特征抽取装置根据运动信息选择或能够抽取一个高频含量的第一特征抽取或是选择不能够抽取所述高频含量的第二特征抽取,并能执行一个适用于图像移动的特征抽取。
本发明其它的目的和优点通过下面对最佳实施例的详细描述将变得更加明显,参照附图可以获得最佳的理解。
附图简要说明
图1是根据本发明的运动矢量检测装置第一实施例的结构图;
图2是本发明中帧/场匹配元素示意图;
图3是本发明中与所述帧/场匹元素相关的两维频率成分示意图;
图4是根据本发明的一个运动矢量检测装置的第二实施例的结构示意图;
图5是根据本发明的所述帧/场匹配元素示意图;
图6是根据本发明的一个运动矢量检测装置第三实施例的结构方框图;
图7是在本发明中使用整体投影(integral projection)的特征提取(用于帧结构)的示意图;
图8是在本发明中使用整体投影的特征抽取(用于场结构)的示意图;
图9是依据本发明的一个运动矢量检测装置第四实施例的结构方框图;
图10是依据本发明的所述帧/场匹配元素的示意图;
图11是在本发明中与所述帧/场匹配元素相关的两维频率成分示意图;
图12是依据本发明的一个运动矢量检测装置的第五实施例的结构方框图;
图13是依据本发明的所述帧/场匹配元素的示意图;
图14是本发明中的所述帧运动矢量示意图;
图15是本发明中的所述场运动矢量示意图;
图16是本发明中与所述帧结构相关的特征抽取电路示意图;
图17是本发明中与所述场结构相关的特征抽取电路示意图;
图18是本发明中的所述帧/场匹配元素示意图;
图19是本发明中与所述帧/场匹配元素相关的两维频率成分示意图;
图20是本发明中的帧/场匹配元素示意图;
图21是依据本发明一个运动矢量检测装置的第六实施例的结构方框图;
图22是依据本发明一个运动矢量检测装置第七实施例的结构方框图;
图23是本发明中一个特征抽取电路的举例示意图;
图24是本发明中(从垂直角度、一维透视)的一个两维滤波器示意图;
图25是本发明中与所述帧结构相关的信号处理示意图;
图26是本发明中与所述场结构相关的信号处理示意图;
图27是本发明中所述特征抽取电路的一个举例示意图;
图28是依据本发明的一个运动矢量检测装置第八实施例的结构方框图;
图29是本发明中的所述帧匹配元素示意图;
图30是依据本发明的一个运动矢量检测装置第九实施例的结构方框图;
图31是本发明中所述的帧匹配元素示意图;
图32是依据本发明的一个运动矢量检测装置的第十实施例的结构方框图;
图33是本发明中的所述帧匹配元素示意图;
图34是依据本发明的一个运动矢量检测装置第十一实施例的结构方框图;
图35是本发明中所述特征抽取电路的一个举例示意图;
图36是本发明中与所述特征抽取相关的采样相位示意图;
图37是用于对两帧之间的运动进行补偿的一个预测编码系统举例的结构示意图;
图38是本发明中运动矢量的检测示意图;
图39是现有技术中传统帧/场运动矢量检测装置的结构方框图;
图40是现有技术中用于减少电路规模的一种方法(用于帧运动矢量)示意图;
图41是现有技术中用于减少电路规模所采用的一种方法(用于场运动矢量)示意图;
图42是现有技术中特征抽取电路的一个举例示意图;
图43是在现有技术中(当在两帧之间的任一目标既无形状变化又未发生运动时)用于所述合并信号的示意图;
图44是在现有技术中(当在两场之间的任一目标既无形状变化又未发生运动时)用于所述合并信号的频率成分示意图;
图45是在现有技术中(当在两场之间的一个目标未发生形状变化但却发生运动时)的合并信号示意图;
图46是在现有技术中(当在两场之间的一个目标未发生形状变化但却发生运动时)与所述合并信号相关的频率成分示意图;
图47是在现有技术中(当在两场之间的一个目标既有形状变化又有运动变化时)的合并信号示意图;
图48是在现有技术中(当在两场之间的一个目标既发生了形状变化又发生了运动变化的)与所述合并信号相关的频率成分示意图;和
和49是根据所存在的目标运动和在垂直方向分辨率的差别的频率成分示意图。
下面结合图1来描述依据本发明第一最佳实施例的运动矢量检测装置,其中,与图39所示的类似部分使用了相同的标号,并仅讨论二者不同之处。
在该实施例中,所述的帧匹配元素是由特征抽取所确定的,并被划分成场匹配元素。如图2A所示的具有(m×n)个像素的一个帧信息组被分成其中的每一个都具有如图2B所示的(a×b)个像素的多个子信息组,并且将与每一个子信息组相关的相同场中所有像素的集合给出如图2D所示的匹配元素ao和ae,即代表值。例如,如图2C所示,当(2×4)个像素(奇数场像素ao1到ao4和偶数场像素ae1到ae4)构成了一个子信息组时,从ao=ao1+ao2+ao3+ao4,ae=ae1+ae2+ae3+ae4中获得了所述的匹配元素。
如图2D所示,所获得的帧匹配元素被分成多场,从而获得如图2E所示的奇数场匹配元素和如图2F所示的偶数场匹配元素。
在图3A中,阴影区对应于与抽取特征之后的帧匹配元素相关的一两维频率成分,而由虚线所规定的区域则对应于在特征抽取之前的一两维频率成分。从该图中可以很明显地看出,其对于与所述帧匹配元素相关的所述两维频率成分抽取出所述的垂直高频含量。图3B和图3C分别示出了所述奇数和偶数场匹配元素的两维频率成分。
在图1所示的第一实施例中,从所述帧存贮器20中读出的相关于一个规定基准帧信息组的像素信号被提供给一个特征抽取电路21A。在所述特征抽取电路21A中,以图2所示的方式对所述帧匹配元素(图2D)进行特征抽取,并将所述帧匹配元素提供给一匹配电路40FL。
从所述帧存贮器30中读出的相关于一搜索帧信息组的像素信号被提供给一特征抽取电路31A。在所述特征抽取电路31A中,以与所述特征抽取电路21A类似的方式对所述的帧匹配元素(图2D)进行特征抽取,并将之提供给匹配电路40FL。所述的匹配电路40FL和预测电路41FL以与类似于图39所示电路的方式进行操作,并且,所述的预测电路41FL输出与从所述帧存贮器20中读出的基准信息组的数量相对应的帧运动矢量。
从所述特征抽取电路21A输出的所述帧匹配元素被提供给一数据除法电路24,并且用上述图2的方式被分成所述奇数和偶数场匹配元素(图2E和图2F)。从所述数据除法电路24输出的所述奇数和偶数场匹配元素被提供给匹配电路40FO和40FE。
另外,从所述特征抽取电路31A输出的所述帧匹配元素被提供给数据除法电路34,并且以类似于所述数据除法电路24的方式被分成所述奇数和偶数场匹配元素。由所述数据除法电路34输出的所述奇数和偶数场匹配元素被提供给所述的匹配电路40FO和40FE。所述的匹配电路40FO和40FE以及预测电路41FO和41FE以类似于图39所示的方式工作。所述的预测电路41FO和41FE输出与从所述帧存贮器20中读出的基准帧信息组的数量相对应的奇数和偶数场运动矢量。
如上所述,在该实施例中,所述的帧匹配元素被分成多个场匹配元素,借此,删除了用于获得所述场匹配元素的特征抽取电路,由此减少了电路的规模。另外,由于所述的垂直高频含量被抽取出来以作为所述帧匹配元素的两维频率成分(如图3A所示),所以可以令人满意地执行特征抽取,即使是在形状上有重要变化且所述信号包括一定数量高频成分的情况下也可以改善所述帧运动矢量的测量精度。
下面将结合附图4来描述依据本发明的第二最佳实施例的一个运动矢量检测装置。其中,相同的标号用于指定与图39的相同部分,且仅讨论其不同部分。
在该实施例中,利用特征抽取来确定奇数和偶数场匹配元素并将其加以合成以产生所述的帧匹配元素。与图5A所示的每个奇数和偶数场相关并具有(m×n/2)个像素的一场信息组被分成其中的每一个都具有如图5B所示的具有(a×b/2)个像素的多个子信息组,且与每个子信息组相关的所有像素的集合给出匹配元素ao和ae,如图5D所示。
例如,如图2C所示,当(2×2)个像素(ao1到ao4、ae1到ae4)构成与每个奇数和偶数场相关的所述子信息组时,使用ao=ao1+ao2+ao3+ao4和ae=ae1+ae2+ae3+ae4来获得所述的匹配元素。如图2D所示的所获得的奇数和偶数场匹配元素被合成。以产生如图2E所示的帧匹配元素。在这种情况下,与所述奇数和偶数场匹配元素相关的所述两维频率成分对应于图3B和3C中的阴影部分,而在所述特征抽取之前的两维频率成分对应于图3A中由虚线所规定的区域。
在图4所示的第二实施例中,用于所述奇数和偶数场运动矢量的检测系统类似于图39所示的电路。所述的预测电路41FE和41FO输出与基准奇数和偶数场信息组数量相对应的奇数和偶数场运动矢量。从所述特征抽取电路22和23输出的所述奇数和偶数场匹配元素被提供给数据合成电路25,并被加以合成以产生所述的帧匹元素(图5E)。由所述数据合成电路25输出的所述帧匹配元素被提供给一匹配电路40FL。另外,从所述特征抽取电路32和33输出的所述奇数和偶数场匹配元素被提供给数据合成电路35,并被合成以产生帧匹配元素。
所述的帧匹配元素被提供给匹配电路40FL。所述的匹配电路40FL和预测电路41FL以类似于图39所示的方式工作。所述的预测电路41FL输出与从所述帧存贮器20中读出的基准奇数和偶数场的数量相对应的奇数和偶数场运动矢量。
如上所述,在该实施例中,所述的奇数和偶数场匹配元素被合成以产生所述的帧匹配元素,并借此以删除用于获得所述帧匹配元素的特征抽取电路,从而减少了电路的规模。另外,由于抽取所述的垂直高频含量作为所述帧匹配元素的两维频率成分(示于图1),所以,即使是在经向具有形状变化且所述信号包括一定数量高频成分,也能满意地执行特征抽取并改善所述帧运动矢量的测量精度。
下面结合图6来描述依据本发明第三最佳实施例的一个运动矢量检测装置。其中,相同的标号被用于指定与图39所示的相同部分,这里仅讨论其不同之处。
在该实施例中,由所述匹配电路40FO和40FE输出的计算值(在每一个所述基准奇数场信息组被特征抽取的信息组和所述搜索的奇数场信息组之间的每个差值的绝对值或平方)被提供给加法器42,借此将所述值加到一起,并提供给预测电路41FL。在这个例子中,如图4所示,加法器42的输出等于匹配电路40FL的输出。
因此,所述的预测电路41FL以类似于图4所示实施例的方式输出所述的帧运动矢量,这就删除了用于获得所述帧匹配元素的一个特征抽取电路,从而减少了电路规模。
在此,提出了一种沿某些轴具有整体投影的特征抽取。
在与所述帧结构相关的特征抽取中,图7A所示的(m×n)个像素,即沿水平轴方向上的m个像素和沿垂直方向上的n个像素所组成的一个帧信息组被分成多个子信息组,其中的每个子信息组都具有(m×b)个像素(由在水平方向上的m个像素和垂直方向上的b(b<n)个像素构成的一个信息组),还要被分成多个子信息组,其中的每一个子信息组都具有(a×n)个像素(由水平方向上的a(a<m)个像素和垂直方向上的n个像素所构成的一个信息组),如图7B所示。在与每个子信息组相关的相同场中所有像素的集合给出一个代表值。在图7C中,阴影区对应于与抽取特征后帧匹配元素相关的一两维频率成分,而由虚线所规定的区域对应于在特征抽取以前的一两维频率成分。
由于所述的特征抽取使用了整体投影,所以可以减少匹配元素的数量。例如,随然划分成具有(a×b)个像素的多个子信息组提供了(m/a×n/b)个匹配元素,但利用整体投影进行划分提供了(m/a+n/b)个匹配元素。当将图7C和图40C比较时,可以很清楚,即使是在有关图7C中描述的整体投影情况下,利用足够的垂直和水平频率成分,也能够执行特征抽取。这类似于有关帧或场结构的特征抽取。
在与所述帧结构相关的特征抽取中,一个如图7A所示具有(m×n)个像素的帧信息组被分成多个信息组,其中的每一个都具有(m×b)个像素,并被分成多个信息组,其中的每一个都具有(a×n/2)个像素,如图7D所示。与每个子信息组相关的所有像素的集合给出了一个代表值。在图7E中,阴影区对应于特征抽取之后的一两维频率成分,而由虚线所规定的区域对应于特征抽取之前的一两维频率成分。
在与所述帧结构相关的特征抽取中,在如图8A所示的每一奇数和偶数场具有(m×n/2)个像素的一个帧信息组被分成多个子信息组,其中的每一个都具有如图8B所示的(a×n/2)个像素,并被分成多个子信息组,其中的每一个都具有(m×b)个像素。在每个子信息组中所有像素的集合给出了一代表值。在图8C中,阴影区对应于与抽取特征后与帧匹配元素相关的一两维频率成分,而由虚线所规定的区域则对应于在特征抽取之前的一两维频率成分。
下面结合图9来描述根据本发明第四最佳实施例的一个运动矢量检测装置。其中,相同的标号用于指定与图1所示的相同部分,且只讨论其不同之处。
标号21B和31B示出了所述的特征抽取电路,它们相当于图1所示的特征抽取电路21A和31A。所述的特征抽取电路21B和31B使用整体投影执行特征抽取并提供帧匹配元素。
在该实施例中,如图10A所示具有(m×n)个像素的一个帧信息组被分成多个子信息组,其中的每一个都具有如图10B所示的(a×n)个像素,还被分成其中的每一个都具有(n×b)个像素的多个子信息组。在与每一子信息组相关的相同场中的所有像素的集合给出了如图10D所示的多个匹配元素aox、aex、aoy、aey。例如,如图10C所示,当(1×n)个像素(aox1、aox2、aox3、......aex1、aex2、aex3、......)构成了具有(a×n)个像素的所述子信息组时,从aox=aox1+aox2+aox3......,aex=aex1+aex2+axe3......中获得所述的匹配元素。当(m×2)个像素(ao1y、ao2y、ao3y......,ae1y、ae2y、ae3y......)构成了具有(m×2)个像素的一个子信息组时,可以从aoy=ao1y+ao2y+ao3y......,aey=ae1y+ae2y+ax3y......获得所述的匹配元素。
如图10D所示,利用所述的数据除法电路24B和34B由所述的特征抽取电路21B和31B提供的所述帧匹配元素分成多个场,从而可以获得如图10E所示的多个奇数场匹配元素和如图10F所示的多个偶数场匹配元素。
在图11A中,阴影区对应于与特征抽取后帧匹配元素相关的一两维频率成分,而由虚线所规定的区域对应于特征抽取之前的一两维频率成分。从该图中很明显看出,垂直高频含量被抽取出来以用于与所述帧匹配元素相关的所述两维频率成分。图11B和图11C分别示出了与所述奇数和偶数场匹配元素相关的两维频率成分。
由所述特征抽取电路21B和31B提供的所述帧匹配元素被提供给匹配电路40FL。由所述数据除法电路24B和34B提供的所述奇数场匹配元素被提供给匹配电路40FO,同时由所述数据除法电路24B和34B提供的偶数场匹配元素被提供给匹配电路40FE。
由于该实施例中的其它部分与图1所示实施例中相应部分类似,预测电路41FL输出帧运动矢量,预测电路41FO输出奇数场运动矢量,预测电路41FE输出偶数场运动矢量。因此,本实施例具有与图1所示实施例相同的优点,并且由于特征抽取使用了整体投影,所以能进一步减少电路的规模。
下面结合图12来描述依据本发明第五最佳实施例的一个运动矢量检测装置。其中,相同的标号用于指定与图4所示相同部分,仅讨论其不同之处。
标号22B、23B、32B和33B表示分别与图4的特征抽取电路22、23、32和33相对应的特征抽取电路。所述的特征抽取电路22B、23B、32B和33B使用整体投影执行特征抽取以便提供奇数和偶数场匹配元素。
图13A示出了与每个奇数或偶数场相关的具有(m×n/2)个像素的一个场信息组。该场信息组被分成其中的每一个都具有如图13B所示的(a×n/2)个像素的多个子信息组和其中的每一个都具有(m×b/2)个像素的多个子信息组。与每个子信息组相关的所有像素的集合给出了如图13D所示的匹配元素aox、aoy、aex和aey。例如,如图13C所示,当(1×n/2)个像素(aox1、aox2、aox3、......)和(m×1)个像素(ao1y、ao2y、ao3y、......)构成了与所述奇数场相关的所述子信息组时,从aox=aox1+aox2+aox3+......aoy=ao1y+ao2y+ao3y+......获得所述的匹配元素。类似的,当(1×n/2)个像素(aox1、aox2、aox3、......)和(m×1)个像素ae1y、ao2y、ae3y、......)构成与所述偶数场相关的所述子信息组时,从aex=aex1+aex2+aex3+......,aey=ae1y+ae2y+ax3y+......)可以获得所述的匹配元素。
利用数据合成电路25B和35B对由所述特征抽取电路22B、23B、32B和33B提供的所述奇数和偶数场匹配元素进行合成如图13D所示从而产生如图13E所示的帧匹配元素。在这种情况下,与所述奇数和偶数场匹配元素相关的所述两维频率成分对应于图11B和11C中的阴影区域,并且在所述特征抽取之前的所述两维频率成分对应于在图11A中用虚线所规定的区域。
由所述数据合成电路25B和35B提供的所述帧匹配元素被提供给一匹配电路40FL。由所述特征抽取电路22B和32B提供的所述奇数场匹配元素被提供给匹配电路40FO,同时,由所述特征抽取电路23B和33B提供的偶数场匹配元素被提供给匹配电路40FE。
由于本实施例的其它部分类似于图4所示实施例的相应部分,所以,预测电路41FL输出帧运动矢量,预测电路41FO输出奇数场运动矢量,而预测电路41FE输出偶数场运动矢量。本实施例具有与图4所示实施例同样的优点,并且由于特征抽取使用了整体投影,所以能够进一步减少电路的规模。
虽然图9所示的第四实施例和图12所示的第五实施例分别与图1所示的第一实施例和图4所示的第二实施例相对应,但与所述第五实施例类似,图6所示的第三实施例可以用所述的特征抽取电路22B、23B、32B和33B而不是用所述的特征抽取电路22、23、32和33构成。
下面将更具体地描述这些实施例。图14示出了在所述帧结构中的基准和搜索信息组以及所述搜索信息组的范围。所述帧信息组具有(4×4)个像素。在具有像素R1到R16的所述基准信息组和位于具有像素S1到S49的搜索信息组范围内的搜索信息组的16种模式之间执行匹配处理,所述最佳匹配搜索信息组的位置被确定为所述帧运动矢量。
图15示出了在所述场结构中,与所述奇数和偶数场相关的基准信息组和搜索信息组。所述的场信息组具有(4×2)个像素。在具有奇数场像素R1,R3,R11,R15的所述基准信息组和位于具有像素S1到S48的搜索信息组范围内搜索信息组的16种模式之间执行所述的匹配处理,并且最佳匹配搜索信息组的位置被确定为所述奇数场矢量。在具有偶数场像素R2,R4,......R12,R16的所述基准信息组和位于具有像素S2到S49的所述搜索信息组范围内搜索信息组的16种模式之间执行匹配处理,且最佳匹配搜索信息组的位置被确定为偶数场矢量。
当所述奇数场的运动矢量是MVo(X,Y)和所述偶数场的运动矢量为MVe(X,Y)时,在所述场搜索信息组内那个位置处的像素等于在所述帧搜索信息组内所述帧运动矢量MV(X,2Y)位置处的像素。因此,只要保持这种关系,就可以利用由所述场特征抽取提供的匹配元素产生帧匹配元素。
从图14和图15可以清楚地看出,必须针对16个搜索帧信息组执行与所述基准帧信息组相关的匹配处理,并必须针对与每个奇数和偶数场相关的所述搜索场信息组16种模式执行与所述基准场信息组相关的匹配处理。通常需要在16个时钟内执行这些匹配处理,所述匹配处理的数量等于基准信息组中像素的数量。因此,必须在一个时钟内处理一个搜索信息组,并且具有一个奇数场一个偶数场的一个帧必须被同时处理。
在一个分别提供帧和场匹配元素的实施例中,以如下所述的方式执行与所述帧和场结构相关的特征抽取。在与所述帧结构相关的特征抽取中,如图16A所示具有(4×4)个像素的一个帧信息组被分成其中的每一个都具有(1×4)个像素的多个子信息组和其中的每一个都具有(4×1)个像素的多个子信息组,如图16B所示,且在每个子信息组中所有像素的集合给出一个如图16C所示的帧匹配元素。在图16D中,阴影区对应于与抽取特征后帧匹配元素相关的一两维频率成分,而由虚线所规定的区域对应于在特征抽取之前的一两维频率成分。
在与场结构相关的特征抽取中,在如图17A所示的每个奇数或偶数场中具有(4×2)个像素的一个帧信息组被分成其中的每一个都具有(1×2)个像素的多个子信息组和其中的每一个都具有(4×1)个像素的多个子信息组,如图17B所示。在每个子信息组中所有像素的集合给出所述奇数和偶数场的帧匹配元素,如图17C所示。在图17C中,阴影区对应于与抽取特征后帧匹配元素相关的一两维频率成分,而由虚线所规定的区域则对应于特征抽取之前的一两维频率成分。
在图9所示的第四实施例中以如下所述的方式执行特征抽取,借此由特征抽取来产生所述的帧匹配元素,并通过对所述帧匹配元素进行划分而产生所述的场匹配元素。在这个实施例中,如图18A所示具有(4×4)个像素的一个帧信息组被分成其中的每一个都具有(1×4)个像素的多个子信息组和其中的每一个都具有(4×1)个像素的多个子信息组,如图18B所示。将与每一子信息组相关的同一场内的所有像素的集合给出所述匹配元素aox、aex、aoy、aey,如图18D所示。
例如,如图18C所示,当多个像素(aox1、aox2、aex1、aex2)构成了一个具有(1×4)个像素的子信息组时,从aox=aox1+aox2、aex=aex1+aex2获得所述的匹配元素。当多个像素(ao1y、ao2y、ao3y、ao4y)或(ae1y、ae2y、ae3y、ae4y)构成了一个具有(4×1)个像素的子信息组时,从aoy=ao1y+ao2y+ao3y+ao4y,aey=ae1y+ae2y+ae3y+ae4y获得所述的匹配元素,如图18C所示。
对如图18D所示的帧匹配元素进行划分,从而获得如图18E所示的奇数场匹配元素和如图18F所示的偶数场匹配元素。
在图19A中,阴影区对应于与抽取特征后帧匹配元素相关的一两维频率成分,而由虚线所规定的区域对应于在特征抽取之前的一两维频率成分。从该图可以明显地看出,抽取垂直高频含量用于与所述帧匹配元素相关的所述两维频率成分。图19B和19C分别示出了与所述奇数和偶数场匹配元素相关的两维频率成分。
在图12所示的第五实施例中以如下所述的方式执行特征抽取,借此,利用特征抽取来产生所述奇数和偶数场匹配元素,并通过合成所述的奇数和偶数场匹配元素来产生所述的帧匹配元素。
在本实施例中,在如图20A所示的每一个奇数或偶数场内具有(4×2)个像素的一个帧信息组被分成其中的每一个都具有(1×2)个像素的多个子信息组和其中的每一个都具有(4×1)个像素的多个子信息组,如图20B所示。与每一个子信息组相关的所有像素的集合给出了如图20D所示的匹配元素aox、aex、aoy和aey。例如,如图20C所示,当多个像素(aox1、aox2)和(ao1y、ao2y、ao3y、ae4y)构成了一个与所述奇数场相关的子信息组时,根据aox=aox1+aox2、aoy=ao1y+ao2y+ao3y+ao4y)获得所述的匹配元素。类似地,当多个像素(aex1、aex2)和(ae1y、ae2y、ae3y、ae4y)构成了一个与所述偶数场相关的子信息组时,根据aex=aex1+aex2、aey=ae1y+ae2y+ae3y+ae4y)获得所述的匹配元素。
将如图20D所示的奇数和偶数场匹配元素加以合成,从而产生如图20E所示的帧匹配元素。在这种情况下,与所述奇数和偶数场匹配元素相关的所述两维频率成分对应于图19B和19C中的阴影部分,而在特征抽取之前的所述两维频率成分对应于图19A中由虚线所规定的区域。
图21示出了依据本发明的所述运动矢量检测装置第六最佳实施例的结构。利用该实施例,一个场信息组具有(4×2)个像素,通过使用整体投影的特征抽取可以获得奇数和偶数场匹配元素,并通过将这些匹配元素加以合成而产生所述的帧匹配元素(如图20所示)。
在图21中,所述的基准奇数场信息组(如图20A所示)被提供给特征抽取电路61Vo和61ho,所述的基准偶数场信息组(示于图20A)被提供给特征抽取电路61Ve和61he。所述的特征抽取电路61Vo使用垂直整体投影来计算所述奇数场匹配元素aox(示于图20D),该匹配元素aox被存贮在寄存器62Vo中。
所述的特征抽取电路61ho使用水平整体投影来计算所述奇数场匹配元素aoy(示于图20D),该匹配元素aoy被存贮于寄存器62ho中。所述的特征抽取电路61Ve使用垂直整体投影来计算偶数场匹配元素aex(图20D),该匹配元素aex存贮于寄存器62Ve中,所述的特征抽取电路61he使用水平整体投影来计算偶数场匹配元素aey(图20D),该匹配元素aey存贮于寄存器62he中。
所述的搜索奇数场信息组(示于图20A)被提供给特征抽取电路63Vo和63ho,且搜索偶数场信息组(图20A)被提供给特征抽取电路63Ve和63he。所述的特征抽取电路63Vo使用垂直整体投影来计算所述奇数场匹配元素aox(图20D),该匹配元素aox被存贮在寄存器63Vo中。
所述的特征抽取电路63ho使用水平整体投影来计算所述奇数场匹配元素aoy(图20D),该匹配元素aoy存贮在寄存器64ho中。所述的特征抽取电路63Ve使用垂直整体投影来计算所述偶数场匹配元素aex(图20D),该匹配元素aex存贮在寄存器64Ve中。所述的特征抽取电路63he使用水平整体投影来计算偶数场匹配元素aey(图20D),该匹配元素存贮在寄存器64he中。
根据每个搜索场信息组,存贮在寄存器62Vo和64Vo中的所述奇数场匹配元素aox被提供给匹配电路65Vo,并在这里执行匹配处理。特别是,减法器65a计算存贮于寄存器62Vo和64Vo中每集四个匹配元素aox之间的差值,绝对值电路65b提取所述差值的绝对值,加法器65c用于加上所述差值的绝对值。存贮于寄存器62Ve和64Ve中的偶数场匹配元素aex根据每个搜索场信息组被提供给匹配电路65Ve,并以与如上所述的匹配电路65Vo相类似的方式执行匹配操作。
存贮于所述寄存器62ho和64ho中的奇数场匹配元素aoy根据每一个搜索场信息组被提供给匹配电路65ho,并在这里执行匹配处理。特别是,减法器65d计算存贮于寄存器62ho和64ho中每集四个匹配元素aoy之间的差值,绝对值电路65e取其差值的绝对值,而加法器65f加上其差值的绝对值。根据每一个搜索场信息组,存贮在寄存器62he和64he中的偶数场匹配元素aey被提供给匹配电路65he,并在这里以与上述匹配电路65ho相类似的方式执行匹配处理。
根据每一个搜索场信息组由匹配电路65Vo和65ho所提供的信号通过加法器被与66FO一起相加,相加后的信号被作为一个预测值而提供给最小值检测器67FO。所述最小值检测器67FO输出所述搜索场信息组的一个位置,该位置对应于与图15所示搜索场信息组(奇数)16种模式相关的预测值中的最小值,该最小值位置是所述的奇数场运动矢量MVo(X,Y)。
通过加法器66FE将根据每一个搜索场信息组由所述匹配电路65Ve和65he提供的信号一起相加,相加后的信号作为一个预测值提供给最小值检测器67FE。所述最小值检测器67FE输出所述搜索场信息组的一个位置,该位置对应于与图15所示搜索场信息组(偶数)16种模式相关的预测值中的最小值,该最小值位置是所述偶数场运动矢量MVe(X,Y)。
利用所述匹配电路71中的加法器71a,将由所述匹配电路65Vo和65Ve中的减法器65a所提供的一集四个差值信号一起相加,并利用绝对值电路71b对相加后的信号取绝对值,并利用加法器71c将所述的绝对值信号加在一起。从所述匹配电路71输出的信号被提供给加法器72。
利用加法器73将从匹配电路65ho和65he输出的信号一起相加,且相加后的信号被提供给加法器72。从所述加法器72输出的信号作为一个预测值提供给一个最小值检测器67FL,该最小值检测器67FL输出所述搜索场信息组的一个位置,该位置对应于与在图14中所述搜索场信息组16种模式相关的预测值的最小值,该最小值位置就是所述的帧运动矢量MV(X,Y)。
所述实施例可以根据用于产生所述奇数和偶数场匹配元素的所述特征抽取电路来构成。借此,删除了用于获得所述帧匹配元素的一个特征抽取电路,并减少了电路的规模,这与其它实施例的方式相类似。
下面结合图22来描述依据本发明的第七最佳实施例的一个运动矢量检测装置。其中,相同的标号用于指出与图21类似的部分,且仅讨论其不同之处。
在该实施例中,由所述加法器66FO和66FE提供的输出信号,即与奇数和偶数场相关的预测值通过加法器74相加在一起,并且相加之后的信号作为一个预测值被提供给最小值检测器67FL。所述最小值检测器67FL输出一个帧运动矢量MV(X,Y)。其它的部分以类似于第六实施例的方式构成,该实施例省略了图21所示的第六实施例中的匹配电路71,借此减少了电路的规模。
在传统的帧特征抽取电路中,例如,当(m×n)个像素数据被转换成如图42A所示的(m/2×n/2)个数据时,使用如图42B所示的两维滤波器(LPF),并对图42C所示的黑色(black)部分进行二次采样。在这种结构中,当由于在两场之间的一个目标发生形状变化和运动从而使得所述信号包含有大量垂直高频含量时,就不能令人满意地执行特征抽取。根据下面描述的结构,可以将所述垂直高频率成分抽取出来,从而改善与信息组相关的特征抽取。
在这个例子中,当构成一个帧信息组的(m×n)个像素数据被转换成(m/2×n/2)个数据(代表值)时,示于图23A的(m×n)个像素数据通过图23B所示的一两维滤波器(LPF)并被转换成图23C所示的数据。此后,对所述数据的黑色部分进行二次采样,以获得如图23D所示的(m/2×n/2)个数据。图23B所示两维滤波器,其中Z-1表示一个像素延迟,Z-L表示与所述帧结构相关的一行延迟。在图23E中,阴影区对应于特征抽取之后的一两维频率成分,而由虚线所规定的区域对应于在特征抽取之前的一两维频率成分。
如上所述,由于如图23B所示使用了具有两个垂直行延迟的两维滤波器(LPF)和要对图23C所示的黑色部分进行二次采样,所以,可以把所述垂直高频含量抽取出来作为与图23E所示的帧匹配元素相关的两维频率成分。因此,即便存在有形状方面的重要变化且所述信号包括一定数量的高频率成分,也能够令人满意地执行特征抽取并改善所述帧运动矢量的检测精度。
从垂直的一维观点来看,图23B体所示的两维滤波器可以用图24示意。利用符号“●”表示奇数场数据,用“×”表示偶数场数据,图25A示出了从所述帧结构数据中在垂直采样间隔处采样的数据。图25B示出了垂直频率成分,fs表示与所述帧结构相关的垂直采样频率。
图25C示出了刚刚通过图24所示滤波器之后的数据,符号“○”表示奇数场数据,符号“△”表示偶数场数据。图25D示出了垂直频率成分。图25D中的虚线表示了示于图25D的一个理想的垂直频率特性,从图25D可以很明显地看出,所述的信号成分保留在fs/2处。对图25C所示的奇数和偶数场数据进行二次采样,以产生如图25E和25G所示的数据,所述的各频率成分示于图25F和25H。
在图26中,符号“●”表示与所述场结构相关的奇数场数据,图26B示出了所述的垂直频率成分。在图26C中,符号“○”表示刚刚通过图24所示的滤波器之后的数据,图26D示出了所述垂直频率成分。在图26E中,符号“×”表示与所述场结构相关的偶数场数据,图26F示出了所述的垂直频率成分。在图26G中,符号“△”表示在刚刚通过图24所示滤波器之后的数据,图26H表示所述的垂直频率成分。
图25F和图25H所述的频率成分等于图26D和图26H所示的频率成分。换言之,通过把所述奇数和偶数场数据合并成所述的帧结构并通过利用所述滤波器对合并后的数据进行二次采样所获得的数据等于与所述场结构相关并已通过所述滤波器的数据。因此,当所述的场结构奇数和偶数场数据通过所述滤波器并彼此合并时,所提供的数据等于通过所述滤波器的所述帧结构数据。
因此,如图27所示与所述帧信号相关的特征抽取提供了图23所述类似的优点。在这个实施例中,在每个奇数或偶数场信息组中如图27A所示的(m×n/2)个像素数据通过图27B所示的一两维滤波器(LPF),并被转换成如图27C所示的数据。此后,所述数据的黑色部分被二次采样,以获得与如图27D所示的每个奇数或偶数场相关的(M/2×n/4)数据。如图27E所示,所述奇数和偶数场数据被合并成(M/2×n/2)数据。在图27F中,阴影区对应于特征抽取之后的所述两维频率成分,该两维频率成分等于图23E所示的两维频率成分。
下面结合图28来描述依据本发明第八最佳实施例的一个运动矢量检测装置,其中,相同的标号用于指定与图39所示的相同部分,并仅讨论其不同之处。
在该实施例中,由通过如图23所示的特征抽取所获得的帧匹配元素提供帧运动矢量。在图29A中示出具有(m×n)个像素的所述帧信息组被分成其中的每一个都如图29B所示的具有(a×b)个像素的多个子信息组,并且在与每个子信息组相关的相同场中所有像素的集合给出所述的匹配元素ao和ae,各值如图29D所示。例如,如图29C所示,当(2×4)个像素(奇数场像素ao1到ao4和偶数场像素ae1到ae4)构成所述子信息组时,根据ao=ao1+ao2+ao3+ao4,ae=ae1+ae2+ae3+ae4可获得所述的匹配元素。在图29E中,阴影区表示在特征抽取之后的所述帧匹配元素的一两维频率成分,而由虚线所规定的区域则对应于在特征抽取之前的一两维频率成分。
虽然可以利用所述的两维低通滤波器和有关图23所描述的二次采样处理来执行把所述的信息组分成多个具有(a×b)个像素的多个子信息组以及把在与每个信息组相关的相同场中的所有像素集合起来的处理,但是必须计算所述的采样值而不是二次采样部分,借此以使所述处理无效。这类似于以下描述的实施例。
在图28所示的第八实施例中,与从所述帧存贮器20中读出的规定基准帧信息组相关的一个像素信号被提供给特征抽取电路21C。在所述的特征抽取电路21C内,以图29所述的方式对所述的帧匹配元素(图29D)进行特征抽取,并将其提供给一匹配电路40FL。
与从帧存贮器30读出的一搜索帧信息组相关的一像素信号被提供给特征抽取电路31C。在所述的特征抽取电路31C中,以类似于特征抽取电路21C的方式对所述的帧匹配元素进行特征抽取,并提供给匹配电路40FL。所述的匹配电路40FL和预测电路41FL以类似于在图39中所述方式工作。所述的预测电路41FL输出与从所述帧存贮器20中读出的基准信息组数量相对应的帧运动矢量。
下面结合图30来描述依据本发明的第九最佳实施例的一个运动矢量检测装置。在图28中,相同的标号用于指定与图39相同的部分且只讨论其不同之处。
在该实施例中,根据利用结合图27所示的特征抽取获得的帧匹配元素提供帧运动矢量。如图31A所示的与每个奇数和偶数场相关的具有(m×n/2)个像素的一个场信息组被分成其中的每一个都如图31B所示具有(a×b/2)个像素的多个子信息组,且与每个子信息组相关的所有像素的集合给出如图31D所示的匹配元素ao和ae。例如,如图31C所示,当(2×2)个像素(ao1到ao4或ae1到ae4)构成了所述与每个奇数或偶数场相关的子信息组时,根据ao=ao1+ao2+ao3+ao4,ae=ae1+ae2+ae3+ae4获得所述的匹配元素。示于图31D中所获得的奇数和偶数场匹配元素被合成到一起,以产生图31E所示的帧匹配元素。在图31F中,阴影区对应于特征抽取之后的一两维频率成分,该成分等于图29所示的相应成分。
在图30所示的第九实施例中,与从所述帧存贮器20中读出的规定基准奇数和偶数场信息组相关的信号被提供给特征抽取电路22C和23C。所述的特征抽取电路22C和23C如图31所示执行特征抽取并提供奇数和偶数场数据(图31D)。所述的奇数和偶数场数据被提供给数据合成电路25C并被加以合成,以产生将被提供给匹配电路40FL的帧匹配元素(图31E)。
另外,与从所述帧存贮器30中读出的所述搜索场信息组相关的信号被提供给特征抽取电路32C和33C。所述的特征抽取电路32C和33C以与所述特征抽取电路22C和23C类似的方式执行特征抽取并提供所述的奇数和偶数场数据。所述的奇数和偶数场数据被提供给数据合成电路35C,并被合成,以产生将要被提供给匹配电路40FL的所述帧匹配元素。所述的匹配电路40FL和预测电路41FL以类似于图39所示的方式工作。所述的预测电路41FL输出奇数和偶数场运动矢量,这些矢量与从所述帧存贮器20中读出的所述基准奇数和偶数场信息组的数量相对应。
下面结合图32描述依据本发明第十实施例的一个运动矢量检测装置,其中相同的标号用于指定与图28所示的相同部分,且仅讨论其不同之处。
当在多个场中存在运动时,合并后的帧结构信号可以包括如图49所示的高频含量。在该实施例中,检测两个场之间的运动等级,并根据这种运动等级改变特征抽取的方法。当存在有重要运动时,执行仅抽取垂直频率成分的特征抽取。
在图32所示的第十实施例中,与从帧存贮器20读出的一个规定基准帧信息组相关的一个像素信号被提供给一个场运动检测电路81。所述场运动检测电路81检测构成一个帧的奇数和偶数场之间的关系。当在它们之间存在有差别时,其确定在所述场之间有大量的运动。可以在被检测了运动矢量的每一信息组中检测两个场之间的关系,或者对每个帧变换检测以检测与一个帧相关的关系。当所述的检测在一个信息组基础上被转换时,延时电路82和83(下面将要描述)仅对一个信息组执行延时,而当所述检测在一个帧基础上转换时,所述的延时电路82和83必须针对一个帧执行延时。
与从所述帧存贮器20中读出的一个规定基准帧信息组相关的像素信号被通过如上所述的延时电路82,以根据由所述运动检测电路81引起的延时调节所述信号的定时,所述的像素信号还被提供给特征抽取电路21D。所述特征抽取电路21D根据由所述运动检测电路81所提供的检测信号改变特征抽取方法。当它通过所述运动检测电路81D确定存在有重要运动时,执行结合图29所描述的特征抽取,从而抽取一个垂直高频含量。
另一方面,当其利用运动检测电路81确定只存在有很小的运动时,则执行下述的特征抽取。如图33A所示具有(m×n)个像素的一个帧信息组被分成其中的每一个都具有如图33b所示(a×b)个像素的多个子信息组,且与每个子信息组相关的相同场中所有像素的集合给出了如图33D所示的匹配元素aoe。
例如,图33C所示,当(2×2)个像素(奇数场像素ao1和ao2和偶数场像素ae1和ae2)构成了所述子信息组时,根据aoe=ao1+ao2+ae1+ae2获得所述匹配元素。在图33E中,阴影区对应于特征抽取后所述帧匹配元素的一两维频率成分,并且未抽取出垂直高电平成分。在这个例子中,所述匹配元素的数量减少了,且计算也变得容易执行。
参看图32,由所述特征抽取电路21D输出的所述帧匹配元素被提供给匹配电路40FL。与从帧存贮器30中读出的搜索帧信息组相关的一个像素信号被通过延时电路83,以根据由运动检测电路81所引起的延时来调节信号的定时,并被提供给特征抽取电路31D。所述特征抽取电路31D类似于所述特征抽取电路21D的方式执行特征抽取,并提供将被传送到所述匹配电路40FL的所述帧匹配元素。所述匹配电路40FL和预测电路41FL以类似于参考图28所示的方式工作。所述预测电路41FL输出帧运动矢量,这些帧运动矢量分别与从所述帧存贮器20中读出的基准奇数和偶数场信息组的数量相对应。
下面结合图34来描述依据本发明第十一最佳实施例的一个运动矢量检测装置,其中相同的标号用于指定与图32所示的相同部分,且仅讨论其不同之处。
在该实施例中,由所述预测电路41FL输出的所述帧运动矢量被存贮在运动矢量存贮器84中。当利用所述特征抽取电路21D和31D对当前帧中一个规定信息组进行处理时,从所述存贮器84中读出的规定信息组中与在前的一个帧相关的运动矢量被提供给运动区域预测电路85,借此,预测当前帧中的运动。所述特征抽取电路21D和31D根据由所述运动区域预测电路85输出的预测来改变特征抽取方法。例如,当预测一个重要运动时,执行图29所述的特征抽取,而当预测一个小运动时,执行图33所述的特征抽取。其它电路以类似于图32所示的实施例的方式构成。
在所述与帧信息组相关的像素信号通过图23B所示的两维滤波器并且利用图23C所示的黑色部分进行二次采样的该实施例中,从所述黑色部分的位置可以很明显地看出,所采样的相位没有在规则的间隔处被垂直定位。因此,与图23E所示的阴影区相关的频率成分不能被令人满意地被提取出来。这个问题可以通过下述的特征抽取加以解决。
在所述例子中,如图35A所示的具有(m×n/2)个像素的所述奇数和偶数场信息组数据中的每一个都通过图35B所示的各自两维滤波器(LPF)并被转换成如图35C所示的数据。此后,所述数据的黑色部分被二次采样,且产生与图35D所示的每一个奇数或偶数场相关的(m/2×n/4)场数据。在图35F中,阴影区对应于在特征抽取之后的一个两维频率部分。
图36示出了利用图35所述的方法在特征抽取之后的规则间隔处定位的采样相位。符号“○”表示与奇数场信息组相关的采样相位,由于符号“□”表示根据行的一系数比在通过所述两维滤波器后的采样相位,所以,符号“□′”表示二次采样后的采样相位,符号“×”表示与偶数场信息组相关的采样相位,由于符号“△”表示根据行的系数比在通过两维滤波器之后的采样相位,所以,符号“△′”表示二次采样后的采样相位。因此,与所述合并数据(帧匹配元素)相关的采样相位被定位在规则的间隔处。
虽然图35所示举例被用于这样一个实施例中即在该实施例中,与所述帧信息组相关的像素信号通过所述两维滤波器,并被二次采样和进行特征抽取,但其也可以应用于这样一个实施例中,在该实施例中,执行多个子信息组的划分并执行在每个子信息组中所有像素的集合,如图31所示。在图31所示的情况下,当所述像素被分成多个子信息组时,根据ao=(ao1+ao2)/4+3(ao3+ao4),ae=3(ae1+ae2)/4+(ae3+ae4)/4来获得所述奇数场数据ao和偶数场数据ae。
虽然没有详细叙述,但如图23和图29所示根据所述帧信息组产生帧匹配元素的实施例中,当在获得所述奇数和偶数场数据或与每个像素的附加计算相关的因数发生变化时,所述的两维滤波器就要被转换,从而使得所述采样相位被垂直定位于规则间隔处。
显然,本领域技术人员依据上述详细说明的本发明的优选实施例,可以作出各种变化,因此本发明的范围,应以本发明的权利要求所确定。
Claims (20)
1、一种矢量检测装置,包括:
基准帧信息组特征抽取装置,用于将一个基准帧信息组分成多个子信息组,并用于确定与一个帧匹配元素有关的值,该值表示构成所述多个子信息组中每一个的多个象素;
搜索帧信息组特征抽取装置,用于将一个搜索帧信息组分成多个子信息组,并用于确定与一个帧匹配元素相关的值,该值表示构成所述多个子信息组中每一个的多个像素;
帧运动矢量产生装置,用于根据由所述基准帧信息组特征抽取装置和所述搜索帧信息组特征抽取装置提供的所述帧匹配元素,产生一个帧运动矢量,以搜索一个与所述基准帧信息组最佳匹配的搜索帧信息组;
第一数据除法装置,用于把由所述基准帧信息组特征抽取装置提供的所述帧匹配元素分成奇数场匹配元素和偶数场匹配元素;
第二数据除法装置,用于把由所述搜索帧信息组特征抽取装置提供的所述帧匹配元素分成奇数场匹配元素和偶数场匹配元素;
奇数场运动矢量产生装置,用于根据由所述第一和第二数据除法装置所提供的所述奇数场匹配元素产生一个奇数场运动矢量,以搜索一个与所述基准奇数场信息组最佳匹配的搜索奇数场信息组;和
偶数场运动矢量产生装置,用于根据由所述第一和第二数据除法装置所提供的所述偶数场匹配元素产生一个偶数场运动矢量,以搜索一个与所述基准偶数场信息组最佳匹配的搜索偶数场信息组。
2、根据权利要求1所述的矢量检测装置,其中,所述的基准帧信息组特征抽取装置和所述的搜索帧信息组特征抽取装置确定表示构成每一个所述子信息组的多个奇数和偶数场像素中每一个的值。
3、根据权利要求2所述的矢量检测装置,其中,当所述多个帧信息组中的每一个在沿水平轴方向上具有m个像素并在沿垂直轴方向上有n个像素时,所述的基准帧信息组特征抽取装置和所述的搜索帧信息组特征抽取装置相继地形成在沿水平轴方向上具有m个像素、在沿垂直轴方向上具有b(b<n)个像素的所述多个子信息组和在沿水平轴方向上具有a(a<m)个像素,在垂直轴上具有n个像素的所述多个子信息组。
4、一种运动矢量检测装置,包括:
基准奇数场信息组特征抽取装置,用于将一个基准奇数场信息组分成多个子信息组,并用于确定与一个奇数场匹配元素相关的值,该值表示构成所述多个子信息组中每一个的像素;
搜索奇数场信息组特征抽取装置,用于将一个搜索奇数场信息组分成多个子信息组,并用于确定一个与奇偶数场匹配元素相关的值,该值表示构成所述多个子信息组中每一个的像素;
奇数场运动矢量产生装置,用于根据由所述基准奇数场信息组特征抽取装置和所述的搜索奇数场信息组特征抽取装置提供的所述奇数场匹配元素产生一个奇数场运动矢量,以搜索一个与所述基准奇数场信息组最佳匹配的搜索奇数场信息组;
基准偶数场信息组特征抽取装置,用于将一个基准偶数场信息组分成多个子信息组,并用于确定一个与偶数场匹配元素相关的值,该值表示构成所述多个子信息组中每一个的像素;
搜索偶数场信息组特征抽取装置,用于将一个搜索偶数场信息组分成多个子信息组,并用于确定与一个偶数场匹配元素相关的值,该值表示构成所述多个子信息组中每一个的像素;
偶数场运动矢量产生装置,用于根据由所述基准偶数场信息组特征抽取装置和所述搜索偶数场信息组特征抽取装置提供的所述偶数场匹配元素产生一个偶数场运动矢量,以搜索一个与所述基准偶数场信息组最佳匹配的搜索偶数场信息组;
第一数据合成装置,用于将由所述基准奇数场信息组特征抽取装置和所述基准偶数场信息组特征抽取装置提供的所述奇数场匹配元素和偶数场匹配元素合成为帧匹配元素;
第二数据合成装置,用于将由所述搜索奇数场信息组特征抽取装置和所述搜索偶数场信息组特征抽取装置提供的所述奇数场匹配元素和偶数场匹配元素合成为帧匹配元素;和
帧运动矢量产生装置,用于根据由所述第一和第二数据合成装置提供的所述帧匹配元素产生一个帧运动矢量,以搜索一个与所述基准帧信息组最佳匹配的搜索帧信息组。
5、根据权利要求4所述的运动矢量检测装置,其中,当所述多个场信息组中的每一个在沿水平轴方向上具有m个像素而在沿垂直轴方向上具有n/2个像素时,所述的基准奇数场信息组特征抽取装置、所述的基准偶数场信息组特征抽取装置、所述的搜索奇数场信息组特征抽取装置和所述的搜索偶数场信息组特征抽取装置相继形成在沿水平轴方向上具有m个像素、在沿垂直轴上具有b(b<n/2)个像素的所述多个子信息组,和在沿水平轴方向上具有a(a<m)个像素,在沿垂直轴上具有n/2个像素的所述多个子信息组。
6、一种运动矢量检测装置,包括:
基准帧信息组特征抽取装置,用于将一个基准帧信息组实际地分成多个子信息组,并用于确定与一个帧匹配元素相关的值,该值表示构成所述多个子信息组中每一个的像素;
搜索帧信息组特征抽取装置,用于将一个搜索帧信息组实际地分成多个子信息组,并用于确定与一个帧匹配元素相关的值,该值表示构成所述多个子信息组中每一个的像素;
帧运动矢量产生装置,用于根据由所述基准帧信息组特征抽取装置和所述搜索帧信息组特征抽取装置提供的所述帧匹配元素产生一个帧运动矢量,以搜索一个与所述基准帧信息组最佳匹配的搜索帧信息组;和
控制装置,用于控制所述的基准帧信息组特征抽取装置和所述的搜索帧信息组特征抽取装置去确定表示构成每一子信息组的奇数和偶数场像素的所述值。
7、根据权利要求6所述的运动矢量检测装置,其中,所述的基准帧信息组特征抽取装置和所述的搜索帧信息组特征抽取装置加权构成子信息组中的每一个的奇数场像素和偶数场像素并计算所述的表示值,以便在规则的间隔处对所述帧匹配元素垂直采样相位。
8、一种运动矢量检测装置,包括:
基准奇数场信息组特征抽取装置,用于将一个基准奇数场信息组实际地分成多个子信息组,并用于确定与一个奇数场匹配元素相关的值,该值表示构成所述多个子信息组中每一个的像素;
基准偶数场信息组特征抽取装置,用于将一个基准偶数场信息组实际地分成多个子信息组,并用于确定与一个偶数场匹配元素相关的值,该值表示构成所述多个子信息组中每一个的像素;
第一数据合成装置,用于将由所述基准奇数场信息组特征抽取装置和所述基准偶数场信息组特征抽取装置提供的所述奇数场匹配元素和偶数场匹配元素合成为帧匹配元素;
搜索奇数场信息组特征抽取装置,用于将一个搜索奇数场信息组实际地分成多个子信息组,并用于确定与一个奇数场匹配元素相关的值,该值表示构成所述多个子信息组中每一个的像素;
搜索偶数场信息组特征抽取装置,用于将一个搜索偶数场信息组实际地分成多个子信息组,并用于确定与一个偶数场匹配元素相关的值,该值表示构成所述多个子信息组中每一个的像素;
第二数据合成装置,用于将由所述搜索奇数场信息组特征抽取装置和所述搜索偶数场信息组特征抽取装置提供的所述奇数场匹配元素和偶数场匹配元素合成为帧匹配元素;和
帧运动矢量产生装置,用于根据由所述第一和第二数据合成装置提供的所述帧匹配元素产生一个帧运动矢量,以搜索一个与所述基准帧信息组最佳匹配搜索帧信息组。
9、根据权利要求8所述的运动矢量检测装置,其中,所述的基准奇数场信息组特征抽取装置、所述的基准偶数场信息组特征抽取装置、所述的搜索奇数场信息组特征抽取装置以及所述的搜索偶数场信息组特征抽取装置加权构成所述多个子信息组中每一个的像素并计算所述的表示值,以在规则的间隔处垂直设置与由所述第一和第二数据合成装置提供的所述帧匹配元素相关的采样相位。
10、一种运动矢量检测装置,包括:
基准帧信息组特征抽取装置,用于将一个基准帧信息组实际地分成多个子信息组,并用于确定与一个帧匹配元素相关的值,该值表示构成所述每个子信息组中每一个的像素;
搜索帧信息组特征抽取装置,用于将一个搜索信息组实际地分成多个子信息组,并用于确定与一个帧匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
帧运动矢量产生装置,用于根据由所述基准帧信息组特征抽取装置和所述搜索帧信息组特征抽取装置提供的所述帧匹配元素产生一个帧运动矢量,以搜索一个与所述基准帧信息组最佳匹配的搜索帧信息组;和
转换装置,用于根据运动信息将所述的基准帧信息组特征抽取装置和所述搜索帧信息组特征抽取装置转换到能够抽取一个高频含量的第一特征抽取或不能够抽取所述高频含量的第二特征抽取。
11、一种用于检测运动矢量的方法,其步骤包括:
执行特征抽取,使将一个基准帧信息组分成多个子信息组,并确定与一个基准帧匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
执行特征抽取,使将一个搜索帧信息组分成多个子信息组,并确定与一个搜索帧匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
根据所述基准和搜索帧匹配元素产生一个帧运动矢量,以便搜索一个与所述基准帧信息组最佳匹配的搜索帧信息组;
将所述的基准帧匹配元素分成奇数场匹配元素和偶数场匹配元素;
将所述的搜索帧匹配元素分成奇数场匹配元素和偶数场匹配元素;
根据所述的奇数场匹配元素产生一个奇数运动矢量,以便搜索一个与所述基准奇数场信息组最佳匹配的搜索奇数场信息组;和
根据所述偶数场匹配元素产生一个偶数场运动矢量,以便搜索一个与所述基准偶数场信息组最佳匹配的搜索偶数场信息组。
12、根据权利要求11所述的用于检测运动矢量的方法,其中,还包括确定与所述帧匹配元素相关的所述值的步骤,该值表示构成多个子信息组中每一个的奇数和偶数场像素中的每一个。
13、根据权利要求12所述的用于检测运动矢量的方法,其中,还包括当所述帧信息组中的每一个在沿水平轴上具有m个像素、在沿垂直轴上有n个像素时,相继形成在沿水平轴上具有m个像素、在沿垂直轴上有b(b<n)个像素的多个子信息组和在沿水平轴上有a(a<m)个像素、在沿垂直轴上有n个像素的多个子信息组的步骤。
14、一种用于检测运动矢量的方法,其步骤包括:
执行特征抽取,使将一个基准奇数场信息组分成多个子信息组,并确定与一个基准奇数场匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
执行特征抽取,使将一个搜索奇数场信息组分成多个子信息组,并确定与一个搜索奇数场匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
根据所述基准和搜索奇数场匹配元素产生一个奇数场运动矢量,以搜索一个与所述基准奇数场信息组最佳匹配的搜索奇数场信息组;
执行特征抽取,使将一个基准偶数场信息组分成多个子信息组,并确定与一个基准偶数场匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
执行特征抽取,使将一个搜索偶数场信息组分成多个子信息组,并确定与一个搜索偶数场匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
根据所述基准和搜索偶数场匹配元素产生一个偶数场运动矢量,以搜索一个与所述基准偶数场信息组最佳匹配的搜索偶数场信息组;
将所述的基准奇数场匹配元素和所述的基准偶数场匹配元素一起合成为基准帧匹配元素;
将所述的搜索奇数场匹配元素和所述的搜索偶数场匹配元素一起合成为搜索帧匹配元素;和
根据所述的基准和搜索帧匹配元素产生一个帧运动矢量,以搜索一个与所述基准帧信息组最佳匹配的搜索帧信息组。
15、根据权利要求14所述的用于检测运动矢量的方法,其中,还包括当所述场信息组中的每一个在沿水平轴上具有m个像素、在沿垂直轴上有n/2个像素时,相继形成在水平轴上具有m个像素、在沿垂直轴上有b(b<n/2)个像素的多个子信息组以及在沿水平轴上有a(a<m)个像素、在沿垂直轴上有n/2个像素的多个子信息组的步骤。
16、一种用于检测运动矢量的方法,其步骤包括:
执行特征抽取,使将一个基准帧信息组实际地分成多个子信息组,并确定与一个基准帧匹配元素相关的值,该值表示与构成所述多个子信息组中每一个的奇数和偶数场中的每一个相关的像素;
执行特征抽取,使将一个搜索帧信息组实际地分成多个子信息组,并确定与一个搜索帧匹配元素相关的值,该值表示与构成多个子信息组中每一个的奇数和偶数场中的每一个相关的像素;和
根据所述基准和搜索帧匹配元素产生一个帧运动矢量,以搜索一个与所述基准帧信息组最佳匹配的搜索帧信息组。
17、根据权利要求16所述的用于检测运动矢量方法,其中,还包括对构成多个子信息组中每一个的奇数场像素和偶数场像素加权并计算所述表示值,以便在规则的间隔处直接垂直地设置与所述帧匹配元素相关的采样相位。
18、一种用于检测运动矢量的方法,其步骤包括:
执行特征抽取,使将一个基准奇数场信息组实际地分成多个子信息组,并确定与一个基准奇数场匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
执行特征抽取,使将一个基准偶数场信息组实际地分成多个子信息组,并确定与一个其准偶数场匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
将所述的基准奇数场匹配元素和所述的基准偶数场匹配元素共同合成为基准帧匹配元素;
执行特征抽取,使将一个搜索奇数场信息组实际地分成多个子信息组,并确定与一个搜索奇数场匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
执行特征抽取,使将一个搜索偶数场信息组实际地分成多个子信息组,并确定与一个搜索偶数场匹配元素相关的值,该值表示构成多个子信息组中每一个的像素;
将所述的搜索奇数场匹配元素和搜索偶数场匹配元素一起合成为搜索帧匹配元素;和
根据所述基准和搜索帧匹配元素产生一个帧运动矢量,以搜索一个与所述基准帧信息组最佳匹配的搜索帧信息组。
19、根据权利要求18所述的用于检测运动矢量的方法,其中,还包括对所述构成多个子信息组中每一个的像素加权并计算所述表示值的步骤,以在规则的间隔内直接垂直地设置与由所述第一和第二数据合成装置提供的所述帧匹配元素相关的采样相位。
20、一种用于检测运动矢量的方法,其步骤包括:
执行特征抽取,使将一个基准帧信息组实际地分成多个子信息组,并确定与一个基准帧匹配元素相关的值,该值表示构成多个子信息组中每一个的像素,所述的特征抽取是根据运动信息从能够执行高频含量抽取的第一特征抽取和不能执行所述高频量抽取的第二特征抽取中进行选择的;
执行特征抽取,使将一个搜索帧信息组实际地分成多个子信息组,并确定与一个搜索帧匹配元素相关的值,该值表示构成多个子信息组中每一个的像素,所述的特征抽取是根据运动信息从能够执行一个高频量抽取的第一特征抽取和不能够执行所述高频量抽取的第二特征抽取中进行选择的;和
根据所述基准和搜索帧匹配元素产生一个帧运动矢量,以搜索一个与所述基准帧信息组最佳匹配的搜索帧信息组。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP200662/94 | 1994-08-25 | ||
JP6200662A JPH0865681A (ja) | 1994-08-25 | 1994-08-25 | 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1129882A true CN1129882A (zh) | 1996-08-28 |
Family
ID=16428144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN95116645A Pending CN1129882A (zh) | 1994-08-25 | 1995-08-25 | 运动矢量检测装置和用其对运动进行补偿的预测编码系统 |
Country Status (4)
Country | Link |
---|---|
US (5) | US5973741A (zh) |
EP (1) | EP0701378A3 (zh) |
JP (1) | JPH0865681A (zh) |
CN (1) | CN1129882A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1110816C (zh) * | 1997-05-27 | 2003-06-04 | 索尼公司 | 视频信号记录、重现、记录和重现装置与方法 |
CN100373949C (zh) * | 2005-04-15 | 2008-03-05 | 北京中星微电子有限公司 | 一种硬件加速装置及其实现运动估计的方法 |
CN100399826C (zh) * | 2002-08-30 | 2008-07-02 | 韩国电子通信研究院 | 基于多显示支持多视图视频对象的编码设备和方法 |
CN100417218C (zh) * | 2002-12-06 | 2008-09-03 | 苹果公司 | 用于降低除法运算要求的数字视频编码的可变准确度图像间定时规定的方法与装置 |
CN100459715C (zh) * | 1997-07-31 | 2009-02-04 | 日本胜利株式会社 | 数字视频信号块间预测编码/解码装置及编码/解码方法 |
CN101534447B (zh) * | 2008-03-13 | 2012-06-06 | 索尼株式会社 | 图像处理装置和图像处理方法 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3667105B2 (ja) * | 1997-10-01 | 2005-07-06 | 松下電器産業株式会社 | 動きベクトル検出方法及びその方法を実施する装置 |
KR100258111B1 (ko) * | 1997-10-31 | 2000-06-01 | 전주범 | 이진형상신호적응적부호화장치 |
US6137916A (en) * | 1997-11-17 | 2000-10-24 | Sony Electronics, Inc. | Method and system for improved digital video data processing using 8-point discrete cosine transforms |
US6215909B1 (en) * | 1997-11-17 | 2001-04-10 | Sony Electronics, Inc. | Method and system for improved digital video data processing using 4-point discrete cosine transforms |
US6317460B1 (en) * | 1998-05-12 | 2001-11-13 | Sarnoff Corporation | Motion vector generation by temporal interpolation |
US6546052B1 (en) * | 1998-05-29 | 2003-04-08 | Canon Kabushiki Kaisha | Image processing apparatus and method, and computer-readable memory |
US6463164B1 (en) * | 1998-08-20 | 2002-10-08 | Lucent Technologies Inc. | Motion vector estimation based on statistical features of an image frame |
US6714977B1 (en) * | 1999-10-27 | 2004-03-30 | Netbotz, Inc. | Method and system for monitoring computer networks and equipment |
US7392309B2 (en) * | 1999-10-27 | 2008-06-24 | American Power Conversion Corporation | Network appliance management |
US7330886B2 (en) * | 1999-10-27 | 2008-02-12 | American Power Conversion Corporation | Network appliance management |
US6483876B1 (en) * | 1999-12-28 | 2002-11-19 | Sony Corporation | Methods and apparatus for reduction of prediction modes in motion estimation |
US8271626B2 (en) | 2001-01-26 | 2012-09-18 | American Power Conversion Corporation | Methods for displaying physical network topology and environmental status by location, organization, or responsible party |
WO2002060124A2 (en) * | 2001-01-26 | 2002-08-01 | Netbotz, Inc. | Method and system for a set of network appliances which can be connected to provide enhanced collaboration, scalability, and reliability |
WO2003024117A1 (en) * | 2001-09-07 | 2003-03-20 | Koninklijke Philips Electronics N.V. | Image processor and image display apparatus provided with such image processor |
ATE453157T1 (de) * | 2002-05-03 | 2010-01-15 | American Power Conv Corp | Verfahren und vorrichtung zum sammeln und anzeigen von netzwerkgeräteinformationen |
US6914938B2 (en) * | 2002-06-18 | 2005-07-05 | Motorola, Inc. | Interlaced video motion estimation |
CN100553341C (zh) * | 2002-07-29 | 2009-10-21 | 松下电器产业株式会社 | 运动矢量检测装置和运动矢量检测方法 |
KR100964621B1 (ko) * | 2002-07-30 | 2010-06-21 | 소니 주식회사 | 기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및그들의 방법 |
WO2004090679A2 (en) | 2003-04-14 | 2004-10-21 | Netbotz, Inc. | Environmental monitoring device |
EP1616236B1 (en) * | 2003-04-14 | 2016-11-23 | Schneider Electric IT Corporation | Method and system for journaling and accessing sensor and configuration data |
US8566292B2 (en) | 2003-04-14 | 2013-10-22 | Schneider Electric It Corporation | Method and system for journaling and accessing sensor and configuration data |
EP1616235B1 (en) * | 2003-04-14 | 2009-11-25 | American Power Conversion Corporation | Extensible sensor monitoring, alert processing and notification system and method |
KR100517504B1 (ko) * | 2003-07-01 | 2005-09-28 | 삼성전자주식회사 | B-픽처의 움직임 보상 모드 결정방법 및 장치 |
US7627651B2 (en) * | 2003-10-27 | 2009-12-01 | American Power Conversion Corporation | System and method for network device communication |
JP4687252B2 (ja) * | 2005-06-02 | 2011-05-25 | ソニー株式会社 | 画像処理装置、その方法、そのプログラムおよび記録媒体 |
US20070092149A1 (en) * | 2005-10-24 | 2007-04-26 | Sung Chih-Ta S | Method and apparatus of high quality video compression |
US7924316B2 (en) * | 2007-03-14 | 2011-04-12 | Aptina Imaging Corporation | Image feature identification and motion compensation apparatus, systems, and methods |
US7920746B2 (en) * | 2007-04-23 | 2011-04-05 | Aptina Imaging Corporation | Compressed domain image summation apparatus, systems, and methods |
CN101755495B (zh) | 2007-05-15 | 2013-10-16 | 美国能量变换公司 | 用来管理设施供电和冷却的方法和系统 |
US20100316129A1 (en) * | 2009-03-27 | 2010-12-16 | Vixs Systems, Inc. | Scaled motion search section with downscaling filter and method for use therewith |
US8990536B2 (en) | 2011-06-01 | 2015-03-24 | Schneider Electric It Corporation | Systems and methods for journaling and executing device control instructions |
CN103620621B (zh) | 2011-06-30 | 2017-10-24 | 诺基亚技术有限公司 | 用于利用积分梯度投影的面部跟踪的方法和装置 |
KR101931653B1 (ko) | 2011-07-06 | 2018-12-21 | 에스케이플래닛 주식회사 | 멀티캐스트 기반 컨텐츠 전송 시스템 및 방법 |
CN103650375B (zh) | 2011-07-06 | 2017-05-03 | Sk 普兰尼特有限公司 | 基于多播的内容传输系统和方法以及用于高速地估算运动的设备和方法 |
AU2011384046A1 (en) | 2011-12-22 | 2014-07-17 | Schneider Electric It Corporation | Analysis of effect of transient events on temperature in a data center |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US35093A (en) * | 1862-04-29 | Improvement in combined sword and pistol | ||
US5193004A (en) * | 1990-12-03 | 1993-03-09 | The Trustees Of Columbia University In The City Of New York | Systems and methods for coding even fields of interlaced video sequences |
USRE35093E (en) * | 1990-12-03 | 1995-11-21 | The Trustees Of Columbia University In The City Of New York | Systems and methods for coding even fields of interlaced video sequences |
US5539466A (en) * | 1991-07-30 | 1996-07-23 | Sony Corporation | Efficient coding apparatus for picture signal and decoding apparatus therefor |
JP2586260B2 (ja) * | 1991-10-22 | 1997-02-26 | 三菱電機株式会社 | 適応的ブロッキング画像符号化装置 |
KR100255528B1 (ko) * | 1991-10-31 | 2000-05-01 | 요트.게.아. 롤페즈 | 디지탈 텔레비젼 영상을 송신기에서 수신기로 송신하기 위한 텔레비젼 시스템 |
US5369449A (en) * | 1991-11-08 | 1994-11-29 | Matsushita Electric Industrial Co., Ltd. | Method for predicting move compensation |
US5227878A (en) * | 1991-11-15 | 1993-07-13 | At&T Bell Laboratories | Adaptive coding and decoding of frames and fields of video |
US5510840A (en) * | 1991-12-27 | 1996-04-23 | Sony Corporation | Methods and devices for encoding and decoding frame signals and recording medium therefor |
KR930015851A (ko) * | 1991-12-31 | 1993-07-24 | 배순훈 | 필드, 프레임 선택기능을 갖는 화상 압축 전송 장치 |
JP3068304B2 (ja) * | 1992-01-21 | 2000-07-24 | 日本電気株式会社 | 動画像符号化方式および復号化方式 |
GB2263601B (en) * | 1992-01-24 | 1995-05-24 | Sony Broadcast & Communication | Motion compensated video signal processing |
US5412435A (en) * | 1992-07-03 | 1995-05-02 | Kokusai Denshin Denwa Kabushiki Kaisha | Interlaced video signal motion compensation prediction system |
US5592228A (en) * | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
US5398068A (en) * | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
US5453799A (en) * | 1993-11-05 | 1995-09-26 | Comsat Corporation | Unified motion estimation architecture |
US5610659A (en) * | 1995-05-08 | 1997-03-11 | Futuretel, Inc. | MPEG encoder that concurrently determines video data encoding format and rate control |
JP3587916B2 (ja) | 1995-10-31 | 2004-11-10 | ブラザー工業株式会社 | 映像音声データ供給装置 |
-
1994
- 1994-08-25 JP JP6200662A patent/JPH0865681A/ja active Pending
-
1995
- 1995-08-15 US US08/515,527 patent/US5973741A/en not_active Expired - Fee Related
- 1995-08-21 EP EP95305831A patent/EP0701378A3/en not_active Withdrawn
- 1995-08-25 CN CN95116645A patent/CN1129882A/zh active Pending
-
1997
- 1997-06-05 US US08/869,577 patent/US6147718A/en not_active Expired - Fee Related
- 1997-06-05 US US08/869,680 patent/US5880787A/en not_active Expired - Fee Related
- 1997-06-05 US US08/869,678 patent/US5768430A/en not_active Expired - Fee Related
- 1997-06-05 US US08/869,675 patent/US6128042A/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1110816C (zh) * | 1997-05-27 | 2003-06-04 | 索尼公司 | 视频信号记录、重现、记录和重现装置与方法 |
CN100459715C (zh) * | 1997-07-31 | 2009-02-04 | 日本胜利株式会社 | 数字视频信号块间预测编码/解码装置及编码/解码方法 |
CN100399826C (zh) * | 2002-08-30 | 2008-07-02 | 韩国电子通信研究院 | 基于多显示支持多视图视频对象的编码设备和方法 |
US8116369B2 (en) | 2002-08-30 | 2012-02-14 | Electronics And Telecommunications Research Institute | Multi-display supporting multi-view video object-based encoding apparatus and method, and object-based transmission/reception system and method using the same |
CN100417218C (zh) * | 2002-12-06 | 2008-09-03 | 苹果公司 | 用于降低除法运算要求的数字视频编码的可变准确度图像间定时规定的方法与装置 |
CN101242536B (zh) * | 2002-12-06 | 2012-07-04 | 苹果公司 | 在数字视频系统中计算运动矢量的方法和设备 |
CN100373949C (zh) * | 2005-04-15 | 2008-03-05 | 北京中星微电子有限公司 | 一种硬件加速装置及其实现运动估计的方法 |
CN101534447B (zh) * | 2008-03-13 | 2012-06-06 | 索尼株式会社 | 图像处理装置和图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
US5768430A (en) | 1998-06-16 |
US5880787A (en) | 1999-03-09 |
JPH0865681A (ja) | 1996-03-08 |
US5973741A (en) | 1999-10-26 |
US6147718A (en) | 2000-11-14 |
EP0701378A3 (en) | 1999-10-13 |
EP0701378A2 (en) | 1996-03-13 |
US6128042A (en) | 2000-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1129882A (zh) | 运动矢量检测装置和用其对运动进行补偿的预测编码系统 | |
CN1187988C (zh) | 运动补偿装置和运动图象编码装置及方法 | |
CN1054486C (zh) | 图象信号编码方法和装置和图象信号解码方法和装置 | |
CN1071978C (zh) | 运动矢量检测装置和方法 | |
CN1203679C (zh) | 用于自动转码编码的视频图象数据的方法和设备 | |
CN1076932C (zh) | 图像信号编码和解码的方法与装置 | |
CN1265649C (zh) | 运动图像的编码方法、解码方法、编码装置及解码装置 | |
CN1135850C (zh) | 运动图象编码装置及运动图象译码装置 | |
CN1816154A (zh) | 用于运动估计的方法和装置 | |
CN1742488A (zh) | 用于编码和解码立体视频的方法和装置 | |
CN1275194C (zh) | 图像处理方法及其装置 | |
CN1535024A (zh) | 视频编码设备、方法和程序及视频解码设备、方法和程序 | |
CN1270541C (zh) | 编码设备和方法 | |
CN1630374A (zh) | 用于前向预测的隔行扫描视频帧的场的预测运动矢量 | |
CN1934866A (zh) | 视频解码设备 | |
CN1910933A (zh) | 图像信息编码装置和图像信息编码方法 | |
CN1728832A (zh) | 具有基于垂直分量的运动向量校正的运动估计和补偿设备 | |
CN1615645A (zh) | 编码动态滤波器 | |
CN1321945A (zh) | 内容提供装置和方法以及记录介质 | |
CN1111881A (zh) | 图象重播装置 | |
CN1278565C (zh) | 图像解码单元和图像编码、解码装置和编码、解码方法 | |
CN1314050A (zh) | 视频处理装置和方法及介质 | |
CN1165169C (zh) | 视频信号编码方法和视频信号编码器 | |
CN1882096A (zh) | 运动图像的编码方法、解码方法、编码装置及解码装置 | |
CN1957615A (zh) | 画面信号处理装置及方法、记录介质、程序和摄像机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |