CN1266947C - 活动图象压缩编码装置及运动矢量检测方法 - Google Patents
活动图象压缩编码装置及运动矢量检测方法 Download PDFInfo
- Publication number
- CN1266947C CN1266947C CNB028091329A CN02809132A CN1266947C CN 1266947 C CN1266947 C CN 1266947C CN B028091329 A CNB028091329 A CN B028091329A CN 02809132 A CN02809132 A CN 02809132A CN 1266947 C CN1266947 C CN 1266947C
- Authority
- CN
- China
- Prior art keywords
- motion vector
- detection area
- vector detection
- frame
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
在常规的活动图象压缩编码装置中,在大量运动图象的情况下,不可能检测到合适的运动矢量,而且,也难以设定合适的运动矢量检测面积。本发明提供了:运动矢量检测装置(12),从解码的活动图象信号和宏块活动图象信号中检测到第一运动矢量检测面积内的运动矢量;运动矢量计数装置(14、15、16),对检测到的运动矢量中位于第一最外线和第二最外线之间的运动矢量的数目进行计数,作为第一运动矢量的数目,其中第一最外线是第一运动矢量检测面积的最外线,第二最外线是位于第一运动矢量检测面积内的第二运动矢量检测面积的最外线;和运动矢量检测面积确定装置(13),根据第一运动矢量的计数来扩大第一运动矢量检测面积。
Description
技术领域
本发明涉及一种对活动图象进行压缩编码的活动图象压缩编码装置,和有关的一种运动矢量检测方法,一种记录介质及一种程序。
背景技术
在活动图象压缩编码装置中,提高运动矢量检测装置的运动矢量检测精度不可避免地会增加硬件规模。因此,进行运动矢量检测的模式是检测面积小但检测精度高,或者检测面积大但检测精度低。
例如,作为常规的运动矢量检测装置,日本公开专利申请号H09-224249中所描述的一种是众所周知的。日本公开专利申请号H09-224249的全部内容完整地通过引用(参考)包含在此。图10中给出了该运动矢量检测装置。参考号101代表参考帧信号输入终端,将参考帧信号即当前帧信号输入到活动图象压缩编码器中。参考号102代表预测帧信号输入终端,将预测帧信号即紧靠前的帧信号输入到活动图象压缩编码器中。参考号103代表大面积运动矢量检测器,工作于检测面积大而检测精度低的模式,进行运动矢量检测。参考号104代表小面积运动矢量检测器,工作于检测面积小而检测精度高的模式,进行运动矢量检测。参考号105代表比较器,对大面积运动矢量检测器103和小面积运动矢量检测器104的运动矢量检测结果进行比较估算。参考号106代表选择器,根据比较器105的比较结果来输出大面积运动矢量检测器103和小面积运动矢量检测器104的运动矢量检测结果的任一个。参考号107代表输出终端,输出大面积运动矢量检测器检测到的运动矢量。
下面说明具有上述结构的常规运动矢量检测器的工作过程。首先,从参考帧信号输入终端101输入的参考帧信号通过低通滤波器108和向下采样电路109,并被输入到大面积运动矢量检测器103。与之平行,从参考帧信号输入终端101输入的参考帧信号被输入到小面积运动矢量检测器104。同样地,从预测帧信号输入终端102输入的预测帧信号通过低通滤波器110和向下采样电路111,并被输入到大面积运动矢量检测器103。与之平行,从预测帧信号输入终端102输入的预测帧信号被输入到小面积运动矢量检测器104。运动矢量检测器103和104检测到的运动矢量由比较器105进行比较估算,其中估值较高的一个从选择器106中被输出到输出终端107。
但是,根据图10中的运动矢量检测装置的结构,当运动矢量检测面积的数目(以下简称为模式数)是例如2,以检测更适当的运动矢量时,其硬件规模比模式数为1时要更大。
即当运动矢量检测面积的数目是2,例如,一个检测面积小而检测精度高的运动矢量检测面积,和一个检测面积大而检测精度低的运动矢量检测面积,就需要提供两种硬件,检测面积小而检测精度高的小面积运动矢量检测器104,和检测面积大而检测精度低的大面积运动矢量检测器103。并且每个运动矢量检测器需要同时进行运动矢量检测,这使得两个运动矢量检测器103和104各自具有独立的运动矢量检测电路就很重要,因此增加了硬件的规模例如运动矢量检测电路。
为了解决图10描述的常规运动矢量检测器的这个问题,例如,日本公开专利申请号H10-23420中说明的活动图象压缩编码装置是很有名的。日本公开专利申请号H10-23420的全部内容被完整地引用(参考)包含在此。该活动图象压缩编码装置如图11所示。
图11是常规活动图象压缩编码装置框图。在图11中,参考号301代表DCT电路,参考号302代表量化器,参考号303代表逆向量化器,参考号304代表逆向DCT电路,参考号305代表帧存储器,参考号306代表运动补偿帧间预测电路,参考号307代表运动检测器,参考号308代表帧内/帧间切换信号。运动检测器307A包括缓冲存储器201、误码运算电路202、误码比较电路203和地址发生电路204。
下面说明具有上述结构的常规图象编码装置的工作过程。将待编码的初始帧即第一帧由帧内/帧间切换信号308切换到帧内编码,帧内编码是一帧一帧进行处理的,不会获得差异。即图象数据被DCT电路以二维块为单元转换成转换因子,转换因子被量化器302量化,然后发送到传输路径。一般地,由于图象是高度相关的,所以当进行DCT时,能量集中于低频分量所对应的转换因子上。因此,通过对视觉上不易观察到的高频分量进行粗量化,而对重要的低频分量进行精细量化,就有可能使图象的恶化降低到最小,并减小数据量。同时,发送到传输路径的量化了的转换因子通过逆向量化器303和逆向DCT电路304被转换回实时数据,并被存储到帧存储器305。
另一方面,对第二和后续帧的图象,由帧内/帧间开关信号308将编码方法切换到帧间编码,在进行运动补偿之后,就得到与前一帧图象的差异,且帧间的图象信号差异被一帧一帧地编码。即根据存储在帧存储器305中的前一帧图象数据和二维块单元中的由运动检测器307A检测到的运动矢量,由运动补偿帧间预测电路306产生第二和后续帧图象的预测值,预测误差,即第二和后续帧间的差异、以及运动补偿帧间预测电路306产生的第二和后续帧的预测值被DCT电路301以二维块维单位转换成转换因子。转换因子被量化器302量化,然后发送到传输路径。同时,发送到传输路径的量化的转换因子通过逆向量化器303和逆向DCT电路304转换回实时数据,并存储到帧存储器305。
接下来详细说明运动检测器307A。采用例如众所周知的全搜索方法,运动检测器307A获得以二维块为单元的运动矢量。图12是运动检测器307A的工作过程示意图。下面参照图12说明运动检测过程。在图12中,参考号311代表第二帧的二维块,包括m(水平方向)×n(垂直方向)象素的长方块。参考号312A和312B代表用来进行误差计算的第一帧二维块。块312A和312B具有与二维块311相同的大小。参考号313代表运动检测得到的运动矢量。该运动矢量连接二维块311的中心坐标和二维块312B的中心坐标。
图12中的二维块311是第二帧中中心坐标为(x,y,2)的二维块,该二维块用中心坐标所对应的标记S(x,y,2)来表示。二维块312A和312B分别是第一帧中中心坐标为(x,y,1)和(x+mx,y+my,1)的二维块,该二维块也同样地用中心坐标所对应的标志S(x,y,2)和(x+mx,y+my,1)来表示。这里x是以帧中心为原点,在水平方向的象素坐标,y是以帧中心为原点,在垂直方向的象素坐标,x和y后面的数字1和2是帧号。参考号314代表矩形的运动矢量检测面积(水平方向为2h,垂直方向为2v),表示进行运动矢量计算的二维块。xh代表以运动矢量检测面积的中心(图中坐标为(x,y,1))为原点的本地象素水平方向的坐标,yv代表以运动矢量检测面积的中心(在图中坐标为(x,y,1))为原点的本地象素垂直方向的坐标。
当进行帧间编码时,第二帧的图象数据同时输入到缓冲存储器201中。第一帧的图象数据已经存储到缓冲存储器201中。以第二帧(当前帧)的二维块311为参考,检测第一帧(前一帧)的二维块312B和第二帧(当前帧)的二维块311之间的运动矢量313。输入到缓冲存储器201的第一和第二帧的图象以m×n象素的二维块为单元读出,且运动矢量检测是以二维块为单元进行的。
现在具体说明用坐标进行运动矢量检测的过程。地址发生电路204读出第二帧中中心坐标为(x,y,2)的二维块S(x,y,2)的图象数据,以二维块S(x,y,2)为参考块,根据以下的过程检测参考块和第一帧之间的运动:在缓冲存储器201中,第一帧的图象数据也按上面所述被存储,然后读出第一帧中中心坐标为(x,y,1)的二维块S(x,y,1)的每个图象数据。误差计算电路202根据『公式1』计算出两个二维块S(x,y,2)和S(x,y,1)中图象数据的幅度的误差平方之和(以下简称为误差)σ(x,y)(0,0),计算所得的和数传输到误差比较电路203。
『公式1』
然后,地址发生电路204产生与第一帧中在水平方向相邻一个象素的m×n块的地址,即中心坐标为(x+1,y,1)的二维块S(x+1,y,1)。误差计算电路202同样计算出σ(x,y)(+1,0),并将其传输至误差比较电路203。误差比较电路203将σ(x,y)(0,0)和σ(x,y)(+1,0)相互比较,并选出其中较小的一个。然后,同样地,当地址在-h<xh<h和-v<yv<v的面积内连续变化时,读出二维块的图象数据,并计算σ(x,y)(xh,yv)。
误差比较电路203从上面计算的误差σ(x,y)(xh,yv)中选出最小值σ(x,y)(mx,my)的误差,同时输出地址mx、my。因此,二维块S(x,y,2)中的运动矢量213是mv(mx,my)。通过对第二帧中多于一个的分区二维块的全部重复上述操作,就得到第二帧中所有二维块的运动矢量。
利用在第二帧的每个二维块中检测到的运动矢量,运动补偿帧间预测电路306产生以二维块为单元的第二帧的运动补偿预测值。对于第二帧的图象,首先,用上述方法产生的预测值的差异,即预测误差,由第一帧的图象数据和第二帧的运动矢量计算得到。然后,用类似于第一帧的情况中所用的方法,对上述预测误差进行一帧一帧地编码。
通过上述结构,中心为分割当前帧所得二维块的位置的前一帧的预定运动矢量检测面积之内,当位置连续变化时,与分割当前帧所得二维块大小相等的二维块的图象数据被提取,进行前一帧预定的运动矢量检测面积内每个二维块的图象数据和分割当前帧所得二维块的图象数据之间的误差计算、以及前一帧预定的运动矢量检测面积内不同位置的二维块之间的误差比较,从而在前一帧预定的运动矢量检测面积内寻找二维块的位置,其中,相对于分割当前帧所得到的二维块,图象数据误差最小,并且从分割当前帧所得二维块的位置,和前一帧预定的运动矢量检测面积内相对于分割当前帧所得二维块使图象数据误差最小的二维块位置,计算出运动矢量,它代表分割当前帧所得二维块由前一帧开始在屏幕上的运动。
根据上述方法,由于预测误差被编码,所以相对于象帧内编码那样对图象数据直接进行编码,能量就更小,且编码效率更高。
接下来说明对第三和后续帧的操作。在第三和后续帧的运动矢量计算中,前一帧的运动矢量(在第三帧的情况下,为第二帧)输入到CPU205中,作为代表图象运动幅度且得到较早检测的运动矢量检测面积确定信息,并且采用下面将要说明的计算过程,通过控制地址发生电路204,来改变运动矢量检测面积。
图13是CPU 205的处理操作流程图。现在说明图13,在步骤21,读入前一帧(例如第二帧)的所有二维块的运动矢量,在步骤22,对标准时间里在运动矢量检测面积内具有水平方向极大值h的运动矢量数目进行计数。在步骤23,判断该数目是否不小于所有块的50%,当该数目不小于所有块的50%时,确定图象的运动大,那么水平方向上运动矢量检测范围就扩大,例如为2h。为了使运动矢量检测面积加倍,如步骤24中所示,控制地址发生电路204,使得误差计算电路202的输入是每隔一个采样稀疏输入,即二次抽样为1/2。如此,每个二维块的计算量就为1/2,因此即使运动矢量检测面积加倍,总的计算量也和运动矢量检测面积没有扩大之前相同。而且,如步骤25所示,同时也对超过h/2的运动矢量进行计数,在步骤26中,判断超过h/2的运动矢量是否不大于10%。当该数目不大于10%,确定运动小,那么运动矢量检测面积变为h/2。这种情况中,误差计算电路202的输入不被稀疏掉(步骤27)。当超过h的运动矢量数目小于50%,且超过h/2的运动矢量数目大于10%时,运动矢量检测面积就不改变,也不进行二次抽样。
通过上述操作,当图象的运动大时,可扩大运动矢量检测面积,而不增加计算量。一般地,当从二次抽样的图象中进行运动检测时,运动检测的精度会下降,这将导致图象质量的恶化。但是,当运动大时,由于运动没有遵循而导致的图象恶化的影响更大,所以即使图象被二次抽样,当运动矢量检测面积扩大时图象质量更高。当运动小时,由于是对未经二次抽样的图象进行运动检测,所以不产生图象恶化,而且,由于减小了运动矢量检测面积,用来搜索的时间也减少了。
如上所述,能够根据图象的运动来改变运动矢量检测面积,可以处理大的运动,减小帧间差异,从而不产生图象质量恶化。而且,由于运动矢量计算的计算量没有增加,所以用来进行运动矢量计算的硬件数量就无需增加。
但是,在图11中所示的常规活动图象压缩编码装置中,对于大运动的图象,不可能检测到合适的运动矢量,而且,难于设定合适的运动矢量检测面积。
即在图11所说明的常规的活动图象压缩编码装置中,如图14所示,当骑跨在运动矢量检测面积320的最外围上的运动矢量P数目不小于总块数的50%时,运动矢量检测面积320就扩大。也就是,只检测骑跨在运动矢量检测面积320最外围上的运动矢量P。但是,有可能一个比骑跨在运动矢量检测面积最外围上的运动矢量P更合适的运动矢量出了运动矢量检测面积320。即使在这种情况下,在根据图11所说明的常规的活动图象压缩编码装置中,检测到并采用运动矢量P,而不是检测到适当的运动矢量。
即,在常规的活动图象压缩编码装置中,对于大运动的图象,不可能检测到适当的运动矢量,而且,难以设定适当的运动矢量检测面积。
发明说明
鉴于上述的问题,本发明的一个目的就是提供一种活动图象压缩编码装置、运动矢量检测方法、记录介质和程序,即使在大运动图象的情况下也能够检测适当的运动矢量并设定适当的运动矢量检测面积。
为了解决上述问题,本发明的第一发明是一种活动图象压缩编码装置,包括:
宏块发生装置(2),通过将输入的活动图象分割成每帧N个单元产生宏块活动图象信号,这里N为不小于2的自然数;
编码和解码装置(18,17,3,4,9,10,19,20和11),对宏块活动图象信号进行压缩编码,然后将宏块活动图象信号解码,以产生解码的活动图象信号;
运动矢量检测装置(12),从解码的活动图象信号和宏块活动图象信号中检测第一运动矢量检测面积之内的运动矢量;
运动矢量计数装置(14,15和16),对检测到的运动矢量中位于第一最外线和第二最外线之间的运动矢量的数目进行计数,作为第一运动矢量的数目,其中第一最外线是第一运动矢量检测面积的最外线,第二最外线是第一运动矢量检测面积内的第二运动矢量检测面积的最外线;和
运动矢量检测面积确定装置(13),根据第一运动矢量的计数来扩大第一运动矢量检测面积。
本发明的第二发明是根据本发明的第一发明的活动图象压缩编码装置,其中运动矢量计数装置(14,15和16)对第二运动矢量检测面积内部的第三运动矢量检测面积中的运动矢量的数目进行计数,作为第二运动矢量的数目,和
运动矢量检测面积确定装置(13),根据第二运动矢量的计数来减小第一运动矢量检测面积。
本发明的第三发明是根据本发明的第一发明的活动图象压缩编码装置,其中运动矢量检测面积确定装置(13)在第一运动矢量的计数大于预定阈值时扩大第一运动矢量检测面积,而在第一运动矢量的计数小于预定阈值时不扩大第一运动矢量检测面积或不改变第一运动矢量检测面积。
本发明的第四发明是根据本发明的第一发明的活动图象压缩编码装置,其中当第一运动矢量的计数增加时,运动矢量检测面积确定装置(13)提高第一运动矢量检测面积的扩大比例。
本发明的第五发明是根据本发明的第二发明的活动图象压缩编码装置,其中当第二运动矢量的计数增加时,运动矢量检测面积确定装置(13)提高第一运动矢量检测面积的缩小比例。
本发明的第六发明是根据本发明的第一发明的活动图象压缩编码装置,其中运动矢量检测面积确定装置(13)具有一组各种运动矢量检测面积,和
当第一运动矢量的计数增加时,从各种运动矢量检测面积中选择出经扩大的运动矢量检测面积,并且所选择的运动矢量检测面积被设定为第一运动矢量检测面积。
本发明的第七发明是根据本发明的第二发明的活动图象压缩编码装置,其中运动矢量检测面积确定装置(13)具有一组各种运动矢量检测面积,和
当第二运动矢量的计数增加时,从各种运动矢量检测面积中选择出经减小的运动矢量检测面积,且所选择的运动矢量检测面积被设定为第一运动矢量检测面积。
本发明的第八发明是根据本发明的第一发明的活动图象压缩编码装置,其中运动矢量检测面积确定装置(13)按每P帧或按P帧分割成n个单元,这里n为自然数,且n≤N,的每一分立单元来更新第一运动矢量检测面积,和
在第一运动矢量检测面积被更新时,当P帧或分立单元中的第一运动矢量的计数被P帧中或分立单元中的宏块活动图象信号数目除得的商不小于预定阈值时,运动矢量检测面积确定装置就扩大第一运动矢量检测面积。
本发明的第九发明是根据本发明的第二发明的活动图象压缩编码装置,其中运动矢量检测面积确定装置(13)按每P帧或按P帧分割成n个单元,这里n为自然数,且n≤N,的每一分立单元来更新第一运动矢量检测面积,和
在第一运动矢量检测面积被更新时,当P帧或分立单元中的第二运动矢量的计数被P帧中或分立单元中的宏块活动图象信号数目除得的商不小于预定的阈值时,运动矢量检测面积确定装置就缩小第一运动矢量检测面积。
本发明的第十发明是根据本发明的第一、第三、第四、第六和第八发明中的任何一个的活动图象压缩编码装置,其中运动矢量检测装置在扩大第一运动矢量检测面积时也扩大第二运动矢量检测面积。
本发明的第十一发明是根据本发明的第二、第四、第七和第九发明中的任何一个的活动图象压缩编码装置,其中运动矢量检测装置在缩小第一运动是矢量检测面积时也缩小第三运动矢量检测面积。
本发明的第十二发明是运动矢量检测方法,包括:
运动矢量检测步骤,从解码的活动图象信号中和从宏块活动图象信号中检测第一运动矢量检测面积内的运动矢量,其中将输入的活动图象分割成每帧N个单元,N为不小于2的自然数,得到宏块活动图象信号,对其进行压缩编码,然后再将压缩编码的宏块活动图象信号进行解码,得到解码的活动图象信号;
运动矢量计数步骤,对在检测到的运动矢量中位于第一最外线和第二最外线之间的运动矢量数目进行计数,作为第一运动矢量的数目,其中第一最外线是第一运动矢量检测面积的最外线,第二最外线是位于第一运动矢量检测面积内部的第二运动矢量检测面积最外线;
运动矢量计数步骤,对第一运动矢量数目进行计数,即位于第一最外线上和毗邻第一最外线的一个或一组第二最外线上的第一运动矢量数目,其中第一最外线是第一运动矢量检测面积的最外线,所述的第二最外线的每一个都是第一运动矢量检测面积内部的第二运动矢量检测面积的最外线;和
运动矢量检测面积确定步骤,根据第一运动矢量的计数来扩大第一运动矢量检测面积。
附图概述
图1是根据本发明的第一实施例的活动图象压缩编码装置框图;
图2是本发明第一实施例的宏块中的运动矢量实例的示意图;
图3是本发明第一实施例中运动矢量和运动矢量切换面积实例的示意图;
图4(a)是本发明第一实施例中的备选运动矢量检测面积示意图;
图4(b)是本发明第一实施例中的运动矢量检测面积示意图;
图5(a)是本发明第一实施例中的当前运动矢量检测面积实例的示意图;
图5(b)是本发明第一实施例中的更新后的运动矢量检测面积实例的示意图;
图6(a)是本发明第一实施例中的当前运动矢量检测面积实例的示意图;
图6(b)是本发明第一实施例中的更新后的运动矢量检测面积实例的示意图;
图7是本发明的第一实施例中运动矢量检测面积的更新定时示意图;
图8(a)是本发明的第一实施例中,当运动矢量检测面积大时,运动矢量检测中的象素抽样基本情况示意图;
图8(b)是本发明的第一实施例中,当运动矢量检测面积为中等大小时,运动矢量检测中的象素抽样基本情况示意图;
图8(c)是本发明的第一实施例中,当运动矢量检测面积小时,运动矢量检测中的象素抽样基本情况示意图;
图9是本发明第一实施例中运动矢量切换面积确定的流程图;
图10是常规的运动矢量检测装置的结构框图;
图11是常规的活动图象压缩编码装置的结构框图;
图12是包括在常规的活动图象压缩编码装置中的运动检测器307A的工作的说明图;
图13是包括在常规的活动图象压缩编码装置中的CPU 205的处理工作的流程图;
图14是常规的活动图象压缩编码装置的运动矢量检测面积和运动矢量实例示意图。
(参考号的说明)
1输入终端
2帧排序器
3DCT
4量化器
5可变长度编码器
6缓冲器
7输出终端
8速率控制器
9逆向量化器
10逆向DCT
11帧存储器
12预测器
13运动矢量检测面积确定器
14切换面积检测器
15比较器
16计数器
17减法器
18选择器开关
19加法器
20开关
21运动矢量检测装置
本发明的最佳实施方式
以下将结合附图说明本发明的实施例。
根据本发明的实施例,例如,由于根据由运动矢量检测部分(装置)所检测的运动矢量得到的运动矢量检测面积被反馈回运动矢量检测部分(装置),所以能够将运动矢量检测部分(装置)进行运动矢量检测的运动矢量检测面积设定成与输入的活动图象的运动相一致,使得即使当运动矢量检测面积数目(即模式数)多于1以检测到更适当的运动矢量时,电路规模也不会增加,并可提高运动矢量的检测精度。
而且,根据本发明的实施例,例如,由于运动矢量检测面积以输入活动图象所分割成的单元被反馈回运动矢量检测部分,所以能够以输入的活动图象为单位,例如一帧,在运动矢量检测部分适当地设定与输入的活动图象的运动相一致的运动矢量检测面积,并且能够简化高精度运动矢量检测面积的设定。
而且,根据本发明实施例,例如,由于是从预先提供的多于一种的运动矢量检测面积中,参照所采用的运动矢量检测面积的结果而选择出实际使用的运动矢量检测面积,所以能够根据输入的活动图象自由地从多于一种中采用运动矢量检测部分处所设定的运动矢量检测面积的更新,并且获得与用户意图例如优先权相一致的运动矢量检测。而且,在所获得的运动矢量检测中,运动矢量检测部分处所设定的运动矢量检测面积与输入的活动图象的运动相一致,例如,与用户的意图相一致。
而且,根据本发明的实施例,例如,由于反馈装置将运动矢量检测面积确定装置所确定的运动矢量检测面积反馈回运动矢量检测装置和切换面积发生装置,所以运动矢量检测面积的确定对输入活动图象运动的速度更灵敏,从而能够增强与输入活动图象的运动相一致的运动矢量检测面积的直接性。
而且,根据本发明的实施例,例如,由于当(运动矢量切换面积中的运动矢量数目)/(n个单元周期里宏块的数目)不小于预定的阈值时,运动矢量检测面积被切换,且所切换的运动矢量检测面积被反馈回运动矢量检测装置和切换面积发生装置,所以在输入的活动图像的编码中能够减小所产生的代码量,从而能够提高与输入活动图象的运动相一致的运动矢量检测的速度。
(第一实施例)
图1是根据本发明的第一实施例的活动图象压缩编码装置结构框图,及MPEG(运动图象专家组)的实例。参考号1代表输入终端。参考号2代表帧排序器。参考号3代表离散余弦变换器(以下简称为DCT)。参考号4代表量化器。参考号5代表可变长度编码器。参考号6代表缓冲存储器。参考号7代表输出终端。参考号8代表速率控制器。参考号9代表逆向量化器。参考号10代表逆向DCT。参考号11代表帧存储器。参考号12代表预测器。参考号13代表检测面积确定器。参考号14代表切换面积确定器。参考号15代表比较器。参考号16代表计数器。参考号17代表减法器。参考号18代表选择器开关。参考号19代表加法器。参考号20代表开关。
本实施例的帧排序器2是本发明的宏块发生装置的实例。本实施例的选择器开关18、减法器17、DCT3、量化器4、逆向量化器9、逆向DCT10、加法器19、开关20和帧存储器11是本发明的编码和解码装置的实例。本实施例的预测器12是本发明的运动矢量检测装置的实例。本实施例的切换面积确定器14、比较器15和计数器16是运动矢量计数装置的实例。本实施例的检测面积确定器13是本发明的运动矢量检测面积确定装置的实例。
现在说明具有上述结构的块的工作过程。从输入终端1输入的原始图象信号是视频信号,通过事先将画面与声音同步信号分成视频信号和音频信号而得到。首先由帧排序器2将视频信号按帧进行排序,按象素数目将帧分割成单元(以下称为宏块单元)的原始图象视频信号按照帧排序器2的排序(以下称为解码顺序)输出到选择器开关18。选择器开关18选择是以宏块单元本身输出原始活动视频信号(以下称为宏块活动图象信号),还是由减法器17从宏块活动图象信号中减掉运动补偿预测视频信号等。
首先说明选择器开关18选择宏块活动图象信号本身的情况。当从选择器开关18输出的宏块活动图象信号是I图象,DCT3进行离散余弦变换得到的DCT信号输出到量化器4。量化器4向可变长度编码器5和逆向量化器9输出量化的信号,通过用速率控制器8反馈回的预定量化值来进行量化处理使其信息量减小。
输入到可变长度编码器5的量化信号作为被可变长度编码器5编码了的编码信号输出到缓冲存储器6中。缓冲存储器6存储编码信号,直到它从输出终端7被提取出来,并且向速率控制器8输出所产生的编码量。速率控制器8向量化器4反馈回基于所产生的编码量的量化值。未予图示的系统编码器将从输出终端7提取的编码信号和音频信号复用在一起。
至于输入到逆向量化器9的量化信号,用预定的量化值进行逆向量化的逆向量化信号输出到逆向DCT10中。逆向DCT10输出通过对输入的量化信号进行逆向离散余弦变化得到的逆DCT信号。当在I图象的情况下选择器开关18选择宏块活动图象本身时,开关20是关的,与选择器开关18同步,宏块单元的参考视频信号(以下称为宏块参考信号)被存储在帧存储器11中,直到存储了一帧信号,而不被加法器19加到逆向DCT信号上。在P图象的情况下,预测器12预测运动矢量,其中以帧为单元的参考视频信号(以下称为帧参考信号)和来自帧排序器2的宏块活动图象信号之间的差异最小,其中帧参考信号中的一帧存储在帧存储器11中,检测运动矢量检测面积,并输出运动矢量和运动补偿预测之后的图象信号(以下称为预测的视频信号)。
现在说明P图象或B图象的情况,这时选择器开关18选择宏块活动图象信号和减法器17的预测视频信号之间的差信号。在P图象的情况中,从宏块活动图象信号中减去基于前面的I图象或P图象的预测视频信号而得到的差信号被输出到DCT3,DCT信号输出到量化器4。从量化器4中输出的量化信号其中之一经过可变长度编码器5和缓冲存储器6,并被存储在缓冲存储器6中,直到从输出终端7被提取出来,且所产生的编码量被输入到速率控制器8,量化值反馈回量化器4。类似于以上所说明的情况,存储在缓冲存储器6中的编码信号从输出终端7输出到系统编码器。
量化信号中的另一个经过逆向量化器9和逆向DCT10,并被输入到加法器19。打开开关20,与选择器开关18同步,由减法器17进行了减法运算的紧靠前的I图象或P图象被加到逆向DCT10输出的逆向DCT信号上,以得到宏块参考信号。由加法器19加得的宏块参考信号存储在帧存储器11中,直到存储了一帧信号,预测器12在运动矢量检测面积内检测到运动矢量,在该处,来自帧存储器11的帧参考信号和宏块活动图象信号之间的差信号最小,并输出运动矢量和预测视频信号,例如,图2中所示。
当宏块活动图象信号是B图象时,除了由减法器17得到基于先前及随后的I图象或P图象的宏块活动图象信号和预测视频信号之间的差,进行类似于P图像情况时的处理。但是,当考虑到B图象时,由于先前及随后的图象被视作B图象的情况,所以尽管以帧为单位的运动矢量检测面积的更新算法等很复杂,精度的提高也是很小。因此,本实施例采用了一种算法,在B图象的情况下,忽略输出的宏块活动图象信号,直到选择了下一个P图象。
以这种方法得到的从预测器12输出的信号其中之一作为减法器17从下一个宏块活动图象信号中要减去的预测视频信号,另一个信号来比较地检验运动矢量是否位于运动矢量检测面积内,例如,如图3中所示,成宏块单元的运动矢量输出到比较器15。图3中的面积D是运动矢量检测面积减小后的面积,面积U是运动矢量检测面积扩大后的面积。即比较器15比较地检验图2中所示的预测器12检测到的宏块Cij对应的运动矢量Vij是否位于切换面积确定器14输出的运动矢量切换面积D或U之内,适用性地得到宏块切换信号,并将其输出到计数器16。
现在详细说明图3中所示的运动矢量检测面积。图4更详细地阐释了图3中所示的运动矢量检测面积。图4(a)给出了备选运动矢量检测面积。在本实施例中,共有5个备选运动矢量检测面积A1、A2、A3、A4和A5。这些备选运动矢量检测面积存储在检测面积确定器13中。选择并使用五个备选运动矢量检测面积A1、A2、A3、A4和A5中的一个,作为当预测器12检测运动矢量时和切换面积确定器14确定运动矢量切换面积时所用的运动矢量检测面积。
现在假设在备选运动矢量检测面积A1、A2、A3、A4和A5之中,实际上选择A3作为运动矢量检测面积。
如图4(b)所示,最外线13是运动矢量检测面积A3的最外线,最外线13’是运动矢量检测面积A3’的最外线,最外线13和13’之间的面积位于运动矢量检测面积A3内,相应于图3中所示的面积U。图3中的面积U由切换面积确定器14确定。在骑跨在面积U上的运动矢量满足下文中将要说明的预定条件的情况下,就扩大运动矢量检测面积A3。这时,运动矢量检测面积A3’和A3”同时扩大。
相似地,如图4(b)所示,最外线13”是位于运动矢量检测面积A3’内部的运动矢量检测面积A3”的最外线,最外线13”内部的面积对应于参照图3所说明的面积D。图3中的面积D由切换面积确定器14确定,在骑跨在面积D上的运动矢量满足下文将要说明的预定条件的情况下,就减小运动矢量检测面积A3。这时,运动矢量检测面积A3’和A3”同时减小。
而且,切换面积确定器14依照运动矢量检测面积确定图3中的面积U和面积D。
尽管在本实施例中,由于运动矢量检测面积的切换只是针对基于P图象的运动矢量,比较器15只在编码P图象时工作,但是这里需要注意的是,在考虑B图象时,比较器15也在对B图象进行编码时工作。
比较器15判定对应于宏块Cij的运动矢量Vij是否骑跨在图3中的面积U上或骑跨在面积D上,并将判定结果作为宏块切换信号输出到计数器16。
当输入宏块切换信号时,在宏块切换信号表示宏块Cij所对应的运动矢量Vij骑跨在图3中的面积U上时,计数器16使面积U所对应的计数值加一;在宏块切换信号表示宏块Cij所对应的运动矢量Vij骑跨在图3中的面积D上时,计数器16使面积D所对应的计数值加一。
如此,计数器16对面积D所对应的计数值和面积U所对应的计数值按一帧进行计数,且计数器16将计数结果输出到检测面积确定器13,作为以帧为单元的切换信号(以下称为帧切换信号)。当输入了帧切换信号,检测面积确定器13适用性地确定以帧为单位的运动矢量检测面积。
即通过从图4(a)所示的备选运动矢量检测面积A1、A2、A3、A4和A5中选择出实际使用的运动矢量检测面积,检测面积确定器13确定了运动矢量检测面积。
当如图5(a)所示运动矢量骑跨在面积D上,检测面积确定器13选择运动矢量检测面积A4,如图5(b)所示,从而减小了运动矢量检测面积。说细说明为,当(运动矢量切换面积D中的运动矢量数目)被(一帧周期内的宏块数目)除得的商数不小于预定的阈值时,检测面积确定器13根据从计数器16输入的帧切换信号将运动矢量检测面积切换到运动矢量检测面积A4。这时,运动矢量检测面积A3’和A3”同时被分别切换到A4’和A4”。这样,检测面积确定器13减小了运动矢量检测面积。当检测面积确定器13选择运动矢量检测面积A4作为运动矢量检测面积,所选择的运动矢量检测面积被反馈回切换面积确定器14和预测器12。依照该选择,切换面积确定器14确定运动矢量切换面积D和U,如图5(b)所示。
当运动矢量R如图6(b)所示骑跨在面积U上,检测面积确定器13通过选择运动矢量检测面积A2来扩大运动矢量检测面积,如图6(b)所示。详细说明为,当(运动矢量切换面积U内的运动矢量数目)被(一帧的周期内的宏块数目)除得的商数不小于预定的阈值时,检测面积确定器13根据从计数器16输入的帧切换信号将运动矢量检测面积切换到运动矢量检测面积A2。这时,运动矢量检测面积A3’和A3”同时被分别切换到A2’和A2”。如此,检测面积确定器13扩大了运动矢量检测面积。当检测面积确定器13选择运动矢量检测面积A2作为运动矢量检测面积,所选择的运动矢量检测面积被反馈回切换面积确定器14和预测器12。依照该选择,切换面积确定器14确定运动矢量切换面积D和U,如图6(b)所示。
而且,当(运动矢量切换面积D内的运动矢量数目)被(一帧周期内的宏块数目)除得的商数小于预定的阈值,和当(运动矢量切换面积U内的运动矢量数目)被(一帧周期内的宏块数目)除得的商数小于预定的阈值时,检测面积确定器13既不扩大也不减小运动矢量检测面积。即检测面积确定器13不改变运动矢量检测面积。
作为以帧为单元最佳的运动矢量检测面积,反馈回预测器12的运动矢量检测面积被用作下一帧单元中预测器12预测运动矢量时的运动矢量检测面积。
例如,当检测面积确定器13选择运动矢量检测而积A4作为运动矢量检测面积,如图5(b)所示,当预测运动矢量时,预测器12就在下一帧单元中使用运动矢量检测面积A4。
类似地,当检测面积确定器13选择运动矢量检测面积A2作为运动矢量检测面积,如图6(b)所示,当预测运动矢量时,预测器12就在下一帧单元中使用运动矢量检测面积A2。
在下一帧单元中进行与上面所述相似的操作,预测器12采用的运动矢量检测面积被连续更新。在本实施例中,对每个P帧进行上述的操作。即图7给出了运动矢量检测面积的更新时序。用在P帧20中检测到的运动矢量来使检测面积确定器13确定下一个P帧21的运动矢量检测面积。如上所述,本实施例的活动图象压缩编码装置在每个P帧切换运动矢量检测面积。
在输入的活动图象具有特别大的运动的情况下,在参照图11所说明的常规的活动图象编码装置中,由于只检测到骑跨在运动矢量检测面积320最外围上的矢量P,所以即使比骑跨在运动矢量检测面积320最外围上的运动矢量P更为合适的运动矢量伸出到运动矢量检测面积320外面,也不可能检测到并使用这样的运动矢量。在图11所给出的常规的活动图象压缩编码装置中,甚至在这样的情况下,检测到并使用运动矢量P,而不是检测到合适的运动矢量。
相反地,在本实施例的活动图象压缩编码装置中,当扩大运动矢量检测面积时,就考虑了图3、4、5、和6中所示的骑跨在面积U上的运动矢量。因此,即使当更为合适的运动矢量伸出到运动矢量检测面积之外,而且根据此前技术不能检测到这样的合适的运动矢量,通过旨在考虑象本实施例中的运动矢量的面积U,就能够检测到此前技术所不能检测的合适的运动矢量。
如上所述,根据本实施例,即使在输入的活动图象运动大的情况下,也能够检测到合适的运动矢量,并且能够设定合适的运动矢量检测面积。
如上所述,根据本实施例的活动图象压缩编码装置,由于运动矢量检测装置21通过压缩编码来进行检测活动图象信号的运动矢量的处理操作的同时,进行运动矢量检测的运动矢量检测面积被最先的帧单元优化的面积取代,所以其产生的效果是在不增加运动矢量检测装置21中的电路等的硬件规模,就能够优化运动矢量检测。而且,即使在大运动的图象情况下,也能够检测到合适的运动矢量,并设定合适的运动矢量检测面积。
尽管在本实施例中,检测面积确定器13从五个备选运动矢量检测面积中选择出一个实际使用的运动矢量检测面积,但是本发明并不局限于此。实际的运动矢量检测面积可以从三个备选运动矢量检测面积中选出,或者实际的运动矢量检测面积可以从七个备选运动矢量检测面积中选出。本实施例的检测面积确定器13存储一组备选的运动矢量检测面积,并且通过从其中选择出一个来确定实际使用的运动矢量检测面积。
进一步,尽管在本实施例中,检测面积确定器13从五个运动矢量检测面积中选择出一个实际使用的运动矢量检测面积,但是本发明并不局限于此。当运动矢量切换面积U内的运动矢量的数目增加时,检测面积确定器13可以提高运动矢量检测面积的扩大比例。
在这种情况中,当运动矢量切换面积U内的运动矢量数目增加时,检测面积确定器13可以从所预提供的运动矢量检测面积中选择较大的运动矢量检测面积,或者当运动矢量切换面积U内的运动矢量数目增加时,检测面积确定器13可以产生较大的运动矢量检测面积,不需预先提供任何运动矢量检测面积。
而且,当运动矢量切换面积D内的运动矢量数目增加时,检测面积确定器13可以提高运动矢量检测面积的减小比例。
在这种情况中,当运动矢量切换面积D内的运动矢量数目的增加时,检测面积确定器13可以从所预提供的运动矢量检测面积中选择较小的运动矢量检测面积,或者当运动矢量切换面积D内的运动矢量数目的增加时,检测面积确定器13可以产生较小的运动矢量检测面积,不需预先提供任何运动矢量检测面积。
在本实施例的活动图象压缩编码装置中,如图8(a)、(b)和(c)所示,当运动矢量检测面积小时,运动矢量检测接近于象素单元的检测;当运动矢量检测面积大时,在运动矢量检测中,根据其大的程度象素被减少。即当检测面积象图8(a)中所示的运动矢量检测面积A1那样大时,检测到与黑色标记所表示的被稀疏了的象素相联系的运动矢量,并且相反地,当运动矢量象图8(c)中所示的运动矢量检测面积A5那样小时,检测到以黑色标记所表示的象素为单元的运动矢量。因此,由于得到运动矢量的象素被稀疏掉,与即使当运动矢量检测面积被扩大的尺寸相一致,所以运动矢量检测的计算量不会增加。通过提供如图4中所示的多种运动矢量检测面积,及从多种运动矢量检测面积中选择出所需的运动矢量检测面积,就能够通过根据输入活动图象的运动幅度适当地扩大或减小运动矢量检测面积来完成优化,改进运动矢量检测精度,由于该改进而减少所产生的信号量,提高解码的活动图象质量。
而且,诸如运动矢量检测所需的存储装置等电路的规模是运动矢量检测面积中最小的一个所对应的电路规模,从而能够以较低的成本制造出由于运动矢量检测精度的提高而可实现高质量的解码图象的装置。
通过提供:切换面积确定器14,根据来自上述实施例中检测面积确定器13的运动矢量检测面积而产生运动矢量检测面积切换面积;比较器15,对运动矢量检测面积切换面积和检测到的运动矢量进行相互比较,并确定在运动矢量切换面积内的运动矢量的出现,通过计数器16存储运动矢量切换面积和比较器15的输出信号即判定信号,并且通过根据计数器16中所存储的判定信号来确定运动矢量检测面积,能够设定运动矢量检测装置21进行运动矢量检测的运动矢量检测面积,以跟随输入活动图象的运动,从而提高与输入活动图象的运动相一致的运动矢量检测面积的直接性。
尽管在本实施例中,检测面积确定器13输出至预测器12的运动矢量检测面积以帧为单元被更新,但是本发明并不局限于此。尽管运动矢量检测面积以帧为单元适用性地被确定,但是本发明并不局限于此。
从检测面积确定器13输出到预测器12的运动矢量检测面积的更新可以在n个单元的周期(n为自然数,n≤N)里进行。这里,N为一帧中的宏块总数,且n是宏块即一帧被分成一组单元的分割单元的总数。在这种情况下,计数器16也存储n个单元的周期里运动矢量切换面积内的运动矢量数目,当(运动矢量切换面积内的运动矢量数目)被(n个单元周期里的宏块数目)除得的商不小于预定的阈值时,运动矢量检测面积就被切换,且切换的运动矢量检测面积被反馈回运动矢量检测装置21和切换面积确定器14中。
例如,当(面积D中的运动矢量数目)被(n个单元的周期里宏块的数目)除得的商不小于预定的阈值时,运动矢量检测面积从运动矢量检测面积A3切换到运动矢量检测面积A4,例如图5(a)和图5(b)所示。即运动矢量检测面积减小了,并且例如,当(面积U中的运动矢量数目)被(n个单元的周期里宏块的数目)除得的商不小于预定的阈值时,运动矢量检测面积从运动矢量检测面积A3切换到运动矢量检测面积A2,例如图6(a)和图6(b)所示。即运动矢量检测面积扩大了。
通过采用这样的结构,能够改善与输入活动图象的运动相一致的运动矢量检测精度,并减少所产生的编码量。
下面参照图1中所示的框图,用图9来说明上述的一系列处理的流程。
首先,在步骤31,从输入终端1输入的输入活动图象被帧排序器2按解码顺序排序,并且成为宏块活动图象信号,其中输入的活动图象被分割成每帧N个宏块(N为不小于2的自然数)。
在步骤32,选择器开关18确定从帧排序器2中以解码顺序提取的宏块活动图象信号是I图象还是I图象以外的图象。当选择器开关18确定宏块活动图象信号是I图象的时,开关20关闭。
在步骤33,确定为I图象的宏块活动图象信号经过DCT3、量化器4、逆向量化器9、逆向DCT10和加法器19,并且I图象的宏块活动图象的解码信号存储到帧存储器11中。
然后在步骤34,判定一帧宏块活动图象信号的压缩解码是否完成,当一帧没有达到时,流程返回步骤32。
从排序器2中提取的宏块活动图象信号是否为I图象是在步骤32中确定的,当不是I图象时,在步骤35,选择器开关18确定它们是P图象还是B图象。
当确定了宏块活动图象信号是P图象时,在步骤36,由减法器17进行宏块活动图象信号和从预测器12中输出的预测的视频信号之间的减法运算,并输出差信号,开关20打开。
在步骤37,由步骤36中的减法运算得到的差信号经过DCT3、量化器4、逆向量化器9和逆向DCT10,由加法器19将P图象的逆向DCT信号和预测器12输出的预测视频信号(尽管在本实例中,预测的视频信号来自紧靠前的I图象,但是当P图象继续时,预测视频信号是来自紧靠前的P图象)相加,宏块参考信号存储在帧存储器11中,直到存储了一帧信号。与此同时,通过采用帧参考信号和来自帧排序器2的宏块活动图象信号之间的差异最小处的运动矢量,预测器12产生预测视频信号。
在步骤38中,步骤37产生的预测视频信号被输入到比较器15,比较器15将预测视频信号和切换面积确定器14所输出的运动矢量切换面积相比较,由此向计数器16输出宏块切换信号。计数器16存储该宏块切换信号,直到存储了一帧信号。
然后在步骤34中,确定是否完成了一帧宏块活动图象信号的压缩解码,当一帧没有达到时,流程返回步骤32。尽管在上述的实例中,开关20打开的步骤是步骤36,但是需要注意的是它可以是任何步骤,或者是步骤35,或者是步骤37,只要是在加法器19进行加法运算之前。
在步骤32中确定从排序器2中提取的宏块活动图象信号是否是I图象,当它们不是I图象时,在步骤35,选择器开关18确定它们是P图象还是B图象。
当确定了宏块活动图象信号是B图象时,在步骤39,由减法器17进行宏块活动图象信号和预测器12所输出的预测视频信号之间的减法运算,并输出差信号。在步骤39的减法运算中得到的差信号经过DCT3和量化器4,以在步骤40中产生量化信号,在步骤34中确定是否完成了一帧宏块活动图象信号的压缩解码,当一帧没有达到时,流程返回到步骤32。
当在步骤34中确定一帧已经完成时,在步骤41中帧切换信号从计数器16中输出到检测面积确定器13,检测面积确定器13向预测器12反馈回以帧为单元的运动矢量检测面积,并将它也输出到切换面积确定器14,切换面积确定器14产生运动矢量切换面积,并将其输出到比较器15。
在步骤41产生以帧为单元的运动矢量检测面积并将其输出到预测器12之后,在步骤42,活动图象信号终止,并确定下一帧是存在还是空白。当下一帧存在时,流程返回到帧排序器2,当下一帧空白时,流程结束。
尽管在上述实例中运动矢量检测面积以帧为单元进行更新,但是也可以以输入活动图象的预定分组为单元进行更新,例如屏幕单元,帧单元,或图象组(GOPs)单元。但是需要根据分组单元来改变运动矢量检测面积确定器13、帧存储器11等。
尽管是以MPEG压缩为例来说明上述实施例,但是压缩解码方法并不局限于MPEG,而是任何进行降低时间方向上的冗余度的帧间预测压缩方法都可适用,例如H.261或H.263。
根据本实施例,即使当存在用于运动矢量检测的一组检测面积,也能够在进行活动图像压缩编码时根据输入图象的运动速度选择最佳的运动矢量检测面积,而不会增加硬件规模,从而获得极好的效果,实现了高的图象质量。而且,即使在大运动的图象的情况下,也能够检测到合适的运动矢量,设定合适的运动矢量检测面积。
而且,本发明的程序使计算机执行上述本发明的运动矢量检测方法中的所有或一些步骤(或处理、操作、工作等)的操作,所说的程序与计算机进行一致的操作。
而且,本发明的记录介质能够保持使计算机执行上述的本发明运动矢量检测方法中的所有或一些步骤(或处理、操作、工作等)的操作的程序,所说的记录介质计算机可读,且读出的程序执行与计算机相一致的操作。
上述的本发明的“一些装置(设备、器件等)”是指多于一个的装置中的一个或一些装置,上述的本发明的“一些步骤(或处理、操作、工作等)”是指多于一个的步骤中的一个或一些步骤。
而且,上述的本发明的“装置(设备、器件等)的功能”是指上述装置的所有或一些功能,上述的本发明的“步骤(或处理、操作、工作等)的操作”是指上述步骤的所有或一些步骤。
而且,本发明的程序的使用可以是将该程序记录在计算机可读的记录介质上,并与计算机进行一致的操作。
而且,本发明的程序的使用可以是将该程序在传输介质上传输,被计算机读出,并与计算机进行一致的操作。
而且本发明的数据结构包括数据库、数据格式、数据表、数据列表和数据类。
而且记录介质包括只读存储器(ROMs),传输介质包括:例如因特网、光、无线电波和声波等传输介质。
而且,上面提到的本发明的计算机不局限于纯硬件,如CPU,而是可包括固件,操作系统(OS)和外围设备。
如上所述,可通过软件或通过硬件来实现本发明的结构。
工业适用性
从上面的说明中可明显看出,本发明能够提供活动图象压缩编码装置、运动矢量检测方法、记录介质、和程序,即使在大运动图象的情况下也能够检测合适的运动矢量并设定合适的运动矢量检测面积。
Claims (12)
1.一种活动图象压缩编码装置,其特征在于包括:
宏块发生装置,通过将输入的活动图象分割成每帧N个单元而得到宏块活动图象信号,N为不小于2的自然数;
编码和解码装置,对宏块活动图象信号进行压缩编码,然后将宏块活动图象信号解码,以产生解码的活动图象信号;
运动矢量检测装置,从解码的活动图象信号和宏块活动图象信号中检测到第一运动矢量检测面积内的运动矢量;
运动矢量计数装置,对检测到的运动矢量中位于第一最外线和第二最外线之间的运动矢量的数目进行计数,作为第一运动矢量的数目,其中第一最外线是第一运动矢量检测面积的最外线,第二最外线是位于第一运动矢量检测面积内的第二运动矢量检测面积的最外线;及
运动矢量检测面积确定装置,根据第一运动矢量的计数来扩大第一运动矢量检测面积。
2.如权利要求1所述的活动图象压缩编码装置,其特征在于运动矢量计数装置对位于第二运动矢量检测面积内的第三运动矢量检测面积上的运动矢量的数目进行计数,作为第二运动矢量的数目,并且
运动矢量检测面积确定装置根据第二运动矢量的计数来减小第一运动矢量检测面积。
3.如权利要求1所述的活动图象压缩编码装置,其特征在于运动矢量检测面积确定装置在第一运动矢量的计数大于预定的阈值时就扩大第一运动矢量检测面积,而在第一运动矢量的计数小于预定的阈值时不扩大第一运动矢量检测面积或不改变第一运动矢量检测面积。
4.如权利要求1所述的活动图象压缩编码装置,其特征在于当第一运动矢量的计数增加时,运动矢量检测面积确定装置就提高第一运动矢量检测面积的扩大比例。
5.如权利要求2所述的活动图象压缩编码装置,其特征在于当第二运动矢量的计数增加时,运动矢量检测面积确定装置就提高第一运动矢量检测面积的缩小比例。
6.如权利要求1所述的活动图象压缩编码装置,其特征在于有多种运动矢量检测面积预提供给运动矢量检测面积确定装置,并且
当第一运动矢量的计数增加时,就从各种运动矢量检测面积中选择出经扩大的运动矢量检测面积,并将所选的运动矢量检测面积设定为第一运动矢量检测面积。
7.如权利要求2所述的活动图象压缩编码装置,其特征在于有一组各种运动矢量检测面积提供给运动矢量检测面积确定装置,并且
当第二运动矢量的计数增加时,就从各种运动矢量检测面积中选择出经减小的运动矢量检测面积,并将所选的运动矢量检测面积设定为第一运动矢量检测面积。
8.如权利要求1所述的活动图象压缩编码装置,其特征在于运动矢量检测面积确定装置在每个P帧或在将P帧分割成n个单元,n为自然数且n≤N,所得的每个分割单元上更新第一运动矢量检测面积,并且
在更新第一运动矢量检测面积时,当P帧中或分割单元中的第一运动矢量计数被P帧中或分割单元中的宏块活动图象信号数目除得的商不小于预定的阈值时,运动矢量检测面积确定器就扩大第一运动矢量检测面积。
9.如权利要求2所述的活动图象压缩编码装置,其特征在于运动矢量检测面积确定装置在每个P帧或在将P帧分割成n个单元,n为自然数且n≤N,所得的每个分割单元上更新第一运动矢量检测面积,并且
在第一运动矢量检测面积被更新时,当P帧中或分割单元中的第二运动矢量计数被P帧中或分割单元中的宏块活动图象信号数目除得的商不小于预定的阈值时,运动矢量检测面积确定器就减小第一运动矢量检测面积。
10.如权利要求1、3、4、6和8中的任何一个所述的活动图象压缩编码装置,其特征在于运动矢量检测装置在扩大第一运动矢量检测面积时也扩大第二运动矢量检测面积。
11.如权利要求2、4、7和9中任何一个所述的活动图象压缩编码装置,其特征在于运动矢量检测装置在减小第一运动矢量检测面积时也减小第二运动矢量检测面积。
12.一种运动矢量检测方法,其特征在于包括:
运动矢量检测步骤,从解码的活动图象信号和宏块活动图象信号中检测到第一运动矢量检测面积内的运动矢量,其中通过将输入的活动图象分割成每帧N个单元,N为不小于2的自然数,得到压缩编码的宏块活动图象信号,然后对压缩编码的宏块活动图象信号进行解码得到解码的活动图象信号;
运动矢量计数步骤,对检测到的运动矢量中位于第一最外线和第二最外线之间的运动矢量的数目进行计数,作为第一运动矢量的数目,其中第一最外线是第一运动矢量检测面积的最外线,第二最外线是位于第一运动矢量检测面积内部的第二运动矢量检测面积的最外线;和
运动矢量检测面积确定步骤,根据第一运动矢量的计数来扩大第一运动矢量检测面积。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP391441/2001 | 2001-12-25 | ||
JP2001391441 | 2001-12-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1505900A CN1505900A (zh) | 2004-06-16 |
CN1266947C true CN1266947C (zh) | 2006-07-26 |
Family
ID=19188521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028091329A Expired - Fee Related CN1266947C (zh) | 2001-12-25 | 2002-12-24 | 活动图象压缩编码装置及运动矢量检测方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20040105589A1 (zh) |
EP (1) | EP1460854A4 (zh) |
KR (1) | KR100632072B1 (zh) |
CN (1) | CN1266947C (zh) |
TW (1) | TWI225372B (zh) |
WO (1) | WO2003056838A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050169376A1 (en) * | 2004-01-30 | 2005-08-04 | Pai Ramadas L. | Motion vector address computer error detection |
KR100763205B1 (ko) * | 2006-01-12 | 2007-10-04 | 삼성전자주식회사 | 모션 역변환을 사용하여 모션 예측을 수행하는 방법 및장치 |
US8442318B2 (en) * | 2006-02-13 | 2013-05-14 | Snell Limited | Method and apparatus for modifying a moving image sequence |
US7916141B2 (en) * | 2006-04-10 | 2011-03-29 | Choi Kum-Young | Image processing system using vector pixel |
CN101137065A (zh) * | 2006-09-01 | 2008-03-05 | 华为技术有限公司 | 图像编码方法、解码方法、编码器、解码器、编解码方法及编解码器 |
CN101755461B (zh) * | 2007-07-20 | 2012-06-13 | 富士胶片株式会社 | 图像处理设备、图像处理方法 |
US8428023B2 (en) * | 2010-10-22 | 2013-04-23 | Motorola Solutions, Inc. | Method and apparatus for distributing video packets over multiple bearers for providing unequal packet loss protection |
US8649339B2 (en) * | 2010-10-22 | 2014-02-11 | Motorola Solutions, Inc. | Method and apparatus for distributing video packets over multiple bearers for providing unequal packet loss protection |
KR20120088488A (ko) * | 2011-01-31 | 2012-08-08 | 한국전자통신연구원 | 시간적 움직임 벡터 저장 방법 및 그 장치 |
EP3139611A1 (en) | 2011-03-14 | 2017-03-08 | HFI Innovation Inc. | Method and apparatus for deriving temporal motion vector prediction |
EP2981089B1 (en) * | 2013-03-29 | 2019-07-10 | Fujitsu Limited | Encoding device, computer system, encoding method, encoding program, and recording medium |
US11812168B2 (en) * | 2020-01-07 | 2023-11-07 | Semiconductor Components Industries, Llc | Imaging devices with image transform circuitry for improved motion detection |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2231225B (en) * | 1989-04-27 | 1993-10-20 | Sony Corp | Motion dependent video signal processing |
TW224553B (en) * | 1993-03-01 | 1994-06-01 | Sony Co Ltd | Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture |
US5537155A (en) * | 1994-04-29 | 1996-07-16 | Motorola, Inc. | Method for estimating motion in a video sequence |
JP3094893B2 (ja) * | 1995-03-03 | 2000-10-03 | ケイディディ株式会社 | 動画像符号化装置 |
US5841476A (en) * | 1995-03-03 | 1998-11-24 | Kokusai Denshin Denwa Co. Ltd. | Coding apparatus for encoding motion picture |
JPH0955941A (ja) * | 1995-08-16 | 1997-02-25 | Sony Corp | 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置 |
JP3994445B2 (ja) * | 1995-12-05 | 2007-10-17 | ソニー株式会社 | 動きベクトル検出装置及び動きベクトル検出方法 |
JP3724662B2 (ja) * | 1996-04-12 | 2005-12-07 | ソニー株式会社 | 画像符号化装置及び画像符号化方法 |
MY118360A (en) * | 1996-04-30 | 2004-10-30 | Nippon Telegraph & Telephone | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter field prediction coding and intra-frame/intra-field coding |
JPH1023420A (ja) * | 1996-07-02 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 動き検出方法および動き検出装置 |
JPH1155677A (ja) * | 1997-08-08 | 1999-02-26 | Fujitsu Ltd | 動画像符号化装置 |
JP2891250B2 (ja) * | 1997-10-21 | 1999-05-17 | 日本電気株式会社 | 動画像符号化方法および装置 |
JP3149840B2 (ja) * | 1998-01-20 | 2001-03-26 | 日本電気株式会社 | 動きベクトル検出装置及び方法 |
JP4378824B2 (ja) * | 2000-02-22 | 2009-12-09 | ソニー株式会社 | 画像処理装置及び方法 |
EP1134981A1 (en) * | 2000-03-17 | 2001-09-19 | STMicroelectronics S.r.l. | Automatic setting of optimal search window dimensions for motion estimation |
-
2002
- 2002-12-24 KR KR1020037013911A patent/KR100632072B1/ko not_active IP Right Cessation
- 2002-12-24 EP EP02793365A patent/EP1460854A4/en not_active Withdrawn
- 2002-12-24 US US10/467,420 patent/US20040105589A1/en not_active Abandoned
- 2002-12-24 TW TW091137192A patent/TWI225372B/zh not_active IP Right Cessation
- 2002-12-24 WO PCT/JP2002/013413 patent/WO2003056838A1/ja active Application Filing
- 2002-12-24 CN CNB028091329A patent/CN1266947C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1505900A (zh) | 2004-06-16 |
TWI225372B (en) | 2004-12-11 |
US20040105589A1 (en) | 2004-06-03 |
EP1460854A1 (en) | 2004-09-22 |
KR100632072B1 (ko) | 2006-10-04 |
TW200301655A (en) | 2003-07-01 |
WO2003056838A1 (en) | 2003-07-10 |
EP1460854A4 (en) | 2008-10-22 |
KR20040016856A (ko) | 2004-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1254113C (zh) | 图像编码装置、图像编码方法、图像解码装置、图像解码方法和通信装置 | |
CN1220391C (zh) | 图像编码装置、图像译码装置、图像编码方法和图像译码方法 | |
CN1305311C (zh) | 图像编码装置、图像解码装置、图像编码方法、及图像解码方法 | |
CN1193620C (zh) | 视频编码器的运动估计方法及系统 | |
CN1280709C (zh) | 退色补偿的参数化 | |
CN1285216C (zh) | 图像编码方法和装置、图像译码方法和装置 | |
CN1257614C (zh) | 信号编码方法与装置以及信号解码方法与装置 | |
CN1535024A (zh) | 视频编码设备、方法和程序及视频解码设备、方法和程序 | |
CN1428939A (zh) | 视频编码装置 | |
CN1926875A (zh) | 运动补偿方法 | |
CN1201332A (zh) | 活动图象编码译码装置和方法以及活动图象编码记录媒体 | |
CN1226782A (zh) | 运动补偿装置和运动图象编码装置及方法 | |
CN1910933A (zh) | 图像信息编码装置和图像信息编码方法 | |
CN1495674A (zh) | 运动向量补偿的内插装置和方法 | |
CN1650526A (zh) | 信号编码及译码方法、编码及译码装置、编码及译码程序 | |
CN1767654A (zh) | 图像编码器及其方法、图像编码器的计算机程序和移动终端 | |
CN1266947C (zh) | 活动图象压缩编码装置及运动矢量检测方法 | |
CN1917647A (zh) | 自适应地选择用于熵编码的上下文模型的方法和设备 | |
CN1816154A (zh) | 用于运动估计的方法和装置 | |
CN101043621A (zh) | 一种自适应插值处理方法及编解码模块 | |
CN1620821A (zh) | 图像信息编码装置和图像信息编码方法、图像信息解码装置和图像信息解码方法 | |
CN101039433A (zh) | 视频编码方法、视频编码装置和视频编码程序 | |
CN1652608A (zh) | 数据处理装置及其方法以及编码装置和解码装置 | |
CN1842164A (zh) | 解码视频数据的解码器和系统 | |
CN1794816A (zh) | 运动图像压缩编码方法、运动图像压缩编码装置以及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20060726 Termination date: 20101224 |