CN1292596C - 动态矢量检测装置 - Google Patents
动态矢量检测装置 Download PDFInfo
- Publication number
- CN1292596C CN1292596C CNB200410092643XA CN200410092643A CN1292596C CN 1292596 C CN1292596 C CN 1292596C CN B200410092643X A CNB200410092643X A CN B200410092643XA CN 200410092643 A CN200410092643 A CN 200410092643A CN 1292596 C CN1292596 C CN 1292596C
- Authority
- CN
- China
- Prior art keywords
- motion vector
- search
- image
- point
- coded object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Abstract
本发明涉及动态矢量检测装置。在考虑MPEG图象类型、在B图象的情况下、禁止或限制周边块的参照的现有装置中,不能抑制P图象的运算量增加,另外,B图象的编码效率会下降。搜索初始点确定单元从分级MV与周边MV中,检测出提供最小误差评价值点a的MV,仅将最小误差评价值点a作为搜索初始点。动态矢量搜索单元求出通过参照图像信号与编码图像信号得到的图像中的、例如以搜索初始点为中心的±2象素的搜索范围的全部搜索点与误差评价值。动态矢量确定/输出单元检测出具有最小误差评价值的搜索点,作为最小误差评价值点b,并将基于该最小误差评价值点b的矢量确定为动态矢量。由此,可省略无用的搜索,另外,也可提高B图象的编码效率。
Description
技术领域
本发明涉及一种动态矢量检测装置和动态矢量检测程序,尤其涉及对动态图像压缩编码时的动态补偿必需的动态矢量进行检测的动态矢量检测装置和动态矢量检测程序。
背景技术
在以MPEG(Moving Picture Experts Group,即“动态图像专家组”)为代表的动态图像的压缩编码中,多使用利用帧间相关来压缩编码量的动态补偿预测编码。在动态补偿预测编码中,需要表示编码对象图像与参照图像的各块(即,由预定数量的象素构成的二维集合体)的相对位置关系的动态矢量。该动态矢量在块间的误差评价值越小就越提高动态补偿预测的精度,提高编码效率。
上述的所谓误差评价值一般是使用块匹配、用绝对差分之和或差分平方之和等来表现块间差异的预测误差、或由基于动态矢量编码量或DCT(离散余弦变换:Discrete Cosine Transform)系数编码量的编码量换算等表现的值。下面,说明用于减小误差评价值的动态矢量检测装置。
作为可检测最小误差评价值的动态矢量检测装置,有使用完全检索的动态矢量检测装置。完全检索统一搜索参照帧内的搜索范围内的全部候补点,检测出带来最小误差评价值的动态矢量。在完全检索中,在搜索范围内,必定能检测到具有最小误差评价值的点,但由于统一搜索搜索范围内的全部候补点,所以存在需要庞大运算量的问题。
为了削减完全检索的运算量,有基于分级型动态矢量检测法的动态矢量检测装置。该动态矢量检测装置如图3所示,对使分辨率降低的缩小图像301,求出缩小图像对应块302的动态矢量303,根据缩小图像301的缩小率来扩展该求出的动态矢量303,从而求出对应于原图像304的分级动态矢量306。另外,对于原图像304,将分级动态矢量306作为搜索初始点307,根据搜索初始点307,确定动态矢量搜索范围308,在该动态矢量搜索范围308中搜索动态矢量。这里,缩小图像对应块302是原图像304中的编码对象块305在缩小图像301中的对应块。
另外,即使不制作缩小图像、仅将原图像的对象块的象素中的代表象素作为块匹配对象的间隔剔除检索中,也因为可算出分级动态矢量,所以这种间隔剔除检索也包含在分级型动态矢量检测法中。
分级型动态矢量检测装置以少的运算量求出作为搜索初始点的分级动态矢量306,因此削减运算量,但仅捕捉到大局动作的分级动态矢量306一旦脱离真的动作,则存在未能进行搜索、编码效率下降的问题。
另外,作为用于削减完全检索的运算量的其它装置,有基于周边块参照法的动态矢量检测装置。该动态矢量检测装置将周边块的动态矢量中的至少一个作为搜索初始点,来搜索动态矢量。这里,所谓周边块如图4所示,是指与成为编码对象的编码对象块405邻接的块401-404和块406-409中、已求出动态矢量的块。一般来说,求出动态矢量的顺序为块401、402、403、...、409的顺序,当搜索编码对象块405的动态矢量时,已求出动态矢量的块为401-404。
由于基于周边块参照法的动态矢量检测装置,将已求出的动态矢量用作搜索初始点,所以不需要算出新的搜索初始点的运算量,大幅度削减运算量,但在产生不在周边块中的新的动作的情况下,存在未能进行搜索、编码效率下降的问题。
为了解决分级型动态矢量检测法的问题与周边块参照法的问题,提出有将分级型动态矢量检测法与周边块参照法相组合的动态矢量检测装置。该动态矢量检测装置将由分级型动态矢量检测法求出的动态矢量与由周边块参照法求出的动态矢量中、误差评价值较小的一方设为动态矢量。
该动态矢量检测装置在作为分级型动态矢量检测法的问题的、求出缩小图像中弄错的动态矢量的情况下,由于采用由周边块参照法求出的动态矢量,所以编码效率不会下降。另外,在作为周边块参照法的问题的、产生不在周边块中的新的动作的情况下,由于采用由分级型动态矢量求出的动态矢量,编码效率不会下降。这样,通过组合分级型动态矢量检测法与周边块参照法,可解决各个动态矢量检测方法的问题。
但是,由于该动态矢量检测装置的运算量需要基于分级型动态矢量检测法的运算量和基于周边块参照法的运算量,所以存在运算量增加的问题。
因此,为了削减作为将分级型动态矢量检测法和周边块参照法相组合的动态矢量检测装置的问题的运算量,现有技术中有一种动态矢量检测装置(例如参照专利文献1),该动态矢量检测装置考虑MPEG的图象类型,在作为双向预测编码图像的B图象的情况下,禁止(或限制)参照周边块。
下面,用图11来说明该现有的动态矢量检测装置的结构。图11表示现有的动态矢量检测装置的一例的框图。如图11所示,该现有的动态矢量检测装置,由参照图像存储器101、编码图像存储器102、分级MV计算单元103、周边MV存储器104、周边MV提供控制单元105、动态矢量搜索单元106、搜索点/误差评价值存储器107和动态矢量确定/输出单元108构成。
参照图像存储器101存储所输入的参照图像信号。编码图像存储器102存储所输入的编码对象图像信号。
分级MV计算单元103根据参照图像信号与编码对象图像信号,制作分辨率比原图像低的缩小图像,在对该缩小图像求出对应的编码对象块的动态矢量(MV)之后,通过根据缩小图像的缩小率来扩展该求出的动态矢量,算出对应于原图像的动态矢量,作为分级MV。将该分级MV提供给动态矢量搜索单元106。另外,在不制作缩小图像、而仅将原图像的对象块象素中的代表象素作为块匹配对象的间隔剔除检索中,也可算出分级动态矢量(分级MV)。
周边MV存储器104存储编码对象块的周边MV。周边MV提供控制单元105将编码对象块的周边MV,提供给动态矢量搜索单元106,但考虑MPEG的图象类型,控制周边MV的提供。例如,在B图象的情况下,通过禁止(或限制)周边MV的提供,可抑制B图象的运算量的增加。
这里,用图12的流程图来说明周边MV提供控制单元105的动作。首先,周边MV提供控制单元105判断表示输入的编码图像的图象类型的图象类型信号是否表示B图象(步骤S21)。在表示B图象的情况下,不提供来自周边MV存储器104的周边MV,或限制周边MV,提供给动态矢量搜索单元106(步骤S22)。在不表示B图象的情况下(作为帧间顺时针方向预测编码图像的P图象的情况下),将存储在周边MV存储器104中的全部周边MV都提供给动态矢量搜索单元106(步骤S23)。
再返回图11进行说明,动态矢量搜索单元106从分级MV计算单元103输入分级MV,作为搜索初始点,并从周边MV提供控制单元105输入周边MV,作为搜索初始点,对各个搜索初始点,例如对以搜索初始点为中心的±2象素等进行搜索,将搜索点和误差评价值存储在搜索点/误差评价值存储器107中。
动态矢量确定/输出单元108从进行了动态矢量搜索的点中,检测出最小误差评价值点b,并将基于最小误差评价值点b的矢量确定为动态矢量,将所确定的动态矢量从输出端子109输出到该装置的外部,同时,存储在周边MV存储器104中。在该现有的动态矢量检测装置中,当将分级型动态矢量检测法和周边块参照法相组合来检测动态矢量时,通过考虑MPEG的图象类型,在B图象的情况下,禁止(或限制)周边块的参照,可抑制B图象的运算量的增加。
专利文献1:特开平8-265773号公报。
但是,图11所示的现有动态矢量检测装置中,在P图象的情况下,动态矢量搜索单元106将分级MV与周边MV用作搜索初始点,搜索动态矢量,但由于分级MV为1个,而周边MV最大为4个,所以由于将分级MV与周边MV(共计最大5个)全部设为搜索初始点,所以运算量增加。
另外,在B图象的情况下,通过禁止提供周边MV,仅分级MV成为搜索初始点,可抑制运算量的增加,但在由周边块参照来求出动态矢量优于由分级型动态矢量检测求出动态矢量的情况下,也由分级型动态矢量检测来求出动态矢量,所以存在编码效率下降的问题。
发明内容
本发明是鉴于上述问题而作出的,其目的在于提供一种动态矢量检测装置和动态矢量检测程序,通过在分级MV与存储MV中检测出提供最小误差评价值点的动态矢量,并仅将最小误差评价值点作为搜索初始点来搜索动态矢量,从而可不使编码效率下降地对P图象、B图象都削减运算量。
另外,本发明的另一目的在于提供一种动态矢量检测装置,对于全部的图象类型(P图象、B图象),在进一步提高编码效率的同时,不依赖于图象类型,结构简单。
为了实现上述目的,第1发明的动态矢量检测装置,检测出作为动态图像的编码对象图像的动态补偿预测编码中必需的、表示编码对象图像与参照图像各自的预定象素数量的二维象素集合体即块的相对位置关系的动态矢量,使编码对象图像与参照图像各块间的误差评价值变小,其特征在于,具有:分级动态矢量计算单元,在求出根据编码对象图像与参照图像制作的、分辨率比原图像低的图像中的、表示编码对象图像的编码对象块与参照图像块的相对位置关系的动态矢量之后,对应于分辨率的降低来扩展所求出的动态矢量,从而算出分级动态矢量;搜索初始点确定单元,求出在编码对象块的动态矢量检测之前检测到的动态矢量即存储动态矢量和根据该存储动态矢量算出的算出动态矢量中至少一方的动态矢量、与分级动态矢量计算单元算出的分级动态矢量的各误差评价值,检测出这些误差评价值中最小值的误差评价值所对应的动态矢量,作为最小误差评价值点a,并将该最小误差评价值点a确定为搜索初始点;动态矢量搜索单元,对参照图像中的、根据编码对象块的搜索初始点确定的搜索范围内的搜索点、和对应于该搜索点的误差评价值进行搜索;和动态矢量确定/输出单元,在由动态矢量搜索单元搜索的搜索点中,将由动态矢量搜索单元搜索的误差评价值为最小值的搜索点,作为最小误差评价值点b检测出,并将基于该最小误差评价值点b的矢量,确定为表示编码对象图像与参照图像的各块间的相对位置关系的动态矢量并输出。
另外,为了实现上述目的,第2发明的动态矢量检测装置的特征在于,将第1发明的分级动态矢量计算单元构成为:根据编码对象图像与参照图像,制作分辨率比原图像低的缩小图像,并对该缩小图像求出表示对应的编码对象图像块与参照图像块的相对位置关系的动态矢量,之后,根据缩小图像的缩小率来扩展该求出的动态矢量,由此算出对应于原图像的动态矢量,作为分级动态矢量。
另外,为了实现上述目的,第3发明的动态矢量检测装置的特征在于,将第1发明的搜索初始点确定单元构成为:将与成为编码对象的编码对象块邻接的、已求出动态矢量的周边块的动态矢量,用作存储动态矢量,求出该周边块的动态矢量与分级动态矢量计算单元算出的分级动态矢量的各误差评价值,并检测出这些误差评价值中最小值的误差评价值所对应的动态矢量,作为最小误差评价值点a,并将该最小误差评价值点a确定为搜索初始点。
另外,为了实现上述目的,第4发明的动态矢量检测装置的特征在于,将第1发明的搜索初始点确定单元构成为:将参照图像中空间上位于与编码对象块相同位置的块所具有的参照图像动态矢量,有多个参照图像的情况下已求出的对参照图像的多参照动态矢量,与编码对象块邻接的、根据已求出动态矢量的周边块的动态矢量来预测的预测动态矢量中的至少任一个动态矢量,作为根据存储动态矢量算出的算出动态矢量,来求出算出动态矢量与分级动态矢量计算单元算出的分级动态矢量的各误差评价值,并检测出这些误差评价值中最小值的误差评价值所对应的动态矢量,作为最小误差评价值点a,将该最小误差评价值点a确定为搜索初始点。
另外,为了实现上述目的,第5发明的动态矢量检测装置的特征在于,将第1发明的动态矢量搜索单元构成为:将搜索范围内的搜索图案中心的搜索点,设为由搜索初始点确定单元确定的搜索初始点,针对该搜索初始点和其周边的预定的多个各搜索点,分别算出各编码对象块与对应位置的参照图像块之间的误差评价值,并执行追踪检索,将搜索图案的中心移动到误差评价值较小一方的周边搜索点,来搜索动态矢量,直到算出的误差评价值最小的搜索点成为搜索图案中心的搜索点。
另外,为了实现上述目的,第6发明的动态矢量检测程序的特征在于,由计算机来实现上述第1发明的动态矢量检测装置。
在本发明中,求出在编码对象块的动态矢量检测之前检测到的动态矢量即存储动态矢量和根据存储动态矢量算出的算出动态矢量中至少一方的动态矢量、与分级动态矢量的各误差评价值,并检测这些误差评价值中最小值的误差评价值所对应的动态矢量,作为最小误差评价值点a,将该最小误差评价值点a确定为搜索初始点,并根据参照图像中的、根据编码对象块的上述搜索初始点确定的搜索范围内的搜索点、和对应于该搜索点的误差评价值,检测最终的动态矢量,所以,可节省无用的搜索,另外,与将分级动态矢量与周边块的动态矢量即周边动态矢量都作为搜索初始点,分别对其执行动态矢量搜索的现有装置相比,可大幅度降低运算量。另外,在本发明中,除存储动态矢量之外,还可利用与编码对象块相同位置的参照图像所具有的参照图像动态矢量、或有多个参照图像的情况下已求出的对参照图像的多参照动态矢量、或预测动态矢量(PMV)等。
另外,考虑MPEG的图象类型,在B图象的情况下,禁止(或限制)周边块等的存储动态矢量的参照,从而与抑制B图象的运算量增加的现有装置相比,在本发明中,可减少P图象情况下的运算量。另外,在本发明中,B图象的情况下也可参照周边块,并且不必考虑MPEG的图象类型,可与P图象、B图象无关地同样检测出动态矢量。
发明效果
根据本发明,通过检测出分级动态矢量与存储动态矢量中、提供最小误差评价值点的动态矢量,并仅将最小误差评价值点作为搜索初始点来搜索动态矢量,从而与将分级动态矢量和周边动态矢量全部作为搜索初始点、对其分别执行动态矢量搜索的现有装置相比,可在大幅度降低运算量的同时,搜索误差评价值最小的可能性高的点,并且可节省无用的搜索,可不使编码效率下降地对P图象、B图象都削减运算量。
另外,根据本发明,除作为存储动态矢量的周边动态矢量外,还可利用作为根据存储动态矢量算出的动态矢量的、与编码对象块相同位置的参照图像所具有的参照图像动态矢量、或有多个参照图像的情况下已求出的对参照图像的多参照动态矢量、或预测动态矢量(PMV)等,从而搜索初始点候补增加,对应于搜索初始点的误差评价值变小,所以可进一步提高编码效率。
另外,作为根据搜索初始点的动态矢量搜索单元,在执行追踪搜索的情况下,将分级动态矢量与存储动态矢量中、提供最小误差评价值点的动态矢量作为搜索初始点,因为搜索初始点的误差评价值小,所以进一步得到搜索初始点的误差评价值越小编码效率更提高、削减运算量的追踪搜索的效果。
另外,根据本发明,将分级动态矢量与存储动态矢一同作为搜索初始点候补来进行同样的处理,所以可简化装置的结构,另外,不必考虑MPEG的图象类型,可与P图象、B图象无关地同样检测动态矢量,所简化装置的结构。
附图说明
图1是本发明动态矢量检测装置的一实施方式的框图。
图2是图1中的搜索初始点确定单元的动作说明用流程图。
图3是分级MV计算方法的一例的说明图。
图4是周边块参照法的周边块的说明图。
图5是参照图像MV的说明图。
图6是参照图像MV的计算说明图。
图7是多参照MV的计算说明图。
图8是PMV的计算说明图。
图9是动态矢量搜索一例的说明图。
图10是基于间隔剔除检索的分级MV计算方法的一例的说明图。
图11是现有动态矢量检测装置一例的框图。
图12是图11中的周边MV提供控制单元的动作说明用流程图。
具体实施方式
下面,参照附图来说明本发明的实施方式。图1是本发明的动态矢量检测装置一实施方式的框图。该图中,在与图11相同的结构部分标注相同标记。
本实施方式由参照图像存储器101、编码图像存储器102、分级MV计算单元103、搜索点/误差评价值存储器107、动态矢量确定/输出单元108、MV存储器111、搜索初始点确定单元112和动态矢量搜索单元113构成,与图11的现有动态矢量检测装置相比,设置MV存储器111来代替周边MV存储器104,设置搜索初始点确定单元112来代替周边MV提供控制单元105,动态矢量搜索单元113根据由该搜索初始点确定单元112确定的搜索初始点,搜索动态矢量。
下面,说明本实施方式的动作。应通过MPEG方式进行压缩编码的动态图像信号即编码对象图像信号,被供给编码图像存储器102并存储在其中。另外,参照图像信号被供给到参照图像存储器101中并存储在其中。该参照图像信号可以是局部解码前的图像信号,也可以是局部解码后的图像信号,可以是其中任一种。
分级MV计算单元103根据从参照图像存储器101中读取的参照图像信号、和从编码图像存储器102中读取的编码对象图像信号,制作分辨率比原图像低的缩小图像,对该缩小图像求出对应的编码对象块的动态矢量(MV),通过根据缩小图像的缩小率来扩展该求出的动态矢量,算出对应于原图像的动态矢量,作为分级MV。将该分级MV提供给搜索初始点确定单元112。
另外,如上所述,在不制作缩小图像、而仅将原图像的对象块象素中的代表象素作为块匹配对象的间隔剔除检索中,也可算出分级MV。在该间隔剔除检索中,在图10中,首先求出原图像的间隔剔除块1001的动态矢量1002。这里,间隔剔除块1001由用黑圆表示的代表象素1003和用白圆表示的其它象素1004构成,其它象素1004是经间隔剔除而仅将代表象素1003作为块匹配对象的、分辨率比原图像低的图像,根据该间隔剔除块1001求出编码对象块和参照图像块之间的动态矢量1002。
另外,通过根据其它象素1004与上述代表象素1003的比例即间隔剔除率(相当于所述图3的缩小率)来扩展该动态矢量1002,求出对应于存在全部象素的原图像的图10中用1005表示的动态矢量,作为分级MV。将该分级MV1005作为搜索初始点1006,根据搜索初始点1006,确定动态矢量搜索范围1007,并在该动态矢量搜索范围1007中搜索动态矢量。
另一方面,在MV存储器111中,存储有从动态矢量确定/输出单元108输出的动态矢量中的、作为编码对象块的搜索初始点候补的存储MV。所谓存储MV例如是与成为编码对象的编码对象块邻接,并已求出动态矢量的周边块的动态矢量(周边MV)等。搜索初始点确定单元112根据上述存储MV和根据存储MV算出的MV的至少任一方,来确定搜索初始点。这里,所谓根据存储MV算出的MV如后所述,在参照图像中,是空间上位于与编码图像的编码对象块相同场所的块所具有的MV(参照图像MV)、或有多个参照图像的情况下已求出的对参照图像的动态矢量(多参照MV)、或预测动态矢量(PMV)等。
下面,用图5首先来说明根据上述存储MV算出的MV中的参照图像MV。对于图5(B)所示的编码对象图像的编码对象块501,将参照图像中位于与编码对象块501相同场所的、图5(A)所示的块502的动态矢量503,设为参照图像MV。参照图像MV可以是其本身,但一般如图6所示,考虑帧间距离,根据存储动态矢量来算出。
例如,如图6所示,若按照显示顺序将参照图像参照的图像11的帧序号设为1、编码对象图像12的帧序号设为2、参照图像13的帧序号设为3,另外,用(2,-2)来表示参照图像13的动态矢量503的坐标,则由于通过将作为存储动态矢量的参照图像的动态矢量503扩展-1/2(={(编码对象图像12的帧序号)-(参照图像13的帧序号)}/{(参照图像13的帧序号)-(参照图像所参照的图像11的帧序号)}=(2-3)/(3-1))倍,得到参照图像MV,所以参照图像MV601的坐标变为(-1,1)。参照图像MV在参照图像为I图象之外的情况下存在。
下面,用图7来说明上述多参照MV。如图7所示,将编码对象图像23的两个参照图像设为第1参照图像21和第2参照图像22的两个,设已检测出第1参照图像21的动态矢量701。此时,多参照MV是对表示存储矢量的编码对象图像的编码对象块的参照图像21的动态矢量701,结合编码图像与参照图像的帧间距离来考虑而算出的动态矢量702。
例如,如图7所示,在按照显示顺序,第2参照图像22的帧序号为1、第1参照图像21的帧序号为2、编码对象图像23的帧序号为3,动态矢量701相对于第1参照图像21的坐标为(-3,1)的情况下,多参照MV的坐标是通过将相对于第1参照图像21的动态矢量701,扩展2(={(编码对象图像23的帧序号)-(第2参照图像22的帧序号)}/{(编码对象图像23的帧序号)-(第1参照图像21的帧序号)}=(3-1)/(3-2))倍来算出的(-6,2)。
另外,也可不执行考虑帧间距离的伸缩,将参照图像21的动态矢量701设为多参照MV。多参照MV在存在多个参照图像的情况下,存在于对第2个以后的参照图像检测动态矢量的情况。
下面,说明上述PMV。PMV用于算出对动态矢量进行编码时的差分动态矢量(DMV),动态矢量越接近PMV,DMV越小,动态矢量编码量减少。PMV的计算方法对每个编码标准都不同,以将周边MV的中央值(中值)设为PMV的方法为例,用图8进行说明。将编码对象块804的周边块设为801、802、803,将对应于各块的动态矢量设为805、806、807。在用坐标(2,-3)表示动态矢量805、用坐标(4,-4)表示动态矢量806、用坐标(-2,-5)表示动态矢量807的情况下,x分量的中值为2,y分量的中值为-4,所以PMV为(2,-4)。这样,在将PMV设为周边MV的中值的情况下,算出不在周边MV中的新的MV来作为PVM。
这样,不仅可利用作为在编码对象块的动态矢量检测之前检测到的动态矢量即存储MV的周边MV,还可利用与编码对象块相同位置的参照图像具有的MV(参照图像MV)、或存在多个参照图像的情况下的已求出的对参照图像的动态矢量(多参照MV)、或预测动态矢量(PMV)等根据存储MV算出的MV,从而与仅使用周边MV的现有装置相比,因为搜索初始点候补增加,对应于搜索初始点的误差评价值变小,所以可进一步提高编码效率。
再返回图1来说明,搜索初始点确定单元112从来自分级MV计算单元103的分级MV、与从MV存储器111得到的存储MV和根据存储MV算出的算出MV中的至少一个中,检测提供最小误差评价值点a的MV,仅将最小误差评价值点a作为搜索初始点,提供给动态矢量搜索单元113。
这里,用图2的流程图来更详细地说明搜索初始点确定单元112的动作,但为了简化,以存储MV仅为周边MV的情况为例进行说明。首先,例如根据块间的绝对差分之和求出由分级MV计算单元103求出的分级MV下的误差评价值Eh(步骤S11)。上述绝对差分之和是依次相加编码对象图像信号的编码对象块、和参照图像信号的参照块对应象素的差分绝对值的合计值(总和)。
接着,例如与上述误差评价值Eh一样,根据块间的绝对差分之和求出4个周边MV的各误差评价值Es1-Es4(步骤S12)。这里,分级MV或周边MV表示编码对象图像信号的编码对象块与参照图像信号的参照块的相对位置。
另外,上述说明中以周边MV为4个的情况为例,但在图像端部的情况等周边MV不为4个的情况下,仅求出存在的周边MV的误差评价值。另外,将周边MV定义为图4的401-404,但定义不限于此。例如,也可将周边MV设为402-404。
接着,搜索初始点确定单元112将具有求出的误差评价值Eh、Es1-Es4中的最小误差评价值的点(动态矢量),设为最小误差评价值点a(步骤S13)。最后,搜索初始点确定单元112将最小误差评价值点a确定为搜索初始点,提供给动态矢量搜索单元113(步骤S14)。
另外,搜索初始点确定单元112在上述说明中,将具有分级MV与周边MV的各误差评价值最小的值的点,确定为最小误差评价值点a,但也可构成为:根据作为存储MV的周边MV、和根据该存储MV算出的算出MV(所述参照图像MV、多参照MV和PMV)中的至少一个MV的误差评价值、和分级MV的误差评价值Eh,求出最小误差评价值点a。因此,搜索初始点确定单元112具有计算功能,根据从MV存储器111得到的存储MV,算出所述参照图像MV、多参照MV和PMV中的至少一个算出MV,在预定为求出最小误差评价值点的MV时,计算出该算出MV;和例如与上述误差评价值Eh一样、根据块间的绝对差分之和求出该算出MV的误差评价值Es的功能。
再返回图1来说明,动态矢量搜索单元113从搜索初始点确定单元112输入搜索初始点(最小误差评价值点a),并且,输入从参照图像存储器101读取的参照图像信号、和从编码图像存储器102中读取的编码对象图像信号,对参照图像信号的参照图像中的、例如以搜索初始点(最小误差评价值点a)为中心的±2象素的搜索范围的全部点(象素)进行搜索,由此得到搜索点,同时,例如根据块间的绝对差分之和来求出搜索点的误差评价值,并将这些搜索点与该误差评价值对应地存储于搜索点/误差评价值存储器107中。
进一步说明基于上述动态矢量搜索单元113的动态矢量搜索动作,动态矢量搜索单元113如图9(A)所示,根据上述参照图像901中的、基于上述编码对象图像信号的编码对象块902的搜索初始点(最小误差评价值点a)903,如图9(B)所示,对以搜索初始点(最小误差评价值点a)903为中心的、±2象素的搜索范围904中用黑圆表示的全部点(象素)进行搜索,得到搜索点之后,求出该搜索点的误差评价值。
另外,这里,搜索方法以对将搜索初始点设为中心的±2象素搜索范围的全部搜索点进行搜索的方法为例,但也可利用在根据搜索初始点确定的规定控制范围内搜索的搜索方法,可任意确定规定搜索范围。例如,可根据公知的专利文献(特开2003-87799号公报)中记载的提供的搜索初始点来进行追踪检索。
追踪检索是将搜索中心移动到误差评价值较小的一方来搜索动态矢量的方法,例如是如下公知的方法,即,当从搜索原点、按照规定的搜索图案移动搜索点时,分别算出搜索图案中心的搜索点、和其周边多个各搜索点的编码对象图像的编码对象块内各象素的数据相对应的位置的参照图像块内的各象素数据的差分绝对值的总和,当算出的差分绝对值的总和最小的搜索点为上述周边多个各搜索点中的一个时,反复移动搜索点,使上述差分绝对值的总和最小的周边搜索点为下一搜索图案的中心,并再次执行上述动作,直到搜索图案中心的搜索点的上述差分绝对值的总和变为最小,求出上述差分绝对值的总和最小的搜索图案中心的搜索点,作为动态矢量。
在该追踪检索中,不搜索规定搜索范围内的全部搜索点,削减运算量。追踪检索具有对应于搜索初始点的误差评价值越小、则编码效率越高、削减运算量的效果,在将分级MV与存储MV或算出MV中、提供最小误差评价值点的MV作为搜索初始点的本实施方式中,因为对应于搜索初始点的误差评价值小,所以进一步得到追加检索的效果。
动态矢量确定/输出单元108将存储在搜索点/误差主人值存储器107中的搜索点与误差评价值作为输入而接受,并检测具有最小误差评价值的搜索点,作为最小误差评价值点b,将由参照图像上的该最小误差评价值点b和编码对象图像的相对位置所表现的矢量确定为动态矢量,经输出端子109将确定的动态矢量输出到本机外部,同时,作为存储MV存储在MV存储器111中。
这样,根据本发明,从分级动态矢量与存储动态矢量或算出动态矢量中,检测出提供最小误差评价值点的动态矢量,仅将最小误差评价值点作为搜索初始点,进行动态矢量搜索,由此,与将分级动态矢量和周边动态矢量的全部作为搜索初始点、分别对其执行动态矢量搜索的现有装置相比,在可大幅度降低运算量的同时,可搜索误差评价值最小的可能性高的点,并省略无用的搜索,可在不降低编码效率的情况下,对P图象、B图象都削减运算量,另外,与考虑MPEG图象类型,在B图象的情况下,通过禁止(或限制)周边块的参照来抑制B图象的运算量增加的现有装置相比,可减少P图象情况下的运算量。
另外,除作为存储MV的周边MV之外,还可利用位置与编码对象块相同的参照图像所具有的MV(参照图像MV)、或有多个参照图像的情况下的已求出的对参照图像的动态矢量(多参照MV)、或预测动态矢量(PMV)等根据存储MV算出的算出MV,此时因为搜索初始点候补增加,对应于搜索初始点的误差评价值变小,所以可进一步提高编码效率。
另外,作为根据搜索初始点的动态矢量搜索单元,在执行追加检索的情况下,将分级MV与存储MV或算出MV中、提供最小误差评价值点的MV作为搜索初始点的本发明中,因为对应于搜索初始点的误差评价值小,所以进一步得到追踪检索的效果,对应于搜索初始点的误差评价值越小,则编码效率越高,削减运算量。
另外,根据本发明,因为将分级动态矢量与存储动态矢量一同作为搜索初始点候补来进行相同处理,所以可简化装置的结构,另外,不必考虑MPEG图象类型,与P图象、B图象无关地同样检测动态矢量,所以可简化装置的结构。
另外,本发明不限于以上实施方式,例如还包括使计算机实现上述动态矢量检测装置的功能的动态矢量检测程序。可将该动态矢量检测程序从记录媒体中读取后安装到计算机中,也可经通信网络传输并安装到计算机中。
Claims (5)
1、一种动态矢量检测装置,检测出作为动态图像的编码对象图像的动态补偿预测编码中必需的、表示所述编码对象图像与参照图像各自的预定象素数量的二维象素集合体即块的相对位置关系的动态矢量,使所述编码对象图像与所述参照图像各块间的误差评价值变小,其特征在于,具有:
分级动态矢量计算单元,在求出根据所述编码对象图像与所述参照图像制作的、分辨率比原图像低的图像中的、表示所述编码对象图像的编码对象块与所述参照图像块的相对位置关系的动态矢量之后,对应于所述分辨率的降低来扩展所求出的动态矢量,从而算出分级动态矢量;
搜索初始点确定单元,求出在所述编码对象块的动态矢量检测之前检测到的动态矢量即存储动态矢量和根据该存储动态矢量算出的算出动态矢量中至少一方的动态矢量、与所述分级动态矢量计算单元算出的所述分级动态矢量的各误差评价值,检测出这些误差评价值中最小值的误差评价值所对应的动态矢量,作为最小误差评价值点a,并将该最小误差评价值点a确定为搜索初始点;
动态矢量搜索单元,对所述参照图像中的、根据所述编码对象块的所述搜索初始点确定的搜索范围内的搜索点、和对应于该搜索点的误差评价值进行搜索;和
动态矢量确定/输出单元,在由所述动态矢量搜索单元搜索的所述搜索点中,将由所述动态矢量搜索单元搜索的所述误差评价值为最小值的搜索点,作为最小误差评价值点b检测出,并将基于该最小误差评价值点b的矢量,确定为表示所述编码对象图像与所述参照图像的各块间的相对位置关系的动态矢量并输出。
2、根据权利要求1所述的动态矢量检测装置,其特征在于:
所述分级动态矢量计算单元根据所述编码对象图像与所述参照图像,制作分辨率比原图像低的缩小图像,并对该缩小图像求出表示对应的所述编码对象图像块与所述参照图像块的相对位置关系的动态矢量,之后,根据所述缩小图像的缩小率来扩展该求出的动态矢量,由此算出对应于所述原图像的动态矢量,作为所述分级动态矢量。
3、根据权利要求1所述的动态矢量检测装置,其特征在于:
所述搜索初始点确定单元将与成为编码对象的所述编码对象块邻接的、已求出动态矢量的周边块的动态矢量,用作所述存储动态矢量,求出该周边块的动态矢量与所述分级动态矢量计算单元算出的所述分级动态矢量的各误差评价值,并检测出这些误差评价值中最小值的误差评价值所对应的动态矢量,作为所述最小误差评价值点a,并将该最小误差评价值点a确定为搜索初始点。
4、根据权利要求1所述的动态矢量检测装置,其特征在于:
所述搜索初始点确定单元将所述参照图像中空间上位于与所述编码对象块相同位置的块所具有的参照图像动态矢量,有多个所述参照图像的情况下已求出的对参照图像的多参照动态矢量,与所述编码对象块邻接的、根据已求出动态矢量的周边块的动态矢量来预测的预测动态矢量中的至少任一个动态矢量,作为根据所述存储动态矢量算出的所述算出动态矢量,来求出所述算出动态矢量与所述分级动态矢量计算单元算出的所述分级动态矢量的各误差评价值,并检测出这些误差评价值中最小值的误差评价值所对应的动态矢量,作为所述最小误差评价值点a,将该最小误差评价值点a确定为搜索初始点。
5、根据权利要求1所述的动态矢量检测装置,其特征在于:
所述动态矢量搜索单元将所述搜索范围内的搜索图案中心的搜索点,设为由所述搜索初始点确定单元确定的搜索初始点,针对该搜索初始点和其周边的预定的多个各搜索点,分别算出各所述编码对象块与对应位置的所述参照图像块之间的所述误差评价值,并执行追踪检索,该追踪检索中将搜索图案的中心移动到所述误差评价值较小一方的周边搜索点,来搜索动态矢量,直到算出的误差评价值最小的搜索点成为搜索图案中心的搜索点。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003384599 | 2003-11-14 | ||
JP384599/2003 | 2003-11-14 | ||
JP264850/2004 | 2004-09-13 | ||
JP2004264850A JP2005167976A (ja) | 2003-11-14 | 2004-09-13 | 動きベクトル検出装置及び動きベクトル検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1617596A CN1617596A (zh) | 2005-05-18 |
CN1292596C true CN1292596C (zh) | 2006-12-27 |
Family
ID=34575964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB200410092643XA Expired - Fee Related CN1292596C (zh) | 2003-11-14 | 2004-11-15 | 动态矢量检测装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20050105620A1 (zh) |
JP (1) | JP2005167976A (zh) |
CN (1) | CN1292596C (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4557752B2 (ja) * | 2005-03-07 | 2010-10-06 | 株式会社東芝 | 動画像処理装置、動画像処理方法、及び動画像処理プログラム |
JP4064973B2 (ja) * | 2005-03-23 | 2008-03-19 | 株式会社東芝 | ビデオエンコーダ及びこれを用いた携帯無線端末装置 |
US7894527B2 (en) * | 2005-09-16 | 2011-02-22 | Sony Corporation | Multi-stage linked process for adaptive motion vector sampling in video compression |
JP4594201B2 (ja) * | 2005-09-28 | 2010-12-08 | パナソニック株式会社 | 画像符号化方法、画像符号化装置、プログラムおよび集積回路 |
WO2007078800A1 (en) * | 2005-12-15 | 2007-07-12 | Analog Devices, Inc. | Motion estimation using prediction guided decimated search |
JP2008124580A (ja) * | 2006-11-08 | 2008-05-29 | Matsushita Electric Ind Co Ltd | 動きベクトル検出方法、動きベクトル検出装置、及び撮像システム |
US8184705B2 (en) * | 2008-06-25 | 2012-05-22 | Aptina Imaging Corporation | Method and apparatus for motion compensated filtering of video signals |
PL2661892T3 (pl) | 2011-01-07 | 2022-08-16 | Nokia Technologies Oy | Przewidywanie ruchu w kodowaniu wideo |
JP5682478B2 (ja) * | 2011-06-29 | 2015-03-11 | 株式会社Jvcケンウッド | 画像復号装置、画像復号方法、および画像復号プログラム |
JP5682477B2 (ja) * | 2011-06-29 | 2015-03-11 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法、および画像符号化プログラム |
JP6259272B2 (ja) * | 2013-12-06 | 2018-01-10 | 日本電信電話株式会社 | 映像符号化装置及び映像符号化プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5801778A (en) * | 1996-05-23 | 1998-09-01 | C-Cube Microsystems, Inc. | Video encoding with multi-stage projection motion estimation |
EP0896300B1 (en) * | 1997-08-07 | 2002-01-30 | Matsushita Electric Industrial Co., Ltd. | Device and method for motion vector detection |
JP2000196905A (ja) * | 1998-10-19 | 2000-07-14 | Canon Inc | 画像処理装置およびその方法 |
US6567469B1 (en) * | 2000-03-23 | 2003-05-20 | Koninklijke Philips Electronics N.V. | Motion estimation algorithm suitable for H.261 videoconferencing applications |
JP2002315004A (ja) * | 2001-04-09 | 2002-10-25 | Ntt Docomo Inc | 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム |
US6996180B2 (en) * | 2001-09-05 | 2006-02-07 | Intel Corporation | Fast half-pixel motion estimation using steepest descent |
-
2004
- 2004-09-13 JP JP2004264850A patent/JP2005167976A/ja active Pending
- 2004-11-12 US US10/986,755 patent/US20050105620A1/en not_active Abandoned
- 2004-11-15 CN CNB200410092643XA patent/CN1292596C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1617596A (zh) | 2005-05-18 |
US20050105620A1 (en) | 2005-05-19 |
JP2005167976A (ja) | 2005-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6430317B1 (en) | Method and apparatus for estimating motion using block features obtained from an M-ary pyramid | |
CN1956547A (zh) | 运动矢量检测装置及运动矢量检测方法 | |
CN102017634B (zh) | 重新排序的变换系数的多级表示 | |
CN1292596C (zh) | 动态矢量检测装置 | |
CN1675848A (zh) | 用于执行高质量快速预测运动搜索的方法和设备 | |
CN1906948A (zh) | 利用旋转匹配预测运动的图像编码设备和方法 | |
US8737808B2 (en) | Method and mobile terminal for previewing and retrieving video | |
US20040258154A1 (en) | System and method for multi-stage predictive motion estimation | |
EP2782066B1 (en) | Local feature descriptor extracting apparatus, method for extracting local feature descriptor, and program | |
CN101065964A (zh) | 运动稳定化 | |
CN1656515A (zh) | 估计当前运动矢量的单元和方法 | |
CN100337482C (zh) | 基于对象边缘的形状快速运动估值的方法 | |
CN101044765A (zh) | 图像编码装置及图像编码方法 | |
CN1627825A (zh) | 用于运动图像编码的运动估计方法 | |
CN1224274C (zh) | 误差隐蔽方法和设备 | |
CN1719900A (zh) | 选择编码模式的方法和设备 | |
CN100474932C (zh) | 基于最佳预测模式概率的视频帧内图像快速编码方法 | |
CN1198245C (zh) | 降低运动向量传输成本的运动估计方法 | |
CN106658024B (zh) | 一种快速的视频编码方法 | |
US7852939B2 (en) | Motion vector detection method and device of the same | |
CN1201589C (zh) | 运动估计方法和装置 | |
CN114040209A (zh) | 运动估计方法、装置、电子设备及存储介质 | |
CN1741618A (zh) | 一种快速亚像素运动估计方法 | |
CN1436426A (zh) | 用于图像相关性最小失真计算的自适应尽快退出技术 | |
US9521417B2 (en) | Video encoding device using predicted motion vector for blocks of different size |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20061227 Termination date: 20141115 |
|
EXPY | Termination of patent right or utility model |