CN1956547A - 运动矢量检测装置及运动矢量检测方法 - Google Patents
运动矢量检测装置及运动矢量检测方法 Download PDFInfo
- Publication number
- CN1956547A CN1956547A CNA2006101507288A CN200610150728A CN1956547A CN 1956547 A CN1956547 A CN 1956547A CN A2006101507288 A CNA2006101507288 A CN A2006101507288A CN 200610150728 A CN200610150728 A CN 200610150728A CN 1956547 A CN1956547 A CN 1956547A
- Authority
- CN
- China
- Prior art keywords
- motion vector
- search ranges
- correlation
- hunting zone
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种能够减少处理量,同时能够检测高精度的运动矢量的运动矢量检测装置及运动矢量检测方法。运动图像编码装置100包括:图像缩小部1,用于由包含编码对象块的输入图像和参考图像中生成缩小编码对象图像及缩小参考图像;区域分割部3,用于将缩小编码对象图像分割为多个区域;区域运动矢量检测部4,用于在每个区域,分别检测缩小参考图像的区域运动矢量;相关度计算部5,用于计算每个区域中区域运动矢量的相关度;搜索范围确定部6,用于根据区域运动矢量和区域运动矢量的相关度确定有关运动矢量搜索范围的信息;以及编码部7,包括运动检测部,用于使用有关运动矢量搜索范围的信息,确定运动矢量搜索范围并检测运动矢量。
Description
技术领域
本发明涉及运动矢量检测装置及方法,该装置及方法用于通过图像之间的预测,对运动图像进行编码的图像编码装置。
背景技术
如MPEG方式(Moving Picture image coding Exparts Group),利用运动图像的图像之间相关性的图像压缩方式中,需要在进行运动补偿的块单位中,进行运动矢量的检测。要检测高精度的运动矢量,通常的方法是通过扩大搜索范围来提高运动矢量的检测精度。但是,由于处理量是处理块数×搜索范围,所以如果扩大搜索范围,处理量就会增加,并且还关系到存储量的增大。因此,需要在不扩大搜索范围的情况下,以良好的精度检测运动矢量。
对于这种不扩大搜索范围,以良好的精度检测运动矢量的方法,提出了由过去检测的运动矢量的大小和宏块的类型确定搜索范围的运动图像编码装置(例如,参考日本专利申请公开号为11-112993号公报)。
然而,如上所述,当由过去检测的运动矢量的大小和宏块的类型确定搜索范围时,需要先存储过去检测的运动矢量,这就产生存储量增大的问题。
近年来正在普及的高画质高清晰度(HD:High Definition)图像的像素数是标准画质(SD:Standard Definition)图像的像素数的约6倍,因此HD图像若要实现与SD图像相同的运动矢量检测精度,则需要约6倍的处理量。另外,H.264规格中,运动补偿尺寸多达7种,需要的处理量是MPEG2规格的约3倍。因此,为了将HD图像按照H.264规格进行图像压缩,需要的处理量是将SD图像按照MPEG2规格进行图像压缩时的约18倍。
发明内容
有鉴于此,本发明的目的在于提供一种运动矢量检测装置及运动矢量检测方法,能够减少处理量,同时能够检测高精度的运动矢量。
为了达到上述目的,本发明提供了一种运动矢量检测装置,该装置用于检测编码对象图像中包含的编码对象块的参考图像的运动矢量,其特征在于,该装置包括:图像缩小单元,用于由所述编码对象图像及所述参考图像,分别生成减少像素数的缩小编码对象图像及缩小参考图像;区域分割单元,用于将所述缩小编码对象图像分割为多个区域;区域运动矢量检测单元,用于检测区域运动矢量,该区域运动矢量为所述区域分割单元所分割的分割区域的所述缩小参考图像的运动矢量;搜索范围确定单元,用于根据所述区域运动矢量,确定所述分割区域中包含的所述编码对象块的有关运动矢量搜索范围的信息;运动检测单元,用于根据所述搜索范围确定单元所确定的所述有关运动矢量搜索范围的信息,确定所述编码对象块的运动矢量搜索范围,通过对确定的所述运动矢量搜索范围内进行搜索,检测所述编码对象块的运动矢量。由此,根据区域运动矢量,确定编码对象块的运动矢量搜索范围的大小、运动矢量搜索范围的位移量、运动矢量搜索时的位置间隔量和评价值计算的间隔量等的有关运动矢量搜索范围的信息,所以能够以良好的效率确定运动矢量搜索范围。因此,能够高精度地检测编码对象块的运动矢量。
在此,所述搜索范围确定单元还可以根据所述区域运动矢量,确定对所述运动矢量搜索范围的基准位置的位移量,该位移量作为所述有关运动矢量搜索范围的信息;所述运动检测单元还可以从所述基准位置移动所述搜索范围确定单元所确定的所述位移量,并确定所述运动矢量搜索范围。由此,根据区域运动矢量,确定编码对象块的运动矢量搜索范围的位移量,所以能够以良好的效率确定运动矢量搜索范围。因此,能够高精度地检测编码对象块的运动矢量。
另外,较佳的,所述运动矢量检测装置进一步包括相关度计算单元,用于计算分割区域预测图像与所述分割区域图像之间的相关度,所述分割区域预测图像由所述区域运动矢量及所述缩小参考图像生成;所述搜索范围确定单元根据所述区域运动矢量及所述相关度,确定所述有关运动矢量搜索范围的信息。由此,根据区域运动矢量和区域运动矢量的相关度,确定编码对象块的运动矢量搜索范围的大小、运动矢量搜索范围的位移量、运动矢量搜索时的位置间隔量和评价值计算的间隔量等的有关运动矢量搜索范围的信息,所以能够以进一步良好的效率确定运动矢量搜索范围。因此,能够进一步高精度地检测编码对象块的运动矢量。
另外,所述搜索范围确定单元还可以根据所述区域运动矢量及所述相关度,确定对所述运动矢量搜索范围的基准位置的位移量,该位移量作为所述有关运动矢量搜索范围的信息;所述运动检测单元还可以从所述基准位置移动所述搜索范围确定单元所确定的所述位移量,并确定所述运动矢量搜索范围。由此,根据区域运动矢量和区域运动矢量的相关度,确定编码对象块的运动矢量搜索范围的位移量,所以能够以进一步良好的效率确定运动矢量搜索范围。因此,能够进一步高精度地的检测编码对象块的运动矢量。
另外,所述搜索范围确定单元还可以根据所述相关度,确定所述运动矢量搜索范围的大小,该运动矢量搜索范围的大小作为所述有关运动矢量搜索范围的信息;所述运动检测单元还可以根据所述搜索范围确定单元所确定的所述运动矢量搜索范围的大小,确定所述运动矢量搜索范围。由此,根据区域运动矢量的相关度,确定编码对象块的运动矢量搜索范围的大小,所以能够以进一步良好的效率确定运动矢量搜索范围。因此,能够进一步高精度地检测编码对象块的运动矢量。
另外,所述搜索范围确定单元还可以根据所述区域运动矢量及所述相关度,确定所述运动矢量搜索范围的大小,该运动矢量搜索范围的大小作为所述有关运动矢量搜索范围的信息;所述运动检测单元还可以根据所述搜索范围确定单元所确定的所述运动矢量搜索范围的大小,确定所述运动矢量搜索范围。由此,根据区域运动矢量和区域运动矢量的相关度,确定编码对象块的运动矢量搜索范围的大小,所以能够以进一步良好的效率确定运动矢量搜索范围。因此,能够进一步高精度地检测编码对象块的运动矢量。
另外,所述搜索范围确定单元还可以根据相邻的所述分割区域的各个所述相关度,补正位于所述分割区域的边界附近的块的所述有关运动矢量搜索范围的信息。由此,针对位于分割区域的边界附近的块,也能够以良好的效率确定运动矢量的搜索范围,并以良好的精度检测运动矢量。
另外,所述搜索范围确定单元还可以根据所述区域运动矢量,确定对所述运动矢量搜索范围的基准位置的位移量,该位移量作为所述有关运动矢量搜索范围的信息;所述运动检测单元还可以将从所述基准位置移动所述位移量的范围,确定作为所述运动矢量搜索范围,所述位移量由所述基准位置的运动矢量搜索范围及所述搜索范围确定单元确定。由此,例如,即使每一个搜索范围设置得窄,但是通过搜索检测高精度运动矢量可能性高的多个搜索范围,也能够以良好的精度检测运动矢量。
再有,本发明不仅可以通过上述运动矢量检测装置实现,而且可以通过运动矢量检测方法实现,该方法中将所述运动矢量检测装置所包含的特征性单元作为步骤,还可以通过将这些步骤在计算机上执行的计算机程序实现。于是,这样的程序当然可以通过CD-ROM等的记录媒体、因特网等的传送媒体进行传送。
附图说明
图1是本发明实施方式1中具有运动矢量检测装置的运动图像编码装置的结构框图。
图2是运动图像编码装置中编码部的结构框图。
图3是确定有关运动矢量搜索范围的信息时,表示工作流程的流程图。
图4中(a)是缩小编码对象图像分割示意图;
(b)是区域B与缩小参考图像之间的匹配示意图;
(c)是相关度计算式的示意图。
图5是说明运动矢量搜索范围的移动方向的示意图。
图6是说明运动矢量搜索范围的大小及移动方向的示意图。
图7是说明运动矢量搜索位置的间隔量的示意图。
图8是说明运动矢量搜索时计算评价值的间隔量的示意图。
图9是说明本发明实施方式2中,在运动矢量检测装置中设置搜索范围的方法示意图。
图10是说明本发明实施方式2中,在运动矢量检测装置中设置其它搜索范围的方法示意图。
图11是说明本发明实施方式3中,在运动矢量检测装置中补正有关运动矢量搜索范围的信息的方法示意图。
具体实施方式
下面,分别参照附图说明本发明的各个实施方式。
(实施方式1)
图1为在本发明实施方式1中,具有运动矢量检测装置的运动图像编码装置的结构框图。
运动图像编码装置100是用于将输入的运动图像以块为单位进行编码的装置,如图1所示,运动图像编码装置100包括图像缩小部1、图像存储器2、区域分割部3、区域运动矢量检测部4、相关度计算部5、搜索范围确定部6,以及编码部7。另外,在本实施方式中,以编码部7按照MPEG2规格进行编码为前提。再有,编码部7中实际进行的宏块单位的运动矢量检测,以搜索一个矩形区域作为前提。
图像缩小部1接收包含需要编码的宏块(编码对象块)的编码对象图像(输入图像),以及接收为检测用于对编码对象块进行编码的运动矢量作参考的参考图象,并分别运算周围像素,生成减少像素数的缩小编码对象图像及缩小参考图像。图像存储器2保存图像缩小部1所生成的缩小参考图像。
区域分割部3将图像缩小部所生成的缩小编码对象图像分割为多个区域(分割区域)。区域运动矢量检测部4对区域分割部3所分割的每个区域,分别检测图像缩小部1所生成的缩小参考图像的区域运动矢量。即,区域运动矢量检测部4在每个区域内求出离该区域最近且包含在缩小参考图像的图像区域的位置,并将表示该位置的运动矢量作为区域运动矢量进行检测。
相关度计算部5在每个区域内计算相关度,该相关度是表示区域运动矢量检测部4所检测的区域运动矢量的概率的指数。即,相关度计算部5在每个区域内,利用该区域以及该区域的区域运动矢量所表示的、缩小参考图像中包含的图像值的协方差,计算区域运动矢量的相关度。
搜索范围确定部6根据区域运动矢量检测部4所检测的区域运动矢量和相关度计算部5所计算的区域运动矢量的相关度,确定运动矢量搜索范围的大小、运动矢量搜索范围的位移量、运动矢量搜索时的位置间隔量和评价值计算的间隔量等的有关运动矢量搜索范围的信息。
图2为运动图像编码装置100中的编码部7的结构框图。
编码部7包括:运动检测部702、运动补偿部703、差分运算部704、正交变换部705、量化部706、逆量化部707、逆正交变换部708、加法部709、图像存储器710、以及可变长编码部712。
输入图像被输入到运动检测部702及差分运算部704中。
运动检测部702利用搜索范围确定部6所确定的有关运动矢量搜索范围的信息,确定编码对象块的运动矢量搜索范围,通过在确定的运动矢量搜索范围中搜索图像存储器710保存的参考图像,检测最接近编码对象块的图像区域,并检测表示该位置的运动矢量。这里,最接近编码对象块的图像区域是,例如,求出参考图像中包含的搜索区域中的像素数据与编码对象块的像素数据之间的差分绝对值和,差分绝对值和最小的图像区域就是最接近编码对象块的图像区域。
运动补偿部703利用运动检测部702所检测的运动矢量,从图像存储器710所保存的解码图像中,取出最适合作为预测图像的图像区域,生成预测图像。
另一方面,接收到输入图像的差分运算部704计算输入图像与预测图像的差分值,并将差分值输出到正交变换部705。正交变换部705将差分值转换成频率系数,并将频率系数输出到量化部706。量化部706对所接收的频率系数进行量化,并将量化值输出到可变长编码部712。
逆量化部707对所接收的量化值进行逆量化,恢复成频率系数,并将频率系数输出到逆正交变换部708。逆正交变换部708将频率系数逆频率转换成像素差分值,并将像素差分值输出到加法部709。加法部709求像素差分值与运动补偿部703所输出的预测图像之和,作为解码图像。可变长编码部111对量化值及运动矢量等进行可变长编码,并输出流。
以下对具有上述结构的运动矢量检测装置的运动图像编码装置100的工作情况进行说明。图3为表示确定有关运动矢量搜索范围的信息时的工作流程的流程图。
首先,图像缩小部1接收编码对象图像。编码对象图像例如由1920像素×1080像素构成,包含需要编码的编码对象块。在本实施方式中,由于以按照MPEG2规格进行编码为前提,所以编码对象块是由16像素×16像素构成的宏块。图像缩小部1缩小编码对象图像,并生成缩小编码对象图像(步骤S101)。
而且,图像缩小部1还接收由编码部局部解码的参考图像。局部解码的参考图像与编码对象图像一样地,例如由1920像素×1080像素构成。图像缩小部1缩小参考图像,并生成缩小参考图像。然后,图像缩小部1所生成的缩小参考图像保存到图像存储器2中。
接着,区域分割部3将图像缩小部1所生成的缩小编码对象图像分割为多个区域(步骤S102)。这里,如图4(a)所示,分别按水平和垂直方向对缩小编码对象图像进行分割,设分割为区域A、区域B、区域C及区域D的4个区域。
接着,区域运动矢量检测部4,在区域分割部3所分割的每个区域内,分别检测出图像缩小部1所生成的缩小参考图像的区域运动矢量(步骤S103)。例如,如图4(b)所示,当检测区域B的区域运动矢量AMV时,只在与缩小参考图像重合的部分进行匹配,并计算评价值。此时,若重合部分变窄,则评价值变小,所以以重合部分的大小计算该评价值的补正值。然后,区域运动矢量检测部4求出补正的评价值最小的位置,并检测表示该位置的运动矢量,作为区域运动矢量AMV。另外,不仅可以在与缩小参考图像重合的部分进行匹配,还可以例如在补完缩小参考图像以外的区域的像素数据的基础上,在整个区域进行匹配。
接着,相关度计算部5在每个区域内计算相关度,该相关度是表示区域运动矢量检测部4所检测的区域运动矢量AMV的概率的指数(步骤S104)。即,对图4(b)所示的区域运动矢量AMV的概率相当的重合部分的相关程度,相关度计算部5求出重合部分的协方差,并利用图4(c)所示的算式计算相关度。另外,在此虽然是求重合部分的协方差,但也可以利用其它指数,例如重合部分的像素的差分绝对值的总和等。
接着,搜索范围确定部6判断相关度计算部5所计算的区域运动矢量AMV的相关度是否高于规定阈值(步骤S105)。判断结果,如果区域运动矢量AMV的相关度高于规定阈值(步骤S105中Yes),则搜索范围确定部6判断区域运动矢量检测部4所检测的区域运动矢量AMV是否大于规定阈值(步骤S106)。判断结果,如果区域运动矢量AMV大于规定阈值(步骤S106中Yes),则搜索范围确定部6确定运动矢量搜索范围的位移量大,间隔量小,搜索范围居中(步骤S107)。另一方面,如果区域运动矢量AMV不大于规定阈值(步骤S104中No),则搜索范围确定部6确定运动矢量搜索范围的位移量小,间隔量小,搜索范围窄(步骤S108)。
另外,如果区域运动矢量AMV的相关度不高于规定阈值(步骤S105中No),则搜索范围确定部6判断区域运动矢量检测部4所检测的区域运动矢量AMV是否大于规定阈值(步骤S109)。判断结果,如果区域运动矢量AMV大于规定阈值(步骤S109中Yes),则搜索范围确定部6确定运动矢量搜索范围的位移量居中,间隔量大,搜索范围宽(步骤S110)。另一方面,如果区域运动矢量AMV不大于规定阈值(步骤S109中No),则搜索范围确定部6确定运动矢量搜索范围的位移量小,间隔量大,搜索范围居中(步骤S111)。
如果相关度高,则可以判断图像的一致程度高,可以判断区域运动矢量AMV的精度高。而且,如果区域运动矢量AMV的精度高,则可以判断编码对象块的运动矢量中偏差少,所以,如上所述,与相关度低的情况相比,在相关度高的情况下,确定搜索范围窄。而且,在相关度高的情况下,确定间隔量小。另一方面,如果相关度低,则可以判断图像的一致程度低,可以判断区域运动矢量AMV的精度低。而且,如果区域运动矢量AMV的精度低,则可以判断编码对象块的运动矢量中偏差多,所以,如上所述,与相关度高的情况相比,在相关度低的情况下,确定搜索范围宽。而且,由于将搜索范围变宽的情况下,处理量就会增加,所以确定间隔量大。
另外,本实施方式中,对于区域运动矢量的大小及区域运动矢量的相关度,根据是否大于各自的规定阈值,将条件分为2个,合计分为4种情况确定有关运动矢量搜索范围的信息,但并不局限于此。例如,还可以设置多个阈值,将条件分为3个以上,可以更详细地对情况进行划分。
下面,对编码部7的运动检测部702利用上述确定的有关运动矢量搜索范围的信息,进行运动矢量搜索范围的确定,以及运动矢量搜索的方法进行说明。
首先,对搜索范围的移动方向进行说明。图5为说明运动矢量搜索范围的移动方向的示意图。
与缩小编码对象图像相同地,对编码对象图像分别按水平和垂直方向进行分割,分割为4个区域。各个区域相当于缩小编码对象图像的各区域A至区域D。基准位置的搜索范围是,以编码对象块为中心的、图5所示的虚线包围的范围。运动检测部702从基准位置的搜索范围移动搜索范围,其移动的量为搜索范围确定部6所确定的各区域中的搜索范围的位移量R,并在图5所示的实线包围的范围内搜索运动矢量。例如,当有位移量R时,如图5所示的区域A、区域B、区域C,分别将搜索范围移动相应的位移量R,当位移量R为0时,如图5所示的区域D,搜索范围成为与基准位置的搜索范围相同。
接着,对运动矢量搜索范围的大小进行说明。图6为说明运动矢量搜索范围的大小及移动方向的示意图。
与上述相同,基准位置的搜索范围是,以编码对象块为中心的、图6所示的虚线包围的范围。运动检测部702根据搜索范围确定部6所确定的各区域中的运动矢量搜索范围的大小,将基准位置的探索范围按规定量扩大、保持不变或者按规定量缩小的基础上,移动搜索范围的位移量R’,并在图6所示的实线包围的范围中,搜索运动矢量。例如,当搜索范围宽,有位移量R’时,如图6所示的区域A,按规定量扩大基准位置的搜索范围,并将扩大后的搜索范围移动位移量R’。另外,当搜索范围居中,有位移量R’时,如图6所示的区域B,基准位置的搜索范围的大小保持不变,并将搜索范围移动位移量R’。当搜索范围窄,有位移量R’时,如图6所示的区域C,按规定量缩小基准位置的搜索范围,并将缩小后的搜索范围移动位移量R’。另外,当搜索范围窄,位移量R’为0时,如图6所示的区域D,搜索范围成为缩小基准位置的搜索范围后的范围。另外,这里是对基准位置的搜索范围进行扩大或缩小,但并不局限于此,可以将基准位置的搜索范围设为事先确定的搜索范围的大小的基础上,移动搜索范围的位移量。
下面,对搜索位置的间隔量进行说明。图7为说明运动矢量搜索位置的间隔量的示意图。
当搜索范围确定部6扩大搜索范围时,如果在所有位置上计算评价值并搜索运动矢量,则处理量与搜索范围的大小成比例地增加。作为抑制处理量,同时扩大搜索范围的方法之一,可以设置搜索位置的间隔。例如,设置水平1/2间隔时,如图7所示,运动检测部702在水平方向上每跳过1像素的位置上,按最初的搜索位置、第2搜索位置、第3搜索位置、......的顺序搜索。
下面,对评价值计算的间隔量进行说明。图8为说明运动矢量搜索时的评价值计算的间隔量的示意图。
运动矢量搜索时的评价值计算的间隔量也和搜索位置的间隔量的目的相同,是抑制处理量,同时扩大搜索范围的方法之一。例如,水平1/2间隔时,如图8所示,运动检测部702利用水平方向上每跳过1像素的位置的像素数据,计算评价值。通常,计算编码对象块与搜索位置之间的各个像素的差分绝对值和,但是,在此仅在图8中斜线所示的像素位置计算差分绝对值和。
如上所述,本实施方式中,根据区域运动矢量检测部4所检测的区域运动矢量,和相关度计算部5所检测的区域运动矢量的相关度,确定运动矢量搜索范围的大小、运动矢量搜索范围的位移量、运动矢量搜索时的位置间隔量和评价值计算的间隔量等的有关运动矢量搜索范围的信息。因此,能够以良好的效率确定运动矢量搜索范围,并能够以良好的精度检测运动矢量。
(实施方式2)
上述实施方式1中,对运动检测部702中检测运动矢量时的运动矢量搜索区域为1个的情况进行了说明,本实施方式中,对具有多个运动矢量搜索区域的情况进行说明。
图9为说明本发明实施方式2中,运动矢量检测装置设置搜索范围的方法示意图。在此,由于其结构与实施方式1相同,省略说明。
如图9所示,运动检测部702搜索搜索范围91和搜索范围92,其中,搜索范围91是以编码对象块(宏块)为中心的规定大小的矩形区域,搜索范围92是以区域运动矢量AMV所指位置为中心的矩形区域。与实施方式1相同,该搜索范围92也可以根据相关度、区域运动矢量的大小,改变搜索位置的间隔量、评价值计算的间隔量、搜索范围的大小。
另外,这里是以搜索2个搜索范围作为前提的,但也可以搜索以MPEG2规格规定的预测矢量所指的位置为中心的矩形区域。此时,如图10所示,运动检测部702在搜索搜索范围91和搜索范围92的基础上,还搜索搜索范围93,其中,搜索范围91是以编码对象块(宏块)为中心的规定大小的矩形区域,搜索范围92是以区域运动矢量AMV所指位置为中心的矩形区域,搜索范围93是以预测矢量PMV所指位置为中心的矩形区域。
如上所述,通过搜索以编码对象块为中心的搜索范围91、基于区域运动矢量AMV的搜索范围92这样的多个搜索范围,例如,即使每个搜索范围设置得窄,也能够以良好的精度检测运动矢量。
(实施方式3)
本实施方式中,说明对于区域的边界部分上的宏块(编码对象块),补正有关运动矢量搜索范围的信息的情况。
图11为说明本发明实施方式3中,运动矢量检测装置补正有关运动矢量搜索范围的信息的方法示意图。在此,由于其结构与实施方式1相同,省略说明。
搜索范围确定部6,根据相邻区域的各个相关度,针对位于区域的边界附近的宏块,补正有关运动矢量搜索范围的信息。这里,如图11所示,编码对象图像的各区域A~D的相关度的高低顺序为,区域B、区域D、区域A、区域C的顺序。此时,搜索范围确定部6利用相关度高的区域的值,补正相关度低的区域的区域边界中存在的宏块的区域运动矢量或者搜索范围位移量。例如,针对包含在区域D、区域A,以及区域C且与区域B相邻的区域111,利用区域B的区域运动矢量或者搜索范围位移量进行补正。还有,针对包含在区域C且与区域A相邻的区域112,利用区域A的区域运动矢量或者搜索范围位移量进行补正。还有,针对包含在区域C且与区域D相邻的区域113,利用区域D的区域运动矢量或者搜索范围位移量进行补正。
如上所述,针对区域的边界部分存在的宏块,根据相邻区域的各个相关度,补正有关运动矢量搜索范围的信息,所以能够以良好的效率确定运动矢量搜索范围,并能够以良好的精度检测运动矢量。
另外,这里是以边界中的一列宏块作为对象,但也能够以多列宏块作为对象。另外,还可以根据相关度的差,改变补正的宏块的个数。例如,相关度设置为0~1之间的情况下,当相关度的差为0.5以上时,补正2个宏块的区域运动矢量或者搜索范围的位移量,当相关度的差为0.25以上且不到0.5时,补正1个宏块的区域运动矢量或者搜索范围的位移量。或者,也可以根据相关度,通过对区域的边界附近的宏块的区域运动矢量或者搜索范围的位移量进行线性插补而置换。
本发明的运动矢量检测装置及运动矢量检测方法,可以用于通过画面间预测,进行图像压缩、进行TV广播的录像和电影等的摄影,例如,可以适用于个人计算机、HDD记录器、DVD记录器、摄像机以及带照相功能的手机等。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (20)
1、(根据区域运动矢量确定搜索范围)
一种运动矢量检测装置,该装置用于检测包含在编码对象图像中的编码对象块的参考图像的运动矢量;其特征在于,该装置包括:
图像缩小单元,用于由所述编码对象图像及所述参考图像,分别生成减少像素数的缩小编码对象图像及缩小参考图像;
区域分割单元,用于将所述缩小编码对象图像分割为多个区域;
区域运动矢量检测单元,用于检测区域运动矢量,该区域运动矢量为所述区域分割单元所分割的分割区域的所述缩小参考图像的运动矢量;
搜索范围确定单元,用于根据所述区域运动矢量,确定所述分割区域中包含的所述编码对象块的有关运动矢量搜索范围的信息;
运动检测单元,用于根据所述搜索范围确定单元所确定的所述有关运动矢量搜索范围的信息,确定所述编码对象块的运动矢量搜索范围,通过对确定的所述运动矢量搜索范围内进行搜索,检测所述编码对象块的运动矢量。
2、(根据区域运动矢量确定位移量)
根据权利要求1所述的运动矢量检测装置,其特征在于,
所述搜索范围确定单元根据所述区域运动矢量,确定对所述运动矢量搜索范围的基准位置的位移量,该位移量作为所述有关运动矢量搜索范围的信息;
所述运动检测单元从所述基准位置移动所述搜索范围确定单元所确定的所述位移量,并确定所述运动矢量搜索范围。
3、(具体例:位移量与区域运动矢量成比例)
根据权利要求2所述的运动矢量检测装置,其特征在于,所述搜索范围确定单元根据所述区域运动矢量的大小确定所述位移量,所确定的位移量与所述区域运动矢量的大小成比例。
4、(根据区域运动矢量及相关度,确定搜索范围)
根据权利要求1所述的运动矢量检测装置,其特征在于,
所述运动矢量检测装置进一步包括相关度计算单元,用于计算分割区域预测图像与所述分割区域图像之间的相关度,所述分割区域预测图像由所述区域运动矢量及所述缩小参考图像生成;
所述搜索范围确定单元根据所述区域运动矢量及所述相关度,确定所述有关运动矢量搜索范围的信息。
5、(根据区域运动矢量及相关度,确定位移量)
根据权利要求4所述的运动矢量检测装置,其特征在于,
所述搜索范围确定单元根据所述区域运动矢量及所述相关度,确定对所述运动矢量搜索范围的基准位置的位移量,该位移量作为所述有关运动矢量搜索范围的信息;
所述运动检测单元从所述基准位置移动所述搜索范围确定单元所确定的所述位移量,并确定所述运动矢量搜索范围。
6、(具体例:位移量与区域运动矢量及相关度成比例)
根据权利要求5所述的运动矢量检测装置,其特征在于,所述搜索范围确定单元根据所述区域运动矢量的大小及所述相关度确定所述位移量,所确定的位移量与所述区域运动矢量的大小及所述相关度成比例。
7、(根据相关度,确定搜索范围的大小)
根据权利要求4所述的运动矢量检测装置,其特征在于,
所述搜索范围确定单元根据所述相关度,确定所述运动矢量搜索范围的大小,该运动矢量搜索范围的大小作为所述有关运动矢量搜索范围的信息;
所述运动检测单元根据所述搜索范围确定单元所确定的所述运动矢量搜索范围的大小,确定所述运动矢量搜索范围。
8、(具体例:搜索范围的大小与相关度成反比例)
根据权利要求7所述的运动矢量检测装置,其特征在于,所述搜索范围确定单元根据所述相关度确定所述运动矢量搜索范围的大小,所确定的运动矢量搜索范围的大小与所述相关度成反比例。
9、(根据区域运动矢量及相关度,确定搜索范围的大小)
根据权利要求4所述的运动矢量检测装置,其特征在于,
所述搜索范围确定单元根据所述区域运动矢量及所述相关度,确定所述运动矢量搜索范围的大小,该运动矢量搜索范围的大小作为所述有关运动矢量搜索范围的信息;
所述运动检测单元根据所述搜索范围确定单元所确定的所述运动矢量搜索范围的大小,确定所述运动矢量搜索范围。
10、(具体例:搜索范围的大小与区域运动矢量成比例,与相关度成反比例)
根据权利要求9所述的运动矢量检测装置,其特征在于,所述搜索范围确定单元根据所述区域运动矢量的大小和所述相关度确定所述运动矢量搜索范围的大小,所确定的运动矢量搜索范围的大小与所述区域运动矢量的大小成比例,与所述相关度成反比例。
11、(根据相关度,确定运动矢量搜索时的间隔量)
根据权利要求4所述的运动矢量检测装置,其特征在于,所述搜索范围确定单元根据所述相关度,确定在所述编码对象块中运动矢量搜索时的间隔量,该间隔量作为所述有关运动矢量搜索范围的信息。
12、(具体例:间隔量与相关度成反比例)
根据权利要求11所述的运动矢量检测装置,其特征在于,所述搜索范围确定单元根据所述相关度确定所述间隔量,所确定的间隔量与所述相关度成反比例。
13、(间隔量为搜索位置的间隔量)
根据权利要求11所述的运动矢量检测装置,其特征在于,所述搜索范围确定单元确定所述运动矢量搜索范围内的搜索位置的间隔量,作为所述间隔量。
14、(间隔量为计算评价值时的间隔量)
根据权利要求11所述的运动矢量检测装置,其特征在于,所述搜索范围确定单元确定计算运动矢量的评价值时的间隔量,作为所述间隔量,该运动矢量为所述运动矢量搜索时的运动矢量。
15、(补正搜索范围)
根据权利要求4所述的运动矢量检测装置,其特征在于,所述搜索范围确定单元根据相邻的所述分割区域的各个所述相关度,补正位于所述分割区域的边界附近的块的所述有关运动矢量搜索范围的信息。
16、(具体例:使用相关度大的区域的信息)
根据权利要求15所述的运动矢量检测装置,其特征在于,所述搜索范围确定单元比较相邻的所述分割区域的各个所述相关度,针对包含在所述相关度小的所述分割区域且位于所述边界附近的块,使用对所述相关度大的所述分割区域的所述有关运动矢量搜索范围的信息,进行补正。
17、(确定多个搜索范围)
根据权利要求1所述的运动矢量检测装置,其特征在于,
所述搜索范围确定单元根据所述区域运动矢量,确定对所述运动矢量搜索范围的基准位置的位移量,该位移量作为所述有关运动矢量搜索范围的信息;
所述运动检测单元将从所述基准位置移动所述位移量的范围,确定作为所述运动矢量搜索范围,所述位移量由所述基准位置的运动矢量搜索范围及所述搜索范围确定单元确定。
18、(进一步使用预测运动矢量)
根据权利要求17所述的运动矢量检测装置,其特征在于,所述运动检测单元进一步将从所述基准位置移动所述编码对象块中所使用的预测运动矢量的范围,确定作为所述运动矢量搜索范围。
19、(方法:与权利要求1对应)
一种运动矢量检测方法,该方法用于检测包含在编码对象图像中的编码对象块的参考图像的运动矢量;其特征在于,该方法包括:
图像缩小步骤,由所述编码对象图像及所述参考图像,分别生成减少像素数的缩小编码对象图像及缩小参考图像;
区域分割步骤,将所述缩小编码对象图像分割为多个区域;
区域运动矢量检测步骤,检测区域运动矢量,该区域运动矢量为所述区域分割步骤中所分割的分割区域的所述缩小参考图像的运动矢量;
搜索范围确定步骤,根据所述区域运动矢量,确定所述分割区域中包含的所述编码对象块的有关运动矢量搜索范围的信息;
运动检测步骤,根据所述搜索范围确定步骤中所确定的所述有关运动矢量搜索范围的信息,确定所述编码对象块的运动矢量搜索范围,通过对确定的所述运动矢量搜索范围内进行搜索,检测所述编码对象块的运动矢量。
20、(集成电路:与权利要求1对应)
一种集成电路,该集成电路用于检测包含在编码对象图像中的编码对象块的参考图像的运动矢量;其特征在于,该集成电路包括:
图像缩小单元,用于由所述编码对象图像及所述参考图像中,分别生成减少像素数的缩小编码对象图像及缩小参考图像;
区域分割单元,用于将所述缩小编码对象图像分割为多个区域;
区域运动矢量检测单元,用于检测区域运动矢量,该区域运动矢量为所述区域分割单元所分割的分割区域的所述缩小参考图像的运动矢量;
搜索范围确定单元,用于根据所述区域运动矢量,确定所述分割区域中包含的所述编码对象块的有关运动矢量搜索范围的信息;
运动检测单元,用于根据所述搜索范围确定单元所确定的有关所述运动矢量搜索范围的信息,确定所述编码对象块的运动矢量搜索范围,通过对确定的所述运动矢量搜索范围内进行搜索,检测所述编码对象块的运动矢量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005315461 | 2005-10-28 | ||
JP2005315461A JP2007124408A (ja) | 2005-10-28 | 2005-10-28 | 動きベクトル検出装置および動きベクトル検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1956547A true CN1956547A (zh) | 2007-05-02 |
Family
ID=37996257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006101507288A Pending CN1956547A (zh) | 2005-10-28 | 2006-10-24 | 运动矢量检测装置及运动矢量检测方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20070098075A1 (zh) |
JP (1) | JP2007124408A (zh) |
CN (1) | CN1956547A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102227749A (zh) * | 2009-07-29 | 2011-10-26 | 松下电器产业株式会社 | 移动体检测方法及移动体检测装置 |
CN102656889A (zh) * | 2009-12-15 | 2012-09-05 | Jvc建伍株式会社 | 图像编码装置、图像解码装置、图像编码方法及图像解码方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4523024B2 (ja) * | 2007-08-08 | 2010-08-11 | パナソニック株式会社 | 画像符号化装置および画像符号化方法 |
JP4902510B2 (ja) * | 2007-12-07 | 2012-03-21 | キヤノン株式会社 | 符号化装置及び符号化方法 |
US20090238268A1 (en) * | 2008-03-20 | 2009-09-24 | Mediatek Inc. | Method for video coding |
JP5340172B2 (ja) * | 2008-05-20 | 2013-11-13 | パナソニック株式会社 | 画像符号化装置及び画像符号化方法 |
CN102187678A (zh) * | 2008-10-29 | 2011-09-14 | 松下电器产业株式会社 | 动态图像压缩编码中的编码处理方法和编码处理装置 |
JP2011114493A (ja) * | 2009-11-25 | 2011-06-09 | Panasonic Corp | 動きベクトル検出方法および動きベクトル検出装置 |
JP2012080369A (ja) * | 2010-10-01 | 2012-04-19 | Sony Corp | 画像処理装置及び画像処理方法 |
JP5849681B2 (ja) * | 2011-12-16 | 2016-02-03 | 富士通株式会社 | 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、及び復号プログラム |
JP6137302B2 (ja) * | 2013-03-29 | 2017-05-31 | 富士通株式会社 | 符号化装置、符号化方法、および符号化プログラム |
EP3093943B1 (en) * | 2015-05-13 | 2020-08-26 | ABB Schweiz AG | Method and apparatus for detecting vector shift |
WO2017084071A1 (en) * | 2015-11-19 | 2017-05-26 | Hua Zhong University Of Science Technology | Optimization of interframe prediction algorithms based on heterogeneous computing |
JP7060802B2 (ja) * | 2018-06-11 | 2022-04-27 | 日本電信電話株式会社 | バッファ装置 |
US11210551B2 (en) * | 2019-07-29 | 2021-12-28 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Iterative multi-directional image search supporting large template matching |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0896300B1 (en) * | 1997-08-07 | 2002-01-30 | Matsushita Electric Industrial Co., Ltd. | Device and method for motion vector detection |
JP3149840B2 (ja) * | 1998-01-20 | 2001-03-26 | 日本電気株式会社 | 動きベクトル検出装置及び方法 |
US6671321B1 (en) * | 1999-08-31 | 2003-12-30 | Mastsushita Electric Industrial Co., Ltd. | Motion vector detection device and motion vector detection method |
JP3753578B2 (ja) * | 1999-12-07 | 2006-03-08 | Necエレクトロニクス株式会社 | 動きベクトル探索装置および方法 |
JP4841101B2 (ja) * | 2002-12-02 | 2011-12-21 | ソニー株式会社 | 動き予測補償方法及び動き予測補償装置 |
JP4252916B2 (ja) * | 2004-03-18 | 2009-04-08 | 富士通マイクロエレクトロニクス株式会社 | 動きベクトルの探索範囲を決定する方法 |
-
2005
- 2005-10-28 JP JP2005315461A patent/JP2007124408A/ja active Pending
-
2006
- 2006-10-24 CN CNA2006101507288A patent/CN1956547A/zh active Pending
- 2006-10-26 US US11/586,584 patent/US20070098075A1/en not_active Abandoned
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102227749A (zh) * | 2009-07-29 | 2011-10-26 | 松下电器产业株式会社 | 移动体检测方法及移动体检测装置 |
CN102227749B (zh) * | 2009-07-29 | 2014-07-09 | 松下电器产业株式会社 | 移动体检测方法及移动体检测装置 |
CN102656889A (zh) * | 2009-12-15 | 2012-09-05 | Jvc建伍株式会社 | 图像编码装置、图像解码装置、图像编码方法及图像解码方法 |
CN102656889B (zh) * | 2009-12-15 | 2014-12-24 | Jvc建伍株式会社 | 图像编码装置、图像解码装置、图像编码方法及图像解码方法 |
Also Published As
Publication number | Publication date |
---|---|
US20070098075A1 (en) | 2007-05-03 |
JP2007124408A (ja) | 2007-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1956547A (zh) | 运动矢量检测装置及运动矢量检测方法 | |
CN1675848A (zh) | 用于执行高质量快速预测运动搜索的方法和设备 | |
US8488678B2 (en) | Moving image encoding apparatus and moving image encoding method | |
JP4166781B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JP4047879B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
US9167260B2 (en) | Apparatus and method for video processing | |
CN1874519A (zh) | 使用视频对称的帧内预测方法和设备及编解码方法及设备 | |
CN1719901A (zh) | 基于运动估计多分辨率方法及存储执行其程序的记录介质 | |
CN1627825A (zh) | 用于运动图像编码的运动估计方法 | |
CN101039434A (zh) | 视频编码装置 | |
CN101044765A (zh) | 图像编码装置及图像编码方法 | |
CN1320830C (zh) | 噪声估计方法和设备、以及利用其编码视频的方法和设备 | |
Lin et al. | Fast intra coding unit partition decision in H. 266/FVC based on spatial features | |
CN1495603A (zh) | 用操作指令编码的计算机可读介质 | |
CN1604650A (zh) | 用于分级运动估计的方法 | |
CN1886759A (zh) | 对视频信号中的局部视觉时空细节的检测 | |
CN1636406A (zh) | 移动估计的单元和方法以及装备有此类移动估计单元的图像处理设备 | |
CN1292596C (zh) | 动态矢量检测装置 | |
US7852939B2 (en) | Motion vector detection method and device of the same | |
JP2007158855A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
CN101001380A (zh) | 视频编码的移动估计方法 | |
JP2002247584A (ja) | 画像符号化方法および装置、並びに、画像符号化処理用プログラム及びそのプログラムの記録媒体 | |
CN1787642A (zh) | 一种基于h.264的图像单元块的帧间快速搜索方法 | |
CN1655618A (zh) | 一种视频编码中基于运动矢量预测的搜索方法 | |
JP2009267726A (ja) | 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20070502 |