CN1671210A - 运动矢量检测装置和方法 - Google Patents
运动矢量检测装置和方法 Download PDFInfo
- Publication number
- CN1671210A CN1671210A CNA2005100565192A CN200510056519A CN1671210A CN 1671210 A CN1671210 A CN 1671210A CN A2005100565192 A CNA2005100565192 A CN A2005100565192A CN 200510056519 A CN200510056519 A CN 200510056519A CN 1671210 A CN1671210 A CN 1671210A
- Authority
- CN
- China
- Prior art keywords
- image
- search
- motion vector
- point
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 title claims description 29
- 238000011156 evaluation Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 230000008878 coupling Effects 0.000 description 17
- 238000010168 coupling process Methods 0.000 description 17
- 238000005859 coupling reaction Methods 0.000 description 17
- 238000013139 quantization Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
在输入图像、与输入图像参照的参照图像之间，检测运动矢量的方法中，首先在参照图像中，设定具有给定模板的2维搜索区域(S10)，然后在以搜索区域包含的多个搜索点为基准位置得到的多个区块、与输入图像的编码对象区块之间并行进行匹配运算(S12)。评价运算的结果，若得到最佳匹配结果(S14为是)，则将其设定为运动矢量(S16)。若没有得到最优解(S14为否)，则根据评价结果，接着设定进行匹配运算的搜索区域(S18)继续搜索。从而，缩短检测运动矢量所需的时间。
Description
技术领域
本发明，涉及一种运动矢量检测技术，例如为了用包含帧间预测模式的图像编码方式对动态图像进行编码、对帧间的运动矢量进行检测的装置和方法、以及可利用该运动矢量检测装置的图像编码装置。
背景技术
作为动态图像的压缩编码方式的标准MPEG(Motion Picture ExpertsGroup：运动图像专家组)-4中，进行使用了运动矢量动作补偿预测编码(例如，参照特许文献1)。特许文献1中所述的追踪型运动矢量搜索方法，从某个搜索原点起按照给定的搜索模板对各搜索点上的差的绝对值的总和进行计算，并将接下来的搜索模板的中心向差的绝对值的总和最小的搜索点移动、直到搜索模板中心的搜索点的差的绝对值的总和达到最小，从而对最佳点进行追踪。特许文献1中提出如下技术方案：在这种追踪型运动矢量搜索方法中，为了防止搜索无用的运动矢量、提高搜索的效率，提出了对每个处理单位设定运动矢量可搜索次数进行设定等、设定搜索的结束条件。
在上述的追踪型的运动矢量搜索方法中，由于是从搜索原点出发，一边将搜索点向旁边移动一边进行搜索，因此存在以下技术问题，即延长了检测运动矢量所需的时间。另外，若为了缩短搜索时间，如上所述设定搜索的结束条件，则有可能搜索在搜索原点附近的、局部的极小点就结束了，运动矢量的检测精度降低，从而带来的技术问题是码量的增大和画质的降低。
特许文献1：特开2003-87799号公报。
发明内容
本发明正是鉴于如上技术问题，其目的在于：提供一种能够缩短运动矢量检测所需时间的技术。
本发明的方式一，是有关运动矢量检测装置。该运动矢量检测装置，是在第1图像、和作为所述第1图像的参照图像第2图像之间，检测运动矢量的运动矢量检测装置，其具备多个运算部，该多个运算部在所述第1图像、和所述第2图像所包含的区块之间，进行匹配运算。所述多个运算部并行同时进行多个匹配运算。
区块间的匹配，可根据例如区块所包含的各像素的像素值的差值来进行。运算部运算出的指标可为，各像素的像素值的差值越小该指标越小。例如，可计算对各像素的像素值的差值平方和，也可计算各像素的像素值的差的绝对值总和。由于通过用多个运算部同时进行多个匹配运算，能够缩短运动矢量的检测所需的时间，因此能够提高编码运动图像的处理速度。另外，通过并行进行多个匹配运算，能够缩短存储器访问等的时间，从而缩短处理时间，因此效果更好。
当称构成所述区块位置的基准的点为搜索点时，所述多个运算部，可在以包含于具有给定的模板的2维搜索区域中的多个搜索点为基准位置得到的多个区块、和所述第1图像之间，进行匹配运算。所述运动矢量检测装置，还可具备：评价部，其对由所述多个运算部得到的运算结果进行评价，检测出付与最佳匹配结果的搜索点；以及，设定部，其根据由所述评价部得到的评价结果，设定接下次进行匹配运算的搜索点。由于将2维搜索区域中包含的搜索点上的运算同时进行，能以区域单位搜索最优解，因此与现有方法中将逐个搜索点1维移动的方法相比，能用更短的时间在更广的范围中进行搜索。从而，能够缩短处理时间，并且提高运动矢量的检测精度，并能降低码量、提升画质。
所述设定部，以包含付与最佳匹配结果的搜索点的方式设定下一次的搜索区域，也可以将设定后的搜索区域中所包含的点设定为下一次的搜索点。这样，能向着推测存在付与最佳匹配的搜索点的方向，适当地推进搜索，因此能够缩短处理时间，并提高运动矢量的检测精度。
所述设定部，在所述搜索区域的中心点、和付与最佳匹配结果的搜索点的连结方向上，设定下一次的搜索区域。所述设定部，可在上一次的运算中付与最佳匹配结果的搜索点、和此次运算中付与最佳匹配结果的搜索点的连结方向上，设定下一次的搜索区域。这样，能够提高运动矢量的检测精度。
所述评价部对运算结果进行评价的结果满足给定条件时，可结束搜索。例如，当上一次的运算中付与最佳匹配的搜索点、与此次运算中付与最佳匹配的搜索点相同时，可结束搜索。另外，当用匹配运算得到的指标比个定的阈值还要好时，可结束搜索。
所述设定部，还可将上一次搜索以前由所述评价部得到的评价结果、所述第1图像内的其他区块的运动矢量、比所述第1图像更以前或以后的图像的运动矢量、及有关所述第1图像的移动的信息的任意组合作为判断基准，设定所述搜索点。所述设定部，可根据由所述评价部得到的评价结果、所述第1图像内的其他区块的运动矢量、比所述第1图像更以前或以后的图像的运动矢量、及有关所述第1图像的移动的信息的任意一个，可变地设定所述搜索区域的形状。这样，可以更高速、更高精度地检测运动矢量。
本发明的另一种形式，是有关图像编码装置。该图像编码装置，是将动态图像进行编码，生成编码数据列的图像编码装置，其具备：运动矢量检测部，其在构成所述动态图像的第1图像、和作为所述第1图像的参照图像的第2图像之间，检测运动矢量；以及，编码部，其利用所述运动矢量对所述第1图像进行编码，所述运动矢量检测部，具备：多个运算部，该多个运算部在所述第1图像、和所述第2图像中包含的区块之间，进行匹配运算的。所述多个运算部同时并行进行多个匹配运算。
本发明的另一种形式，是有关运动矢量检测方法。该运动矢量检测方法是在第1图像、和作为所述第1图像的参照图像第2图像之间，检测运动矢量的运动矢量检测方法，其特征是，具备：在所述第2图像中所包含的区块位置的基准的点称为搜索点时，并行进行在以包含于具有给定的模板的2维搜索区域中的多个搜索点为基准位置得到的多个区块、和所述第1图像之间的匹配运算的步骤；对由所述运算步骤得到的运算结果进行评价，检测出付与最佳匹配结果的搜索点的步骤；以及根据由所述检测步骤的检测结果，设定下一个进行匹配运算的搜索点的步骤。
再者，上述构成要素的任意组合，或将本发明的表现在方法、装置、系统、程序等之间进行变换得到的结果，都包含于本发明中。
通过本发明，能够提供一种缩短检测运动矢量所需时间的技术。
附图说明
图1是表示本发明的实施方式中的图像编码装置的整体结构的图。
图2是表示输入图像的示例的图。
图3是表示参照图像的示例的图。
图4是具体表示图3所示的25个运算对象宏块的图。
图5(a)、(b)，是用于对实施方式的运动矢量搜索方法进行说明的图。
图6(a)、(b)、(c)，是用于对实施方式的运动矢量搜索方法进行说明的图。
图7是用于对实施方式的运动矢量搜索方法进行说明的图。
图8是表示实施方式的运动矢量检测电路的结构的图。
图9是表示实施方式运算部的结构的图。
图10是表示实施方式中的运动矢量检测方法的顺序的流程图。
图中：10-图像编码装置、24-运动矢量检测电路、26-运动补偿电路、28-帧存储器、30-编码电路、32-解码电路、34-输出缓存、36-码量控制电路、38-参照模式选择电路、40-运算部、42-评价部、44-位置设定部、50-输入图像存放部、52-参照图像存放部、54-时刻调整电路、56-差值运算电路。
具体实施方式
本发明的实施方式中的图像编码装置，进行以MPEG-4为标准的图像编码。本实施方式的图像编码装置，通过在对编码对象图像于参照图像之间的运动矢量进行检测时，并行进行多个区块匹配来实现处理的高速化。另外，本实施方式中，新提出了一种通过同时进行多个区块匹配、令检测精度更高的运动矢量搜索方法。
图1表示本发明实施方式中的图像编码装置10的整体结构。图像编码装置10，包含：运动矢量检测电路24、运动补偿电路26、帧存储器28、编码电路30、解码电路32、输出缓存34、码量控制电路36、以及参照模式选择电路38。虽然该结构既可用任意计算机的CPU、存储器、其他的LSI以硬件方式来实现，软件方面可由载入存储器中的程序等以软件方式来实现，但这里对由它们配合实现的功能模块进行说明。因此，这些功能模块可只由硬件、只由软件、或由这二者的组合以各种形式实现这一点，本领域的技术人员应可以理解。
从外部输入到图像编码装置10中的图像(以下，称“输入图像”)，送入运动矢量检测电路24。运动矢量检测电路24，对在为了预测预先存储于帧存储器28中作为参照对象的图像(以下，称“参照图像”)、与输入图像之间的运动矢量进行检测。运动补偿电路26，从码量控制电路36中获取量化中使用的量化步骤的值，并决定其量化系数和宏块匹配的预测模式。由运动矢量检测电路24检测出的运动矢量、和由运动补偿电路26决定的量化系数及宏块匹配预测模式，被送入编码电路30。另外，运动补偿电路26，将对宏块的预测值、与实际的值之间的差值作为预测误差送入编码电路30。
编码电路30，用量化系数将预测误差编码后送入输出缓存34。编码电路30，将量化后的预测误差和量化系数送入编码电路32。编码电路32，根据量化后的预测误差和量化系数进行解码，并将解码后的预测误差与由补偿电路26得到的预测值之和作为解码图像送入帧存储器28。当该解码图像被在后续的图像编码处理中参照时，作为参照图像送入矢量检测电路24。码量控制电路36，获取输出缓存34的蓄积量状态，根据该蓄积量状态生成下次量化中使用的量化步骤的值。
参照模式选择电路38，在帧内编码、帧间前向预测编码、帧间双向预测编码之间进行帧预测模式的切换，并向其他电路输出帧的参照模式信息。
用图2至图6，对本实施方式的运动矢量检测方法进行说明。运动矢量检测电路24，通过区块匹配检测运动矢量。即，在输入图像中，搜索与作为编码对象的宏块(以下，称“编码对象宏块”)之间的差值(预测误差)最小的参照图像的宏块(以下，称“预测宏块”)。本实施方式中，作为区块匹配的一个示例，运动矢量检测电路24，计算出在编码对象宏块、与作为预测宏块候补的宏块之间、像素值的差的绝对值的总和，并将其值最小的宏块作为预测宏块。表示从编码对象宏块的位置向检测到的预测宏块的位置的运动的矢量，构成该编码对象宏块的运动矢量。
图2表示输入图像100的示例。设输入图像100中，纵4像素×横4像素的正方形的宏块102为编码的对象。虽然一般来说MPEG-4中，将纵16像素×横16像素的区域作为宏块，但这里为了简化附图，设为4像素×横4像素。设以左上端的像素位置代表编码对象宏块102的位置，用双层圆表示。
图3表示参照图像110的示例。本实施方式中，为了对编码对象宏块102进行编码时的运动矢量进行检测，从参照图像110之中，设定25个要与编码对象宏块102进行区块匹配运算的对象的宏块(以下，简称为“运算对象宏块”)，作为预测宏块的候补，并将编码宏块102与25个运算对象宏块之间的区块匹配同时进行。图3的示例中，首先作为第1阶段，以与输入图像100的编码对象宏块102的位置相同的位置(双层圆的位置)为中心的、纵5像素×横5像素的正方形区域116(以下，称该区域为“搜索区域116”)中包含有25个像素位置(黑圆点的位置。以下称该位置为“搜索点”)，将这25个像素位置作为左上像素得到25个纵4像素×横4像素的宏块，并将这25个宏块设定为运算对象宏块后，进行区块匹配。
图4具体表示图3所示的25个运算对象宏块。运动矢量检测电路24，在编码对象宏块102、与图4所示的25个运算对象宏块112a～112y之间对像素值的差的绝对值的总和或差值二次方之和等差值数据进行运算，并从其中检测出差值数据最小的运算对象宏块。此时，由于运算对象宏块112a～112y所包含的像素，全部位于区域114内，因此在差值运算时，将区域114内部的像素的像素值暂时存储于本地存储器中，并一边依次从本底存储器中读出像素值，一边同时并行进行25个运算。
图5(a)(b)，是用于对本实施方式的运动矢量搜索方法进行说明的图。本实施方式中，为了对图2所示的编码对象宏块102的运动矢量进行检测，一边移动图3所示的搜索区域116一边重复区块匹配，并对与编码对象宏块102的差值最小的运算对象宏块进行搜索。以下，将第n阶段的区块匹配中差值最小的运算对象宏块112的位置(由左上像素代表)称为“第n最小点”，在图中用记号“mn”表示。另外，将第n阶段的区块匹配的搜索区域116的中心位置称为“第n中心点”，在图中用记号“cn”表示。
如图5(a)及图5(b)所示，将图3所示的第1阶段的搜索区域116a中包含的25个运算对象宏块112之中、与编码对象宏块102的差值最小的宏块的位置，即第1最小点用“m1”表示。运动矢量检测电路24，根据此第1阶段的运算结果，设定第2阶段的搜索区域。本实施方式中，运动矢量检测电路24，以上次运算中得到的最小点为基准，将包含最小点的区域作为下一个搜索区域。
图5(a)的示例中，运动矢量检测电路24，将连接第1中心点c1和第1最小点m1的矢量c1m1放大2倍后的位置，作为第2中心点c2。然后，对第2阶段的搜索区域116b所包含的25个搜索点进行区块匹配。此时，可不必对第1阶段已经区块匹配过的运算对象宏块112进行运算。这样，由于通过将搜索区域116沿着上次运算中的搜索区域116的中心点和最小点的连结方向移动，能够将搜索区域116沿着推测存在预测宏块的方向适当平滑移动、并同时进行区块匹配，因此能够用较短时间对预测宏块进行高效搜索。另外，降低了用局部最小点结束搜索的可能性，从而能够提高运动矢量的检测精度。
图5(b)所示的示例中，将第1最小点m1作为左上端的区域，作为第2阶段的搜索区域16b。这样，由于将上次运算中的最小点作为端点的区域，设定为搜索区域116，可以尽可能减少搜索点的重复，能以最少的运算次数在更多的搜索点上进行区块匹配，从而能用较短时间对预测宏块进行高效搜索。另外，降低了用局部最小点结束搜索的可能性，从而能够提高运动矢量的检测精度。
图6(a)、(b)、(c)是用于说明本实施方式的运动矢量搜索方法的图。在图6(a)、图6(b)及图6(c)中，用“m2”表示在图5(a)所示的第2阶段的搜索区域116b中所包含的25个运算对象宏块112中，与编码对象宏块102之间的差值最小的宏块位置即第2最小点。
图6(a)的示例中，运动矢量检测电路24，与图5(a)的示例同样，将连结第2中心点c2与第2最小点m2的矢量c2m2放大2倍后的位置，作为第3中心点c3。虽然图6(b)的示例中与图6(a)的示例同样，在连结第2中心点c2和第2最小点m2的方向上设定第3中心点c3，但设定第3阶段搜索区域112c为：包含第2最小点m2、并且尽可能不包含已经运算完毕的搜索点。这样，能一边适当地设定搜索方向，一边在更多的搜索点上进行区块匹配。图6(c)的示例中，运动矢量检测电路24，在连结第1最小点m1和第2最小点m2的方向上设定第3中心点c3。此示例中，也能将搜索区域、沿推测存在预测宏块的方向适当移动，并进行搜索。
图7也是用于对本实施方式的运动矢量搜索方法进行说明的图。图7的示例中，搜索区域的形状并不唯一，在各阶段中根据给定条件而改变。例如，第2阶段的搜索区域116b，其形状在连结第1中心点c1与第1最小点m1的矢量c1m1方向上较长。即，推测存在预测宏块的方向上搜索区域更广。这样，能够提高运动矢量的检测精度和检测速度。第3阶段的搜索区域116c也同样，设定为：在连结第2中心点c2与第2最小点m2的矢量c2m2的方向上更广。搜索区域不限于长方形，可为任意形状。
虽然用图5～7说明的示例中，是根据前一的搜索结果决定下一次的搜索区域，但作为用于决定搜索区域的判断基准，也可为除此之外、比前一搜索结果更以前的搜索结果。例如，可根据连结第n中心点cn和第n最小点mn的矢量cnmn的总和，设定下一次的搜索区域。另外，也可将过去或未来帧的运动矢量信息、或同一帧内其他宏块的运动矢量的信息作为判断基准。例如，作为第1阶段的搜索区域，可设定为以参照帧的对应宏块的运动矢量为中心得到的搜索区域。另外，作为第2阶段以后的搜索区域，可设定为具有在参照帧的对应宏块的运动矢量的方向上较长的形状的搜索区域。另外，也可根据参照帧的各宏块的运动矢量的统计信息设定搜索区域。再有作为其他的判断标准，也可根据同一帧内其他宏块的运动矢量的统计信息设定搜索区域。例如，可设定以其他宏块的运动矢量的平均为中心得到的搜索区域，也可设定在其他宏块的运动矢量的方向上较广的搜索区域。也可取得运动矢量以外的信息、例如画面移动等的信息，并将该信息作为判断基准。例如，可在取得表示图像整体沿横方向移动的信息时，设定横向较长的搜索区域。如上所述，通过参照前一的搜索结果之外的、各种各样的信息来对运动矢量进行推测，能够更高速并且高精度地检测运动矢量。
运动矢量检测电路24，按照上述的搜索方法，一边移动搜索区域116一边进行区块匹配，当搜索到第(n-1)最小点与第n最小点相同时，结束搜索，并将第n最小点所表示的宏块作为预测宏块。运动矢量检测电路24，也可在第(n-1)最小点与第n最小点间的距离小于给定阈值时结束搜索，也可设定其他的搜索结束条件。
图8表示本实施方式的运动矢量检测电路24的结构。运动矢量检测电路24，具有运算部40、评价部42、及位置设定部44。此结构也可只用硬件、只用软件、或用它们的组合，以各种各样的形式实现。具体来说，上述运动矢量检测电路24的功能可以如下结构实现。
运算部40，在编码对象宏块102、与多个运算对象宏块112之间并行进行区块匹配运算。评价部42，取得由运算部40得到的运算结果，对运算结果进行评价。评价部42，从运算部40运算中的多个区块匹配的结果之中，检测出付与最小差值的搜索点，并将该最小点储存于存储器等中。评价部42，将此次运算中的最小点、与存储的上次运算中的最小点进行比较，若其二者相同，则将该点决定为预测宏块，并传递给运动补偿电路26及编码电路30。若上次和此次的最小点不同，则将此次的最小点存储，并指示在位置设定部44中设定下一次的搜索区域116。位置设定部44，接受来自评价部42的指示，按照上述的规则，设定下次的搜索区域116的位置。
图9表示本实施方式的运算部40的结构。运算部40，具有输入图像存放部50、参照图像存放部52、时刻调整电路54、以及多个差值运算电路56。此结构也可只用硬件、只用软件、或用它们的组合，以各种各样的形式实现。
输入图像存放部50，存放输入图像的编码对象宏块102。参照图像存放部52，存放参照图像的运算对象宏块112。上述二者，可用帧存储器28代替，也可利用帧存储器28的一部分来实现。如图4所述，参照图像存放部52中，可存放区域114的像素值。时刻调整电路54，对将编码对象宏块102的像素值、和运算对象宏块112的像素值输入差值运算电路52中的时刻进行调整。时刻调整电路54，在将存放于参照图像存放部52中的区域114的像素值依次读出时，利用计数器及触发器等对时刻进行调整，以将读出的像素值提供给运算中使用的差值运算电路56。具体来说，多个触发器中，存放有从参照图像存放部52中汇总读出的多个像素数据。然后，根据从输入图像存放部50中读出图像数据的时刻令计数器动作，并根据计数器的值，从存放于触发器中的图像数据之中，选择必要的像素数据提供给各个差值运算电路56。
差值运算电路56a～56y，在编码对象宏块102和运算对象宏块112a～112y之间进行区块匹配运算。差值运算电路56，可计算出编码对象宏块102与运算对象宏块112的像素值的差值的绝对值，也可计算出差值的平方和，此外，也可计算出表示图像间差值的任意量。现有的搜索方法中，每次运算都必须将相同像素值读入多次，而通过本实施方式，由于能向多个差值运算电路56中，同时供给区块匹配所需的像素值，因此能大幅降低存储器访问量，从而提高处理速度。
图10为表示本实施方式中的运动矢量检测方法的顺序的流程图。首先，位置设定部44，设定第1阶段的搜索区域116(S10)，差值运算电路56，将搜索区域116中包含的多个搜索点上的区块匹配并行运算(S12)。评价部42对运算结果进行评价，若根据给定条件，判断为已经检测出最优解时(S14为是)，则根据该最优解设定运动矢量(S16)，并结束搜索。若评价部42，判断为还未检测出最优解(S14为否)，则位置设定部44为了下一次匹配运算更新搜索区域116(S18)，用差值运算电路56再次执行匹配运算(S12)。
以上，根据实施方式对本发明进行了说明。此实施方式仅为示例，其各构成要素或各处理步骤的组合可以衍生出各种变形例，而这些变形例也包含于本发明的范围中，这点作为本领域的技术人员应该可以理解。
运动矢量检测电路24，可在实施方式所说明的并行执行多个匹配的搜索模式、与现有的搜索模式间适当切换来运行。例如，当对数据量较大的动态图像进行实时编码、或帧速率较高等情况下，如实施方式所述，通过多个差值运算电路56并行工作，提高处理速度；而另一方面，当动态图像的图像量较小、在移动机器中CPU等的处理能力较低、或需要控制耗电量的情况下，也可减少动作的差值运算电路56。为了实现这种技术，图像编码装置10可具备控制模块，其根据动态图像的图像数据量、帧速率、机器的处理能力、和机器的动作模式等，改变运动矢量的检测方法、或动作的差值运算电路56的数量等。
Claims (11)
1.一种运动矢量检测装置，在第1图像、和作为所述第1图像的参照图像的第2图像之间，检测运动矢量，其特征在于：
具备多个运算部，其在所述第1图像和所述第2图像所包含的区块之间，并行进行匹配运算，
所述多个运算部并行进行多个匹配运算。
2.根据权利要求1所述的运动矢量检测装置，其特征在于：
所述多个运算部，同时进行所述多个匹配运算。
3.根据权利要求1或2所述的运动矢量检测装置，其特征在于：
构成所述区块位置的基准的点为搜索点时，所述多个运算部，在具有给定的模板的2维搜索区域中所包含的多个搜索点为基准位置而得到的多个区块、和所述第1图像之间，进行匹配运算，
所述运动矢量检测装置，还具备：
评价部，其对由所述多个运算部得到的运算结果进行评价，检测出付与最佳匹配结果的搜索点；以及，
设定部，其根据由所述评价部得到的评价结果，设定接下次进行匹配运算的搜索点。
4.根据权利要求3所述的运动矢量检测部，其特征在于：
所述设定部，以包含付与最佳匹配结果的搜索点的方式设定下一次的搜索区域，并将设定后的搜索区域中所包含的点设定为下一次的搜索点。
5.根据权利要求3所述的运动矢量检测部，其特征在于：
所述设定部，在所述搜索区域的中心点和付与最佳匹配结果的搜索点的连结方向上，设定下一次的搜索区域。
6.根据权利要求3所述的运动矢量检测部，其特征在于：
所述设定部，在上一次的运算中付与最佳匹配结果的搜索点、和此次运算中付与最佳匹配结果的搜索点的连结方向上，设定下一次的搜索区域。
7.根据权利要求3所述的运动矢量检测部，其特征在于：
所述设定部，将上一次搜索以前由所述评价部得到的评价结果、所述第1图像内的其他区块的运动矢量、比所述第1图像更以前或以后的图像的运动矢量、及有关所述第1图像的移动相关信息中的任一个作为判断基准，设定所述搜索点。
8.根据权利要求3所述的运动矢量检测部，其特征在于：
所述设定部，根据由所述评价部得到的评价结果、所述第1图像内的其他区块的运动矢量、比所述第1图像更以前或以后的图像的运动矢量、及有关所述第1图像的移动相关信息中的任一个，可变地设定所述搜索区域的形状。
9.一种图像编码装置，是将动态图像编码生成编码数据列的图像编码装置，其特征在于，具备：
运动矢量检测部，其在构成所述动态图像的第1图像、和作为所述第1图像的参照图像的第2图像之间，检测运动矢量；及
编码部，其利用所述运动矢量对所述第1图像进行编码，
其中，所述运动矢量检测部具备多个运算部，该多个运算部在所述第1图像、和所述第2图像所包含的区块之间，进行匹配运算，
所述多个运算部并行进行多个匹配运算。
10.根据权利要求9所述的图像编码装置，其特征在于：
所述多个运算部，同时进行所述多个匹配运算。
11.一种运动矢量检测方法，是在第1图像、和作为所述第1图像的参照图像第2图像之间，检测运动矢量的检测方法，其特征在于，
包括：在构成所述第2图像所包含的区块位置的基准的点为搜索点时，在具有给定的模板的2维搜索区域所包含的多个搜索点为基准位置而得到的多个区块、和所述第1图像之间，并行进行匹配运算的步骤；
对所述运算步骤的运算结果进行评价，检测出付与最佳匹配结果的搜索点的步骤；以及
根据由所述检测步骤的检测结果，设定下一次进行匹配运算的搜索点的步骤。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004077563 | 2004-03-18 | ||
| JP2004077563 | 2004-03-18 | ||
| JP2005022103 | 2005-01-28 | ||
| JP2005022103A JP4338654B2 (ja) | 2004-03-18 | 2005-01-28 | 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1671210A true CN1671210A (zh) | 2005-09-21 |
| CN100546384C CN100546384C (zh) | 2009-09-30 |
Family
ID=35042240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100565192A Expired - Fee Related CN100546384C (zh) | 2004-03-18 | 2005-03-18 | 运动矢量检测装置和方法以及图像编码装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20050226333A1 (zh) |
| JP (1) | JP4338654B2 (zh) |
| CN (1) | CN100546384C (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107277540A (zh) * | 2011-02-09 | 2017-10-20 | Lg 电子株式会社 | 编码和解码图像的方法及使用该方法的设备 |
| CN108646931A (zh) * | 2018-03-21 | 2018-10-12 | 深圳市创梦天地科技有限公司 | 一种终端控制方法及终端 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI256259B (en) * | 2005-03-21 | 2006-06-01 | Pixart Imaging Inc | Improved diamond search and dynamic estimation method |
| JP5061444B2 (ja) * | 2005-09-20 | 2012-10-31 | ソニー株式会社 | 撮像装置及び撮像方法 |
| US8130845B2 (en) * | 2006-11-02 | 2012-03-06 | Seiko Epson Corporation | Method and apparatus for estimating and compensating for jitter in digital video |
| US20090238268A1 (en) * | 2008-03-20 | 2009-09-24 | Mediatek Inc. | Method for video coding |
| CN102204255B (zh) * | 2009-07-07 | 2014-09-17 | 松下电器产业株式会社 | 运动图像解码装置、方法和系统以及集成电路 |
| JP5400604B2 (ja) * | 2009-12-28 | 2014-01-29 | 株式会社メガチップス | 画像圧縮装置および画像圧縮方法 |
| JP2014523708A (ja) | 2011-07-01 | 2014-09-11 | モトローラ モビリティ エルエルシー | 動きベクトル予測設計の簡易化 |
| KR101283234B1 (ko) * | 2011-07-18 | 2013-07-11 | 엘지이노텍 주식회사 | 임피던스 정합 장치 및 방법 |
| KR101616010B1 (ko) | 2011-11-04 | 2016-05-17 | 구글 테크놀로지 홀딩스 엘엘씨 | 비균일 움직임 벡터 그리드에 대한 움직임 벡터 스케일링 |
| US9172970B1 (en) * | 2012-05-29 | 2015-10-27 | Google Inc. | Inter frame candidate selection for a video encoder |
| US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
| US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
| US9503746B2 (en) | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
| BR112016015080A2 (pt) | 2014-01-03 | 2017-08-08 | Microsoft Technology Licensing Llc | Predição de vetor de bloco em codificação / decodificação de vídeo e imagem |
| US11284103B2 (en) * | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
| EP3158734A1 (en) | 2014-06-19 | 2017-04-26 | Microsoft Technology Licensing, LLC | Unified intra block copy and inter prediction modes |
| EP3917146A1 (en) | 2014-09-30 | 2021-12-01 | Microsoft Technology Licensing, LLC | Rules for intra-picture prediction modes when wavefront parallel processing is enabled |
| KR20160109586A (ko) * | 2015-03-12 | 2016-09-21 | 삼성전자주식회사 | 이미지 처리 시스템, 및 이를 포함하는 모바일 컴퓨팅 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE469866B (sv) * | 1991-04-12 | 1993-09-27 | Dv Sweden Ab | Metod för estimering av rörelseinnehåll i videosignaler |
| US5430886A (en) * | 1992-06-15 | 1995-07-04 | Furtek; Frederick C. | Method and apparatus for motion estimation |
| KR0147218B1 (ko) * | 1994-08-18 | 1998-09-15 | 이헌조 | 에이치디티브이의 고속 움직임 추정방법 |
| US5706059A (en) * | 1994-11-30 | 1998-01-06 | National Semiconductor Corp. | Motion estimation using a hierarchical search |
| KR100275694B1 (ko) * | 1998-03-02 | 2000-12-15 | 윤덕용 | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 |
| US7072398B2 (en) * | 2000-12-06 | 2006-07-04 | Kai-Kuang Ma | System and method for motion vector generation and analysis of digital video clips |
| JP3753578B2 (ja) * | 1999-12-07 | 2006-03-08 | Ｎｅｃエレクトロニクス株式会社 | 動きベクトル探索装置および方法 |
-
2005
- 2005-01-28 JP JP2005022103A patent/JP4338654B2/ja not_active Expired - Fee Related
- 2005-03-09 US US11/074,728 patent/US20050226333A1/en not_active Abandoned
- 2005-03-18 CN CNB2005100565192A patent/CN100546384C/zh not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107277540A (zh) * | 2011-02-09 | 2017-10-20 | Lg 电子株式会社 | 编码和解码图像的方法及使用该方法的设备 |
| US10516895B2 (en) | 2011-02-09 | 2019-12-24 | Lg Electronics Inc. | Method for encoding and decoding image and device using same |
| CN107277540B (zh) * | 2011-02-09 | 2020-05-08 | Lg 电子株式会社 | 编码和解码图像的方法及使用该方法的设备 |
| US11032564B2 (en) | 2011-02-09 | 2021-06-08 | Lg Electronics Inc. | Method for encoding and decoding image and device using same |
| US11463722B2 (en) | 2011-02-09 | 2022-10-04 | Lg Electronics Inc. | Method for encoding and decoding image and device using same |
| US11871027B2 (en) | 2011-02-09 | 2024-01-09 | Lg Electronics Inc. | Method for encoding image and non-transitory computer readable storage medium storing a bitstream generated by a method |
| CN108646931A (zh) * | 2018-03-21 | 2018-10-12 | 深圳市创梦天地科技有限公司 | 一种终端控制方法及终端 |
| CN108646931B (zh) * | 2018-03-21 | 2022-10-14 | 深圳市创梦天地科技有限公司 | 一种终端控制方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005303984A (ja) | 2005-10-27 |
| JP4338654B2 (ja) | 2009-10-07 |
| CN100546384C (zh) | 2009-09-30 |
| US20050226333A1 (en) | 2005-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1671210A (zh) | 运动矢量检测装置和方法 | |
| CN101416524B (zh) | 运动估计搜索范围和扩展的运动矢量范围的动态选择 | |
| CN1314272C (zh) | 用于视频编码器的预测方法、装置 | |
| CN1233175C (zh) | 采用改进直接模式的块预测方法 | |
| CN101115208B (zh) | 图像编码装置 | |
| CN1136734C (zh) | 可变比特率视频编码方法及相应的视频编码器 | |
| CN102150429B (zh) | 用于使用构建的参考帧进行视频编码的系统及方法 | |
| CN1906949A (zh) | 动态改变视频编码的分辨率的系统和方法 | |
| CN101064849A (zh) | 动态图像编码方法、装置和计算机可读记录介质 | |
| CN101448159B (zh) | 一种基于率失真代价和模式频率的快速帧间模式选择方法 | |
| CN102077599B (zh) | 用于视频编码器中的高质量帧内模式预测的设备和方法 | |
| CN1810037A (zh) | 帧间的快速模式确定编码 | |
| CN101888546A (zh) | 一种运动估计的方法及装置 | |
| CN103384325A (zh) | 一种avs-m视频编码快速帧间预测模式选择方法 | |
| CN1956547A (zh) | 运动矢量检测装置及运动矢量检测方法 | |
| CN102158709A (zh) | 一种解码端可推导的运动补偿预测方法 | |
| CN106993187A (zh) | 一种可变帧率的编码方法及装置 | |
| CN1134171C (zh) | 信号编码设备和方法 | |
| CN1209928C (zh) | 一种基于预测块组的采用帧内预测的帧内编码帧编码方法 | |
| CN1604650A (zh) | 用于分级运动估计的方法 | |
| CN1194544C (zh) | 基于时空域相关性运动矢量预测的视频编码方法 | |
| CN102742270B (zh) | 用于子像素插值的改进的方法和设备 | |
| CN100385957C (zh) | 一种运动矢量预测的方法 | |
| CN1263309C (zh) | 用于视频编码的运动矢量预测方法 | |
| CN1787642A (zh) | 一种基于h.264的图像单元块的帧间快速搜索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090930 Termination date: 20210318 |