CN1318948A - 用于搜索运动矢量的装置和方法 - Google Patents

用于搜索运动矢量的装置和方法 Download PDF

Info

Publication number
CN1318948A
CN1318948A CN01110166A CN01110166A CN1318948A CN 1318948 A CN1318948 A CN 1318948A CN 01110166 A CN01110166 A CN 01110166A CN 01110166 A CN01110166 A CN 01110166A CN 1318948 A CN1318948 A CN 1318948A
Authority
CN
China
Prior art keywords
search
image
motion vector
searching
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01110166A
Other languages
English (en)
Other versions
CN1157957C (zh
Inventor
长崎真由美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1318948A publication Critical patent/CN1318948A/zh
Application granted granted Critical
Publication of CN1157957C publication Critical patent/CN1157957C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种运动矢量搜索装置,包括运动矢量搜索部分(101-110),其将输入图像信号的每个图像划分成块,并用于搜索每个图像的每个块的运动矢量作为搜索运动矢量;一个学习部分(113,313),学习当前图像之前的先前图像的搜索运动矢量的趋势以生成表示趋势的趋势信息;一个确定部分(114),根据趋势信息确定用于当前图像每个块的搜索区域,以使运动矢量搜索部分搜索当前图像每个块的运动矢量作为搜索运动矢量。

Description

用于搜索运动矢量的装置和方法
本发明涉及一种运动矢量搜索装置和一种运动矢量搜索方法,该装置和方法一般在对一幅运动图像编码时,用于搜索输入图像中的运动矢量。本发明还涉及记录用于执行该运动矢量搜索方法的程序的一种记录介质。
在传统方法中,使用运动图像编码以压缩一个运动图像的数据量,通过将一个输入运动图像划分成多个小块(宏块,下文简称为MB),在一个宏块中搜索表示一个物体相对于一幅过去或未来图像的移动的运动矢量(下文称为MV),并使用MV信息删除运动图像的暂时冗余。每个MB一般具有16×16个像素。
参考图1,将描述一个相关的运动矢量搜索装置。
在图1中,运动矢量搜索装置包括一个搜索目标MB图像下载部分501,一个搜索区域MB图像下载部分501、一个搜索目标MB图像存储部分503、一个搜索区域MB图像存储部分504、一个搜索位置更新部分507、一个MV候选数据存储部分508、一个搜索结束判断部分509和一个MV计算部分510。
接着,参考图2,将描述该相关运动矢量搜索装置的操作。
向搜索目标MB图像下载部分501提供一个搜索目标MB图像,并将该图像存储在搜索目标MB图像存储部分503中(步骤B1)。
从外部向搜索区域MB图像下载部分502提供用于搜索目标MB图像的一个MV搜索区域的信息(例如,表示在水平和垂直方向上覆盖48×48个像素的一个区域的信息),获取该MV搜索区域内的所有MB图像,并将这些图像存储在搜索区域MB图像存储部分404中。在完成这个存储操作之后,搜索区域MB图像下载部分502将一个下载结束信号发送给搜索位置更新部分505(步骤B2)。
一旦接收到下载结束信号或从搜索结束判断部分509接收到搜索位置更新请求信号,向搜索位置更新部分505提供MV搜索区域的信息,更新MV搜索区域内的搜索位置,并将搜索位置信息发送给MB距离测量部分506(步骤B3)。
从搜索目标MB图像存储部分503向MB距离测量部分506提供搜索目标MB图像,并被提供在搜索区域MB图像存储部分504中存储的所有MB图像之中的一个搜索位置MB图像。然后,MB距离测量部分506测量搜索目标MB图像和搜索位置MB图像之间的距离作为测量距离,并将该测量距离和搜索位置信息发送给MV候选数据更新部分507(步骤B4)。
向MV候选数据更新部分507提供在MV候选数据存储部分508中存储的最小距离信息,并比较该最小距离和从MB距离测量部分506提供的测量距离。如果测量距离小于最小距离,则将测量距离和搜索位置信息作为一个新的最小距离和与该新最小距离对应的新搜索位置信息,储存在MV候选数据存储部分508中。反之,如果测量距离大于最小距离,则不更新在MV候选数据存储部分508中存储的信息。然后,MV候选数据更新部分507将一个位置搜索结束信号发送给搜索结束判断部分509(步骤B5)。
响应于该位置搜索结束信号,搜索结束判断部分509判断对外部提供的MV搜索区域内的所有搜索位置的搜索是否已经结束。如果判断结果表示对MV搜索区域内的所有搜索位置的搜索尚未结束,搜索结束判断部分509将搜索位置更新请求信号发送给搜索位置更新部分505。反之,如果判断结果表示对MV搜索区域内的所有搜索位置的搜索已经结束,则搜索结束判断部分509将一个区域搜索结束信号发送给MV计算部分510(步骤B6)。
随后,重复步骤B3、B4、B5和B6,直到区域搜索结束信号被从搜索结束判断部分509发送给MV计算部分510。
从搜索结束判断部分509提供区域搜索结束信号,MV计算部分510获取在MV候选数据存储部分508中存储的搜索位置信息,并将搜索位置信息作为MV信息输出(步骤B7)。
例如在日本待审专利公报(JP-A)No.H10-341440中公开了相关的运动矢量搜索装置。
然而,上述运动矢量搜索装置有以下方面的缺点。
作为第一个问题,不可能限制运动图像编码中MV搜索操作中的搜索区域。这是因为不执行学习像素的过去运动趋势的操作,因此,不可能预测像素未来运动的方向。
作为第二个问题,运动图像编码中的MV搜索操作需要非常大的处理量。这是因为完全不能预测像素运动的方向,因此,必须为搜索区域内的所有像素执行运动矢量搜索。
因此,本发明的一个目的是显著地降低在MV搜索操作中所需的处理量。
根据本发明的一个方面,提供一种运动矢量搜索装置,它包括被提供有表示连续图像的输入图像信号的运动矢量搜索部分,用于将输入图像信号的每个图像划分成块,并在每个图像的每个块的输入图像信号的搜索区域中搜索每个图像的每个块的运动矢量作为搜索运动矢量,该运动矢量搜索装置包括:
学习部分,用于学习在输入图像信号的图像的当前图像之前的先前图像的搜索运动矢量的趋势以生成表示趋势的趋势信息;和
确定部分,用于根据趋势信息确定用于当前图像的每个块的搜索区域,以使运动矢量搜索部分在当前图像每个块的搜索区域中搜索当前图像每个块的运动矢量,作为搜索运动矢量。
根据本发明的另一方面,提供一种运动矢量搜索方法,它包括一个运动矢量搜索步骤,向该步骤提供有表示连续图像的输入图像信号,该步骤将输入图像信号的每个图像划分成块,并在每个图像的每个块的输入图像信号的搜索区域中搜索每个图像的每个块的运动矢量,作为搜索运动矢量,该运动矢量搜索方法包括:
学习步骤,学习在输入图像信号的图像的当前图像之前的先前图像的搜索运动矢量的趋势,以生成表示趋势的趋势信息;和
确定步骤,根据趋势信息确定用于当前图像的每个块的搜索区域以使运动矢量搜索步骤在当前图像每个块的搜索区域中搜索当前图像每个块的运动矢量,作为搜索运动矢量。
根据本发明的又一方面,提供一种记录一个程序的记录介质,该程序用于执行:
运动矢量搜索操作,向该操作提供有表示连续图像的输入图像信号,该操作将输入图像信号的每个图像划分成块,并在每个图像的每个块的输入图像信号的搜索区域中搜索每个图像的每个块的运动矢量,作为搜索运动矢量;
学习操作,用于学习在所述输入图像信号的图像的当前图像之前的先前图像的搜索运动矢量的趋势,以生成表示所述趋势的趋势信息;和
确定操作,用于根据所述趋势信息确定用于所述当前图像的每个块的搜索区域,以使所述运动矢量搜索操作在所述当前图像每个块的搜索区域中搜索所述当前图像每个块的运动矢量,作为搜索运动矢量。
图1是一个相关运动矢量搜索装置的方框图;
图2是用于描述图1所示的运动矢量搜索装置的操作的流程图;
图3是根据本发明第一实施例的运动矢量搜索装置的方框图;
图4是用于描述图3所示的运动矢量搜索装置的操作的流程图;
图5是用于描述图3所示的运动矢量搜索装置的操作的图;
图6是用于描述图3所示的运动矢量搜索装置的操作的另一幅图;
图7是根据本发明第二实施例的运动矢量搜索装置的方框图;和
图8是描述图7所示的运动矢量搜索装置的操作的流程图。
现在,将参考附图描述本发明的实施例。
参考图3和图4,将描述根据本发明第一实施例的运动矢量搜索装置。
首先,将简要描述这个实施例。
参考图3,运动矢量搜索装置包括一个运动矢量搜索部分(101-110),提供有表示连续图像的一个输入图像信号。运动矢量搜索部分(101-110)用于将输入图像信号的每一图像划分成宏块(MB),并用于在每幅图像的每一块的输入图像信号的搜索区域中搜索每幅图像的每一块的运动矢量(MV)作为搜索运动矢量。
运动矢量搜索装置还包括一个MV状态存储部分112、一个MV学习部分113和一个MV搜索区域确定部分114。MV状态存储部分112存储在输入图像信号图像的当前图像之前的先前图像的搜索运动矢量。MV学习部分113学习先前图像的搜索运动矢量的趋势,以生成表示该趋势的趋势信息。MV搜索区域确定部分114根据趋势信息确定当前图像每一块的搜索区域以使运动矢量搜索部分在当前图像每一块的搜索区域中搜索当前图像每一块的运动矢量作为搜索运动矢量。
更具体地说,MV学习部分113通过检测先前图像的搜索运动矢量的水平和垂直分量,来学习先前图像的搜索运动矢量的趋势。MV学习部分生成表示先前图像的搜索运动矢量的水平和垂直分量的趋势信息,作为趋势。
在这种情况下,MV搜索区域确定部分114根据先前图像的搜索运动矢量的水平和垂直分量来确定搜索区域,上述分量用趋势信息表示。
因此,根据这个实施例,通过学习先前图像的搜索运动矢量的趋势,预测当前图像的运动矢量的当前趋势,以确定运动矢量搜索所必需的和足够的搜索区域,并仅在运动矢量搜索所必需和足够的搜索区域内执行运动矢量搜索操作,显著地降低MV搜索操作中所需的处理量。
下面,将详细描述这个实施例。
参考图3,根据这一实施例的运动矢量搜索装置包括:一个搜索目标MB图像下载部分101、一个搜索区域MB图像下载部分102、一个搜索目标MB图像存储部分103、一个搜索区域MB图像存储部分104、一个搜索位置更新部分105。一个MB距离测量部分106、一个MV候选数据更新部分107、一个MV候选数据存储部分108、一个搜索结束判断部分109、一个MV计算部分110、一个MV存储信息更新部分111、MV存储部分112、MV学习部分113和MV搜索区域确定部分114。
上述每个部分分别具有下面将要说明的功能。
搜索目标MB图像下载部分101被提供有将被MV搜索的一个MB图像(下文称作一个搜索目标MB图像),并将该图像存储在搜索目标MB图像存储部分103中。
从MV搜索区域确定部分向搜索区域MB图像下载部分102提供代表一个区域的MV搜索区域的信息,搜索区域MB图像下载部分102将在该区域上针对搜索目标MB图像实际地搜索MV,获取该MV搜索区域内的所有MB图像,并将这些图像存储在搜索区域MB图像存储部分104中。在完成存储操作之后,搜索区域MB图像下载部分102向搜索位置更新部分105提供一个下载结束信号,该信号表示MV搜索区域内的所有MB图像已经被下载到搜索区域MB图像存储部分104中。
搜索目标MB图像存储部分103存储搜索目标MB图像。
搜索区域MB图像存储部分104存储MV搜索区域内的所有MB图像。
从MV搜索区域确定部分114向搜索位置更新部分105提供MV搜索区域的信息,并且一旦搜索位置更新部分105接收到下载结束信号,或从搜索结束判断部分109接收到请求搜索位置更新的一个搜索位置更新请求信号,就更新MV搜索区域内的搜索位置,并将表示一个更新搜索位置的搜索位置信息发送给MB距离测量部分106。
从搜索目标MB图像存储部分103向MB距离测量部分106提供搜索目标MB图像,并从搜索位置更新部分105提供与搜索位置相对应的在搜索区域MB图像存储部分104中存储的所有MB图像中选择出的一个MB图像(下文称作一个搜索位置MB图像)。MB距离测量部分106测量搜索目标MB图像和搜索位置MB图像之间的距离,作为一个测量距离,并将该测量距离和搜索位置信息发送给MB候选数据更新部分107。
将MV候选数据存储部分108存储的最小距离信息提供给MV候选数据更新部分107,MV候选数据更新部分107比较该最小距离与MB距离测量部分106提供的测量距离。如果测量距离小于最小距离,则将测量距离和搜索位置信息作为一个新的最小距离和对应于该新的最小距离的新搜索位置信息,存储在MV候选数据存储部分108中。反之,如果测量距离大于最小距离,则不更新在MV候选数据存储部分108中存储的信息。然后,MV候选数据更新部分107向搜索结束判断部分109提供一个位置搜索结束信号,表示在搜索位置上的搜索操作已经结束。
MV候选数据存储部分108储存从MV候选数据更新部分107提供的最小距离信息和与该最小距离对应的搜索位置信息,作为MV候选数据。
响应于来自MV候选数据更新部分107的位置搜索结束信号,搜索结束判断部分109判断对从MV搜索区域确定部分114提供的MV搜索区域内的所有搜索位置的搜索是否已经结束。如果判断结果表示对MV搜索区域内的所有搜索位置的搜索尚未结束,则搜索结束判断部分109将搜索位置更新请求信号发送给搜索位置更新部分105。反之,如果对MV搜索区域内的所有搜索位置的搜索已经结束,则搜索结束判断部分109向MV计算部分110提供一个区域搜索结束信号,表示对MV搜索区域内的所有搜索位置的搜索结束。
响应于来自搜索结束判断部分109的区域搜索结束信号,MV计算部分110获取在MV候选数据存储部分108中存储的搜索位置信息,并将该搜索位置信息作为MV信息发送到外部和MV存储信息更新部分111。
从MV计算部分110向MV存储信息更新部分111提供MV信息,并将该信息作为用于在搜索目标MB图像中包含的每个MB的MV信息存储在MV存储部分112中。
MV存储部分112储存在多个时间瞬间与输入图像中每个MB相关的MV信息。具体地说,表示过去或未来位置的信息在多个时间瞬间上针对多幅图像被存储,在这些位置上一幅特定图像中的所有MB被定位在一幅过去或未来的图像中。
MV学习部分113获取和学习与先前图像中每个MB相关并在MV存储部分112中存储的MV信息,计算MV的趋势信息(下文称作MV趋势信息),并将趋势信息发送给MV搜索区域确定部分114。
MV搜索区域确定部分114参考从MV学习部分113提供的MV趋势信息,来确定MV搜索区域,并将该搜索区域发送给搜索区域MB图像下载部分102、搜索位置更新部分105以及搜索结束判断部分109。
接着参考图4,将描述这一实施例的运动矢量搜索装置的操作。
例如,在下述情况下使用该类型的运动矢量搜索装置。具体地说,它在运动图像编码装置中使用,以压缩用于存储或传输的一个运动图像信号的数据量,并且为了压缩运动图像的数据量,通过将输入运动图像划分成多个MB,针对过去或未来图像搜索每个MB的MV,并使用该MV信息删除运动图像的暂时冗余。
参考图4,搜索目标MB图像下载部分101被提供将被MV搜索的搜索目标MB图像,并将该图像存储在搜索目标MB图像存储部分103中(步骤A1)。
MV存储部分112针对在过去的多个时间瞬间上的多幅图像存储与输入图像中每个MB相关的MV信息。具体地说,为在多个时间瞬间的多幅图像存储表示一幅特定图像中的所有MB在过去的图像中所处的过去位置的信息。在下文中,一组涉及第一图像的MV信息、一组涉及第二图像的MV信息、一组涉及第三图像的MV信息、……、一组涉及第n图像的MV信息将被分别称作第一MV信息组、第二MV信息组、第三MV信息组、……、第nMV信息组。因而,如果涉及指定位置上的一个MB的MV信息在第一MV信息组中被查出,有可能获得在第一图像中指定位置上的MB在第二图像中所处位置的信息。
MV学习部分113获取和学习涉及多幅过去图像中每个MB的和被存储在MV存储部分112中的MV信息,计算MV趋势信息,并将趋势信息发送给MV搜索区域确定部分114(步骤A2)。
下面,将描述上述学习操作的一个例子。
首先,在搜索目标MB中所包含的像素中选择一个指定像素(下文称作一个选定像素)。接着,在第一MV信息组中查找涉及选定像素的MV信息,并计算选定像素在第二图像中的位置。类似地,在第二MV信息组中查找涉及选定像素的MV信息,并计算选定像素在第三图像中的位置。类似地,连续查找第三MV信息组、第四MV信息组等。从而,计算选定像素在第一、第二、第三、……、和第n图像中出现的位置信息。
通过以上述方式连续地查找选定像素的MV信息,可以知道选定像素的运动趋势。MV学习部分113将选定像素的运动趋势作为MV趋势信息发送给MV搜索区域确定部分114。
在此,用(x,y)表示当特定像素在水平和垂直方向上分别运动x和y距离时的MV信息。假定一个特定的选定像素以保持在一些正值上的水平和垂直分量运动,例如,(3,3)→(3,4)→(4,4)→(4,3)。在这种情况下,特定的选定像素很可能将在下一幅输入图像中也以水平和垂直分量在正方向上运动。因此,在这种情况下,生成信息“水平和垂直分量很可能将在正方向上”作为MV趋势信息。如果另一个选定像素显示一个过去的运动,例如(3,3)→(3,0)→(-2,-5)→(-4,3),将认为没有明显的趋势存在。因此,生成信息“未观察到明显的趋势作为MV运动趋势”。
可以为单个指定像素单独地执行步骤A2中的学习操作、或者为搜索目标MB中所包含像素中的多个像素执行步骤A2中的学习操作。在后一情况下,通过组合这些像素的多个学习结果来获得学习的最终结果。
接着,从MV学习部分113向MV搜索区域确定部分114提供MV趋势信息,确定MV搜索区域,并将MV搜索区域的信息发送给搜索区域MB图像下载部分102、搜索位置更新部分105和搜索结束判断部分109(步骤A3)。
以下述方式执行上述确定。例如,如果MV趋势信息是信息“水平和垂直分量很可能将在正方向上”,则预测包含所考虑的选定像素的搜索目标MB此时也将在水平和垂直方向的正方向上运动。因此,在下一个搜索中,用于搜索目标MB的MB搜索区域被限制在从搜索目标MB的当前位置在水平和垂直方向的正方向上延伸的一个区域。反之,如果MV趋势信息是信息“没有明显的趋势被观察为MV趋势”,不可能预测包含所考虑的选定像素的搜索目标MB的运动方向。因此,不具体限制MV的搜索区域,而等同于在图1所示的相关运动矢量搜索装置中的搜索区域。
参考图5,一辆汽车在先前图像中(参见时间(n-2)和时间(n-1))和在当前图像中(参见时间n)向右运动。由于在这种情况下汽车沿x轴(y=0)向正方向运动,用于当前图像当前宏块的搜索区域被限制到图6所示的阴影区域。在图6中,本发明的阴影搜索区域小于在图6中用虚线所指示的在图1的相关运动矢量搜索装置中的搜索区域。
再次参考图4,从MV搜索区域确定部分114向搜索区域MB图像下载部分102提供用于搜索目标MB的MV搜索区域信息(例如,在水平和垂直方向上覆盖48×48像素的一个区域),搜索区域MB图像下载部分102获取MV搜索区域内的所有MB图像,并将这些图像存储在搜索区域MB图像存储部分104中。在完成这个存储操作之后,搜索区域MB图像下载部分102将下载结束信号发送给搜索位置更新部分105(步骤A4)。
搜索位置更新部分105从MV搜索区域确定部分114接收MV搜索区域的信息。一旦接收到下载结束信号,或从搜索结束判断部分109接收到搜索位置更新请求信号,搜索位置更新部分105就更新MV搜索区域内的搜索位置,并将搜索位置信息发送到MB距离测量部分106(步骤A5)。
从搜索目标MB图像存储部分103向MB距离测量部分106提供搜索目标MB图像,并提供在搜索区域MB图像存储部分104中存储的所有MB图像中的搜索位置MB图像。然后,MB距离测量部分106测量搜索目标MB图像和搜索位置MB图像之间的距离作为测量距离,并将测量距离和搜索位置信息发送给MV候选数据更新部分107。作为测量距离的一种实际的方法,例如,可以使用计算MB中所有像素的差距平方和的一种方法。
向MV候选数据更新部分107提供在MV候选数据存储部分108中存储的最小距离信息,并且MV候选数据更新部分107比较该最小距离与MB距离测量部分106所提供的测量距离。如果测量距离小于最小距离,则MV候选数据更新部分107将测量距离和搜索位置信息作为一个新的最小距离和对应于该最小距离的新搜索位置信息存储在MV候选数据存储部分108中。反之,如果测量距离大于最小距离,不更新在MV候选数据存储部分108中存储的信息。然后,MV候选数据更新部分107将位置搜索结束信号发送给搜索结束判断部分109(步骤A7)。
响应于位置搜索结束信号,搜索结束判断部分109判断对MV搜索区域确定部分114提供的MV搜索区域内的所有搜索位置的搜索是否已经结束。例如,假设用于一个特定MB的MV搜索区域在水平和垂直方向上覆盖48×48像素,搜索位置在数值上等于48×48=2304。在这种情况下,判断搜索是否已经执行256次。
如果判断结果表示对MV搜索区域内所有搜索位置的搜索尚未结束,则搜索结束判断部分109将搜索位置更新请求信号发送给搜索位置更新部分105。反之,如果判断结果表示对MV搜索区域内的所有搜索位置的搜索已经结束,则搜索结束判断部分109将区域搜索结束信号发送给MV计算部分110(步骤A8)。
随后,重复步骤A5、A6、A7和A8,直到区域搜索结束信号从搜索结束判断部分109发送到MV计算部分110为止。
从搜索结束判断部分109提供区域搜索结束信号,MV计算部分110获取在MV候选数据存储部分108中存储的搜索位置信息,并将搜索位置信息作为MV信息发送到外部和MV存储信息更新部分111。注意到MV信息被如下定义。例如,如果一个特定像素在水平和垂直方向上分别以距离3和4移动,则MV信息由(3,4)给出。然后,MV计算部分110将MV信息(3,4)发送到外部和MV存储信息更新部分111(步骤A9)。
MV存储信息更新部分111将MV计算部分110提供的MV信息存储在MV存储部分112中作为在搜索目标MB图像中所包含像素的MV信息。例如,假设用于一个特定MB的MV信息是(3,4)。这意味着在MB中所包含的像素在水平和垂直距离上分别移动距离3和4。因此,用于在MB中所包含的所有像素的MV信息(3,4)作为第一MV信息组的信息被存储。在第一MV信息组的所有信息被存储之后,更新该信息组。具体地说,删除第nMV信息组的信息。将第n-1MV信息组的信息复制到第nMV信息组,将第n-2MV信息组的信息复制到第n-1MV信息组,……,将第一MV信息组的信息复制到第二MV信息组(步骤A10)。
参考图5和图6,下面将描述根据本发明第二实施例的运动矢量搜索装置。该实施例中与第一实施例类似的部件用相同的参考号表示,并将省略重复的说明。
参考图7,这一实施例在结构上与第一实施例的不同在于图3中的MV存储部分112用MV状态存储部分312替代和图3中的MV学习部分113用MV学习部分313替代。
与图3中的MV存储部分112相比,MV状态存储部分312在MV相关信息的存储模式上与其不同。具体地说,MV状态存储部分312存储输入图像中的每个像素如何从一个过去或未来图像移动的状态(下文称作MV移动状态)。
例如,假设一个指定像素已经以保持为一些正值的水平和垂直分量运动,如用MV信息过去的变化(3,3)→(3,4)→(4,4)→(4,3)所表示的。在这种情况下,任意像素的MV移动状态可以用例如(水平正,垂直正,3)来表示。因而,根据MV移动状态得知该像素过去运动的状态“在水平方向上以正方向和在垂直方向上正方向的运动已经被连续执行三次”。因此,在这一实施例中,并不需要在多个过去或未来时间瞬间存储输入图像中每一像素的相关MV信息,但是需要存储单组信息。
与MV学习部分113相比,MV学习部分313在学习MV信息的操作上与其不同。下面将描述操作上的不同。
参考图8,将描述这一实施例的操作。类似的步骤将用相同的步骤号表示,并将省略重复性说明。
参考图8,该实施例与第一实施例的不同在于在图4中用步骤A2表示的学习MV存储部分112的信息的操作被用步骤A11表示的学习MV状态存储部分312的信息的操作替代,和在图4中用步骤A10表示的更新MV存储部分112的信息的操作被用步骤A12表示的更新MV状态存储部分312的信息的操作替代。
现在,将描述图8中步骤A11和A12中的操作。
首先,将描述步骤A12中的操作。
从MV状态存储部分312向MV存储信息更新部分111提供MV状态信息。通过使用从MV计算部分110提供的MV信息,MV存储信息更新部分111更新从MV状态存储部分312提供的MV状态信息,并将更新后的新的MV状态信息储存在MV状态存储部分312中。
例如,假设从MV状态存储部分312向MV存储信息更新部分111提供MV状态信息(水平正,垂直正,3),作为一个特定像素的相关MV状态信息。这表示“在水平方向上以正方向和在垂直方向上以正方向的运动已经被连续执行三次”。在这种情况下,假设MV存储信息更新部分111被从MV计算部分110新提供MV信息(4,5)。在这种情况下,MV状态信息被更新成信息“在水平方向上以正方向和在垂直方向上以正方向的运动已经被连续执行四次”,即信息(水平正,垂直正,4)。更新信息被存储在MV状态存储部分312中(步骤A12)。
MV学习部分313获取与一幅过去或未来图像中的每一像素相关的并在MV状态存储部分312中存储的MV状态信息,学习MV状态信息,计算MV趋势信息,并将MV趋势信息发送给MV搜索区域确定部分114。
在下文中,将描述在这一实施例中学习操作的一个例子。
首先,在搜索目标MB中包含的像素中选择一个指定像素(下文称作一个选定像素)。接着,查找与选定像素相关的MV状态信息以得知选定像素是如何从一个过去或未来图像移动的。因而,通过查看MV状态信息,有可能得知选定像素的运动趋势。例如,假定对应于一个特定像素的MV状态信息是信息(水平正,垂直正,4)。在这种情况下,预测选定像素在下次很可能依然将以水平和垂直分量在正方向上运动。因此,在这种情况下,MV学习部分313将信息“水平和垂直分量将很可能在正方向上”作为MV趋势信息发送给MV搜索区域确定部分114。
在步骤A12中的学习操作可以为单个指定像素单独执行或者为搜索目标MB中所包含的像素中的多个像素执行。在后一情况下,通过组合那些像素的多个学习结果获得最终的学习结果。
图3或5中的运动矢量搜索装置可以用一个计算机系统实现。在这种情况下,诸如ROM的存储介质在计算机系统中使用以存储由CPU执行的一个程序,该计算机系统包括记录根据本发明的程序的一个存储介质。具体地说,该存储介质存储用于执行根据图4或6中流程图的操作的程序。作为存储介质,可以使用半导体存储器、光盘、磁光盘、磁记录介质等。
作为第一个效果,有可能限制运动图像编码中MV搜索操作中的搜索区域。这是因为像素未来运动的方向可以通过学习像素过去运动的趋势来预测。
作为第二个效果,有可能显著地降低运动图像编码中运动矢量搜索操作中所需的处理量。这是因为搜索操作中的计算量与搜索区域成比例,通过根据第一个效果限制搜索区域,可以降低搜索中所需的处理量。

Claims (7)

1.一种运动矢量搜索装置,包括运动矢量搜索部分(101-110),向该部分提供表示连续图像的输入图像信号,所述运动矢量搜索部分将所述输入图像信号的每个所述图像划分成块,并在每个所述图像的每个块的所述输入图像信号的搜索区域中搜索每个所述图像的每个块的运动矢量,作为搜索运动矢量,所述运动矢量搜索装置包括:
学习部分(113,313),用于学习在所述输入图像信号的图像的当前图像之前的先前图像的搜索运动矢量的趋势,以生成表示趋势的趋势信息;和
确定部分(114),用于根据所述趋势信息确定用于所述当前图像的每个块的搜索区域,以使所述运动矢量搜索部分在所述当前图像每个块的搜索区域中搜索所述当前图像每个块的运动矢量,作为搜索运动矢量。
2.如权利要求1所述的运动矢量搜索装置,其中所述学习部分通过检测用于所述先前图像的搜索运动矢量的水平和垂直分量,来学习用于所述先前图像的搜索运动矢量的趋势,所述学习部分作为所述趋势生成表示用于所述先前图像的搜索运动矢量的水平和垂直分量的趋势信息。
3.如权利要求2所述的运动矢量搜索装置,其中所述确定部分根据用于所述先前图像的搜索运动矢量的水平和垂直分量,来确定搜索区域,所述分量用所述趋势信息表示。
4.一种运动矢量搜索方法,包括运动矢量搜索步骤,向该步骤提供有表示连续图像的输入图像信号,该步骤将所述输入图像信号的每个图像划分成块,并在每个所述图像的每个块的所述输入图像信号的搜索区域中搜索每个所述图像的每个块的运动矢量,作为搜索运动矢量,所述运动矢量搜索方法包括:
学习步骤,学习在所述输入图像信号的图像的当前图像之前的先前图像的搜索运动矢量趋势,以生成表示趋势的趋势信息;和
确定步骤,根据所述趋势信息确定用于所述当前图像的每个块的搜索区域,以使所述运动矢量搜索步骤在所述当前图像每个块的搜索区域中搜索所述当前图像每个块的运动矢量,作为搜索运动矢量。
5.如权利要求4所述的运动矢量搜索方法,其中所述学习步骤通过检测用于所述先前图像的搜索运动矢量的水平和垂直分量,来学习用于所述先前图像的搜索运动矢量的趋势,所述学习步骤生成表示用于所述先前图像的搜索运动矢量的水平和垂直分量的趋势信息,作为所述趋势。
6.如权利要求5所述的运动矢量搜索方法,其中所述确定步骤根据用于所述先前图像的搜索运动矢量的水平和垂直分量,来确定搜索区域,所述分量用所述趋势信息表示。
7.一种记录一程序的记录介质,该程序用于执行:
运动矢量搜索操作,将向其提供的表示连续图像的输入图像信号的每个所述图像划分成块,并在每个所述图像的每个块的所述输入图像信号的搜索区域中搜索每个所述图像的每个块的运动矢量,作为搜索运动矢量;
学习操作,学习在所述输入图像信号的图像的当前图像之前的先前图像的搜索运动矢量的趋势,以生成表示所述趋势的趋势信息;和
确定操作,根据所述趋势信息确定用于所述当前图像的每个块的搜索区域,以使所述运动矢量搜索操作在所述当前图像每个块的搜索区域中搜索所述当前图像每个块的运动矢量,作为搜索运动矢量。
CNB011101660A 2000-03-28 2001-03-28 用于搜索运动矢量的装置和方法 Expired - Fee Related CN1157957C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000092960A JP2001285874A (ja) 2000-03-28 2000-03-28 動きベクトル探索装置、方法及びプログラムを記録した記録媒体
JP92960/2000 2000-03-28

Publications (2)

Publication Number Publication Date
CN1318948A true CN1318948A (zh) 2001-10-24
CN1157957C CN1157957C (zh) 2004-07-14

Family

ID=18608216

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011101660A Expired - Fee Related CN1157957C (zh) 2000-03-28 2001-03-28 用于搜索运动矢量的装置和方法

Country Status (6)

Country Link
US (1) US6888890B2 (zh)
EP (1) EP1143739A3 (zh)
JP (1) JP2001285874A (zh)
KR (1) KR20010093733A (zh)
CN (1) CN1157957C (zh)
BR (1) BR0101354A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100461865C (zh) * 2005-10-21 2009-02-11 广达电脑股份有限公司 运动矢量估计系统
CN101137059B (zh) * 2006-08-30 2011-08-24 冲电气工业株式会社 动态矢量搜索方法以及装置
CN101061722B (zh) * 2004-10-14 2013-03-27 英特尔公司 采用自适应搜索策略的快速多帧运动估计

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1585326A1 (en) * 2004-03-30 2005-10-12 Matsushita Electric Industrial Co., Ltd. Motion vector estimation at image borders for frame rate conversion
EP1583367A1 (en) * 2004-03-30 2005-10-05 Matsushita Electric Industrial Co., Ltd. Motion estimation employing line and column vectors
US20110225049A1 (en) * 2010-03-12 2011-09-15 Yahoo! Inc. Emoticlips
KR101223754B1 (ko) * 2011-03-11 2013-01-22 숭실대학교산학협력단 움직임 추정 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0543681U (ja) 1991-11-11 1993-06-11 三菱電機株式会社 画像符号化装置
JPH05328333A (ja) 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
JPH0955941A (ja) * 1995-08-16 1997-02-25 Sony Corp 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
JP3019787B2 (ja) 1996-09-20 2000-03-13 日本電気株式会社 動きベクトル検出装置
JP3226020B2 (ja) * 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
JPH10341440A (ja) 1997-06-06 1998-12-22 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法および装置
JP4004653B2 (ja) 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Necエレクトロニクス株式会社 動きベクトル探索装置および方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061722B (zh) * 2004-10-14 2013-03-27 英特尔公司 采用自适应搜索策略的快速多帧运动估计
CN100461865C (zh) * 2005-10-21 2009-02-11 广达电脑股份有限公司 运动矢量估计系统
CN101137059B (zh) * 2006-08-30 2011-08-24 冲电气工业株式会社 动态矢量搜索方法以及装置

Also Published As

Publication number Publication date
EP1143739A2 (en) 2001-10-10
CN1157957C (zh) 2004-07-14
BR0101354A (pt) 2001-11-06
US20030067985A1 (en) 2003-04-10
KR20010093733A (ko) 2001-10-29
US6888890B2 (en) 2005-05-03
EP1143739A3 (en) 2003-09-10
JP2001285874A (ja) 2001-10-12

Similar Documents

Publication Publication Date Title
US5428403A (en) Motion vector estimation, motion picture encoding and storage
JP5836625B2 (ja) 画像の符号化および復号化
CN1956547A (zh) 运动矢量检测装置及运动矢量检测方法
US6424676B1 (en) Motion vector detecting method and device, and storage medium
CN1547725A (zh) 图像匹配
US9167260B2 (en) Apparatus and method for video processing
US20050271144A1 (en) Image processing apparatus and method, and recording medium and program used therewith
KR101579472B1 (ko) 이미지 데이터 스트림의 생성을 위한 방법 및 디바이스, 현재의 이미지를 이미지 데이터 스트림으로부터 재구성하기위한 방법 및 디바이스, 이미지 데이터 스트림 및 이미지 데이터 스트림을 지니는 저장 매체
CN1719901A (zh) 基于运动估计多分辨率方法及存储执行其程序的记录介质
CN1157957C (zh) 用于搜索运动矢量的装置和方法
JP5018775B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
CN1708133A (zh) 降低位精度的用于子像素运动估计的方法和设备
CN1627825A (zh) 用于运动图像编码的运动估计方法
CN1575479A (zh) 用于运动估算的单元和方法以及设有这种运动估算单元的图像处理设备
CN1736108A (zh) 有效的预测图像参数估计
CN1615651A (zh) 确定图像序列中背景的运动
CN1292596C (zh) 动态矢量检测装置
KR100984953B1 (ko) 데이터 검색 방법과 장치 및 이를 포함하는 비디오 재생장치
CN1179675A (zh) 动态向量检测方法及其装置
JP2001145109A (ja) 動きベクトル検出装置
CN1230079A (zh) 图像处理设备、图像处理方法及为其提供的媒体
CN111968151B (zh) 一种运动估计精细搜索方法及装置
US8805104B1 (en) Selecting example-based predictors based on spatial continuity
JP2007096696A5 (zh)
CN1201589C (zh) 运动估计方法和装置

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee