CN1117481C - 用于估计图象移动的有效计算方法 - Google Patents

用于估计图象移动的有效计算方法 Download PDF

Info

Publication number
CN1117481C
CN1117481C CN95100795A CN95100795A CN1117481C CN 1117481 C CN1117481 C CN 1117481C CN 95100795 A CN95100795 A CN 95100795A CN 95100795 A CN95100795 A CN 95100795A CN 1117481 C CN1117481 C CN 1117481C
Authority
CN
China
Prior art keywords
unit
search
resolution ratio
resolution
vision signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN95100795A
Other languages
English (en)
Other versions
CN1125375A (zh
Inventor
S·C·徐
P·阿南丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RCA Licensing Corp
Original Assignee
RCA Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RCA Licensing Corp filed Critical RCA Licensing Corp
Publication of CN1125375A publication Critical patent/CN1125375A/zh
Application granted granted Critical
Publication of CN1117481C publication Critical patent/CN1117481C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用以产生移动矢量的单元匹配方法是通过改进在较低分辨率图象中所决定的移动矢量在连续较高分辨率图象上实施单元匹配。在各自较高分辨率图象上,经由与紧邻较低分辨率搜索中的对应图象区域相关连的一移动矢量,界定有限搜索范围的搜索区域。就至少一层级的图像分辨率而言,所述搜索单元被重叠,以提供许多有限搜索范围的搜索区域,用以就该次一较高分辨率层级中的每一单元均完成单元匹配搜索。

Description

用于估计图象移动的有效计算方法
在本领域技术中大家都知道采用移动估计量的视频信号数字处理器。此种处理器用来提供对由数字化图象帧序列所界定的一时变图象中所表示的移动的评定。此种移动估计对诸如移动补偿编码,帧频变换,扫描转变,降低噪音以及在计算机视察条件三维空间时变景像分析及目标跟踪等应用是有用的。
有关移动估计的一利已知方法是采用一种二维空间的单元匹配方法,其中,现时图象画面与一先前图象画面之间以完整象素分辨率完成一项逐单元的搜索。就现时图象的每一目标单元言,其问题在于计算对于该项预测图象中的最佳匹配单元区域的变换位移。就足以涵盖电视中典型移动的搜索范围而言,要实施该项传统式费力搜索方法是成本昂贵或不切实际的。而且,得自费力搜索的移动矢量可能并未精确反映该场面中的有形物体移动,所以,不会促进最佳的图象压缩或隐蔽误差。
有关移动估计的另一种已知方法采用一种分层级策略(hierarchical strategy),其中将全分辨率图象借助角锥技术予以分解成多个连续较低分辨率图象,而后,利用此等图象提供一项图象移动的自粗至细的评定。由van der Waal在美国专利第5276513号中说明了以硬件予以实施并容许以实时完成移动估计的此种分层级策略的一个实例,该项专利于1994年1月4日授予并转让给与本申请同一受让人。在该项van der Waal专利中,开始就一来自角锥并降低了分辨率的图象粗略地估计移动矢量,而后,将这些粗略估计的移动矢量连续地精制在增大分辨率的图象上,最后,产生其完全分辨率图象的移动矢量,该项得自角锥且降低了分辨率图象则由大于连续画面之间的最大图象位移的一种尺寸的象素组成。每一角锥层级处的连续画面之间的最大图象位移均为该层级处的±1象素。在此种分层级策略的另一实例中,其以软件实施并采用一种重叠角锥自粗至细的投影方案设计,在“测量目视移动的计算体制及算法”一文中作了说明,该文出现在“国际计算机影像杂志”2283-310号(1989年)中,以提供图象移动的更精确估计。虽然此种移动估计的分层级策略比非分层级移动分析只在全分辨率图象上完成的计算显然更为有效,但van der waal及上述论文对一系列高分辨率图象所必需的计算总数仍是成本昂贵。
如同已知的,数字式电视系统(包含高分辨率及标准分辨率两者)和现在所预期的一样在有限带宽视频波道上传输数字化视频信号以前均需要视频压缩。所以,必需有一种能以足够精度和有效的方式计算对应成本可行和实用的移动矢量的视频压缩编码器。
本发明是关于一种体现减少计算复杂性的单元匹配图象移动的估计方法。
更具体地说,此种单元匹配图象移动估计方法是响应一现时图象画面的一个全分辨率二维空间数字化图象,一全分辨率二维空间数字化先前图象画面,该现时图象画面的N层级得自角锥连续较低分辨率图象,以及该先前图象画面的N层级得自角锥连续较低分辨率图象,此处N具有一项至少为2的数值以及每一这些全分辨率现时和先前图象画面均构成一零(0)角锥层级。
该方法包括的步骤为(a)将该现时图象画面的第N个角锥层级分成一种第一大小的多个搜索单元,这些搜索单元重叠在其二维空间的至少一个中,以及(b)运用每一个这些重叠搜索单元,以便用在一已知范围区域内完成该先前图象画面的第N角锥层级的一匹配搜索,以决定有关该先前图象画面的第N角锥层级单元的移动矢量,该移动矢量相对于该搜索单元呈现最低匹配值。通过将各个第(N-1)角锥层级单元投射至该第N层级上来界定一组相关的第N角锥层级单元。就每一第(N-1)层级单元均完成多次(数目等于相关单元的数目)单元匹配搜索,其中运用各个相关第N层级单元的移动矢量来界定该各个多次搜索的每一搜索的一限制第(N-1)层级搜索区域。就每一多次搜索而言,就该对应第(N-1)层级单元选择导致最低误差值的单元匹配搜索。
图1以示意图示出本技术领域,已知的一种传统式单元移动估计方法的一项实例,该实例采用一种二维空间单元匹配方法,其中在一现时数字化图象画面与根据前面数字化图象画面所计算的一先前图象画面之间以全象素分辨率完成逐单元的搜索。
图2a,2b及2c一起以示意图示出将图1的全分辨率搜索单元与全分辨率现时图象画面两者分解成实施本发明移动估计方法的一个最佳实施例时所采用的第1/2,1/4及1/8分辨率单元及现时图象画面。
图3a,3b,3c及4有助于说明本发明该最佳实施例的移动估计方法步骤。
参照图1,那里表示有16×16象素全分辨率单元100及m×n象素分辨率图象102。单元100可为一个16×16象素的方块,具有选自多个此类邻接单元的x,y座标,并将一源图象的现时m×n象素全分辨率图象画面分成这些邻接单元,以及图象102是前述m×n象素全分辨率图象画面。发生在该先前图象画面与现时图象画面之间的图象移动可能会在零象素(亦即,该空间中的静止图象)与一已知最大数目的象素(亦即,在一单帧期间内该空间中可预期的最大移动)之间导致每一水平及垂直方向上的图象位移。在图1中举例说明先前方法中,是在m×n像素图象102单元周围水平方向上的±Rx(例如,±128)个象素以及垂直方向上的Ry(例如,±128)个象素的范围内在m×n象素图象102的16×16个单元与16×16个象素的选择单元100之间依次完成连续匹配,该项m×n象素图象102的单元的象素座标则对应于选择单元100的像素座标。这样,该搜索区域的大小才会是R(例如,±128×±128=65.536)个象素。
将该选择单元100的匹配位置在连续匹配之间移动一个单独象素。该匹配方法包括计算一个m×n象素图象单元102与该选择单元100之256对各个对应象素的数字值之间的差数(或该差数的一个正函数)的绝对值,而后,将这些256个差数相加,以求得该项匹配的一匹配值(因此求得一项零的匹配值可表示一项完美匹配)。就该搜索区域R中的每一象素匹配位置均重覆此种匹配过程(亦即,65536次)以决定m×n象素图象102的哪一特定16×16单元具有其最小匹配值。
已予以计算相对于选择单元100的x,y象素座标具有最小匹配值的m×n象数图象102单元的x,y象素座标之间的位移(亦即,移动矢量)本身提供了对生在该先前图象画面与现时图象画面之间的图象移动量的精确估计。然而,在图1的传统式单元移动估计方法中却是以一种比较高的计算复杂性为代价达成此种精确的图象移动估计的(此处本文所用的“计算复杂性”是以定量界定为:为搜索所有单元所必需的计算操作的总数除以整个全分辨率图象中的象素数目N)。一次“计算操作”被界定为任何角锥层级的分辨率下的两个象素之间以及加到累加器的余项的一种比较。就一项假定的R范围区域而言,尽力搜索的复杂性等于R,因为,该项现时图象的每一全分辨率象素均与R个先前图象的不同全分辨率象素进行比较。
可进一步改良此种匹配方法的方法为在该最佳单元匹配所界定的图像区域中产生内插象素值的填隙真实象素值。而后,在一种±1/2象素范围内完成一项另外的单元匹配搜索,以提供具有一半象素分辨率精度的移动矢量。
具有现时画面的选择单元100的最低匹配数值及x,y座标的先前画面单元的x,y座标之间的差别决定了与具有该最低匹配数值的先前画面单元有关的移动矢量。
根据图2a,2b,2c,3及4的举例所示,本发明的移动估计方法能把图1所示先前技术移动估计方法的计算复杂性减少到原来的大约1/720,因而,使图象移动估计成为实用并具有成本效益。
更具体地说,本发明运用已知角锥技术将一全分辨率源图象的现时图象画面与一全分辨率先前图象画面分解成多个连续较低分辨率图象画面。虽然可采用诸如通频带,低通及能量等不同角锥型式,但为图解目的起见,假定采用具有滤波器零位线系数1,4,6,4,1的一种四层级Gaussian角锥(亦即,层级0,1,2及3),因为,此种Gaussian角锥提供了本发明的有效实施保证。
现在参照图2a,2b及2c,其中表示有存在于这些象素单元的大小与多个单元之间的关系,多个单元是以用在本发明的移动估计方法的一最佳实施例中的每一个别角锥层级0,1,2及3将该现时m×n象素全分辨率图象画面予以划分而成的。具体地说,就角锥层级0而言,图2a表示16×16象素全分辨率单元200(该单元与图1的上述单元100大体上相同)以及相邻配置的多个16×16象素全分辨率单元2001,1......200m/16,n/16,一起构成现时m×n像素全分辨率图象画面202的角锥层级0。就角锥层级而言,图2a表示8×8象素1/2分辨率(在其二维空间的每一空间中)单元204以及相邻配置的多个8×8象素1/2分辨率单元2041,1......204m/16,n/16一起构成现时m/2×n/2象素1/2分辨率图象画面206的角锥层级1。就角锥层级2而言,图2b表示一个8×8象素1/4分辨率单元208以及多个8×8象素1/4分辨率单元2081,1......208m/16,n/16的一项50%重叠(每一维空间内)配置一起构成现时m/4×n/4象素1/4分辨率图象画面210的角锥层级2。就角锥层级3而言,图2c表示8×8象素1/8分辨率单元212以及多个8×8象素1/8分辨率单元2121,1......212m/32,n/32的50%重叠(每一维空间内)配置一起构成现时m/32×n/32象素1/8分辨率图象画面214的角锥层级3。显然,在该现时图象的角锥层级2及3的每维空间内将该影像单元重叠达50%时会导致把单元数目增多到是一种非重叠(亦即,邻接)单元配置的4倍。
二维空间内层级2与3的50%重叠仅为举例而已。此种重叠在二维空间内可能是不同的以及两维空间内的各个重叠可能大于或小于50%。本发明可通过下法实施即只在一层级角锥层级中或者在2层级或更多层级角锥层级中形成单元重叠。
在图2a,2b及2c中,每个8×8象素1/2分辨率单元204均占用和16×16象素全分辨率单元200一样的相同大小图象区域;每个8×8象素1/4分辨率单元208均占用和16×16象素全分辨率单元200一样大小的图象区域的四倍;以及每个8×8象素1/8分辨率单元212均占用大小和16×16象素全分辨率单元200一样的影像区的16倍。这样,单元212的每一象素占用面积和单元200的64个象素所占用的相同;单元208的每一象素占用面积和单元200的16个象素所占用的相同;以及单元204的每一象素所占用面积和单元200的4个象素所占用的相同。
本发明的移动估计方法的最佳实施例包括下列四个步骤,现将该四个步骤详述如下:步骤1:
将现时m/8×n/8象素1/8分辨率图象画面214的角锥层级3的每个重叠单元2121,1......212m/32,n/32用作一搜索单元,以便在一已知范围区域R内,根据该搜索单元的座标,进行该1/8分辨率的先前图象的角维层级3的一项彻底匹配搜索(亦即,在连续匹配之间的每一维空间内均移动搜索单元达一单独角锥层级的象素距离),以借助该具有最低匹配数值的角锥层级3的搜索单元决定这些匹配中的一项的移动矢量。步骤2:
利用现时m/4×n/4象素1/4分辨率图象画面210的角锥层级2的每个重叠单元2081,1......208m/16,n/16作为一搜索单元,以便在例如一种有限的±1,±象素范围内,将该1/4分辨率先前图象的角锥层级2与根据一独立“选择者”投射移动所作的这些P匹配搜索的每一个一起完成P匹配搜索,该独立“选择者”投射移动对应于该P角锥层级3重叠单元中之每一个别单元的移动矢量,投射于该重叠单元上的是该角锥层级2搜索单元的一预定部分(例如,其中心点),以便借助该项具有最低匹配数值的角锥层级2搜索单元决定这些匹配中的一项的移动矢量。步骤3:
利用现时m/2×n/2象素1/2分辨率影像画面206的角锥层级1的每一邻接单元2041,1......204m/16,n/16作为一搜索单元,在一种±1。±象素范围内,根据一独立“选择者”投射移动所作的每一个这些Q匹配搜索一起完成该1/2分辨率先前图象的角锥层级1的Q匹配搜索,该独立“选择者”投射移动对应于该Q角锥层级2重叠单元中的每一个别单元的移动矢量,被投射至该重叠单元上的是该层级1搜索单元的一预定区域,以便借助该项具有最低匹配数值的角锥层级1搜索单元决定这些匹配中的一项的移动矢量。步骤4:
利用现时m×n象素全分辨率图象画面206的角锥层级0的每一邻接单元2041,1......204m/16,n/16作为一搜索单元,以便在一种±1,±1象素范围内,根据角锥层级1的匹配搜索期间所发现具有该最低匹配数值的先前图象的角锥层级1单元,完成该全分辨率先前图象的角锥层级0的一项单独匹配搜索,以便借助该项具有最低匹配数值的角锥层级0搜索单元决定这些匹配中的一项的移动矢量。
在减小以一项并未对应于该正确移动而是恰好发生具有一低剩余的位移来匹配一低分辨率单元的机率以及增进角锥层级0时所获得移动方面的平滑度时,将大区域搜索单元使用在较高角锥层级中是合意的。
另一方面,问题在于大单元更可能会跨接不同移动区域之间的界线,以给出不良的匹配,尤其在将该单元分成两个大致相等的部分时更是如此。步骤1及2中所采用的重叠则可使该问题减至最小。此举是千真万确的,因为,可能在搜索一组围绕该图象景色中的两个大物体之间的边界的单元时,该组单元的至少某些单元不会分裂成两个相等部分。
步骤1是在一项±Rx/8,±Ry/8象素位移上面完成单元匹配搜索,以覆盖相当于该全分辨率范围±Rx,±Ry的搜索范围。这样,每一单元匹配搜索便需要R/64的匹配计算操作。一项全分辨率角锥层级0象素的面积与每项角锥层级3象素的面积之比率为1/64。可是,由于步骤1中的水平与垂直垂叠的缘故,使该项比率增加至4倍(就50%重叠而言)至1/16倍。这样,步骤1的“计算复杂性”(根据上文所定义的)便是R/64×1/16=R/1024。基于每一±Rx及±Ry均为±128全分辨率象素的上述假定(以使范围区域R为65536全分辨率象素),步骤1的“计算复杂性”仅为65536/1024=64而已。
图3a,3b及3c有助于更详细说明步骤2。图3a表示一角锥层级2搜索单元300S与其对应组别的现时帧图象的四个50%水平及50%垂直重叠角锥层级3搜索单元302S,304S,306S及308S中的每一单元的关系。在图3b中,单元302P为在该角锥层级3搜索期间发现具有相对于搜索单元302S的最低匹配数值的先前帧影像的那个单元。同样单元304P,306P及308P分别为该角锥层级3搜索期间发现具有相对于搜索单元304S,306S及308S中的对应单元的最低匹配数值的先前帧图象的单元。兹将图3b的单元302P,304P,306P及308P予以在图3c中以示意图表示为空间上彼此为分离的,以期清晰地示出该先前画面图象的每一角锥层级2单元300P-1,300P-2,300P-3及300P-4等的情形,这些单元的每一个均对应于图3a中所表示的现时画面影像的搜索单元300S。
正如图3c中所进一步以示意图式表示的,角锥层级2单元300P-1具有一项相对于与其相关连的搜索单元300S的“候选者”移动矢量310-1(该“候选者”移动矢量310-1对应于图3a中所示现时帧图象的角锥层级3搜索单元302S与图3b中所示已在由搜索单元302S搜索的步骤1期间所发现的具有最低匹配值的先前帧图象的角锥层级3单元302P之间的影像移动)。“候选者”移动矢量310-2,310-3或310-4均以一种类似方式分别与其角锥层级2单元300P-2,300P-3及300P-4相关联。
图3a,3b及3c适用于以与有关步骤2相同的上述方式决定步骤3的“候选者”移动矢量。
步骤2,3及4中的每一步骤必须包括在例如以该步骤的分辨率下相对先前画面单元400的一项±1,±1象素位移(见图4)的被限制搜索范围内进行单元匹配搜索。这样,一项±1,±1单元匹配搜索需要具有用来匹配单元400本身以及图4搜索范围内的8个其他移动单元中的每一单元的分辨率的一搜索单元的9个匹配计算操作。
所以,由于采用水平与垂直重叠的步骤1的缘故,故步骤2需要单元208的36(亦即9×4)个匹配计算操作(就50%重叠而言),以便就其四个“候选者”移动矢量中的每一矢量覆盖其整个搜索范围。一全分辨率象素的区域与每一角锥层级2象素区域的比率为1/16。但由于步骤2中所采用的水平与垂直两者的50%重叠,故使该项比率增加了4倍至25%,所以,步骤2的额外“计算复杂性”(如上所定义)本身为1/4×36=9。
若步骤2亦采用50%水平及50%垂直重叠,则步骤3需要单元204的36(亦即,9×4)个匹配计算操作,以覆盖其整个搜索范围。一全分辨率象素的面积对每一角锥层级1象素的面积之比为1/4倍。由于步骤3中没有重叠,故此比率没有增大。所以,步骤3的额外“计算复杂性”(如上所定义)本身为1/4×36=9。
步骤3并未采用重叠,因而,步骤4为覆盖其整个搜索范围只需要单元200的9个匹配计算操作。一个全分辨率象素的面积对每一角锥层级1象素的面积之比率为1。由于步骤4中没有重叠,故该比率没有增加。所以,步骤4的额外”计算复杂性”(如上所定义)本身亦为9。
虽然图1所例示的传统式单元匹配移动估计方法的“计算复杂性”为65536,但本发明单元匹配移动评定方法的上述最佳实施例的步骤1至4全部的总“计算复杂性”却为64+9+9+9=91。因此,本发明的单元匹配移动估计方法的上述最佳实施例提供的“计算复杂性”相对于图1所例示的传统单元匹配移动估计方法减少至稍大于720(亦即,65536/91)。
而且,还可以与关于图1所例示的传统式单元匹配移动估计的上述方式相同的方式提高与被发现具有本发明的单元匹配移动方法的最佳实施例的步骤4所取得的最低匹配数值的单独单元相关连的移动矢量值的精密度。
本文无意将本发明限制于一种上述单元匹配图象移动估计方法的最佳实施例的特定参数。而是本发明可延伸为采用本发明的原理,以减少“计算复杂性”的任何单元匹配图象移动估计方法。

Claims (18)

1.一种视频信号移动补偿编码方法,包括一种单元匹配图象移动估计方法,用于产生表示图象移动的移动矢量,所述方法包括以下步骤:
a)提供表示现时图象画面的全分辨率二维数字视频信号;
b)延迟所述全分辨率二维数字视频信号,以提供表示先前图象画面的全分辨率二维数字视频信号;
c)从表示现时图象画面的所述视频信号中产生N个分辨率逐渐下降的各表示一个图象的视频信号,以及从表示先前图象画面的所述视频信号产生N个分辨率逐渐下降的各表示一个图象的视频信号,其中N为一正整数,而所述全分辨率的现时的和先前的图象画面的每个画面都构成一个O分辨率级;
d)将表示所述现时图象画面的第M个分辨率级的视频信号划分成第一大小的多个重叠搜索单元(302S-308S),这些搜索单元均被重叠在所述二维空间的至少一维上,其中第O个分辨率级小于第M个分辨率级且小于或等于第N个分辨率级;
e)对每个所述重叠在先前图象画面(302P-308P)的第M个分辨率级的给定范围区域上的现时图象画面的搜索单元(302S-308S),执行单元匹配搜索,以确定向所述先前图象画面的第M个分辨率级单元的移动矢量,该移动矢量表现了相对于该搜索单元的最接近的匹配值;
f)在为第(M-1)个分辨率级的各个单元确定各移动矢量过程中,利用在第M个分辨率级中为各单元产生的多个移动矢量;以及
g)利用紧接着的较高分辨率级中产生的移动矢量为分辨率逐渐下降的各图象单元产生移动矢量,其中包括为作为一个编码视频信号的O分辨率级的各个单元而产生的移动矢量。
2.根据权利要求1所述的方法,其特征在于还包括以下步骤:
h)将所述现时图象画面的第(M-1)个分辨率级划分成不大于所述第一大小的多个第二搜索单元;
i)确定所述第M个分辨率级的单元X,该单元至少在具有所述第(M-1)分辨率级的各第二搜索单元的部分上被收集;
j)就第M个分辨率级的每一所述单元X,利用单元X的移动矢量来确定分辨率级(M-1)中受限制的搜索范围的X个搜索区域;以及
k)就分辨率级(M-1)中的每一所述搜索区域完成单元匹配搜索,并依据该单元匹配搜索产生所述第二搜索单元的一个最低误差值来选择一个移动矢量。
3.根据权利要求2所述的方法,其特征在于,所述第一大小的所述多个搜索单元有50%重叠在所述二维空间的两个空间中。
4.根据权利要求2所述的方法,其特征在于:
N的数值为3;
从而使第M个分辨率级为第3分辨率级,而第(M-1)分辨率级为第2分辨率级。
5.根据权利要求4所述的方法,其特征在于,所述步骤(h)包括将现时图象画面的第2个分辨率级划分成多个所述第二搜索单元,这些第二搜索单元被重叠在所述二维空间的至少一个空间上。
6.根据权利要求5所述的方法,其特征在于,所述第一大小的所述多个搜索单元与所述多个第二搜索单元两者均有50%重叠在所述二维空间的两个空间上。
7.根据权利要求6所述的方法,其特征在于,所述第一大小的所述搜索单元的形状为矩形,且其中:
所述步骤h)包括将所述现时影像画面的第2个分辨率级划分成多个矩形第二搜索单元,每一个第二搜索单元具有的各个空间为所述第一大小的一个搜索单元的相应空间大小的一半。
8.根据权利要求5所述的方法,其特征在于还包括以下步骤:
l)将所述现时图象画面的第一分辨率级划分成多个第三搜索单元,这些第三搜索单元的大小均不大于所述第二搜索单元,每一个所述第三搜索单元均被投射在所述现时图象画面的所述重叠的第二搜索单元上;以及
m)运用所述第三搜索单元中给定的一个单元,以供用在所述第二分辨率的每一单元的±1,±1范围内进行的独立匹配搜索中,所述第三搜索单元的所述给定单元投射于该第二分辨率级的单元上,其中每一独立匹配搜索均利用与所述第二分辨率级单元中的一个不同单元相关联的移动矢量来确定全部所述独立匹配搜索的所述±1,±1范围的单独一个单元的细分的移动矢量,该移动矢量呈现相对于所述第三搜索单元中一个单元所完成的匹配总数中的最低匹配值。
9.根据权利要求8所述的方法,其特征在于,所述步骤1)包括将所述现时图象画面的第一分辨率级划分成多个不重叠的第三搜索单元。
10.根据权利要求8所述的方法,其特征在于,所述多个第一大小的搜索单元与所述多个第二搜索单元的形状均为矩形,且其中:
所述步骤h)包括将所述现时图象画面的第二分辨率级划分成多个矩形第二搜索单元,每一所述第二搜索单元具有的各自空间为所述第一大小的一搜索单元的对应空间大小的一半;且
所述步骤1)包括将所述现时图象画面的第一分辨率级划分成多个矩形的第三搜索单元,每一所述第三搜索单元具有的各自空间为第二搜索单元的相应空间大小的一半。
11.根据权利要求8所述的方法,其特征在于还包括以下步骤:
n)将所述现时图象画面的0分辨率级划分成多个第四搜索单元,所述第四搜索单元的大小不大于所述第三搜索单元;以及
o)运用所述第四搜索单元中给定的一个单元,以供用在所述先前图像画面的所述0分辨率级的每一单元的±1,±1范围内进行的匹配搜索中,以确定所述±1,±1范围的单独一个单元的细分的移动矢量,该移动矢量呈现相对于所述第四搜索单元中一个单元的最接近的匹配值。
12.根据权利要求11所述的方法,其特征在于还包括以下步骤:
p)采用每一个所述第四搜索单元作为所述第四搜索单元中的所述给定单元。
13.根据权利要求11所述的方法,其特征在于,所述第一大小的所述多个搜索单元,所述多个所述第二搜索单元和所述第三搜索单元的形状全部为矩形,且其中:
所述步骤h)包括将所述现时图象画面的第2分辨率级划分成多个矩形第二搜索单元,每一个所述第二搜索单元具有的各自空间为所述第一大小的搜索单元的对应空间大小的一半;
所述步骤1)包括将所述现时图象画面的第1分辨率级划分成多个矩形第三搜索单元,每一个第三搜索单元具有的各自空间为一个第二搜索单元对应空间大小的一半;以及
所述步骤n)包括为将所述现时图象画面的0分辨率级划分成多个矩形第四搜索单元,每一个第四搜索单元具有的各自空间与一个第三搜索单元对应空间大小相等。
14.根据权利要求13所述的方法,其特征在于,所述第三,第二和第一分辨率级的分辨率分别为在其二维空间的每维空间上全分辨率的0分辨率级的1/8,1/4和1/2。
15.根据权利要求13所述的方法,其特征在于,所述第三,第二和第一分辨率级搜索单元中的每一单元均包括一个该分辨率级的R×R个象素的单元,以及所述0分辨率级搜索单元包括一个所述0分辨率级的2R×2R个象素的单元,其中R为一整数。
16.根据权利要求1所述的方法,其特征在于还包括以下步骤:
利用Gaussian角锥处理过程,采用一个在其所述N个级的每一级上都包含零位线系数1,4,6,4,1的滤波器,来求取所述现时图象画面的所述分辨率逐渐下降的图象的N个分辨率级以及所述先前图象画面的所述分辨率逐渐下降的图象的N个分辨率级。
17.一种单元匹配方法,用于对分辨率逐渐升高的图象完成单元匹配而产生移动矢量,并对较低分辨率的图象中对应图象区域确定的移动矢量进行细分,该方法包括以下步骤:
提供表示现时图象画面的一个视频信号;
延迟所述视频信号以提供表示现时图象画面的延迟的视频信号;
对所述视频信号和延迟的视频信号进行滤波,以提供多个图象分辨率逐渐下降的视频信号和图象分辨率逐渐下降的延迟的视频信号;
将一个较低图象分辨率的视频信号划分成各象素单元,并用同样图象分辨率的视频信号和延迟的视频信号使单元匹配而为每个象素单元产生移动矢量;
将每个较高图象分辨率的视频信号划分成各象素单元;
利用对包含在紧接着的较低图象分辨率的视频信号中对应图象区域的单元而确定的移动矢量,为一较高图象分辨率的视频信号的各个单元细分受限制的搜索范围的一个搜索区域;
对于各个图象分辨率视频信号中的各个象素单元,完成受限制的搜索范围的各所述搜索区域内的单元匹配;
对于非最高图象分辨率视频信号的至少一个图象分辨率视频信号,将其划分成重叠的各象素单元,以提供多个受限制的搜索范围的搜索区域,从而对下一个紧接着的较高分辨率图象中的每个象素单元完成单元匹配;以及
为最高图象分辨率视频信号的各个单元包含所产生的移动矢量作为编码视频信号的一个分量,同时发送所述编码的视频信号。
18.根据权利要求17所述的方法,其特征在于,所述完成受限制的搜索范围的各所述搜索区域内的单元匹配的步骤,是对于紧接着的高于所述分辨率视频信号至少一级的分辨率视频信号中的各个象素单元进行的,该方法还包括以下步骤:
将所述紧接着的较高分辨率视频信号R划分成各单元BBi;
在所述紧接着的较低分辨率视频信号R-1中,确定各个重叠单元Bi中的一些,将其至少安排在所述紧接着的较高分辨率视频信号R中的具有各单元BBi的部分中,并且选取与已被确定的各单元Bi相关联的移动矢量MVBi;以及
在分别由每个移动矢量MVBi指定的各个搜索区域中,对于所述紧接着的较高分辨率视频信号R中的单元BBi完成单元匹配,并选择为单元BBi的移动矢量,其中对应于一个单元匹配的移动矢量提供了最好的匹配。
CN95100795A 1994-02-23 1995-02-22 用于估计图象移动的有效计算方法 Expired - Fee Related CN1117481C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US20059994A 1994-02-23 1994-02-23
US200599 1994-02-23
US200,599 1994-02-23

Publications (2)

Publication Number Publication Date
CN1125375A CN1125375A (zh) 1996-06-26
CN1117481C true CN1117481C (zh) 2003-08-06

Family

ID=22742388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN95100795A Expired - Fee Related CN1117481C (zh) 1994-02-23 1995-02-22 用于估计图象移动的有效计算方法

Country Status (5)

Country Link
US (1) US5742710A (zh)
JP (1) JPH07262381A (zh)
KR (1) KR100362038B1 (zh)
CN (1) CN1117481C (zh)
TW (1) TW321748B (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2742248B1 (fr) * 1995-12-06 1998-01-23 Thomson Multimedia Sa Procede de traitement de donnees dans des reseaux matriciels dans un systeme d'estimation de mouvement
JP3631868B2 (ja) * 1996-12-20 2005-03-23 株式会社東芝 動きベクトル検出装置および方法
JPH10210473A (ja) * 1997-01-16 1998-08-07 Toshiba Corp 動きベクトル検出装置
US6332002B1 (en) * 1997-11-01 2001-12-18 Lg Electronics Inc. Motion prediction apparatus and method
US6611287B1 (en) * 1997-11-28 2003-08-26 Sony Corporation Camera signal processing apparatus and camera signal processing method
US6259737B1 (en) * 1998-06-05 2001-07-10 Innomedia Pte Ltd Method and apparatus for fast motion estimation in video coding
US6459822B1 (en) * 1998-08-26 2002-10-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Video image stabilization and registration
KR100457065B1 (ko) * 1998-12-29 2005-05-19 주식회사 대우일렉트로닉스 비디오신호의움직임벡터생성장치
KR20000044735A (ko) * 1998-12-30 2000-07-15 전주범 움직임 추정 장치
SG89282A1 (en) 1999-05-28 2002-06-18 Kent Ridge Digital Labs Motion information extraction system
US6842483B1 (en) 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
US6785427B1 (en) * 2000-09-20 2004-08-31 Arcsoft, Inc. Image matching using resolution pyramids with geometric constraints
US6941018B2 (en) * 2001-03-23 2005-09-06 Glory Ltd. Method of and apparatus for searching corresponding points between images, and computer program
EP1259079B1 (en) * 2001-04-30 2007-03-21 STMicroelectronics Pvt. Ltd An efficient low power motion estimation of a video frame sequence
KR100446235B1 (ko) * 2001-05-07 2004-08-30 엘지전자 주식회사 다중 후보를 이용한 움직임 벡터 병합 탐색 방법
FI110745B (fi) * 2001-11-13 2003-03-14 Hantro Products Oy Menetelmä ja laite peräkkäisten kuvien koodaamiseksi
US7400782B2 (en) * 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
US7409105B2 (en) * 2003-10-22 2008-08-05 Arcsoft, Inc. Panoramic maker engine for a low profile system
US7346109B2 (en) * 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7463778B2 (en) * 2004-01-30 2008-12-09 Hewlett-Packard Development Company, L.P Motion estimation for compressing multiple view images
US7382915B2 (en) * 2004-03-16 2008-06-03 Xerox Corporation Color to grayscale conversion method and apparatus
FR2868579A1 (fr) * 2004-03-30 2005-10-07 St Microelectronics Sa Procede et dispositif de generation de vecteurs candidats pour les systemes d'interpolation d'images par estimation et compensation de mouvement
WO2006022077A1 (ja) * 2004-08-23 2006-03-02 Sony Corporation 撮像装置、撮像結果の処理方法及び集積回路
KR100677562B1 (ko) * 2005-02-03 2007-02-02 삼성전자주식회사 움직임 추정 방법 및 장치
US20060215036A1 (en) * 2005-03-25 2006-09-28 Multivision Intelligent Surveillance (Hk) Ltd. Method and apparatus for video stabilization
DE102006030990A1 (de) * 2005-11-14 2007-05-16 Univ Muenster Wilhelms Verfahren und Anordnung zum monoskopischen Darstellen wenigstens eines Bereiches eines Bildes auf einer autostereoskopischen Anzeigevorrichtung
US8085849B1 (en) * 2006-11-03 2011-12-27 Keystream Corporation Automated method and apparatus for estimating motion of an image segment using motion vectors from overlapping macroblocks
WO2008073416A1 (en) * 2006-12-11 2008-06-19 Cinnafilm, Inc. Real-time film effects processing for digital video
US8233748B2 (en) * 2007-07-20 2012-07-31 Samsung Electronics Co., Ltd. Image-resolution-improvement apparatus and method
KR101354899B1 (ko) * 2007-08-29 2014-01-27 삼성전자주식회사 파노라마 사진 촬영 방법
US8571114B2 (en) * 2008-01-11 2013-10-29 Zoran (France) S.A. Sparse geometry for super resolution video processing
US8175160B1 (en) * 2008-06-09 2012-05-08 Nvidia Corporation System, method, and computer program product for refining motion vectors
US7983512B2 (en) * 2008-06-24 2011-07-19 Microsoft Corporation Embedding large images within one another
US8064733B2 (en) * 2008-06-24 2011-11-22 Microsoft Corporation Variable resolution images
US7933473B2 (en) * 2008-06-24 2011-04-26 Microsoft Corporation Multiple resolution image storage
US8208065B2 (en) * 2008-07-30 2012-06-26 Cinnafilm, Inc. Method, apparatus, and computer software for digital video scan rate conversions with minimization of artifacts
AT509025B1 (de) * 2009-01-21 2013-07-15 Arc Austrian Res Centers Gmbh Verfahren zur ermittlung der positionen von passpunkten
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
JP5683153B2 (ja) * 2010-07-09 2015-03-11 キヤノン株式会社 画像処理装置および画像処理方法
US8891626B1 (en) 2011-04-05 2014-11-18 Google Inc. Center of motion for encoding motion fields
EP2727357A1 (en) 2011-07-01 2014-05-07 Motorola Mobility LLC Motion vector prediction design simplification
WO2013067440A1 (en) 2011-11-04 2013-05-10 General Instrument Corporation Motion vector scaling for non-uniform motion vector grid
TW201328359A (zh) * 2011-12-19 2013-07-01 Ind Tech Res Inst 基於壓縮域的移動物件偵測方法及裝置
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US8908767B1 (en) 2012-02-09 2014-12-09 Google Inc. Temporal motion vector prediction
ITVI20120087A1 (it) 2012-04-17 2013-10-18 St Microelectronics Srl Stabilizzazione video digitale
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
US9305362B1 (en) * 2014-02-28 2016-04-05 Xilinx, Inc. Image stabilization
KR102564477B1 (ko) * 2015-11-30 2023-08-07 삼성전자주식회사 객체 검출 방법 및 장치
CN108230294B (zh) * 2017-06-14 2020-09-29 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备和存储介质
BR112019028012A2 (pt) 2017-06-30 2020-07-07 Huawei Technologies Co., Ltd. dispositivo e método para determinar um vetor de movimento, codificador e decodificador de vídeo para codificar e decodificar uma pluralidade de fotos
JP7383128B2 (ja) * 2020-03-25 2023-11-17 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4674125A (en) * 1983-06-27 1987-06-16 Rca Corporation Real-time hierarchal pyramid signal processing apparatus
US4703514A (en) * 1985-09-16 1987-10-27 Rca Corporation Programmed implementation of real-time multiresolution signal processing apparatus
EP0285902A3 (de) * 1987-04-07 1990-10-10 Siemens Aktiengesellschaft Verfahren zur Datenreduktion digitaler Bildsequenzen
EP0294961B1 (en) * 1987-06-09 1994-10-12 Sony Corporation Motion vector selection in television images
FR2623955B1 (fr) * 1987-11-27 1990-04-27 Labo Electronique Physique Procede et dispositif d'estimation et de compensation de mouvement dans une sequence d'images et leur application dans un systeme de transmission d'images de television a haute definition
FR2633468B1 (fr) * 1988-06-24 1990-11-09 France Etat Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees
FR2651399B1 (fr) * 1989-08-29 1996-05-15 Thomson Consumer Electronics Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images.
JPH0385884A (ja) * 1989-08-29 1991-04-11 Sony Corp 画像の動き検出回路
JPH03117991A (ja) * 1989-09-29 1991-05-20 Victor Co Of Japan Ltd 動きベクトル符号化装置及び復号化装置
US4937666A (en) * 1989-12-04 1990-06-26 Bell Communications Research, Inc. Circuit implementation of block matching algorithm with fractional precision
FR2663178B1 (fr) * 1990-06-06 1995-07-21 Thomson Csf Procede d'estimation hierarchique du mouvement dans une sequence d'images.
JP2549479B2 (ja) * 1991-12-06 1996-10-30 日本電信電話株式会社 動き補償フレーム間帯域分割符号化処理方法
US5276513A (en) * 1992-06-10 1994-01-04 Rca Thomson Licensing Corporation Implementation architecture for performing hierarchical motion analysis of video images in real time

Also Published As

Publication number Publication date
KR100362038B1 (ko) 2003-03-04
US5742710A (en) 1998-04-21
JPH07262381A (ja) 1995-10-13
KR950033960A (ko) 1995-12-26
CN1125375A (zh) 1996-06-26
TW321748B (zh) 1997-12-01

Similar Documents

Publication Publication Date Title
CN1117481C (zh) 用于估计图象移动的有效计算方法
EP0395275B1 (en) Motion dependent video signal processing
US5557684A (en) System for encoding image data into multiple layers representing regions of coherent motion and associated motion parameters
EP0395271B1 (en) Motion dependent video signal processing
US6229570B1 (en) Motion compensation image interpolation—frame rate conversion for HDTV
EP0395273B1 (en) Motion dependent video signal processing
EP0395264B1 (en) Motion dependent video signal processing
JPH06506578A (ja) ビデオ信号における運動内容推定方法
US4998168A (en) Motion dependent video signal processing
CN1706189A (zh) 带有降质的图像处理单元
EP0395266B1 (en) Motion dependent video signal processing
EP0395272B1 (en) Motion dependent video signal processing
EP0395270B1 (en) Motion dependent video signal processing
CN1723476A (zh) 用于数字图像的深度排序的方法和设备
US20060098886A1 (en) Efficient predictive image parameter estimation
EP1131955B1 (en) Method of global motion estimation
EP0395269B1 (en) Motion dependent video signal processing
CN1461556A (zh) 方便运动估计
Chien et al. Robust motion estimation for video sequences based on phase-only correlation
JPH0918685A (ja) 画像合成方法
JPH0646383A (ja) 動画の動き解析装置及び方法
Grammalidis et al. Temporal frame interpolation for stereoscopic sequences using object-based motion estimation and occlusion detection
JP3271387B2 (ja) 動き量検出装置及び動き量検出方法
JP2000324495A (ja) フィールド周波数変換装置および変換方法
JPH1013835A (ja) 動きベクトル検出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20030806

Termination date: 20130222