CN1125375A - 用于估计图象移动的有效计算方法 - Google Patents

用于估计图象移动的有效计算方法 Download PDF

Info

Publication number
CN1125375A
CN1125375A CN95100795A CN95100795A CN1125375A CN 1125375 A CN1125375 A CN 1125375A CN 95100795 A CN95100795 A CN 95100795A CN 95100795 A CN95100795 A CN 95100795A CN 1125375 A CN1125375 A CN 1125375A
Authority
CN
China
Prior art keywords
search
unit
search unit
units
pyramid level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN95100795A
Other languages
English (en)
Other versions
CN1117481C (zh
Inventor
S·C·徐
P·阿南丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RCA Licensing Corp
Original Assignee
RCA Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RCA Licensing Corp filed Critical RCA Licensing Corp
Publication of CN1125375A publication Critical patent/CN1125375A/zh
Application granted granted Critical
Publication of CN1117481C publication Critical patent/CN1117481C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用以产生移动矢量的单元匹配方法是通过改进在较低分辨率图象中所决定的移动矢量在连续较高分辨率图象上实施单元匹配。在各自较高分辨率图象上,经由与紧邻较低分辨率搜索中的对应图象区域相关连的一移动矢量,界定有限搜索范围的搜索区域。就至少一层级的图像分辨率而言,所述搜索单元被重叠,以提供许多有限搜索范围的搜索区域,用以就该次一较高分辨率层级中的每一单元均完成单元匹配搜索。

Description

用于估计图象移动的有效计算方法
在本领域技术中大家都知道采用移动估计量的视频信号数字处理器。此种处理器用来提供对由数字化图象帧序列所界定的一时变图象中所表示的移动的评定。此种移动估计对诸如移动补偿编码,帧频变换,扫描转变,降低噪音以及在计算机视察条件三维空间时变景像分析及目标跟踪等应用是有用的。
有关移动估计的一种已知方法是采用一种二维空间的单元匹配方法,其中,现时图象画面与一先前图象画面之间以完整象素分辨率完成一项逐单元的搜索。就现时图象的每一目标单元言,其问题在于计算对于该项预测图象中的最佳匹配单元区域的变换位移。就足以涵盖电视中典型移动的搜索范围而言,要实施该项传统式费力搜索方法是成本昂贵或不切实际的。而且,得自费力搜索的移动矢量可能并未精确反映该场面中的有形物体移动,所以,不会促进最佳的图象压缩或隐蔽误差。
有关移动估计的另一种已知力法采用一种分层级策略(hierarchical slralegy),其中将全分辨率图象借助角锥技术予以分解成多个连续较低分辨率图象,而后,利用此等图象提供一项图象移动的自粗至细的评定。由vand der Waal在美国专利第5276513号中说明了以硬件予以实施并容许以实时完成移动估计的此种分层级策略的一个实例,该项专利于1994年1月4日授予并转让给与本申请同一受让人。在该项van der Waal专利中,开始就一来自角锥并降低了分辨率的图象粗略地估计移动矢量,而后,将这些粗略估计的移动矢量连续地精制在增大分辨率的图象上,最后,产生其完全分辨率图象的移动矢量,该项得自角锥且降低了分辨率图象则由大于连续画面之间的最大图象位移的一种尺寸的象素组成。每一角锥层级处的连续画面之间的最大图象位移均为该层级处的±1象素。在此种分层级策略的另一实例中,其以软件实施并采用一种重叠角锥自粗至细的投影方案设计,在“测量目视移动的计算体制及算法”一文中作了说明,该文出现在“国际计算机影像杂志”2283—310号(1989年)中,以提供图象移动的更精确估计。虽然此种移动估计的分层级策略比非分层级移动分析只在全分辨率图象上完成的计算显然更为有效,但van der waal及上述论文对一系列高分辨率图象所必需的计算总数仍是成本昂贵。
如同已知的,数字式电视系统(包含高分辨率及标准分辨率两者)和现在所预期的一样在有限带宽视频波道上传输数字化视频信号以前均需要视频压缩。所以,必需有一种能以足够精度和有效的方式计算对应成本可行和实用的移动矢量的视频压缩编码器。
本发明是关于一种体现减少计算复杂性的单元匹配图象移动的估计方法。
更具体地说,此种单元匹配图象移动估计方法是响应一现时图象画面的一个全分辨率二维空间数字化图象,一全分辨率二维空间数字化先前图象画面,该现时图象画面的N层级得自角锥连续较低分辨率图象,以及该先前图象画面的N层级得自角锥连续较低分辨率图象,此处N具有一项至少为2的数值以及每一这些全分辨率现时和先前图象画面均构成一零(0)角锥层级。
该方法包括的步骤为(a)将该现时图象画面的第N个角锥层级分成一种第一大小的多个搜索单元,这些搜索单元重叠在其二维空间的至少一个中,以及(b)运用每一个这些重叠搜索单元,以便用在一已知范围区域内完成该先前图象画面的第N角锥层级的一匹配搜索,以决定有关该先前图象画面的第N角锥层级单元的移动矢量,该移动矢量相对于该搜索单元呈现最低匹配值。通过将各个第(N—1)角锥层级单元投射至该第N层级上来界定一组相关的第N角锥层级单元。就每一第(N-1)层级单元均完成多次(数目等于相关单元的数目)单元匹配搜索,其中运用各个相关第N层级单元的移动矢量来界定该各个多次搜索的每一搜索的一限制第(N-1)层级搜索区域。就每一多次搜索而言,就该对应第(N-1)层级单元选择导致最低误差值的单元匹配搜索。
图1以示意图示出本技术领域,已知的一种传统式单元移动估计方法的一项实例,该实例采用一种二维空间单元匹配方法,其中在一现时数字化图象画面与根据前面数字化图象画面所计算的一先前图象画面之间以全象素分辨率完成逐单元的搜索。
图2a,2b及2c一起以示意图示出将图1的全分辨率搜索单元与全分辨率现时图象画面两者分解成实施本发明移动估计方法的一个最佳实施例时所采用的第1/2,1/4及1/8分辨率单元及现时图象画面。
图3a,36,3c及4有助于说明本发明该最佳实施例的移动估计方法步骤。
参照图1,那里表示有16×16象素全分辨率单元100及m×n象素分辨率图象102。单元100可为一个16×16象素的方块,具有选自多个此类邻接单元的x,y座标,并将一源图象的现时m×n象素全分辨率图象画面分成这些邻接单元,以及图象102是前述m×n象素全分辨率图象画面。发生在该先前图象画面与现时图象画面之间的图象移动可能会在零象素(亦即,该空间中的静止图象)与一已知最大数目的象素(亦即,在一单帧期间内该空间中可预期的最大移动)之间导致每一水平及垂直方向上的图象位移。在图1中举例说明先前方法中,是在m×n像素图象102单元周围水平方向上的±Rx(例如,±128)个象素以及垂直方向上的Ry(例如,±128)个象素的范围内在m×n象素图象102的16×16个单元与16×16个象素的选择单元100之间依次完成连续匹配,该项m×n象素图象102的单元的象素座标则对应于选择单元100的像素座标。这样,该搜索区域的大小才会是R(例如,±128×±128=65.536)个象素。
将该选择单元100的匹配位置在连续匹配之间移动一个单独象素。该匹配方法包括计算一个m×n象素图象单元102与该选择单元100之256对各个对应象素的数字值之间的差数(或该差数的一个正函数)的绝对值,而后,将这些256个差数相加,以求得该项匹配的一匹配值(因此求得一项零的匹配值可表示一项完美匹配)。就该搜索区域R中的每一象素匹配位置均重覆此种匹配过程(亦即,65536次)以决定m×n象素图象102的哪一特定16×16单元具有其最小匹配值。
已予以计算相对于选择单元100的x,y象素座标具有最小匹配值的m×n象数图象102单元的x,y象素座标之间的位移(亦即,移动矢量)本身提供了对生在该先前图象画面与现时图象画面之间的图象移动量的精确估计。然而,在图1的传统式单元移动估计方法中却是以一种比较高的计算复杂性为代价达成此种精确的图象移动估计的(此处本文所用的“计算复杂性”是以定量界定为:为搜索所有单元所必需的计算操作的总数除以整个全分辨率图象中的象素数目N)。一次“计算操作”被界定为任何角锥层级的分辨率下的两个象素之间以及加到累加器的余项的一种比较。就一项假定的R范围区域而言,尽力搜索的复杂性等于R,因为,该项现时图象的每一全分辨率象素均与R个先前图象的不同全分辨率象素进行比较。
可进一步改良此种匹配方法的方法为在该最佳单元匹配所界定的图像区域中产生内插象素值的填隙真实象素值。而后,在一种±1/2象素范围内完成一项另外的单元匹配搜索,以提供具有一半象素分辨率精度的移动矢量。
具有现时画面的选择单元100的最低匹配数值及x,y座标的先前画面单元的x,y座标之间的差别决定了与具有该最低匹配数值的先前画面单元有关的移动矢量。
根据图2a,2b,2c,3及4的举例所示,本发明的移动估计方法能把图1所示先前技术移动估计方法的计算复杂性减少到原来的大约1/720,因而,使图象移动估计成为实用并具有成本效益。
更具体地说,本发明运用已知角锥技术将一全分辨率源图象的现时图象画面与一全分辨率先前图象画面分解成多个连续较低分辨率图象画面。虽然可采用诸如通频带,低通及能量等不同角锥型式,但为图解目的起见,假定采用具有滤波器零位线系数1,4,6,4,1的一种四层级Gaussian角锥(亦即,层级0,1,2及3),因为,此种Gaussian角锥提供了本发明的有效实施保证。
现在参照图2a,2b及2c,其中表示有存在于这些象素单元的大小与多个单元之间的关系,多个单元是以用在本发明的移动估计方法的一最佳实施例中的每一个别角锥层级0,1,2及3将该现时m×n象素全分辨率图象画面予以划分而成的。具体地说,就角锥层级0而言,图2a表示16×16象素全分辨率单元200(该单元与图1的上述单元100大体上相同)以及相邻配置的多个16×16象素全分辨率单元2001,1……200m/16,n/16,一起构成现时m×n像素全分辨率图象画面202的角锥层级0。就角锥层级而言,图2a表示8×8象素1/2分辨率(在其二维空间的每一空间中)单元204以及相邻配置的多个8×8象素1/2分辨率单元2041,1……204m/16,n/16一起构成现时m/2×n/2象素1/2分辨率图象画面206的角锥层级1。就角锥层级2而言,图2b表示一个8×8象素1/4分辨率单元208以及多个8×8象素1/4分辨率单元2081,1……208m/16,n/16的一项50%重叠(每一维空间内)配置一起构成现时m/4×n/4象素1/4分辨率图象画面210的角锥层级2。就角锥层级3而言,图2c表示8×8象素1/8分辨率单元212以及多个8×8象素1/8分辨率单元2121,1……212m/32,n/32的50%重叠(每一维空间内)配置一起构成现时m/32×n/32象素1/8分辨率图象画面214的角锥层级3。显然,在该现时图象的角锥层级2及3的每维空间内将该影像单元重叠达50%时会导致把单元数目增多到是一种非重叠(亦即,邻接)单元配置的4倍。
二维空间内层级2与3的50%重叠仅为举例而已。此种重叠在二维空间内可能是不同的以及两维空间内的各个重叠可能大于或小于50%。本发明可通过下法实施即只在一层级角锥层级中或者在2层级或更多层级角锥层级中形成单元重叠。
在图2a,2b及2c中,每个8×8象素1/2分辨率单元204均占用和16×16象素全分辨率单元200一样的相同大小图象区域;每个8×8象素1/4分辨率单元208均占用和16×16象素全分辨率单元200一样大小的图象区域的四倍;以及每个8×8象素1/8分辨率单元212均占用大小和16×16象素全分辨率单元200一样的影像区的16倍。这样,单元212的每一象素占用面积和单元200的64个象素所占用的相同;单元208的每一象素占用面积和单元200的16个象素所占用的相同;以及单元204的每一象素所占用面积和单元200的4个象素所占用的相同。
本发明的移动估计方法的最佳实施例包括下列四个步骤,现将该四个步骤详述如下:步骤1:
将现时m/8×n/8象素1/8分辨率图象画面214的角锥层级3的每个重叠单元2121,1……212m/32,n/32用作一搜索单元,以便在一已知范围区域R内,根据该搜索单元的座标,进行该1/8分辨率的先前图象的角维层级3的一项彻底匹配搜索(亦即,在连续匹配之间的每一维空间内均移动搜索单元达一单独角锥层级的象素距离),以借助该具有最低匹配数值的角锥层级3的搜索单元决定这些匹配中的一项的移动矢量。步骤2:
利用现时m/4×n/4象素1/4分辨率图象画面210的角锥层级2的每个重叠单元2081,1……208m/16,n/16作为一搜索单元,以便在例如一种有限的±1,±象素范围内,将该1/4分辨率先前图象的角锥层级2与根据一独立“选择者”投射移动所作的这些P匹配搜索的每一个一起完成P匹配搜索,该独立“选择者”投射移动对应于该P角锥层级3重叠单元中之每一个别单元的移动矢量,投射于该重叠单元上的是该角锥层级2搜索单元的一预定部分(例如,其中心点),以便借助该项具有最低匹配数值的角锥层级2搜索单元决定这些匹配中的一项的移动矢量。步骤3:
利用现时m/2×n/2象素1/2分辨率影像画面206的角锥层级1的每一邻接单元2041,1……204m/16,n/16作为一搜索单元,在一种±1。±象素范围内,根据一独立“选择者”投射移动所作的每一个这些Q匹配搜索一起完成该1/2分辨率先前图象的角锥层级1的Q匹配搜索,该独立“选择者”投射移动对应于该Q角锥层级2重叠单元中的每一个别单元的移动矢量,被投射至该重叠单元上的是该层级1搜索单元的一预定区域,以便借助该项具有最低匹配数值的角锥层级1搜索单元决定这些匹配中的一项的移动矢量。步骤4:
利用现时m×n象素全分辨率图象画面206的角锥层级0的每一邻接单元2041,1……204m/16,n/16作为一搜索单元,以便在一种±1,±1象素范围内,根据角锥层级1的匹配搜索期间所发现具有该最低匹配数值的先前图象的角锥层级1单元,完成该全分辨率先前图象的角锥层级0的一项单独匹配搜索,以便借助该项具有最低匹配数值的角锥层级0搜索单元决定这些匹配中的一项的移动矢量。
在减小以一项并未对应于该正确移动而是恰好发生具有一低剩余的位移来匹配一低分辨率单元的机率以及增进角锥层级0时所获得移动方面的平滑度时,将大区域搜索单元使用在较高角锥层级中是合意的。
另一方面,问题在于大单元更可能会跨接不同移动区域之间的界线,以给出不良的匹配,尤其在将该单元分成两个大致相等的部分时更是如此。步骤1及2中所采用的重叠则可使该问题减至最小。此举是千真万确的,因为,可能在搜索一组围绕该图象景色中的两个大物体之间的边界的单元时,该组单元的至少某些单元不会分裂成两个相等部分。
步骤1是在一项±Rx/8,±Ry/8象素位移上面完成单元匹配搜索,以覆盖相当于该全分辨率范围±Rx,±Ry的搜索范围。这样,每一单元匹配搜索便需要R/64的匹配计算操作。一项全分辨率角锥层级0象素的面积与每项角锥层级3象素的面积之比率为1/64。可是,由于步骤1中的水平与垂直垂叠的缘故,使该项比率增加至4倍(就50%重叠而言)至1/16倍。这样,步骤1的“计算复杂性”(根据上文所定义的)便是R/64×1/16=R/1024。基于每一±Rx及±Ry均为±128全分辨率象素的上述假定(以使范围区域R为65536全分辨率象素),步骤1的“计算复杂性”仅为65536/1024=64而已。
图3a,3b及3c有助于更详细说明步骤2。图3a表示一角锥层级2搜索单元300S与其对应组别的现时帧图象的四个50%水平及50%垂直重叠角锥层级3搜索单元302S,304S,306S及308S中的每一单元的关系。在图3b中,单元302P为在该角锥层级3搜索期间发现具有相对于搜索单元302S的最低匹配数值的先前帧影像的那个单元。同样单元304P,306P及308P分别为该角锥层级3搜索期间发现具有相对于搜索单元304S,306S及308S中的对应单元的最低匹配数值的先前帧图象的单元。兹将图3b的单元302P,304P,306P及308P予以在图3c中以示意图表示为空间上彼此为分离的,以期清晰地示出该先前画面图象的每一角锥层级2单元300P-1,300P-2,300P-3及300P-4等的情形,这些单元的每一个均对应于图3a中所表示的现时画面影像的搜索单元300S。
正如图3c中所进一步以示意图式表示的,角锥层级2单元300P-1具有一项相对于与其相关连的搜索单元300S的“候选者”移动矢量310—1(该“候选者”移动矢量310—1对应于图3 a中所示现时帧图象的角锥层级3搜索单元302S与图36中所示已在由搜索单元302S搜索的步骤1期间所发现的具有最低匹配值的先前帧图象的角锥层级3单元302P之间的影像移动)。“候选者”移动矢量310—2,310—3或310—4均以一种类似方式分别与其角锥层级2单元300P-2,300P-3及300P-4相关联。
图3a,3b及3c适用于以与有关步骤2相同的上述方式决定步骤3的“候选者”移动矢量。
步骤2,3及4中的每一步骤必须包括在例如以该步骤的分辨率下相对先前画面单元400的一项±1,±1象素位移(见图4)的被限制搜索范围内进行单元匹配搜索。这样,一项±1,±1单元匹配搜索需要具有用来匹配单元400本身以及图4搜索范围内的8个其他移动单元中的每一单元的分辨率的一搜索单元的9个匹配计算操作。
所以,由于采用水平与垂直重叠的步骤1的缘故,故步骤2需要单元208的36(亦即9×4)个匹配计算操作(就50%重叠而言),以便就其四个“候选者”移动矢量中的每一矢量覆盖其整个搜索范围。一全分辨率象素的区域与每一角锥层级2象素区域的比率为1/16。但由于步骤2中所采用的水平与垂直两者的50%重叠,故使该项比率增加了4倍至25%,所以,步骤2的额外“计算复杂性”(如上所定义)本身为1/4×36=9。
若步骤2亦采用50%水平及50%垂直重叠,则步骤3需要单元204的36(亦即,9×4)个匹配计算操作,以覆盖其整个搜索范围。一全分辨率象素的面积对每一角锥层级1象素的面积之比为1/4倍。由于步骤3中没有重叠,故此比率没有增大。所以,步骤3的额外“计算复杂性”(如上所定义)本身为1/4×36=9。
步骤3并未采用重叠,因而,步骤4为覆盖其整个搜索范围只需要单元200的9个匹配计算操作。一个全分辨率象素的面积对每一角锥层级1象素的面积之比率为1。由于步骤4中没有重叠,故该比率没有增加。所以,步骤4的额外”计算复杂性”(如上所定义)本身亦为9。
虽然图1所例示的传统式单元匹配移动估计方法的“计算复杂性”为65536,但本发明单元匹配移动评定方法的上述最佳实施例的步骤1至4全部的总“计算复杂性”却为64+9+9+9=91。因此,本发明的单元匹配移动估计方法的上述最佳实施例提供的“计算复杂性”相对于图1所例示的传统单元匹配移动估计方法减少至稍大于720(亦即,65536/91)。
而且,还可以与关于图1所例示的传统式单元匹配移动估计的上述方式相同的方式提高与被发现具有本发明的单元匹配移动方法的最佳实施例的步骤4所取得的最低匹配数值的单独单元相关连的移动矢量值的精密度。
本文无意将本发明限制于一种上述单元匹配图象移动估计方法的最佳实施例的特定参数。而是本发明可延伸为采用本发明的原理,以减少“计算复杂性”的任何单元匹配图象移动估计方法。

Claims (16)

1.一种单元匹配图象移动估计方法,响应于一现时图象画面的一全分辨率二维空间数字化图象,一全分辨率二维空间数字化先前图象画面,N层级得自角锥的所述现时图象画面的连续较低分辨率图象,以及N层级得自角锥的所述先前图象画面的连续较低分辨率图象,这里N为一正整数,以及所述全分辨率现时及先前图象画面中的每一图像画面均构成一零值(0)角锥层级,所述方法的特征在于包括以下步骤:
a)将所述现时图象画面之第M个角锥层级(M≤N)划分成第一大小的多个搜索单元(302S-308S),这些搜索单元(302S至308S)均被重叠在所述二维空间的至少一维空间内;以及
b)运用每一所述重叠搜索单元(302S至308S),供用在一已知范围区域上完成所述先前图象画面的第M角锥层级之一匹配搜索(302P至308P),以决定向所述先前图像画面的所述第M角锥层级单元的移动矢量,该移动矢量相对于该搜索单元表现最低匹配数值。
2.如权利要求1的所述方法,其特征在于还包括以下步骤:
c)将所述现时图象画面的第(M-1)角锥层级划分成不大于所述一大小的多个第二搜索单元;以及
d)决定所述第M层级的单元X,一个第二搜索单元之一预定区域投射于该单元上;
e)就每一所述单元X利用对应移动矢量,以决定层级(M-1)中受限制的搜索范围X个搜索区域;
f)就层级(M-1)中的每一所述搜索区域完成单元匹配搜索并选择该单元匹配搜索,以产生所述第二搜索单元的一个最低误差数值。
3.根据权利要求2的所述方法,其特征在于所述第一大小的所述多个搜索单元大体上有50%重叠在所述二维空间的两个空间中。
4.根据权利要求2的所述方法,其特征在于:
N的数值为3;
该项第M角锥层级为第3角锥层级以及第(M-1)角锥层级为第2角锥层级。
5.根据权利要求4所述的方法,其特征在于步骤(c)包括将现时图象画面的第2角锥层级划分成多个所述第二搜索单元,这些第二搜索单元被重叠在所述二维空间的至少一个空间内。
6.根据权利要求5的所述方法,其特征在于所述第一大小的所述多个搜索单元与所述多个所述第二搜索单元两者均予以大体上有50%重叠在所述二维空间的两个空间内。
7.根据权利要求6的所述方法,其特征在于所述第一大小的所述搜索单元的形状为矩形,且其中:
步骤(c)包括将所述现时影像画面的第2角锥层级划分成多个矩形第二搜索单元,每一第二搜索单元具有的各个空间大体上为所述第一大小的一搜索单元的相应空间大小的一半。
8.根据权利要求5所述的方法,其特征在于还包括以下步骤:
g)将所述现时图象画面的第一角锥层级划分成多个第三搜索单元,这些第三搜索单元的大小均不大于所述第二搜索单元,每一所述第三搜索单元均被投射在所述现时图象画面的所述重叠第二搜索单元上;以及
h)运用所述第三搜索单元中之一已知单元,以供用在所述第二角锥层级的第一单元之±1,±1范围内进行独立匹配搜索中,所述第三搜索单元的所述已知单元投射于该第二角锥层级的单元上,其中每一独立匹配搜索均利用与所述第二角锥层级单元中的一个不同单元相关联的移动矢量来决定全部所述独立匹配搜索的所述±1,±1范围的单独单元之一改进的(refined)移动矢量,该移动矢量呈现以相对于所述第三搜索单元中之一个单元所完成的匹配总数中的最低匹配数值。
9.根据权利要求8的所述方法,其特征在于还包括以下步骤:
i)将每一所述第三搜索单元用作为所述第三搜索单元中的所述已知单元。
10.根据权利要求8的所述方法,其特征在于所述第一大小的所述多个搜索单元与所述多个所述第二搜索单元两者大体上为50%重叠在所述二维空间中的两个空间内。
11.根据权利要求10的所述方法,其特征在于所述多个所述第一大小的搜索单元与所述多个所述第二搜索单元的形状均为矩形,且其中:
步骤(c)包括将所述现时图象画面的第二角锥层级划分成多个矩形第二搜索单元,每一所述第二搜索单元具有各空间大体上为所述第一大小之一搜索单元的对应空间大小的一半;且
步骤(g)包括将所述现时图象画面的第一角锥层级划分成多个矩形的第三搜索单元,每一所述第三搜索单元具有的各自空间大致为第二搜索单元之相应空间大小的一半。
12.根据权利要求8的所述方法,其特征在于还包括以下步骤:
j)将所述现时图象画面的0角锥层级划分成多个第四搜索单元,所述第四搜索单元的大小不大于所述第三搜索单元;以及
k)运用所述第四搜索单元中之一已知单元,以用在所述先前图像画面的所述0角锥层级的每一单元的一±1,±1范围内完成匹配搜索中,以决定所述±1,±1范围的单独单元的改进移动矢量,该改进移动矢量呈现相对于所述第四搜索单元之一单元的最低匹配数值。
13.根据权利要求12所述的方法,其特征在于还包括以下步骤:
1)采用每一所述第四搜索单元作为所述第四搜索单元中的所述已知单元。
14.根据权利要求12的所述方法,其特征在于所述第一大小的所述多个搜索单元,所述多个所述第二搜索单元与所述第三搜索单元的形状全部为矩形,且其中:
步骤(c)包括将所述现时图象画面的第2角锥层级划分成多个矩形第二搜索单元,每一所述第二搜索单元具有的各自空间大体上均为所述第一大小的搜索单元的对应空间大小的一半;
步骤(g)包括将所述现时图象画面的第1角锥层级划分成多个矩形第三搜索单元,每一这种第三搜索单元具有的各自空间大体上均为一个第二搜索单元对应空间大小的一半;以及
步骤(j)包括为将所述现时图象画面的0角锥层级划分成多个矩形第四搜索单元,使每一这种第四搜索单元所具有的各自空间大体上与一个第三搜索单元对应空间大小相等的步骤。
15.根据权利要求14的所述方法,其特征在于所述第三,第二以及第一角锥层级的分辨率分别为在其二维空间的每维空间内全分辨率0角锥层级的1/8,1/4及1/2。
16.根据权利要求14所述的方法,其特征在于所述第三,第二及第一角锥层级搜索单元中的每一单元均包括一个该角锥层级的8×8象素的单元,以及所述0角锥层级搜索单元包括一个所述0角锥层级的16×16象素的单元。
CN95100795A 1994-02-23 1995-02-22 用于估计图象移动的有效计算方法 Expired - Fee Related CN1117481C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US200,599 1988-05-31
US20059994A 1994-02-23 1994-02-23
US200599 1994-02-23

Publications (2)

Publication Number Publication Date
CN1125375A true CN1125375A (zh) 1996-06-26
CN1117481C CN1117481C (zh) 2003-08-06

Family

ID=22742388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN95100795A Expired - Fee Related CN1117481C (zh) 1994-02-23 1995-02-22 用于估计图象移动的有效计算方法

Country Status (5)

Country Link
US (1) US5742710A (zh)
JP (1) JPH07262381A (zh)
KR (1) KR100362038B1 (zh)
CN (1) CN1117481C (zh)
TW (1) TW321748B (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2742248B1 (fr) * 1995-12-06 1998-01-23 Thomson Multimedia Sa Procede de traitement de donnees dans des reseaux matriciels dans un systeme d'estimation de mouvement
JP3631868B2 (ja) * 1996-12-20 2005-03-23 株式会社東芝 動きベクトル検出装置および方法
JPH10210473A (ja) * 1997-01-16 1998-08-07 Toshiba Corp 動きベクトル検出装置
US6332002B1 (en) * 1997-11-01 2001-12-18 Lg Electronics Inc. Motion prediction apparatus and method
US6611287B1 (en) * 1997-11-28 2003-08-26 Sony Corporation Camera signal processing apparatus and camera signal processing method
US6259737B1 (en) * 1998-06-05 2001-07-10 Innomedia Pte Ltd Method and apparatus for fast motion estimation in video coding
US6459822B1 (en) * 1998-08-26 2002-10-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Video image stabilization and registration
KR100457065B1 (ko) * 1998-12-29 2005-05-19 주식회사 대우일렉트로닉스 비디오신호의움직임벡터생성장치
KR20000044735A (ko) * 1998-12-30 2000-07-15 전주범 움직임 추정 장치
SG89282A1 (en) 1999-05-28 2002-06-18 Kent Ridge Digital Labs Motion information extraction system
US6842483B1 (en) 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
US6785427B1 (en) * 2000-09-20 2004-08-31 Arcsoft, Inc. Image matching using resolution pyramids with geometric constraints
US6941018B2 (en) * 2001-03-23 2005-09-06 Glory Ltd. Method of and apparatus for searching corresponding points between images, and computer program
DE60218928D1 (de) * 2001-04-30 2007-05-03 St Microelectronics Pvt Ltd Effiziente Niedrigleistungsbewegungsschätzung für eine Video-Vollbildsequenz
KR100446235B1 (ko) * 2001-05-07 2004-08-30 엘지전자 주식회사 다중 후보를 이용한 움직임 벡터 병합 탐색 방법
FI110745B (fi) * 2001-11-13 2003-03-14 Hantro Products Oy Menetelmä ja laite peräkkäisten kuvien koodaamiseksi
US7400782B2 (en) * 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
US7409105B2 (en) * 2003-10-22 2008-08-05 Arcsoft, Inc. Panoramic maker engine for a low profile system
US7346109B2 (en) * 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7463778B2 (en) * 2004-01-30 2008-12-09 Hewlett-Packard Development Company, L.P Motion estimation for compressing multiple view images
US7382915B2 (en) * 2004-03-16 2008-06-03 Xerox Corporation Color to grayscale conversion method and apparatus
FR2868579A1 (fr) * 2004-03-30 2005-10-07 St Microelectronics Sa Procede et dispositif de generation de vecteurs candidats pour les systemes d'interpolation d'images par estimation et compensation de mouvement
US20080180534A1 (en) * 2004-08-23 2008-07-31 Jun Murayama Imaging Apparatus, Image Processing Method and Integrated Circuit
KR100677562B1 (ko) * 2005-02-03 2007-02-02 삼성전자주식회사 움직임 추정 방법 및 장치
US20060215036A1 (en) * 2005-03-25 2006-09-28 Multivision Intelligent Surveillance (Hk) Ltd. Method and apparatus for video stabilization
DE102006030990A1 (de) * 2005-11-14 2007-05-16 Univ Muenster Wilhelms Verfahren und Anordnung zum monoskopischen Darstellen wenigstens eines Bereiches eines Bildes auf einer autostereoskopischen Anzeigevorrichtung
US8085849B1 (en) * 2006-11-03 2011-12-27 Keystream Corporation Automated method and apparatus for estimating motion of an image segment using motion vectors from overlapping macroblocks
US20080204598A1 (en) * 2006-12-11 2008-08-28 Lance Maurer Real-time film effects processing for digital video
US8233748B2 (en) * 2007-07-20 2012-07-31 Samsung Electronics Co., Ltd. Image-resolution-improvement apparatus and method
KR101354899B1 (ko) * 2007-08-29 2014-01-27 삼성전자주식회사 파노라마 사진 촬영 방법
US8571114B2 (en) * 2008-01-11 2013-10-29 Zoran (France) S.A. Sparse geometry for super resolution video processing
US8175160B1 (en) * 2008-06-09 2012-05-08 Nvidia Corporation System, method, and computer program product for refining motion vectors
US7983512B2 (en) * 2008-06-24 2011-07-19 Microsoft Corporation Embedding large images within one another
US7933473B2 (en) * 2008-06-24 2011-04-26 Microsoft Corporation Multiple resolution image storage
US8064733B2 (en) * 2008-06-24 2011-11-22 Microsoft Corporation Variable resolution images
US20100026897A1 (en) * 2008-07-30 2010-02-04 Cinnafilm, Inc. Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution
AT509025B1 (de) * 2009-01-21 2013-07-15 Arc Austrian Res Centers Gmbh Verfahren zur ermittlung der positionen von passpunkten
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
JP5683153B2 (ja) * 2010-07-09 2015-03-11 キヤノン株式会社 画像処理装置および画像処理方法
US8891626B1 (en) 2011-04-05 2014-11-18 Google Inc. Center of motion for encoding motion fields
KR20140034292A (ko) 2011-07-01 2014-03-19 모토로라 모빌리티 엘엘씨 움직임 벡터 예측 설계 간소화
KR101616010B1 (ko) 2011-11-04 2016-05-17 구글 테크놀로지 홀딩스 엘엘씨 비균일 움직임 벡터 그리드에 대한 움직임 벡터 스케일링
TW201328359A (zh) * 2011-12-19 2013-07-01 Ind Tech Res Inst 基於壓縮域的移動物件偵測方法及裝置
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US8908767B1 (en) 2012-02-09 2014-12-09 Google Inc. Temporal motion vector prediction
ITVI20120087A1 (it) * 2012-04-17 2013-10-18 St Microelectronics Srl Stabilizzazione video digitale
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
US9305362B1 (en) * 2014-02-28 2016-04-05 Xilinx, Inc. Image stabilization
KR102564477B1 (ko) * 2015-11-30 2023-08-07 삼성전자주식회사 객체 검출 방법 및 장치
CN108230294B (zh) * 2017-06-14 2020-09-29 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备和存储介质
CA3151032A1 (en) 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. Motion vector determination for video frame block inter-prediction
US20230128106A1 (en) * 2020-03-25 2023-04-27 Sony Interactive Entertainment Inc. Image processing apparatus and server

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4674125A (en) * 1983-06-27 1987-06-16 Rca Corporation Real-time hierarchal pyramid signal processing apparatus
US4703514A (en) * 1985-09-16 1987-10-27 Rca Corporation Programmed implementation of real-time multiresolution signal processing apparatus
EP0285902A3 (de) * 1987-04-07 1990-10-10 Siemens Aktiengesellschaft Verfahren zur Datenreduktion digitaler Bildsequenzen
EP0294961B1 (en) * 1987-06-09 1994-10-12 Sony Corporation Motion vector selection in television images
FR2623955B1 (fr) * 1987-11-27 1990-04-27 Labo Electronique Physique Procede et dispositif d'estimation et de compensation de mouvement dans une sequence d'images et leur application dans un systeme de transmission d'images de television a haute definition
FR2633468B1 (fr) * 1988-06-24 1990-11-09 France Etat Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees
FR2651399B1 (fr) * 1989-08-29 1996-05-15 Thomson Consumer Electronics Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images.
JPH0385884A (ja) * 1989-08-29 1991-04-11 Sony Corp 画像の動き検出回路
JPH03117991A (ja) * 1989-09-29 1991-05-20 Victor Co Of Japan Ltd 動きベクトル符号化装置及び復号化装置
US4937666A (en) * 1989-12-04 1990-06-26 Bell Communications Research, Inc. Circuit implementation of block matching algorithm with fractional precision
FR2663178B1 (fr) * 1990-06-06 1995-07-21 Thomson Csf Procede d'estimation hierarchique du mouvement dans une sequence d'images.
JP2549479B2 (ja) * 1991-12-06 1996-10-30 日本電信電話株式会社 動き補償フレーム間帯域分割符号化処理方法
US5276513A (en) * 1992-06-10 1994-01-04 Rca Thomson Licensing Corporation Implementation architecture for performing hierarchical motion analysis of video images in real time

Also Published As

Publication number Publication date
KR100362038B1 (ko) 2003-03-04
US5742710A (en) 1998-04-21
JPH07262381A (ja) 1995-10-13
CN1117481C (zh) 2003-08-06
KR950033960A (ko) 1995-12-26
TW321748B (zh) 1997-12-01

Similar Documents

Publication Publication Date Title
CN1117481C (zh) 用于估计图象移动的有效计算方法
EP2101486B1 (en) Image processing apparatus and image processing method
EP0395275B1 (en) Motion dependent video signal processing
EP0395271B1 (en) Motion dependent video signal processing
US20090257498A1 (en) Image processing apparatus and image processing method
EP0395264B1 (en) Motion dependent video signal processing
JPH06506578A (ja) ビデオ信号における運動内容推定方法
EP0664525B1 (en) Device and method for detecting image matching
CN1063190A (zh) 视频图象处理
EP0628234B1 (en) Motion compensated video image processing
US4998168A (en) Motion dependent video signal processing
CN1706189A (zh) 带有降质的图像处理单元
CN1723476A (zh) 用于数字图像的深度排序的方法和设备
EP0395272B1 (en) Motion dependent video signal processing
EP1131955B1 (en) Method of global motion estimation
EP0395266A2 (en) Motion dependent video signal processing
US7110453B1 (en) Motion or depth estimation by prioritizing candidate motion vectors according to more reliable texture information
EP0395270A2 (en) Motion dependent video signal processing
KR0178229B1 (ko) 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치
Barreto et al. Motion estimation techniques in super-resolution image reconstruction: a performance evaluation
JPH0918685A (ja) 画像合成方法
JPH0955944A (ja) 映像信号符号化装置
JPH0646383A (ja) 動画の動き解析装置及び方法
JP3271387B2 (ja) 動き量検出装置及び動き量検出方法
JPH1013835A (ja) 動きベクトル検出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20030806

Termination date: 20130222