CN102547286A - 一种区块移动估测方法 - Google Patents

一种区块移动估测方法 Download PDF

Info

Publication number
CN102547286A
CN102547286A CN201210004414.2A CN201210004414A CN102547286A CN 102547286 A CN102547286 A CN 102547286A CN 201210004414 A CN201210004414 A CN 201210004414A CN 102547286 A CN102547286 A CN 102547286A
Authority
CN
China
Prior art keywords
point
generatrix
triumph
last
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210004414.2A
Other languages
English (en)
Inventor
杭学鸣
赵子毅
蔡彰哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Publication of CN102547286A publication Critical patent/CN102547286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明是关于一种区块移动估测方法,所述的方法包含:(a)根据前次成功找到的获胜的子点,以选择邻近于一母点的一子点、(b)比较该母点与该子点的区块匹配误差,以及(c)根据步骤(b)的比较结果,以判断该母点或该子点为获胜点。

Description

一种区块移动估测方法
本申请是于2009年9月29日向国家知识产权局提出的申请号为200910180129.4的分案申请,原申请发明名称为“一种区块移动估测方法”。
技术领域
本发明有关于一种影像处理技术,更明确地说是有关于一种利用如区块移动估测(Block Motion Estimation,BME)的影像压缩(compression)技术,具体来说是关于一种区块移动估测方法。
背景技术
移动估测(Motion Estimation,ME)是一种广泛应用于影像处理领域的技术,用来决定一张影像相对于其邻近影像的移动向量。许多新颖的视频编码电路(例如与H.26X或MPEG协议兼容的系统)通常会采用区块移动估测来消除不同画面间的相依性。与此技术相关数据可参考美国专利第2006/0280248号公开案,以及Thomas Wiegand等人于IEEE Trans.Circuits and Systems forVideo Technology中所发表的“H.264/AVC视频编码标准概论(Overview of theH.264/AVC video coding standard)”。
请参考图1。图1为说明现有技术中区块移动估测的处理的示意图。如图1所示,区块移动估测用来找出一最适当的移动向量(motion vector),以表示目前影像中的一目前区块相对于其它参考影像中的搜寻区域中的一对应的参考区块(与目前区块较相似的区块)的位置。在区块移动估测程序中,区块的大小通常为16×16、16×8、8×16、8×8、8×4、4×8或4×4。在某些情况下,由于影像被编码的程序未必等同于影像将被显示的顺序,参考影像可能同时包含先前的已经过编码的影像和后续的已经过编码的影像。举例来说,将被呈现于显示器的影像为:I1,P2,B3,P4,B5,P6,B7,B8,P9,B10,P11,B12,P13,I14...;而该等影像被编码的顺序则可能I1,P2,P4,B3,P6,B5,P9,B7,B8,P11,B10,P13,B12,I14
在判断和目前区块最相似的参考区块时,相对应的区块匹配误差(block-matching discrepancy)常会成为考虑依据。目前已存在多种计算此误差的方法。举例而言,可利用计算目前区块与参考区块之间的绝对差异总和(Sum of Absolute Differences,SAD)。设目前区块的大小为N×M,并且参考区块相对于该目前区块的位移量为(vx,vy),则目前区块所对应的绝对差异总和可被定义为:
SAD ( v x , v y ) = Σ i = 1 N Σ j = 1 M | I n ( x + i , y + j ) - I n - 1 ( x + i + v x , y + j + v y ) | . . . ( 1 ) ;
其中的In与In-1分别表示目前影像和参考影像,(x,y)则表示目前区块的位置。
由以上说明可知,区块匹配模式(block matching mode)通常会将一个目前影像分割为复数个特定大小的目前区块。区块移动估测会为每一个目前区块找到一个对应的参考区块(相似区块)。该等参考区块在不同影像中的位移可被视为各自对应的移动向量。
在区块移动估测模式之中,有一种全面搜寻(Full Search,FS)模式是将目前影像中的每一个参考区块都拿来和一先前影像中的一预设搜寻区域中的所有可能的区块比较。全面搜寻的优点在于具有单纯的数据处理程序以及精确的对比结果。此外,用以执行全面搜寻模式的控制电路亦相当简单。然而,全面搜寻模式耗费了大量的运算资源;当搜寻区域变大时,此情况尤为严重。
为了减少全面搜寻模式所须的时间及运算量,目前已有许多种较快速的样式搜寻(pattern seach)方法。样式搜寻方法是以一搜寻样式作为对比基础,而非比较整个影像中的所有区块,因此可减少须搜寻/对比的点数。搜寻样式的设计是将移动向量的分布状况纳入考虑,希望藉此提升执行区块移动估测程序时的速度。
虽然目前已知区块移动估测程序可采用各种不同的搜寻样式,但如何挑选出最适当的搜寻样式仍然是个难题。因此,改进搜寻样式、估测某个搜寻样式的效能,以及为不同的影像序列选择最适当的搜寻样式等议题都是十分重要且值得关注的。
发明内容
本发明提供一种区块移动估测(Block Motion Estimation)方法。该方法包含(a)根据一第一搜寻样式,以针对一第一画面计算一移动向量相关参数、(b)针对该第一画面,决定该移动向量相关参数与一预定临界值之间的一关系式,以及(c)根据该移动向量相关参数与该预定临界值之间的该关系式,选择一第一搜寻样式模式或一第二搜寻样式模式,以于一第二画面中识别至少一个搜寻区块。该预定临界值被该第一搜寻样式模式和该第二搜寻样式模式的改良权重函数(refined weighting functions)所决定。区块移动估测会针对该第二画面以适当地执行。
本发明另提供一种区块移动估测方法,该方法包含(a)根据前次成功找到的获胜的子点,以选择邻近于一母点的一子点、(b)比较该母点与该子点的区块匹配误差,以及(c)根据步骤(b)的比较结果,以判断该母点或该子点为获胜点。
本发明另提供一种区块移动估测方法。该方法包含(a)根据前次成功找到的获胜的子点,以选择环绕于一母点的一菱形区域内的一子点、(b)比较该母点与该子点的区块匹配误差,以及(c)根据步骤(b)的比较结果,以判断该母点或该子点为获胜点。
本发明另提供一种区块移动估测方法。该方法包含(a)根据前次成功找到获胜的子点,以选择环绕于一母点的一六角形区域内的一子点、(b)比较该母点与该子点的区块匹配误差,以及(c)根据步骤(b)的比较结果,以判断该母点或该子点为获胜点。
附图说明
图1是为说明现有技术中区块移动估测的处理的示意图;
图2是为说明当四个候选子点之中有一具有较母点的区块匹配误差小的候选子点时的所有可能的搜寻顺序与其机率的示意图;
图3是为说明当四个候选子点之中有两个具有较母点的区块匹配误差小的候选子点时的所有可能的搜寻顺序与其机率的示意图;
图4是为基因型菱形样式搜寻(GPRS)模式的流程图;
图5a至图5b是为说明基因型菱形样式搜寻(GPRS)的搜寻样式的示意图;
图6是为说明的在搜寻区域中候选子点的可能数目的等高线图;
图7a至图7d是为说明两种起始搜寻点的情况与两种中介搜寻点的情况的示意图;
图8所示为根据前述说明以计算基因型菱形样式搜寻(GPRS)的改良权重函数的模式;
图9是为基因型菱形样式搜寻(GPRS)的改良权重函数的等高线图;
图10是为说明基因型点指向性六角形样式搜寻(GPHS)的流程图;
图11a至图11d是为说明基因型点指向性六角形样式搜寻(GPHS)的搜寻样式的示意图;
图12是为基因型点指向性六角形样式搜寻(GPHS)的可获胜的候选子点的数目的示意图;
图13是为基因型点指向性六角形样式搜寻(GPHS)的改良权重函数的等高线图;
图14是为说明本发明的基于动量第基因型菱形样式搜寻(MD-GPRS)的改良权重函数的等高线图;
图15是为说明本发明的基于动量的基因型菱形样式搜寻(MD-GPRS)模式的流程图;
图16是为说明本发明的基于动量的基因型菱形样式搜寻(MD-GPRS)于搜寻可获胜的候选子点时的所有可能的搜寻顺序的示意图;
图17为基于动量的基因型点指向性六角形样式搜寻(MD-GPHS)的改良权重函数的等高线图;
图18是为说明本发明的基于动量的基因型点指向性六角形样式搜寻(MD-GPHS)模式的流程图;
图19是为说明本发明的基于动量的基因型点指向性六角形样式搜寻(MD-GPHS)于搜寻可获胜的候选子点时的所有可能的搜寻顺序的示意图。
附图标号:
Figure BDA0000129499580000061
具体实施方式
本发明提供一种用来评价搜寻样式的效能的方法,并另提供复数个基于动量的基因型搜寻样式模式(momentum-directed genetic search pattern mode),因此,使用者可根据评价结果来选择最适合的搜寻样式,且使用者可利用基于动量的基因型搜寻样式模式以减少计算移动向量时所须的运算资源。
本发明的基本假设为:匹配误差曲面(matching-error surface)为单一波峰(uni-modal)且为一强象限单调函数(strong quadrant monotonic function)。
本发明提供一数学模型以评价当一搜寻样式应用于一影像序列时所需的运算资源,该数学模型可以下列方程式表示:
ASP = C 1 × Σ x , y ∈ A S SP 1 ( x , y ) × WF SP 2 ( x , y ) + C 2 . . . ( 2 ) ;
S SP 1 ( x , y ) = 1 | x | 5 / 3 + ζ x 1 | y | 5 / 3 + ζ y Σ ( x ′ , y ′ ) ∈ A 1 | x ′ | 5 / 3 + ζ x 1 | y ′ | 5 / 3 + ζ y . . . ( 3 ) ;
PMV=median(MVL,MVU,MVUR)...(4);
其中ASP代表一种基于样式的区块移动估测(Pattern-based block motionestimation)所需的平均搜寻点数、SP1代表一第一搜寻样式、SP2代表一第二搜寻样式、SSP1代表搜寻样式SP1的移动向量机率分布函数、SSP2代表搜寻样式SP2的移动向量机率分布函数、WFSP2(权重函数)代表当移动向量位于坐标(x,y)时利用搜寻样式SP2搜寻移动向量的最少搜寻点数、C1与C2为常数。MVL代表目前区块的左方邻近区块的移动向量,MVU代表目前区块的上方邻近区块的移动向量,MVUR代表目前区块的右上方邻近区块的移动向量,PMV则为这三个移动向量的中位数(median)。
在本发明中,搜寻样式SP1可以用全面搜寻模式实施,而搜寻样式SP2可以用任一种搜寻样式的模式实施。
此数学模型主要由两部分组成:式(3)的移动向量的统计机率分布函数SSP1(x,y),以及当移动向量位于坐标(x,y)时,利用搜寻样式SP2搜寻移动向量的最少搜寻点数WFSP2。在式(2)中的(x,y)为以式(4)中的PMV为原点时的相对坐标。参数C1与C2为利用大量的训练影像序列进行训练法(training method)所得到的经验值,且值得注意的是,由于SSP1(x,y)及WFSP2(x,y)的乘积的和与ASP恒为正相关,因此参数C1恒大于零。
式(3)是根据实验数据所推算。在式(3)中,(x,y)与(x’,y’)为以PMV作为原点时的相对坐标,且A代表搜寻区域。参数(ζx,ζy)是利用数值方法而得,举例而言,通过SSP1(x,y)的变异数对比根据第一搜寻样式于一特定影像序列上所得到的移动向量。
有两种方法可得到参数C1与C2的值,在第一种方法中,参数C1与C2透过一特定搜寻样式模式来分析一组训练影像序列而得。在第二种方法中,参数C1与C2透过一组搜寻样式模式来分析一特定影像序列而得。如此,一个新的模式的ASP的值即可透过本发明的数学模型来预测。此外,上述的第一种方法适用于预测当一个已知特定的模式分析一个新的影像序列时的ASP的值,第二种方法适用于预测当一个新的模式分析一个特定的影像序列时的ASP的值。
因此,若有一搜寻样式模式具有较其它搜寻样式模式低的ASP值,则表示相较于其它搜寻样式模式,该搜寻样式模式较适用于该影像序列。
然而,若搜寻样式SP2是一个基因型搜寻样式,由于基因型搜寻样式在本质上会随机地选择一邻近于母点(parent point)(母点为每次搜寻时的中心点)的候选子点(candidate point),因此需考虑邻近于母点的候选子点会成为“获胜点”(意即具有较低的区块匹配误差)的机率。如此一来,前述的权重函数WF不适用于描述基因型搜寻样式。因此,本发明提供一改良权重函数(Refined Weighting Function,RWF)来更正确地描述基因型搜寻样式的所需经过的搜寻点数的数目。因此,改良权重函数RWF可取代在式(2)中的权重函数WF,如下式所示:
ASP = C 1 × Σ x , y ∈ A S SP 1 ( x , y ) × RWF SP 2 ( x , y ) + C 2 . . . ( 5 ) ;
其中搜寻样式SP2可为一基因型搜寻样式,因此式(5)在本发明中作为一改良模型以描述基因型搜寻样式的行为。
在本发明的一实施例中,基因型搜寻样式可为一基因型菱形样式搜寻(Genetic Rhombus Pattern Search,GRPS)或基因型点指向性六角形样式搜寻(Genetic Point oriented Hexagonal Search,GPHS)。本发明提供一方法,以判断针对一影像序列,GRPS与GPHS何者较适用。根据式(5),GRPS与GPHS的ASP分别可表示为:
ASP GRPS = C 1 × Σ x , y ∈ A S SP 1 ( x , y ) × RWF GRPS ( x , y ) + C 2 . . . ( 6 ) ;
ASP GPHS = C 1 × Σ x , y ∈ A S SP 1 ( x , y ) × RWF GPHS ( x , y ) + C 2 . . . ( 7 ) .
根据式(6)与(7),若ASPGRPS大于ASPGPHS,则表示针对该影像序列,GPHS具有较佳的效能;反之,若ASPGRPS小于ASPGPHS,则表示针对该影像序列,GRPS具有较佳的效能。因此,根据式(6)与(7),上述两种搜寻模式的运算复杂度的差异DASP可被定义为:
D ASP = C 1 × Σ x , y ∈ A S FS ( x , y ) × ( RWF GRPS ( x , y ) - RWF GPHS ( x , y ) ) . . . ( 8 ) ;
其中RWFGRPS与RWFGPHS分别代表GRPS与GPHS模式的改良权重函数。SFS代表全面搜寻模式所对应的搜寻点数。此外,式(8)除以参数C1所得的值,为上述两种模式(GRPS与GPHS)的效能差异指标IASP
I ASP = Σ x , y ∈ A S FS ( x , y ) × ( RWF GRPS ( x , y ) - RWF GPHS ( x , y ) ) . . . ( 9 ) .
当效能差异指标IASP>0,则表示针对该影像序列,GPHS的效能优于GRPS;反之;当效能差异指标IASP>0,则表示针对该影像序列,GRPS的效能优于GPHS。因此,根据效能差异指标IASP,可决定采用的基因型搜寻样式模式。
式(9)大致上可简化为以一线性函数表示:
P×VARX+Q×VARY-TH=0...(10);
其中P、Q代表常数;TH代表一预定临界值;VARX代表水平移动向量的变异数;VARY代表垂直移动向量的变异数。预定临界值TH可通过GRPS与GPHS的改良权重函数RWF来估计。
以下将更详细地说明本发明的改良权重函数RWF。假设匹配误差曲面为一强象限单调(Strong Quadrant Monotonic,SQM)函数。也就是说,设匹配误差曲面可以函数D(X)表示,当O=(xo,yo)为最佳匹配点;A=(xA,yA)与X=(xX,yX)为搜寻范围中的任意两点,且(|A-X|<Rnbd,例如Rnbd=3)。若|A-O|>|X-O|成立时,会使D(X)<D(A),则表示函数D(X)为一强象限单调函数,此时匹配误差曲面为一强象限单调(SQM)单调函数。
改良权重函数RWF(或RWF(x,y))定义为在强象限单调(SQM)的匹配误差曲面上,当最佳匹配点位于(0,0),而起始搜寻点为(x,y)时,一搜寻样式模式所需的平均搜寻点数。
对于基因型搜寻样式模式,当一母点(parent point)伴随着N候选子点(mutation point,or candidate point),且在N候选子点之中有m候选子点具有较小的匹配误差,从母点移动至一可获胜的候选子点所需经过(意即检查过区块匹配误差)的搜寻点数的期望值为
Figure BDA0000129499580000101
可以下式表示:
E m N = m N + m N Σ j = 1 N - m ( ( j + 1 ) × Π i = 1 j ( ( N - m ) ( i - 1 ) N - i ) ) = N + 1 m + 1 . . . ( 11 ) ; 其中N>M。
在本发明中,设选择任一候选子点的机率皆相同。在强象限单调的匹配误差曲面上,可获胜的候选子点的数目m决定于目前母点与最佳匹配点的相对位置,N则被搜寻点数与母点的型态(如母点为一起始母点或母点为一中间(intermediate)母点)所决定。
请参考图2与图3。图2是为说明当四个候选子点A、B、C、D之中有一具有较母点的区块匹配误差小的候选子点D时的所有可能的搜寻顺序与其机率的示意图。图3说为说明当四个候选子点A、B、C、D之中有两个具有较母点的区块匹配误差小的候选子点C与D时的所有可能的搜寻顺序与其机率的示意图。式(12)与(13)分别可表示在图2与图3中从母点移动至可获胜的候选子点所需经过(意即检查过区块匹配误差)的搜寻点数的期望值:
Figure BDA0000129499580000103
E 2 4 = 1 4 × 1 3 × 1 2 × 3 × 2 + 1 4 × 1 3 × 2 × 2 × 2 + 1 4 × 1 × 2 = 5 3 . . . ( 13 ) .
同理,通过观察一母点的搜寻顺序,可得到如表1所示的从该母点移动至可获胜的候选子点所需经过的搜寻点数的期望值。
表1.
Figure BDA0000129499580000112
的值
Figure BDA0000129499580000113
其中N=3~6,且m=1~N。
基因型菱形样式搜寻(Genetic Rhombus Pattern Search,GRPS):
以建构针对GRPS的改良权重函数RWF为例。请同时参考图4及图5a至图5b。图4为GRPS的流程图。图5a至图5b为说明GRPS的搜寻样式的示意图。
在步骤410中,指定一起始母点;该起始母点周围的菱形区域环绕着四个候选子点。图5a中所示的空心圆圈代表该起始母点。环绕该起始母点的这些候选子点(黑心圆圈与灰心圆圈)相对于起始母点的绝对差异总和(SAD)的可根据式(1)计算,并与先前参考画面中的一对应点比较。
在步骤420中,于图5a中从四候选子点(黑心圆圈与灰心圆圈)中随机地挑选或基于先前的移动向量而挑选一候选子点并且作检查(意即计算绝对差异总和),图5a所示的黑心圆圈代表被选出的候选子点,且于步骤430中,该(黑心圆圈的)候选子点与该起始母点各自的区块匹配程度(意即区块匹配误差)被加以比较,以挑选出一个“获胜点”。举例而言,设此时以绝对差异总和来代表区块匹配误差,因此,若由该候选子点所计算出的绝对差异总和较由该起始母点所计算出的绝对差异总和小,则代表该候选子点的区块匹配程度较高,此时该候选子点为“获胜点”,该起始母点被淘汰;反之,若由该候选子点所计算出的绝对差异总和较由该起始母点所计算出的绝对差异总和大,则代表该起始母点的区块匹配程度较高,此时该起始母点为“获胜点”,该候选子点被淘汰。
于步骤440中,若判断该候选子点获胜而该起始母点被淘汰,该程序将执行步骤460,指定该候选子点为新的母点。且在步骤460的后,该程序将重新执行步骤420至步骤440。若判断该起始母点获胜而该候选子点被淘汰,该程序将执行步骤450,判断该母点周围的菱形区域是否还有未经检查的候选子点。若尚有未被检查的候选子点,则针对该未被检查的候选子点重新执行步骤420至440。若位于母点周围的菱形区域的候选子点皆已被检查(如图5b所示,此时代表母点的区块匹配程度比周围菱形区域内的候选子点高),则执行步骤470,判定该母点(意即最后的获胜点)将被用来作为判断此区块的移动向量的依据。
请参考图6。图6为说明的在搜寻区域中候选子点的可能数目的等高线图。在强象限单调(SQM)的匹配误差曲面上,设最佳的匹配点为原点(0,0),且u=(x1,y1)与v=(x2,y2)为该搜寻区域中的两点。若u、v两点满足|x1|<|x2|且|y1|≤|y2|,或是|x1|≤|x2|且|y1|<|y2|,则u点的区块匹配误差会小于v点。
请参考图7a至图7d。图7a至图7d为说明两种起始搜寻点的情况与两种中介搜寻点的情况的示意图。其中A、B、C及D代表候选子点,且E代表最佳的匹配点。如图7a与图7b所示,对于GRPS有两种起始搜寻点的情况(
Figure BDA0000129499580000121
Figure BDA0000129499580000122
)。在图7a中,最佳的匹配点E与起始搜寻点
Figure BDA0000129499580000123
的X坐标或Y坐标相同,因此环绕起始搜寻点(起始母点)
Figure BDA0000129499580000131
的候选子点中,仅有一候选子点(如候选子点D)的区块匹配误差较起始搜寻点(起始母点)
Figure BDA0000129499580000132
小。在图7b中,最佳的匹配点E的X坐标以及Y坐标皆与起始搜寻点
Figure BDA0000129499580000133
不相同,因此环绕起始搜寻点(起始母点)
Figure BDA0000129499580000134
的候选子点中,有两候选子点(如候选子点C与D)的区块匹配误差较起始搜寻点(起始母点)
Figure BDA0000129499580000135
小。如图7c与图7d所示,对于GRPS有两种中介搜寻点的情况(
Figure BDA0000129499580000136
Figure BDA0000129499580000137
)。由于中介搜寻点
Figure BDA0000129499580000138
Figure BDA0000129499580000139
邻近于先前的母点,因此相对于起始搜寻点
Figure BDA00001294995800001310
Figure BDA00001294995800001311
而言,仅有三个候选子点环绕于中介搜寻点
Figure BDA00001294995800001312
Figure BDA00001294995800001313
在图7c中,最佳的匹配点E与中介搜寻点
Figure BDA00001294995800001314
的X坐标或Y坐标相同,因此环绕中介搜寻点的三个候选子点中,仅有一候选子点(如候选子点C)的区块匹配误差较中介搜寻点
Figure BDA00001294995800001316
小。在图7d中,最佳的匹配点E的X坐标以及Y坐标皆与中介搜寻点
Figure BDA00001294995800001317
不相同,因此环绕中介搜寻点的三个候选子点中,有两候选子点(如候选子点C与D)的区块匹配误差较中介搜寻点
Figure BDA00001294995800001319
小。此外,根据表1,可查出从搜寻点
Figure BDA00001294995800001320
Figure BDA00001294995800001321
移动至可获胜的候选子点的期望值分别为
Figure BDA00001294995800001322
Figure BDA00001294995800001323
假设起始搜寻点的坐标为(x,y),最佳的匹配点的坐标(0,0)。从(x,y)移动至(0,0)所需的平均搜寻点数等于RWFGRPS(x,y)。图8所示为根据前述说明以计算GRPS的改良权重函数RWF的模式。图9为RWFGRPS(x,y)的等高线图。
基因型点指向性六角形样式搜寻(Genetic Point oriented HexagonalSearch,GPHS):
请同时参考图10及图11a至图11d。图10为说明基因型点指向性六角形样式搜寻(Genetic Point oriented Hexagonal Search,GPHS)的流程图。图11a至图11d为说明GPHS的搜寻样式的示意图。在图10中,步骤1010~1060与图4中的步骤410~460相似,然而,GPHS的搜寻样式与GRPS的搜寻样式则大不相同。在步骤1070中,图11b中所有灰色圆圈的搜寻点的正规化群组失真(Normalized Group Distortion,NGD)以下式定义:
NGD = Σ i = 1 N SAD i d i = Σ i = 1 N SAD i ( x i - x ) 2 + ( y i - y ) 2 . . . ( 14 ) ;
其中SADi代表邻近点i的SAD、di代表到中心点的距离。(xi,yi)与(x,y)分别代表邻近点i与中心点。N代表在图11c与图11d中每个群组的总点数。
从图11d的被选择点a~f之中选择具有最小NGD的点,且从图11c中的被选择点g与h之中选择一具有较小NGD的点。这两个被选择点构成最小的搜寻样式。如图11c与图11d图所示,被选择点a~h的NGD分别由群组Ga~Gh的绝对差异总合所计算。由于一般的影像序列大部份都是作水平方向的移动,因此最后的步骤为偏向水平方向。图12为GPHS的可获胜的候选子点的数目的示意图。同理,根据前述说明可模拟GPHS于SQM匹配误差平面上的搜寻步骤,且可得到如图13所示的RWFGPHS(x,y)的等高线图。
基于动量的基因型样式搜寻(Momentum-Directed Genetic Pattern Search,MD-GPS):
本发明提供两种基于动量的基因型样式搜寻(MD-GPS)的模式。本发明的MD-GPS模式分别为基于动量的GRPS与基于动量的GPHS。
假设一搜寻模式于每次搜寻中,至多只能在水平方向或垂直方向上移动一个单位(如图5a所示)。则移动至点(x,y)的最少需要被检查的搜寻点数可以下式表示:
SPM=abs(x)+abs(y)+1...(15);
其中SPM代表移动至点(x,y)的最少的平均搜寻点数;abs(x)代表从起始搜寻点移动至(x,y)的水平距离;abs(y)代表从起始搜寻点移动至(x,y)的垂直距离。在最后一次搜寻要决定最佳的移动向量(意即找到最佳的匹配点)时,需确认邻近的候选子点的区块匹配误差皆大于母点(最佳的匹配点),因此,对最佳的匹配点(x,y)的最少搜寻点数可以下式表示:
RWFGRPS(x,y)=Max(5,4+abs(x)+abs(y))...(16);
且其等高线图如图14所示。
比较图9与图14可看出GRPS的RWF与理想的RWF(如图14所示)不同。然而,通过观察理想的RWF可知,搜寻模式应要以直线的方式往最佳的匹配点前进,且一般统计而言,于前次搜寻时的移动的方向也很有可能是本次搜寻时应该要移动的方向。因此,相对于随机选择要检查的候选子点,根据前次搜寻时的移动方向(意即基于动量)来优先选择要检查的候选子点将可更有效率地找到具有较母点的区块匹配误差小的候选子点,以达到减少找到最佳的匹配点所需经过的搜寻点数的目的。另外,当匹配误差平面不满足SQM的假设时,上述的方法仍可改变搜寻方向,以维持模式的正常运作。
请参考图15。图15为说明本发明的MD-GPRS模式的流程图。请参考图16。图16为说明本发明的MD-GRPS于搜寻可获胜的候选子点时的所有可能的搜寻顺序的示意图。如图16所示,“P”代表前次成功找到获胜的候选子点的方向,“CP”代表目前的母点,“PP”代表前前次成功找到获胜的候选子点的方向。如此,MD-GPRS在搜寻可获胜的候选子点时的搜寻方向可根据下列顺序:
(1)与前次成功找到获胜的候选子点的方向相同的方向;
(2)与前前次成功找到获胜的候选子点的方向相同的方向;
(3)与前前次成功找到获胜的候选子点的方向相反的方向;
(4)与前次成功找到获胜的候选子点的方向相反的方向。
同理,通过于基因型搜寻样式模式中采用基于动量的搜寻顺序,可将GPHS模式转化为基于动量的GPHS模式。图17为基于动量的GPHS的RWF的等高线图。图18为说明本发明的基于动量的GPHS(MD-GPHS)模式的流程图。图19为说明本发明的MD-GPHS于搜寻可获胜的候选子点时的所有可能的搜寻顺序的示意图。
此外,本发明中所提及的移动向量变异数仅为方便说明,然而,任何有关移动向量的参数皆可用来取代移动向量变异数,举例而言,移动向量标准差,或是其它数学上具有相等或相似意义的参数。
综上所述,本发明提供一用来评价搜寻样式模式的数学模型,更明确地说,本发明提供一改良数学模型,以评价基因型搜寻样式模式。在本发明的改良数学模型中,改良权重函数定义为于SQM匹配误差曲面的假设之下的一搜寻样式模式的平均搜寻点数,用来取代于现有技术的权重函数。当一基因型搜寻模式的行为被描述地更精确时,就可更深入地了解基因型搜寻模式的运作。因此,根据基因型搜寻模式的运作的基本精神,本发明提供一通用的方法来提升基因型搜寻模式的效能,且本发明也更进一步地提供两种基于动量的基因型搜寻模式。此外,通过改良权重函数,本发明的改良数学模型可更正确地预测一个新的基因型(或非基因型)搜寻样式模式的效能。
以上所述仅为本发明的较佳实施例,凡依本发明权利要求所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (9)

1.一种区块移动估测方法,所述的方法包含:
(a)根据前次成功找到的获胜的子点,以选择邻近于一母点的一子点;
(b)比较所述的母点与所述的子点的区块匹配误差;以及
(c)根据步骤(b)的比较结果,以判断所述的母点或所述的子点为获胜点。
2.如权利要求1所述的方法,其特征在于,所述的方法另包含:
(d)重复执行步骤(a)至(c)直到根据一最后获胜母点与其邻近的子点于步骤(b)的比较结果,皆判断所述的最后获胜母点为获胜点;
(e)根据所述的母点与所述的最后获胜母点,以决定一方向,且根据与所述的方向的相似度,以选择于步骤(d)中要检查的子点;以及
(f)根据所述的最后获胜母点,以决定所述的画面的一移动向量。
3.如权利要求1所述的方法,其特征在于,所述的方法另包含:
(j)识别所述的画面的一起始搜寻点作为所述的母点;
其中所述的子点紧邻于所述的母点;
其中比较所述的母点与所述的子点的区块匹配误差包含比较所述的母点的一绝对差异总和与所述的子点的一绝对差异总和;以及
其中从至多四个候选子点之中,以选择出所述的子点。
4.一种区块移动估测方法,所述的方法包含:
(a)根据前次成功找到的获胜的子点,以选择环绕于一母点的一菱形区域内的一子点;
(b)比较所述的母点与所述的子点的区块匹配误差;以及
(c)根据步骤(b)的比较结果,以判断所述的母点或所述的子点为获胜点。
5.如权利要求4所述的方法,其特征在于,所述的方法另包含:
(d)重复执行步骤(a)至(c)直到根据一最后获胜母点与环绕于所述的最后获胜母点的一菱形区域内的子点于步骤(b)的比较结果,皆判断所述的最后获胜母点为获胜点;以及
(e)根据所述的最后获胜母点,以决定所述的画面的一移动向量。
6.如权利要求4所述的方法,其特征在于,所述的方法另包含:
(f)通过于所述的画面中执行一区块匹配程序,以识别所述的画面的一起始搜寻点作为所述的母点;
其中于步骤(c)中,当所述的子点的区块匹配误差小于所述的母点的区块匹配误差时,略过环绕于所述的母点的所述的菱形区域内的其它尚未检查的子点,而直接判断所述的子点为获胜点。
7.一种区块移动估测方法,所述的方法包含:
(a)根据前次成功找到获胜的子点,以选择环绕于一母点的一六角形区域内的一子点;
(b)比较所述的母点与所述的子点的区块匹配误差;以及
(c)根据步骤(b)的比较结果,以判断所述的母点或所述的子点为获胜点。
8.如权利要求7所述的方法,其特征在于,所述的方法另包含:
(d)重复执行步骤(a)至(c)直到根据一最后获胜母点与环绕于所述的最后获胜母点的一六角形区域内的子点于步骤(b)的比较结果,皆判断所述的最后获胜母点为获胜点;
(e)针对环绕于所述的最后获胜母点的所述的六角形区域中,从所述的最后获胜母点与对应于所述的最后获胜母点的子点之间,选择多个被选择点以执行一精确搜寻程序;
(f)根据对应于所述的多个被选择点的正规化群组失真,以对所述的多个被选择点评等;
(g)从所述的多个被选择点中选择具有最小正规化群组失真的一被选择点以微调所述的最后获胜母点的位置;以及
(h)根据所述的最后获胜母点,以决定所述的画面的一移动向量;
其中在步骤(e)被执行所述的精确搜寻程序的所述的多个被选择点是根据所述的移动向量为水平或垂直所决定。
9.如权利要求7所述的方法,其特征在于,所述的方法另包含:
(i)通过于所述的画面中执行一区块匹配程序,以识别所述的画面的一起始搜寻点作为所述的母点;
其中于步骤(c)中,当所述的子点的区块匹配误差小于所述的母点的区块匹配误差时,略过环绕于所述的母点的所述的六角形区域内的其它尚未检查的子点,而直接判断所述的子点为获胜点。
CN201210004414.2A 2008-09-30 2009-09-29 一种区块移动估测方法 Pending CN102547286A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US10115508P 2008-09-30 2008-09-30
US61/101,155 2008-09-30
US12/490,337 2009-06-24
US12/490,337 US20100080298A1 (en) 2008-09-30 2009-06-24 Refined Weighting Function and Momentum-Directed Genetic search pattern algorithm

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200910180129.4A Division CN101715131A (zh) 2008-09-30 2009-09-29 一种区块移动估测方法

Publications (1)

Publication Number Publication Date
CN102547286A true CN102547286A (zh) 2012-07-04

Family

ID=42057471

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210004414.2A Pending CN102547286A (zh) 2008-09-30 2009-09-29 一种区块移动估测方法
CN200910180129.4A Pending CN101715131A (zh) 2008-09-30 2009-09-29 一种区块移动估测方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN200910180129.4A Pending CN101715131A (zh) 2008-09-30 2009-09-29 一种区块移动估测方法

Country Status (3)

Country Link
US (1) US20100080298A1 (zh)
CN (2) CN102547286A (zh)
TW (1) TW201014365A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751948B2 (en) 2008-05-13 2014-06-10 Cyandia, Inc. Methods, apparatus and systems for providing and monitoring secure information via multiple authorized channels and generating alerts relating to same
WO2009140386A1 (en) * 2008-05-13 2009-11-19 Monterey Group One, Llc Apparatus and methods for interacting with multiple information forms across multiple types of computing devices
CN102263944B (zh) * 2010-05-27 2014-07-02 晨星软件研发(深圳)有限公司 视频编码系统、移动估算装置及移动估算的计算方法
WO2012051539A2 (en) 2010-10-14 2012-04-19 Cyandia, Inc. Methods, apparatus, and systems for presenting television programming and related information
KR102131326B1 (ko) * 2013-08-22 2020-07-07 삼성전자 주식회사 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법
CN106529465B (zh) * 2016-11-07 2019-10-11 燕山大学 一种基于动量动力学模型的行人间因果关系识别方法
TWI652629B (zh) 2018-01-17 2019-03-01 財團法人精密機械研究發展中心 混合式基因運算方法
CN110163373B (zh) * 2018-02-13 2023-11-03 财团法人精密机械研究发展中心 一种混合式基因运算方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060056511A1 (en) * 2004-08-27 2006-03-16 University Of Victoria Innovation And Development Corporation Flexible polygon motion estimating method and system
US7609765B2 (en) * 2004-12-02 2009-10-27 Intel Corporation Fast multi-frame motion estimation with adaptive search strategies

Also Published As

Publication number Publication date
TW201014365A (en) 2010-04-01
US20100080298A1 (en) 2010-04-01
CN101715131A (zh) 2010-05-26

Similar Documents

Publication Publication Date Title
CN102547286A (zh) 一种区块移动估测方法
Sandler et al. Nonnegative matrix factorization with earth mover's distance metric for image analysis
US6624821B1 (en) Image texture retrieving method and apparatus thereof
CN111241989B (zh) 图像识别方法及装置、电子设备
Hel-Or et al. Real-time pattern matching using projection kernels
CN108171761B (zh) 一种基于傅里叶图变换的点云帧内编码方法及装置
US20110103700A1 (en) Image classification device and image classification program
US8428304B2 (en) Retrieving scenes from moving image data
EP2782066B1 (en) Local feature descriptor extracting apparatus, method for extracting local feature descriptor, and program
Jung et al. Rigid motion segmentation using randomized voting
CN111652292B (zh) 一种基于ncs、ms的相似物体实时检测方法及系统
CN102843559A (zh) 基于纹理特性的hevc帧内预测模式的快速选择方法及装置
CN104702955A (zh) 屏幕视频的预测编码的方法与系统
CN112818755B (zh) 一种基于主动学习的步态识别方法
CN102779157A (zh) 搜索图像的方法和装置
CN101453660A (zh) 一种视频目标跟踪方法和装置
CN108561127B (zh) 一种基于随机模拟的地层压力预测方法
Malyszko et al. Standard and genetic k-means clustering techniques in image segmentation
Xie et al. Robust incremental long-term visual topological localization in changing environments
JP4421527B2 (ja) 映像検索装置,方法及びプログラム並びにプログラムを記録した記録媒体
CN105263026B (zh) 基于概率统计与图像梯度信息的全局矢量获取方法
RU2361273C2 (ru) Способ и устройство для распознавания изображений объектов
CN109523533B (zh) 一种图像质量评价方法及装置
CN113918744A (zh) 相似图像检索方法、装置、存储介质及计算机程序产品
Chai et al. Object rearrangement through planar pushing: A theoretical analysis and validation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120704