CN102291578A - 图框速率转换装置及方法 - Google Patents

图框速率转换装置及方法 Download PDF

Info

Publication number
CN102291578A
CN102291578A CN201110168055XA CN201110168055A CN102291578A CN 102291578 A CN102291578 A CN 102291578A CN 201110168055X A CN201110168055X A CN 201110168055XA CN 201110168055 A CN201110168055 A CN 201110168055A CN 102291578 A CN102291578 A CN 102291578A
Authority
CN
China
Prior art keywords
picture frame
motion
vector
candidate
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110168055XA
Other languages
English (en)
Other versions
CN102291578B (zh
Inventor
陈永钦
龚云
包一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Publication of CN102291578A publication Critical patent/CN102291578A/zh
Application granted granted Critical
Publication of CN102291578B publication Critical patent/CN102291578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种图框速率转换装置及方法，图框速率转换装置用以接收至少两个输入图框并产生至少一输出图框。该图框速率转换装置包括一移动估算模块、一移动补偿模块、一图框特征提取模块、以及一控制模块。该移动估算模块用来自该至少两个输入图框来产生一包含区域移动向量及时间移动向量的候选者清单，并自该候选者清单产生一优选移动向量。该移动补偿模块用以依据该优选移动向量来产生该至少一输出图框。该控制模块用以根据来自图框特征提取模块、或移动估算模块的信息来决定该优选移动向量的权重。

Description

图框速率转换装置及方法
技术领域
本发明涉及一种图框内插装置及方法，尤指一种利用移动估算及移动补偿的图框速率转换装置及方法。
背景技术
利用移动补偿(motion compensation，MC)的图框(frame)内插法可以回朔至1980代后期。利用移动补偿内插法具有许多优点。为了有效的在原始的图框中内插新图框，通常会先估算原始的输入图框中标的的移动。近年来，由于半导体及电视技术的发展，利用移动估算补偿(motionestimation and motion compensation，MEMC)的图框速率转换(frame rateconversion，FRC)获得许多注意。利用MEMC的FRC通常从一组候选者移动向量中选择一优选移动向量来执行移动估算。如何建立候选者清单以及如何选出优选者，每一MEMC方法各有不同。现今技术的算法在具有一致性移动的场景中具有不错的效果，但在一些困难的状况，如快速移动的物体的边界、包藏的场景(occlusion scene)、以及具有少量细节的区域等，会导致许多可见的假影(artifact)。因此，现今的技术存在许多挑战与改善的空间以改善视频(video，视讯)画面的品质。
发明内容
因此，本发明的众多目的之一即在提供一种图框速率转换装置及一种图框速率转换方法以改善视频画面的品质。
依据本发明之一实施例，披露一种图框速率转换方法。该方法包括下列步骤：接收至少两个输入图框；根据该至少两个输入图框来产生多个移动向量；根据该多个移动向量来产生一包含区域移动向量及时间移动向量的候选者清单；根据该候选者清单来产生一优选候选者；以及根据该优选候选者产生至少一输出图框。
依据本发明的另一实施例，披露一种图框速率转换装置。该图框速率转换装置，用以接收至少两个输入图框并产生至少一输出图框，包含：一移动估算模块，用以检测一讯源的频道状态来产生一检测结果自该至少两个输入图框来产生一包含区域移动向量及时间移动向量的候选者清单，并自该候选者清单产生一优选移动向量；以及一移动补偿模块，用以依据该优选移动向量来产生该至少一输出图框；其中该优选移动向量是利用一双向搜寻方式而产生。
附图说明
图1显示根据本发明之一实施例的图框速率转换装置。
图2显示根据本发明之一实施例的图框特征提取模块。
图3显示根据本发明之一实施例的ME模块。
图4显示根据本发明之一实施例的控制模块。
图5显示根据本发明之一实施例的MC模块。
图6显示根据本发明之一实施例的图框速率转换方法的流程图。
【主要元件符号说明】
100    图框速率转换装置
110    图框特征提取模块
120    移动估算模块
130    控制模块
140    移动补偿模块
具体实施方式
MEMC的功能是用以减少由低图框速率的视频(如24f/s的影片)转换至高图框速率的视频(如120Hz TV)所产生的急动(judder)现象。
图1例示24f/s输入及在MEMC之后的120f/s输出。目标(target)图框及参考(reference)图框为在原始输入图框序列中的两个相邻图框。请注意：本实施例虽以两个图框为例，但本发明也可以使用两个以上的图框。
请继续参考图1，根据本发明之一实施例中的图框速率转换装置100，其用以接收至少两个输入图框并产生至少一输出图框，其包括一移动估算(ME)模块120以及一移动补偿(MC)模块140。移动估算模块120用来自该至少两个输入图框来产生一包含区域移动向量及时间移动向量的候选者清单，并自该候选者清单产生一优选移动向量。该移动补偿模块140用以依据该优选移动向量来产生该至少一输出图框。根据本发明的另一实施例，该区域移动向量为局部(local)移动向量以及该时间移动向量为时间流(MvFlow)候选者。
根据本发明的另一实施例，图框速率转换装置100还包括一图框特征提取模块110以及一控制模块130。图框特征提取模块110用以自该输入图框提取信息。控制模块130用以根据来自图框特征提取模块110或该移动估算(ME)模块120的信息来决定该优选移动向量的权重。
根据本发明的另一实施例，图框特征提取模块110用以从该输入图框提取出淡入/淡出信息，而控制模块130根据该淡入/淡出信息来决定该优选移动向量的权重。
根据本发明的另一实施例，图框特征提取模块110用以从该输入图框产生标志检测信息，而输出图框根据该标志检测信息来产生。
移动估算(ME)模块120检测输入图框中的标的的轨迹(trajectory)，并以移动向量(MV)表示。输出的(内插的)图框根据移动向量来产生，并根据产生的图框所将显示(display)的时间将标的置放在适当的位置。
移动补偿(MC)模块140利用MV以及目标与参考图框在目标与参考图框之间来产生内插的图框。
控制模块130利用ME模块120取得的统计信息以及来自图框特征提取模块110的信息来决定在输出图框中的目标与参考图框的权重、优选MV的权重、以及标的的位置。在一些状况中，如场景(scene)的变换，控制模块130也回馈信息至ME模块120以调整ME模块120的动作。
参考图2，图框特征提取模块110可以包括影像位置检测单元111、标志检测单元112、以及淡入/淡出检测单元113。图框特征提取模块110由输入图框分析图像的内容，并利用影像位置检测单元111来提供图像位置的信息、利用标志检测单元112来提供标志位置或标志检测信息、或利用淡入/淡出检测单元113来提供淡入/淡出信息。图框特征提取模块110这些将这些信息输出至ME模块120以得到更佳的MV、或输出至MC模块140以帮助确认在输出图框中的内插像素的正确性。其它信息，如淡入/淡出检测信息，将送至控制模块140以控制输出图框的结果，如根据淡入/淡出检测信息来决定优选移动向量的权重。
参考图3，移动估算(ME)模块120可以包括双向单元121、RMV检测单元122、RMV缓冲器123、MV缓冲器124、时间流(Mvflow)单元125、后移动估算单元126、以及像素MV单元127。双向单元121用以由目标图框至参考图框及/或由参考图框至目标图框来搜寻或决定优选MV(优选候选者)。RMV检测单元122用以检测并产生区域移动向量(regional moving vector，RMV)。RMV缓冲器123用以储存来自RMV检测单元122的RMV，并提供RMV候选者至双向单元121。MV缓冲器124用以储存来自RMV检测单元122的先前不同时间的RMV或经后ME单元126修正后的优选移动向量，并将其储存为时间移动向量(MV)。时间流(MvFlow)单元125，用以根据MvFlow检测，在时间MV中检测Mvflow候选者，并将MvFlow候选者输出至双向单元121。后移动估算单元126用以执行一后移动估算检测以修正优选移动向量，并将输出至RMV检测单元122、像素MV单元127、及MV缓冲器124，其中后移动估算检测包含跳动(jump)修正、包覆检测、以及离群值(outlier)滤波的至少其中之一，其中RMV检测单元122根据优选移动向量的修正来调整其本身的检测。而像素MV单元127用以根据(修正后的)优选移动向量来推导像素的MV。
ME模块120将目标图框分割为固定大小的小区块，然后在参考图框搜寻最佳匹配，并以移动向量(MV)代表区块由目标图框至参考图框的轨迹(trajectory)。此实施例以绝对差(Sum of Absolute Difference，SAD)为基准来决定优选MV或候选者，但本发明不以使用SAD为限。
由于ME包含大量的运算工作，为了避免搜寻整个参考图框，本发明可以使用快速搜寻并只搜寻一些点。在找到每一区块的优选移动向量区块后，将执行后ME检测以修正错误的移动向量，并标示出包藏(occlusion)发生的区域。然后像素MV单元127推导每一像素的移动向量，再执行MC以产生输出像素(pixel)。
移动估算(ME)是寻找移动向量(MV)以代表在相临图框的标的移动的过程。ME模块120将整个图框分割为固定大小的小区块，如8×8或16×16，然后在两个图框间根据一搜寻基准来搜寻最佳匹配。此实施例以绝对差(Sum of Absolute Difference，SAD)为基准，而也可以使用均方差(mean square error，MSE)或中位数绝对误差(mean absolute distortion，MAD)，本发明不以使用SAD为限。本发明可以使用固定目标搜寻，也即在目标图框固定一区块，然后再搜寻参考图框。全面搜寻为最详细的搜寻方法。全面搜寻是在搜寻范围内搜寻所有可能的位置。当图框很大而搜寻范围也很大，这可能不切实际。不同于全面搜寻，本发明使用快速搜寻方法，其只搜寻所有可能候选者的一个子集合。子集合，也即候选者的选取很重要，其将影响ME的效能。通常目前区块的移动与其相邻区块的移动有密切的关系，这些就可为执行快速搜寻时的好的候选者。
根据本发明之一实施例，本发明提出两种特别型态的候选者。第一种为MvFlow候选者。通过记录标的的移动，本发明可以使用由时间t-2至t-1(或更早)的轨迹来推断标的在时间t的位置。第二种区域移动向量(RMV)候选者。当场景平移(panning)时，整张图将往一致的方向移动，此种移动向量本发明称之为总体(Global)区域移动向量(GRMV)，其可为好的候选者。如果整张图并未平移，本发明仍可以找到一移动向量来代表某一局部的一致移动，此种移动向量本发明称之为局部(Local)区域移动向量(LRMV)。
有时目前区块的移动可能与它的候选者有些许的不同。然而，通过搜寻候选者的邻近范围可以得到此区块更精确的移动以改善其效能。其称之为小范围搜寻。
根据本发明之一实施例，其可使用双向搜寻方式，以在单一方向可以找到但另一方向无法找到时有所帮助。这种情形包括图像的边界以及包覆/非包覆的状况。前向搜寻是由目标图框搜寻至参考图框，而后向搜寻是由参考图框搜寻至目标图框。
在搜寻候选者之后，本发明发现单独使用搜寻基准，如最小SAD，可能无法找到区块的真正移动或最近似的移动。为了降低这种错误，根据本发明之一实施例，其在作比较之前，对搜寻基准加入偏差(值)。这种偏差(值)每一候选者可以各有不同，其是根据每一候选者的特征以及其与临近区域的相互关系。
最后，执行一后移动估算检测以修正一些错误的优选移动向量。
如果标的以一致的速度移动，它的移动向量应几乎为常数且它的位置应可轻易的自其先前的移动来预测。此种移动向量应为用以搜寻的好的候选者搜寻。本发明提出时间流Mvflow方法来搜寻此种候选者。
作为考虑时间流MvFlow的在前一图框的区块应不超过最大的搜寻范围。由于可能会有许多可能的时间流MvFlow候选者，本发明加入一些限制条件以移除较不可能代表真正移动的候选者。本发明可以在计算重叠时，缩小目前区块的大小及/或候选者区块的大小。本发明排除具有小重叠区域的候选者。因此，如果所预测的移动没有在位置或区域上提供足够的重叠，本发明就排除此种候选者。仍可能有许多可能的候选者本发明无法全部搜寻。本发明可以对其根据如重叠区域或移动向量的大小的准则以可能性来排序，并挑选最大者来作为时间流MvFlow候选者。当两个候选者之移动向量彼此靠近，本发明将其合并以减少多余的搜寻如此以取得更多独特的候选者。
在总体平移场景中，本发明使用一个移动向量来代表整体图像的移动。此种MV称之为总体区域移动向量(GRMV)。相同的现象可以在较小的区域观察到，本发明使用一局部移动向量(LRMV)来代表其移动。例如，LRMV可以代表一6×6区块之移动向量，但本发明不以6×6区块为限。由于在搜寻未完成前，本发明可能无法计算出目前图框之所有GRMV或LRMV，本发明利用前一图框的GRMV及LRMV作为时间候选者。两者，也即目前或时间上的GRMV及LRMV候选者，在快速搜寻皆为好的候选者。
本发明也可加一负偏差(negative)至GRMV及LRMV候选者以使其较占优势。此偏差不一定为常数，其取决于GRMV及LRMV的可靠度及区块的活动(activity)。GRMV及LRMV的可靠度由GRMV/LRMV区域的移动向量的变异(variance)来决定。如变异小，则可靠度高。
对各别的候选者，本发明执行以候选者为中心的小范围搜寻，小范围可以设定为例如x：-3..+3&y：-3..+3，并搜寻范围内的所有位置。本发明可以使用部份图素(fractional pel)搜寻，如半图素(half-pel)或四分之一图素(quarter-pel)搜寻，而最佳匹配位置将代表此候选者为优选者并在最后决定阶段再与其它候选者作比较。
虽临近各别候选者的小范围搜寻有助于更有效率的掌握快速移动，但有时即使对属于同一标的的区块，其也会引起MV的小量变益。此种小量变益对大部分的场景并不会有问题，但有时会产生假影。此外搜寻准则也可能不精确。本发明也可能发现一些不相关的区块比目前区块更符合其真实的移动。此种现象称之为ME混扰(alias)。这种现象通常发生在具有相似结构(texture)或重复图案(pattern)区域。错的移动向量将导致假影。
为了避免MV的小量变益，本发明使靠近原本候选者位置的MV较占优势。例如，当执行小范围搜寻时，本发明根据与原本位置的距离来计算一偏差(bias)，并将偏差与SAD相加。
在候选者之中，具有最佳搜寻准则者，如具有最小SAD者，通常被选为优选移动向量或优选候选者。然而，由于影像的复杂度与基于区块的移动搜寻的限制，此种移动向量也可能无法代表目前区块的真正移动，不正确的移动向量将导致假影。
本发明通过在比较之前加入偏差至SAD来克服此情形。本发明考虑目前区块与其邻近区块之空间相关性(spatial correlation)，以及目前区块与前一图框中的对应区块(counterpart)的时间相关性(temporalcorrelation)，而计算空间偏差(spatial bias)与时间偏差(temporal bias)，并将二者与SAD相加以作为新的搜寻准则，优选MV即为最小的加总SAD(SAD+空间偏差+时间偏差)者。如有二候选者具有进似的SADs，具有较强的空间及/或时间相关性者(即较小的空间+时间偏差者)将成为优选者。此法可以降低ME混扰(alias)的发生。
偏差与区块的复杂度有关。区块结构(texture)越复杂，其SAD也可能越高。因此偏差值要设为高些才能有效。本发明通过计算区块的活动(activity)来估计其复杂度，方法如下，其中(start.x，start.y)及(end.x，end.y)代表区块的起始及结束位置，而block[y][x]为(x，y)位置的像素值(pixel value)：
对目前区块，本发明考虑其3个邻近的移动向量，即左(L)、上(U)、以及右上(UR)，而其它的邻近移动向量也可以使用，本发明不以此为限。而具有与目前区块近似活动的邻近区块的移动向量，可以用来计算平均移动向量差值(mv_dif)。
Figure BDA0000070028490000092
其中ACT代表区块的活动，thr代表定义两个活动相似的临界值(threshold)，而MV.x与MV.y为水平与垂直方向的移动向量值。|MV.x|+|MV.y|代表移动向量的距离。平均移动向量差值mv_dif用以查表空间偏差sbias(spatial bias)。一般当差值mv_dif较小时，偏差也较小，这使得此区块较易成为优选者。偏差值也受目前区块的活动所影响。若活动值较高，此区块之SAD也较高，偏差也倾向较高。
当对current frame(目前图框)中的current block(目前区块)来计算tbias时，我们假设它来自previous frame(前一图框)中的(左边)区块。而左边区块可能未与前一图框的区块格对齐。因此本发明双线性内插来计算平均MV值(MVavg)，如下：
MVavg＝(mv1*s1+mv2*s2+mv3*s3+mv4*s4)/(s1+s2+s3+s4)，
其中s1、s2、s3、及s4为左边区块的重叠区域，其分别具有mv1、mv2、mv3、及mv4的移动向量值。
移动向量差值mv_dif表示目前(cur.)区块MV值与MVavg的差值，算法如下：
mv_dif＝|MVavg.x-MVcur.x|+|MVavg.y-MVcur.y|
然后利用mv_dif来查表偏差值tbias。
先前本发明使用两个图框来显示移动估算，目标图框的时间为t而参考图框的时间为t-1。但本发明也可以更多图框来得到更精确的ME结果。例如使用三个以上的图框，而如果标的可以从第一图框追踪到第二图框然后到第三图框，对其移动的信心水平自然可以比二图框搜寻更高。
本发明增加精确度的另一实施例是使用前向及/或后向搜寻，也即双向搜寻的方式。搜寻由时间的图框往时间t-1的图框的搜寻为前向搜寻，然而本发明也可以作由时间t-1的图框往时间t的图框后向搜寻，两者皆使用相同的候选者清单，然后比较两者的结果以决定最后的优选者。但搜寻的时间也可以更往前或往后，不以此为限。
双向搜寻至少有助于以下两种情形。在一些区块因为在参考图框中其被包覆或包藏，使用前向搜寻并无法得到良好的匹配MV。使用后向搜寻当该区域于不同时间点没有被包覆或包藏将可找到其移动。本发明的包覆及非包覆检测是根据双向搜寻方式来进行。
另一种情形为一平移影像的图像边界，前向搜寻并未能在参考图框中找到良好的匹配，因为某些部份尚未移动进入图框中。然而从相同位置的后向搜寻便可轻易的发现正确的移动向量。其优选者将为后向搜寻的MV，而利用移动补偿适当的内插此区块。
在个别区块具有其优选MV之后，执行后移动估算检测以移除或修正错误的优选移动向量。后ME检测包括跳动(jump)修正、包覆检测、以及离群值(outlier)滤波的至少其中之一，说明如下：
1.MV跳动修正，用以降低双影像假影(double image artifact)。
2.包覆/非包覆检测，用以检测包覆(cover或occlusion)及非包覆(uncover或reveal)发生的区域。
3.MV离群值滤波：由于若属于同一标的(object)，区块及其邻近区块将一起移动，故若目前区块的MV与其邻近区块的MV(如在3×3的区域)差异很大，则执行MV修正(如以邻近区块MV的中间值来取代优选MV以作为新的优选MV)。另一例为前向/后向优选者，若目前区块使用前向MV作为优选者但其邻近的MV多为后向MV，可能在此区块也使用后向MV较佳，反之亦然。
MV跳动检测目的之一在用以减少当标的并未随其背景移动所造成的在其前或其后的假影。
另一种形式的假影也常发生在未随其背景移动的标的之前或之后，且其背景为复杂的场景。该标的移入的背景为包覆或包藏，该标的移出的背景为非包覆或非包藏。对于包覆区域，其像素信息可以在图框(t-1)中得到，但无法在图框(t)中得到。对于非包覆区域，其像素信息可以在图框(t)中得到，但无法在图框(t-1)中得到。由于ME会比较两图框之像素的差异，若像素信息在两图框之一中消失将有问题，而所产生的MV将无法表示真正的移动。使用多图框ME可以避免上述的问题。当无法在图框(t)或图框(t-1)中发现像素信息时，也可能在图框(t-2)或图框(t+1)中发现。当无法在前向ME中发现时，也可能在后向ME中发现，反之亦然。通过使用前向/后向ME，可以轻易的检测出包覆/非包覆区域，而适当的补偿方式即可以施加在标示为包覆/非包覆区域之区块以减少假影。
根据本发明之一实施例的包覆/非包覆检测，其通过比较使用前向及后向搜寻优选者来前向及后向搜寻所产生的SAD信息来执行。
bsad＝使用后向搜寻优选者进行后向搜寻所得到的SAD；
bsad2＝使用后向搜寻优选者进行前向搜寻所得到的SAD；
fsad＝使用前向搜寻优选者进行前向搜寻所得到的SAD；
fsad2＝使用前向搜寻优选者进行后向搜寻所得到的SAD；
若bsad较小而bsad2较大，则该区块可能为一非包覆区块。若fsad较小而fsad2较大，则该区块可能为一包覆区块。其它当fsad、fsad2、bsad、及bsad2相近时，其为正常区块。
至于标志检测，其包覆及非包覆区块将以群组出现，故其后ME检测将移除独立的包覆及非包覆区块。
图4显示根据本发明之一实施例的控制模块130，其可包含可靠度检测单元131及场景变换检测单元132。图框可靠度检测单元131决定FRC时MEMC施加的强度，也即MC_off的层级(level)或权重优选移动向量的权重。其使用来自ME模块130的信息，如SAD、MV、MV的差值等，以及来自图框特征提取模块110的信息，如淡入/淡出信息等。若图框的可靠度高，将使MEMC为全速的图框速率并输出完整的内插的图框。若图框的可靠度较低，将降低MEMC的图框转换速率或将原始的图框与内插的图框混合。若图框的可靠度低，画面会多急动(judder)而少假影。若图框的可靠度很低，本发明将完全关掉MEMC以避免假影，然而，如此可能会有严重的急动。
场景变换检测单元132用以根据来自ME模块120的SAD及MV等信息来执行场景变换检测。当SAD颇大而MV不一致，其意味着无法在目前(目标)图框与前一(参考)图框找到良好的匹配，此时可能为场景变换。场景变换检测单元132并输出场景变换检测信息至ME模块120以控制候选者的选取，及输出场景变换检测信息至MC模块140以控制输出图框的产生。
图5显示根据本发明之一实施例的移动补偿(MC)模块140，其包含像素处理单元141。其使用来自ME模块120的优选MV并取得来自原始(输入)图框的像素以处理在输出图框的内插的像素。其使用来自图框特征提取模块110的边界或标志等信息以处理移动补偿的特殊情形。其使用来自控制模块130的MC_off等信息以调整优选MV的权重及像素。
MC模块140用以在输入图框间产生内插的输出图框，其使用来自ME模块120的优选移动向量及输入图框的像素，以及区块SAD、包覆/非包覆、标志、场景变换等信息以适应性控制内插的像素值。
在一些情况，并无法使用目标及参考图框两者的像素来产生输出像素，否则会产假影。此时可以只使用单边图框的像素，也即单向MC。
一种情况为两者的移动向量之一指向边界，这在区块靠近边界时可能会发生。此时可以只使用另一移动向量的像素来进行MC。
一个非标志区块也可能具有指向标志区块的移动向量。此时假影看起来像标志由其原始位置跳出来。当发现非标志区块使用一指向标志区块的移动向量，本发明将不使用其移动向量，而使用另一方向的像素来进行MC。
当包藏(包覆/非包覆)发生时，只有两图框中之一具有进行MC所需的正确像素。
当MEMC未适当执行时，假影可能会出现。当有太多假影时，影像的品质将变得很差，此时根据本发明之一实施例，其将关闭MEMC或降低MEMC的强度以避免或降低假影。
根据本发明之一实施例，其检测确认MEMC未适当执行之情形，如场景变换或淡入/淡出等，以决定关闭MEMC的时机。其也经由一些统计信息，以判断ME是否效果良好，两种主要的图框层级统计信息如下：
frame_mv_reliability＝∑|current frame block MV-previous frame block MV|/∑|current frame block MV|
frame_sad_reliability＝∑block_SAD/block_ACT
Frame_mv_reliability量测在两输入图框的对应位置其两移动向量的差异度，frame_sad_reliability量测ME在目前图框找到匹配区块的程度。
然后检查如以下的一些情况：
(a)图框不可靠情况：当Frame_mv_reliability及frame_sad_reliability都很大。
(b)快速移动情况：太多区块具有大移动向量且frame_sad_reliability也很大。
(c)淡入/淡出情况：目前图框为淡入/淡出。
(d)场景变换情况：目前图框为场景变换。总体(Global)区域移动向量(GRMV)
(e)总体移动情况1：对许多连续的图框没有总体区域移动，且frame_sad_reliability也很大。
(f)总体移动情况2：对许多连续的图框有总体区域移动，但每一图框的差异很大。
(g)包覆/非包覆情况：在一图框检测到太多包覆/非包覆区块。
(h)不可靠情况：太多不可靠区块(SAD＞＞activity)。
这些情况的临界值可依主客观的视频品质而定，以决定是否关闭MEMC。
当MEMC关闭时，可以输出重复的两输入图框之一或输出两输入图框之平均值。
然而只有两种层级(开及关)的MEMC是不够顺畅的，本发明也提出中间层级的方式以顺畅切换。中间层级的MEMC可以将内插的图框与原始(输入)图框以不同的权重混合而输出(output)：
output＝w1*X+w2*Y+(1-w1-w2)*Pp。
该权重可随在两原始(输入)图框间的不同内插图框位置而不同。如在24Hz转换至120Hz的情形，其需在两原始(输入)图框间插入4内插图框。其图框序列如：{X，a，b，c，d，Y}，其中X与Y为原始图框而a，b，与c为MC的图框。而其中间层级的MEMC可以输出如{X，(X+b)/2，b，c，(Y+c)/2，Y}。
在不同层级的切换间，需使一层级停留一定的图框，如此可确保MEMC顺畅的切换。
当标志出现在影像中，其将增加MEMC的困难度。当一静止标志与一移动的标的或背景重叠时，一些像素(标志)没有移动，在相同区块的一些像素(标的)会移动。ME要发现在区块内的每一像素的真正移动向量是困难的。移动向量不是追随标志(静止)就是追随标的(非静止)。若移动补偿(MC)没有适当执行，标志假影将出现。根据本发明之一实施例的标志检测方法，其用以区别标志像素与非标志像素。当产生输出像素时，其对标志像素进行静态混合，而对非标志像素进行移动补偿。
标志区域具有以下的特征：
1.标志的边缘锐利(sharp)且清楚。
2.标志的亮度(luminance)及/或色度(chrominance)通常与影像(video)不同。
3.标志会停留在同一位置一段时间。
因此，在图框特征提取模块110中的标志检测单元112是用以自输入图框根据上述特征来检测标志区块或产生标志检测信息。
如进行ME的情形，将画面分割为固定大小的小区块，而区块的未必与ME时相同。然后检检测各别区块内的各别像素是否具有上述特征。若在区块内的像素大部分具有标志的特征1及/或2，将其标示为可能的标志区块候选者。由于标志会停留在同一位置一段时间，进一步利用一计数器来计数该区块被标示为标志区块的时间，然后利用该计数值来决定是否该将该区块视为在目前图框中的标志区块(可与一临界值比较)。然后考虑标志区域应为连续的区域，而一些独立的标志区块应不为标志区域，可移除。而若一非标志区块被标志区块所全部或部分围绕，可将该非标志区块改为标志区块。并将标志区域填入孔洞(hole)。
在标志区块内的像素皆标为标志像素。在MC阶段，非标志像素将执行正常的MC。而对标志像素，将利用正常的MC结果以及在目前及先前图框的对应位置的像素值来产生最后的输出像素值。
接下来，请参考图6，其显示根据本发明之一实施例的图框速率转换方法的流程图。请注意，假设大体上可获得相同结果，图6所示的流程图中的步骤不一定遵照此排序来连续执行，另外，其它的步骤也可插入其中。该方法包含有以下步骤：
步骤502：接收至少两个输入图框。
步骤504：根据该至少两个输入图框来产生多个移动向量。
步骤506：根据该多个移动向量来产生一包括区域移动向量及时间移动向量的候选者清单。
步骤508：根据该候选者清单来产生一优选候选者。
步骤510：根据该优选候选者产生至少一输出图框。
根据本发明的另一实施例，步骤506包含：
步骤512：产生包含局部区域移动向量的该候选者清单。
步骤514：产生包含MvFlow候选者的该候选者清单。
根据本发明的另一实施例，步骤508包含：
步骤516：自该候选者清单选择一具有最小SAD的移动向量作为该优选候选者。
根据本发明的另一实施例，步骤508包含：
步骤518：根据一移动向量的时间及空间邻近的移动向量来选择该移动向量作为该优选候选者。
根据本发明之另一实施例，步骤508包含：
步骤520：自该候选者清单选择一具有最小SAD、空间偏差、以及时间偏差的总和的移动向量作为该优选候选者。
根据本发明的另一实施例，步骤508包含：
步骤522：利用一双向搜寻方式自该候选者清单选择该优选候选者。
根据本发明的另一实施例，该图框速率转换方法还包括：
步骤524：执行一后移动估算(ME)检测以修正该优选移动向量，其中该后ME检测包括一MV跳跃修正、一包覆检测、以及一离群值滤波的至少其中之一。
根据本发明的另一实施例，该图框速率转换方法还包括：
步骤526：根据一区块是否在该至少两个输入图框间移动、该区块是否静止、以及该区块的边缘信息来检测一标志区块。
根据本发明的另一实施例，该图框速率转换方法还包括：
步骤528：执行一图框可靠度检测来决定该优选候选者之一权重以产生该至少一输出图框。
以上所述仅为本发明的优选实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (15)

1.一种图框速率转换方法，其特征在于，包括：
接收至少两个输入图框；
根据所述至少两个输入图框来产生多个移动向量；
根据所述多个移动向量来产生一包括区域移动向量及时间移动向量的候选者清单；
根据所述候选者清单来产生一优选候选者；以及
根据所述优选候选者产生至少一输出图框。
2.根据权利要求1所述的图框速率转换方法，其特征在于，根据所述多个移动向量来产生所述包含区域移动向量及时间移动向量的候选者清单的步骤包括：
产生包括局部区域移动向量的所述候选者清单；以及
产生包括时间流候选者的所述候选者清单。
3.根据权利要求1所述的图框速率转换方法，其特征在于，根据所述候选者清单来产生所述优选候选者的步骤包括：
自所述候选者清单选择一具有最小的一绝对差(SAD)的移动向量作为所述优选候选者。
4.根据权利要求1所述的图框速率转换方法，其特征在于，根据所述候选者清单来产生所述优选候选者的步骤包括：
根据一移动向量的时间及空间邻近的移动向量来选择所述移动向量作为所述优选候选者。
5.根据权利要求1所述的图框速率转换方法，其特征在于，根据所述候选者清单来产生所述优选候选者的步骤包括：
自所述候选者清单选择一具有最小的一绝对差、一空间偏差、以及一时间偏差的总和的移动向量作为所述优选候选者。
6.根据权利要求1所述的图框速率转换方法，其特征在于，根据所述候选者清单来产生所述优选候选者的步骤包括：
利用一双向搜寻方式自所述候选者清单选择所述优选候选者。
7.根据权利要求1所述的图框速率转换方法，其特征在于，还包括以下步骤：
执行一后移动估算检测以修正所述优选移动向量，其中所述后移动估算检测包括一跳跃修正、一包覆检测、以及一离群值滤波的至少其中之一。
8.根据权利要求1所述的图框速率转换方法，其特征在于，还包括以下步骤：
根据一区块是否在所述至少两个输入图框间移动、所述区块是否静止、以及所述区块的边缘信息来检测一标志区块。
9.根据权利要求1所述的图框速率转换方法，其特征在于，根据所述优选候选者产生所述至少一输出图框的步骤包括：
执行一图框可靠度检测来决定所述优选候选者之一权重以产生所述至少一输出图框。
10.根据权利要求1所述的图框速率转换方法，其特征在于，根据所述优选候选者产生所述至少一输出图框的步骤包括：
根据所述优选候选者及其邻近的移动向量来控制一内差像素值。
11.根据权利要求1所述的图框速率转换方法，其特征在于，还包括以下步骤：
通过利用一双向搜寻方式产生的绝对差信息来执行一包覆检测以在所述至少两个输入图框中检测包覆及非包覆区域。
12.一种图框速率转换装置，其特征在于，用以接收至少两个输入图框并产生至少一输出图框，包括：
一移动估算模块，用以检测一讯源的频道状态来产生一检测结果自所述至少两个输入图框来产生一包括区域移动向量及时间移动向量的候选者清单，并自所述候选者清单产生一优选移动向量；以及
一移动补偿模块，用以依据所述优选移动向量来产生所述至少一输出图框；
其中所述优选移动向量利用一双向搜寻方式而产生。
13.根据权利要求12所述的图框速率转换装置，其特征在于，还包括：一图框特征提取模块，用以自所述至少两个输入图框产生一淡入/淡出信息；以及
一控制模块，用以依据所述淡入/淡出信息来决定所述优选移动向量的一权重；
其中所述至少一输出图框依据所述权重而产生。
14.根据权利要求12所述的图框速率转换装置，其特征在于，还包括：
一图框特征提取模块，用以自所述至少两个输入图框产生一标志检测信息；
其中所述至少一输出图框依据标志检测信息而产生。
15.根据权利要求12所述的图框速率转换装置，其特征在于，所述优选候选者是根据所述优选候选者的时间及空间邻近的移动向量来选取。
CN201110168055.XA 2010-06-21 2011-06-21 图框速率转换装置及方法 Active CN102291578B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US35667010P 2010-06-21 2010-06-21
US61/356,670 2010-06-21

Publications (2)

Publication Number Publication Date
CN102291578A true CN102291578A (zh) 2011-12-21
CN102291578B CN102291578B (zh) 2014-04-23

Family

ID=45328332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110168055.XA Active CN102291578B (zh) 2010-06-21 2011-06-21 图框速率转换装置及方法

Country Status (3)

Country Link
US (1) US8446524B2 (zh)
CN (1) CN102291578B (zh)
TW (1) TWI435608B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363502A (zh) * 2014-10-28 2015-02-18 深圳创维－Rgb电子有限公司 Osd画面保护方法及装置
CN111339798A (zh) * 2018-12-18 2020-06-26 瑞昱半导体股份有限公司 物件位置判断电路和影像处理电路

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0618323D0 (en) * 2006-09-18 2006-10-25 Snell & Wilcox Ltd Method and apparatus for interpolating an image
EP2188978A2 (en) * 2007-09-10 2010-05-26 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
US9819963B2 (en) * 2011-07-12 2017-11-14 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
US9542611B1 (en) * 2011-08-11 2017-01-10 Harmonic, Inc. Logo detection for macroblock-based video processing
TWI475471B (zh) * 2011-09-19 2015-03-01 Acer Inc 利用觸控螢幕輔助視訊壓縮的方法及監控系統
US8692933B1 (en) 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
US20130101014A1 (en) * 2011-10-25 2013-04-25 Microsoft Corporation Layered Screen Video Encoding
TWI462576B (zh) * 2011-11-25 2014-11-21 Novatek Microelectronics Corp 固定圖案的邊緣偵測方法與電路
TW201335860A (zh) * 2012-02-24 2013-09-01 Novatek Microelectronics Corp 靜態標誌偵測方法
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
US9596481B2 (en) * 2013-01-30 2017-03-14 Ati Technologies Ulc Apparatus and method for video data processing
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
CN109089014B (zh) 2014-02-27 2021-02-19 杜比实验室特许公司 用于控制颤抖可见性的方法、装置及计算机可读介质
WO2016054076A1 (en) 2014-10-02 2016-04-07 Dolby Laboratories Licensing Corporation Dual-ended metadata for judder visibility control
US9807339B2 (en) 2015-06-12 2017-10-31 Sharp Laboratories Of America, Inc. Frame rate conversion system
US10284870B1 (en) * 2015-07-22 2019-05-07 Pixelworks, Inc. Adjusting interpolation phase for motion estimation motion compensation using image analysis
US10110846B2 (en) * 2016-02-03 2018-10-23 Sharp Laboratories Of America, Inc. Computationally efficient frame rate conversion system
KR20190110065A (ko) * 2018-03-19 2019-09-27 인텔렉추얼디스커버리 주식회사 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
US10990826B1 (en) * 2019-03-20 2021-04-27 Xilinx, Inc. Object detection in video
KR102417212B1 (ko) * 2019-06-17 2022-07-05 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서의 디코더 측 모션 벡터 개선을 위한 방법들 및 장치들
TWI748459B (zh) 2020-05-18 2021-12-01 瑞昱半導體股份有限公司 影像處理方法
US20220270267A1 (en) * 2021-02-25 2022-08-25 Beijing Dajia Internet Information Technology Co., Ltd. System and method for occlusion detection in frame rate up-conversion of video data
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179594A1 (en) * 2003-02-20 2004-09-16 The Regents Of The University Of California Phase plane correlation motion vector determination method
US20040252764A1 (en) * 2003-06-16 2004-12-16 Hur Bong-Soo Motion vector generation apparatus and method
TW200818872A (en) * 2006-06-27 2008-04-16 Marvell World Trade Ltd Systems and methods for a motion compensated picture rate converter
CN101494780A (zh) * 2008-01-25 2009-07-29 联发科技股份有限公司 进行视频处理的集成电路与视频处理方法
US7697769B2 (en) * 2004-01-15 2010-04-13 Kabushiki Kaisha Toshiba Interpolation image generating method and apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005098753A1 (ja) * 2004-04-09 2005-10-20 Sony Corporation 画像処理装置および方法、記録媒体、並びにプログラム
DE602004030993D1 (de) * 2004-04-30 2011-02-24 Panasonic Corp Bewegungsschätzung unter Verwendung von adaptiven räumlichen Verfeinerungsvektoren
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
JP5121852B2 (ja) * 2007-01-26 2013-01-16 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 画像ブロックの分類
US8159605B2 (en) * 2007-07-13 2012-04-17 Fujitsu Limited Frame interpolating apparatus and method
CN101946514B (zh) * 2007-12-20 2014-06-04 高通股份有限公司 使用自适应搜索范围的真实运动矢量估计
US8477848B1 (en) * 2008-04-22 2013-07-02 Marvell International Ltd. Picture rate conversion system architecture
US8253854B2 (en) * 2008-07-29 2012-08-28 Broadcom Corporation Image processing method and system with repetitive pattern detection
US8675736B2 (en) * 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
WO2011094871A1 (en) * 2010-02-05 2011-08-11 Sensio Technologies Inc. Method and apparatus of frame interpolation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179594A1 (en) * 2003-02-20 2004-09-16 The Regents Of The University Of California Phase plane correlation motion vector determination method
US20040252764A1 (en) * 2003-06-16 2004-12-16 Hur Bong-Soo Motion vector generation apparatus and method
US7697769B2 (en) * 2004-01-15 2010-04-13 Kabushiki Kaisha Toshiba Interpolation image generating method and apparatus
TW200818872A (en) * 2006-06-27 2008-04-16 Marvell World Trade Ltd Systems and methods for a motion compensated picture rate converter
CN101494780A (zh) * 2008-01-25 2009-07-29 联发科技股份有限公司 进行视频处理的集成电路与视频处理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363502A (zh) * 2014-10-28 2015-02-18 深圳创维－Rgb电子有限公司 Osd画面保护方法及装置
CN104363502B (zh) * 2014-10-28 2017-11-07 深圳创维－Rgb电子有限公司 Osd画面保护方法及装置
CN111339798A (zh) * 2018-12-18 2020-06-26 瑞昱半导体股份有限公司 物件位置判断电路和影像处理电路

Also Published As

Publication number Publication date
US20110310295A1 (en) 2011-12-22
TW201230816A (en) 2012-07-16
US8446524B2 (en) 2013-05-21
CN102291578B (zh) 2014-04-23
TWI435608B (zh) 2014-04-21

Similar Documents

Publication Publication Date Title
CN102291578B (zh) 图框速率转换装置及方法
US7343044B2 (en) Interpolation image generating method and apparatus
US8929451B2 (en) External vectors in a motion estimation system
US10984583B2 (en) Reconstructing views of real world 3D scenes
JP5245783B2 (ja) フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
JP4564564B2 (ja) 動画像再生装置、動画像再生方法および動画像再生プログラム
US20120308144A1 (en) Image processing device, image processing method, recording medium, and program
EP1587032A1 (en) Image processing apparatus and method, recording medium, and program
US9414060B2 (en) Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
US20060045365A1 (en) Image processing unit with fall-back
JP2005505841A (ja) 動き推定のための装置及び方法
US7535513B2 (en) Deinterlacing method and device in use of field variable partition type
CN102065263B (zh) 影像插补处理装置及其方法
US9621841B1 (en) Frame rate conversion based on object tracking
US20120274845A1 (en) Image processing device and method, and program
US20050195324A1 (en) Method of converting frame rate of video signal based on motion compensation
JP2009295029A (ja) 動き量検出装置及び動き量検出方法
JP2007510213A (ja) 小さな高速移動物体を追跡するための動きベクトル場の改良
CN107124617B (zh) 运动估计运动补偿中随机矢量的生成方法及系统
Qian et al. Global motion estimation under translation-zoom ambiguity
Kim et al. A new path based interpolation using object motion for frame rate up conversion
Choi et al. Motion‐Compensated Frame Interpolation Using a Parabolic Motion Model and Adaptive Motion Vector Selection
Kimura et al. Accurate motion estimation for image of spatial periodic pattern

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant