JP2008042332A - 補間フレーム作成方法及び補間フレーム作成装置 - Google Patents

補間フレーム作成方法及び補間フレーム作成装置 Download PDF

Info

Publication number
JP2008042332A
JP2008042332A JP2006211197A JP2006211197A JP2008042332A JP 2008042332 A JP2008042332 A JP 2008042332A JP 2006211197 A JP2006211197 A JP 2006211197A JP 2006211197 A JP2006211197 A JP 2006211197A JP 2008042332 A JP2008042332 A JP 2008042332A
Authority
JP
Japan
Prior art keywords
motion vector
value
frame
absolute value
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006211197A
Other languages
English (en)
Inventor
Takashi Sato
考 佐藤
Masaya Yamazaki
雅也 山崎
Keiko Hirayama
桂子 平山
Hiroshi Yoshimura
博 吉村
Yohei Hamakawa
洋平 濱川
Kenichi Michiba
賢一 道庭
Yoshihiko Ogawa
佳彦 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006211197A priority Critical patent/JP2008042332A/ja
Priority to US11/882,188 priority patent/US20080031338A1/en
Priority to EP20070015104 priority patent/EP1885132A2/en
Publication of JP2008042332A publication Critical patent/JP2008042332A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

【課題】 動きベクトル検出において、入力される映像の非常に微小な動き(位相ずれ)による検出精度の低下を防ぐことができる補間フレーム作成方法を提供する。
【解決手段】 前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて前記補間フレームを作成して前記入力フレーム画像間に挿入する工程とから成る。前記動きベクトル検出工程は、前記入力フレーム画像の前後フレーム上の互いに対応する位置にある画像ブロックにおける互いに同一位置の画素値の差分絶対値を算出し、該差分絶対値の累積加算値を示すSADが極小となるブロック対の前記前後フレーム上の位置に基づくベクトルを、前記動きベクトルとして選択する工程と、前記差分絶対値が所定値より大きい場合に、前記差分絶対値の値を変更し、当該画像ブロックの位置が示す方向のベクトルが、前記選択工程にて動きベクトルとして選択される確率を下げる工程を含む。
【選択図】図6

Description

本発明は動画像を構成するフレーム画像の間に補間フレームを作成及び挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。
液晶表示装置(LCD)に動画像を表示する場合、LCDは例えば60フレーム/秒のレートでフレーム画像(以下単にフレームと記載する)を表示する。このフレームは例えば60フィールド/秒のインターレースを処理して得られる順次走査信号である。LCD等のホールド型の表示装置においては、通常この1フレームの映像を1/60秒間表示し続ける。
このような映像を視聴する場合、人の目には1フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
動画像のこのようなボケを防止するために、連続する2つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている(特許文献1)。この方法では、前フレーム及び後フレームの2枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル(物体の動いた方向及び距離)が検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを2枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
上記ブロックマッチングとは、前フレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出するために、前後フレーム中の画像ブロックを比較する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値SAD(Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
特開2005−6275号公報
上記したようなSADを用いたブロックマッチングに基づいて物体の動きを推定する時、周期的パターンが存在し、しかも物体(周期的パターン)の動きに画素精度以下の僅かな位相ずれの成分が含まれていた場合、動きベクトルが誤検知されることがある。
従って本発明は、補間フレームを作成する際の動きベクトル検出において、入力される映像の非常に微小な動き(位相ずれ)による検出精度の低下を防ぐことを目的とする。
本発明の1実施形態は、入力されるフレーム画像を用いて、入力フレーム画像間に位置する補間フレームを作成する補間フレーム作成方法であって、前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて前記補間フレームを作成して前記入力フレーム画像間に挿入する工程とから成り、前記動きベクトル検出工程は、前記入力フレーム画像の前後フレーム上の画像ブロックの互いに対応する位置にある画素値の差分絶対値を算出し、該差分絶対値の累積加算値を示すSADが極小となるブロック対の前記前後フレーム上の位置に基づくベクトルを、前記動きベクトルとして選択する工程と、前記差分絶対値が所定値より大きい場合に、前記差分絶対値の値を変更し、当該画像ブロックの位置が示す方向のベクトルが、前記選択工程にて動きベクトルとして選択される確率を下げる工程を含む。
補間フレームを作成する際の動きベクトル検出において、入力される映像の非常に微小な動き(位相ずれ)による検出精度の低下を防ぐことが出来る。
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明による補間フレーム作成装置(フレーム数変換装置)の一実施形態を示すブロック構成図である。
補間フレーム作成装置10は、フレームメモリ部10、動きベクトル検出部12、補間画像作成部13を含む。動きベクトル検出部12は、入力画像信号における例えば連続する2フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば60フレーム/秒である。
補間画像作成部13は、動きベクトル検出部12の検出結果に基づいて補間フレームを作成し、前記2フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば120フレーム/秒である。この画像信号は増幅及びフィルタ処理等の画像処理が施された後LCD等の表示部に表示される。動きベクトル検出部12及び補間画像作成部13は、それぞれ個別電子回路を用いたハードウエア、あるいはCPU(図示されず)にて実行されるソフトウエアとして構成できる。
図2はブロックマッチング処理の一例を説明するための図である。ここでは、このブロックマッチング処理をブロックマッチング処理Aとする。
前フレーム20と後フレーム22は、連続して入力されるフレームである。前フレーム20中の注目画像ブロック23と、後フレーム22中の探索範囲24における各画像ブロック25とが比較される。探索範囲24は、前フレーム20内の注目画像ブロック23の位置に一致する後フレーム22内の位置にある画像ブロック25aを中心とする所定サイズの領域である。探索範囲24内で、注目画像ブロック23の画像に最も類似している画像を有する画像ブロック(ここでは画像ブロック25bとする)と、前記注目画像ブロック23とを結ぶベクトルを、注目画像ブロック23の動きベクトルとする。尚、この動きベクトル(大きさと方向を含む)は、図2では説明の都合上3次元のように示されているが、実際の処理においては、フレーム上の2次元で示されるベクトルである。
画像ブロックどうしが類似しているか否かは、注目画像ブロック23内と各画像ブロック25内で、互いに同一位置にある画素の画素値間の差分絶対値を、当該画像ブロック内の全画素について求め、その総和SAD(Sum of Absolute Difference)に基づいて判断される。このSADが最小となる画像ブロック25bが、注目画像ブロック23に最も類似している画像ブロックと判断される。注目画像ブロック23から画像ブロック25bまでのベクトルが、前述のように注目画像ブロック23の動きベクトルとして決定される。この動きベクトルと、注目画像ブロック23及び画像ブロック23bの画像データに基づいて、補間フレーム21内の補間画像ブロック24が作成される。尚、本例では、連続する2フレームについて動きベクトルを検出し、補間フレームを作成する方法を示すが、3フレーム以上のフレームを用いて動きベクトルを検出し、補間フレームを作成してもよい。
以下、動きベクトル検出部12によるブロックマッチング処理動作を詳細に説明する。
図3は、前フレーム20内の物体30が、水平方向に10画素分移動して、後フレーム22内に位置している様子を示す。図4はブロックマッチング処理における画像ブロックのシフト量とSADとの関係(SAD特性)を示すグラフである。このブロックマッチング処理は動きベクトル検出部12により行われる。説明を簡単にするため、水平方向のブロックマッチング処理のみについて述べるが、実際には図2のように水平方向及び垂直方向にブロックマッチング処理が行われる。
本例の場合、物体30を含む前フレーム20内の注目画像グロック23を、後フレーム22における探索範囲内の中心画像ブロック25aの位置から、1画素単位でシフトすると、図4のように10画素分シフトしたところでSADは極小となる。この極小点PSのシフト量S1及びその方向に基づいて、動きベクトルが検出される。すなわち、極小点PSは動きベクトルを示す。ここでは注目画像ブロック23の動きベクトルは、水平方向+10画素と検出される。
この結果、例えば注目画像ブロック23を補間フレーム内で、対応する同一位置から、水平方向に5画素シフトした画像ブロックが、補間フレーム内画像ブロックとして作成される。尚、このようにして検出された動きベクトル(シフト量S1及びその方向)は、画像ブロック25bの探索範囲24内位置を示す。このように、SADの値は一般的な自然画像では、あるベクトルの方向(シフト量)においてただ一つの極小点(最小値)を持つ。
上記したようなSADを用いたブロックマッチングに基づいて物体の動きを検出する場合、入力フレーム内に周期的パターンが存在し、しかも物体(周期的パターン)の動きに画素精度以下の僅かな位相ずれの成分が含まれていた場合、動きベクトルが誤検知されることがある。
図5は、前フレーム20上の周期的パターン31が1フレーム期間中、水平方向に0.5画素移動して、後フレーム22上に表示されている様子を示している。図5(A)のように、周期的パターン31は、パターンP1〜P10を含んでいる。パターンP1とP2のピッチは例えば7画素、パターンP2〜P10の隣合うパターンのピッチは3.5画素とする。画像ブロック23は、パターンP1からP6に跨っている。
図5(B)は、このような周期的パターン31が水平方向に0.5画素移動し、後フレーム22上のブロック25aの位置(シフト量0)において、画像ブロック23の画像データを用いてブロックマッチングを行っている様子を示している。この場合、パターンP1のP1a、P1b、パターンP2のP2a、P2bのように、各パターンP1〜P6の両側には、画像ブロック23の画素値と画像ブロック25aの画素値の間の差分が生じる領域が発生する。従ってSADは、このような各パターンP1〜P6の両側で生じる差分の絶対値を加算した値SAD1となる。
図5(C)は、画像フロック23を後フレーム22上で、画像ブロック25bの位置まで水平方向に6画素移動して、ブロックマッチングを行っている様子を示している。この場合、パターンP2〜P7と画像ブロック23内の各パターンの位相は正確に一致しており、この付近では図5(B)のように画素値間の差分が生じる領域は存在しない。しかし、領域R1のように画像ブロック25bの最も左側に近い領域では、画素値間の差分が生じる。従ってSADは、この領域R1での差分値の絶対値のみを加算した値SAD2となる。
図5(C)のように画像ブロック23を6画素シフトして、領域R1での差分値のみに基づいて得られるSAD2が、図5(B)のようにシフト量0で得られるSAD1より小さいと、周期的パターン31は水平方向に6画素移動したと判断される。すなわち、動きベクトルの誤検知が生じる。
尚、図5(B)のように、パターン間の位相が僅かにずれて生じる差分領域P1a、P1bのような領域での各差分値は、図5(C)の領域R1のようにパターンが全く重なっていない領域での各差分値より小さい。これは、後フレーム22において、P1a、P1b等の領域の画素値が、0.5画素の移動によりパターン内画素と背景画素との中間値となっているからである。
従来、映像内の物体が画素単位以下の細かい動きを含んでいる場合に対処するため、入力される実映像の画素の間に、フィルタ処理により例えば1/2、1/4、1/8等の画素単位で仮想画素を生成(前フレーム中のブロックを1/2、1/4、1/8画素単位でシフト)し、これを用いてさらに細かい単位での動き量の検出を行う場合がある。しかしながら、この仮想画素を用いる方法は、画素精度を上げる度に急激に処理量が増えるという問題が生じ、現実的には1/2画素程度の精度で行うのが限界である。
しながら、実際の入力映像には1/2画素以下の細かい動きが含まれることは多々あり、従来の方法ではこれらの細かい位相ずれに対応出来ずに動きベクトルの誤検出が起こり、補間フレームの品位低下を招いていた。
上記の問題は、周期的なパターンを含む映像において、図5(B)のP1a、P1bのような微小な位相ずれによる累積誤差値が、図5(C)の領域R1のように周期パターンPの1つ(あるいは場合によってはそれ以上)における誤差値より大きいような場合に発生する。本発明では1画素単位での差分値が所定以上大きいものが含まれる方向の動きベクトルを選択しにくくする処理を行うことで、微小な位相のずれがあっても正しい方向の動きを検出することが出来、上記問題が解決される。以下、本発明による動きベクトル検出処理について詳細に説明する。
図6は図1の動きベクトル検出部12の動作を示すフローチャートである。
動きベクトル検出部12は、ここでは図2に示すようなブロックマッチング処理Aにて、前フレーム中の注目画像ブロック23と、後フレーム中の探索範囲24内の画像ブロック25とを決定する(ST101)。動きベクトル検出部12は、注目画像ブロック23と画像ブロック25において、互いに同一位置にある画素の画素値どうしの差分絶対値が所定閾値THより小さいか判断する(ST102)。差分絶対値が所定閾値THより小さい場合(ST102のYES)、該差分絶対値をDiff(i)とする。差分絶対値が所定閾値THより大きい場合(ST102のNO)、該差分絶対値をより大きな値に変更する(ST104)。例えば、該差分絶対値に2を掛けた値をDiff(i)とする。動きベクトル検出部12は、当該画像ブロック全域でDiff(i)を求め、その累積加算値(ΣDiff(i))をSADとして算出する(ST105)。
次に動きベクトル検出部12は、探索領域全域で画像ブロックのシフトを完了したか判断し(ST106)、完了していない場合は、画像ブロックを1画素分移動して(ST107)、ステップST014に戻る。探索領域全域で画像ブロックのシフトを完了した場合は、累積加算値(ΣDiff(i))が最小となる方向及びシフト量を動きベクトルとして選択し、補間画像作成に採用する(ST108)。このようにして動きベクトルが決定する。
ここで、ステップST104の差分絶対値を変更する処理の他の実施例を説明する。所定閾値THを超える差分絶対値に乗算する数は、図6のステップST104のように2に限らず、2のべき乗数など他の数値でもよい。また、所定閾値THを超える差分値に所定数を加算してもよい。更に、前記差分絶対値を複数のレベルと比較して、対応するレベルに応じて、差分絶対値に乗算する2のべき乗数を変更してもよい。例えば、差分絶対値が所定閾値THを超え、THより大きな他の閾値までの範囲に含まれる値であった場合は、差分絶対値に2を乗算し、前記他の閾値より大きな値であった場合は、4(2の2乗)を乗算してもよい。同様に差分絶対値が、所定閾値THを超え、THより大きな他の閾値までの範囲に含まれる値であった場合は、差分絶対値に第1所定値を加算し、前記他の閾値より大きな値であった場合は、前記所定値より大きな第2所定値を加算してもよい。
以上のように、本発明の実施形態では、ブロックマッチングにおいて互いに比較される画像ブロックの互いに一致する位置にある画素の画素値差分が求められる。画素値差分の絶対値が所定閾値より大きい場合、明確な相違が発生していると判断され、該差分絶対値は例えば2を乗算することで大きな値に変換する。従って、明確な相違が発生している画素を含む画像ブロックのSADは、通常より大きくなり、最小値になり難くなる。この結果、このような画像ブロックのシフト量及び方向は、動きベクトルとして選択されにくくなる。すなわち、明確な相違が発生していると判断された画素の差分絶対値をより大きな値に変更することで、当該画像ブロックの位置が示す方向のベクトルが、ステップST108のような選択ステップにて動きベクトルとして選択される確率を下げることができる。従って本発明によれば、微小な位相のずれがあっても正しい方向の動きを検出することが出来る。
次に周期的パターンが階調性を有している場合の動きベクトル検出について説明する。
図7は画素値が徐々に変化する周期的パターン32について行われるパターンマッチング処理を説明するための図である。ここでも、水平方向に画像ブロックをシフトした場合について説明する。図7(A)において横軸は距離(シフト量)、縦軸は画素値である。周期的パターン32の各パターンP11〜P20間のピッチは、図5の各パターンP1〜P10と同様である。
図7は図5と同様に、前フレーム20上の周期的パターン32が1フレーム期間中、水平方向に0.5画素移動して、後フレーム22上に表示されている様子を示している。前フレーム20上の画像ブロック23は、パターンP11からP17に及んでいる。
図7(B)は、このような周期的パターン32が水平方向に0.5画素移動し、後フレーム22上のブロック25aの位置(シフト量0)において、画像ブロック23の画像データを用いてブロックマッチングを行っている様子を示している。この場合、画像ブロック23の画素値(点線)と周期的パターンの画素値の差分が、ハッチングで示すように画像ブロック25a全域で発生している。従ってSADは、画像ブロック25a全域にわたり生じる差分の絶対値を加算した値SAD3となる。
図7(C)は、画像ブロック23を後フレーム22上で、画像ブロック25bの位置まで水平方向に6画素移動して、ブロックマッチングを行っている様子を示している。この場合、パターンP14〜P17と画像ブロック23内の各パターンの位相は正確に一致しており、パターンP14〜P17において図7(B)のように画素値間の差分が生じる領域は存在しない。しかし、領域R2のように画像ブロック25bの最も左側の領域では、画素値間の差分が生じる。従ってSADは、この領域R2での差分値の絶対値のみを加算した値SAD4となる。
図7(C)のように画像ブロック23を6画素シフトして、領域R2での差分値のみに基づいて得られるSAD4が、図7(B)のようにシフト量0で得られるSAD3より小さいと、従来では、周期的パターン32は水平方向に6画素移動したと判断された。すなわち、動きベクトルの誤検知が生じる。
しかし本発明の実施形態によれば、図6に示した動きベクトル検出処理のように、画素値差分の絶対値が所定閾値より大きい場合、明確な相違が発生していると判断され、該差分絶対値は例えば2を乗算することで大きな値に変換される。この結果、当該画像ブロックの位置が示す方向のベクトルが、ステップST108のような選択工程にて動きベクトルとして選択される確率を下げる従って動きベクトルの誤検知が防止される。
次に、ブロックマッチング処理の他の方式について説明する。図8は他のブロックマッチング処理Bを示す図である。
ブロックマッチングを用いた動きベクトルの検出方法としては、図2に示したような前フレーム内画像ブロックを、後フレーム内で単にシフトしてSADを求める方法の他に、図7のように、点対象の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。
すなわち図7の方法では、補間フレーム21内の補間画像ブロック41の挿入位置を中心として、それを挟む前フレーム20上及び後フレーム22上で点対象の位置にある画像ブロックどうしを画素毎に比較してSADを算出する。最も類似している(SADが最も小さい)画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム20中の所定探索範囲40及び後フレーム22内の対応する探索範囲42において行われる。
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック43と画像ブロック44であった場合、画像ブロック43から画像ブロック44までのベクトルが、補間画像ブロック41の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック43及び44の画像データに基づいて、補間フレーム21内の補間画像ブロック41が作成される。
図9は図8のブロックマッチング処理Bを用いた動きベクトル検出処理を示すフローチャートである。このフローチャートはステップST201のブロックマチング処理Bを実行するステップを除き、図6の動きベクトル検出処理と同様である。従って詳細な説明は割愛する。
以上説明したように、本発明の実施形態によれば、入力される映像の非常に微小な動き(位相ずれ)による、動きベクトル検出精度の低下を防ぐことが出来る。
以上の説明はこの発明の実施の形態であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができるものである。
本発明による補間フレーム作成装置の一実施形態を示すブロック構成図である。 ブロックマッチング処理の一例を説明するための図である。 前フレーム20内の物体30が、水平方向に10画素分移動して、後フレーム22内に位置している様子を示す図である。 ブロックマッチング処理における画像ブロックのシフト量とSADとの関係を示すグラフである。 前フレーム20上の周期的パターン31が1フレーム期間中、水平方向に0.5画素移動したときのブロックマッチング処理の様子を示す図である。 図1の動きベクトル検出部12の動作を示すフローチャートである。 画素値が徐々に変化する周期的パターン32について行われるパターンマッチング処理を説明するための図である。 他のブロックマッチング処理を示す図である。 図8のブロックマッチング処理を用いた動きベクトル検出処理を示すフローチャートである。
符号の説明
10…補間フレーム作成装置、11…フレームメモリ、12…動きベクトル検出部、13…補間画像作成部。

Claims (8)

  1. 入力されるフレーム画像を用いて、入力フレーム画像間に位置する補間フレームを作成する補間フレーム作成方法であって、前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて前記補間フレームを作成して前記入力フレーム画像間に挿入する工程とから成り、
    前記動きベクトル検出工程は、
    前記入力フレーム画像の前後フレーム上の互いに対応する位置にある画像ブロックにおける互いに同一位置の画素値の差分絶対値を算出し、該差分絶対値の累積加算値を示すSADが極小となるブロック対の前記前後フレーム上の位置に基づくベクトルを、前記動きベクトルとして選択する工程と、
    前記差分絶対値が所定値より大きい場合に、前記差分絶対値の値を変更し、当該画像ブロックの位置が示す方向のベクトルが、前記選択工程にて動きベクトルとして選択される確率を下げる工程を含むことを特徴とする補間フレーム作成方法。
  2. 前記差分絶対値を変更する工程は、前記差分絶対値を該差分絶対値より大きな値に変更する工程を含むことを特徴とする請求項1に記載の補間フレーム作成方法。
  3. 前記差分絶対値を変更する工程は、該差分絶対値を2のべき乗数倍する工程を含むことを特徴とする請求項1記載の補間フレーム作成方法。
  4. 前記差分絶対値を変更する工程は、該差分絶対値に所定の値を加算する工程を含むことを特徴とする請求項1記載の補間フレーム作成方法。
  5. 前記差分絶対値を変更する工程は、前記差分絶対値を複数のレベルと比較して、対応するレベルに応じて前記2のべき乗数を変更する工程を含むことを特徴とする請求項3記載の補間フレーム作成方法。
  6. 前記差分絶対値を変更する工程は、前記差分絶対値を複数のレベルと比較して、対応するレベルに応じて前記加算値を変更する工程を含むことを特徴とする請求項4記載の補間フレーム作成方法。
  7. 前記挿入する工程にて前記入力フレーム画像間に前記補間フレームが挿入された画像を表示する工程を有することを特徴とする請求項1乃至6のうち1記載の補間フレーム作成方法。
  8. 入力されるフレーム画像を用いて、入力フレーム画像間に位置する補間フレームを作成する補間フレーム作成装置であって、前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体の動きベクトルを検出する手段と、前記検出した動きベクトルを用いて前記補間フレームを作成して前記入力フレーム画像間に挿入する手段とから成り、
    前記動きベクトル検出手段は、
    前記入力フレーム画像の前後フレーム上の互いに対応する位置にある画像ブロックにおける互いに同一位置の画素値の差分絶対値を算出し、該差分絶対値の累積加算値を示すSADが極小となるブロック対の前記前後フレーム上の位置に基づくベクトルを、前記動きベクトルとして選択する選択手段と、
    前記差分絶対値が所定値より大きい場合に、前記差分絶対値の値を変更し、当該画像ブロックの位置が示す方向のベクトルが、前記選択手段にて動きベクトルとして選択される確率を下げる手段を含むことを特徴とする補間フレーム作成装置。
JP2006211197A 2006-08-02 2006-08-02 補間フレーム作成方法及び補間フレーム作成装置 Pending JP2008042332A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006211197A JP2008042332A (ja) 2006-08-02 2006-08-02 補間フレーム作成方法及び補間フレーム作成装置
US11/882,188 US20080031338A1 (en) 2006-08-02 2007-07-31 Interpolation frame generating method and interpolation frame generating apparatus
EP20070015104 EP1885132A2 (en) 2006-08-02 2007-08-01 Interpolation frame generating method and interpolation frame generating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006211197A JP2008042332A (ja) 2006-08-02 2006-08-02 補間フレーム作成方法及び補間フレーム作成装置

Publications (1)

Publication Number Publication Date
JP2008042332A true JP2008042332A (ja) 2008-02-21

Family

ID=38624439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006211197A Pending JP2008042332A (ja) 2006-08-02 2006-08-02 補間フレーム作成方法及び補間フレーム作成装置

Country Status (3)

Country Link
US (1) US20080031338A1 (ja)
EP (1) EP1885132A2 (ja)
JP (1) JP2008042332A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5657391B2 (ja) 2007-12-20 2015-01-21 クゥアルコム・インコーポレイテッドQualcomm Incorporated ハローを低減する画像補間
JP5453304B2 (ja) 2007-12-20 2014-03-26 クゥアルコム・インコーポレイテッド 適応探索範囲を用いた動き推定
JP4600530B2 (ja) * 2008-06-17 2010-12-15 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
ES2386327T3 (es) * 2008-08-21 2012-08-17 Vestel Elektronik Sanayi Ve Ticaret A.S. Método y aparato para aumentar la frecuencia de trama de una señal de video
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
CN104583713B (zh) * 2012-06-29 2019-04-19 Inb视觉股份公司 使优选是结构化的物体表面成像的方法及用于成像的装置
CN111641829B (zh) * 2020-05-16 2022-07-22 Oppo广东移动通信有限公司 视频处理方法及装置、系统、存储介质和电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659364A (en) * 1993-12-24 1997-08-19 Matsushita Electric Industrial Co., Ltd. Motion vector detection circuit
US6970506B2 (en) * 2001-03-05 2005-11-29 Intervideo, Inc. Systems and methods for reducing frame rates in a video data stream
CA2491522C (en) * 2002-07-01 2014-12-09 E G Technology Inc. Efficient compression and transport of video over a network
KR20040008359A (ko) * 2002-07-18 2004-01-31 삼성전자주식회사 계층적 움직임 벡터 탐색을 이용한 움직임 추정 방법 및장치 및 그를 적용한 동영상 부호화 시스템
KR100541953B1 (ko) * 2003-06-16 2006-01-10 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
KR100579493B1 (ko) * 2003-06-16 2006-05-15 삼성전자주식회사 움직임 벡터 생성 장치 및 방법
US7342964B2 (en) * 2003-07-15 2008-03-11 Lsi Logic Corporation Multi-standard variable block size motion estimation processor
KR100573696B1 (ko) * 2003-07-31 2006-04-26 삼성전자주식회사 패턴 분석에 기반한 움직임 벡터 보정 장치 및 방법
KR100994768B1 (ko) * 2003-12-08 2010-11-16 삼성전자주식회사 동영상 부호화를 위한 움직임 추정 방법 및 이를 구현하기위한 프로그램이 기록된 기록 매체
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
JP4145275B2 (ja) * 2004-07-27 2008-09-03 富士通株式会社 動きベクトル検出・補償装置

Also Published As

Publication number Publication date
EP1885132A2 (en) 2008-02-06
US20080031338A1 (en) 2008-02-07

Similar Documents

Publication Publication Date Title
JP4869045B2 (ja) 補間フレーム作成方法および補間フレーム作成装置
JP4868968B2 (ja) 補間フレーム作成方法及び補間フレーム作成装置
JP2008042332A (ja) 補間フレーム作成方法及び補間フレーム作成装置
JP5645636B2 (ja) フレーム補間装置及び方法
JP2008135980A (ja) 補間フレーム作成方法および補間フレーム作成装置
US20120093231A1 (en) Image processing apparatus and image processing method
JP2008076644A (ja) 画像表示装置、画像表示方法および画像表示プログラム
US20080137747A1 (en) Interpolated frame generating method and interpolated frame generating apparatus
CN106791279B (zh) 基于遮挡检测的运动补偿方法及系统
KR20160132170A (ko) 영상 보정부, 이를 포함하는 표시 장치, 및 표시 장치의 영상 표시 방법
KR20070076337A (ko) 에지영역 판단장치 및 에지영역 판단방법
US8503732B2 (en) Image generating device, static text detecting device and method thereof
JP5490236B2 (ja) 画像処理装置および方法、画像表示装置および方法
JP2008011197A (ja) 動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置
JP5116602B2 (ja) 映像信号処理装置及び方法、プログラム
JP5164716B2 (ja) 映像処理装置および映像表示装置
JP5025580B2 (ja) 映像信号処理装置および映像信号処理方法
US8531598B2 (en) Image processing method and related apparatus for generating target image block
JP2010098513A (ja) 補間画像生成装置及び補間画像生成方法
JP4982345B2 (ja) フレーム補間回路、フレーム補間方法、表示装置
JP2008227826A (ja) 補間フレーム作成方法及び補間フレーム作成装置
CN113261276B (zh) 去隔行插值方法、装置及系统、视频处理方法和存储介质
JP2008263256A (ja) 補間信号生成回路、補間信号生成方法、プログラムおよびビデオ信号処理装置
JP2008064831A (ja) 画像処理回路、画像処理方法、電気光学装置、電子機器
JP2008263399A (ja) 補間信号生成回路、補間信号生成方法、プログラムおよびビデオ信号処理装置