JP2010056729A - フレーム補間装置及び方法並びに画像表示装置 - Google Patents

Abstract

【課題】２枚のフレームの間の補間フレームの画像を、動画ぼやけや、ジャダーが発生しないように生成する。
【解決手段】補間フレームの前後に位置する第１及び第２の参照フレームの画素ブロック同士の類似度（４）、又は補間フレームの補間画素を含む画素ブロックと、第１又は第２の参照フレームの画素ブロックとの類似度（１４）に基づき、信頼性を評価（８、１８）した上で参照画素位置を求め（９）、補間を行なう（１１）。信頼性がないときは、前フレームについての参照画素位置を用いる。代わりに、当該補間画素についての参照画素位置を、周囲の画素についての参照画素位置を用いた線形補間により求めても良い。
【選択図】図１

Description

本発明は、映像信号に含まれる２枚のフレームの画像を用いて、２枚のフレームの間に存在する補間フレームの画像を生成するフレーム補間装置及びフレーム補間方法に関するものである。

液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。

また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２枚（２フィールド）又は３枚（フィールド）が同じフレームから作られた画像となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。

また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、２枚（２フィールド）が同じフレームから作られた画像であり、そのまま表示すると同様にジャダーが発生する問題がある。

従来のフレーム補間装置及びフレーム補間方法として、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零時ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零時ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。

この改善策として、画像を複数の画素ブロックに分割し、補間フレームに対して１フレーム前のフレームを第１の参照フレームとし、補間フレームに対して１フレーム後のフレームを第２の参照フレームし、第１の参照フレーム中にある画素ブロックと相関の最も大きい画素ブロックを第２の参照フレームから見つけ、見つかった画素ブロック対から補間フレームの画素ブロックの画像を補間するものがある（例えば、特許文献１参照）。この方法は、画素ブロック単位で補間フレームを生成するために、処理に必要なメモリ（主にはＳＤＲＡＭが使用される）のデータのリード・ライトが煩雑になり、ハードウェア化が困難である問題がある。

また、別の改善策として、補間フレームの補間画素に対して点対称の位置にある第１の参照フレーム上の画素と第２の参照フレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献２参照）。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間画像が得られない場合がある。

特開２００４−３５７２１５号公報（第９頁、第１６図） 特開２００６−１２９１８１号公報（第８頁、第３図）

従来のフレーム補間装置は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができない問題がある。

本発明のフレーム補間装置は、
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間装置であって、
前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する第一ブロック対抽出手段と、
前記第一ブロック対抽出手段により抽出された複数の画素ブロック対のそれぞれについて、各画素ブロック対を構成する２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する第一類似度計算手段と、
前記第一類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を第一候補ブロック対として選択する第一候補ブロック対抽出手段と、
前記第一候補ブロック対の類似度又はそれを補正した値から、前記第一候補ブロック対の信頼性を評価する第一信頼性評価手段と、
補間フレームの補間画素を含む画素ブロックと、前記第１又は第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する第二ブロック対抽出手段と、
前記第二ブロック対抽出手段により抽出された複数の画素ブロック対のそれぞれについて、各画素ブロック対を構成する２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する第二類似度計算手段と、
前記第二類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を第二候補ブロック対として選択する第二候補ブロック対抽出手段と、
前記第二候補ブロック対の類似度又はそれを補正した値から、前記第二候補ブロック対の信頼性を評価する第二信頼性評価手段と、
前記第一信頼性評価手段の第一信頼性評価結果と前記第二信頼評価手段の第二信頼性評価結果により、前記第一候補ブロック対を構成する画素ブロックの中心位置、又は前記第二候補ブロック対を構成する、前記第１又は前記第２の参照フレームの画素ブロックの中心位置、又は
当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を参照画素位置として選択する参照画素位置選択手段と、
前記参照画素位置選択手段により選択された参照画素位置の画素値に基づいて前記補間画素の画素値を決定する補間値決定手段と
を備えることを特徴とする。

本発明によれば、正確な補間が出来、動きのぼやけやジャダーが改善される。

以下、本発明の実施の形態を図面により説明する。
実施の形態１．
図１はこの発明の実施の形態１の画像表示装置を示すブロック図である。図示の画像表示装置は、入力端子１と、遅延手段２と、第一ブロック対抽出手段３と、第一類似度計算手段４と、第一エリア分割手段５と、第一エリア代表抽出手段６と、第一候補抽出手段７と、第一信頼性評価手段８と、第二ブロック対抽出手段１３と、第二類似度計算手段１４と、第二エリア分割手段１５と、第二エリア代表抽出手段１６と、第二候補抽出手段１７と第二信頼性評価手段１８、参照画素位置選択手段９と、遅延手段１０と、補間値決定手段１１と、補間値メモリ１９と、フレームメモリ２０と、表示部２１とを有する。上記のうち、表示部２１以外の部分により、第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成する、本実施の形態のフレーム補間装置が構成されている。

第一ブロック対抽出手段３は、第１の参照フレームの画素ブロックと第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する。
第一類似度計算手段４は、第一ブロック対抽出手段３により抽出された複数の画素ブロック対のそれぞれについて、各画素ブロック対を構成する２つの画素ブロックの類似度を、当該２つの画素ブロック内の画素の画素値に基づいて計算する。
第一候補ブロック対抽出手段７は、第一類似度計算手段４により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を第一候補ブロック対として選択する。
第一信頼性評価手段８は、第一候補ブロック対の類似度又はそれを補正した値から、前記第一候補ブロック対の信頼性を評価する。

第二ブロック対抽出手段１３は、補間フレームの補間画素を含む画素ブロックと、第１又は第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する。
第二類似度計算手段１４は、第二ブロック対抽出手段１３により抽出された複数の画素ブロック対のそれぞれについて、各画素ブロック対を構成する２つの画素ブロックの類似度を２つの画素ブロック内の画素の画素値に基づいて計算する。
第二候補ブロック対抽出手段１７は、第二類似度計算手段１４により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を第二候補ブロック対として選択する。
第二信頼性評価手段１８は、第二候補ブロック対の類似度又はそれを補正した値から、第二候補ブロック対の信頼性を評価する。

参照画素位置選択手段９は、第一信頼性評価手段８の第一信頼性評価結果と第二信頼評価手段１８の第二信頼性評価結果により、第一候補ブロック対を構成する画素ブロックの中心位置、又は第二候補ブロック対を構成する、第１又は前記第２の参照フレームの画素ブロックの中心位置、又は当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を参照画素位置として選択する。
補間値決定手段１１は、参照画素位置選択手段９により選択された参照画素位置の画素値に基づいて前記補間画素の画素値を決定する。
以下、装置の動作をより詳しく説明する。

入力端子１より入力された映像信号は、フレームメモリ２０に蓄えられるとともに、遅延手段２に入力され、１フレーム期間の遅延が行われ、第１の参照フレームの各画素の信号として第一ブロック対抽出手段３の一方の入力端子に入力される。また、入力端子１に入力された映像信号は、第２の参照フレームの各画素の信号として第一ブロック対抽出手段３の他方の入力端子に入力される。

第一ブロック対抽出手段３は第１の参照フレームと第２の参照フレームから補間画素を中心として略点対称の位置にあり、同数の画素から成る画素ブロックの対（第一ブロック対）を、複数個抽出して第一類似度計算手段４へ出力する。

遅延手段２から出力される第１の参照フレームの信号は、第二ブロック対抽出手段１３の一方の入力端子に入力される。また、後述の補間値決定手段１１から出力される補間信号は、補間値メモリ１９に蓄えられた後読み出されて、第３の参照フレーム（即ち補間フレーム）の信号として第二ブロック対抽出手段１３の他方の入力端子に入力される。

第二ブロック対抽出手段１３は、第３の参照フレーム（補間フレーム）内の、補間画素を含む所定のサイズの画素ブロック（以下「補間ブロック」と呼ぶ）と、第１の参照フレーム内の、上記補間ブロックと同じサイズの画素ブロックとから成るブロック対（第二ブロック対）を、複数個抽出して、第二類似度計算手段１４へ出力する。

各フレーム内の画素は、図２に示すように、フレームＦ内に（フレームを構成する画面上に）マトリクス状に配列されている。即ち、水平方向（主走査方向）及び垂直方向（副走査方向）に互いに整列している。フレームＦ内の各画素の位置を水平方向の座標値ｈと垂直方向の座標値ｖとにより、（ｈ，ｖ）で表すものとする。座標の原点はフレームの最も左で且つ最も上の位置にあり、水平方向の座標値ｈは右向きに画素間隔一つにつき値が１つずつ大きくなり、垂直方向の座標値ｖは下向きに、画素間隔一つにつき値が１ずつ大きくなるものとする。

補間フレーム内の任意の位置（ｈ，ｖ）の補間画素を生成する場合、第１の参照フレーム内の画素ブロックＢＬａ及び第２の参照フレームの画素ブロックＢＬｂとして、例えばその中心位置が水平方向には（ｈ−２）から（ｈ＋２）までの範囲のもの、垂直方向には（ｖ−１）から（ｖ＋１）までの範囲のものが抽出される。このような条件を満たす画素ブロックは第１の参照フレーム、第２の参照フレームの各々に１５個ずつある。各画素ブロックは例えば３行５列の画素から成るものである。

図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）には、そのような画素ブロックのうちのいくつかが例示されている。そのうち、図３（ａ）〜（ｄ）に示されるものは第１の参照フレーム内の画素ブロックＢＬａであり、図４（ａ）〜（ｄ）に示されるものは第２の参照フレーム内の画素ブロックＢＬｂである。

図３（ａ）に示される画素ブロックＢＬａ（１）と図４（ａ）に示される画素ブロックＢＬｂ（１）が補間画素を中心として点対称の位置にある画素ブロックから成る一つの画素ブロック対を構成している。同様に、図３（ｂ）に示される画素ブロックＢＬａ（２）と図４（ｂ）に示される画素ブロックＢＬｂ（２）が補間画素を中心として点対称の位置にある画素ブロックから成る、他の一つの画素ブロック対を構成している。同様に、図３（ｃ）に示される画素ブロックＢＬａ（３）と図４（ｃ）に示される画素ブロックＢＬｂ（３）が補間画素を中心として点対称の位置にある、他の一つの画素ブロックから成る画素ブロック対を構成している。同様に、図３（ｄ）に示される画素ブロックＢＬａ（１５）と図４（ｄ）に示される画素ブロックＢＬｂ（１５）が補間画素を中心として点対称の位置にある、他の一つの画素ブロックから成る画素ブロック対を構成している。

第一ブロック対抽出手段３は、このように、補間画素を中心として点対称の位置にある２つの画素ブロックから成る画素ブロック対を、複数個順次抽出する。

第一ブロック対抽出手段３はさらに、図３（ａ）〜（ｄ）に例示したように補間画素を中心として点対称の位置にある画素ブロックの対のみでなく、それらのうちの一方を、１画素左方にずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）に示される画素ブロックＢＬｂ（１）を図５（ａ）に示されるように１画素左にずらした画素ブロックＢＬｂ（１Ｌ）と、図３（ａ）に示される画素ブロックＢＬａ（１）とで構成される画素ブロック対、同様に図４（ｂ）に示される画素ブロックＢＬｂ（２）を図５（ｂ）に示されるように１画素左にずらした画素ブロックＢＬｂ（２Ｌ）と、図３（ｂ）に示される画素ブロックＢＬａ（２）とで構成される画素ブロック対、同様に図４（ｃ）に示される画素ブロックＢＬｂ（３）を図５（ｃ）に示されるように１画素左にずらした画素ブロックＢＬｂ（３Ｌ）と、図３（ｃ）に示される画素ブロックＢＬａ（３）とで構成される画素ブロック対、同様に図４（ｄ）に示される画素ブロックＢＬｂ（１５）を図５（ｄ）に示されるように１画素左にずらした画素ブロックＢＬｂ（１５Ｌ）と、図３（ｄ）に示される画素ブロックＢＬａ（１５）とで構成される画素ブロック対を抽出する。

図３（ａ）〜（ｄ）に例示された画素ブロックと図４（ａ）〜（ｄ）に例示された画素ブロックは、相互間（それらの内部の互いに対応する画素相互間）に水平方向に偶数個の画素、即ち４画素、２画素、０画素の位置の差（距離）があるが、図３（ａ）〜（ｄ）に示された画素ブロックと図５（ａ）〜（ｄ）に示された画素ブロックは、相互間に水平方向に奇数個の画素、即ち３画素、１画素の差（距離）がある。

第一ブロック対抽出手段３はさらに、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）に例示したように補間画素を中心にして点対称の位置にある画素ブロックの対を構成する画素ブロックの一方を、１画素上方にずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）〜（ｄ）に例示された画素ブロックを１画素上にずらした画素ブロックと、図３（ａ）〜（ｄ）に例示された画素ブロックとで構成される画素ブロック対を抽出する。

第一ブロック対抽出手段３はさらに、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）に例示したように補間画素を中心にして点対称の位置にある画素ブロックの対を構成する画素ブロックの一方を、１画素左方で且つ１画素上方に（即ち、斜め左上に）ずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）〜（ｄ）に例示された画素ブロックを１画素斜め左上にずらした画素ブロックと、図３（ａ）〜（ｄ）に例示された画素ブロックとで構成される画素ブロック対を抽出する。

第一ブロック対抽出手段３により抽出された画素ブロック対は、第一類似度計算手段４に入力され、画素ブロック対毎に画素ブロック相互間の類似度が計算される。第一類似度計算手段４は、例えば図３（ａ）の画素ブロックＢＬａと図４（ａ）の画素ブロックＢＬｂとの類似度の計算に当たっては、図３（ａ）の画素ブロックＢＬａ中の画素ａ１〜ａ１５と、図４（ａ）の画素ブロックＢＬｂ中の画素ｂ１〜ｂ１５（画素ａ１乃至ａ１５に対応する位置（画素ブロック内の同一の位置）にある画素）との差分絶対値の総和（以下、ＳＡＤと呼ぶ）を以下の式により類似度として計算する。

同様に、他の画素ブロック対についても差分絶対値の総和ＳＡＤが計算され、計算結果が各画素ブロック対の類似度として第一エリア代表抽出手段６に出力される。ここで、総和ＳＡＤの値が小さいほど類似度が大きく、総和ＳＡＤが大きいほど類似度が小さいことを意味する。

このようにして第一ブロック対抽出手段３で抽出されたすべてのブロック対につき差分絶対値の総和ＳＡＤ（類似度を表す指標）が計算される。本例では、上記した４種類の各々につき１５個のブロック対が抽出されるので、全部で６０個のブロック対について差分絶対値の総和ＳＡＤが計算されることになる。

第一ブロック対抽出手段３で抽出される上記の６０個のブロック対は、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向及び長さ（中心画素相互間の距離）が互いに異なり、上記直線の方向及び長さにより、ブロック対相互間の相対的位置関係を定義することができる。

図６は、上記した相対的位置関係をマトリクス配列で示す図である。
本例（検討している例）では、第一ブロック対抽出手段３が６０個のブロック対を抽出するので、図６のマトリクスは６行１０列に配列された６０の要素位置を有する。この６０個の要素位置は、それぞれブロック対の相対的位置関係に対応するものであり、従って各要素はブロック対に対応するものであると言うことができる。
マトリクス内の各要素の位置を水平方向の座標値（列番号）ｉと垂直方向の座標値（行番号）ｊとにより、（ｉ，ｊ）で表すものとする。以下の説明から理解されるであろう理由により、マトリクスの最も左で且つ最も上の位置から数えて、水平方向右向きに数えて５番目、垂直方向下向きに３番目を、座標の原点とし、水平方向の座標値ｉは右向きに要素間隔一つにつき値が１つずつ大きくなり、垂直方向の座標値ｊは下向きに、要素間隔一つにつき値が１ずつ大きくなるものとする。

マトリクスの最も左で且つ最も上の位置（ｉ＝−４、ｊ＝−２）にある要素は、図３（ａ）に示される画素ブロックＢＬａ（１）と図４（ａ）に示される画素ブロックＢＬｂ（１）とで構成されるブロック対に対応する。
ｉ＝−２、ｊ＝−２の位置にある要素は、図３（ｂ）に示される画素ブロックＢＬａ（２）と図４（ｂ）に示される画素ブロックＢＬｂ（２）とで構成されるブロック対に対応する。
ｉ＝０、ｊ＝−２の位置にある要素は、図３（ｃ）に示される画素ブロックＢＬａ（３）と図４（ｃ）に示される画素ブロックＢＬｂ（３）とで構成されるブロック対に対応する。
ｉ＝＋４、ｊ＝＋２の位置にある要素は、図３（ｄ）に示される画素ブロックＢＬａ（１５）と図４（ｄ）に示される画素ブロックＢＬｂ（１５）とで構成されるブロック対に対応する。
一般化して言えば、ｆ＝−２、−１、０、＋１、又は＋２、ｇ＝−１、０、又は＋１であるとき、ｉ＝２ｆ、ｊ＝２ｇの位置（図６で「○」印で示されている）にある要素は、図３（ａ）乃至（ｄ）、図４（ａ）乃至（ｄ）により例示されたように、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対応する。

ｉ＝−３、ｊ＝−２の位置にある要素は、図３（ａ）に示される画素ブロックＢＬａ（１）と図５（ａ）に示される画素ブロックＢＬｂ（１Ｌ）とで構成されるブロック対に対応する。
ｉ＝−１、ｊ＝−２の位置にある要素は、図３（ｂ）に示される画素ブロックＢＬａ（２）と図５（ｂ）に示される画素ブロックＢＬｂ（２Ｌ）とで構成されるブロック対に対応する。
ｉ＝＋１、ｊ＝−２の位置にある要素は、図３（ｃ）に示される画素ブロックＢＬａ（３）と図５（ｃ）に示される画素ブロックＢＬｂ（３Ｌ）とで構成されるブロック対に対応する。
ｉ＝＋５、ｊ＝＋２の位置にある要素は、図３（ｄ）に示される画素ブロックＢＬａ（１５）と図５（ｄ）に示される画素ブロックＢＬｂ（１５Ｌ）とで構成されるブロック対に対応する。

一般化して言えば、ｆ＝−２、−１、０、＋１、又は＋２、ｇ＝−１、０、又は＋１であるとき、ｉ＝（２ｆ＋１）、ｊ＝２ｇの位置（図６で「△」印で示される）にある要素は、図３（ａ）乃至（ｄ）、図５（ａ）乃至（ｄ）により例示されたように、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対して、第２の参照フレームの画素ブロックを１画素左にずらした画素ブロックで置換えた画素ブロック対に対応する。

同様に、ｆ＝−２、−１、０、＋１、又は＋２、ｇ＝−１、０、又は＋１であるとき、ｉ＝２ｆ、ｊ＝（２ｇ＋１）の位置（図６で「□」印で示される）にある要素は、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対して、第２の参照フレームの画素ブロックを１画素上にずらした画素ブロックで置換えた画素ブロック対（図４（ａ）〜（ｄ）に示される画素ブロックを１画素上にずらした画素ブロックと、図３（ａ）〜（ｄ）に示される画素ブロックとで構成される画素ブロック対）に対応する。
同様に、ｆ＝−２、−１、０、＋１、又は＋２、ｇ＝−１、０、又は＋１であるとき、ｉ＝（２ｆ＋１）、ｊ＝（２ｇ＋１）の位置（図６で「×」印で示される）にある要素は、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対して、第２の参照フレームの画素ブロックを１画素斜め左上にずらした画素ブロックで置換えた画素ブロック対（図４（ａ）〜（ｄ）に示される画素ブロックを１画素斜め左上にずらした画素ブロックと、図３（ａ）〜（ｄ）に示される画素ブロックとで構成される画素ブロック対）に対応する。

図６に示される各要素の位置は、上記のように、各ブロック対を構成する第１の参照フレームのブロックと第２の参照フレームのブロックの相対的位置関係に対応するものであり、相対的位置関係を表すベクトル（の方向及び大きさ）を表すものであるとも言える。また、ブロック間の類似度を求め、これらの中で類似度が最大のブロックから成る対を検出する処理は、画像の動きベクトルの検出と同様の手法で行なわれるので、各ブロック対を成すブロック間の相対的位置関係は、これらのブロック間の動きベクトル（の方向及び大きさ）に対応するものであるとも言える。

図７は、図６の６０個の各要素位置に対応する動きベクトルの方向及び大きさを矢印により概略的に表したマトリクスである。図７の矢印はその方向及び長さが上記動きベクトルの方向及び大きさに対応する。図７でも、図６と同様に、マトリクス内の各要素の位置を水平方向の座標値（列番号）ｉと垂直方向の座標値（行番号）ｊとにより、（ｉ，ｊ）で表している。

例えば、ｉ＝−４、ｊ＝−２の要素位置は、第１の参照フレームの図３（ａ）のブロックＢＬａ（１）から第２の参照フレーム図４（ａ）のブロックＢＬｂ（１）への斜め右下への大きな動きに対応するものであり、その位置における矢印は斜め右下に向いた長いものとなる。
また、ｉ＝０、ｊ＝−２の要素位置は、第１の参照フレームの図３（ｃ）ブロックＢＬａ（３）から第２の参照フレームの図４（ｃ）のブロックＢＬｂ（３）への、下向きの動きに対応するものであり、その位置おける矢印は下向きのものとなっている。

第一エリア分割手段５は、図６に示される複数の要素位置、即ちブロック対の相対的位置関係を、互いに近似するもの同士が同じエリア乃至群に属することになるように、言い換えると、図７に示される複数の動きベクトルを、その方向及び大きさが互いに近似するもの同士が同じエリア乃至群に属することになるように分類乃至分割する。従って、第一エリア分割手段５は、ブロック対を、その動きベクトルの方向に従って分類する（動きベクトルが互いに近似したブロック対が互いに同じエリア乃至群に属することとなるように分類する）分類手段であるとも言える。
例えば、図７に示されるように、６０個のベクトル（従って、図６の６０個のブロック対）を、図７に太線で示すように、さらに図８にも示すように、９個のエリアＲＡａ〜ＲＡｉに分ける。

例えば、ｉ＝−４、ｊ＝−２のブロック対、ｉ＝−３、ｊ＝−２のブロック対、ｉ＝−２、ｊ＝−２のブロック対、ｉ＝−４、ｊ＝−１のブロック対、ｉ＝−３、ｊ＝−１のブロック対、及びｉ＝−２、ｊ＝−１のブロック対をエリアＲＡａに属するものとする。このエリアＲＡａは右斜め下向きのベクトルエリア（ベクトル群）となる。

エリアＲＡｂからエリアＲＡｉも同様に分けた時、エリアＲＡｂは下向きのベクトルエリア、エリアＲＡｃは左斜め下向きのベクトルエリア、エリアＲＡｄは右向きのベクトルエリア、エリアＲＡｅは動きのない静止ベクトルエリア、エリアＲＡｆは左向きのベクトルエリア、エリアＲＡｇは右斜め上向きのベクトルエリア、エリアＲＡｈは上向きのベクトルエリア、エリアＲＡｉは左斜め上向きのベクトルエリアとなる。

第一エリア代表抽出手段６は、第一エリア分割手段５でエリアＲＡａからエリアＲＡｉの各々に属する複数個のブロック対のうちで、第一類似度計算手段４により計算された類似度が最も大きい（差分絶対値の総和ＳＡＤが最も小さい）画素ブロック対を第一エリア代表ブロック対として抽出する。
エリアＲＡａからエリアＲＡｉの各々から１つの第一エリア代表ブロック対が抽出され、全部で９つの第一エリア代表ブロック対が抽出されることになる。

第一候補抽出手段７は、第一エリア代表抽出手段６で抽出された各エリアの第一エリア代表ブロック対のうちで、第一類似度計算手段４により計算された類似度が最も大きい画素ブロック対（第一エリア代表ブロック対）を第一候補ブロック対として抽出する。

第一候補抽出手段７はまた、第一エリア代表抽出手段６で抽出された複数個の第一エリア代表ブロック対のうちで、第一候補ブロック対以外のもの（第一エリア代表ブロック対）の中で、類似度が最も大きい画素ブロック対(第一エリア代表抽出手段６で抽出されたそれぞれのエリアの第一エリア代表ブロック対のうちで、第一類似度計算手段４により計算された類似度が２番目に大きい画素ブロック対)を第一評価用ブロック対として選択する。

第一信頼性評価手段８は第一エリア代表抽出手段６が抽出した９つの第一エリア代表ブロック対の類似度の平均値（差分絶対値の総和ＳＡＤの平均値）を計算するとともに、この類似度の平均値と第一評価用ブロック対の類似度（第一評価用類似度）と第一候補ブロック対の類似度（第一候補類似度）とから、第一候補類似度の信頼性を評価する。例えば下記の不等式（２Ａ）が成立する場合、信頼性があると判断し、成立しない場合は信頼性がないと判断する。
（Ｓｅ−Ｓｃ）＞（Ｓａ−Ｓｅ）×Ｂ＋Ｃ …（２Ａ）
Ｓｅは第一評価用類似度を表す値（第一評価用ブロック対の差分絶対値の総和ＳＡＤ）、
Ｓｃは第一候補類似度を表す値（第一候補ブロック対の差分絶対値の総和ＳＡＤ）、
Ｓａは第一エリア代表ブロック対の類似度の平均値を表す値（第一エリア代表ブロック対の差分絶対値の総和ＳＡＤの平均値）、
Ｂは１より大きい係数であり、例えば２、
Ｃは０以上の定数であり、例えば１００（画素値が８ビットで表され、従ってその取り得る値の最大値が２５５である場合を想定している）である。

第一信頼性評価手段８は、上記の式（２Ａ）による判定の結果を、第一候補ブロック対の、補間画素に対する相対位置（動きベクトル）を表すデータとともに、参照画素位置選択手段９に出力する。

式（２Ａ）が満たされることは、第一候補類似度と第一評価用類似度の差が、第一評価用類似度と類似度の平均値との差のＢ倍（Ｂ＞１）にＣを加算した値よりも大きいことを意味し、即ち、第一候補ブロック対の類似度が際立って大きい（類似度の最大値を含むピークが突出している）ことを意味する。

本発明では、このように、第一候補ブロック対の類似度が際立って大きい場合のみ、第一候補ブロック対の選択が信頼できるものであると判定し、第一候補ブロック対の中心位置を参照画素位置として補間を行なうこととしており、
一方、類似度が最大ではあるものの、他に比べて類似度の違いがさほど大きくない場合には、その第一候補ブロック対の中心位置を参照画素位置とはしないことにより、補間をより正確に行なうこととしており、これにより、補間の精度を高めることができる。

そして、第一評価用ブロック対として、第一候補ブロック対とは別のエリアのものが選択されるので、第一候補ブロック対と同じエリア内の他のブロック対が第一評価用ブロック対よりも類似度が大きい場合にも、そのような他のブロック対を排除して信頼性の評価を行うので、一つのエリア内に他のエリアよりも類似度の大きいブロック対が多く存在する（中心画素同士を結ぶ直線の方向が近似した範囲内に類似度の大きいブロック対が集中している）場合にも、信頼性の評価を適切に行うことができる。

上記のように、第二ブロック対抽出手段１３は、補間フレームの補間画素を含む画素ブロック（補間ブロック）と、第１又は第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する。以下では、補間フレームの画素ブロックと、第１の参照フレームの画素ブロックで画素ブロック対を構成する場合について述べる。

補間フレーム内における補間画素の位置が（ｈｃ，ｖｃ）で表される場合、補間フレームの画素ブロックＢＬｃとして、図９に示すように、補間フレームの補間画素位置（ｈｃ，ｖｃ）を中心とする所定のサイズ、例えば、水平方向が（ｈｃ−２）から（ｈｃ＋２）までの範囲、垂直方向が（ｖｃ−１）から（ｖｃ＋１）までの範囲の画素から成るブロックが選択される。但し、補間画素（補間対象画素）の補間演算を行う時点で、当該補間画素を中心とする補間ブロックの中には、補間が終わっている（補間値が求まっている）画素と、補間がまだ終わっていない画素が含まれており、その場合、当該補間ブロックの中で、補間が終わっている画素のみが、補間のための類似度の計算などに用いられる。
例えば、画素の補間が、フレーム内の複数の水平ラインを上から下へ、各水平ライン内を左から右へと言う順に行なわれる場合、上記のブロックのうちで、補間画素（補間対象画素）の補間演算を行う時点で、補間が終わっているのは、補間画素よりも上の行に位置する画素及び、補間画素と同じ行でかつ補間画素よりも左側に位置する画素（図９で太線ＢＬｃｅで囲まれている領域内の画素）であり、これらのみが、補間のための類似度の計算などに用いられる。

一方、第１の参照フレーム内の画素ブロックＢＬａとしては、補間フレームの画素ブロックと同じサイズの画素ブロックであって、例えばその中心位置が水平方向には（ｈｃ−２）から（ｈｃ＋２）までの範囲のもの、垂直方向には（ｖｃ−１）から（ｖｃ＋１）までの範囲のものが抽出される。上記の条件を満たす画素ブロックＢＬａは、全部で１５個あり、その一部が、図１０（ａ）〜（ｄ）に示されている。

図９に示される画素ブロックＢＬｃと図１０（ａ）に示される画素ブロックＢＬｄ（１）が一つの画素ブロック対を構成している。同様に画素ブロックＢＬｃと図１０（ｂ）に示される画素ブロックＢＬｄ（５）が他の一つの画素ブロック対を構成している。同様に、画素ブロックＢＬｃと図１０（ｃ）に示される画素ブロックＢＬｄ（１０）が他の一つの画素ブロック対を構成している。同様に、画素ブロックＢＬｃと図１０（ｄ）に示される画素ブロックＢＬｄ（１１）が他の一つの画素ブロック対を構成している。

画素ブロックＢＬｄの各々のうち、図９の画素ブロックＢＬｃ内の領域ＢＬｃｅに対応する部分内の画素のみが類似度の計算などに用いられる。例えば、図１０（ａ）〜（ｄ）に示される画素ブロックＢＬｄ（１）、ＢＬｄ（５）、ＢＬｄ（１０）、ＢＬｄ（１１）の各々の画素のうち、図９の画素ブロックＢＬｃ内の領域ＢＬｃｅに対応する部分ＢＬｄｅ（１）、ＢＬｄｅ（５）、ＢＬｄｅ（１０）、ＢＬｄｅ（１１）内の画素のみが類似度の計算などに用いられる。

第二ブロック対抽出手段１３は、このように、補間フレーム内の固定の画素ブロックと参照フレーム内の（図示の例では、第１の参照フレーム内の）画素ブロックから成る画素ブロック対を、複数個順次抽出する。

第二ブロック対抽出手段１３により抽出された画素ブロック対は、第二類似度計算手段１４に入力され、画素ブロック対毎に画素ブロック相互間の類似度が計算される。類似度の指標としては、第一類似度計算手段４と同様に、差分絶対値の総和（ＳＡＤ）が求められる。但し、上記のように、補間ブロックの中で、太線ＢＬｃｅ内の画素、及び第１の参照フレーム内の画素ブロックＢＬｄ（ＢＬｄ（１）、ＢＬｄ（５）、ＢＬｄ（１０）、ＢＬｄ（１５）など）の中で、太線ＢＬｄｅ（ＢＬｄｅ（１）、ＢＬｄｅ（５）、ＢＬｄｅ（１０）、ＢＬｄｅ（１５）など）内の画素のみが類似度の計算に用いられる。

全ての画素ブロック対について差分絶対値の総和ＳＡＤが計算され、計算結果が各画素ブロック対の類似度として第二エリア代表抽出手段１６に出力される。ここで、総和ＳＡＤの値が小さいほど類似度が大きく、総和ＳＡＤが大きいほど類似度が小さいことを意味する。

このようにして第二ブロック対抽出手段１３で抽出されたすべてのブロック対につき差分絶対値の総和ＳＡＤ（類似度を表す指標）が計算される。本例では、全部で１５個のブロック対が抽出されるので、全部で１５個のブロック対について差分絶対値の総和ＳＡＤが計算されることになる。

第二ブロック対抽出手段１３で抽出される上記の１５個のブロック対は、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向及び長さ（中心画素相互間の距離）が互いに異なり、上記直線の方向及び長さにより、(第一ブロック対抽出手段３で抽出される６０個のブロック対と同様に、)ブロック対相互間の相対的位置関係を定義することができる。

上記した相対位置関係（或いは、それに対応する動きベクトルの方向及び大きさ）は、図１１のように示すことができる。この図１１は、第一ブロック対抽出手段３で抽出される６０個のブロック対についての、図７と同様のものである。図１１でも、図６、図７と同様に、マトリクス内の各要素の位置を水平方向の座標値（列番号）ｉと垂直方向の座標値（行番号）ｊとにより、（ｉ，ｊ）で表している。但し、図１１では、図６、図７とは異なり、マトリクスの最も左で且つ最も上の位置から数えて、水平方向右向きに数えて３番目、垂直方向下向きに２番目を、座標の原点とし、水平方向の座標値ｉは右向きに要素間隔一つにつき値が２つずつ大きくなり、垂直方向の座標値ｊは下向きに、要素間隔一つにつき値が２ずつ大きくなるものとする。これは、図１１の各要素は、図６の丸印で示す要素（水平方向に座標値ｉが２増加するごとに現れ、垂直方向にも座標値ｊが２増加することに現れる）に対応することを考慮したものである。

第二エリア分割手段１５は、第一エリア分割手段５と同様に、図１１に示される複数の相対的位置関係を、互いに近似するもの同士が同じエリア乃至群に属することになるように、言い換えると、図１１に示される複数の動きベクトルを、その方向及び大きさが互いに近似するもの同士が同じエリア乃至群に属することになるように分類乃至分割する。例えば、図１１に示されるように、１５個のベクトルを、図１１の太線で示すように、さらに図１２にも示すように、９個のエリアＲＢａ〜ＲＢｉに分ける。

第二エリア代表抽出手段１６は、第二エリア分割手段１５でエリアＲＢａからエリアＲＢｉの各々に属する複数個のブロック対のうちで、第二類似度計算手段１４により計算された類似度が最も大きい（差分絶対値の総和ＳＡＤが最も小さい）画素ブロック対を第二エリア代表ブロック対として抽出する。
エリアＲＢａからエリアＲＢｉの各々から１つの第二エリア代表ブロック対が抽出され、全部で９つの第二エリア代表ブロック対が抽出されることになる。

第二候補抽出手段１７は、第二エリア代表抽出手段１６で抽出された各エリアの第二エリア代表ブロック対のうちで、第二類似度計算手段１４により計算された類似度が最も大きい画素ブロック対（第二エリア代表ブロック対）を第二候補ブロック対として抽出する。

第二候補抽出手段１７はまた、第二エリア代表抽出手段１６で抽出された複数個の第二エリア代表ブロック対のうちで、第二候補ブロック対以外のもの（第二エリア代表ブロック対）の中で、類似度が最も大きい画素ブロック対(第二エリア代表抽出手段１６で抽出されたそれぞれのエリアの第二エリア代表ブロック対のうちで、第二類似度計算手段１４により計算された類似度が２番目に大きい画素ブロック対)を第二評価用ブロック対として抽出する。

第二信頼性評価手段１８は、例えば第一信頼性評価手段８と同様の方法で第二候補類似度の信頼性評価を行う。

即ち、第二エリア代表抽出手段１６が抽出した９つの第二エリア代表ブロック対の類似度の平均値（差分絶対値の総和ＳＡＤの平均値）を計算するとともに、この類似度の平均値と第二評価用ブロック対の類似度（第二評価用類似度）と第二候補ブロック対の類似度（第二候補類似度）とから、第二候補類似度の信頼性を評価する。例えば下記の不等式（２Ｂ）が成立する場合、信頼性があると判断し、成立しない場合は信頼性がないと判断する。
（Ｓｅ−Ｓｃ）＞（Ｓａ−Ｓｅ）×Ｂ＋Ｃ …（２Ｂ）
Ｓｅは第二評価用類似度を表す値（第二評価用ブロック対の差分絶対値の総和ＳＡＤ）、
Ｓｃは第二候補類似度を表す値（第二候補ブロック対の差分絶対値の総和ＳＡＤ）、
Ｓａは第二エリア代表ブロック対の類似度の平均値を表す値（第二エリア代表ブロック対の差分絶対値の総和ＳＡＤの平均値）、
Ｂは１より大きい係数であり、例えば２、
Ｃは０以上の定数であり、例えば１００（画素値が８ビットで表され、従ってその取り得る値の最大値が２５５である場合を想定している）である。

第二信頼性評価手段１８は、上記の式（２Ｂ）による判定の結果を、第二候補ブロック対を構成する、第１の参照フレーム内の画素ブロックの中心画素位置の、補間画素に対する相対位置（動きベクトル）を表すデータとともに、参照画素位置選択手段９に出力する。

参照画素位置選択手段９は、第一信頼性評価手段８の第一信頼性評価結果と第二信頼評価手段１８の第二信頼性評価結果に基づき、第一候補ブロック対を構成する画素ブロックの中心位置、又は第二候補ブロック対を構成する、第１の参照フレームの画素ブロックの中心位置、又は当該補間画素の参照画素位置としてそれ以前に（それより前のフレームの補間時に）選択された参照画素位置を参照画素位置として選択する。

例えば、参照画素位置選択手段９は、第一信頼性評価手段８で信頼性があると判断された場合は、第一候補抽出手段７から出力される、画素ブロック対の中心画素位置を参照画素位置として選択し、第一信頼性評価手段８で信頼性がないと判断され、かつ第二信頼性評価手段１８で信頼性があると判断された場合は、第二候補抽出手段１７から出力されるブロックの中心画素位置から出力されるブロック対を構成する、第１の参照フレーム内の画素ブロックの中心画素位置を参照画素位置として選択し、第一信頼性評価手段８及び第二信頼性評価手段１８の双方で信頼性がないと判断された場合は、当該補間画素の参照画素位置としてそれ以前に（それより前のフレームの補間時に）選択された参照画素位置、例えば１フレーム遅延手段１０によって１フレーム遅延された１回前の参照画素位置を選択し、参照画素位置を示す情報を補間値決定手段１１に供給する。

「それ以前に選択された参照画素位置」は、それ以前に第一候補抽出手段７で抽出された第一候補ブロック対の中心画素位置であることもあり、それ以前に第二候補抽出手段１７で抽出された第二候補ブロック対を構成する、第１の参照フレーム内の画素ブロックの中心画素位置であることもある。
参照画素位置の選択は、参照画素の、補間画素に対する方向の選択でもあるので、補間方向の選択と言う意味をも持つ。

ここで各画素ブロックの中心に位置する画素（中心画素）とは、各画素ブロックを構成する中央の行に位置し且つ中央の列に位置する画素を言う。例えば、画素ブロックが３行５列の画素から成るときは、第２行第３列の画素を言う。一般的に各画素ブロックがｐ行ｑ列の画素から成り、ｐ、ｑが奇数の場合には、第（ｐ＋１）／２行、第（ｑ＋１）／２列の画素を言う。
ｐ、ｑが偶数の場合には、第ｐ／２行又は第（ｐ／２）＋１行、第ｑ／２列又は第（ｑ／２）＋１列の画素を中心画素として扱う。即ち、画素ブロックの中心は、正確な中心位置に限らず、正確な中心位置の近傍の位置であっても良い。
なお、中心位置の一義的確定のためには、ｐ、ｑが奇数であるのが望ましい。

参照画素位置選択手段９は、各補間画素について、上記のようにして参照画素位置を選択すると、選択した参照画素位置を表すデータを補間値決定手段１１に供給する。参照画素位置選択手段９から出力される参照画素位置を表すデータは、遅延手段１０にも入力され、１フレーム期間後に、前フレーム（１補間フレーム前の処理時）における参照画素位置を表すデータとして、参照画素位置選択手段９に入力される。

補間値決定手段１１は、参照画素位置選択手段９から供給される参照画素位置を表すデータに基づき、該参照画素位置の画素値を用いて、補間画素の画素値を決定する。各参照画素位置の画素値（を示すデータ）は、フレームメモリ２０から読み出される。

参照画素位置選択手段９が、第一候補抽出手段７で抽出されたブロック対の中心画素位置を参照画素位置として選択したときは、補間値決定手段１１は、選択された参照画素位置(補間画素を中心として点対称の位置又は略点対称の対象の位置にある一対の画素位置)の画素値の平均値を計算し、計算結果を、補間画素の画素値と決定する。

参照画素位置選択手段９が、第二候補抽出手段１７で抽出されたブロック対を構成する第１の参照フレームのブロックの中心画素位置を、参照画素位置として選択したときは、補間値決定手段１１は、選択された参照画素位置の画素値を、補間画素の画素値と決定する。

参照画素位置選択手段９が、遅延手段１０から供給される、前フレームにおける同じ補間画素についての参照画素位置を選択したときは、該選択された参照画素位置の画素値に基づき、補間画素の画素値を決定する。
この場合にも、前フレームにおける参照画素位置が、第一候補抽出手段７で抽出されたブロック対の中心画素位置であるときは、該中心画素位置の画素値（現在の補間フレームに対する参照フレーム内の画素値）の平均値を、補間画素の画素値とする。前フレームにおける参照画素位置が、第二候補抽出手段１７で抽出されたブロック対を構成する第１の参照フレームのブロックの中心画素位置であるときは、該中心画素位置の画素値を、補間画素の画素値とする。

決定された画素値は、表示部２１に供給され、表示部２１における表示に用いられる。
以上の動作を補間フレームのすべての補間画素に対して行うことで、補間フレームの補間画像を得る。

なお、上記の例では、第一ブロック対抽出手段３は、補間画素に対して点対称の位置にある画素ブロック対（ａ）並びにそのような画素ブロック対に対して、一方の参照フレーム例えば第２の参照フレーム内の画素ブロックを１画素左にずらした画素ブロック対（ｂ）、１画素上にずらした画素ブロック対（ｃ）、及び１画素斜め左上にずらした画素ブロック対（ｄ）を抽出しているが、本発明はこれに限定されず、ハードウェアの規模を少なくするために、上記画素ブロック対（ａ）のほか一方の参照フレーム内の画素ブロックを１画素左にずらした画素ブロック対（ｂ）のみ、又は１画素上にずらした画素ブロック対（ｃ）のみ、又は１画素斜め左上にずらした画素ブロック対（ｄ）のみを抽出しても良い。

また、「１画素左」の代わりに、「１画素右」にずらしたものを用いても良く、「１画素上」の代わりに、「１画素下」にずらしたものを用いても良く、「１画素左斜め上」の代わりに、「１画素右斜め下」、「１画素左斜め下」、又は「１画素右斜め上」にずらしたものを用いても良い。

さらに、第２の参照フレームの画素ブロックをずらした画素ブロック対ではなく、第１の参照フレームの画素ブロックをずらした画素ブロック対を用いても良い。

さらに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対に加えて、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素ずらしたもので置換えた画素ブロック対を用いる代わりに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対を用いずに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素ずらしたもので置換えた画素ブロック対のみを用いても良い。

上記のように、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で、上記ずらした方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。

例えば、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素左、又は１画素右にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で水平方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。

同様に、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方のブロックを１画素上、又は１画素下にずらしたブロック対をも抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で垂直方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。

同様に、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方のブロックを１画素斜め左上、又は１画素斜め右下にずらしたブロック対、又は１画素斜め左下にずらしたブロック対、１画素斜め右上にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で斜め方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。

一方、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で偶数画素の動きがあった（被写体の画像が偶数画素分移動した）場合に動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。

補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対に加えて、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間での上記ずらした方向における動きが奇数画素分であっても、偶数画素分であっても偶数画素の動きがあっても、動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができる。

なお、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対が最大の類似度を持つものとして判定されたときは、その中心位置のみならず、１画素ずれた位置をも参照画素位置として選択しても良い。例えば、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素左にずらしたブロック対が最大の類似度を持つものと判定されたときは、その中心位置のみならず、その中心位置の右側に隣接する画素位置をも参照画素位置として選択し、選択された４つの参照画素位置の画素値の平均を求めて、この平均を補間画素の画素値とすることとしても良い。

なお、第二ブロック対抽出手段１３への入力は、補間フレームと第１の参照フレームについて説明したが、補間フレームと第２の参照フレームを入力しても同様の効果がある。

また、第二ブロック対抽出手段１３が、補間フレームの画素ブロックと、第１の参照フレームの画素ブロックとから成るブロック対を抽出するとともに、補間フレームの画素ブロックと第２の参照フレームの画素ブロックとから成るブロック対を抽出し、第二類似度計算手段１４の類似度の計算には、補間フレームのブロックと、第１の参照フレームのブロックの類似度と、補間フレームのブロックと第２の参照フレームのブロックの類似度の平均値を用いて、第二候補抽出や第二信頼性評価を行なっても、同様の効果がある。

なお、第一ブロック対抽出手段３は、補間画素に対して第１及び第２の参照フレームから点対称又は略点対称の位置にある画素ブロックの対を抽出する場合について説明したが、第１又は第２の参照フレームのブロックを選択して、選択したブロックを固定した状態で（即ち、一つのブロックを選択したままの状態で）、その近傍の探索範囲内で第２又は第１の参照フレーム内のブロックを順次抽出して、当該順次抽出された第２又は第１の参照フレームのブロックと、選択したままの第１又は第２の参照フレームのブロックとで構成されるブロック対を順次抽出し、当該ブロック対を構成するブロック相互間の類似度を求め、複数のブロック対について計算さえた類似度に基づく候補ブロック対の抽出及び信頼性評価を行ない、候補ブロック対の中で、信頼性があると判断されたものを構成する第１及び第２の参照フレームのブロックの一対の中心画素の画素値の平均値を、該一対の中心画素の中間に位置する、補間フレーム内の画素の補間値として求めることとしても良い。図１３は、第１の参照フレーム内の、選択されたブロックＢＬａｆを示し、図１４（ａ）〜（ｄ）は、第２の参照フレームの探索範囲内のブロックの幾つかの例ＢＬｂ（１）、ＢＬｂ（３）、ＢＬｂ（１０）、ＢＬｂ（１１）を示す。

第１又は第２の参照フレームの、選択されたブロックについて、上記のようにして第２又は第１の参照フレーム内の、対となるブロックが抽出されて、補間値が求められたら、第１又は第２の参照フレーム内の、別のブロックを選択して同様の処理を行なう。以下、第１又は第２の参照フレーム内の、他のブロックを順次選択して同様の処理を行なう。上記のように処理を行なう場合、補間値の求められる画素の順序が、事前には決まらず、第１又は第２の参照フレーム内の、一つの画素ブロックが選択されたままの状態で、候補ブロック対の抽出及び信頼性の評価によって抽出された第２又は第１の参照フレーム内の画素ブロックの中心画素の位置と、上記第１又は第２の参照フレームの選択されたままの画素ブロックの中心画素の位置とによって決まる。このため、順次求められる補間値を、例えば図１のフレームメモリ２０、又は別途設けたフレームメモリに蓄える必要がある。

なおまた、上記の例では、補間値決定手段１１は、第一候補抽出手段で抽出された候補ブロック対を選択した場合、該候補ブロック対を構成する画素ブロックの中心に位置する画素の平均値を補間画素の画素値としたが、候補ブロック対のどちらか一方の画素ブロックの中心に位置する画素の画素値を補間画素の画素値として用いても良い。

また、第一類似度計算手段４は、図２に示すように、画素ブロック中の全ての画素（ａ１からａ１５までとｂ１からｂ１５まで）について、総和ＳＡＤを求めたが、ハードウェア規模を削減するために、一方の画素ブロック例えば画素ブロックＢＬａ内の画素に対して均等な間引き処理を行った後の画素と、他方の画素ブロックＢＬｂの対応する位置にある画素の画素値の差分の絶対値の総和を求めることとしても良い。例えば、ブロックＢＬａ内において水平方向にｒ画素（ｒは、２以上の整数）ごとの画素（ｒ個ごとに１個）を抽出し、また垂直方向にｓ画素（ｓは、２以上の整数）ごとの画素（ｓ個ごとに１個）を抽出し、これらの画素、ブロックＢＬｂ内の対応する位置にある画素の画素値の差分絶対値を求め、それらの総和を求めることとしても良い。ｒ、ｓが２の場合の間引き処理の一例を図１５及び図１６に示す。図示の例では、縦方向及び横方向に一つおきの画素であって、市松模様状に配置された画素（ハッチングで示されている）のみを抽出し、これらについてのみ差分絶対値を求め、それらの総和ＳＡＤを求める。

また、第二類似度計算手段１４も、第一類似度計算手段４について図１５及び図１６で説明したのと同様の間引きを行なっても良い。例えば、画素ブロックＢＬｃ内の補間値が求まっている画素に対して均等な間引き処理を行った後の画素と、他方の画素ブロックＢＬｄの対応する位置にある画素の画素値の差分の絶対値の総和を求めることとしても良い。

また、第一エリア分割手段５は、図７に示すように９個のエリアに分割したが、より細かく動きを分ける為に９個より多いエリアに分割したり、ハードウェア規模の削減の為、９個より少ないエリアに分割してもよく、これらの場合にも同様の効果が期待できる。
同様に、第二エリア分割手段１５も、分割によるエリアの数を図示の例の９よりも多くしても良く、少なくしても良い。

また、第二類似度計算手段１４は、補間フレームのブロック最後の画素まで一度補間した後、図９及び図１０の細線部分（つまりブロックの全体）で類似度（差分絶対値の総和ＳＡＤ）の計算しても、同様の効果が期待できる。この場合、計算された類似度（差分絶対値の総和ＳＡＤ）の値に基づく、ブロックの選択、信頼性の評価などを繰り返し、補間値を再計算し、再計算で求めた補間値を最終的な補間値とすることになる。

また、第二類似度計算手段１４における類似度の計算には、補間フレームのブロックと第１の参照フレームのブロックで類似度を計算したが、第２の参照フレームのブロックと補間フレームのブロックで類似度を計算しても同様の効果がある。さらに、補間フレームと第１の参照フレームの差分絶対値の総和ＳＡＤ、および補間フレームと第２の参照フレームの差分絶対値の総和ＳＡＤの和を類似度を表すものとして計算しても、同様の効果が期待できる。

以上のように実施の形態１では、補間画素の位置を中心として略点対称の位置にある第１の参照フレームの画素ブロックＢＬａと第２の参照フレームの画素ブロックＢＬｂとからなる画素ブロック対を複数個抽出する第一ブロック対抽出手段３と、抽出された複数の画素ブロック対のそれぞれについて、各画素ブロック対を構成する２つの画素ブロックの類似度を上記２つの画素ブロック内の画素の画素値に基づいて計算する第一類似度計算手段４と、抽出された複数の画素ブロック対を、動きの方向が近似しているものが同じエリアに属することとなるように、複数のエリアに分割する第一エリア分割手段５と、分割されたエリア内で第一類似度計算手段４により計算された類似度が最も大きい画素ブロック対をそれぞれのエリアの第一エリア代表ブロック対として抽出する第一エリア代表抽出手段６と、第一エリア代表ブロック対の中から、類似度が最も大きいもの（第一候補ブロック対）の類似度（第一候補類似度）と、第一エリア代表ブロック対の中から第一候補ブロック対の次に類似度が大きいもの（第一評価用ブロック対）の類似度（第一評価用類似度）に基づいて、信頼性を評価する第一信頼性評価手段８と、第１の参照フレームの画素ブロックＢＬｄと補間フレームの固定の画素ブロックＢＬｃとからなる画素ブロック対を複数抽出する第二ブロック対抽出手段１３と、抽出された複数の画素ブロック対のそれぞれについて、各画素ブロック対を構成する２つの画素ブロックの類似度を上記２つの画素ブロック内の画素の画素値に基づいて計算する第二類似度計算手段１４と、抽出された複数のブロック対を、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向が近似しているものが同じエリアに属することとなるように、複数のエリアに分割する第二エリア分割手段１５と、分割されたエリア内で第二類似度計算手段１４により計算された類似度が最も大きい画素ブロック対をそれぞれのエリアの第二エリア代表ブロック対として抽出する第二エリア代表抽出手段１６と、第二エリア代表ブロック対の中から、類似度が最も大きいもの（第二候補ブロック対）の類似度（第一候補類似度）と、第二エリア代表ブロック対の中から第二候補ブロック対の次に類似度が大きいもの（第二評価用ブロック対）の類似度（第二評価用類似度）に基づいて、信頼性を評価する第二信頼性評価手段１８と、第一信頼性評価手段８及び第二信頼性評価手段１８によって評価した結果に応じて、第一候補抽出手段７で抽出された第一候補ブロック対(現在の第一候補ブロック対）の中心画素位置と、第二候補抽出手段１７で抽出された第二候補ブロック対(現在の第二候補ブロック対）を構成する第１の参照フレームの画素ブロックのの中心画素位置と、遅延手段１０によって遅延された１フレーム前の参照画素位置のいずれかを選択する参照画素位置選択手段９と、参照画素位置選択手段９により選択された参照画素位置の画素値を用いて補間画素を生成する補間値決定手段１１とを備えているので、第一信頼性評価手段で、信頼性が無いと判断されたときも、第二信頼性評価手段で信頼性のある、類似度の高いブロック対から補間画素の画素値を決定することができる為、補間を正確に行うことができ、動画ぼやけやジャダーの発生しない映像を表示できる。

また、画素ブロック対を構成する一方の画素ブロック内の少なくとも一部の画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を類似度として出力するようにしたので、類似度を簡単に且つ正確に求めることができ、より正確な補間画像を得ることができると言う効果がある。

この場合、画素ブロック対を構成する一方の画素ブロックのすべての画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を類似度として出力することとすれば、類似度をより正確に求めることができ、より正確な補間画像を得ることができると言う効果がある。

一方、画素ブロック対を構成する一方の画素ブロックの画素を均等に間引いた後の画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を求めてこれを類似度として出力するようにすれば、類似度の算出を比較的小さいハードウェア規模で実現することができると言う効果がある。

なお、上記の実施の形態では、参照画素位置選択手段９が、第二候補抽出手段１７で抽出されたブロック対を構成する第１の参照フレームのブロックの中心画素位置を、参照画素位置として選択したときは、選択された参照画素位置の画素値を、補間画素の画素値として出力しているが、このようにする代わりに、第２の参照フレーム内にあり、補間画素を中心として、上記選択された参照画素位置に対して点対称の位置にある画素の値と、上記選択された参照画素位置の画素の値の平均を求め、該平均値を、補間画素の画素値としても良い。

実施の形態２．
実施の形態１では、第一信頼性評価手段８及び第二信頼評価手段１８の双方で信頼性がないと判断された場合は、以前に選択された参照画素位置として１フレーム遅延手段１０によって１フレーム遅延された１回前の参照画素位置を選択したが、このような構成であると、１フレーム前の参照画素位置を間違って補間してしまった場合、そのまま間違った位置を継承して不適切な参照画素位置の選択を続けてしまう可能性がある。実施の形態２は、参照画素位置を求めようとしている補間画素の上下左右の画素について、信頼性のある参照画素位置が求まっている場合に、それを利用して、当該補間画素について線形補間により参照画素位置の決定を行なうこととしたものである。

図１７に実施の形態２によるフレーム補間装置を備えた表示装置を示す。図示の表示装置は実施の形態１に関して図１を参照して説明した表示装置と概して同じであるが、図１の参照画素位置選択手段９の代わりに参照画素位置選択手段２３が設けられ、されに参照画素位置メモリ２４が付加されている。

参照画素位置選択手段２３は、図１の参照画素位置選択手段９の代わりに用い得るものであるが、処理内容が以下のように異なる。

参照画素位置選択手段２３は、第一信頼性評価手段８又は第二信頼性評価手段１８で信頼性があると判断された場合、実施の形態１と同様に、図１の第一候補抽出手段７で抽出されたブロック対の中心画素位置又は第二候補抽出手段７で抽出されたブロック対を構成する第１の参照フレームのブロックの中心画素位置を参照画素位置として選択し、参照画素位置を示すデータを補間値決定手段１１に出力するとともに、参照画素位置メモリ２４に（当該補間画素位置に対応するアドレスに）保存する。

補間値の決定が、フレーム中の画素を順に（例えばフレーム中の複数の水平ラインを上から下へ、各ラインの画素を左から右へと順に）行なわれる場合、各画素について参照画素位置を求める処理中に、第一信頼性評価手段８及び第二信頼性評価手段１８の双方で「信頼性なし」と判断された場合は、当該画素についての参照画素位置の決定を保留し、そのことを示すデータ（フラグ）を、参照画素位置メモリ２４内の当該画素に対応するアドレスに書き込み、他の画素についての参照画素位置の決定を先に行なう。求められた参照画素位置は、順にメモリ２４に書き込んでおく。この場合、参照画素位置としては、フレーム内における原点（例えば左上隅の画素）に対する相対位置を書き込んでも良く、補間画素に対する相対位置（動きベクトル）を書き込んでも良いが、以下では、相対位置（ベクトル）を書き込むものとして説明する。

上記の処理がフレーム内のすべての画素についての一通り終わった時点における参照画素位置メモリ２４の記憶内容の一例を図１８（ａ）に示す。同図において、白丸は、第一信頼性評価手段８又は第二信頼性評価手段１８にて「信頼性あり」と判断され、参照画素位置が決定した画素を示し、黒丸は第一信頼性評価手段８及び第二信頼性評価手段１８の双方で「信頼性なし」と判断され、そのことを示すフラグが書き込まれている画素を示す。

図１８（ａ）に例示する動きベクトルの決定結果が書き込みがなされた後、参照画素位置選択手段２３は、動きベクトルが求められなかった画素（図１８（ａ）において黒丸で示す画素）の各々について、当該画素の周辺の画素についての動きベクトルの決定結果に基づいて、線形補間による動きベクトルの決定を行なう。

この線形補間は例えば以下のように行なわれる。例えば、当該画素の左及び右に位置する画素について動きベクトルが決定されていれば、これらの画素についての動きベクトルに基づいて（例えばこれらの平均を求める線形補間により）、当該画素についての動きベクトルを決定する。他の方法として、当該画素の上及び下に位置する画素についての動きベクトルが決定されていれば、これらの画素についての動きベクトルに基づいて（例えばこれらの平均を求める線形補間により）、当該画素についての動きベクトルを求める。左右及び上下でどちらを優先するかは予め決めておいても良い。

また上記のようにする代わりに、当該周辺の領域内の、動きベクトルが求まっている画素位置のすべて画素についての動きベクトルを用いて、当該画素についての動きベクトルを求めることとしても良い。

上記の処理を、図１８（ａ）に黒丸で示す画素に対して順に行なっている途中の様子を、図１８（ｂ）に示す。図１８（ａ）に示した黒丸の画素のうち、上記の処理（近傍の画素についての動きベクトルの平均を求める処理）により動きベクトルが求まった画素は、ハッチングを施した丸に変えてある。図１８（ｂ）の黒丸の画素Ｐ（ｈｃ，ｖｃ）に対して、近傍の画素についての動きベクトルの平均を求めるときの処理を図１９に示す。

図１９は、図１８（ｂ）の点線で囲んだ部分のみを示す。図１９のｎ５が、図１８（ｂ）のＰ（ｈ，ｖ）に対応する。
図１９において、白丸で示される画素ｎ１、ｎ２、ｎ４、ｎ６、ｎ８、ｎ９は、第一信頼性評価手段８又は第二信頼性評価手段１８で信頼性があると判断されて、動きベクトルが決定している画素である。
ハッチングを施された丸で示される画素ｎ３は、第一信頼性評価手段８及び第二信頼性評価手段１８の双方において、「信頼性なし」と判断されたが、周辺の画素についての動きベクトルに基づく線形補間により、動きベクトルが求まった画素である。
黒丸で示される画素ｎ５、ｎ７は、第一信頼性評価手段８及び第二信頼性評価手段１８の双方で信頼性なしと判断された画素で、線形補間による動きベクトルの決定もまだ行なわれていない画素である。
この状態で、画素ｎ５についての動きベクトルを求める場合を想定する。

画素ｎ５の一画素前（左）の画素ｎ４と１画素後（右）の画素ｎ６は「信頼性あり」で動きベクトルが決定しているので、画素ｎ５の動きベクトルを、この２つの画素ｎ４、ｎ６についての動きベクトルから算出する。画素ｎ４についての動きベクトルをｖ（ｘ４，ｙ４）、画素ｎ６についての動きベクトルをｖ（ｘ６，ｙ６）とする。
動きベクトルは、図７又は図１１で表しているマトリクスの座標（０，０）のとき、つまり動きが０のときをｖ（０，０）とする。
また、左右方向については、右方向への動き、例えば図７のマトリクスの座標（−４，０）は、ｖ（−４，０）と表し、左方向へ動き、例えば図７又は図１１のマトリクスの座標（５，０）は、ｖ（５，０）と表す。また、上下方向については、下方向への動き、例えば図７又は図１１のマトリクスの座標（０，２）は、ｖ（０，２）と表し、上方向への動き、例えば図７又は図１１のマトリクスの座標（０，−３）は、ｖ（０、−３）と表す。
この時、画素ｎ５についての参照画素位置を表す動きベクトルｖ（ｘ５、ｙ５）は、次のように求める。
ｖ（ｘ５、ｙ５）＝ｖ（（ｘ４＋ｘ６）／２、（ｙ４＋ｙ６）／２）

例えば、画素ｎ４についての参照画素位置を表す動きベクトルがｖ（−５，０）、画素ｎ６についての参照画素位置を表す動きベクトルがｖ（−１，０）とすると画素ｎ５についての参照画素位置を表す動きベクトルは、ｖ（−３，０）と計算される。

以上のように、補間画素の候補が第一信頼性評価手段８及び第二信頼性評価手段１８の双方で信頼性がないと判断された場合も、補間画素周辺の画素についての信頼性のある動きベクトル（参照画素位置を表すベクトル）を用いた線形補間により動きベクトルを求めるため、動きベクトルが連続的に変化している場合には、正確に参照画素位置を決定することができる。

上記の例では、参照画素位置選択手段２３において、参照画素位置を求めようとする画素の左右（水平方向の前後）の画素についての参照画素位置を用いることとしているが、上下の画素についての参照画素位置、或いは上下左右の画素についての参照画素位置を用いても、同様の効果が得られる。

上記の例では、フレーム内のすべての画素についての動きベクトルの算出が終わり、動きベクトルの決定結果（動きベクトルの値、又は動きベクトルが求められなかったことを示すフラグ）が参照画素位置メモリ２４に書き込まれたあとで、動きベクトルが求まらなかった画素についての周辺の画素についての動きベクトルを利用した線形補間を開始することとしているが、各補間画素について、当該画素の周辺の所定の領域（たとえば、当該画素を中心とする３×３の画素からなる領域）の画素についての動きベクトルの決定の処理が終わり、その結果（動きベクトルの値又は動きベクトルが求まらなかったことを示すフラグ）が参照画素位置メモリ２４に書き込まれたら直ちに、当該画素についての動きベクトルの線形補間を行なうことして良い。

即ち、第一信頼性評価手段８又は第二信頼性評価手段１８により信頼があると判断された結果行なわれる参照画素位置の決定と線形補間による参照画素位置の決定とを、平行して（線形補間のに参照画素位置の決定を少し（図１９の例では、１行と１画素分）遅らせながら）、行なっても良い。

上記した実施の形態１及び２の補間装置は、ソフトウエアにより、即ちプログラムされたコンピュータにより実現することもできる。

本発明の活用例として、テレビジョンのフレーム周波数変換や、業務用モニターのフレーム周波数変換に適用できる。また、フレーム周波数を変換しない場合であっても、冗長な１枚のフレーム（直前のフレームと同じ内容のフレーム）を除去して新たにフレームを生成するフレーム変換にも適用できる。

この発明の実施の形態１の表示装置を示すブロック図である。 実施の形態１における参照画素位置の決定のために順次選択される一対の画素ブロックを示す図である。 （ａ）〜（ｄ）は、実施の形態１における参照画素位置の決定のために順次選択される第１の参照フレーム内の画素ブロックを示す図である。 （ａ）〜（ｄ）は、実施の形態１における参照画素位置の決定のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。 （ａ）〜（ｄ）は、実施の形態１における参照画素位置の決定のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。 第一ブロック対抽出手段３により抽出される複数のブロック対の画素ブロックの中心画素位置同士を結ぶ直線の方向及び長さ（中心画素位置相互間の距離）を概略的に表すマトリクスにより示す図である。 図６のマトリクスのそれぞれの要素位置に対応するブロック対の画素ブロックの中心画素位置同士を結ぶ直線の方向及び長さ（中心画素位置相互間の距離）を概略的に表す図である。 第一エリア分割手段５により分割されたエリアに対応する動きの方向及び大きさを概略的に示す図である。 実施の形態１における第二の参照画素位置の決定のために選択される補間フレーム内の画素ブロックを示す図である。 実施の形態１における第二の参照画素位置の決定のために順次選択される第１の参照フレーム内の画素ブロックを示す図である。 第二ブロック対抽出手段１３で抽出されたブロック対の画素ブロックの中心画素位置同士を結ぶ直線の方向及び長さ（中心画素位置相互間の距離）を概略的に表す図である。 第二エリア分割手段１５により分割されたエリアに対応する動きの方向及び大きさを概略的に示す図である。 実施の形態１の変形例における参照画素位置の決定のために、選択され続ける第１の参照フレーム内の画素ブロックを示す図である。 （ａ）〜（ｄ）は、実施の形態１の変形例における参照画素位置の決定のために、順次選択される第２の参照フレーム内の画素ブロックを示す図である。 実施の形態１における参照画素位置の選択のために順次選択される第１の参照フレーム内の画素ブロックを示す図である。 実施の形態１における参照画素位置の選択のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。 この発明の実施の形態２の表示装置を示すブロック図である。 （ａ）及び（ｂ）は、実施の形態２の補間フレームの一部で、参照画素位置検出結果の一例を示す図である。 実施の形態２における参照画素位置の補間方法を説明する図である。

符号の説明

１ 入力端子、 ２ 遅延手段、 ３ 第一ブロック対抽出手段、 ４ 第一類似度計算手段、 ５ エリア分割手段、 ６ 第一エリア代表抽出手段、 ７ 第一候補抽出手段、 ８ 第一信頼性評価手段、 ９ 参照画素位置選択手段、 １０ 遅延手段、 １１ 補間値決定手段、 １３ 第二ブロック対抽出手段、 １４ 第二類似度計算手段、 １５ 第二エリア分割手段、 １６ 第二エリア代表抽出手段、 １７ 第二候補抽出手段、 １８ 第二信頼性評価手段、 １９ 補間値メモリ、 ２０ フレームメモリ、 ２１ 表示部、 ２３ 参照画素位置選択手段、 ２４ 参照画素位置メモリ。

Claims (14)

1. 第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間装置であって、
   前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する第一ブロック対抽出手段と、
   前記第一ブロック対抽出手段により抽出された複数の画素ブロック対のそれぞれについて、各画素ブロック対を構成する２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する第一類似度計算手段と、
   前記第一類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を第一候補ブロック対として選択する第一候補ブロック対抽出手段と、
   前記第一候補ブロック対の類似度又はそれを補正した値から、前記第一候補ブロック対の信頼性を評価する第一信頼性評価手段と、
   補間フレームの補間画素を含む画素ブロックと、前記第１又は第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する第二ブロック対抽出手段と、
   前記第二ブロック対抽出手段により抽出された複数の画素ブロック対のそれぞれについて、各画素ブロック対を構成する２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する第二類似度計算手段と、
   前記第二類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を第二候補ブロック対として選択する第二候補ブロック対抽出手段と、
   前記第二候補ブロック対の類似度又はそれを補正した値から、前記第二候補ブロック対の信頼性を評価する第二信頼性評価手段と、
   前記第一信頼性評価手段の第一信頼性評価結果と前記第二信頼評価手段の第二信頼性評価結果により、前記第一候補ブロック対を構成する画素ブロックの中心位置、又は前記第二候補ブロック対を構成する、前記第１又は前記第２の参照フレームの画素ブロックの中心位置、又は
   当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を参照画素位置として選択する参照画素位置選択手段と、
   前記参照画素位置選択手段により選択された参照画素位置の画素値に基づいて前記補間画素の画素値を決定する補間値決定手段と
   を備えることを特徴とするフレーム補間装置。
2. 前記参照画素位置選択手段が、前記第二候補ブロック対を構成する、前記第１又は前記第２の参照フレームの画素ブロックの中心位置を、前記参照画素位置とするとき、
   前記補間値決定手段は、前記参照画素位置の画素値を、前記補間画素の画素値とする
   ことを特徴とする請求項１に記載のフレーム補間装置。
3. 前記参照画素位置選択手段が、前記第二候補ブロック対を構成する、前記第１又は前記第２の参照フレームの画素ブロックの中心位置を、前記参照画素位置とするとき、
   前記補間値決定手段は、前記参照画素位置の画素値と、前記補間画素を中心として、前記参照画素位置と対称の位置にある前記第２又は前記第１の参照フレームの画素の値との平均値を、前記補間画素の画素値とする
   ことを特徴とする請求項１に記載のフレーム補間装置。
4. 前記第一ブロック対抽出手段により抽出された複数のブロック対を、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向が近似しているものが同じエリアに属することとなるように、複数のエリアに分割する第一エリア分割手段と、
   前記第一エリア分割手段により分割された各々のエリアで、前記第一類似度計算手段により計算された類似度が最も大きい画素ブロック対を第一エリア代表ブロック対として抽出する第一エリア代表抽出手段と
   をさらに備え、
   前記第一信頼性評価手段は、
   前記第一エリア代表抽出手段により抽出された前記複数個の第一エリア代表ブロック対のうちで、前記類似度又はそれを補正したものが最も大きい画素ブロック対を第一候補ブロック対として選択するとともに、前記第一エリア代表抽出手段により抽出された前記複数個の第一エリア代表ブロック対の中から前記第一候補ブロック対以外のもののうちで、前記類似度又はそれを補正したものが最も大きい画素ブロック対を第一評価用ブロック対として選択し、
   前記第一候補ブロック対の類似度又はそれを補正したものと前記第一評価用ブロック対の類似度又はそれを補正したものの大きさに基づき、前記第一候補ブロック対の信頼性を評価する
   ことを特徴とする請求項１に記載のフレーム補間装置。
5. 前記第二ブロック対抽出手段により抽出された複数のブロック対を、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向が近似しているものが同じエリアに属することとなるように、複数のエリアに分割する第二エリア分割手段と、
   前記第二エリア分割手段により分割された各々のエリアで、前記第二類似度計算手段により計算された類似度が最も大きい画素ブロック対を第二エリア代表ブロック対として抽出する第二エリア代表抽出手段と
   をさらに備え、
   前記第二信頼性評価手段は、
   前記第二エリア代表抽出手段により抽出された前記複数個の第二エリア代表ブロック対のうちで、前記類似度又はそれを補正したものが最も大きい画素ブロック対を第二候補ブロック対として選択するとともに、前記第二エリア代表抽出手段により抽出された前記複数個の第二エリア代表ブロック対の中から前記第二候補ブロック対以外のもののうちで、前記第二類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を第二評価用ブロック対として選択し、
   前記第二候補ブロック対の類似度又はそれを補正したものと前記第二評価用ブロック対の類似度又はそれを補正したものの大きさに基づき、前記第二候補ブロック対の信頼性を評価する
   ことを特徴とする請求項１に記載のフレーム補間装置。
6. 前記第一ブロック対抽出手段は、前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する
   ことを特徴とする請求項１に記載のフレーム補間装置。
7. 前記第一ブロック対抽出手段は、前記第１又は第２の参照フレームの一つの画素ブロックを選択したまま、前記第２又は第１の参照フレーム内の、前記一つの画素ブロックとは異なる位置にあるに画素ブロックを順次選択して、該一つの画素ブロックと該順次選択される画素ブロックの各々とにより構成される画素ブロック対を複数個抽出する
   ことを特徴とする請求項１に記載のフレーム補間装置。
8. 前記第二ブロック対抽出手段は、補間フレーム内の既に補間した画素を含むブロックと前記第１又は第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する
   ことを特徴とする請求項１に記載のフレーム補間装置。
9. 前記第二ブロック対抽出手段は、前記補間画素位置より前で既に補間した画素のブロックと、前記第１の参照フレームの画素ブロック、及び前記第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する
   ことを特徴とする請求項１に記載のフレーム補間装置。
10. 前記参照画素位置選択手段は、
    前記第一信頼性評価手段で信頼性があるとの判断がなされた場合は、前記第一候補ブロック対抽出手段により抽出された第一候補ブロック対を構成する前記第１及び第２の参照フレームの画素ブロックの中心位置を参照画素位置として選択し、
    前記第一信頼性評価手段で信頼性がないとの判断がなされ、前記第二信頼性評価手段で信頼性があるとの判断がなされた場合は、前記第二候補ブロック対抽出手段により抽出された第二候補ブロック対を構成する前記第１又は第２の参照フレームの画素ブロックの中心位置を参照画素位置として選択し、
    前記第一信頼性評価手段及び前記第二信頼性評価手段の双方で信頼性がないとの判断がなされた場合は、当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を選択する
    ことを特徴とする請求項１に記載のフレーム補間装置。
11. 前記第一信頼性評価手段及び前記第二信頼性評価手段の双方で信頼性がないとの判断がなされた場合は、当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を選択する
    前記参照画素位置選択手段は、当該補間画素位置の近傍に位置し、前記第一信頼性評価手段又は第二信頼性評価手段で信頼性があるとの判断がなされた参照画素位置を有する画素位置についての参照画素位置に基づく線形補間により、当該補間画素位置についての参照画素位置を求める
    ことを特徴とする請求項１に記載のフレーム補間装置。
12. 前記第一信頼性評価手段は、前記第一エリア代表抽出手段により抽出されたすべてのエリアの第一エリア代表ブロック対の類似度又はそれを補正したものの平均値、前記第一候補ブロック対の類似度又はそれを補正したもの及び前記第一評価用ブロック対の類似度又はそれを補正したものを用いて、信頼性を評価し、
    前記第二信頼性評価手段は、前記第二エリア代表抽出手段により抽出されたすべてのエリアの第二エリア代表ブロック対の類似度又はそれを補正したものの平均値、前記第二候補ブロック対の類似度又はそれを補正したもの及び前記第二評価用ブロック対の類似度又はそれを補正したものを用いて、信頼性を評価する
    ことを特徴とする請求項１に記載のフレーム補間装置。
13. 請求項１のフレーム補間装置で生成された補間フレームと、前記第１の参照フレーム及び前記第２の参照フレームを画像として表示する画像表示装置。
14. 第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間方法であって、
    前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する第一ブロック対抽出ステップと、
    前記第一ブロック対抽出ステップにより抽出された複数の画素ブロック対のそれぞれについて、各画素ブロック対を構成する２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する第一類似度計算ステップと、
    前記第一類似度計算ステップにより計算された類似度又はそれを補正したものが最も大きい画素ブロック対を第一候補ブロック対として選択する第一候補ブロック対抽出ステップと、
    前記第一候補ブロック対の類似度又はそれを補正した値から、前記第一候補ブロック対の信頼性を評価する第一信頼性評価ステップと、
    補間フレームの補間画素を含む画素ブロックと、前記第１又は第２の参照フレームの画素ブロックとからなる画素ブロック対を複数個抽出する第二ブロック対抽出ステップと、
    前記第二ブロック対抽出ステップにより抽出された複数の画素ブロック対のそれぞれについて、各画素ブロック対を構成する２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する第二類似度計算ステップと、
    前記第二類似度計算ステップにより計算された類似度又はそれを補正したものが最も大きい画素ブロック対を第二候補ブロック対として選択する第二候補ブロック対抽出ステップと、
    前記第二候補ブロック対の類似度又はそれを補正した値から、前記第二候補ブロック対の信頼性を評価する第二信頼性評価ステップと、
    前記第一信頼性評価ステップによる第一信頼性評価結果と前記第二信頼評価ステップによる第二信頼性評価結果により、前記第一候補ブロック対を構成する画素ブロックの中心位置、又は前記第二候補ブロック対を構成する、前記第１又は前記第２の参照フレームの画素ブロックの中心位置、又は当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を参照画素位置として選択する参照画素位置選択ステップと、
    前記参照画素位置選択ステップにより選択された参照画素位置の画素値に基づいて前記補間画素の画素値を決定する補間値決定ステップと
    を備える
    ことを特徴とするフレーム補間方法。

Images