JP2010016568A - 画像処理装置 - Google Patents

Abstract

【課題】ハードウェアの増加を伴わず、より精度の高い動きベクトルの算出を可能にする。
【解決手段】画像処理装置は、フレーム画像を複数のブロックに分割する画面分割部２と、ブロックが静止画または動画であるかを判定する判定部３と、動きベクトルを算出する基準ブロックに対応する、１フレーム前のフレーム画像の各ブロックの前記動きベクトル情報に基づいて探索範囲を拡大する方向を示す拡大ベクトル情報を出力する拡大ベクトル算出部６と、、前記基準ブロックの周囲のブロックのうち、静止画と判定されたブロックの数と、前記拡大ベクトル情報とに従って探索範囲を設定する探索範囲設定部７と、設定された探索範囲において動きベクトル情報を算出する動きベクトル計算部８と、算出された動きベクトルに基づいて補間フレーム画像を生成する動き補償部１０とを備えることを特徴とする。
【選択図】図１

Description

本発明は、順次走査信号として入力されるフレーム画像において、動きベクトルに応じて補間フレーム画像を生成する画像処理装置に関する。

従来、入力される映像信号を倍速フレームレート化する際には、元画像のフレーム間に元画像のフレームから生成した補間フレームの映像信号を挿入する方法が知られている。この方法によれば、一画面を所定のサイズのブロックに分割し（以下、マッチングブロック）、このマッチングブロックが次のフレームでどこに移動したかを計算することにより動きベクトル情報を算出する。この動きベクトルを求める方法の１つとして、ブロックマッチング法がある。

ブロックマッチング法による動きベクトル情報算出方法によれば、フレーム間でのマッチングブロック同士の相関を検出することで、動きベクトルを検出する。従って、動きの速い画像について動きベクトルの検出精度を上げるためには、できるだけ広い探索範囲においてマッチングブロック同士の相関を計算することが必要となる。また、動きベクトルの検出処理は、マッチングブロック内において画素ごとの演算による相関値算出処理が必要であり、リアルタイムでマッチングブロックの相関を調べられる探索範囲としては時間的制約が伴うか、ハードウェア規模増加を招いてしまう。

特許文献１は、演算量の増加を防ぎつつ、ブロックマッチング法を行う技術を開示している。特許文献１の技術は、符号化ブロックの動き量に応じて探索範囲の大きさを決める処理を行っている。符号化ブロックの動き量が大きい場合には探索範囲を拡大し、符号化ブロックの動き量が小さい場合には探索範囲を小さくすることによって、探索範囲の部分最適化を行い、ハードウェア演算量が増大しないように制御を行っている。ただし、探索範囲を拡大する場合にはマッチングブロックのサイズを大きくする。大きくしたマッチングブロック内の演算量を減らすために、相関値計算処理を行うサンプリング画素数を減らす。このように、画素情報を減らすことで探索範囲の拡大を行う。
特開２００３−１６９３３８号公報

しかしながら、上述した従来の技術では、ハードウェアの増加を抑制するために、探索範囲の大きさに応じてマッチングブロック内のサンプリング画素数を減少させて、相関値を算出するという処理を行っている。従って、動きの大きい映像についてブロックマッチング法を行うとき、探索範囲を拡大するとともにマッチングブロックのサイズを拡大するが、サンプリング画素数を減少させることによって動きベクトル検出精度が低下してしまう。

一般的に、正確な補間フレーム画像を生成するためには、動きベクトルの検出精度の向上が必要となる。これを実現するためにはマッチングブロックのサイズを小さくし、より多くの情報量から相関値算出を求めることによって、検出精度を向上させる必要がある。しかし、従来の技術では、ハードウェアの増加を伴わず、検出精度の向上を実現することは困難であるという課題があった。

そこで、本発明の目的は、ハードウェアの増加を伴わず、より精度の高い動きベクトルの算出を可能にする画像処理装置を提供することにある。

上述した課題を解決するために、本発明は、順次走査信号として入力されるフレーム画像から、動きベクトルに応じて補間フレーム画像を生成する画像処理装置において、フレーム画像を複数のブロックに分割する画面分割部と、各ブロックが静止画または動画であるかを判定する判定部と、動きベクトルを算出する基準ブロックに対応する、１フレーム前のフレーム画像の各ブロックの動きベクトル情報に基づいて、当該基準ブロックの動きベクトルを探索する探索範囲を拡大する方向を示す拡大ベクトル情報を出力する拡大ベクトル算出部と、基準ブロックの周囲のブロックのうち、静止画と判定されたブロックの数と、拡大ベクトル情報とに従って探索範囲を設定する探索範囲設定部と、設定された探索範囲において、基準ブロックの動きベクトル情報を算出する動きベクトル計算部と、ベクトル計算部で算出した動きベクトルに基づいて補間フレーム画像を生成する動き補償部とを備えることを特徴とする。

本発明によれば、補間フレーム画像の生成をブロックマッチング法により行う場合、探索範囲内に静止画と判定されたブロックがあるとき、そのブロックに対して相関計算処理をせず、動画と判定されたブロックの数に応じて探索範囲を拡大することによって、ブロックのサイズを維持したまま、限られたリソース内でより精度の高い探索を実現できる。

以下、本発明の実施形態について、図面を用いて、詳細に説明する。なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第1実施形態＞
図１は、本発明に係る画像処理装置の倍速フレーム生成制御部の構成を示すブロック図である。図１において、６０Ｈｚの順次走査信号（プログレッシブ信号）をシステムに入力し、１２０Ｈｚの順次走査信号（プログレッシブ信号）を出力する場合の構成を示している。

本発明に係る画像処理装置は、フレームデータメモリ１と、画面分割部２と、静止画／動画判定部３とを備えている。

フレームデータメモリ１は、入力される映像信号（６０Ｈｚ）を保存する。フレームデータメモリ１は、入力される映像信号を逐次保存し、複数フレーム分の映像データを保存できる。

画面分割部２は、フレームデータメモリの映像データを、横ｋ_ｍａｘ、縦ｌ_ｍａｘ個のブロックに分割し、静止画／動画判定部３及び探索中心決定部５に分割情報ｋ_ｍａｘ、ｌ_ｍａｘを出力する。画面分割部２は、また、１フレームの入力信号を分割した１個のブロックをマッチングブロックとし、そのマッチングブロックの座標を（ｋ，ｌ）とする。座標は１フレーム映像の左上を（０，０）とし、右に向かって（１，０）、（２，０）とカウントアップし、下に向かっては（０，１）、（０，２）とカウントアップし、右下の最終座標は（ｋ_ｍａｘ−１、ｌ_ｍａｘ−１）とする。

静止画／動画判定部３は、横ｋ_ｍａｘ、縦ｌ_ｍａｘに分割されたブロックごとに静止画／動画の判定を行い、静止画／動画判定情報α（ｋ，ｌ）をフレーム静動メモリ４に出力する。α（ｋ，ｌ）は、マッチングブロック座標（ｋ，ｌ）の静止画／動画判定情報を示す。

図２に、静止画／動画判定部３による静止画／動画の判定方法のフローチャートを示す。ここではｕフレーム目の静止画動画判定を行うとする。

まず、静止画／動画判定部３は、静止画／動画判定を行うマッチングブロックの座標を原点（０，０）に設定する（Ｓ３０１）。また、マッチングブロック（ｋ，ｌ）内の画素毎の座標を（ｉ，ｊ）とし、マッチングブロック内の画素数は横方向にｉ_ｍａｘ個、縦方向にはｊ_ｍａｘ個の画素があるとする。座標は、マッチングブロック内の左上を（０，０）とし、右に向かって（１，０）、（２，０）とカウントアップし、下に向かっては（０，１）、（０，２）とカウントアップし、右下の座標は（ｉ_ｍａｘ−１、ｊ_ｍａｘ−１）となる。

続いて、静止画／動画判定部３は、マッチングブロック内の計算を行う座標を原点に設定する（Ｓ３０２）。画素（ｉ，ｊ）について、あるｕフレーム目とｕ−１フレーム目のフレーム差分の絶対値Ｙ（ｉ，ｊ）を計算する（Ｓ３０３）。Ｙ（ｉ，ｊ）が静止画か動画を判定する閾値Ｆより大きいかどうかを判定する（Ｓ３０４）。Ｆよりければ画素静止画判定結果Ｚ（ｉ，ｊ）を１とし（Ｓ３０５）、Ｆ以下であればＺ（ｉ，ｊ）を０とする（Ｓ３０６）。

静止画／動画判定部３は、以上の処理をブロックマッチング内のすべての画素で行ったかどうかの判定を行う（Ｓ３０７）。マッチングブロック内の画素すべての処理が終わっていなければ、ｉ，ｊをカウントアップし（Ｓ３０８）、すべての画素について処理が終わるまで繰り返す。

続いて、静止画／動画判定部３は、マッチングブロック内のＺ（ｉ，ｊ）をすべて加算した合計値Ｃ（ｋ，ｌ）を計算する（Ｓ３０９）。計算したＣ（ｋ，ｌ）がマッチングブロック静止画判定閾値ｔｈｒｅｓｈよりも大きいかどうかを判定する（Ｓ３１０）。ここでマッチングブロック座標（ｋ，ｌ）の静止画／動画判定情報をα（ｋ，ｌ）とする。次に、Ｃ（ｋ，ｌ）がｔｈｒｅｓｈよりも大きければ、α（ｋ，ｌ）を１とし（Ｓ３１１）、ｔｈｒｅｓｈ以下ならばα（ｋ，ｌ）を０とする（Ｓ３１２）。そして静止画／動画判定部３は、最終的に求めたα（ｋ，ｌ）をフレーム静動メモリ４に対して出力する（Ｓ３１３）。

静止画／動画判定部３は、すべてのマッチングブロックに対して、静止画／動画判定を行ったかどうかを確認し（Ｓ３１４）、行っていない場合はマッチングブロックの座標をカウントアップする（Ｓ３１５）。すべてのマッチングブロックの静止画／動画判定処理が終了したら終了となる。

図３に、「Ａ」という文字が画面の右から左に移動した場合の静止画／動画判定処理を示す。

図３（ａ１）〜（ａ４）に、「Ａ」という文字が画面の右から左に移動している状態を示す。図３（ｂ１）から（ｂ４）に、図３（ａ１）〜（ａ４）の映像をマッチングブロックに分割した状態に示す。図３（ｃ１）から（ｃ４）に、マッチングブロックごとに静止画／動画判定処理を行った結果を示す。

図３において、（ｂ１）フレームと（ｂ２）フレームのフレーム差分情報から得られた結果を（ｃ２）フレームとしている。同様に、（ｂ２）フレームと（ｂ３）フレームから（ｃ３）フレームを求める。例えば、（ｂ２）フレームと（ｂ３）フレームを比較して、「Ａ」と言う文字が、出現あるいは消滅したマッチングブロックを動画と判定し（以下、動画ブロック）、変化のないマッチングブロックを静止画と判定する（以下、静止画ブロックという）。静止画ブロックは白で塗りつぶされた枠３１１で示され、動画ブロックは斜線枠３１２で示される。また、１画面内で同様の枠で表示された箇所は同じ意味を示す。

なお、本発明における静止画／動画の判定方法は一例に過ぎず、これに限られず、他の判定方法であってもよい。

図１に示すように、本発明に係る画像処理装置は、フレーム静動メモリ４と、探索中心決定部５と、拡大ベクトル算出部６とを備えている。

フレーム静動メモリ４は、静止画／動画判定部３で判定したマッチングブロックごとの静止画／動画判定情報αを保存する。ここでは入力されるαを逐次保存し、複数フレーム分のデータを保存できる。

探索中心決定部５は、動きベクトルを探索する基準ブロック（以下、基準マッチングブロック）の座標を決定し、その情報を拡大ベクトル算出部６、探索範囲設定部７、動きベクトル計算部８、動き補償部１０に出力する。

基準マッチングブロックの座標は静止画／動画判定部３と同様の座標軸をとり、その座標を（ｍ，ｎ）とする。座標を出力する順番としては１フレーム映像の左上を（０，０）とし、右に向かって（１，０）、（２，０）とカウントアップし、右までカウントアップしたら１段下にずれ（１，１）、（１，２）とカウントアップしていき、（ｋ_ｍａｘ−１、ｌ_ｍａｘ−１）までカウントアップする。

拡大ベクトル算出部６は、探索中心決定部５からの基準マッチングベクトルの座標（ｍ，ｎ）、フレームベクトルメモリ９からの１フレーム前の動きベクトル情報ｖ_ｏｌｄ（ｍ，ｎ）から探索範囲拡大方向ベクトルｖ_ｓｕｂ（ｍ，ｎ）を算出し、探索範囲設定部７に出力する。探索範囲拡大方向ベクトルｖ_ｓｕｂは、探索範囲設定部７で探索範囲を拡大する方向を決める拡大ベクトル情報である。

図４Ａに、拡大ベクトル算出部６による探索範囲拡大方向ベクトルｖ_ｓｕｂを算出するフローチャートを示す。
まず、拡大ベクトル算出部６は、ｖ_ｏｌｄ（ｍ，ｎ）ベクトルの、横方向の大きさε_ｘと縦方向の大きさε_Ｙを求める（Ｓ６０１）。次に、拡大ベクトル算出部６は、ε_ｘの絶対値がベクトル大きさ判定閾値ξ以下かどうかを判定する（Ｓ６０２）。ε_ｘがξより大きいならば、ε_ｘが正か負かを判定する（Ｓ６０３）。正ならばε_ｘを−βと置き換え（Ｓ６０５）、負ならばβと置き換える（Ｓ６０６）。

βは基準マッチングブロックの映像が、前のフレームにおけるどのマッチングブロックに存在していたかを示す動きベクトルｖ_ｏｌｄ（ｍ，ｎ）を、縦及び横成分の大きさに分解した場合に、この大きさを一定にそろえるために置き換えるベクトル量である。ベクトルの大きさは数ブロックの大きさを示す量である。拡大ベクトル算出部６は、ε_ｘ、ε_Ｙの大きさをβに統一する。これによって探索範囲を拡大する方向を８方向にまとめることができ、探索範囲設定部７において探索範囲を拡大する処理の規模を小さくすることができる。またε_ｘとε_Ｙは元のベクトル方向に対して、逆向きとなるように置き換える。これは動きベクトル計算部８では現在のフレームから過去のフレームを参照して動きベクトルを算出するために、１フレーム前の基準マッチングブロックの動きベクトル方向と、探索範囲の拡大方向が逆になるためである。

次に、拡大ベクトル算出部６は、ε_Ｙの絶対値がξ以下かどうかを判定する（Ｓ６０７）。ε_Ｙがξより大きいならば、ε_Ｙが正か負かを判定する（Ｓ６０９）。正ならばε_ｙを−βと置き換え（Ｓ６１０）、負ならばβと置き換える（Ｓ６１１）。ε_Ｙの絶対値がξ以下の場合、ε_ｙを０とする（Ｓ６１２）。

また、拡大ベクトル算出部６は、ε_ｘがξ以下ならば、ε_Ｙの絶対値がξ以下かどうかを判定する（Ｓ６０８）。ε_Ｙがξより大きいならば、ε_Ｙが正か負かを判定する（Ｓ６１３）。正ならばε_ｙを−βと置き換え（Ｓ６１４）、負ならばβと置き換える（Ｓ６１５）。ステップＳ６０８においてε_Ｙの絶対値がξ以下の場合、基準マッチングブロックの座標に応じたε_ｘとε_Ｙを図４Ｂのテーブルより求める（Ｓ６１６）。

拡大ベクトル算出部６は、最終的に求めたε_ｘとε_Ｙをｖ_ｓｕｂ（ｍ，ｎ）のｘ方向成分、ｖ方向成分の動きベクトルのベクトル量（すなわち、拡大ベクトル情報）として、探索範囲設定部７に出力する（Ｓ６１７）。

ｖ_ｏｌｄ（ｍ，ｎ）から判定を行い、基準マッチングブロックが前のフレームにおいて動いていたという情報がある場合は、そのまま探索範囲をその方向に対して拡大するｖ_ｓｕｂ（ｍ，ｎ）を設定する。前のフレームの動き情報が小さければ基準マッチングブロックの映像情報が突然現れたと判断し、基準マッチングブロックの座標に応じたｖ_ｓｕｂを設定することを行う。

探索範囲設定部７は、拡大ベクトル算出部６から出力されるｖ_ｓｕｂ（ｍ，ｎ）と、探索中心決定部６からの基準マッチングベクトルの座標（ｍ，ｎ）、フレーム静動メモリ４からのマッチングベクトルの静止画／動画判定情報を元に、動きベクトルを探索する探索範囲を設定する。

図５に、探索範囲設定部７による探索範囲を設定するフローチャートを示す。図６は、探索範囲を設定する場合の模式図である。

まず、探索範囲設定部７は、座標（ｍ，ｎ）の基準マッチングブロックの初期探索範囲を設定する（Ｓ７０１）。図６（ａ）に初期探索範囲を設定する模式図を示す。この図６（ａ）は基準マッチングブロック７２１を中心として、その周囲に５×５の黒枠で囲われた初期探索範囲７２２を設定した場合を示す。

次に、探索範囲設定部７は、ｖ_ｓｕｂ（ｍ，ｎ）から探索範囲の拡大方向を求めるベクトルγ_ｘ、γ_ｙを算出する（Ｓ７０２）。次にγ_ｘ、γ_ｙの大きさに応じて、基準万チン具ブロック７２１の周囲における静止画と判定された個数Ｓ_ｐを検出する処理を行う。まずγ_ｘが０かどうかを判定する（Ｓ７０３）。γ_ｘ＝０の場合には、初期探索範囲内の所定の１列を一つの集合として、１列ごとのＳ_ｐを算出する（Ｓ７０５）。図６（ｂ）に１列を所定の一つの集合としてＳ_ｐを算出する範囲７２３を示した模式図を示す。

静止画と判定された個数Ｓ_ｐは、例えば、探索範囲が５×５のマッチングブロックで構成される場合、行単位及び列単位で検出した場合ではｐは１から５の値をとり、斜め方向単位で検出した場合ではｐは１から９までの値をとる。図６（ｆ）に１行を一つの集合としてＳ_ｐを算出する範囲７２８を示した模式図、図６（ｇ）に斜め方向を一つの集合としてＳ_ｐを算出する範囲７２９を示した模式図を示す。

ステップＳ７０３において、探索範囲設定部７は、γ_ｘ＝０でない場合には、γ_Ｙが０かどうかを判定する（Ｓ７０４）。探索範囲設定部７は、γ_Ｙ＝０の場合には行を一つの集合として行単位でＳ_ｐを検出する（Ｓ７０６）。探索範囲設定部７は、γ_Ｙ＝０でない場合には、斜め方向を一つの集合として、斜め方向単位でＳ_ｐを検出する（Ｓ７０７）。

次に、探索範囲設定部７は、ε_ｘ、ε_Ｙで示されるベクトル方向に従って、Ｓ_ｐに応じた個数分だけ周囲に探索範囲を拡大して設定する（Ｓ７０８）。図６（ｃ）に右横方向に探索範囲を拡大した場合の模式図を示す。初期探索範囲７２２の中で動画と判定されたマッチングブロック（以後、動画マッチングブロックと称する）を斜線で囲われたブロック７２４で示す。白で塗りつぶされているマッチングブロック７２７を静止画と判定されたマッチングブロック（以後、静止画マッチングブロック）として示す。

図６（ｃ）の場合、初期探索範囲７２２のＳ_ｐを求めると、Ｓ_１＝５、Ｓ_２＝３、Ｓ_３＝３、Ｓ_４＝２、Ｓ_５＝５となる。このＳ_ｐに従って、探索範囲を右に拡大したエリアを拡大探索エリア７２５で示す。また、拡大探索エリア７２５の中で、探索を行う探索拡大マッチングブロック７２６を黒で塗りつぶされている枠のエリアとして示す。

図６（ｃ）は、横方向の拡大を行った場合の例を示したが、図６（ｄ）に縦方向（下方向）に探索範囲を拡大した場合の模式図を示す。図（ｅ）に、斜め方向（右下）に探索範囲を拡大した場合の模式図を示す。得られた拡大探索エリア情報及び探索拡大マッチングブロック情報が動きベクトル計算部８に出力される。

このように探索範囲を拡大することによって、例えば文字がスクロールする場合において、出現した位置に応じたスクロール方向に対する探索範囲を設定することができ、より正確な探索範囲を設定できるようになる。図７に、図３（ａ１）〜（ａ４）に示したように「Ａ」という文字が右から左に移動している場合において、図３（ｃ３）のフレームにおいて、探索範囲の拡大を示す。

図７（ａ）で、基準マッチングブロックに対して初期探索範囲７２２を設定し、その中でＳ_ｐを行単位で検出する。次に、各行ごとに検出したＳ_ｐの個数に応じて探索拡大エリア７２５を設定する。図７（ｂ）に、探索拡大エリアを設定する模式図を示す。また、図７（ｃ）に、探索を行う探索拡大マッチングブロック７２６を示す。

このように処理を行う事で、図７（ａ）に示す初期探索エリアでは次に「Ａ」という文字が次に移動したエリアまで基準マッチングブロックの探索範囲が広がらない。従って、正しい動きベクトルを検出できない。しかし、本発明によって探索範囲の拡大を行うと、図７（ｃ）に示すように、基準マッチングブロックに対して、「Ａ」という文字が移動した先まで探索範囲が広がる。従って、正しい動きベクトルを計算できるようになる。また、基本探索処理を行うマッチングブロック数及びマッチングブロックサイズを変えずに探索範囲を広くすることができるため、より正確な動きベクトル探索範囲を設定できる。

さらに、図１に示すように、本発明に係る画像処理装置は、動きベクトル計算部８と、フレームベクトルメモリ９と、動き補償部１０とを備えている。

動きベクトル計算部８は、探索中心決定部５からの基準マッチング座標情報（ｍ，ｎ）、フレームデータメモリより出力される映像データ、探索範囲設定部７からの拡大探索エリア情報、及び探索拡大マッチングブロック情報より、基準マッチングブロックの動きベクトルを算出する。ここでは、基準マッチングブロックと拡大探索エリア内の探索拡大マッチングブロックとの差分絶対値和（sum of absolute difference：以下ＳＡＤと称する）を計算し、この値が最小値となるものから動きベクトルを求める。算出した動きベクトル情報はフレームベクトルメモリ９及び動き補償部１０に出力される。

第１実施形態ではＳＡＤを用いるが、ブロックマッチングによる動きベクトルの算出はこれ以外の方法を適応してもかまわない。

フレームベクトルメモリ９では動きベクトル計算部８から出力される基準マッチングブロックごとの動きベクトル情報を複数フレームにわたって保存する。

動き補償部１０では、フレームデータメモリ１から出力される６０Ｈｚの映像信号、探索中心決定部５からの基準マッチングベクトルの座標情報（ｍ，ｎ）、及び動きベクトル計算部８からの動きベクトル情報に基づいて、補間フレーム画像（１２０Ｈｚ）を生成する。

図８に、動き補償部１０による補間フレームを生成する処理の模式図を示す。
図８（ａ１）、（ａ２）は、６０Ｈｚで入力された連続の映像信号を示す。動き補償部１０は、動きベクトル計算部８の処理において得られる動きベクトルから、図８（ａ１）、（ａ２）の中間フレームである図８（ａ３）のフレーム画像を生成する。

第１実施形態によれば、以下の効果を奏する。
補間フレーム画像の生成をブロックマッチング法により行う場合、探索範囲内に静止画と判定されたブロックがあるとき、そのブロックに対して相関計算処理をせず、動画と判定されたブロックの数に応じて探索範囲を拡大することによって、ブロックのサイズを維持したまま、限られたリソース内でより精度の高い探索を実現できる。

探索範囲を拡大して動きベクトルを算出し、またブロックのサイズを維持するため、ハードウェアの増加を伴うことなく、より精度の高い動きベクトルの算出を行うことができる。

＜第２実施形態＞
第１実施形態は、動きベクトルの探索範囲を拡大する情報を得るために、入力される信号から静止画／動画判定を行って、静止画マッチングブロックの相関を計算する処理を行わず、探索範囲を拡大するものであった。第２実施形態では、第１実施形態の処理を表示制御装置に適応し、探索範囲の改善を行う。

図９に、第２実施形態である画像処理装置のブロック図を示す。画像処理装置は、表示制御装置１０００と、画像表示装置１００１とから構成される。表示制御装置１０００は、本発明に係る倍速フレーム生成部１１を備えている。

表示制御装置１０００は、映像を受信するチューナー部１３と、インターレース信号をプログレッシブ信号に変換するＩ／Ｐ変換部１２と、倍速フレーム生成部１１とから構成される。画像表示装置１００１は、入力映像信号から表示パネルを駆動する信号を生成する駆動制御部１４と、入力信号を表示する表示パネル１５とから構成される。

図１０に、表示制御装置１０００における倍速フレーム生成部１１のブロック図を示す。

倍速フレーム生成部１１は、フレームデータメモリ１と、画面分割部２と、フレーム静動メモリ４と、探索中心決定部５と、拡大ベクトル算出部６と、探索範囲設定部７と、動きベクトル計算部８と、フレームベクトルメモリ９と、動き補償部１０とから構成される。

続いて、倍速フレーム生成部１１の動作を説明する。Ｉ／Ｐ変換部１２が第１実施形態で説明した静止画／動画判定部３と同様の処理をおこない、その結果をフレーム静動メモリ４に出力する。フレーム静動メモリ４は、入力される静動情報信号を複数フレームにわたって保存する。このフレーム静動メモリ４以外の処理は実施例１で説明を行った内容と同様の処理を行い、６０Ｈｚの入力映像信号から１２０Ｈｚの補間フレーム画像の生成を行う。

このように、表示制御装置１０００の内部に倍速フレーム生成部１１を設けることによって、本発明を表示制御装置に適応することが可能となる。

第２実施形態によれば、第1実施形態と同様の効果に加え、Ｉ／Ｐ変換部１２で生成される静止画／動画判定情報を共有化することができるようになり、表示制御装置として最適化した規模で実現できるという効果を奏する。

第１実施形態における画像処理装置を構成する倍速フレーム生成制御部のブロック図である。 静止画／動画判定部で静止画／動画判定を行うフローチャートである。 静止画／動画判定部で静止画／動画判定を行う模式図である。 拡大ベクトル算出部で基準ブロックを用いて探索範囲拡大方向ベクトルを算出するフローチャートである。 探索範囲設定部で基準ブロックの動きベクトルの成分を求めるテーブルである。 探索範囲設定部により探索範囲を設定するフローチャートである。 探索範囲設定部による探索範囲の設定例を示す模式図である。 探索範囲設定部による探索範囲の設定例を示す模式図である。 動き補償部による補間フレーム生成処理の模式図である。 第２実施形態である画像表示装置のブロック図である 倍速フレーム生成部を構成するブロック図である。

符号の説明

１ フレームデータメモリ
２ 画面分割部
３ 静止画／動画判定部
４ フレーム静動メモリ
５ 探索中心決定部
６ 拡大ベクトル算出部
７ 探索範囲設定部
８ 動きベクトル計算部
９ フレームベクトルメモリ
１０ 動き補償部
１１ 倍速フレーム生成部
１２ Ｉ／Ｐ変換部
１３ チューナー部
１４ 駆動制御部
１５ 表示パネル
１０００ 表示制御装置
１００１ 画像表示装置

Claims (6)

1. 順次走査信号として入力されるフレーム画像から、動きベクトルに応じて補間フレーム画像を生成する画像処理装置において、
   フレーム画像を複数のブロックに分割する画面分割部と、
   各ブロックが静止画または動画であるかを判定する判定部と、
   動きベクトルを算出する基準ブロックに対応する、１フレーム前のフレーム画像の各ブロックの前記動きベクトル情報に基づいて、当該基準ブロックの動きベクトルを探索する探索範囲を拡大する方向を示す拡大ベクトル情報を出力する拡大ベクトル算出部と、
   前記基準ブロックの周囲のブロックのうち、静止画と判定されたブロックの数と、前記拡大ベクトル情報とに従って探索範囲を設定する探索範囲設定部と、
   前記設定された探索範囲において、前記基準ブロックの動きベクトル情報を算出する動きベクトル計算部と、
   前記ベクトル計算部で算出した動きベクトルに基づいて補間フレーム画像を生成する動き補償部と
   を備えることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記拡大ベクトル算出部は、前のフレーム画像の各ブロックに対応する動きベクトルのベクトル量を所定のベクトル量に置き換え、前記拡大ベクトル情報とすることを特徴とする画像処理装置。
3. 請求項１記載の画像処理装置であって、
   前記探索範囲設定部は、前記基準ブロックの周囲のブロックを含む初期探索範囲を設定し、前記初期探索範囲内の所定の1列ごとに、当該列に含まれる静止画と判定されたブロックの数を算出することを特徴とする画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記1列は、行単位、列単位又は斜め方向単位のいずれかであることを特徴とする画像処理装置。
5. 請求項１記載の画像処理装置であって、
   前記画面分割部は動きベクトル情報を算出するまでブロックのサイズを維持することを特徴とする画像処理装置。
6. 順次走査信号として入力されるフレーム画像から、動きベクトルに応じて補間フレーム画像を生成する画像処理方法において、
   フレーム画像を複数のブロックに分割する画面分割ステップと、
   各ブロックが静止画または動画であるかを判定する判定ステップと、
   動きベクトルを算出する基準ブロックに対応する、１フレーム前のフレーム画像の各ブロックの前記動きベクトル情報に基づいて、当該基準ブロックの動きベクトルを探索する探索範囲を拡大する方向を示す拡大ベクトル情報を出力する拡大ベクトル算出ステップと、
   前記基準ブロックの周囲のブロックのうち、静止画と判定されたブロックの数と、前記拡大ベクトル情報とに従って探索範囲を設定する探索範囲設定ステップと、
   前記設定された探索範囲において、前記基準ブロックの動きベクトル情報を算出する動きベクトル計算ステップと、
   前記ベクトル計算ステップで算出した動きベクトルに基づいて補間フレーム画像を生成する動き補償ステップと、
   を備えることを特徴とする画像処理方法。

Images