JP2009140393A - 映像処理装置、映像表示装置、映像処理方法および映像表示方法 - Google Patents

Abstract

【課題】超解像処理によって得られた画像の動きベクトルに異常が生じても、画像の乱れを抑制し、良好な画像が得られる映像処理装置、映像表示装置、映像処理方法および映像表示方法を提供する。
【解決手段】超解像処理フレーム生成部１１では、動きベクトル生成部１１２は、元フレームと次フレームとの画素ピッチ未満のずれを基に、動きベクトルデータを生成する。以上検出部１１４は、この動きベクトルデータを解析して異常な動きベクトルを検出し、以上検出信号を出力する。合成フレーム生成部１１３は、元フレームに動きベクトルを反映させて超解像処理を施して合成フレームを生成し、元フレームより解像度の高い合成フレームを生成する。そして、異常な動きベクトルが検出されない映像部分については、合成フレームのデータに切り替えて出力され、異常な動きベクトルが検出された映像部分については、超解像処理を施さない映像データが出力される。
【選択図】図３

Description

本発明は、低解像度画像を高解像度画像に高画質変換する「超解像」技術を適用した映像処理装置、映像表示装置、映像処理方法および映像表示方法に関する。

入力された複数の画像フレーム（以下、フレームと略記する）を合成して１枚のフレームとすることにより、高解像度化しながら画素数を増やす技術に、「超解像処理」がある（非特許文献１参照）。図１３に示すように、超解像処理では、１画素ピッチ未満のずれを有する複数のフレームの画像を用い、（１）位置推定、（２）広帯域補間、（３）加重和、の３つの処理により高解像度化を行う。ここで、（１）位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相（標本化位置）の差を推定するものである。（２）広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数（サンプリング点）を補間して増やし、画像データを高密度化するものである。（３）加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。

従来、ノイズを抑制し、パフォーマンスを最適化するため、基準フレームの画像から補間画像を作成して正方形状の所定の大きさのブロックに分割し、ブロックごとに求めたＤＣＴ（離散コサイン変換）係数を参照して、高域の周波数成分がどの程度含まれるかによって、ブロックごとにＰＳＦ（ポイントスプレッド関数）、ＢＰＦ（バックプロジェクション関数）の台と反復演算回数を設定する「画像処理装置」が提案されている（例えば、特許文献１参照）。

特開平２００７−１９３５０８号公報（段落［００２４］〜［００２８］、図７） 『複数のデジタル画像データによる超解像処理』、青木伸著、「Ricoh Technical Report No.24」収載、1998年11月発行

しかしながら、超解像処理では、低解像度映像を高解像度映像に高画質変換するにあたって、動きを推定すること（動きベクトル生成）により高精細化のための合成フレームを生成する際に、移動画素の誤推定やノイズなどの影響によって、生成された動きベクトルが異常となり、生成された画像に目立った影響を与えることがある問題点があった。

また、前記「画像処理装置」（特許文献１記載）では、ブロックを細分化すると、設定すべきパラメータの数が膨大になり、演算を容易に行えない問題点があった。

本発明は、このような事情に鑑みてなされたものであり、高精細画像を生成する「超解像」処理において、動きベクトル生成においてエラーが発生しても、生成する高精細画像に不具合（乱れ）が生じることを容易に抑制できる映像処理装置、映像表示装置、映像処理方法および映像表示方法を提供することを目的とする。

前記課題を解決するため、本発明は、元フレームと１つ以上の次フレームとの画素ピッチ未満のずれを基に、動きベクトルを生成し、この動きベクトルを解析し異常な動きベクトルを検出し、元フレームに動きベクトルを反映させて超解像処理を施して合成フレームを生成し、元フレームより解像度の高い合成フレームを生成する。そして、異常な動きベクトルが検出されない映像部分については、合成フレームのデータに切り替えて出力し、異常な動きベクトルが検出された映像部分については、超解像処理を施さない映像データを出力することを特徴とする。

本発明によれば、超解像処理によって得られた画像の動きベクトルに異常が生じても、画像の乱れを抑制し、良好な画像を得ることができる。

次に、添付した各図を参照し、本発明を実施するための最良の形態（実施形態という）について詳細に説明する。
＜第１実施形態＞
図１は、本発明による第１実施形態の映像表示装置１の主要部を示す構成図である。
この映像表示装置１は、１画素の大きさ未満のずれがある複数の画像を用いて、高解像度の映像（静止画像または複数のフレームからなる動画）を表示するものであって、高解像度表示制御部１０と、走査線駆動部２０と、データ線駆動部３０と、液晶パネル４０と、を具備している。

高解像度表示制御部１０は、入力された表示データに超解像処理を施して高精細画像を表示するための信号（後記）を出力する機能を有する。高解像度表示制御部１０には、垂直同期信号、水平同期信号、データイネーブル信号、表示データ、および、同期クロックが入力されている。高解像度表示制御部１０は、これらの信号およびデータを基に、走査線駆動信号を生成して走査線駆動部２０へ出力し、また、高解像度データ線制御信号を生成してデータ線駆動部３０へ出力する。なお、高解像度表示制御部１０の詳細については、図２を参照して後記する。

走査線駆動部２０は、液晶パネル４０に対して、主走査方向の走査を制御する機能を有する。走査線駆動部２０は、高解像度表示制御部１０から入力された高解像度走査線制御信号を基に、走査線駆動信号を生成し、液晶パネル４０へ出力する。

データ線駆動部３０は、液晶パネル４０に対して、副走査方向の走査を制御する機能を有する。データ線駆動部３０は、高解像度表示制御部１０から入力された高解像度データ線制御信号を基に、データ線駆動信号を生成し、液晶パネル４０へ出力する。

液晶パネル４０は、マトリクス状に配列された多数の画素（図示せず）を有し、高解像度の映像を可視的に表示する機能を有する。これらの画素は、画面を水平方向に走査するための走査線に沿って画面の水平方向に（つまり、副走査方向に）所定個数並べられ、これらの走査線上の画素列を、画面の垂直方向に（つまり、主走査方向に）所定本数並べることにより配置されている。走査線上の画素は、データ線駆動部３０から画面の垂直方向に延伸し、所定ピッチで並べられたデータ線上に配列されている。

液晶パネル４０は、走査線駆動部２０から入力された走査線駆動信号によって、フレームの開始タイミングと、新たな走査線に移るタイミングとを与えられる。また、データ線駆動部３０から入力されたデータ線駆動信号によって、新たな走査線上で走査を開始するタイミングと、同一走査線上の次の画素に移るタイミングと、対応する画素で表示を行うための表示データとが与えられる。

液晶パネル４０の表示解像度は、このように配置された画素のピッチを主な要因として決まるが、少なくとも、外部からの表示データが示す解像度よりも高い（画素数が多い）ことが好ましい。さらに、高解像度表示制御部１０が生成する高解像度表示データ（図２参照）が示す画像の解像度よりも高いことがより好ましい。
液晶パネル４０の代わりに、プラズマディスプレイパネルなど、他のフラットディスプレイパネルを用いてもよいし、ＣＲＴ(Cathode Ray Tube; 陰極線管)など、他の表示装置を用いてもよい（いずれも図示せず）。

図２は、高解像度表示制御部１０を詳細に示すブロック構成図である。
この高解像度表示制御部１０は、超解像処理フレーム生成部１１と、超解像処理切替部１２と、高解像度タイミング生成部１３と、を具備している。

超解像処理フレーム生成部１１は、通常の表示データを複数フレーム分用いて、超解像処理によって高解像度のフレーム表示データを生成する機能を有する。超解像処理フレーム生成部１１には、垂直同期信号、水平同期信号、データイネーブル信号、表示データ、および、同期クロックが入力されている。超解像処理フレーム生成部１１は、これらの信号およびデータを基に、超解像処理によって生成された合成フレーム表示データ、および、超解像処理を施していない元フレーム表示データを出力する。
超解像処理フレーム生成部１１の詳細は、図３を参照して後記する。

超解像処理切替部１２は、画像のデータに異常があるか否かによって、超解像処理したデータと、超解像処理しないデータとを切り替えて出力する機能を有する。超解像処理切替部１２には、元フレーム表示データ、合成フレーム表示データ、および、異常検出信号が入力されている。超解像処理切替部１２は、異常検出信号が“正常”を示している場合、合成フレーム表示データを高解像度表示データとして出力し、異常検出信号が“異常”を示している場合、元フレーム表示データを高解像度表示データとして出力する。

高解像度タイミング生成部１３は、映像を液晶パネル４０（図１参照）に表示させるためのタイミングを供給する各信号を生成し、出力する機能を有する。高解像度タイミング生成部１３には、垂直同期信号、水平同期信号、データイネーブル信号、および、同期クロックが入力されている。高解像度タイミング生成部１３は、高解像度水平開始信号、高解像度水平シフトクロック、高解像度垂直開始信号、および、高解像度垂直シフトクロックを生成し、出力する。

高解像度タイミング生成部１３から出力された高解像度垂直開始信号および高解像度垂直シフトクロックは、高解像度走査線制御信号を成し、走査線駆動部２０（図１参照）へ入力される。
超解像処理切替部１２から出力された高解像度表示データ、ならびに、高解像度タイミング生成部１３から出力された高解像度水平開始信号および高解像度水平シフトクロックは、高解像度データ線制御信号を成し、データ線駆動部３０（図１参照）へ入力される。

図３は、超解像処理フレーム生成部１１を詳細に示すブロック構成図である。
この超解像処理フレーム生成部１１は、画面格納部１１１と、動きベクトル生成部１１２と、合成フレーム生成部１１３と、異常検出部１１４と、を具備している。

画面格納部１１１は、典型的にはＶＲＡＭを含んで構成され、表示データを、表示位置および表示タイミングとともに、例えば先入れ先出し方式（ＦＩＦＯ）で、少なくとも超解像処理に必要なフレーム数分記憶する機能を有する。本実施形態では、説明の都合上、１次元の超解像処理を行う模式的な場合について例示するため、画面格納部１１１は、１フレーム分の表示データを記憶する機能を有しているが、実際の装置では、超解像処理に必要な数フレーム分の表示データを記憶する機能を有することとなる。画面格納部１１１には、垂直同期信号、水平同期信号、データイネーブル信号、表示データ、および、同期クロックが入力されている。画面格納部１１１は、これらの信号およびデータを基にフレーム表示データを生成し、記憶する。

動きベクトル生成部１１２は、２つのフレーム表示データの対応する画素データを比較し、画素ごとの動きを検出して、動きベクトルを抽出し、動きベクトルデータを生成する機能を有する。動きベクトル生成部１１２は、外部から順次入力される次フレーム表示データと、画面格納部１１１から順次読み出した元フレーム表示データとを比較して、動きベクトルデータを生成し、出力する。ここで、次フレーム表示データとは、現に動きベクトル生成部１１２へ入力されつつあるフレーム表示データであり、元フレーム表示データとは、次フレーム表示データより１フレーム分、時間的に先行するフレーム表示データである。

合成フレーム生成部１１３は、フレーム表示データに動きベクトルを加味したフレーム表示データを生成する機能を有する。合成フレーム生成部１１３は、画面格納部１１１から元フレーム表示データを順次読み出し、また、動きベクトル生成部１１２から、動きベクトルデータを入力されている。合成フレーム生成部１１３は、元フレーム表示データに対し、動きベクトルデータに基づき微小なずれを持たせて合成フレーム表示データを生成し、出力する。

異常検出部１１４は、動きベクトルデータを監視し、異常な動きベクトルを検出すると、“異常”である旨と、対応する画素を特定する情報（例えば、位置情報）とを示す異常検出信号を生成し、出力する。異常検出部１１４は、また、異常な動きベクトルを検出しないときは、“正常”である旨の異常検出信号を出力する。異常な動きベクトルとは、例えば、一般撮影において、背景と主要被写体Ｆとの相対的な移動角度や移動量（移動速度）が、通常あり得ないと判断される動きベクトルのことである。異常な動きベクトルは、撮像や録画などにおけるノイズが混入していたり、合成フレーム表示データを生成する際に、類似する性質を持つが被写体としては別個の画素が隣接していたりする場合に生ずることがある。なお、異常な動きベクトルの検出の概念については、図５以降を参照し、後記する。

図４は、超解像処理切替部１２を詳細に示すブロック構成図である。
この超解像処理切替部１２は、超解像処理部１２１と、単純拡大処理部１２２と、データ切替部１２３と、を具備している。

超解像処理部１２１は、類似する（例えば、時間的に近接した）複数の画像に対し、超解像処理を施して、より高解像度の画像を生成する機能を有する。超解像処理部１２１には、超解像処理フレーム生成部１１の画面格納部１１１から読み出された元フレーム表示データと、合成フレーム生成部１１３から出力された合成フレーム表示データとが入力されている（図３参照）。超解像処理部１２１は、これら元フレーム表示データおよび合成フレーム表示データに対し超解像処理を施し、超解像データを生成し、出力する。

単純拡大処理部１２２は、当初の画像の大きさ（画素数）に対する、表示させる画像の大きさの比率に応じて、入力された画像を単純に拡大処理する機能を有する。単純拡大処理部１２２が行う単純拡大処理では、超解像処理によらずに（動きベクトルを用いずに）、元の画像の画素データを補間して画素数を増やし、拡大された画像（画像部分）を生成する。画素データを補間する補間データを得るには、演算負荷もしくは生成処理前後の画像の性質または画質などを考慮して、適切な補間法を選択するとよい。補間の具体例には、例えば次の（１）〜（３）がある。（１）上下左右斜めなどに隣接する画素データを単に複写して補間データとする。（２）元の画素データを線形補間し、補間データを演算する。（３）元の画素データを非線形補間し、補間データを演算する。非線形補間の一例を挙げると、スプライン関数を用いた補間（スプライン補間）がある。なお、単純拡大処理部１２２には、元フレーム表示データが入力されているが、合成フレーム表示データは入力されない。単純拡大処理部１２２は、入力された元フレーム表示データに単純拡大処理を施して単純拡大データを生成し、出力する。

データ切替部１２３は、制御信号（異常検出信号）に従って、複数の入力からひとつを選択出力する機能を有する。データ切替部１２３には、超解像処理部１２１から超解像データが入力され、単純拡大処理部１２２から単純拡大データが入力され、超解像処理フレーム生成部１１の異常検出部１１４（図３参照）から異常検出信号が入力されている。データ切替部１２３は、異常検出信号が“正常”を示しているとき、超解像データを高解像度表示データとして出力し、異常検出信号が“異常”を示しているとき、単純拡大データを高解像度表示データとして出力する。

このように、処理中の画素データについて、異常検出信号が“正常”を示しているときは、この画素の動きベクトルに異常が見られないことを意味するので、超解像処理部１２１による超解像処理によって、良好な高解像度表示データが得られることが期待できる。しかし、仮に、異常検出信号が“異常”を示しているときは、この画素の動きベクトルに異常が見られることを意味するので、このときの超解像データを高解像度表示データとして出力すると、表示画像に乱れが生じるおそれがある。そこで、異常検出信号が“異常”を示している（つまり、異常な動きベクトルを有している）画素データに関しては、単純拡大データを高解像度表示データとして用いる構成とした。単純拡大データによる画像は、超解像データによる画像のような解像度の向上は望めない代わりに、異常な動きベクトルを有する画素があっても、表示画像の乱れが目立たない利点がある。

したがって、（１）異常な動きベクトルを有する画素でなく、良好な高解像度表示データが得られるときは、解像度を改善した高解像度表示データによって、高解像度表示が行え、（２）異常な動きベクトルを有する画素のときは、単純拡大データを用いて表示を行うので、外来ノイズや画像処理エラーなどで生じる表示画像の乱れが目立たない。

次に、図５から図１０の各図を参照して、超解像処理においてノイズやエラーを抑制する原理について、被写体またはフレーミングが異なる処理例をいくつか掲げ、例示的に説明する。

図５は、動きベクトル生成部１１２および合成フレーム生成部１１３による画像処理の第１例を模式的に示す画面説明図である。
図５（ａ）に示すように、元フレームは、背景に人物などの主要被写体Ｆを配した構図である。
図５（ｂ）に示すように、次フレームは、元フレームの画像に時間的に後続する画像であって、カメラ（図示せず）を紙面左方に平行移動するか、カメラを紙面左方向に若干パンして撮像した画像である。図示の都合上、フレーム内を被写体が動いた距離を誇張して示すが、フレーム内で実際に動いた距離は、カメラの撮像素子（有効記録画素）のピッチに相当するフレーム上の距離よりも小さい距離であるとする。これらの画像では、元フレームと次フレームを撮像する間、背景に対して、主要被写体Ｆは相対的に同じ位置である。

図５（ｃ）に示すように、図５（ａ）に示す元フレームと、図５（ｂ）に示す次フレームを重ね合わせ、元フレームの画素から、次フレームの対応する画素への動きを推定できれば、元フレームに関する動きベクトルを生成できる。本実施形態では、元フレームおよび次フレームの２枚のフレームを用いて画像の動きを推定し、動きベクトルを生成している。なお、一般には、図１３に示すように、多数のフレームを用いて処理を行う。具体的には、例えば、前記した非特許文献１記載の周知技術を用いて、画像のずれを推定し、高解像度の合成フレームを生成すればよい。この例では、フレーミングが変化しているが、被写体（背景および主要被写体Ｆ）の相対位置はまったく変化していないので、画面全体にわたって一様な動きベクトルが現れている。

そして、図５（ｄ）に示すように、元フレームから、図５（ｃ）に示す動きベクトルを参照すれば、各画素が微小なずれを有する高解像度の合成フレームを得ることができる。このフレームの画像は、図５（ａ）に示すフレームの画像と比較すると、構図は同じであるが、動きベクトルのフレーム内での方向（左右方向）に約２倍の解像度を有するので、少なくとも左右方向について、当初の表示データが示す解像度の２倍の解像度を有する（つまり、水平解像度が２倍の）液晶パネル４０（図１参照）で表示するのに好適である。

図６は、図５に示す画像処理の第１例において、異常検出部１１４の動作を示す画面説明図およびヒストグラムである。
図６（ａ）に示すように、この例では、まったくエラーやノイズがない場合、画面内で一様な動きベクトルが得られるはずである。
しかしながら、図６（ｂ）に太矢印で示すように、処理エラーやノイズなどがある場合、異常な動きベクトルが発生して、画像を乱す原因となることがある。例えば、元フレームと次フレームとを比較することによって動きを検出するとき、もともと異なる位置にある画素（画像部分）を移動したものと誤って判断してしまい、異常な動きベクトルを生成してしまうことがある。

図６（ｃ）に示すように、横軸に移動角度（移動した画面上の方位）をとり、縦軸に頻度（移動角度ごとの画素数）をとってヒストグラムを描くと、所定の移動角度の範囲にほとんどの頻度（画素数）が集中して現れる。この移動角度の範囲（「正」の範囲）に現れる動きベクトルについては、正しい移動角度の推定に基づき生成された動きベクトルであると判断できる。このように、所定の移動角度の範囲内であって、頻度の合計が所定数以上現れたものを、「正」の範囲として決めればよい。「正」の範囲を広くとると、正しい移動角度の推定に基づいて生成された動きベクトルを誤って排除してしまう可能性が少なくなる利点があるが、処理エラーやノイズなどによる異常な動きベクトルを取り込んでしまう可能性が大きくなる。その逆に、「正」の範囲を狭くとると、処理エラーやノイズなどによる異常な動きベクトルを取り込んでしまう可能性が少なくなる利点があるが、正しい移動角度の推定によって生成された動きベクトルを取りこぼしてしまう可能性が大きくなる。そこで、異常な動きベクトルの発生状況と、正しい移動角度の推定によって生成された動きベクトルの生成状況とを勘案して、ノイズが少なく、高解像度の画像が得られるように、「正」の範囲を適切に決定するとよい。

例えば、図６（ｂ）に示す画像には、大多数の動きベクトルと異なる移動角度の動きベクトルが少数（２つ）、現れている。
図６（ｃ）を参照すると、「正」の範囲外に、これらの動きベクトルを示す頻度が２カ所現れている。このように、「正」の範囲外にあるこれらのデータは、異常な動きベクトルであると容易に判別し、排除することができる。もとより、異常な動きベクトルを有するデータを用いても、正しい高解像度の画像部分は通常は得られない。そこで、これらの異常な動きベクトルを有する画素データを超解像処理に用いる代わりに、該当する画素部分を、単純拡大処理部１２２（図４参照）によって単純拡大処理を施すなどして、不適当なデータを用いた超解像処理に起因するノイズやエラーを抑制することができる。

なお、図６（ｃ）に示すヒストグラムでは、横軸に移動角度をとって表示したが、横軸に移動量（移動速度）をとって同様に表示してもよい。また、移動角度および移動速度の両方を勘案してヒストグラムを作成してもよい。

図７は、動きベクトル生成部１１２および合成フレーム生成部１１３による画像処理の第２例を示す画面説明図である。
図７（ａ）に示すように、元フレームは、背景に人物などの主要被写体Ｆを配した構図である。
図７（ｂ）に示すように、次フレームは、元フレームに時間的に後続する画像であって、カメラ（図示せず）と被写体（背景）との相対位置および相対方向は、元フレームと変わっていない。したがって、元フレームと次フレームとでは、背景のフレーミングはまったく同じである。しかしながら、主要被写体Ｆが、元フレームと比較すると、次フレームでは、画面右方に若干移動している。移動量を誇張して図示するが、主要被写体Ｆの実際の移動量は、画像上において、１画素ピッチ未満である。

図７（ｃ）に示すように、図７（ａ）に示す元フレームと、図７（ｂ）に示す次フレームを重ね合わせ、元フレームの画素から、次フレームの対応する画素への移動を検出すれば、元フレームに関する動きベクトルが生成できる。この例では、フレーミングが変化していないので、被写体の背景部分の動きベクトルは０であるが、主要被写体Ｆが移動しているので、主要被写体Ｆに関して、動きベクトルが生成できる。

そして、図７（ｄ）に示すように、元フレームから、図７（ｃ）に示す動きベクトルを参照すれば、各画素が微小なずれを有する高解像度の合成フレームを得ることができる。このフレームの画像は、図７（ａ）に示すフレームの画像と比較すると、構図は同じであるが、主要被写体Ｆについて、動きベクトルのフレーム内での方向（左右方向）に約２倍の解像度を有するので、少なくとも左右方向について、当初の表示データが示す解像度の２倍の解像度を有する（つまり、水平解像度が２倍の）液晶パネル４０（図１参照）で表示するのに好適である。

図８は、図７に示す画像処理の第２例において、異常検出部１１４の動作を示す画面説明図およびヒストグラムである。
図８（ａ）に示すように、この例では、まったくエラーやノイズがない場合、画面内で主要被写体Ｆについて一様な動きベクトルが得られ、背景部分については、ベクトルがゼロであるはずである。
しかしながら、図８（ｂ）に太矢印で示すように、処理エラーやノイズなどがある場合、異常な動きベクトルが発生して、画像を乱す原因となることがある。例えば、元フレームと次フレームとを比較することによって動きを検出するとき、もともと異なる位置にある画素（画像部分）を移動したものと誤って判断してしまい、異常な動きベクトルを生成してしまうことがある。

図８（ｃ）に示すように、横軸に移動角度（移動した画面上の方位）をとり、縦軸に頻度（移動角度ごとの画素数）をとってヒストグラムを描くと、所定の移動角度の範囲にほとんどの頻度（画素数）が集中して現れる。このように、この範囲が、主要被写体Ｆに対応するものであるが容易に分かる。
そこで、図６（ｃ）および図６（ｄ）を参照して説明した方法と同様に、処理を行えばよい。

図９は、動きベクトル生成部１１２および合成フレーム生成部１１３による画像処理の第３例を模式的に示す画面説明図である。
図９（ａ）に示すように、元フレームは、背景に人物などの主要被写体Ｆを配した構図である。
図９（ｂ）に示すように、次フレームは、背景についてみると、元フレームの画像に時間的に後続する画像であって、カメラ（図示せず）を紙面左方に平行移動するか、カメラを紙面左方向に若干パンして撮像した画像である。また、主要被写体Ｆについてみると、フレーム内を右上方に移動した画像である。図示の都合上、フレーム内を被写体が動いた距離を誇張して示すが、フレーム内で実際に動いた距離は、カメラの撮像素子（有効記録画素）のピッチに相当するフレーム上の距離よりも小さい距離であるとする。

図１０は、図９に示す画像処理の第３例において、異常検出部１１４の動作を示す画面説明図およびヒストグラムである。
図１０（ａ）に示すように、この例では、まったくエラーやノイズがない場合、背景について、画面内で右向きの一様な動きベクトルが得られ、主要被写体Ｆについて、右上向きの一様な動きベクトルが得られるはずである。
しかしながら、図１０（ｂ）に太矢印で示すように、処理エラーやノイズなどがある場合、異常な動きベクトルが発生して、画像を乱す原因となることがある。例えば、元フレームと次フレームとを比較することによって動きを検出するとき、もともと異なる位置にある画素（画像部分）を移動したものと誤って判断してしまい、異常な動きベクトルを生成してしまうことがある。

図１０（ｃ）に示すように、横軸に移動角度（移動した画面上の方位）をとり、縦軸に頻度（移動角度ごとの画素数）をとってヒストグラムを描くと、主要被写体Ｆに対応する移動角度の範囲と、背景に対応する移動角度の範囲の２カ所に、ほとんどの頻度（画素数）が集中して現れる。この移動角度の範囲（「正」の範囲）に現れる動きベクトルについては、正しい移動角度の推定に基づき生成されたものであると判断できる。こうして、前記した説明と同様に、主要被写体Ｆと、背景とのそれぞれについて、処理を行えばよい。

また、「正」の範囲を定める基準とする角度範囲は、２カ所に限られず、３カ所以上設定してもよい。このように、所定数以上の頻度が集中する角度範囲を設定すれば、異常な動きベクトルを有する画素データを排除することができる。

例えば、図１０（ｂ）に示す画像には、大多数の動きベクトルと異なる移動角度の動きベクトルが少数（３つ）、現れている。
図１０（ｃ）を参照すると、「正」（主要被写体、背景）の範囲外に、これらの動きベクトルを示す頻度が３カ所現れている。このように、「正」の範囲外にあるこれらのデータは、異常な動きベクトルであると容易に判別し、排除することができる。また、同一の動きを呈する被写体ごとに「正」となる範囲を設定すれば、きめ細かくノイズを排除した高画質の画像を得ることができる。

＜第２実施形態＞
次に、図１１および図１２を参照して、本発明による第２実施形態の映像表示装置（図示せず）について説明する。この第２実施形態の映像表示装置は、高解像度表示制御部１０（図２参照）の代わりに、高解像度表示制御部１０ｂを備えているほかは、実質的に前記した第１実施形態の映像表示装置１（図１参照）と同様の構成でよい。なお、同一または実質的に同一の構成要素には同一の符号を付し、重複する説明を省略する。

図１１は、第２実施形態の高解像度表示制御部１０ｂを詳細に示すブロック構成図である。
この高解像度表示制御部１０ｂは、第１実施形態の高解像度表示制御部１０（図２参照）において、超解像処理フレーム生成部１１の代わりに、超解像処理フレーム生成部１１ｂを備えた構成である。この超解像処理フレーム生成部１１ｂは、第１実施形態の超解像処理フレーム生成部１１と対比すると、元フレーム表示データおよび合成フレーム表示データを生成し出力する点で同じであるが、異常検出信号を出力しない点で異なる。

超解像処理部１４は、元フレーム表示データおよび合成フレーム表示データを超解像処理して高解像度表示データを生成し、出力する。前記したように異常検出信号が入力されないので、異常検出信号が“正常”か“異常”かによって、他のフレーム表示データ（超解像処理を施さない元フレーム表示データなど）に出力を切り替えることはしない。

図１２は、第２実施形態の高解像度表示制御部１０ｂを構成する超解像処理フレーム生成部１１ｂを詳細に示すブロック構成図である。
この超解像処理フレーム生成部１１ｂは、第１実施形態の超解像処理フレーム生成部１１（図３参照）において、異常検出部１１４を取り除き、フィルタ部１１５を加えた構成である。

フィルタ部１１５は、所定範囲の動きベクトルを示す動きベクトルデータを通過させ、動きベクトル修正データとして出力し、動きベクトルの異常を抑制する機能を有する。
フィルタ部１１５は、例えば、動きベクトルの角度偏差または移動長さ（距離）偏差などに対するローパスフィルタとして働くものである。これにより、背景や主要被写体Ｆなどの主な動きベクトルとかけ離れた移動角度または移動距離を有する動きベクトルが取り除かれ、動きベクトルの集合が平滑化される。

フィルタ部１１５は、また、メディアンフィルタとして動作するものであってもよい。これにより、背景や、所定以上の画素数を占める主要被写体Ｆなどのデータが保存され、これとかけ離れたノイズやエラーのデータが排除できる。

合成フレーム生成部１１３は、動きベクトルデータをフィルタ部１１５で処理して生成した動きベクトル修正データを用いて、合成フレーム表示データを生成し、出力する。動きベクトル修正データは、動きベクトル異常が修正されたものであるため、合成フレーム生成部１１３で生成される合成フレーム表示データも、動きベクトル異常が修正されたものとなる。

このように、第２実施形態の映像表示装置では、合成フレーム表示データの生成前に、動きベクトル異常を修正しているため、第１実施形態の映像表示装置１と異なり、動きベクトル異常があっても表示画像の乱れが抑制され、また、超解像データと、他のデータ（例えば、単純拡大データ）とを切り替えて出力する必要がない。

本発明による技術は、特に、高精細度テレビジョン（HDTV; High Definition Television）受像機に好適に応用できる。また、各種の高解像度のフラットパネルディスプレイ装置に好適に適用できる。

本発明による第１実施形態の映像表示装置の主要部を示す構成図である。 高解像度表示制御部を詳細に示すブロック構成図である。 超解像処理フレーム生成部を詳細に示すブロック構成図である。 超解像処理切替部を詳細に示すブロック構成図である。 動きベクトル生成部および合成フレーム生成部による画像処理の第１例を模式的に示す画面説明図である。 図５に示す画像処理の第１例において、異常検出部の動作を示す画面説明図およびヒストグラムである。 動きベクトル生成部および合成フレーム生成部による画像処理の第２例を示す画面説明図である。 図７に示す画像処理の第２例において、異常検出部の動作を示す画面説明図およびヒストグラムである。 動きベクトル生成部および合成フレーム生成部による画像処理の第３例を模式的に示す画面説明図である。 図９に示す画像処理の第３例において、異常検出部の動作を示す画面説明図およびヒストグラムである。 第２実施形態の高解像度表示制御部を詳細に示すブロック構成図である。 第２実施形態の高解像度表示制御部を構成する超解像処理フレーム生成部を詳細に示すブロック構成図である。 超解像処理の原理を示す説明図である。

符号の説明

１ 映像表示装置
１０，１０ｂ 高解像度表示制御部
１１，１１ｂ 超解像処理フレーム生成部
１２ 超解像処理切替部
１３ 高解像度タイミング生成部
１４ 超解像処理部
２０ 走査線駆動部
３０ データ線駆動部
４０ 液晶パネル
１１１ 画面格納部
１１２ ベクトル生成部
１１３ 合成フレーム生成部
１１４ 異常検出部
１１５ フィルタ部
１２１ 超解像処理部
１２２ 単純拡大処理部
１２３ データ切替部
Ｆ 主要被写体

Claims (21)

1. 元フレームと１つ以上の次フレームとの画素ピッチ未満のずれを基に、前記元フレームより高い解像度を有する合成フレームを生成する映像処理装置であって、
   前記元フレームから前記次フレームへの映像の動きを推定して前記映像の動きベクトルを生成する動きベクトル生成部と、
   前記動きベクトルを解析し異常な前記動きベクトルを検出する異常検出部と、
   前記元フレームに前記動きベクトルを反映させて超解像処理を施し、前記元フレームより解像度の高い合成フレームを生成する合成フレーム生成部と、
   前記異常な動きベクトルが検出されない前記映像部分については、前記合成フレームのデータに切り替えて出力し、前記異常な動きベクトルが検出された前記映像部分については、前記超解像処理を施さない映像データを出力するデータ切替部と、
   を具備したことを特徴とする映像処理装置。
2. 前記元フレームと前記合成フレームとの画素数の比に合わせて前記元フレームを拡大して単純拡大データを生成する単純拡大処理部を具備し、
   前記超解像処理を施さない映像データは、前記単純拡大データである、
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記異常検出部は、前記動きベクトル生成部が生成した前記動きベクトルのうち、所定の性状について、所定以上の頻度を有さない動きベクトルを前記異常な動きベクトルとして検出することを特徴とする請求項１に記載の映像処理装置。
4. 前記所定の性状は、前記動きベクトルの移動角度であることを特徴とする請求項３に記載の映像処理装置。
5. 前記所定の性状は、前記動きベクトルの移動距離であることを特徴とする請求項３に記載の映像処理装置。
6. 元フレームと１つ以上の次フレームとの画素ピッチ未満のずれを基に、前記元フレームより高い解像度を有する合成フレームを生成する映像処理装置であって、
   前記元フレームから前記次フレームへの映像の動きを推定して前記映像の動きベクトルを生成する動きベクトル生成部と、
   前記動きベクトル生成部が生成した動きベクトルから、異常な前記動きベクトルを取り除いて出力するフィルタ部と、
   前記元フレームに前記フィルタ部から出力された前記動きベクトルを反映させて超解像処理を施し、前記元フレームより解像度の高い合成フレームを生成する合成フレーム生成部と、
   を具備したことを特徴とする映像処理装置。
7. 前記フィルタ部は、前記動きベクトル生成部が生成した前記動きベクトルのうち、所定の性状について、ローパスフィルタまたはメディアンフィルタとして動作し、前記異常な動きベクトルを取り除くことを特徴とする請求項１に記載の映像処理装置。
8. 前記所定の性状は、前記動きベクトルの移動角度であることを特徴とする請求項７に記載の映像処理装置。
9. 前記所定の性状は、前記動きベクトルの移動距離であることを特徴とする請求項７に記載の映像処理装置。
10. 請求項１から請求項９のいずれかに記載の映像処理装置と、
    前記映像処理装置から出力され、元フレームより高い解像度を有する合成フレームを表示する映像表示素子と、
    を具備したことを特徴とする映像表示装置。
11. 元フレームと１つ以上の次フレームとの画素ピッチ未満のずれを基に、前記元フレームより高い解像度を有する合成フレームを生成する映像処理装置における映像処理方法であって、
    前記元フレームから前記次フレームへの映像の動きを推定して前記映像の動きベクトルを生成する動きベクトル生成過程と、
    前記動きベクトルを解析し異常な前記動きベクトルを検出する異常検出過程と、
    前記元フレームに前記動きベクトルを反映させて超解像処理を施し、前記元フレームより解像度の高い合成フレームを生成する合成フレーム生成過程と、
    前記異常な動きベクトルが検出されない前記映像部分については、前記合成フレームのデータに切り替えて出力し、前記異常な動きベクトルが検出された前記映像部分については、前記超解像処理を施さない映像データを出力するデータ切替過程と、
    前記データ切替過程での出力に基づいて前記合成フレームを表示する映像表示過程と、
    を含むことを特徴とする映像処理方法。
12. 前記元フレームと前記合成フレームとの画素数の比に合わせて前記元フレームを拡大して単純拡大データを生成する単純拡大処理過程を含み、
    前記超解像処理を施さない映像データは、前記単純拡大データである、
    ことを特徴とする請求項１１に記載の映像処理方法。
13. 前記異常検出過程は、前記動きベクトル生成過程で生成した前記動きベクトルのうち、所定の性状について、所定以上の頻度を有さない動きベクトルを前記異常な動きベクトルとして検出することを特徴とする請求項１１に記載の映像処理方法。
14. 前記所定の性状は、前記動きベクトルの移動角度であることを特徴とする請求項１３に記載の映像処理方法。
15. 前記所定の性状は、前記動きベクトルの移動距離であることを特徴とする請求項１３に記載の映像処理方法。
16. 元フレームと１つ以上の次フレームとの画素ピッチ未満のずれを基に、前記元フレームより高い解像度を有する合成フレームを生成する映像処理装置における映像処理方法であって、
    前記元フレームから前記次フレームへの映像の動きを推定して前記映像の動きベクトルを生成する動きベクトル生成過程と、
    前記動きベクトル生成過程で生成した動きベクトルから、異常な前記動きベクトルを取り除いて出力するフィルタ過程と、
    前記元フレームに前記フィルタ過程で出力された前記動きベクトルを反映させて超解像処理を施し、前記元フレームより解像度の高い合成フレームを生成する合成フレーム生成過程と、
    前記合成フレーム生成過程で生成した前記合成フレームを表示する映像表示過程と、
    を具備したことを特徴とする映像処理方法。
17. 前記フィルタ過程では、前記動きベクトル生成過程で生成した前記動きベクトルのうち、所定の性状について、ローパスフィルタリングまたはメディアンフィルタリングを行い、前記異常な動きベクトルを取り除くことを特徴とする請求項１１に記載の映像処理方法。
18. 前記所定の性状は、前記動きベクトルの移動角度であることを特徴とする請求項１７に記載の映像処理方法。
19. 前記所定の性状は、前記動きベクトルの移動距離であることを特徴とする請求項１７に記載の映像処理方法。
20. 請求項１１から請求項１９のいずれかに記載の映像処理方法によって出力され、元フレームより高い解像度を有する合成フレームを表示する映像表示過程を含むことを特徴とする映像表示方法。
21. 元フレームと１つ以上の次フレームとの画素ピッチ未満のずれを基に、前記元フレームより高い解像度を有する合成フレームを生成する映像処理装置であって、
    前記元フレームから前記次フレームへの映像の動きを推定して前記映像の動きベクトルを生成する動きベクトル生成部と、
    前記動きベクトルを解析し異常な前記動きベクトルを検出する異常検出部と、
    前記元フレームに前記動きベクトルを反映させて、前記元フレームより解像度の高い合成フレームを生成する合成フレーム生成部と、
    前記異常な動きベクトルが検出されない前記映像部分については、前記合成フレームのデータに切り替えて出力し、前記異常な動きベクトルが検出された前記映像部分については、前記動きベクトルを用いずに、前記元フレームの周辺画素のデータ値から演算された補間画素により前記元フレームを補間した補間映像データを出力するデータ切替部と、
    を具備したことを特徴とする映像処理装置。

Images