JP2018197799A - 画像処理装置、方法およびプログラム - Google Patents

Abstract

【課題】 フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムを提供すること。【解決手段】 入力された画像を補正した画像を表示する装置であって、入力画像の解像度を変換したサブフレームを生成し、さらに当該サブフレームを画素ずらししたサブフレームを生成するサブフレーム生成部４２０と、サブフレームの特徴量を抽出するともに、当該サブフレームをフレームメモリ４５０に記憶する特徴抽出部４３１と、サブフレームをフレームメモリ４５０から読み出して特徴量に基づいて補正する画像補正部４３２と、補正されたサブフレームを投影装置に出力する画像出力部４６０とを含む。【選択図】 図４

Description

本発明は、画像処理装置、方法およびプログラムに関する。

近年、プロジェクタやディスプレイモニタなどの画像表示装置は、高画質化に伴い、４Ｋや８Ｋなどの高い解像度を持つ装置が開発されている。しかしながら、解像度を高くすると、製造コストも高くなるという問題がある。

特開２００３−３０２９５２号公報（特許文献１）では、プロジェクタにおいて高解像度を安価で実現する方法として、「画素ずらし」という方法が提案されている。図１１は、画素ずらしによって解像度を向上する方法について説明する図である。図１１（ａ）では、画素数が１６画素（縦方向が４画素、横方向が４画素）の画面を表示するプロジェクタの例を示しており、図１１（ｂ）では、画素ずらしによって見かけ上の画素数を２倍にしている例を示す。

例示したプロジェクタは、表示する光の角度を調節することによって、図１１（ｂ）のように各画素を４５°の方向に半画素分ずらしたサブフレームを挿入する。このように、元の画素と、ずらした画素とを交互に表示することで、見かけ上の画素数を２倍にすることができる。

また、特許文献１では、画素ずらし処理に加えて、入力された画像データの画質を向上させる処理を行うことを開示している。図１２は、従来技術における画像処理装置１２００のソフトウェアブロック図である。

画像入力部１２０１に入力された画像のフレームデータは、画像処理部１２０２において、ヒストグラムの生成などの特徴抽出処理が施され、当該特徴を利用して明度補正などの高画質化処理が行われる。画像の補正はフレーム全体特徴に基づいて行われることから、各フレームデータはフレームメモリ制御部１２１０ａを介してフレームメモリ１２２０ａに記憶される。

補正された画像のフレームデータは、サブフレーム生成部１２０３において、画素ずらし処理が施されたサブフレームのデータとして生成され、フレームメモリ制御部１２１０ｂを介してフレームメモリ１２２０ｂに記憶される。そして、画像出力部１２０４は、フレームメモリ１２２０ｂに記憶された各フレームデータを読み出して出力することで画像を投影する。

上記の各処理は、各フレームの処理を並行してパイプライン動作として行うことができる。図１３は、従来技術における画像処理装置１２００の各機能ブロックの動作タイミングを示す図である。図１３では、入力画像の解像度が４Ｋ、フレームレートが６０Ｈｚ、出力画像の解像度が２Ｋ、フレームレートが１２０Ｈｚの場合を例に説明する。

図１３に示すように、画像入力部１２０１には、フレームＦ_ｎ，Ｆ_ｎ＋１，Ｆ_ｎ＋２が入力されている。一方で、画像出力部１２０４からは、入力画像の２倍のフレームレートで、フレームＦ_ｎ−２’，Ｆ_ｎ−２’’，Ｆ_ｎ−１’，Ｆ_ｎ−１’’，Ｆ_ｎ’，Ｆ_ｎ’’が出力される。しかしながら、画像処理部１２０２、サブフレーム生成部１２０３、画像出力部１２０４は、それぞれフレームメモリ１２２０にアクセスすることから遅延が生じる。したがって、出力される画像のフレームは、フレームメモリの読み出しなどによって、入力画像に対して２フレーム分遅れて出力されることから、画像遅延の原因となる。

また、図１２のフレームメモリ制御部とフレームメモリとをそれぞれ１つずつとすることで、遅延を軽減することも可能であるが、データ量が大きくなるため、フレームメモリ制御部とフレームメモリとを接続するバスの帯域幅を増やす必要が生じ、コストの増加につながる。

そこで、画像の高画質化を実現する、さらなる画像表示技術が求められていた。

本発明は、上記従来技術における課題に鑑みてなされたものであり、フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムを提供することを目的とする。

すなわち、本発明によれば、入力された画像を補正した画像を表示する装置であって、
入力画像の解像度を変換した第１のサブフレームを生成し、さらに当該第１のサブフレームを画素ずらしした第２のサブフレームを生成する、生成手段と、
前記第１のサブフレームおよび前記第２のサブフレームの特徴量を抽出するともに、当該第１のサブフレームおよび当該第２のサブフレームをフレームメモリに記憶する、特徴抽出手段と、
前記第１のサブフレームおよび前記第２のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正する、画像補正手段と、
前記補正された前記第１のサブフレームおよび前記第２のサブフレームを投影装置に出力する、画像出力手段と
を含む、画像処理装置が提供される。

上述したように、本発明によれば、フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムが提供される。

本発明の各実施形態における画像処理装置のハードウェアの概略構成を示す図。 本実施形態の画像出力装置における光学ブロックを説明する図。 画素ずらしによって生成されるサブフレームを説明する図。 第１の実施形態における画像処理装置のソフトウェアブロック図。 第１の実施形態において画像処理装置が実行する処理のフローチャート。 各機能ブロックが実行する処理の詳細を示すシーケンス図。 第１の実施形態における画像処理装置の各機能ブロックの動作タイミングを示す図。 第２の実施形態における画像処理装置のソフトウェアブロック図。 第３の実施形態における画像処理装置のソフトウェアブロック図。 第４の実施形態における画像処理装置のソフトウェアブロック図。 画素ずらしによって解像度を向上する方法について説明する図。 従来技術における画像処理装置のソフトウェアブロック図。 従来技術における画像処理装置の各機能ブロックの動作タイミングを示す図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。また、以下では画像処理装置１００の例としてプロジェクタで以て説明するが、これに限定するものではない。

図１は、本発明の各実施形態における画像処理装置１００のハードウェアの概略構成を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、記憶装置１０４、画像入力Ｉ／Ｆ１０５、画像出力装置１０６を含み、各ハードウェアはバスラインによって電気的に接続されている。

ＣＰＵ１０１は、画像処理装置１００の動作を制御するプログラムを実行し、所定の処理を行う装置である。ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ１０３は、ＣＰＵ１０１が実行するプログラムやファームウェアなどを記憶するための不揮発性の記憶装置である。記憶装置１０４は、画像処理装置１００を機能させるＯＳや各種アプリケーション、設定情報、各種データなどを記憶する、読み書き可能な不揮発性の記憶装置である。

画像入力Ｉ／Ｆ１０５は、パソコンなどの外部の端末と接続し、画像を入力するためのインターフェースであり、例として、ＨＤＭＩ（登録商標）などが挙げられる。画像出力装置１０６は、入力された画像に各種処理を行い、レーザープロジェクションなどの手段によって画像を出力するための装置である。ここでいう各種処理とは、画素ずらし処理のほかに、例えば、色の調整や台形補正などが挙げられる。

以上、本実施形態の画像処理装置１００のハードウェアについて説明した。次に画像出力装置１０６の構成について説明する。図２は、画像出力装置１０６における光学ブロックを説明する図である。

入力画像のフレームやサブフレームなどの画像情報は、照明光源２０１から光として放射される。放射された光は、レンズ２０２を通してＤＭＤ（Digital Mirror Device）素子２０３に照射される。ＤＭＤ素子２０３は、画像情報に基づいて、画素ごとにミラーの反射角度を電子的に制御できる素子である。

ＤＭＤ素子２０３によって反射された光は、画素ずらし手段２０４、投射レンズ２０５を通過することで、画像がスクリーン２０６上に投影される。画素ずらし手段２０４は、フレームの周期に応じて、投影画像の光路を一次元方向または二次元方向にシフトさせる機能を持つため、画素ずれした画像をスクリーン２０６に投影することができ、解像度を向上させることができる。

次に、サブフレームについて説明する。図３は、画素ずらしによって生成されるサブフレームを説明する図であり、図３（ａ）は入力画像の各フレームを、図３（ｂ）は生成されたサブフレームの出力画像を、それぞれ例示している。また、以下の説明において、１フレーム目と２フレーム目の間に挿入されるサブフレームを、便宜上「１．５フレーム目」として記載し、他のサブフレームについても同様に表現する。

なお、図３において、入力画像の画素数は、図３（ａ）のように１６画素（縦４画素×横４画素）で、出力画像の画素数は、図３（ｂ）のように４画素（縦２画素×横２画素）で、それぞれ構成されており、出力画像のフレームレートは、入力画像のフレームレートよりも２倍高い場合を例示している。

入力画像が、図３（ａ）に示すように、１フレーム目から４フレーム目まで、それぞれ１〜４のように変化した場合には、入力画像の各フレームに対して画素ずらし処理したサブフレームを挿入する。

例えば、図３（ｂ）では、出力画像の１フレーム目および１．５フレーム目で、入力画像の１フレーム目を表示しているが、このとき１．５フレーム目の画像では、画素を４５°の方向にずらしたサブフレームを挿入している。同様に、各入力画像のフレーム間に、当該入力画像のフレームに対応する、画素ずらし処理をしたサブフレームを挿入することで、見かけ上の解像度を向上させることができる。

なお、画素ずらしの方法は、上記のように斜め方向に４５°ずらす方法に限らず、例えば、水平方向の画素ずらしと、垂直方向の画素ずらしと、を組み合わせて、矩形にずらす方法などであってもよい。画素ずらしの方法は、入出力画像の解像度やフレームレートなどに応じて選択できる。

以下では、本発明の実施形態をより具体的な実施例で以て説明する。なお、以下に説明する各実施形態では、入力画像に対して出力画像は、解像度が１／２で、フレームレートが２倍である場合を例に説明する。

まず、第１の実施形態について、図４〜６を以て説明する。図４は、第１の実施形態における画像処理装置１００のソフトウェアブロック図である。図４は、図１に示した各ハードウェアによって実行される各種の機能手段である。なお、図中の矢線は、データのフローを示している。

画像処理装置１００は、画像入力部４１０、サブフレーム生成部４２０、画像処理部４３０、フレームメモリ制御部４４０、フレームメモリ４５０、画像出力部４６０を含む。以下に、各機能ブロックについての詳細を説明する。

画像入力部４１０は、画像入力Ｉ／Ｆ１０５を制御し、パソコンなどの外部装置からの画像を入力する手段である。入力された画像のデータは、フレームごとにサブフレーム生成部４２０へ伝送される。

サブフレーム生成部４２０は、入力画像の各フレームを出力装置の仕様に対応したフレームに変換し、生成する手段である。具体的には、出力装置の解像度に対応したサブフレームを生成し、さらに上述した方法によって画素ずらしをしたサブフレームを生成する。生成されたサブフレームのデータは、画像処理部４３０に送られる。なお、以下では、Ｎ番目に入力された画像フレームＦ_ｎに対して、出力装置の解像度に対応したサブフレームをＦ_ｎ’とし、さらに画素ずらしによって生成されたサブフレームをＦ_ｎ’’として表記する。

画像処理部４３０は、サブフレームを含む各フレームに対して、明度補正などの種々の高画質化処理を行う手段であり、特徴抽出部４３１と画像補正部４３２とを含む。特徴抽出部４３１は、補正処理を行うために、ヒストグラムなどといった各種特徴量をフレームごとに抽出する。特徴抽出部４３１に入力されたフレームデータは、特徴を抽出されるとともに、フレームメモリ制御部４４０を介して、フレームメモリ４５０に記憶される。また、抽出された特徴量は、画像補正部４３２に通知される。

なお、フレームメモリ制御部４４０は、記憶装置１０４を制御する手段であり、データの書き込みおよび読み出しを行う。フレームメモリ４５０は、記憶装置１０４のうち、画像のフレームデータを記憶する領域である。したがって、フレームメモリ制御部４４０およびフレームメモリ４５０によって、画素ずらし処理が施されたサブフレームを含む各フレームデータは、一時的に記憶され、画像補正処理を待機する。

画像補正部４３２は、各画像の補正を行う手段である。画像補正部４３２は、フレームメモリ制御部４４０を介して、フレームメモリ４５０に記憶されている、各フレームのデータを読み出し、特徴抽出部４３１から取得した特徴抽出部４３１が抽出した各画像の特徴に基づいて、フレームごとに画像の補正を行う。補正処理された画像のフレームデータは、画像出力部４６０に伝送される。

画像出力部４６０は、画像出力装置１０６を制御し、画像のフレームデータを順次投影画像として出力する手段である。

ここまで、第１の実施形態における機能ブロックについて説明した。次に、各機能ブロックが実行する処理について説明する。図５は、第１の実施形態において画像処理装置１００が実行する処理のフローチャートである。

まず、画像処理装置１００は、ステップＳ１０００から処理を開始し、ステップＳ１００１で、画像の入力があるかを判定する。画像の入力がない場合（ＮＯ）には、ステップＳ１００１に戻って処理を繰り返すことで、画像の入力を待機する。画像の入力があった場合（ＹＥＳ）には、ステップＳ１００２に進む。

ステップＳ１００２において、画像入力部４１０は、入力されたフレーム画像を、サブフレーム生成部４２０に伝送する。サブフレーム生成部４２０は、ステップＳ１００３で、入力画像フレームＦ_ｎに基づいて、出力装置の解像度に対応したサブフレームＦ_ｎ’および画素ずらしを行ったサブフレームＦ_ｎ’’を生成する。

次に、ステップＳ１００４で、特徴抽出部４３１は各フレームの画像の特徴量を抽出する。特徴量抽出の例としては、ヒストグラムの生成などが挙げられるが、これに限定するものではない。その後、ステップＳ１００５で、特徴抽出部４３１は、特徴を抽出したフレームデータを、フレームメモリ制御部４４０を介してフレームメモリ４５０に記憶する。また、特徴抽出部４３１は、抽出した画像の特徴量を画像補正部４３２に通知する。なお、特徴抽出部４３１は、ステップＳ１００４とＳ１００５の処理を同時に行う。

その後、ステップＳ１００６では、画像補正部４３２は、フレームメモリ制御部４４０を介してフレームメモリ４５０からフレームデータを読み込む。また、画像補正部４３２は、ステップＳ１００６と併せて、特徴抽出部４３１から特徴量を取得する。そして、ステップＳ１００７で、特徴抽出部４３１から通知された特徴量に基づいて、読み込んだフレームデータの画像補正処理を行う。

補正処理された画像のフレームデータは、ステップＳ１００８において、画像出力部４６０から出力され、画像出力装置１０６によって、スクリーン２０６に投影される。ステップＳ１００８の後、ステップＳ１００１に戻り、ステップＳ１００１〜１００８の処理を繰り返す。

ここで、図５のフローチャートで行う処理を機能ブロックごとに示す。図６は、各機能ブロックが実行する処理の詳細を示すシーケンス図である。まず、ステップＳ２０００で、サブフレーム生成部４２０にフレームＦ_ｎの画像が入力されると、ステップＳ２００１で、サブフレームＦ_ｎ’、Ｆ_ｎ’’が生成される。その後、生成されたサブフレームＦ_ｎ’、Ｆ_ｎ’’は、ステップＳ２００２で、特徴抽出部４３１に送付される。

特徴抽出部４３１では、ステップＳ２００３で、各サブフレームの特徴量を抽出する。また、特徴抽出部４３１は、特徴抽出処理と併せて、ステップＳ２００４で、サブフレームＦ_ｎ’、Ｆ_ｎ’’をフレームメモリ４５０に送付する。フレームメモリ４５０は、ステップＳ２００５で、送付されたＦ_ｎ’、Ｆ_ｎ’’を記憶する。

さらに、特徴抽出部４３１は、ステップＳ２００６で、抽出した特徴量を画像補正部４３２に通知する。この処理と併せて、画像補正部４３２は、ステップＳ２００７で、フレームメモリ４５０に対してサブフレームＦ_ｎ’の読み出しを依頼する。ステップＳ２００８で、フレームメモリ４５０は、サブフレームＦ_ｎ’を画像補正部４３２に通知する。

そして、画像補正部４３２は、ステップＳ２００９で、特徴量に基づいて、取得したサブフレームＦ_ｎ’を補正する。補正されたサブフレームＦ_ｎ’は、ステップＳ２０１０で、画像出力部４６０を介して、画像出力装置１０６に出力される。この処理と併せて、画像補正部４３２は、ステップＳ２０１１で、フレームメモリ４５０に対してサブフレームＦ_ｎ’’の読み出しを依頼する。そして、ステップＳ２０１２で、フレームメモリ４５０は、サブフレームＦ_ｎ’’を画像補正部４３２に通知する。

その後、画像補正部４３２は、ステップＳ２０１３で、特徴量に基づいて、取得したサブフレームＦ_ｎ’’を補正する。補正されたサブフレームＦ_ｎ’’は、ステップＳ２０１４で、画像出力部４６０を介して、画像出力装置１０６に出力される。したがって、サブフレームＦ_ｎ’’は、フレームメモリ４５０に記憶され、１クロック分の時間だけ待機した後、読み出し、補正、出力が行われる。

なお、ステップＳ２０１１〜Ｓ２０１４の処理は、ステップＳ２００７〜Ｓ２０１０の処理と同様である。また、入力された画像フレームＦ_ｎが最終フレームでない場合には、ステップＳ２０１４の処理と併せて、次フレームＦ_ｎ＋１から生成されたサブフレームＦ_ｎ＋１’の読み出し依頼を行う。

なお、特徴抽出部４３１および画像補正部４３２と、フレームメモリ４５０とのデータのやり取りは、フレームメモリ制御部４４０を介して行われる。

図５，６に示した各処理は、一つのフレームが入力されてから出力するまでの動作フローが完了する前に、次フレームが入力され、当該フレームの動作フローが重なりながら処理される。すなわち、フレームごとにパイプライン動作によって処理される。

上述した処理によって、メモリのバスの帯域幅を増加することなく、かつ入出力遅延を低減して、画像を高解像度化することができる。次に、上述の処理を行う画像処理装置１００の動作タイミングについて説明する。図７は、第１の実施形態における画像処理装置１００の各機能ブロックの動作タイミングを示す図である。ここでは、入力画像の解像度が４Ｋ、フレームレートが６０Ｈｚとし、出力画像の解像度が２Ｋ、フレームレートが１２０Ｈｚとした場合を例に説明する。

図７（ａ）は、画像が入力されるタイミングを示すクロックであり、垂直同期（Ｖ−ｓｙｎｃ）の周波数は６０Ｈｚである。図７（ｂ）は、画像入力部４１０に入力されるフレームを示しており、図７（ａ）のクロックの立ち上がりを契機にフレームが入力される。図７（ｂ）の例では、解像度が４ＫのフレームＦ_ｎ，Ｆ_ｎ＋１，Ｆ_ｎ＋２が順次入力されている。

図７（ｃ）では、サブフレーム生成部４２０が、解像度を変換したサブフレームＦ_ｎ’と、さらにＦ_ｎ’を画素ずらししたサブフレームＦ_ｎ’’を生成する。ここで生成されるフレームの解像度は２Ｋであり、フレームＦ_ｎに対応したサブフレームＦ_ｎ’およびＦ_ｎ’’、フレームＦ_ｎ＋１に対応したサブフレームＦ_ｎ＋１’およびＦ_ｎ＋１’’、フレームＦ_ｎ＋２に対応したサブフレームＦ_ｎ＋２’およびＦ_ｎ＋２’’がそれぞれ生成される。

生成されたサブフレームは、上述したように特徴抽出部４３１によって、フレームメモリ４５０に記憶される。また、この動作と併せて、特徴抽出部４３１は、サブフレーム画像の特徴量を抽出する。そして、画像補正部４３２は、前フレームＦ_ｎ−１から作成されたサブフレームＦ_ｎ−１’およびＦ_ｎ−１’’をフレームメモリから読み出し、当該サブフレームの記憶時に抽出された特徴量に基づいて、補正処理を行う。

図７（ｄ）は、生成された２Ｋ画像が出力されるタイミングを示すクロックであり、垂直同期（Ｖ−ｓｙｎｃ）の周波数は１２０Ｈｚである。図７（ｅ）は、画像出力部４６０に入力されるフレームを示しており、図７（ｄ）のクロックの立ち上がりを契機にフレームが出力される。図７（ｅ）の例では、解像度が２ＫのフレームＦ_ｎ−１’，Ｆ_ｎ−１’’，Ｆ_ｎ’，Ｆ_ｎ’’ ，Ｆ_ｎ＋１’，Ｆ_ｎ＋１’’が順次出力されている。

図７に示した通り本実施形態では、図１３に示す動作タイミング図と異なり、画像が入力されると、補正を行う前にサブフレームを生成し、特徴抽出と同時にサブフレームをフレームメモリ４５０に記憶している。したがって、フレームメモリ４５０へのアクセス回数を減少することができ、これによって、画像の出力遅延を低減できる。

次に第２の実施形態について説明する。図８は、第２の実施形態における画像処理装置１００のソフトウェアブロック図であり、画像処理装置１００のうち、画像処理部４３０、フレームメモリ制御部４４０、フレームメモリ４５０を詳細に示したものである。なお、その他のソフトウェアブロックは適宜省略している。

第１の実施形態では、画像処理部４３０は、フレームごとに特徴を抽出し、かつフレームごとに画像補正をした。しかしながら、サブフレームＦ_ｎ’と、当該サブフレームを画素ずらししたフレームであるサブフレームＦ_ｎ’’とは相関性の高い画像であることから、両フレームデータは特徴が共通している蓋然性が高い。したがって、各フレームに対して別個に特徴抽出処理を行うと、回路規模の増大につながる。

そこで、第２の実施形態では、図８に示すように、特徴抽出部４３１を共通特徴抽出部４３１’とし、サブフレームＦ_ｎ’，Ｆ_ｎ’’に共通する特徴量を抽出する。ここで抽出した共通特徴量を画像補正部４３２に通知し、画像補正部４３２は、当該共通特徴量に基づいて、サブフレームＦ_ｎ’，Ｆ_ｎ’’の画像補正処理を行う。

このように、第２の実施形態によれば、フレームごとに特徴を抽出せず、相関性の高いフレームについては共通特徴量を抽出できることから、回路規模を削減することができる。

ここまで、第２の実施形態について説明した。以下に説明する第３の実施形態および第４の実施形態では、入力される画像の性質に応じた処理を行う。例えば、入力画像のフレームレートが低い場合などには、画像処理のアルゴリズムによって画質が劣化する場合がある。したがって、以下の実施形態では入力された画像に適した順序で画像の補正や画素ずらしなどの各種処理を行う。

第３の実施形態について説明する。例えば、画像処理装置１００に入力される画像が静止画の場合には、同じフレームデータが連続して入力されることから、各フレームの画像の特徴は変化しない。したがって、入力されたフレームごとに特徴量を抽出する処理を実行し、フレームメモリ４５０にアクセスすることは非効率である。よって、第３の実施形態では、入力画像をフレームメモリ４５０に記憶せず、最初のフレームから抽出した特徴量を用いて、入力されたフレームを逐次補正する。

図９は、第３の実施形態における画像処理装置１００のソフトウェアブロック図である。第３の実施形態は、入力画像が静止画の場合の処理であって、画像処理部４３０には、特徴抽出部４３１、画像補正部４３２に加えて、特徴記憶部４３３が含まれる。

また、各フレームの特徴量も共通していることから、最初に入力されたフレームの特徴量のみを特徴記憶部４３３に記憶し、画像補正部４３２は、当該特徴量を読み出して画像を補正する。その後、補正された画像ごとに画素ずらしをしたサブフレームを生成する。

第３の実施形態によれば、画像の補正時にフレームメモリ４５０にアクセスする処理を省略でき、効率的に画像を出力することができる。

次に第４の実施形態について説明する。図１０は、第４の実施形態における画像処理装置１００のソフトウェアブロック図である。第４の実施形態では、入力画像の性質に応じて、画像補正や画素ずらしなどの処理の順序を変更するために、画像処理フロー制御部４７０を含んで構成される。なお、処理の順序は、以下に説明する方法の他、ユーザからの操作によるモード設定によって切り替えてもよい。

第４の実施形態では、入力画像のフレームレートが低く、フレームメモリ４５０のバス帯域を超えない場合には、サブフレームを生成する前に画像の補正処理を行う。すなわち、画像処理フロー制御部４７０は、入力された画像のメモリ帯域に応じて画像処理の順序を変更できる。

また、画像処理フロー制御部４７０は、フレームレートや画像サイズなどに基づいてメモリ帯域を算出するメモリ帯域判定部４７１を含んでもよい。メモリ帯域判定部４７１は、フレームレートや画像サイズに基づいて算出したメモリ帯域が、実際に使用されるメモリに応じてあらかじめ算出されたメモリ帯域を超えるか否かを判定し、画像処理の順序を変更する情報を生成する。画像処理フロー制御部４７０は、メモリ帯域判定部４７１が判定し、生成した処理の順序を示す情報に基づいて、画像処理フローを制御し、適切な順序で画像補正や画素ずらしなどの処理を実行する。

また、画像処理フロー制御部４７０は、入力された画像が静止画であるか否かを判定するフレーム間差分判定部４７２を含んでもよい。フレーム間差分判定部４７２は、経時的に連続して入力された２つの画像のフレームデータについて差分を算出し、当該画像が静止画であるか否かを判定する。すなわち、２つの画像に差分があれば動画と判定し、差分がなければ静止画と判定する。

画像処理フロー制御部４７０は、フレーム間差分判定部４７２が判定した結果に基づき、画像が静止画である場合には、第３の実施形態に示したように、前フレームの入力時に抽出された特徴量に基づいて画像補正を行った後、画素ずらしによってサブフレームを生成する順序で処理を制御する。一方で、フレーム間差分判定部４７２が判定した結果に基づき、画像が動画である場合には、画素ずらし処理をしてサブフレームを生成した後、画像の特徴抽出および補正する順序で処理を制御する。

以上、説明した本発明の実施形態によれば、フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムを提供することができる。

なお、上述した各実施形態におけるソフトウェアブロックは、ＣＰＵが本実施形態のプログラムを実行することで、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。

また、上述した本発明の各実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、説明した各実施形態を組み合わせた場合であっても、本発明の範囲に含まれる。

１００…画像処理装置、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…記憶装置、１０５…画像入力Ｉ／Ｆ、１０６…画像出力装置、２０１…照明光源、２０２…レンズ、２０３…ＤＭＤ素子、２０４…画素ずらし手段、２０５…投射レンズ、２０６…スクリーン、４１０…画像入力部、４２０…サブフレーム生成部、４３０…画像処理部、４３１…特徴抽出部、４３２…画像補正部、４３３…特徴記憶部、４４０…フレームメモリ制御部、４５０…フレームメモリ、４６０…画像出力部、４７０…画像処理フロー制御部、４７１…メモリ帯域判定部、４７２…フレーム間画像差分判定部

特開２００３−３０２９５２号公報

Claims (8)

1. 入力された画像を補正した画像を表示する装置であって、
   入力画像の解像度を変換した第１のサブフレームを生成し、さらに当該第１のサブフレームを画素ずらしした第２のサブフレームを生成する、生成手段と、
   前記第１のサブフレームおよび前記第２のサブフレームの特徴量を抽出するともに、当該第１のサブフレームおよび当該第２のサブフレームをフレームメモリに記憶する、特徴抽出手段と、
   前記第１のサブフレームおよび前記第２のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正する、画像補正手段と、
   前記補正された前記第１のサブフレームおよび前記第２のサブフレームを投影装置に出力する、画像出力手段と
   を含む、画像処理装置。
2. 前記特徴量は、解像度を変換した前記第１のサブフレームから抽出された共通特徴量であって、前記共通特徴量に基づいて補正する、
   請求項１に記載の画像処理装置。
3. 前記入力画像が静止画の場合には、最初に生成された前記第１のサブフレームの特徴量に基づいて補正する、
   請求項１または２に記載の画像処理装置。
4. 前記第１のサブフレームおよび前記第２のサブフレームを生成する処理と、前記補正する処理とを実行する順序を制御する、画像処理フロー制御部を含む、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記画像処理フロー制御部は、前記入力画像のフレームレートから算出される前記フレームメモリのバス帯域に基づいて、処理の順序を制御する、請求項４に記載の画像処理装置。
6. 前記画像処理フロー制御部は、前記入力画像のフレーム間の差分から判定される、当該入力画像が静止画であるか否かの判定結果に基づいて、処理の順序を制御する、請求項４に記載の画像処理装置。
7. 入力された画像を補正した画像を表示する方法であって、
   入力画像の解像度を変換した第１のサブフレームを生成し、さらに当該第１のサブフレームを画素ずらしした第２のサブフレームを生成するステップと、
   前記第１のサブフレームおよび前記第２のサブフレームの特徴量を抽出するともに、当該第１のサブフレームおよび当該第２のサブフレームをフレームメモリに記憶するステップと、
   前記第１のサブフレームおよび前記第２のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正するステップと、
   前記補正された前記第１のサブフレームおよび前記第２のサブフレームを投影装置に出力するステップと
   を含む、方法。
8. 入力された画像を補正した画像を表示する装置が実行するプログラムであって、前記装置を、
   入力画像の解像度を変換した第１のサブフレームを生成し、さらに当該第１のサブフレームを画素ずらしした第２のサブフレームを生成する、生成手段、
   前記第１のサブフレームおよび前記第２のサブフレームの特徴量を抽出するともに、当該第１のサブフレームおよび当該第２のサブフレームをフレームメモリに記憶する、特徴抽出手段、
   前記第１のサブフレームおよび前記第２のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正する、画像補正手段、
   前記補正された前記第１のサブフレームおよび前記第２のサブフレームを投影装置に出力する、画像出力手段
   として機能させる、装置実行可能なプログラム。