JP2017220810A - 画像処理装置、方法およびプログラム - Google Patents

Abstract

【課題】 入力画像に基づいて、画素ずらしの処理方式を切り替えてサブフレームを生成する画像処理装置、方法およびプログラムを提供すること。【解決手段】 画素ずらし処理をして画像を表示する装置であって、入力画像のフレーム間の差分に基づいて入力画像の動き量を検出するフレーム差分検出部２０４と、検出した動き量に基づいて画素ずらし処理の方式を選択するフレーム差分判定部と、選択した画素ずらし方式で入力画像の各フレームを処理したサブフレームを生成するサブフレーム生成部２０６とを含む。【選択図】 図２

Description

本発明は、画像処理装置、方法およびプログラムに関する。

近年、プロジェクタやディスプレイモニタなどの画像表示装置は、高画質化に伴い、４Ｋや８Ｋなどの高い解像度を持つ装置が開発されている。しかしながら、解像度を高くすると、製造コストも高くなるという問題がある。

プロジェクタにおいて、高解像度を安価で実現する方法として、「画素ずらし」という方法が提案されている。ここで、画素ずらしについて、図１２および図１３を以て説明する。

図１２は、解像度を２倍にする画素ずらしの原理を説明する図である。図１２（ａ）では、画素数１６（縦方向４画素、横方向４画素）の画面を表示するプロジェクタの例を示しており、図１２（ｂ）では、画素ずらしによって見かけ上の画素数を２倍にしている例を示す。

例示したプロジェクタは、表示する光の角度を調節することによって、図１２（ｂ）のように各画素を４５°の方向に半画素分ずらしたサブフレームを挿入する。このように、元の画素と、ずらした画素とを交互に表示することで、見かけ上の画素数を２倍にすることができる。

また、図１３は、解像度を４倍にする画素ずらしの原理について説明する図であり、図１２（ａ）と同様のプロジェクタを想定している。まず、図１３（ａ）では、まず元の画素の一から右に半画素分ずらしたサブフレームを挿入する。次に、図１３（ｂ）で、図１３（ａ）の一から上に半画素分ずらしたサブフレームを挿入する。

以下、同様に、図１３（ｃ）で左に、図１３（ｄ）で下に、それぞれ半画素分ずらしたサブフレームを挿入し、図１３（ａ）に戻る。このように、画素の表示位置を反時計回り（または時計回り）にずらすことで、見かけ上の画素数を４倍にすることができる。なお、図１３では、左下の画素を画素ずらし処理をしているが、全体の画素について同じ処理をすることで、高解像度化した効果が得られる。

例えば、特開２００９−７１４４４号公報（特許文献１）では、フレーム間に挿入するサブフレームを生成する際に、画素ずらしに対応した画像を生成する技術が開示されている。

しかしながら、画素ずらしによって高解像度化する場合、２倍の解像度を得るためには、入力のフレームレートに対して２倍以上のフレームレートを出力できる装置でなければ、フレーム落ちした映像となってしまう。同様に、４倍の解像度を得るためには、入力のフレームレートに対して４倍以上のフレームレートを出力できる装置が必要となる。

したがって、画像表示装置が出力するフレームレートや入力画像の性質によっては、入力した映像に適した画像処理ができないという問題がある。例えば、入力画像の解像度が、出力画像の解像度の４倍であって、出力のフレームレートが入力のフレームレートの２倍である装置で画素ずらし処理をする場合には、出力画像の解像度またはフレームレートを半分にすることが求められる。しかしながら、画像に応じて画素ずらしの方式を切り替える技術はなく、映像ごとに適した画素ずらし処理を行うことができなかった。

本発明は、上記従来技術における課題に鑑みてなされたものであり、入力画像に基づいて、画素ずらしの処理方式を切り替えてサブフレームを生成する画像処理装置、方法およびプログラムを提供することを目的とする。

すなわち、本発明によれば、
画素ずらし処理をして画像を表示する装置であって、
入力画像のフレーム間の差分に基づいて、前記入力画像の動き量を検出する手段と、
前記検出した動き量に基づいて、画素ずらし処理の方式を選択する手段と、
前記選択した画素ずらし方式で、前記入力画像の各フレームを処理したサブフレームを生成する手段と
を含む画像処理装置が提供される。

上述したように、本発明によれば、入力画像に基づいて、画素ずらしの処理方式を切り替えてサブフレームを生成する画像処理装置、方法およびプログラムが提供される。

本発明の各実施形態における画像処理装置のハードウェアの概略構成を示す図。 本発明の各実施形態における画像処理装置のソフトウェアブロック図。 画像出力装置における光学ブロックを説明する図。 第１の実施形態において画像処理装置が実行する処理のフローチャート。 第１の実施形態における画素ずらしを説明する図。 第２の実施形態において画像処理装置が実行する処理のフローチャート。 第２の実施形態における画素ずらしを説明する図。 第３の実施形態における画素ずらしを説明する図。 第４の実施形態における画素ずらしを説明する図。 第５の実施形態における画素ずらしを説明する図。 第６の実施形態における画素ずらしを説明する図。 解像度を２倍にする画素ずらしの原理について説明する図。 解像度を４倍にする画素ずらしの原理について説明する図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。

図１は、本発明の各実施形態における画像処理装置１００のハードウェアの概略構成を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、画像入力Ｉ／Ｆ１０４、画像出力装置１０５を含み、各ハードウェアはバスラインによって電気的に接続されている。なお、以下では、画像処理装置１００の例としてプロジェクタで以て説明するが、これに限定するものではない。

ＣＰＵ１０１は、画像処理装置１００の動作を制御するプログラムを実行する装置である。ＲＡＭ１０２は、画像処理装置１００が実行するプログラムの実行空間を提供するための揮発性の記憶装置である。ＲＯＭ１０３は、画像処理装置１００が実行するプログラムやデータ等を記憶するための不揮発性の記憶装置である。

画像入力Ｉ／Ｆ１０４は、パソコンなどの外部の端末と接続し、画像を入力するためのインターフェースであり、例として、ＨＤＭＩ（登録商標）などが挙げられる。画像出力装置１０５は、入力された画像に各種処理を行い、出力するための装置である。ここでいう各種処理とは、画素ずらし処理のほかに、例えば、色の調整や台形補正などが挙げられる。

以上、画像処理装置１００に含まれるハードウェア構成について説明した。次に、画像処理装置１００の各ハードウェアによって実行される機能手段について、図２を以て説明する。図２は、本発明の各実施形態における画像処理装置のソフトウェアブロック図である。

画像処理装置１００は、画像入力部２０１と、フレームメモリ部２０２と、フレームメモリ制御部２０３と、フレーム差分検出部２０４と、フレーム差分判定部２０５と、サブフレーム生成部２０６と、画像出力部２０７と、画素ずらし処理部２０８とを含む。以下、各機能ブロックの詳細について説明する。

画像入力部２０１は、画像入力Ｉ／Ｆ１０４を介して、外部の端末から画像を入力する手段である。フレームメモリ部２０２は、入力された画像を１フレームごとに記憶する手段である。フレームメモリ制御部２０３は、入力された画像のフレームメモリ部２０２への記憶および読み出しなどを制御する手段である。また、フレームメモリ制御部２０３は、フレーム差分検出部２０４やサブフレーム生成部２０６とデータをやり取りすることができる。

フレーム差分検出部２０４は、入力画像における各フレームを比較し、フレーム間の差分を検出することで、画像の動きに基づく情報を検出する手段である。なお、フレーム差分検出部２０４は、画像の動き量、動き方向、フレームの連続性などを検出することができる。また、フレーム差分検出部２０４が検出する情報は、画像全体について検出してもよいし、画像内の領域別に検出してもよい。

フレーム差分判定部２０５は、フレーム差分検出部２０４の検出情報に基づいて、入力画像が動画であるか、または静止画であるかを判定する手段である。また、フレーム差分判定部２０５も、フレーム差分検出部２０４と同様に、画像全体または画像内の領域別に判定することができる。

サブフレーム生成部２０６は、各種画素ずらし方式によって処理されたサブフレームを生成する手段である。画素ずらし処理の方式は、フレーム差分判定部２０５の判定情報に基づいて決定し、入力画像に応じた画素ずらし処理の方式を選択する。例えば、動画のように動き量が大きい画像に対しては、フレームレートを落とさないサブフレームを生成し、静止画のように動き量が小さい画像に対しては、解像度を落とさないサブフレームを生成する。生成されたサブフレームは、画像出力部２０７に送られる。

画像出力部２０７は、画素ずらし処理部２０８を含み、サブフレーム生成部２０６が生成したサブフレームを含む画像を、画像出力装置１０５に出力する手段である。画素ずらし処理部２０８は、画像のフレームとサブフレームに対して、設定された方式による画素ずらし処理を実行する手段である。

なお、上述したソフトウェアブロックは、ＣＰＵ１０１が本実施形態のプログラムを実行することにより、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。

以上、各ハードウェアによって実行される機能手段について説明した。次に画像出力装置１０５の構成について説明する。図３は、画像出力装置１０５における光学ブロックを説明する図である。

入力画像のフレームやサブフレームなどの画像情報は、照明光源３０１から光として放射される。放射された光は、レンズ３０２を通してＤＭＤ（Digital Mirror Device）素子３０３に照射される。ＤＭＤ素子３０３は、画像情報に基づいて、画素ごとにミラーの反射角度を電子的に制御できる素子である。

ＤＭＤ素子３０３によって反射された光は、画素ずらし手段３０４、投射レンズ３０５を通過することで、画像がスクリーン３０６上に投影される。画素ずらし手段３０４は、フレームの周期に応じて、投影画像の光路を一次元方向または二次元方向にシフトさせる機能を持つため、画素ずれした画像をスクリーン３０６に投影することができ、解像度を向上させることができる。

以下では、本発明の実施形態をより具体的な実施例で以て説明する。なお、各実施形態における共通事項として、入力画像の解像度が４Ｋ、フレームレートが６０ｆｐｓ（フレーム毎秒）、出力画像の解像度が２Ｋ、フレームレートが１２０ｆｐｓの場合を例に説明する。また、各実施形態において、１フレーム目と２フレーム目の間に挿入されるサブフレームを、便宜上「１．５フレーム目」として参照し、他のサブフレームについても同様に表現する。

まず、第１の実施形態について説明する。第１の実施形態では、入力画像の動き量によって、画素ずらし処理の方式を選択する。図４は、第１の実施形態において画像処理装置１００が実行する処理のフローチャートである。

画像処理装置１００は、ステップＳ１０００から処理を開始する。次に、ステップＳ１００１で、フレーム差分検出部２０４が、入力画像の動き量を検出する。ステップＳ１００２では、フレーム差分判定部２０５が、画像の動き量が、あらかじめ設定された閾値に対して小さいかを判定する。

ステップＳ１００２で判定した後、ステップＳ１００３またはステップＳ１００４で、判定した結果に基づいて、画素ずらしの方式を決定する。例えば、動き量が閾値よりも小さい場合には、画像が静止画（または動きの少ない動画）であるとして、ステップＳ１００３へ進み、解像度を優先した画素ずらしの処理方式を選択する。また、動き量が閾値以上の場合には、画像が動画であると判定して、ステップＳ１００４へ進み、フレームレートを優先した画素ずらしの処理方式を選択する。

その後、ステップＳ１００５へ進み、サブフレーム生成部２０６は、選択された処理方式に基づくサブフレームを生成する。なお、生成したサブフレームは、動画出力部に送られ、スクリーン上に投影される。サブフレームを生成した後、ステップＳ１００６で、処理待機時間が経過したかを判定する。処理待機時間が経過していない場合には、再度ステップＳ１００６に戻り、処理待機時間が経過するまで、ステップＳ１００６を繰り返す。処理待機時間が経過した場合には、ステップＳ１００１に戻り、画像に応じたサブフレームを生成する処理を繰り返す。

次に、上記の処理によって生成されるサブフレームについて説明する。図５は、第１の実施形態における画素ずらしを説明する図であり、図５（ａ）は入力画像の各フレームを、図５（ｂ）は静止画と判定された場合の出力画像の各フレームを、図５（ｃ）は動画と判定された場合の出力画像の各フレームを、それぞれ例示している。なお、図５において、入力画像の画素数は、図５（ａ）のように１６画素（縦４画素×横４画素）で、出力画像の画素数は、図５（ｂ）のように４画素（縦２画素×横２画素）で、それぞれ構成されており、出力画像のフレームレートは、入力画像のフレームレートよりも２倍高い場合を例示している。

入力画像の動き量が閾値より小さい場合、すなわち図５（ａ）の１フレーム目から４フレーム目までが、ほぼ同じ画像であった場合には、入力画像のフレームを間引いた上で、画素ずらし処理したサブフレームを挿入することで、解像度を優先した画像を表示することができる。なぜならば動き量が小さいため、間引かれたフレームは、その前後のフレームとの差異が小さく、間引かれたフレームを表示しなくても、ユーザが違和感を持ちにくいためである。

例えば、図５（ｂ）では、入力画像の２フレーム目および４フレーム目を間引き、出力画像の１フレーム目から２．５フレーム目までと、出力画像の３フレーム目から４．５フレーム目までで、それぞれ入力画像の１フレーム目と３フレーム目を表示している。このとき、１フレーム目から２．５フレーム目までの画素ずらし処理は、１フレーム目が左下、１．５フレーム目が右下、２フレーム目が右上、２．５フレーム目が左上となるように画素ずらし処理をすることで、見かけ上の解像度を向上させることができる。

なお、入力画像の動き量が閾値より小さい場合とは、静止画だけではなく、動きの少ない動画も含まれる。

また、入力画像の動き量が閾値以上の場合、すなわち図５（ａ）の１フレーム目から４フレーム目までが、異なる画像であった場合には、入力画像の各フレームに対して画素ずらし処理したサブフレームを挿入することで、フレームレートを優先した画像を表示することができる。

例えば、図５（ｃ）では、出力画像の１フレーム目および１．５フレーム目で、入力画像の１フレーム目を表示しているが、このとき１．５フレーム目の画像では、画素を４５°の方向にずらしたサブフレームを挿入している。同様に、出力画像の２フレーム目から４．５フレーム目でも、入力画像の各フレームに対応する、画素ずらし処理をしたサブフレームを挿入することで、画像の動きを損なうことなく、見かけ上の解像度を向上させることができる。

以上、第１の実施形態について説明したが、本実施形態によれば、画像に応じた画素ずらし処理をしたサブフレームを挿入でき、解像度を向上させることができる。

次に、第２の実施形態について説明する。第２の実施形態では、入力画像の動き量を、画像の領域ごとに検出・判定し、各領域に適した方式で画素ずらし処理をしたサブフレームを挿入する。図６は、第２の実施形態において画像処理装置１００が実行する処理のフローチャートである。なお、図６のフローチャートにおいて、第１の実施形態で示した図４のフローチャートと共通するステップについては、適宜説明を省略する。

画像処理装置１００は、ステップＳ２０００から処理を開始する。次に、ステップＳ２００１で、フレーム差分検出部２０４が、入力画像の動き量を領域ごとに検出する。なお、画像の領域は任意に設定することができる。

ステップＳ２００２では、フレーム差分判定部２０５が、画像の動き量が、あらかじめ設定された閾値に対して小さいかを判定する。なお、動き量の判定は、フレーム差分検出部２０４が検出した領域ごとの動き量に基づいて、画像全体の動き量と閾値とを比較することで行う。

ステップＳ２００２で画像全体の動き量が閾値よりも小さいと判定した場合には、ステップＳ２００３へ進み、解像度を優先した画素ずらしの処理方式を選択する。その後、ステップＳ２００４で、領域ごとに切り替えたサブフレームの生成方法を設定する。

また、ステップＳ２００２で動き量が閾値以上と判定した場合には、画像が動画であると判定して、ステップＳ２００５へ進み、フレームレートを優先した画素ずらしの処理方式を選択する。

ステップＳ２００４またはＳ２００５の後、ステップＳ２００６へ進み、サブフレーム生成部２０６は、選択された処理方式に基づくサブフレームを生成する。サブフレームを生成した後、ステップＳ２００７で、処理待機時間が経過したかを判定する。なお、ステップＳ２００６およびＳ２００７の処理は、ステップＳ１００５およびＳ１００６の処理と同様であり、画像に応じたサブフレームを生成する処理を繰り返す。

次に、上記の処理によって生成されるサブフレームについて説明する。図７は、第２の実施形態における画素ずらしを説明する図である。図７（ａ）は、図５（ａ）と同じく入力画像の各フレームを示している。図７（ｂ）は、解像度優先の画素ずらし方式を選択した場合における、動き量の小さい領域（以下、静止画領域として参照する）の出力画像を例示している。また、図７（ｃ）は、解像度優先の画素ずらし方式を選択した場合における、動き量の大きい領域（以下、動画領域として参照する）の出力画像を例示している。

静止画領域は、図７（ｂ）に例示した通り、図５（ｂ）と同様に、入力画像のフレームを間引いた上で、画素ずらし処理したサブフレームを挿入することで、解像度を優先した画像を表示することができる。

動画領域は、入力画像全体としての動き量が小さいものの、該画像の中では動き量が大きい領域であることから、フレームを間引かずに、入力画像の各フレームに対して画素ずらし処理をしたサブフレームを挿入する。

図７（ｃ）に示すように、入力画像の１フレーム目に対しては、出力画像の１フレーム目では左下、１．５フレーム目では右下になるような画素ずらし処理をしたサブフレームを挿入する。次に入力画像の２フレーム目に対しては、出力画像の２フレーム目では右上、２．５フレーム目では左上になるように画素ずらし処理をしたサブフレームを挿入する。すなわち、静止画エリアでは間引かれたフレームを利用してサブフレームを生成する。なお、３〜４．５フレーム目も、同様にして画素ずらし処理をする。

このように、領域ごとに使用するフレームを分けることによって、静止画領域と動画領域の解像度を向上させることができる。

なお、第２の実施形態における、フレームレートを優先した画素ずらし方式を選択した場合の出力画像は、図５（ｃ）と同様であるため、説明を省略する。

次に、第３の実施形態について説明する。第２の実施形態のように、静止画領域であるかまたは動画領域であるかによって、使用するフレームを分けてサブフレームを生成する場合、画像の動きの方向によっては、不自然な動きとなることがある。例えば、一つの画像内に、上方向に移動する物体と、下方向に移動する物体がある場合には、画素ずらしの方向によって、物体の動きの滑らかさが損なわれ、画質が劣化する虞がある。

そこで、第３の実施形態では、入力画像の動き量に加えて、入力画像の動きの方向を領域ごとに検出・判定し、動きの方向に応じた画素ずらし処理をしたサブフレームを挿入する。図８は、第３の実施形態における画素ずらしを説明する図である。

図８（ａ）は、図５（ａ）と同じく入力画像の各フレームを示している。また、図８（ｂ）は、上方向の動きの動画領域における出力画像を例示しており、図７（ｃ）と同様の画素ずらし処理である。図８（ｃ）は、下方向の動きの動画領域における出力画像を例示している。

図８（ｃ）において、１フレーム目から１．５フレーム目は、これまでに説明した画素ずらし処理と同様である。次に、１．５フレーム目から２フレーム目に移る際には、画素ずらしの方向が上方向であるのに対して、画像の動きが下方向であることから、動きの滑らかさが損なわれる。よって、本実施形態では、画像の動きの方向を判定することにより、２フレーム目の入力画像を使用せず、１フレーム目の入力画像を使用して、２〜２．５フレーム目の出力画像を生成する。

なお、上記の説明では、画像の動きが下方向の場合を例に説明したが、いずれの方向に動く場合であっても、同様の画素ずらし処理を行うことができる。

このように、画像の動きの方向に応じて画素ずらし処理をしたフレームを生成することによって、動画領域の解像度を向上させることができる。

次に、第４の実施形態について説明する。上述した通り、画素ずらし処理をする際に、画素ずらしの方向と、画像の動きの方向とが異なると、表示される画像の動きの滑らかさが損なわれる。そこで、本実施形態では、画像全体が動いている場合に、画素をずらす基準となる画素の位置を変更することで、動きが滑らかな画像を表示することができる。

図９は、第４の実施形態における画素ずらしを説明する図であり、出力画像の１フレーム目から２．５フレーム目までを画素ずらし処理して表示する例である。図９（ａ）は、画像が上方向に移動する場合の例を示しており、（ａ−１）は、画素ずらし処理による画素の位置を示し、（ａ−２）は、画素ずらしの順序を表す矢線を示し、（ａ−３）は、各フレームにおける画素ずらし処理をした画素の位置を示す。同様に、図９（ｂ）は画像が左方向に移動する場合を示している。

図９（ａ）のように画像が上方向に動いている場合には、１フレーム目で表示する画素の位置を左下とする。また、図９（ｂ）のように画像が左方向に動いている場合には、１フレーム目で表示する画素の位置を右下とする。このように画像の移動方向によって１フレーム目に表示する画素の位置を変えることで、１．５フレーム目と２フレーム目の画素ずらしの移動方向（（ａ−２）および（ｂ−２）における矢線２の方向）を、画像の移動方向と一致させることができる。

また、２．５フレーム目から次のフレームに移る際には、画素ずらし処理による画素の移動方向が、画像の移動方向と逆方向（（ａ−２）および（ｂ−２）における矢線４の方向）になるが、入力画像が切り替わることで、自然な動きの画像を表示させることができる。

同様に、画像の移動方向が下方向の場合には、１フレーム目で表示する画素の位置を右上に、画像の移動方向が下方向の場合には、１フレーム目で表示する画素の位置を左上にすることで、自然な動きの画像を表示させることができる。

このようにして、画素をずらす基準となる画素の位置を変更することで、全体的に動きのある画像でも、動きが滑らかな画像を表示することができる。

次に、第５の実施形態について説明する。第２および第３の実施形態において、動画領域ではフレームを間引かずにサブフレームを生成する例について説明した。このような処理では、見かけ上の画素のうち上半分の２画素と、下半分の２画素とでは、異なるフレームの画像を使用することから、画像によっては不自然な表示となる場合がある。そこで、第５の実施形態では、前後のフレームの画像を平滑化した画像の動画領域を含むサブフレームを挿入することで、動きが滑らかな画像を表示することができる。

図１０は、第５の実施形態における画素ずらしを説明する図であり、図１０（ａ）は、図５（ａ）と同じく入力画像の各フレームを示している。また、図１０（ｂ）は、静止画領域における出力画像を例示しており、図１０（ｃ）は、動画領域における出力画像を例示している。

図１０（ｂ）は、静止画領域の出力画像であるので、図７（ｂ）と同様にフレームを間引いて画素ずらし処理をしたサブフレームを挿入している。なお、本実施形態では、後述する通り平滑化した画像のサブフレームを挿入するため、入力画像に対して１フレーム分遅れて画像が出力される。したがって、１フレーム目および１．５フレーム目では、画像は表示されず、２フレーム目から画像を表示する。

図１０（ｃ）は、動画領域の出力画像の各フレームであり、図１０（ｂ）と同様に１フレーム目および１．５フレーム目では、画像は表示されず、２フレーム目から画像を表示する。

図１０（ｃ）の２フレーム目では、入力画像の１フレーム目と２フレーム目を平滑化した画像（図１０（ｃ）において濃い色で表される画素）を表示する。該平滑化した画像は、２フレーム目から３．５フレーム目までの間、画素ずらし処理をされながら表示される。その後、４フレーム目から４．５フレーム目では、入力画像の２フレーム目と３フレーム目を平滑化した画像を、画素ずらし処理をして表示する。

以上、第５の実施形態によれば、動画領域の画質を向上させることができる。次に、第６の実施形態について説明する。第６の実施形態では、入力画像のシーンの切り替わりを判定することで、自然な画像のサブフレームを生成する。図１１は、第６の実施形態における画素ずらしを説明する図である。

図１１（ａ）は、図５（ａ）と同じく入力画像の各フレームを示している。また、図１１（ｂ）は、第２の実施形態の静止画領域における出力画像を例示しており、図７（ｂ）と同じものである。図１１（ｃ）は、第２の実施形態の動画領域における出力画像を例示しており、図７（ｃ）と同じものである。図１１（ｄ）は、第６の実施形態の動画領域における出力画像を例示している。

図１１（ａ）では、１フレーム目と２フレーム目の間で、シーンが切り替わっている。入力画像の各フレーム間の連続性を判定することで、シーンが切り替わったものと判定することができる。

このようなシーンの切り替わりがあった場合、第２の実施形態で示した方法でサブフレームを生成すると、静止画領域との境界が不自然な画像となる。例えば、図１１（ｂ）、（ｃ）を比較すると、静止画領域で表示する画像と動画領域で表示する画像が、２フレーム目と２．５フレーム目で異なる。よって、入力画像の１フレーム目と２フレーム目の間でシーンが切り替わっていることから、静止画領域と動画領域との境界が不自然な画像が表示されることになる。

そこで、第６の実施形態では、図１１（ｄ）のように、２フレーム目と２．５フレーム目で、入力画像の２フレーム目を使用せずに、入力画像の１フレーム目を画素ずらし処理して生成したサブフレームを挿入する。このようなサブフレームを挿入することで、同じ入力画像に基づいて、静止画領域および動画領域の画像が生成され、不自然な境界の発生を防止できる。

以上、説明した本発明の各実施形態によれば、入力画像に基づいて、画素ずらしの処理方式を切り替えてサブフレームを生成する画像処理装置、方法およびプログラムを提供することができる。

上述した本発明の実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…画像処理装置、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…画像入力Ｉ／Ｆ、１０５…画像出力装置、２０１…画像入力部、２０２…フレームメモリ部、２０３…フレームメモリ制御部、２０４…フレーム差分検出部、２０５…フレーム差分判定部、２０６…サブフレーム生成部、２０７…画像出力部、２０８…画素ずらし処理部、３０１…照明光源、３０２…レンズ、３０３…ＤＭＤ素子、３０４…画素ずらし手段、３０５…投射レンズ、３０６…スクリーン

特開２００９−７１４４４号公報

Claims (9)

1. 画素ずらし処理をして画像を表示する装置であって、
   入力画像のフレーム間の差分に基づいて、前記入力画像の動き量を検出する手段と、
   前記検出した動き量に基づいて、画素ずらし処理の方式を選択する手段と、
   前記選択した画素ずらし方式で、前記入力画像の各フレームを処理したサブフレームを生成する手段と
   を含む画像処理装置。
2. 前記画素ずらし処理の方式は、
   前記入力画像の前記フレームの数を減らす画素ずらし処理をする方式であるか、
   または前記入力画像の画素数を減らす画素ずらし処理をする方式である、
   請求項１に記載の画像処理装置。
3. 前記入力画像の動き量を領域別に判定し、該判定の結果に基づいて、前記領域ごとに異なる方式で画素ずらし処理をした前記サブフレームを生成する、
   請求項１または２に記載の画像処理装置。
4. 前記入力画像の動きの方向を判定し、前記動きの方向に応じた方式で画素ずらし処理をした前記サブフレームを生成する、
   請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記入力画像の動きの方向を判定し、前記動きの方向に応じて、画素ずらし処理において基準となる画素の位置を選択する、
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記入力画像における連続する２つのフレームを平滑化した前記サブフレームを生成する、
   請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記入力画像のフレーム間の画像の連続性に基づいてシーンの切り替わりを判定し、該判定に基づいた画素ずらし処理をした前記サブフレームを生成する、
   請求項１〜６のいずれか１項に記載の画像処理装置。
8. 画素ずらし処理をして画像を表示する方法であって、
   入力画像のフレーム間の差分に基づいて、前記入力画像の動き量を検出するステップと、
   前記検出した動き量に基づいて、画素ずらし処理の方式を選択するステップと、
   前記選択した画素ずらし方式で、前記入力画像の各フレームを処理したサブフレームを生成するステップと
   を含む方法。
9. 画像処理装置を、請求項８に記載の手段として機能させる、装置実行可能なプログラム。