JP2021097323A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】複数の投影画像の一部を重ね合わせて投影する場合の画像の品位を向上可能にする。【解決手段】投影装置によって投影される画像を処理する画像処理装部１４０は、他の投影装置からの投影画像と重畳する重畳領域と重畳しない非重畳領域とで輝度レベルを合わせるように、投影される画像を補正する補正量（ＯＦＳＴ）を決定する決定手段と、他の投影装置がアイリスを制御して投影画像の光量を調整する際のアイリス制御値（ＩＲＩＳ＿ＶＡＬ）を取得する取得手段と、を有する。決定手段は、他の投影装置から取得したアイリス制御値（ＩＲＩＳ＿ＶＡＬ）を基に補正量（ＯＦＳＴ）を決定する。【選択図】図５

Description

本発明は、投影される画像を処理する技術に関する。

近年、複数のプロジェクタで画像を投影するマルチ投影システムが増加している。例えば、複数のプロジェクタからの投影画像を投影面上に並べて投影することで解像度を高めたり、複数のプロジェクタからの投影画像を投影面上の略同一の位置に重ねて投影することで輝度を向上させたりするスタック投影などが行われている。これらの技術は、高解像度、及び高輝度が必要になる、プロジェクションマッピングやパブリックビューイング等で実施されている。

複数のプロジェクタからの複数の投影画像を投影面上に並べて投影する際には、隣接する投影画像同士で一部が重なるように投影される。一方で、投影画像が重なる重畳領域（ブレンド領域）にはいわゆる黒浮きが発生することがある。このブレンド領域の黒浮きを低減する技術として、特許文献１には、非重畳領域の黒輝度を重畳領域と同じになるように調整することで、重畳領域と非重畳領域の輝度を均一に補正し、境界の輝度段差を目立ち難くする技術が開示されている。

特表２００４−５０７９５４号公報

しかしながら、上述の特許文献１に開示された従来技術の場合、プロジェクタの設定値によっては十分な補正効果が得られない場合があり、投影画像の品位が低くなってしまうことがある。

そこで、本発明は、複数の投影画像の一部を重ね合わせて投影する場合の画像の品位を向上可能にすることを目的とする。

本発明は、投影装置によって投影される画像を処理する画像処理装置であって、他の投影装置からの投影画像と重畳する重畳領域と重畳しない非重畳領域とで輝度レベルを合わせるように、前記投影される画像を補正する補正量を決定する決定手段と、前記他の投影装置がアイリスを制御して前記投影画像の光量を調整する際のアイリス制御値を取得する取得手段と、を有し、前記決定手段は、前記他の投影装置から取得した前記アイリス制御値を基に前記補正量を決定することを特徴とする。

本発明によれば、複数の投影画像の一部を重ね合わせて投影する場合の画像の品位を向上させることができる。

投影システムの構成例を示す図である。 投影装置の内部構成例を示す図である。 アイリス制御値と輝度、コントラスト比との関係を示す図である。 アイリス制御の基本特性を示す図である。 画像処理部の内部構成例を示す図である。 エッジブレンド黒補正部の動作説明に用いる図である。 黒補正オフセット量における格子点及び補正値の説明に用いる図である。 漏れ光の例を示す図である。 アイリスの設定に応じた輝度プロファイルを示す図である。 エッジブレンド黒補正処理を行う領域の説明に用いる図である。

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。なお同一の構成または処理については、同じ参照符号を付して説明する。
本実施形態では、図１のように投影装置１００と投影装置１０１の２台を使用し、投影画像の一部が重なり合うようにして画像を表示する投影システムを例に挙げる。投影装置１００はスクリーンの投影面上の左側に画像を投影する左プロジェクタであり、投影装置１０１は同スクリーンの投影面上の右側に画像を投影する右プロジェクタである。すなわち図１の投影システムにおいて、投影装置１００から投影画像１０００が投影され、投影装置１０１から投影画像１００１が投影されて、投影面上においては一つの画像を表示するように構成されている。一つの画像を表示するように構成する際に、投影画像１０００と投影画像１００１とは一部が重なり合う重畳領域１００２をもって投影される。また、投影装置１００と投影装置１０１は互いに通信を行うため、ハブ１０２を介して接続されている。なお、本実施形態ではハブ１０２を介して通信を行うものとして説明を行うが、投影装置１００と投影装置１０１が通信可能なように構成されていればハブ１０２を使用しない構成をとることも可能である。例えば、無線ＬＡＮルータを使用して無線により通信を行うように構成してもよいし、投影装置１００と投影装置１０１が他の装置を介さず直接接続されるように構成してもよい。

次に、本実施形態における投影装置１００の内部構成について図２を用いて説明する。なお、投影装置１０１の内部構成は投影装置１００と同様であるため図示及び説明は省略する。
本実施形態の投影装置１００は、ＣＰＵ１１０、ＲＡＭ１１１、ＲＯＭ１１２、操作部１１３、通信部１１４、画像入力部１２０、及び画像処理部１４０を有する。また投影装置１００は、光変調素子制御部１５０、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂ、光源制御部１３０、アイリス制御部１３１、光源１６０、アイリス１６１、色分離部１６２、色合成部１８０、投影光学系１８３、及び投影光学系制御部１８４を有する。

ＣＰＵ１１０、ＲＡＭ１１１、ＲＯＭ１１２、操作部１１３、通信部１１４、画像入力部１２０、光源制御部１３０、アイリス制御部１３１、画像処理部１４０、光変調素子制御部１５０、及び投影光学系制御部１８４は、バス１９９により相互に接続されている。

ＣＰＵ１１０は、投影装置１００の各動作ブロックを制御するものであり、ＲＯＭ１１２には、ＣＰＵ１１０の処理手順を記述した制御プログラムが記憶されており、ＲＡＭ１１１は、ワークメモリとして一時的に制御プログラムやデータが格納される。また、ＣＰＵ１１０は、通信部１１４より受信した静止画データや動画データをＲＡＭ１１１に一時的に記憶させ、ＲＯＭ１１２に記憶されたプログラムを用いて、それぞれの画像を再生したりすることもできる。なお、本実施形態では静止画や動画を特に区別する場合を除き、単に画像とのみ記載する。また、ＣＰＵ１１０は、操作部１１３や、通信部１１４から入力された制御信号を受信して、投影装置１００の各部を制御する。さらにＣＰＵ１１０は、後述するＧＵＩ（グラフィカルユーザーインターフェース）等のための処理をも行う。

操作部１１３は、ユーザーからの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。

通信部１１４は、外部機器と、制御信号や画像データなど送受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１２０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであってもよい。ここで、外部装置は、投影装置１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

画像入力部１２０は、外部装置から送信されてきた画像データを受信するものである。ここで、外部装置とは、画像データを出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。さらに、画像入力部１２０は、ＵＳＢフラッシュメモリやＳＤカードのようなメディアに記録された画像を読み込むこともできる。画像入力部１２０は、受信した画像データを画像処理部１４０へ出力する。さらに、画像入力部１２０は、ＣＰＵ１１０からの指示に基づき受信した画像データをＲＡＭ１１１に出力することも可能である。

光源制御部１３０は、光源１６０のオン／オフの制御や発光光量の制御を行うものであり、制御用のマイクロプロセッサなどからなる。光量の制御は、光源に印加する電圧または電流により制御を行う。また、光源制御部１３０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１３０と同様の処理を実行してもよい。また、光源１６０は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプ、レーザー、ＬＥＤ、蛍光体、またそれらを組み合わせたものであってもよい。

アイリス制御部１３１は、アイリス１６１の開閉を制御することにより、光源１６０からの光を色分離部１６２へ出射する光量を制御するものであり、制御用のマイクロプロセッサなどからなる。アイリス１６１は、アイリス制御部１３１からの信号によってモーターが駆動されることで開閉動作する。また、アイリス１６１は、アイリス制御部１３１からのアイリス制御値によって絞り量が調整される。本実施形態において、アイリス制御値は、ＣＰＵ１１０によって自動設定される場合の他、操作部１１３を介したユーザーからの指示に応じて設定可能とされている。

図３は、アイリス制御値に応じた光量（白輝度）とコントラスト比の特性（以後、アイリス制御特性）との関係を示した図である。図３の横軸がアイリス制御値であり、左側縦軸がアイリス１６１を制御した時の投影面上の白輝度（光量）、右側縦軸がコントラスト比となっている。図３の実線は白の輝度特性を、破線はコントラスト比特性を表している。本実施形態ではアイリス制御値を小さくするほど、輝度が非線形的に下がり、一方、コントラスト比は非線形的に上がるような特性となっている。

本実施形態において、図３に示したような特性の情報は、例えばＲＯＭ１１２に図４に示すような基本特性のテーブルの情報として保持されている。図４に示すように、テーブルは、アイリス制御値、白輝度、コントラスト比の３要素を有する。なお、図４の基本特性テーブルは、図３の特性を特定間隔でサンプリングした時の値を示している。図３や図４に示した特性は一例であり、アイリス制御値の設定によっては図３や図４に例示した特性とは異なる特性であってもよい。

画像処理部１４０は、画像入力部１２０から入力された画像に画素数、色／階調情報、画像形状などの変更処理を施し、また動画像のフレーム数の変更処理を施して、光変調素子制御部１５０に送信するものである。また、画像処理部１４０は、解像度変換処理、色補正処理、ＯＳＤ生成処理、ブレンド処理、幾何変形処理（キーストン補正処理）、エッジブレンド黒補正処理といった機能を実行することが可能である。さらに、画像処理部１４０は、画像入力部１２０から受信した画像以外にも、ＣＰＵ１１０によって再生された画像等に対して前述の変更処理を施すこともできる。また画像処理部１４０は、ＣＰＵ１１０により各処理部へ指定された制御情報を基に処理を施す。画像処理部１４０は、例えば画像処理用のマイクロプロセッサからなる。また画像処理部１４０の機能は、専用のマイクロプロセッサにより実現される場合だけでなく、例えば、ＲＯＭ１１２に記憶されたプログラムをＣＰＵ１１０が実行することによって実現されてもよい。画像処理部１４０の内部構成の詳細については後述する。

光変調素子制御部１５０は、画像処理部１４０から出力される画像信号に基づいて、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂの画素の光変調素子に印可する電圧を制御して、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂの光変調率を制御する。

光変調素子１７０Ｒは、赤色に対応する光変調素子であって、光源１６０から出力された光のうち、アイリス１６１を通過し、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の光変調率を制御するためのものである。光変調素子１７０Ｇは、緑色に対応する光変調素子であって、色分離部１６２でＲ，Ｇ，Ｂに分離された光のうち緑色の光の光変調率を制御するためのものである。光変調素子１７０Ｂは、青色に対応する光変調素子であって、色分離部１６２でＲ，Ｇ，Ｂに分離された光のうち青色の光の光変調率を制御するためのものである。本実施形態において、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂは、例えば反射型液晶パネル（以下、ＬＣＯＳパネルと記す）が用いられているとする。以下の説明では、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂを特に区別しない場合には、光変調素子１７０と記載する。

色分離部１６２は、光源１６０から出力された光を、Ｒ，Ｇ，Ｂの光に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６０として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。

色合成部１８０は、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂでそれぞれ変調されたＲ，Ｇ，Ｂの光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。

投影光学系制御部１８４は、投影光学系１８３を制御するものであり、制御用のマイクロプロセッサからなる。また、投影光学系制御部１８４の機能は、専用のマイクロプロセッサにより実現される場合だけでなく、例えば、ＲＯＭ１１２に記憶されたプログラムをＣＰＵ１１０が実行することによって実現されてもよい。

投影光学系１８３は、色合成部１８０で合成された光をスクリーンに投影するための構成であり、複数のレンズ、レンズ駆動用のアクチュエータ等からなる。また投影光学系１８３では、レンズがアクチュエータによって駆動されることで、投影画像のズーム（拡大、縮小）、焦点調整などを行うことができる。

次に、図５を用いて画像処理部１４０の構成及び処理の詳細を説明する。図５は、画像処理部１４０における各処理を機能ブロックにより表した図である。なお、図５の各機能ブロックにおける処理は、例えばＣＰＵ１１０が本実施形態に係るプログラムを実行することによって実現されてもよい。また図５の各機能ブロックにおける処理は、回路等のハードウェア構成によって実現されてもよいし、一部の機能ブロックの処理が、ＣＰＵ１１０等においてプログラムを実行することによるソフトウェア構成によって実現されてもよい。

基本画像処理部１４１は、基本画像処理として、ノイズリダクション処理、スケーリング処理、エッジ強調処理、色補正処理、階調補正処理などの高画質化処理を行うための構成である。基本画像処理部１４１は、画像処理部１４０から入力された画像ＩＤ０に対し、それら基本画像処理を施し、当該基本画像処理後の画像ＩＤＴを出力する。

また入力解像度とパネル解像度が異なる場合、基本画像処理部１４１は、スケーリング処理において、入力解像度をパネル解像度に合わせるための拡大／縮小処理を行う。本実施形態の場合、基本画像処理部１４１は、光変調素子１７０の解像度に合わせるように入力画像の解像度を変換する。例えば、光変調素子１７０の解像度が１９２０×１０８０であり、入力画像の解像度が１２８０×７２０である場合、基本画像処理部１４１は、入力画像を縦横共に１．５倍に拡大して１９２０×１０８０の解像度に変換する。このように光変調素子１７０の解像度と入力画像の解像度におけるアスペクト比が同じ場合、基本画像処理部１４１は、単純に入力画像を拡大処理する。一方、入力画像の解像度が１０２４×７６８であり、アスペクト比が光変調素子１７０のものとは異なる場合、基本画像処理部１４１は、アスペクト比を保持したまま、光変調素子１７０の縦または横の画素数の最大値に合わせるように入力画像を拡大処理する。そして、基本画像処理部１４１は、アスペクト比を保持したまま拡大処理した入力画像を、光変調素子１７０の中央に配置し、周辺の余った画素については黒を出力する。

エッジブレンド部１４２は、図１に示したように投影画像の一部を重ね合わせて一つの投影画像が構成される場合、基本画像処理部１４１での処理後の画像ＩＤＴに対し、重畳領域の輝度レベルを下げる（明るさを減らす）ための減光処理を施す。具体的にはエッジブレンド部１４２は、ＣＰＵ１１０により指定される重畳領域１００２の幅及び位置に基づいて、画像ＩＤＴのうちで重畳領域１００２に相当する画像領域に減光処理を行う。減光処理では、画像ＩＤＴのうちで重畳領域１００２に相当する画像領域の明るさが、投影画像１０００及び１００１の重畳領域外の非重畳領域の明るさと等しくなるように輝度を下げる処理が行われる。重畳領域１００２の幅と位置は、例えば不図示のリモコン等の操作部１１３を介してユーザーにより入力されてもよい。この場合のＣＰＵ１１０は、ユーザーから操作部１１３を介して入力された操作情報に基づく重畳領域１００２の幅と位置を、エッジブレンド部１４２に指定する。

変形処理部１４３は、エッジブレンド部１４２による減光処理後の画像ＥＢＤＴに対し、任意形状に変形する変形処理を行いフレームメモリ１４４に書き込む。そして、変形処理部１４３は、フレームメモリ１４４への書き込みが完了したら、当該フレームメモリ１４４から画像データを読み出し、変形処理後の画像ＫＳＤＴとしてエッジブレンド黒補正部１４６に出力する。なお、変形処理部１４３は、所定の変形式と複数点の変形前後の画素の位置関係に基づいて変形前後の画像処理領域全域の各画素の位置関係情報を算出し、その位置関係情報に基づいて入力画像から変形処理後の画像ＫＳＤＴを生成して出力する。

エッジブレンド黒補正部１４６は、黒補正オフセット量算出部１４５において後述するようにして算出された黒補正オフセット量ＯＦＳＴを、変形処理部１４３による変形処理後の画像ＫＳＤＴのデータに加算する。

まず図６を参照しながら、エッジブレンド黒補正部１４６での処理概要について説明する。
図６の「補正前画像」は、複数の投影装置からの投影画像の一部を重ね合わせるようにしてそのまま投影した場合の投影画像例を示している。図６の補正前画像は、左プロジェクタからの「黒」画像と、右プロジェクタからの「黒」画像とを、一部を重ね合わせるようにして投影した例を示している。図６の補正前画像からわかるように、左右のプロジェクタから投影された「黒」画像が重なり合った重畳領域２０２の黒は、画像が重なり合っていない非重畳領域２００及び２０１の黒よりもわずかに明るくなっている。このような重畳領域２０２の黒が明るくなって見える状態は「黒浮き」と呼ばれている。図６に示すように、左プロジェクタからの「左画像」と右プロジェクタからの「右画像」の一部を重畳させて投影した場合の重畳領域２０２の輝度は、非重畳領域２００の輝度の２倍程度になる。すなわち、左プロジェクタから投影される輝度分布６００の左画像と、右プロジェクタから投影される輝度分布６０１の右画像との一部を重ね合わせた「左画像＋右画像」には、重畳領域と非重畳領域とで、輝度分布に輝度段差６０２が生ずる。

一方、黒画像は輝度ゼロであり輝度をマイナス補正することはできないため、エッジブレンド黒補正部１４６では、重畳領域２０２と非重畳領域２００との輝度差分に相当する輝度値を、非重畳領域２００及び２０１の画像の輝度値に加えるような補正を行う。具体的には、エッジブレンド黒補正部１４６は、左側の非重畳領域２００では輝度分布６１０、右側の非重畳領域２０１では輝度分布６１１、重畳領域２０２では輝度ゼロとなる、「黒補正オフセット量ＯＦＳＴ」を加えるような処理を行う。これにより、黒補正オフセットＯＦＳＴを加えた「補正後画像」は、輝度段差６０２が補正された均一な輝度分布６１２の補正後画像２０３になる。すなわち、補正後画像２０３は、重畳領域と非重畳領域との境界における輝度段差が視認され難い画像になる。

次に、図７を用いて、黒補正オフセット量算出部１４５が算出（取得）する黒補正オフセット量ＯＦＳＴについて説明する。
図７に示した「補正前画像」は、図６で説明したのと同様の重畳領域２０２と非重畳領域２００及び２０１とからなる画像である。

また図７に示した「黒補正オフセット量ＯＦＳＴ」は、所定画素おきに配置された各格子点（図７中に〇で示された格子点）に、それぞれ黒レベル（輝度レベル）を補正するための補正値が設定された構成となされている。なお図７の黒補正オフセット量ＯＦＳＴは、左プロジェクタ（図１の例では投影装置１００）から投影される画像に対応した各格子点の構成を示している。また図７では、各格子点が、水平方向にｘ個で垂直方向にｙ個となるように配置され、格子点数がｘ×ｙ個となる構成例を示している。図７に示された各格子点は、エッジブレンド黒補正部１４６に入力される画像ＫＳＤＴの所定画素おきに対応して配されている。すなわち黒補正オフセット量ＯＦＳＴにおける各格子点には、エッジブレンド黒補正部１４６において画像ＬＳＤＴに加算するための、所定画素おきの補正値が配置されている。

なお、図７では左プロジェクタに対応した黒補正オフセット量ＯＦＳＴの各格子点の構成を示したが、右プロジェクタ（図１の投影装置１０１）に関しても同様の各格子点が配置される。ただし、右プロジェクタにおける黒補正オフセット量ＯＦＳＴは、左プロジェクタにおける黒補正オフセットＯＦＳＴの各補正値が配される各格子点の配置を左右反転させた構成となされる。

次に、黒補正オフセット量算出部１４５における黒補正オフセット量ＯＦＳＴの算出方法について、具体例を挙げて説明する。
本実施形態において、黒補正オフセット量算出部１４５は、以下に説明するようなアイリス制御値ＩＲＩＳ＿ＶＡＬと、ユーザー調整値ＵＳＲ＿ＶＡＬとに基づいて、黒補正オフセット量ＯＦＳＴを算出する。ユーザー調整値ＵＳＲ＿ＶＡＬの詳細については後述する。

アイリス制御値ＩＲＩＳ＿ＶＡＬは、ユーザーが投影面上の画像を目視しながら、例えばメニュー上のＧＵＩを操作してアイリス１６１を調整し、投影画像が所望のコントラストになるようにした際のアイリス制御の設定値である。なお、ＧＵＩの画面は、投影装置１００または投影装置１０１から投影表示されてもよいし、外部装置のパーソナルコンピュータ等の表示装置に表示されてもよい。またメニュー及びＧＵＩについては様々な形態が考えられるが、少なくともアイリス１６１を調整可能となるメニュー及びＧＵＩであればどのような形態が用いられてもよい。

ここで本実施形態において、黒補正オフセット量算出部１４５が黒補正オフセット量ＯＦＳＴを算出する際に用いるアイリス制御値ＩＲＩＳ＿ＶＡＬは、他プロジェクタについて設定される値である。例えば自プロジェクタが左プロジェクタであって当該左プロジェクタに対応した黒補正オフセット量を算出する場合、他プロジェクタは右プロジェクタである。

黒補正オフセット量算出部１４５は、他プロジェクタからＬＡＮ等を経由してアイリス制御値ＩＲＩＳ＿ＶＡＬを取得する。なお、アイリス制御値ＩＲＩＳ＿ＶＡＬは、不図示の投影情報取得部などによりＬＡＮ等を経由して他プロジェクタから取得されてもよい。

そして、黒補正オフセット量算出部１４５は、自プロジェクタについてユーザーにより設定された後述するユーザー調整値ＵＳＲ＿ＶＡＬと、他プロジェクタから取得したアイリス制御値ＩＲＩＳ＿ＶＡＬとに基づいて、黒補正オフセット量ＯＦＳＴを算出する。

本実施形態において、黒補正オフセット量算出の際に他プロジェクタで設定されたアイリス制御値ＩＲＩＳ＿ＶＡＬを使用するのは、自プロジェクタがエッジブレンド黒補正の調整を行う領域に、他プロジェクタからの漏れ光領域が含まれているためである。すなわち本実施形態の投影装置のようにＬＣＯＳパネルが使用される場合、当該ＬＣＯＳパネルにおいては一般的に投影画像領域外に漏れ光が発生する。

図８は、ＬＣＯＳパネルにおける漏れ光の説明に用いる概念図である。ＬＣＯＳパネルが使用される場合、図８に示すように、投影画像領域３００の外側に漏れ光領域３０１が生ずる。
また図９（ａ）と図９（ｂ）は、漏れ光領域３０１近辺の輝度プロファイルの一例を示した図である。図９（ａ）は右プロジェクタによる投影面上の「投影画像領域」及び「漏れ光領域」の輝度プロファイル例を示し、図９（ｂ）は左プロジェクタによる投影面上の「投影画像領域」及び「漏れ光領域」の輝度プロファイル例を示している。図９（ａ）において、図中の実線は右プロジェクタにおけるアイリス制御値が「オープン」時の輝度プロファイルを示しており、図中の点線はアイリス制御値が「クローズ」時の輝度プロファイルを示している。同様に、図９（ｂ）の実線は左プロジェクタにおけるアイリス制御値が「オープン」時、点線はアイリス制御値が「クローズ」時の、輝度プロファイルを示している。なお、アイリス制御値「オープン」は絞りが解放の状態であり、アイリス制御値「クローズ」は絞りが閉じた（最小絞り）状態であり、アイリス制御値「オープン」の方が、アイリス制御値「クローズ」の時よりも投影画像の輝度が明るくなる。図９（ａ）及び図９（ｂ）に示した通り、ＬＣＯＳパネルを使用した光学系の場合、アイリス制御値「オープン」の場合と比較して、アイリス制御値「クローズ」の場合の方が、輝度変化の直線性が高くなることが一般的である。本実施形態では、この特性を利用して黒補正オフセット量算出の制御が行われる。

図１０は、左プロジェクタに対応した黒補正オフセット量ＯＦＳＴの各補正値が配される格子点と、右プロジェクタ（つまり左プロジェクタに対する他プロジェクタ）でのアイリス制御値に応じた輝度プロファイルとの対応を示した図である。図１０の「補正前画像」と「黒補正オフセット量ＯＦＳＴ」は、図７で説明したの補正前画像と黒補正オフセット量ＯＦＳＴと同様であり、図７の黒オフセット量ＯＦＳＴは左プロジェクタに対応した黒補正オフセット量ＯＦＳＴの各格子点の構成を示している。

図１０に示した輝度プロファイルから判るように、右プロジェクタからの投影画像領域は非重畳領域２０１及び重畳領域２０２の左端までの領域であるが、当該右プロジェクタによる漏れ光領域Ａは重畳領域２０２の更に左側にまで広がっている。すなわち、右プロジェクタによる漏れ光領域Ａは、左プロジェクタによる非重畳領域２００側にまで広がっている。なお図１０の例では、説明の都合上、右プロジェクタの漏れ光領域Ａを広く記載しているが、実際の漏れ光領域は図８に示した漏れ光領域３０１程度の範囲である。また図１０において、漏れ光０領域Ｂは、右プロジェクタによる漏れ光がゼロ（０）の領域を示している。

前述したように自プロジェクタによる投影画像領域の範囲にまで他プロジェクタによる漏れ光領域が広がっていると、自プロジェクタの投影画像領域のみを考慮した黒補正オフセット量ＯＦＳＴを用いても十分な補正効果が得られず投影画像の品位が低くなる。
また前述したように、アイリス制御値「オープン」とアイリス制御値「クローズ」とでは輝度変化の特性が変化する。つまり、例えばアイリス制御値（絞り値）が変更された場合には漏れ光による影響が変わることになる。この場合、例えば予め重畳領域と非重畳領域との輝度段差に応じた黒補正オフセット量を設定しておいたとしても、アイリス制御値（絞り値）が変更されて漏れ光の影響が変化すると、重畳領域と非重畳領域との境界部の輝度段差が補正されずに残ることがある。

このため、本実施形態の黒補正オフセット量算出部１４５は、他プロジェクタにおいて設定されているアイリス制御値ＩＲＩＳ＿ＶＡＬと、後述するユーザー調整値ＵＳＲ＿ＶＡＬとに基づいて、黒補正オフセット量ＯＦＳＴを算出する。

次に、本実施形態において、黒補正オフセット量ＯＳＦＴの算出時に、アイリス制御値ＩＲＩＳ＿ＶＡＬと共に用いられる、ユーザー調整値ＵＳＲ＿ＶＡＬについて説明する。
ユーザー調整値ＵＳＲ＿ＶＡＬは、ユーザーが、投影面上の黒レベルを目視しながら、メニュー上のＧＵＩを操作等することでユーザーが黒レベル補正に関して設定した情報を基に決定される調整値である。ユーザー調整値ＵＳＲ＿ＶＡＬは、黒レベルに対するオフセットレベルを示すレベル設定「Ｂｌａｃｋ＿Ｌｅｖｅｌ」と、黒レベルのオフセットを行う領域を示す領域設定「Ｂｌａｃｋ＿Ｒｅｇｉｏｎ」との、２種類のユーザー設定によって決められる。なお、この場合のメニュー及びＧＵＩについても様々形態が考えられるが、オフセットレベル設定「Ｂｌａｃｋ＿Ｌｅｖｅｌ」とオフセット領域設定「Ｂｌａｃｋ＿Ｒｅｇｉｏｎ」の設定が可能であればどのような形態が用いられてもよい。

オフセットレベル設定「Ｂｌａｃｋ＿Ｌｅｖｅｌ」の際には、ユーザーによるＧＵＩ操作等により、漏れ光が０である領域（図１０に示した右プロジェクタからの漏れ光０領域Ｂ）に対して適用する黒補正オフセット量の補正値が決められる。具体的には、左プロジェクタの黒補正オフセット量における補正値は、左プロジェクタの黒浮き量（画素値０の時の輝度値）と重畳領域の輝度値との差分に相当する補正値となる。一方、右プロジェクタの黒補正オフセット量における補正値は、右プロジェクタの黒浮き量（画素値０の時の輝度値）と重畳領域の輝度値との差分に相当する補正値となる。

オフセット領域設定「Ｂｌａｃｋ＿Ｒｅｇｉｏｎ」の際には、図１０に示すような漏れ領域に対応したポイントＳ及びポイントＥの箇所が、ユーザーによってＧＵＩ上で座標指定される。ユーザーが座標指定を行うと、黒補正オフセット量算出部１４５は、非重畳領域のうち他プロジェクタによる漏れ光が影響しない領域に対して適用する補正量と、他プロジェクタによる漏れ光が影響する領域に対して適用する補正量とを決定する。さらに、黒補正オフセット量算出部１４５は、漏れ光が影響しない領域と漏れ光が影響する領域との間の領域については、漏れ光が影響しない領域に適用する補正量と、漏れ光が影響する領域に適用する補正量とを基に補間した補正量を決定する。

具体的には、黒補正オフセット量算出部１４５は、図１０に示すポイントＳでの補正値（＝右プロジェクタの漏れ光０の領域Ｂの補正値）及びポイントＥでの補正値（＝０（重畳領域のため））とから補間により求めた補正値を、中間の格子点に設定する。このとき、黒補正オフセット量算出部１４５は、前述した他プロジェクタにおけるアイリス制御値が［クローズ］である場合には、ポイントＳとポイントＥとの間を直線補間して求めた補正値を、中間の格子点に設定する。一方、他プロジェクタにおけるアイリス制御値が［オープン］である場合、黒補正オフセット量算出部１４５は、ポイントＳとポイントＥとの間を曲線補間して求めた補正値を、中間の格子点に設定する。本実施形態では、このような制御が行われることで、漏れ光領域に対しても、アイリス制御値によらず、補正精度の高い補正値を設定することが可能となる。

エッジブレンド黒補正部１４６は、前述のように格子点毎に設定された黒補正オフセット量ＯＦＳＴを、最終的には隣接格子点のデータを用いてＬＣＯＳパネル上の画素毎にマッピングして、画素毎の黒補正オフセット量ＯＦＳＴ＿ＤＯＴに変換する。画素毎にマッピングする方式としては、バイリニア方式等を用いることができる。

エッジブレンド黒補正部１４６における補正処理をより具体的に説明すると、式（１）で表すことができる。式（１）の処理は、画素ごとに行われる。

ＥＢＢＤＴ＝ＫＳＤＴ＋ＯＦＳＴ＿ＤＯＴ 式（１）

本実施形態の画像処理部１４０によれば、本処理が行われることで、投影面に投影された画像は、図６の「補正後画像」のように重畳領域に発生する輝度段差が低減され、投影面上での明るさが均一な高品位の画像になる。

前述したように本実施形態によれば、プロジェクタ光源のアイリス制御値に基づいて、黒補正オフセット量（つまり黒レベル補正量）を制御することにより、二つ以上の複数プロジェクタから複数の画像を投影するマルチ投影時の画像品位の向上が可能になる。

なお前述の実施形態では、ポイントＳとポイントＥとの間を補間する例を挙げたが、補間を行わず、格子点に設定する補正値を、図１０に示した輝度プロファイルに基づいて直接算出してもよい。この場合は、より精度が高めることが可能になる。

また前述の実施形態では、各格子点が均等に配置されている例を挙げたが、各格子点は不均等に配置されていてもよく、例えば非重畳領域と重畳領域とで格子点の個数が変えられてもよい。例えば、重畳領域に対する格子点の数が、非重畳領域に対する格子点の数よりも相対的に増やすようになされた場合、限られたハードウェア資源で重畳領域に対してより高精度な補正を行うことが可能になる。また例えば、非重畳領域と重畳領域との境界付近に多くの格子点を配置するようなことを行えば、黒浮きが発生している境界部分での補正を高精度に行うことが可能となる。

また前述の実施形態では、格子点数が水平方向にｘ個、垂直方向にｙ個の例を挙げたが、この例に限定されず、例えばさらに細かな間隔で格子点が設定されていてもよく、その場合、投影面内における明るさのムラをより細かく補正するような制御が可能になる。

さらに本実施形態では、プロジェクタ同士が通信してアイリス制御値を通信する例を示したが、パーソナルコンピュータ等を用いて、各プロジェクタにアイリス制御値が設定されてもよい。この場合、本実施形態で記載したアイリス設定値取得後の動作を行えばよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００，１０１：投影装置、１０２：ハブ、１１０：ＣＰＵ、１１１：ＲＡＭ、１１２：ＲＯＭ、１１４：通信部、１３０：光源制御部、１３１：アイリス制御部、１４０：画像処理部、１４１：基本画像処理部、１４２：エッジブレンド部、１４３：変形処理部、１４４：フレームメモリ、１４５：黒補正オフセット量算出部、１４６：エッジブレンド黒補正部、１６０：光源、１６１：アイリス

Claims (21)

1. 投影装置によって投影される画像を処理する画像処理装置であって、
   他の投影装置からの投影画像と重畳する重畳領域と重畳しない非重畳領域とで輝度レベルを合わせるように、前記投影される画像を補正する補正量を決定する決定手段と、
   前記他の投影装置がアイリスを制御して前記投影画像の光量を調整する際のアイリス制御値を取得する取得手段と、を有し、
   前記決定手段は、前記他の投影装置から取得した前記アイリス制御値を基に前記補正量を決定することを特徴とする画像処理装置。
2. 前記重畳領域に減光処理を行う減光処理手段を有し、
   前記決定手段は、前記減光処理が行われた後の前記画像に対して前記重畳領域と前記非重畳領域とで輝度レベルを合わせるための前記補正量を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記非重畳領域の黒の輝度レベルを前記重畳領域の黒の輝度レベルに合わせるように補正する黒補正オフセット量を、前記補正量として決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記黒補正オフセット量として、前記非重畳領域のうち前記他の投影装置による漏れ光が影響しない領域に対して適用する補正量と、前記他の投影装置による前記漏れ光が影響する領域に対して適用する補正量とを決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記他の投影装置による前記漏れ光が影響しない領域と前記漏れ光が影響する領域との中間の領域では、前記漏れ光が影響しない領域に対して適用する補正量と、前記漏れ光が影響する領域に対して適用する補正量とを基に補間した補正量を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記漏れ光が影響する領域に対して適用する補正量は、前記アイリス制御値によって異なることを特徴とする請求項４または請求項５に記載の画像処理装置。
7. 前記決定手段は、前記重畳領域および前記非重畳領域に配された複数の格子点ごとに前記黒補正オフセット量を示す補正値を配置することを特徴とする請求項３から請求項６のいずれか１項に記載の画像処理装置。
8. 前記決定手段は、前記重畳領域に対して配置される前記格子点の数を、前記非重畳領域に対して配置される数より多くすることを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段は、前記重畳領域と前記非重畳領域との境界に対して配置される前記格子点の数をそれ以外の領域に対して配置される数より多くすることを特徴とする請求項７に記載の画像処理装置。
10. 投影装置によって投影される画像を処理する画像処理装置が実行する画像処理方法であって、
    他の投影装置からの投影画像と重畳する重畳領域と重畳しない非重畳領域とで輝度レベルを合わせるように、前記投影される画像を補正する補正量を決定する決定工程と、
    前記他の投影装置がアイリスを制御して前記投影画像の光量を調整する際のアイリス制御値を取得する取得工程と、を有し、
    前記決定工程では、前記他の投影装置から取得した前記アイリス制御値を基に前記補正量を決定することを特徴とする画像処理方法。
11. 前記重畳領域に減光処理を行う減光処理工程を有し、
    前記決定工程では、前記減光処理が行われた後の前記画像に対して前記重畳領域と前記非重畳領域とで輝度レベルを合わせるための前記補正量を決定することを特徴とする請求項１０に記載の画像処理方法。
12. 前記決定工程では、前記非重畳領域の黒の輝度レベルを前記重畳領域の黒の輝度レベルに合わせるように補正する黒補正オフセット量を、前記補正量として決定することを特徴とする請求項１１に記載の画像処理方法。
13. 前記決定工程では、前記黒補正オフセット量として、前記非重畳領域のうち前記他の投影装置による漏れ光が影響しない領域に対して適用する補正量と、前記他の投影装置による前記漏れ光が影響する領域に対して適用する補正量とを決定することを特徴とする請求項１２に記載の画像処理方法。
14. 前記決定工程では、前記他の投影装置による前記漏れ光が影響しない領域と前記漏れ光が影響する領域との中間の領域では、前記漏れ光が影響しない領域に対して適用する補正量と、前記漏れ光が影響する領域に対して適用する補正量とを基に補間した補正量を決定することを特徴とする請求項１３に記載の画像処理方法。
15. 前記漏れ光が影響する領域に対して適用する補正量は、前記アイリス制御値によって異なることを特徴とする請求項１３または請求項１４に記載の画像処理方法。
16. 前記決定工程では、前記重畳領域および前記非重畳領域に配された複数の格子点ごとに前記黒補正オフセット量を示す補正値を配置することを特徴とする請求項１２から請求項１５のいずれか１項に記載の画像処理方法。
17. 前記決定工程では、前記重畳領域に対して配置される前記格子点の数を、前記非重畳領域に対して配置される数より多くすることを特徴とする請求項１６に記載の画像処理方法。
18. 前記決定工程では、前記重畳領域と前記非重畳領域との境界に対して配置される前記格子点の数をそれ以外の領域に対して配置される数より多くすることを特徴とする請求項１６に記載の画像処理方法。
19. 画像を投影する投影装置であって、
    他の投影装置からの投影画像と重畳する重畳領域と重畳しない非重畳領域とで輝度レベルを合わせるように、前記投影される画像を補正する補正量を決定する決定手段と、
    前記他の投影装置がアイリスを制御して前記投影画像の光量を調整する際のアイリス制御値を取得する取得手段と、を有し、
    前記決定手段は、前記他の投影装置から取得した前記アイリス制御値を基に前記補正量を決定することを特徴とする投影装置。
20. 二つ以上の投影装置から投影される画像の一部が重畳するように投影を行う投影システムであって、
    少なくとも一つの投影装置は、
    他の投影装置からの投影画像と重畳する重畳領域と重畳しない非重畳領域とで輝度レベルを合わせるように、前記投影される画像を補正する補正量を決定する決定手段と、
    前記他の投影装置がアイリスを制御して前記投影画像の光量を調整する際のアイリス制御値を取得する取得手段と、を有し、
    前記決定手段は、前記他の投影装置から取得した前記アイリス制御値を基に前記補正量を決定することを特徴とする投影システム。
21. コンピュータを、請求項１から請求項９のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images