JP2021034891A - 投射画像の撮像に用いられる制御装置および制御方法 - Google Patents

Abstract

【課題】投射画像の投射条件に応じた撮像装置の撮像設定を簡易に行う。【解決手段】画像投射システムの構成である制御装置は、画像投射装置により投射された投射画像を撮像した撮像装置から取得した撮像画像を用いて該撮像装置の撮像設定を行う。制御装置は、撮像画像から判定領域を検出する判定領域検出手段と、上記撮像画像または撮像装置から取得した他の撮像画像のうち判定領域内の画像を用いて撮像設定を行う設定手段とを有する。【選択図】図３

Description

本発明は、画像投射装置（以下、プロジェクタという）による投射画像を撮像する撮像装置（以下、カメラという）の制御に関する。

カメラを用いてプロジェクタからの投射画像を撮像し、得られた撮像画像を用いて投射画像の形状や色を補正する方法がある。ただし、画像投射時における外光等の投射条件によってはカメラの露出値等の撮像設定を適切に行えない場合がある。

特許文献１には、投射条件に応じたカメラの設定で投射画像を撮像できるように、投射されたガイドと称される特殊なパターンをカメラで撮像し、得られた撮像画像からガイドが検出されるように撮像設定を行う方法が開示されている。

特開２０１７−１２１０７６号公報

しかしながら、特許文献１に開示された方法では、撮像画像からガイドを検出する画像解析が必要となり、処理が複雑である。

本発明は、投射画像の投射条件に応じた撮像装置の撮像設定を簡易に行えるようにした制御装置を提供する。

本発明の一側面としての制御装置は、画像投射装置により投射された投射画像を撮像した撮像装置から取得した撮像画像を用いて該撮像装置の撮像設定を行う。制御装置は、撮像画像から判定領域を検出する判定領域検出手段と、上記撮像画像または撮像装置から取得した他の撮像画像のうち判定領域内の画像を用いて撮像設定を行う設定手段とを有することを特徴とする。

また本発明の他の一側面としての制御方法は、画像投射装置により投射された投射画像を撮像した撮像装置から取得した撮像画像を用いて撮像装置の撮像設定を行う方法である。該制御方法は、撮像画像から判定領域を検出するステップと、上記撮像画像または撮像装置から取得した他の撮像画像のうち判定領域内の画像を用いて撮像設定を行うステップとを有することを特徴とする。

なお、コンピュータに上記制御方法に従う処理を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。

本発明によれば、投射画像の投射条件を反映した撮像画像を用いて、投射条件に応じた撮像設定を簡易に行うことができる。

本発明の実施例１であるプロジェクタの構成を示すブロック図。 実施例１のプロジェクタとカメラを示す図。 実施例１のプロジェクタとカメラを含む画像投射システムの構成を示すブロック図。 実施例１の変形例であるプロジェクタの構成を示すブロック図。 実施例１における露出設定処理を示すフローチャート。 本発明の実施例２のプロジェクタによるマルチプロジェクションを示す図。 実施例２における露出設定処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図３は、本発明の実施例１である制御装置を含む画像投射システムの構成を示している。該システムは、制御装置１０２と、画像投射装置としてのプロジェクタ１０１と、画像信号を生成してプロジェクタ１０１に供給する画像生成装置１０３と、撮像装置としてのカメラ１０４とを含む。制御装置１０２は、パーソナルコンピュータにより構成され、プロジェクタ１０１、画像生成装置１０３およびカメラ１０４の動作を制御する。制御装置１０２をＣＰＵ等のプロセッサにより構成してプロジェクタ１０１に内蔵してもよい。画像生成装置１０３は、制御装置１０２と一体または別のパーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機等を含む。また画像生成装置１０３が、プロジェクタ１０１に内蔵されていてもよい。

図１は、本発明の実施例１である制御装置により制御される画像投射装置としてのプロジェクタ１０１の構成を示している。プロジェクタ１０１は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０および通信部１８０を有する。さらにプロジェクタ１０１は、液晶制御部１５０、液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０および投射光学系１７１を有する。

ＣＰＵ１１０は、コンピュータとして、プロジェクタ１０１全体の動作を制御する。ＲＯＭ１１１はＣＰＵ１１０が実行するコンピュータプログラムを記憶し、ＲＡＭ１１２はワークメモリとして一時的にプログラムやデータを格納する。図３に示した制御装置１０２の機能がＣＰＵ１１０の機能に含まれていてもよい。

操作部１１３は、スイッチ、ダイヤルおよびタッチパネル等の操作部材を有し、ユーザの操作（指示）を受け付けてＣＰＵ１１０に指示信号を送信する。操作部１１３は、リモコンからの信号（赤外線信号等）を受信し、該受信した信号に応じた指示信号をＣＰＵ１１０に送信してもよい。ＣＰＵ１１０は、操作部１１３から受信した指示信号や通信部１８０が図３に示した制御装置１０２から受信した制御信号に応じてプロジェクタ１０１の動作を制御する。

通信部１８０は、制御装置１０２からの制御信号や画像生成装置１０３からの画像信号等を、無線／有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等により受信する。画像入力部１３０の端子が、ＨＤＭＩ（登録商標）用の端子であれば、その端子を介してＣＥＣ通信を行ってもよい。

画像処理部１４０は、画像処理用プロセッサにより構成され、画像入力部１３０または通信部１８０を通じて画像生成装置１０３から入力された映像信号に対してフレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理および歪み補正処理（キーストン補正処理）等の処理を行い、処理後の映像信号を液晶制御部１５０に送信する。図３に示した画像生成装置１０３の機能が画像処理部１４０の機能に含まれていてもよい。

液晶制御部１５０は、画像制御用プロセッサにより構成され、画像処理部１４０からの映像信号に応じて、光変調素子としての液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂに対して液晶駆動信号を出力し、各液晶素子の反射率または透過率を制御する。

光源制御部１６０は、光源制御用プロセッサにより構成され、レーザ、ＬＥＤ、ランプ等の発光素子からなる光源１６１を制御する。色分離部１６２は、ダイクロイックミラーやビームスプリッタ等により構成され、光源１６１からの白色光を赤色（Ｒ）光、緑色（Ｇ）光および青色（Ｂ）光に分離する。なお、光源１６１として各色光を発するレーザやＬＥＤ等を使用する場合には色分離部１６２は不要である。

Ｒ光、Ｇ光およびＢ光のそれぞれに対して設けられた液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂは、液晶制御部１５０からの液晶駆動信号に応じて入射した光を変調する。これにより、外部装置から入力された映像信号に対応する投射画像を生成するためのＲ画像光、Ｇ画像光およびＢ画像光が生成される。なお、光変調素子として、デジタルマイクロミラーデバイス等、液晶素子以外のものを用いてもよい。

色合成部１６３は、ダイクロイックミラーやビームスプリッタ等により構成され、液晶素子１５１Ｒ，１５１Ｇ，１５１ＢからのＲ画像光、Ｇ画像光およびＢ画像光を合成する。色合成部１６３にて合成された画像光（つまりは画像光により形成される投射画像）は、投射光学系１７１を介してスクリーン等の被投射面に拡大投射される。

光学系制御部１７０は、光学系制御用プロセッサにより構成され、投射光学系１７１に含まれるズームおよびフォーカス用のレンズを駆動するアクチュエータを制御して、投射画像の拡大縮小および焦点調節を行う。なお、画像処理部１４０、液晶制御部１５０、光源制御部１６０および光学系制御部１７０のうち少なくとも１つがＣＰＵ１１０と一体に設けられてもよい。

本実施例では、図１および図２に示すようにプロジェクタ１０１からの投射画像をカメラ１０４により撮像する。そして、図３に示した制御装置１０２（またはＣＰＵ１１０）がカメラ１０４から得られる撮像画像を用いて、画像投射時における外光の強度や次の実施例２で説明するマルチプロジェクションにおける画像重畳領域の明るさ等の投射条件に応じたカメラ１０４の撮像設定を行う。

図２は、天井に設けられた照明器具３０１が点灯し、該照明器具３０１からの照明光（外光）が投射画像に照射されている状態を示している。

カメラ１０４の露出値（シャッタ速度や絞り値）等の撮像設定は、プロジェクタ１０１からの投射画像の明るさ（露出）に適した値に設定することが望ましいが、投射画像の明るさに照明光の明るさが加わっているために、投射画像とその周囲を撮像して得られる撮像画像を用いてカメラ１０４の撮像設定を行うことが難しい。

そこで本実施例では、判定領域検出手段および設定手段としての制御装置（またはＣＰＵ１１０）がカメラ２０１の撮像画角に含まれる投射画像の投射領域を露出判定領域として検出し、該投射領域内の画像の露出が適切となるようにカメラ１０４の撮像設定（以下、露出設定ともいう）を行う。これにより、カメラ１０４に対して照明光や環境の影響を抑制した撮像画像が得られる適切な露出設定を行うことができる。そして、適切な露出設定のカメラ１０４による撮像により得られた撮像画像を用いることで、プロジェクタ１０１の良好な投射設定（輝度や色味等の設定）を行うことができる。カメラ１０４の露出設定を行う処理の詳細については後述する。

図３に示した画像生成装置１０３（または画像処理部１４０）は、カメラ１０４の露出設定を行う際にプロジェクタ１０１にパターン画像を投射させるための画像信号を生成する。

カメラ１０４は、画像生成装置１０３からの画像信号に基づいてプロジェクタ１０１により投射されたパターン画像を撮像する。図４に示すように、カメラ１０４をプロジェクタ１０１に内蔵してもよい。

図５のフローチャートを用いて、カメラ１０４の露出設定を行う処理（制御方法）について説明する。制御装置１０２（またはＣＰＵ１１０）は、コンピュータプログラムに従って本処理を実行する。

本処理を開始した制御装置１０２は、ステップＳ１０１においてプロジェクタ１０１から投射画像が投射される投射領域（露出判定領域）を検出する。具体的には、制御装置１０２は、画像生成装置１０３（または画像処理部１４０）に白いパターン画像としての白ラスター画像（例えば最大階調のラスター画像）を生成させてプロジェクタ１０１に該白ラスター画像を投射させ、カメラ１０４に投射画像としての白ラスター画像の撮像を行わせる。次に制御装置１０２は、画像生成装置１０３に黒いパターン画像としての黒ラスター画像（例えば最小階調のラスター画像）を生成させてプロジェクタ１０１に該黒ラスター画像を投射させ、カメラ１０４に投射画像としての黒ラスター画像の撮像を行わせる。

そして制御装置１０２は、カメラ１０４から白ラスター撮像画像と黒ラスター撮像画像を取得し、これら白ラスター撮像画像と黒ラスター撮像画像の差分から露出判定領域としての投射領域を検出する。この投射領域には、投射画像が投射されていない領域（投射領域外の領域）は含まれない。なお、投射領域が検出可能な他の方法を用いてもよい。

次にステップＳ１０２では、制御装置１０２は、白ラスター撮像画像のうち検出された投射領域内の画像（判定領域内の画像）の露出が適切であるか否かを判定し、適切でない場合はステップＳ１０３に進んでカメラ１０４に露出値（シャッタ速度および絞り値のうち少なくとも一方）を変更させる。そして制御装置１０２は、露出値が変更されたカメラ１０４にプロジェクタ１０１に投射させた白ラスター画像を撮像させ、再びステップＳ１０２で白ラスター撮像画像のうち投射領域内の画像の露出が適切であるか否かを判定する。

一方、投射領域内の画像の露出が適切であった場合は、制御装置１０２は、ステップＳ１０５において、その露出が得られたときのカメラ１０４の露出値でその後に投射画像を撮像するカメラ１０４の露出設定を行う。そして本処理を終了する。

なお、ステップＳ１０１での投射領域（露出判定領域）の検出に用いられる撮像画像とステップＳ１０２での露出の判定に用いられる撮像画像は必ずしも同じ画像である必要はなく、ステップＳ１０２においてカメラ１０４から取得した他の撮像画像を用いてもよい。

また、ステップＳ１０２において投射領域内の画像の露出が適切でないと判定した場合に、制御装置１０２が白ラスター撮像画像に基づいて適切な撮像時の露出値を算出し、その露出値でその後に投射画像を撮像するカメラ１０４の露出設定を行う。

また、投射領域内の画像の露出の判定においては、投射領域内における一部の画像を用いればよく、例えば、投射領域の中心部、最も明るい部分またはユーザにより指定された部分の画像を用いればよい。さらに投射領域内においてユーザにより指定された複数部分の画像を用いてもよい。複数部分の画像を用いる場合は、これらの画像のすべての露出、複数部分のうち１つの画像の露出または複数部分の画像の露出の平均値が適正露出である場合に、そのときのカメラ１０４の露出値でその後に投射画像を撮像するカメラ１０４の露出設定を行ってもよい。また投射領域内の全体の画像の明るさの平均値が適正露出である場合にそのときのカメラ１０４の露出値でその後に投射画像を撮像するカメラ１０４の露出設定を行ってもよい。

本実施例によれば、画像投射時の外光の強度（投射条件）を反映した撮像画像を用いて、投射条件に応じたカメラ１０４の撮像設定（露出設定）を簡易に行うことができる。

図６を用いて、本発明の実施例２について説明する。図６は、複数（２台）のプロジェクタ３０１，３０２のそれぞれからの投射画像（投射領域）４０１，４０２がその一部同士が重畳するように投射されるマルチプロジェクションを示している。

投射画像４０１，４０２が重畳する重畳領域４０３は、重畳していない非重畳領域４０１ａ，４０２ａに比べて明るい。このため、重畳領域４０３の撮像画像からカメラ１０４の露出設定を行うと、重畳領域４０３の明るさに影響されて非重畳領域４０１ａ，４０２ａに対して適切ではない露出設定が行われる。本実施例では、このような投射条件においてカメラ１０４の露出設定を非重畳領域４０１ａ，４０２ａに対して適切に行う。

図７のフローチャートを用いて、本実施例においてカメラ１０４の露出設定を行う処理（制御方法）について説明する。制御装置１０２（またはＣＰＵ１１０）は、コンピュータプログラムに従って本処理を実行する。

本処理を開始した制御装置１０２は、ステップＳ２０１において、マルチプロジェクションにおける露出判定領域としての非重畳領域４０１ａ，４０２ａを検出する。具体的には、制御装置１０２は、画像生成装置１０３（または画像処理部１４０）に白ラスター画像を生成させて両プロジェクタ３０１，３０２に該白ラスター画像を投射させ、カメラ１０４に重畳領域を含むそれら白ラスター画像の撮像を行わせる。次に制御装置１０２は、プロジェクタ３０１のみに白ラスター画像を投射させてカメラ１０４にその白ラスター画像の撮像を行わせ、さらにプロジェクタ３０２のみに白ラスター画像を投射させてカメラ１０４にその白ラスター画像の撮像を行わせる。

次に制御装置１０２は、画像生成装置１０３に黒ラスター画像を生成させて両プロジェクタ３０１，３０２に該黒ラスター画像を投射させ、カメラ１０４に重畳領域を含むそれら黒ラスター画像の撮像を行わせる。続いて制御装置１０２は、プロジェクタ３０１のみに黒ラスター画像を投射させてカメラ１０４にその黒ラスター画像の撮像を行わせ、さらにプロジェクタ３０２のみに黒ラスター画像を投射させてカメラ１０４にその黒ラスター画像の撮像を行わせる。但し、黒ラスター画像が最小階調（所謂黒表示）の場合、両プロジェクタ３０１，３０２に該黒ラスター画像を投射させ、カメラ１０４に重畳領域を含むそれら黒ラスター画像の撮像を行わせるだけでもよい。

制御装置１０２は、カメラ１０４から両プロジェクタ３０１，３０２の画像投射時の白ラスター撮像画像と黒ラスター撮像画像、プロジェクタ３０１のみの画像投射時の白ラスター撮像画像と黒ラスター撮像画像（または両プロジェクタ３０１，３０２の画像投射時の黒ラスター撮像画像）を取得する。さらにプロジェクタ３０２のみの画像投射時の白ラスター撮像画像と黒ラスター撮像画像（または両プロジェクタ３０１，３０２の画像投射時の黒ラスター撮像画像）を取得する。そして制御装置１０２は、これら取得した白ラスター撮像画像と黒ラスター撮像画像の差分から露出判定領域としての非重畳領域４０１ａ，４０２ａを検出する。これら非重畳領域４０１ａ，４０２ａには、投射画像が投射されていない領域（投射領域外の領域）は含まれない。なお、非重畳領域が検出可能な他の方法を用いてもよい。

次にステップＳ２０２では、制御装置１０２は、両プロジェクタ３０１，３０２のうち少なくとも一方の画像投射時の白ラスター撮像画像のうち検出された非重畳領域内の画像の露出が適切であるか否かを判定し、適切でない場合はステップＳ２０３に進んでカメラ１０４に露出値を変更させる。そして制御装置１０２は、露出値が変更されたカメラ１０４にプロジェクタ３０１，３０２のうち少なくとも一方に投射させた白ラスター画像を撮像させ、再びステップＳ２０２で白ラスター撮像画像のうち非重畳領域内の画像の露出が適切であるか否かを判定する。

なお、ステップＳ２０４で再度カメラ１０４に撮像を行わせる際には、プロジェクタ３０１，３０２のうち最も明るい非重畳領域を含む白ラスター画像を投射したプロジェクタを判定し、そのプロジェクタに白ラスター画像を投射させてカメラ１０４に撮像させてもよい。

一方、非重畳領域内の画像の露出が適切であった場合は、制御装置１０２は、ステップＳ２０５において、その露出が得られたときのカメラ１０４の露出値でその後に投射画像を撮像するカメラ１０４の露出設定を行う。そして本処理を終了する。

なお、ステップＳ２０１での非重畳領域（露出判定領域）の検出に用いられる撮像画像とステップＳ２０２での露出の判定に用いられる撮像画像は必ずしも同じ画像である必要はなく、ステップＳ２０２においてカメラ１０４から取得した他の撮像画像を用いてもよい。

また、ステップＳ１０２において投射領域内の画像の露出が適切でないと判定した場合に、制御装置１０２が白ラスター撮像画像に基づいて適切な撮像時の露出値を算出し、その露出値でその後に投射画像を撮像するカメラ１０４の露出設定を行う。

また、非重畳領域内の画像の露出の判定においては、非重畳領域内における一部の画像を用いればよく、例えば、非重畳領域の中心部、最も明るい部分またはユーザにより指定された部分の画像を用いればよい。さらに非重畳領域内においてユーザにより指定された複数部分の画像を用いてもよい。複数部分の画像を用いる場合は、これらの画像のすべての露出、複数部分のうち１つの画像の露出または複数部分の画像の露出の平均値が適正露出である場合に、そのときのカメラ１０４の露出値でその後に投射画像を撮像するカメラ１０４の露出設定を行ってもよい。また非重畳領域内の全体の画像の明るさの平均値が適正露出である場合にそのときのカメラ１０４の露出値でその後に投射画像を撮像するカメラ１０４の露出設定を行ってもよい。

本実施例によれば、マルチプロジェクションにおいて重畳領域４０３が存在するという投射条件を反映した撮像画像を用いて、投射条件に応じたカメラ１０４の撮像設定（露出設定）を簡易に行うことができる。

なお、上記各実施例ではカメラの撮像設定として露出値の設定を行う場合について説明したが、ＩＳＯ感度等、露出値以外の設定を行うようにしてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 画像投射装置(プロジェクタ）
１０２ 制御装置
１０３ 画像生成装置
１０４ 撮像装置(カメラ）

Claims (13)

1. 画像投射装置により投射された投射画像を撮像した撮像装置から取得した撮像画像を用いて前記撮像装置の撮像設定を行う制御装置であって、
   前記撮像画像から判定領域を検出する判定領域検出手段と、
   前記撮像画像または前記撮像装置から取得した他の撮像画像のうち前記判定領域内の画像を用いて前記撮像設定を行う設定手段とを有することを特徴とする制御装置。
2. 前記撮像設定は、前記撮像装置の露出値の設定であることを特徴とする請求項１に記載の制御装置。
3. 前記判定領域は、前記投射画像の投射領域を含み、かつ該投射領域外の領域を含まないことを特徴とする請求項１または２に記載の制御装置。
4. 前記設定手段は、前記判定領域の中心部の画像を用いて前記撮像設定を設定することを特徴とする請求項１から３のいずれか一項に記載の制御装置。
5. 前記設定手段は、前記判定領域のうち最も明るい部分の画像を用いて前記撮像設定を設定することを特徴とする請求項１から３のいずれか一項に記載の制御装置。
6. 前記設定手段は、前記判定領域内の画像の明るさの平均値を用いて前記撮像設定を設定することを特徴とする請求項１から３のいずれか一項に記載の制御装置。
7. 前記設定手段は、前記判定領域のうちユーザにより指定された部分の画像を用いて前記撮像設定を設定することを特徴とする請求項１から３のいずれか一項に記載の制御装置。
8. 前記判定領域は、複数の画像投射装置のそれぞれにより投射された複数の投射画像における非重畳領域であることを特徴とする請求項２から６のいずれか一項に記載の制御装置。
9. 前記設定手段は、前記撮像設定を行った前記撮像装置による撮像により得られた撮像画像を用いて前記画像投射装置の投射設定を行うことを特徴とする請求項１から８のいずれか一項に記載の制御装置。
10. 請求項１から９のいずれか一項に記載の制御装置と、
    光源からの光を変調する光変調素子とを有し、
    前記光変調素子からの光により形成される投射画像を投射することを特徴とする画像投射装置。
11. 前記投射画像を投射する撮像装置を備えていることを特徴とする請求項１０に記載の画像投射装置。
12. 画像投射装置により投射された投射画像を撮像した撮像装置から取得した撮像画像を用いて前記撮像装置の撮像設定を行う制御方法であって、
    前記撮像画像から判定領域を検出するステップと、
    前記撮像画像または前記撮像装置から取得した他の撮像画像のうち前記判定領域内の画像を用いて前記撮像設定を行うステップとを有することを特徴とする制御方法。
13. 画像投射装置により投射された投射画像を撮像した撮像装置から取得した撮像画像を用いて前記撮像装置の撮像設定を行うコンピュータに、請求項１２に記載の制御方法に従う処理を実行させることを特徴とするコンピュータプログラム。