JP2015043066A - 画像投影装置 - Google Patents

Abstract

【課題】照射装置の照射点の検出の精度を高める。【解決手段】画像データを投影面に投影する際に、液晶表示パネルを透過させる光の組み合わせで特定の色調の光を生成させる駆動制御部と、前記液晶表示パネルに光を透過させない期間を、前記投影面を撮影する期間として指定する同期信号を前記駆動制御部から受信し、前記同期信号において指定された前記期間に従い、前記投影面を撮影させる撮影制御部と、撮影された前記画像データから照射装置が前記投影面に対して照射した照射画像を検出する照射画像検出部と、前記照射画像が検出された位置に所定の画像データを合成した投影用画像データを生成する照射画像生成部と、を備える。【選択図】図３

Description

本発明は、画像投影装置に関する。

プロジェクタは、スクリーンに文字やグラフなどの画像を拡大投影するので、多人数に対するプレゼンテーションなどに広く用いられている。このプレゼンテーションの際に、プレゼンターが説明を判りやすくするために、スクリーンに投影された画像を、レーザポインタなどを用いて指し示す場合がある。しかしながら、レーザポインタで投影画像を直接的に指し示すのは、手振れによって所望の場所を正確に指せないといった問題があった。そこで、特許文献１のように、使用者がレーザポインタによって照射した地点を、プロジェクタに内蔵されたＣＣＤ（Charge Coupled Device）カメラが検知し、この照射地点と同じ地点にポインタ画像を表示する、という技術が既に知られている。

しかしながら、従来のようにレーザポインタによって照射した地点をカメラが撮影した映像から検出する事を考えた場合、レーザポインタの色と投影映像の色や輝度感が似通っている場合、投影内容に応じてレーザポインタが検知できなくなる可能性があるという問題があった。

本発明は、上記に鑑みてなされたものであって、精度良くレーザポインタなどの照射装置の照射点を検出することのできる画像投影装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は画像データを投影面に投影する際に、液晶表示パネルを透過させる光の組み合わせで特定の色調の光を生成させる駆動制御部と、前記液晶表示パネルに光を透過させない期間を指定する同期信号を前記駆動制御部から受信し、前記同期信号において指定された前記期間に従い、前記投影面を撮影させる撮影制御部と、撮影された前記画像データから照射装置が前記投影面に対して照射した照射画像を検出する照射画像検出部と、前記照射画像が検出された位置に所定の画像データを合成した投影用画像データを生成する照射画像生成部と、を備えることを特徴とする。

本発明の画像投影装置は、映像信号の影響を受けることなく精度良く照射点を検出することができるという効果を奏する。

図１は、実施形態の画像投影装置の使用態様を示す全体図である。 図２は、実施形態の画像投影装置のハードウェアの内部構成を示す図である。 図３は、実施形態の画像投影装置の機能構成を示すブロック図である。 図４は、実施形態の投影パターンの一例を示す図である。 図５は、実施形態のレーザポインタを検出するための、画像形成部の駆動周期と撮影カメラの撮影周期とシャッタータイミングの関係を示している図である。 図６は、射影変換係数の算出と、レーザポインタの検出の処理の流れを示すフロー図である。 図７は、実施形態の画像投影装置におけるポインタの投射態様の一例を示す全体図である。 図８は、実施形態の画像投影装置におけるポインタの投射態様の一例を示す全体図である。 図９は、実施形態の投影パターンの一例を示す図である。 図１０は、実施形態の画像投影装置におけるカメラ部の構成例を示す図である。 図１１は、変形例のスクリーンの一例を説明する図である。 図１２は、変形例の画像投影装置におけるポインタの投射態様の一例を示す図である。

（第１の実施形態）
以下、図面を参照して本発明の画像投影装置を具体化した第１の実施形態について説明する。図１は、画像投影装置を含む画像投影システムを示す全体図である。画像投影装置１０は、外部ＰＣ２０と接続されて、外部ＰＣ２０から入力された静止画や動画などの画像データを投影面であるスクリーン３０に対して投影する。また、ユーザは照射装置としてレーザポインタ４０を用いた場合を示している。また、画像投影装置１０にはカメラ部２２が接続されている。カメラ部２２は、外付けのハードウェアとして設けてもよいし、画像投影装置１０に内蔵されていてもよい。

図２は、画像投影装置のハードウェア構成を示す図である。図２に示されるように、画像投影装置１０には、ハロゲンランプ等のような白色光を発する白色光源１０４が設けられている。この白色光源１０４から出射された白色光は、内部に配置された３枚のミラー１０８、及び２枚のダイクロイックミラー１０９によってＲＧＢの３原色に分離される。このうち、Ｒ色光は、液晶表示パネル１０２Ｒに導かれ、同様にＧ色光は液晶表示パネル１０２Ｇ、Ｂ色光は液晶表示パネル１０２Ｂへとそれぞれ導入される。ここで、液晶表示パネル１０２Ｒは、Ｒの原色画像を生成する画像形成部として機能し、同様に、液晶表示パネル１０２Ｇおよび液晶表示パネル１０２Ｂの各々は、それぞれＧおよびＢの原色画像を生成する画像形成部として機能する。液晶表示パネル１０２Ｒ、Ｇ、Ｂは、駆動制御部１４により駆動され、ＯＮ状態であれば光を透過し、ＯＦＦ状態であれば光を遮断する。したがって、生成したい画像信号の色に応じて、パネルごとのＯＮ、及びＯＦＦを制御することで所望の色の画像信号が投影される。なお、Ｂ色光は、他のＲ色光やＧ色光と比較すると、光路が長いので、その損失を防ぐために、入射レンズ１３２、リレーレンズ１３４および出射レンズ１３５からなるリレーレンズ系１３０を介して導かれる。

液晶表示パネル１０２Ｒ、液晶表示パネル１０２Ｇ、液晶表示パネル１０２Ｂそれぞれによって変調された光、すなわち各原色画像は、ダイクロイックプリズム１１２に対して、３方向から入射する。そして、このダイクロイックプリズム１１２において、Ｒ、及びＢ色光は９０度屈折する一方、Ｇ色光は直進するので、各原色画像が合成されてカラー画像となる。このカラー画像は、レンズ群１０３ｂに入射する。カメラ部２２は、スクリーン３０に対し、基準線を含めて投影された画像を、使用者がレーザポインタ３００によって指し示した照射点３０２とともに、撮像する。

図３は、画像投影装置１０の機能構成を示すブロック図である。画像投影装置１０は、映像信号の入力を制御し、光の投射と画像形成部の駆動を同期するように制御を行う。図３に示されるように、画像投影装置１０は、画像形成部２、光源４、映像処理部１２、映像信号入力部１３、駆動制御部１４、同期信号出力部１５、撮影制御部２１、カメラ部２２（撮像部）、光点検出部２４、画像処理部２５、映像信号伝送部２６、映像信号入力部２７を備えている。

まず、画像投影装置１０の映像信号入力部１３には、ＨＤＭＩ(登録商標)などのデジタル信号や、ＶＧＡやコンポーネント信号等のアナログ信号が入力される。映像信号入力部１３は、入力信号に応じてＲＧＢやＹＰｂＰｒ信号等へと映像を加工する処理を行う。なお、映像信号入力部１３は、入力された映像信号がデジタル信号の場合は、入力信号のビット数に応じて映像処理部１２が規定するビットフォーマットに変換する。また、映像信号入力部１３は、入力された映像信号がアナログ信号入力の場合はアナログ信号をデジタルサンプリングするＤＡＣ処理等を行い、ＲＧＢあるいはＹＰｂＰｒのフォーマット信号を映像処理部へと入力する。さらには、映像信号入力部１３には、カメラ部２２で撮影した投影画像の画像データも入力される。

映像処理部１２は、入力信号に応じてデジタル画像処理等を行う。具体的には、コントラスト、明るさ、彩度、色相、ＲＧＢゲイン、シャープネス、拡大縮小等のスケーラー機能等、あるいは駆動制御部１４の特性に応じて適切な画像処理を行う。デジタル画像処理後の入力信号は駆動制御部１４に渡される。また、映像処理部１２は、任意に指定した、あるいは登録したレイアウトの画像信号を生成する事もできる。

駆動制御部１４は、画像データに応じて光を液晶表示パネルに透過させるか否かを選択する画像形成部２、ランプの駆動電流をコントロールするランプ電源１７の駆動条件を決定し、画像形成部２、ランプ電源１７に駆動の指示を出す。したがって、駆動制御部１４は、液晶表示パネルの光の透過のＯＮ／ＯＦＦを切り替えることで所望の色調の光を生成する。

画像投影装置１０が行う処理としては、画像投影装置１０から投影された投影パターンを撮影し、撮影した投影データの座標と画像データ上の座標との位置のずれから射影変換係数を算出する処理の流れと、照射された照射点を検出する処理の流れとが存在する。まずは、投影された投影パターンを撮影する処理の流れについて説明する。

撮影制御部２１は、同期信号出力部１５から同期信号を受け取り、カメラ部２２に撮影指示を出す。駆動制御部１４が、画像投影のタイミングに合わせて同期信号に従い、カメラ部２２に撮影指示を出してもよい。すなわち、駆動制御部１４が撮影制御部を兼ねる構成としてもよい。カメラ部２２が撮影した画像が映像信号入力部２７へと入力される場合、映像信号入力部２７は撮影したカメラ画像に、シェーディング補正、ベイヤー変換、色補正等を行いＲＧＢ信号を生成する。映像処理部１２は、図４に示した投影パターンを生成し、画像投影装置１０にて投影する。

カメラ部２２は、投影パターンを投影したシーンを撮影する。カメラ部２２の撮影方式としては、グローバルシャッター方式と、ローリングシャッター方式とがある。グローバルシャッター方式では、全画素の同時感光が行われ、それぞれの画素に対して、ローリングシャッター方式よりも複雑な回路を必要とするが、全画素を一気に感光させ、撮像することができるという利点がある。ローリングシャッター方式では、順次走査型の感光が行われ、シンプルな回路で実装でき、走査する形で撮像することができる。しかし、１つの画素ごとに、撮像タイミングが違うので、高速移動する物体を撮影した際には、歪みなどが発生することがある。カメラ部２２のシャッター速度は、駆動制御部１４によって制御されることが望ましい。駆動制御部１４は、後述するブランク期間の長さから、同期信号で指定されたタイミングの時間の長さの撮影に必要なシャッター速度を決定して、制御する。

撮影された画像を元に、光点検出部２４は、現在投影している投影面上での各格子点の座標を取得する。画像処理部２５は、投影パターンの映像信号上における座標（ｘ，ｙ）と撮影画像上での座標（ｘ‘，ｙ’）の関係を紐付ける射影変換係数Ｈを算出し、画像処理部２５へパラメータＨをセットする。光点検出部２４は、投影面に照射された座標を抽出する。検出された照射点座標（ｘ’，ｙ‘）は画像処理部２５によって対応する格子点のパラメータＨを用いて射影変換を行い、照射点の映像信号上の座標（ｘ，ｙ）に変換される。次に画像処理部２５（照射画像生成部）は、座標（ｘ，ｙ）に照射点画像データを生成する。照射点画像データは、例えば座標（ｘ，ｙ）を中心に半径ｚ画素分の円形や、予め登録されたポインタ画像などを任意の生成の仕方で生成してよい。これらの計算を画像処理部２５が実行し、投影用画像信号を生成して、映像信号伝送部２６に送る。画像投影装置１０の映像処理部１２は、映像信号に画像処理部２５で生成された映像信号を重畳し、任意の画像処理を行ったのち駆動制御部１４へ制御信号を出力する。そして、ポインタ画像が重畳された投影用画像データが画像投影装置１０から投影されることとなる。

次に、このような構成の画像投影装置１０により投影された画像データに対して同期をとる方法について説明する。図５は、画像形成部２である液晶表示パネルの駆動制御とカメラ露光タイミングについて記載している。図５に示されるように、各映像フレームの投影可能な期間に対して液晶表示パネルが透過する期間と、全ての光を透過しない期間（ブランク期間）を設けている。したがって、カメラ部２２は、駆動制御部１４からこのブランク期間を指定され、このブランク区間においてカメラを露光し、撮影を行う。

次に、射影変換係数の算出と、レーザポインタの検出の処理の流れを図６を参照して説明する。図６で示した処理は、入力された映像信号の１フレーム単位で行われる処理である。図６に示されるように、まず駆動制御部１４は、映像信号の入力Ｉ／Ｆから入力された映像信号を投射するための処理を行う（ステップＳ１０１）。次いで、駆動制御部１４は、照射点検出モードであるか否かを判定する（ステップＳ１０２）。照射点検出モードとは、照射装置によってスクリーン３０に照射された照射点を検出するモードである。照射点検出モードは、例えばユーザがレーザポインタを使用する場合などに、操作画面やボタンなどを操作することで起動される。照射点検出モードでないと判定された場合（ステップＳ１０２：Ｎｏ）、Ｓ１０１へと戻り次の映像信号のフレームへと移行する。

一方、照射点検出モードであると判定された場合（ステップＳ１０２：Ｙｅｓ）、駆動制御部１４は、初期設定モードか否かを判定する（ステップＳ１０３）。初期設定モードとは、投影環境が変わった場合に射影変換係数を演算する処理であり、照射点モードを最初に起動した場合には初期設定モードとなっている。また、例えば射影変換係数がセットされているか否かや、射影変換係数がセットされてから一定時間経過しているか否かなどによって判断してもよい。射影変換係数とは、投影前の画像信号と、投影した際の画像パターンとの座標のずれを補正するための係数である。

初期設定モードであると判定された場合（ステップＳ１０３：Ｙｅｓ）、駆動制御部１４は、画像形成部２等を駆動して、射影変換用の画像パターン（図４参照）を照射させる（ステップＳ１０４）。次いで、駆動制御部１４は、同期信号に従って、駆動制御部１４によって照射された画像パターンを撮影する（ステップＳ１０５）。そして、画像処理部２５は、映像信号入力部２７を通じて入力されたカメラ部２２が撮影した画像パターンにおける座標と、照射された画像パターンのデータにおける座標とのずれを測定し、この２つのデータ間における座標が一致するように射影変換係数を算出する（ステップＳ１０６）。算出が完了した射影変換係数は保存されて、ステップＳ１０３へと移行する。

一方、射影変換係数が設定され、初期設定モードでないと判定された場合（ステップＳ１０３：Ｎｏ）、駆動制御部１４は、同期信号で指定された撮影タイミングにあわせて、照射パターンを撮影する（ステップＳ１０７）。この撮影のタイミングは、上述したように照射されているレーザポインタの色に応じて決定されている。したがって、光点検出部２４は、撮影された画像データからレーザポインタの照射点を検出することができる（ステップＳ１０８）。検出された照射点の座標は画像処理部２５に入力され、画像処理部２５は、演算した射影変換係数を用いて、照射点の座標を、画像データ上の座標へと射影変換する（ステップＳ１０９）。射影変換された座標のデータは画像投影装置１０へと送信され、映像処理部１２は、投射する元の映像信号に対して、受信した座標において合成するポインタの画像データを生成し（ステップＳ１１０）、映像信号とポインタの画像データとを合成する（ステップＳ１１１）。すなわち、検出された照射点の位置に応じて所定の画像が付加された投影用画像データが生成される。

この際、合成するポインタである照射点画像データとしては、視認性をよくするために例えば、図７に示されるように、レーザポインタ４０が、元のサイズよりも算出された照射点を中心に拡大されて投影されるようにすることもできる。この場合、ポインタが大きくなるため、映像におけるポインタがより見やすくなる。また、図８では、ポインタを拡大するのではなく、映像処理部１２は、算出された照射点の座標を基準に、周囲の一部の画像データの領域を拡大表示して投影するようにしてもよい。

また、射影変換係数を演算する際に投影する投影パターンの一例としては、図４で示したもののほか、例えば図９で示したように、グリッドパターンや、円パターンを用いるようにしてもよい。円パターンの投影パターンを用いる場合、射影変形があっても重心を取ることで、座標がずれていても正確な座標を入手することができるようになる。また、グリッドパターンを用いれば、座標のずれ自体を抑制しつつ、環境光による外乱がないことを想定できれば、より精度の高いパターン抽出が実現可能である。

また、本実施形態におけるカメラ部２２は、画像投影装置１０に内蔵される必要はなく、図１０に示されるように、（ａ）外付け方式、（ｂ）内蔵方式、（ｃ）外部接続方式などのように所望の方式で設けるようにすればよい。

（変形例）
上記の実施形態では、照射装置による照射光が投影面にあたった照射点を撮影し、その点の位置により画像処理を行っているが、自発光物が発光する光点を検出してもよい。図１１は、変形例のスクリーンの一例を説明する図である。

例えば、押し込む力（応力）を加えると発光する物質（応力発光体）が知られている。このような物質をスクリーンに塗布することで、応力に反応して、発光するスクリーン（光点を発生させる光点装置の一例）を構成できる。図１１は、ユーザがスクリーンを押下した箇所が発光した様子を示している。

本変形例では、光点検出部２４が、上記の照射点の代わりに図１１のようなスクリーン上の発光点（光点）を検出する。これにより、上記実施形態と同様の処理を実現することができる。

図１２は、本変形例の画像投影装置におけるポインタの投射態様の一例を示す図である。図１２では、投影画像を画像処理することにより、発光点の箇所に新たな画像（図１２では花の画像）が表示される例が示されている。

発光するスクリーンを用いる代わりに、自発光物である、ＬＥＤ（Light Emitting Diode）等を用いたＬＥＤ内蔵ボールペンなどの道具（光点を発生させる光点装置の一例）を用いてもよい。例えば、光点検出部２４が、上記の照射点の代わりに、スクリーン上を押下したときに発光するＬＥＤ内蔵ボールペンの発光を検出する。これにより、上記実施形態と同様の処理を実現することができる。

以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

例えば画像投影装置１０の各部のうち一部を外部ＰＣ２０で実行してもよい。例えば、外部ＰＣ２０が、上述の撮影制御部２１、カメラ部２２、映像信号入力部２７、光点検出部２４、画像処理部２５、および、映像信号伝送部２６を備え、その他の各部を画像投影装置１０が備える形態であってもよい。

なお、本実施形態の画像投影装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態の画像投影装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の画像投影装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像投影装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態の画像投影装置で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。また、画像投影装置１０における各部はプログラムによってソフトウェアとして実現されてもよいし、所定の電子回路の組み合わせでハードウェアとして実現されてもよい。

２ 画像形成部
１０ 画像投影装置
１２ 映像処理部
１３ 映像信号入力部
１４ 駆動制御部
１７ ランプ電源
２２ カメラ部
２４ 光点検出部
２５ 画像処理部
２６ 映像信号伝送部
２７ 映像信号入力部
３０ スクリーン
４０ レーザポインタ

特開平１１−２７１６７５号公報

Claims (6)

1. 画像データを投影面に投影する際に、液晶表示パネルを透過させる光の組み合わせで特定の色調の光を生成させる駆動制御部と、
   前記液晶表示パネルに光を透過させない期間を指定する同期信号を前記駆動制御部から受信し、前記同期信号において指定された前記期間に従い、前記投影面を撮影させる撮影制御部と、
   撮影された前記画像データから照射装置が前記投影面に対して照射した照射画像を検出する照射画像検出部と、
   前記照射画像が検出された位置に所定の画像データを合成した投影用画像データを生成する照射画像生成部と、
   を備えることを特徴とする画像投影装置。
2. 前記照射画像生成部は、前記照射画像検出部で検出された前記照射画像の座標に、前記照射画像の座標に従って決定される所定の前記画像データの領域の拡大画像を前記投影用画像データとして生成する
   ことを特徴とする請求項１に記載の画像投影装置。
3. 前記照射画像生成部は、前記照射画像検出部で検出された前記照射画像の座標に、前記座標の周囲に算出された座標点以上の大きさの前記照射画像を前記投影用画像データとして生成する
   ことを特徴とする請求項１に記載の画像投影装置。
4. 画像データを投影面に投影する際に、液晶表示パネルを透過させる光の組み合わせで特定の色調の光を生成させる駆動制御部と、
   前記液晶表示パネルに光を透過させない期間を指定する同期信号を前記駆動制御部から受信し、前記同期信号において指定された前記期間に従い、前記投影面を撮影させる撮影制御部と、
   撮影された前記画像データから投影面付近に光点を発生させる光点装置と、光点装置付近に生成した光点を検出する光点検出部と、
   前記光点が検出された位置に所定の画像データを合成した投影用画像データを生成する光点画像生成部と、
   を備えることを特徴とする画像投影装置。
5. 前記光点画像生成部は、前記光点検出部で検出された前記光点の座標に、前記光点の座標に従って決定される所定の前記画像データの領域の拡大画像を前記投影用画像データとして生成する
   ことを特徴とする請求項４に記載の画像投影装置。
6. 前記光点画像生成部は、前記光点検出部で検出された前記光点の座標に、前記座標の周囲に算出された座標点以上の大きさの前記光点の画像を前記投影用画像データとして生成する
   ことを特徴とする請求項４に記載の画像投影装置。

Images