JP2017010314A - 画像投影システム、画像投影装置、ポインティングデバイス、および映像供給装置 - Google Patents

Abstract

【課題】投影画像に対して、ユーザがどの方向からポインティングデバイスを操作しているかを簡易かつ正確に検出する。
【解決手段】被投影面１５０に投影画像１４０を投影する画像投影装置１と、投影画像１４０を撮像する撮像部１７と、投影画像１４０上の位置指定を含む操作が可能な電子ペン５０と、を備えた画像投影システム１００において、電子ペン５０は、一端側に第１発光部５５を有するとともに、他端側に第２発光部５６を有し、画像投影装置１は、撮像部１７が撮像した投影画像１４０の撮像情報を取得する撮像制御部と、撮像情報における第１発光部５５の位置と第２発光部５６の位置を検出し、該検出結果に基づいて、電子ペン５０が投影画像１４０に対して操作されている方向を判別する操作方向判別部と、を備える。
【選択図】図１０

Description

本発明は、画像投影システム、画像投影装置、ポインティングデバイス、および映像供給装置に関する。

画像投影装置として広く知られたプロジェクタは、多人数に対するプレゼンテーション、会議、講演会、教育現場や、サイネージなどに広く用いられているとともに、液晶パネルの高解像化、ランプの高効率化に伴う明るさの改善、低価格化などが進んでいる。

また、ＤＭＤ（Digital Micro-mirror Device）を利用したＤＬＰ（Digital Light Processing）方式の画像投影装置が普及し、オフィスや学校のみならず家庭においても広くこれら画像投影装置が利用されるようになってきている。また、スクリーンなどの被投影面までの投影距離を短くした、短焦点型の画像投影装置の開発が盛んである。

近年、画像投影装置や、画像投影装置とパーソナルコンピュータなどの映像供給装置（情報処理装置）とを接続した画像投影システムにおいて、画像投影装置から被投影面に投影されている投影画像に対して、ユーザが付属の電子ペンなどのポインティングデバイスを用いて、投影画像上のポインタ操作や、文字や図形の手書き入力操作などを可能としたインタラクティブな画像投影装置、画像投影システムが知られている。

また、近年、投影画像をスクリーンや壁面に投影するのではなく、机の上に投影することができる形式（以下、机上投影という）の画像投影装置も知られている。机上投影するためには、机の上方向に画像投影装置を吊り下げ、上から投影する場合も考えられるが、短焦点型の画像投影装置を用いて投射角度を大きくとり、斜め横から投影することで画像投影装置を机上に設置して、机上投影を実現することも可能となっている。

図１４は、画像投影装置１による机上投影の説明図である。図１４では、画像投影装置１を机１５０上に設置して、机１５０を被投影面１３０として、投影画像１４０を投影した様子を示している。机１５０の周囲には、３人のユーザ１６０ａ，１６０ｂ，１６０ｃがおり、机上の投影画像１４０を視認可能となっている。

画像投影装置からの投影画像に対して、インタラクティブ操作を実行する場合、ユーザが投影画像に対し、どの方向にいても投影画像は変化しないため、ユーザがいる方向によっては、インタラクティブ操作の操作性が悪いという問題があった。特に、図１４に示すような机上投影の場合、ポインティングデバイスは様々な方向から操作されることが考えられるため、ユーザがいる方向を判別し、インタラクティブ操作の操作性を向上させることが望まれる。

例えば、特許文献１には、投射画像を操作するときのユーザの利便性を向上させることを目的として、指示体の指示方向を検出する検出部と、検出部が検出した指示方向に基づいて、画像を回転する回転部と、を備えた画像処理装置が開示されている。
る。

特許文献１に記載の画像処理装置では、指示体である発光ペンの発する光の強度分布に基づいて、発光ペンの向きを判断している。しかしながら、強度分布を測るためには発する光がある程度広がることが必要であるとともに、複雑な画像処理も必要となることから、検出の簡便性および正確性に検討の余地があった。

そこで本発明は、投影画像に対して、ユーザがどの方向からポインティングデバイスを操作しているかを簡易かつ正確に検出することができる画像投影システムを提供することを目的とする。

かかる目的を達成するため、本発明に係る画像投影システムは、被投影面に投影画像を投影する画像投影装置と、前記投影画像を撮像する撮像装置と、前記投影画像上の位置指定を含む操作が可能なポインティングデバイスと、を備えた画像投影システムにおいて、前記ポインティングデバイスは、一端側に第１発光部を有するとともに、他端側に第２発光部を有し、前記画像投影装置は、前記撮像装置が撮像した前記投影画像の撮像情報を取得する撮像制御部と、前記撮像情報における前記第１発光部の位置と前記第２発光部の位置を検出し、該検出結果に基づいて、前記ポインティングデバイスが前記投影画像に対して操作されている方向を判別する操作方向判別部と、を備えるものである。

本発明によれば、投影画像に対して、ユーザがどの方向からポインティングデバイスを操作しているかを簡易かつ正確に検出することができる。

画像投影システムの一例を示す概略構成図である。 画像投影装置の一実施形態を示す外観斜視図である。 画像投影装置の側面図であって、被投影面への投影状態を示した図である。 （Ａ）画像投影装置の外装カバーを外した状態を示す斜視図、（Ｂ）（Ａ）の丸囲み部分の拡大構成図である。 照明ユニット、投影ユニット、画像表示素子ユニット、および光源ユニットの断面図である。 画像投影装置の機能ブロック図である。 電子ペンの機能ブロック図である。 映像供給装置の機能ブロック図である。 画像投影システムによる机上投影の説明図である。 操作方向判別制御の説明図である。 操作方向判別処理の一例を示すフローチャートである。 画像投影システムによる天井からの投影の説明図である。 エリア分割された投影画像の説明図である。 画像投影装置による机上投影の説明図である。

以下、本発明に係る構成を図１から図１３に示す実施の形態に基づいて詳細に説明する。

［第１の実施形態］
画像投影装置からの投影画像に対し、インタラクティブ操作を可能とする方式として、（１）撮像装置にてポインティングデバイスによる照射位置を撮像して位置情報を検出する照射位置検出方式や、（２）被投影面の周縁部に赤外線発光素子や赤外線レーザを置き、縦横斜めに赤外線を走らせ、遮られた位置を検出することにより、位置情報を検出するライトカーテン方式（レーザカーテン方式、超音波方式）や、（３）投影画像中にポインティングデバイスが読み込むための位置情報を埋め込む位置情報読取方式、等が知られている。これらの方式では、ポインティングデバイスの操作位置を画像投影装置または映像供給装置で認識することで、または、ポインティングデバイスから位置情報が画像投影装置または映像供給装置に送信されることで、画像投影装置または映像供給装置は、ポインティングデバイスの操作位置を認識することができる。

本実施形態では、照射位置検出方式によりポインティングデバイスの操作位置を検出する。

（画像投影システム）
図１は、画像投影システム１００の一例を示す概略構成図である。画像投影システム１００は、画像投影装置（プロジェクタ）１と、映像信号（投影情報ともいう）を画像投影装置１に供給する映像供給装置１１０と、を含んで構成されており、画像投影装置１と映像供給装置１１０とは、ケーブル１２０によって接続されている。なお、映像信号には静止画表示のための画像信号も含まれる。

画像投影装置１は、映像供給装置１１０が提供する映像信号を基に映像を生成し、スクリーン等の被投影面１３０に投影するプロジェクタである。図１では、被投影面１３０上に画像投影装置１から投影画像１４０が投影されている。

画像投影装置１は、映像信号を入力するインタフェースとして、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、ＤｉｓｐｌａｙＰｏｒｔ端子、Ｔｈｕｎｄｅｒｂｏｌｔ端子、ＶＧＡ（Video Graphics Array）入力端子、Ｓ−ＶＩＤＥＯ端子、ＲＣＡ端子等の画像入力端子を備えている。また、画像投影装置１は、複数の画像入力端子を備えていることが好ましい。画像入力端子に接続されたケーブル１２０を介して映像供給装置１１０から映像信号を受信する。ケーブル１２０は、通信インタフェースに準拠したケーブルであって、例えば、ＨＤＭＩケーブルである。

また、画像投影装置１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の無線通信プロトコルに準拠した無線通信により、映像供給装置１１０から映像信号を受信してもよい。

映像供給装置１１０は、画像投影装置１が投影すべき画像を提供する装置である。映像供給装置１１０は、映像信号を出力するインタフェースを備えており、映像供給装置１１０の表示画像を形成する映像信号を所定の転送レート（例えば、３０ｆｐｓ（frame per second）〜６０ｆｐｓ）で画像投影装置１に送信する。

映像供給装置１１０も同様に、映像信号を出力するインタフェースとして、ＨＤＭＩ端子、ＤｉｓｐｌａｙＰｏｒｔ端子、Ｔｈｕｎｄｅｒｂｏｌｔ端子、ＶＧＡ入力端子、Ｓ−ＶＩＤＥＯ端子、ＲＣＡ端子等の画像出力端子を備えており、これらの端子に接続されたケーブル１２０を介して画像投影装置１に送信することができる。また、映像供給装置１１０は、無線通信により、画像投影装置１に映像信号を送信してもよい。

映像供給装置１１０としては、例えば、ノート型ＰＣ、デスクトップ型ＰＣやタブレット型ＰＣ、スマートフォン等の映像信号を供給可能な情報処理装置を用いることができる。なお、図１に示す例では、画像投影装置１に１つの映像供給装置１１０が接続されているが、画像投影装置１に複数の映像供給装置１１０を接続するものであってもよい。

また、画像投影システム１００は、ユーザが握持した状態で被投影面１３０上または離間した位置から投影画像１４０に向けて操作することで、種々の操作を実行することができるポインティングデバイスである電子ペン５０を備えている。電子ペン５０は、画像投影装置１および映像供給装置１１０、または映像供給装置１１０に無線通信により接続され、信号の送信が可能となっている。

なお、画像投影装置１が投影する投影画像１４０の基となる投影情報は、映像供給装置１１０から提供されるものに限られず、画像投影装置１の記憶部に記憶されているものであっても、画像投影装置１に外部接続可能なＵＳＢメモリなどの補助記憶装置に記憶されているものであってもよい。

（画像投影装置）
図２は、画像投影装置１の一実施形態を示す外観斜視図である。また、図３は、画像投影装置１の側面図であって、被投影面１３０への投影状態を示した図である。

画像投影装置１は、装置内部に光源としてのランプや多数の電子基板を備えており、起動時には、装置の内部温度が上昇する。このため、画像投影装置１には、内部の構成部品が耐熱温度を超えないように、吸気口１１および排気口１２が設けられている。

図４（Ａ）は、画像投影装置１の外装カバー２を外した状態を示す斜視図である。また、図４（Ｂ）は図４（Ａ）の丸囲み部分で示す光学エンジン３と光源ユニット４の拡大構成図である。図４に示すように、画像投影装置１は、光学エンジン３および光源ユニット４を備えている。また、図５は、照明装置である照明ユニット３ａ（照明光学系）、投影ユニット３ｂ（投影光学系）、画像表示素子ユニット１０、および光源ユニット４の上面から見た断面図である。光学エンジン３は、照明ユニット３ａおよび投影ユニット３ｂからなる。

図４に示すように、吸気口１１、排気口１２の内側には、それぞれ吸気ファン１３、排気ファン１４が設けられており、吸気ファン１３から吸入した外気を排気ファン１４から排出することで、装置内の強制気流による空冷がなされる。

画像投影装置１においては、光源ユニット４の光源からの光（白色光）が光学エンジン３の照明ユニット３ａに照射される。照明ユニット３ａ内では、照射された白色光をＲＧＢに分光した後、レンズ、ミラー等により画像表示素子ユニット１０へ導き、変調信号に応じて画像形成する画像表示素子ユニット１０とその画像を投影ユニット３ｂにより被投影面１３０へ拡大投影する構成となっている。

光源ユニット４の光源であるランプ１５としては、種々のランプを用いることができるが、例えば、高圧水銀ランプ、キセノンランプなどのアークランプを用いることができる。例えば、高圧水銀ランプを用いることが好ましい。

また、光源ユニット４の側面の一方向側には光源を冷却するファン１６が設けられている。ファン１６は、光源ユニット４の各部が設定された定格温度範囲内の温度となるように、その回転数が制御される。また、光源ユニット４からの光の出射方向と投影ユニット３ｂからの画像光の出射方向は、図５に示すように、略９０°の関係となっている。

また、光学エンジン３の照明ユニット３ａは、光源から照射された光を分光するカラーホイール５（回転色フィルター）と、カラーホイール５から出射した光を導くライトトンネル６と、リレーレンズ７、平面ミラー８および凹面ミラー９と、を備えている。また、照明ユニット３ａ内には、画像表示素子ユニット１０が設けられる。

照明ユニット３ａでは、先ず、光源からの出射光である白色光が、円盤状のカラーホイール５で単位時間毎にＲＧＢの各色が繰り返す光に変換され出射される。カラーホイール５から出射された色分離された光は、ライトトンネル６に導かれる。ライトトンネル６は、入射された光がその内部（内壁）で複数回反射され合成されることで均一化する照明均一変換光学部材である。

次いで、ライトトンネル６から出射された光は、２枚のレンズを組み合わせてなるリレーレンズ７により、光の軸上色収差を補正しつつ集光される。また、リレーレンズ７から出射される光は、平面ミラー８および凹面ミラー９によって反射されて、画像表示素子ユニット１０に集光される。画像表示素子ユニット１０は、複数のマイクロミラーからなる略矩形のミラー面を有し、画像データに基づいて各マイクロミラーが時分割駆動されることにより、所定の画像を形成するように投影光を加工して反射する画像表示素子（光変調素子）としてのＤＭＤ素子１０ａを備えている。

画像表示素子ユニット１０は、入力信号に応じてマイクロミラーのオンオフを切り替えることで投影ユニットへ光を出力する光を選別するとともに階調を表現する。すなわち、ＤＭＤ素子１０ａにより、時分割で画像データに基づいて、複数のマイクロミラーが使用する光は投影レンズへ反射され、捨てる光はＯＦＦ光板へ反射される。画像表示素子ユニット１０で使用する光は投影ユニット３ｂへ反射し、投影ユニット３ｂ内の複数の投影レンズを通り拡大された画像光は被投影面１３０上へ拡大投影される。

図６に画像投影装置１の機能ブロック図を示す。画像投影装置１は、光学エンジン３、画像表示素子ユニット１０、ランプ１５、ファン１６、撮像部１７、映像入力端子部２０、映像音声処理部２１、音声出力ユニット２２、ランプ制御部２３、光学制御部２４、操作部２５、操作受付部２７、入出力インタフェース２８、無線通信部２９、主制御部３０、ファン制御部３５等を備えている。

撮像部１７は、主制御部３０の撮像制御部３１により制御されて、被投影面１３０上の投影画像を撮像し、撮像データ（撮像情報）を撮像制御部３１へ渡す撮像装置である。なお、撮像部１７は、画像投影装置１の外部に設けられて、画像投影装置１または映像供給装置１１０と接続される構成であってもよい。

映像入力端子部２０は、映像供給装置１１０にケーブル１２０にて接続される端子部であって、ＨＤＭＩ端子、ビデオ端子、ＲＧＢ端子などである。

映像音声処理部２１は、入力された映像信号をＲＧＢのデジタル映像データに変換し、主制御部３０に転送する。また、映像入力端子部２０、主制御部３０から入力された音声データをＤ／Ａ変換してスピーカーなどの音声出力ユニット２２に出力する。

主制御部３０は、メインプロセッサであるＣＰＵ（Central Processing Unit）と、制御プログラム等を記憶したＲＯＭ（Read Only Memory）と、各処理におけるデータを一時的に格納しておくメモリデバイス（例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等）と、電源ＯＦＦ時にも設定情報等を記録しておく不揮発性メモリであるＮＶＲＡＭ（Non Volatile RAM）等がバスで接続された制御手段である。ＮＶＲＡＭに替えて、ＥＰＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ等の種々の不揮発性メモリを用いてもよい。

また、主制御部３０は、撮像部１７を制御して撮像タイミングの制御および撮像部１７で撮像した被投影面１３０の撮像データを取得する撮像制御部３１と、撮像部１７で撮像した撮像データにおいて、後述する第１発光部５５の発光位置と第２発光部５６の発光位置とを検出し、該２つの発光位置の相対位置関係に基づいて、電子ペン５０の向き（すなわち、ユーザの操作方向）を判別する操作方向判別部３２と、操作方向判別部３２にて判別された判別方向（ユーザのいる方向）に応じて、投影画像１４０上に表示させる電子ペン５０の軌跡の表示形態を異なるものとして識別可能とする軌跡表示制御部３３と、操作方向判別部３２にて判別された判別方向（ユーザの位置）に応じて、投影画像１４０の投影角度および投影位置の少なくとも一方を変更する投影角度・位置制御部３４と、を備えている。

主制御部３０は、映像音声処理部２１より転送されるＲＧＢ映像データを表示すべく、ランプ制御部２３および光学制御部２４を制御する。ランプ制御部２３は、主制御部３０からの制御に基づいて、光源としてのランプ１５を制御する。また、光学制御部２４は、主制御部３０からの制御に基づいて、光学エンジン３、画像表示素子ユニット１０を制御する。また、ファン制御部３５は、主制御部３０からの制御に基づいて、ファン１６を制御する。

操作部２５は、ユーザからの種々の操作要求を受け付けるものであり、画像投影装置１の外面に設けられるキーボタン（本体キー）によって構成される。例えば、各種設定や選択を行うためのメニュー画面を表示させるメニューキーなどを備えている。また、操作要求には、メニュー画面等のＯＳＤ画面の表示指示、投影している画像のアスペクト比の変更要求、画像投影装置１の電源ＯＦＦ要求、ランプ１５の光量を変更するランプパワー変更要求、などが含まれる。操作部２５は、操作要求を受け付けると、当該操作要求を主制御部３０に通知する。

また、遠隔操作手段としてのリモコン２６には、操作部２５と同様のキーボタンが備えられており、操作部２５と同様の操作が可能である。リモコン２６からの操作要求は、赤外線データで操作受付部２７に送信され、操作受付部２７は、リモコン２６からの信号を受信すると、主制御部３０へ通知する。

無線通信部２９は、電子ペン５０から送信されるクリック情報などの情報を受信して、これを主制御部３０に通知する。

入出力インタフェース２８は、映像供給装置１１０と接続する通信インタフェースであって、電子ペン５０からのクリック情報や、電子ペン５０の位置情報などが画像投影装置１から映像供給装置１１０に送信される。例えば、ＵＳＢ（Universal Serial Bus）などの通信インタフェースである。

（電子ペン）
図７に電子ペン５０の機能ブロック図を示す。電子ペン５０は、第１ボタン５１、第２ボタン５２、ペン先ボタン５３、操作受付部５４、第１発光部５５、第２発光部５６、無線通信部５７、および電子ペン制御部６０を備え、投影画像１４０上の任意の位置を照射することでする位置指定、および各種のクリック操作が可能となっている。

操作受付部５４は、第１ボタン５１、第２ボタン５２、ペン先ボタン５３が押下されたことを検知して、これを電子ペン制御部６０へ通知する。ペン先ボタン５３は、電子ペン５０の先端部を被投影面１３０上に押し付けることで押下することが可能となっている。

ここでは、第１ボタン５１がマウスの左ボタン、第２ボタン５２がマウスの右ボタン、ペン先ボタン５３がマウスの左ボタンに割り当てられているものとし、ダブルクリック操作は、第１ボタン５１またはペン先ボタン５３が連続で押下されることで実行されるものとする。なお、ボタンの数および機能の割り当てについては、特に限られるものではない。

第１発光部５５は、電子ペン５０の先端側に設けられ、不可視光などのレーザ光を発光する照射部（ペン先発光部）である。第１発光部５５の照射位置を撮像部１７で撮像することで、電子ペン５０の位置情報（指示位置）が検出可能となっている。第１発光部５５は、電子ペン５０の各ボタンの所定の操作により発光するものであってもよいが、例えば、電子ペン５０のペン先が被投影面１３０（机上投影の場合の机）に接触した場合に、これを検知して発光することが好ましい。

第２発光部５６は、電子ペン５０の後端側（第１発光部５５の他端側）に設けられ、不可視光などのレーザ光を発光する照射部（ペン尻発光部）である。ここで、第２発光部５６は第１発光部５５が発光した際に、併せて発光するものである。

また、第２発光部５６は、第１発光部５５とは発光特性が異なることが好ましい。すなわち、第２発光部５６は、撮像部１７の撮影画像において、第１発光部５５の発光と識別可能な光を発光するものであって、例えば、波長や周波数の異なる光を発光する、異なるパルス状の発光、異なる副搬送波を用いて変調を行う、光量（高度エネルギー）の異なる光を発光する、等の方法がある。

なお、詳細は後述するが、撮像画像上の位置関係に基づいて、第１発光部５５と第２発光部５６を識別することも可能である場合は、第１発光部５５と第２発光部５６の発光特性は同じであってもよい。

無線通信部５７は、画像投影装置１または映像供給装置１１０に対して、クリック情報などの各情報を送信する。

電子ペン制御部６０は、例えば、マイクロコントローラで構成され、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）などの演算回路および記憶回路を備えている。

電子ペン制御部６０は、操作受付部５４からいずれかのボタンがクリックされた情報を受けた時は、該クリック情報を、無線通信部５７を介して画像投影装置１または映像供給装置１１０に送信する。また、第１発光部５５および第２発光部５６の発光を制御する。

（映像供給装置）
図８に映像供給装置１１０の機能ブロック図を示す。映像供給装置１１０は、データを入力するための入力部１１１と、ディスプレイなどの表示部１１２と、データ通信を行うための通信部１１３と、装置全体の制御を司る制御手段としてのＣＰＵ１１４と、ＣＰＵ１１４のワークエリアとして使用されるＲＡＭ１１５と、ＣＰＵ１１４を動作させるための各種プログラム等を記憶した記憶部１１６とから構成されている。

（操作方向判別）
以下に、本実施形態に係る画像投影装置１、画像投影システム１００が実行するポインティングデバイスが操作された方向の判別について説明する。

図９は、本実施形態に係る画像投影システム１００による机上投影の説明図である。

画像投影装置１は、机１５０上に設置されており、映像供給装置１１０から提供される映像信号に基づいて、机１５０上に投影画像１４０を投影している。画像投影装置１の設置面と被投影面１３０が同一面である。また、ユーザが握持した状態で机１５０上の投影画像１４０に操作することで、種々の操作を実行することができるポインティングデバイスである電子ペン５０が設けられている。

また、画像投影システム１００は、画像投影装置１の内部または外部に撮像部１７を備え、投影画像１４０を撮像した画像中に表示される第１発光部５５からの照射位置に基づいて、電子ペン５０の操作位置を検出する。撮像したデータは、画像投影装置１を介して、または直接、映像供給装置１１０へ送信することで映像供給装置での操作に反映される。

電子ペン５０は、第１発光部５５を備えたレーザポインタとして機能し、被投影面１３０である机１５０の指示位置を照射する。投影画像１４０の照射位置には、ポインタ（光跡）が表示される。これにより、ユーザは、どこを指示しているかを知ることができる。そして、ペン先ボタン５３で机上の投影画像１４０上でクリック操作等を行うことができる。また、離れた位置から操作するときには第１ボタン５１等でクリック操作等を行うことができる。

図１０は、本実施形態に係る画像投影装置１による操作方向判別制御の説明図である。

図１０に示すような机上投影の場合、画像投影装置１が設置される机１５０の四方向のいずれの方向にもユーザ１６０は位置する可能性があり、複数人のユーザ１６０がいることも考えられる。

ここで、ユーザ１６０が電子ペン５０を操作する方向（ユーザ１６０の位置）が異なれば、操作しやすい状況も異なるので、投影画像１４０に対し、電子ペン５０を操作するユーザ１６０がいる方向を判別し、判別結果に応じて、ユーザ１６０の操作性を向上させることが望まれる。

これに対して、例えば、ユーザ１６０を区別するために発光特性で識別可能な複数の電子ペン５０を用意することも考えられるが、複数の電子ペン５０を使用する場合、複数の電子ペン５０を識別するための設定、管理が煩雑になり、また、コストもかかってしまう。

そこで、本実施形態では、被投影面（被投影面１３０、机１５０）に投影画像（投影画像１４０）を投影する画像投影装置（画像投影装置１）と、投影画像を撮像する撮像装置（撮像部１７）と、投影画像上の位置指定を含む操作が可能なポインティングデバイス（電子ペン５０）と、を備えた画像投影システム（画像投影システム１００）において、ポインティングデバイスは、一端側に第１発光部（第１発光部５５）を有するとともに、他端側に第２発光部（第２発光部５６）を有し、画像投影装置は、撮像装置が撮像した投影画像の撮像情報を取得する撮像制御部（撮像制御部３１）と、撮像情報における第１発光部の位置と第２発光部の位置を検出し、該検出結果に基づいて、ポインティングデバイスが投影画像に対して操作されている方向を判別する操作方向判別部（操作方向判別部３２）と、を備えるものである。

すなわち、電子ペン５０の先端部と後端部に、それぞれ発光部を設け、投影画像を撮像した撮像データから２つの発光部を認識し、該２つの発光部の位置関係（すなわち、電子ペン５０の向き）でユーザ１６０が電子ペン５０を操作している方向を判別するものである。

画像投影システム１００では、撮像部１７は投影画像１４０を撮像しており、画像投影装置１は、撮像データ中の第１発光部５５の位置を検出することで、電子ペン５０の指示位置を認識している。

また、画像投影装置１は、第２発光部５６の位置についても検出している。ここでは、第２発光部５６は、第１発光部５５とは発光特性が異なり、２つの発光部を識別可能に認識する。

図１０の例では、画像投影装置１および撮像部１７から見た場合（すなわち、撮像データ上）では、第１発光部５５の検出位置は、第２発光部５６の検出位置よりも左側となる。通常、ユーザ１６０の位置から電子ペン５０を投影画像１４０上で操作する際、ペン先はペン尻よりもユーザ１６０から離れた位置になる。

これを利用して、撮像データにおいて、第１発光部５５の検出位置が、第２発光部５６の検出位置よりも左側であれば、ユーザ１６０は、画像投影装置１および撮像部１７から見て右側（図１０に示す側）から操作していることを判別することができる。また、反対に、第１発光部５５の検出位置が、第２発光部５６の検出位置よりも右側であれば、ユーザ１６０は、画像投影装置１および撮像部１７から見て左側から操作していることを判別することができる。

換言すれば、撮像データにおいて、第１発光部５５の位置に対する第２発光部５６の位置側にユーザ１６０がいることを認識するものである。

ユーザ１６０の位置を認識した場合、ユーザ１６０の位置（すなわち、判別方向）に応じて、電子ペン５０の操作により投影画像１４０上に表示させる軌跡の表示形態（例えば、色など）を識別可能とすることが好ましい。

例えば、図１０に示す位置のユーザ１６０の操作であることを判別した場合は、電子ペン５０の軌跡を赤色で表示させるようにし、図１０において、向かって右側にいるユーザ１６０（図示せず）からの操作であることを判別した場合は、電子ペン５０の軌跡を青色で表示させるようにして、ユーザ１６０の操作性を向上させることができる。

また、軌跡を識別可能に表示させることに併せて、または、これに替えて、判別したユーザ１６０の操作位置に応じて、投影画像の角度を変更、投影画像を回転等させて、電子ペン５０を操作しているユーザ１６０から見て投影画像が正しい向きに表示させるようにしてもよい。また、投影画像の回転に併せて、またはこれに替えて投影位置を調整するようにしてもよい。

なお、ここでは、第１発光部５５と第２発光部５６は、異なる発光特性を有する例を説明したが、描画中はペン先がペン尻よりも鉛直方向下側となる、すなわち、撮像データ上では、第２発光部５６は第１発光部５５の鉛直方向上側に位置するので、これを利用して第１発光部５５と第２発光部５６を特定してもよい。この場合、第１発光部５５と第２発光部５６の発光特性は必ずしも異なる必要はない。

図１１は、本実施形態に係る画像投影装置１が実行する処理の一例を示すフローチャートである。ここでは、ユーザが電子ペン５０を操作する方向に応じて、電子ペン５０による描画色を変更する場合を例に説明する。

先ず、撮像制御部３１は撮像部１７を制御し、投影画像１４０を撮像し、撮像データを取得する（Ｓ１０１）。撮像部１７の撮像および以下の処理は、所定の間隔ごとに実行されるものであればよい。

次いで、操作方向判別部３２は、撮像部１７で撮像した撮像データにおいて、第１発光部５５の発光位置と第２発光部５６の発光位置とを検出する（Ｓ１０２）。

次いで、操作方向判別部３２は、第１発光部５５の発光位置と第２発光部５６の発光位置との相対位置関係に基づいて、電子ペン５０の向き、すなわち、ユーザの操作方向を判別する（Ｓ１０３）。

次いで、軌跡表示制御部３３は、ユーザの位置が画像投影装置１から見て右側であれば、電子ペン５０の描画色を色１（例えば、赤）に設定し（Ｓ１０４）、左側であれば、電子ペン５０の描画色を色２（例えば、青）に設定し（Ｓ１０５）、処理は終了する。

なお、本実施形態では、電子ペン５０の傾く方向で撮像部１７から見てユーザが左右のどちらから操作しているかの２方向判別の処理例を示したが、投影画像の位置、投射角度、ペンの長さ等の情報を判断基準として、より正確な位置の識別を行うことも好ましい。

例えば、第１発光部５５と第２発光部５６が左右にあまり離れていない場合は、画像投影装置１が設置されている側からの操作や、画像投影装置１の対面側からの操作である場合が考えられるが、この場合、第１発光部５５と第２発光部５６の離間距離（すなわち、撮像データ上のペンの長さ）を用いて、撮像部１７からの距離を判別し、画像投影装置１が設置されている側からの操作や、画像投影装置１の対面側からの操作を識別することができる。

また、例えば、電子ペン５０のペン尻側で描画することで、ペン先側で描画した内容を消去できる（消しゴム機能）等の機能を持たせた電子ペン５０も知られている。このような電子ペン５０において、ユーザがペン先側で描画しているか、ペン尻側で描画しているかについても、第１発光部５５と第２発光部５６の位置を検出することで、判別することができる。

以上説明した本実施形態に係る画像投影装置および画像投影システムによれば、投影画像に対して、ユーザがどの方向からポインティングデバイスを操作しているかを簡易かつ正確に検出することができ、検出結果に基づいて、軌跡の描画色を変更したり、投影画像の向き等を変更したりすることができる。よって、インタラクティブ操作の操作性を向上することができる。

［第２の実施形態］
以下、本発明に係る画像投影装置の他の実施形態について説明する。第２の実施形態では、画像投影装置１を天吊りにして机上投影を行う場合について説明する。なお、上記実施形態と同様の点についての説明は適宜省略する。

図１２は、本実施形態に係る画像投影システム１００による天井１７０からの投影（天吊り型投影）の説明図である。

天井１７０からの投影の場合、撮像部１７は、投影画像１４０に対し正面から撮像可能であるので、電子ペン５０の向きをより正確に判別することができる。一方で、第１発光部５５と第２発光部５６の鉛直方向の位置を検出することは困難であるので、本実施形態では、電子ペン５０の第１発光部５５と第２発光部５６とは、異なる発光特性で発光するようにして、２つの発光部の相対位置関係から操作方向を判別する。

［第３の実施形態］
第３の実施形態では、操作方向の判別の際、投影画像において、電子ペン５０の操作を検出するインタラクティブ領域を複数のエリアに分割する場合について説明する。

図１３は、本実施形態に係る画像投影システム１００により投影された投影画像１４０を真上から見た説明図である。本実施形態では、画像投影装置１の主制御部３０は、投影エリア分割部を有しており、投影画像１４０を所定数のエリアで分割し、操作方向判別部３２は、操作方向の判別の際、いずれのエリアでの操作かを考慮して操作方向を判別するものである。図１３の例では、投影エリア分割部によりエリア１〜エリア９の９つのエリアに分割されている。

図１３において、例えば、Ａ〜Ｄの位置にユーザがいる場合、Ｃの位置にいるユーザが電子ペン５０を操作して、自身の左前方（エリア７）にて描画する場合と、Ｄの位置にいるユーザが電子ペン５０を操作して、自身の右前方（エリア３）にて描画する場合とは、電子ペン５０の向きは同じ方向になることが予想されるため、Ｃの位置のユーザとＤの位置のユーザの判別が困難である。

そこで、画像投影装置１は、電子ペン５０の向きに加えて、いずれのエリアの操作であるかを判断し、例えば、エリア７での操作であれば、Ｃの位置のユーザの可能性が高いこと、エリア３での操作であれば、Ｄの位置のユーザの可能性が高いことを推定することができる。このように、電子ペン５０の向きに加えて、いずれのエリアでの操作かについても併せて認識することにより、操作方向の判別制度を向上することができる。

［第４の実施形態］
上記実施形態では、画像投影システム１００において、画像投影装置１が操作方向の判別制御をする場合を説明したが、本実施形態では、操作方向の判別制御に必要な情報（撮像データなど）が、画像投影装置１を介して、または各デバイスから直接、映像供給装置１１０に送信され、映像供給装置１１０にて操作方向の判別制御をするものである。すなわち、上記の撮像制御部３１、操作方向判別部３２、軌跡表示制御部３３、投影角度・位置制御部３４の各部を映像供給装置１１０が備えるものであってもよい。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

例えば、上記実施形態では、画像投影装置１が机上投影を行う場合を例に説明したが、これに限られるものではなく、壁面やスクリーンなどを被投影面１３０とする場合であっても、同様に適用することができる。

また、上記実施形態では、画像投影装置は、ＤＬＰ(Digital Light Processing)方式のプロジェクタを例に説明したが、これに限られるものではなく、ＬＣＤ（Liquid Crystal Display）方式、ＬＣＯＳ（Liquid crystal on silicon）方式等であってもよい。また、光源としてアークランプを用いる例について説明したが、これに限られるものではなく、レーザ、ＬＥＤ等を用いてもよい。

１ 画像投影装置
２ 外装カバー
３ 光学エンジン
３ａ 照明ユニット
３ｂ 投影ニット
４ 光源ユニット
５ カラーホイール
６ ライトトンネル
７ リレーレンズ
８ 平面ミラー
９ 凹面ミラー
１０ 画像表示素子ユニット
１０ａ ＤＭＤ素子
１１ 吸気口
１２ 排気口
１３ 吸気ファン
１４ 排気ファン
１５ ランプ
１６ ファン
１７ 撮像部
２０ 映像入力端子部
２１ 映像音声処理部
２２ 音声出力ユニット
２３ ランプ制御部
２４ 光学制御部
２５ 操作部
２６ リモコン
２７ 操作受付部
２８ 入出力インタフェース
２９ 無線通信部
３０ 主制御部
３１ 撮像制御部
３２ 操作方向判別部
３３ 軌跡表示制御部
３４ 投影角度・位置制御部
３５ ファン制御部
５０ 電子ペン
５１ 第１ボタン
５２ 第２ボタン
５３ ペン先ボタン
５４ 操作受付部
５５ 第１発光部
５６ 第２発光部
５７ 無線通信部
６０ 電子ペン制御部
１００ 画像投影システム
１１０ 映像供給装置
１１１ 入力部
１１２ 表示部
１１３ 通信部
１１４ ＣＰＵ
１１５ ＲＡＭ
１１６ 記録部
１２０ ケーブル
１３０ 被投影面
１４０ 投影画像
１５０ 机（被投影面）
１６０ ユーザ
１７０ 天井

特開２０１４−１８６２０３号公報

Claims (10)

1. 被投影面に投影画像を投影する画像投影装置と、
   前記投影画像を撮像する撮像装置と、
   前記投影画像上の位置指定を含む操作が可能なポインティングデバイスと、を備えた画像投影システムにおいて、
   前記ポインティングデバイスは、一端側に第１発光部を有するとともに、他端側に第２発光部を有し、
   前記画像投影装置は、
   前記撮像装置が撮像した前記投影画像の撮像情報を取得する撮像制御部と、
   前記撮像情報における前記第１発光部の位置と前記第２発光部の位置を検出し、該検出結果に基づいて、前記ポインティングデバイスが前記投影画像に対して操作されている方向を判別する操作方向判別部と、を備えることを特徴とする画像投影システム。
2. 前記画像投影装置は、
   前記操作方向判別部の判別結果に応じて、前記ポインティングデバイスの軌跡を識別可能に表示させる軌跡表示制御部を備えることを特徴とする請求項１に記載の画像投影システム。
3. 前記画像投影装置は、
   前記操作方向判別部の判別結果に応じて、前記投影画像の投影角度および投影位置の少なくとも一方を変化させる投影角度・位置制御部を備えることを特徴とする請求項１または２に記載の画像投影システム。
4. 前記第１発光部と前記第２発光部は、発光特性の異なる光を発することを特徴とする請求項１から３までのいずれかに記載の画像投影システム。
5. 前記ポインティングデバイスはペン形状を有し、
   前記第１発光部をペン先側、前記第２発光部をペン尻側に備えることを特徴とする請求項１から４までのいずれかに記載の画像投影システム。
6. 前記第１発光部は、前記ポインティングデバイスの先端部に設けられ、
   該先端部が前記被投影面に接触することで発光し、
   前記第２発光部は、前記第１発光部の発光とともに発光することを特徴とする請求項１から５までのいずれかに記載の画像投影システム。
7. 前記画像投影装置は、
   前記投影画像を所定数の領域に分割し、いずれの領域で操作がされたかを認識し、
   該認識結果と、前記撮像情報における前記第１発光部および前記第２発光部の位置の検出結果と、に基づいて、前記ポインティングデバイスが前記投影画像に対して操作されている方向を判別することを特徴とする請求項１から６までのいずれかに記載の画像投影システム。
8. 被投影面に投影画像を投影する画像投影装置と、
   前記投影画像を撮像する撮像装置と、
   前記投影画像上の位置指定を含む操作が可能なポインティングデバイスと、を備えるとともに、
   前記ポインティングデバイスは、一端側に第１発光部を有するとともに、他端側に第２発光部を有している画像投影システムにおける前記画像投影装置であって、
   前記撮像装置が撮像した前記投影画像の撮像情報を取得する撮像制御部と、
   前記撮像情報における前記第１発光部の位置と前記第２発光部の位置を検出し、該検出結果に基づいて、前記ポインティングデバイスが前記投影画像に対して操作されている方向を判別する操作方向判別部と、
   を備えたことを特徴とする画像投影装置。
9. 被投影面に投影画像を投影する画像投影装置と、
   前記投影画像を撮像する撮像装置と、
   前記投影画像上の位置指定を含む操作が可能なポインティングデバイスと、を備えた画像投影システムにおける前記ポインティングデバイスであって、
   一端側に第１発光部を有するとともに、他端側に第２発光部を有することを特徴とするポインティングデバイス。
10. 投影情報に基づいて被投影面に投影画像を投影する画像投影装置と、
    該画像投影装置に前記投影情報を供給する映像供給装置と、
    前記投影画像を撮像する撮像装置と、
    前記投影画像上の位置指定を含む操作が可能なポインティングデバイスと、を備えるとともに、
    前記ポインティングデバイスは、一端側に第１発光部を有するとともに、他端側に第２発光部を有している画像投影システムにおける前記映像供給装置であって、
    前記撮像装置が撮像した前記投影画像の撮像情報を取得する撮像制御部と、
    前記撮像情報における前記第１発光部の位置と前記第２発光部の位置を検出し、該検出結果に基づいて、前記ポインティングデバイスが前記投影画像に対して操作されている方向を判別する操作方向判別部と、
    を備えたことを特徴とする映像供給装置。