JP2011203830A - 投写システム及びその制御方法 - Google Patents

Abstract

【課題】設定されている操作モードを確認し易く、かつ確認する際に手書き入力の操作性を低下させることのない投写システム及びその制御方法を提供する。
【解決手段】手入力が行なわれる投写面５０に対して投写画像を投写する投写光学系３１３を備えたプロジェクター３０と、手入力を行なう際の操作モードの設定状態を管理する状態管理部１０５と、投写面５０に対して手入力が行われている入力操作位置を検出する操作位置検出部１０４と、設定されている操作モードに応じた画像が入力操作位置に投写されるように投写画像を変更する画像処理部１０７とを備えたＰＣ１０と、を有する。
【選択図】図1２

Description

本発明は、手書きされた内容を電子的な情報に変換することができる電子黒板に利用される投写システム及びその制御方法に関する。

表示面上に手書きされた内容を電子的な情報に変換することができる電子黒板がある。また、電子的に変換した情報をコンピューターへ入力させる機能を備えたインタラクティブタイプの電子黒板も提案されている。インタラクティブタイプの電子黒板は、電子黒板用のアプリケーション機能を利用することで、従来のホワイトボードとほぼ同等の操作で、手で書いた情報をコンピューターへ取り込むことができる。このため、効率に優れた、視認性の高い、会議や授業を行うことができるようになっている。

電子黒板では、指で画面や投写面に直接触れて操作することができるタッチパネルのようなインターフェイスでは、手により画面にタッチする行為が、書く、消す、指定する等の複数種類の入力指示を与えることができる。どの入力指示を受け付ける状態にあるかはそのとき設定されている操作モードにより異なる。また、専用の電子ペンにより入力指示を与えるインターフェイスにおいても、設定されている操作モードにより電子ペンによる入力指示の種類が異なる場合がある。

このように、そのときに設定されている操作モードによって入力指示が変化することがあるので、ユーザーは現在の操作モードが何であるかを認識している必要がある。ところが、操作途中において現在の操作モードが何であったのかを忘れてしまったり、間違えて認識していたりすることがある。このため、消すつもりが書いてしまったり、書くつもりで指定操作をしてしまったりと、誤操作を起こし易い。

このため、現在の操作モードを表示する各種方法が提案されている。表示面上の決められた領域に現在の操作モードや状態を示すアイコンなどを表示する方法や、使用中の電子ペンに現在どの操作モードが設定されているかを表示する機能をつける方法等がある。また、特許文献１には、操作モード切替スイッチを設けた電子ペンが記載されており、操作モード切替スイッチの状態を確認することで状態を知ることができるよう構成されている。

特開平０７−１６０３９８号公報

上述した方法では表示面上の決められた領域を確認することで、現在の操作モードを知ることができるが、作業する手元と離れた場所を確認する必要があり、注目点が散漫になり作業の効率が悪く、また確認し難いため誤操作が起こりやすい。また、電子ペンに表示される操作モードは小さく作業を行いながら確認することは難しい。

本発明は、上記課題を解決するためになされたものであって、設定されている操作モードを確認し易く、かつ確認する際に手書き入力の操作性を低下させることのない投写システム及びその制御方法を提供することを目的とする。

上記課題を解決することのできる本発明の投写システムは、手入力が行なわれる操作面に対して投写画像を投写する投写部と、前記手入力を行なう際の操作モードの設定状態を管理する状態管理部と、前記操作面に対して前記手入力が行われている入力操作位置を検出する検出部と、設定されている前記操作モードに応じた画像が前記入力操作位置に投写されるように前記投写画像を変更する投写画像変更部と、を有することを特徴とする。
上記構成によれば、操作モードに応じた画像が入力操作位置に投写されるので、ユーザーは手入力を行いながら操作モードに応じた画像を確認することができる。このため、入力操作位置から離れた場所を確認する必要がなく、操作モードの確認の手間がより少なくなるため、誤操作を起こりにくくすることができる。

また、本発明の投写システムにおいて、前記投写画像変更部は、前記操作モードにおける入力操作の動きに応じた画像が前記入力操作位置に投写されるように前記投写画像を変更することを特徴とする。
上記構成によれば、入力操作の動きに応じた画像が入力操作位置に投写されるので、例えばマウスのクリック操作やドラッグ操作等の操作モードの判別を容易に行うことができる。

また、本発明の投写システムにおいて、前記投写画像変更部は、前記入力操作位置の移動に追従して前記画像が移動するように前記投写画像を変更することを特徴とする。
上記構成によれば、入力操作位置が移動すると画像も追従して移動するので、ユーザーは手書きする位置を移動しても、操作モードを確認するために視線を移動させる必要がなく、誤操作を起こりにくくすることができる。

また、本発明の投写システムにおいて、前記投写画像変更部は、前記画像がユーザーの手に投写されるように前記投写画像を変更することを特徴とする。
上記構成によれば、ユーザーの手に投写されるので、指で文字を入力したりペンデバイスを利用して文字を入力する場合であれば、手入力を行いながら自らの手に投写された操作モードを確認することができる。従来のように、操作モードが電子ペンに表示される場合と比較して、操作モードの確認がし易い。

また、本発明の投写システムにおいて、前記投写画像は、前記操作モードを設定するための操作ボタンを備えたツールバー画像を含み、前記投写画像変更部は、前記手入力によって操作された前記操作ボタンの表示と同じ種類のアイコンを、前記画像として前記ユーザーの手に投写されるように前記投写画像を変更することを特徴とする。
上記構成によれば、操作された操作ボタンの表示と同じ種類のアイコンがユーザーの手に投写されるので、ユーザーは自らの手を見るだけで、視線を操作位置から大きく変えることなく、感覚的に操作モードの機能を認識することができる。

また、上記課題を解決することのできる本発明の投写システムの制御方法は、手入力が行なわれる操作面に対して投写画像を投写するステップと、前記操作面に対して前記手入力が行われている入力操作位置を検出するステップと、手入力を行なう際に設定されている操作モードに応じた画像が、前記入力操作位置に投写されるように前記投写画像を変更するステップと、を有することを特徴とする。
上記構成によれば、操作位置から離れた場所を確認する必要がなく、操作モードの確認の手間がより少なくなるため、誤操作を起こりにくくすることができる。

本実施形態の投写システムの概略構成を示す図である。 本実施形態の投写システムにおけるコンピューターが実現する機能を説明するためのブロック図である。 本実施形態の投写システムにおけるプロジェクターの内部構成を説明するためのブロック図である。 本実施形態の投写システムにおけるプロジェクターが実行する処理を説明するためのフローチャートである。 本実施形態の投写システムにおけるコンピューターが実行する処理を説明するためのフローチャートである。 投写面に投写された電子黒板アプリケーション画面の一例である。 コンテンツ画像が合成された電子黒板アプリケーション画面の一例である。 ユーザーの指先がツールバーの色指定ボタンを指定したときの画面の一例である。 図７の画面と図８の画面との差分データを示す図である。 操作モードに応じた画像がユーザーの手に投写されたときの画面の一例である。 ユーザーの手が移動するとそれに追従して操作モードに応じた画像も移動する様子を示した画面の一例である。 投写面上でユーザーの指先がコンテンツ画面の特定箇所を囲む動作をしたときの画面の一例である。 消去モードを示す消しゴムアイコンが合成された画面の一例である。 マウスモードを示すマウスアイコンが合成された画面の一例である。 投写面を異なる方向から撮像する２つのカメラによって撮像データを取得する様子を示した図である。 ２つのカメラの撮像データの一例を示した図である。

以下、本発明に係る投写システム及びその制御方法の好適な実施形態について、図面を参照して詳細に説明する。

＜投写システムの概略構成について＞
本実施形態の投写システムの構成について図１を参照して説明する。
本実施形態の投写システム１は、パーソナルコンピューター１０（以下、「ＰＣ」と呼ぶ。）、プロジェクター３０及び投写面５０を備える。

まず、本実施形態の投写システム１における動作の概略を説明する。図１は、プロジェクター３０が投写面５０に投写した電子黒板アプリケーション画面７０に、ユーザーＡが自らの手やペンデバイス、指示棒等を使って文字や図形を記入しながら、プレゼンテーションなどを行なう場面である。投写面５０上に位置するユーザーの手やペンデバイス等の動きをプロジェクター３０に内蔵されているカメラが撮像する。撮像データがＰＣ１０へ転送され、ＰＣ１０が入力操作位置を取得する。そして、ＰＣ１０は、現在設定されている操作モードに対応する画像を入力操作位置に合成し、プロジェクター３０によって投写面５０に投写するシステムである。

ＰＣ１０は、演算処理の中枢をなす不図示のＣＰＵを備えており、このＣＰＵはシステムバスを介してＲＯＭやＲＡＭにアクセス可能となっている。また、システムバスには外部記憶装置としてのハードディスクドライブとフロッピー（登録商標）ディスクドライブやＣＤ−ＲＯＭドライブなどが接続されており、ハードディスクドライブに記憶されたＯＳ（Operating System）やアプリケーションなどがＲＡＭに転送され、ＣＰＵはＲＯＭとＲＡＭに適宜アクセスしてソフトウェアを実行する。

本実施形態では、ハードディスクドライブに電子黒板アプリケーション、操作位置検出プログラム等が記憶されている。ＣＰＵがＯＳやこれらのプログラムを実行することによって、指やペンデバイスによって投写面５０上に手書きされた描画情報をデジタルデータに変換してＰＣ１０へ取り込む、いわゆる、インタラクティブ型の電子黒板としての環境を実現している。

ＰＣ１０のＣＰＵが電子黒板アプリケーション及び操作位置検出プログラムを実行することによって、図２に示すように、ＰＣ１０には、インターフェイス部１０１、制御部１０２、操作モード画像記憶部１０６及び画像処理部１０７（投写画像変更部）が構成される。

インターフェイス部１０１は、プロジェクター３０の後述するインターフェイス部と接続し、ＰＣ１０から出力される画像データに、予め設定された出力インターフェイス処理を実施してプロジェクター３０へ出力する。本実施形態では、ＵＳＢ(Universal Serial Bus)ケーブルを採用し、ＰＣ１０及びプロジェクター３０を、ＵＳＢインターフェイスを用いて情報の送受信が可能な状態に接続している。ＰＣ１０は、パーソナルコンピューターとして一般的な構成を有するものを採用することができる。

制御部１０２には、投写面５０を電子黒板として使用するための各種制御を行なうために、描画データ記憶部１０３、操作位置検出部１０４及び状態管理部１０５が構成される。描画データ記憶部１０３は、プロジェクター３０からインターフェイス部１０１を介して受信した指やペンデバイスの軌跡を描画データとして一時的に記憶するメモリーである。

入力操作位置を検出する検出部としての操作位置検出部１０４は、プロジェクター３０から受信した撮像データに基づいて、ユーザーＡが投写面５０に文字等を書き込む際の手の位置、すなわち入力操作位置を検出する。検出方法の詳細については後述する。

状態管理部１０５は、電子黒板アプリケーションの操作モードの状態を監視する。操作モードの例としては、指やペンデバイスでユーザーが文字等を描画するための描画モード、描画した文字を消すための消去モード、マウスモード、ホバー状態、エラー状態等がある。さらに、描画モードでは、フォントの色指定、マーカーの色指定等を設定することができる。また、マウスモードでは、クリック状態やドラッグ状態等を指定することもできる。状態管理部１０５は、操作モードの状態が今現在どの状態にあるのかを監視しており、各状態を画像処理部１０７へ通知する。

例えば、電子黒板のアプリケーションで使用可能な機能を簡易化して表示したツールバーのようなＧＵＩ（Graphical User Interface）を利用して、ユーザーが操作モードを選択する場合、状態管理部１０５は、指やペンデバイスによってツールバーの中の何れの機能が選択されたか（設定されたか）を判定し、現在選択されている機能を記憶する。

操作モード画像記憶部１０６は、ハードディスクドライブに予め設けられた記憶領域であり、上述した各操作モードに対応するアイコンが記憶されている。アイコンは、各操作モードを、記号化された図形によってわかりやすく表現したものである。アイコンの具体例としては、描画モードを示す鉛筆アイコン、消去モードを示す消しゴムアイコン、マウスモードを示すマウスアイコン等がある。

画像処理部１０７は、ハードディスクドライブ等の各種ドライブに保存されている電子黒板アプリケーションやコンテンツファイルに基づいて画像データを取得し、ディスプレイ１２に表示させたり、プロジェクター３０に投写させる画像データの処理を行う。また、画像処理部１０７は入力された文字をフォントデータに変換して画像データに合成し反映する。また、本実施形態では、状態管理部１０５が監視している現在の操作モードを感覚的に分かり易く表示するアイコンを、操作モード画像記憶部１０６から読み出して、画像データの入力操作位置に合成する。また、ツールバー上の何れかの機能が選択されると、選択された機能を示す画像を他の機能の画像よりも大きく表示したり、色を変えて表示したり、反転表示する。

＜プロジェクターの内部構成について＞
本実施形態の投写システムにおけるプロジェクターの内部構成について図３を参照して説明する。
図３に示すように、プロジェクター３０は、ランプ３１１と、光変調手段である液晶ライトバルブ３１２Ｒ，Ｇ，Ｂと、投写光学系３１３と、液晶ライトバルブ駆動部３１４と、制御部３２０と、映像音声処理部３３２と、フレームメモリー３３３と、映像処理部３３４と、音声処理部３３５と、スピーカー３３６と、ＯＳＤ（On Screen Display）処理部３３８と、ランプ駆動部３４０と、操作信号処理部３４３と、インターフェイス部３４５と、情報検出部であるカメラ３５０と、カメラの動作を制御する撮像制御部３５２と、を備えている。

ランプ３１１はランプハウジング３１０に収納され、ランプユニットとして単体でプロジェクター３０から分離可能である。ランプ３１１には寿命があるため、消耗した場合はランプユニットごと新しいものと交換することができる。

投写光学系３１３は投写レンズ３１３ａを有している。プロジェクター３０は、インターフェイス部３４５を介して供給される映像信号に応じた光学像を投写し、投写レンズ３１３ａを介して、投写面５０に拡大して投写する。

制御部３２０は、映像信号処理部３３２、ＯＳＤ処理部３３８、ランプ駆動部３４０、インターフェイス部３４５及び撮像制御部３５２と接続されている。この制御部３２０は、マイクロプロセッサーと、不揮発性の記憶部と、マイクロプロセッサーが直接アクセスすることができる主記憶部と、を備えている。不揮発性の記憶部には、プロジェクター３０の各種動作を制御するための制御プログラム、台形歪補正量の表示などのＯＳＤ映像を生成するためのＯＳＤ情報を記憶するとともに、プロジェクター３０の各種設定値等が記憶されている。

マイクロプロセッサーは、不揮発性の記憶部に記憶された制御プログラム等を実行して、プロジェクター３０の動作を統括制御し、制御部３２０に接続された各部から入力される各種データを演算するとともに、演算結果を各部に出力する。

映像音声処理部３２は、インターフェイス部３４５から受信した画像データをデコードして圧縮符号化前の映像データに変換し、これらをたとえばＲＧＢ信号に変換して順次映像処理部３３４に出力する。また、音声信号についても同様にデコードを行い、Ｄ／Ａ変換により音声データに変換し、順次音声処理部３３５に出力する。映像音声処理部３３２にはフレームメモリー３３３が接続されており、映像データを１フレーム毎にフレームメモリー３３３に記憶させるとともに、フレームメモリー３３３に記憶された映像データを読み出す。

映像処理部３３４は、映像音声処理部３３２より受信したＲＧＢ信号に対してγ補正処理、台形補正処理、解像度変換処理などを行い、液晶ライトバルブ駆動部３１４に出力する。

液晶ライトバルブ駆動部３１４は、入力されたＲＧＢ信号に応じて、液晶ライトバルブ３１２Ｒ，Ｇ，Ｂを駆動する。各液晶ライトバルブ３１２Ｒ，Ｇ，Ｂは、マトリクス状の複数の画素を備えている。液晶ライトバルブ駆動部３１４により各画素の透過率が調整されることにより、ランプ３１１から射出され、色光分離光学系によって各色光に分離された、Ｒ（赤）、Ｇ（緑），Ｂ（青）の各色光を対応する液晶ライトバルブ３１２Ｒ，Ｇ，Ｂによって変調して光学像を射出する。液晶ライトバルブ３１２Ｒ，Ｇ，Ｂから射出される光学像は、クロスダイクロイックプリズムなどの合成光学系により合成され、投写光学系３１３の投写レンズ３１３ａによって投写面５０上に拡大投写される。

音声処理部３３５は、映像音声処理部３３２より受信した音声データをスピーカー３３６に出力する。なお、音声処理部３３５は、音量増幅部を有しており、音量の増幅を行ってスピーカー３３６に出力する。これにより、スピーカー３３６は、増幅されて入力するアナログ音声信号を出力する。

ＯＳＤ処理部３３８は、メニュー映像や映像入力端子を検出する際の映像等のＯＳＤ情報を制御部３２０から受信して、ＯＳＤ映像を生成する。また、生成したＯＳＤ映像と映像処理部３３４から受信した映像データを合成し、液晶ライトバルブ駆動部３１４へ送信する。

ランプ駆動部３４０は、制御部３２０からの指示に従って、ランプ３１１を点灯又は消灯させる点灯手段であり、例えばランプ３１１が高圧放電灯の場合には、始動電圧を印加する点灯回路や、適正なランプ電流を供給する安定器などにより構成される。

インターフェイス部３４５は、外部からの操作信号を受信し、これを制御部２０に出力する。また、有線あるいは無線によってＰＣ１０と接続し、ＰＣ１０から出力された画像データに予め設定された入力インターフェイス処理を実施して映像音声処理部３２３へ出力する。さらに、撮像制御部３５２が取得した撮像データを、予め設定された出力インターフェイス処理を実施してＰＣ１０へ送信する。

なお、上述したように、ＰＣ１０及びプロジェクター３０はＵＳＢインターフェイスを利用して情報の送受信が可能な状態に接続されていたが、これに限らず、ＵＳＢインターフェイス以外の他のインターフェイスを利用した構成を採用してもよい。また、ＰＣ１０及びプロジェクター３０は、例えば、ネットワーク等を利用して情報の送受信が可能な状態に接続する構成を採用しても良い。ここで、ネットワークとしては、例えば、ＴＣＰ／ＩＰ等の汎用のプロトコルに基づくインターネット、イントラネット、ＬＡＮ（Local Area Network）、無線通信回線等が例示できる。

撮像制御部３５２は、カメラ３５０による撮像動作を制御する。本実施形態では、カメラ３５０が投写面５０上に描かれた指やペンデバイスの軌跡を常時撮像し、インターフェイス部３４５を介して撮像データをＰＣ１０へ送信する。

＜投写システムの制御方法について＞
次に、上記説明した投写システムの制御方法について図４〜図１２を参照して説明する。本実施形態は、電子黒板アプリケーションに設定されている現在の操作モードが何れの操作モードであるかを示すアイコンをユーザーＡの手元に投写することによって、操作モードの確認を容易することを可能にするものである。

ユーザーＡは、プレゼンテーションを開始するにあたってプロジェクター３０の電源をＯＮすると、ランプ駆動部３４０はランプ３１１を点灯させる（図４：ステップＳ１１）。

一方、ＰＣ１０のＣＰＵはハードディスクドライブに記憶されている電子黒板アプリケーションを実行し起動する（図５：ステップＳ３１）。画像処理部１０７は、電子黒板アプリケーション画面を生成し、インターフェイス部１０１を介してディスプレイ１２にアプリケーション画面が表示される。また、インターフェイス部１０１を介してプロジェクター３０に電子黒板アプリケーション画面の画像データが送信される（図５：ステップＳ３３）。また、画像処理部１０７は、コンテンツファイルを実行してコンテンツ画像を生成し、電子黒板アプリケーション画面にコンテンツ画像を合成する。ＰＣ１０のモニターにコンテンツ画像が合成された電子黒板アプリケーション画面が表示される。また、インターフェイス部１０１を介してコンテンツ画像が合成された画像データをプロジェクター３０へ送信する（図５：ステップＳ３５）。

プロジェクター３０は、インターフェイス部３４５を介して電子黒板アプリケーション画面の画像データを受信すると（図４：ステップＳ１３：Ｙｅｓ）、各機能部が画像データを処理して投写光学系３１３の投写レンズ３１３ａから図６に示す電子黒板アプリケーション画面７０を投写する（図４：ステップＳ１５）。また、電子黒板アプリケーション画面７０にコンテンツ画像が合成された画像データを受信すると、図７に示すコンテンツ画像が合成された画面７１を投写する（図４：ステップＳ１７）。

図６に示すように、電子黒板アプリケーション画面７０の左上部にはツールバー７０１（ツールバー画像）が形成されている。ツールバー７０１には、操作ボタンとして、描画モードボタン７０３、描画モードにおいて描画する線を青色あるいは赤色に設定する色指定ボタン７０５,７０７、消去ボタン７０９、人間の手をマウスのように機能させるためのマウスボタン７１１、現在投写されているコンテンツファイルを閉じるための終了ボタン７１３が含まれている。ユーザーＡは、指やペンデバイスで何れかのボタンを指定することによって操作モードを実行し、または実行していた操作モードを変更する。なお、ツールバー７０１は、上述した操作ボタンのほか、線種モード（点線、実線等）、図形モード、編集モード等のモードボタンを備えていてもよい。ツールバー７０１は、使用頻度等に応じてユーザーが適宜編集することができるよう構成してもよい。

例えば、ユーザーＡが指先Ａ１で描画モードボタン７０３を指定し、さらに図８に示すように色指定ボタン７０５を指定すると、青色で描画する描画モードが設定される。すると、投写面５０上を指先Ａ１でなぞると青色の文字や線を描くことができる。ここで、投写面５０上に投写されたツールバーのうち何れのボタンが指定されたのかを判定する方法としては、次のような方法がある。

撮像制御部３５２は、カメラ３５０が撮像した撮像データと、画像処理部１０７が生成したコンテンツ画像が合成された画像データと、を比較し、その２つの差分データを抽出する。その差分データの画面上の座標とツールバー７０１の画面上の座標と一致するところがある場合は、その位置に投写されているボタンが指定されたと判定する。例えば、撮像制御部３５２が取得した撮像データが図８に示すデータであり、画像処理部１０７が生成したコンテンツ画像が合成された画像データが図７に示すデータである場合、図７と図８の差分データは図９に示すデータとなる。

この差分データの特徴量を計算し、予め登録された人差し指を指した状態の手の特徴量と比較するとことで手であるか否かを判定する。特徴量が一致する場合は、その差分データが手であると判定し、この差分データ７１５の指先の位置が、ツールバー７０１の青色の色指定ボタン７０５が投写されている座標と一致していれば、色指定ボタン７０５が指定されたと判定することができる。このとき、状態管理部１０５は、操作モードを「描画モード−青色」と記憶する。

撮像制御部３５２は、常時、手の指示する軌跡を撮像し（図４：ステップＳ１９）、ＰＣ１０へ送信する（図４：ステップＳ２１）。ＰＣ１０は撮像データを受信すると（図５：ステップＳ３７：Ｙｅｓ）、操作位置検出部１０４は電子黒板アプリケーション画面と、撮像データと、の差分データを検出する。さらに、その差分データが手であるか否かを判定し、差分データが手の形状をしていることがわかると、手の位置を取得する（図５：ステップＳ３９）。画像処理部１０７は、設定されている現在の操作モードを感覚的に認識させるためのアイコン画像を、操作モード画像記憶部１０６から読み出し生成する（図５：ステップＳ４１）。そして、画像処理部１０７は、その差分データが位置する座標に画像を合成した画像データを生成し、プロジェクター３０へ送信する（図５：ステップＳ４３）。つまり、ＰＣ１０は、描画モードを示す鉛筆マークを青色で示した画像７１７を合成した画像データをプロジェクター１０へ送信する。

プロジェクター３０は、画像７１７が合成された画像データを受信すると、図１０に示すように、投写光学系３１３の投写レンズ３１３ａから電子黒板のアプリケーション画面に操作モードを示す画像７１７が合成された画面７７を投写する（図４：ステップＳ２３）。画像７１７がユーザーＡの手に投写されるので、ユーザーＡは視線を手元からずらすことなく、鉛筆アイコンを見れば、現在の操作モードが描画モードであることを認識することができる。また、鉛筆アイコンが青色にスポットされていることで、青色の描画モードであることを容易に認識することが可能である。

また、図１１に示すように投写面５０上でユーザーＡの手の位置が移動すると、画像７１７もそれに追従して移動する。すなわち、撮像制御部３５２は常時投写面５０上を撮像しているので、ＰＣ１０は撮像データを受信し、操作位置検出部１０４が撮像データと投写中の電子黒板アプリケーション画面との差分データ（ユーザーが投写面５０上を操作している手の部分）を取得することができる。差分データを取得できれば、画像処理部１０７が差分データの位置に画像７１７を合成し、プロジェクター３０へ送信すればよい。

また、図１２に示すように投写面５０上でユーザーＡの指先がコンテンツ画面の特定箇所を囲む動作をすると、画像７１７もそれに追従して移動するとともに、青色の曲線７１９で「３、項目３」の部分を囲う線が投写される。すなわち、撮像制御部３５２は常時投写面５０上を撮像しているので、指先Ａ１の動作の軌跡を取得することもできる。ＰＣ１０は撮像データを受信し、操作位置検出部１０４が撮像データに基づいて、指先の軌跡を座標に変換する。画像処理部１０７は、状態管理部１０５が記憶している描画モードに対応した青色の曲線７１９を合成し、プロジェクター３０へ送信すればよい。

また、ユーザーＡは指先Ａ１で消去ボタン７０９を指定すれば、消去モードへ移行することができる。消去モードは、描画モードにおいて描いた文字や線の上をなぞることによって、描いた情報を消去することができる。消去ボタン７０９が指定されると、上述したように状態管理部１０５が現在の操作モードを「消去モード」として記憶する。画像処理部１０７は、図１３に示すように撮像データに基づいて検出したユーザーＡの手の位置に、状態管理部１０５が記憶している消去モードを示す消しゴムアイコン７２１を合成した画像データを生成し、プロジェクター３０へ送信すればよい。つまり、ユーザーＡの手入力によって操作されたツールバー７０９の消去ボタン７０９の表示と同じ種類の消しゴムアイコン７２１が、ユーザーＡの手に投写される。

また、図１４に示すようにユーザーＡは指先Ａ１でマウスボタン７１１を指定すれば、マウスモードへ移行することができる。マウスモードは、例えば指先Ａ１で投写面上を１回タッチする動作を行なうことでクリックと同じ機能を実行し、さらに、クリックした状態で指先Ａ１を移動させると、ドラッグ動作を行なうことができる。クリック状態と、ドラッグ状態も対応するアイコンをユーザーの手元に投写することができる。マウスボタン７１１が指定されると、上述したように状態管理部１０５が現在の操作モードを「マウスモード」として記憶する。画像処理部１０７は、撮像データに基づいて検出したユーザーＡの手の位置に、状態管理部１０５が記憶しているマウスモードを示す矢印アイコン７２３を合成した画像データを生成し、プロジェクター３０へ送信すればよい。
なお、描画モードにおける色指定のように、クリックの場合は青い矢印アイコン、ドラッグ状態の場合は赤い矢印マークなどに分類してもよい。

また、エラー状態が発生している場合は、ユーザーＡの手に赤いスポットを点滅させてもよい。

なお、上記実施形態では、プロジェクター３０に内蔵されたカメラ３５０で投写面５０を撮像し、撮像データに基づいて入力操作位置である手の位置を検出して、操作モードに対応する画像を合成した。しかし、入力操作位置を検出する方法に他の方法を採用してもよい。以下に入力操作位置を検出する他の方法について説明する。

＜２つのカメラによる撮像データの視差を利用する方法＞
図１５に示すように、投写面５０を異なる方向から撮像する２つのカメラ５１,５３を備え、各カメラ５１,５３からの撮像データに基づいてユーザーＡの手の奥行き方向の情報を取得する方法である。
まず、２つのカメラ５１,５３の撮像データ（図１６（ａ）及び図１６（ｂ）参照）の視差から、投写面５０とプロジェクター３０の間の３次元距離を計算する。投写面５０の手前にある対象物を３次元距離の情報から特定する。対象物の特徴量を計算し予め登録されている手の特徴量と比較し、手であるかどうかを認識する。手であることが認識された場合は、その位置に操作モードに対応する画像を投写する。この方法によれば、投写面５０と手との距離を算出できるため、ある一定の距離ｌより近くに手が接近した場合は投写面５０にタッチした状態であると認識することができる。

＜赤外線カメラを利用する方法＞
また、ユーザーが手首に赤外線ＬＥＤが付いたリストバンドを装着し、投写面５０を赤外線カメラで撮像し、赤外線カメラで取得した撮像データから、リストバンドの赤外線ＬＥＤの位置を検出する。リストバンドの位置から手の位置を推定し、その位置に操作モードに対応する画像を投写することができる。また、先端に赤外線ＬＥＤがついたペンデバイスを利用した場合は、赤外線カメラで撮像した撮像でデータから、ペンの先端の位置を検出する。ペンの先端の位置から手の位置を推定し、その位置に操作モードに対応する画像を投写することができる。また、ペン先に投写面５０との接触を検出する接触センサーを設け、接触センサーの出力状態に応じてＬＥＤの点灯パターンを変えることができる。点灯パターンから、ペンデバイスが投写面５０上をタッチした状態やホバー状態を判別することができる。

また、上記実施形態では、入力操作位置としてユーザーＡの手に操作モードを示す画像を投写した。しかし、入力操作位置は、投写面上のユーザーＡの手の位置に限定されるわけではない。すなわち、ペンの先端が指示しているポイント近傍を入力操作位置として、操作モードを示す画像をペンの先端の軌跡に追従するよう投写してもよい。また、指示棒やレーザーポインターなどを使って投写面より離れた位置からユーザーが操作を行なう場合も、指示棒及びレーザーポインターが指し示す投写面上のポイント近傍を入力操作位置として操作モードを示す画像を投写してもよい。さらに、ユーザーの指や腕を入力操作位置として投写してもよい。

なお、上記実施形態では、指先やペンデバイスの軌跡をプロジェクター３０に内蔵されたカメラ３５０を用いて、カメラ３５０が撮像した撮像データに基づき入力操作位置を検出したが、その他の構成を採用してもよい。例えば以下のものが挙げられる。
（デジタル感圧型）
２枚の電気伝導性のシートの間に微妙な空隙があり、これに触れると表面のシートが接触し、その部分で通電する。シートの電気抵抗値によって接触した座標を取得する構成である。
（電磁気型）
ボード表面の直下にＸ軸方向とＹ軸方向のワイヤーが埋め込まれていて、コイルを埋め込んだペンデバイスとの電磁誘導で接触位置を取得する構成である。
（レーザー型）
ボードの上辺の両端に赤外線レーザーが設置されており、レーザー光線が投写面の表面を監視しており、ペンデバイスについている反射板がレーザー光線を反射することで、その位置を検出する構成である。
（赤外線、超音波型）
上下左右に赤外線発光素子を置き、縦横斜めに赤外線を走らせ、遮られた位置を検出することにより、座標を取得する構成である。
（光学、赤外線型）
投写面の表面を指やマーカーで押すとボード上の表面を監視している赤外線発光装置と受光装置によって三角法的に位置を取得する構成である。

また、上記実施形態では、カメラ３５０はプロジェクター３０に内蔵されていたが、外付けのものであってもよい。さらに、必ずしもプロジェクター３０と接続されている必要はなく、ＰＣ１０と接続されていてもよい。

また、上記実施形態では、ＰＣ１０の画像処理部１０７が、操作モードに応じたアイコンを元の画像データに合成して、合成後の画像データをプロジェクター３０が受信して投写処理を行っていた。しかし、画像処理部１０７は、アイコンの画像と、アイコンを合成する位置情報とをプロジェクター３３へ送信し、プロジェクター３０の映像音声処理部３３２が位置情報に基づいてアイコンの画像を元の画像データに合成してもよい。この場合は、映像音声処理部３３２が投写画像変更部として機能する。

また、上記実施形態では、描画データ記憶部１０３、操作位置検出部１０４、状態管理部１０５、操作モード画像記憶部１０６及び画像処理部１０７の各機能をＰＣ１０側に搭載したが、プロジェクター３０側に全て搭載してもよい。この場合は、プロジェクター３０単体で本発明の投写システム及び投写システムの制御方法を実現することができる。また、一部の機能のみをプロジェクター３０側に搭載してもよい。

また、上記実施形態では、光源からの光を光変調部である液晶ライトバルブ３１２Ｒ，Ｇ，Ｂによって変調し投写する液晶ライトバルブ方式のプロジェクターを例示したが、本発明はその他の方式を採用するプロジェクターにも適用することもできる。具体的には、ＤＭＤ（Digital Micro mirror Device）を用いた投写方式、所謂、ＤＬＰ（Digital Light Processing）（登録商標）方式である。すなわち、ＤＬＰ方式は白色に光るランプの光をレンズで集光してＤＭＤに当て、ＤＭＤの個々のミラーがオン状態に傾いているときの光を他のレンズで拡大し、スクリーンに投影する方式であり、本発明はこのような方式のプロジェクターにも適用することができる。

また、本実施形態では、光源としてランプ３１１を用いて投写するプロジェクター３０を含む投写システム１を例示したが、光源としてＬＥＤ光源やレーザー光源などの固体光源を用いてもよく、これらを組み合わせた光源により投写するプロジェクターを用いてもよい。

１：投写システム、１０：ＰＣ、１２：ディスプレイ、３０：プロジェクター、５０：投写面、１０２：制御部、１０３：描画データ記憶部、１０４：操作位置検出部（入力操作位置を検出する検出部）、１０５：状態管理部、１０６：操作モード画像記憶部、１０７：画像処理部（投写画像変更部）、３１１：ランプ、３１２Ｒ，Ｇ，Ｂ：液晶ライトバルブ、３１３：投写光学系、３１４：液晶ライトバルブ駆動部、３２０：制御部、３３２：映像音声処理部、３３３：フレームメモリー、３３４：映像処理部、３４０：ランプ駆動部、７０１：ツールバー、７０３：描画モードボタン、７０５,７０７：色指定ボタン、７０９：消去モードボタン、７１１：マウスモードボタン、７１３：終了ボタン。

Claims (6)

1. 手入力が行なわれる操作面に対して投写画像を投写する投写部と、
   前記手入力を行なう際の操作モードの設定状態を管理する状態管理部と、
   前記操作面に対して前記手入力が行われている入力操作位置を検出する検出部と、
   設定されている前記操作モードに応じた画像が前記入力操作位置に投写されるように前記投写画像を変更する投写画像変更部と、
   を有することを特徴とする投写システム。
2. 請求項１に記載の投写システムであって、
   前記投写画像変更部は、前記操作モードにおける入力操作の動きに応じた画像が前記入力操作位置に投写されるように前記投写画像を変更することを特徴とする投写システム。
3. 請求項１又は２に記載の投写システムであって、
   前記投写画像変更部は、前記入力操作位置の移動に追従して前記画像が移動するように前記投写画像を変更することを特徴とする投写システム。
4. 請求項１〜３の何れかに記載の投写システムであって、
   前記投写画像変更部は、前記画像がユーザーの手に投写されるように前記投写画像を変更することを特徴とする投写システム。
5. 請求項１〜４の何れかに記載の投写システムであって、
   前記投写画像は、前記操作モードを設定するための操作ボタンを備えたツールバー画像を含み、
   前記投写画像変更部は、前記手入力によって操作された前記操作ボタンの表示と同じ種類のアイコンを、前記画像として前記ユーザーの手に投写されるように前記投写画像を変更することを特徴とする投写システム。
6. 手入力が行なわれる操作面に対して投写画像を投写するステップと、
   前記操作面に対して前記手入力が行われている入力操作位置を検出するステップと、
   手入力を行なう際に設定されている操作モードに応じた画像が、前記入力操作位置に投写されるように前記投写画像を変更するステップと、
   を有することを特徴とする投写システムの制御方法。

Images