JP2015014882A - 情報処理装置、操作入力検出方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】レーザーポインタを用いて投影画像に対して直感的に操作入力を行うことが可能な情報処理装置、操作入力検出方法、プログラム、および記憶媒体を提供する。
【解決手段】投影画像に対するレーザーポインタ２によるレーザー光の照射位置を認識する認識部と、前記レーザーポインタに設けられた操作部２０ａにより検出されたユーザ操作の情報を取得する取得部と、前記認識部により認識された前記照射位置と、前記取得部により取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出する検出部と、を備える、情報処理装置。
【選択図】図１

Description

本開示は、情報処理装置、操作入力検出方法、プログラム、および記憶媒体に関する。

画像を大型スクリーンに投影して表示することができるプロジェクタは、会社の会議や発表会、学校の授業等、様々な場面で用いられている。また、プロジェクタで画像を拡大投影して説明を行う際には、投影画像に対してレーザー光を投射するレーザーポインタが使われることは公知である。近年、このようなレーザー光を投射する機能を有するレーザーポインタを、プロジェクタのＵＩ操作に活用する技術が、以下の通り提案されている。

例えば、下記特許文献１では、投影画像データと、投影画像面を撮像した撮像画像データの差分を算出することにより、レーザーポインタの動きを認識し、レーザーポインタの所定の動きに関連付けられたコマンドを実行する制御システムが開示されている。具体的には、かかる制御システムは、レーザーポインタにより照射されたポインタが右矢印を形成するように動いた場合、関連付けられた「次のスライドに進め」というディスプレイ・コマンドを実行するよう制御する。

また、下記特許文献２では、スクリーン設置場所の明るさが変わるような場合でも、プロジェクタによる投影画像上でのレーザーポインタの指示位置を正しく検出するための判定システムが提示されている。具体的には、かかる判定システムは、投影開始前にポインタ位置判定スレッシュ値を設定し、現フレームの撮影画像データと前フレームの撮影画像データとの差分の画像データを計算し、スレッシュ値を超える画素位置をレーザーポインタによる照射位置として判定する。

特開２００１−１２５７３８号公報 特開２００８−１５５６０号公報

しかしながら、上記特許文献１、２では、撮像画像に基づいてレーザーポインタによるレーザー光の照射位置の座標を認識するだけであった。

そこで、本開示では、レーザーポインタを用いて投影画像に対して直感的に操作入力を行うことが可能な、新規かつ改良された情報処理装置、操作入力検出方法、プログラム、および記憶媒体を提案する。

本開示によれば、投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得する取得部と、前記認識部により認識された前記照射位置と、前記取得部により取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出する検出部と、を備える、情報処理装置を提案する。

本開示によれば、投影画像に対するレーザーポインタによるレーザー光の照射位置を認識するステップと、前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得するステップと、前記認識された前記照射位置と、前記取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出するステップと、を含む、操作入力検出方法を提案する。

本開示によれば、コンピュータに、投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得する取得部と、前記認識部により認識された前記照射位置と、前記取得部により取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出する検出部と、として機能させるための、プログラムを提案する。

本開示によれば、コンピュータに、投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得する取得部と、前記認識部により認識された前記照射位置と、前記取得部により取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出する検出部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。

以上説明したように本開示によれば、レーザーポインタを用いて投影画像に対して直感的に操作入力を行うことが可能となる。

本開示の一実施形態による操作システムの概要を説明するための図である。 第１の実施形態による操作システムの全体構成を説明するための図である。 第１の実施形態によるレーザーポインタによるユーザ操作に応じたレーザー光および非可視光マーカーの第１の照射方法について説明するための図である。 第１の実施形態によるレーザーポインタによるユーザ操作に応じたレーザー光および非可視光マーカーの第２の照射方法について説明するための図である。 第１の実施形態によるレーザーポインタに設けられる複数の操作ボタンについて説明するための図である。 第１の実施形態によるレーザーポインタに設けられるタッチパネルについて説明するための図である。 第１の実施形態による操作システムの内部構成の一例を示すブロック図である。 第１の実施形態による動作処理を示すシーケンス図である。 第１の実施形態によるプロジェクタの動作処理を示すフローチャートである。 第１の実施形態の変形例によるレーザーポインタについて説明するための図である。 第１の実施形態の変形例による操作システムの内部構成の一例を示すブロック図である。 第２の実施形態による操作システムの全体構成を説明するための図である。 第２の実施形態による操作システムの内部構成の一例を示すブロック図である。 第３の実施形態による操作システムの全体構成を説明するための図である。 第３の実施形態による操作システムの内部構成の一例を示すブロック図である。 第４の実施形態による操作システムの全体構成を説明するための図である。 第３の実施形態による通信端末の内部構成の一例を示すブロック図である。 第５の実施形態による操作システムの全体構成を説明するための図である。 第５の実施形態による操作システムの内部構成の一例を示すブロック図である。 第６の実施形態による操作システムの全体構成を説明するための図である。 第６の実施形態による操作システムの内部構成の一例を示すブロック図である。 第７の実施形態による操作システムの全体構成を説明するための図である。 第７の実施形態による通信端末の内部構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による操作システムの概要
２．各実施形態
２−１．第１の実施形態
２−１−１．全体構成
２−１−２．内部構成
２−１−３．動作処理
２−１−４．変形例
２−２．第２の実施形態
２−３．第３の実施形態
２−４．第４の実施形態
２−５．第５の実施形態
２−６．第６の実施形態
２−７．第７の実施形態
３．まとめ

＜＜１．本開示の一実施形態による操作システムの概要＞＞
まず、本開示の一実施形態による操作システムの概要について図１を参照して説明する。図１に示すように、本開示の一実施形態による操作システムは、プロジェクタ１、レーザーポインタ２、および投影用のコンテンツをプロジェクタ１に出力するＰＣ（パーソナルコンピュータ）３を含む。投影用のコンテンツとは、図表、文章、その他種々のグラフィック画像や、地図、ウェブサイト等であって、以下投影用の画像データと称する。

プロジェクタ１は、ＰＣ３から受信した画像データを、ＰＣ３からの制御信号にしたがって投写スクリーンや壁（以下一例としてスクリーンＳを用いる）に投影する。

レーザーポインタ２は、ユーザ（講演者）による操作ボタン２０ａの押下操作に応じて、レーザー光（可視光）を照射する機能を有する。ユーザは、レーザーポインタ２を使用して、スクリーンＳに投影された画像上にレーザー光を照射して、照射位置Ｐを説明個所に合せて指示しながらプレゼンテーションを行うことができる。

ＰＣ３は、投影用の画像を電子的に生成し、画像データをプロジェクタ１に有線／無線により送信し、投影制御を行う。図１では、一例としてノート型ＰＣを示しているが、本実施形態によるＰＣ３はノート型ＰＣに限定されず、デスクトップ型ＰＣや、ネットワーク（クラウド）上のサーバであってもよい。

（背景）
ここで、上述したように、上記特許文献１、２では、投影画像を撮像した撮像画像に基づいてレーザーポインタによるレーザー光の照射位置の座標を認識するだけであった。したがって、例えば「次のスライドに進む」といったコマンドを入力するためには、レーザー光で投影画像上に右矢印の図形を描くといった煩雑なジェスチャーが必要であった。

また、別途リモートコントローラーを用いてプロジェクタ若しくはＰＣに対して制御信号を送信する方法も知られているが、この場合ユーザ（講演者）が投影画像や聴衆から目をそらしてリモートコントローラーを操作し、プロジェクタ若しくはＰＣに注意を向ける必要があった。

いずれの操作方法も、例えばマウスで表示画面上のマウスカーソルを移動させて画面上のボタンをクリックする操作のように、投影画像に対する直感的な操作入力をレーザーポインタで行う方法については何ら言及されていなかった。

そこで、上記事情を一着眼点にして本開示の各実施形態による操作システムを創作するに至った。本開示の各実施形態による操作システムは、レーザーポインタを用いて投影画像に対して直感的な操作入力を行うことができる。以下、本開示の各実施形態による操作システムについて具体的に説明する。

＜＜２．各実施形態＞＞
＜２−１．第１の実施形態＞
まず、第１の実施形態による操作システムの全体構成について、図２を参照して説明する。

（２−１−１．全体構成）
図２は、第１の実施形態による操作システムの全体構成を説明するための図である。図２に示すように、本実施形態による操作システムは、プロジェクタ１ａ（本開示による情報処理装置）、レーザーポインタ２ａ、およびＰＣ３ａを含む。

本実施形態によるプロジェクタ１ａは、ＰＣ３ａと有線／無線接続し、ＰＣ３ａから受信した画像を、スクリーンＳに投影する。また、プロジェクタ１ａは、投影画像上へのレーザーポインタ２ａによる照射を認識するための撮像部（非可視光撮像部１２および可視光撮像部１５）を有する。撮像部は、プロジェクタ１ａに内蔵されていてもよいし、外付けされてもよい。

また、撮像部は、プロジェクタ１ａに設けられることで、撮像対象である投影画像の範囲のキャリブレーションを自動的に行うことができる。具体的には、撮像部は、撮像範囲や撮像方向を、プロジェクタ１ａによる投影方向に連動して変更することができる。なお撮像部が投影画像の範囲よりも広範囲のエリアを撮像することで、投影画像の範囲外（画面の外側）に対するレーザー照射もＵＩ操作に活用され得る。

レーザーポインタ２ａは、レーザーポインタ２ａに設けられている操作ボタン２０ａの押下に応じて、人間の眼に見える可視光線のレーザー光Ｖおよび非可視光マーカーＭを照射する。レーザーポインタ２ａは、ユーザがレーザー光Ｖで投影画像上の任意の位置を指し示すために使用される。また、非可視光マーカーＭは、レーザー光Ｖの照射位置Ｐと同一あるいは近傍の位置に照射され、例えば赤外光線等の人間の眼には見えない光線で照射される。非可視光マーカーＭの照射は、レーザーポインタ２ａにおいて検出される投影画像に対するユーザ操作（操作入力）に応じて制御される。

具体的には、図３Ａに示すように、レーザーポインタ２ａは、操作ボタン２０ａが半押しされた場合はレーザー光Ｖのみを照射し、操作ボタン２０ａが全押しされた（押し切られた）場合はレーザー光Ｖと非可視光マーカーＭを照射する。非可視光マーカーＭは、図３Ａに示すような２次元バーコードや、１次元バーコードのように、情報（ユーザＩＤ等）が埋め込まれたものであってもよいし、レーザー光と同形状の点だけや、任意の図形（十字型やハート型等）であってもよい。また、非可視光マーカーＭは、静止画像に限定されず、色や形が変化したり点滅する動画像であってもよい。画像が変化することで、位置認識部において、より認識され易くなる。

また、図３Ｂに示すように、レーザーポインタ２ａは、操作ボタン２０ａが半押しされた場合（１段階目の操作）はレーザー光Ｖと非可視光マーカーＭ１を照射し、操作ボタン２０ａが全押しされた場合（２段階目の操作）はレーザー光Ｖと非可視光マーカーＭ２を照射してもよい。半押し状態で照射される非可視光マーカーＭ１には、例えばユーザＩＤが埋め込まれ、全押し状態で照射された非可視光マーカーＭ２には、ユーザＩＤとユーザ操作情報（ボタンが全押しされたこと）が埋め込まれている。

このように、本実施形態によるレーザーポインタ２ａは、操作ボタン２０ａにより検出されたユーザ操作に応じて非可視光マーカーＭの照射を制御する。操作ボタン２０ａにより検出されるユーザ操作は、図３Ａおよび図３Ｂに示す「半押し」、「全押し」に限定されず、ボタンを押す回数（連続で２度押し等）であってもよい。

また、レーザーポインタ２ａに設けられる操作部は、１つの操作ボタン２０ａで複数段階のユーザ操作が検出できる構成に限定されず、図４Ａに示すように、複数の操作ボタン２０ｂ、２０ｂ’で複数段階のユーザ操作を検出する構成であってもよい。図４Ａに示すように、本実施形態によるレーザーポインタ２ａ’は、筐体の上面および底面にそれぞれ操作ボタン２０ｂ、２０ｂ’が設けられる。そして、レーザーポインタ２ａ’は、操作ボタン２０ｂが押下された場合はレーザー光Ｖのみを照射し、さらに操作ボタン２０ｂ’も押下された場合はレーザー光Ｖと非可視光マーカーＭを照射する。このように、レーザーポインタ２ａ’は、ボタンが１つ押されている段階（１段階目）と２つ押されている段階（２段階目）とで２段階のユーザ操作を検出し、検出したユーザ操作に応じて非可視光マーカーＭの照射を制御する。

また、レーザーポインタ２ａの上面に左右２つの操作ボタンを並べて設け、左クリックおよび右クリックといったマウスの操作と類似するユーザ操作を可能にしてもよい。レーザーポインタ２ａは、左クリックか右クリックかに応じて異なる非可視光マーカーＭを照射するよう制御する。また、この場合、レーザー光のＯＮ／ＯＦＦスイッチは別途レーザーポインタ２ａに設けられてもよい。

さらに、レーザーポインタ２ａに設けられる操作部は、上述した操作ボタン２０ａ、２０ｂ、２０ｂ’のような物理的な構造による実現に限定されず、指の接触／近接を検知するセンサにより実現されてもよい。例えば、図４Ｂに示すように、レーザーポインタ２ａ’’に設けられたタッチパネル２０ｃによりユーザ操作を検出する。レーザーポインタ２ａ’’は、タッチパネル２０ｃにより指の接触／近接や、接触の回数（タップ回数）等に応じて異なる非可視光マーカーＭを照射するよう制御する。また、この場合、レーザーポインタ２ａ’’がタッチパネル２０ｃに指が継続的に接触／近接している場合にレーザー光Ｖを照射してもよいし、レーザー光Ｖ照射のＯＮ／ＯＦＦスイッチが別途レーザーポインタ２ａ’’に設けられてもよい。

なおレーザーポインタ２ａの形状は図２〜図４Ｂに示した形状に限定されず、例えば先端に照射部が設けられた指し棒の形状等であってもよい。また、レーザーポインタ２ａに設けられるボタンの数は、図３Ａや図４Ａに示す例に限定されず、例えば３つ以上であってもよい。複数のボタンを設けることで、ユーザが任意に可視光レーザーの色を選ぶことも可能である（例えば、赤レーザー発光用のボタン、青レーザー発光用のボタン、緑レーザー発光用のボタン等）。

以上説明したように、本実施形態によるレーザーポインタ２ａは、投影画像に対して任意の場所を指し示すためのレーザー光Ｖ（可視光）と、レーザーポインタ２ａで検出されたボタン押下やタップ操作といったユーザ操作に対応する非可視光マーカーＭを照射する。

レーザーポインタ２ａにより照射されたレーザー光Ｖ（可視光）および非可視光マーカーＭは、プロジェクタ１ａに設けられた撮像部（非可視光撮像部１２および可視光撮像部１５）により撮像され、照射位置座標やユーザ操作情報等がプロジェクタ１ａに認識される。プロジェクタ１ａは、認識したレーザー光Ｖの照射位置Ｐと、非可視光マーカーＭに基づくユーザ操作情報とを合せて、操作入力情報としてＰＣ３ａに送信する。

ＰＣ３ａは、プロジェクタ１ａから受信した操作入力情報に応じた制御を実行し、操作入力情報が反映された投影用の画像データをプロジェクタ１ａに送信する。

このように、本実施形態による操作システムによれば、投影画像上の任意の位置にレーザーポインタ２ａから照射されるレーザー光Ｖの照射位置Ｐ（マウスカーソルに相当）を合わせて操作ボタン２０ａを押下する等の直感的な操作入力（マウスクリックに相当）を行うことができる。続いて、本実施形態による操作システムに含まれる各装置の内部構成について図５を参照して具体的に説明する。

（２−１−２．内部構成）
図５は、第１の実施形態による操作システムの内部構成の一例を示すブロック図である。

（プロジェクタ１ａ）
プロジェクタ１ａは、図５に示すように、投影画像受信部１０、画像投影部１１、非可視光撮像部１２、ユーザ操作情報取得部１３ａ、可視光撮像部１５、位置認識部１６ａ、および操作入力情報出力部１７を有する。

投影画像受信部１０は、ＰＣ３ａから有線／無線により投影用の画像データを受信し、受信した画像データを画像投影部１１に出力する。

画像投影部１１は、画像投影部１１から送られた画像データを投写スクリーンや壁に投写（投影）する。

非可視光（不可視光）撮像部１２は、投影された画像上にレーザーポインタ２ａにより照射された非可視光マーカーＭを撮像する機能を有する。例えば非可視光撮像部１２は、赤外線カメラや紫外線カメラにより実現される。非可視光撮像部１２は、撮像した非可視光画像をユーザ操作情報取得部１３ａに出力する。

ユーザ操作情報取得部１３ａは、非可視光マーカーＭを撮像した非可視光撮像画像に基づいて、レーザーポインタ２ａに設けられた操作部２０により検出されたユーザ操作の情報を取得する取得部として機能する。例えば、ユーザ操作情報取得部１３ａは、非可視光撮像画像を解析して、非可視光マーカーＭの有無、非可視光マーカーＭの形や、非可視光マーカーＭに埋め込まれた情報等を認識し、対応付けられたユーザ操作情報を取得する。対応付けられたユーザ操作情報とは、例えば操作ボタン２０ａの全押し、連続２回押し、右クリック／左クリック等である。

ユーザ操作情報取得部１３ａは、取得したユーザ操作情報を操作入力情報出力部１７に出力する。

可視光撮像部１５は、画像投影部１１により投影した画像上にレーザーポインタ２ａにより照射されたレーザー光Ｖのポインタ（照射位置Ｐ）を撮像する機能を有する。可視光撮像部１５は、撮像した可視光画像を位置認識部１６ａに出力する。

位置認識部１６ａは、投影画像を撮像した可視光撮像画像に基づいて、投影画像に対するレーザーポインタ２ａによるレーザー光Ｖの照射位置Ｐを認識する認識部として機能する。例えば、位置認識部１６ａは、画像投影部１１により投影されている画像と、投影画像を撮像した可視光撮像画像の差分を検出することによって、照射位置Ｐ（例えば位置座標）を検出する。また、位置認識部１６ａは、現在投影されている画像の前のフレームの可視光撮像画像と、現在投影されている画像の可視光撮像画像との差分も分析に加えることで精度を高めることができる。なお、上記「現在投影されている画像の前のフレーム」とは、１フレーム前に限定されず、２フレーム、３フレーム等の数フレーム前であってもよい。複数フレームと比較してさらに精度を高めることも可能である。

位置認識部１６ａは、認識した照射位置Ｐを示す情報（例えば位置座標）を操作入力情報出力部１７に出力する。

操作入力情報出力部１７は、ユーザ操作情報取得部１３ａから出力されたユーザ操作情報および位置認識部１６ａから出力された照射位置Ｐを示す情報に基づいて、投影画像に対する操作入力情報を検出する検出部として機能する。具体的には、操作入力情報出力部１７は、投影画像上の照射位置Ｐで示される位置座標に対して、所定のユーザ操作情報が入力されたことを、操作入力情報として検出する。また、操作入力情報出力部１７は、検出した操作入力情報をＰＣ３ａに有線／無線により送信する送信部としても機能する。

以上、プロジェクタ１ａの内部構成について具体的に説明した。なお、位置認識部１６ａによる照射位置Ｐの認識や、ユーザ操作情報取得部１３ａによる非可視光マーカーＭの認識の精度を高めるために、プロジェクタ１ａの画像投影部１１は、投影色域を狭くしてもよい。

具体的には、例えば画像投影部１１は、非可視光マーカーＭの認識の精度を高めるために、投影光から非可視光をカットする。また、画像投影部１１は、照射位置Ｐの認識精度を高めるために、投影画像を適切に暗くしてもよい。投影画像を暗くするタイミングは、位置認識部１６ａからレーザー光Ｖが照射されている場合（例えば照射位置Ｐが認識された場合）をトリガとしてもよい。また、画像投影部１１による投影画像をスキャン照射にすることで、照射位置Ｐを認識しやすくすることも可能である。

（レーザーポインタ２ａ）
レーザーポインタ２ａは、図５に示すように、操作部２０、可視光レーザー照射部２１、および非可視光マーカー照射部２２を有する。

操作部２０は、ユーザ操作を検出する機能を有し、例えば図３Ａに示す操作ボタン２０ａ、図４Ａに示す操作ボタン２０ｂ、２０ｂ’、図４Ｂに示すタッチパネル２０ｃ、またはレーザー光ＯＮ／ＯＦＦスイッチ（不図示）により実現される。操作部２０は、検出したユーザ操作を、可視光レーザー照射部２１または非可視光マーカー照射部２２に出力する。

可視光レーザー照射部２１は、ユーザ操作に応じて可視光レーザー（レーザー光とも称す）を照射する機能を有する。例えば、可視光レーザー照射部２１は、操作ボタン２０ａが半押しされた場合、操作ボタン２０ｂが押下された場合、またはレーザー光ＯＮ／ＯＦＦスイッチが「ＯＮ」にされた場合等に、可視光レーザーを照射する。

非可視光マーカー照射部２２は、ユーザ操作に応じて非可視光マーカー（非可視光画像とも称す）を照射する機能を有する。例えば、非可視光マーカー照射部２２は、操作ボタン２０ａが全押しされた場合、操作ボタン２０ｂ、２０ｂ’が同時に押下された場合、またはタッチパネル２０ｃがタップされた場合等に、非可視光マーカーを照射する。非可視光マーカーは、レーザー光と同形状の点だけであってもよいし、任意の図形（十字型やハート型等）であってもよい。

また、非可視光マーカー照射部２２は、可視光レーザー照射部２１により可視光レーザーが照射されている場合に、レーザー光の照射位置Ｐと同じ位置または近傍に、非可視光マーカーを照射してもよい。この場合、非可視光マーカー照射部２２は、２次元バーコードや１次元バーコードのように情報（ユーザＩＤ等）が埋め込まれたものを非可視光マーカーとして照射してもよい。そして、非可視光マーカー照射部２２は、操作ボタン２０ａが全押し等、複数段階のユーザ操作が検出された場合、ユーザ操作に応じて照射する非可視光マーカーを変化させる。

（ＰＣ３ａ）
ＰＣ３ａは、図５に示すように、制御部３０、画像出力部３１、および操作入力部３２ａを有する。

制御部３０は、ＰＣ３ａの各構成を制御する機能を有する。具体的には、例えば制御部３０は、操作入力部３２ａにより検出した操作入力情報を、画像出力部３１によりプロジェクタ１ａに出力（送信）する投影用の画像データに反映させることができる。

操作入力部３２ａは、ＰＣ３ａが有するキーボードやマウス等からユーザ操作の入力（操作入力情報）を受け付ける機能を有する。また、操作入力部３２ａは、プロジェクタ１ａから操作入力情報を受信する受信部としても機能する。操作入力部３２ａは、受け付けた操作入力情報を制御部３０に出力する。

画像出力部３１は、投影用の画像データをプロジェクタ１ａに有線／無線により送信する機能を有する。投影用の画像データの送信は、継続的に行われてもよい。また、プロジェクタ１ａに送信される投影用の画像データは、制御部３０により、操作入力部３２ａが受け付けた操作入力情報が反映される。

以上説明した構成により、まず、レーザーポインタ２ａを用いてユーザが投影画像に対して行ったユーザ操作（操作ボタン２０ａの全押し操作やタッチパネル２０ｃのタップ操作等）が、非可視光マーカーを介してプロジェクタ１ａに認識される。続いて、プロジェクタ１ａは、可視光レーザーによる照射位置Ｐと、非可視光マーカーに基づいて認識したユーザ操作とを含む操作入力情報をＰＣ３ａに送信する。ＰＣ３ａは、操作入力情報に従った処理を行い、当該処理を反映した投影用画像をプロジェクタ１ａに送信する。そして、プロジェクタ１ａは、操作入力情報に従った処理が反映された投影用画像を投影する。

これにより、レーザーポインタ２ａがＰＣ３ａと通信する必要なく、ユーザはレーザーポインタ２ａを用いて投影画像に対して直感的に操作入力を行うことができる。なお、本実施形態によるプロジェクタ１ａの構成は、図５に示す例に限定されない。例えば、プロジェクタ１ａは、可視光撮像部１５を有していなくともよい。この場合、位置認識部１６ａは、非可視光撮像部１２により撮像された非可視光マーカーの座標位置を、照射位置Ｐとして認識する。

または、プロジェクタ１ａは、非可視光撮像部１２を有していなくともよい。この場合、レーザーポインタ２ａの可視光レーザー照射部２１は、ユーザ操作に応じて変化する可視光マーカーを照射する。可視光マーカーは、２次元バーコードや、１次元バーコードのように、情報（ユーザＩＤ等）が埋め込まれたものであってもよいし、レーザー光と同形状の点だけや、任意の図形（十字型やハート型等）であってもよい。また、可視光マーカーは、静止画像に限定されず、色や形が変化したり点滅する動画像であってもよい。画像が変化することで、位置認識部において、より認識され易くなる。そして、プロジェクタ１ａのユーザ操作情報取得部１３ａは、可視光撮像部１５により撮像された可視光マーカーの有無、色、形等を解析して、ユーザ操作情報を取得する。このように、ユーザ操作に応じて人間の眼に見える可視光マーカーが照射されることで、ユーザに対する操作入力のフィードバックを実現することができる。

（２−１−３．動作処理）
次に、このような本実施形態による操作システムの動作処理について図６を参照して説明する。図６は、第１の実施形態による動作処理を示すシーケンス図である。図６に示すように、まず、ステップＳ１０６において、ＰＣ３ａとプロジェクタ１ａが有線／無線により接続する。接続方法については本明細書では特に限定しない。

次いで、ステップＳ１０９において、ＰＣ３ａの画像出力部３１は、投影用の画像データをプロジェクタ１ａに送信する。

次に、ステップＳ１１２において、プロジェクタ１ａの画像投影部１１は、投影画像受信部１０によりプロジェクタ１ａから受信した投影画像をスクリーンＳに投影する。

次いで、ステップＳ１１５において、プロジェクタ１ａは、可視光撮像部１５による投影画像の範囲を対象とする可視光撮像と、非可視光撮像部１２による投影画像の範囲を対象とする非可視光撮像を開始する。

一方、ステップＳ１１８およびＳ１２１において、レーザーポインタ２ａは、ユーザ操作に応じて可視光レーザーを照射する。具体的には、例えばレーザーポインタ２ａは、操作ボタン２０ａが半押しされた場合、可視光レーザー照射部２１によりレーザー光を照射する。これにより、ユーザ（講演者）は、レーザー光で投影画像中の任意の場所を指示しながら聴衆に説明を行うことができる。

次に、ステップＳ１２４において、プロジェクタ１ａの位置認識部１６ａは、可視光撮像部１５により撮像された可視光撮像画像に基づいて、レーザー光の照射位置Ｐ（座標位置）を認識する。

次いで、ステップＳ１２７およびＳ１３０において、レーザーポインタ２ａは、ユーザ操作に応じて非可視光マーカーを照射する。具体的には、例えばレーザーポインタ２ａは、操作ボタン２０ａが全押しされた場合、非可視光マーカー照射部２２により非可視光マーカーをレーザー光と同じ位置または近傍に照射する。これにより、ユーザ（講演者）は、レーザー光で投影画像中の任意の場所を指示しながら、指示している場所に対するクリック操作を直感的に行うことができる。

続いて、ステップＳ１３３において、プロジェクタ１ａのユーザ操作情報取得部１３ａは、非可視光撮像部１２により撮像された非可視光撮像画像に基づいて、非可視光マーカーの有無や、形等を解析し、ユーザ操作情報を取得する。例えば、ユーザ操作情報取得部１３ａは、投影画像上に非可視光マーカーが照射されている場合や非可視光マーカーが所定の形である場合、「全押し操作」をユーザ操作情報として取得する。また、ユーザ操作情報取得部１３ａは、投影画像上に照射された非可視光マーカーに埋め込まれた情報から、「全押し操作」をユーザ操作情報として取得することもできる。

次に、ステップＳ１３６において、プロジェクタ１ａの操作入力情報出力部１７は、位置認識部１６ａにより認識された照射位置Ｐと、ユーザ操作情報取得部１３ａにより取得されたユーザ操作情報に基づいて、投影画像に対する操作入力情報を検出する。

次いで、ステップＳ１３９において、プロジェクタ１ａの操作入力情報出力部１７は、検出した操作入力情報をＰＣ３ａに送信する。

続いて、ステップＳ１４２において、ＰＣ３ａの操作入力部３２ａは、操作入力情報をプロジェクタ１ａから受信する。

次に、ステップＳ１４５において、ＰＣ３ａの制御部３０は、受信した操作入力情報を投影用の画像データに反映させる。具体的には、例えば操作入力情報が「照射位置Ｐ（座標位置）に対する『全押し操作』」を示す情報である場合、制御部３０は、現在投影されている画像の、照射位置Ｐに対応する位置に対してクリック操作が入力されたとして処理を実行する。

そして、ステップＳ１４８において、ＰＣ３ａの画像出力部３１は、反映後の（操作入力情報に従った処理後の）投影用画像を、プロジェクタ１ａに送信する。

以降、上記Ｓ１１２〜Ｓ１４８が繰り返される。

これにより、ユーザ（講演者）は、レーザー光で投影画像中の任意の場所を指示しながら、指示している場所に対する操作入力を、レーザーポインタ２ａを用いて直感的に行うことができる。例えば、ユーザ（講演者）は、投影画像に対するクリック操作、ドラッグ操作、ダブルクリック操作といったマウスを用いた操作と類似する操作を直感的に行うことができる。

なお上述したように、本実施形態によるプロジェクタ１ａの位置認識部１６ａは、非可視光マーカーの座標位置を、レーザーポインタ２ａにより指示されている位置（照射位置Ｐ）として認識してもよい。この場合、上記Ｓ１１５において、プロジェクタ１ａは、非可視光撮像部１２による投影画像の範囲を対象とする非可視光撮像のみを開始する。そして、上記Ｓ１２４において、位置認識部１６ａは、非可視光撮像部１２により撮像された可視光撮像画像に基づいて照射位置Ｐを認識する。

以上図６を参照して説明した動作処理は、本実施形態による操作システムに含まれるプロジェクタ１ａ、レーザーポインタ２ａ、およびＰＣ３ａによる全体の処理である。ここで、本実施形態によるプロジェクタ１ａ（本開示による情報処理装置）に特化した動作処理を、図７を参照して具体的に説明する。

図７は、第１の実施形態によるプロジェクタ１ａの動作処理を示すフローチャートである。図７に示すように、まず、ステップＳ２０３において、プロジェクタ１ａは、ＰＣ３ａと有線／無線接続する。

次いで、ステップＳ２０６において、プロジェクタ１ａは、正常に接続されているか否かを判断し、正常に接続されていない場合（Ｓ２０６／Ｎｏ）、ステップＳ２０９において、ＰＣ３ａに対して正しい接続を促す。

一方、正常に接続された場合（Ｓ２０６／Ｙｅｓ）、プロジェクタ１ａは、画像投影部１１による画像投影（Ｓ２１２）、可視光撮像部１５による可視光撮像（Ｓ２１５）、および非可視光撮像部１２による非可視光撮像（Ｓ２２７）を行う。

具体的には、ステップＳ２１２において、プロジェクタ１ａは、画像投影部１１により、投影画像受信部１０がＰＣ３ａから受信した画像をスクリーンＳに投影する。

また、ステップＳ２１５において、プロジェクタ１ａは、可視光撮像部１５により、スクリーンＳに投影された投影画像を可視光撮像する。

次に、ステップＳ２１８において、プロジェクタ１ａの位置認識部１６ａは、可視光撮像画像を解析する。

次いで、ステップＳ２２１において、位置認識部１６ａは、可視光撮像画像から可視光レーザーによる点を認識できるか否かを判断する。

次に、可視光レーザーによる点を認識できた場合（Ｓ２２１／Ｙｅｓ）、ステップＳ２２４において、位置認識部１６ａは、可視光レーザーによる点の位置座標（照射位置Ｐ）を認識する。

一方、ステップＳ２２７において、プロジェクタ１ａは、非可視光撮像部１２により、スクリーンＳに投影された投影画像を非可視光撮像する。

次に、ステップＳ２３０において、プロジェクタ１ａのユーザ操作情報取得部１３ａは、非可視光撮像画像を解析する。

次いで、ステップＳ２３３において、ユーザ操作情報取得部１３ａは、非可視光撮像画像から非可視光マーカーを認識できるか否かを判断する。

次に、非可視光マーカーを認識できた場合（Ｓ２３３／Ｙｅｓ）、ステップＳ２３６において、ユーザ操作情報取得部１３ａは、非可視光マーカーの有無、形等から、ユーザ操作の情報を取得する。

続いて、ステップＳ２３９において、操作入力情報出力部１７は、位置認識部１６ａにより認識された照射位置Ｐと、ユーザ操作情報取得部１３ａにより取得されたユーザ操作情報に基づいて、投影画像に対する操作入力情報を検出する。

次いで、ステップＳ２４２において、操作入力情報出力部１７は、検出した操作入力情報をＰＣ３ａに送信する。ＰＣ３ａに送信した操作入力情報は、ＰＣ３ａにおいて投影用画像に反映され、反映された投影用画像がＰＣ３ａから送信され、上記Ｓ２１２で画像投影部１１により投影される。

そして、ステップＳ２４５において、終了指示（電源ＯＦＦの指示）があるまで、上記Ｓ２０６〜Ｓ２４２に示す処理が繰り返される。

最後に、終了指示があった場合（Ｓ２４５／Ｙｅｓ）、ステップＳ２４８において、プロジェクタ１ａは、プロジェクタ１ａの電源をＯＦＦする。

（２−１−４．変形例）
以上、第１の実施形態による操作システムについて具体的に説明した。上述した実施形態によるプロジェクタ１ａのユーザ操作情報取得部１３ａは、レーザーポインタ２ａにより検出されたユーザ操作情報（操作ボタン２０ａの全押し操作など）を、非可視光マーカーに基づいて取得しているが、本実施形態によるユーザ操作情報の取得方法はこれに限定されない。例えば、プロジェクタ１ａは、レーザーポインタ２ａからユーザ操作情報を無線により受信してもよい。以下、ユーザ操作情報を無線受信する場合について、第１の実施形態の変形例として図８〜図９を参照して説明する。本変形例による操作システムは、プロジェクタ１ａ’（本開示による情報処理装置）、レーザーポインタ２ａ’、およびＰＣ３ａを含む。ＰＣ３ａの内部構成例は、図５を参照して説明した同ブロックと同様であるので、ここでの説明は省略する。

図８は、第１の実施形態の変形例によるレーザーポインタ２ａ’について説明するための図である。図８左に示すように、レーザーポインタ２ａ’は、操作ボタン２０ａが半押しされている間は可視光線によるレーザー光Ｖを照射する。

そして、図８右に示すように、レーザーポインタ２ａ’は、操作ボタン２０ａが全押しされると（押し切られると）、レーザー光Ｖの照射を継続しながら、全押し操作されたことを示すユーザ操作情報を無線によりプロジェクタ１ａ’に送信する。このように、本変形例によるレーザーポインタ２ａ’は、図３Ａや図３Ｂに示す例と異なり、ユーザによる操作ボタン２０ａの全押し操作に応じて、ユーザ操作情報をプロジェクタ１ａ’に無線送信する。

続いて、このような本変形例による操作システムを形成する各装置の内部構成例について図９を参照して具体的に説明する。

図９は、第１の実施形態の変形例による操作システムの内部構成の一例を示すブロック図である。図９に示すように、プロジェクタ１ａ’は、投影画像受信部１０、画像投影部１１、ユーザ操作情報取得部１３ａ’、可視光撮像部１５、位置認識部１６ａ、および操作入力情報出力部１７を有する。投影画像受信部１０、画像投影部１１、可視光撮像部１５、位置認識部１６ａ、および操作入力情報出力部１７は、図５を参照して説明した同ブロックと同様であるので、ここでの説明は省略する。

ユーザ操作情報取得部１３ａ’は、レーザーポインタ２ａ’からユーザ操作情報を無線により受信する機能を有する。プロジェクタ１ａ’とレーザーポインタ２ａ’間の無線通信の方式は特に限定しないが、例えばＷｉ−Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）等によりデータの送受信が行われる。

また、本変形例によるレーザーポインタ２ａ’は、図９に示すように、操作部２０、可視光レーザー照射部２１、および送信部２３を有する。操作部２０および可視光レーザー照射部２１は、図５を参照して説明した同ブロックと同様であるので、ここでの説明は省略する。

送信部２３は、ペアリングされた（接続設定された）プロジェクタ１ａ’と無線通信を行う機能を有する。具体的には、送信部２３は、操作部２０によりユーザ操作が検出された場合、ユーザ操作（例えば操作ボタン２０ａの全押し操作）を示す情報（ユーザ操作情報）をプロジェクタ１ａ’に送信する。

以上説明した構成により、まず、レーザーポインタ２ａ’を用いてユーザが投影画像に対して行ったユーザ操作（操作ボタン２０ａの全押し操作等）が、無線通信を介してプロジェクタ１ａ’に送信される。続いて、プロジェクタ１ａ’は、可視光レーザーによる照射位置Ｐと、レーザーポインタ２ａ’から受信したユーザ操作とを含む操作入力情報をＰＣ３ａに送信する。ＰＣ３ａは、操作入力情報に従った処理を行い、当該処理を反映した投影用画像をプロジェクタ１ａ’に送信する。そして、プロジェクタ１ａ’は、操作入力情報に従った処理が反映された投影用画像を投影する。

これにより、レーザーポインタ２ａ’がＰＣ３ａ’と通信する必要なく、ユーザはレーザーポインタ２ａ’を用いて投影画像に対して直感的に操作入力を行うことができる。

＜２−２．第２の実施形態＞
次に、本開示による第２の実施形態について図１０〜図１１を参照して具体的に説明する。本実施形態では、上記第１の実施形態によるプロジェクタ１ａが有する非可視光撮像部１２、ユーザ操作情報取得部１３ａ、可視光撮像部１５、位置認識部１６ａ、および操作入力情報出力部１７が、プロジェクタ１ａと別体の装置（便宜上、ポインタ認識用カメラと称する）に設けられている。これにより、既存のプロジェクタシステムに本実施形態によるポインタ認識用カメラ（本開示による情報処理装置）を新たに導入して、レーザーポインタによる直感的な操作入力が可能な操作システムを構築することができる。

（２−２−１．全体構成）
まず、第２の実施形態による操作システムの全体構成について、図１０を参照して説明する。図１０は、第２の実施形態による操作システムの全体構成を説明するための図である。図１０に示すように、本実施形態による操作システムは、プロジェクタ１ｂ、ポインタ認識用カメラ４ａ、レーザーポインタ２ａ、およびＰＣ３ａを含む。レーザーポインタ２ａおよびＰＣ３ａの機能は、図２を参照して説明した第１の実施形態と同様であるので、ここでの説明は省略する。

プロジェクタ１ｂは、ＰＣ３ａと有線／無線により接続し、投影用の画像データをＰＣ３ａから受信する。そして、プロジェクタ１ｂは、受信した画像データに基づいて、スクリーンＳに画像を投影する。

ポインタ認識用カメラ４ａは、投影画像を非可視光撮像し、非可視光マーカーＭを認識し、レーザーポインタ２ａによる指示位置（照射位置Ｐ）や操作入力情報を検出する。そして、ポインタ認識用カメラ４ａは、検出した操作入力情報をＰＣ３ａに送信する。

ＰＣ３ａは、ポインタ認識用カメラ４ａから受信した操作入力情報に応じた制御を実行し、操作入力情報が反映された投影用の画像データをプロジェクタ１ｂに送信する。

このように、本実施形態による操作システムによれば、ユーザは、投影画像上の任意の位置にレーザーポインタ２ａから照射されるレーザー光Ｖの照射位置Ｐを合わせて操作ボタン２０ａを押下する等の直感的な操作入力を行うことができる。

（２−２−２．内部構成）
続いて、本実施形態による操作システムに含まれる各装置の内部構成について図１１を参照して具体的に説明する。図１１は、第２の実施形態による操作システムの内部構成の一例を示すブロック図である。

（プロジェクタ１ｂ）
プロジェクタ１ｂは、図１１に示すように、投影画像受信部１０および画像投影部１１を有する。投影画像受信部１０は、第１の実施形態と同様に、ＰＣ３ａから投影用の画像データを有線／無線により受信し、画像投影部１１に出力する。画像投影部１１は、投影画像受信部１０から出力された画像データに基づいて、スクリーンＳに対して画像の投影を行う。

（ポインタ認識用カメラ４ａ）
ポインタ認識用カメラ４ａは、図１１に示すように、非可視光撮像部４２、ユーザ操作情報取得部４３、位置認識部４６、および操作入力情報出力部４７を有する。

非可視光撮像部４２は、第１の実施形態による非可視光撮像部１２と同様に、投影された画像上にレーザーポインタ２ａにより照射された非可視光マーカーＭを撮像する機能を有する。非可視光撮像部４２による撮像範囲は、スクリーンＳに投影された投影画像を含む範囲に調整される。

位置認識部４６は、非可視光撮像部４２により撮像された非可視光撮像画像に基づいて、非可視光マーカーＭの座標位置を認識する。非可視光マーカーＭは、レーザー光による照射位置Ｐと同じ位置または近傍に照射されるので、位置認識部４６は、非可視光マーカーＭの座標位置を、レーザー光による照射位置Ｐとして認識できる。

ユーザ操作情報取得部４３は、第１の実施形態によるユーザ操作情報取得部１３ａと同様に、非可視光マーカーＭを撮像した非可視光撮像画像に基づいて、レーザーポインタ２ａで検出されたユーザ操作の情報を取得する取得部として機能する。

操作入力情報出力部４７は、第１の実施形態による操作入力情報出力部１７と同様に、ユーザ操作情報取得部４３から出力されたユーザ操作情報と位置認識部４６から出力された照射位置Ｐを示す情報とに基づいて、投影画像に対する操作入力情報を検出する機能を有する。また、操作入力情報出力部４７は、検出した操作入力情報を、ＰＣ３ａに有線／無線により送信する機能を有する。

（レーザーポインタ２ａ）
レーザーポインタ２ａの内部構成は、図５を参照して説明した第１の実施形態と同様であるので、ここでの説明は省略する。

（ＰＣ３ａ）
ＰＣ３ａの内部構成は、図５を参照して説明した第１の実施形態と同様である。特に本実施形態による操作入力部３２ａは、ポインタ認識用カメラ４ａから操作入力情報を受信する機能を有する。操作入力部３２ａは、ポインタ認識用カメラ４ａから受信した操作入力情報を制御部３０に出力する。そして、制御部３０は、操作入力情報に従った処理を実行し、処理が反映された投影用の画像データを、画像出力部３１からプロジェクタ１ｂに送信する。

以上説明したように、第２の実施形態による操作システムは、プロジェクタ１ｂと別体のポインタ認識用カメラ４ａ（本開示による情報処理装置）を含む構成で、レーザーポインタ２ａを用いた投影画像に対する直感的なユーザ操作を可能とする。

＜２−３．第３の実施形態＞
次に、本開示による第３の実施形態について図１２〜図１３を参照して具体的に説明する。本実施形態では、上記第２の実施形態によるポインタ認識用カメラ４ａが有するユーザ操作情報取得部４３、位置認識部４６、および操作入力情報出力部４７の機能を含むポインタ認識用エンジンが、ＰＣ３に内蔵されている。これにより、既存のプロジェクタとカメラを有するプロジェクタシステムに、本実施形態によるポインタ認識用エンジンが内蔵されたＰＣ（以下、ポインタ認識ＰＣと称す）を新たに導入して、レーザーポインタによる直感的な操作入力が可能な操作システムを構築することができる。ポインタ認識用エンジンの実装は、ハードウェアであってもよいし、ソフトウェアであってもよい。例えば汎用ＰＣにポインタ認識用アプリケーションを実装してポインタ認識ＰＣを実現することが可能である。

（２−３−１．全体構成）
まず、第３の実施形態による操作システムの全体構成について、図１２を参照して説明する。図１２は、第３の実施形態による操作システムの全体構成を説明するための図である。図１２に示すように、本実施形態による操作システムは、プロジェクタ１ｂ、カメラ４ｂ、レーザーポインタ２ａ、およびポインタ認識ＰＣ３ｂ（本開示による情報処理装置）を含む。プロジェクタ１ｂおよびレーザーポインタ２ａの機能は、図１１を参照して説明した第２の実施形態と同様であるので、ここでの説明は省略する。

カメラ４ｂは、ポインタ認識ＰＣ３ｂと有線／無線により接続し、投影画像を非可視光撮像した非可視光撮像画像をＰＣ３ｂに送信する。

ポインタ認識ＰＣ３ｂは、非可視光撮像画像に基づいて非可視光マーカーＭを認識し、レーザーポインタ２ａによる指示位置（照射位置Ｐ）や操作入力情報を検出する。そして、ＰＣ３ａは、検出した操作入力情報に応じた制御を実行し、操作入力情報が反映された投影用の画像データをプロジェクタ１ｂに送信する。

このように、本実施形態による操作システムによれば、ユーザは、投影画像上の任意の位置にレーザーポインタ２ａから照射されるレーザー光Ｖの照射位置Ｐを合わせて操作ボタン２０ａを押下する等の直感的な操作入力を行うことができる。

（２−３−２．内部構成）
続いて、本実施形態による操作システムに含まれる各装置の内部構成について図１３を参照して具体的に説明する。図１３は、第３の実施形態による操作システムの内部構成の一例を示すブロック図である。なおプロジェクタ１ｂおよびレーザーポインタ２ａの内部構成は、図１１を参照して説明した第２の実施形態と同様であるので、ここでの説明は省略する。

（カメラ４ｂ）
カメラ４ｂは、図１３に示すように、非可視光撮像部４２および撮像画像送信部４９を有する。非可視光撮像部４２は、図１１に示す第２の実施形態による同ブロックと同様に、投影された画像上にレーザーポインタ２ａにより照射された非可視光マーカーＭを撮像する機能を有する。撮像画像送信部４９は、非可視光撮像部４２により撮像された非可視光撮像画像を有線／無線によりポインタ認識ＰＣ３ｂに送信する。

（ポインタ認識ＰＣ３ｂ）
ポインタ認識ＰＣ３ｂは、図１３に示すように、制御部３０、画像出力部３１、操作入力部３２ｂ、ユーザ操作情報取得部３３、撮像画像受信部３４、および位置認識部３６を有する。

撮像画像受信部３４は、カメラ４ｂから非可視光撮像画像を有線／無線により受信し、受信した非可視光撮像画像を位置認識部３６およびユーザ操作情報取得部３３に出力する。

位置認識部３６は、図１１に示す第２の実施形態による位置認識部４６と同様に、非可視光撮像画像に基づいて、非可視光マーカーＭの座標位置を認識する。非可視光マーカーＭは、レーザー光による照射位置Ｐと同じ位置または近傍に照射されるので、位置認識部３６は、非可視光マーカーＭの座標位置を、レーザー光による照射位置Ｐとして認識できる。

ユーザ操作情報取得部３３は、図１１に示す第２の実施形態によるユーザ操作情報取得部４３と同様に、非可視光マーカーＭを撮像した非可視光撮像画像に基づいて、レーザーポインタ２ａで検出されたユーザ操作の情報を取得する取得部として機能する。

操作入力部３２ｂは、図１１に示す第２の実施形態による操作入力情報出力部４７と同様の機能を有する。具体的には、操作入力部３２ｂは、ユーザ操作情報取得部３３から出力されたユーザ操作情報と位置認識部３６から出力された照射位置Ｐを示す情報とに基づいて、投影画像に対する操作入力情報を検出する機能を有する。そして、操作入力部３２ｂは、検出した操作入力情報を制御部３０に出力する。

制御部３０は、操作入力情報に従った処理を実行し、処理が反映された投影用の画像データを、画像出力部３１からプロジェクタ１ｂに送信する。

以上説明したように、第３の実施形態による操作システムは、カメラ４ｂと別体のポインタ認識用エンジンを内蔵するＰＣ３ｂ（本開示による情報処理装置）を含み、レーザーポインタ２ａを用いた投影画像に対する直感的なユーザ操作が可能となる。

＜２−４．第４の実施形態＞
次に、本開示による第４の実施形態について図１４〜図１５を参照して具体的に説明する。本実施形態では、上記第３の実施形態によるカメラ４ｂとポインタ認識用エンジンが内蔵されたＰＣ３ｂが、一体の装置で実現される。具体的には、例えばカメラ内蔵のモバイル通信端末（スマートフォンやタブレット端末等）に、ポインタ認識用エンジンを実装して実現される。これにより、既存のプロジェクタによるプロジェクタシステムに、本実施形態によるポインタ認識用エンジンが実装された通信端末を新たに導入して、レーザーポインタによる直感的な操作入力が可能な操作システムを構築することができる。ポインタ認識用エンジンの実装は、ハードウェアであってもよいし、ソフトウェアであってもよい。例えば汎用通信端末にポインタ認識用アプリケーションを実装してポインタ認識用の通信端末を実現することが可能である。

（２−４−１．全体構成）
まず、第４の実施形態による操作システムの全体構成について、図１４を参照して説明する。図１４は、第４の実施形態による操作システムの全体構成を説明するための図である。図１４に示すように、本実施形態による操作システムは、プロジェクタ１ｂ、通信端末５（本開示による情報処理装置）、およびレーザーポインタ２ａを含む。プロジェクタ１ｂおよびレーザーポインタ２ａの機能は、図１２、図１３に示す第３の実施形態と同様であるので、ここでの説明は省略する。

通信端末５は、プロジェクタ１ｂと有線／無線により接続し、投影用の画像データを送信する。また、通信端末５は、スクリーンＳに投影された画像を非可視光撮像した非可視光撮像画像に基づいて、レーザーポインタ２ａから照射された非可視光マーカーＭを解析し、照射位置Ｐおよびユーザ操作情報を取得する。また、通信端末５は、照射位置Ｐおよびユーザ操作情報に基づいて操作入力情報を検出し、検出した操作入力情報に応じた制御を実行する。そして、通信端末５は、操作入力情報が反映された投影用の画像データをプロジェクタ１ｂに送信する。

このように、本実施形態による操作システムによれば、ユーザは、投影画像上の任意の位置にレーザーポインタ２ａから照射されるレーザー光Ｖの照射位置Ｐを合わせて操作ボタン２０ａを押下する等の直感的な操作入力を行うことができる。

（２−４−２．内部構成）
続いて、本実施形態による操作システムに含まれる通信端末５の内部構成について図１５を参照して具体的に説明する。図１５は、第３の実施形態による通信端末５の内部構成の一例を示すブロック図である。

通信端末５は、制御部５０、画像出力部５１、操作入力部５２、ユーザ操作情報取得部５３、非可視光撮像部５４、および位置認識部５６を有する。

非可視光撮像部５４は、スクリーンＳに投影された画像上にレーザーポインタ２ａにより照射された非可視光マーカーＭを撮像する機能を有する。

位置認識部５６は、図１３に示す第３の実施形態による位置認識部３６と同様に、非可視光撮像画像に基づいて、非可視光マーカーＭの座標位置を認識する。非可視光マーカーＭは、レーザー光による照射位置Ｐと同じ位置または近傍に照射されるので、位置認識部５６は、非可視光マーカーＭの座標位置を、レーザー光による照射位置Ｐとして認識できる。

ユーザ操作情報取得部５３は、図１３に示す第３の実施形態によるユーザ操作情報取得部３３と同様に、非可視光マーカーＭを撮像した非可視光撮像画像に基づいて、レーザーポインタ２ａで検出されたユーザ操作の情報を取得する取得部として機能する。

操作入力部５２は、図１３に示す第３の実施形態による操作入力部３２ｂと同様の機能を有する。具体的には、操作入力部５２は、ユーザ操作情報取得部３３から出力されたユーザ操作情報と位置認識部３６から出力された照射位置Ｐを示す情報とに基づいて、投影画像に対する操作入力情報を検出する機能を有する。そして、操作入力部３２ｂは、検出した操作入力情報を制御部３０に出力する。

制御部３０は、操作入力情報に従った処理を実行し、処理が反映された投影用の画像データを、画像出力部３１からプロジェクタ１ｂに送信する。

以上説明したように、第４の実施形態による操作システムは、カメラが内蔵され、かつポインタ認識用エンジンを実装した通信端末５（本開示による情報処理装置）を含み、レーザーポインタ２ａを用いた投影画像に対する直感的なユーザ操作が可能となる。

＜２−５．第５の実施形態＞
次に、本開示による第５の実施形態について図１６〜図１７を参照して具体的に説明する。上述した各実施形態では、プロジェクタ１ａに設けられたカメラ、単体のカメラ、または通信端末５に設けられたカメラで、スクリーンＳに投影された画像（投影画像）を撮像し、撮像画像に基づいて照射位置Ｐを認識していた。しかしながら、本開示による操作システムによる照射位置Ｐの認識方法は上記各実施形態に限定されず、例えばレーザーポインタ２にカメラを設け、操作ボタン２０ａが押下された場合にのみ非可視光撮像および照射位置Ｐの認識を行う方法であってもよい。このように操作ボタン２０ａが押下された場合にのみ非可視光撮像および照射位置Ｐの認識を行うことで、消費電力の無駄を省くことができる。

（２−５−１．全体構成）
まず、第５の実施形態による操作システムの全体構成について、図１６を参照して説明する。図１６は、第５の実施形態による操作システムの全体構成を説明するための図である。図１６に示すように、本実施形態による操作システムは、プロジェクタ１ｃ（本開示による情報処理装置）、レーザーポインタ２ｂ、およびＰＣ３ａを含む。ＰＣ３ａの機能は、上述した第１の実施形態と同様であるので、ここでの説明は省略する。

プロジェクタ１ｃは、ＰＣ３ａと有線／無線により接続し、投影用の画像データをＰＣ３ａから受信する。また、プロジェクタ１ｃは、投影用の画像データをスクリーンＳに投影する。さらに、本実施形態によるプロジェクタ１ｃは、赤外線など非可視光の座標特定用マップ（座標認識用画像とも称す）Ｑを、スクリーンＳ（画像投影エリア）に重畳投影する。非可視光の座標特定用マップＱの投影エリアは、画像投影エリアを含む範囲であればよい。

また、プロジェクタ１ｃは、初期設定時に、レーザーポインタ２ｂがプロジェクタ１ｃと無線通信の接続設定を行うための情報（以下、接続情報とも称す）を埋め込んだ非可視光画像をスクリーンＳ（画像投影エリア）に重畳投影してもよい。

レーザーポインタ２ｂは、操作ボタン２０ａの押下状態に応じて、可視光線（レーザー光Ｖ）の照射や、ユーザ操作情報の送信制御を行う。具体的には、例えばレーザーポインタ２ｂは、操作ボタン２０ａが半押しされた場合はレーザー光Ｖを照射し、全押しされた場合はレーザー光Ｖの照射を継続しつつ、全押し操作を示す情報（ユーザ操作情報）を無線通信によりプロジェクタ１ｃに送信する。

さらに、本実施形態によるレーザーポインタ２ｂは、操作ボタン２０ａが全押しされた場合、レーザー光Ｖの照射位置Ｐを含む範囲を非可視光撮像する。初期設定時の場合、レーザーポインタ２ｂは、非可視光撮像画像から接続情報を読み取り、当該接続情報に基づいて自動的にプロジェクタ１ｃと無線接続設定を行うことができる。なお、レーザーポインタ２ｂとプロジェクタ１ｃの接続設定（ペアリング）は、ユーザが手動で行ってもよい。

また、レーザーポインタ２ｂは、非可視光撮像画像に含まれる座標特定用マップＱ’を認識し、座標特定情報等を読み取る。そして、レーザーポインタ２ｂは、ユーザ操作情報と共に、読み取った情報（以下、読取情報とも称す）を、無線通信によりプロジェクタ１ｃに送信する。

レーザーポインタ２ｂからユーザ操作情報と読取情報を受信したプロジェクタ１ｃは、読取情報に基づいてレーザーポインタ２ｂの照射位置Ｐを認識することができる。また、プロジェクタ１ｃは、照射位置Ｐとユーザ操作情報とに基づいて操作入力情報を検出し、ＰＣ３ａに送信する。

ＰＣ３ａは、送信された操作入力情報に応じた制御を実行し、操作入力情報が反映された投影用の画像データをプロジェクタ１ｃに送信する。

このように、本実施形態による操作システムによれば、プロジェクタ１ｃから投影画像上に非可視光の座標特定用マップを重畳投影し、レーザーポインタ２ｂ側で非可視光撮像し、当該非可視光撮像画像に基づいてレーザーポインタ２ａによる照射位置Ｐが認識される。

（２−５−２．内部構成）
続いて、本実施形態による操作システムに含まれる各装置の内部構成について図１７を参照して具体的に説明する。図１７は、第５の実施形態による操作システムの内部構成の一例を示すブロック図である。

（プロジェクタ１ｃ）
プロジェクタ１ｃは、投影画像受信部１０、画像投影部１１、非可視光画像生成部１８、非可視光投影部１９、情報取得部１３ｃ、位置認識部１６ｃ、および操作入力情報出力部１７を有する。

投影画像受信部１０および画像投影部１１は、第１の実施形態による同ブロックと同様であるので、ここでの説明は省略する。

非可視光画像生成部１８は、レーザーポインタ２ｂによる照射位置Ｐを認識する際に利用される座標特定情報を埋め込んだ非可視光の座標特定用マップＱや、接続情報を埋め込んだ非可視光の画像を生成する。

非可視光投影部１９は、非可視光画像生成部１８により生成された非可視光の座標特定用マップＱや接続情報が埋め込まれた画像を、スクリーンＳの投影画像上に重畳投影する。なお、非可視光投影部１９および画像投影部１１による投影は、同一の光源で異なるフィルタを通じた投影としてもよい。

情報取得部１３ｃは、レーザーポインタ２ｂと無線通信し、レーザーポインタ２ｂからユーザ操作情報および読取情報を受信する。

位置認識部１６ｃは、非可視光画像生成部１８が作成した座標特定用マップＱと、情報取得部１３ｃにより受信された読取情報に含まれる、非可視光撮像された座標特定用マップＱ’から読み取られた座標特定情報とに基づいて、レーザーポインタ２ｂによる照射位置Ｐ（座標位置）を認識する。例えば位置認識部１６ｃは、座標特定用マップＱと座標特定情報で示される座標特定用マップＱ’とを比較し、座標特定用マップＱにおける座標特定用マップＱ’の位置を特定する。そして、位置認識部１６ｃは、座標特定用マップＱ’の中心位置を、レーザーポインタ２ｂによる照射位置Ｐ（座標位置）として認識する。

操作入力情報出力部１７は、情報取得部１３ｃにより受信されたユーザ操作情報と、位置認識部１６ｃにより認識された照射位置Ｐに基づいて、投影画像に対する操作入力情報を検出する機能を有する。また、操作入力情報出力部１７は、検出した操作入力情報をＰＣ３ａに有線／無線送信する。

（レーザーポインタ２ｂ）
レーザーポインタ２ｂは、図１７に示すように、操作部２０、可視光レーザー照射部２１、非可視光撮像部２５、情報読取部２６、および送信部２３を有する。

可視光レーザー照射部２１は、操作部２０により検出されたユーザ操作に応じて、レーザー光Ｖ（可視光）を照射する機能を有する。具体的には、例えば可視光レーザー照射部２１は、操作ボタン２０ａが半押しされた場合、レーザー光Ｖを照射する。

非可視光撮像部２５は、操作部２０により検出されるユーザ操作に応じてレーザー光Ｖにより照射されている位置（照射位置Ｐ）を含む範囲を非可視光撮像する機能を有する。例えば、非可視光撮像部２５は、操作ボタン２０ａが全押しされた場合のみ非可視光撮像を行う。

情報読取部２６は、非可視光撮像画像に基づいて、座標特定用マップＱ’を認識し、座標特定情報等を読み取る。

送信部２３は、情報読取部２６により読み取られた情報（読取情報）と、操作部２０により検出されたユーザ操作情報（例えば全押し操作）を、無線通信によりプロジェクタ１ｃに送信する。

このように、本実施形態によるレーザーポインタ２ｂは、例えば操作ボタン２０ａが半押し（第１段階操作）された場合はレーザー光Ｖを照射する。そして、操作ボタン２０ａが全押し（第２段階操作）された場合、レーザーポインタ２ｂは、レーザー光Ｖを照射しつつ、かつ非可視光撮像を行い、非可視光撮像画像から読み取った情報とユーザ操作情報をプロジェクタ１ｃに無線送信する。これにより、ユーザは、レーザーポインタ２ｂを用いて投影画像に対して直感的に操作入力を行うことができる。

（ＰＣ３ａ）
ＰＣ３ａの内部構成は、第１の実施形態と同様である。すなわち、操作入力部３２ａは、プロジェクタ１ｃから操作入力情報を受信し、制御部３０は、当該操作入力情報に従った処理を実行する。また、画像出力部３１は、制御部３０による処理が反映された投影用の画像データをプロジェクタ１ｃに送信する。

以上説明したように、第５の実施形態による操作システムでは、レーザーポインタ２ｂにカメラ（非可視光撮像部２５）が設けられ、レーザーポインタ２ｂで検出されたユーザ操作に応じて非可視光撮像が行われる。また、プロジェクタ１ｃは、レーザーポインタ２ｂ側で非可視光撮像された座標特定用マップＱ’から読み取られた座標特定情報を受信し、当該座標特定情報に基づいて、レーザーポインタ２ｂによる照射位置Ｐを認識することができる。

＜２−６．第６の実施形態＞
上述した第５の実施形態による操作システムに含まれる各装置の構成は一例であって、本開示による操作システムの各構成は図１７に示す例に限定されない。例えば、上記第５の実施形態によるプロジェクタ１ｃが有する非可視光画像生成部１８、非可視光投影部１９、情報取得部１３ｃ、位置認識部１６ｃ、および操作入力情報出力部１７を、プロジェクタ１ｃと別体の装置（便宜上、ポインタ認識装置と称する）に設けてもよい。これにより、既存のプロジェクタシステムに本実施形態によるポインタ認識装置（本開示による情報処理装置）を新たに導入することで、レーザーポインタによる直感的な操作入力が可能な操作システムを構築できる。

（２−６−１．全体構成）
まず、第６の実施形態による操作システムの全体構成について、図１８を参照して説明する。図１８は、第６の実施形態による操作システムの全体構成を説明するための図である。図１８に示すように、本実施形態による操作システムは、プロジェクタ１ｂ、ポインタ認識装置６、レーザーポインタ２ｂ、およびＰＣ３ａを含む。ＰＣ３ａは上述した第１の実施形態、プロジェクタ１ｂは上述した第２の実施形態、レーザーポインタ２ｂは上述した第５の実施形態とそれぞれ同様であるので、ここでの具体的な説明は省略する。

ポインタ認識装置６は、赤外線など非可視光の座標特定用マップＱを、スクリーンＳ（画像投影エリア）に重畳投影する。非可視光の座標特定用マップＱの投影エリアは、画像投影エリアを含む範囲であればよい。

レーザーポインタ２ｂは、第５の実施形態と同様に、操作ボタン２０ａの押下操作に応じて、レーザー光Ｖを照射したり、スクリーンＳ上の照射位置Ｐを含む範囲を非可視光撮像し、非可視光撮像画像に含まれる座標特定用マップＱ’を認識したりする。そして、レーザーポインタ２ｂは、検出したユーザ操作情報と、座標特定用マップＱ’から読み取った情報をポインタ認識装置６に送信する。

ポインタ認識装置６は、レーザーポインタ２ｂから受信した読取情報に基づいて、レーザーポインタ２ｂの照射位置Ｐを認識する。また、ポインタ認識装置６は、認識した照射位置Ｐと、レーザーポインタ２ｂから受信したユーザ操作情報とに基づいて操作入力情報を検出し、ＰＣ３ａに送信する。

ＰＣ３ａは、送信された操作入力情報に応じた制御を実行し、操作入力情報が反映された投影用の画像データをプロジェクタ１ｃに送信する。

このように、本実施形態による操作システムによれば、既存のプロジェクタシステムに本実施形態によるポインタ認識装置６（本開示による情報処理装置）を新たに導入することで、レーザーポインタによる直感的な操作入力が可能な操作システムを構築できる。

（２−６−２．内部構成）
続いて、本実施形態による操作システムに含まれる各装置の内部構成について図１９を参照して具体的に説明する。図１９は、第６の実施形態による操作システムの内部構成の一例を示すブロック図である。なおＰＣ３ａの構成は上記第１の実施形態、プロジェクタ１ｂは上記第２の実施形態、レーザーポインタ２ｂは上記第５の実施形態とそれぞれ同じ構成であるので、ここでの具体的な説明は省略する。

（ポインタ認識装置６）
ポインタ認識装置６は、図１９に示すように、非可視光画像生成部６８、非可視光投影部６９、情報取得部６３、位置認識部６６、および操作入力情報出力部６７を有する。

非可視光画像生成部６８は、第５の実施形態による非可視光画像生成部１８と同様に、非可視光の座標特定用マップＱや、接続情報を埋め込んだ非可視光の画像を生成する。

非可視光投影部６９は、第５の実施形態による非可視光投影部１９と同様に、非可視光画像生成部６８により生成された非可視光の座標特定用マップＱや接続情報が埋め込まれた画像を、スクリーンＳの投影画像上に重畳投影する。

情報取得部６３は、第５の実施形態による情報取得部１３ｃと同様に、レーザーポインタ２ｂと無線通信し、レーザーポインタ２ｂからユーザ操作情報および読取情報を受信する。

位置認識部６６は、第５の実施形態による位置認識部１６ｃと同様に、非可視光画像生成部６８が作成した座標特定用マップＱと、非可視光撮像された座標特定用マップＱ’から読み取られた座標特定情報とに基づいて、レーザーポインタ２ｂによる照射位置Ｐ（座標位置）を認識する。

操作入力情報出力部６７は、第５の実施形態による操作入力情報出力部１７と同様に、情報取得部６３により受信されたユーザ操作情報と、位置認識部６６により認識された照射位置Ｐに基づいて、投影画像に対する操作入力情報を検出する機能を有する。また、操作入力情報出力部６７は、検出した操作入力情報をＰＣ３ａに有線／無線送信する。

以上説明したように、第６の実施形態による操作システムは、プロジェクタ１ｂと別体のポインタ認識装置６（本開示による情報処理装置）を含む構成で、レーザーポインタ２ｂを用いた投影画像に対する直感的なユーザ操作を可能とする。

＜２−７．第７の実施形態＞
次に、本開示による第７の実施形態について図２０〜図２１を参照して具体的に説明する。本実施形態では、上記第６の実施形態によるポインタ認識装置６とＰＣ３ａが一体の装置で実現される。具体的には、例えばカメラ内蔵のモバイル通信端末（スマートフォンやタブレット端末等）に、ポインタ認識用エンジンを実装して実現される。これにより、既存のプロジェクタによるプロジェクタシステムに、本実施形態によるポインタ認識用エンジンが実装された通信端末を新たに導入することで、レーザーポインタによる直感的な操作入力が可能な操作システムを構築できる。

（２−７−１．全体構成）
まず、第７の実施形態による操作システムの全体構成について、図２０を参照して説明する。図２０は、第７の実施形態による操作システムの全体構成を説明するための図である。図２０に示すように、本実施形態による操作システムは、プロジェクタ１ｂ、通信端末７（本開示による情報処理装置）、およびレーザーポインタ２ｂを含む。プロジェクタ１ｂの機能は上記第２の実施形態において、また、レーザーポインタ２ｂの機能は上記第５の実施形態においてそれぞれ説明したので、ここでは省略する。

通信端末７は、プロジェクタ１ｂと有線／無線により接続し、投影用の画像データを送信する。また、通信端末７は、スクリーンＳに投影された画像上に、赤外線など非可視光の座標特定用マップＱを投影する。

また、通信端末７は、ユーザ操作情報、およびレーザーポインタ２ｂが撮像した非可視光撮像画像から読み取られた読取情報を、レーザーポインタ２ｂから無線通信により受信し、これらに基づいて操作入力情報を検出する。そして、通信端末７は、検出した操作入力情報に応じた制御を実行し、操作入力情報が反映された投影用の画像データをプロジェクタ１ｂに送信する。

このように、本実施形態による操作システムによれば、既存のプロジェクタシステムに、本実施形態によるポインタ認識用エンジンが実装された通信端末７（本開示による情報処理装置）を導入することで、レーザーポインタによる直感的な操作入力を可能にする。

（２−７−２．内部構成）
続いて、本実施形態による操作システムに含まれる通信端末７の内部構成について図２１を参照して具体的に説明する。図２１は、第７の実施形態による通信端末７の内部構成の一例を示すブロック図である。

図２１に示すように、通信端末７は、制御部７０、画像出力部７１、非可視光画像生成部７８、非可視光投影部７９、情報取得部７３、位置認識部７６、および操作入力部７２を有する。非可視光画像生成部７８、非可視光投影部７９、情報取得部７３、および位置認識部７６は、それぞれ第６の実施形態による非可視光画像生成部６８、非可視光投影部６９、情報取得部６３、および位置認識部６６と同様の機能を有する。

また、操作入力部７２は、第６の実施形態による操作入力部５２と同様に、情報取得部７３から出力されたユーザ操作情報と位置認識部７６から出力された照射位置Ｐを示す情報とに基づいて、投影画像に対する操作入力情報を検出する機能を有する。そして、操作入力部７２は、検出した操作入力情報を制御部７０に出力する。

制御部７０は、操作入力情報に従った処理を実行し、処理が反映された投影用の画像データを、画像出力部７１からプロジェクタ１ｂに送信する。

以上説明したように、第６の実施形態によれば、カメラが内蔵され、かつポインタ認識用エンジンを実装した通信端末７（本開示による情報処理装置）を既存のプロジェクタシステムに導入することで、レーザーポインタ２ｂを用いた投影画像に対する直感的なユーザ操作が可能となる。

＜＜３．まとめ＞＞
上述したように、本実施形態による操作システムでは、レーザーポインタ２を用いて、レーザー光Ｖを照射した状態のまま、投影画像に対して直感的な操作入力を行うことができる。レーザー光Ｖの照射は、１段階目の操作（例えば操作ボタン２０ａの半押し）により開始され、続く２段階目の操作（例えば操作ボタン２０ａの全押しや、２回押しなど）が直感的な操作入力に該当する。これにより、投影された画像（例えば地図、ウェブサイト等）に対して、マウスＧＵＩのクリック、ドラッグ、範囲選択、ダブルクリック等に相当する直感的な操作入力をレーザーポインタ２で行うことができる。

具体的には、上記第１〜第４の実施形態では、レーザーポインタ２ａで検出されたユーザ操作情報（操作ボタン２０ａの全押し操作等）が、レーザーポインタ２ａから照射される非可視光マーカーＭを介して、または無線通信を介して発信される。また、上記第１〜第４の実施形態では、本開示による情報処理装置が、プロジェクタ１ａ、１ａ’、ポインタ認識用カメラ４ａ、ポインタ認識ＰＣ３ｂ、または通信端末５により実現される。かかる情報処理装置は、非可視光マーカーＭを撮像した非可視光画像の解析またはレーザーポインタ２ａとの無線通信により、レーザーポインタ２ａで検出されたユーザ操作情報を取得する。さらに、かかる情報処理装置は、可視光画像／非可視光画像に基づいて、レーザーポインタ２ａのレーザー光Ｖで指示される投影画像上の照射位置Ｐを認識する。そして、情報処理装置は、認識した照射位置Ｐと、上記取得したユーザ操作情報とに基づいて、操作入力情報を検出することができる。

なおレーザーポインタ２ａで検出されたユーザ操作情報（操作ボタン２０ａの全押し操作等）の発信は、レーザーポインタ２ａから照射される非可視光マーカーＭに限定されず、例えば可視光マーカーであってもよい。

また、第５〜第７の実施形態では、スクリーンＳの投影画像上に、非可視光の座標特定用マップＱが重畳投影され、レーザーポインタ２ｂにより非可視光撮像される。レーザーポインタ２ｂは、操作部２０により検出したユーザ操作情報（操作ボタン２０ａの全押し操作等）と、非可視光撮像画像から読み取った読取情報を、無線通信により情報処理装置に送信する。上記第５〜第７の実施形態では、本開示による情報処理装置が、プロジェクタ１ｃ、ポインタ認識装置６、または通信端末７により実現される。かかる情報処理装置は、レーザーポインタ２ｂから受信した読取情報に基づいて、レーザーポインタ２ａのレーザー光Ｖで指示される投影画像上の照射位置Ｐを認識する。そして、情報処理装置は、認識した照射位置Ｐと、上記受信したユーザ操作情報とに基づいて、操作入力情報を検出することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、プロジェクタ１ａ、１ａ’、１ｃ、ポインタ認識用カメラ４ａ、ポインタ認識装置６、ポインタ認識ＰＣ３ｂ、通信端末５、７に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、上述したプロジェクタ１ａ、１ａ’、１ｃ、ポインタ認識用カメラ４ａ、ポインタ認識装置６、ポインタ認識ＰＣ３ｂ、通信端末５、７の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本開示による操作システムは、複数のプロジェクタ１による直感的な操作入力も可能である。これにより、複数人による共同作業や、両手を使った複数のレーザーポインタ２によるＵＩ操作が可能となる。

複数のレーザーポインタ２による各照射位置Ｐの識別は、例えばレーザー光Ｖと共に照射される非可視光の１次元バーコードや２次元バーコード等に埋め込まれたユーザＩＤに基づいて識別されてもよい。または、レーザー光Ｖ（可視光）の色や形状に基づいて識別されてもよい。ユーザは、レーザー光Ｖの色や形状を、レーザーポインタ２に設けられたスイッチまたはタッチパネルディスプレイの表示画面、若しくは投影画像上で選択することができる。

また、上記第１〜第４の実施形態によるレーザーポインタ２ａは、２段階目のユーザ操作に応じて非可視光マーカーＭを照射すると共に音声出力を行うことで、直感的な操作入力のフィードバックをユーザに提供することができる。

なお、本技術は以下のような構成も取ることができる。
（１）
投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得する取得部と、
前記認識部により認識された前記照射位置と、前記取得部により取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出する検出部と、
を備える、情報処理装置。
（２）
前記認識部は、投影面を撮像した撮像画像に基づいて前記照射位置を認識する、前記（１）に記載の情報処理装置。
（３）
前記レーザーポインタは、前記操作部により検出されたユーザ操作に応じた非可視光マーカーを照射し、
前記取得部は、前記レーザーポインタにより照射された非可視光マーカーを撮像した撮像画像に基づいて、前記ユーザ操作の情報を取得する、前記（１）または（２）に記載の情報処理装置。
（４）
前記非可視光マーカーは、点、図形、１次元／２次元バーコード、または動画像である、前記（３）に記載の情報処理装置。
（５）
前記認識部は、前記非可視光マーカーを撮像した撮像画像に基づいて、前記非可視光マーカーの位置座標を前記レーザーポインタによる前記照射位置として認識する、前記（３）または（４）に記載の情報処理装置。
（６）
前記取得部は、前記レーザーポインタにより検出された前記ユーザ操作の情報を、前記レーザーポインタから受信して取得する、前記（１）または（２）に記載の情報処理装置。
（７）
前記レーザーポインタは、前記操作部により検出されたユーザ操作に応じた可視光マーカーを照射し、
前記取得部は、前記レーザーポインタにより照射された可視光マーカーを撮像した撮像画像に基づいて、前記ユーザ操作の情報を取得する、前記（１）または（２）に記載の情報処理装置。
（８）
前記レーザーポインタは、前記ユーザ操作に応じて、前記可視光マーカーの形または色の少なくともいずれかを変化させる、前記（７）に記載の情報処理装置。
（９）
前記認識部は、前記投影画像の全体を撮像した撮像画像に基づいて、前記レーザーポインタによる前記投影画像に対するレーザー光の照射位置を認識する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記認識部は、前記投影画像上に重ねて投影された非可視光の座標認識用画像を撮像した撮像画像に基づいて、前記レーザーポインタによる前記投影画像に対するレーザー光の照射位置を認識する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１１）
前記非可視光の座標認識用画像を撮像した撮像画像は、前記レーザーポインタによる前記投影画像に対するレーザー光の照射位置周辺を撮像した撮像画像である、前記（１０）に記載の情報処理装置。
（１２）
前記認識部は、前記投影画像に対する複数のレーザーポインタによるレーザー光の照射位置を認識し、
前記複数のレーザーポインタは、自身の識別情報を示す非可視光または可視光マーカーを照射し、
前記取得部は、前記複数のレーザーポインタによりそれぞれ照射された非可視光または可視光マーカーを撮像した撮像画像に基づいて、各レーザーポインタを識別するための識別情報を取得する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１３）
投影画像に対するレーザーポインタによるレーザー光の照射位置を認識するステップと、
前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得するステップと、
前記認識された前記照射位置と、前記取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出するステップと、
を含む、操作入力検出方法。
（１４）
コンピュータに、
投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得する取得部と、
前記認識部により認識された前記照射位置と、前記取得部により取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出する検出部と、
として機能させるための、プログラム。
（１５）
コンピュータに、
投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得する取得部と、
前記認識部により認識された前記照射位置と、前記取得部により取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出する検出部と、
として機能させるためのプログラムが記憶された、記憶媒体。

１、１ａ、１ａ’、１ｂ、１ｃ プロジェクタ
２、２ａ、２ａ’、２ａ’’、２ｂ レーザーポインタ
３、３ａ、３ｃ ＰＣ
４ａ ポインタ認識用カメラ
４ｂ カメラ
５、７ 通信端末
６ ポインタ認識装置
１０ 投影画像受信部
１１ 画像投影部
１２ 非可視光撮像部
１３ａ、１３ａ’、３３、４３、５３ ユーザ操作情報取得部
１３ｃ、７３、６３ 情報取得部
１５、２５、４２、５４ 可視光撮像部
１６ａ、１６ｃ、３６、４６、５６、７６、６６ 位置認識部
１７、４７、６７ 操作入力情報出力部
１８、７８、６８ 非可視光画像生成部
１９、７９、６９ 非可視光投影部
２０ 操作部
２０ａ、２０ｂ、２０ｂ’ 操作ボタン
２０ｃ タッチパネル
２１ 可視光レーザー照射部
２２ 非可視光マーカー照射部
２３ 送信部
２６ 情報読取部
３０、５０、７０ 制御部
３１、５１、７１ 画像出力部
３２ａ、３２ｂ、５２、７２ 操作入力部
３４ 撮像画像受信部
４９ 撮像画像送信部

Claims (15)

1. 投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
   前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得する取得部と、
   前記認識部により認識された前記照射位置と、前記取得部により取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出する検出部と、
   を備える、情報処理装置。
2. 前記認識部は、投影面を撮像した撮像画像に基づいて前記照射位置を認識する、請求項１に記載の情報処理装置。
3. 前記レーザーポインタは、前記操作部により検出されたユーザ操作に応じた非可視光マーカーを照射し、
   前記取得部は、前記レーザーポインタにより照射された非可視光マーカーを撮像した撮像画像に基づいて、前記ユーザ操作の情報を取得する、請求項１に記載の情報処理装置。
4. 前記非可視光マーカーは、点、図形、１次元／２次元バーコード、または動画像である、請求項３に記載の情報処理装置。
5. 前記認識部は、前記非可視光マーカーを撮像した撮像画像に基づいて、前記非可視光マーカーの位置座標を前記レーザーポインタによる前記照射位置として認識する、請求項３に記載の情報処理装置。
6. 前記取得部は、前記レーザーポインタにより検出された前記ユーザ操作の情報を、前記レーザーポインタから受信して取得する、請求項１に記載の情報処理装置。
7. 前記レーザーポインタは、前記操作部により検出されたユーザ操作に応じた可視光マーカーを照射し、
   前記取得部は、前記レーザーポインタにより照射された可視光マーカーを撮像した撮像画像に基づいて、前記ユーザ操作の情報を取得する、請求項１に記載の情報処理装置。
8. 前記レーザーポインタは、前記ユーザ操作に応じて、前記可視光マーカーの形または色の少なくともいずれかを変化させる、請求項７に記載の情報処理装置。
9. 前記認識部は、前記投影画像の全体を撮像した撮像画像に基づいて、前記レーザーポインタによる前記投影画像に対するレーザー光の照射位置を認識する、請求項１に記載の情報処理装置。
10. 前記認識部は、前記投影画像上に重ねて投影された非可視光の座標認識用画像を撮像した撮像画像に基づいて、前記レーザーポインタによる前記投影画像に対するレーザー光の照射位置を認識する、請求項１に記載の情報処理装置。
11. 前記非可視光の座標認識用画像を撮像した撮像画像は、前記レーザーポインタによる前記投影画像に対するレーザー光の照射位置周辺を撮像した撮像画像である、請求項１０に記載の情報処理装置。
12. 前記認識部は、前記投影画像に対する複数のレーザーポインタによるレーザー光の照射位置を認識し、
    前記複数のレーザーポインタは、自身の識別情報を示す非可視光または可視光マーカーを照射し、
    前記取得部は、前記複数のレーザーポインタによりそれぞれ照射された非可視光または可視光マーカーを撮像した撮像画像に基づいて、各レーザーポインタを識別するための識別情報を取得する、請求項１に記載の情報処理装置。
13. 投影画像に対するレーザーポインタによるレーザー光の照射位置を認識するステップと、
    前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得するステップと、
    前記認識された前記照射位置と、前記取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出するステップと、
    を含む、操作入力検出方法。
14. コンピュータに、
    投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
    前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得する取得部と、
    前記認識部により認識された前記照射位置と、前記取得部により取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出する検出部と、
    として機能させるための、プログラム。
15. コンピュータに、
    投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
    前記レーザーポインタに設けられた操作部により検出されたユーザ操作の情報を取得する取得部と、
    前記認識部により認識された前記照射位置と、前記取得部により取得されたユーザ操作に基づいて、前記投影画像に対する操作入力情報を検出する検出部と、
    として機能させるためのプログラムが記憶された、記憶媒体。
    

Images