JP2004227230A - 光指示システム、アンケート収集システム、ゲームシステム、光指示装置、撮影装置、投影装置、光指示方法、位置特定方法、アンケート収集方法およびゲーム実行方法 - Google Patents

Abstract

【課題】対象に接触することなく付随情報を簡単に付加すること。
【解決手段】光指示装置１は、ユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象２０１に対して照射してその対象２０１の表面に光スポット１ａを形成する。撮影手段（図１における撮影装置２）は、対象２０１の表面の光スポット１ａを撮影し、復調手段（図１における撮影装置２）は、撮影手段により撮影された光スポット１ａの時系列に沿った複数の撮影画像に基づいて、付随情報を復調する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ある対象に光スポットを形成する光指示システムおよび光指示方法、それらで使用される光指示装置、撮影装置および投影装置、それらを応用したアンケート収集システム、ゲームシステム、位置特定方法、アンケート収集方法およびゲーム実行方法に関するものである。
【０００２】
【従来の技術】
従来、ある対象の位置を指示する場合には、例えばレーザポインタなどの光指示装置が使用されている（例えば、特許文献１参照）。
【０００３】
また、従来、対象である身体の各部位に反射球などを装着し身体を撮影し画像処理により反射球の位置を特定することで身体の各部位の位置を特定するモーションキャプチャシステムが実用されている（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開平５−２７３９０７号公報（要約書）
【特許文献２】
特開平１０−７４２４９号公報（段落０００３，０００４）
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の光指示装置や従来のモーションキャプチャシステムでは、対象の「ある特定の位置（対象の一部分）」を指示することは可能であるが、その位置（あるいは対象全体）に付随情報を簡単に付加することは困難であるという問題がある。
【０００６】
従来、付随情報を付加しようとした場合には、例えば、付随情報を明示したタグや発信機を対象自体に付けたり、撮影後に撮影した画像を編集して付随情報を埋め込む必要があるので、一般的に付随情報を付加することが困難で、作業や処理が煩雑である。
【０００７】
本発明は、上記の問題に鑑みてなされたものであり、対象に接触することなく付随情報を簡単に付加することができる光指示システムおよび光指示方法、それらで使用される光指示装置、撮影装置および投影装置、それらを応用したアンケート収集システム、ゲームシステム、位置特定方法、アンケート収集方法およびゲーム実行方法を得ることを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するために、本発明の光指示システムは、ユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象に対して照射してその対象の表面に光スポットを形成する光指示装置と、対象の表面の光スポットを撮影する撮影手段と、撮影手段により撮影された光スポットの時系列に沿った複数の撮影画像に基づいて付随情報を復調する復調手段とを備える。
【０００９】
この光指示システムを利用すると、対象に接触することなく付随情報を簡単に付加することができる。
【００１０】
さらに、本発明の光指示システムは、上記発明の光指示システムに加え、撮影手段に、所定のサイズの画素領域を有する撮像素子と、所定の指定情報により指定された撮像素子の画素領域の一部である部分領域の画像データを出力させる制御回路とを有するイメージャと、少なくともイメージャから出力された「あるフレーム」の部分領域の画像データに基づいて、部分領域の画像データの画像特徴量を演算するとともに、光スポットが部分領域に含まれるように次フレーム用の指定情報を演算する演算手段とを備える。そして、復調手段が、演算手段により演算された画像特徴量に基づいて付随情報を復調する。
【００１１】
この光指示システムを利用すると、光スポットの画像を時系列に沿って正確に撮影することができる。
【００１２】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、演算手段が、座標変換後の光スポットの像が部分領域内で一定のパターンおよび形状になる座標変換を特定し、画像特徴量の演算の際または前に部分領域に対して座標変換を行うようにしたものである。
【００１３】
この光指示システムを利用すると、光スポットが部分領域内で一定姿勢で捕捉し続けられるため、部分領域内での光スポットの位置のゆらぎが少なくなり、より正確に光スポットを撮影し続けることができる。
【００１４】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、演算手段が、座標変換後の光スポットの像が部分領域内で一定のパターンおよび形状になる座標変換を特定し、部分領域の画像データとともに座標変換に基づいて次フレーム用の指定情報を演算するようにしたものである。
【００１５】
この光指示システムを利用すると、撮影手段の視野内での光スポットの姿勢変化を考慮して次フレームでの位置を予測するため、部分領域で光スポットを捕捉し続けることができる。
【００１６】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、演算手段が、あるフレームについての部分領域の画素値の重心位置に基づいて次フレーム用の指定情報を演算するようにしたものである。
【００１７】
この光指示システムを利用すると、光スポットの画像データと周辺の画像データとの画素値の違いを利用して光スポットの移動量を簡単に得ることができる。
【００１８】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、演算手段が、光スポットの像が部分領域から外れないフレームレートで指定情報を繰り返しイメージャに供給するようにしたものである。
【００１９】
この光指示システムを利用すると、高フレームレートで正確に光スポットを追尾することができる。すなわち、光スポットの像が部分領域から外れることがなく継続的に部分領域で光スポットを捕捉でき、それにより光スポットを正確に追尾することができる。
【００２０】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、撮影手段により撮影された光スポットの撮影画像に基づいて光スポットの位置を特定する位置特定手段と、対象の画像データと、光スポットの位置および付随情報の少なくとも一方とを関連付ける情報処理装置とを備える。
【００２１】
この光指示システムを利用すると、付随情報が付加された対象の画像や光スポットの位置などを簡単に特定することができる。
【００２２】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、情報処理装置が、１枚の画像データに対して、光スポットの位置および付随情報の少なくとも一方を複数関連付けるようにしたものである。
【００２３】
この光指示システムを利用すると、付随情報が付加された対象の画像や複数の光スポットの位置などを簡単に特定することができる。
【００２４】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、付随情報に基づいて選択される画像または動画像を呈示する画像呈示手段を備える。
【００２５】
この光指示システムを利用すると、光指示装置に対する操作などにより、光スポットとともに、必要に応じて画像を呈示することができる。
【００２６】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、画像呈示手段として、画像または動画像を対象に投影する投影装置を備える。
【００２７】
この光指示システムを利用すると、光指示装置に対する操作などにより、光スポットとともに、必要に応じて画像を投影することができる。
【００２８】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、付随情報に基づいて、所定の機構に設けられた駆動装置を制御する制御手段を備える。
【００２９】
この光指示システムを利用すると、光指示装置に対する操作などにより、所定の機構を制御することができる。
【００３０】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、光指示装置に設けられ、所定の幾何学配置の少なくとも３つの光スポットを形成する発光手段と、撮影画像内での少なくとも３つの光スポットの幾何学配置および形状の少なくとも一方から光指示装置の位置を特定する情報処理装置とを備える。
【００３１】
この光指示システムを利用すると、光指示装置を撮影しなくても光指示装置の位置を特定することができる。
【００３２】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、複数の光指示装置を備える。そして、復調手段が、複数の光指示装置それぞれからの付随情報を復調する。
【００３３】
この光指示システムを利用すると、複数の光指示装置により互いに独立して、対象に接触することなく付随情報を簡単に付加することができる。
【００３４】
さらに、本発明の光指示システムは、上記発明の光指示システムのいずれかに加え、光指示装置が、光束の変調レートを、撮影手段のフレームレート以下とするようにしたものである。
【００３５】
この光指示システムを利用すると、復調手段により付随情報を正確に復調することができる。
【００３６】
本発明の光指示システムは、光束を対象に対して照射してその対象の表面に所定の幾何学配置の少なくとも３つの光スポットを形成する光指示装置と、対象の表面の光スポットを撮影する撮影手段と、撮影手段により撮影された撮影画像内での少なくとも３つの光スポットの幾何学配置および形状の少なくとも一方から光指示装置の位置を特定する情報処理装置とを備える。
【００３７】
この光指示システムを利用すると、光指示装置を撮影しなくても光指示装置の位置を特定することができる。
【００３８】
本発明のアンケート収集システムは、１または複数のユーザの操作に応じて得られるアンケート結果を含む付随情報に基づいて変調された光束を生成し、その光束を対象に対して照射してその対象の表面に１または複数の光スポットを形成する１または複数の光指示装置と、対象の表面の光スポットを撮影する撮影手段と、撮影手段により撮影された光スポットの時系列に沿った複数の撮影画像に基づいて付随情報を復調する復調手段と、復調手段により復調された１または複数の付随情報を収集してアンケート結果を集計する情報処理装置とを備える。
【００３９】
このアンケート収集システムを利用すると、例えば対象にタグなどをつけることなく、アンケートを簡単に収集することができる。
【００４０】
本発明のゲームシステムは、１または複数のユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象に対して照射してその対象の表面に光スポットを形成する１または複数の光指示装置と、対象の表面の光スポットを撮影する撮影手段と、撮影手段により撮影された光スポットの時系列に沿った複数の撮影画像に基づいて付随情報を復調する復調手段と、復調手段により復調された付随情報に基づいてゲームを進行していく情報処理装置と、ゲームの進行に応じて付随情報に基づいて選択される画像または動画像を呈示する画像呈示手段とを備える。
【００４１】
このゲームシステムを利用すると、光指示装置を無線のゲームコントローラとして使用でき、システム構成上、光指示装置すなわちプレーヤの増減を簡単に行うことができる。
【００４２】
本発明の光指示装置は、操作部と、操作部に対するユーザの操作に応じて付随情報を生成または選択する付随情報特定手段と、付随情報特定手段による付随情報に基づいて電気信号を変調する変調手段と、変調手段により変調された電気信号を供給され、付随情報に基づいて変調された光束を出力する発光手段とを備える。
【００４３】
この光指示装置を利用すると、対象に接触することなく付随情報を簡単に付加することができる。
【００４４】
本発明の撮影装置は、対象の表面の光スポットを撮影する撮影手段と、撮影手段により撮影された光スポットの時系列に沿った複数の撮影画像に基づいて、光スポットに付随する付随情報を復調する復調手段とを備える。
【００４５】
この撮影装置を利用すると、対象に接触することなく付加された付随情報を読み取ることができる。
【００４６】
本発明の撮影装置は、ユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象に対して照射してその対象の表面に光スポットを形成する光指示手段と、対象の画像を撮影するとともに、対象の表面の光スポットを撮影する撮影手段とを備える。
【００４７】
この撮影装置を利用すると、撮影中に光指示手段を動作させることで、所望のタイミングで簡単に、付随情報を画像や動画像に付加することができる。
【００４８】
本発明の投影装置は、対象の表面の光スポットを撮影する撮影手段と、撮影手段により撮影された光スポットの時系列に沿った複数の撮影画像に基づいて付随情報を復調する復調手段と、付随情報に基づいて選択される画像または動画像を対象に投影する投影手段とを備える。
【００４９】
この投影装置を利用すると、光指示装置などにより投影画像を制御することができる。
【００５０】
本発明の光指示方法は、光指示装置によりユーザの操作に応じて得られる付随情報に基づいて変調された光束を対象に対して照射してその対象の表面に光スポットを形成し、対象の表面の光スポットを撮影し、撮影した光スポットの時系列に沿った複数の撮影画像に基づいて付随情報を復調する。
【００５１】
この光指示方法を利用すると、対象に接触することなく付随情報を簡単に付加することができる。
【００５２】
さらに、本発明の光指示方法は、上記発明の光指示方法に加え、撮影した光スポットの撮影画像に基づいて光スポットの位置を特定し、対象の画像データと、光スポットの位置および付随情報の少なくとも一方とを関連付ける。
【００５３】
この光指示方法を利用すると、付随情報が付加された対象の画像や光スポットの位置などを簡単に特定することができる。
【００５４】
さらに、本発明の光指示方法は、上記発明の光指示方法のいずれかに加え、付随情報に基づいて選択される画像または動画像を呈示する。
【００５５】
この光指示方法を利用すると、光指示装置に対する操作などにより、光スポットとともに、必要に応じて画像を呈示することができる。
【００５６】
さらに、本発明の光指示方法は、上記発明の光指示方法のいずれかに加え、付随情報に基づいて、所定の機構に設けられた駆動装置を制御する。
【００５７】
この光指示方法を利用すると、光指示装置に対する操作などにより、所定の機構を制御することができる。
【００５８】
本発明の位置特定方法は、光指示装置により光束を対象に対して照射してその対象の表面に所定の幾何学配置の少なくとも３つの光スポットを形成し、対象の表面の光スポットを撮影し、撮影した撮影画像内での少なくとも３つの光スポットの幾何学配置および形状の少なくとも一方から光指示装置の位置を特定する。
【００５９】
この位置特定方法を利用すると、光指示装置を撮影しなくても光指示装置の位置を特定することができる。
【００６０】
本発明のアンケート収集方法は、１または複数の光指示装置により１または複数のユーザの操作に応じて得られるアンケート結果を含む付随情報に基づいて変調された光束を対象に対して照射してその対象の表面に１または複数の光スポットを形成し、対象の表面の光スポットを撮影し、撮影した光スポットの時系列に沿った複数の撮影画像に基づいて付随情報を復調し、復調した１または複数の付随情報を収集してアンケート結果を集計する。
【００６１】
このアンケート収集方法を利用すると、例えば対象にタグなどをつけることなく、アンケートを簡単に収集することができる。
【００６２】
本発明のゲーム実行方法は、１または複数の光指示装置により１または複数のユーザの操作に応じて得られる付随情報に基づいて変調された光束を対象に対して照射してその対象の表面に１または複数の光スポットを形成し、対象の表面の光スポットを撮影し、撮影した光スポットの時系列に沿った複数の撮影画像に基づいて付随情報を復調し、復調した付随情報に基づいてゲームを進行していき、ゲームの進行に応じて付随情報に基づいて選択される画像または動画像を呈示する。
【００６３】
このゲーム実行方法を利用すると、光指示装置を無線のゲームコントローラとして使用でき、システム構成上、光指示装置すなわちプレーヤの増減を簡単に行うことができる。すなわち、プレーヤが随時参入、退出することができる。また、プレーヤからの情報によるゲーム操作が簡単となるとともに、ゲーム操作が画面に直接的に投影されるので、臨場感がより高まる。
【００６４】
【発明の実施の形態】
以下、図に基づいて本発明の実施の形態を説明する。
【００６５】
実施の形態１．
図１は、本発明の実施の形態１に係る光指示システムの構成を示すブロック図である。図１において、光指示装置１は、ユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象２０１に対して照射してその対象２０１の表面に光スポット１ａを形成する装置である。この光指示装置１は、例えば操作部を有するレーザポインタといった形態で実現される。なお、「光束」とは、レーザポインタによるレーザビーム、他の光源からの直進性の高い光などである。
【００６６】
なお、この対象２０１は、３次元空間内に存在する例えば物体、生物などの物、画像が表示される表示画面、画像が投影されるスクリーンや壁などとされる。また、この付随情報としては、光指示装置１の操作部１３（図２参照）のうちの各スイッチのオン／オフの状態を示すオン／オフ情報、ボリューム、ジョグダイアル（商標）、ジョイスティック（商標）の状態を示すレベル情報、それらの情報に予め関連付けられたデータ、光指示装置１へ入力される各種データなどとされる。
【００６７】
また、撮影装置２は、視野内の対象２０１を撮影する装置であって、対象２０１の表面の光スポット１ａを撮影する撮影手段、および撮影した光スポット１ａの時系列に沿った複数の撮影画像に基づいて付随情報を復調する復調手段として機能する装置である。
【００６８】
また、情報処理装置３は、撮影装置２から、対象２０１の画像データ、光スポット１ａの位置、および付随情報を取得する装置である。情報処理装置３は、例えば、パーソナルコンピュータ、撮影装置２に内蔵されるマイクロコンピュータなどとして実現される。
【００６９】
図２は、本発明の実施の形態１に係る光指示システムにおける光指示装置１の構成を示すブロック図である。図２において、発光素子１１は、変調回路１２により変調された電気信号を供給され、付随情報に基づいて変調された光束を出力する発光手段として機能する素子である。この発光素子１１としては、レーザダイオードなどが使用される。
【００７０】
また、変調回路１２は、制御回路１５による付随情報に基づいて所定の周波数の電気信号を変調する変調手段として機能する回路である。なお、変調回路１２による変調方式は、既存の方式を使用すればよい。例えば、付随情報がデジタルデータである場合には、ＦＳＫ（Ｆｒｅｑｕｅｎｃｙ Ｓｈｉｆｔ Ｋｅｙｉｎｇ）変調などとしてもよいし、付随情報がアナログ信号である場合には、周波数変調などとしてもよい。あるいは、例えば、各付随情報の値に対応して予め決められたパターンに変調するようにしてもよい。
【００７１】
また、操作部１３は、ユーザの操作を受け、その操作に応じた信号を出力する部品または装置である。操作部１３としては、スイッチ、ボリューム、ジョグダイアル（商標）、ジョイスティック（商標）などが使用される。また、操作部１３は、１つであってもよいし、複数であってもよい。複数の操作部１３が設けられる場合、操作部１３ごとに、異なる付随情報を予め割り当てておくようにしてもよい。インタフェース１４は、携帯電話機、パーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などといった外部装置に接続され、付随情報として使用されるデータなどを授受する回路である。
【００７２】
また、制御回路１５は、ユーザによる操作や、インタフェース１４に接続された外部装置からの指令に従って変調回路１２を制御する回路であって、ユーザによる操作や外部装置からの指令に従って付随情報を生成または選択する付随情報特定手段として機能する回路である。また、電源１６は、各部に電力を供給するバッテリである。
【００７３】
図３は、本発明の実施の形態１に係る光指示システムにおける撮影装置２の構成を示すブロック図である。図３において、イメージャ２１は、視野内の対象２０１を撮像し、撮像した対象２０１の画像データの一部または全部を出力する装置であって、所定のサイズの画素領域（画素数が縦横Ｍ×Ｎの領域）を有する撮像素子３１と、所定の指定情報により指定された撮像素子３１の画素領域の一部である部分領域の画像データＩ（Ｘ，Ｙ）を出力させる制御回路３２とを有する。なお、撮像素子３１としては、各画素にランダムアクセス可能な撮像素子が使用される。それにより、任意形状の部分領域のみをスキャンする、いわゆるエリアスキャンが実行可能となる。そのような撮像素子としては、所定の画素数（例えば、縦横１０２４×１０２４）を有するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ）イメージセンサなどがある。
【００７４】
なお、部分領域の広さは、対象２０１上での光スポット１ａの、予測される最大移動速度、フレーム間の時間間隔などを考慮して決定され、撮像素子３１の画素領域上でのフレーム間における光スポット１ａの最大移動距離（最大移動速度×フレーム間の時間間隔）だけ移動しても部分領域の外側とならないように設定される。また、例えば、部分領域の広さを６４×６４画素として画素領域全体の１００分の１以下とする。
【００７５】
また、演算処理部２２は、少なくともイメージャ２１から出力されたあるフレームについての部分領域の画像データに基づいて、その部分領域の画像データの画像特徴量を演算するとともに、光スポット１ａの像が部分領域に含まれるように次フレーム用の指定情報を演算する演算手段として機能する回路群である。この演算処理部２２は、イメージャ２１の撮像素子３１とは別体の集積回路などとして実装される。すなわち、イメージャ２１の撮像素子３１と演算処理部２２の演算器３３とは、ＬＳＩチップ間に設けられた通信路を介して互いに接続される。なお、画像特徴量とは、部分領域の画像に所定の演算を施して得られる物理量であり、例えば、画素値で重み付けした部分領域の重心位置、対象の画像の重心位置などの位置情報（全画素領域内での位置を示す情報）である。
【００７６】
演算処理部２２における演算器３３は、イメージャ２１からの部分領域の画像データＩ（Ｘ，Ｙ）を、画素数が縦横ｍ×ｎの矩形領域（ｍ＜Ｍ、ｎ＜Ｎ）の画像データＩ’（ｘ，ｙ）とし、例えば式（１）に従って、その部分領域の画像データＩ’（ｘ，ｙ）（ｘ＝１，・・・，ｍ、ｙ＝１，・・・，ｎ）の画像特徴量ζ_ｋ を演算するとともに、例えば式（２）に従って、光スポット１ａの像が部分領域に含まれるように次フレームにおける部分領域の位置および形状に対応する座標変換を示す座標変換パラメータρ_ｋ＋１ を生成する回路または装置である。
【００７７】
ζ_ｋ＝Ｇ（Ｉ’（ｘ，ｙ），ρ_ｋ） ・・・（１）
【００７８】
ここで、ｋは、フレームの番号であり、Ｇは、画像データから画像特徴量を導出するための関数であり、ρ_ｋ は、第ｋフレームについての１または複数の画像変換パラメータである。
【００７９】
ρ_ｋ＋１＝Ｈ（Ｉ’（ｘ，ｙ），ρ_ｋ） ・・・（２）
【００８０】
ここで、ｋは、フレームの番号であり、Ｈは、次フレームについての１または複数の座標変換パラメータρ_ｋ＋１ を導出するための関数である。
【００８１】
この実施の形態１においては、その座標変換として、２次元のアフィン変換が使用される。なお、アフィン変換を使用することで、２次元画像に対して拡大／縮小、回転、並進移動、及び剪断変形を施すことができる。ただし、座標変換は、アフィン変換に限定されるものではなく、極座標変換、射影変換などの、対象の運動に対して適切な他の座標変換を使用してもよい。
【００８２】
また、この実施の形態１においては、演算器３３は、あるフレームについての部分領域の画像データおよび座標変換パラメータから、そのフレームについての部分領域の画像特徴量および次フレームの座標変換パラメータを演算する。なお、座標変換パラメータとしては、例えば式（３）に示すアフィン変換における変換行列の各要素ａ，ｂ，ｃ，ｄおよび定数ベクトルの各要素ｅ，ｆが使用される。
【００８３】
【数１】

【００８４】
演算処理部２２における座標変換回路３４は、例えば式（４）に従って、演算器３３により生成された座標変換パラメータに基づいて次フレーム用の部分領域の指定情報を演算する回路である。なお、この座標変換回路３４は、コンピュータで実現してもよいし、専用ＬＳＩで実現するようにしてもよい。実施の形態１では、部分領域の指定情報としては、部分領域内の各画素についての全画素領域内での位置の情報（Ｘ，Ｙ）が使用される。
【００８５】
（Ｘ_ｋ，Ｙ_ｋ）＝Ｆ（（ｘ，ｙ），ρ_ｋ） ・・・（４）
【００８６】
ここで、（Ｘ_ｋ，Ｙ_ｋ）は、第ｋフレームにおける、部分領域内のある画素についての、撮像素子３１の画素領域における位置を示す画素位置情報であり、（ｘ，ｙ）は、演算器３３に記憶される際の、その部分領域に対応する矩形領域でのその画素の位置を示す画素位置情報である。
【００８７】
また、後処理器２３は、演算処理部２２により演算された１または複数の画像特徴量ζ_ｋ に基づいて光スポット１ａの位置を特定するとともに、一連の画像特徴量に基づいて付随情報を復調する復調手段として機能する回路または装置である。なお、実施の形態１では、後処理器２３は、例えば式（５）に従って、あるフレームについて、演算処理部２２からの画像特徴量により示される部分領域の位置から、そのフレームの時点での現実の光スポット１ａの位置を計算する。
【００８８】
Ｐ_ｋ＝Ｐ（ζ_ｋ） ・・・（５）
【００８９】
ここで、Ｐ_ｋ は、部分領域（または光スポット１ａ）の位置を示す位置ベクトルであり、Ｐは、画像特徴量から位置ベクトルＰ_ｋ を計算するための関数である。
【００９０】
図４は、本発明の実施の形態１に係る光指示システムにおける情報処理装置３の構成を示すブロック図である。図４において、ＣＰＵ５１は、ＲＯＭ５２やＨＤＤ５４に記憶されたプログラムを実行し、各種処理を実行する回路である。また、ＲＯＭ５２は、起動時に必要なデータやプログラムを予め記憶した不揮発性のメモリである。また、ＲＡＭ５３は、プログラム実行時に、プログラムやデータを一時的に記憶する揮発性のメモリである。また、ＨＤＤ５４は、各種データやプログラムを格納可能な大規模記録装置である。なお、ＨＤＤ５４の代わりに、またはＨＤＤ５４の他に、他の磁気ディスクなどの磁気記録媒体、光記録媒体、相変化記録媒体、半導体メモリ、光メモリなどの他の記録媒体およびそれらに対するアクセス装置（駆動装置）を設けるようにしてもよい。また、インタフェース５５は、撮影装置２などの装置が接続されるインタフェース回路である。
【００９１】
次に、上記システムにおける各装置の動作について説明する。
【００９２】
操作部１３に対してユーザの操作があると、光指示装置１は、付随情報に基づいて変調された光束を対象２０１に対して照射してその対象２０１の表面に光スポット１ａを形成する。
【００９３】
その際、光指示装置１では、制御回路１５が、操作部１３に対するユーザによる操作を検知すると、その操作に従って付随情報を生成または選択し、変調回路１２に供給する。変調回路１２は、制御回路１５から供給された付随情報に基づいて、所定の変調方式で電気信号を変調し、変調後の信号を増幅し、増幅後の信号を発光素子１１に供給する。この電気信号の変調レート（信号強度の変化の最小周期の逆数）は、撮影装置２のフレームレート以下とされる。また、この変調レートは、肉眼で点滅が知覚できない範囲の速度とされる。発光素子１１は、変調回路１２から供給された電気信号で駆動され、付随情報に基づいて変調された光束を出力する。この光束が対象２０１に到達し、光スポット１ａを形成する。
【００９４】
その一方で、撮影装置２は、対象２０１を撮影しつつ、対象２０１の表面の光スポット１ａを撮影し、撮影した光スポット１ａの時系列に沿った複数の撮影画像に基づいて付随情報を復調する。そして、撮影装置２は、光スポット１ａを含む対象２０１の画像データ、光スポット１ａの位置および付随情報を出力する。なお、付随情報を復調する場合、撮影画像内の光スポット１ａの画素値変化から、変調後の信号を特定し、その変調後の信号から付随情報が復調される。
【００９５】
その際、撮影装置２では、イメージャ２１が、撮影処理の最初や一定期間ごとに対象２０１を撮影し対象２０１の画像データを後処理器２３に供給し、イメージャ２１と演算処理部２２が、所定のフレームレートで、対象２０１の画像内の光スポット１ａを追尾しつつ、光スポット１ａの位置などを示す座標変換パラメータおよび光スポット１ａの画素値を、時系列に沿って繰り返し後処理器２３に供給する。後処理器２３は、その座標変換パラメータから光スポット１ａの位置を特定するとともに、一連の光スポット１ａの画素値に基づいて付随情報を復調する。
【００９６】
情報処理装置３は、撮影装置２から、対象２０１の画像データ、光スポット１ａの位置およびその光スポット１ａの付随情報を受信し、対象２０１の画像データと、光スポット１ａの位置および付随情報とを関連付ける。
【００９７】
その際、情報処理装置３では、ＣＰＵ５１は、所定の処理プログラムに従って動作し、インタフェース５５により受信された対象２０１の画像データ、光スポット１ａの位置およびその光スポット１ａの付随情報を、ＲＡＭ５３に記憶させる。
【００９８】
なお、光指示装置１が、自己に固有な識別情報を付随情報に含め、撮影装置２が、付随情報内の識別情報に基づいて、その付随情報の送信元の光指示装置１を特定するようにしてもよい。
【００９９】
ここで、撮影装置２による光スポット１ａの撮影の詳細について説明する。図５は、本発明の実施の形態１に係る光指示システムにおける撮影装置２の動作を説明するフローチャートである。
【０１００】
まず、イメージャ２１の全画素領域のうちの光スポット１ａを含む部分領域の初期位置の情報が、手動または従前の画像処理方式によって、座標変換回路３４に入力される（ステップＳ１）。
【０１０１】
最初（ｋ＝１）のフレームについては、座標変換回路３４は、入力された情報に基づいて、部分領域を指定する指定情報をイメージャ２１の制御回路３２に供給する（ステップＳ２）。その際、座標変換回路３４は、部分領域内の画素を指定するための画素位置情報（Ｘ_１，Ｙ_１）を、転送後の領域における画素（ｘ，ｙ）ごとに順番に制御回路３２に供給する。
【０１０２】
そして、イメージャ２１の制御回路３２は、順番に、供給された画素位置情報に対応する撮像素子３１の画素から部分領域の画像データＩ（Ｘ_１，Ｙ_１）を出力させる（ステップＳ３）。イメージャ２１から出力された画像データＩ（Ｘ_１，Ｙ_１）は、演算器３３に転送され、部分領域に対応する矩形領域の画像データＩ’（ｘ，ｙ）として順番に記憶されていく。
【０１０３】
そして、部分領域内の全画素の画像データの転送が完了すると、演算器３３は、その部分領域の画像データＩ（ｘ，ｙ）（ｘ＝１，・・・，ｍ、ｙ＝１，・・・，ｎ）からその部分領域の画像についての画像特徴量ζ_１ を演算し、後処理器２３に出力する（ステップＳ４）。後処理器２３は、その画像特徴量ζ_１ または時系列に沿った複数の画像特徴量ζ_１ からその部分領域内の光スポット１ａに付加された付随情報を復調する（ステップＳ４）。
【０１０４】
また、演算器３３は、その部分領域の画像データＩ’（ｘ，ｙ）から、次フレーム用の座標変換パラメータρ_ｋ＋１ （今の場合、ρ_２ ）の値を演算し、座標変換回路３４に供給する（ステップＳ５）。
【０１０５】
このようにして、まず最初（ｋ＝１）のフレームについての画像特徴量ζ_ｋ の演算処理および付随情報の復調処理を行う。
【０１０６】
次にステップＳ２に戻り、次フレーム（ｋ＝２）についての処理を開始する。座標変換回路３４は、演算器３３から供給された座標変換パラメータρ_２ に基づいて部分領域を座標変換し、部分領域内の各画素の、座標変換後の画素位置情報（Ｘ_２，Ｙ_２）を、順番にイメージャ２１の制御回路３２に供給する（ステップＳ２）。
【０１０７】
イメージャ２１の制御回路３２は、順番に、供給された画素位置情報に対応する撮像素子３１の画素から画像データＩ（Ｘ_２，Ｙ_２）を出力させる（ステップＳ３）。イメージャ２１から出力された部分領域の画像データＩ（Ｘ_２，Ｙ_２）は、演算器３３に転送され、演算器３３において画像データＩ’（ｘ，ｙ）として順番に記憶されていく。図６は、本発明の実施の形態１における撮影装置２の撮像素子３１の全画素領域の画像データ４１からの部分領域の画像データ４１ａの切り出しを説明する図である。図６に示すように、撮像素子３１の全画素領域の画像データ４１のうちの部分領域の画像データ４１ａが、演算器３３に転送され、画像データ４２として記憶される。
【０１０８】
そして、部分領域内の全画素の画像データの転送が完了すると、演算器３３は、その部分領域の画像データＩ’（ｘ，ｙ）および本フレーム用の座標変換パラメータρ_２ に基づいてその部分領域の画像についての画像特徴量ζ_２ を演算し、後処理器２３に出力する（ステップＳ４）。後処理器２３は、その画像特徴量ζ_２ または時系列に沿った複数の画像特徴量ζ_２ からその部分領域内の光スポット１ａに付加された付随情報を復調する（ステップＳ４）。
【０１０９】
また、演算器３３は、その部分領域の画像データＩ’（ｘ，ｙ）および本フレーム用の座標変換パラメータρ_２ に基づいて、次フレーム用の座標変換パラメータρ_３ の値を演算し、座標変換回路３４に供給する（ステップＳ５）。
【０１１０】
その際、演算器３３は、光スポット１ａのトラッキングのための座標変換処理、および画像データＩ’（ｘ，ｙ）内の光スポット１ａの画像が同一姿勢になるようにする座標変換処理を行う。
【０１１１】
図７は、本発明の実施の形態１における撮影装置２で実行されるトラッキング処理での２値化処理を説明する図である。実施の形態１における撮影装置２におけるトラッキング処理では、座標変換前の部分領域の画像データＩ’（ｘ，ｙ）を、図７に示すように所定の閾値で２値化し、２値化後の画素値（０または１）を重みとして、各画素位置に重み付けをした場合の部分領域の２値化画像の重心位置を演算し、その重心位置の基準位置からの変位に応じて部分領域を変位させる。
【０１１２】
また、図８は、本発明の実施の形態１における撮影装置２で実行される座標変換処理を説明する図である。撮影装置２における姿勢一定のための座標変換処理では、光スポット１ａの基準画像と本フレームの画像とを比較して、画像データＩ’（ｘ，ｙ）内の光スポット１ａの画像が同一姿勢になる座標変換を特定する。
【０１１３】
そして、上述のトラッキングおよび姿勢一定のための座標変換の両方を満たすアフィン変換などの座標変換パラメータの値を演算する。
【０１１４】
以下、同様にして、第３フレーム以降（ｋ＞２）、ステップＳ２からステップＳ５までの処理を繰り返すことで、光スポット１ａを適宜追跡して時系列に沿った光スポット１ａの画像が得られ、後処理器２３により時系列に沿った光スポット１ａの像の画素値から付随情報が復調される。図９は、本発明の実施の形態１における撮影装置２により実行されるトラッキングの一例を示す図である。すなわち、図９に示すように、時系列に沿って、全画素領域内で部分領域の位置や形状を変更していき、その部分領域の画像特徴量として部分領域の位置を、光スポット１ａの位置として、光スポット１ａが一定姿勢である状態で検出していき、時系列に沿って光スポット１ａの位置および画素値を繰り返し特定する。
【０１１５】
なお、その際、フレーム間の時間間隔は、部分領域の広さ、撮像素子３１から演算器３３へのデータ転送速度、および演算処理部２２の演算速度に応じて決定される。部分領域は、全画素領域より少なくて済むため、フレーム間の時間間隔を、全画素領域の画像データを転送する場合に比べ短く設定される。例えば、全画素数が１０２４×１０２４である場合に、部分領域の画素数を６４×６４とすると、転送すべき画像データが２５６分の１となり、その分だけフレーム間の時間間隔を短く（例えば１０００分の１秒以下に）設定することができる。
【０１１６】
なお、上記実施の形態１においては、説明の便宜上、部分領域を１つとして説明しているが、複数の光スポット１ａを含む複数の部分領域を並行して同様に追尾し、光スポット１ａの位置および画素値を特定することができる。その場合、各光スポット１ａについての処理を並列に実行するようにしてもよい。
【０１１７】
以上のように、上記実施の形態１によれば、光指示装置１は、ユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象２０１に対して照射してその対象２０１の表面に光スポット１ａを形成する。そして、撮影装置２は、対象２０１の表面の光スポット１ａを撮影し、撮影した光スポット１ａの時系列に沿った複数の撮影画像に基づいて付随情報を復調する。これにより、対象２０１に接触することなく付随情報を簡単に付加することができる。
【０１１８】
さらに、上記実施の形態１によれば、撮影装置２が、所定のサイズの画素領域を有する撮像素子３１と、所定の指定情報により指定された撮像素子３１の画素領域の一部である部分領域の画像データを出力させる制御回路３２とを有するイメージャ２１と、少なくともイメージャ２１から出力されたあるフレームの部分領域の画像データに基づいて、部分領域の画像データの画像特徴量を演算するとともに、光スポット１ａが部分領域に含まれるように次フレーム用の指定情報を演算する演算処理部２２とを備える。そして、後処理器２３が、復調手段として機能し、演算処理部２２により演算された画像特徴量に基づいて付随情報を復調する。これにより、光スポット１ａの画像を時系列に沿って正確に撮影することができる。
【０１１９】
さらに、上記実施の形態１によれば、演算処理部２２が、座標変換後の光スポット１ａの像が部分領域内で一定のパターンおよび形状になる座標変換を特定し、画像特徴量の演算の際または前に部分領域に対して座標変換を行う。これにより、光スポット１ａが部分領域内で一定姿勢で捕捉し続けられるため、部分領域内での光スポット１ａの位置のゆらぎが少なくなり、より正確に光スポット１ａを撮影し続けることができる。
【０１２０】
さらに、上記実施の形態１によれば、演算処理部２２が、座標変換後の光スポット１ａの像が部分領域内で一定のパターンおよび形状になる座標変換を特定し、部分領域の画像データとともに座標変換に基づいて次フレーム用の指定情報を演算する。これにより、撮影装置２の視野内での光スポット１ａの姿勢変化を考慮して次フレームでの位置を予測するため、部分領域で光スポット１ａを捕捉し続けることができる。
【０１２１】
さらに、上記実施の形態１によれば、演算処理部２２が、あるフレームについての部分領域の画素値の重心位置に基づいて次フレーム用の指定情報を演算する。これにより、光スポット１ａの画像データと周辺の画像データとの画素値の違いを利用して光スポット１ａの移動量を簡単に得ることができる。
【０１２２】
さらに、上記実施の形態１によれば、演算処理部２２が、光スポット１ａの像が部分領域から外れないフレームレートで指定情報を繰り返しイメージャに供給する。これにより、高フレームレートで正確に光スポットを追尾することができる。
【０１２３】
さらに、上記実施の形態１によれば、光指示装置１が、光束の変調レートを、撮影装置２のフレームレート以下とする。これにより、変調された信号を正確に復元でき、その信号から付随情報を正確に復調することができる。例えば、光束の変調レートをキロヘルツオーダから１００キロヘルツオーダまでの範囲内のいずれかの値としても、撮影装置２のフレームレートの範囲内で付随情報を正確に復調することができる。
【０１２４】
実施の形態２．
本発明の実施の形態２に係る光指示システムは、実施の形態１と同様の機能を有し、さらに、対象２０１の画像と、光スポット１ａの位置および付随情報とを、両者を関連付けた状態で記録する。この実施の形態２に係る光指示システムでは、対象２０１の画像、並びに光スポット１ａの位置および付随情報は、情報処理装置３のＨＤＤ５４に記録される。
【０１２５】
図１０は、本発明の実施の形態２に係る光指示システムにおける情報処理装置３により記録された記録データセット６１の一例を示す図である。図１０において、記録データセット６１は、画像データファイル６１ａおよび付随情報ファイル６１ｂを有する。画像データファイル６１ａは、対象２０１の画像データを含むファイルである。
【０１２６】
付随情報ファイル６１ｂは、光スポット１ａの位置および付随情報を含むファイルである。図１１は、本発明の実施の形態２に係る光指示システムにおける情報処理装置３により記録された付随情報ファイル６１ｂの構造の一例を示す図である。例えば図１１に示す付随情報ファイル６１ｂでは、このファイルの記録日時、対象２０１の画像データを含む画像データファイル６１ａの名称、光スポット１ａの位置、光指示装置１の固有な識別情報、および付随情報が互いに関連付けられて記録されている。なお、画像データファイル６１ａの格納場所が一定のフォルダやディレクトリに予め定められていない場合には、画像データファイル６１ａの名称の代わりに、画像データファイル６１ａのファイルパス（ＨＤＤ５４におけるファイルの格納場所を示す相対パスまたは絶対パス）を使用してもよい。
【０１２７】
なお、図１０に示す記録データセット６１は、１つの画像データに対して１つの付随情報を記録しているが、１つの画像データに対して複数の付随情報を記録するようにしてもよい。
【０１２８】
図１２は、本発明の実施の形態２に係る光指示システムにより撮影される対象２０１の一例を示す図である。図１３は、図１２に示す対象２０１に対応して記録された付随情報ファイル６１ｂの一例を示す図である。
【０１２９】
例えば、図１２に示す対象２０１について、ユーザは、光指示装置１の向きを調節して、椅子５０１の表面に光スポット１ａ（１）を形成し、その時に、付随情報を付加するための操作を行う。これにより、その付随情報が光スポット１ａ（１）に付加され、その光スポット１ａ（１）の位置およびその付随情報が撮影装置２により取得される。次に、ユーザは、光指示装置１の向きを調節して、椅子５０２の表面に光スポット１ａ（２）を形成し、その時に、付随情報を付加するための操作を行う。これにより、その付随情報が光スポット１ａ（２）に付加され、その光スポット１ａ（２）の位置およびその付随情報が撮影装置２により取得される。次に、ユーザは、光指示装置１の向きを調節して、テーブル５０３の表面に光スポット１ａ（３）を形成し、その時に、付随情報を付加するための操作を行う。これにより、その付随情報が光スポット１ａ（３）に付加され、その光スポット１ａ（３）の位置およびその付随情報が撮影装置２により取得される。そして最後に、ユーザは、光指示装置１の向きを調節して、本棚５０４の表面に光スポット１ａ（４）を形成し、その時に、付随情報を付加するための操作を行う。これにより、その付随情報が光スポット１ａ（４）に付加され、その光スポット１ａ（４）の位置およびその付随情報が撮影装置２により取得される。
【０１３０】
その際、撮影装置２は、これらの椅子５０１，５０２、テーブル５０３および本棚５０４を含む対象２０１を撮影しており、図１２に示す対象２０１全体の１つの画像データと、上記４つの光スポット１ａ（１）〜（４）の位置および付随情報とを関連付けて、例えば図１３に示すように記録する。
【０１３１】
図１３に示す付随情報ファイル６１ｂの例では、対象２０１全体の画像データファイル「０００１．ＪＰＧ」と、４つの光スポット１ａ（１）〜（４）の位置「１３０，４５」，「３００，４５」，「２３０，６０」，「２０，１１０」および付随情報「１番目」，「２番目」，「３番目」，「４番目」とが関連付けられている。
【０１３２】
このように、１枚の画像データに対して、光スポットの位置および付随情報の少なくとも一方を複数関連付けることで、引越し手順の記録、作業現場での手順または指示の記録などに応用することができる。例えば野外のダム、高層建築などの作業現場といった遠隔にある物体に対する手順や指示などを記録する場合には、従来の技術ではそのような物体に対応させて付随情報を記録することは一般的に困難であるため、本実施の形態の光指示システムは、特に便利である。また、同様にして、教室または会議室において発表内容などの対象に対してメモを付随情報として記録することも可能である。また、同様にして、顕微鏡を通して微視的な物体、生物などに、各種付随情報を付加して記録することも可能である。
【０１３３】
なお、実施の形態２に係る光指示システムのその他の構成および動作については実施の形態１の場合と同様であるので、その説明を省略する。
【０１３４】
この実施の形態２に係る光指示システムは、他の実施の形態と適宜組み合わせ可能である。
【０１３５】
以上のように、上記実施の形態２によれば、撮影装置２は、撮影した光スポット１ａの撮影画像に基づいて光スポット１ａの位置を特定し、情報処理装置３は、対象２０１の画像データと、光スポット１ａの位置および付随情報の少なくとも一方とを関連付ける。これにより、付随情報が付加された対象２０１の画像や光スポット１ａの位置などを簡単に特定することができる。
【０１３６】
さらに、上記実施の形態２によれば、情報処理装置３が、１枚の画像データに対して、光スポット１ａの位置および付随情報の少なくとも一方を複数関連付ける。これにより、付随情報が付加された対象２０１の画像や複数の光スポット１ａの位置などを簡単に特定することができる。
【０１３７】
実施の形態３．
本発明の実施の形態３に係る光指示システムは、復調された付随情報に応じて画像または動画像を選択し、その画像または動画像を対象２０１上などに呈示するようにしたものである。
【０１３８】
図１４は、本発明の実施の形態３に係る光指示システムの構成を示すブロック図である。図１４において、情報処理装置３Ａは、情報処理装置３と同様に構成され、処理プログラムに従って動作し、撮影装置２により復調された付随情報に応じて画像または動画像を選択し、その画像または動画像のデータを投影装置１０１に出力する装置である。
【０１３９】
また、投影装置１０１は、画像または動画像のデータを供給され、その画像または動画像といった像１０１ａを対象２０１上に投影する装置である。この投影装置１０１としては、プロジェクタなどが使用される。
【０１４０】
なお、この投影装置１０１は、付随情報に基づいて選択される画像または動画像を呈示する画像呈示手段として機能する。その他、対象２０１をディスプレイの表示画面とした場合には、そのディスプレイを画像呈示手段として使用することができる。
【０１４１】
なお、図１４におけるその他の構成要素については、実施の形態１のものと同様であるので、その説明を省略する。
【０１４２】
次に、上記システムにおける各装置の動作について説明する。
【０１４３】
操作部１３に対してユーザの操作があると、光指示装置１は、実施の形態１の場合と同様にして、付随情報に基づいて変調された光束を対象２０１に対して照射してその対象２０１の表面に光スポット１ａを形成する。その一方で、撮影装置２は、実施の形態１の場合と同様にして、対象２０１を撮影しつつ、対象２０１の表面の光スポット１ａを撮影し、撮影した光スポット１ａの時系列に沿った複数の撮影画像に基づいて付随情報を復調し、光スポット１ａを含む対象２０１の画像データ、光スポット１ａの位置および付随情報を出力する。
【０１４４】
そして、情報処理装置３Ａは、撮影装置２から、対象２０１の画像データ、光スポット１ａの位置およびその光スポット１ａの付随情報を受信し、その位置および付随情報の少なくとも一方に応じて画像または動画像を選択し、その画像または動画像のデータを投影装置１０１に供給する。投影装置１０１は、その画像または動画像のデータに基づく像１０１ａを対象２０１に投影する。
【０１４５】
なお、情報処理装置３Ａは、その付随情報に基づいて画像または動画像を選択するとともに、その付随情報に基づいてその画像または動画像の呈示位置（投影位置）を決定するようにしてもよい。
【０１４６】
例えば、情報処理装置３Ａは、光指示装置１の操作部１３のうちのある操作部に対する操作に対応した付随情報が供給されると、一連の画像のうちの次の画像を表示させ、別の操作部に対する操作に対応した付随情報が供給されると、一連の画像のうちの１つ前の画像を表示させたりする。また、情報処理装置３Ａが、付随情報に応じて、投影装置１０１の電源のオン／オフ、投影の開始／停止を行うようにしてもよい。
【０１４７】
また、例えば、情報処理装置３Ａは、投影装置１０１により予め対象２０１に画像または動画像を投影させておき、光指示装置１の操作部１３に対するある操作に対応した付随情報が供給されると、その付随情報に応じて別の画像を重畳させて投影させるようにしてもよい。
【０１４８】
この実施の形態３に係る光指示システムは、他の実施の形態と適宜組み合わせ可能である。
【０１４９】
以上のように、上記実施の形態３によれば、投影装置１０１が、復調された付随情報に基づいて選択される画像または動画像を呈示する。これにより、光指示装置１に対する操作などにより、光スポット１ａとともに、必要に応じて各種画像を呈示することができる。
【０１５０】
実施の形態４．
本発明の実施の形態４に係る光指示システムは、復調された付随情報に応じて、所定の機構に設けられた駆動装置を制御する。
【０１５１】
図１５は、本発明の実施の形態４に係る光指示システムの構成を示すブロック図である。図１５において、情報処理装置３Ｂは、情報処理装置３と同様に構成され、処理プログラムに従って動作し、撮影装置２により復調された付随情報に応じて、所定の機構に設けられたアクチュエータ１１１を制御する制御手段として機能する装置である。
【０１５２】
また、アクチュエータ１１１は、所定の機械または機構に設置され、電気信号により駆動され、所定の機械的動作を行う駆動装置である。なお、このアクチュエータ１１１としては、モータ、電磁アクチュエータなどが使用される。
【０１５３】
なお、図１５におけるその他の構成要素については、実施の形態１のものと同様であるので、その説明を省略する。
【０１５４】
次に、上記システムにおける各装置の動作について説明する。
【０１５５】
操作部１３に対してユーザの操作があると、光指示装置１は、実施の形態１の場合と同様にして、付随情報に基づいて変調された光束を対象２０１に対して照射してその対象２０１の表面に光スポット１ａを形成する。その一方で、撮影装置２は、実施の形態１の場合と同様にして、対象２０１を撮影しつつ、対象２０１の表面の光スポット１ａを撮影し、撮影した光スポット１ａの時系列に沿った複数の撮影画像に基づいて付随情報を復調し、光スポット１ａを含む対象２０１の画像データ、光スポット１ａの位置および付随情報を出力する。
【０１５６】
そして、情報処理装置３Ｂは、撮影装置２から、対象２０１の画像データ、光スポット１ａの位置およびその光スポット１ａの付随情報を受信し、その位置および付随情報の少なくとも一方に応じてアクチュエータ１１１に駆動信号を供給する。アクチュエータ１１１は、その駆動信号に応じて動作する。
【０１５７】
これにより、光指示装置１を、アクチュエータ１１１ひいてはアクチュエータ１１１が設けられた機構または機械の制御用入力装置として使用することができる。すなわち、産業用ロボット、玩具ロボット、人型ロボットなどのアクチュエータ１１１を、光指示装置１を使用して遠隔から制御することができる。
【０１５８】
この実施の形態４に係る光指示システムは、他の実施の形態と適宜組み合わせ可能である。
【０１５９】
以上のように、上記実施の形態４によれば、情報処理装置３Ｂは、付随情報に基づいて、所定の機構に設けられたアクチュエータ１１１を制御する。これにより、光指示装置１に対する操作などにより、所定の機構を制御することができる。
【０１６０】
実施の形態５．
本発明の実施の形態５に係る光指示システムは、複数の光スポットから光指示装置の位置を特定する。
【０１６１】
図１６は、本発明の実施の形態５に係る光指示システムの構成を示すブロック図である。図１６において、光指示装置８１は、光束を対象２０１に対して照射してその対象２０１の表面に所定の幾何学配置の少なくとも３つの光スポット１ａ−１〜１ａ−３を形成する装置である。
【０１６２】
また、撮影装置２Ａは、光スポット１ａ−１〜１ａ−３を撮影し、各光スポット１ａ−ｉ（ｉ＝１，２，３）の位置および形状を出力する装置である。なお、撮影装置２Ａは、撮影装置２と同様に実現することができる。ただし、その場合、後処理器２３は、各光スポット１ａ−ｉ（ｉ＝１，２，３）の位置および形状を取得し、出力する。
【０１６３】
また、情報処理装置８２は、情報処理装置３と同様に構成され、撮影装置２により撮影された撮影画像内での少なくとも３つの光スポット１ａ−１〜１ａ−３の幾何学配置および形状の少なくとも一方から光指示装置８１の位置を特定する装置である。
【０１６４】
なお、図１６におけるその他の構成要素については、実施の形態１のものと同様であるので、その説明を省略する。
【０１６５】
図１７は、本発明の実施の形態５に係る光指示システムにおける光指示装置８１の構成を示すブロック図である。図１７において、発光素子１１−１〜１１−３は、駆動回路９１により供給された電気信号に基づいて、互いに所定の角度で光束を出射する発光手段として機能する素子である。この発光素子１１−１〜１１−３としては、レーザダイオード、レーザダイオードアレイなどが使用される。なお、複数の発光素子１１−１〜１１−３の代わりに、１つの発光素子とその発光素子からの光を３つに分岐する光学系を使用するようにしてもよい。
【０１６６】
また、駆動回路９１は、制御回路１５からの制御信号に応じて電気信号を出力する回路である。
【０１６７】
なお、図１７におけるその他の構成要素については、実施の形態１のもの（図２）と同様であるので、その説明を省略する。
【０１６８】
なお、上記実施の形態１〜４における変調回路１２と同様にして、駆動回路９１が、付随情報に基づいて変調された電気信号を発光素子１１−１〜１１−３に供給するようにしてもよい。その場合、互いに異なる付随情報に基づいて変調された複数の電気信号を発光素子１１−１〜１１−３にそれぞれ供給するようにしてもよい。
【０１６９】
次に、上記システムにおける各装置の動作について説明する。
【０１７０】
操作部１３に対してユーザの操作があると、光指示装置８１は、光束を対象２０１に対して照射してその対象２０１の表面に光スポット１ａ−１〜１ａ−３を形成する。その一方で、撮影装置２Ａは、対象２０１を撮影しつつ、対象２０１の表面の光スポット１ａ−１〜１ａ−３を撮影し、各光スポット１ａ−ｉ（ｉ＝１，２，３）の位置および形状を出力する。
【０１７１】
また、情報処理装置８２は、撮影装置２により撮影された撮影画像内での光スポット１ａ−１〜１ａ−３の幾何学配置および形状の少なくとも一方から光指示装置８１の位置を特定する。
【０１７２】
その際、例えば、情報処理装置８２は、各光スポット１ａ−ｉ（ｉ＝１，２，３）の形状から、対象２０１への３つの光束の入射角度を特定し、それらの入射角度から、対象２０１を基準とした光指示装置８１の位置を特定する。例えば光束の断面が円であれば、光スポット１ａ−ｉは、入射角度に応じた楕円形状となるため、光スポット１ａ−ｉの形状から光束の入射角度が特定される。
【０１７３】
また、例えば、光スポット１ａ−ｉ間の距離および光スポット１ａ−ｉ間の出射角度から、対象２０１上の光スポット１ａ−１〜１ａ−３の位置から光指示装置８１までの距離が特定される。
【０１７４】
この実施の形態５に係る光指示システムは、他の実施の形態と適宜組み合わせ可能である。
【０１７５】
以上のように、上記実施の形態５によれば、光指示装置８１が、所定の幾何学配置の少なくとも３つの光スポット１ａ−１〜１ａ−３を形成し、情報処理装置８２は、撮影画像内での少なくとも３つの光スポット１ａ−１〜１ａ−３の幾何学配置および形状の少なくとも一方から光指示装置８１の位置を特定する。これにより、光指示装置８１を撮影しなくても光指示装置８１の位置を特定することができる。
【０１７６】
実施の形態６．
本発明の実施の形態６に係る光指示システムは、撮影装置に光指示装置を内蔵し、両者を一体としたものである。
【０１７７】
図１８は、本発明の実施の形態６に係る光指示システムの構成を示すブロック図である。図１８において、撮影装置１２１は、上述の光指示装置１および撮影装置２と同様の機能を有する撮影装置である。この撮影装置１２１において、撮影部１３１は、撮影装置１２１内で撮影装置２と同様の機能を有する部分である。すなわち、この撮影部１３１は、対象２０１の表面の光スポット１ａを撮影する撮影手段、および撮影した光スポット１ａの時系列に沿った複数の撮影画像に基づいて付随情報を復調する復調手段として機能する。
【０１７８】
また、光指示部１３２は、撮影装置１２１内で光指示装置１と同様の機能を有する部分である。すなわち、この光指示部１３２は、ユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象２０１に対して照射してその対象２０１の表面に光スポット１ａを形成する光指示手段として機能する。なお、光指示部１３２は、撮影装置１２１に固定の状態としてもよいし、着脱可能な状態で撮影装置１２１に装備するようにしてもよい。
【０１７９】
また、記録装置１３３は、撮影部１３１により得られた光スポット１ａの位置および付随情報を記録する装置である。なお、この記録装置１３３としては、半導体メモリや磁気記録媒体などが使用される。また、コネクタ１３４は、情報処理装置３を接続される接続部である。なお、撮影装置１２１と情報処理装置３とを無線通信により接続する場合には、無線通信装置が両者にそれぞれ設けられる。
【０１８０】
なお、図１８におけるその他の構成要素については実施の形態１のものと同様であるので、その説明を省略する。
【０１８１】
次に、上記システムにおける各装置の動作について説明する。
【０１８２】
この実施の形態６に係る光指示システムでは、撮影装置１２１に光指示装置１と同様の光指示部１３２が内蔵されているので、撮影部１３１による対象２０１の撮影中に、ユーザ操作により適時、光指示部１３２により付随情報を付加された光スポット１ａが対象２０１上に形成される。そして、撮影部１３１によりその付随情報が復調され、実施の形態２と同様にして記録装置１３３に記録される。そして、この撮影装置１２１に情報処理装置３が適宜接続され、情報処理装置３が撮影装置１２１からその付随情報を取得する。
【０１８３】
なお、情報処理装置３の詳細な動作については、上述の実施の形態の場合と同様であるので、その説明を省略する。また、撮影部１３１および光指示部１３２の動作については、上述の撮影装置２および光指示装置１の動作と同様であるので、その説明を省略する。
【０１８４】
この実施の形態６に係る光指示システムは、他の実施の形態と適宜組み合わせ可能である。
【０１８５】
以上のように、上記実施の形態６によれば、撮影装置１２１が、ユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象に対して照射してその対象の表面に光スポットを形成する光指示部１３２と、対象の画像を撮影するとともに、対象の表面の光スポットを撮影する撮影装置１３１とを一体として備える。これにより、撮影中に光指示部１３２を簡単に動作させることができ、所望のタイミングで簡単に付随情報を画像に付加することができる。
【０１８６】
実施の形態７．
本発明の実施の形態７に係る光指示システムは、投影装置に撮影装置を内蔵し、両者を一体としたものである。
【０１８７】
図１９は、本発明の実施の形態７に係る光指示システムの構成を示すブロック図である。図１９において、投影装置１４１は、上述の撮影装置２、情報処理装置３および投影装置１０１と同様の機能を有する投影装置である。なお、この情報処理装置３を省略し、投影部１５１または撮影装置２に内蔵のマイクロプロセッサを情報処理装置３として使用するようにしてもよい。
【０１８８】
この投影装置１４１において、投影部１５１は、投影装置１４１内で投影装置１０１と同様の機能を有する部分である。すなわち、この投影部１５１は、付随情報に基づいて選択される画像または動画像を対象２０１に投影する投影手段として機能する。また、光学系１５２は、例えばハーフミラーを有し、投影部１５１からの光を出射するとともに、対象２０１からの光を撮影装置２に入射させる光学装置である。
【０１８９】
なお、図１９におけるその他の構成要素については実施の形態１のものと同様であるので、その説明を省略する。
【０１９０】
次に、上記システムにおける各装置の動作について説明する。
【０１９１】
この実施の形態７に係る光指示システムでは、投影装置１４１により、光スポット１ａを含む対象２０１が撮影され、その光スポット１ａに付加された付随情報に応じた画像や動画像といった像１０１ａが投影される。
【０１９２】
なお、光指示装置１および撮影装置２の動作については、上述の実施の形態の場合と同様であるので、その説明を省略する。また、投影部１５１の動作については、上述の投影装置１０１の動作と同様であるので、その説明を省略する。
【０１９３】
この実施の形態７に係る光指示システムは、他の実施の形態と適宜組み合わせ可能である。
【０１９４】
以上のように、上記実施の形態７によれば、投影装置１４１が、対象２０１の表面の光スポット１ａを撮影し、撮影した光スポット１ａの時系列に沿った複数の撮影画像に基づいて付随情報を復調する撮影装置２と、付随情報に基づいて選択される画像または動画像を対象に投影する投影部１５１とを一体として備える。これにより、光指示装置１などにより投影画像を制御することができる。
【０１９５】
実施の形態８．
本発明の実施の形態８に係る光指示システムは、複数の光指示装置１−１〜１−Ｎを備え、各光指示装置１−ｉ（ｉ＝１，・・・，Ｎ）からの付随情報を復調する。
【０１９６】
図２０は、本発明の実施の形態８に係る光指示システムの構成を示すブロック図である。図２０において、光指示装置１−１〜１−Ｎは、それぞれ光指示装置１と同様にして、対象２０１上に光スポット１−１ａ〜１−Ｎａを形成する装置である。
【０１９７】
なお、図２０におけるその他の構成要素については実施の形態１のものと同様であるので、その説明を省略する。ただし、撮影装置２は、複数の光スポット１−１ａ〜１−Ｎａに付加されている複数の付随情報を復調する。
【０１９８】
次に、上記システムにおける各装置の動作について説明する。
【０１９９】
ある光指示装置１−ｉの操作部１３に対してユーザの操作があると、その光指示装置１−ｉは、付随情報に基づいて変調された光束を対象２０１に対して照射してその対象２０１の表面に光スポット１−ｉａを形成する。したがって、複数のユーザの操作があると、複数の光指示装置１−１〜１−Ｎからの光束が対象２０１に照射され、複数の光スポット１−１ａ〜１−Ｎａが形成される。
【０２００】
その一方で、撮影装置２は、対象２０１を撮影しつつ、対象２０１の表面の光スポット１−１ａ〜１−Ｎａを撮影し、撮影した各光スポット１−ｉａの時系列に沿った複数の撮影画像に基づいて付随情報をそれぞれ復調し、光スポット１−１ａ〜１−Ｎａを含む対象２０１の画像データ、光スポット１−１ａ〜１−Ｎａの位置およびそれらの付随情報を出力する。
【０２０１】
情報処理装置３は、撮影装置２から、対象２０１の画像データ、複数の光スポット１−１ａ〜１−Ｎａの位置および複数の光スポット１−１ａ〜１−Ｎａの付随情報を受信し、対象２０１の画像データと、光スポット１−１ａ〜１−Ｎａの位置および付随情報とを関連付ける。
【０２０２】
なお、光指示装置１−ｉが、自己に固有な識別情報を付随情報に含め、撮影装置２が、付随情報内の識別情報に基づいて、その付随情報の送信元の光指示装置１−ｉを特定するようにしてもよい。
【０２０３】
この実施の形態８に係る光指示システムは、他の実施の形態と適宜組み合わせ可能である。
【０２０４】
以上のように、上記実施の形態８によれば、複数の光指示装置１−１〜１−Ｎが使用され、撮影装置２が、光指示装置１−１〜１−Ｎのそれぞれからの付随情報を復調する。これにより、複数の光指示装置１−１〜１−Ｎにより互いに独立して、対象２０１に接触することなく付随情報を簡単に付加することができる。
【０２０５】
実施の形態９．
本発明の実施の形態９に係るアンケート収集システムは、上記実施の形態１〜８に係る光指示システムを応用し、アンケートの収集を行うようにしたものである。
【０２０６】
この実施の形態９に係るアンケート収集システムの構成は、上述の実施の形態１〜８、またはそれらの組み合わせとして実現することができる。ただし、情報処理装置３には、下記のアンケート収集機能が付加される。また、この実施の形態９に係るアンケート収集システムでは、対象２０１は、アンケート内の１または複数の選択肢そのもの（実物）、あるいは、その選択肢を呈示した画像とされる。
【０２０７】
そして、例えば、ユーザは、光指示装置１，１−ｉの向きを調節して、光スポット１ａ，１−ｉａを所望の選択肢の上に形成させ、操作部１３を操作してその選択肢に対する評価を入力する。なお、この評価は、操作部１３内のある操作部またはある操作に予め関連付けておけばよい。また、評価としては、「よい」、「悪い」といった２値的な評価の他、「４」，「３」，「２」，「１」のいずれかといった複数段階評価としてもよい。その評価の種類に応じて必要な操作部１３が設けられる。光指示装置１，１−ｉは、入力された評価を、予め対応付けられている付随情報に変換し、その付随情報で光束を変調する。
【０２０８】
撮影装置２は、対象２０１の画像データ、並びに１または複数の光スポット１ａ，１−ｉａの位置およびそれらに付加された付随情報を情報処理装置３に供給する。情報処理装置３は、１または複数の光スポット１ａ，１−ｉａの位置およびそれらに付加された付随情報から、各ユーザの評価をアンケート結果として集計する。すなわち、情報処理装置３は、各選択肢に対する評価の総和を計算する。
【０２０９】
なお、上記説明では、ユーザが、光指示装置１，１−ｉの向きを調節して、光スポット１ａ，１−ｉａを所望の選択肢の上に形成させているが、光スポット１ａ，１−ｉａの位置で選択肢を指定する必要がない場合には、例えば、光スポット１ａ，１−ｉａの位置は対象２０１上のいずれも場所にあってもよく、情報処理装置３は、付随情報のみからユーザの評価を集計する。
【０２１０】
また、１回で複数のユーザの評価を収集するようにしてもよいし、複数のユーザの評価を複数回にわたって収集するようにしてもよい。例えば、ショーケース内に物品を陳列し、それらを対象２０１として撮影した状態としておき、一定期間に不特定のユーザが、随時、光指示装置１，１−ｉを操作して評価を入力し、一定期間終了後に、評価をアンケート結果として集計するようにしてもよい。
【０２１１】
なお、この実施の形態９に係るアンケート収集システムと同様にして投票集計システムを実現することができる。
【０２１２】
以上のように、上記実施の形態９によれば、１または複数の光指示装置１，１−１〜１−Ｎが、１または複数のユーザの操作に応じて得られるアンケート結果を含む付随情報に基づいて変調された光束を生成し、その光束を対象２０１に対して照射してその対象２０１の表面に１または複数の光スポット１ａ，１−１ａ〜１−Ｎａを形成する。そして、撮影装置２が、対象２０１の表面の光スポット１ａ，１−１ａ〜１−Ｎａを撮影し、撮影した光スポット１ａ，１−１ａ〜１−Ｎａの時系列に沿った複数の撮影画像に基づいて付随情報を復調する。情報処理装置３は、復調された１または複数の付随情報を収集してアンケート結果を集計する。これにより、例えば対象２０１にタグなどをつけることなく、アンケートを簡単に収集することができる。
【０２１３】
実施の形態１０．
本発明の実施の形態１０に係るゲームシステムは、上記実施の形態１〜８に係る光指示システムを応用し、コンピュータゲームなどのゲームを実行するようにしたものである。
【０２１４】
この実施の形態１０に係るゲームシステムの構成は、上述の実施の形態１〜８、またはそれらの組み合わせとして実現することができる。ただし、情報処理装置３には、ゲーム実行機能が付加される。また、この実施の形態１０に係るゲームシステムでは、対象２０１は、ゲーム画像を表示するスクリーンなどの表示画面とされる。
【０２１５】
そして、１または複数のユーザは、光指示装置１，１−ｉ（ｉ＝１，・・・，Ｎ）の操作部１３を操作して、ゲーム進行上の操作を入力する。光指示装置１，１−ｉは、そのゲーム進行上の操作を付随情報に変換し、その付随情報に基づいて光束を変調し、光スポット１ａ，１−ｉａに付随情報を付加する。
【０２１６】
撮影装置２は、１または複数の光スポット１ａ，１−ｉａを撮影し、付随情報を復調し、付随情報（および必要に応じて光スポット１ａ，１−ｉａの位置）を情報処理装置３に供給する。情報処理装置３は、その付随情報などに基づいてゲームを進行させていき、投影装置１０１（あるいは投影部１５１）に対して、ゲームの進行に応じた画像または動画像のデータを供給する。投影装置１０１などは、そのデータに基づきその画像または動画像を対象２０１に投影する。
【０２１７】
この実施の形態１０に係るゲームシステムは、上記動作を繰り返すことで、ゲームを進行させていく。
【０２１８】
以上のように、上記実施の形態１０によれば、１または複数の光指示装置１，１−１〜１−Ｎが、１または複数のユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象２０１に対して照射してその対象２０１の表面に１または複数の光スポット１ａ，１−１ａ〜１−Ｎａを形成する。そして、撮影装置２が、対象２０１の表面の光スポット１ａ，１−１ａ〜１−Ｎａを撮影し、撮影した光スポット１ａ，１−１ａ〜１−Ｎａの時系列に沿った複数の撮影画像に基づいて付随情報を復調する。そして、情報処理装置３が、復調された付随情報に基づいてゲームを進行していき、投影装置１０１（あるいは投影部１５１）がゲームの進行に応じて付随情報に基づいて選択される画像または動画像を呈示する。これにより、光指示装置１，１−１〜１−Ｎを無線のゲームコントローラとして使用でき、システム構成上、光指示装置１−ｉすなわちプレーヤの増減を簡単に行うことができる。
【０２１９】
なお、上述の各実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。
【０２２０】
例えば、上記各実施の形態では、撮影装置２が付随情報を復調しているが、撮影装置２が時系列に沿った光スポット１ａ，１−ｉａの画素値を情報処理装置３に供給し、情報処理装置３が付随情報を復調するようにしてもよい。
【０２２１】
また、上記各実施の形態における光指示装置１，１−ｉ，８１を、他の実施の形態でも使用可能となるように構成してもよい。
【０２２２】
また、上記各実施の形態における光指示装置１，１−ｉによる光束は、１本に限らず、複数本としてもよい。光束を複数本とした場合の、光束の空間パターンは、特に限定されるものではなく、付随情報に応じて変更するようにしてもよい。また、光束の断面形状は、円形に限らず、楕円などの他の形状としてもよい。
【０２２３】
また、上記各実施の形態における光指示装置１，１−ｉ，８１では、光指示装置１，１−ｉ，８１に設けられた操作部１３により付随情報が決定されているが、光指示装置１，１−ｉ，８１に、携帯電話機などの外部装置を接続し、その外部装置の操作部を使用して付随情報を入力あるいは決定するようにしてもよい。
【０２２４】
また、上記各実施の形態における撮影装置２のイメージャ２１および演算処理部２２には、プロセッサ内蔵型のカメラヘッドを使用することができる。そのようなカメラヘッドには、ＦａｓｔＣｏｍ社製のｉＭＶＳ−１５５などがある。ｉＭＶＳ−１５５は、１０２４×１０２４画素の白黒の撮像素子を有し、その撮像素子に対して毎秒２．５メガ画素にランダムアクセスが可能である。また、外部インタフェースとしてＲＳ２３２Ｃのインタフェース回路を有する。
【０２２５】
【発明の効果】
本発明によれば、対象に接触することなく付随情報を簡単に付加する光指示システムおよび光指示方法、それらで使用される光指示装置、撮影装置および投影装置、それらを応用したアンケート収集システム、ゲームシステム、位置特定方法、アンケート収集方法およびゲーム実行方法を得ることができる。
【図面の簡単な説明】
【図１】図１は、本発明の実施の形態１に係る光指示システムの構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る光指示システムにおける光指示装置の構成を示すブロック図である。
【図３】図３は、本発明の実施の形態１に係る光指示システムにおける撮影装置の構成を示すブロック図である。
【図４】図４は、本発明の実施の形態１に係る光指示システムにおける情報処理装置の構成を示すブロック図である。
【図５】図５は、本発明の実施の形態１に係る光指示システムにおける撮影装置の動作を説明するフローチャートである。
【図６】図６は、本発明の実施の形態１における撮影装置の撮像素子の全画素領域の画像データからの部分領域の画像データの切り出しを説明する図である。
【図７】図７は、本発明の実施の形態１における撮影装置で実行されるトラッキング処理での２値化処理を説明する図である。
【図８】図８は、本発明の実施の形態１における撮影装置で実行される座標変換処理を説明する図である。
【図９】図９は、本発明の実施の形態１における撮影装置により実行されるトラッキングの一例を示す図である。
【図１０】図１０は、本発明の実施の形態２に係る光指示システムにおける情報処理装置により記録された記録データセットの一例を示す図である。
【図１１】図１１は、本発明の実施の形態２に係る光指示システムにおける情報処理装置により記録された付随情報ファイルの構造の一例を示す図である。
【図１２】図１２は、本発明の実施の形態２に係る光指示システムにより撮影される対象の一例を示す図である。
【図１３】図１３は、図１２に示す対象に対応して記録された付随情報ファイルの一例を示す図である。
【図１４】図１４は、本発明の実施の形態３に係る光指示システムの構成を示すブロック図である。
【図１５】図１５は、本発明の実施の形態４に係る光指示システムの構成を示すブロック図である。
【図１６】図１６は、本発明の実施の形態５に係る光指示システムの構成を示すブロック図である。
【図１７】図１７は、本発明の実施の形態５に係る光指示システムにおける光指示装置の構成を示すブロック図である。
【図１８】図１８は、本発明の実施の形態６に係る光指示システムの構成を示すブロック図である。
【図１９】図１９は、本発明の実施の形態７に係る光指示システムの構成を示すブロック図である。
【図２０】図２０は、本発明の実施の形態８に係る光指示システムの構成を示すブロック図である。
【符号の説明】
１，１−１〜１−Ｎ，８１ 光指示装置
１ａ，１−１ａ〜１−Ｎａ 光スポット
２ 撮影装置（撮影手段，復調手段、位置特定手段）
３，３Ａ 情報処理装置
３Ｂ 情報処理装置（制御手段）
１１，１１−１〜１１−３ 発光素子（発光手段）
１２ 変調回路（変調手段）
１３ 操作部
１５ 制御回路（付随情報特定手段）
２１ イメージャ
２２ 演算処理部（演算手段）
２３ 後処理器（復調手段、位置特定手段）
３１ 撮像素子
３２ 制御回路
４１ａ 部分領域
８２ 情報処理装置
１０１ 投影装置（画像呈示手段）
１１１ アクチュエータ（駆動装置）
１２１ 撮影装置
１３１ 撮影部（撮影手段，復調手段）
１３２ 光指示部（光指示手段）
１４１ 投影装置
１５１ 投影部（投影手段）
２０１ 対象

Claims (28)

1. ユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象に対して照射してその対象の表面に光スポットを形成する光指示装置と、
   上記対象の表面の上記光スポットを撮影する撮影手段と、
   上記撮影手段により撮影された上記光スポットの時系列に沿った複数の撮影画像に基づいて上記付随情報を復調する復調手段と、
   を備えることを特徴とする光指示システム。
2. 前記撮影手段は、所定のサイズの画素領域を有する撮像素子と、所定の指定情報により指定された上記撮像素子の画素領域の一部である部分領域の画像データを出力させる制御回路とを有するイメージャと、少なくとも上記イメージャから出力されたあるフレームの上記部分領域の画像データに基づいて、上記部分領域の画像データの画像特徴量を演算するとともに、前記光スポットが上記部分領域に含まれるように次フレーム用の上記指定情報を演算する演算手段とを備え、
   前記復調手段は、上記演算手段により演算された上記画像特徴量に基づいて、前記付随情報を復調すること、
   を特徴とする請求項１記載の光指示システム。
3. 前記演算手段は、座標変換後の前記光スポットの像が前記部分領域内で一定のパターンおよび形状になる座標変換を特定し、前記画像特徴量の演算の際または前に前記部分領域に対して上記座標変換を行うことを特徴とする請求項２記載の光指示システム。
4. 前記演算手段は、座標変換後の前記光スポットの像が前記部分領域内で一定のパターンおよび形状になる座標変換を特定し、前記部分領域の画像データとともに上記座標変換に基づいて次フレーム用の前記指定情報を演算することを特徴とする請求項２または請求項３記載の光指示システム。
5. 前記演算手段は、あるフレームについての前記部分領域の画素値の重心位置に基づいて次フレーム用の前記指定情報を演算することを特徴とする請求項２から請求項４のうちのいずれか１項記載の光指示システム。
6. 前記演算手段は、前記光スポットの像が前記部分領域から外れないフレームレートで前記指定情報を繰り返し前記イメージャに供給することを特徴とする請求項２から請求項５のうちのいずれか１項記載の光指示システム。
7. 前記撮影手段により撮影された前記光スポットの撮影画像に基づいて、前記光スポットの位置を特定する位置特定手段と、
   前記対象の画像データと、前記光スポットの位置および前記付随情報の少なくとも一方とを関連付ける情報処理装置と、
   を備えることを特徴とする請求項１記載の光指示システム。
8. 前記情報処理装置は、１枚の前記画像データに対して、前記光スポットの位置および前記付随情報の少なくとも一方を複数関連付けることを特徴とする請求項７記載の光指示システム。
9. 前記付随情報に基づいて選択される画像または動画像を呈示する画像呈示手段を備えることを特徴とする請求項１記載の光指示システム。
10. 前記画像呈示手段は、前記画像または動画像を前記対象に投影する投影装置であることを特徴とする請求項９記載の光指示システム。
11. 前記付随情報に基づいて、所定の機構に設けられた駆動装置を制御する制御手段を備えることを特徴とする請求項１記載の光指示システム。
12. 前記光指示装置に設けられ、所定の幾何学配置の少なくとも３つの光スポットを形成する発光手段と、
    撮影画像内での上記少なくとも３つの光スポットの幾何学配置および形状の少なくとも一方から前記光指示装置の位置を特定する情報処理装置と、
    を備えることを特徴とする請求項１記載の光指示システム。
13. 複数の前記光指示装置を備え、
    前記復調手段は、複数の光指示装置それぞれからの付随情報を復調すること、を特徴とする請求項１から請求項１２のうちのいずれか１項記載の光指示システム。
14. 前記光指示装置は、光束の変調レートを、前記撮影手段のフレームレート以下とすることを特徴とする請求項１から請求項１３のうちのいずれか１項記載の光指示システム。
15. 光束を対象に対して照射してその対象の表面に所定の幾何学配置の少なくとも３つの光スポットを形成する光指示装置と、
    上記対象の表面の上記光スポットを撮影する撮影手段と、
    上記撮影手段により撮影された撮影画像内での上記少なくとも３つの光スポットの幾何学配置および形状の少なくとも一方から上記光指示装置の位置を特定する情報処理装置と、
    を備えることを特徴とする光指示システム。
16. １または複数のユーザの操作に応じて得られるアンケート結果を含む付随情報に基づいて変調された光束を生成し、その光束を対象に対して照射してその対象の表面に１または複数の光スポットを形成する１または複数の光指示装置と、
    上記対象の表面の上記光スポットを撮影する撮影手段と、
    上記撮影手段により撮影された上記光スポットの時系列に沿った複数の撮影画像に基づいて上記付随情報を復調する復調手段と、
    上記復調手段により復調された１または複数の上記付随情報を収集してアンケート結果を集計する情報処理装置と、
    を備えることを特徴とするアンケート収集システム。
17. １または複数のユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象に対して照射してその対象の表面に光スポットを形成する１または複数の光指示装置と、
    上記対象の表面の上記光スポットを撮影する撮影手段と、
    上記撮影手段により撮影された上記光スポットの時系列に沿った複数の撮影画像に基づいて上記付随情報を復調する復調手段と、
    上記復調手段により復調された上記付随情報に基づいてゲームを進行していく情報処理装置と、
    ゲームの進行に応じて前記付随情報に基づいて選択される画像または動画像を呈示する画像呈示手段と、
    を備えることを特徴とするゲームシステム。
18. 操作部と、
    上記操作部に対するユーザの操作に応じて付随情報を生成または選択する付随情報特定手段と、
    上記付随情報特定手段による上記付随情報に基づいて電気信号を変調する変調手段と、
    上記変調手段により変調された電気信号を供給され、上記付随情報に基づいて変調された光束を出力する発光手段と、
    を備えることを特徴とする光指示装置。
19. 対象の表面の光スポットを撮影する撮影手段と、
    上記撮影手段により撮影された上記光スポットの時系列に沿った複数の撮影画像に基づいて、上記光スポットに付随する付随情報を復調する復調手段と、
    を備えることを特徴とする撮影装置。
20. ユーザの操作に応じて得られる付随情報に基づいて変調された光束を生成し、その光束を対象に対して照射してその対象の表面に光スポットを形成する光指示手段と、
    上記対象の画像を撮影するとともに、上記対象の表面の上記光スポットを撮影する撮影手段と、
    を備えることを特徴とする撮影装置。
21. 対象の表面の光スポットを撮影する撮影手段と、
    上記撮影手段により撮影された上記光スポットの時系列に沿った複数の撮影画像に基づいて付随情報を復調する復調手段と、
    上記付随情報に基づいて選択される画像または動画像を対象に投影する投影手段と、
    を備えることを特徴とする投影装置。
22. 光指示装置により、ユーザの操作に応じて得られる付随情報に基づいて変調された光束を対象に対して照射してその対象の表面に光スポットを形成し、
    上記対象の表面の上記光スポットを撮影し、
    撮影した上記光スポットの時系列に沿った複数の撮影画像に基づいて上記付随情報を復調すること、
    を特徴とする光指示方法。
23. 撮影した前記光スポットの撮影画像に基づいて前記光スポットの位置を特定し、
    前記対象の画像データと、前記光スポットの位置および前記付随情報の少なくとも一方とを関連付けること、
    を特徴とする請求項２２記載の光指示方法。
24. 前記付随情報に基づいて選択される画像または動画像を呈示することを特徴とする請求項２２記載の光指示方法。
25. 前記付随情報に基づいて、所定の機構に設けられた駆動装置を制御することを特徴とする請求項２２記載の光指示方法。
26. 光指示装置により、光束を対象に対して照射してその対象の表面に所定の幾何学配置の少なくとも３つの光スポットを形成し、
    上記対象の表面の上記光スポットを撮影し、
    撮影した撮影画像内での上記少なくとも３つの光スポットの幾何学配置および形状の少なくとも一方から上記光指示装置の位置を特定すること、
    を特徴とする位置特定方法。
27. １または複数の光指示装置により、１または複数のユーザの操作に応じて得られるアンケート結果を含む付随情報に基づいて変調された光束を対象に対して照射してその対象の表面に１または複数の光スポットを形成し、
    上記対象の表面の上記光スポットを撮影し、
    撮影した上記光スポットの時系列に沿った複数の撮影画像に基づいて上記付随情報を復調し、
    復調した１または複数の上記付随情報を収集してアンケート結果を集計すること、
    を特徴とするアンケート収集方法。
28. １または複数の光指示装置により、１または複数のユーザの操作に応じて得られる付随情報に基づいて変調された光束を対象に対して照射してその対象の表面に１または複数の光スポットを形成し、
    上記対象の表面の上記光スポットを撮影し、
    撮影した上記光スポットの時系列に沿った複数の撮影画像に基づいて上記付随情報を復調し、
    復調した上記付随情報に基づいてゲームを進行していき、ゲームの進行に応じて上記付随情報に基づいて選択される画像または動画像を呈示すること、
    を特徴とするゲーム実行方法。

Images