JP2010003264A - 情報提示制御装置及び情報提示制御方法 - Google Patents

Abstract

【課題】映像情報と音声情報の両方を不特定多数の人に見聞きされることなくユーザごとに提示できるようにする。
【解決手段】音声コンテンツのデータを光送信器６から光信号としてユーザ４に向けて送信し、この光信号をユーザ４が装着したイヤホン７の光受信器８で受信して音声信号に変換してスピーカから出力する。またそれと共に、ユーザ４の手の平５の動きをカメラ１の映像データをもとに検出して、手の平５が情報提示エリアに入った場合に映像コンテンツのデータをデータベース１４から読み出してプロジェクタ２から上記手の平５に投影する。
【選択図】 図２

Description

この発明は、ユーザに情報を提示するシステムで使用される情報提示制御装置及び情報提示制御方法に関する。

従来、例えば広告情報や案内情報を提示するシステムとしては、大画面ディスプレイを用いたシステムが一般的である。この種のシステムは、一度に多数の人に情報を提示できるという利点を持つ反面、個人にとっては提示された情報が自分に向けられた情報だと感じられないため、提示された情報に興味を持つまでに至らないことが多い。

そこで、例えばプロジェクタを使用してユーザの手の平に情報を光学的に投影させるシステムが提案されている（例えば、非特許文献１を参照。）。このシステムによれば、ユーザごとにそれぞれ情報を提示することができるので、ユーザにとっては提示された情報が自分に向けられた情報だと感じられ、これにより情報に対し興味を抱かせることが可能となる。
また、ユーザに対し音声等を含むオーディオ信号を送信することで、ユーザ一人ひとりに音声メッセージ等の情報を提示できるようにする提案もなされている（特許文献１を参照。）。

特開２００１−２４５００４号公報

石井、小林、"Palm Display Interface：情報の付加価値を生み出すインタフェース"、電子情報通信学会 信学技報、MVE2006-48,Vol.106, No.234, pp.31-36

ところが、プロジェクタを使用するシステムはユーザに対し個々に映像を提示することは可能であるが、音声メッセージをユーザごとに提示することができない。一方、オーディオ信号を送信するものはユーザごとに音声情報を提示することは可能であるが、映像情報を提示する場合には大型ディスプレイ等に頼る以外にない。

この発明は上記事情に着目してなされたもので、その主たる目的は、映像情報と音声情報の両方を不特定多数の人に見聞きされることなくユーザごとに提示できるようにした情報提示制御装置及び情報提示制御方法を提供することにある。

上記目的を達成するためにこの発明の一観点は、ユーザを撮像する撮像ユニットと、上記ユーザの身体の一部を利用した擬似的な情報提示媒体に映像コンテンツ情報を投影するための投影ユニットと、上記ユーザが所持する、光信号を受信して音声に変換する光／音声変換ユニットに向けて光信号を送信する光送信ユニットにそれぞれ接続される情報提示制御装置にあって、
上記撮像ユニットにより撮像された上記ユーザの映像データをもとに、当該ユーザの情報提示媒体の動き検出し、この情報提示媒体の動きが検出された場合に、当該情報提示媒体に対し上記投影ユニットにより映像コンテンツ情報を投影させ、かつ上記ユーザが所持する光／音声変換ユニットに向けて、上記光送信ユニットから音声コンテンツ情報に対応する光信号を送信させるようにしたものである。

したがって、例えばユーザが予め決められた位置に手の平を差し出すと、その動きが検出されて当該手の平に映像コンテンツ情報が投影される。また、音声コンテンツ情報が光信号に変換されてユーザに向け送信され、この光信号がユーザの光／音声変換ユニットで音声コンテンツに変換されて出力される。このため、映像コンテンツ及び音声コンテンツはいずれも不特定多数の人に見聞きされることなくユーザに提示されることになる。

またこの発明は、観点の異なる以下のような構成要素を備えることも特徴とする。
第１の構成要素は、上記光信号を送信させる際に、上記情報提示媒体の動きが検出された場合に、上記映像コンテンツ情報の投影動作と同期して、上記音声コンテンツ情報に対応する光信号を上記光送信ユニットから送信させるものである。
このようにすると、映像コンテンツ情報の投影動作と同期して音声コンテンツ情報がユーザに提示される。このため、例えば映像コンテンツの提示と音声コンテンツの提示が同時に開始され、かつ両コンテンツの提示動作が相互に対応付けられて進行するため、より一層ユーザの興味を惹くコンテンツ提示を実現できる。

第２の構成要素は、上記ユーザが所持する固有の所持物をさらに検出し、上記光信号を送信させる際に、予め記憶された複数の音声コンテンツ情報の中から、上記検出された固有の所持物に対応付けられた音声コンテンツ情報を選択し、この選択された音声コンテンツ情報に対応する光信号を上記光送信ユニットから送信させるようにしたものである。
このようにすると、ユーザが所持する所持物に応じて当該ユーザに対応する音声コンテンツを提示することが可能となる。また、ユーザが複数存在する場合に、これらのユーザごとにその所持物に応じて個別に音声コンテンツを提示することが可能となる。

第３の構成要素は、上記情報提示媒体の動きを検出する際に、上記撮像ユニットにより撮像された上記ユーザの映像データから、上記光送信ユニットから送信される光信号の上記情報提示媒体による反射光を検出し、この反射光の検出結果をもとに当該ユーザの情報提示媒体の動き検出するようにしたものである。
このようにすると、映像データからユーザの情報提示媒体の動きを簡単な処理でかつ正確に検出することが可能となる。また、音声コンテンツ情報の光信号を送信するために使用する光送信ユニットを情報提示媒体の動き検出にも利用するため、新たな発光手段を設ける必要がなく、システム構成の複雑化及び大型化を招かずに済む利点がある。

すなわちこの発明の一観点によれば、映像情報と音声情報の両方を不特定多数の人に見聞きされることなくユーザごとに提示することを可能にした情報提示制御装置及び情報提示制御方法を提供することができる。

以下、図面を参照してこの発明に係わる実施形態を説明する。
（第１の実施形態）
図１は、この発明の第１の実施形態に係わる情報提示制御装置を含む情報提示システムの概略構成図である。このシステムは、天井等のユーザ４の上方位置にカメラ１、プロジェクタ２及び光送信器６を設置し、これらのカメラ１、プロジェクタ２及び光送信器６を情報提示制御装置（以後単に制御装置と呼称する）３に接続したものとなっている。

カメラ１は、下方に存在するユーザ４とその手の平５を含む所定の範囲を撮像し、その映像信号を制御装置３へ出力する。プロジェクタ２は、制御装置３から出力される映像信号を光学像に変換し、この光学像を情報提示媒体としての上記ユーザの手の平５に投影する。光送信器６は例えばＬＥＤ（Light Emitting Diode）アレイにより構成され、制御装置３から出力される発光駆動信号に応じて発光動作を行い、その光信号を上記ユーザ４に向け送信する。ユーザ４はイヤホン７を装着している。イヤホン７には光受信器８が設けられている。光受信器８は、上記光送信器６から送信された光信号を受信してアナログ電気信号からなる音声信号に変換する。この音声信号はイヤホン７のスピーカから出力される。

制御装置３は、例えばパーソナル・コンピュータからなり、以下のように構成される。図２はそのハードウエア及びソフトウエアの構成を示すブロック図である。すなわち、制御装置３は、中央処理ユニット（ＣＰＵ；Central Processing Unit）を備える。そしてこのＣＰＵ１１に、バス１２を介して、プログラムメモリ１３Ａ、データベース１４、カメラインタフェース（カメラＩ／Ｆ）１５、プロジェクタインタフェース（プロジェクタＩ／Ｆ）１６、光送信器インタフェース（光送信器Ｉ／Ｆ）１７及び入出力インタフェース（入出力Ｉ／Ｆ）１８を接続したものとなっている。

カメラＩ／Ｆ１５は、上記カメラ１から出力された撮像信号を受信し、ディジタル化された撮像データに変換してＣＰＵ１１へ出力する。プロジェクタＩ／Ｆ１６は、データベース１４から読み出された提示対象の映像データをアナログ映像信号に変換し、このアナログ映像信号を上記プロジェクタ２へ出力する。光送信器Ｉ／Ｆ１７は、データベース１４から読み出された提示対象の音声データを発光駆動信号に変換し、この発光駆動信号を上記光送信器６へ出力する。

入出力Ｉ／Ｆ１８には、入力デバイス１９及び表示デバイス２０が接続されている。これらの入力デバイス１９及び表示デバイス２０は、システムの保守管理を行うために使用される。例えば、入力デバイス１９はキーボード及びマウスからなり、ユーザ又はシステムオペレータがデータベース１４に映像コンテンツ及び音声コンテンツを記憶させるための操作を行う際に使用される。表示デバイス２０は例えば液晶表示器からなり、制御装置３の動作状態を表す情報等を表示するために使用される。

データベース１４には、映像データ記憶領域と、音声データ記憶領域と、制御データ記憶領域が設けられている。映像データ記憶領域には、ユーザに提示すべき映像コンテンツのデータが記憶される。音声データ記憶領域には、ユーザに提示すべき音声コンテンツのデータが記憶される。これらの映像コンテンツ及び音声コンテンツは、相互に対応付けられて１つのマルチメディアコンテンツを構成する。
なお、映像コンテンツと音声コンテンツを別ファイルとせずに、映像コンテンツに音声コンテンツを含めたタイプのファイルとして記憶させるようにしてもよい。また、映像コンテンツ及び音声コンテンツに、さらにテキストデータ等のデータを含めるようにしてもよい。この種のタイプのコンテンツファイルを再生する場合は、読み出したコンテンツファイルを映像コンテンツと音声コンテンツ、さらにはデータに分離し、この分離したメディアごとに再生する。制御データ記憶領域には、ユーザ４の手の平５の特徴を表す情報が記憶されている。手の平５の特徴を表す情報は、例えば形状、大きさ及び色を表す情報からなる。

プログラムメモリ１３Ａには、この発明の第１の実施形態を実施するためのアプリケーション・プログラムとして、ユーザ動作検出プログラム１３１ａと、映像生成提示制御プログラム１３２ａと、音声提示制御プログラム１３３が格納されている。
ユーザ動作検出プログラム１３１ａは、予め設定された周期でカメラ１から出力された映像信号をカメラＩ／Ｆ１５を介して映像データとして取り込み、この映像データに対し画像処理を行ってユーザ４の手の平５を認識し、その位置を検出する処理を、上記ＣＰＵ１１に実行させる。

映像生成提示制御プログラム１３２ａは、上記ユーザ動作検出プログラム１３１ａにより、ユーザ４の手の平５の位置が予め定められた情報提示エリア内に移動したことが検出された場合に、データベース１４から予め記憶してある映像コンテンツのデータを読み出す。そして、この読み出された映像コンテンツのデータをプロジェクトＩ／Ｆ１６に供給して、プロジェクタ２からユーザ４の手の平５に対し上記映像コンテンツに対応する光学像を投影させるための処理を、上記ＣＰＵ１１に実行させる。

音声提示制御プログラム１３３は、ユーザの有無に関係なく、データベース１４から予め記憶された音声コンテンツのデータを周期的に繰り返し読み出す。そして、この読み出された音声コンテンツのデータを光送信器Ｉ／Ｆ１７に供給して、光送信器６から上記音声コンテンツに対応する光信号を出力させる処理を、上記ＣＰＵ１１に実行させる。

次に、以上のように構成された情報提示システムの動作を、制御装置３の制御手順に従い説明する。なお、情報提示媒体の種類はユーザ４の手の平５とし、その形状、大きさ及び色を表す情報がデータベース１４に予め記憶されているものとして説明を行う。図３は制御装置３の制御手順と制御内容を示すフローチャートである。

制御装置１のＣＰＵ１１は、先ずステップＳ３１において音声提示制御プログラム１３３を起動し、データベース１４から提示対象の音声コンテンツのデータを周期的に繰り返し読み出す。そして、この読み出された音声コンテンツのデータを復号したのち、光送信器Ｉ／Ｆ１７に供給する。光送信器Ｉ／Ｆ１７は、上記供給された音声コンテンツの復号データを発光駆動信号に変換し、この変換された発光駆動信号を光送信器６に供給する。この結果、光送信器６からは上記音声コンテンツに対応する光信号が送信される。

この送信された光信号は、例えば図４に示すようにユーザ４のイヤホン７に設けられた光受信器８で受信され、アナログ音声信号に変換される。そして、このアナログ音声信号はイヤホン７のスピーカから出力される。かくして、ユーザは音声コンテンツを聞くことが可能となる。

また、制御装置１のＣＰＵ１１はステップＳ３２においてユーザ動作検出プログラム１３１ａを起動し、情報提示対象であるユーザ４の手の平５の動きを検出する処理を以下のように実行する。
すなわち、先ずステップＳ３２により、カメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して映像データとして取り込む。そして、ステップＳ３３において、上記取り込んだ映像データと、予めデータベース１４に記憶しておいたユーザ４が存在しないときの映像データとの差分処理を行う。そして、その差分情報から、撮像データ内に存在するユーザ４の人体領域を検出する。このとき、ユーザ４の人体領域のサイズがしきい値を超えている場合には、当該人体領域に対し縮小処理を行う。なお、この縮小処理の結果、人体領域を分割できる場合には、複数のユーザ４の人体の重なり合いが起きていると認識し、その領域の数を撮像データ内に存在するユーザ４の人数として認識する。

続いてＣＰＵ１１は、上記検出された人体領域の重心点を検出し、さらに上記縮小処理前の人体領域について肌色抽出処理を行う。そして、この抽出された肌色領域の中から、手の平の大きさに当てはまる大きさの領域を抽出し、これを手の平候補領域とする。続いて、先に求めた人体領域の重心点に近い肌色領域を上記手の平候補領域から選択し、この選択した手の平候補領域を手の平５の領域と認識する。次に、この認識した手の平５の位置が、予め設定した情報提示エリアに入っているか否かをステップＳ３４で判定し、入っていなければ映像コンテンツの提示を行わずにそのまま処理を終了する。

一方、認識した手の平５の位置が、予め設定した情報提示エリアに入っていると判定されたとする。そうするとＣＰＵ１１は、ステップＳ３５により映像生成提示制御プログラム１３２ａを起動し、データベース１４の映像データ記憶領域から提示対象の映像コンテンツのデータを読み出す。そして、ステップＳ３６により、上記読み出された映像コンテンツのデータをプロジェクタＩ／Ｆ１６に送る。この結果、プロジェクタＩ／Ｆ１６から上記映像コンテンツのデータがプロジェクタ２に送られ、これによりプロジェクタ２によりユーザ４の手の平５上に上記映像コンテンツに対応する光学像が投影される。
図４はその様子の一例を示すもので、この例では箱形をなす物体の映像Ｖａが提示された場合を示している。かくして、ユーザ４は自身の手の平５において映像コンテンツを確認することができる。

なお、上記映像コンテンツのデータをプロジェクタＩ／Ｆ１６に送る際に、上記検出された手の平４の領域の位置を表す座標情報を送り、プロジェクタＩ／Ｆ１６により、上記検出された手の平４の領域の位置を表す座標情報に基づいてプロジェクタ２による光学像の投影方向が手の平５の位置に正確に向くように制御するようにしてもよい。また、ユーザ動作検出プログラム１３１により手の平５の領域のサイズを検出し、この検出した手の平５の領域のサイズに応じて光学像の投影サイズを制御するようにしてもよく、さらにはユーザ動作検出プログラム１３１により手の平５の向きを検出し、この向きに応じて光学像の投影向きを制御するようにしてもよい。

さらに、提示対象の映像コンテンツのデータは、データベース１４に記憶されている複数の映像コンテンツのデータの中から、ランダム又は手の平５の領域のサイズに対応するものを少なくとも１つ選択すればよい。その他、図示しないウエブサイトから通信ネットワークを介して上記手の平のサイズに対応する映像コンテンツのデータをダウンロードし、この映像コンテンツのデータを投影させるようにしてもよい。また、複数の映像コンテンツのデータを提示する場合には、これらの映像コンテンツのデータをＣＰＵ１１において二次元平面上に並ぶように編集してプロジェクタ２に送ったり、複数の映像コンテンツのデータを一定の時間間隔で順次プロジェクタ２に送信するようにすればよい。

以上述べたように第１の実施形態では、音声コンテンツのデータを光送信器６から光信号としてユーザ４に向けて送信し、この光信号をユーザ４が装着したイヤホン７の光受信器８で受信して音声信号に変換してスピーカから出力する。またそれと共に、ユーザ４の手の平５の動きをカメラ１の映像データをもとに検出して、手の平５が情報提示エリアに入った場合に、映像コンテンツのデータをデータベース１４から読み出してプロジェクタ２から上記手の平５に投影するようにしている。
したがって、映像コンテンツ及び音声コンテンツをいずれも不特定多数の人に見聞きされることなくユーザに提示することが可能となる。

（第２の実施形態）
この発明の第２の実施形態は、ユーザ４の手の平５が情報提示エリアに移動したことが検出された場合に、プロジェクタ２による映像コンテンツの投影動作を開始すると共に、この映像コンテンツの投影動作と同期して、音声コンテンツデータの光信号を光送信器６から送信させるようにしたものである。

図５は、この発明の第２の実施形態に係わる制御装置３のハードウエア及びソフトウエアの構成を示す機能ブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。
プログラム１３Ｂには、この発明の第２の実施形態を実施するためのアプリケーション・プログラムとして、先に述べたユーザ動作検出プログラム１３１ａ及び映像生成提示制御プログラム１３２ａに加え、音声生成提示制御プログラム１３４ａが新たに格納されている。

音声生成提示制御プログラム１３４ａは、上記ユーザ動作検出プログラム１３１ａにより、ユーザ４の手の平５の位置が予め定められた情報提示エリア内に移動したことが検出された場合に、データベース１４から予め記憶してある音声コンテンツのデータを読み出す。そして、この読み出された音声コンテンツのデータを光送信器Ｉ／Ｆ１７に供給して、光送信器６から上記音声コンテンツに対応する光信号を出力させる処理を、上記ＣＰＵ１１に実行させる。

次に、以上のように構成された情報提示システムの動作を、制御装置３の制御手順に従い説明する。図６は制御装置３の制御手順と制御内容を示すフローチャートである。
制御装置１のＣＰＵ１１は、先ずステップＳ６１においてユーザ動作検出プログラム１３１ａを起動し、カメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して映像データとして取り込む。そして、ステップＳ６２において、上記取り込んだ映像データをもとにユーザ４の手の平５を認識する。そして、認識した手の平５の位置が、予め設定した情報提示エリアに入っているか否かをステップＳ６３により判定し、入っていなければ映像コンテンツの提示を行わずにそのまま処理を終了する。なお、ユーザ４の手の平５の動きの検出は、前記第１の実施形態で述べた処理手順及び処理内容と同一なので、ここでの説明は省略する。

上記認識したユーザ４の手の平５の位置が、予め設定した情報提示エリアに入ったと判定されたとする。そうするとＣＰＵ１１は、ステップＳ６４により映像生成提示制御プログラム１３２ａを起動し、データベース１４の映像データ記憶領域から提示対象の映像コンテンツのデータを読み出す。そして、ステップＳ６５により、上記読み出された映像コンテンツのデータをプロジェクタＩ／Ｆ１６に送る。この結果、プロジェクタＩ／Ｆ１６から上記映像コンテンツのデータがプロジェクタ２に送られ、これにより例えば図４に示すようにプロジェクタ２によりユーザ４の手の平５上に上記映像コンテンツに対応する光学像が投影される。

またＣＰＵ１１は、上記認識したユーザ４の手の平５の位置が情報提示エリアに入ったことが検出されると、ステップＳ６６において音声生成提示制御プログラム１３４ａを起動し、データベース１４から提示対象の音声コンテンツのデータを読み出す。このとき、音声コンテンツの読み出し動作においては、先に読み出した映像コンテンツと対応する音声コンテンツが選択され、さらに上記投影開始した映像コンテンツと時間位置が一致するように音声コンテンツの頭出しが行われる。そしてＣＰＵ１１は、ステップＳ６７により、上記読み出された音声コンテンツのデータを復号したのち光送信器Ｉ／Ｆ１７に供給する。光送信器Ｉ／Ｆ１７では、上記供給された音声コンテンツの復号データを発光駆動信号に変換し、この変換された発光駆動信号を光送信器６に供給する。この結果、光送信器６からは上記音声コンテンツに対応する光信号が送信される。

この送信された光信号は、例えば図４に示したようにユーザ４のイヤホン７に設けられた光受信器８で受信され、アナログ音声信号に変換される。そして、このアナログ音声信号はイヤホン７のスピーカから出力される。かくして、ユーザは音声コンテンツを聞くことが可能となる。

以上述べたように第２の実施形態では、ユーザ４の手の平５が情報提示エリアに移動したことが検出された場合に、プロジェクタ２による映像コンテンツの投影動作を開始すると共に、この映像コンテンツの投影動作と同期して、音声コンテンツデータの光信号を光送信器６から送信させるようにしている。したがって、内容が対応する映像コンテンツと音声コンテンツの提示動作を同時に開始することができる。このため、より一層ユーザ４の興味を惹くようなコンテンツ提示が可能となる。

（第３の実施形態）
この発明の第３の実施形態は、ユーザが所持する固有の所持物、例えばＩＤカードを検出し、音声コンテンツの光信号を光送信器６から送信させる際に、予め記憶された複数の音声コンテンツ情報の中から、上記検出された固有の所持物に対応付けられた音声コンテンツを選択し、この選択された音声コンテンツに対応する光信号を上記光送信器６から送信させるようにしたものである。

図７は、この発明の第３の実施形態に係わる制御装置３のハードウエア及びソフトウエアの構成を示す機能ブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。
プログラム１３Ｃには、この発明の第３の実施形態を実施するためのアプリケーション・プログラムとして、先に述べたユーザ動作検出プログラム１３１ａ及び映像生成提示制御プログラム１３２ａに加え、音声生成提示制御プログラム１３４ｂと、装置検出プログラム１３５が格納されている。

装置検出プログラム１３５は、カメラ１により得られたユーザの映像データに対し画像処理を行ってユーザ４が所持している装置、例えばＩＤカードを検出してそのＩＤ番号を認識する処理を、上記ＣＰＵ１１に実行させる。なお、ＩＤ番号は例えばバーコード又は二次元コードにより表される。

音声生成提示制御プログラム１３４ｂは、上記ユーザ動作検出プログラム１３１ａにより、ユーザ４の手の平５の位置が予め定められた情報提示エリア内に移動したことが検出された場合に、上記装置検出プログラム１３５からＩＤ番号の認識データを取り込み、データベース１４から上記ＩＤ番号に対応する音声コンテンツのデータを読み出す。そして、この読み出された音声コンテンツのデータを光送信器Ｉ／Ｆ１７に供給して、光送信器６から上記音声コンテンツに対応する光信号を出力させる処理を、上記ＣＰＵ１１に実行させる。

次に、以上のように構成された情報提示システムの動作を、制御装置３の制御手順に従い説明する。図８は制御装置３の制御手順と制御内容を示すフローチャートである。なお、同図において前記図６と同一部分には同一符号を付してある。
制御装置１のＣＰＵ１１は、先ずステップＳ６１においてユーザ動作検出プログラム１３１ａを起動し、カメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して映像データとして取り込む。そして、ステップＳ６２において、上記取り込んだ映像データをもとにユーザ４の手の平５を認識する。そして、認識した手の平５の位置が、予め設定した情報提示エリアに入っているか否かをステップＳ６３により判定し、入っていなければ映像コンテンツの提示を行わずにそのまま処理を終了する。なお、ユーザ４の手の平５の動きの検出は、前記第１の実施形態で述べた処理手順及び処理内容と同一なので、ここでの説明は省略する。

上記認識したユーザ４の手の平５の位置が、予め設定した情報提示エリアに入ったと判定されたとする。そうするとＣＰＵ１１は、ステップＳ６４により映像生成提示制御プログラム１３２ａを起動し、データベース１４の映像データ記憶領域から提示対象の映像コンテンツのデータを読み出す。そして、ステップＳ６５により、上記読み出された映像コンテンツのデータをプロジェクタＩ／Ｆ１６に送る。この結果、プロジェクタＩ／Ｆ１６から上記映像コンテンツのデータがプロジェクタ２に送られ、これにより例えば図４に示すようにプロジェクタ２によりユーザ４の手の平５上に上記映像コンテンツに対応する光学像が投影される。

またＣＰＵ１１は、上記認識したユーザ４の手の平５の位置が情報提示エリアに入ったことが検出されると、ステップＳ８１において装置検出プログラム１３５を起動する。そして、先にステップＳ６１により取り込んだカメラ１の映像データから、ユーザ４が例えば首から下げるか又は胸ポケットに止めているＩＤカードの画像を認識し、さらにこの画像からＩＤ番号を読み取る。続いてステップＳ８２において音声生成提示制御プログラム１３４ａを起動し、上記読み取ったＩＤ番号に対応する音声コンテンツのデータをデータベース１４から選択的に読み出す。そして、上記投影を開始した映像コンテンツと時間位置を一致させるように音声コンテンツの頭出しをする。

続いてステップＳ８３において、上記音声コンテンツのデータを復号したのち光送信器Ｉ／Ｆ１７に供給する。光送信器Ｉ／Ｆ１７では、上記供給された音声コンテンツの復号データを発光駆動信号に変換し、この変換された発光駆動信号を光送信器６に供給する。この結果、光送信器６からは上記音声コンテンツに対応する光信号が送信される。

この送信された光信号は、例えば図４に示したようにユーザ４のイヤホン７に設けられた光受信器８で受信され、アナログ音声信号に変換される。そして、このアナログ音声信号はイヤホン７のスピーカから出力される。かくして、ユーザは自身宛の音声コンテンツを、手の平５に投影された上記映像コンテンツの映像と同期する状態で聞くことが可能となる。

なお、複数のユーザ４，４，…に同時に音声コンテンツの光信号を送信する場合には、複数の光送信器６，６，…を設けてこれらの光送信器６，６，…をそれぞれ発光駆動するか、或いは１個の光送信器６を時分割に発光駆動することにより、複数のユーザ４，４，…に向け見かけ上並行して送信することにより、実現できる。

以上述べたように第３の実施形態では、ユーザ４の手の平５が情報提示エリアに移動したことが検出された場合に、プロジェクタ２による映像コンテンツの投影動作を開始すると共に、この映像コンテンツの投影動作と同期して、音声コンテンツデータの光信号を光送信器６から送信させるようにしている。しかも、ユーザ４が所持するＩＤカードのＩＤ番号をカメラ１の映像データをもとに読み取り、このＩＤ番号に対応する音声コンテンツを選択してユーザ４に提示するようにしている。
このため、ユーザが所持するＩＤカードの番号に応じて当該ユーザに対応する音声コンテンツを選択して提示することが可能となる。また、ユーザが複数存在する場合に、これらのユーザごとにそのＩＤカードの番号に応じて個別に音声コンテンツを提示することが可能となる。

なお、以上の説明ではユーザ４が所持する装置としてＩＤカードを使用し、このＩＤカードの番号をカメラ１の映像データから認識する場合を例にとって説明した。しかし、それに限らず、ＩＤカードの色をもとにユーザを特定するようにしてもよい。また、ＩＤカードにＲＦＩＤ（Radio Frequency IDentification）タグを埋め込んでおき、このＲＦＩＤタグをリーダにより読み取ることによりユーザを特定するようにしてもよい。さらには、ユーザ４が所持する装置として携帯電話機等の携帯端末を使用し、この携帯端末との間で通信を行うか、又は当該携帯端末に内蔵されたＲＦＩＤタグを読み取ることによりユーザを特定するようにしてもよい。

また、ＩＤカードの代わりに、既にユーザ４が身につけているイヤホン７を利用し、このイヤホン７の固有の形状や色を映像データから認識することによりユーザを特定してもよい。さらに、イヤホン７にバーコードや二次元コード、マーク等の固有の識別コードまたは記号を付してこれを読み取るようにしたり、イヤホン７にＲＦＩＤタグを埋め込んでおいて、このＲＦＩＤタグをリーダにより読み取ることによりユーザを特定するようにしてもよい。

（第４の実施形態）
この発明の第４の実施形態は、ユーザ４の手の平５の動きを検出する際に、カメラ１により撮像された上記ユーザ４の映像データから、上記光送信器６から送信される光信号の上記手の平５による反射光を検出して、この反射光の検出結果をもとに当該ユーザ４の手の平５の動き検出するようにしたものである。

図９は、この発明の第４の実施形態に係わる制御装置３のハードウエア及びソフトウエアの構成を示す機能ブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。
プログラム１３Ｄには、この発明の第４の実施形態を実施するためのアプリケーション・プログラムとして、光信号動作検出プログラム１３６を有するユーザ動作検出プログラム１３１ｂと、映像生成提示制御プログラム１３２ａと、音声提示制御プログラム１３３が格納されている。

光信号動作検出プログラム１３６は、カメラ１により撮像されたユーザ４の映像データから、光送信器６から送信された光信号の上記手の平５による反射光を検出し、この反射光の検出結果をもとに当該ユーザ４の手の平５の動き検出する処理を、上記ＣＰＵ１１に実行させる。

次に、このような制御装置３を用いた情報提示動作を説明する。
例えばユーザ４の手の平５には、光を反射するシール等を貼付するか又は手袋をしておく。或いは、ユーザ４の手に光を反射する情報提示用のシートを持たせる。そして、カメラ１の映像データからユーザ４が検出されると、ＣＰＵ１１は光信号動作検出プログラム１３６を起動し、光送信器Ｉ／Ｆを介して光送信器６を発光駆動させてユーザ４に対し光を発光させる。

この状態で、ＣＰＵ１１はカメラ１の映像データをカメラＩ／Ｆ１５を介して取り込み、この取り込んだ映像データ中から、上記光発光器６から発光された光の上記手の平５による反射光像を検出する。この反射光像は、その輝度が画像データ中の他の領域に比べて高くなるので、画像データをしきい値と比較することにより容易に検出可能である。ＣＰＵ１１は、上記反射光像によりユーザ４の手の平５を認識し、ユーザ４の手の平５の位置が予め設定した情報提示エリアに入ったか否かを判定する。

上記認識したユーザ４の手の平５の位置が、予め設定した情報提示エリアに入ったと判定されると、ＣＰＵ１１は映像生成提示制御プログラム１３２ａを起動し、データベース１４の映像データ記憶領域から提示対象の映像コンテンツのデータを読み出す。そして、上記読み出された映像コンテンツのデータをプロジェクタＩ／Ｆ１６に送る。この結果、プロジェクタＩ／Ｆ１６から上記映像コンテンツのデータがプロジェクタ２に送られ、これにより例えば図４に示すようにプロジェクタ２によりユーザ４の手の平５上に上記映像コンテンツに対応する光学像が投影される。

このように第４の実施形態では、ユーザ４の手の平５の動きを検出する際に、光送信器６からユーザ４の手の平５に向け光を発光し、この状態でカメラ１により撮像された上記ユーザ４の映像データから、上記光送信器６から送信される光信号の上記手の平５による反射光を検出して、この反射光の検出結果をもとに当該ユーザ４の手の平５の動き検出するようにしている。

したがって、カメラ１の映像データからユーザ４の手の平５の動きを簡単な処理でかつ正確に検出することが可能となる。しかも、音声コンテンツの光信号を送信するために使用する光送信器６を上記手の平５の動き検出にも利用するため、新たな発光手段を設ける必要がなく、これによりシステム構成を安価にすることができる。

（その他の実施形態）
前記第４の実施形態において、光送信器６をカメラ１によりユーザを撮像する際の照明としても使用するようにしてもよい。その他、制御装置の構成と、その処理手順及び処理内容、撮像ユニット、投影ユニット、光送信ユニットの種類やその構成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の第１の実施形態に係わる情報提示制御装置を含む情報提示システムの概略構成図である。 この発明の第１の実施形態に係わる情報提示制御装置のハードウエア及びソフトウエアの構成を示すブロック図である。 図２に示した情報提示制御装置の制御手順と制御内容を示すフローチャートである。 図１に示した情報提示システムによる情報提示動作の一例を説明するための図。 この発明の第２の実施形態に係わる情報提示制御装置のハードウエア及びソフトウエアの構成を示すブロック図である。 図５に示した情報提示制御装置の制御手順と制御内容を示すフローチャートである。 この発明の第３の実施形態に係わる情報提示制御装置のハードウエア及びソフトウエアの構成を示すブロック図である。 図７に示した情報提示制御装置の制御手順と制御内容を示すフローチャートである。 この発明の第４の実施形態に係わる情報提示制御装置のハードウエア及びソフトウエアの構成を示すブロック図である。

符号の説明

１…カメラ、２…プロジェクタ、３…制御装置、４…ユーザ、５…手の平、６…光送信器、７…イヤホン、８…光受信器、１１…ＣＰＵ、１２…バス、１３…プログラムメモリ、１４…データベース、１５…カメラＩ／Ｆ、１６…プロジェクタＩ／Ｆ、１７…光送信器Ｉ／Ｆ、１８…入出力Ｉ／Ｆ、１９…入力デバイス、２０…表示デバイス、１３１ａ，１３１ｂ…ユーザ動作検出プログラム、１３２ａ…映像生成提示制御プログラム、１３３…音声提示制御プログラム、１３４ａ，１３４ｂ…音声生成提示制御プログラム、１３５…装置検出プログラム、１３６…光信号動作検出プログラム。

Claims (8)

1. ユーザを撮像する撮像ユニットと、前記ユーザの身体の一部を利用した擬似的な情報提示媒体に映像コンテンツ情報を投影するための投影ユニットと、前記ユーザが所持する、光信号を受信して音声に変換する光／音声変換ユニットに向けて光信号を送信する光送信ユニットにそれぞれ接続される情報提示制御装置であって、
   前記撮像ユニットにより撮像された前記ユーザの映像データをもとに、当該ユーザの情報提示媒体の動き検出する手段と、
   前記情報提示媒体の動きが検出された場合に、当該情報提示媒体に対し前記投影ユニットにより映像コンテンツ情報を投影させる手段と、
   前記ユーザが所持する光／音声変換ユニットに向けて、前記光送信ユニットから音声コンテンツ情報に対応する光信号を送信させる手段と
   を具備することを特徴とする情報提示制御装置。
2. 前記光信号を送信させる手段は、前記情報提示媒体の動きが検出された場合に、前記映像コンテンツ情報の投影動作と同期して、前記音声コンテンツ情報に対応する光信号を前記光送信ユニットから送信させることを特徴とする請求項１記載の情報提示制御装置。
3. 前記ユーザが所持する固有の所持物を検出する手段を、さらに具備し、
   前記光信号を送信させる手段は、予め記憶された複数の音声コンテンツ情報の中から、前記検出された固有の所持物に対応付けられた音声コンテンツ情報を選択し、この選択された音声コンテンツ情報に対応する光信号を前記光送信ユニットから送信させることを特徴とする請求項１又は２記載の情報提示制御装置。
4. 前記情報提示媒体の動きを検出する手段は、前記撮像ユニットにより撮像された前記ユーザの映像データから、前記光送信ユニットから送信される光信号の前記情報提示媒体による反射光を検出し、この反射光の検出結果をもとに当該ユーザの情報提示媒体の動き検出することを特徴とする請求項１記載の情報提示制御装置。
5. ユーザを撮像する撮像ユニットと、前記ユーザの身体の一部を利用した擬似的な情報提示媒体に映像コンテンツ情報を投影するための投影ユニットと、前記ユーザが所持する、光信号を受信して音声に変換する光／音声変換ユニットに向けて光信号を送信する光送信ユニットにそれぞれ接続される情報提示制御装置に用いられる情報提示制御方法であって、
   前記撮像ユニットにより撮像された前記ユーザの映像データをもとに、当該ユーザの情報提示媒体の動き検出する過程と、
   前記情報提示媒体の動きが検出された場合に、当該情報提示媒体に対し前記投影ユニットにより映像コンテンツ情報を投影させる過程と、
   前記ユーザが所持する光／音声変換ユニットに向けて、前記光送信ユニットから音声コンテンツ情報に対応する光信号を送信させる過程と
   を具備することを特徴とする情報提示制御方法。
6. 前記光信号を送信させる過程は、前記情報提示媒体の動きが検出された場合に、前記映像コンテンツ情報の投影動作と同期して、前記音声コンテンツ情報に対応する光信号を前記光送信ユニットから送信させることを特徴とする請求項１記載の情報提示制御方法。
7. 前記ユーザが固有の所持物を所持している場合に、
   前記ユーザが固有の所持物を検出する過程を、さらに具備し、
   前記光信号を送信させる過程は、予め記憶された複数の音声コンテンツ情報の中から、前記検出された固有の所持物に対応付けられた音声コンテンツ情報を選択し、この選択された音声コンテンツ情報に対応する光信号を前記光送信ユニットから送信させることを特徴とする請求項５又は６記載の情報提示制御方法。
8. 前記情報提示媒体の動きを検出する過程は、前記撮像ユニットにより撮像された前記ユーザの映像データから、前記光送信ユニットから送信される光信号の前記情報提示媒体による反射光を検出し、この反射光の検出結果をもとに当該ユーザの情報提示媒体の動き検出することを特徴とする請求項５記載の情報提示制御方法。

Images