JP2004357896A

JP2004357896A - アミューズメント装置

Info

Publication number: JP2004357896A
Application number: JP2003159110A
Authority: JP
Inventors: Ikushi Yoda; 育士依田; Katsuhiko Sakagami; 勝彦坂上
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2003-06-04
Filing date: 2003-06-04
Publication date: 2004-12-24
Anticipated expiration: 2023-06-04
Also published as: JP3876319B2

Abstract

【課題】３次元の位置情報に基づき、システムからの指示を３次元サウンドで与えることにより、ディスプレイを見ることなしに、操作可能にするアミューズメント装置を提供する。
【解決手段】アミューズメント装置において、室内空間５において複数のステレオカメラ１−１〜１−ｎによりこの室内空間５を撮像し、前記各ステレオカメラ単位で視野内の撮像画像と室内の座標系に基づいた距離画像を生成する画像処理手段２と、前記各ステレオカメラ１−１〜１−ｎからの距離情報に基づき、ユーザ４の位置を抽出する手段と、ユーザ４が反応すべきガイド音声を伝える３次元サウンドスピーカ６と、ユーザ４が反応すべき空間に配置されたサウンドボックス８−１〜８−ｎとを備え、３次元サウンドスピーカ６からのガイド音声に基づいて、ユーザ４がサウンドボックス８−１〜８−ｎにタッチしたか否かを識別する手段とを具備する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元ゲーム用インタフェース装置に係り、特に３次元サウンドによるインタラクション機能を持つ、ジェスチャによる室内空間におけるアミューズメント装置に関するものである。
【０００２】
【従来の技術】
従来、このような分野の技術として、例えば、下記の特許文献１には、複数の人の動作を継続的に監視し、人の所定の動作の検出に基づいてテレビなどの機器の制御を行う制御方法が開示されている。
また、下記の特許文献２には、利用者、利用者の状況、アプリケーションの状態、利用日時などに応じて、利用者の操作指示と、利用者が行いたい操作内容が異なる場合であっても、正しく操作対象装置に対する操作を媒介する利用者インタフェースが開示されている。
【０００３】
また、図１１は従来の３次元ゲーム装置の模式図である。
この図において、１０１はディスプレイ、１０２はそのディスプレイ１０１が接続される圧力センサ、１０３はその圧力センサ１０２が配置された踏み台、１０４は操作平面である。
【０００４】
図１１に示すように、ディスプレイ１０１付の圧力センサ１０２が配置された踏み台１０３の上に立ち、前に位置するディスプレイ１０１の指示に従い、圧力センサ１０２にステップで指示を与えることで、音楽とのインタラクションを行うアミューズメントシステムは存在するが、それらはディスプレイ１０１を見ながら、固定の圧力センサ１０２を踏みつけることで操作するようにしている。
【０００５】
それゆえ、操作平面１０４はディスプレイ１０１前の狭い特定の２次元の床面であり、非常に狭くかつ固定的な場所でしか使えず、１人に対して１つのセットを用意しなければならず、また同時にプレイできるのも２人程度でしかないといった問題がある。
【０００６】
図１２は従来の他の３次元ゲーム装置の模式図である。
この図において、２０１はディスプレイ、２０２は赤外線センサ、２０３は操作可能な空間、２０４はダンス動作検知コントローラ、２０５は動作者である。
このような赤外線センサ２０２を用いたダンス動作検知コントローラ２０４は検出位置に一定の自由度や可搬性を与えているが、操作可能な空間２０３が狭いことや、一度セットした検知領域は操作中固定的にしか使用できないといった問題は変わらない。
【０００７】
【特許文献１】
特開平１１−３２７７５３号公報（第４−６頁図１）
【特許文献２】
特開２００２−２５１２３５号公報（第４−５頁図１）
【０００８】
【発明が解決しようとする課題】
本発明は、これらの問題を解決し、一定空間における複数の人のジェスチャによる非接触非拘束のインタラクション型アミューズメントを実現する。すなわち、３次元の位置情報に基づき、システムからの指示を３次元サウンドで与えることにより、ディスプレイを見ることなしに、操作可能にするアミューズメント装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
〔１〕アミューズメント装置において、室内空間において複数のステレオカメラによりこの室内空間を撮像し、前記各ステレオカメラ単位で視野内の撮像画像と室内の座標系に基づいた距離画像を生成する画像処理手段と、前記各ステレオカメラからの距離情報に基づき、ユーザの位置を抽出する手段と、ユーザが反応すべきガイド音声を伝える３次元サウンドスピーカと、ユーザが反応すべき空間に配置されたサウンドボックスとを備え、前記３次元サウンドスピーカからのガイド音声に基づいて、ユーザがサウンドボックスにタッチしたか否かを識別する手段とを具備することを特徴とする。
【００１０】
〔２〕上記〔１〕記載のアミューズメント装置において、前記サウンドボックスの位置と大きさ、入出力動作の態様、操作音を可変に設定可能にしてなる。
〔３〕上記〔２〕記載のアミューズメント装置において、前記サウンドボックスの設定内容を登録可能にする。
【００１１】
〔４〕上記〔１〕記載のアミューズメント装置において、ユーザは前記３次元サウンドスピーカからのガイド音声を頼りにその音声が発せられたサウンドボックスに対して、一定の時間内にタッチすることにより得点し、サウンドボックスの場所を間違えたり、一定時間内にタッチできなかった場合には減点されることを特徴とする。
【００１２】
〔５〕上記〔１〕記載のアミューズメント装置において、前記サウンドボックスを楽器の操作部位に対応させて、前記３次元サウンドスピーカの音声指示に従って前記サウンドボックスへの反応により楽器を奏でることを特徴とする。
〔６〕上記〔５〕記載のアミューズメント装置において、前記楽器の操作部位は楽器の鍵盤であることを特徴とする。
【００１３】
本発明は、対象空間を取り囲むようにステレオカメラと３次元サウンドスピーカを配置し、各人への操作指示を３次元サウンドで与えるとともに、それに対する操作をステレオカメラからの距離情報によって検出する。
また、本発明では、指示操作音やインタラクション音となる３次元サウンドや操作対象となる空間位置を自由に登録することができる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について詳細に説明する。
図１は本発明の第１実施例のアミューズメント装置のシステム構成図、図２は本発明の第２実施例（第１実施例の簡易利用版）のアミューズメント装置のシステム構成図であり、図３は図１と図２に示した情報統合認識装置のブロック図である。
【００１５】
これらの図において、１（；１−１〜１−ｎ）はステレオカメラ、２は画像処理装置、３は情報統合認識装置、４（；４−１，４−２）はユーザ、５は操作可能な空間（室内空間）、６（；６−１〜６−６）は３次元サウンドスピーカ、８（；８−１〜８−ｎ）はサウンドボックス、９は３次元サウンド送信装置である。
【００１６】
図１において、複数のステレオカメラ１−１〜１−ｎは室内空間５に死角が生じないように配置され、それにより室内が撮影され、ユーザ（人）４は室内空間５の中を自由に移動できる。各ステレオカメラ１−１〜１−ｎは２台以上のカメラの撮像素子が平行に固定されていて、ステレオカメラ１−１〜１−ｎの撮像出力は画像処理装置２に与えられる。ステレオカメラ１−１〜１−ｎ自体は既に公知のものであり、例えば、ポイントグレイ社のデジクロップスやサーノフ研究所のアケーディアのようなものが用いられる。
【００１７】
画像処理装置２は、各ステレオカメラ１−１〜１−ｎからの映像を入力として毎秒１０枚〜３０枚程度の画像を処理し、そこから得られた距離画像と画像の結果を情報統合認識装置３に与える。すなわち、各カメラ単位でその視野内の画像と室内の座標系に基づいた距離情報を生成して情報統合認識装置３に与える。各ステレオカメラ１−１〜１−ｎ間の共通する座標系Ｘ，Ｙ，Ｚ（図１、２参照）は予め設定しておく。
【００１８】
図１には室内空間を全て操作可能な空間５とする実施例を示したが、図２に示すように、ステレオカメラ１の１台のみを下向きに設置し、そのステレオカメラ１の下の撮影可能な空間のみを操作可能な空間５とするようにしてもよい。この場合は、その操作可能な空間５に対し１人のユーザ４−１のみを対象とする、図１の簡易利用版である。しかし、基本的な仕組みは全て図１と同様である。
【００１９】
情報統合認識装置３は、図３に示すように、位置姿勢認識部３１、サウンドボックス（ＳＢ）設定部３２、サウンドボックス（ＳＢ）認識部３３、サウンドボックス（ＳＢ）データベース３４、サウンドボックス（ＳＢ）登録部３５とを含む。
【００２０】
位置姿勢認識部３１は、画像処理装置２から得られた３次元情報からその距離データ（Ｘ，Ｙ，Ｚ）を室内空間座標系に沿って、図４の段違い引き出し法により取り出し、データを２次元平面に投影することで複数のユーザ４の姿勢認識処理をする。ここで、各ステレオカメラ１−１〜１−ｎより得られた３次元距離情報（Ｘ，Ｙ，Ｚ）は、全体として扱うのではなく、室内座標系に基づいて、図４に示すように、２０ｃｍごとに階層的に区切って情報を切り出して使う。また、階層の境界面において失ってしまう情報をなくすために、切り出しの階層（切り出し）を１０ｃｍずらしてもう１度行うことによって連続的に情報を切り出す。以下、図示しないが、各引き出し内に入った点列を２次元平面に投影した後、二値化する。これにより、各引き出しの情報は２次元の二値画像となる。次いで、２次元平面において求めた重心をラベリングされた対象単位で階層的に積み上げ、３次元点列として利用する。このような処理により、ユーザ４の位置と姿勢を認識する。
【００２１】
一方、サウンドボックス設定部３２は現在の状況に必要とされるサウンドボックス８を室内空間５の座標上に任意の数設定する。また、室内空間５中にサウンドボックス（ＳＢ）８を、絶対座標で設定したり、ユーザ４の位置に応じて可変的に設定したりする。
【００２２】
サウンドボックス認識部３３は、現在のサウンドボックス８内にユーザ４の手や足などが入ったかを認識する。
サウンドボックスデータベース３４はサウンドボックス８の設定方法とその３次元サウンド（３Ｄ音声）、並びにインタラクション時の反応方法を保存する。
サウンドボックス登録部３５はサウンドボックス８の基本情報、位置、操作方法をサウンドボックスデータベース３４に保存する。
【００２３】
３次元サウンド送信装置９は、図１や図２に示すように、情報統合装置３で決定されたサウンドボックス８の３次元サウンドをサウンドスピーカ６へ送信する。３次元サウンドとしては、５．１ｃｈサウンドスピーカ６などを用いて、その中央にいるユーザ４にはあたかもそのサウンドボックス８のある位置から音が聞こえるようにする。
【００２４】
図１と図２は室内におけるこのアミューズメント装置の実施例であるが、本発明は、この実施例に限定されるものではなく、例えば室内空間を工場や公共の空間などに置き換えて、３次元サウンドを利用するあらゆる場面にも適用できる。図１、図２の室内空間５に出入りする全てのユーザ４はステレオカメラ１および１−１〜１−ｎによって撮影され、この撮像出力は、画像処理装置２に与えられる。すなわち、この室内空間５に出入りする人は、図５（後述）の流れに従って、この室内空間５に入ってから出るまでの全てを撮影され、その行動を監視される。
【００２５】
図５は本発明の実施例の動作を説明するためのフローチャートであり、図３を部分的に詳細化したものである。すなわち、
（１）まず、サウンドボックス設定部３２において、その大きさ、位置、入出力動作を設定したサウンドボックス（ＳＢ）８を任意の数だけ設定する（ステップＳ１）。
（２）位置姿勢認識部３１において、ステレオカメラ１、１−１〜１−ｎからユーザ４の距離情報を取り込む（ステップＳ２）。
（３）取り込んだ距離情報を座標変換する（ステップＳ３）。
【００２６】
（４）ＳＢ８の数だけ設定を繰り返す（ステップＳ４）。
（５）サウンドボックス認識部３３において、ＳＢ８領域内に物体（ユーザ４の手や足）が入ったか否かをチェックする（ステップＳ５）。
（６）ステップＳ５においてＮＯの場合、ＳＢ８領域内から今まで入っていた物体（ユーザ４の手や足）が出たか否かをチェックする（ステップＳ６）。
【００２７】
（７）ステップＳ５において、ＹＥＳの場合には、物体が入ったことを示すコード〔コード（入）〕をＳＢ８へ送出し、サウンドスピーカ６からＳＢ８に設定された音を流すのを開始する（ステップＳ７）。
（８）ステップＳ６において、ＹＥＳの場合には、物体が出たことを示すコード〔コード（出）〕をＳＢ８へ送出し、サウンドスピーカ６はＳＢ８に設定された音を停止する（ステップＳ８）。
【００２８】
（９）１連の動作（ゲーム）を続行する（ステップＳ９）。
（１０）１連の動作（ゲーム）は終了したかどうかをチェックする（ステップＳ１０）。終了でない場合（ＮＯ）は、終了するまでステップＳ２からステップＳ１０までを繰り返す。
【００２９】
このように、ステップＳ１で、大きさ、位置、入出力動作を設定したサウンドボックスＳＢ８を設定する。次にステップＳ２でステレオカメラ１、１−１〜１−ｎからの距離情報を取込み、さらにその座標をステップＳ３でステレオカメラ座標系から室内座標系に変換する。そして、ステップＳ５において設定されたサウンドボックス８の数だけそのサウンドボックス８の領域内への物体（ユーザ４の手や足）の出入りを判定し、新たにサウンドボックス８の領域に物体（ユーザ４の手や足）が入った場合は、ステップＳ７によって、サウンドスピーカ６で予め設定された音の開始を行う。
【００３０】
また、ステップＳ６において、今まで入っていた物体（ユーザ４の手や足）が出ていった場合はステップＳ８によって、設定された音を停止するなどの動作を行う。このとき、サウンドボックス８の位置設定をユーザ４の動きに応じて変更すれば、ユーザ４の動作に応じた変化をつけることができる。
【００３１】
図６は本発明の実施例を示す音声通信の基本フローチャートである。
（１）まず、通信設定を行う（ステップＳ１１）。
（２）次に、通信を待ち受ける（ステップＳ１２）。
（３）データを受信したか否かをチェックする（ステップＳ１３）。
【００３２】
（４）ステップＳ１３において、データを受信（ＹＥＳ）したら、データ読込と解釈する（ステップＳ１４）。
（５）データの種類を選別する（ステップＳ１５）。
（６）ステップＳ１５において、データの種類が３次元サウンド再生の場合には、音声ファイルを３次元で再生する（ステップＳ１６）。
【００３３】
（７）ステップＳ１５において、ＭＩＤＩ（ＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）演奏の場合にはＭＩＤＩ機器に演奏命令を送信する（ステップＳ１７）。
（８）ステップＳ１５において、制御の場合には、演奏停止、ＭＩＤＩ音声変更、点数表示などの制御を実行する（ステップＳ１８）。
（９）終了してよいか否かをチェックする（ステップＳ１９）。終了しない場合には、ステップＳ１２からステップＳ１９までを終了するまで繰り返す。
【００３４】
これは、図１に示す３次元サウンド送信装置９に相当する。ステップＳ１１によって、最初の利用開始時に通信設定を行い、情報統合認識装置３と３次元音声再生機（サウンドスピーカ６のアンプに相当）との間の通信を成立させる。次にステップＳ１２において、常時情報統合認識装置３から送信があるかどうかを待ち続ける。そしてステップＳ１３においてデータを受信した場合は、予め定められたコードに従い、ステップＳ１５においてそのデータの種類を判別し、そのデータ内容に応じて、３次元サウンド再生、ＭＩＤＩ演奏、制御の実行などを終了命令が来るまで繰り返す。
【００３５】
図７は本発明の第３実施例を示すアミューズメント装置のシステムの構成図であり、図６に示す機能を利用した実施の一形態を示している。
操作空間５の中央にユーザ４−１が位置し、それを取り囲むようにサウンドボックス８−１〜８−ｎが配置される。そのサウンドボックス８のいずれかの位置から音が発しているとユーザ４−１が感じられるようにサウンドスピーカ６−１〜６−６から音が出される。ユーザ４−１はその音を頼りに音が発せられたと感じられるサウンドボックス８に対して、一定の時間内にパンチやキックなどを行い、そのサウンドボックス８のある空間にタッチする。一定時間内にタッチすることができれば、得点とされ、場所を間違えたり、タイムオーバーしたりすれば、減点される。
【００３６】
従来のゲームではどの場所をタッチするかを、画面によって視覚的に指示していたが、本発明では、３次元サウンド（３Ｄ音声）を頼りに指示を行うことで、ユーザ４−１は常時画面に向かう必要がなくなり、位置に対する依存を大幅に軽減できる。
また、サウンドボックス８−１〜８−ｎは自由に設定できるので、ユーザ４の身長などに応じて自由に位置や大きさなどを変えるこができる。
【００３７】
図８は本発明の第３実施例を示すフローチャートである。
（１）まず、大きさ、位置、入出力動作を設定したサウンドボックス（ＳＢ）８を任意の数だけ設定する（ステップＳ２１）。
（２）ステレオカメラ１−１〜１−ｎからユーザ４の距離情報を取り込む（ステップＳ２２）。
（３）距離情報を座標変換する（ステップＳ２３）。
【００３８】
（４）ＳＢ８の数だけ設定を繰り返す（ステップＳ２４）。
（５）ＳＢ８領域内に物体が入ったか否かをチェックする（ステップＳ２５）。
（６）ステップＳ２５において、ＮＯの場合には、そのＳＢ８が非トリガー状態で、かつそれが一定時間継続しているか否かをチェックする（ステップＳ２６）。なお、トリガー状態とは、ＳＢ８が音を発してから一定時間内にあることを言う。
【００３９】
（７）ステップＳ２６において、ＮＯの場合には、そのＳＢ８がトリガー状態で、かつそれが一定時間継続しているか否かをチェックする（ステップＳ２７）。
（８）ステップＳ２５において、ＹＥＳの場合には、そのＳＢ８はトリガー状態か否かを判断する（ステップＳ２８）。
（９）ステップＳ２８において、ＮＯの場合には、音を発しているＳＢ８とは異なるＳＢ８にタッチしたことを示すコード（ミス）を送出する（ステップＳ２９）。
【００４０】
（１０）ステップＳ２８において、ＹＥＳの場合には、音を発しているＳＢ８に正しくタッチしたことを示すコード（ヒット）を送出し、ＳＢ８のトリガー状態を解除する（ステップＳ３０）。
（１１）ステップＳ２６において、ＹＥＳの場合には、一定確率でＳＢ８をトリガー状態にさせるコード（トリガー）を送出する。それによりそのＳＢ８はトリガー状態に遷移する（ステップＳ３１）。
【００４１】
（１２）ステップＳ２７において、ＹＥＳの場合には、時間内に正しいＳＢ８にタッチできなかったことを示すコード（時間切れ）を送出する。ＳＢ８はトリガー状態を解除する（ステップＳ３２）。
（１３）ステップＳ２７において、ＮＯの場合には、１連の動作（ＳＢ８−１〜８−ｎの位置変更によるゲーム）を続行する（ステップＳ３３）。
（１４）１連の動作（ゲーム）が終了したか否かをチェックする（ステップＳ３４）。終了でない場合（ＮＯ）には終了するまでステップＳ２２〜ステップＳ３４を繰り返す。
【００４２】
このように、ステップＳ２１で、大きさ、位置、入出力動作を設定したサウンドボックス８を設定する。次にステップＳ２２でステレオカメラ１−１〜１−ｎから距離情報を取込み、さらにその座標をステップＳ２３でカメラ座標系から室内座標系に変換する。そして、ステップＳ２４において設定されたサウンドボックス８の数だけそのサウンドボックス８の領域内への物体の出入りを判定するループが行われる。
【００４３】
サウンドボックス８の領域に物体が入った場合は、そのサウンドボックス８がトリガー状態（音を発した直後から一定時間内）にあるかどうかを判定し、トリガー状態であった場合は、ヒット音を再生するとともに、トリガー状態を解除し、得点を加算する。また、トリガー状態でなかった場合は、ヒットミス音を再生し、減点する。
【００４４】
次に、サウンドボックス８の領域内に物体が入らず、非トリガー状態が一定時間継続した場合は、一定の確率で、そのサウンドボックス８をトリガー状態に遷移させ、トリガー音を再生させる。また、トリガー状態が一定時間経過した場合には、トリガー状態を解除し、時間切れ音を再生させ、減点する。これらの一連の音は、各サウンドボックス８の場所から聞こえるように再生することができるので、ユーザ４にはその場所から音が聞こえる。この流れを一定時間または一定得点になるまで継続することでゲームの得点を競うことができる。
【００４５】
図９は本発明の第４実施例のシステム構成図である。
ここではサウンドボックス８はピアノの鍵盤にあたるものとして、室内空間５に自由に配置する。この例では２オクターブ分のドレミファソラシドが室内空間５に配置されている。ユーザ４−１は最初にその室内空間５上でのサウンドボックス８の配置を学ぶことで、手や足でサウンドボックス８をタッチすることにより、ピアノを弾くことができる。同時に２つ以上のサウンドボックス８内に手や足を留めておけば、和音を奏でることも可能である。
【００４６】
ところで、図３に示したサウンドボックス登録部３５では、サウンドボックス８の位置、大きさ、入出力動作などの情報をサウンドボックスデータベース３４に登録することができる。
【００４７】
図１０は本発明の第４実施例を示すフローチャートである。
（１）まず、サウンドボックス８の位置と大きさの登録を行う（ステップＳ４１）。
（２）次に、入出力動作の登録を行う（ステップＳ４２）。
（３）次に、操作音の登録を行う（ステップＳ４３）。
（４）次に、次回の位置などの制御方法の登録を行う（ステップＳ４４）。
なお、これらの登録されたデータはサウンドボックスデータベース３４へ記憶される。
【００４８】
上記したように、ステップＳ４１では、最初に対象となるサウンドボックス８の位置と大きさを登録する。続いてステップＳ４２では、そのサウンドボックス８の入出力動作を登録する。さらにステップＳ４３では、操作音の登録を行う。そして、ステップＳ４４では、さらに複雑化させる場合として、次回のサウンドボックス８の位置や大きさなどの制御方法などを登録し、これら一連の動作を必要数だけ繰り返す。
【００４９】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【００５０】
【発明の効果】
以上、詳細に説明したように、本発明によれば、一定空間における複数の人のジェスチャによる非接触非拘束のインタラクション型アミューズメントを実現することができる。その際に３次元の位置情報により操作指示を与え、システムからの指示を３次元サウンドで与えることにより、ディスプレイを見ることなしに、操作可能にすることができる。
【図面の簡単な説明】
【図１】本発明の第１実施例のアミューズメント装置のシステム構成図である。
【図２】本発明の第２実施例（第１実施例の簡易利用版）のアミューズメント装置のシステム構成図である。
【図３】図１と図２に示した情報統合認識装置のブロック図である。
【図４】本発明の位置姿勢認識における段違い引き出し法の説明図である。
【図５】本発明の実施例の動作を説明するためのフローチャートである。
【図６】本発明の実施例を示す音声通信の基本フローチャートである。
【図７】本発明の第３実施例を示すアミューズメント装置のシステムの構成図である。
【図８】本発明の第３実施例を示すフローチャートである。
【図９】本発明の第４実施例のシステム構成図である。
【図１０】本発明の第４実施例を示すフローチャートである。
【図１１】従来の３次元ゲーム装置の模式図である。
【図１２】従来の他の３次元ゲーム装置の模式図である。
【符号の説明】
１，１−１〜１−ｎステレオカメラ
２画像処理装置
３情報統合認識装置
４，４−１，４−２ユーザ（複数可能）
５操作可能な空間（室内空間）
６，６−１〜６−６３次元サウンドスピーカ
８，８−１〜８−ｎサウンドボックス（ＳＢ）
９３次元サウンド送信装置
３１位置姿勢認識部
３２サウンドボックス設定部
３３サウンドボックス認識部
３４サウンドボックスデータベース
３５サウンドボックス登録部

Claims

（ａ）室内空間において複数のステレオカメラにより該室内空間を撮像し、前記各ステレオカメラ単位で視野内の撮像画像と室内の座標系に基づいた距離画像を生成する画像処理手段と、
（ｂ）前記各ステレオカメラからの距離情報に基づき、ユーザの位置を抽出する手段と、
（ｃ）ユーザが反応すべきガイド音声を伝える３次元サウンドスピーカと、
（ｄ）ユーザが反応すべき空間に配置されたサウンドボックスとを備え、
（ｅ）３次元サウンドスピーカからのガイド音声に基づいて、ユーザがサウンドボックスにタッチしたか否かを識別する手段とを具備することを特徴とするアミューズメント装置。
請求項１記載のアミューズメント装置において、前記サウンドボックスの位置と大きさ、入出力動作の態様、操作音を可変に設定可能にしてなるアミューズメント装置。
請求項２記載のアミューズメント装置において、前記サウンドボックスの設定内容を登録可能とするアミューズメント装置。
請求項１記載のアミューズメント装置において、ユーザは前記３次元サウンドスピーカからのガイド音声を頼りに該音声が発せられたサウンドボックスに対して、一定の時間内にタッチすることにより得点し、サウンドボックスの場所を間違えたり、一定時間内にタッチできなかった場合には減点されることを特徴とするアミューズメント装置。
請求項１記載のアミューズメント装置において、前記サウンドボックスを楽器の操作部位に対応させて、前記３次元サウンドスピーカの音声指示に従って前記サウンドボックスへの反応により楽器を奏でることを特徴とするアミューズメント装置。
請求項５記載のアミューズメント装置において、前記楽器の操作部位は鍵盤であることを特徴とするアミューズメント装置。