JP2009265853A - アミューズメントシステム、データ処理方法及びプログラム - Google Patents

Abstract

【課題】赤外線が照射されたスクリーンを撮像して得られた赤外線撮像データからユーザの赤外線影データを抽出し、この赤外線影データより可視的影データを生成し、この可視的影データに対して加工処理を施すことで、娯楽性を与える。
【解決手段】ユーザの背後から該ユーザの前方の床面に設けられるスクリーンに赤外線を照射し、赤外線が照射されたスクリーンを撮像し、赤外線撮像データを生成し、赤外線撮像データに基づいて、ユーザの赤外線影データを抽出し、この赤外線影データから可視的影データを生成し、この可視的影データに対して加工処理を施し、加工処理された可視的影データをスクリーンに表示する。
【選択図】図４

Description

本発明は、スクリーンに投影された赤外線の影を撮像して得られた赤外線撮像データからユーザの可視的影データを生成し、この可視的影データをスクリーンに表示するアミューズメントシステム、データ処理方法及びプログラムに関する。

赤外線を固定物に照射し、投影された赤外線の影を撮像し、この影をモニタ等に表示する装置がある。しかしながら、赤外線が照射された動くユーザの赤外線の影を撮像し、これを表示する装置はなく、更に、ユーザの影に対して加工処理を施して表示する装置もない。

特開２００６−３２３１２７号公報

本発明は、以上の点を考慮してなされたもので、赤外線が照射されたスクリーンを撮像して得られた赤外線撮像データからユーザの赤外線影データを抽出し、この赤外線影データより可視的影データを生成し、この可視的影データに対して加工処理を施すことで、娯楽性を与えることができるアミューズメントシステム、データ処理方法及びプログラムを提供することを目的とする。

本発明に係るアミューズメントシステムは、上述した課題を解決すべく、床面に設けられるスクリーンと、上記スクリーンの前のユーザの背後から上記スクリーンに赤外線を照射する赤外線投光器と、上記赤外線投光器によって赤外線が照射された上記スクリーンを撮像し、赤外線撮像データを生成する赤外線カメラと、上記赤外線カメラで生成した赤外線撮像データに基づいて、ユーザの赤外線影データを抽出し、この赤外線影データより可視的影データを生成し、この可視的影データに対して加工処理を施す制御部と、上記加工処理された可視的影データを上記スクリーンに表示する表示装置とを備える。

また、本発明に係るデータ処理方法は、ユーザの背後から該ユーザの前方の床面に設けられるスクリーンに赤外線を照射するステップと、上記赤外線が照射されたスクリーンを撮像し、赤外線撮像データを生成するステップと、上記赤外線撮像データに基づいて、ユーザの赤外線影データを抽出し、この赤外線影データから可視的影データを生成し、この可視的影データに対して加工処理を施すステップと、上記加工処理された可視的影データを上記スクリーンに表示するステップとを有する。

更に、本発明は、上述した装置や方法を実現するコンピュータにより実行されるプログラムである。

本発明によれば、赤外線が照射されたスクリーンを撮像して得られた赤外線撮像データからユーザの赤外線影データを抽出し、この赤外線影データより可視的影データを生成し、この可視的影データに対して加工処理を施すことで、娯楽性を与えることができる

図１及び図２に示すように、本発明が適用されたアミューズメントシステム１は、床面に設けられるスクリーン１０と、スクリーン１０の前に立つユーザ２の背後から赤外線を照射する赤外線投光器２０と、赤外線が照射されたスクリーン１０を撮像する赤外線カメラ３０と、ユーザの赤外線撮像データに基づいてユーザの可視的影データを生成し加工処理を施す制御装置４０と、可視的影データをスクリーン１０に表示するプロジェクタ５０とを備える。

このアミューズメントシステム１では、図１及び図２に示すように、ユーザ２がスクリーン１０の前に立つと、スクリーン１０にユーザ２の影が映る。赤外線カメラ３０では、ユーザの影が入ったスクリーン１０を撮像し赤外線撮像データを生成する。制御装置４０は、この赤外線カメラ３０から入力された赤外線撮像データからから赤外線影データを抽出し、この赤外線影データに基づいて可視的影データ、すなわち可視的な影の映像データを生成し、この可視的影データに対して加工処理を施す。プロジェクタ５０は、この加工処理が施された可視的影データをスクリーン１０に投影する。また、制御装置４０は、スピーカより影の加工処理に連動した音楽等の音声信号を放音する。かくして、ユーザは、加工処理が施された自分の影がスクリーン１０に映し出して楽しむことができる。

そこで、先ず、図１及び図２を用いて、スクリーン１０、赤外線投光器２０、赤外線カメラ３０、プロジェクタ５０の配置関係について説明する。

スクリーン１０は、例えば４：３の略矩形のスクリーンであって、ユーザ２の略全身が投影される大きさに形成されている。赤外線投光器２０は、ユーザ２の背後であって、例えば斜め４５°の位置から赤外線を照射する。これにより、スクリーン１０には、ユーザ２の影が投影されることになる。赤外線カメラ３０は、スクリーン１０の略真上に設けられており、スクリーン１０の略全体を撮像する。また、プロジェクタ５０も、スクリーン１０の略真上に設けられ、ミラー５１で略４５°反射して、映像をスクリーン１０に投影する。なお、ミラー５１は、プロジェクタ５０が映像を直接スクリーン１０に投影する場合、省略しても良い。また、ユーザ２がスクリーン１０の前の所定位置に立ったかどうかは、スクリーン１０の前に設けられた検出部によって検出するようにしても良い。この場合、検出部は、例えば赤外線センサや感圧センサであり、ユーザを検出したとき、検出信号を制御装置に出力する。

制御装置４０は、例えば通常のコンピュータでなり、赤外線投光器２０、赤外線カメラ３０、プロジェクタ５０が接続され、赤外線投光器２０、赤外線カメラ３０、プロジェクタ５０を制御する。

具体的に、この制御装置４０は、図３に示すように、外部よりデータが入力される入力部４１と、操作信号が入力される操作部４２と、全体の動作を制御する制御プログラム等が格納される処理制御メモリ４３と、全体の動作を制御する制御部４４とを備える。

また、制御装置４０は、赤外線カメラ３０から赤外線の赤外線撮像データが入力される赤外線撮像データ入力部４５と、プロジェクタ５０に出力する可視的影データを一時的に格納するメモリ４６と、可視的影データをプロジェクタ５０に出力する可視的影データ出力部４７と、音声信号をＤＡ変換処理等してスピーカ４に出力する音声処理部４８とを備える。

なお、制御装置４０は、音声処理用制御装置と複数の映像処理用制御装置で構成し、これら複数台の制御装置を、イーサネット（商標）を介してＵＤＰ（User Datagram Protocol）で通信処理を行うようにしても良い。この場合、音声処理用制御装置では、映し出す可視的影データに合わせて、音声データをシンセサイズ処理・ミキシング処理後、ＤＡ変換処理等してスピーカ４より出力する。また、映像処理用制御装置では、映像エフェクト処理を行う。これにより、例えば、３台の映像処理用制御装置が同時に映像エフェクト処理を行っていたとしても、１台の音声処理用制御装置は、スピーカ４より音声信号を滑らかに再生することができる。

入力部４１は、外部からデータ等が入力されるインタフェースであって、光ディスクドライブやネットワークと接続されている。入力部４１からは、例えば、本発明の機能を実現するプログラム等が入力され、処理制御メモリ４３にインストールされる。操作部４２は、キーボード、マウス等でなり、設定のための操作等が行われる。また、処理制御メモリ４３は、例えばフラッシュ型ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やハードディスクからなり、本発明の機能を実現するプログラム等が格納される。制御部４４は、入力部４１や操作部４２から入力される信号、更に、赤外線撮像データから生成されるフレームの差分信号等に基づいて全体の動作を制御する。

赤外線撮像データ入力部４５は、赤外線カメラ３０と接続されており、赤外線カメラ３０で撮像されたスクリーン１０の赤外線撮像データが入力される。例えば、電源投入時等の初期化処理を行うときには、赤外線カメラ３０からユーザの影の入っていない赤外線撮像データが入力され、ユーザが使用しているときには、ユーザの影が入った赤外線撮像データが入力されることになる。

メモリ４６は、データを一時的に格納するワーキングメモリである。例えば、メモリ４６では、赤外線撮像データ入力部４５に入力された赤外線撮像データからユーザの影、すなわち赤外線影データを抽出する処理が行われる。また、メモリ４６には、ユーザの可視的影データが一時的に格納され、加工処理が施される。加工処理が施された可視的影データは、可視的影データ出力部４７に出力される。可視的影データ出力部４７は、プロジェクタ５０が接続されており、加工処理がされた可視的影データをプロジェクタ５０に出力する。

音声処理部４８は、ユーザが遊戯している際に、映し出す可視的影データに合わせて、音声データをシンセサイズ処理・ミキシング処理後、ＤＡ変換処理等してスピーカ４より出力する。

次に、以上のように構成されたアミューズメントシステムの動作について、図４のフローチャートを参照して説明する。

先ず、ステップＳ１において、制御装置４０の制御部４４は、電源が投入されると、初期化処理を行う。具体的に、制御部４４は、スクリーン１０の前にユーザがいない状態で、赤外線投光器２０を駆動し、スクリーン１０に赤外線を照射する。これと共に、制御部４４は、赤外線カメラ３０でスクリーン１０を撮像する。かくして、制御部４４は、図５に示すような赤外線撮像データ入力部４５より人の影が入っていない赤外線撮像データが入力されると、この赤外線撮像データに対してノイズ除去処理を施しメモリ４６に格納する。この人の影が入っていない赤外線初期データは、ユーザの赤外線影データを抽出する際に用いられる。

そして、ユーザがスクリーン１０の前に立ったとき場合、制御装置４０の制御部４４は、赤外線撮像データ入力部４５よりユーザの影の入った赤外線撮像データを取り込むことになる。そして、ステップＳ２において、制御部４４は、図６に示すような赤外線撮像データ入力部４５より取り込んだユーザの影の入った赤外線撮像データに対してノイズ除去処理等を施す。そして、制御部４４は、初期化時に取り込んだ図５に示す人の影が入っていない赤外線初期データと図６に示すユーザの影の入った赤外線撮像データとの差分をとり、この差分データを赤外線影データとして抽出する。ここで、制御部４４は、赤外線初期データとのフレーム差分が閾値以上であったとき、スクリーン１０の前に人が立ったと判断し、ステップＳ３に進む。

これ以後、制御部４４は、例えば１０−３０フレーム／ｓｅｃで、ユーザの可視的影データを出力し、プロジェクタ５０でユーザの可視的影データをスクリーン１０に表示する。

ここで、このアミューズメントシステム１は、ユーザの影が波のように揺れる第１のモードと、ユーザの影がカクカクになる、すなわち直線的に表示される第２のモードと、ユーザの影の頭や手の部分から木が生える第３のモードとを有する。

そこで、制御部４４は、ステップＳ３において、第１乃至第３のモードの判定を行う。制御部４４は、例えば、ユーザがスクリーン１０の前に立ったとき、最初に第１のモードを選択し、次いで、第１のモードが所定期間経過した後、第２のモードを選択し、更に第２のモードが所定時間経過した後、第３のモードを選択し、更に、第３のモードが所定時間経過した後、第１のモードを選択するといった手順でモードを選択する。

なお、モードの判定は、これに限定されるものではなく、ユーザが操作部を操作してモードを選択するようにしても良い。また、本発明では、第１乃至第３のモードが選択できるのではなく、何れかのモードが固定されたものであっても良い。

ステップＳ４において、ユーザの影が波のように揺れる第１のモードが選択されたとき、制御装置４０の制御部４４は、ステップＳ５において、現在ｎ（ｎは整数）より２つ前の（ｎ−２）フレームと現在より１つ前の（ｎ−１）フレームの差分を算出する。具体的に、図７に示すように、制御部４４は、（ｎ−２）フレームと（ｎ−１）フレームの差分がハッチングで示す領域を特定する。そして、制御部４４は、（ｎ−２）フレームと（ｎ−１）フレームの差分データが大きいほどユーザの可視的影データの揺らぎの程度を大きくする加工処理を施し、メモリ４６から可視的影データ出力部４７に出力する。かくして、図８に示すように、プロジェクタ５０は、スクリーン１０にゆらゆら揺れるユーザの影を表示することができる。具体的に、制御部４４は、可視的影データに対して波のエフェクトを差分データの大きさに応じてかける処理を行う。その後、例えばピーターパン等任意のキャラクタに変身して飛び去る等のアニメーション処理等を行う。

この後、制御部４４は、ステップＳ１０に進み、レンダリング処理を行って、リアルタイムに、プロジェクタ５０でスクリーン１０にユーザの影が波のように揺れる映像を表示する。

また、ステップＳ６において、ユーザの影がカクカクになる第２のモードが選択されたとき、制御装置４０の制御部４４は、ステップＳ７において、可視的影データよりエッジ部を検出し、検出したエッジ部の中から幾つかのエッジを間引く処理を行う。具体的に、図９に示すように、制御部４４は、可視的影データより多くのエッジ部の中から頭頂部、指先、股等の幾つかのエッジ部を選択し、選択したエッジ部を直線で繋ぐ加工処理を施し、メモリ４６から可視的影データ出力部４７に出力する。かくして、図１０に示すように、プロジェクタ５０は、スクリーン１０にカクカクしたユーザの影を表示することができる。

この後、制御部４４は、ステップＳ１０に進み、レンダリング処理を行って、リアルタイムに、プロジェクタ５０でスクリーン１０にカクカクしたユーザの影の映像を表示する。

また、ステップＳ８において、ユーザの影の頭や手の部分から木が生える第３のモードが選択されたとき、制御装置４０の制御部４４は、ステップＳ９において、可視的影データより特徴点を抽出する。ここでは、制御部４４は、可視的影データより円弧部を特徴点として検出する。そして、制御部４４は、この円弧部より付加データとして、図１１に示すように、木を生やす処理を行う。具体的に、制御部４４は、可視的影データより検出した円弧部より例えば５つを抽出し、抽出した円弧部より木を生やす処理を行う。ここで、木は、５段階で成長し葉が生え、舞い落ち、最後の段階で花が咲き実をつけ、木が消える処理を行う。また、制御部４４は、木の太さを、円弧部より太くならないようにし、人の影に対して連続的に木が生えているように見せるようにする。

この後、制御部４４は、ステップＳ１０に進み、レンダリング処理を行って、リアルタイムに、プロジェクタ５０でスクリーン１０に木の生えるユーザの影の映像を表示する。

なお、この第３のモードでは、木以外の付加データを円弧部に付加するようにしても良い。また、ここでは、５段階に木が変化する例を説明したが、変化する数は５つに限定されるものではなく、また、変化しなくても良い。また、木の生える円弧部の数も５つに限定されるものではない。

この後、制御部４４は、ステップＳ１２において、同じモードで所定時間、ここでは１分経過したかどうかを判断する。そして、制御部４４は、１分を経過したとき、ステップＳ１２において、モードを切り換える処理を行って、ステップＳ２に戻る。

以上のよう構成されたアミューズメントシステム１では、赤外線が照射されたスクリーン１０を撮像して得られた赤外線撮像データからユーザの赤外線影データを抽出し、この赤外線影データより可視的影データを生成し、この可視的影データに対して加工処理を施すことで、今までにない新たな娯楽性を与えることができる。具体的に、第１のモードでは、自分の影がゆらゆら揺らぐようにスクリーン１０に表示され、第２のモードでは、自分の影がカクカクするように表示され、第３のモードでは、自分から木が生えるように表示される。遊技者であるユーザは、自分の影の変化を見ることによって楽しむことができる。

なお、以上の例では、可視的影データに加工処理を施す例として、３つのモードを説明したが、本発明は、可視的影データに何らかの加工処理が施されたものがスクリーンに表示されるようにすれば、加工処理としては特に限定されるものではない。

本発明が適用されたアミューズメントシステムの斜視図である。 本発明が適用されたアミューズメントシステムの側面図である。 本発明が適用されたアミューズメントシステムを構成する制御装置のブロック図である。 本発明が適用されたアミューズメントシステムの動作順を示すフローチャートである。 人の影が入っていない赤外線撮像データを示す図である。 ユーザの影の入った赤外線撮像データを示す図である。 （ｎ−２）フレームと（ｎ−１）フレームの差分を示す図である。 ユーザの影が波のように揺れる第１のモードを示す図である。 第２のモードにおいて、可視的影データより多くのエッジ部の中から頭頂部、指先、股等の幾つかのエッジ部を選択した状態を示す図である。 ユーザの影がカクカクになる第２のモードを示す図である。 ユーザの影の頭や手の部分から木が生える第３のモードを示す図である。

符号の説明

１ アミューズメントシステム、２ ユーザ、４ スピーカ、１０ スクリーン、２０ 赤外線投光器、３０ 赤外線カメラ、４０ 制御装置、５０ プロジェクタ、５１ ミラー

Claims (7)

1. 床面に設けられるスクリーンと、
   上記スクリーンの前のユーザの背後から上記スクリーンに赤外線を照射する赤外線投光器と、
   上記赤外線投光器によって赤外線が照射された上記スクリーンを撮像し、赤外線撮像データを生成する赤外線カメラと、
   上記赤外線カメラで生成した赤外線撮像データに基づいて、ユーザの赤外線影データを抽出し、この赤外線影データより可視的影データを生成し、この可視的影データに対して加工処理を施す制御部と、
   上記加工処理された可視的影データを上記スクリーンに表示する表示装置と
   を備えるアミューズメントシステム。
2. 上記制御部は、初期化のとき、上記赤外線カメラで、上記ユーザの赤外線の影が投影されていない状態のスクリーンを撮像し、
   上記ユーザの赤外線による影がスクリーンに投影されると、上記初期化のときに撮像した赤外線撮像データとユーザの影が入った赤外線撮像データとのフレーム差分でユーザの赤外線影データを抽出する請求項１記載のアミューズメントシステム。
3. 上記制御部は、ユーザの影の入った赤外線撮像データを撮像しているときのフレーム差分に基づいて上記可視的影データの揺らぎの程度を大きくする加工処理をする請求項２記載のアミューズメントシステム。
4. 上記制御部は、上記可視的影データよりエッジ部を検出し、検出したエッジ部の中から幾つかのエッジを間引いて上記可視的影データを加工処理する請求項３記載のアミューズメントシステム。
5. 上記制御部は、上記可視的影データより特徴点を検出し、この特徴点に可視的付加データを付加する処理を行う請求項３記載のアミューズメントシステム。
6. ユーザの背後から該ユーザの前方の床面に設けられるスクリーンに赤外線を照射するステップと、
   上記赤外線が照射されたスクリーンを撮像し、赤外線撮像データを生成するステップと、
   上記赤外線撮像データに基づいて、ユーザの赤外線影データを抽出し、この赤外線影データから可視的影データを生成し、この可視的影データに対して加工処理を施すステップと、
   上記加工処理された可視的影データを上記スクリーンに表示するステップと
   を有するデータ処理方法。
7. ユーザの背後から該ユーザの前方の床面に設けられるスクリーンに赤外線を照射して該赤外線が照射された上記スクリーンを撮像して得られた赤外線撮像データからユーザの赤外線影データを抽出し、この赤外線影データから可視的影データを生成し、この可視的影データに対して加工処理を施す手順
   をコンピュータに実行させるプログラム。

Images