JP2011083542A - 動作検出装置、動作検出方法、遊具装置、ゲーム方法、制御プログラムおよび可読記録媒体 - Google Patents

Abstract

【課題】掬い動作、削り動作、振り回し動作などの測定対象の曲線を含む複雑な動作を容易かつ確実に検出する。
【解決手段】光ディスク４が装着されたゲーム装置本体３と、角速度センサ５１が搭載された測定対象Ａの入力装置５と、この測定対象Ａの動作情報を検出するＴＯＦカメラ６とを有している。ＴＯＦカメラ６からの３次元空間距離情報に基づく測定対象Ａの動作情報（位置情報、変化量情報および変化方向情報）と、測定対象Ａの回転動作を含む角速度情報を検出するための角速度センサ５１からの角速度情報とに基づいて、ゲーム装置本体３のＣＰＵ３０２において、掬い動作を検出する動作検出手段３０２ａを有している。
【選択図】図２

Description

本発明は、ＴＯＦ式距離画像カメラからの動作情報と、角速度センサからの角速度情報とに基づいて、掬い・削り・振り回し動作などの複雑な動作を検出可能とする動作検出装置およびこれを用いた動作検出方法、この動作検出装置を用いてゲーム進行を行う遊具装置、これを用いたゲーム方法、これらの動作検出方法またはゲーム方法をコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体に関する。

従来、テレビゲーム機などの遊具装置では、ユーザが、遊具装置を構成する入力装置を振ることにより入力操作を行い、その振る動きに応じた情報処理を行う情報処理装置が種々開発されている。

例えば、情報処理装置本体上に、赤外線ＬＥＤモジュールなどの発光体を設置し、この入力装置に撮像素子や加速度センサを設置して情報処理を行う情報処理装置が例えば特許文献１に開示されている。

図１１は、特許文献１に開示されている従来のゲーム装置本体で行うゲームの概要について説明するための図である。

図１１に示すように、従来のゲーム装置本体を構成する情報処理装置１００において、コントローラとしてのコアユニット１０１およびサブユニット１０２は、それぞれ全体として大人や子供が片手で把持可能な大きさである。ゲームシステムでこれらのコントローラを用いてゲームをプレイするためには、プレイヤは、一方の手（例えば右手）でコアユニット１０１を把持し、他方の手（例えば左手）でサブユニット１０２を把持して、コアユニット１０１およびサブユニット１０２をそれぞれ振り動かす動作を行う。

図１１においては、プレイヤが右手でコアユニット１０１を把持し、左手でサブユニット１０２を把持して、それぞれ上下に振り動かしている様子を示している。このようなプレイヤがコアユニット１０１およびサブユニット１０２をそれぞれ上下に振り動かす動作において、ゲーム装置本体がコアユニット１０１およびサブユニット１０２の動きをそれぞれ判定し、コアユニット１０１およびサブユニット１０２の上下の動きに応じた仮想ゲーム空間内の位置をそれぞれ決定してゲーム処理が行われる。

なお、プレイヤがコアユニット１０１のみを把持してゲームを操作する場合、一方の手（例えば右手）でコアユニット１０１を把持して、コアユニット１０１を振り動かす動作を行う。この場合、プレイヤがコアユニット１０１を振り動かす動作に応じて、ゲーム装置本体がコアユニット１０１の動きを判定し、コアユニット１０１の動きに応じた仮想ゲーム空間内の位置を決定してゲーム処理が行われる。

例えば、プレイヤが静的にコアユニット１０１やサブユニット１０２を傾けることによって、コアユニット１０１やサブユニット１０２の静的な姿勢に応じた操作情報（具体的には、コア加速度データおよびサブ加速度データにそれぞれ含まれるＸ、Ｙ、およびＺ軸方向加速度データ）をゲーム装置本体に与える。また、プレイヤがコアユニット１０１やサブユニット１０１を上下や左右に振り動かす動作では、コアユニット１０１やサブユニット１０２からその振り方向への加速度や遠心力などに応じた動的な操作情報をゲーム装置本体に与える。

このようなコアユニット１０１やサブユニット１０２に加わる加速度の変化は、コアユニット１０１やサブユニット１０２に設けられた各加速度センサによってそれぞれ検出できる。このため、各加速度センサからそれぞれ出力されるＸ、Ｙ、およびＺ軸方向加速度データに対して追加の処理を行うことによって、コアユニット１０１やサブユニット１０２の静的な姿勢や動的な動作を算出することができる。

一般的に、動作に応じて生じる加速度を検出する場合、各加速度センサから出力される加速度ベクトル（または加速度の正負）は、コントローラの加速方向とは真逆のベクトルとなるため、検出した加速度の方向を考慮してコアユニット１０１やサブユニット１０２の傾きや動きを算出することが必要であることは言うまでもない。

ゲーム処理の一例として、モニタ１０３のモニタ表示画面に表示されるオブジェクトＯＢＪをコアユニット１０１およびサブユニット１０２の動きに応じてそれぞれ動かす処理（モニタ１０３のモニタ表示画面に表示された仮想ゲーム空間における２本のスティックでそれぞれドラムを叩く場合など）や、モニタ１０３のモニタ表示画面に表示されるオブジェクトＯＢＪをコアユニット１０１の動きに応じて動かす処理（モニタ１０３のモニタ表示画面に表示された仮想ゲーム空間におけるキャラクタをコアユニット１０１の動きに応じて振り回す場合や、仮想ゲーム空間に配置された物を動かす場合など）がある。また、ゲーム処理とは異なった情報処理の一例として、コアユニット１０１および／またはサブユニット１０２の動きに応じてのモニタ表示画面に表示されたブラウザのジェスチャー（例えばウインドウを移動させる場合、ウインドウを閉じる場合、ページをめくる場合など）を行う。

図１２は、図１１の情報処理装置１００において、コントローラの動きに応じて行われるゲーム処理や情報処理の一例を示す図である。

図１２に示すように、モニタ１０３のモニタ表示画面に、仮想ゲーム空間に配置された２本のスティックオブジェクトＯＢＪ１およびＯＢＪ２とドラムオブジェクトＤとが表示されている。一方のスティックオブジェクトＯＢＪ１は、コアユニット１０１が振り下ろされることに応じて、仮想ゲーム空間内においてドラムオブジェクトＤの打撃面に向かって振り下ろされる（図１２では実線で示す状態）。次に、スティックオブジェクトＯＢＪ１は、コアユニット１０１の振り下ろし動作が終了し、振り下ろし前の上方の位置まで戻されることに応じて、仮想ゲーム空間内における基準位置（図１２では破線で示す状態）まで戻る。

また、他方のスティックオブジェクトＯＢＪ２は、サブユニット１０２が振り下ろされることに応じて、仮想ゲーム空間内においてドラムオブジェクトＤの打撃面に向かって振り下ろされる（図１２では破線で示す状態）。次に、スティックオブジェクトＯＢＪ２は、サブユニット１０２の振り下ろし動作が終了し、振り下ろし前の上方の位置まで戻されることに応じて、仮想ゲーム空間内における基準位置（図１２では実線で示す状態）まで戻る。２本のスティックオブジェクトＯＢＪ１およびＯＢＪ２は、ドラムオブジェクトＤのドラム面に対して交互に上下動作が為される。

このように、特許文献１で開示された従来の情報処理装置１００では、ユーザが入力装置であるコントローラを振る動作を行い、情報処理装置１００の本体上に設置されているＬＥＤモジュールなどの発光体が発光した光を、コントローラに設置された撮像体により撮像することにより、ユーザがコントローラを振った方向を判別したり、コントローラ上に設置された加速度センサによりユーザがコントローラを振った方向を判別したり、更には、その組合せによりユーザがコントローラを振った方向を判別したり、その判別結果に応じたコマンドを実行したりしている。

特開２００９−３６５１号公報

しかしながら、上記特許文献１で開示された従来の情報処理装置１００の本体上に、ＬＥＤモジュールなどの発光体を設置し、入力装置であるコントローラに撮像素子や加速度センサを設置して情報処理を行う情報処理装置１００には、下記に示すような各種問題がある。

ユーザが、入力装置であるコントローラを振る動作を行い、情報処理装置１００の本体上に設置されているＬＥＤモジュールなどの発光体が発光した光をコントローラ上に設置された撮像素子により撮像することにより、コントローラを振った方向を判別する場合には、判別可能な操作方向は水平・垂直方向のみで、情報処理装置１００の本体からコントローラまでの距離ならびにその方向は判別することができない。このため、水平・垂直方向のみで操作可能な単純なゲームに適用が限定されてしまうという問題があった。

また、ユーザが、入力装置であるコントローラを振る動作を行い、情報処理装置１００の本体上に設置されているＬＥＤモジュールなどの発光体が発光した光を入力装置であるコントローラ上に設置された撮像素子により撮像すること、および、入力装置であるコントローラ上に設置された加速度センサにより、コントローラを振った方向を判別する場合には、この同時センシングの際に、入力装置であるコントローラ上に設置された撮像素子を、常に、発光体である情報処理装置１００の本体上に設置されているＬＥＤモジュールなどの発光体の設置方向に向けた上で、入力装置であるコントローラを振って加速度センサを動作させる必要があるという制約があり、掬い動作、削り動作、振り回し動作などの複雑な入力操作ができないというユーザにとって入力操作が不自由なものとなってしまっているという問題を有していた。

本発明は、上記従来の問題を解決するもので、掬い動作、削り動作、振り回し動作などの曲線運動を含む測定対象の複雑な動作を容易かつ確実に検出することができる動作検出装置およびこれを用いた動作検出方法、この動作検出装置を用いてゲーム進行を行う遊具装置、これを用いたゲーム方法、これらの動作検出方法またはゲーム方法をコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体を提供することを目的とする。

本発明の動作検出装置は、発光手段から出射される投射光の投射空間からの反射光を受光して、該投射空間の測定対象までの３次元空間距離に基づく該測定対象の動作情報を出力するＴＯＦ（タイム・オブ・フライト）式距離画像カメラ手段と、該測定対象の角速度情報を検出するための角速度センサとを有する動作検出装置であって、該ＴＯＦ式距離画像カメラ手段からの動作情報と、該角速度センサからの角速度情報とに基づいて、該測定対象の曲線を含む動作を検出可能とする動作検出手段を有するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の動作検出装置における動作検出手段は、前記ＴＯＦ式距離画像カメラ手段からの動作情報を取得する測定対象位置取得手段と、前記角速度センサからの角速度情報を取得する測定対象角速度取得手段と、期待時刻範囲において、該測定対象の動作情報に基づく位置情報が所定の期待存在空間内に存在するかどうかを検出すると共に、該測定対象の角速度情報が所定の期待角速度範囲内に存在するかどうかを検出する期待値比較手段とを有する。

さらに、好ましくは、本発明の動作検出装置において、前記期待値比較手段の比較結果が不一致の場合にゲーム処理を終了し、該期待値比較手段の比較結果が一致の場合に、前記測定対象位置取得手段、前記測定対象角速度取得手段および前記期待値比較手段の各処理を順次繰り返し、期待値比較回数をカウントすると共に、該期待値比較回数が所定回数に達した場合にゲーム処理を終了するゲーム終了手段をさらに有する。

さらに、好ましくは、本発明の動作検出装置における測定対象の動作情報は、該測定対象の位置、該測定対象までの距離の変化量およびその変化方向であり、前記角速度情報は動作曲線度合いを示す情報である。

さらに、好ましくは、本発明の動作検出装置における測定対象の曲線を含む動作は、掬い動作、削り動作および振り回し動作のうちのいずれかである。

さらに、好ましくは、本発明の動作検出装置におけるＴＯＦ式距離画像カメラ手段は、 該ＴＯＦ式距離画像カメラ手段から前記測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出する第１フレーム差分演算手段とを有する。

さらに、好ましくは、本発明の動作検出装置におけるＴＯＦ式距離画像カメラ手段は、 該ＴＯＦ式距離画像カメラ手段から前記測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、少なくとも２つの距離フレームに基づいて、該測定対象に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成手段と、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出する第２フレーム差分演算手段とを有する。

さらに、好ましくは、本発明の動作検出装置におけるＴＯＦ式距離画像カメラ手段は、 該ＴＯＦ式距離画像カメラから測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、該複数の距離フレームについてそれぞれのフレーム差分を演算する第１フレーム差分演算手段と、該フレーム差分に基づいて判定した距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成手段と、 該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出する第２フレーム差分演算ステップとを有する。

さらに、好ましくは、本発明の動作検出装置におけるＴＯＦ式距離画像カメラ手段は、 前記測定対象までの距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該測定対象までの距離が平衡状態にあると判定する距離平衡状態判定手段を更に有する。

さらに、好ましくは、本発明の動作検出装置における発光手段は、前記投射光として近赤外線のパルス光を一定周期で前記投射空間に投射する。

さらに、好ましくは、本発明の動作検出装置における角速度センサは、前記測定対象の入力装置側に設けられている。

さらに、好ましくは、本発明の動作検出装置における測定対象は、処理速度を複数段階に変化可能とする操作入力手段を有する。

本発明の動作検出方法は、発光手段から出射される投射光の投射空間からの反射光を受光して、該投射空間の測定対象までの３次元空間距離に基づく該測定対象の動作情報をＴＯＦ（タイム・オブ・フライト）式距離画像カメラ手段から出力する動作情報出力ステップと、角速度センサから該測定対象の角速度情報を検出する角速度情報検出ステップとを有する動作検出方法であって、動作検出手段が、前記ＴＯＦ式距離画像カメラ手段からの動作情報と、前記角速度センサからの角速度情報とに基づいて、該測定対象の曲線を含む動作を検出する動作検出ステップを有するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の動作検出方法における動作検出ステップは、測定対象位置取得手段が、前記ＴＯＦ式距離画像カメラ手段からの動作情報を取得する測定対象位置取得ステップと、測定対象角速度取得手段が、前記角速度センサからの角速度情報を取得する測定対象角速度取得ステップと、期待時刻範囲において、期待値比較手段が、該測定対象の動作情報に基づく位置情報が所定の期待存在空間内に存在するかどうかを検出すると共に、該測定対象の角速度情報が所定の期待角速度範囲内に存在するかどうかを検出する期待値比較ステップとを有する。

さらに、好ましくは、本発明の動作検出方法において、ゲーム終了手段が、前記期待値比較手段の比較結果が不一致の場合にゲーム処理を終了し、該期待値比較手段の比較結果が一致の場合に、前記測定対象位置取得ステップ、前記測定対象角速度取得ステップおよび前記期待値比較ステップの各処理を順次繰り返し、該ゲーム終了手段が、期待値比較回数をカウントすると共に、該期待値比較回数が所定回数に達した場合にゲーム処理を終了するゲーム終了ステップをさらに有する。

さらに、好ましくは、本発明の動作検出方法における動作情報出力ステップは、距離フレーム生成手段が、該ＴＯＦ式距離画像カメラから測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、第１フレーム差分演算手段が、該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する。

さらに、好ましくは、本発明の動作検出方法における動作情報出力ステップは、距離フレーム生成手段が、該ＴＯＦ式距離画像カメラから測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、距離平衡フレーム生成手段が、少なくとも２つの該距離フレームに基づいて、前記測定対象に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、第２フレーム差分演算手段が、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出する第２フレーム差分演算ステップとを有する。

さらに、好ましくは、本発明の動作検出方法における動作情報出力ステップは、距離フレーム生成手段が、該ＴＯＦ式距離画像カメラから測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、第１フレーム差分演算手段が、該複数の距離フレームについてそれぞれのフレーム差分を演算する第１フレーム差分演算ステップと、距離平衡フレーム生成手段が、該フレーム差分に基づいて判定した距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、第２フレーム差分演算手段が、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出する第２フレーム差分演算ステップとを有する。

さらに、好ましくは、本発明の動作検出方法における動作情報出力ステップは、距離平衡状態判定手段が、前記測定対象までの距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該測定対象までの距離が平衡状態にあると判定する距離平衡状態判定ステップを更に有する。

本発明の遊具装置は、本発明の上記動作検出装置を用いて、前記動作情報および前記角速度情報に関して特定の時刻で期待値を有しており、該期待値と合致する該動作情報および該角速度情報を含む領域に限定して前記動作検出手段による動作検出処理を実行することによりゲームの進行を行うものであり、そのことにより上記目的が達成される。

本発明のゲーム方法は、本発明の上記動作検出方法を用いて、前記動作情報および前記角速度情報に関して特定の時刻で期待値を有しており、該期待値と合致する該動作情報および該角速度情報を含む領域に限定して前記動作検出ステップによる動作検出処理を実行することによりゲームの進行を行うものであり、そのことにより上記目的が達成される。

本発明の制御プログラムは、本発明の上記動作検出方法のステップをコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。

本発明の制御プログラムは、本発明の上記ゲーム方法をコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。

本発明の可読記録媒体は、本発明の上記制御プログラムが格納されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。

上記構成により、以下、本発明の作用を説明する。

本発明においては、ＴＯＦ式距離画像カメラ手段からの動作情報と、角速度センサからの角速度情報とに基づいて、測定対象の曲線を含む動作を検出可能とする動作検出手段を有している。

従来、ユーザが、入力装置を振った方向を、情報処理装置本体上に設置されている発光体が発光した光を入力装置上に設置された撮像体により撮像することにより判別する場合には、判別可能な操作方向は水平・垂直方向のみで、情報処理装置本体から入力装置までの距離およびその方向は判別できないため、水平・垂直方向のみで操作可能な単純なゲームに適用が限定されていた。

また、ユーザが、入力装置を振った方向を、情報処理装置本体上に設置されているＬＥＤモジュールなどの発光体が発光した光を入力装置上に設置された撮像体により撮像すること、および、入力装置上に設置された加速度センサにより判別する場合には、この同時センシングの際に、入力装置上に設置された撮像体を常に、発光体である情報処理装置本体上に設置されているＬＥＤモジュールなどの発光体の設置方向に向けた上で、入力装置を振って加速度センサを動作させる必要があるという制約がある。したがって、掬い動作などの回転などの曲線を含む複雑な入力操作ができないというユーザにとって入力操作が不自由なものとなってしまっていた。

これを解決するもので、ＴＯＦ式距離画像カメラ手段による動作情報から、その変化量と変化方向が検出され、動作後の測定対象の位置まで、角速度情報の値に応じた曲線度合いで動作を測定対象が行っているのを検出可能となる。したがって、掬い動作、削り動作、振り回し動作などの曲線運動を含む測定対象の複雑な動作を容易かつ確実に検出するすることが可能であり、ユーザの複雑な操作をゲームに適用してゲームを楽しむことが可能となる。

以上により、本発明によれば、測定対象の位置、変化量および変化方向はＴＯＦ式距離画像カメラ手段により検出し、測定対象の位置に至るまでの角速度情報の値に応じた回転を含む曲線動作は角速度センサからの角速度情報に基づいて検出できるため、掬い動作、削り動作、振り回し動作などの曲線を含む複雑な動作を容易かつ確実に検出するすることができて、ユーザが不自由なく複雑な入力操作を行ってゲームを楽しむことができる。

本発明の一実施形態に係る据置型のゲーム装置本体を含むゲームシステムの概略構成を示す外観図である。 図１のゲーム装置本体の要部機能構成例を示すブロック図である。 図１および図２のＴＯＦカメラの要部構成例を示すブロック図である。 図３のＴＯＦカメラのＴＯＦ方式による距離測定の原理を示す図である。 図１および図２の入力装置の上面後方から見た概観構成例を示す斜視図である。 図１および図２の入力装置の機能構成例を示すブロック図である。 図１および図２のゲーム装置本体において実行されるゲーム処理の流れを示すフローチャートである。 図７のステップＳ２の「入力装置位置取得」のサブルーチンを示すフローチャートである。 掬い処理を行うことにより進行するゲーム進行のイメージを示す図である。 掬い処理を行うことにより進行するゲームの実現手法を示す図である。 特許文献１に開示されている従来のゲーム装置本体で行うゲームの概要について説明するための図である。 図１１の情報処理装置１００において、コントローラの動きに応じて行われるゲーム処理や情報処理の一例を示す図である。

以下に、掬い動作、削り動作、振り回し動作などの複雑な動作を検出する本発明の動作検出装置の実施形態をゲームシステムに適用した場合について図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態に係る据置型のゲーム装置本体を含むゲームシステムの概略構成を示す外観図である。

図１において、本実施形態のゲームシステム１は、表示手段の一例を示すテレビジョン受像機（以下、モニタという）２と、モニタ２に接続コード２ａを介して接続する据置型の情報処理装置としてのゲーム装置本体３と、ゲーム画面としてモニタ表示画面２１に表示されたキャラクタなどを入力操作するために制御プログラムとしてのゲームプログラムに必要な入力操作情報および角速度情報をゲーム装置本体３に与えるためのコントローラである入力装置５と、ゲーム装置本体３から測定対象の入力装置５までの距離（距離画像）を得るために、モニタ２のモニタ表示画面２１の近傍位置に設置（モニタ表示画面２１の上側）されたＴＯＦ（タイム・オブ・フライト）式距離画像カメラ手段としてのＴＯＦ式距離画像カメラ（以下、ＴＯＦカメラという）６とを備えている。

モニタ２は、ゲーム装置本体３から出力された表示信号に基づいて表示されるモニタ表示画面２１と、このモニタ表示画面２１の両側に配置され、ゲーム装置本体３から出力された音声信号を音声出力するためのスピーカ２２、２３とを有している。このモニタ表示画面２１には、測定対象の入力装置５に対応したオブジェクトＯＢＪ（例えば後述する金魚掬いゲームで用いる「ポイ」）を含む画像が表示される。

ゲーム装置本体３は、情報処理用の制御プログラムの一例のゲームプログラムを記録した情報記憶媒体の一例の光ディスク４を開口部３ａから挿入し、後述するディスクドライブ３２５により光ディスク４からゲームプログラムおよびそのデータを読み取って、そのゲームプログラムに基づいてゲーム内容を実行してゲーム画面をモニタ２のモニタ表示画面２１に表示出力させるためのコンピュータ（後述するＣＰＵ３０２）が搭載されている。なお、これらのゲームプログラムおよびそのデータなどは、光ディスク４に限らず、フラッシュメモリ３０１に予め記録されていてもよい。

入力装置５は、主にモニタ２のモニタ表示画面２１に表示されるオブジェクトＯＢＪなどを入力操作するための測定対象Ａの操作入力手段である。この入力装置５には、角速度センサ５１の他に操作部５２として複数の操作ボタン５２ａ〜５２ｃが設けられている。入力装置５は、図２で後述する無線コントローラモジュール３２３を内蔵するゲーム装置本体３に対して、例えば、ブルートゥースの技術を用いて入力操作情報や角速度情報などの送信データを無線送信する。

ＴＯＦカメラ６は、後述する発光手段６２から出射される投射光の投射空間からの反射光を受光して、この投射空間の測定対象Ａ（対象物体；オブジェクトＯＢＪ）までの３次元空間距離に応じた距離情報（距離画像情報）を複数の受光部（図３で後述する受光手段６３の画素アレイ部６３１１）からそれぞれ得るＴＯＦ（タイム・オブ・フライト）式距離画像カメラである。つまり、ＴＯＦカメラ６は、モニタ２のモニタ表示画面２１の上部に配置され、モニタ２の前方の投射空間に、後述する発光手段６２により例えば近赤外パルス光を一定周期で投射（出射）して、ＴＯＦカメラ６（またはモニタ２のモニタ表示画面２１）から測定対象Ａの入力装置５までの３次元空間距離を画像の各画素毎に測定する。さらに、ＴＯＦカメラ６は、この各画素毎の３次元空間距離情報（距離画像情報である受光情報）を用いて、後述するＴＯＦカメラ制御手段６４において、動作情報として、測定対象Ａの位置、変化量および変化方向を検出する。

ここで、図１のゲーム装置本体３、ＴＯＦカメラ６および入力装置５の詳細構成について順次説明する。

図２は、図１のゲーム装置本体３の要部機能構成例を示すブロック図である。

図２において、ゲーム装置本体３は、フラッシュメモリ３０１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０２と、ＲＯＭ／ＲＴＣ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ／Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）３０３と、外部メインメモリ３０４と、入出力プロセッサ３１１が設けられたシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）３１０と、このシステムＬＳＩ３１０に接続されるリセットボタン３２１および電源ボタン３２２と、入出力プロセッサ３１１に接続され、入力装置５からの無線信号を受信可能とする無線コントローラモジュール３２３と、インジェクトボタン３２４と、インジェクトボタン３２４に接続され、光ディスク４を着脱可能とするディスクドライブ３２５と、システムＬＳＩ３１０に接続されるＡＶ−ＩＣ（Ａｕｄｉｏ Ｖｉｄｅｏ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）３２６と、ＡＶ−ＩＣ３２６に接続され、外部のモニタ２が接続されているＡＶコネクタ３２７とを備えている。

フラッシュメモリ３０１は、セーブデータなどのデータを固定的に記憶するバックアップメモリとして機能する。

ＣＰＵ３０２（制御部）は、システムＬＳＩ３１０に接続されており、ゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。このように、ＣＰＵ３０２は、光ディスク４またはフラッシュメモリ３０１に記憶されたゲームプログラムおよびそのデータを外部メインメモリ３０４に読み出してゲームプログラムを実行する。

本発明の特徴構成である動作検出装置としては、光ディスク４が装着されたゲーム装置本体３と、角速度センサ５１が搭載された入力装置５と、ＴＯＦカメラ６とを有している。ＴＯＦカメラ６からの３次元空間距離情報に基づく測定対象Ａの動作情報（位置情報、変化量情報および変化方向情報）と、測定対象Ａの回転動作を含む角速度情報を検出するための角速度センサ５１からの角速度情報とに基づいて、ゲーム装置本体３のＣＰＵ３０２において、掬い動作、削り動作および振り回し動作のうちのいずれかを検出する動作検出手段３０２ａを有している。

ＲＯＭ／ＲＴＣ３０３は、ゲーム装置本体３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ）とを有している。

外部メインメモリ３０４は、揮発性の外部メインメモリであり、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ３０１から読み出されたゲームプログラムなどの制御プログラムを実行するに際して、これをワークメモリとして一時記憶したり、各種データを一時記憶したりするＲＡＭであり、ＣＰＵ３０２のワーク領域やバッファ領域として用いられる。

システムＬＳＩ３１０は、入出力プロセッサ（Ｉ／Ｏプロセッサ）３１１と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）３１２と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３１３と、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１４と、内部メインメモリ３１５とを有し、これらは内部バスによって互いに接続されている。システムＬＳＩ３１０には、ＴＯＦカメラ６、ＣＰＵ３０２、ＲＯＭ／ＲＴＣ３０３、外部メインメモリ３０４、ディスクドライブ３２５およびＡＶ−ＩＣ３２６が接続され、それに接続される各構成要素間のデータ転送の制御、モニタ２のモニタ表示画面２１に表示すべき画像データの生成、モニタ２のスピーカ２２，２３に出力すべき音声データの生成、外部装置として、入力装置５の入力操作情報の他、入力装置５の角速度センサ５１からの角速度情報および、ＴＯＦカメラ６からの３次元空間距離情報に基づく動作情報（位置情報、変化量情報および変化方向情報）などの各種データの取得などの各種情報処理を行っている。

入出力プロセッサ３１１は、それに接続される構成要素との間でデータの送受信を実行したり、外部装置として入力装置５およびＴＯＦカメラ６からの各データのダウンロードを実行したりする。即ち、入出力プロセッサ３１１は、フラッシュメモリ３０１および無線コントローラモジュール３２３に接続されており、無線コントローラモジュール３２３を介して、入力装置５から送信される入力操作データ（入力操作情報）や角速度情報などを、内部メインメモリ３１５または外部メインメモリ３０４のバッファ領域に記憶（一時記憶）させる。

ＧＰＵ３１２は、描画手段の一部を形成し、ＣＰＵ３０２からのグラフィクスコマンド（作画命令）に従って、モニタ２のモニタ表示画面２１に表示させるための画像データを生成する。

ＤＳＰ３１３は、オーディオプロセッサとして機能し、内部メインメモリ３１５や外部メインメモリ３０４に記憶されるサウンドデータや音波形（音色）データを用いて、モニタ２のスピーカ２２，２３から音声出力するための音声データを生成する。

ＶＲＡＭ３１４は、ＧＰＵ３１２がグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータなどの画像データ）を記憶する。画像データが生成される際には、ＧＰＵ３１２は、ＶＲＡＭ３１４に記憶されたデータを用いて画像データを作成する。

内部メインメモリ３１５は、外部メインメモリ３０４と同様に、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ３０１から読み出されたゲームプログラムなどの制御プログラムを一時記憶してもよいが、システムＬＳＩ３１０などで用いる他の各種データを記憶したりしてもよく、ＣＰＵ３０２のワーク領域やバッファ領域として用いられてもかまわない。

リセットボタン３２１は、システムＬＳＩ３１０に接続されるゲーム処理のリセットボタンであり、リセットボタン３２１が押されると、システムＬＳＩ３１０は、ゲーム装置本体３の起動プログラムを再起動する。

電源ボタン３２２は、ゲーム装置本体３の電源ボタンであり、電源ボタン３２１がオンされると、ゲーム装置本体３の各構成要素に対して、図示しないＡＣアダプタを経て電力が供給される。

無線コントローラモジュール３２３は、入力装置５から無線送信されるデータを受信して、ゲーム装置本体３から入力装置５へデータを送信して、入力装置５とゲーム装置本体３とを無線通信によって互いに接続している。

インジェクトボタン３２４は、光ディスク４を脱着する図示しないディスク取り出し装置に接続されており、このディスク取り出し装置によりゲーム装置本体３の投入口（開口部３ａ）から光ディスク４を取り出すためのディスク取り出しボタンである。つまり、イジェクトボタン３２４は、ディスクドライブ３２５のディスク取り出し装置に接続されており、イジェクトボタン３２４が押されると、ディスクドライブ３２５から光ディスク４が離脱して外部に排出されて出てくるようになっている。

ディスクドライブ３２５は、光ディスク４からプログラムデータやテクスチャデータなどのデータを読み出し、後述する内部メインメモリ３１５または外部メインメモリ３０４に読み出したデータを書き込む。

ＡＶ−ＩＣ３２６は、上述のように生成された画像データおよび音声データを読み出す。ＡＶ−ＩＣ３２６は、ＡＶコネクタ３２７を介して、読み出した画像データをモニタ２のモニタ表示画面２１に表示出力すると共に、読み出した音声データをモニタ２に内蔵されるスピーカ２２，２３に音声出力する。これによって、所望の画像がモニタ２のモニタ表示画面２１に表示されると共に、その表示画像に応じた音声がスピーカ２２，２３から出力される。

ＡＶコネクタ３２７は、モニタ２への画像データおよび音声データ用信号線を着脱自在にしている連結手段である。

次に、３次元空間距離情報に基づく動作情報（測定対象Ａの位置、変化量および変化方向）を出力するＴＯＦカメラ６について図３および図４を用いて詳細に説明する。

図３は、図１および図２のＴＯＦカメラ６の要部構成例を示すブロック図である。図４は、図３のＴＯＦカメラ６のＴＯＦ方式による距離測定の原理を示す図である。

図３において、ＴＯＦカメラ６は、距離計測の測定対象Ａに対して投射光を出射するための光源としての発光手段６２と、その投射光の距離計測の測定対象Ａからの反射光を受光する受光手段６３と、受光手段６３からの受光情報に基づいて測定対象Ａの動作を検出するＴＯＦカメラ制御手段６４とを有しており、図４に示すように、受光手段６３からの受光情報に基づいて測定対象Ａ（ここでは入力装置５）までの光の飛行時間（遅れ時間）Ｔを検出して既知の光速ｃからの演算で、発光手段６２または受光手段６３から測定対象Ａまでの距離Ｌを求めるＴＯＦ（タイム・オブ・フライト）技術を用いて、画素毎の複数点の距離情報を用いて立体的に高精度に測定対象Ａの動作（位置、変化量および変化方向）を検出する。

発光手段６２は、ＴＯＦカメラ制御手段６４により投射光の発光タイミングが制御されるパワーＬＥＤドライバ６２１と、パワーＬＥＤドライバ６２１により駆動されて複数のパワーＬＥＤ６２２ａから投射光を発光するパワーＬＥＤモジュール６２２と、少なくとも１つ以上のパワーＬＥＤ６２２ａが設けられたパワーＬＥＤモジュール６２２の前方位置に配置されて測定対象Ａに対する投射光の放射角を調整可能とする放射角調整レンズ６２３とを有している。

この場合の投射光は、上述のように、投射光として近赤外のパルス光を一定周期で投射空間に投射するようにしてもよい。

受光手段６３は、測定対象Ａからの反射光を受光して発光手段６２または受光手段６３から測定対象Ａまでの空間距離Ｌに応じた撮像信号を複数の画素でそれぞれ検出するＴＯＦ式距離画像センサ６３１と、ＴＯＦ式距離画像センサ６３１の前方位置に配置されて、測定対象Ａからの反射光が入射される視野角を調整可能とする視野角調整レンズ６３２とを有している。

ＴＯＦ式距離画像センサ６３１は、複数の受光部である画素アレイ部６３１１と、各画素（受光部）からの信号読出用のタイミング信号を生成するタイミング生成部６３１２と、各画素（受光部）を垂直方向に走査する垂直スキャナ部６３１３および、各画素（受光部）を水平方向に走査する水平スキャナ部６３１４と、このタイミング信号を用いて垂直スキャナ部６３１３および水平スキャナ部６３１４を制御して各画素（受光部）からの信号読み出しを駆動する画素ドライバ部６３１５と、画素ドライバ部６３１５により画素アレイ部６３１１から読み出された画像信号に対してノイズキャンセル処理を行うノイズキャンセラ部６３１６と、ノイズキャンセラ部６３１６からの出力信号をＡ／Ｄ変換して信号出力するＡ／Ｄコンバータ部６３１７とを有している。

上記ＴＯＦ技術に基づくＴＯＦ式距離画像センサ６３１を用いたＴＯＦカメラ６は、従来の測定対象Ａからの反射光の強度分布を用いて距離情報を取得する距離画像センサを用いた場合と比較して、以下の点で大幅に優れている。

第１に、空間上の複数点での距離Ｌを各画素の距離の相対的な遠近ではなく、距離の絶対値で計ることができる。

第２に、測定対象Ａの表面の光学的性質の影響を受けにくいため、距離情報を取得できる測定対象Ａの適用範囲が広い。これらによって、追加の演算処理が不要であり、テレビジョンゲームなどの遊具装置での高いフレームレートでのリアルタイム処理に適することになる。

図３の説明に戻って、ＴＯＦカメラ制御手段６４は、ＴＯＦカメラ６全体を制御するために必要な各種制御部から構成されており、パワーＬＥＤドライバ６２１およびＴＯＦ式距離画像センサ６３１の各駆動タイミングをそれぞれ制御するタイミング制御手段としてのタイミング制御部６４１と、ゲーム装置本体３のホスト側のシステムＬＳＩ３１０などのシステムと交信するためのホストインターフェイス手段としてのホストインターフェイス部６４２と、ＴＯＦ式距離画像センサ６３１からの距離情報（距離に応じた出力電圧情報）に基づく出力データストリームを所定のフォーマットに変換するためのデータフォーマット手段としてのデータフォーマット部６４３と、投射光の投射空間における測定対象Ａの距離変位を検出する距離変位検出手段としての距離変位検出部６４４と、距離変位の有無を判定する距離変位判定手段としての距離平衡状態判定部６４５と、距離フレームと距離平衡フレームのフレーム差分を求めるフレーム差分演算手段としてのフレーム差分演算部６４６とを有し、受光手段６３からの受光情報に基づいて測定対象Ａの動作を検出する。

次に、各種重力操作情報や、角速度センサ５１からの角速度情報を無線出力する入力装置５を図５および図６を用いて詳細に説明する。

図５は、図１および図２の入力装置５の上面後方から見た概観構成例を示す斜視図である。

図５において、入力装置５は、例えばプラスチック成型によって形成されたハウジング５３によって覆われている。ハウジング５３は、その前後方向を長手方向とした略直方体形状を有しており、全体として大人や子供が片手で把持可能な大きさである。

ハウジング５３の上面には、操作部５２として複数の操作ボタン５２ａ〜５２ｃ（ここでは３つ設けられているが、それ以上あってもよい）が設けられている。操作ボタン５２ａ〜５２ｃはそれぞれ、プレイヤがボタン頭部を押下することによって、それぞれの操作ボタン５２ａ〜５２ｃに割り当てられた操作信号（例えばゲームスピードを３段階に設定してもよい）を無線出力する入力操作部である。例えば、操作ボタン５２ａ〜５２ｃには、１番ボタン、２番ボタン、３番ボタンなどとしての各種機能が割り当てられる。これら操作ボタン５２ａ〜５２ｃはそれぞれ、ゲーム装置本体３が実行するゲームプログラムに応じてそれぞれの機能が割り当てられる。

図６は、図１および図２の入力装置５の機能構成例を示すブロック図である。

図６において、入力装置５は、角速度センサ５１、操作部５２、通信部５４とを有している。操作部５２により操作された入力操作情報の他、入力装置５を例えば所定方向に移動させた場合に、角速度センサ５１で検知された角速度を示すデータ（角速度情報）を通信部５４から無線出力する。

通信部５４は、マイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）５４１、メモリ５４２、無線モジュール５４３およびアンテナ５４４を含んでいる。マイクロコンピュータ５４１は、情報処理の際にメモリ５４２を記憶領域として用いながら、送信データ（角速度情報）を無線送信する無線モジュール５４３を制御する。

入力装置５に設けられた操作部５２からの入力操作信号（入力操作情報）、角速度センサ５１からの角速度信号（角速度情報）はマイクロコンピュータ５４１に出力される。マイクロコンピュータ５４１は、入力した各データ（操作信号および角速度信号）を無線コントローラモジュール３２３へ送信する送信データとして一時的にメモリ５４２に格納する。

ここで、通信部５４から無線コントローラモジュール３２３への無線送信は、所定の周期毎に行われるが、ゲームの処理は１／６０秒を単位として行われることが一般的であるので、それよりも短い周期でデータを収集して送信を行うことが必要となる。

具体的には、ゲームの処理単位は１６．７ｍｓ（１／６０秒）であり、ブルートゥースで構成される通信部５４の送信間隔は５ｍｓである。マイクロコンピュータ５４１は、無線コントローラモジュール３２３への送信タイミングが到来すると、メモリ５４２に格納されている送信データを一連の情報として、無線モジュール５４３へ出力する。無線モジュール５４３は、例えばブルートゥースの技術に基づいて、所定周波数の搬送波を用いて操作情報で変調し、その微弱電波信号をアンテナ５４４から放射する。つまり、入力装置５に設けられた操作部５２からのデータ（操作信号）および、角速度センサ５１からのデータ（角速度信号）は、無線モジュール５４３で微弱電波信号に変調されて入力装置５から無線にて放射される。ゲーム装置本体３の無線コントローラモジュール３２３でその微弱電波信号を受信し、ゲーム装置本体３で当該微弱電波信号を復調および復号することによって、一連の情報として入力操作情報および角速度情報を取得することができる。ゲーム装置本体３のＣＰＵ３０２は、取得した入力操作情報（操作信号）および角速度情報（角速度信号）と、ゲームプログラムとに基づいてゲーム処理を順次行う。

上記構成により、本実施形態の動作検出装置を用いたゲーム処理内容やそのゲーム進行制御について、以下に、具体的に図面を用いて説明する。

図７は、図１および図２のゲーム装置本体３において実行されるゲーム処理の流れを示すフローチャートである。図８は、図７のステップＳ２の「入力装置位置取得」のサブルーチンを示すフローチャートである。図９は、掬い処理を行うことにより進行するゲーム進行イメージを示す図である。図１０は、掬い処理を行うことにより進行するゲームの実現手法を示す図である。

なお、図７および図８に示すフローチャートにおいては、ゲーム処理のうち、プレイヤが入力装置５を動かすことに応じてオブジェクトＯＢＪを移動させる処理について説明し、本発明と直接関連しない他のゲーム処理については詳細な説明を省略する。また、ＣＰＵ３０２がゲームプログラムに基づいて実行する各動作を「ステップＳ」として略称している。

まず、ゲーム装置本体３の電源ボタン３２２を押圧して電源が投入されると、ゲーム装置本体３のＣＰＵ３０２は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリなどの各ユニットが初期化される。光ディスク４に記憶されたゲームプログラムがメインメモリに読み込まれ、ＣＰＵ３０２によって当該ゲームプログラムの実行が開始される。図７および図８に示すフローチャートは、以上の処理が完了した後に行われるゲーム処理を示すフローチャートである。

図７において、ＣＰＵ３０２は、ゲームプログラムに基づいて、ゲーム処理の初期化を行い（ステップＳ１）、次のステップに処理を進める。例えば、ステップＳ１におけるゲーム処理初期化では、仮想ゲーム空間において、図９に示すように、金魚７を掬うための道具であるポイ８を金魚７の近くまで動かしたりするゲーム処理のとき、仮想ゲーム空間の設定やゲームオブジェクトＯＢＪの配置などの初期設定を行ったり、入力装置５の動きを算出するための各種のパラメータの初期化、例えば、距離フレームデータに格納されるデータを「０」に設定したりする。

以降でのゲーム処理の主処理を説明の前に、図９と図１０を参照して、金魚掬いゲームを一例として、その処理内容を説明する。

図９の金魚掬い処理を行うことにより進行するゲームの進行イメージを示す図に示すように、金魚掬いゲームは、金魚７を掬う道具であるポイ８により、水槽９中にいる金魚７を掬い出し、掬い出した金魚７を、椀１０に入れることによりゲームが進行する。

この状況を図９に当てはめる。時刻ｔ１の時点で存在する金魚７の位置を（Ｘ１、Ｙ１、Ｚ１）とし、ポイ８の位置を（ｘ１、ｙ１、ｚ１）とする。ゲームプレイヤは、金魚７を掬おうとして、ポイ８を金魚７の存在位置まで動かそうとする。

期待時刻ｔ２の時点で、金魚７（Ｘ２、Ｙ２、Ｚ２）の真下の位置までポイ８（ｘ２、ｙ２、ｚ２）を回転しつつ移動して金魚７を掬う。ついで、掬った金魚７をポイ８の上に乗せた状態（Ｘ３、Ｙ３、Ｚ３）、（ｘ３、ｙ３、ｚ３）で、ポイ８を椀１０のある位置まで動かしていく（時刻ｔ３）。椀１０の真上の位置で、金魚７（Ｘ４、Ｙ４、Ｚ４）を椀１０内に落とすために、ポイ８（ｘ４、ｙ４、ｚ４）を回転させる（期待時刻ｔ４）。

この金魚掬いゲームの進行において、ゲーム機では、時刻ｔ１〜ｔ４、期待入力装置存在空間ＥｘＰ（位置情報）および期待入力装置動作変化（変化量と変化方向情報、角速度情報）を有している。これについて説明する。

ゲームプレイヤが何らかの行動を起こすことを期待されるタイミングが期待時刻ｔ２およびｔ４である。例えば図１０の時刻ｔ１では、ゲーム内で金魚７を掬う動作が開始されていないので、ゲーム機では、ポイ８１を持つゲームプレイヤに特定の移動や動作を期待していない。次の期待時刻ｔ２では、ゲームプレイヤが金魚７に向かってポイ８２に見立てた入力装置５を移動しており、ゲーム機では、金魚７の真下の位置まで移動することが期待されている。

測定対象ポイ８２に見立てた入力装置５が移動する動作を行うことを期待される空間領域が期待入力装置存在空間ＥｘＰである。例えば、図１０の期待時刻ｔ２（期待時刻範囲内）において、ゲーム内のプレイヤが金魚７を掬うために移動する際には、ポイ８２に見立てた入力装置５（測定対象Ａ）を所定の期待入力装置存在空間ＥｘＰ２（金魚７の真下の位置（Ｘ２、Ｙ２、Ｚ２））範囲内まで移動することが期待されている。

さらに、ポイ８２に見立てた入力装置５が行うであろうと期待される動作の角速度が期待入力装置動作角速度ＥｘＡである。即ち、図１０の期待時刻ｔ２（期待時刻範囲内）において、ポイ８２に見立てた入力装置５を金魚７の真下の位置（Ｘ２、Ｙ２、Ｚ２）まで差し入れる動作（所定の期待入力装置存在空間ＥｘＰ２の領域内；動作情報として位置情報、変化量および変化方向情報）のために、ポイ８２に見立てた入力装置５を回転させる動作（所定の期待入力装置動作角速度ＥｘＡ２の範囲内；角速度情報）を行うことが期待されている。

以降、同様に、時刻ｔ３でポイ８３の移動の後、本実施形態の場合、期待時刻ｔ４（期待時刻範囲内）においても、金魚７を椀１０に落とす際に、ポイ８４に見立てた入力装置５を金魚７を乗せた状態で椀１０の上方まで移動する動作（所定の期待入力装置存在空間ＥｘＰ４の領域内；動作情報として位置情報、変化量および変化方向情報）の後に、ポイ８４に見立てた入力装置５を回転させる動作（所定の期待入力装置動作角速度ＥｘＡ４の範囲内；角速度情報）を行うことが期待されている。

ゲーム機では、ゲームプログラムの進行に合わせて期待時刻ｔ２およびｔ４での期待入力装置存在空間ＥｘＰおよび期待入力装置動作角速度ＥｘＡのみが意味を持つため、それ以外での位置、角速度をモニタすることは不要と見なせる。よって、ゲーム機は上記各期待値と合致する場合についてのみ、演算処理を行えばよい。

上記のために必要となる入力装置５の位置取得（ステップＳ２）につき、そのサブルーチンである図８について説明する。

図８に示すように、まず、ステップＳ２１において、電源投入または遊具装置のゲームプログラムからの動作開始の指示などにより、ＴＯＦカメラ６は、発光手段６２や受光手段６３を用いて、ＴＯＦカメラ６から測定対象Ａまでの距離情報を得、距離フレーム生成部６４３１が、距離情報に基づいて、例えば１秒間に１２０枚程度のフレームレートで距離フレームを取得する。

次に、ステップＳ２２で、フレーム差分演算部６４６が、所定のタイミングで、距離フレーム毎のフレーム差分を求める動作を開始する。

即ち、ＴＯＦカメラ制御手段６４が行う動作情報出力ステップは、距離フレーム生成手段としての距離フレーム生成部６４３１が、ＴＯＦカメラ６から測定対象Ａまでの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップ（ステップＳ２１）と、第１フレーム差分演算手段としてのフレーム差分演算部６４６が、複数の距離フレームについてそれぞれのフレーム差分を演算するフレーム差分演算ステップ（ステップＳ２２）とを有している。

その後、ステップＳ２３で、上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値未満であるかどうかが判定される。上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値未満であるとき、ステップＳ２４の処理に移行する。また、上記フレーム差分（ＲＦｓｕｂＲＦ）が、設定された閾値以上であるとき、ステップＳ２５で、距離変位検出部６４４は「距離変位有り」と判定し、その後、ステップＳ２１の距離フレーム取得処理に戻る。

続いて、ステップＳ２４で、距離平衡状態判定部６４５により「距離変位がない」と判定された状態が、所定の時間以上または所定のフレーム枚数以上継続した場合に、距離平衡状態判定部６４５は投射光の投射空間が距離平衡状態にあると判定する。

即ち、ＴＯＦカメラ制御手段６４が行う動作情報出力ステップは、距離平衡状態判定手段としての距離平衡状態判定部６４５が、ＴＯＦカメラ６から測定対象Ａまでの距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、ＴＯＦカメラ６から測定対象までの距離が平衡状態にあると判定する距離平衡状態判定ステップ（ステップＳ２４）を更に有している。

その後、ステップＳ２６で、距離平衡状態判定部６４５は投射光の投射空間が距離平衡状態にあると判定すると、距離平衡フレーム生成部６４３２は、少なくとも１つの距離フレームの時間平均をとり、距離平衡フレームを生成する。

続いて、ステップＳ２７において、フレーム差分演算部６４６が、距離フレームと距離平衡フレームの間のフレーム差分演算を行う。距離変位がない領域はフレーム差分演算により相殺され、距離変位がある領域のみが残ることになる。即ち、距離フレームを取得する間に、測定対象Ａである入力装置５がどれだけ移動したかが検出されることになる。

即ち、ＴＯＦカメラ制御手段６４が行う動作情報出力ステップは、距離平衡フレーム生成手段としての距離平衡フレーム生成部６４３２が、フレーム差分に基づいて判定した距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップ（ステップＳ２６）と、第２フレーム差分演算手段としてのフレーム差分演算部６４６が、複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、フレーム差分から測定対象Ａの動作情報として、ＴＯＦカメラ６から測定対象Ａまでの距離の変化量と変化方向を算出する第２フレーム差分演算ステップ（ステップＳ２７）とをさらに有している。

なお、本実施形態では、ＴＯＦカメラ制御手段６４が行う動作情報出力ステップは、距離フレーム生成手段が、ＴＯＦ式距離画像カメラから測定対象Ａまでの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップ（ステップＳ２１）と、第１フレーム差分演算手段が、複数の距離フレームについてそれぞれのフレーム差分を演算するフレーム差分演算ステップ（ステップＳ２２）と、距離平衡フレーム生成手段が、フレーム差分に基づいて判定した距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップ（ステップＳ２３、Ｓ２４およびＳ２６）と、 第２フレーム差分演算手段が、複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、フレーム差分から測定対象Ａの動作情報として測定対象までの距離の変化量と変化方向を算出する第２フレーム差分演算ステップ（ステップＳ２７）とを有する場合について説明している。

これに限らず、ＴＯＦカメラ制御手段６４が行う動作情報出力ステップは、距離フレーム生成手段としての距離フレーム生成部６４３１が、ＴＯＦカメラ６から測定対象Ａまでの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップ（ステップＳ２１）と、第１フレーム差分演算手段としてのフレーム差分演算部６４６が、複数の距離フレームについてそれぞれのフレーム差分を演算し、このフレーム差分から測定対象Ａの動作情報として、ＴＯＦカメラ６から測定対象Ａまでの距離の変化量と変化方向を算出するフレーム差分演算ステップ（ステップＳ２２）とを有していてもよい。

また、ＴＯＦカメラ制御手段６４が行う動作情報出力ステップは、距離フレーム生成手段としての距離フレーム生成部６４３１が、ＴＯＦカメラ６から測定対象Ａまでの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップ（ステップＳ２１）と、距離平衡フレーム生成手段としての距離平衡フレーム生成部６４３２が、少なくとも２つの距離フレームに基づいて、測定対象Ａに距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップ（ステップＳ２６）と、第２フレーム差分演算手段としてのフレーム差分演算部６４６が、複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、フレーム差分から測定対象Ａの動作情報として、ＴＯＦカメラ６から測定対象Ａまでの距離の変化量と変化方向を算出する第２フレーム差分演算ステップ（ステップＳ２７）とを有していてもよい。

以上のステップとして、距離フレーム生成部６４３１が、ＴＯＦ式距離画像センサ６３１からの距離情報（距離画像）に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、距離平衡フレーム生成部６４３２が、少なくとも２つの距離フレームに基づいて、測定対象Ａに距離変化のない距離情報（距離画像）である距離平衡フレームを生成する距離平衡フレーム生成ステップと、フレーム差分演算部６４６が、複数の距離フレームについてそれぞれ距離平衡フレームとのフレーム差分を演算し、その演算したフレーム差分から測定対象Ａの動作情報として測定対象Ａまでの距離の変化量とその変化方向を算出するフレーム差分演算ステップとを有している。

次いで、角速度センサ５１からの角速度情報を無線コントローラモジュール３２３で受信して入出力プロセッサ３１１を介してＣＰＵ３０２が得る入力装置角速度取得処理（図７のステップＳ３）が行われる。この角速度情報の取得において、入力装置５に設けられた角速度センサ５１は、いわゆる振動ジャイロからであってもよいし、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）の技術に基づいた静電容量式であっても、その他の方式であってもよい。

具体的には（Ｘ２、Ｙ２、Ｚ２）および（Ｘ４、Ｙ４、Ｚ４）などの取得された入力装置５の位置と入力装置５の角速度の値が、上述の期待入力装置存在空間ＥｘＰと期待入力装置動作角速度ＥｘＡの所定の各範囲と比較され（ステップＳ４）、期待値と一致すれば、ゲームを続行するためにステップＳ２の処理に戻り、一致しなければ、ゲームを終了（ステップＳ５）する。

即ち、図２のＣＰＵ３０２の動作検出手段３０２ａが行う動作検出ステップは、例えば外部メインメモリ３０４内のゲームプログラムおよびそのデータに基づいて、図７に示すように、ステップＳ１のゲーム処理初期化の後に、測定対象位置取得手段が、ＴＯＦカメラ６からの動作情報を取得する測定対象位置取得ステップ（ステップＳ２）と、測定対象角速度取得手段が、入力装置５に設けられた角速度センサ５１からの角速度情報を無線コントローラモジュール３２３で受信して入出力プロセッサ３１１を介して取得する測定対象角速度取得ステップ（ステップＳ３）と、期待時刻ｔ２、ｔ４の所定時間範囲において、期待値比較手段が、測定対象Ａの動作情報に基づく位置情報（Ｘ２、Ｙ２、Ｚ２）または（Ｘ４、Ｙ４、Ｚ４）が所定の期待存在空間内（所定領域内）に存在するかどうかを検出すると共に、測定対象Ａの角速度情報が所定の期待角速度範囲内に存在するかどうかを検出する期待値比較ステップ（ステップＳ４）とを有している。

さらに、ゲーム終了手段が、上記期待値比較手段の比較結果が不一致の場合にゲーム処理を終了し、該期待値比較手段の比較結果が一致の場合に、ゲームを続行するためにステップＳ２の処理に戻して、測定対象位置取得ステップ、測定対象角速度取得ステップおよび期待値比較ステップの各処理を順次繰り返すゲーム終了ステップをさらに有している。

さらに、これに加えて、期待値比較ステップ（ステップＳ４）で比較結果が一致の場合に、ステップＳ４とステップＳ２の間に新たな処理ステップを設けて、ゲーム終了手段が、期待値比較回数をカウントすると共に、期待値比較回数が所定回数（上記金魚掬いゲームでは２回；期待時刻ｔ２、ｔ４の処理）に達した場合にゲーム処理を終了する別のゲーム終了ステップをさらに有していてもよい。

以上により、本実施形態によれば、光ディスク４が装着されたゲーム装置本体３と、角速度センサ５１が搭載された入力装置５と、測定対象Ａの動作情報を検出するＴＯＦカメラ６とを有している。ＴＯＦカメラ６からの３次元空間距離情報に基づく測定対象Ａの動作情報（位置情報、変化量情報および変化方向情報）と、測定対象Ａの回転動作を含む角速度情報を検出するための角速度センサ５１からの角速度情報とに基づいて、ゲーム装置本体３のＣＰＵ３０２において、掬い動作を検出する動作検出手段３０２ａを有している。これによって、測定対象の位置、変化量および変化方向はＴＯＦ式距離画像カメラ手段により検出し、測定対象の位置に至るまでの角速度情報の値に応じた曲線動作は角速度センサからの角速度情報に基づいて検出できるため、掬い動作、削り動作、振り回し動作などの複雑な動作を容易かつ確実に検出するすることができて、ユーザが不自由なく複雑な入力操作を行ってゲームを楽しむことができる。

なお、本実施形態においては、水槽９内に１匹の金魚７が存在する場合について、例を示して記載しているが、複数の金魚７（または多数の金魚７）が存在する場合についても、同様に本発明を適用可能であることは言うまでもない。

また、本実施形態においては、金魚掬いゲームとして、回転を含む掬い動作の検出について、一例を示して記載しているが、これに限らずまたはこれと共に、砂崩しゲームのように、頂上の旗を倒さないように、回転を含む片手または両手による砂の削り動作についても本発明を適用することができ、ＴＯＦ式距離画像カメラ６と角速度センサ５１の組合せにより、同様に検出可能である。また、本実施形態に限らずまたはこれと共に、昆虫採集ゲームのように曲線動作を含む虫取り網の振り回し動作（虫取り網にてトンボや蝶などを捕獲する場合）についても本発明を適用することができ、ＴＯＦ式距離画像カメラ６と角速度センサ５１の組合せにより、同様に検出可能である。

さらに、金魚掬いゲームを行う遊具装置として、本発明の動作検出装置を用いて、動作情報および角速度情報に関して特定の時刻で期待値を有しており、期待値と合致する動作情報および角速度情報を含む領域に限定してＣＰＵ３０２の動作検出手段３０２ａによる動作検出処理を実行することによりゲームの進行を行う場合について説明したが、これに限らず、砂崩しゲームや昆虫採集ゲームを行う遊具装置についても同様に実施することができる。

また同様に、金魚掬いゲームを行うゲーム方法として、本発明の動作検出方法を用いて、動作情報および角速度情報に関して特定の時刻で期待値を有しており、期待値と合致する動作情報および角速度情報を含む領域に限定して動作検出ステップによる動作検出処理を実行することによりゲームの進行を行う場合について説明したが、これに限らず、砂崩しゲームや昆虫採集ゲームを行うゲーム方法についても同様に実施することができる。

さらに、本発明の情報処理プログラムやゲームプログラムは、光ディスク４などの外部記憶媒体を通じてゲーム装置本体３に供給されるだけでなく、有線または無線の通信回線を通じてゲーム装置本体３に供給されてもよい。また、情報処理プログラムやゲームプログラムは、ゲーム装置本体３の内部のフラッシュメモリ３０１などの不揮発性記憶装置に予め記録されていてもよい。また、情報処理プログラムやゲームプログラムを記憶する情報記憶媒体としては、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体の他に、不揮発性半導体メモリでもよい。また、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよく、データを含んでいてもよいことは言うまでもないことである。

なお、今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の技術的範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

このように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、ＴＯＦ式距離画像カメラからの距離情報と、角速度センサからの角速度情報に基づいて、掬い・削り・振り回し動作などの複雑な動作を検出可能とする動作検出装置およびこれを用いた動作検出方法、この動作検出装置を用いてゲーム進行を行う遊具装置、これを用いたゲーム方法、これらの動作検出方法およびゲーム方法をコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体の分野において、測定対象の位置、変化量および変化方向はＴＯＦ式距離画像カメラ手段により検出し、測定対象の位置に至るまでの角速度情報の値に応じた曲線動作は角速度センサからの角速度情報に基づいて検出できるため、掬い動作、削り動作、振り回し動作などの複雑な動作を容易かつ確実に検出するすることができて、ユーザが不自由なく複雑な入力操作を行ってゲームを楽しむことができる。

１ ゲームシステム
２ モニタ（テレビジョン受像機）
２ａ 接続コード
２１ モニタ表示画面
３ ゲーム装置本体（情報処理装置）
３ａ 開口部
３０１ フラッシュメモリ
３０２ ＣＰＵ（制御部）
３０２ａ 動作検出手段
３０３ ＲＯＭ／ＲＴＣ
３０４ 外部メインメモリ
３１０ システムＬＳＩ
３１１ 入出力プロセッサ
３１２ ＧＰＵ
３１３ ＤＳＰ
３１４ ＶＲＡＭ
３１５ 内部メインメモリ
３２１ リセットボタン
３２２ 電源ボタン
３２３ 無線コントローラモジュール
３２４ インジェクトボタン
３２５ ディスクドライブ
３２６ ＡＶ−ＩＣ
３２７ ＡＶコネクタ
４ 光ディスク
５ 入力装置
５１ 角速度センサ
５２ 操作部
５２ａ〜５２ｃ 操作ボタン
５３ ハウジング
５４ 通信部
５４１ マイクロコンピュータ
５４２ メモリ
５４３ 無線モジュール
５４４ アンテナ
６ ＴＯＦカメラ（ＴＯＦ式距離画像カメラ）
６２ 発光手段
６２１ パワーＬＥＤドライバ
６２２ａ パワーＬＥＤ
６２２ パワーＬＥＤモジュール
６２３ 放射角調整レンズ
６３ 受光手段
６３１ ＴＯＦ式距離画像センサ
６３１１ 画素アレイ部
６３１２ タイミング生成部
６３１３ 垂直スキャナ部
６３１４ 水平スキャナ部
６３１５ 画素ドライバ部
６３１６ ノイズキャンセラ部
６３１７ Ａ／Ｄコンバータ部
６３２ 視野角調整レンズ
６４ ＴＯＦカメラ制御手段
６４１ タイミング制御部
６４２ ホストインターフェイス部
６４３ データフォーマット部
６４４ 距離変位検出部
６４５ 距離平衡状態判定部
６４６ フレーム差分演算部
７ 金魚
８、８１〜８４ ポイ（金魚を掬う紙を張った道具）
９ 水槽
１０ 椀
Ａ 測定対象
ｔ２、ｔ４ 期待時刻
ＥｘＰ、ＥｘＰ２、ＥｘＰ４ 期待入力装置存在空間
ＥｘＡ、ＥｘＡ２、ＥｘＡ４ 期待入力装置動作角速度
ＲＦｓｕｂＲＦ フレーム差分

Claims (24)

1. 発光手段から出射される投射光の投射空間からの反射光を受光して、該投射空間の測定対象までの３次元空間距離に基づく該測定対象の動作情報を出力するＴＯＦ（タイム・オブ・フライト）式距離画像カメラ手段と、該測定対象の角速度情報を検出するための角速度センサとを有する動作検出装置であって、
   該ＴＯＦ式距離画像カメラ手段からの動作情報と、該角速度センサからの角速度情報とに基づいて、該測定対象の曲線を含む動作を検出可能とする動作検出手段を有する動作検出装置。
2. 前記動作検出手段は、
   前記ＴＯＦ式距離画像カメラ手段からの動作情報を取得する測定対象位置取得手段と、
   前記角速度センサからの角速度情報を取得する測定対象角速度取得手段と、
   期待時刻範囲において、該測定対象の動作情報に基づく位置情報が所定の期待存在空間内に存在するかどうかを検出すると共に、該測定対象の角速度情報が所定の期待角速度範囲内に存在するかどうかを検出する期待値比較手段とを有する請求項１に記載の動作検出装置。
3. 前記期待値比較手段の比較結果が不一致の場合にゲーム処理を終了し、該期待値比較手段の比較結果が一致の場合に、前記測定対象位置取得手段、前記測定対象角速度取得手段および前記期待値比較手段の各処理を順次繰り返し、期待値比較回数をカウントすると共に、該期待値比較回数が所定回数に達した場合にゲーム処理を終了するゲーム終了手段をさらに有する請求項２に記載の動作検出装置。
4. 前記測定対象の動作情報は、該測定対象の位置、該測定対象までの距離の変化量およびその変化方向であり、前記角速度情報は動作曲線度合いを示す情報である請求項１または２に記載の動作検出装置。
5. 前記測定対象の曲線を含む動作は、掬い動作、削り動作および振り回し動作のうちのいずれかである請求項１に記載の動作検出装置。
6. 前記ＴＯＦ式距離画像カメラ手段は、
   該ＴＯＦ式距離画像カメラ手段から前記測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、
   該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出する第１フレーム差分演算手段とを有する請求項１に記載の動作検出装置。
7. 前記ＴＯＦ式距離画像カメラ手段は、
   該ＴＯＦ式距離画像カメラ手段から前記測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、
   少なくとも２つの距離フレームに基づいて、該測定対象に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成手段と、
   該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出する第２フレーム差分演算手段とを有する請求項１に記載の動作検出装置。
8. 前記ＴＯＦ式距離画像カメラ手段は、
   該ＴＯＦ式距離画像カメラから測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成手段と、
   該複数の距離フレームについてそれぞれのフレーム差分を演算する第１フレーム差分演算手段と、
   該フレーム差分に基づいて判定した距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成手段と、
   該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出する第２フレーム差分演算ステップとを有する請求項１に記載の動作検出装置。
9. 前記ＴＯＦ式距離画像カメラ手段は、
   前記測定対象までの距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該測定対象までの距離が平衡状態にあると判定する距離平衡状態判定手段を更に有する請求項７または８に記載の動作検出装置。
10. 前記発光手段は、前記投射光として近赤外線のパルス光を一定周期で前記投射空間に投射する請求項１に記載の動作検出装置。
11. 前記角速度センサは、前記測定対象の入力装置側に設けられている請求項１に記載の動作検出装置。
12. 前記測定対象は、処理速度を複数段階に変化可能とする操作入力手段を有する請求項１に記載の動作検出装置。
13. 発光手段から出射される投射光の投射空間からの反射光を受光して、該投射空間の測定対象までの３次元空間距離に基づく該測定対象の動作情報をＴＯＦ（タイム・オブ・フライト）式距離画像カメラ手段から出力する動作情報出力ステップと、角速度センサから該測定対象の角速度情報を検出する角速度情報検出ステップとを有する動作検出方法であって、
    動作検出手段が、前記ＴＯＦ式距離画像カメラ手段からの動作情報と、前記角速度センサからの角速度情報とに基づいて、該測定対象の曲線を含む動作を検出する動作検出ステップを有する動作検出方法。
14. 前記動作検出ステップは、
    測定対象位置取得手段が、前記ＴＯＦ式距離画像カメラ手段からの動作情報を取得する測定対象位置取得ステップと、
    測定対象角速度取得手段が、前記角速度センサからの角速度情報を取得する測定対象角速度取得ステップと、
    期待時刻範囲において、期待値比較手段が、該測定対象の動作情報に基づく位置情報が所定の期待存在空間内に存在するかどうかを検出すると共に、該測定対象の角速度情報が所定の期待角速度範囲内に存在するかどうかを検出する期待値比較ステップとを有する請求項１３に記載の動作検出方法。
15. ゲーム終了手段が、前記期待値比較手段の比較結果が不一致の場合にゲーム処理を終了し、該期待値比較手段の比較結果が一致の場合に、前記測定対象位置取得ステップ、前記測定対象角速度取得ステップおよび前記期待値比較ステップの各処理を順次繰り返し、該ゲーム終了手段が、期待値比較回数をカウントすると共に、該期待値比較回数が所定回数に達した場合にゲーム処理を終了するゲーム終了ステップをさらに有する請求項１４に記載の動作検出方法。
16. 前記動作情報出力ステップは、
    距離フレーム生成手段が、該ＴＯＦ式距離画像カメラから測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、
    第１フレーム差分演算手段が、該複数の距離フレームについてそれぞれのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出するフレーム差分演算ステップとを有する請求項１３に記載の動作検出方法。
17. 前記動作情報出力ステップは、
    距離フレーム生成手段が、該ＴＯＦ式距離画像カメラから測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、
    距離平衡フレーム生成手段が、少なくとも２つの該距離フレームに基づいて、前記測定対象に距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、
    第２フレーム差分演算手段が、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出する第２フレーム差分演算ステップとを有する請求項１３に記載の動作検出方法。
18. 前記動作情報出力ステップは、
    距離フレーム生成手段が、該ＴＯＦ式距離画像カメラから測定対象までの距離情報に基づいて時系列に複数の距離フレームを生成する距離フレーム生成ステップと、
    第１フレーム差分演算手段が、該複数の距離フレームについてそれぞれのフレーム差分を演算する第１フレーム差分演算ステップと、
    距離平衡フレーム生成手段が、該フレーム差分に基づいて判定した距離変化のない距離情報である距離平衡フレームを生成する距離平衡フレーム生成ステップと、
    第２フレーム差分演算手段が、該複数の距離フレームについてそれぞれ該距離平衡フレームとのフレーム差分を演算し、該フレーム差分から該測定対象の動作情報として該測定対象までの距離の変化量と変化方向を算出する第２フレーム差分演算ステップとを有する請求項１３に記載の動作検出方法。
19. 前記動作情報出力ステップは、
    距離平衡状態判定手段が、前記測定対象までの距離をリアルタイムに計測し、少なくとも２つの距離フレームの間のフレーム差分が所定の閾値未満である状態が所定の時間以上または所定のフレーム数以上継続した場合に、該測定対象までの距離が平衡状態にあると判定する距離平衡状態判定ステップを更に有する請求項１７または１８に記載の動作検出方法。
20. 請求項１〜１２のいずれかに記載の動作検出装置を用いて、前記動作情報および前記角速度情報に関して特定の時刻で期待値を有しており、該期待値と合致する該動作情報および該角速度情報を含む領域に限定して前記動作検出手段による動作検出処理を実行することによりゲームの進行を行う遊具装置。
21. 請求項１３〜１９のいずれかに記載の動作検出方法を用いて、前記動作情報および前記角速度情報に関して特定の時刻で期待値を有しており、該期待値と合致する該動作情報および該角速度情報を含む領域に限定して前記動作検出ステップによる動作検出処理を実行することによりゲームの進行を行うゲーム方法。
22. 請求項１３〜１９のいずれかに記載の動作検出方法のステップをコンピュータに実行させるための処理手順が記述された制御プログラム。
23. 請求項２１に記載のゲーム方法をコンピュータに実行させるための処理手順が記述された制御プログラム。
24. 請求項２２または２３に記載の制御プログラムが格納されたコンピュータ読み取り可能な可読記録媒体。