JP2012000165A - ビデオゲーム装置 - Google Patents

ビデオゲーム装置 Download PDF

Info

Publication number
JP2012000165A
JP2012000165A JP2010135609A JP2010135609A JP2012000165A JP 2012000165 A JP2012000165 A JP 2012000165A JP 2010135609 A JP2010135609 A JP 2010135609A JP 2010135609 A JP2010135609 A JP 2010135609A JP 2012000165 A JP2012000165 A JP 2012000165A
Authority
JP
Japan
Prior art keywords
player
information
video game
depth
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010135609A
Other languages
English (en)
Inventor
Makoto Suzuki
鈴木　　誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sega Corp
Original Assignee
Sega Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sega Corp filed Critical Sega Corp
Priority to JP2010135609A priority Critical patent/JP2012000165A/ja
Priority to US13/700,786 priority patent/US9492748B2/en
Priority to PCT/JP2011/061554 priority patent/WO2011158599A1/ja
Publication of JP2012000165A publication Critical patent/JP2012000165A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands

Abstract

【課題】深度センサを備えたビデオゲーム装置において、深度センサに対するプレイヤの向きにかかわらずジェスチャを精度よく認識する。
【解決手段】プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する深度センサと、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記統計情報に基づいてプレイヤのジェスチャを認識するジェスチャ認識部とを備える。
【選択図】図１

Description

本発明はビデオゲーム装置の制御技術に関する。
ビデオゲーム装置の新たな仕組として、プレイヤがコントローラを操作することなく、プレイヤのジェスチャ（体の姿勢や身振り手振り等）や音声によりゲーム進行をコントロールするものが提案されている。なお、従来においてもプレイヤのポーズ（ジェスチャ）によりゲーム操作を行う技術が提案されている（例えば、特許文献１等を参照。）。
前述したビデオゲーム装置の新たな仕組においては、骨格追跡と呼ばれる技術を用いてプレイヤのジェスチャを認識し、認識したジェスチャに対応したゲーム進行を行うようにしている。骨格追跡とは、カメラや深度センサ（カメラの撮像画素に対応した各点につき、センサからの距離を測定する機器）により取得したプレイヤの姿態の情報に基づき、体の特徴的な端部（頭、腕、胴体、脚等）を認識し、その内部の骨および関節の位置を推定し、その動きを追跡するものである。
特開２００６−６８３１５号公報
上述した骨格追跡は、カメラや深度センサに対してプレイヤが正面を向き、ほぼ全身が撮影されている場合には有効に機能する。しかし、プレイヤが横向きになったような場合には、体のかなりの部分の部位、具体的にはカメラ・センサ位置の反対側の腕、手、脚および足首等の位置がカメラや深度センサから観測できなくなってしまうため、骨格追跡の処理が不安定になり、処理が破綻してしまう場合もあった。
骨格追跡の処理の不安定さを回避するために、計算に遊び（Dead Zone）を入れる手法が存在するが、その結果、わずかな姿勢変化や体重移動等を見逃してしまうこととなり、微細なコントロールを要するビデオゲームには適用できないという問題があった。例えば、サーフボードやスケートボード等のコントロールをプレイヤのジェスチャにより操作するようなビデオゲームの場合、プレイヤはカメラや深度センサに対して顔を右または左に９０度横に向け、体を横向きにした状態でゲーム操作を行うため、微妙な姿勢変化や体重移動を行うものであることから、特にカメラ・センサと反対側の位置にある身体部位の計測においてかかる点は特に問題となる。
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、深度センサに対するプレイヤの向きにかかわらずジェスチャを精度よく認識することのできるビデオゲーム装置を提供することにある。
上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する深度センサと、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記統計情報に基づいてプレイヤのジェスチャを認識するジェスチャ認識部とを備えるビデオゲーム装置を要旨としている。
また、請求項２に記載されるように、請求項１に記載のビデオゲーム装置において、前記ジェスチャ認識部は、前記画像における前記プレイヤのシルエットの面積中心を算出し、該面積中心位置に基づいて前記画像を複数の区画に分割するようにすることができる。
また、請求項３に記載されるように、請求項１または２のいずれか一項に記載のビデオゲーム装置において、前記ジェスチャ認識部は、前記プレイヤに対して複数の所定の姿勢をとるよう誘導を行い、個々の姿勢について前記統計情報に対する補正パラメータを算出するようにすることができる。
また、請求項４に記載されるように、ビデオゲーム装置の深度センサが、プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する手順と、ジェスチャ認識部が、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記深度情報に基づいてプレイヤのジェスチャを認識する行う手順とを前記ビデオゲーム装置のコンピュータに実行させるビデオゲーム制御プログラムとして構成することができる。
本発明のビデオゲーム装置にあっては、深度センサに対するプレイヤの向きにかかわらずジェスチャを精度よく認識することができる。
本発明の一実施形態にかかるビデオゲーム装置の構成例を示す図である。 画像情報および深度情報のデータ構造例を示す図である。 ジェスチャ認識およびゲーム制御の処理例を示すフローチャートである。 分割位置の算出の処理例を示すフローチャートである。 ジェスチャ認識の例を示す図である。 ゲーム制御の例を示す図である。 補正パラメータの算出の処理例を示すフローチャートである。 補正パラメータの算出における画面および算出情報の例を示す図（その１）である。 補正パラメータの算出における画面および算出情報の例を示す図（その２）である。
以下、本発明の好適な実施形態につき説明する。
＜構成＞
図１は本発明の一実施形態にかかるビデオゲーム装置１の構成例を示す図である。
図１において、ビデオゲーム装置１は、制御部１０１とメモリ１０８とカメラ１１１と深度センサ１１２とマイク１１３と映像出力部１１４と音声出力部１１５と通信部１１６とモニタ１１７とスピーカ１１８とを備えている。なお、カメラ１１１、深度センサ１１２、モニタ１１７、スピーカ１１８をビデオゲーム装置１内のものとして図示しているが、ケーブル等による外付けとしてもよい。
制御部１０１は、ＣＰＵ（Central Processing Unit）等から構成され、コンピュータプログラムに従って主たる制御動作を行う。
メモリ１０８は、制御部１０１の作業用領域としてデータを保持する。
カメラ１１１は、プレイヤが存在する空間を撮像して画像情報を取得する。データ構造については後述する。
深度センサ１１２は、プレイヤが存在する空間に対して赤外線光等を照射して撮像し、発信から受信までの時間（飛行時間）から、撮像された画像（例：図５（ａ）〜（ｃ））の各画素ごとの深度情報（距離情報）を取得する。データ構造については後述する。
マイク１１３は、プレイヤが通常存在する空間から音声を入力する。
映像出力部１１４は、モニタ１１７に出力する映像信号を生成する。
音声出力部１１５は、スピーカ１１８に出力する音声信号を生成する。
通信部１１６は、有線もしくは無線により他の機器やネットワークとデータ通信を行う。
一方、制御部１０１は、機能部として、カメラ／深度センサ制御部１０２とプレイヤ追跡部１０３と骨格追跡部１０４とジェスチャ認識部１０５と音声認識部１０６とゲーム進行制御部１０７を構成している。
カメラ／深度センサ制御部１０２は、カメラ１１１および深度センサ１１２の制御を行い、カメラ１１１により撮像された画像情報１０９と深度センサ１１２から取得された深度情報１１０をメモリ１０８に格納する。画像情報１０９は、図２（ａ）に示すように、ＲＧＢ（Red, Green, Blue）等の画像データが画像内の各画素（ピクセル）に対応付けて格納される。深度情報１１０は、図２（ｂ）に示すように、深度センサ１１２から被測定対象表面までの距離を示す深度データと、どのプレイヤの深度データであるかを示すフラグ（例えば、２プレイヤ対応の場合、「１」はプレイヤ＃１、「２」はプレイヤ＃２、「３」はその他の物体）とが、撮像された画像の各画素（ピクセル）に対応付けて格納される。なお、深度情報１１０のフラグはプレイヤ追跡部１０３により設定されるものであり、深度センサ１１２から取得した時点ではブランクである。また、画像情報１０９の解像度と深度情報１１０の解像度は同じである必要はない。
図１に戻り、プレイヤ追跡部１０３は、メモリ１０８に格納された深度情報１１０（必要に応じて画像情報１０９を利用することも可能）を追跡し、プレイヤを特定するフラグを設定する。例えば、特定のプレイヤ（２プレイヤ対応の場合、プレイヤ＃１かプレイヤ＃２）であることを所定のジェスチャにより認識した後、そのプレイヤのシルエット（深度情報のうち背景に比べて前景として認識される部分）を追跡し、同じプレイヤのシルエットに含まれると推定される深度情報１１０に当該プレイヤを示すフラグを設定する。プレイヤのシルエットと推定されない深度情報１１０にはその旨を示すフラグを設定する。なお、プレイヤ追跡部１０３は、骨格追跡部１０４に含まれるものとしてもよい。
骨格追跡部１０４は、メモリ１０８に格納された深度情報１１０（必要に応じて画像情報１０９を利用することも可能）に基づき、プレイヤの体の特徴的な端部（頭、腕、胴体、脚等）を認識し、その内部の骨および関節の位置を推定し、その動きを追跡する。
ジェスチャ認識部１０５は、骨格追跡部１０４の追跡結果の他、メモリ１０８に格納された深度情報１１０（必要に応じて画像情報１０９を利用することも可能）を利用し、画像を複数の区画（例えば、４個の区画）に区分した上での深度情報１１０の統計情報に基づいてジェスチャの認識を行う。処理の詳細については後述する。
音声認識部１０６は、マイク１１３から入力された音声情報に基づき、音声認識を行う。
ゲーム進行制御部１０７は、骨格追跡部１０４、ジェスチャ認識部１０５および音声認識部１０６の処理結果に基づいてゲーム進行を制御する。
＜動作＞
図３はジェスチャ認識およびゲーム制御の処理例を示すフローチャートである。なお、ジェスチャ認識およびゲーム制御は複数のプレイヤが存在する場合には、プレイヤ毎に行う。また、図３における処理は原則としてフレーム（ゲーム画像の画面更新単位）毎に行うものである。
図３において、処理を開始すると（ステップＳ１０１）、ジェスチャ認識部１０５は、メモリ１０８から深度情報１１０を取得する（ステップＳ１０２）。
次いで、ジェスチャ認識部１０５は、深度情報１１０の画像の分割位置を算出する（ステップＳ１０３）。
図４は分割位置の算出（図３のステップＳ１０３）の処理例を示すフローチャートである。なお、ここでは、４個の区画に分割するための分割位置として１個の座標を求める場合について説明する。更に多くの区画に分割する場合は、分割位置の座標を複数求める。例えば、２（横方向）×４（縦方向）の場合は、上記の分割位置により区分される領域を縦方向に更に２分割する位置のそれぞれが新たな分割位置として追加される。
その場合、分割の方法としては、例えば上下に分割した各領域を高さ方向の情報で単純に２等分してもよいし、または各領域内での深度情報で求められた面積中心を元に重心となる点を求め、その縦軸座標を元に更に分割してもよい。また、画像認識情報を元に上半身側であれば首の位置、下半身側であれば膝の位置で領域分割を行うことも可能である。
図４において、処理を開始すると（ステップＳ２０１）、深度情報１１０の個々のデータのフラグから該当プレイヤの深度情報を特定する（ステップＳ２０２）。
次いで、該当プレイヤのシルエットの深度情報１１０の面積中心（重心）を算出する（ステップＳ２０３）。例えば、画像の横軸をｘ、縦軸をｙとすると、該当プレイヤに対応するフラグが設定された深度情報１１０の個々につき、ｘ値の総和を深度情報１１０の総数で除したものを面積中心のｘ座標とし、ｙ値の総和を深度情報１１０の総数で除したものを面積中心のｙ座標とする。
次いで、算出した面積中心の深度値を取得する（ステップＳ２０４）。すなわち、面積中心の座標に対応する深度情報１１０の深度データを参照する。
次いで、取得した深度値から前後所定値範囲内の該当プレイヤの深度情報１１０をフィルタリングする（ステップＳ２０５）。すなわち、該当プレイヤに対応するフラグが設定された深度情報１１０について深度データを参照し、所定値範囲内でないものを除去する。これは、プレイヤの前後に存在する障害物によるノイズを除去するためである。
次いで、フィルタリング後の深度情報１１０の面積中心を算出して分割位置とし（ステップＳ２０６）、処理を終了する（ステップＳ２０７）。
図３に戻り、ジェスチャ認識部１０５は、求められた分割位置により画像のエリア分割を行う（ステップＳ１０４）。具体的には、求められた分割位置をエリア分割の座標値として設定する。
次いで、ジェスチャ認識部１０５は、分割区画毎のフィルタリング後の深度情報１１０の統計情報を算出する（ステップＳ１０５）。図５（ａ）（ｂ）は統計情報の算出の例を示しており、異なる姿勢における統計情報の算出の例である。図５（ａ）（ｂ）において、四隅に示された括弧でくくられた２つの数字は、第１要素が、対応する区画における該当プレイヤのシルエットの面積値（深度情報１１０の数）、第２要素が、対応する区画における該当プレイヤのシルエットの平均深度値（深度情報１１０の深度値の平均値）である。なお、統計情報としてはこれらの例に限らない。
図３に戻り、ジェスチャ認識部１０５は、算出した統計情報を内部的に保存する（ステップＳ１０６）。
次いで、ジェスチャ認識部１０５は、前回保存した統計情報と今回保存した統計情報との分割区画毎の差分を算出する（ステップＳ１０７）。図５（ｃ）は、前回保存した統計情報を図５（ａ）の四隅の値とし、今回保存した統計情報を図５（ｂ）の四隅の値とした場合の差分の例を示している。
図３に戻り、ジェスチャ認識部１０５は、前回保存した統計情報と今回保存した統計情報との分割区画毎の差分に基づき、ジェスチャ認識結果を算出してゲーム進行制御部１０７に出力し（ステップＳ１０８）、深度情報の取得（ステップＳ１０２）に再び移行する。図５（ｃ）に示した例では、左上の区画の面積値が増加し、右上の区画の面積値が減少し、左下と右下の面積値の増加幅が小さいことから、プレイヤが図の左方向に体をかがめた（前に反らした）と認識することができる。反らした量は、左上の区画の面積値の増加量（これに、右上の面積値の減少量（増加量を符号反転）を加算してもよい）に比例したものとすることができる。なお、ジェスチャ認識結果の算出に深度値の平均値の差分を含めてもよい。
図３に戻り、ジェスチャ認識結果を取得したゲーム進行制御部１０７は、ジェスチャの種類に応じて予め取得された補正パラメータに従って補正を行う（ステップＳ１０９）。例えば、一般に前への反りと後ろへの反りでは、後ろへの反りが小さくなるプレイヤが多いため、サーフボードのように前後の反りで同じ程度の操作を行わせたい場合、認識結果そのままでは偏った操作しか行えなくなってしまう。そのため、予めプレイヤに前後に反らせた場合の認識結果から補正パラメータを計算しておき、後ろへの反りの場合に補正パラメータを乗算することで補正を行い、前後の反りに対して均等な操作を行えるようにする。なお、プレイヤの前後の反りに対する補正パラメータの算出および適用（補正実行）にあたっては、プレイヤが前に反っているのか、後ろに反っているのかを判断するために、プレイヤがどちら（右側、左側）を向いているのかを知る必要があるが、そのプレイヤの向きについては骨格追跡部１０４の出力する情報を用いることができる。骨格追跡部１０４はプレイヤの体の骨および関節の３次元上の位置を逐次把握しているので、プレイヤが深度センサ方向に対して右側・左側どちらを向いているかを判断することができる。補正パラメータの計算の詳細については後述する。
次いで、ゲーム進行制御部１０７は、ジェスチャ認識結果（補正が行われる場合は補正後のジェスチャ認識結果）に基づいてゲーム進行を制御する（ステップＳ１１０）。図６はゲーム制御の例を示しており、プレイヤの姿勢に連動するキャラクタ２１がサーフボード２２に乗って走行している状態を示している。ここで、プレイヤの姿勢が図５（ａ）の状態の時のゲーム画面が図６（ａ）であったとすると、図５（ｂ）のようにプレイヤが前に反ることで、図６（ｂ）のようにキャラクタ２１を前に反らせ、サーフボード２２を右方向に回転させる。
図７はゲーム制御時の補正（図３のステップＳ１０９）で用いられる補正パラメータの算出の処理例を示すフローチャートである。なお、この処理はプログラムロード中やゲーム開始前等において行うことができる。
図７において、処理を開始すると（ステップＳ３０１）、プレイヤに正面を向いて直立させるための誘導を行うための画面表示を行う（ステップＳ３０２）。図８（ａ）はキャラクタが正面向きに立った状態の画面例である。なお、「補正のため、正面を向いて直立してください。」等のメッセージを併せて表示することができる。なお、正面向き直立の測定は、基本位置のデータを取得するためのものであり、補正パラメータを計算するためには用いないので、省略することができる。続く、ステップＳ３０３も同様である。
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３０３：Ｓ３０４〜Ｓ３０７）。ここで、深度情報の取得（ステップＳ３０４）は、図３の深度情報の取得（ステップＳ１０２）に示したのと同様の処理である。分割位置の算出（ステップＳ３０５）は、図３の分割位置の算出（ステップＳ１０３）に示したのと同様の処理であり、詳細は図４に示したとおりである。エリア分割（ステップＳ３０６）は、図３のエリア分割（ステップＳ１０４）と同様の処理である。分割区画毎の深度情報の統計情報の算出／保存（ステップＳ３０７）は、図３の分割区画毎の深度情報の統計情報の算出（ステップＳ１０５）と統計情報の保存（ステップＳ１０６）と同様の処理である。取得される統計情報の例を図８（ｂ）に示している。
次いで、図７に戻り、プレイヤに横向き直立の誘導を行うための画面表示を行う（ステップＳ３０８）。図８（ｃ）（ｄ）はキャラクタが横向き直立になった状態の画面例であり、図８（ｃ）はレギュラースタンス（プレイヤの左足が前）、図８（ｄ）はグーフィースタンス（プレイヤの右足が前）の場合である。どちらかを選択させてもよいし、両者に対応できる画面としてもよい。なお、「横を向いて直立してください。」等のメッセージを併せて表示することができる。
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３０９）。ステップＳ３０３（ステップＳ３０４〜Ｓ３０７）と同様の処理である。取得される統計情報の例を図８（ｅ）（ｆ）に示している。なお、誘導した通りの方向をプレイヤが向かない場合に備え、骨格追跡部１０４の出力する情報等によるプレイヤの向きの情報を併せて取得／保存するようにしてもよい。
次いで、図７に戻り、プレイヤに前反りの誘導を行うための画面表示を行う（ステップＳ３１０）。図９（ａ）（ｂ）はキャラクタが前反りになった状態の画面例であり、図９（ａ）はレギュラースタンスの場合、図９（ｂ）はグーフィースタンスの場合である。なお、「前に最大まで反って（かがんで）ください。」等のメッセージを併せて表示することができる。
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３１１）。ステップＳ３０３（ステップＳ３０４〜Ｓ３０７）と同様の処理である。取得される統計情報の例を図９（ｃ）（ｄ）に示している。
次いで、図７に戻り、プレイヤに後ろ反りの誘導を行うための画面表示を行う（ステップＳ３１２）。図９（ｅ）（ｆ）はキャラクタが後ろ反りになった状態の画面例であり、図９（ｅ）はレギュラースタンスの場合、図９（ｆ）はグーフィースタンスの場合である。なお、「後ろに最大まで反ってください。」等のメッセージを併せて表示することができる。
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３１３）。ステップＳ３０３（ステップＳ３０４〜Ｓ３０７）と同様の処理である。取得される統計情報の例を図９（ｇ）（ｈ）に示している。なお、誘導した通りの方向をプレイヤが向かない場合に備え、骨格追跡部１０４の出力する情報等によるプレイヤの向きの情報を併せて取得／保存するようにしてもよい。
次いで、図７に戻り、横向き直立時の統計情報と前反り時の統計情報の差分と、横向き直立時の統計情報と後ろ反り時の統計情報の差分を算出し、これらから補正パラメータを算出する（ステップＳ３１４）。前反りか後ろ反りかは統計情報取得時の誘導内容に従うか、併せて取得／保存したプレイヤの向きの情報から判断する。
例えば、図８（ｅ）、図９（ｃ）、（ｇ）の統計情報が取得された場合、図８（ｅ）と図９（ｃ）の統計情報の差分のうちの左上の区画の面積値の増加量（これに、右上の面積値の減少量（増加量を符号反転）を加算してもよい）を、図８（ｅ）と図９（ｇ）の統計情報の差分のうちの右上の区画の面積値の増加量（これに、左上の面積値の減少量（増加量を符号反転）を加算してもよい）で割った値を補正パラメータとする。
図７に戻り、その後、処理を終了する（ステップＳ３１５）。
なお、前後の反りに対する補正パラメータの算出について説明したが、補正の対象はこの例に限らない。例えば、深度情報を用いたパンチのリーチの補正パラメータの算出、キックの高さ等の補正パラメータの算出を行うことができる。
＜総括＞
以上説明した実施形態によれば、プレイヤの向きにかかわらずジェスチャを精度よく認識することができるとともに、体の部位の特性に起因する補正を適切に行うことができる。
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
１ ビデオゲーム装置
１０１ 制御部
１０２ カメラ／深度センサ制御部
１０３ プレイヤ追跡部
１０４ 骨格追跡部
１０５ ジェスチャ認識部
１０６ 音声認識部
１０７ ゲーム進行制御部
１０８ メモリ
１０９ 画像情報
１１０ 深度情報
１１１ カメラ
１１２ 深度センサ
１１３ マイク
１１４ 映像出力部
１１５ 音声出力部
１１６ 通信部
１１７ モニタ
１１８ スピーカ

Claims (4)

  1. プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する深度センサと、
    前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記統計情報に基づいてプレイヤのジェスチャを認識するジェスチャ認識部と
    を備えたことを特徴とするビデオゲーム装置。
  2. 請求項１に記載のビデオゲーム装置において、
    前記ジェスチャ認識部は、前記画像における前記プレイヤのシルエットの面積中心を算出し、該面積中心位置に基づいて前記画像を複数の区画に分割する
    ことを特徴とするビデオゲーム装置。
  3. 請求項１または２のいずれか一項に記載のビデオゲーム装置において、
    前記ジェスチャ認識部は、前記プレイヤに対して複数の所定の姿勢をとるよう誘導を行い、個々の姿勢について前記統計情報に対する補正パラメータを算出する
    ことを特徴とするビデオゲーム装置。
  4. ビデオゲーム装置の深度センサが、プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する手順と、
    ジェスチャ認識部が、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記深度情報に基づいてプレイヤのジェスチャを認識する行う手順と
    を前記ビデオゲーム装置のコンピュータに実行させるビデオゲーム制御プログラム。
JP2010135609A 2010-06-14 2010-06-14 ビデオゲーム装置 Withdrawn JP2012000165A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010135609A JP2012000165A (ja) 2010-06-14 2010-06-14 ビデオゲーム装置
US13/700,786 US9492748B2 (en) 2010-06-14 2011-05-19 Video game apparatus, video game controlling program, and video game controlling method
PCT/JP2011/061554 WO2011158599A1 (ja) 2010-06-14 2011-05-19 ビデオゲーム装置、ビデオゲーム制御プログラム、ビデオゲーム制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010135609A JP2012000165A (ja) 2010-06-14 2010-06-14 ビデオゲーム装置

Publications (1)

Publication Number Publication Date
JP2012000165A true JP2012000165A (ja) 2012-01-05

Family

ID=45348008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010135609A Withdrawn JP2012000165A (ja) 2010-06-14 2010-06-14 ビデオゲーム装置

Country Status (3)

Country Link
US (1) US9492748B2 (ja)
JP (1) JP2012000165A (ja)
WO (1) WO2011158599A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526425B1 (ko) * 2014-02-21 2015-06-05 현대자동차 주식회사 제스처 인식 장치 및 제스처 인식 방법
WO2018189796A1 (ja) 2017-04-10 2018-10-18 富士通株式会社 認識装置、認識システム、認識方法および認識プログラム
WO2019078038A1 (ja) * 2017-10-20 2019-04-25 ｅｍｍｍＲ株式会社 広告システム
CN110546644A (zh) * 2017-04-10 2019-12-06 富士通株式会社 识别装置、识别方法以及识别程序
JP2021509988A (ja) * 2018-01-03 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 モバイル機器を用いたジェスチャー認識

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
JP3321053B2 (ja) 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
US6144366A (en) 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
US6031934A (en) * 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2000003445A (ja) * 1998-06-15 2000-01-07 Toshiba Corp 情報抽出方法および情報抽出装置および記録媒体
JP2001307107A (ja) 2000-04-21 2001-11-02 Sony Corp 画像処理装置および方法、並びに記録媒体
WO2001096147A2 (en) * 2000-06-15 2001-12-20 Automotive Systems Laboratory, Inc. Occupant sensor
JP2002008041A (ja) 2000-06-22 2002-01-11 Namco Ltd 動作検出装置、動作検出方法および情報記憶媒体
JP2002123834A (ja) 2000-08-08 2002-04-26 Ocean Network Co Ltd 画像認識方法及び画像処理装置
US6597443B2 (en) * 2001-06-27 2003-07-22 Duane Boman Spatial tracking system
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
JP4355341B2 (ja) * 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
JP4218963B2 (ja) 2004-06-28 2009-02-04 株式会社東芝 情報抽出方法、情報抽出装置及び記録媒体
JP2006068315A (ja) 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006235771A (ja) * 2005-02-23 2006-09-07 Victor Co Of Japan Ltd 遠隔操作装置
JP4171501B2 (ja) * 2006-04-25 2008-10-22 本田技研工業株式会社 車両の周辺監視装置
JP2007310707A (ja) * 2006-05-19 2007-11-29 Toshiba Corp 姿勢推定装置及びその方法
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US8131011B2 (en) * 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
WO2008065717A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection de piéton
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
JP4992618B2 (ja) 2007-09-05 2012-08-08 カシオ計算機株式会社 ジェスチャー認識装置及びジェスチャー認識方法
JP4929109B2 (ja) * 2007-09-25 2012-05-09 株式会社東芝 ジェスチャ認識装置及びその方法
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
US10235827B2 (en) * 2007-11-09 2019-03-19 Ball Gaming, Inc. Interaction with 3D space in a gaming system
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8433138B2 (en) * 2008-10-29 2013-04-30 Nokia Corporation Interaction using touch and non-touch gestures
US8340432B2 (en) * 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
TWI398818B (zh) * 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
EP2390772A1 (en) * 2010-05-31 2011-11-30 Sony Ericsson Mobile Communications AB User interface with three dimensional user input
CN102959616B (zh) * 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526425B1 (ko) * 2014-02-21 2015-06-05 현대자동차 주식회사 제스처 인식 장치 및 제스처 인식 방법
WO2018189796A1 (ja) 2017-04-10 2018-10-18 富士通株式会社 認識装置、認識システム、認識方法および認識プログラム
CN110546644A (zh) * 2017-04-10 2019-12-06 富士通株式会社 识别装置、识别方法以及识别程序
US11074713B2 (en) 2017-04-10 2021-07-27 Fujitsu Limited Recognition device, recognition system, recognition method, and non-transitory computer readable recording medium
CN110546644B (zh) * 2017-04-10 2022-10-21 富士通株式会社 识别装置、识别方法以及记录介质
WO2019078038A1 (ja) * 2017-10-20 2019-04-25 ｅｍｍｍＲ株式会社 広告システム
JP2021509988A (ja) * 2018-01-03 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 モバイル機器を用いたジェスチャー認識
JP7027552B2 (ja) 2018-01-03 2022-03-01 ソニーセミコンダクタソリューションズ株式会社 モバイル機器を用いたジェスチャー認識
US11662827B2 (en) 2018-01-03 2023-05-30 Sony Semiconductor Solutions Corporation Gesture recognition using a mobile device

Also Published As

Publication number Publication date
WO2011158599A1 (ja) 2011-12-22
US20130084982A1 (en) 2013-04-04
US9492748B2 (en) 2016-11-15

Similar Documents

Publication Publication Date Title
CN105073210B (zh) 使用深度图像的用户身体角度、曲率和平均末端位置提取
US8559677B2 (en) Image generation system, image generation method, and information storage medium
JP5148660B2 (ja) プログラム、情報記憶媒体及び画像生成システム
US8845430B2 (en) Storage medium having stored thereon game program, game apparatus, game system, and game processing method
US9495800B2 (en) Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
US8777742B2 (en) Game device, control method for a game device, and non-transitory information storage medium
US8602893B2 (en) Input for computer device using pattern-based computer vision
US9446304B2 (en) Image processing program, image processing device and image processing method
JP5039808B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
US8655015B2 (en) Image generation system, image generation method, and information storage medium
JP2006068315A (ja) ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
EP2394710A2 (en) Image generation system, image generation method, and information storage medium
WO2011158599A1 (ja) ビデオゲーム装置、ビデオゲーム制御プログラム、ビデオゲーム制御方法
US9724613B2 (en) Game device, control method of game device, program, and information storage medium
JP2007130312A (ja) ゲームプログラムおよびゲーム装置
WO2016056317A1 (ja) 情報処理装置および情報処理方法
JP2011258158A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2008067875A (ja) プログラム、情報記憶媒体及びゲーム装置
JP2010137097A (ja) ゲーム装置および情報記憶媒体
US8758142B2 (en) Game device, method of controlling a game device, program, and information storage medium
JP2012196286A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP4588689B2 (ja) ゲーム装置、および、プログラム
CN104740870A (zh) 指向辨识系统控制指向标志移动的方法
JP4420933B2 (ja) 情報記憶媒体及び画像生成装置
JP4705145B2 (ja) 描画処理プログラム、描画処理装置、及び描画処理方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130903