JP2014523258A - 手動およびカメラ・ベースのゲーム制御 - Google Patents

手動およびカメラ・ベースのゲーム制御 Download PDF

Info

Publication number
JP2014523258A
JP2014523258A JP2014508466A JP2014508466A JP2014523258A JP 2014523258 A JP2014523258 A JP 2014523258A JP 2014508466 A JP2014508466 A JP 2014508466A JP 2014508466 A JP2014508466 A JP 2014508466A JP 2014523258 A JP2014523258 A JP 2014523258A
Authority
JP
Japan
Prior art keywords
player
game
gesture
display
computer game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014508466A
Other languages
English (en)
Inventor
ランズデール，トーマス・ウィリアム
グリフィス，チャールズ・ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2014523258A publication Critical patent/JP2014523258A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018—Calibration; Key and button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/638—Methods for processing data by generating or executing the game program for controlling the execution of the game in time according to the timing of operation or a time limit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

手動およびカメラ・ベース・ゲーム制御について記載する。一実施形態では、ゲーム・システムは、ゲームのプレーヤーを描く画像ストリームを受け取り、プレーヤーが用いる手動操作コントローラーからの手動入力も受け取る。一例では、手動入力はアバターを制御するために用いることができ、画像ストリームは、プレーヤーのジェスチャーを認識し、この認識したジェスチャーを用いてゲームにおける背景物体を制御するために用いられる。例えば、頭の回転というようなジェスチャーを用いることによって、プレーヤーの手は自由にハンド・ヘルド・コントローラーを操作し続けることができ、プレーヤーは高度な制御を行い、ゲーム・プレー体験に没頭することができる。種々の実施形態において、プレーヤーの頭部の速度および動き(motion)を画像ストリームの四分儀によって追跡するというようにして、リアル・タイムで頭部のジェスチャーを画像ストリームから検出する方法について記載する。
【選択図】図１

Description

[0001] 既存のビデオおよびコンピューター・ゲームの制御システムは、ハンド・ヘルド・コントローラー(hand held controller)を用い、このコントローラーは、プレーヤーがゲーム・ディスプレイに表示されるアバターまたはその他の物体を制御することを可能にするために、ボタンおよびジョイスティックを内蔵する。これらの形式のハンド・ヘルド・コントローラーの設計は、きめの細かい堅実なゲーム・プレー制御、使いやすさ、および直感的な操作(manner)を可能にすることを目指している。
[0002] 更に最近になって、一部のコンピューター・ゲームの制御システムは音声認識技術およびジェスチャー認識を用いて、プレーヤーがゲーム・インターフェースを制御することを可能にしている。この状況では、ゲームをする者はハンド・ヘルド・コントローラーを持たずに、単純明快に、ハンド・ヘルド・コントローラーのような物理的なユーザー入力デバイスによる制約を受けずに、ゲームと対話処理することができる。
[0003] 以下に記載する実施形態は、既知のゲーム制御システムの欠点のいずれかを解決する実施態様にも、欠点の全てを解決する実施態様にも限定されない。
[0004] 以下に紹介するのは、読者に基本的な理解が得られるようにするために、本開示を簡略化した摘要である。この摘要は、本開示の広範な全体像ではなく、主要な／必須の要素を特定するのでも、本明細書の範囲を明確に定めるのでもない。その唯一の目的は、本明細書に開示する概念から選択したものを、簡略化した形態で、以降で紹介する更に詳細な説明に対する序説として紹介することである。
[0005] 手動およびカメラ・ベース・ゲーム制御について記載する。一実施形態では、ゲーム・システムは、ゲームのプレーヤーを描く画像ストリームを受け、このプレーヤーによって用いられる手動操作コントローラー(hand operated controller)からの手動入力も受け取る。一例では、手動入力は、アバターを制御するために用いることができ、画像ストリームはプレーヤーのジェスチャーを認識し、この認識したジェスチャーを用いて、ゲームにおける背景物体を制御するために用いられる。例えば、頭の回転というようなジェスチャーを用いることによって、プレーヤーの手は、自由にハンド・ヘルド・コントローラーを操作し続け、プレーヤーは高度な制御を行い、ゲーム・プレー体験に没頭することができる。種々の実施形態において、プレーヤーの頭部の速度および動き(motion)を画像ストリームの四分儀によって追跡するというように、リアル・タイムで頭部のジェスチャーを画像ストリームから検出する方法について記載する。
[0006] 付帯する特徴の多くは、以下の詳細な説明を参照し添付図面と関連付けて検討することによって理解が進むに連れて、一層容易に認められるであろう。
[0007] 本記載は、添付図面を参照しながら以下の詳細な説明を読解することによって一層深く理解されるであろう。添付図面において同様の部分を示すために、同様の参照番号を用いる。
図１は、プレーヤーがゲーム・コントローラーを手に持ち、深度カメラを有するゲーム装置の前に座っている姿の模式図である。 図２は、画像キャプチャー・デバイス、ハンド・ヘルド・コントローラー、計算デバイス、およびディスプレイを内蔵したゲーム・システムの模式図である。 図３は、ハンド・ヘルド・コントローラーの平面図である。 図４は、図３のハンド・ヘルド・コントローラーの斜視図である。 図５は、ゲーム・プレー中におけるディスプレイの模式図である。 図６は、ゲーム・システムの動作方法の流れ図である。 図７は、ゲーム・システムの他の動作方法の流れ図である。 図８は、頭部追跡プロセスの模式図である。 図９は、ゲーム・システムの実施形態を実現することができる、計算ベース・デバイス(computing-based device)の一例を示す。
[0008] 添付図面と関連付けて以下に示す詳細な説明は、本例を説明することを意図しており、本例を構成または利用することができる唯一の形態を表すことを意図しているのではない。この説明は、本例の機能、および本例を構成し動作させるステップのシーケンスを明記する。しかしながら、同じまたは同等の機能およびシーケンスを異なる例によって遂行することもできる。
[0009] 本明細書では、二次元サイド・スクローリング・プラットフォーマー・ゲーム(two dimensional side-scrolling platformer game)のためのゲーム・システムにおいて実現されるものとして本例を説明し図示するが、記載するシステムは、一例として提示されるのであって、限定としてではない。当業者には認められようが、本例は、種々の異なるタイプのゲーム・システムにおける応用に適している。
[0010] 最初に図１を参照すると、コンピューター・ゲームを制御する制御システム例１００が示されている。この例では、制御システムは、ハンド・ヘルド・コントローラーおよびカメラ・ベース制御システムの双方を備えている。両方のタイプの制御を統合することによって、ゲーム・プレーヤーは両タイプの制御システムの利点を体験する。本明細書において説明するように、きめの細かいゲーム・システムの制御を使いやすく堅実に可能にしてユーザー体験を向上させるために、統合を行う。図１は、この図示例では、二次元サイド・スクローリング・プラットフォーマー・ゲームをプレーしているユーザー１０２を示す。このタイプのゲームは、二次元の図面において明確に描くことができる。しかしながら、本明細書において説明する方法は、三次元ゲーム、拡張現実アプリケーション、および他のタイプのゲームにも応用可能である。例の中には、カメラ・ベース制御システム１００が、とりわけ、身体の姿勢を判断する、人間の標的を結び付ける(bind)、認識する、分析する、追跡する、人間の標的に関連付ける、フィードバックを提供する、および／またはユーザー１０２のような人間の標的（本明細書ではプレーヤーとも呼ぶ）の態様に適応するために、用いることができる場合もある。この例では、明確にするために、1人のプレーヤーを示す。しかしながら、２人以上のプレーヤーが同時に本制御システムを用いてもよい。
[0011] カメラ・ベース制御システム１００は、計算デバイス１０４を備えている。計算デバイス１０４は、汎用コンピューター、ゲーミング・システムまたはコンソール、あるいは専用画像処理デバイスとすることができる。計算デバイス１０４は、ゲーミング・アプリケーションおよび／またはゲーミング以外のアプリケーションというようなアプリケーションを実行するために計算デバイス１０４を用いることができるように、ハードウェア・コンポーネントおよび／またはソフトウェア・コンポーネントを含むことができる。計算デバイス１０４の構造については、図９を参照しながら後で論ずることにする。
[0012] 更に、カメラ・ベース制御システム１００は、キャプチャー・デバイス１０６も備えている。キャプチャー・デバイス１０６は、例えば、１人以上のユーザー（ユーザー１０２のような）を視覚的に監視するために用いることができる画像センサーまたは検出器とすることができ、以下で更に詳しく説明するように、これら１人以上のユーザーによって行われるジェスチャーを取り込み、分析し、処理し、そして追跡して、ゲームまたはアプリケーション内において１つ以上の制御または処置(action)を実行することができるようにする。
[0013] 更に、カメラ・ベース制御システム１００は、計算デバイス１０４に接続されているディスプレイ・デバイス１０８も備えることができる。計算デバイスは、ゲームまたはアプリケーションの映像（および任意に音響）をユーザー１０２に供給することができるテレビジョン、モニター、高品位テレビジョン（ＨＤＴＶ）等とすることができる。
[0014] 動作において、キャプチャー・デバイス１０６を用いてユーザー１０２を追跡し、ユーザー１０２の位置、移動、および体格を計算デバイス１０４（および／またはキャプチャー・デバイス１０６）によって、計算デバイス１０４が実行しているアプリケーションに作用するために用いることができる制御として解釈することができる。その結果、ユーザー１０２は彼または彼女の身体（あるいは彼または彼女の身体の一部）を動かして、実行中のゲームまたはアプリケーションを制御することができる。
[0015] 図１の図示例では、計算デバイス１０４上で実行しているアプリケーションは、ユーザー１０２がプレーしている二次元サイド・スクローリング・プラットフォーマー・ゲームである。この例では、計算デバイス１０４はディスプレイ・デバイス１０８を制御して、風景、樹木、および太陽を含む地勢(terrain)の視覚的表現をユーザー１０２に供給する。また、計算デバイス１０４は、ディスプレイ・デバイス１０８を制御して、ユーザーのアバターの視覚的表現も供給する。ユーザーのアバターは、ユーザー１０２が彼または彼女の動き(movement)によって、および／またはハンド・ヘルド・コントローラー１１０を使用することによって制御することができる。例えば、計算デバイス１０４は、身体姿勢推定器を備えることができる。身体姿勢推定器は、ユーザーの異なる身体部分を認識および追跡し、これらをアバターにマッピングするように構成されている。このように、アバターはユーザー１０２の移動をコピーして、ユーザー１０２が、例えば、物理的空間内を歩行した場合、ユーザーのアバターにゲーム空間内で歩行させるようになっている。
[0016] しかしながら、ゲーム空間においてユーザーの移動をコピーするだけでは、ユーザーとゲームとの間における対話処理の種類および複雑さが限られてしまう。例えば、多くのゲーム内制御は、一時的な動作(action)またはコマンドであり、従前からのゲーミング・システムではボタンの押下を用いて誘起することができる。これらの例には、殴る、撃つ、兵器を交換する、投げる、蹴る、飛ぶ、および／または屈むというような行為が含まれる。このような行為またはコマンドは、ユーザーがこれらの行為の内１つを行っていることを認識し、対応するゲーム内動作を誘起することによって制御することができるのであって、単にユーザーの動きをコピーするのではない。加えて、ハンド・ヘルド・コントローラーにおけるユーザー入力と、カメラ・ベース制御システムを介した入力との組み合わせも、ゲーム装置を制御するために用いることができる。
[0017] これより図２を参照すると、図１のカメラ・ベース制御システム１００において用いることができるキャプチャー・デバイス１０６の模式図が示されている。図２の例では、キャプチャー・デバイス１０６は、深度情報を有するビデオ画像を取り込むように構成されている。このようなキャプチャー・デバイスは、深度カメラと呼ぶことができる。深度情報は、深度値を含む深度画像の形態とすることができる。即ち、深度値とは、深度画像の各画像エレメントに関連付けられ、深度カメラと当該画像エレメントに位置する物品または物体との間の距離に関係する値である。尚、「画像エレメント」という用語は、画素、１群の画素、ボクセル、１群のボクセル、またはその他の更に上位の画像成分を指すために用いるものとする。
[0018] 深度情報は、適した技法であればいずれを用いても得ることができる。例えば、適した技法には、飛行時間、構造化光、ステレオ画像等が含まれる。例の中には、キャプチャー・デバイス１０６が深度情報を「Ｚレイヤー」、即ち、深度カメラからその見通し線に沿って延びるＺ軸に対して垂直となるはずのレイヤーに編成できるものもある。
[0019] 図２に示すように、キャプチャー・デバイス１０６は少なくとも１つの撮像センサー２００を含む。図２に示す例では、撮像センサー２００は、場面の深度画像を取り込むように配置されている深度カメラ２０２を備えている。取り込まれた深度画像は、取り込まれた場面の二次元（２−Ｄ）エリアを含むことができ、この２−Ｄエリアにおける各画像エレメントは、深度カメラ２０２から、取り込まれた場面における物体の長さまたは距離というような、深度値を表す。
[0020] また、キャプチャー・デバイスは、エミッター２０４も含むことができる。エミッター２０４は、深度情報を深度カメラ２０２によって確認できるようなやり方で場面に照明を当てるように配置されている。例えば、深度カメラ２０２が赤外線（ＩＲ）飛行時間カメラである場合、エミッター２０４はＩＲ光を場面に放出し、深度カメラ２０２は、この場面における１つ以上の標的および物体の表面からの後方散乱光を検出するように配置される。例の中には、出射光パルスと対応する入射光パルスとの間の時間を深度カメラによって検出し、キャプチャー・デバイス１０６から場面における標的または物体上の位置までの物理的距離を判定するために用いることができるように、パルス状赤外線光をエミッター２０４から放出できる場合もある。加えて、例の中には、エミッター２０４からの出射光波の位相を、深度カメラ２０２における入射光波の位相と比較して、位相のずれを判定することができる場合もある。次いで、キャプチャー・デバイス１０６から標的または物体上の位置までの物理距離を判定するために、この位相ずれを用いることができる。他の例では、飛行時間分析を用いると、例えば、散乱光パルス撮像を含む種々の技法によって、経時的な反射光ビームの強度を分析することによって、キャプチャー・デバイス１０６から標的または物体上の位置までの物理距離を間接的に判定することができる。
[0021] 他の例では、キャプチャー・デバイス１０６は、構造化光を用いて深度情報を取り込むことができる。このような技法では、エミッター２０４を用いて、パターン化光（例えば、点、格子、または縞模様というような既知のパターンとして表示される光。これも時間と共に可変であってもよい）を場面に投射することができる。場面における１つ以上の標的または物体の表面に衝突すると、パターンは変形する。このようなパターンの変形を深度カメラ２０２によって取り込み、次いで分析して、キャプチャー・デバイス１０６から場面における標的または物体上の位置までの物理的距離を判定することができる。
[0022] 他の例では、深度カメラ２０２が２つ以上の物理的に分離されたカメラという形態をなすことができ、視覚的ステレオ・データーが得られるように、これらのカメラが１つの場面を異なる角度から捉えて、この視覚的ステレオ・データーを解明して深度情報を生成することができる。この場合、エミッター２０４は、場面に照明を当てるために用いることができ、あるいは省略することができる。
[0023] 例の中には、深度カメラ２０２に加えてまたはこれの代わりに、キャプチャー・デバイス１０６がビデオ・カメラを備えることができる場合もある。このビデオ・カメラをＲＧＢカメラ２０６と呼ぶ。ＲＢＧカメラ２０６は、可視光周波数において場面の画像のシーケンスを取り込むように配置され、したがって、深度画像を増強する(augment)ために用いることができる画像を供給することができる。例の中には、ＲＧＢカメラ２０６を深度カメラ２０２の代わりに用いることができる場合もある。また、キャプチャー・デバイス１０６は任意にマイクロフォン２０７またはマイクロフォン・アレイ（指向性および／または方向転換可能(steerable)とすることができる）も備えることができ、ユーザーからの音声入力のような音響情報を取り込むように配置され、音声認識のために用いることができる。
[0024] 図２に示すキャプチャー・デバイス１０６は、更に、少なくとも１つのプロセッサー２０８を備えている。プロセッサー２０８は、撮像センサー２００（即ち、図２の例では、深度カメラ２０２およびＲＧＢカメラ２０６）、エミッター２０４、およびマイクロフォン２０７と通信可能である。プロセッサー２０８は、汎用マイクロプロセッサー、または特殊信号／画像プロセッサーとすることができる。プロセッサー２０８は、深度画像、ＲＧＢ画像、および／または音声信号を取り込むために撮像センサー２００、エミッター２０４、およびマイクロフォン２０７を制御する命令を実行するように構成されている。また、以下で更に詳しく全体的に説明するが、プロセッサー２０８は、任意に、これらの画像および信号に対する処理を実行するように構成することもできる。
[0025] 更に、図２に示すキャプチャー・デバイス１０６は、メモリー２１０も含む。メモリー２１０は、プロセッサー２０８によって実行する命令、深度カメラ２０２またはＲＧＢカメラ２０６によって取り込まれた画像または画像のフレーム、あるいは他のあらゆる適した情報、画像等を格納するように構成されている。例の中には、メモリー２１０がランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、またはいずれかの他の適した記憶コンポーネントを含むことができる場合もある。メモリー２１０は、プロセッサー２０８と通信する別個のコンポーネントであること、またはプロセッサー２０８に統合することもできる。
[0026] また、キャプチャー・デバイス１０６は、出力インターフェース２１２も備えている。出力インターフェース２１２は、プロセッサー２０８と通信可能であり、通信リンクを通じてデーターを計算デバイス１０４に供給するように構成されている。通信リンクは、例えば、有線接続（ＵＳＢ、Firewire、イーサネット（登録商標）または同様物のような 有線接続）、および／またはワイヤレス接続（WiFi、Bluetooth（登録商標）または同様物のようなワイヤレス接続）とすることができる。他の例では、出力インターフェース２１２は、１つ以上の通信ネットワーク（インターネット）とインターフェースし、これらのネットワークを通じてデーターを計算デバイス１０４に供給することができる。
[0027] キャプチャー・デバイスの一部として、コントローラー１１０も設けられている。このコントローラーは、図１に模式的に示したようなハンド・ヘルド・コントローラーであってもよく、または手持ちではないもっと大きな他のデバイスと一体になっていてもよい。コントローラーは、ボタン、ジョイスティック、タッチ・パッド、スイッチというような、複数のユーザー入力デバイスを備えており、プレーヤーがゲーム・システムに入力することを可能にする。ユーザー入力データーは、コントローラーから計算デバイス１０４に、有線接続および／またはワイヤレス接続を通じて送られる。
[0028] 計算デバイス１０４は、任意の身体姿勢推定器２１４およびジェスチャー認識エンジン２１６というような、カメラ・ベース・ジェスチャー認識に関係する多数の機能を実行する。身体姿勢推定器２１４は、コンピューター映像技法を用いてユーザーの異なる身体部分を検出し追跡するように構成されている。身体姿勢推定器の一例が、２００９年５月２０日に出願された米国特許公開US-2010-0278384-A1,"Human body pose estimation"（人の身体姿勢推定）に記載されている。身体姿勢推定器２１４は、出力を、ユーザーの身体姿勢に関する時系列データーの形態で、ジェスチャー認識エンジンに供給することができる。これは、ユーザーをもれなく追跡したスケルトン・モデルの形態、またはユーザーの身体の内見ることができる部分のもっと粗い識別(identification)の形態とすることができる。例えば、これらの時系列シーケンスは、ユーザーの少なくとも２つの身体部分間における時間可変角度に関するデーター、ユーザーの少なくとも２つの身体部分間における角度の変化率、ユーザーの少なくとも１つの身体部分についての動き(motion)の速度、またはその組み合わせを含むことができる。異なるタイプのデーター（ある身体部分間の角度、速度等）は、「特徴」として知られる。他の例では、身体姿勢推定器２１４は、時間の経過と共に変化するユーザーの姿勢から他のデーター・シーケンス（即ち、他の特徴）を導き出すことができる。更に他の例では、ジェスチャー認識エンジン２１６は、身体姿勢推定器以外の異なるソースから導き出された入力（即ち、特徴）を利用することができる。また、アプリケーション・ソフトウェア２１８を計算デバイス１０４上で実行し、ジェスチャーを用いて制御することもできる。アプリケーション・ソフトウェアは、ディスプレイ２２０におけるゲームの表示を制御するように構成されている。
[0029] 図３は、ハンド・ヘルド・コントローラーの一例１１０の平面図である。これは、全体的に翼の形状をなし、３１６である各翼または肩１２２が、１つの手の中に握り締められる大きさおよび形状になっている。このコントローラーは、これより詳細に説明する複数のボタン、スイッチ、およびジョイスティックを支持する筐体を備えている。しかしながら、これは一例に過ぎず、他のタイプのコントローラー１１０を用いてもよい。
[0030] ４つのディジタル・アクション・ボタン３０２が、コントローラーの右面上に設けられており、緑色のＡボタン、赤いＢボタン、青いＸボタン、およびアンバーのＹボタンから成る。２つのアナログ・ジョイスティック３１０および３１２が設けられている。これらのジョイスティックも、各ジョイスティックの直下にあるディジタル・ボタンを作動させるために、押下またはクリックすることができる。ディジタル開始ボタン３０６、戻るボタン３０８、およびガイド・ボタン３０４が、筐体の中央に位置付けられている。例えば、ガイド・ボタンは、コントローラーをオンに切り替えてメニューにアクセスするために用いられる。
[0031] 図４は、前述のコントローラーの斜視図であり、左バンパー４０６および右バンパー４０４を示す。これらの各々は、ユーザーが押下することができるボタンになっている。左トリガー４００および右トリガー４０２は、双方共アナログであり、コントローラーの下側に設けられている（図４において見ることができる）。計算デバイス１０４への有線接続を可能にするために、接続部４０８を設けるとよい。
[0032] 図５は、例えば、表示画面１０８におけるゲーム・プレーの間の表示の模式図である。この例では、ゲームは二次元サイド・スクローリング・プラットフォーマー・ゲームである。プレーヤーは、手動コントローラー１１０を用いてアバター５００を制御して、環境に進み出す。この例では、環境は太陽５０４の存在によって日光が当たる光景から成る。この例では、アバター５００の行く手を阻む複数の敵５０２が示されている。これらの敵の一部の回りに、恐怖の雲として兵器が表されている。プレーヤーは、敵を飛び越えることによるというようにして、敵を避けることによって、ゲームにおいて前進することができる。この例では、アバターの行く手にいる多数の敵のために、プレーヤーが先に進むのは困難である。
[0033] 手動コントローラーを用いてアバター５００を制御することに加えて、プレーヤーは、カメラ・ベース制御システムを用いてゲーム・システムを制御することができる。図５の例では、プレーヤーが、ゲーム・システムを制御するために、特定のジェスチャーを行うことができる。例えば、プレーヤーは、太陽５０４を沈ませ敵５０２を眠らせるために、彼または彼女の頭を回すことができる。一旦敵が眠ったならば、プレーヤーは、敵からの攻撃を受けずに、アバター５００を前進させることができる。
[0034] 図６は、ゲーム・システムの動作方法の流れ図である。ゲームは、表示画面１０８におけるように、表示される（６００）。ゲームの少なくとも１人のプレーヤーを描く画像ストリームを受け取る（６０２）。例えば、画像ストリームは、画像キャプチャー・デバイス１０６から得られ、深度画像およびカラー画像を備えているとよい。例えば、身体姿勢推定器２１４およびジェスチャー認識エンジン２１６を用いて、画像ストリームに対してジェスチャー認識６０６を実行する。ジェスチャー認識プロセスの出力は、ゲームの進展(course)に影響を及ぼす（６０８）ために用いられる。加えて、コントローラー６０４からの手動入力も、ゲームの進展を左右するために用いられる。ゲームを表示し（６１０）、このゲームの規則にしたがって、そしてプレーヤーの手動入力、画像ストリーム、ならびに時間、ランダム・エレメント、およびその他の要因というような、他の任意の要因と組み合わせて、表示が継続する。手動プレーヤー入力およびジェスチャー入力双方によるゲーム・システムの混成制御を可能にすることによって、プレーヤーはゲーム・システムの高度な制御を行い、ゲーム体験に没頭する。
[0035] 例の中には、ゲーム・システムのカメラ・ベース制御を用いて、アバターの環境における背景物体のみを制御する場合もある。背景物体とは、ゲームにおいて、関連する物理的モデルがないあらゆる物体のことである。例えば、図５のアバター５００および敵５０２は背景物体ではないが、太陽５０４は背景物体である。例の中には、ゲーム・システムのカメラ・ベース制御が、ゲームの特定の状態においてでなければ、そして指定されたジェスチャーを用いなければ利用できない場合もある。例えば、指定ジェスチャーとは、プレーヤーが手動コントローラーを掴むと同時にプレーヤーによって行われるジェスチャーとしてもよい。このようなジェスチャーの例を羅列すると、頭部全体の回転、部分的な頭部の回転、脚の動き(movement)、足の動き、膝の動きがあげられるが、これらが全てではない。
[0036] 図７は、手動制御およびジェスチャー・ベース制御の双方を用いるゲーム・システムの動作方法の流れ図である。少なくとも１つの背景物体がある環境内にアバターを表示する。例えば、背景物体は、太陽、樹木、建物、時計であってもよい。ゲームのプレーヤーから手動入力を受け取る（７０２）。手動入力を用いてアバターを制御する（７０４）。特定のゲーム状態に達した場合、太陽のような指定背景物体を強調する（７０６）。ゲーム状態は、ゲームにおいて予め指示されている動き(movement)でもよく、またはコントローラーにおいて手動入力を用いてプレーヤーによって起動させられる状態でもよい。背景物体を強調するために、太陽は色を変化すること、および／または鼓動することもできる。しかしながら、これは必須ではない。背景物体を強調する他の方法を用いてもよい。画像ストリームおよびジェスチャー認識を用いて、プレーヤーの身体の少なくとも一部の動き(motion)を追跡する（７０８）。追跡したプレーヤーの身体または身体部分の動きにしたがって、指定物体（太陽のような）の運動を表示する（７１０）。例えば、ゲームにおける太陽の表示は、プレーヤーの頭の移動に一致するように移動する。これによって、プレーヤーの身体または身体部分を動かすことによって、彼または彼女が背景物体を制御するという指示を、プレーヤーに与える。指定ジェスチャーが検出されると（７１２）、少なくとも指定物体の状態を変化させることによって、ゲーム状態を変化させる（７１４）。例えば、太陽が沈み、敵が眠る。
[0037] 以上で説明した例では、1人のプレーヤーがゲーム・システムを操作した。しかしながら、複数のプレーヤーがゲームを同時にプレーすることも可能である。この場合、画像ストリームは複数のプレーヤーを描き、これらのプレーヤーは、ジェスチャー認識プロセスの一部として、画像ストリームから区分される。他の例では、複数のプレーヤーがゲームをプレーし、各プレーヤーが、カメラ・ベース制御および手動制御を行う、彼または彼女自身のゲーム・システムを有する。これらの手法の組み合わせも可能である。
[0038] 一例では、図８を参照してこれより説明するように、ジェスチャー認識システムによって、頭の回転を検出する。画像ストリーム８００を４つの四分儀８０２に分割する。四分儀８０２は、角から角に「切断され」、中心で一致する。プレーヤーの頭の位置は、通例、上側の四分儀内にあり、これは図８において８０４に示されている。プレーヤーの頭が時計回り方向に指定時間内にこれらの四分儀の各々を通過した場合、特定のジェスチャーが検出される。これは、図８では頭の位置８０４、８０６、８０８、および８１０によって示されている。頭を動かすジェスチャーを検出する他の方法を用いることもできる。例えば、プレーヤーの頭の下にある実世界空間における点を取り込み、これに対するプレーヤーの頭の位置を追跡する。またはプレーヤーの頭の水平方向の動き(motion)を検出し、正しい垂直運動を想定する。他の例では、頭のジェスチャーを検出するには、画像ストリームにおける頭の動きの速度を監視し、これを閾値と比較する。
[0039] 図９は、計算デバイスの一例１０４の種々のコンポーネントを示し、これらはいずれの形態の計算デバイスおよび／または電子デバイスとしても実現することができ、以上で説明したゲーム制御技法の実施形態を実現することができる。
[0040] 計算デバイス１０４は、１つ以上のプロセッサー９０２を備えている。プロセッサー９０２は、マイクロプロセッサー、コントローラー、またはゲーム・システムを制御する計算実行可能命令を処理する適したタイプのプロセッサーであれば他のいずれでもよい。例の中には、例えば、チップ上システム・アーキテクチャーを用いる場合、プロセッサー９０２は、ハードウェア（ソフトウェアやファームウェアではなく）でゲーム制御方法の一部を実現する１つ以上の固定機能ブロック（アクセレレーターとも呼ぶ）を含むこともできる。
[0041] また、計算ベース・デバイス１０４は、入力インターフェース９０４も備えている。入力インターフェース９０４は、図２のキャプチャー・デバイス１０６および／または図３および図４のコントローラーというような、１つ以上のデバイスから入力を受け取るように構成されている。また、出力インターフェース９０６も設けられており、例えば、計算ベース・デバイスと一体となっている、またはこれと通信可能なディスプレイ・システム（ディスプレイ・デバイス１０８または２２０のような）に出力を供給するように構成されている。ディスプレイ・システムは、グラフィカル・ユーザー・インターフェース、またはいずれかの適したタイプの他のユーザー・インターフェースを設けることができるが、これは必須ではない。通信インターフェース９０８も任意に設けることができ、１つ以上の通信ネットワーク（例えば、インターネット）と通信するように構成することができる。
[0042] 計算ベース・デバイス１０４によってアクセス可能ないずれかのコンピューター読み取り可能媒体を用いて、コンピューター実行可能命令を供給することができる。コンピューター読み取り可能媒体は、例えば、メモリー９１０のようなコンピューター記憶媒体、および通信媒体を含むことができる。メモリー９１０のようなコンピューター記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、またはその他のデーターというような情報の記憶のためのいずれかの方法または技術で実現する。コンピューター記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージまたは他の磁気記憶デバイス、あるいは計算デバイスによるアクセスのために情報を格納するために用いることができる他のあらゆる非送信媒体(non-transmission medium)が含まれるが、これらに限定されるのではない。対照的に、通信媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、またはその他のデーターを、搬送波のような変調データー信号、あるいは他の伝達メカニズムに具体化することができる。本明細書における定義では、コンピューター記憶媒体は通信媒体を含まないこととする。したがって、コンピューター記憶媒体がそれ自体伝搬信号であると解釈すべきではない。コンピューター記憶媒体（メモリー９１０）は計算ベース・デバイス１０４内部に示されているが、ストレージは、ネットワークまたは他の通信リンク（例えば、通信インターフェース９０８を用いて）を通じて分散しまたは離れて配置し、アクセスしてもよいことは認められよう。
[0043] オペレーティング・システム９１２を構成するプラットフォーム・ソフトウェア、または他のいずれかの適したプラットフォーム・ソフトウェアを計算ベース・デバイスにおいて設けると、アプリケーション・ソフトウェア２１８をそのデバイス上で実行することが可能になる。メモリー９１０は、身体姿勢推定器２１４およびジェスチャー認識エンジン２１６の機能を実現するための実行可能命令を格納することができる。また、メモリー９１０はデーター・ストア９１４も設けることができる。データー・ストア９１４は、いずれかのスタンス・テンプレート(stance template)、閾値、パラメーター、画面空間マッピング機能、または他のデーターに対してというように、ゲーム制御技法を実行するときにプロセッサー９０２によって用いられるデーターに記憶場所を設けるために用いることができる。
[0044] 「コンピューター」という用語は、本明細書で用いられる場合、命令を実行できるように処理能力を有するあらゆるデバイスを指す。尚、このような処理能力は、多くの異なるデバイスに組み込まれており、したがって、「コンピューター」という用語は、ＰＣ、サーバー、移動体電話機、パーソナル・ディジタル・アシスタント、および多くの他のデバイスを含むことは、当業者には理解されるはずである。
[0045] 本明細書において説明した方法は、有形記憶媒体上において機械読み取り可能な形態で、例えば、コンピューター・プログラムの形態としたソフトウェアによって実行することができる。コンピューター・プログラムは、このプログラムをコンピューター上で実行すると、本明細書において説明した方法のいずれでも、その全てのステップを実行するように構成されたコンピューター・プログラム・コード手段を備えている。コンピューター・プログラムは、コンピューター読み取り可能媒体上に具体化することができる。有形（または、一時的でない）記憶媒体の例には、ディスク、サム・ドライブ、メモリー等が含まれ、伝搬信号は含まれない。ソフトウェアは、適したいずれかの順序でまたは同時に本方法のステップを実行できるように、パラレル・プロセッサー上における実行またはシリアル・プロセッサー上における実行に適するはずである。
[0046] これは、ソフトウェアが価値のある、別個に取引可能な商品となることができることを承認する。これは、所望の機能を実行するために、標準的なハードウェア上で実行するまたは「ダム」(dumb)を制御するソフトウェアを包含することを意図している。また、これは、所望の機能を実行するようにシリコン・チップを設計するまたはユニバーサル・プログラマブル・チップを構成する際に用いられるような、ＨＤＬ（ハードウェア記述言語）ソフトウェアというような、ハードウェアの構成を「記述する」または定義するソフトウェアも包含することも意図している。
[0047] 尚、プログラム命令を格納するために利用する記憶デバイスは、ネットワークを跨いで分散できることは、当業者には理解されよう。例えば、リモート・コンピューターが、ソフトウェアとして記述されるプロセスの一例を格納することができる。ローカル・コンピューターまたは端末コンピューターが、このリモート・コンピューターにアクセスし、そのソフトウェアの一部または全部をダウンロードして、プログラムを実行することができる。あるいは、ローカル・コンピューターが、必要に応じて、ソフトウェアの一部をダウンロードすること、または一部のソフトウェア命令をローカル端末において実行し、一部をリモート・コンピューター（またはコンピューター・ネットワーク）において実行することもできる。また、当業者には周知である従来の技法を利用することによって、ソフトウェア命令の全部または一部を、ＤＳＰ、プログラマブル・ロジック・アレイ等のような専用回路によって実行できることも、当業者には理解されよう。
[0048] 本明細書において示したいずれの範囲またはデバイス値も、求められる効果を失うことなく、拡大または変更することもできる。これは、当業者には明白であろう。
[0049] 以上、主題について構造的特徴および／または方法論的動作に特定的な文言で説明したが、添付した特許請求の範囲において定義されている主題は、以上で説明した特定の特徴や動作には必ずしも限定されないことは言うまでもない。逆に、以上で説明した特定の特徴および動作は、特許請求の範囲を実現する形態例として開示したまでである。
[0050] 尚、以上で説明した効果および利点は、一実施形態に関係するのでもよく、または様々な実施形態に関係するのでもよいことは言うまでもない。実施形態は、以上で述べた問題の内いずれかを解決するものにも、全てを解決するものにも限定されず、以上で述べた効果および利点の内いずれかを有するものにも、全てを有するものにも限定されない。更に、「ある」品目(an item)と言うときは、その品目が１つ以上あることを意味することは言うまでもない。
[0051] 本明細書において説明した方法のステップは、適した順序であればいずれでも実行することができ、またしかるべきときには同時に実行してもよい。加えて、個々のブロックは、本明細書において説明した主題の主旨および範囲から逸脱することなく、それらの方法のいずれからも削除してもよい。以上で説明した例はそのいずれも、その態様を、説明した他の例の内のいずれの態様とも組み合わせて、求めている効果を失うことなく、更に他の例を形成することができる。
[0052] "comprising"（備えている）という用語は、本明細書において用いられる場合、特定した方法ブロックまたはエレメントを含むが、このようなブロックまたはエレメントは、網羅的な羅列を構成するのではなく、方法または装置が追加のブロックまたはエレメントを含んでもよいことを意味する。
[0053] 尚、以上の説明は、一例として示したに過ぎず、当業者によって種々の変更も行えることは言うまでもない。以上の明細書、例、およびデーターは、実施形態例の構造および使用の完全な記述を提供する。以上では、ある程度の特定性をもって、または１つ以上の個々の実施形態を参照して、種々の実施形態について説明したが、当業者であれば、本明細書の主旨や範囲から逸脱することなく、開示した実施形態に対して多数の変更を行うことができよう。

Claims (10)

  1. コンピューター・ゲーム・システムの制御方法であって、
    画像キャプチャー・デバイスから、ゲームの少なくとも１人のプレーヤーを描く画像のストリームを受け取るステップと、
    前記画像のストリームを分析することによって、前記プレーヤーのジェスチャーを認識するステップと、
    前記プレーヤーが操作する手動操作コントローラーから、プレーヤーの手動入力を受け取るステップと、
    前記少なくとも１人のプレーヤーが見るディスプレイにおいて、少なくとも２つの物体を含むコンピューター・ゲームを表示するステップと、
    前記認識したジェスチャーに基づいて前記コンピューター・ゲームの前記物体の内１つの表示を制御し、前記コントローラーからの手動入力に基づいて前記コンピューター・ゲームの他方の物体の表示を制御するステップと、
    を備えている、方法。
  2. 請求項１記載の方法において、前記コンピューター・ゲームを表示するステップが、前記他方の物体である少なくとも１つの背景物体を含む環境において、前記少なくとも２つの物体の内１つとして、アバターを表示するステップを含み、前記コンピューター・ゲームの表示を制御するステップが、前記背景物体を制御するために、前記認識したジェスチャーを用いるステップを含む、方法。
  3. 前出の請求項のいずれか１項記載の方法において、前記背景物体の表示を制御するステップが、物理モデルに関係付けることなく行われる、方法。
  4. 前出の請求項のいずれか１項記載の方法であって、前記ジェスチャーを認識するときに用いるために、指定ジェスチャーの詳細を格納するステップを備えており、前記指定ジェスチャーが、手動操作コントローラーにおいて手動入力を行うのと同時にプレーヤーによって実行することができる、方法。
  5. 前出の請求項のいずれか１項記載の方法において、前記認識したジェスチャーを用いて前記背景物体の表示を制御するステップが、前記ゲームの一連の作業手順を行うとき、または前記プレーヤーからの手動入力があったときのみに可能である、方法。
  6. 前出の請求項のいずれか１項記載の方法において、前記コンピューター・ゲームを表示するステップが、環境における前記物体の１つとしてアバターを表示するステップを含み、前記コンピューター・ゲームの表示を制御するステップが、前記コントローラーからの手動入力を用いて前記アバターを制御し、前記認識したジェスチャーを用いて前記環境における前記他方の物体を制御するステップを含む、方法。
  7. 前出の請求項のいずれか１項記載の方法において、前記ジェスチャーを認識するステップが、前記プレーヤーの頭を検出し、前記画像ストリームにおいて前記頭の動き(motion)を追跡するステップを含む、方法。
  8. 前出の請求項のいずれか１項記載の方法であって、前記画像ストリームの各画像を四分儀に分割し、前記４つの四分儀の各々において前記頭が順に検出されたときに、頭の回転を認識するステップを備えている、方法。
  9. コンピューター・ゲーム・システムであって、
    ゲームの少なくとも１人のプレーヤーを描く画像のストリームを受け取るように構成されている画像キャプチャー・デバイスと、
    前記画像のストリームを分析することによって、前記プレーヤーのジェスチャーを認識するように構成されているジェスチャー認識エンジンと、
    手動操作コントローラーからプレーヤーの手動入力を受け取るように構成されている入力と、
    前記少なくとも１人のプレーヤーが見るディスプレイにおいて少なくとも２つの物体を含むコンピューター・ゲームを表示するように構成されている出力と、
    前記認識したジェスチャーに基づいて前記コンピューター・ゲームの物体の内一方の表示を制御し、前記コントローラーからの手動入力に基づいて前記コンピューター・ゲームの他方の物体の表示を制御するように構成されているプロセッサーと、
    を備えている、コンピューター・ゲーム・システム。
  10. 請求項９記載のシステムにおいて、前記ジェスチャー認識エンジン、およびプレーヤーの手動入力を受けるように構成されている前記入力が、実質的に同時に動作するように構成されている、システム。
JP2014508466A 2011-04-28 2012-04-23 手動およびカメラ・ベースのゲーム制御 Pending JP2014523258A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161480046P 2011-04-28 2011-04-28
US61/480,046 2011-04-28
US13/220,609 US20120277001A1 (en) 2011-04-28 2011-08-29 Manual and Camera-based Game Control
US13/220,609 2011-08-29
PCT/US2012/034677 WO2012148853A2 (en) 2011-04-28 2012-04-23 Manual and camera-based game control

Publications (1)

Publication Number Publication Date
JP2014523258A true JP2014523258A (ja) 2014-09-11

Family

ID=47068300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014508466A Pending JP2014523258A (ja) 2011-04-28 2012-04-23 手動およびカメラ・ベースのゲーム制御

Country Status (6)

Country Link
US (1) US20120277001A1 (ja)
EP (1) EP2701817B1 (ja)
JP (1) JP2014523258A (ja)
KR (1) KR20140023951A (ja)
CN (1) CN103501869A (ja)
WO (1) WO2012148853A2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3117768B1 (en) 2006-05-19 2019-11-06 The Queen's Medical Center Motion tracking system and method for real time adaptive imaging and spectroscopy
TW201227399A (en) * 2010-12-24 2012-07-01 Hon Hai Prec Ind Co Ltd Motion recognition module, electronic device appling the motion recognition module and method thereof
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
JP6205901B2 (ja) * 2013-06-28 2017-10-04 カシオ計算機株式会社 計測装置、計測方法及びプログラム
WO2015148391A1 (en) 2014-03-24 2015-10-01 Thomas Michael Ernst Systems, methods, and devices for removing prospective motion correction from medical imaging scans
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10353473B2 (en) * 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US20190202517A1 (en) * 2017-12-30 2019-07-04 Enriqueta Heras Therapeutic multi-seat bicycle
US10620713B1 (en) 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296367A (ja) * 2006-05-04 2007-11-15 Sony Computer Entertainment America Inc ゲームプログラムの実行を制御するための入力を取得する方法
JP2009519553A (ja) * 2005-12-12 2009-05-14 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとのインタフェース時に深さと方向の検出を可能とする方法およびシステム
JP2009165826A (ja) * 2008-01-11 2009-07-30 Sony Computer Entertainment America Inc ジェスチャカタログ生成および認識
JP2010104778A (ja) * 2008-09-30 2010-05-13 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
WO2010058618A1 (ja) * 2008-11-21 2010-05-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、プログラム及び情報記憶媒体
JP2010535364A (ja) * 2007-03-01 2010-11-18 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー インタラクティブにユーザ制御されたアバターアニメーション

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JP3611807B2 (ja) * 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US20070015559A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US20070197290A1 (en) * 2003-09-18 2007-08-23 Ssd Company Limited Music Game Device, Music Game System, Operation Object, Music Game Program, And Music Game Method
WO2007038622A2 (en) * 2005-09-28 2007-04-05 The Government Of The United State Of America , As Represented By The Secretary Of The Navy Open-loop controller
US20100292007A1 (en) * 2007-06-26 2010-11-18 Nintendo Of America Inc. Systems and methods for control device including a movement detector
JP5286267B2 (ja) * 2007-08-03 2013-09-11 株式会社キャメロット ゲーム装置、ゲームプログラム及びオブジェクトの操作方法
TWI333156B (en) * 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US8696458B2 (en) * 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US20090258703A1 (en) * 2008-04-09 2009-10-15 Aaron Philip Brunstetter Motion Assessment Using a Game Controller
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US8202161B2 (en) * 2009-10-23 2012-06-19 Disney Enterprises, Inc. Virtual game instructor
US20110250962A1 (en) * 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
US8761412B2 (en) * 2010-12-16 2014-06-24 Sony Computer Entertainment Inc. Microphone array steering with image-based source location

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009519553A (ja) * 2005-12-12 2009-05-14 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとのインタフェース時に深さと方向の検出を可能とする方法およびシステム
JP2007296367A (ja) * 2006-05-04 2007-11-15 Sony Computer Entertainment America Inc ゲームプログラムの実行を制御するための入力を取得する方法
JP2010535364A (ja) * 2007-03-01 2010-11-18 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー インタラクティブにユーザ制御されたアバターアニメーション
JP2009165826A (ja) * 2008-01-11 2009-07-30 Sony Computer Entertainment America Inc ジェスチャカタログ生成および認識
JP2010104778A (ja) * 2008-09-30 2010-05-13 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
WO2010058618A1 (ja) * 2008-11-21 2010-05-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、プログラム及び情報記憶媒体

Also Published As

Publication number Publication date
WO2012148853A2 (en) 2012-11-01
WO2012148853A3 (en) 2013-01-10
EP2701817A4 (en) 2014-10-15
US20120277001A1 (en) 2012-11-01
EP2701817A2 (en) 2014-03-05
KR20140023951A (ko) 2014-02-27
EP2701817B1 (en) 2018-09-12
CN103501869A (zh) 2014-01-08

Similar Documents

Publication Publication Date Title
JP6077523B2 (ja) 手動およびカメラ・ベースのアバター制御
JP2014523258A (ja) 手動およびカメラ・ベースのゲーム制御
US9259643B2 (en) Control of separate computer game elements
US8740702B2 (en) Action trigger gesturing
US8657683B2 (en) Action selection gesturing
US9349040B2 (en) Bi-modal depth-image analysis
US9804696B2 (en) User-input control device toggled motion tracking
US9821224B2 (en) Driving simulator control with virtual skeleton
CN103608073B (zh) 形状跟踪做手势
WO2016056317A1 (ja) 情報処理装置および情報処理方法
JP2015116336A (ja) 複合現実感アリーナ
JP6636491B2 (ja) ゲームプログラム、方法、および情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150409

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160526

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161222