JP2013507688A - ヒューマントラッキングシステム - Google Patents

ヒューマントラッキングシステム Download PDF

Info

Publication number
JP2013507688A
JP2013507688A JP2012533286A JP2012533286A JP2013507688A JP 2013507688 A JP2013507688 A JP 2013507688A JP 2012533286 A JP2012533286 A JP 2012533286A JP 2012533286 A JP2012533286 A JP 2012533286A JP 2013507688 A JP2013507688 A JP 2013507688A
Authority
JP
Japan
Prior art keywords
analysis
tracking system
target recognition
voxel
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012533286A
Other languages
English (en)
Other versions
JP2013507688A5 (ja
JP5845184B2 (ja
Inventor
レイヴァンド，トマー
リー，ジョニー
シュタッニアク，シモン
ピーパー，クレイグ
リウ，シャオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2013507688A publication Critical patent/JP2013507688A/ja
Publication of JP2013507688A5 publication Critical patent/JP2013507688A5/ja
Application granted granted Critical
Publication of JP5845184B2 publication Critical patent/JP5845184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

１つの光景の奥行き画像のような画像が装置によって取得、観測、又はキャプチャされる。次いでボクセルの格子が奥行き画像に基づいて生成されて、奥行き画像がダウンサンプリングされる。またボクセルの格子に含まれる背景が除去されて、人物目標等の前景物体に関係付けられた１つ以上のボクセルが分離される。分離された人物目標の１つ以上の末端部位の位置が決定され、１つ以上の末端部位の位置に基づいてモデルが調整される。
【選択図】図５

Description

コンピュータゲームやマルチメディアアプリケーション、或いはこれらに類する多くのコンピュータ関係のアプリケーションにおいては、ユーザがゲームのキャラクタやアプリケーションの他の面を扱えるようにするための操作が用いられる。典型的には、そのような操作は、例えばコントローラ、リモコン、キーボード、マウス、或いはこれらに類するものを用いて入力される。あいにく、そのような操作は習得するのが難しいことがあり、それ故、ユーザとそのようなゲームやアプリケーションとの間の障壁となる。その上、そのような操作は、その操作が用いられる目的である実際のゲーム動作や他のアプリケーション動作とは異なっていることがある。例えば、ゲームキャラクタに野球のバットを振らせるゲーム操作は、野球のバットを振る実際の動きと合っていないことがある。
１つの光景においてユーザを追跡するためのシステム及び方法がここに開示される。例えば、１つの光景の奥行き画像のような画像が取得又は観測され得る。次いでボクセルの格子が奥行き画像に基づいて生成されて、奥行き画像をダウンサンプリングすることができる。例えば、奥行き画像は、部分又はブロックに分割され得る複数のピクセルを含んでよい。次いでそれぞれの部分又はブロックに対してボクセルが生成されて、取得された奥行き画像をボクセルの格子にダウンサンプリングすることができる。
１つの実施態様によれば、次いでボクセルの格子に含まれる背景が除去されて、人物目標等の前景物体に関係付けられた１つ以上のボクセルを分離することができる。分離された人物目標の重心点若しくは中心点、頭部、肩、腰、腕、手、肘、脚、足、膝、又はこれらの同類物といった、１つ以上の末端部位の位置が決定され得る。加えて、末端部位の幅、長さ、又はその同類物を含む測定値等の寸法が決定され得る。
次いで、１つ以上の末端部位の位置及び／又はその結果決定された寸法に基づいてモデルが調整され得る。例えば、モデルは、関節及び／又は骨組みを含む骨格モデルであってよい。モデルの関節のうちの１つ以上が調整されて、当該１つ以上の関節をそれに対応する１つ以上の末端部位の位置に配置することができる。関節の間に定義される骨組みは、それに対応する１つ以上の末端部位の寸法に調整され得る。
調整されたモデルは処理される。例えば、１つの実施態様において、調整されたモデルはアバターやゲームキャラクタにマッピングされて、アバターやゲームキャラクタにユーザを模擬するよう動きを与えることができる。調整されたモデルは計算機環境のジェスチャライブラリに供給され得る。ジェスチャライブラリは、モデルに含まれる様々な人体パーツの位置に基づいて、アプリケーションの中で実施する操作を決定するのに用いることができる。
この要約は選抜した概念を単純化した形で導入すべく提供されるものであり、以下、詳細な説明において更に説明される。この要約は請求された主題のキーとなる特徴又は本質をなす特徴を特定することを意図したものではなく、請求された主題の範囲を限定するために用いられることを意図したものでもない。その上、請求された主題は、如何なる又は全ての不都合な点を解決する、この開示の何れかの部分において言及された手段に限定されない。
目標認識・分析・追跡システムの一例の実施態様を、ゲームをしているユーザと共に示すものである。 目標認識・分析・追跡システムの一例の実施態様を、ゲームをしているユーザと共に示すものである。 目標認識・分析・追跡システムに用いられ得るキャプチャ装置の一例の実施態様を示すものである。 目標認識・分析・追跡システムにおける１つ以上のジェスチャを解釈し、目標認識・分析・追跡システムによって表示されるアバターや画面上のキャラクタに動きを与えるために用いることができる、計算機環境の一例の実施態様を示すものである。 目標認識・分析・追跡システムにおける１つ以上のジェスチャを解釈し、目標認識・分析・追跡システムによって表示されるアバターや画面上のキャラクタに動きを与えるために用いることができる、計算機環境の別例の実施態様を示すものである。 ある光景においてユーザを追跡するための一例の方法の流れ図を描いたものである。 キャプチャ又は観測され得る奥行き画像の一例の実施態様を示すものである。 奥行き画像の一部分がダウンサンプリングされる一例の実施態様を示すものである。 奥行き画像の一部分がダウンサンプリングされる一例の実施態様を示すものである。 人物目標に対して見積もられた重心点又は中心点の一例の実施態様を示すものである。 コア体積を決定するように定義され得る境界ボックスの一例の実施態様を示すものである。 頭部の候補にスコアを付けるために作成され得る頭部円筒及び肩部円筒の一例の実施態様を示すものである。 人物目標の頭部及び重心点又は中心点に基づく頭部中心点ベクトルの一例の実施態様を示すものである。 頭部中心点ベクトルに基づいて決定される肩部体積ボックス及び腰部体積ボックスの一例の実施態様を示すものである。 肩部体積ボックス及び腰部体積ボックスに基づいて演算された肩及び腰の一例の実施態様を示すものである。 コア体積を表す円筒の一例の実施態様を示すものである。 アンカーポイントに基づいて決定される手の実施態様の例を示すものである。 アンカーポイントに基づいて決定される手の実施態様の例を示すものである。 アンカーポイントに基づいて決定される手の実施態様の例を示すものである。 腕及び脚の平均位置及び／又はアンカーポイントに基づいて演算され得る手及び足の一例の実施態様を示すものである。 生成されたモデルの一例の実施態様を示すものである。
図１Ａ及び図１Ｂは、目標認識・分析・追跡システム１０の構成の一例の実施態様を、ボクシングゲームをしているユーザ１８と共に示すものである。一例の実施態様において、目標認識・分析・追跡システム１０は、ユーザ１８のような人物目標を認識、分析、及び／又は追跡するために使用され得る。
図１Ａに示されるように、目標認識・分析・追跡システム１０は、計算機環境１２を含むことができる。計算機環境１２は、コンピュータ、ゲームシステム若しくはコンソール、又はこれらに類するものであり得る。一例の実施態様によれば、計算機環境１２は、ゲームアプリケーション、非ゲームアプリケーション、又はそれらの同類物等のアプリケーションを実行するために使用できるように、ハードウェア部品及び／又はソフトウェア部品を含んでよい。１つの実施態様においては、計算機環境１２は、標準化されたプロセッサ、専用のプロセッサ、マイクロプロセッサ、又はそれらの同類物等の、命令を実行することができるプロセッサを含んでよい。この命令は、例えば、奥行き画像を取得し、前記奥行き画像に基づいてボクセルの格子を生成し、前記ボクセル格子に含まれる背景を除去して人物目標に関係する１つ以上のボクセルを分離し、前記分離された人物目標の１つ以上の末端部位の位置又は姿勢を決定し、前記１つ以上の末端部位の位置又は姿勢に基づいてモデルを調整するための命令、或いは、任意の他の適した命令を含むものであって、以下においてより詳細に記述されるだろう。
図１Ａに示されるように、目標認識・分析・追跡システム１０は、更にキャプチャ装置２０を含むことができる。キャプチャ装置２０は、例えば、ユーザ１８のような、１以上のユーザを視覚的にモニタするのに用いることができるカメラであり得る。以下においてより詳細に記述されるように、１以上のユーザが行うジェスチャ及び／又は動きは、キャプチャされ、分析され、そして追跡されて、アプリケーション内の１つ以上の操作又は動作を実施すること、及び／又はアバターや画面上のキャラクタに動きを与えることができる。
１つの実施態様によれば、目標認識・分析・追跡システム１０は、テレビ、モニタ、高精細テレビ（ＨＤＴＶ）、又はそれらの同類物等の、ユーザ１８のようなユーザに対してゲームやアプリケーションの映像及び／又は音声を提供することができる視聴覚装置１６に接続されてもよい。例えば、計算機環境１２は、ゲームアプリケーション、非ゲームアプリケーション、又はそれらの同類物に関係する視聴覚信号を供給することができる、グラフィックカードのようなビデオアダプタ及び／又はサウンドカードのようなオーディオアダプタを含んでもよい。視聴覚装置１６は、計算機環境１２から視聴覚信号を取得することができ、次いで、視聴覚信号に関係するゲームやアプリケーションの映像及び／又は音声をユーザ１８に対して出力することができる。１つの実施態様によれば、視聴覚装置１６は、例えば、Ｓビデオケーブル、同軸ケーブル、ＨＤＭＩケーブル、ＤＶＩケーブル、ＶＧＡケーブル、又はそれらの同類物を介して計算機環境１２に接続し得る。
図１Ａ及び図１Ｂに示されるように、目標認識・分析・追跡システム１０は、ユーザ１８のような人物目標を認識、分析、及び／又は追跡するのに使用することができる。例えば、キャプチャ装置２０を用いてユーザ１８を追跡することができ、ユーザ１８のジェスチャ及び／又は動きは、キャプチャされアバターや画面上のキャラクタに動きを与えること、及び／又は、計算機環境１２が実行しているアプリケーションに作用するよう用いられる操作であると解釈されることができる。このように、１つの実施態様によれば、ユーザ１８は、自分の体を動かしてアプリケーションを操作すること、及び／又は、アバターや画面上のキャラクタに動きを与えることができる。
図１Ａ及び図１Ｂに示されるように、一例の実施態様において、計算機環境１２上で実行されているアプリケーションは、ユーザ１８がプレイしているボクシングゲームであり得る。例えば、計算機環境１２は、視聴覚装置１６を使用して、ボクシングの対戦相手３８をユーザ１８に対し視覚的に描写することができる。計算機環境１２はまた、視聴覚装置１６を使用して、ユーザ１８が自分の動きで操作するプレーヤアバター４０を視覚的に描写することができる。例えば、図１Ｂに示されるように、ユーザ１８は、物理空間内でパンチを繰り出して、プレーヤアバター４０にゲーム空間内でパンチを繰り出させることができる。このように、一例の実施態様によれば、目標認識・分析・追跡システム１０の計算機環境１２及びキャプチャ装置２０は、物理空間内でのユーザ１８のパンチを認識し分析するのに用いることができ、パンチはゲーム空間内のプレーヤアバター４０に対するゲーム操作として解釈され、及び／又は、パンチの動きはゲーム空間内のプレーヤアバター４０に動きを与えるのに使用され得る。
ボブ（bob）、ウィービング（weave）、シャッフル（shuffle）、ブロック、ジャブを操作し、或いはパワーの異なる多様なパンチを繰り出すといった、ユーザ１８による他の動きもまた、他の操作或いは動作として解釈され、及び／又はプレーヤアバターに動きを与えるのに使用され得る。更に、ある動きが、プレーヤアバター４０を操作する以外の動作に相当する操作として解釈されてもよい。例えば、１つの実施態様において、プレーヤは、ゲームの終了、一時停止、セーブ、レベルの選択、ハイスコアの閲覧、友人との通信等をするための動きを用いることができる。別の実施態様によれば、プレーヤは、メインユーザインターフェースからゲームや他のアプリケーションを選択するための動きを用いることができる。このように、実施態様の例において、ユーザ１８の幅広い動きが利用可能であり、アプリケーションとの対話に適した方法で分析することができる。
実施態様の例において、ユーザ１８のような人物目標は、物体を持っていてもよい。そのような実施態様においては、電子ゲームのユーザは、物体を握っていてもよく、プレーヤ及び物体の動きを、ゲームパラメータの調整及び／又は制御のために用いることができる。例えば、ラケットを握っているプレーヤの動きを追跡して利用し、電子スポーツゲームにおける画面上のラケットを操作することができる。別の実施態様においては、物体を握っているプレーヤの動きを追跡して利用し、電子コンバットゲームにおける画面上の武器を操作することができる。
他の実施態様の例によれば、目標認識・分析・追跡システム１０は更に、オペレーティングシステム及び／又はアプリケーションがゲーム分野の外側にあるものを操作するように、目標の動きを解釈することもできる。例えば、オペレーティングシステム及び／又はアプリケーションの仮想的に操作可能な如何なる側面も、ユーザ１８のような目標の動きによって操作することができる。
図２は、目標認識・分析・追跡システム１０に用いられ得るキャプチャ装置２０の一例の実施態様を示すものである。一例の実施態様によれば、キャプチャ装置２０は、奥行き画像を含んだ奥行き情報を有する映像を、例えば飛行時間（time-of flight）法、構造化ライト（structured light）法、ステレオ画像法、又はそれらの同類物を含む任意の相応しい技術によってキャプチャするように構成することができる。奥行き画像には奥行き値が含まれ得る。１つの実施態様によれば、キャプチャ装置２０は、奥行き情報を“Ｚレイヤ”、即ち奥行きカメラからその視線に沿って延びるＺ軸に垂直なレイヤに編成することができる。
図２に示されるように、キャプチャ装置２０は、画像カメラ部品２２を含むことができる。一例の実施態様によれば、画像カメラ部品２２は、１つの光景の奥行き画像をキャプチャすることができる奥行きカメラであり得る。奥行き画像は、キャプチャされた光景の２次元（２Ｄ）ピクセルエリアを含んでよく、２Ｄピクセルエリアのそれぞれのピクセルは、奥行き値、例えばキャプチャされた光景内の物体のカメラからの長さ又は距離（例えばセンチメートルやミリメートル等）を表すことができる。
図２に示されるように、一例の実施態様によれば、画像カメラ部品２２は、ＩＲ光源部品２４、３次元（３Ｄ）カメラ２６、及びＲＧＢカメラ２８を含んでよく、これらは、１つの光景の奥行き画像をキャプチャするのに用いることができる。例えば、飛行時間分析においては、キャプチャ装置２０のＩＲ光源部品２４が光景に対して赤外光を放射し、次いで、例えば３Ｄカメラ２６及び／又はＲＧＢカメラ２８を用いて光景の中の１つ以上の目標及び物体の表面からの後方散乱光を検出すべく、センサ（不図示）を用いてもよい。ある実施態様においては、赤外のパルス光が用いられてもよく、出射パルス光とこれに対応して戻ってくるパルス光との間の時間を計測して、キャプチャ装置２０から光景の中の目標又は物体の特定の位置までの物理的な距離を決定してもよい。加えて、他の実施態様の例において、出射された光波の位相が戻ってくる光波の位相と比較されて、位相シフトを決定してもよい。次いで、この位相シフトは、キャプチャ装置から目標又は物体上の特定の位置までの物理的な距離を決定するために用いることができる。
別の実施態様の例によれば、飛行時間分析を用いて、例えばシャッター付き光パルスイメージング（shuttered light pulse imaging）を含む様々な手法により反射ビーム光の強度を時間に亘って分析することによって、キャプチャ装置２０から目標又は物体上の特定の位置までの物理的な距離を間接的に決定することもできる。
別の実施態様の例において、キャプチャ装置２０は、構造化ライト法を用いて、奥行き情報をキャプチャしてもよい。そのような分析において、パターン光（即ち、例えば格子模様や縞模様等の既知のパターンが提示された光）が、例えばＩＲ光源部品２４により光景上に投射され得る。そのパターンは、光景中の１つ以上の目標又は物体の表面に当たることで、その反応として変形され得る。パターンのそのような変形は、例えば３Ｄカメラ２６及び／又はＲＧＢカメラ２８によってキャプチャされ、次いで、キャプチャ装置から目標又は物体上の特定の位置までの物理的な距離を決定するため分析される。
別の実施態様によれば、キャプチャ装置２０は、異なる角度で光景を見通して視覚的なステレオデータを取得できる、２つ以上の物理的に離れたカメラを含んでもよい。ステレオデータを解析し、奥行き情報を生成することができる。
キャプチャ装置２０は更にマイクロホン３０を含んでもよい。マイクロホン３０は、音声を受けそれを電気信号に変換するトランスデューサ又はセンサを含み得る。１つの実施態様によれば、マイクロホン３０は、目標認識・分析・追跡システム１０のキャプチャ装置２０と計算機環境１２の間のフィードバックを低減するために用いることができる。加えて、マイクロホン３０は、例えばゲームアプリケーション、非ゲームアプリケーション、又はそれらの同類物等の、計算機環境１２によって実行されるアプリケーションを操作するためユーザから発せられ得る音声信号を受信するために、用いることができる。
一例の実施態様において、キャプチャ装置２０は更に、画像カメラ部品２２と通信動作が可能なプロセッサ３２を含んでもよい。プロセッサ３２は、標準化されたプロセッサ、専用のプロセッサ、マイクロプロセッサ、又はそれらの同類物等の、命令を実行することができるプロセッサを含んでよい。この命令は、例えば、奥行き画像を取得し、前記奥行き画像に基づいてボクセルの格子を生成し、前記ボクセル格子に含まれる背景を除去して人物目標に関係する１つ以上のボクセルを分離し、前記分離された人物目標の１つ以上の末端部位の位置又は姿勢を決定し、前記１つ以上の末端部位の位置又は姿勢に基づいてモデルを調整するための命令、或いは、任意の他の適した命令を含むものであって、以下においてより詳細に記述されるだろう。
キャプチャ装置２０は更に、プロセッサ３２によって実行され得る命令、３Ｄカメラ又はＲＧＢカメラによってキャプチャされた画像又は画像フレーム、或いは、任意の他の相応しい情報、画像、又はそれらの同類物を格納することができるメモリ部品３４を含んでもよい。一例の実施態様によれば、メモリ部品３４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、キャッシュ、フラッシュメモリ、ハードディスク、又は任意の他の相応しい記憶部品を含み得る。図２に示されるように、１つの実施態様において、メモリ部品３４は、画像キャプチャ部品２２及びプロセッサ３２と通信可能な個別の部品であり得る。別の実施態様によれば、メモリ部品３４は、プロセッサ３２及び／又は画像キャプチャ部品２２に集積化されてもよい。
図２に示されるように、キャプチャ装置２０は、通信リンク３６を介して計算機環境１２と通信可能とすることができる。通信リンク３６は、例えばＵＳＢ接続、ファイアワイア接続、イーサネット（登録商標）ケーブル接続、又はそれらの同類物を含む有線接続、及び／又は、無線８０２．１１ｂ，ｇ，ａ，又はｎ接続等の無線接続であり得る。１つの実施態様によれば、計算機環境１２は、例えば１つの光景をいつキャプチャすべきかを決定するのに使用することができるクロックを、通信リンク３６を介してキャプチャ装置２０へ供給してもよい。
加えて、キャプチャ装置２０は、例えば３Ｄカメラ２６及び／又はＲＧＢカメラ２８によってキャプチャされた奥行き情報及び画像、及び／又はキャプチャ装置２０によって生成され得る骨格モデルを、通信リンク３６を介して計算機環境１２へ供給してもよい。計算機環境１２は、これにより、このモデル、奥行き情報、及びキャプチャされた画像を用いて、例えば、ゲームやワードプロセッサのようなアプリケーションを操作したり、及び／又は、アバターや画面上のキャラクタに動きを与えたりすることができる。例えば、図２に示されるように、計算機環境１２は、ジェスチャライブラリ１９０を含んでよい。ジェスチャライブラリ１９０は、ジェスチャフィルタの集合を含み得る。ジェスチャフィルタのそれぞれは、（ユーザの動きに合わせて）骨格モデルが行うジェスチャに関する情報を備える。カメラ２６，２８及びキャプチャ装置２０によりキャプチャされた骨格モデルの形式のデータ、及びそれに関連付いた動きは、ジェスチャライブラリ１９０のジェスチャフィルタと比較されて、（骨格モデルによって表現された）ユーザがいつ、１つ以上のジェスチャを行ったのかを特定することができる。それらのジェスチャは、アプリケーションの様々な操作に関係付けることができる。このように、計算機環境１２は、ジェスチャライブラリ１９０を使用して、骨格モデルの動きを解釈し、その動きに基づいてアプリケーションを操作することができる。
図３は、目標認識・分析・追跡システムにおける１つ以上のジェスチャを解釈し、目標認識・分析・追跡システムによって表示されるアバターや画面上のキャラクタに動きを与えるために用いることができる、計算機環境の一例の実施態様を示すものである。図１Ａ−２に関して上述された計算機環境１２等の計算機環境は、例えばゲームコンソール等のマルチメディアコンソール１００であり得る。図３に示されるように、マルチメディアコンソール１００は、１次キャッシュ１０２、２次キャッシュ１０４、及びフラッシュＲＯＭ（リードオンリメモリ）１０６を備えた中央処理装置（ＣＰＵ）１０１を有する。１次キャッシュ１０２及び２次キャッシュ１０４は、データを一時的に格納してメモリアクセスサイクルの数を削減し、これにより、処理速度及びスループットを向上させる。ＣＰＵ１０１は１つ以上のコア、したがって追加の１次及び２次キャッシュ１０２，１０４を有するものとして提供され得る。フラッシュＲＯＭ１０６は、マルチメディアコンソール１００がパワーオンされた時の起動プロセスの初期段階の間にロードされる、実行可能なコードを格納することができる。
画像処理装置（ＧＰＵ）１０８及びビデオエンコーダ／ビデオコーデック（コーダ／デコーダ）１１４は、高速・高精細な画像処理のための映像処理パイプラインを形成する。データは、バスを介して画像処理装置１０８からビデオエンコーダ／ビデオコーデック１１４へ転送される。画像処理パイプラインは、テレビ又は他のディスプレイへの伝送のため、データをＡ／Ｖ（映像／音声）ポート１４０へ出力する。メモリコントローラ１１０は、ＧＰＵ１０８へ接続されて、限定はされないが、例えばＲＡＭ（ランダムアクセスメモリ）等の様々なタイプのメモリ１１２へのプロセッサアクセスを可能とする。
マルチメディアコンソール１００は、Ｉ／Ｏコントローラ１２０、システム管理コントローラ１２２、音声処理装置１２３、ネットワークインターフェースコントローラ１２４、第１ＵＳＢホストコントローラ１２６、第２ＵＳＢコントローラ１２８、及びフロントパネルＩ／Ｏサブアセンブリ１３０を含み、これらはモジュール１１８上に好適に実装される。ＵＳＢコントローラ１２６及び１２８は、周辺機器コントローラ１４２（１）−１４２（２）、無線アダプタ１４８、及び外部記憶装置１４６（例えば、フラッシュメモリ、外部ＣＤ／ＤＶＤＲＯＭドライブ、リムーバブルメディア等）のホストとして動作する。ネットワークインターフェース１２４及び／又は無線アダプタ１４８は、ネットワーク（例えば、インターネット、ホームネットワーク等）へのアクセスを提供し、イーサネットカード、モデム、ブルートゥースモジュール、ケーブルモデム、又はそれらの同類物を含む、幅広い様々な有線又は無線アダプタ部品のいずれかであり得る。
システムメモリ１４３は、起動プロセスの間にロードされるアプリケーションデータを格納するために提供される。メディアドライブ１４４は、ＤＶＤ／ＣＤドライブ、ハードドライブ、又は他のリムーバブルメディアドライブ等を含んでよい。メディアドライブ１４４は、マルチメディアコンソール１００の内部にあっても外部にあってもよい。アプリケーションデータは、メディアドライブ１４４を介してアクセスされ、マルチメディアコンソール１００によって実行され再生されることができる。メディアドライブ１４４は、シリアルＡＴＡバスや他の高速接続（例えばＩＥＥＥ１３９４）等のバスを介して、Ｉ／Ｏコントローラ１２０に接続される。
システム管理コントローラ１２２は、マルチメディアコンソール１００の有用性を確保することに関連した様々なサービス機能を提供する。音声処理装置１２３及びオーディオコーデック１３２は、高忠実度でステレオ処理の、対応する音声処理パイプラインを形成する。音声データは、通信リンクを介して音声処理装置１２３とオーディオコーデック１３２の間で転送される。音声処理パイプラインは、外部のオーディオプレーヤ又はオーディオの能力を有した装置による再生のため、データをＡ／Ｖポート１４０へ出力する。
フロントパネルＩ／Ｏサブアセンブリ１３０は、ＬＥＤ（発光ダイオード）やマルチメディアコンソール１００の外装面に露出した他の指示器に加えて、電源ボタン１５０及び取出しボタン１５２の機能をサポートする。システム電源供給モジュール１３６は、マルチメディアコンソール１００の部品へ電源を供給する。ファン１３８は、マルチメディアコンソール１００内部の電気回路を冷却する。
ＣＰＵ１０１、ＧＰＵ１０８、メモリコントローラ１１０、及びマルチメディアコンソール１００内の様々な他の部品は、シリアル及びパラレルバス、メモリバス、周辺機器バス、及び様々なバスアーキテクチャのいずれかを用いたプロセッサ又はローカルバスを含む、１つ以上のバスを介して相互接続される。例として、そのようなアーキテクチャは、周辺機器部品相互接続（ＰＣＩ）バス、ＰＣＩ−Ｅｘｐｒｅｓｓバス等を含むことができる。
マルチメディアコンソール１００がパワーオンされると、アプリケーションデータがシステムメモリ１４３からメモリ１１２及び／又はキャッシュ１０２，１０４へロードされてＣＰＵ１０１上で実行され得る。アプリケーションは、マルチメディアコンソール１００上で利用可能な異なるメディアタイプへナビゲートする際にユーザと調和した体験をもたらすグラフィカルユーザインターフェイスを提供することができる。アプリケーション及び／又はメディアドライブ１４４内に収容された他の媒体は、実行される時、メディアドライブ１４４から開始され実行されて、マルチメディアコンソール１００に付加的な機能を提供することができる。
マルチメディアコンソール１００は、単にテレビ又は他のディスプレイに接続されて、スタンドアロンシステムとして動作してもよい。このスタンドアロンの方式において、マルチメディアコンソール１００は、１以上のユーザがシステムと対話し、映画を鑑賞し、又は音楽を鑑賞することを可能とする。しかしながら、ネットワークインターフェース１２４又は無線アダプタ１４８を通じて利用可能となるブロードバンド接続と融合することによって、マルチメディアコンソール１００は更に、より大きなネットワーク共同体の一参加者として動作することもできる。
マルチメディアコンソール１００がパワーオンされると、所定量のハードウェアリソースがシステム利用のためマルチメディアコンソールのオペレーティングシステムによって予約される。これらのリソースには、メモリ（例えば１６ＭＢ）、ＣＰＵ及びＧＰＵサイクル（例えば５％）、ネットワーク帯域幅（例えば８ｋｂｐｓ）等の予約が含まれ得る。これらのリソースはシステムの起動時に予約されるので、予約されたリソースはアプリケーションから見ることはできない。
特に、メモリの予約は、開始カーネル、同時に実行するアプリケーション、及びドライバを収容するのに十分な大きさであることが好適である。ＣＰＵの予約は一定量であることが好適であり、もし予約されたＣＰＵ処理がシステムアプリケーションによって使用されなければ、アイドル状態のスレッドが未使用のサイクルを消費する。
ＧＰＵの予約に関しては、システムアプリケーションによって生成された軽いメッセージ（例えばポップアップ）が、スケジュールされたコードに対するＧＰＵの割り込みを用いポップアップを重ね合わせて描画することによって、表示される。重ね合わせに要求されるメモリの量は、重ね合わせエリアの大きさに依存し、重ね合わせはスクリーンの解像度によって好適に決定される。同時に実行されるシステムアプリケーションによってユーザインターフェースが目一杯に使用される場合は、アプリケーションの解像度に依らない解像度を用いることが好適である。周波数変更及びＴＶの再同期の必要を排除すべく、計数回路を用いてこの解像度を設定することができる。
マルチメディアコンソール１００が起動しシステムリソースが予約された後、同時実行されるシステムアプリケーションが実行されてシステムの機能を提供する。システムの機能は、上述の予約されたシステムリソース内で実行される一組のシステムアプリケーションの中に包み込まれる。オペレーティングシステムのカーネルは、ゲームアプリケーションのスレッドに対しシステムアプリケーションのスレッドであるスレッドを特定する。システムアプリケーションは、予め定められた時間及び休止期間でＣＰＵ１０１上で実行されるよう好適にスケジュールされ、調和したシステムリソースをアプリケーションから見ることができる。このスケジューリングは、コンソールで実行しているゲームアプリケーションに関するキャッシュの破棄を最小化するよう、行われるべきである。
同時実行されるシステムアプリケーションが音声を必要とする場合、時間的な感度のためゲームアプリケーションとは非同期的に、音声処理がスケジュールされる。マルチメディアコンソールのアプリケーションマネージャ（後述）は、システムアプリケーションが動作中であればゲームアプリケーションの音量（例えば、ミュート、音量を下げる）を制御する。
入力装置（例えば、コントローラ１４２（１）及び１４２（２））は、ゲームアプリケーションとシステムアプリケーションで共用される。入力装置は予約されたリソースではなく、システムアプリケーションとゲームアプリケーションの間で切り替えを行って、それぞれが装置を主導するようにしなければならない。アプリケーションマネージャは、入力ストリームの切り替えを好適に制御する。これには、ゲームアプリケーションの情報及びドライバが保持している主導権の切り替えに関する状態情報は不要である。カメラ２６，２８及びキャプチャ装置２０は、コンソール１００の付加的な入力装置を定義してもよい。
図４は、目標認識・分析・追跡システムにおける１つ以上のジェスチャを解釈し、目標認識・分析・追跡システムによって表示されるアバターや画面上のキャラクタに動きを与えるために用いることができる、計算機環境２２０の一例の実施態様を示すものである。この計算機環境２２０は、図１Ａ−２に示された計算機環境１２であり得る。計算システム環境２２０は、計算機環境の相応しい１つの例に過ぎず、ここに開示された対象の使用又は機能の範囲に関して如何なる制限をも示唆することを意図するものではない。計算機環境２２０はまた、適例の動作環境２２０に示された部品のいずれか１つ又はその組み合わせに関して、如何なる依存性又は必要条件をも有するものと解釈されてはならない。いくつかの実施態様において、説明された様々な計算機要素は、本開示の特定の側面を例示するよう構成された電気回路を含むことがある。例えば、本開示で用いられる電気回路という用語は、ファームウェア又はスイッチによって機能を実施するよう構成された専用のハードウェア部品を含むことができる。他の実施態様の例において、電気回路という用語は、機能を実施すべく論理的に動作可能なように具体化されるソフトウェアの命令で構成された、汎用的用途の処理装置、メモリ等を含むことができる。電気回路がハードウェアとソフトウェアの結合を含む実施態様の例において、実装者が論理を具体化するソースコードを記述し、そのソースコードが、汎用的用途の処理装置により処理され得る機械読み取り可能なコードにコンパイルされることができる。現在の技術水準はハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせの間にはほとんど差が無いところまで発展したことを当業者は認識できるから、特定の機能を達成するためにハードウェアとソフトウェアの選択をすることは、実装者に委ねられた設計的な選択事項である。より明確に言えば、当業者は、ソフトウェアの処理はそれと等価なハードウェアの構造に変換できること、及びハードウェアの構造はそれ自身、それと等価なソフトウェアの処理変換できることを認識することができる。このように、ハードウェアの実装とソフトウェアの実装を選択することは、設計的な選択事項の１つであり、実装者に委ねられていることである。
図４において、計算機環境２２０は、コンピュータ２４１を備える。このコンピュータ２４１は、通常様々なコンピュータ読み取り可能媒体を含む。コンピュータ読み取り可能媒体は、コンピュータ２４１によってアクセスできる任意の利用可能な媒体とすることができ、揮発性及び不揮発性媒体、リムーバブル及び非リムーバブル媒体の両方を含む。システムメモリ２２２は、リードオンリメモリ（ＲＯＭ）２２３及びランダムアクセスメモリ（ＲＡＭ）２６０のような揮発性及び／又は不揮発性メモリの形態のコンピュータ記憶媒体を含む。基本入出力システム２２４（ＢＩＯＳ）は、スタートアップ時等にコンピュータ２４１内の要素間で情報を転送する役目を果たす基本ルーチンを収容するものであり、通常ＲＯＭ２２３に格納される。ＲＡＭ２６０は通常、処理装置２５９によって直接アクセス可能及び／又は動作される、データ及び／又はプログラムモジュールを収容する。例として、また限定ではなく、図４はオペレーティングシステム２２５、アプリケーションプログラム２２６、他のプログラムモジュール２２７、及びプログラムデータ２２８を示している。
コンピュータ２４１はまた、他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピュータ記憶媒体を含んでもよい。単なる例として、図４は、非リムーバブルで不揮発性の磁気媒体から読み出し／へ書き込みを行うハードディスクドライブ２３８、リムーバブルで不揮発性の磁気ディスク２５４から読み出し／へ書き込みを行う磁気ディスクドライブ２３９、及び、リムーバブルで不揮発性のＣＤＲＯＭや他の光媒体等の光ディスク２５３から読み出し／へ書き込みを行う光ディスクドライブ２４０を示している。適例の動作環境で使用することができる他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピュータ記憶媒体は、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭ、及びこれらの同類物を含むが、限定はされない。ハードディスクドライブ２３８は、インターフェース２３４のような非リムーバブルメモリインターフェースを通じて、通常システムバス２２１に接続される。磁気ディスクドライブ２３９及び光ディスクドライブ２４０は、インターフェース２３５のようなリムーバブルメモリインターフェースによって、通常システムバス２２１に接続される。
上で議論され図４に示されたドライブ及びそれに関係付けられたコンピュータ記憶媒体は、コンピュータ読み取り可能命令、データ構造、プログラムモジュール、及びコンピュータ２４１のための他のデータを格納することを可能にする。図４において、例えば、ハードディスクドライブ２３８は、オペレーティングシステム２５８、アプリケーションプログラム２５７、他のプログラムモジュール２５６、及びプログラムデータ２５５を格納するように示されている。これらの要素は、オペレーティングシステム２２５、アプリケーションプログラム２２６、他のプログラムモジュール２２７、及びプログラムデータ２２８と同じであるか、或いは異なっているか、そのいずれでもあり得ることに注意されたい。オペレーティングシステム２５８、アプリケーションプログラム２５７、他のプログラムモジュール２５６、及びプログラムデータ２５５は、最低限それらが異なるコピーであることを示すために、ここでは異なる符号を与えられている。ユーザは、一般にマウス、トラックボール、又はタッチパッドとして参照されるキーボード２５１及びポインティングデバイス２５２といった入力装置を通じて、コンピュータ２４１にコマンド及び情報を入力することができる。他の入力装置（不図示）は、マイクロホン、ジョイスティック、ゲームパッド、衛星放送用アンテナ、スキャナ、又はそれらの同類物を含んでもよい。これらの及び他の入力装置は、多くの場合、システムバスに結合されたユーザ入力インターフェース２３６を通じて処理装置２５９に接続されるが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ）等の他のインターフェース及びバス構造によって接続されてもよい。カメラ２６，２８及びキャプチャ装置２０は、コンソール１００の付加的な入力装置を定義してもよい。モニタ２４２又は他のタイプの表示装置もまた、ビデオインターフェース２３２のようなインターフェースを介してシステムバス２２１に接続される。モニタに加えて、コンピュータは、スピーカ２４４及びプリンタ２４３等の他の周辺出力装置をも含んでよい。この周辺出力装置は、出力周辺機器インターフェース２３３を通じて接続され得る。
コンピュータ２４１は、リモートコンピュータ２４６等の１つ以上のリモートコンピュータへの論理的な接続を使用したネットワーク環境において動作することができる。リモートコンピュータ２４６は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピア装置、又は他の一般的なネットワークノードとすることができ、通常は上述されたコンピュータ２４１に関連する要素の多数又は全てを含む。但し、図４ではメモリ記憶装置２４７のみが示されている。図４に記述された論理的な接続は、ローカルエリアネットワーク（ＬＡＮ）２４５及びワイドエリアネットワーク（ＷＡＮ）２４９を含むが、他のネットワークも含まれてよい。そのようなネットワーク環境は、職場や企業全体のコンピュータネットワーク、イントラネット、及びインターネットにおいてありふれたものである。
ＬＡＮのネットワーク環境で用いられる場合、コンピュータ２４１は、ネットワークインターフェース又はアダプタ２３７を通じてＬＡＮ２４５に接続される。ＷＡＮのネットワーク環境で用いられる場合、コンピュータ２４１は通常、モデム２５０、又はインターネット等のＷＡＮ２４９を介した通信を確立するための他の手段を含む。モデム２５０は、内蔵型又は外付け型であってよく、ユーザ入力インターフェース２３６又は他の適当な仕組みを介してシステムバス２２１に接続され得る。ネットワーク接続された環境において、コンピュータ２４１に関連して述べられたプログラムモジュールまたはその一部分は、リモートのメモリ記憶装置に格納されてもよい。例として、限定ではないが、図４は、メモリ装置２４７上に存在するものとしてリモートアプリケーションプログラム２４８を示している。ここに示されたネットワーク接続は適例であって、コンピュータ間の通信リンクを確立する他の手段が用いられ得ることは、理解されるだろう。
図５は、ある光景においてユーザを追跡するための一例の方法３００の流れ図を描いたものである。一例の方法３００は、例えば、図１Ａ−４に関して述べられた目標認識・分析・追跡システム１０のキャプチャ装置２０及び／又は計算機環境１２を用いて実装することができる。一例の実施態様において、一例の方法３００は、例えば図１Ａ−４に関して述べられた目標認識・分析・追跡システム１０のキャプチャ装置２０及び／又は計算機環境１２によって実行され得る、プログラムコード（即ち命令）の形式をとることができる。
１つの実施態様によれば、３０５において、奥行き画像が取得され得る。例えば、目標認識・分析・追跡システムは、図１Ａ−２に関して上述されたキャプチャ装置２０等のキャプチャ装置を含んでよい。キャプチャ装置は、１つ以上の目標を含み得るある光景をキャプチャし、或いは観測することができる。一例の実施態様において、キャプチャ装置は、飛行時間分析、構造化ライト分析、ステレオビジョン分析、又はそれらの同類物等の任意の相応しい処理方法を用いて、その光景の奥行き画像等の画像を獲得するよう構成された奥行きカメラであり得る。
奥行き画像は、複数の観測されたピクセルであり得る。観測されたピクセルのそれぞれは、観測された奥行き値を有する。例えば、奥行き画像は、キャプチャされた光景の２次元（２Ｄ）ピクセルエリアを含むことができ、２Ｄピクセルエリア中のそれぞれのピクセルは、キャプチャされた光景内の物体のキャプチャ装置からの長さ又は距離（例えばセンチメートル、ミリメートル、又は同類物）等の、奥行き値を有することができる。
図６は、３０５において取得され得る奥行き画像４００の一例の実施態様を示すものである。一例の実施態様によれば、奥行き画像４００は、例えば、図２に関して上述されたキャプチャ装置２０の３Ｄカメラ２６及び／又はＲＧＢカメラ２８によってキャプチャされた光景の画像又はフレームであり得る。図６に示されるように、奥行き画像４００は、例えば図１及び１Ｂに関して上述されたユーザ１８のようなユーザに相当する人物目標４０２ａと、キャプチャされた光景内の壁、テーブル、モニタ、又はそれらの同類物等の１つ以上の非人物目標４０４とを含んでよい。上述されたように、奥行き画像４００は、複数の観測されたピクセルを含んでよく、観測されたピクセルのそれぞれは、それに関係付けられた観測された奥行き値を有する。例えば、奥行き画像４００は、キャプチャされた光景の２次元（２Ｄ）ピクセルエリアを含んでよく、２Ｄピクセルエリアの特定のＸ値及びＹ値を持つピクセルのそれぞれは、キャプチャされた光景内の目標又は物体のキャプチャ装置からの長さ又は距離（例えばセンチメートル、ミリメートル、又は同類物）等の奥行き値を有することができる。
１つの実施態様において、奥行き画像４００は、奥行き画像のピクセルの異なる色が人物目標４０２ａ及び非人物目標４０４のキャプチャ装置からの異なる距離に対応し、及び／又はそれを視覚的に表現するように、色分けされてもよい。例えば、キャプチャ装置に最も近い目標に関係付けられたピクセルは、奥行き画像において赤及び／又はオレンジ色の陰影で彩色され、一方より遠い目標に関係付けられたピクセルは、奥行き画像において緑及び／又は青の陰影で彩色されてよい。
図５に戻り、１つの実施態様において、画像を取得すると、３０５において、分散が大きく及び／又はノイズ的な１つ以上の奥行き値が、奥行き画像から除去及び／又は平滑化され得る。欠落及び／又は除去された奥行き情報の一部分は、補填及び／又は復元され得る。そして／或いは、任意の他の相応しい処理が、取得された奥行き画像に対してなされてもよい。奥行き画像に関係付けられた奥行き情報が用いられて、骨格モデル等のモデルを生成することができる。その詳細は以下で述べられるだろう。
一例の実施態様によれば、３１０において、１つ以上のボクセルからなる格子が、取得された奥行き画像に基づいて生成され得る。例えば、目標認識・分析・追跡システムは、取得された奥行き画像に含まれる情報を用いて１つ以上のボクセルを生成することにより取得された奥行き画像をダウンサンプリングして、ダウンサンプリングされた奥行き画像を生成することができる。１つの実施態様において、この１つ以上のボクセルは、サブサンプリングされた格子上の取得された奥行き画像に含まれる情報のデータ又は値を表す体積要素であり得る。
例えば、上述したように、奥行き画像は、キャプチャされた光景の２Ｄピクセルエリアを含んでよく、ピクセルのそれぞれは、それに関係付けられたＸ値、Ｙ値、及び奥行き値（即ちＺ値）を有し得る。１つの実施態様において、奥行き画像は、２Ｄピクセルエリアのピクセルを減じて１つ以上のボクセルからなる格子とすることによって、ダウンサンプリングすることができる。例えば、奥行き画像は、部分、又は、４×４のピクセルからなるブロック、５×５のピクセルからなるブロック、８×８のピクセルからなるブロック、１０×１０のピクセルからなるブロック、又はこれらの同類物等の、複数ピクセルからなるブロックに分割することができる。それぞれの部分又はブロックは、その奥行き画像についてのボクセルを生成するよう処理され得る。このボクセルは、現実世界空間における２Ｄ奥行き画像のピクセルに関係付けられた当該部分又はブロックの位置を表し得るものである。一例の実施態様によれば、それぞれのボクセルの位置は、例えば、ボクセルが表しているブロック又は部分のピクセルに関する有効又は非ゼロの奥行き値の平均値や、ボクセルが表している部分又はブロックのピクセルに関する奥行き値の最小値、最大値、及び／又は中央値や、ボクセルが表している部分又はブロックの有効な奥行き値を持つピクセルに関するＸ値及びＹ値の平均値や、奥行き画像が有する任意の他の相応しい情報に基づいて、生成することができる。このように、一例の実施態様によれば、それぞれのボクセルは、ボクセルが表しているブロック又は部分のピクセルに関する有効又は非ゼロの奥行き値の平均値や、ボクセルが表している部分又はブロックのピクセルに関する奥行き値の最小値、最大値、及び／又は中央値や、ボクセルが表している部分又はブロックの有効な奥行き値を持つピクセルに関するＸ値及びＹ値の平均値や、３０５において取得された奥行き画像のピクセルの部分又はブロックに対応するＸ値、Ｙ値、及び奥行き値に基づいて奥行き画像により提供される任意の他の相応しい情報等の値を持つ奥行き画像の副体積（sub-volume）の部分又はブロックを表すことができる。
１つの実施態様において、ダウンサンプリングされた奥行き画像における１つ以上のボクセルからなる格子は、層構造をなしてよい。例えば、目標認識・分析・追跡システムは、上述されたようにボクセルを生成することができる。次いで、目標認識・分析・追跡システムは、生成したボクセルを、格子上の１つ以上の他の生成されたボクセルに重ねて積み上げることができる。
一例の実施態様によれば、目標認識・分析・追跡システムは、格子のボクセルを、例えば奥行き画像にキャプチャされ得る光景に含まれる物体のエッジ部分の周囲に積み上げることができる。例えば、３０５において取得された奥行き画像は、人物目標及び壁等の非人物目標を含み得る。人物目標は、例えばそのエッジ部分において、壁等の非人物目標とオーバーラップしていてよい。１つの実施態様において、オーバーラップしているエッジ部分は、奥行き画像にキャプチャされ得る人物目標及び非人物目標に関係付けられた奥行き値、Ｘ値、Ｙ値、又はそれらの同類物等の情報を含み得る。目標認識・分析・追跡システムは、ボクセルが積み上げられ、オーバーラップしているエッジ部分の奥行き値、Ｘ値、Ｙ値、又はそれらの同類物等の情報が格子内で保持されるように、オーバーラップしているエッジ部分において、人物目標に関係付けられたボクセル及び非人物目標に関係付けられたボクセルを生成することができる。
別の実施態様によれば、３１０において、１つ以上のボクセルの格子は、例えば３０５で取得され得る奥行き画像のピクセルに関する奥行き値、Ｘ値、Ｙ値、又はそれらの同類物等の情報を、３次元（３Ｄ）空間に投影することによって、生成することができる。例えば、目標認識・分析・追跡システムは、カメラ、画像、又は遠近法による変換等の、情報が３Ｄ空間の台形又は角錐形状に変換されるような変換を用いて、奥行き画像のピクセルに関する奥行き値、Ｘ値、Ｙ値、又はそれらの同類物等の情報を３Ｄ空間の３Ｄ座標点にマッピングすることができる。１つの実施態様において、台形又は角錐形状を有する３Ｄ空間は、立方体等のブロックに分割されてもよい。この立方体は、ブロック又は立方体のそれぞれが格子内のボクセルを表すように、ボクセルの格子を形作ることができる。例えば、目標認識・分析・追跡システムは、３Ｄの格子を奥行き画像内の物体に対応する３Ｄの座標点の上に重ね合わせることができる。次いで、目標認識・分析・追跡システムは、ボクセルを表すブロックに格子を分割又は細分化して、奥行き画像をより低い解像度にダウンサンプリングすることができる。一例の実施態様によれば、格子内のボクセルのそれぞれは、ボクセルが表している格子の３Ｄ空間に関係付けられたピクセルに関する有効又は非ゼロの奥行き値の平均値、ボクセルが表している格子の３Ｄ空間に関係付けられたピクセルの奥行き値の最小値及び／又は最大値、ボクセルが表している格子の３Ｄ空間に関係付けられた有効な奥行き値を持つピクセルに関するＸ値及びＹ値の平均値、又は奥行き画像が有する任意の他の相応しい情報を含んでよい。
図７Ａ−７Ｂは、奥行き画像の一部分がダウンサンプリングされる一例の実施態様を示すものである。例えば、図７Ａに示されるように、図６に関して上述された奥行き画像４００の一部分４１０は、複数のピクセル４２０を含み得る。それぞれのピクセル４２０は、それに関係付けられたＸ値、Ｙ値、及び奥行き値（即ちＺ値）を有することができる。１つの実施態様によれば、上述したように、奥行き画像４００等の奥行き画像は、２Ｄピクセルエリアのピクセルを１つ以上のボクセルからなる格子に減じることによって、ダウンサンプリングされ得る。例えば、図７Ａに示されるように、奥行き画像４００の一部分４１０は、ピクセル４２０からなる８×８のブロックのように、ピクセル４２０からなる一部分又はブロック４３０に分割されることができる。目標認識・分析・追跡システムは、一部分又はブロック４３０を処理して、図７Ａ−７Ｂに示されるように現実世界空間においてピクセル４２０に関係付けられた一部分又はブロック４３０の位置を表すボクセル４４０を生成することができる。
図５に戻り、３１５において、ダウンサンプリングされた奥行き画像から背景が除去され得る。例えば、ダウンサンプリングされた奥行き画像内の非人物の目標又は物体等の背景が除去されて、ユーザに関係付いた人物目標等の前景物体を分離することができる。１つの実施態様において、上述されたように、目標認識・分析・追跡システムは、キャプチャ又は観測された奥行き画像についての１つ以上のボクセルの格子を生成することによって、そのキャプチャ又は観測された奥行き画像をダウンサンプリングすることができる。目標認識・分析・追跡システムは、ダウンサンプリングされた奥行き画像のボクセルそれぞれを分析して、ボクセルが奥行き画像内の１つ以上の非人物目標のような背景物体に関係付けられたものであるかどうかを決定することができる。もしボクセルが背景物体に関係付けられたものであれば、そのボクセルは、ダウンサンプリングされた奥行き画像から除去又は廃棄されて、人物目標等の前景物体とその前景物体に関係付けられた格子内の１つ以上のボクセルを分離することができる。
１つの実施態様によれば、目標認識・分析・追跡システムは、それぞれのボクセルを分析して、それに関係付けられた物体を決定することができる。例えば、上述したように、図６に関して上述された奥行き画像４００等の奥行き画像として３０５において観測又はキャプチャされたある光景には、複数の物体が含まれ、これら物体には、１つ以上の人物目標、及び／又は、壁、テーブル、ソファ、ランプ、又はそれらの同類物等の、１つ以上の非人物目標が含まれ得る。１つの実施態様において、目標認識・分析・追跡システムは、格子内のそれぞれのボクセルを分析して、そのボクセルが光景の中のどの物体と関係付けられているかを決定することができ、目標認識・分析・追跡システムは、３１５において光景の中のそれぞれの物体に関係付けられたボクセルを特定することができる。このように、一例の実施態様によれば、もし人物目標即ち人が光景の中において壁の前に立っていれば、目標認識・分析・追跡システムは、それぞれのボクセルを分析して、そのボクセルが人物目標と関係付くものなのか、壁と関係付くものなのかを決定することができる。
ボクセルが光景の中のどの物体に関係付くものであるかを決定するために、目標認識・分析・追跡システムは、ボクセルが表しているブロック又は部分のピクセルに関する有効又は非ゼロの奥行き値の平均値、ボクセルが表している部分又はブロックのピクセルの奥行き値の最小値及び／又は最大値、ボクセルが表している有効な奥行き値を持つピクセルに関するＸ値及びＹ値の平均値、又は、隣接又は近接するボクセルに関する任意の他の相応しい情報等、これらの値を比較することができる。例えば、１つの実施態様において、格子の中の分析対象である特定のボクセルと関係付いている奥行き値の平均値は、格子の中の分析対象である特定のボクセルと隣り合ったそれぞれのボクセルの奥行き値の平均値と比較され得る。もし分析対象である特定のボクセルの奥行き値の平均値と、それと隣り合ったボクセルの奥行き値の平均値との差異がある閾値よりも小さければ、その特定のボクセル及び隣り合ったボクセルは、同一の物体に属するものとして特定することができる。もし分析対象である特定のボクセルの奥行き値の平均値と、それと隣り合ったボクセルの奥行き値の平均値との差異が上記閾値よりも大きければ、その特定のボクセル及び隣り合ったボクセルは、別々の物体に属するものとして特定することができる。一例の実施態様によれば、上記閾値は、例えば目標認識・分析・追跡システムにより生成され、ボクセルが同一の物体の一部である可能性又は確率に基づき予め定められた値であり得る。このように、一例の実施態様によれば、もし人物目標即ち人が奥行き画像によりキャプチャ又は観測された光景の中において壁の前に立っていれば、目標認識・分析・追跡システムは、その奥行き画像に対して生成されたそれぞれのボクセルを分析して、そのボクセルが人物目標と関係付くものなのか、壁と関係付くものなのかを決定することができる。
取得された奥行き画像の光景の中の物体及びそれに関係付いたボクセルを特定した後、次いで、目標認識・分析・追跡システムは、特定された物体のそれぞれに関係付けられた情報を演算することができる。例えば、目標認識・分析・追跡システムは、特定された物体のそれぞれについての世界空間の最大値、世界空間の位置の最小値、及び世界空間の位置の平均値、又はそれらの同類物を演算することができる。
１つの実施態様において、目標認識・分析・追跡システムは更に、光景の中の特定された物体のうちの１つ以上がその光景の中の他の物体と結合されるべきであるかを３１５において決定することができる。例えば、物体の一部分は、３０５で取得された奥行き画像においてその物体の別の一部分から離れていることがある。１つの実施態様において、物体の当該一部分は、例えば光景に含まれるその物体や別の物体、又はその同類物が投げかける赤外光の当たらない影によって、その物体の別の一部分から離れていることがある。別例の実施態様において、物体の当該一部分は、例えばその物体に関係付けられた色、テクスチャ、パターン、又はそれらの同類物によって、その物体の別の一部分から離れていることがある。例えば、人物目標の頭部は、例えば頭髪、様々な衣類、又はそれらの同類物によって、Ｙ方向のＹ平面に沿ってその人物目標の胴体から離れていることがある。
光景の中で特定された物体が実際にはその光景の中で特定された別の物体の一部分であるのかを決定するために、目標認識・分析・追跡システムは、当該物体に関係付けられたボクセルのＸ値及び奥行き値を近接した物体に関係付けられたボクセルのＸ値及び奥行き値と比較することができる。例えば、目標認識・分析・追跡システムは、例えば光景の中で特定された第１の物体に関係付けられた１つ以上のボクセルのＸ値及び奥行き値を、第１の物体に近接又は隣り合った第２の物体に関係付けられた１つ以上のボクセルのＸ値及び奥行き値と比較することができる。このように、一例の実施態様によれば、目標認識・分析・追跡システムは、光景の中のボクセルを分析して、第１及び第２の物体がＸ方向において定義されたＸ平面及び／又はＺ方向において定義されたＺ平面に沿って重なり合うかどうかを決定することができ、当該第１及び第２の物体は、同一物体の一部分であるとして特定され結合され得る。
１つの実施態様によれば、もし第１の物体に関係付けられた１つ以上のボクセルのＸ値及び奥行き値が第２の物体に関係付けられた１つ以上のボクセルのＸ値及び奥行き値と重なり合えば、目標認識・分析・追跡システムは、第１及び第２の物体を結合して、第１及び第２の物体を共通の物体の一部分として特定することができる。例えば、もし第１の物体に関係付けられた第１のボクセルがＸ方向に沿って５というＸ値及び第１の物体の右外側エッジにおいて１０ｍｍという奥行き値を持ち、第２の物体に関係付けられた第２のボクセルがＸ方向に沿って３というＸ値及び第２の物体の左外側エッジにおいて１０ｍｍという奥行き値を持つのであれば、目標認識・分析・追跡システムは、第１及び第２の物体は重なり合うと判断することができる。次いで、目標認識・分析・追跡システムは、第１及び第２の物体を結合して、第１及び第２の物体を同一の物体の一部分として特定することができる。
加えて、光景の中で特定された物体が実際にはその光景の中で特定された別の物体の一部分であるのかを決定するために、目標認識・分析・追跡システムは、ある物体に対して定義された境界ボックスがその光景の中の別の物体の境界ボックスと重なり合うかどうかを判断することができる。例えば、目標認識・分析・追跡システムは、特定された物体のそれぞれについて境界ボックスを定義することができる。目標認識・分析・追跡システムは、次いで、１つ以上の物体の境界ボックスが重なり合うかどうかを、上述したように例えば物体に含まれる１つ以上のボクセルのＸ値、Ｙ値、及び／又は奥行き値に基づいて決定することができる。
別例の実施態様によれば、目標認識・分析・追跡システムは、例えばその物体に含まれるボクセルのＸ値、Ｙ値、及び奥行き値を平均化することによって、それぞれの物体の中心点又は重心点を決定することができる。目標認識・分析・追跡システムは、次いで、その光景に含まれる物体の重心点又は中心点間の距離を決定して、その光景において特定された物体が実際にはその光景で特定された別の物体の一部分であるかどうかを判断することができる。物体間の距離に基づいて、目標認識・分析・追跡システムは、１つ以上の物体を結合することができる。例えば、目標認識・分析・追跡システムは、第１の物体の重心点又は中心点と第２の物体の中心点又は重心点との間の距離を決定することができる。もし第１の物体と第２の物体の重心点又は中心点間の距離が第１及び第２の物体は結合されるべきであることを示す予め定められた範囲内であれば、目標認識・分析・追跡システムは、物体を結合して、第１及び第２の物体を同一物体の一部分であるとして特定することができる。
１つの実施態様において、目標認識・分析・追跡システムは更に、その光景において特定された物体のうちの１つ以上が分離されるべきであるかを３１５において決定することができる。例えば、３１５においてその光景で特定された１つの物体は、実際には２つの分離した物体であることがある。その光景の中の１つの物体が分離されるべきであるかを決定するために、目標認識・分析・追跡システムは、先に取得されたフレームに対して決定されたそれぞれの物体の中心の位置を特定することができる。１つの実施態様によれば、目標認識・分析・追跡システムは、次いで、３０５で取得されたフレームの奥行き画像に対して生成された、その光景内のボクセルを同時に塗り潰すことができる。この処理は、先に取得されたフレームの物体から決定される中心位置から開始される。目標認識・分析・追跡システムは、次いで、塗り潰されたボクセルが先に取得されたフレーム内のいずれの物体により近いかを、その物体の先の位置を用いて決定することができる。目標認識・分析・追跡システムは、３１５において、もし塗り潰されたボクセルが先に取得されたフレームで特定された別の物体により近ければ、１つの物体を分割することができる。
３１５において、目標認識・分析・追跡システムは、次いで、特定された物体が非人物目標のような背景物体であるか人物目標のような前景物体であるかを判断することができる。一例の実施態様によれば、目標認識・分析・追跡システムは、特定された物体が運動状態にある又は動いているかどうかに基づいて、当該特定された物体が背景物体であるか前景物体であるかを決定することができる。例えば、目標認識・分析・追跡システムは、その光景の参照画像等の参照平面を含むことができる。参照画像には、例えば、それぞれのボクセルに関する、動きの無い奥行き情報が含まれる。一例の実施態様によれば、参照平面は、一連のフレームにわたって決定された格子内のボクセルに関する最小のＸ値、Ｙ値、及び奥行き値等の、ボクセルの最小の世界空間位置や、一連のフレームにわたって決定された格子内のボクセルに関する最大のＸ値、Ｙ値、及び奥行き値等の、ボクセルの最大の世界空間位置や、一連のフレームについて決定された格子内のボクセルに関する平均のＸ値、Ｙ値、及び奥行き値等の、ボクセルの平均の世界空間位置や、任意の他の相応しい参照平面を含み得る。別の実施態様において、参照平面は、その光景内のそれぞれのボクセルに関係する移動平均を含んでよい。移動平均は、例えば、先に取得された一連のフレームにわたって決定されたボクセルの奥行き値の平均を含んでよい。
１つの実施態様によれば、目標認識・分析・追跡システムは、例えば３０５で取得された奥行き画像の光景に含まれる、特定された物体に関係するボクセルそれぞれの最大の奥行き値、平均の奥行き値、最小の奥行き値、又はそれらの同類物等の奥行き情報を、参照平面に含まれる対応するボクセルそれぞれの動きの無い奥行き情報と比較することができる。参照平面の対応するボクセルに関する奥行き情報と動きの無い奥行き情報との比較に基づいて、目標認識・分析・追跡システムは、ボクセルを動いているものとして特定することができる。例えば、１つの実施態様において、もしボクセルの最小の奥行き値、最大の奥行き値、及び／又は平均の奥行き値といった奥行き値が、参照平面の対応するボクセルの移動平均よりも小さく、そのボクセルが移動平均の前にあれば、そのボクセルは動いているものとして特定され得る。別例の実施態様によれば、目標認識・分析・追跡システムは、参照平面におけるボクセルとそれに対応するボクセルに関係付けられた値の間の差異を演算することができる。もし、例えばボクセルの平均の奥行き値、最大の奥行き値、及び／又は最小の奥行き値等の奥行き値と、参照平面の対応するボクセルに関する動きの無い情報に含まれる奥行き値との間の差異が、動きに関する閾値よりも大きければ、そのボクセルは目標認識・分析・追跡システムによって動いているものとして特定され得る。
別例の実施態様において、目標認識・分析・追跡システムは、ボクセル及びそれと隣り合ったボクセルの最大の奥行き値、平均の奥行き値、最小の奥行き値、又はそれらの同類物等の奥行き情報を、参照平面に含まれる対応するそれぞれのボクセルに関する動きの無い奥行き情報と比較することができる。例えば、エッジノイズを処理するために、目標認識・分析・追跡システムは、特定のボクセル及びそれと隣り合ったボクセルの最小の奥行き値を参照平面の対応するボクセルと比較して、ボクセル及び／又はそれに関係付けられた物体が動いているかどうかを決定することができる。もし、例えばその特定のボクセル及びそれと隣り合ったボクセルの最小の奥行き値と、参照平面の対応するボクセルに関する動きの無い情報に含まれる最小の奥行き値との差異が、動きに関する閾値よりも大きければ、その特定のボクセルは、目標認識・分析・追跡システムによって動いているものとして特定され得る。
目標認識・分析・追跡システムは、次いで、動いているボクセルの割合に基づいて、特定された物体のそれぞれに対して前景のスコアを演算することができる。１つの実施態様において、目標認識・分析・追跡システムは、島状領域に含まれ動いているものとして特定されたボクセルの数を、島状領域に含まれるボクセルの総数で除算して、前景のスコアを演算することができる。
目標認識・分析・追跡システムは、次いで、スコアの閾値を超える前景スコアを持つ物体を分離することができる。このスコア閾値は、物体が動いていることを示した目標認識・分析・追跡システムによって定義された値又は割合であり得る。例えば、目標認識・分析・追跡システムは、ダウンサンプリングされた奥行き画像から前景スコアに基づき動いていない背景物体を除去又は廃棄して、スコア閾値を超える前景スコアを持つ人物目標のような前景物体をダウンサンプリングされた奥行き画像において分離することができる。一例の実施態様によれば、動いていない物体を除去又は廃棄するために、目標認識・分析・追跡システムは、Ｘ値、Ｙ値、及び／又は奥行き値をゼロ値、又はボクセルが無効であることを示す別の相応しい指標若しくはフラグで置き換えることによって、動きの無い物体に関係付けられたボクセルを除去又は廃棄することができる。
３２０において、１つ以上の人体のパーツ等の１つ以上の末端部位が、人物目標等の分離された前景物体に対して決定され得る。例えば、１つの実施態様において、目標認識・分析・追跡システムは、分離された人物目標に１つ以上のヒューリスティック又はルールを適用して、例えばその分離された人物目標に関係付けられた重心点又は中心点、頭部、肩、胴体、腕部、脚部、又はそれらの同類物を決定することができる。１つの実施態様によれば、これら末端部位の決定に基づいて、目標認識・分析・追跡システムは、分離された人物目標のモデルを生成又は調整することができる。例えば、もし３０５で取得された奥行き画像が図１Ａ−２に関して上述されたキャプチャ装置２０等のキャプチャ装置により観測又はキャプチャされた初期フレームに含まれていれば、３２０で決定された重心点、頭部、肩、腕部、手、脚部、又はそれらの同類物等の末端部位の位置に基づいて、例えばこの末端部位の決定された位置に骨格モデルのジョイントを配置することによって、モデルを生成することができる。その詳細は以下で述べられるだろう。或いはまた、もし奥行き画像がキャプチャ装置によって観測又はキャプチャされた後続の即ち初期フレームでないフレームに含まれていれば、３２０で決定された重心点、頭部、肩、腕部、手、脚部、又はそれらの同類物等の末端部位の位置に基づいて、先行して生成されたモデルを調整することができる。その詳細は以下で述べられるだろう。
一例の実施態様によれば、３１５において人物目標のような前景物体を分離すると、目標認識・分析・追跡システムは、その人物目標に含まれるボクセルの平均を演算して、例えばその人物目標の重心点又は中心点を３２０で見積もることができる。例えば、目標認識・分析・追跡システムは、人物目標の重心点又は中心点の概算値を与える、人物目標に含まれるボクセルの平均位置を演算することができる。１つの実施態様において、目標認識・分析・追跡システムは、人物目標に関係付けられたボクセルの平均位置を、そのボクセルに関するＸ値、Ｙ値、及び奥行き値に基づいて演算することができる。例えば、上述されたように、目標認識・分析・追跡システムは、そのボクセルに関係付けられたピクセルのＸ値を平均化することによりボクセルのＸ値を、そのボクセルに関係付けられたピクセルのＹ値を平均化することによりそのボクセルのＹ値を、及びそのボクセルに関係付けられたピクセルの奥行き値を平均化することによりそのボクセルの奥行き値を、演算することができる。３２０において、目標認識・分析・追跡システムは、人物目標に含まれるボクセルのＸ値、Ｙ値、及び奥行き値を平均化して、人物目標の重心点又は中心点の概算値を与える平均位置を演算することができる。
図８は、人物目標４０２ｂに対して見積もられた重心点又は中心点の一例の実施態様を示すものである。一例の実施態様によれば、重心点又は中心点の位置８０２は、上述されたように、分離された人物目標４０２ｂに関係付けられたボクセルの平均位置に基づくものであり得る。
図５に戻り、目標認識・分析・追跡システムは、次いで、３２０において人物目標に対して境界ボックスを定義して、例えばその人物目標の頭部及び／又は胴体を含むコア体積を決定することができる。例えば、人物目標の重心点又は中心点の概算値を決定すると、目標認識・分析・追跡システムは、Ｘ方向に沿って水平方向に検索を行って、コア体積に関係する境界ボックスを定義するのに用いることができる人物目標の横幅を決定することができる。１つの実施態様によれば、Ｘ方向に沿って水平方向に検索を行って人物目標の横幅を測定するために、目標認識・分析・追跡システムは、重心点又は中心点からＸ軸に沿って左方向及び右方向に、奥行き値を含まないボクセル等の無効なボクセル又はその光景において特定された別の物体に関係付けられたボクセルに到達するまで、検索を行うことができる。例えば、上述されたように、３１５において、背景に関係付けられたボクセルは除去され、人物目標及びそれに関係するボクセルを分離することができる。上述されたように、一例の実施態様によれば、３１５でボクセルを除去するために、目標認識・分析・追跡システムは、背景物体のボクセルに関係付けられたＸ値、Ｙ値、及び／又は奥行き値を、ゼロ値又はそのボクセルが無効であることを示す別の相応しい指標若しくはフラグで置き換えることができる。３２０において、目標認識・分析・追跡システムは、人物目標の左側で第１の無効なボクセルに到達するまで、人物目標の重心点から左方向へ検索を行い、人物目標の右側で第２の無効なボクセルに到達するまで、人物目標の重心点から右方向へ検索を行うことができる。目標認識・分析・追跡システムは、次いで、例えば左方向において到達した当該第１の無効なボクセルに隣り合った第１の有効なボクセル、及び右方向において到達した当該第２の無効なボクセルに隣り合った第２の有効なボクセルの、Ｘ値の間の差異に基づく長さを演算又は測定することができる。
目標認識・分析・追跡システムは、次いで、Ｙ方向に沿って垂直方向に検索を行って、コア体積に関係する境界ボックスを定義するのに用いることができる、例えば頭部から腰骨までの人物目標の高さを決定することができる。１つの実施態様によれば、Ｙ方向に沿って垂直方向に検索を行って人物目標の高さを測定するために、目標認識・分析・追跡システムは、重心点又は中心点からＹ軸に沿って上方向及び下方向に、無効なボクセル又はそのボクセルに関係するＸ値、Ｙ値、又は奥行き値を含まないボクセルに到達するまで、検索を行うことができる。例えば、３２０において、目標認識・分析・追跡システムは、人物目標の上半身部分で第３の無効なボクセルに到達するまで、人物目標の重心点から上方向へ検索を行い、人物目標の下半身部分で第４の無効なボクセルに到達するまで、人物目標の重心点から下方向へ検索を行うことができる。目標認識・分析・追跡システムは、次いで、例えば上方向において到達した当該第３の無効なボクセルに隣り合った第３の有効なボクセル、及び下方向において到達した当該第４の無効なボクセルに隣り合った第４の有効なボクセルの、Ｙ値の間の差異に基づく高さを演算又は測定することができる。
一例の実施態様によれば、目標認識・分析・追跡システムは、更に、Ｘ及びＹ軸上のＸ及びＹ方向に沿って３０°、４５°、６０°、又はそれら同類物等の様々な角度で対角方向に検索を行って、コア体積に関係する境界ボックスを定義するのに用いることができる他の距離及び値を決定することができる。
加えて、目標認識・分析・追跡システムは、その距離又は値の比率に基づいて、コア体積に関係する境界ボックスを定義することができる。例えば、１つの実施態様において、目標認識・分析・追跡システムは、上述のように決定されて０．２、０．２５、０．３、又は任意の他の相応しい値等の定数が乗じられた高さに基づいて、境界ボックスの幅を定義することができる。
目標認識・分析・追跡システムは、次いで、Ｘ軸に沿う水平方向の検索によって決定された上記第１及び第２の有効なボクセル、Ｙ軸に沿う垂直方向の検索によって決定された上記第３及び第４の有効なボクセル、又は例えば対角方向の検索によって決定された他の距離及び値に基づいて、コア体積を表す境界ボックスを定義することができる。例えば、１つの実施態様において、目標認識・分析・追跡システムは、上記第１の有効なボクセルのＸ値のところでＹ軸に沿った、境界ボックスの第１の垂直線、及び上記第２の有効なボクセルのＸ値のところでＹ軸に沿った、境界ボックスの第２の垂直線を生成することができる。加えて、目標認識・分析・追跡システムは、上記第３の有効なボクセルのＹ値のところでＸ軸に沿った、境界ボックスの第１の水平線、及び上記第４の有効なボクセルのＹ値のところでＸ軸に沿った、境界ボックスの第２の水平線を生成することができる。一例の実施態様によれば、この第１及び第２の水平線は、上記第１及び第２の垂直線と交差して、人物目標のコア体積に関係付けられた境界ボックスを表す長方形又は正方形の形状を形成し得る。
図９は、コア体積を決定するように定義され得る境界ボックス８０４の一例の実施態様を示すものである。図９に示されるように、境界ボックス８０４は、上述のように決定された第１の垂直線ＶＬ１及び第２の垂直線ＶＬ２と第１の水平線ＨＬ１及び第２の水平線ＨＬ２とが交差することに基づき、長方形の形状を形成し得る。
図５に戻り、目標認識・分析・追跡システムは、次いで、３２０において、人物目標の頭部を決定することができる。例えば、１つの実施態様において、コア体積を決定しそれに関係付けられた境界ボックスを定義した後、目標認識・分析・追跡システムは、人物目標の頭部の位置を決定することができる。
頭部の位置を決定するために、目標認識・分析・追跡システムは、頭部に相応しい位置において様々な候補を探索し、それら様々な候補にスコアを付け、次いでそのスコアに基づいて様々な候補から頭部の位置を選択することができる。例えば、１つの実施態様によれば、目標認識・分析・追跡システムは、人物目標の中で最も高い位置にあるボクセル及び／又はそのボクセルに隣り合った或いは近隣のボクセルや、前のフレームに対して決定された頭部の位置に基づく１つ以上のより広範囲のボクセルや、例えば重心点又は中心点から垂直に延びる上向きのベクトル上で最も高い位置にあるボクセル及び／又は前のフレームに対して決定された前の上向きベクトル上で最も高い位置にあるボクセルに隣り合った或いは近隣のボクセルや、前のフレームに対して決定された中心点と最も高い位置にあるボクセルとを結ぶ前の上向きベクトル上で最も高い位置にあるボクセルや、又は頭部の候補となり得る任意の他の相応しいボクセルを、探索することができる。
目標認識・分析・追跡システムは、次いで、それらの候補にスコアを付けることができる。１つの実施態様によれば、これらの候補は、３Ｄパターンマッチングに基づいてスコアを付けることができる。例えば、目標認識・分析・追跡システムは、頭部円筒及び肩部円筒を作成することができる。目標認識・分析・追跡システムは、次いで、この頭部円筒に含まれる候補に関係付けられるボクセル数に基づいて、これら候補に対してスコアを演算することができる。その詳細は以下で述べられるだろう。
図１０は、頭部に関係付けられた候補にスコアを付けるために作成され得る頭部円筒８０６及び肩部円筒８０８の一例の実施態様を示すものである。一例の実施態様によれば、目標認識・分析・追跡システムは、頭部円筒８０６及び肩部円筒８０８に含まれる頭部の候補に関係付けられたボクセル数に基づいて、これら候補に対してスコアを演算することができる。例えば、目標認識・分析・追跡システムは、頭部の候補に関係付けられたボクセルの位置に基づいて、頭部円筒８０６及び／又は肩部円筒８０８の内部にある頭部の候補の総数、及び頭部円筒８０６の外部（例えば領域８０７内）及び／又は肩部円筒８０８の外部にある頭部の候補の総数を決定することができる。目標認識・分析・追跡システムは、更に、肩部円筒８０８の左側半分ＬＨの中にある頭部の候補の数と肩部円筒８０８の右側半分ＲＨの中にある頭部の候補の数との差異の絶対値の関数に基づいて、対称的な計量（symmetric metric）を演算することができる。一例の実施態様において、目標認識・分析・追跡システムは、次いで、頭部円筒８０６及び／又は肩部円筒８０８の外部にある候補の総数を頭部円筒８０６及び／又は肩部円筒８０８の内部にある候補の総数から減じ、更に頭部円筒８０６及び／又は肩部円筒８０８の内部及び外部にある候補の総数の差異から対称的な計量を減じることによって、それらの候補に対してスコアを演算することができる。１つの実施態様によれば、目標認識・分析・追跡システムは、減算の前に、頭部円筒８０６及び／又は肩部円筒８０８の内部及び外部にある候補の総数に目標認識・分析・追跡システムが決定した定数を乗じてもよい。
図５に戻り、１つの実施態様によれば、もし候補のうちの１つに関係付けられたスコアが頭部の閾値スコアを上回っていれば、目標認識・分析・追跡システムは、３２０において、その候補に関係付けられたボクセルに基づいて頭部の位置を決定することができる。例えば、１つの実施態様において、目標認識・分析・追跡システムは、最も高い地点や、例えば重心点又は中心点から垂直に延びる上向きのベクトル上で最も高い位置にあるボクセル及び／又は前のフレームに対して決定された前の上向きベクトル上で最も高い位置にあるボクセルに隣り合った或いは近隣のボクセルや、前のフレームに対して決定された中心点と最も高い位置にあるボクセルとを結ぶ前の上向きベクトル上で最も高い位置にあるボクセルや、前のフレームにおける頭部の位置周辺の、ボックス、立方体、又はそれら同類物等の領域内にある全てのボクセルの平均位置や、又はそれらの同類物に基づいて、頭部の位置を選択することができる。実施態様の他の例によれば、目標認識・分析・追跡システムは、頭部の閾値スコアを上回る候補に関係付けられたボクセルのＸ値、Ｙ値、及び奥行き値等の値の平均を演算して、頭部の位置を決定することができる。或いは、目標認識・分析・追跡システムは、頭部の閾値スコアを上回る候補に含まれるボクセルのフィッティング直線又は最適フィッティング直線に基づいて、頭部の位置を選択してもよい。
加えて、１つの実施態様において、もし２つ以上の候補が頭部の閾値スコアを上回っていれば、目標認識・分析・追跡システムは、最大のスコアを有する候補を選択し、次いで、その最大のスコアを有する候補に関係付けられたボクセルに基づいて頭部の位置を決定することができる。上述されたように、目標認識・分析・追跡システムは、例えば最大のスコアを有する候補に関係付けられたボクセルのＸ値、Ｙ値、及び奥行き値等の値の平均に基づいて、頭部の位置を選択することができる。
１つの実施態様によれば、もし何れの候補に関係付けられたスコアも頭部の閾値スコアを上回っていなければ、目標認識・分析・追跡システムは、頭部スコアが頭部閾値スコアを上回っている前のフレームの奥行き画像に関係付けられた人物目標に含まれるボクセルに対して決定された、前の頭部位置を用いることができる。或いは、目標認識・分析・追跡システムは、もし３０５で取得された奥行き画像がキャプチャ装置によってキャプチャ又は観測された初期フレーム内のものであれば、Ｔ字姿勢、自然な立ち姿勢、又はそれらの同類物等のデフォルトの姿勢をとった人物目標の頭部に対するデフォルトの位置を用いてもよい。
別の実施態様によれば、目標認識・分析・追跡システムは、例えば頭部の形状に関係付けられた１つ以上の２次元（２Ｄ）パターンを含むことができる。目標認識・分析・追跡システムは、次いで、その候補に関係付けられたボクセルが当該１つ以上の２Ｄパターンに含まれる頭部の形状である可能性に基づいて、頭部に関係した候補にスコアを付けることができる。例えば、目標認識・分析・追跡システムは、頭部形状の輪郭を示唆する隣り合った又は近接するボクセルの奥行き値をサンプリングすることができる。もし頭部形状の輪郭を示唆するボクセルのうちの１つについてのサンプリングされた奥行き値が、頭部形状のボクセルについての奥行き値の１つ以上の期待値又は予め定められた値から乖離していれば、目標認識・分析・追跡システムは、デフォルトのスコア又は初期スコアを小さくして、そのボクセルは頭部でないことを示すことができる。１つの実施態様において、目標認識・分析・追跡システムは、次いで、最大値を持つスコアを選択して、その最大のスコアを持つ候補に関係付けられたボクセルの位置に基づいて頭部の位置を特定することができる。
別の実施態様によれば、デフォルトのスコア又は初期スコアは、上述のように頭部及び／又は肩部円筒を用いて演算された、頭部に関係付けられた候補のスコアであり得る。目標認識・分析・追跡システムは、もしその候補が１つ以上の上記２Ｄパターンに関係付けられた頭部の形状となっていなければ、そのようなスコアを小さくすることができる。上述されたように、目標認識・分析・追跡システムは、次いで、頭部の閾値スコアを上回っている候補のスコアを選択して、その候補の位置に基づいて頭部の位置を特定することができる。
目標認識・分析・追跡システムは、更に、３２０において、人物目標の肩及び腰を決定することができる。例えば、１つの実施態様において、人物目標の頭部の位置を決定した後、目標認識・分析・追跡システムは、人物目標の肩及び腰の位置を決定することができる。目標認識・分析・追跡システムはまた、肩及び腰の回転又は角度といった肩及び腰の向きを決定することもできる。
一例の実施態様によれば、肩及び腰の位置を決定するために、目標認識・分析・追跡システムは、人物目標の頭部及び重心点又は中心点の位置に基づいて、頭部中心点ベクトルを定義することができる。例えば、頭部中心点ベクトルは、頭部部分の位置のＸ値、Ｙ値、及び奥行き値（即ちＺ値）と重心点又は中心点部分の位置のＸ値、Ｙ値、及び奥行き値（即ちＺ値）との間において定義されるベクトル又は直線であり得る。
図１１は、人物目標の頭部及び重心点又は中心点に基づく頭部中心点ベクトルの一例の実施態様を示すものである。上述されたように、頭部の位置８１０等の位置が決定され得る。図１１に示されるように、目標認識・分析・追跡システムは、次いで、頭部の位置８１０と重心点又は中心点の位置８０２との間に頭部中心点ベクトル８１２を定義することができる。
図５に戻り、目標認識・分析・追跡システムは、次いで、３２０において、頭部中心点ベクトルに基づいて肩部体積ボックス及び腰部体積ボックスを定義することができる。例えば、１つの実施態様において、目標認識・分析・追跡システムは、頭部又は重心点若しくは中心点に関係する位置等の人体の特徴的部位からの長さ等の変位に基づいて、肩及び腰のおおよその位置を定義又は決定することができる。目標認識・分析・追跡システムは、次いで、頭部又は重心点若しくは中心点に関係する位置等の人体の特徴的部位からの変位値を取り囲むように、肩部体積ボックス及び腰部体積ボックスを定義することができる。
図１２は、頭部中心点ベクトル８１２に基づいて決定される肩部体積ボックスＳＶＢ及び腰部体積ボックスＨＶＢの一例の実施態様を示すものである。一例の実施態様によれば、目標認識・分析・追跡システムは、頭部に関係付けられた位置８１０や重心点又は中心点に関係付けられた位置８０２等の人体の特徴的部位からの長さ等の変位に基づいて、肩及び腰のおおよその位置を定義又は決定することができる。目標認識・分析・追跡システムは、次いで、その人体の特徴的部位からの変位値を取り囲むように、肩部体積ボックスＳＶＢ及び腰部体積ボックスＨＶＢを定義することができる。
図５に戻り、目標認識・分析・追跡システムは更に、３２０において、頭部のような人体の特徴的部位からの長さ等の、頭部中心点ベクトルに沿った変位値に基づいて、肩及び腰の中心点を演算することができる。例えば、目標認識・分析・追跡システムは、その変位値の分だけ頭部中心点ベクトルに沿って下方向又は上方向へ移動させて、肩及び腰の中心点を演算することができる。
１つの実施態様によれば、目標認識・分析・追跡システムはまた、肩及び腰の角度等の向きを決定することができる。１つの実施態様において、目標認識・分析・追跡システムは、例えば肩部体積ボックス及び腰部体積ボックス内において奥行き値のフィッティング直線を演算して、肩及び腰の角度等の向きを決定することができる。例えば、目標認識・分析・追跡システムは、肩部体積ボックス及び腰部体積ボックスに関係付けられたボクセルのＸ値、Ｙ値、及び奥行き値に基づいて最適フィッティング直線を演算して、肩の中心点を通る肩部骨格を定義するベクトルの肩部スロープ及び腰の中心点を通る腰部ジョイント間の腰部骨格を定義するベクトルの腰部スロープを演算することができる。肩部スロープ及び腰部スロープは、肩及び腰の角度等のそれぞれの向きを定義することができる。
別の実施態様によれば、目標認識・分析・追跡システムは、３２０において、頭部中心点ベクトルに基づきボクセルの奥行き値が人物目標の中心点の周りに反映されるように、人物目標の奥行き値を反映させることができる。このように、１つの実施態様において、目標認識・分析・追跡システムは、人物目標のボクセルの奥行き値を頭部中心点ベクトル、肩部及び／又は腰部境界ボックスから計算される旋回軸部分、又はそれらの同類物等の旋回軸ベクトルの周りに反映させることによって、人体の背面について補うことができる。
目標認識・分析・追跡システムは、次いで、例えば肩部体積ボックス及び腰部体積ボックス内の反映された奥行き値を含む、奥行き値のフィッティング直線を演算して、肩及び腰の角度等の向きを決定することができる。例えば、目標認識・分析・追跡システムは、肩部体積ボックス及び腰部体積ボックスに関係する反映された奥行き値を含むボクセルのＸ値、Ｙ値、及び奥行き値に基づいて最適フィッティング直線を演算して、肩の中心点を通る肩部骨格を定義するベクトルの肩部スロープ及び腰の中心点を通る腰部ジョイント間の腰部骨格を定義するベクトルの腰部スロープを演算することができる。肩部スロープ及び腰部スロープは、肩及び腰の角度等のそれぞれの向きを定義することができる。
図１３は、肩部体積ボックスＳＶＢ及び腰部体積ボックスＨＶＢに基づいて演算された肩及び腰の一例の実施態様を示すものである。図１３に示されるように、肩の位置８１６ａ−ｂ及び腰の位置８１８ａ−ｂは、上述されたように、肩部体積ボックスＳＶＢ及び腰部体積ボックスＨＶＢにそれぞれ基づいて決定され得る。
図５に戻り、３２０において、目標認識・分析・追跡システムは、次いで、人物目標の胴体を決定することができる。１つの実施態様において、肩及び腰を決定した後、目標認識・分析・追跡システムは、頭部、肩、中心点、及び腰に関係付けられこれらを取り囲んでいるボクセルを含み得る、胴体体積を生成又は作成することができる。胴体体積は、中心点、頭部、肩、及び／又は腰の位置に基づく、円筒形状、円筒の両端部分が丸みを帯びた丸薬形状、又はそれらの同類の形状であり得る。
１つの実施態様によれば、目標認識・分析・追跡システムは、肩、頭部、腰、中心点、又はそれらの同類物に基づく体積を有したコア体積を表す円筒を作成することができる。例えば、目標認識・分析・追跡システムは、肩の幅に基づく幅又は直径、及び頭部と腰との間の距離に基づく高さを持つ円筒を作成することができる。目標認識・分析・追跡システムは、次いで、この胴体体積を表す円筒を頭部中心点ベクトルに沿って配向させ又は角度付けし、胴体体積に人物目標の胴体の角度等の向きを反映させることができる。
図１４は、コア体積を表す円筒８２０の一例の実施態様を示すものである。図１４に示されるように、円筒８２０は、肩の幅に基づく幅又は直径、及び頭部と腰との間の距離に基づく高さを有し得る。円筒８２０はまた、頭部中心点ベクトル８１２に沿って配向され又は角度付けされ得る。
図５に戻り、３２０において、目標認識・分析・追跡システムは、次いで、人物目標の手足を評価又は決定することができる。１つの実施態様によれば、胴体体積を生成又は作成した後、目標認識・分析・追跡システムは、胴体体積の外側にあるボクセルを手足であるとして粗く分類することができる。例えば、目標認識・分析・追跡システムは、胴体体積の外側にあるボクセルのそれぞれを、手足の一部であると分類されるように、特定することができる。
目標認識・分析・追跡システムは、次いで、胴体体積の外側にあるボクセルに関係付けられた、左右の腕、左右の手、左右の脚、左右の足、又はそれらの同類物等の実際の手足を決定することができる。１つの実施態様において、実際の手足を決定するために、目標認識・分析・追跡システムは、右腕、左腕、左脚、右脚、又はそれらの同類物の前の位置といったような特定された手足の前の位置を、胴体体積の外側にあるボクセルの位置と比較することができる。実施態様の例によれば、当該前に特定された手足の前の位置は、前のフレームで取得された奥行き画像内の手足の位置、前の動きに基づく人体の突き出た一部の位置、又は、完全に関節の結合のみからなる骨格で表された人物目標のモデル又は体積を持つよう表された人物目標のモデル等によって表現された人物目標の、任意の他の相応しい前の位置であり得る。上記の比較に基づいて、目標認識・分析・追跡システムは、次いで、胴体体積の外側にあるボクセルを前に特定された最近接の手足と関連付けることができる。例えば、目標認識・分析・追跡システムは、胴体体積の外側にあるボクセルそれぞれのＸ値、Ｙ値、及び奥行き値を含む位置を、前に特定された左腕、右腕、左脚、右脚、又はそれらの同類物といった前に特定された手足のＸ値、Ｙ値、及び奥行き値を含む前の位置と比較することができる。目標認識・分析・追跡システムは、次いで、その比較に基づいて、胴体体積の外側にあるボクセルのそれぞれを、最近接する位置にある前に特定された手足と関連付けることができる。
１つの実施態様において、実際の手足を決定するために、目標認識・分析・追跡システムは、人物目標がデフォルトの姿勢をとった状態における、右腕、左腕、右脚、左脚、又はそれらの同類物等の特定された手足のデフォルトの位置を、胴体体積の外側にあるボクセルの位置と比較することができる。例えば、３０５で取得された奥行き画像は、キャプチャ装置によってキャプチャ又は観測された初期フレームに含まれ得る。もし３０５で取得された奥行き画像が初期フレームに含まれていれば、目標認識・分析・追跡システムは、右腕、左腕、左脚、右脚、又はそれらの同類物等の手足のデフォルトの位置を、胴体体積の外側にあるボクセルの位置と比較することができる。実施態様の例によれば、特定された手足のデフォルトの位置は、完全に関節の結合のみからなる骨格で表された人物目標のモデル又は体積を持つよう表された人物目標のモデル等によって表現された人物目標の、Ｔ字姿勢、ダ・ヴィンチ姿勢、自然な姿勢、又はそれらの同類物等のデフォルトの姿勢をとった状態における手足の位置であり得る。上記の比較に基づいて、目標認識・分析・追跡システムは、次いで、胴体体積の外側にあるボクセルを、デフォルトの姿勢に関係する最近接の手足と関連付けることができる。例えば、目標認識・分析・追跡システムは、胴体体積の外側にあるボクセルそれぞれのＸ値、Ｙ値、及び奥行き値を含む位置を、デフォルトの左腕、右腕、左脚、右脚、又はそれらの同類物といったデフォルトの手足のＸ値、Ｙ値、及び奥行き値を含むデフォルトの位置と比較することができる。目標認識・分析・追跡システムは、次いで、その比較に基づいて、胴体体積の外側にあるボクセルのそれぞれを、最近接する位置にあるデフォルトの手足と関連付けることができる。
目標認識・分析・追跡システムはまた、評価された手足に基づいて胴体体積内のボクセルを再分類することができる。例えば、１つの実施態様において、左前腕部等の腕の少なくとも一部分が、人物目標の胴体の前に位置し得る。この特定された腕の前の位置に基づいて、目標認識・分析・追跡システムは、上述されたように、当該一部分を腕に関係付けられているものとして決定又は評価することができる。例えば、前に特定された手足の前の位置は、人物目標の腕等の手足の１つ以上のボクセルが胴体体積内にあることを示すことがあり得る。目標認識・分析・追跡システムは、次いで、前に特定された左腕、右腕、左脚、右脚、又はそれらの同類物といった前に特定された手足のＸ値、Ｙ値、及び奥行き値を含む前の位置を、胴体体積に含まれるボクセルの位置と比較することができる。目標認識・分析・追跡システムは、次いで、その比較に基づいて、胴体体積の内側にあるボクセルのそれぞれを、最近接する位置にある前に特定された手足と関連付けることができる。
１つの実施態様によれば、手足に関係付けられたボクセルを分類した後、目標認識・分析・追跡システムは、３２０において、例えば分類された手足の部分の位置を決定することができる。例えば、左腕、右腕、左脚、及び／又は右脚に関係付けられたボクセルを分類した後、目標認識・分析・追跡システムは、左右の腕の両手及び／又は両肘、両膝及び／又は両足、又はそれらの同類物の位置を決定することができる。
目標認識・分析・追跡システムは、手足のそれぞれについての平均に基づいて、手、肘、足、膝、又は同類物といった部分の位置を決定することができる。例えば、目標認識・分析・追跡システムは、左腕に関係付けられた各ボクセルのＸ値、Ｙ値、及び奥行き値をそれぞれ加算し、加算されたＸ値、Ｙ値、及び奥行き値それぞれの合計を左腕に関係付けられたボクセルの総数で除することによって、左腕の平均位置を演算することができる。１つの実施態様によれば、目標認識・分析・追跡システムは、次いで、左肩とこの左腕平均位置との間のベクトル又は直線を定義して、左手を探すための第１の検索方向を定義することができる。目標認識・分析・追跡システムは、次いで、肩の位置から上記ベクトル又は直線によって定義された第１の検索方向に沿って、最後の有効なボクセル即ち有効なＸ値、Ｙ値、及び／又は奥行き値を持った最後のボクセルを検索して、この最後の有効なボクセルの位置を左手と関連付けることができる。
別の実施態様によれば、目標認識・分析・追跡システムは、アンカーポイントを演算してもよい。目標認識・分析・追跡システムは、次いで、このアンカーポイントと左腕平均位置との間のベクトル又は直線を定義して、左手を探すための第２の検索方向を定義することができる。目標認識・分析・追跡システムは、次いで、アンカーポイントから上記ベクトル又は直線によって定義された第２の検索方向に沿って、最後の有効なボクセル即ち有効なＸ値、Ｙ値、及び／又は奥行き値を持った最後のボクセルを検索して、この最後の有効なボクセルの位置を左手と関連付けることができる。
一例の実施態様において、目標認識・分析・追跡システムは、頭部、腰、肩、又は同類物等の他の決定された手足からの１つ以上のオフセットに基づいて、アンカーポイントの位置を演算することができる。例えば、目標認識・分析・追跡システムは、肩の位置に関係付けられたＸ値及び奥行き値の半分だけ、肩の位置をそれぞれＸ方向及びＺ方向に延長することによって、アンカーポイントのＸ値及び奥行き値を演算することができる。目標認識・分析・追跡システムは、次いで、このアンカーポイントのＸ値及び奥行き値の位置を、上記延長された位置の周りに反映させることができる。
目標認識・分析・追跡システムは、左腕平均位置の頭部及び／又は腰からの変位に基づいて、アンカーポイントのＹ値を演算することができる。例えば、目標認識・分析・追跡システムは、頭部のＹ値と左腕の平均のＹ値との間の変位又は差異を演算することができる。目標認識・分析・追跡システムは、次いで、この変位又は差異を例えば腰の中心点のＹ値に加算して、アンカーポイントのＹ値を演算することができる。
図１５Ａ−１５Ｃは、アンカーポイント８２８ａ−８２８ｃに基づいて決定される手の実施態様の例を示すものである。図１５Ａ−１５Ｃに示されるように、別の実施態様によれば、目標認識・分析・追跡システムは、アンカーポイント８２８ａ−８２８ｃを演算することができる。目標認識・分析・追跡システムは、次いで、アンカーポイント８２８ａ−８２８ｃと左腕の平均位置８２６ａ−８２６ｃとの間のベクトル又は直線を定義して、左手を探すための第２の検索方向を定義することができる。目標認識・分析・追跡システムは、次いで、アンカーポイント８２８ａ−８２８ｃから上記ベクトル又は直線によって定義された第２の検索方向に沿って、最後の有効なボクセル即ち有効なＸ値、Ｙ値、及び／又は奥行き値を持った最後のボクセルを検索して、この最後の有効なボクセルの位置を左手と関連付けることができる。
上述されたように、一例の実施態様において、目標認識・分析・追跡システムは、頭部、腰、肩、又は同類物等の他の決定された末端部位からの１つ以上のオフセットに基づいて、アンカーポイント８２８ａ−８２８ｃの位置を演算することができる。例えば、目標認識・分析・追跡システムは、肩の位置に関係付けられたＸ値及び奥行き値の半分だけ、肩の位置をそれぞれＸ方向及びＺ方向に延長することによって、アンカーポイント８２８ａ−８２８ｃのＸ値及び奥行き値を演算することができる。目標認識・分析・追跡システムは、次いで、このアンカーポイント８２８ａ−８２８ｃのＸ値及び奥行き値の位置を、上記延長された位置の周りに反映させることができる。
目標認識・分析・追跡システムは、左腕平均位置の頭部及び／又は腰からの変位に基づいて、アンカーポイント８２８ａ−８２８ｃのＹ値を演算することができる。例えば、目標認識・分析・追跡システムは、頭部のＹ値と左腕の平均８２６ａ−８２６ｃのＹ値との間の変位又は差異を演算することができる。目標認識・分析・追跡システムは、次いで、この変位又は差異を例えば腰の中心点のＹ値に加算して、アンカーポイント８２８ａ−８２８ｃのＹ値を演算することができる。
図５に戻り、一例の実施態様によれば、目標認識・分析・追跡システムは、３２０において、右腕の平均位置を演算することができ、これを用いて、上述された第１及び第２の検索方向のような、右手の位置を決定するのに用いられ得る検索方向を定義することができる。目標認識・分析・追跡システムは、更に、左脚の平均位置及び右脚の平均位置を演算することができ、これを用いて、上述のように左足及び右足を決定するのに用いられ得る検索方向を定義することができる。
図１６は、腕及び脚の平均位置及び／又はアンカーポイントに基づいて演算され得る手及び足の一例の実施態様を示すものである。図１６に示されるように、手の位置８２２ａ−ｂ及び足の位置８２４ａ−ｂは、上述のようにそれぞれ腕及び脚の平均位置及び／又はアンカーポイントによって決定された第１及び第２の検索方向に基づいて、決定され得る。
図５に戻り、３２０において、目標認識・分析・追跡システムはまた、左右の腕の平均位置及び左右の脚の平均位置、肩、腰、頭部、又は同類物に基づいて、肘及び膝の位置を決定することができる。１つの実施態様において、目標認識・分析・追跡システムは、左腕の平均位置のＸ値、Ｙ値、及び奥行き値を精密化することによって、左肘の位置を決定することができる。例えば、目標認識・分析・追跡システムは、左腕に関係付けられた外縁端を定義する最も外側にあるボクセルを決定することができる。目標認識・分析・追跡システムは、次いで、左腕平均位置のＸ値、Ｙ値、及び奥行き値を、当該外縁端の中央又は当該外縁端から等距離になるように、調整することができる。
目標認識・分析・追跡システムは、更に、３２０において、分離された人物目標に対して所望の追加ポイントを決定することができる。例えば、目標認識・分析・追跡システムは、例えば肩の角度等の向きに基づいて、人体の中心点から最も遠く離れたボクセル、カメラに最も近いボクセル、人物目標の最も前方にあるボクセルを決定することができる。
目標認識・分析・追跡システムは、次いで、３２０において、頭部、肩、腰、手、足、又はそれらの同類物等の末端部位に対して決定された位置のうちの１つ以上が、人物目標の実際の末端部位に対する正確な位置でないかどうかを決定することができる。例えば、１つの実施態様において、右手の位置は不正確であり、その右手の位置が肩又は腰の位置とくっついている又は隣り合っていることがあり得る。
一例の実施態様によれば、目標認識・分析・追跡システムは、不正確な位置を示している様々な末端部位について大量の目印に関するリストを含む又は記憶することができる。例えば、このリストは、肩及び腰の周りに手と関係付けられた大量の目印を含み得る。目標認識・分析・追跡システムは、このリストに含まれる手と関係付けられた大量の目印に基づいて、手の位置が正確であるかどうかを決定することができる。例えば、もし手の位置がこのリストに含まれる手と関係付けられた大量の目印のうちの１つの中にあれば、目標認識・分析・追跡システムは、手の位置は不正確であることを決定することができる。１つの実施態様によれば、目標認識・分析・追跡システムは、次いで、当該手の位置を、現在の手の位置に対する前のフレームにおけるその手の前の正確な位置に調整することができる。
３２５において、目標認識・分析・追跡システムは、３２０で決定された末端部位に基づいて生成され得るモデルを追跡することができる。例えば、目標認識・分析・追跡システムは、１つ以上の関節及びその間に定義される骨組みを有する骨格モデル等のモデルを生成及び／又は含むことができる。
図１７は、生成された骨格モデル等のモデル９００の一例の実施態様を示すものである。一例の実施態様によれば、モデル９００は、例えば人物の３次元モデルを表す１つ以上のデータ構造を含み得る。人体の各部は、モデル９００の関節及び骨組みを定義するＸ、Ｙ、及びＺ値を持つ数学的なベクトルとして特徴付けることができる。
図１７に示されるように、モデル９００は、１つ以上の関節ｊ１−ｊ１６を含み得る。一例の実施態様によれば、関節ｊ１−ｊ１６のそれぞれは、それらの間に定義された１つ以上の人体パーツが１つ以上の他の人体パーツに対して相対的に動くことを可能にする。例えば、人物目標を表しているモデルは、１つ以上の構造要素によって定義される、複数の剛体的及び／又は変形しない人体パーツを含むことができる。人体パーツは例えば関節ｊ１−ｊ１６を持った“骨組み”であり、関節は隣り合った骨組みの交点に配置されている。関節ｊ１−ｊ１６は、骨組み及び関節ｊ１−ｊ１６に関係付けられた様々な人体パーツが互いに独立に動くことを可能にする。例えば、図１７に示されるように関節ｊ１０とｊ１２との間に定義された骨組みは、前腕に対応するものであり、例えば関節ｊ１４とｊ１６との間に定義されふくらはぎに対応する骨組みとは独立に動くことができる。
図５に戻り、３２５において、目標認識・分析・追跡システムは、３２０で末端部位に対して決定された位置に基づいて、上記生成されたモデルを調整することができる。例えば、目標認識・分析・追跡システムは、頭部に関係付けられた関節ｊ２を、３２０で決定された頭部の位置８１０等の位置に対応するよう調整することができる。このように、一例の実施態様において、関節ｊ１には、上述されたように頭部に対して決定された位置８１０に関係付けられたＸ値、Ｙ値、及び奥行き値を付与することができる。もし末端部位のうち１つ以上が例えば上述された大量の目印のリストに基づき不正確であれば、目標認識・分析・追跡システムは、当該不正確な関節を前のフレームに基づく当該関節の前の位置に維持することができる。
加えて、もし目標認識・分析・追跡システムがその末端部位の位置を有していなければ、目標認識・分析・追跡システムは、Ｔ字姿勢、ダ・ヴィンチ姿勢、又はその同類物等のデフォルトの姿勢に基づくデフォルトの位置を用いることができる。例えば、目標認識・分析・追跡システムは、そのモデルの関節ｊ１−ｊ１６のうちの１つ以上を、デフォルトの姿勢における最近接したボクセルのＸ値、Ｙ値、及び／又は奥行き値と関連付けられるように調整することができる。
３２５において、目標認識・分析・追跡システムはまた、３３０（その詳細は以下で述べられるだろう。）で決定される１つ以上の人体測定値に基づいて、モデルの関節の間で定義される骨組みのうちの１つ以上の測定値を調整することができる。例えば、目標認識・分析・追跡システムは、３３０において人物目標の左前腕の長さを決定することができる。３２５において、目標認識・分析・追跡システムは、次いで、左前腕に関係付けられた骨組みの長さを、３３０で人物目標に対し決定される左前腕の長さを模擬するよう、調整することができる。例えば、目標認識・分析・追跡システムは、関節ｊ１０及びｊ１２のＸ値、Ｙ値、及び奥行き値（即ちＺ値）のうちの１つ以上を調整して、それらの間に定義される骨組みを、３３０で人物目標の左前腕に対して決定される長さと等しくすることができる。
３２５において、目標認識・分析・追跡システムは、更に、調整されたモデルに関係付けられた関節の無効な位置についてチェックすることができる。例えば、１つの実施態様において、目標認識・分析・追跡システムは、関節ｊ１０等の関節が飛び出して、モデルがチキンダンスの姿勢で突き出た形となっているかどうか決定することをチェックすることができる。このように、３２５において、目標認識・分析・追跡システムは、モデルが不適切に乱れてしまうことが判明した肘と関係付けられた関節等の位置について、モデルをチェックすることができる。
１つの実施態様によれば、目標認識・分析・追跡システムは、更に、３０５で取得されたダウンサンプリングされていない奥行き画像の２ＤピクセルエリアにおけるＸ値、Ｙ値、及び奥行き値に基づいて、関節の位置を精密化することができる。例えば、１つの実施態様において、目標認識・分析・追跡システムは、ダウンサンプリングされていない奥行き画像からのデータを用いて、例えば乱れてしまったモデルの関節の位置を精密化することができる。
加えて、目標認識・分析・追跡システムは、ダウンサンプリングされていない奥行き画像からのデータを用いて、頻繁に使われるジェスチャに関係するモデルの関節の位置を精密化することができる。例えば、１つの実施態様によれば、目標認識・分析・追跡システムは、手に関係付けられた関節を優先的に取り扱うことができる。目標認識・分析・追跡システムは、３０５で取得されたダウンサンプリングされていない奥行き画像における手の周りのデータを集めて、３０５で取得されたダウンサンプリングされていない奥行き画像におけるより高解像度のデータを用いることで、３２０で決定された手の位置を修正することができる。
上述されたように、３３０において、目標認識・分析・追跡システムは、分離された人物目標に関係付けられたボクセルを精査して、それに関係付けられた末端部位の寸法を決定することができる。例えば、分離された人物目標が精査されて、腕、脚、頭部、肩、腰、胴体、又は同類物等の末端部位に関係付けられた、例えば長さ、幅、又は同類物等の測定値を決定することができる。
上記の寸法を決定するために、３３０において、目標認識・分析・追跡システムは、末端部位のそれぞれに対して、提案された関節の寸法の推定量を生成することができる。目標認識・分析・追跡システムは、この推定量を用いて、提案された関節の寸法のそれぞれに対して平均及び標準偏差を演算することができる。目標認識・分析・追跡システムは、定義された割合の偏差の中にある上記提案された関節の寸法を合算することができ、この分布の外、即ち上記定義された割合の偏差の外側にある上記提案された関節の寸法は放棄され得る。目標認識・分析・追跡システムは、次いで、上記標準偏差と提案された関節の寸法の数との間の最大の比率を有する推定量に基づいて、末端部位の寸法を決定することができる。
上記の精査によって決定された末端部位に関係付けられた寸法は、３３０において更新されてもよい。１つの実施態様によれば、目標認識・分析・追跡システムは、上記の精査によって決定された寸法が正確かどうかを決定するための１つ以上のヒューリスティック又はルールを含むことができる。例えば、目標認識・分析・追跡システムは、対称な関節間のユークリッド距離がおおよそ等しいかどうかを決定することのできるヒューリスティック又はルール、手及び／又は肘が人体近辺にあるかどうかを決定することのできるヒューリスティック又はルール、頭部が１つの位置に固定されているかどうかを決定することのできるヒューリスティック及び／又はルール、手が頭部に近いところにあるかどうかを決定することのできるヒューリスティック及び／又はルール、又は寸法を調整するのに用いることができる同類物を含むことができる。上述されたように、３３０で決定された寸法は、後続のフレームのために追跡されるモデルを調整するのに３２５で用いることができる。
３３５において、調整されたモデルが処理される。例えば、１つの実施態様において、目標認識・分析・追跡システムは、例えば、アバターやゲームキャラクタが動きを与えられて図１Ａ及び１Ｂに関して上述されたユーザ１８等のユーザを模擬するように、調整されたモデルに対して適用された１つ以上の運動又は動きをアバターやゲームキャラクタにマッピングすることによって、調整されたモデルを処理することができる。これにより、例えば、画面上のキャラクタの視覚的外観が、調整を加えられたモデルの変化に応じて変化され得る。
１つの実施態様において、目標認識・分析・追跡システムは、調整されたモデルを図１Ａ−４に関して上述された計算機環境１２等の計算機環境におけるジェスチャライブラリに供給することによって、調整されたモデルを処理することができる。ジェスチャライブラリは、アプリケーションの中で実施する操作を骨格モデルにおける人体の様々な部分の位置に基づいて決定するのに用いられ得る。
ここに述べられた構成及び／又は手法は本質的に例示であり、これらの特定の実施態様又は例は限定と見做されるべきでないということは理解されなければならない。ここに述べられた特定の手順又は方法は、多数の処理戦略のうちの１つ以上を代表するものであり得る。それ故、説明された様々な動作は、説明された順序で、若しくは他の順序で、又は並行して実施することができる。同様に、上述された処理の順番は変更されてもよい。
本開示の主題には、任意の及び全ての均等物のみならず、ここに開示された様々な処理、システム及び構成、並びに他の特徴、機能、動作、及び／又は特性の全ての新規且つ非自明なコンビネーション及びサブコンビネーションが含まれる。

Claims (15)

  1. ユーザを追跡するための方法であって、
    奥行き画像を取得するステップと、
    前記奥行き画像に基づいてボクセルの格子を生成するステップと、
    前記ボクセルの格子に含まれる背景を除去して人物目標に関係付けられた１つ以上のボクセルを分離するステップと、
    前記分離された人物目標の１つ以上の末端部位の位置を決定するステップと、
    前記１つ以上の末端部位の位置に基づいてモデルを調整するステップと、
    を含む方法。
  2. 前記モデルは関節及び骨組みを有する骨格モデルよりなる請求項１に記載の方法。
  3. 前記１つ以上の末端部位の位置に基づいてモデルを調整するステップは、前記１つ以上の末端部位の位置を前記モデルの対応する関節に配置するステップを含む請求項２に記載の方法。
  4. 前記ボクセルの格子に含まれる背景を除去して人物目標に関係付けられた１つ以上のボクセルを分離するステップは更に、
    前記格子内の物体が運動状態かどうかを決定するステップと、
    前記決定に基づいて前記物体が動作状態でない場合に、前記物体に関係付けられたボクセルを廃棄するステップと、
    を含む請求項１に記載の方法。
  5. 前記１つ以上の末端部位の寸法を決定するステップと、
    前記決定された寸法に基づいて前記モデルの関節及び骨組みを調整するステップと、
    を更に含む請求項１に記載の方法。
  6. 前記１つ以上の末端部位は頭部、重心点、肩、腰、脚、腕、手、肘、膝、及び足のうち少なくとも１つを含む請求項１に記載の方法。
  7. 前記調整されたモデルを処理するステップを更に含む請求項１に記載の方法。
  8. 前記格子内のボクセルのそれぞれは前記取得された奥行き画像に含まれるピクセルの部分又はブロックに基づいて生成される請求項１に記載の方法。
  9. ユーザを追跡するためのコンピュータ実行可能命令が記憶されたコンピュータ読み取り可能記憶媒体であって、前記コンピュータ実行可能命令は、
    ピクセルよりなる奥行き画像を取得するステップ、
    取得された奥行き画像の前記ピクセルをダウンサンプリングして１つ以上のボクセルを生成するステップ、
    人物目標に関係付けられた１つ以上のボクセルを分離するステップ、
    前記分離された人物目標の１つ以上の末端部位の位置を決定するステップ、及び、
    前記１つ以上の末端部位の位置に基づいてモデルを調整するステップ、
    のための命令を含む、コンピュータ読み取り可能記憶媒体。
  10. 前記モデルは関節及び骨組みを有する骨格モデルよりなる請求項９に記載のコンピュータ読み取り可能記憶媒体。
  11. ユーザに関係付けられたモデルを追跡するためのシステムであって、
    １つの光景の奥行き画像を取得するカメラ部品を含むキャプチャ装置と、
    前記キャプチャ装置と通信動作が可能な計算装置であって、前記キャプチャ装置から取得された奥行き画像の１つ以上のピクセルに基づいてダウンサンプリングされた奥行き画像を生成し、前記ダウンサンプリングされた奥行き画像の背景を除去して人物目標を分離し、前記分離された人物目標の１つ以上の末端部位の位置を決定し、前記１つ以上の末端部位の位置に基づいてモデルを調整するプロセッサを含む計算装置と、
    を含むシステム。
  12. 前記プロセッサは、前記キャプチャ装置から取得された奥行き画像の１つ以上のピクセルに基づいて前記１つ以上のピクセルの部分又はブロックに基づくボクセルを生成することによって、前記ダウンサンプリングされた奥行き画像を生成する請求項１１に記載のシステム。
  13. 前記モデルは関節及び骨組みを有する骨格モデルよりなる請求項１２に記載のシステム。
  14. 前記プロセッサは、前記１つ以上の決定された末端部位に基づいて前記１つ以上の末端部位の位置を前記モデルの対応する関節に配置することによって、前記モデルを調整する請求項１３に記載のシステム。
  15. 前記１つ以上の末端部位は頭部、重心点、肩、腰、脚、腕、手、肘、膝、及び足のうち少なくとも１つを含む請求項１１に記載のシステム。
JP2012533286A 2009-10-07 2010-10-06 ヒューマントラッキングシステム Active JP5845184B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/575,388 US8564534B2 (en) 2009-10-07 2009-10-07 Human tracking system
US12/575,388 2009-10-07
PCT/US2010/051662 WO2011044257A2 (en) 2009-10-07 2010-10-06 Human tracking system

Publications (3)

Publication Number Publication Date
JP2013507688A true JP2013507688A (ja) 2013-03-04
JP2013507688A5 JP2013507688A5 (ja) 2013-12-26
JP5845184B2 JP5845184B2 (ja) 2016-01-20

Family

ID=43822804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012533286A Active JP5845184B2 (ja) 2009-10-07 2010-10-06 ヒューマントラッキングシステム

Country Status (7)

Country Link
US (6) US8564534B2 (ja)
EP (1) EP2486545B1 (ja)
JP (1) JP5845184B2 (ja)
KR (2) KR101722147B1 (ja)
CN (1) CN102549619B (ja)
TW (4) TWI595383B (ja)
WO (1) WO2011044257A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013545163A (ja) * 2010-09-23 2013-12-19 株式会社ソニー・コンピュータエンタテインメント サーマルイメージングを用いたユーザインタフェースシステムおよび方法
JP2014063032A (ja) * 2012-09-21 2014-04-10 Nippon Hoso Kyokai <Nhk> 奥行き範囲算出装置及びそのプログラム
KR20140130638A (ko) * 2014-09-15 2014-11-11 (주)인더스웰 실사 영상 기반의 스마트 피팅장치 및 그 방법
WO2018074420A1 (ja) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2021519996A (ja) * 2019-02-01 2021-08-12 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド ユーザの姿勢変化に基づく仮想対象の制御

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7989689B2 (en) * 1996-07-10 2011-08-02 Bassilic Technologies Llc Electronic music stand performer subsystems and music communication methodologies
US7297856B2 (en) * 1996-07-10 2007-11-20 Sitrick David H System and methodology for coordinating musical communication and display
US20080236431A1 (en) * 2007-03-28 2008-10-02 Pergo (Europe) Ab Process for Color Variability in Printing to Simulate Color Variation of Natural Product
TWI369899B (en) * 2008-07-21 2012-08-01 Ind Tech Res Inst Method and system for tracking human extremity positions
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
KR101633359B1 (ko) * 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
US10357714B2 (en) * 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US20110211749A1 (en) * 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information
EP2579191A4 (en) * 2010-05-31 2014-04-09 Nec Corp RIVER LINE RECOGNITION SYSTEM, RIVER LINE RECOGNITION PROCEDURE AND RUNNER RANGE DETECTION PROGRAM
JP2012000165A (ja) * 2010-06-14 2012-01-05 Sega Corp ビデオゲーム装置
US8639020B1 (en) * 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
JP2012160039A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 画像処理装置、立体画像印刷システム、画像処理方法およびプログラム
US8702507B2 (en) * 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
EP2703949B1 (en) * 2011-04-28 2017-10-25 NEC Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
WO2012172322A2 (en) * 2011-06-13 2012-12-20 Elliptic Laboratories As Touchless interaction
WO2012176315A1 (ja) * 2011-06-23 2012-12-27 富士通株式会社 情報処理装置、入力制御方法及び入力制御プログラム
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
TWI460683B (zh) * 2011-06-24 2014-11-11 Reallusion Inc The way to track the immediate movement of the head
TWI465960B (en) * 2011-08-30 2014-12-21 Three-dimensional human interface system and method thereof
CN102981599A (zh) * 2011-09-05 2013-03-20 硕擎科技股份有限公司 三维人机界面系统及其方法
JP2013101526A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9072929B1 (en) * 2011-12-01 2015-07-07 Nebraska Global Investment Company, LLC Image capture system
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
WO2013103410A1 (en) 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
US9740937B2 (en) 2012-01-17 2017-08-22 Avigilon Fortress Corporation System and method for monitoring a retail environment using video content analysis with depth sensing
KR101909544B1 (ko) * 2012-01-19 2018-10-18 삼성전자주식회사 평면 검출 장치 및 방법
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
JP2015525381A (ja) * 2012-05-04 2015-09-03 オブロング・インダストリーズ・インコーポレーテッド 相互ユーザ手追跡および形状認識ユーザ・インターフェース
TWI470565B (zh) * 2012-06-15 2015-01-21 Sheng Fang Huang 非接觸式醫療導覽系統及其控制方法
US20140018169A1 (en) * 2012-07-16 2014-01-16 Zhong Yuan Ran Self as Avatar Gaming with Video Projecting Device
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
TWI496090B (zh) 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
KR20140049152A (ko) 2012-10-16 2014-04-25 한국전자통신연구원 사람 추종 방법 및 로봇 장치
AU2013204965B2 (en) 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
US9367733B2 (en) 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9602778B2 (en) * 2012-12-12 2017-03-21 Sensormatic Electronics, LLC Security video system using customer regions for monitoring point of sale areas
WO2014107434A1 (en) 2013-01-02 2014-07-10 California Institute Of Technology Single-sensor system for extracting depth information from image blur
WO2014125502A2 (en) * 2013-02-18 2014-08-21 Tata Consultancy Services Limited Segmenting objects in multimedia data
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9639747B2 (en) 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
US10220303B1 (en) 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
JP6276519B2 (ja) * 2013-05-22 2018-02-07 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置
JP6097150B2 (ja) * 2013-05-24 2017-03-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
US10474921B2 (en) * 2013-06-14 2019-11-12 Qualcomm Incorporated Tracker assisted image capture
TW201500968A (zh) * 2013-06-21 2015-01-01 Utechzone Co Ltd 三維互動系統及其互動感測方法
CN103399637B (zh) * 2013-07-31 2015-12-23 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN104424649B (zh) * 2013-08-21 2017-09-26 株式会社理光 检测运动物体的方法和系统
EP3055987A4 (en) * 2013-09-13 2017-10-25 Intel Corporation Motion data based focus strenght metric to facilitate image processing
EP3049895A4 (en) * 2013-09-24 2017-06-07 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
US10286313B2 (en) 2013-10-24 2019-05-14 Virtuix Holdings Inc. Method of generating an input in an omnidirectional locomotion system
US10933320B2 (en) * 2013-10-24 2021-03-02 Virtuix Holdings Inc. Method generating an input in an omnidirectional locomotion system
US9530101B1 (en) * 2013-11-20 2016-12-27 The United States Of America As Represented By The Secretary Of The Navy Method for calculating sensor performance of a sensor grid using dynamic path aggregation
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
US11615460B1 (en) 2013-11-26 2023-03-28 Amazon Technologies, Inc. User path development
JP6217373B2 (ja) * 2013-12-13 2017-10-25 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
FR3015730B1 (fr) * 2013-12-20 2017-07-21 Thales Sa Procede de detection de personnes et ou d'objets dans un espace
US20150185851A1 (en) * 2013-12-30 2015-07-02 Google Inc. Device Interaction with Self-Referential Gestures
US9684928B2 (en) * 2014-01-15 2017-06-20 Holition Limited Foot tracking
CN104801042A (zh) * 2014-01-23 2015-07-29 鈊象电子股份有限公司 根据玩家挥手范围切换游戏画面的方法
US9452531B2 (en) * 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
CN106413827A (zh) * 2014-03-19 2017-02-15 弗丘伊克斯控股公司 在全向运动系统中生成输入的方法
US9727778B2 (en) 2014-03-28 2017-08-08 Wipro Limited System and method for guided continuous body tracking for complex interaction
US9432768B1 (en) * 2014-03-28 2016-08-30 Amazon Technologies, Inc. Beam forming for a wearable computer
US9436277B2 (en) * 2014-04-21 2016-09-06 Xerox Corporation System and method for producing computer control signals from breath attributes
US10503987B2 (en) 2014-06-23 2019-12-10 Denso Corporation Apparatus detecting driving incapability state of driver
WO2015198542A1 (ja) 2014-06-23 2015-12-30 株式会社デンソー ドライバの運転不能状態検出装置
JP6372388B2 (ja) 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
US11013451B2 (en) 2014-09-19 2021-05-25 Brigham Young University Marker-less monitoring of movement disorders
JP6030617B2 (ja) * 2014-10-15 2016-11-24 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
US20160110593A1 (en) * 2014-10-17 2016-04-21 Microsoft Corporation Image based ground weight distribution determination
TWI549069B (zh) * 2014-12-15 2016-09-11 Sheng Hui Meng Method and device for passenger barge
US10007996B2 (en) * 2015-03-02 2018-06-26 Lawrence Livermore National Security, Llc System for detecting objects in streaming 3D images formed from data acquired with a medium penetrating sensor
US10810539B1 (en) * 2015-03-25 2020-10-20 Amazon Technologies, Inc. Re-establishing tracking of a user within a materials handling facility
US11205270B1 (en) 2015-03-25 2021-12-21 Amazon Technologies, Inc. Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility
US10586203B1 (en) 2015-03-25 2020-03-10 Amazon Technologies, Inc. Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
US10679177B1 (en) 2015-03-25 2020-06-09 Amazon Technologies, Inc. Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility
US9706107B2 (en) * 2015-07-13 2017-07-11 Avaya Inc. Camera view control using unique nametags and gestures
CN111450521B (zh) 2015-07-28 2023-11-24 弗丘伊克斯控股公司 对输入进行软解耦的系统和方法
CN106559660B (zh) * 2015-09-29 2018-09-07 杭州海康威视数字技术股份有限公司 2d视频中展示目标3d信息的方法及装置
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11511156B2 (en) 2016-03-12 2022-11-29 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
US9824500B2 (en) 2016-03-16 2017-11-21 Microsoft Technology Licensing, Llc Virtual object pathing
TWI610059B (zh) * 2016-08-04 2018-01-01 緯創資通股份有限公司 三維量測方法及應用其之三維量測裝置
EP3373114B1 (en) 2017-03-10 2019-10-09 Alterface Projects Tracking system and method using a depth aware camera
US10346695B2 (en) * 2017-05-25 2019-07-09 General Motors Llc Method and apparatus for classifying LIDAR data for object detection
US10942575B2 (en) * 2017-06-07 2021-03-09 Cisco Technology, Inc. 2D pointing indicator analysis
US10943088B2 (en) 2017-06-14 2021-03-09 Target Brands, Inc. Volumetric modeling to identify image areas for pattern recognition
US10311624B2 (en) * 2017-06-23 2019-06-04 Disney Enterprises, Inc. Single shot capture to animated vr avatar
KR102434574B1 (ko) 2017-08-14 2022-08-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
CN109529327B (zh) * 2017-09-21 2022-03-04 腾讯科技（深圳）有限公司 虚拟交互场景中目标定位方法、装置及电子设备
US11328513B1 (en) 2017-11-07 2022-05-10 Amazon Technologies, Inc. Agent re-verification and resolution using imaging
CN108055479B (zh) * 2017-12-28 2020-07-03 暨南大学 一种动物行为视频的制作方法
JP7017689B2 (ja) * 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
GB2571307B (en) * 2018-02-23 2020-10-21 Canon Kk 3D skeleton reconstruction from images using volumic probability data
US11127189B2 (en) 2018-02-23 2021-09-21 Canon Kabushiki Kaisha 3D skeleton reconstruction from images using volumic probability data
WO2020008458A2 (en) * 2018-07-02 2020-01-09 Vayyar Imaging Ltd. System and methods for environment mapping
JP6990777B2 (ja) * 2018-09-03 2022-01-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
CN109443196B (zh) * 2018-09-28 2020-07-24 顺丰科技有限公司 一种体积测量方法及系统
WO2020101472A1 (en) * 2018-11-14 2020-05-22 Mimos Berhad Method and system for counting and determining direction of movement of moving objects
US11386306B1 (en) 2018-12-13 2022-07-12 Amazon Technologies, Inc. Re-identification of agents using image analysis and machine learning
GB2583742B (en) * 2019-05-08 2023-10-25 Jaguar Land Rover Ltd Activity identification method and apparatus
JP2021016547A (ja) * 2019-07-19 2021-02-15 株式会社スクウェア・エニックス プログラム、記録媒体、物体検出装置、物体検出方法及び物体検出システム
CN110674719B (zh) * 2019-09-18 2022-07-26 北京市商汤科技开发有限公司 目标对象匹配方法及装置、电子设备和存储介质
TWI736138B (zh) * 2020-02-17 2021-08-11 國立屏東大學 交通安全學習系統與方法
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
JP7196205B2 (ja) * 2020-05-15 2022-12-26 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 部分的ポイントクラウドベースの歩行者速度推定方法
WO2022060765A1 (en) * 2020-09-15 2022-03-24 Jintronix, Inc. Method and system for 2d motion tracking of a subject
CN114330606B (zh) * 2020-10-09 2024-05-10 华为终端有限公司 真人游戏交互系统与方法
JP2022133723A (ja) * 2021-03-02 2022-09-14 株式会社アイシン 身体情報取得装置
CN113096337B (zh) * 2021-04-08 2022-11-11 中国人民解放军军事科学院国防工程研究院工程防护研究所 用于复杂背景的移动目标识别处理方法及智能安防系统
CN113313794B (zh) * 2021-05-19 2022-11-08 深圳市慧鲤科技有限公司 动画迁移方法和装置、设备及存储介质
TWI779735B (zh) * 2021-07-22 2022-10-01 宏碁股份有限公司 可調靈敏度之觸控裝置及其控制方法
KR102377556B1 (ko) * 2021-08-30 2022-03-22 주식회사 조이펀 깊이 카메라를 활용한 실시간 사용자 추적 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001513244A (ja) * 1997-12-22 2001-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オプション選択に基づくジェスチャー方法及び装置
JP2003109015A (ja) * 2001-10-01 2003-04-11 Masanobu Yamamoto 身体動作測定方式
WO2007132451A2 (en) * 2006-05-11 2007-11-22 Prime Sense Ltd. Modeling of humanoid forms from depth maps

Family Cites Families (297)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ja) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
US5561745A (en) 1992-10-16 1996-10-01 Evans & Sutherland Computer Corp. Computer graphics for animation by time-sequenced textures
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5325984A (en) * 1993-06-21 1994-07-05 Motorola, Inc. Friction clutch for dual pivot point hinge
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
GB9405299D0 (en) 1994-03-17 1994-04-27 Roke Manor Research Improvements in or relating to video-based systems for computer assisted surgery and localisation
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
AUPN003894A0 (en) 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
DE69634913T2 (de) 1995-04-28 2006-01-05 Matsushita Electric Industrial Co., Ltd., Kadoma Schnittstellenvorrichtung
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JPH09231369A (ja) 1996-02-21 1997-09-05 Canon Inc 画像情報入力装置
US5909218A (en) 1996-04-25 1999-06-01 Matsushita Electric Industrial Co., Ltd. Transmitter-receiver of three-dimensional skeleton structure motions and method thereof
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5844241A (en) 1996-07-19 1998-12-01 City Of Hope System and method for determining internal radioactivity and absorbed dose estimates
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US5974175A (en) * 1997-01-22 1999-10-26 Fujitsu Limited Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6400368B1 (en) 1997-03-20 2002-06-04 Avid Technology, Inc. System and method for constructing and using generalized skeletons for animation models
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
JP3970520B2 (ja) 1998-04-13 2007-09-05 アイマティック・インターフェイシズ・インコーポレイテッド 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
JP4006873B2 (ja) * 1999-03-11 2007-11-14 ソニー株式会社 情報処理システム、情報処理方法及び装置、並びに情報提供媒体
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6487304B1 (en) 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
GB9914808D0 (en) * 1999-06-25 1999-08-25 Koninkl Philips Electronics Nv Active matrix electroluminscent device
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6556199B1 (en) 1999-08-11 2003-04-29 Advanced Research And Technology Institute Method and apparatus for fast voxelization of volumetric models
AU6985100A (en) * 1999-09-10 2001-04-24 Scanvaegt International A/S A grader apparatus
US6658136B1 (en) 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
JP4531897B2 (ja) 1999-12-27 2010-08-25 パナソニック株式会社 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体
US6980690B1 (en) 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US20020024517A1 (en) * 2000-07-14 2002-02-28 Komatsu Ltd. Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space
US7375728B2 (en) 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
US6760028B1 (en) 2000-07-21 2004-07-06 Microsoft Corporation Methods and systems for hinting fonts
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6700586B1 (en) 2000-08-23 2004-03-02 Nintendo Co., Ltd. Low cost graphics with stitching processing hardware support for skeletal animation
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6573912B1 (en) 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
JP4011327B2 (ja) 2000-11-15 2007-11-21 株式会社レクサー・リサーチ 表示オブジェクト提供装置、表示オブジェクト提供方式及び表示オブジェクト提供プログラム
US20040104935A1 (en) 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
EP1371019A2 (en) 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
JP2002319036A (ja) * 2001-02-13 2002-10-31 Sega Corp アニメーション生成プログラム
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
RU2215326C2 (ru) 2001-06-29 2003-10-27 Самсунг Электроникс Ко., Лтд. Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
JP2003058907A (ja) 2001-08-09 2003-02-28 Univ Tokyo 木構造リンク系のポーズ及び動作を生成する方法
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
DE10149556A1 (de) 2001-10-08 2003-04-24 Siemens Ag Verfahren zur Erzeugung eines zweidimensionalen Bildes aus einem 3D-Datensatz eines Tomographie-Geräts und medizinisches Tomographie-Gerät
KR100446635B1 (ko) 2001-11-27 2004-09-04 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
CA2413058C (en) 2001-11-27 2012-01-17 Samsung Electronics Co., Ltd. Node structure for representing 3-dimensional objects using depth image
AU2003217587A1 (en) 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US20030169906A1 (en) 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
GB0209080D0 (en) 2002-04-20 2002-05-29 Virtual Mirrors Ltd Methods of generating body models from scanned data
US7366645B2 (en) 2002-05-06 2008-04-29 Jezekiel Ben-Arie Method of recognition of human motion, vector sequences and speech
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
AU2003241125A1 (en) 2002-06-13 2003-12-31 I See Tech Ltd. Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired
WO2004004320A1 (en) 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7176915B1 (en) 2002-08-09 2007-02-13 Avid Technology, Inc. Subdividing rotation in a character using quaternion interpolation for modeling and animation in three dimensions
EP1558015B1 (en) * 2002-08-30 2009-10-07 Sony Corporation Image extraction device, image extraction method, image processing device, image processing method, and imaging device
US7068444B2 (en) * 2002-09-24 2006-06-27 Kenji Nishi Image display unit and projection optical system
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
KR100507780B1 (ko) 2002-12-20 2005-08-17 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7224830B2 (en) * 2003-02-04 2007-05-29 Intel Corporation Gesture detection from digital video images
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7257237B1 (en) 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP2005165984A (ja) * 2003-12-05 2005-06-23 Seiko Epson Corp 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US8059153B1 (en) 2004-06-21 2011-11-15 Wyse Technology Inc. Three-dimensional object tracking using distributed thin-client cameras
KR101424942B1 (ko) 2004-07-30 2014-08-01 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US20130063477A1 (en) 2004-12-06 2013-03-14 James Richardson Systems and methods for using a movable object to control a computer
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
US20060170769A1 (en) 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
WO2006086508A2 (en) 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
US7646902B2 (en) 2005-02-08 2010-01-12 Regents Of The University Of Michigan Computerized detection of breast cancer on digital tomosynthesis mammograms
CN101208723A (zh) 2005-02-23 2008-06-25 克雷格·萨默斯 用于3维照相机和3维视频的自动场景建模
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
US20090041297A1 (en) 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
JP4653599B2 (ja) 2005-08-29 2011-03-16 アロカ株式会社 超音波診断装置
WO2008018889A2 (en) 2005-09-29 2008-02-14 The General Hospital Corporation Medical training system for casualty simulation
WO2007105205A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
US7728839B2 (en) 2005-10-28 2010-06-01 Honda Motor Co., Ltd. Discriminative motion modeling for human motion tracking
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
WO2007064456A2 (en) * 2005-11-28 2007-06-07 The George Washington University Virtual reality simulator harness systems
KR100817298B1 (ko) 2005-12-08 2008-03-27 한국전자통신연구원 양손 검출 및 추적 방법
JP5025950B2 (ja) 2005-12-12 2012-09-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
US8571258B2 (en) * 2006-02-07 2013-10-29 France Telecom Method of tracking the position of the head in real time in a video image stream
CN101438340B (zh) * 2006-05-04 2011-08-10 索尼电脑娱乐公司 用于三维输入控制的系统、方法和设备
WO2007130693A2 (en) * 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US8467570B2 (en) * 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8284202B2 (en) 2006-06-30 2012-10-09 Two Pic Mc Llc Methods and apparatus for capturing and rendering dynamic surface deformations in human motion
JP4409545B2 (ja) 2006-07-06 2010-02-03 株式会社ソニー・コンピュータエンタテインメント 三次元位置特定装置および方法、奥行位置特定装置
JP4707034B2 (ja) 2006-07-07 2011-06-22 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、入力インタフェース装置
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
DE102006048166A1 (de) 2006-08-02 2008-02-07 Daimler Ag Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
CN100541540C (zh) 2006-09-14 2009-09-16 浙江大学 基于侧影和末端节点的视频人体三维运动恢复方法
US8131011B2 (en) 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US20100278391A1 (en) 2006-10-12 2010-11-04 Yung-Tai Hsu Apparatus for behavior analysis and method thereof
US8023726B2 (en) 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
US7844087B2 (en) 2006-12-19 2010-11-30 Carestream Health, Inc. Method for segmentation of lesions
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
JP2010520565A (ja) 2007-03-02 2010-06-10 オーガニック・モーション 三次元の物体を追跡記録するシステム及び方法
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
WO2008124820A1 (en) 2007-04-10 2008-10-16 Reactrix Systems, Inc. Display using a three dimensional vision system
WO2008128568A1 (en) 2007-04-20 2008-10-30 Softkinetic S.A. Volume recognition method and system
US7965866B2 (en) 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
US7806589B2 (en) 2007-09-26 2010-10-05 University Of Pittsburgh Bi-plane X-ray imaging system
US7970176B2 (en) 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
US7876947B2 (en) 2007-10-10 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for detecting tagged material using alpha matting
WO2009059065A1 (en) 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US7925081B2 (en) 2007-12-12 2011-04-12 Fuji Xerox Co., Ltd. Systems and methods for human body pose estimation
US9165199B2 (en) 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
WO2009086088A1 (en) * 2007-12-21 2009-07-09 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
KR100939294B1 (ko) 2007-12-26 2010-01-29 주식회사 케이티 3차원 공간에서의 사람 움직임 추적 방법 및 장치
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
JP5684577B2 (ja) 2008-02-27 2015-03-11 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
JP4582174B2 (ja) 2008-03-28 2010-11-17 ソニー株式会社 追跡処理装置、追跡処理方法、プログラム
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
KR101494344B1 (ko) * 2008-04-25 2015-02-17 삼성전자주식회사 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법
EP2283373B1 (en) 2008-04-28 2021-03-10 Cornell University Accurate quantification of magnetic susceptibility in molecular mri
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
BRPI0917864A2 (pt) 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8385688B2 (en) 2008-08-27 2013-02-26 International Business Machines Corporation System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
WO2010103482A2 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
KR101591779B1 (ko) 2009-03-17 2016-02-05 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8175335B2 (en) * 2009-06-17 2012-05-08 Sony Corporation Content adaptive detection of images with stand-out object
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
KR101619076B1 (ko) 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US7961910B2 (en) * 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US9355305B2 (en) * 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
US20130208926A1 (en) * 2010-10-13 2013-08-15 Microsoft Corporation Surround sound simulation with virtual skeleton modeling
US20130208900A1 (en) * 2010-10-13 2013-08-15 Microsoft Corporation Depth camera with integrated three-dimensional audio
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US9171200B2 (en) * 2011-03-04 2015-10-27 Hewlett-Packard Development Company, L.P. Gestural interaction identification
US9125730B2 (en) * 2011-10-31 2015-09-08 Ossur Hf Orthopedic device for dynamically treating the knee
CN103871106A (zh) * 2012-12-14 2014-06-18 韩国电子通信研究院 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统
US9052746B2 (en) * 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9135516B2 (en) * 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9142034B2 (en) * 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images
US9159140B2 (en) * 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001513244A (ja) * 1997-12-22 2001-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オプション選択に基づくジェスチャー方法及び装置
JP2003109015A (ja) * 2001-10-01 2003-04-11 Masanobu Yamamoto 身体動作測定方式
WO2007132451A2 (en) * 2006-05-11 2007-11-22 Prime Sense Ltd. Modeling of humanoid forms from depth maps
JP2009536731A (ja) * 2006-05-11 2009-10-15 プライム・センス・リミテッド 深度マップによるヒューマノイド形状のモデル化

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013545163A (ja) * 2010-09-23 2013-12-19 株式会社ソニー・コンピュータエンタテインメント サーマルイメージングを用いたユーザインタフェースシステムおよび方法
JP2014063032A (ja) * 2012-09-21 2014-04-10 Nippon Hoso Kyokai <Nhk> 奥行き範囲算出装置及びそのプログラム
KR20140130638A (ko) * 2014-09-15 2014-11-11 (주)인더스웰 실사 영상 기반의 스마트 피팅장치 및 그 방법
KR101643917B1 (ko) * 2014-09-15 2016-08-01 (주)인더스웰 실사 영상 기반의 스마트 피팅장치
WO2018074420A1 (ja) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JPWO2018074420A1 (ja) * 2016-10-21 2019-03-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US10762715B2 (en) 2016-10-21 2020-09-01 Sony Interactive Entertainment Inc. Information processing apparatus
JP2021519996A (ja) * 2019-02-01 2021-08-12 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド ユーザの姿勢変化に基づく仮想対象の制御
JP7104179B2 (ja) 2019-02-01 2022-07-20 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド ユーザの姿勢変化に基づく仮想対象の制御
US11429193B2 (en) 2019-02-01 2022-08-30 Beijing Sensetime Technology Development Co., Ltd. Control of virtual objects based on gesture changes of users

Also Published As

Publication number Publication date
JP5845184B2 (ja) 2016-01-20
US20140022161A1 (en) 2014-01-23
KR20120093197A (ko) 2012-08-22
US20150131862A1 (en) 2015-05-14
US9522328B2 (en) 2016-12-20
US9821226B2 (en) 2017-11-21
US8564534B2 (en) 2013-10-22
US8970487B2 (en) 2015-03-03
CN102549619A (zh) 2012-07-04
EP2486545A2 (en) 2012-08-15
US20120128208A1 (en) 2012-05-24
EP2486545A4 (en) 2017-03-15
TW201120684A (en) 2011-06-16
TWI595383B (zh) 2017-08-11
TW201546660A (zh) 2015-12-16
KR101802125B1 (ko) 2017-11-27
KR20170038101A (ko) 2017-04-05
KR101722147B1 (ko) 2017-03-31
TWI521388B (zh) 2016-02-11
EP2486545B1 (en) 2019-07-17
US20110080336A1 (en) 2011-04-07
WO2011044257A3 (en) 2011-09-29
US20140044309A1 (en) 2014-02-13
TWI545464B (zh) 2016-08-11
TW201546658A (zh) 2015-12-16
TWI497346B (zh) 2015-08-21
CN102549619B (zh) 2013-11-20
WO2011044257A2 (en) 2011-04-14
US8861839B2 (en) 2014-10-14
US8542910B2 (en) 2013-09-24
US20140375557A1 (en) 2014-12-25
TW201546659A (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
JP5845184B2 (ja) ヒューマントラッキングシステム
US10048747B2 (en) Methods and systems for determining and tracking extremities of a target
US10147194B2 (en) Systems and methods for removing a background of an image
US7961910B2 (en) Systems and methods for tracking a model
US20120134575A1 (en) Systems and Methods for Tracking a Model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150226

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150626

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151120

R150 Certificate of patent or registration of utility model

Ref document number: 5845184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250