JP2008537815A - クリティカルポイント解析に基づくポーズ推定 - Google Patents

クリティカルポイント解析に基づくポーズ推定 Download PDF

Info

Publication number
JP2008537815A
JP2008537815A JP2008502129A JP2008502129A JP2008537815A JP 2008537815 A JP2008537815 A JP 2008537815A JP 2008502129 A JP2008502129 A JP 2008502129A JP 2008502129 A JP2008502129 A JP 2008502129A JP 2008537815 A JP2008537815 A JP 2008537815A
Authority
JP
Japan
Prior art keywords
pair
region
critical points
generating
critical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008502129A
Other languages
English (en)
Other versions
JP4686595B2 (ja
Inventor
希久雄 藤村
ツー，ユーディン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2008537815A publication Critical patent/JP2008537815A/ja
Application granted granted Critical
Publication of JP4686595B2 publication Critical patent/JP4686595B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Manipulator (AREA)

Abstract

【課題】 対象物のポーズ推定の方法とシステムを提供する。
【解決手段】 対象物は人体、動物、ロボットでもよい。カメラ１１０で対象物３１０に関する奥行情報を受信し、ポーズ推定モジュール１２０で画像から対象物のポーズや行動を判定し、インタラクション・モジュール１３０で感知したポーズや行動に対する応答を出力する。ポーズ推定モジュール１２０により、対象物を含んだ画像を区分し、分類部分と未分類部分にする。区分化は k-means クラスタ法を用いてもよい。分類部分を、頭部や胴体部などの既知の対象として画像間で追跡してもよい。未分類部分をx軸とy軸に沿って走査を行い、極小値と極大値を特定する。極大値と極小値３２０からクリティカルポイントを導く。様々なクリティカルポイントを結んで潜在的な関節部を特定し、対象物の実対象に相当するのに十分な確率を有する関節部を選択し、判定済みの対象物のポーズに基づいて骨格構造を生成する。
【選択図】 図３

Description

本願は、米国特許法第１１９条第ｅ項に基づく米国特許出願番号第60/663,020（出願日：２００５年３月１７日）発明の名称：「Pose Estimation Based on Critical Point Analysis」に記載の主題を請求するものであり、この出願のすべての記載をここに引用するものである。
本発明は、マシンビジョン（machine vision）に関し、特に、クリティカルポイント（critical point：臨界点）を利用したマシンベースのポーズ推定に関する。
従来技術のマシンビジョンでは、ロボットやその他のマシンを使って対象の認識を行うことができる。対象の周辺をナビゲーションしたり、対象を検索したり、あるいはこの他の目的で対象を認識することができる。従来技術のポーズ推定では、人間の身体の一部など、対象物の様々な対象を検出する。さらに、ポーズ推定を利用して身体の部位の方向性を判定することも可能である。
従来技術のポーズ推定で課題となるのは、画像情報を取得するために複雑で高価な装置を必要とする点である。例えば、３Ｄカメラシステムの場合、通常、対象物をカメラを配置した室内に閉じ込めておく必要がある。さらに、３Ｄカメラシステムは非常に高価である。マーカーシステムを使って対象物の既知の頂点にマーク付けすることで、すべての動きを追跡することもできる。しかしながら、対象物について事前の準備が必要となり、観察作業も伴ってしまう。
そこで求められるのが、従来の高価で複雑な技術を用いることなく対象物のポーズを推定するシステムに関する方法である。
本発明では、クリティカルポイント解析に基づく対象物のポーズ推定に関する方法およびシステムを提供する。１つの実施形態では、システムは、対象物に関連する奥行き情報を受信するカメラと、画像から対象物のポーズや行動を判定するポーズ推定モジュールと、感知したポーズや行動に対する応答を出力するインタラクション・モジュールとを備える。
１つの実施形態では、ポーズ推定モジュールにより対象物を含んだ画像を分類部分と未分類部分とに区分化する。分類部分を、頭部や胴体部などの既知の対象として画像間で追跡を行うようにしてもよい。未分類部分を、ｘ軸とｙ軸に沿って走査して極小値と極大値を特定する。この極小値と極大値からクリティカルポイントを導く。様々なクリティカルポイントを結んで潜在的な関節部を特定する。さらに、対象物の実対象に相当するのに十分な確率を有する関節部を選択する。
別の実施形態では、ポーズ推定モジュールは、潜在的な部位から関節部を選択する推定モジュールを備える。この推定モジュールには、潜在的な関節部に関する確率を算出する様々なルールが実装されている。例えば、どれだけのピクセルが対象物のピクセルに相当するかについて関節部の算定を行う。なお、この他のルールについても説明する。
さらに、このシステムは、人間から特定の行動（立ち去る、速度を上げる、止まるなど）による視覚的な合図を受けることができる特徴を有する。さらに、このシステムによれば、人間の行動や、動物、ロボットあるいはこのほかの対象物の行動を観察することができる。
当業者ならば、ここに記載する特徴および特長のみが包含されるのではなく、特に、図面、明細書および請求項を参照することで、さらに多くの特徴および特長が明らかとなるであろう。さらに、明細書中に用いられる言語は、主に、読みやすさや例示的な目的から選択されたものであって、本発明の請求の範囲を制限するために選択されたものではない。
本発明の教示内容は、付属の図面に関する以下の詳細な説明を検討することで容易に理解できるであろう。なお、付属の図面中で類似する構成については類似の符号を用いた。
また、これらの図は本発明の各種実施形態を例示することのみを目的とする。当業者であれば、ここに記載される発明の本質から逸脱しない範囲において、以下に述べる説明から、ここに例示される構造や方法について代替の実施形態であってもよいことを理解するであろう。
以下に、対象物の位置を推定する方法とシステムについて述べる。対象物は、例えば、人間、動物あるいはロボットなどでよい。対象物が動作中である場合や様々な行動をしている場合には、時間経過に伴って異なるポーズを有する。１つの実施形態では、成分の頂点の解析を行ってある時点の対象物の位置を判定する。時間経過に伴う位置を追跡することで、対象物の行動の動きを判定することができる。たとえば、立ち去り、発話、立ち止まりなどの人間の視覚的な合図に対してロボットが反応することもできる。図１および図２は、ポーズ推定方法を実装したシステムを、図３から図６は、ポーズ推定方法を例示する。当業者であれば、ここに記載される内容に加えて、追加的な実施形態が可能であることを理解するであろう。
図１は、本発明の１つの実施形態に係わるポーズ推定を行うためのシステム１００を例示するブロック図である。システム１００は、デプスカメラ（depth camera）１１０、ポーズ推定モジュール１２０、インタラクション・モジュール１３０およびプロセッサ１４０により構成される。これらの構成要素を、例えば、ソフトウェアＡＰＩ、データバス、出入力コントローラ、プロセッサ１４０などを介して通信可能に接続してもよい。システム１００は、人間とやり取りしたり、人間を観察するようなロボットであってもよく、あるいはこの他のマシンであってもよい。以下に、システム１００内で実装される方法について述べる。
カメラ１１０は画像データを受信すると、ポーズ推定モジュール１２０に対して画像フレームのストリームを送信する。カメラ１１０は、例えば、（オレゴン州ポートランドの3DV Systems社製などの）パルス式カメラ、あるいは（カリフォルニア州サンバレーのCanesta社製などの）変調光カメラなどでよい。１つの実施形態では、カメラ１１０により奥行き情報を含んだ対象物の画像を取得する。奥行き情報には、カメラから対象物のそれぞれの部位までの距離が記述されている。例えば、各ピクセルには、コントラスト、彩度、輝度などの従来の値とともに奥行き値も含まれる。
ポーズ推定モジュール１２０は画像フレームのストリームを受信すると、推定したポーズをインタラクション・モジュール１３０へ送信する。ポーズ推定モジュール１２０とインタラクション・モジュール１３０はハードウェアかつまたはソフトウェアに実装してもよい。ポーズ推定モジュール１２０の１つの実施形態については、図２を参照しつつ以下に詳細に説明する。１つの実施形態では、ポーズ推定モジュール１２０において、成分の頂点の解析を行って各画像フレーム中の対象物のポーズを判定する。別の実施形態では、インタラクション・モジュール１３０により、現時点のメディアストリームに含まれる一連のポーズを追跡して、対象物の行動を判定する。例えば、指差しポーズは方向を示し、指振り動作は方向の角度を示すようにしてもよい。インタラクション・モジュール１３０が行動判定の処理に応答して、システム１００をある方向へ移動させたり、ある位置で回転するなどの行動を起こさせるようにしてもよい。
図２は、ポーズ推定モジュールをより詳細に示すものである。ポーズ推定モジュール１２０は、クリティカルポイント・モジュール２１０、骨格生成モジュール２２０および推定モジュール２３０により構成されている。
クリティカルポイント・モジュール２１０により、対象物領域の極大値と極小値についてのクリティカルポイントを特定してもよい。１つの実施形態では、クリティカルポイント・モジュール２１０でｘ走査を行ったり、ｘ軸に沿って両方向にスキャンする。さらに、クリティカルポイント・モジュール２１９でｙ走査とｚ走査を行ってもよい。なお、極小値あるいは極大値とは、最上点、最下点、最左点、最右点など、対象物の特定部位を指す。
骨格生成モジュール２２０により、関節位置から対象物の骨格構造を生成してもよい。１つの実施形態では、骨格生成モジュール２２０により、対象物の領域内のクリティカルポイントを結ぶことで関節位置を形成する。骨格生成モジュール２２０は、関節位置と骨格構造を特定する処理中に、ある一連のルールを実装してもよい。例えば、関節位置は対象物の領域内に留まっていなければならない、といったルールである。あるいは別のルールでは、関節位置は、対象物領域の局所の中心全体に延びていなければならない、などである。さらに別のルールでは、論理的な人体構成を持続することを要求してもよい。このようなルールについては以下に詳しく説明する。
推定モジュール２３０により、骨格構造に基づいて対象物のポーズを決定してもよい。１つの実施形態では、推定モジュール２３０により、ポスチャー基準（posture criteria）を用いて骨格構造がポーズに一致する確率を算出してもよい。推定モジュール２３０を図９に示すようなポーズのライブラリあるいは関連する骨格構造のライブラリでプレロードしてもよい。
図３は、本発明の１つの実施形態に係わる対象物のポーズを推定する方法３００を例示するフローチャートである。この方法３００をコンピュータシステム（例えばシステム１００）に実装してもよい。
カメラ（例えば、カメラ１１０）は、対象物に関する奥行き情報を含んだ画像を受信する（Ｓ３１０）。奥行き情報は、（例えば、各ピクセルやピクセルのグループに関するような）カメラと対象物の各部位との距離を提供する。奥行き情報を用いて、縦軸と横軸に基づくとともに奥行き軸にも基づいて画像を区分することができる。奥行き情報の例示として、図６の（ａ）は人間の対象物を示し、（ｂ）は距離情報を備えた場合の（ａ）を示している。パルス式カメラの場合は、物体に反射させるための照明パルスを送出して、反射波を測定する。変調光カメラの場合は、正弦波の光を放出して、返波の振幅と移相を測定する。
クリティカルポイント・モジュール（例えば、クリティカルポイント・モジュール１２０）を使って、図４に示すように、極大値と極小値からクリティカルポイントを特定する（Ｓ３２０）。例えば、k-meansクラスタ法等により画像を空間区分する（Ｓ４１０）。場合によっては、隣接するクラスタ同士を結合してもよい。得られた区分を可能な場合には分類する（Ｓ４２０）。対象物が人体であれば、頭や胴体部などの既知の対象として特定して区分ごとに分類する。１つの実施形態では、１つの対象を分類した後は、効率の目的から、次に続く画像間で追跡処理を行ってもよい。対象物の未分類の区分については、クリティカルポイント・モジュールによりクリティカルポイント解析を適用する。具体的には、クリティカルポイント・モジュールで断面を軸方向に走査する（Ｓ４３０）。上記の走査で判明した極小値と極大値によりクリティカルポイントが生成される（Ｓ４４０）。例えば、図７に示すように、三次元対象７１２を垂直に走査した断面７１０から極小値７１４と極大値７１６ａ、７１６ｂ、７１６ｃが判明する。さらに、三次元対象７１２を水平に走査した断面７１０から極小値７１８と極大値７２０が判明する。
図３に戻って、骨格生成モジュール（例えば、骨格生成モジュール１３０）により、図５に示す骨格構造に基づいて対象物のポーズを判定する（Ｓ３３０）。選択したクリティカルポイントを結んで、潜在的な関節部のセットを特定する（Ｓ５１０）。潜在的な関節部を、ポスチャー基準などを用いてテストする（Ｓ５２０）。なお、ポスチャー基準は、関節部が対象物の実対象に関係する確率を示すものである。次に、最も高い確率値を有する関節部を選択する（Ｓ５３０）。対象物の領域の分類部分と、対象の物領域の未分類部分における関節部とを結合して骨格構造を生成する（Ｓ５４０）。この骨格構造とプレロードした骨格構造とを比較してポーズを判定する（Ｓ５５０）。図７に戻って、骨格構造７２２は垂直走査の結果であり、骨格構造７２４は水平走査の結果であり、両者はクリティカルポイントから関節部を特定したものである。さらに、図１１は図１０に示す対象物から得られる骨格構造である。
ポスチャー基準は（式１）を使って求めることができる。
Figure 2008537815
ここで、Fiは、ポスチャー基準において定義される第ｉの条件に相当する。つまり、各ルールを０から１までの確率で表すことができる。確率の積を用いて潜在的な関節部を比較する。各ルールは、（式２）により表現できる。
Figure 2008537815
ここで、F1 は、ＢＬＯＢの外にあるピクセルの量を表している。
Figure 2008537815
ここで、F2(h) は、関節部がどれくらい局所中心あるいは区分の中心に近接しているかを表している。
Figure 2008537815
ここで、F3(h) は、クリティカルポイントがどれくらい当該関節部に近接しているかを表している。
Figure 2008537815
ここで、F4(h) は、関節セグメントの適切な順序（手は腕とつながる、手は足とはつながらない、等）を保証する。
Figure 2008537815
ここで、F5(h) は、画像間で時間的な継続が保たれていることを保証する。さらに、ｘ は解析中の対象物の領域内（例えば、腕）に位置するポイントの数を、ｓは対象物の領域までのサンプルされた骨格ポイントの距離を、ｆ は対象物の領域までのクリティカルポイントの距離を、DT_Hand はあるポイント（例えば、手）の距離変換値を、DT_Elbow は別の（例えば、肘上の）ポイントの距離変換値を、それぞれ表す。さらに、本実施例においてはHand は手のポイント、Elbow は肘のポイントを表しており、λ はポアソン分布のパラメータを、σはガウス分布のパラメータを、それぞれ表す。なお、ポスチャー基準は、上記以外の代替式も可能である。
図３に戻って、インタラクション・モジュール（例えば、インタラクション・モジュール１３０）が推定ポーズに応答する。１つの実施形態では、推定したポーズを時間的に観察して行動を判定してもよい。また、インタラクション・モジュールは、行動の推定ポーズに応答する行動を出力してもよい。
本発明に係わる方法のステップを実施する順序は、当然、純粋に例示されたものあって、本開示で示される以外にも、これらステップは、いかなる順序でも、あるいは、並行して実施可能である。本発明の方法は、ハードウェア、ファームウェア、ソフトウェア、あるいはこれらの組み合わせにおいて、いかなる種類の単独または複数のコンピュータ上で実施可能である。本発明を具現化するソフトウェアには、あらゆる形態のコンピュータ指令（例えば、ソースコード（source code）、オブジェクトコード（object code）、インタプリタコード（interpreted code）等）が含まれ、あらゆるコンピュータ読取可能な媒体（例えば、ＲＯＭ、ＲＡＭ、磁気媒体、コンパクトディスク、ＤＶＤ等）に記憶されていてもよい。かかるソフトウェアは、導電性媒体上を伝搬するキャリア波において具現化される電子データ信号の形態、あるいは、光ファイバーを介して伝搬する光パルスの形態であってもよい。
本発明の特定の実施形態を例示しつつ説明したが、当業者であれば、本発明から逸脱しない限りにおいて、より広い観点から各種の変更や修正を行うことが可能であることは明らかである。したがって、付属の特許請求の範囲は、本発明の真の精神および範囲内でのこのような変形および変更をすべて包含することを目的とする。
前記の記載においては、説明することを目的として、数値を用いた具体的内容は本発明を完全に理解するために記述されたものである。しかしながら、当業者には、かかる具体的内容が無い場合にも実施可能であることは明らかである。この他の場合では、発明が不明瞭にならないように、構造および装置をブロック図の形態に示されるであろう。
明細書中の「１つの実施形態（one embodiment）」あるいは「実施形態（an embodiment）」という記述は、当該の実施形態に関して記載された特定の特徴、構造、特性が本発明の少なくとも１つの実施形態に含まれることを意味する。明細書の随所に現れる「１つの実施形態では」という表現は、必ずしも同一の実施形態について言及するものではない。
詳細な記載の部分によっては、コンピュータメモリ内のデータビットの操作に関するアルゴリズムや符号の表現を使って表される。このようなアルゴリズム的な記載や表現は、データ処理技術を扱う当業者が用いる手段であり、他の当業者に仕事の実体を効果的に伝達するためのものである。ここで言う一般的なアルゴリズムとは、所望の結果を導くためのステップが自己無撞着に連続していると認識されるものである。このようなステップでは、物理量を物理的に操作することを必要とする。必ずしもではないが、通常、このような物理量は、記憶、伝送、結合、比較、もしくは処理が可能な電気信号あるいは磁気信号の形態をとる。主に一般用途の理由から、このような信号をビット、値、要素、シンボル、文字、用語、数などとして扱うことの利便性がしばしば証明されている。
しかしながら、留意すべきは、このような表現あるいは類似の表現は所定の物理量に関連する便宜上のラベルにすぎない点である。説明から明らかな場合を除いて、特に言及しない限り、記載全体を通じて「処理する」、「演算する」、「算出する」、「判定する」あるいは「表示する」などの表現を用いた説明では、コンピュータシステムの記録部やメモリ部に記憶された物理的（電子的）な量として表されるデータを操作して、コンピュータシステムの記録部やメモリ部、あるいはこの他の情報の記憶部、送信部あるいは表示部などに記憶された、同様に物理的な量として表される別のデータに変換するようなコンピュータシステムあるいは類似の電子演算装置の実行や処理について述べている。
また、本発明は、ここに記載される動作を実行する装置に関する。この装置は、必要な用途に合わせて特定の構成を備えていてもよいし、コンピュータに記憶されるコンピュータプログラムによって選択的に起動したり、再構成するような汎用コンピュータから構成されていてもよい。かかるコンピュータプログラムは、以下のようなコンピュータ読取り可能な媒体に記憶されてもよいが、これらに限定されるものではない：フレキシブルディスク、光ディスク、CD-ROM、磁気光ディスクなどを含むあらゆる種類のディスク、ROM、RAM、EPROM、EEPROM、磁気カードや光カード、あるいは電子命令（electronic instructions）の記憶に適したあらゆる種類の媒体、および各々がコンピュータシステムバスに連結されたもの。
ここで言うアルゴリズムおよびモジュールは、もともと、特定のコンピュータやこの他の装置のみに関しているわけではない。ここに教示される内容に応じたプログラムを用いて様々な汎用システムを利用してもよく、より特殊な装置を構成して上記方法のステップを実行するほうが利便であると判明する場合もあるだろう。このような各種システムに必要な構成は、以下の記載から明らかとなるであろう。また、本発明は、特定のプログラミング言語に関して説明するものではない。各種プログラミング言語を用いて、ここに記載される発明の教示内容を実装できることは理解されるであろう。さらに、関連技術の当業者には明らかであるように、モジュール、特徴、属性、方法論およびこの他の発明の側面を、ソフトウェア、ハードウェア、ファームウェアあるいはこれら３つのいずれかを組み合わせたものとして実装してもよい。もちろん、本発明の１つの構成をソフトウェアとして実装する場合には、この構成をスタンドアローンのプログラム、大規模プログラムの一部、個別プログラムで構成される複数のプログラム、静的または動的にリンクされるライブラリ、カーネル・ローダブル・モジュール（kernel loadable module）あるいは装置ドライバーとして、かつまたは、コンピュータプログラミングに携わる当業者が現在と将来において知り得るその他のあらゆる方法において実装可能である。さらに、本発明は、いかなる特定オペレーティングシステムまたは環境にも限定されるものではない。
関連技術の当業者であれば、上記記載の実装は単なる典型に過ぎず、本発明の真の精神と範囲を逸脱しない限りにおいて、各種の変更を加えることが可能であることを理解するであろう。したがって、付属の請求項は、本発明の真の精神と範囲内でのすべての変更および修正を包含することを意図したものである。
本発明の１つの実施形態に係わる対象物のポーズを推定するシステムのブロック図である。 本発明の１つの実施形態に係わる本システムのポーズ推定モジュールのブロック図である。 本発明の１つの実施形態に係わる対象物のポーズを推定する方法を例示するフローチャートである。 本発明の１つの実施形態に係わるクリティカルポイントを特定する方法を例示するフローチャートである。 本発明の１つの実施形態に係わる骨格構造を生成する方法を例示するフローチャートである。 （ａ）は人間を対象物とした従来の二次元画像を示す概要図であり、（ｂ）は本発明の１つの実施形に係わる態奥行き情報を備えた（ａ）を示す概要図である。 本発明の１つの実施形態に係わる水平方向と垂直方向の走査を示す概要図である。 （ａ）は奥行き情報を示す概要図であり、（ｂ）は本発明の１つの実施形態に係わる分類部分と未分類部分を備える（ａ）を示す概要図である。 本発明の１つの実施形態に係わる、プレロードされたポーズのライブラリを示す概要図である。 本発明の１つの実施形態に係わる、極小値および極大値について対象物を走査するときに用いられる画像中の対象物と軸を例示する概要図である。 図１０の対象物の画像から生成した、本発明の１つの実施形態に係わる骨格構造を示す概要図である。

Claims (27)

  1. 対象物に関する奥行き情報を含む画像を受信する手順と、
    前記奥行き情報から判定した前記対象物の水平端および垂直端に対応する前記対象物の極小値と極大値とを特定し、これらの極小値と極大値からクリティカルポイントを特定する手順と、
    前記対象物の領域内のクリティカルポイントを結ぶことで関節位置を形成し、この関節位置から前記対象物の骨格構造を生成する手順と、
    前記骨格構造に基づいて前記対象物のポーズを判定する手順とを含む
    ことを特徴とする画像中の対象物のポーズを推定する方法。
  2. 前記骨格構造を生成する手順は、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、前記対象物の領域内にとどまる可能な関節位置のセットを決定することを含む
    ことを特徴とする請求項１に記載の方法。
  3. 前記骨格構造を生成する手順は、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、前記対象物の領域の中心に最も近接して延びる可能な関節位置のセットを決定することを含む
    ことを特徴とする請求項１に記載の方法。
  4. 前記骨格構造を生成する手順は、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、既知の人体構造を損なわない可能な関節位置のセットを決定することを含む
    ことを特徴とする請求項１に記載の方法。
  5. 前記骨格構造を生成する手順は、
    次に続く画像を受信し、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、前記画像間での連続性を損なわない可能な関節位置のセットを決定することを含む
    ことを特徴とする請求項１に記載の方法。
  6. 前記対象物の領域をk-meansクラスタ法により空間区分する手順をさらに含み、前記極小値と極大値は空間区分内での最小値と最大値に相当する
    ことを特徴とする請求項１に記載の方法。
  7. 前記対象物の領域の部分を既知の人体部位として分類するとともに、前記対象物の領域の未分類部分から前記骨格構造を生成する手順をさらに含む
    ことを特徴とする請求項１に記載の方法。
  8. 前記骨格構造を生成する手順は、
    前記骨格構造に基づいて前記対象物の領域の部分を既知の人体部位として分類することを含む
    ことを特徴とする請求項１に記載の方法。
  9. 前記骨格構造を生成する手順は、
    次に続く画像を受信し、
    次に続くクリティカルポイントを特定し、
    前記クリティカルポイントとこの次に続くクリティカルポイントとの比較により次に続く骨格画像を生成することを含む
    ことを特徴とする請求項１に記載の方法。
  10. 画像中の対象物のポーズを推定する方法を実行するように構成されたコンピュータプログラム生成物を記憶するコンピュータ読取可能な媒体であって、
    前記方法は、
    対象物に関する奥行き情報を含む画像を受信する手順と、
    前記奥行き情報から判定した前記対象物の水平端および垂直端に対応する前記対象物の極小値と極大値とを特定し、これらの極小値と極大値からクリティカルポイントを特定する手順と、
    前記対象物の領域内のクリティカルポイントを結ぶことで関節位置を形成し、この関節位置から前記対象物の骨格構造を生成する手順と、
    前記骨格構造に基づいて前記対象物のポーズを判定する手順とを含む
    ことを特徴とするコンピュータプログラム生成物を記憶するコンピュータ読取可能な媒体。
  11. 前記骨格構造を生成する手順は、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、前記対象物の領域内にとどまる可能な関節位置のセットを決定することを含む
    ことを特徴とする請求項１０に記載のコンピュータプログラム生成物。
  12. 前記骨格構造を生成する手順は、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、前記対象物の領域の中心に最も近接して延びる可能な関節位置のセットを決定することを含む
    ことを特徴とする請求項１に記載のコンピュータプログラム生成物。
  13. 前記骨格構造を生成する手順は、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、既知の人体構造を損なわない可能な関節位置のセットを決定することを含む
    ことを特徴とする請求項１０に記載のコンピュータプログラム生成物。
  14. 前記骨格構造を生成する手順は、
    次に続く画像を受信し、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、前記画像間での連続性を損なわない可能な関節位置のセットを決定することを含む
    ことを特徴とする請求項１０に記載のコンピュータプログラム生成物。
  15. 前記対象物の領域をk-meansクラスタ法により空間区分する手順をさらに含み、
    前記極小値と極大値は空間区分内での最小値と最大値に相当する
    ことを特徴とする請求項１０に記載のコンピュータプログラム生成物。
  16. 前記対象物の領域の部分を既知の人体部位として分類するとともに、前記対象物の領域の未分類部分から前記骨格構造を生成する手順をさらに含む
    ことを特徴とする請求項１０に記載のコンピュータプログラム生成物。
  17. 前記骨格構造を生成する手順は、
    前記骨格構造に基づいて、前記対象物の領域の部分を既知の人体部位として分類することを含む
    ことを特徴とする請求項１０に記載のコンピュータプログラム生成物。
  18. 前記骨格構造を生成する手順は、
    次に続く画像を受信し、
    次に続くクリティカルポイントを特定し、
    前記クリティカルポイントとこの次に続くクリティカルポイントとの比較により次に続く骨格画像を生成することを含む
    ことを特徴とする請求項１０に記載のコンピュータプログラム生成物。
  19. 画像中の対象物のポーズを推定するシステムであって、
    前記対象物に関する奥行き情報を含む前記画像を受信する入力手段と、
    前記入力手段に通信可能に接続され、
    前記奥行き情報から判定した前記対象物の水平端および垂直端に対応する前記対象物の極小値と極大値とを特定し、これらの極小値と極大値からクリティカルポイントを特定するクリティカルポイント・モジュールと、
    前記クリティカルポイント・モジュールに通信可能に接続され、
    前記対象物の領域内のクリティカルポイントを結ぶことで関節位置を生成し、この関節位置から前記対象物の骨格構造を生成する骨格生成モジュールと、
    前記骨格生成モジュールに通信可能に接続され、
    前記骨格構造に基づいて前記対象物のポーズを判定するように構成される推定モジュールとを備える
    ことを特徴とする画像中の対象物のポーズを推定するシステム。
  20. 前記骨格生成モジュールは、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、前記対象物の領域内にとどまる可能な関節位置のセットを決定する
    ことを特徴とする請求項１９に記載のシステム。
  21. 前記骨格生成モジュールは、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、前記対象物の領域の中心に最も近接して延びる可能な関節位置のセットを決定する
    ことを特徴とする請求項１９に記載のシステム。
  22. 前記骨格生成モジュールは、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、既知の人体構造を損なわない可能な関節位置のセットを決定する
    ことを特徴とする請求項１９に記載のシステム。
  23. 前記骨格生成モジュールは、
    クリティカルポイントの対を特定し、この対のクリティカルポイントを結んだときに、前記画像間での連続性を損なわない可能な関節位置のセットを決定する
    ことを特徴とする請求項１９に記載のシステム。
  24. 前記クリティカルポイント・モジュールは、前記対象物の領域をk-meansクラスタ法により空間区分し、前記極小値と極大値は空間区分内での最小値と最大値に相当する
    ことを特徴とする請求項１９に記載のシステム。
  25. 前記クリティカルポイント・モジュールは、
    前記対象物領域の部分を既知の人体部位として分類するとともに、前記対象物領域の未分類部分から骨格構造を生成する
    ことを特徴とする請求項１９に記載のシステム。
  26. 前記骨格生成モジュールは、前記骨格構造に基づいて前記対象物領域の部分を既知の人体部位として分類する
    ことを特徴とする請求項１９に記載のシステム。
  27. 前記入力手段は次に続く画像を受信し、
    前記クリティカルポイント・モジュールは、次に続くクリティカルポイントを特定し、
    前記骨格生成モジュールは、前記クリティカルポイントをこの次に続くクリティカルポイントと比較することで次に続く骨格画像を生成する
    ことを特徴とする請求項１９に記載のシステム。
JP2008502129A 2005-03-17 2006-03-17 クリティカルポイント解析に基づくポーズ推定 Expired - Fee Related JP4686595B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US66302005P 2005-03-17 2005-03-17
US60/663,020 2005-03-17
PCT/US2006/009875 WO2006099597A2 (en) 2005-03-17 2006-03-17 Pose estimation based on critical point analysis

Publications (2)

Publication Number Publication Date
JP2008537815A true JP2008537815A (ja) 2008-09-25
JP4686595B2 JP4686595B2 (ja) 2011-05-25

Family

ID=36992463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008502129A Expired - Fee Related JP4686595B2 (ja) 2005-03-17 2006-03-17 クリティカルポイント解析に基づくポーズ推定

Country Status (3)

Country Link
US (1) US7317836B2 (ja)
JP (1) JP4686595B2 (ja)
WO (1) WO2006099597A2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010524113A (ja) * 2007-04-15 2010-07-15 エクストリーム リアリティー エルティーディー． 人−機械インターフェース装置システム及び方法
JP2011210238A (ja) * 2010-03-10 2011-10-20 Dainippon Printing Co Ltd 広告効果測定装置及びコンピュータプログラム
JP2012003364A (ja) * 2010-06-15 2012-01-05 Nippon Hoso Kyokai <Nhk> 人物動作判定装置およびそのプログラム
JP2012516504A (ja) * 2009-01-30 2012-07-19 マイクロソフト コーポレーション 視覚的目標追跡
KR20130083677A (ko) * 2012-01-13 2013-07-23 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
WO2014017006A1 (ja) * 2012-07-26 2014-01-30 パナソニック株式会社 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
WO2021181902A1 (ja) * 2020-03-11 2021-09-16 株式会社メガチップス ポーズデータ生成装置、ｃｇデータ生成システム、ポーズデータ生成方法、および、プログラム
JP7390767B1 (ja) * 2023-08-14 2023-12-04 株式会社G-ant ブロックオブジェクトの設計図を出力する方法

Families Citing this family (297)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
KR101323966B1 (ko) 2004-07-30 2013-10-31 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US8432390B2 (en) 2004-07-30 2013-04-30 Extreme Reality Ltd Apparatus system and method for human-machine interface
US8872899B2 (en) 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
JP5255623B2 (ja) * 2007-04-20 2013-08-07 ソフトキネティック エス．エイ． ボリューム認識方法およびシステム
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
WO2009086465A1 (en) * 2007-12-27 2009-07-09 Saje Holdings, Inc. A lighting system and control method thereof
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8325909B2 (en) 2008-06-25 2012-12-04 Microsoft Corporation Acoustic echo suppression
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
US8548258B2 (en) 2008-10-24 2013-10-01 Extreme Reality Ltd. Method system and associated modules and software components for providing image sensor based human machine interfacing
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8866821B2 (en) 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US20100195867A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US8487938B2 (en) 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8448094B2 (en) * 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US8294767B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US9652030B2 (en) 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US8773355B2 (en) * 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
KR101591779B1 (ko) * 2009-03-17 2016-02-05 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8649554B2 (en) * 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8660303B2 (en) * 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8803889B2 (en) 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US8509479B2 (en) * 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US9182814B2 (en) * 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US9383823B2 (en) * 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8176442B2 (en) * 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US8487871B2 (en) 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
JP5187280B2 (ja) * 2009-06-22 2013-04-24 ソニー株式会社 操作制御装置および操作制御方法
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8330134B2 (en) 2009-09-14 2012-12-11 Microsoft Corporation Optical fault monitoring
US8508919B2 (en) 2009-09-14 2013-08-13 Microsoft Corporation Separation of electrical and optical components
US9218126B2 (en) 2009-09-21 2015-12-22 Extreme Reality Ltd. Methods circuits apparatus and systems for human machine interfacing with an electronic appliance
US8760571B2 (en) 2009-09-21 2014-06-24 Microsoft Corporation Alignment of lens and image sensor
US8976986B2 (en) 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US8428340B2 (en) 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US8452087B2 (en) * 2009-09-30 2013-05-28 Microsoft Corporation Image selection techniques
US8723118B2 (en) 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US20110083108A1 (en) * 2009-10-05 2011-04-07 Microsoft Corporation Providing user interface feedback regarding cursor position on a display screen
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US7961910B2 (en) * 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8988432B2 (en) * 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US20110109617A1 (en) * 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
CN102117490B (zh) * 2009-12-30 2013-11-13 上海幻维数码创意科技有限公司 基于描述数据的角色模块化骨架系统构造方法及装置
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US9019201B2 (en) 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US8284157B2 (en) 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8933884B2 (en) 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8676581B2 (en) 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
CN101789125B (zh) * 2010-01-26 2013-10-30 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
US8864581B2 (en) 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8891067B2 (en) 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
US8619122B2 (en) 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8687044B2 (en) 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8717469B2 (en) 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US8499257B2 (en) 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US20110199302A1 (en) * 2010-02-16 2011-08-18 Microsoft Corporation Capturing screen objects using a collision volume
US8928579B2 (en) 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
US9400695B2 (en) * 2010-02-26 2016-07-26 Microsoft Technology Licensing, Llc Low latency rendering of objects
US8411948B2 (en) 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US8655069B2 (en) 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US20110223995A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US8514269B2 (en) 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US8523667B2 (en) 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8605763B2 (en) 2010-03-31 2013-12-10 Microsoft Corporation Temperature measurement and control for laser and light-emitting diodes
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
US9539510B2 (en) 2010-04-30 2017-01-10 Microsoft Technology Licensing, Llc Reshapable connector with variable rigidity
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US8498481B2 (en) 2010-05-07 2013-07-30 Microsoft Corporation Image segmentation using star-convexity constraints
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US8602887B2 (en) 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US9008355B2 (en) 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8330822B2 (en) 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US9384329B2 (en) 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8982151B2 (en) 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8878656B2 (en) 2010-06-22 2014-11-04 Microsoft Corporation Providing directional force feedback in free space
US9086727B2 (en) 2010-06-22 2015-07-21 Microsoft Technology Licensing, Llc Free space directional force feedback apparatus
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
TWI431512B (zh) 2010-06-23 2014-03-21 Ind Tech Res Inst 三維控制端點之辨識方法及應用其之電腦可讀取媒體
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US20120058824A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US8417058B2 (en) 2010-09-15 2013-04-09 Microsoft Corporation Array of scanning sensors
US8988508B2 (en) 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8548270B2 (en) 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
US8592739B2 (en) 2010-11-02 2013-11-26 Microsoft Corporation Detection of configuration changes of an optical element in an illumination system
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US9349040B2 (en) 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US10234545B2 (en) 2010-12-01 2019-03-19 Microsoft Technology Licensing, Llc Light source module
US8553934B2 (en) 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
US8618405B2 (en) 2010-12-09 2013-12-31 Microsoft Corp. Free-space gesture musical instrument digital interface (MIDI) controller
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8920241B2 (en) 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
JP5924862B2 (ja) * 2010-12-15 2016-05-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US8884968B2 (en) 2010-12-15 2014-11-11 Microsoft Corporation Modeling an object from image data
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US8385596B2 (en) 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US9821224B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8488888B2 (en) * 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
KR20140030138A (ko) 2011-01-23 2014-03-11 익스트림 리얼리티 엘티디. 입체 화상 및 비디오를 생성하는 방법, 시스템, 장치 및 관련 프로세스 로직
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8724887B2 (en) 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8497838B2 (en) 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US9551914B2 (en) 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9067136B2 (en) 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US9470778B2 (en) 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9244984B2 (en) 2011-03-31 2016-01-26 Microsoft Technology Licensing, Llc Location based conversational understanding
US8824749B2 (en) 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US8503494B2 (en) 2011-04-05 2013-08-06 Microsoft Corporation Thermal management system
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US10671841B2 (en) * 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8888331B2 (en) 2011-05-09 2014-11-18 Microsoft Corporation Low inductance light source module
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US9454962B2 (en) 2011-05-12 2016-09-27 Microsoft Technology Licensing, Llc Sentence simplification for spoken language understanding
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8526734B2 (en) 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US9594430B2 (en) 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US9724600B2 (en) 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US8597142B2 (en) 2011-06-06 2013-12-03 Microsoft Corporation Dynamic camera based practice mode
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
KR101815975B1 (ko) 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
US8786730B2 (en) 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
US8724906B2 (en) 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US8803800B2 (en) 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8630457B2 (en) 2011-12-15 2014-01-14 Microsoft Corporation Problem states for pose tracking pipeline
US8879831B2 (en) 2011-12-15 2014-11-04 Microsoft Corporation Using high-level attributes to guide image processing
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9349207B2 (en) 2012-05-31 2016-05-24 Samsung Electronics Co., Ltd. Apparatus and method for parsing human body image
KR101911133B1 (ko) 2012-06-21 2018-10-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 깊이 카메라를 이용한 아바타 구성
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US8882310B2 (en) 2012-12-10 2014-11-11 Microsoft Corporation Laser die light source module with low inductance
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9956687B2 (en) * 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US9953213B2 (en) 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
CN103246895B (zh) * 2013-05-15 2016-03-09 中国科学院自动化研究所 基于深度信息的图像分类方法
CN104182742B (zh) * 2013-05-20 2018-03-13 比亚迪股份有限公司 头部姿态识别方法及系统
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US9501693B2 (en) 2013-10-09 2016-11-22 Honda Motor Co., Ltd. Real-time multiclass driver action recognition using random forests
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
US9769459B2 (en) 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
US9508385B2 (en) 2013-11-21 2016-11-29 Microsoft Technology Licensing, Llc Audio-visual project generator
IN2013MU04097A (ja) * 2013-12-27 2015-08-07 Tata Consultancy Services Ltd
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
CN104778661A (zh) * 2014-01-10 2015-07-15 北京三星通信技术研究有限公司 在姿态估计中使用的骨架平滑方法和设备
US9427867B2 (en) * 2014-04-02 2016-08-30 The Boeing Company Localization within an environment using sensor fusion
CN105096304B (zh) 2014-05-22 2018-01-02 华为技术有限公司 一种图像特征的估计方法和设备
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
US20170076629A1 (en) * 2015-09-14 2017-03-16 Electronics And Telecommunications Research Institute Apparatus and method for supporting choreography
US10412280B2 (en) 2016-02-10 2019-09-10 Microsoft Technology Licensing, Llc Camera with light valve over sensor array
US10257932B2 (en) 2016-02-16 2019-04-09 Microsoft Technology Licensing, Llc. Laser diode chip on printed circuit board
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
CN108335328B (zh) * 2017-01-19 2021-09-24 富士通株式会社 摄像机姿态估计方法和摄像机姿态估计装置
CN106951831B (zh) * 2017-02-28 2020-07-31 中科唯实科技（北京）有限公司 一种基于深度摄像机的行人检测跟踪方法
WO2019133342A1 (en) 2017-12-29 2019-07-04 PlusAI Corp Method and system for stereo based vehicle pose estimation
CN110472462B (zh) * 2018-05-11 2024-08-20 北京三星通信技术研究有限公司 姿态估计方法、基于姿态估计的处理方法及电子设备
WO2019216593A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing
US11494938B2 (en) 2018-05-15 2022-11-08 Northeastern University Multi-person pose estimation using skeleton prediction
US11521326B2 (en) 2018-05-23 2022-12-06 Prove Labs, Inc. Systems and methods for monitoring and evaluating body movement
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
CN109858406B (zh) * 2019-01-17 2023-04-07 西北大学 一种基于关节点信息的关键帧提取方法
EP4046066A4 (en) * 2019-11-07 2023-11-15 Google LLC MONITORING ANIMAL POSE DYNAMICS FROM MONOCULAR IMAGES
WO2022251671A1 (en) 2021-05-27 2022-12-01 Ai Thinktank Llc 3d avatar generation and robotic limbs using biomechanical analysis
US12008839B2 (en) 2021-05-28 2024-06-11 Sportsbox.ai Inc. Golf club and other object fitting using quantitative biomechanical-based analysis
US11620858B2 (en) 2021-05-28 2023-04-04 Sportsbox.ai Inc. Object fitting using quantitative biomechanical-based analysis
USD1035721S1 (en) 2022-04-20 2024-07-16 Sportsbox.ai Inc. Display screen with transitional graphical user interface
USD1035720S1 (en) 2022-04-20 2024-07-16 Sportsbox.ai Inc. Display screen with transitional graphical user interface
USD1036464S1 (en) 2022-04-20 2024-07-23 Sportsbox.ai Inc. Display screen with transitional graphical user interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236505A (ja) * 2000-02-22 2001-08-31 Atsushi Kuroda 座標推定方法、座標推定装置および座標推定システム
JP2002259474A (ja) * 2001-03-05 2002-09-13 Oojisu Soken:Kk 人体モデル生成方法、人体モデル生成装置、コンピュータプログラム及び記録媒体
JP2003256850A (ja) * 2001-12-27 2003-09-12 Sanyo Electric Co Ltd 動き認識装置および画像処理装置並びにプログラム
WO2004094943A1 (ja) * 2003-04-22 2004-11-04 Hiroshi Arisawa モーションキャプチャ方法、モーションキャプチャ装置、及びモーションキャプチャ用マーカ

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2915204B2 (ja) * 1992-04-20 1999-07-05 株式会社リコー ２値図形の表現方法
US6188776B1 (en) * 1996-05-21 2001-02-13 Interval Research Corporation Principle component analysis of images for the automatic location of control points
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6243106B1 (en) * 1998-04-13 2001-06-05 Compaq Computer Corporation Method for figure tracking using 2-D registration and 3-D reconstruction
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6741756B1 (en) * 1999-09-30 2004-05-25 Microsoft Corp. System and method for estimating the orientation of an object
US20030169906A1 (en) * 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
JP2004021765A (ja) * 2002-06-19 2004-01-22 Pfu Ltd 画像認識方法
US7200266B2 (en) * 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US7379559B2 (en) * 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236505A (ja) * 2000-02-22 2001-08-31 Atsushi Kuroda 座標推定方法、座標推定装置および座標推定システム
JP2002259474A (ja) * 2001-03-05 2002-09-13 Oojisu Soken:Kk 人体モデル生成方法、人体モデル生成装置、コンピュータプログラム及び記録媒体
JP2003256850A (ja) * 2001-12-27 2003-09-12 Sanyo Electric Co Ltd 動き認識装置および画像処理装置並びにプログラム
WO2004094943A1 (ja) * 2003-04-22 2004-11-04 Hiroshi Arisawa モーションキャプチャ方法、モーションキャプチャ装置、及びモーションキャプチャ用マーカ

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010524113A (ja) * 2007-04-15 2010-07-15 エクストリーム リアリティー エルティーディー． 人−機械インターフェース装置システム及び方法
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
JP2012516504A (ja) * 2009-01-30 2012-07-19 マイクロソフト コーポレーション 視覚的目標追跡
US9039528B2 (en) 2009-01-30 2015-05-26 Microsoft Technology Licensing, Llc Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US9842405B2 (en) 2009-01-30 2017-12-12 Microsoft Technology Licensing, Llc Visual target tracking
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
TWI469812B (zh) * 2009-12-07 2015-01-21 Microsoft Corp 視覺目標追蹤
JP2011210238A (ja) * 2010-03-10 2011-10-20 Dainippon Printing Co Ltd 広告効果測定装置及びコンピュータプログラム
JP2012003364A (ja) * 2010-06-15 2012-01-05 Nippon Hoso Kyokai <Nhk> 人物動作判定装置およびそのプログラム
KR101908284B1 (ko) 2012-01-13 2018-10-16 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
KR20130083677A (ko) * 2012-01-13 2013-07-23 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
WO2014017006A1 (ja) * 2012-07-26 2014-01-30 パナソニック株式会社 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
US9576191B2 (en) 2012-07-26 2017-02-21 Panasonic Corporation Posture estimation device, posture estimation method, and posture estimation program
JP2014026429A (ja) * 2012-07-26 2014-02-06 Panasonic Corp 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
WO2021181902A1 (ja) * 2020-03-11 2021-09-16 株式会社メガチップス ポーズデータ生成装置、ｃｇデータ生成システム、ポーズデータ生成方法、および、プログラム
JP7390767B1 (ja) * 2023-08-14 2023-12-04 株式会社G-ant ブロックオブジェクトの設計図を出力する方法

Also Published As

Publication number Publication date
JP4686595B2 (ja) 2011-05-25
US7317836B2 (en) 2008-01-08
WO2006099597A2 (en) 2006-09-21
US20060274947A1 (en) 2006-12-07
WO2006099597A3 (en) 2007-11-01

Similar Documents

Publication Publication Date Title
JP4686595B2 (ja) クリティカルポイント解析に基づくポーズ推定
JP6950692B2 (ja) 人流推定装置、人流推定方法およびプログラム
Sungheetha et al. 3D image processing using machine learning based input processing for man-machine interaction
CN107428004B (zh) 对象数据的自动收集和标记
Su et al. Deep multi-state object pose estimation for augmented reality assembly
JP2019517701A (ja) 画像内の物体を検出する方法及び物体検出システム
JP5647155B2 (ja) 内側距離形状関係を使用する身体特徴検出及び人間姿勢推定
JP6571108B2 (ja) モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム
US10755422B2 (en) Tracking system and method thereof
KR20120093226A (ko) 실시간 손 추적, 포즈 분류 및 인터페이스 제어
CN113116386B (zh) 超声成像引导方法、超声设备及存储介质
KR20190099537A (ko) 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템
Monica et al. A KinFu based approach for robot spatial attention and view planning
CN110717385A (zh) 一种动态手势识别方法
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
JP2002366958A (ja) 画像認識方法および画像認識装置
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
Tasnim et al. Progress in Object Detection: An In-Depth Analysis of Methods and Use Cases
Sanchez-Matilla et al. Motion prediction for first-person vision multi-object tracking
JP7254262B2 (ja) 作業推定装置、作業推定方法、及び、作業推定プログラム
JP2005228150A (ja) 画像照合装置
Kuronen Post-processing and analysis of tracked hand trajectories
KR101785650B1 (ko) 일인칭 시점에서의 클릭 감지 장치 및 이에 의한 클릭 감지 방법
CN111368853A (zh) 一种标签的构建方法、系统、装置及存储介质
WO2021075102A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110214

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4686595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees