JP2007333690A - モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム - Google Patents

モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム Download PDF

Info

Publication number
JP2007333690A
JP2007333690A JP2006169070A JP2006169070A JP2007333690A JP 2007333690 A JP2007333690 A JP 2007333690A JP 2006169070 A JP2006169070 A JP 2006169070A JP 2006169070 A JP2006169070 A JP 2006169070A JP 2007333690 A JP2007333690 A JP 2007333690A
Authority
JP
Japan
Prior art keywords
joint
image
posture
target person
current time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006169070A
Other languages
English (en)
Other versions
JP4148281B2 (ja
Inventor
Ikoku Go
偉国 呉
Keisuke Yamaoka
啓介 山岡
Gyokuu Ryu
玉宇 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006169070A priority Critical patent/JP4148281B2/ja
Priority to DE602007001104T priority patent/DE602007001104D1/de
Priority to US11/764,407 priority patent/US8355529B2/en
Priority to KR1020070059441A priority patent/KR20070120443A/ko
Priority to EP07252472A priority patent/EP1870038B1/en
Priority to CN2007101085007A priority patent/CN101093582B/zh
Publication of JP2007333690A publication Critical patent/JP2007333690A/ja
Application granted granted Critical
Publication of JP4148281B2 publication Critical patent/JP4148281B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Rheumatology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 人物動きの速さや複雑な背景などによらず、実環境で利用可能なロバストなモーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラムを提供する。
【解決手段】 キネマティクスモデルの関節間の連結性拘束に応じた順番で、関節の予測位置を姿勢・位置予測部５にて予測し、姿勢・位置射影部６にて予測位置を２次元画像上に射影し、信頼性評価部７にて２次元画像上に射影された予測位置の信頼性を評価し、評価結果に基づいて姿勢・位置推定部８にて推定位置を推定する。そして、姿勢・位置推定部８にて推定された推定位置は、次に予測する階層の関節の予測位置演算に用いられる。
【選択図】 図１

Description

本発明は、カメラで撮像された画像に基づいて対象人物の姿勢又は動作を認識するモーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラムに関する。
人と機器との自然なインタフェースを実現するには、人の手振り・身振りを含めて、操作者の様々な行動や音声などの情報を統合的に解析し、人の存在や意図などを検出し認識することが不可欠である。そのため、人の動きや行動パターンの解析に関する様々な技術が検討されてきた。動き解析技術としては、特殊なマーカー等を用いて動き情報を取得するものと、マーカー無しの画像解析によるものとに大別できる。
特殊なマーカー等を用いるシステムは、磁気式、機械式、光学式などがあるが、最近の動き追跡・キャプチャシステムとしては、特に光学式のモーションキャプチャシステムが良く利用されている。例えば、Vicon Peaks社のＭＸカメラシステム（商標）、Natural Point社のOptiTrack（商標）、Motion Analysis社のHawk Digital System（商標）等のモーションキャプチャ・解析システムがすでにＣＧ（Computer Graphics）、映画製作などの分野で利用されている。マーカー付き動き解析システムのメリットとしては、人物などの動き情報を正確に計測できるので、ＣＧや映画製作などの高精度な動き解析が必要とするところで良く利用される。
しかし、この方式は、大掛かりなシステム構成が必要であったり、マーカーの取り付けによる人体への負担があったりするため、自然なＨＭＩ（Human Machine Interface）と呼ぶことはできない。
そこで、本発明者らは、一般環境での自然なＨＭＩを実現するために、マーカー無しの画像解析による動き解析技術を用いている。マーカー無しの画像解析による動き解析手法は、いくつか検討されているが、代表的には、人物の３次元モデルとステレオ画像による動きと姿勢追跡手法（例えば、非特許文献１参照。）、多数カメラを用いる人物の３次元モデルに基づく人物動き追跡手法（例えば、非特許文献２参照。）、人物領域と運動モデルによる動き解析手法（例えば、非特許文献３参照。）等を挙げることができる。
D. Demirdjian, T. Ko, T. Darrell, Constraining Human Body Tracking, Proceedings of the International Conference on Computer Vision, 2003. K.M. Cheung, S. Baker, J.K. Hodgins, and T. Kanade, Markerless Human Motion Transfer, Proceedings of the 2nd International Symposium on 3D Data Processing, Visualization and Transmission, September, 2004. Ramanan, D., Forsyth, DA, Zisserman, A. "Strike a Pose: Tracking People by Finding Stylized Poses." Computer Vision and Pattern Recognition (CVPR), San Diego, CA, June 2005. D. Demirdjian, T. Darrell, 3-D Articulated Pose Tracking for Untethered Diectic Reference, Proceedings of the International Conference on Multimodal Interfaces, 2002.
非特許文献１に記載された手法は、システム構成が簡単で、限定された環境においてリアルタイムで人物の動き・姿勢推定が可能であるが、距離画像の精度に依存することや、前後フレーム間の動き量が小さいことといった条件が必要であった。
また、非特許文献２に記載された手法は、３次元モデルの推定がうまくできれば、人物動きの位置・姿勢の推定精度が高いと思われるが、システム構成が大掛かりで、３次元モデルを精度良く構築するために、人物以外の背景を除去する必要があった。
また、非特許文献３に記載された手法は、アルゴリズムがシンプルで、一般背景での利用も可能であるが、人物の動き・姿勢を精度よく推定するために、人物の各肢体領域を正確に検出する必要があった。
また、これらの技術を用いる場合、人間の身体のモデルを如何に当てはめるかという事が大きな問題となっていた。例えば非特許文献４には、視差画像のDepth情報を用いて対象人物を前景として抽出し、そこに３Ｄのシリンダモデルを当てはめることが記載されているが、頭や腕の位置を同定することは困難であった。
このように、これら従来の手法では、一般環境において人物の自然な動き・姿勢を推定/追跡することが困難であり、自然なＨＭＩを実現することができなかった。
本発明は、このような従来の実情に鑑みて提案されたものであり、人物動きの速さや複雑な背景などによらず、実環境で利用可能なロバストなモーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラムを提供することを目的とする。
本発明に係るモーションキャプチャ装置は、対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ装置において、上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成手段と、上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測手段と、上記予測手段で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影手段と、上記射影手段で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価手段と、上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定手段とを備えることにより、上述の課題を解決する。
また、本発明に係るモーションキャプチャ方法は、対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ方法において、上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程とを有することにより、上述の課題を解決する。
また、本発明に係るモーションキャプチャプログラムは、対象人物の各関節及び肢体の３次元位置と姿勢を追跡する処理を実行させるモーションキャプチャプログラムにおいて、上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程とを有することにより、上述の課題を解決する。
本発明によれば、対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成し、キネマティクスモデルの各関節の連結拘束及び前時刻の予測位置に基づいて対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測し、予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影し、射影位置の信頼性を対象人物の観測画像に基づいて評価し、その評価結果に基づいて現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定することにより、特殊なマーカー・センサーが不要で、且つ自然なヒューマンマシンインタラクションを実現することができる。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図１は、本発明の一実施の形態におけるモーションキャプチャ装置の構成を示すブロック図である。このモーションキャプチャ装置は、所定の位置に配置されたカメラ１Ｌ、１Ｒと、カメラキャリブレーションによりカメラパラメータを取得するカメラパラメータ取得部２と、カメラ１Ｌ、１Ｒで撮像された画像・距離情報を観測する画像・距離情報観測部３と、各関節を連結したキネマティクスモデルを生成するとともに画像情報を保存する初期化部４と、現時刻における対象人物の姿勢・位置を予測する姿勢・位置予測部５と、予測された姿勢・位置を２次元画像上に射影する姿勢・位置射影部６と、射影された２次元画像を評価する信頼性評価部７と、評価値に基づいて現時刻における対象人物の姿勢・位置を推定する姿勢・位置推定部８とを備えて構成されている。
カメラ１Ｌ、１Ｒは、同一の対象人物を撮影できるように所定の位置に配置されている。なお、本実施の形態では、２台のカメラの視差から対象物の距離を算出する「ステレオビジョン」を用いることとして説明するが、レーザを照射してその反射光を検出するまでの時間を測定することによって距離を算出する「レーザレンジファインダ」等を利用することとしてもよい。
カメラパラメータ取得部２は、カメラキャリブレーションにより、実世界座標とカメラ画像座標とを関係付けるカメラパラメータを取得する。このカメラパラメータは、画像・距離情報観測部３及び姿勢・位置射影部６に出力される。
画像・距離情報観測部３は、カメラ１Ｌ、１Ｒで撮像された画像を初期化部４及び信頼性評価部７に出力する。また、カメラパラメータ取得部２で取得されたカメラパラメータに基づいて距離情報を生成し、距離情報を初期化部４及び信頼性評価部７に出力する。
初期化部４は、キネマティクスモデルを生成するために対象人物の各関節点Ｓｋの３次元座標（x,y,z）を求めるとともに、予測された姿勢・位置を評価するために関節点、関節点間の肢体（Limbs）、及び顔等の特徴点の画像情報（初期画像モデル）を保存する。このキネマティクスモデルは、各関節が連結された関節モデルである。なお、本実施例では、１５の関節点{Sk:k=0,1,・・・,14}で表現したキネマティクスモデルを用いることとして説明する。また、画像情報としては、例えば、表面の質感を表現するテクスチャ、色情報、視差情報、輪郭等の信頼度評価値等を用いることができる。
姿勢・位置予測部５は、前時刻の各関節及び肢体の予測位置とキネマティックモデルの間接間の連結性拘束とを用いて、現時刻の各関節及び肢体の位置を確率モデルによって階層的に予測し、体の構え（姿勢）を予測する。具体的には、後述するように、関節モデルの前階層の関節の推定位置に確率分布を持たせ、次の階層の関節の予測位置を演算する。
姿勢・位置射影部６は、姿勢・位置予測部５によって予測された現時刻における対象人物の３次元空間の各関節及び肢体の予測位置及び姿勢を、カメラキャリブレーションで得られた射影行列Ｐによって２次元画像上に射影し、３次元座標（x,y,z）に対応する２次元画像上の射影位置（u,v）を求める。
信頼性評価部７は、姿勢・位置射影部６によって得られた２次元画像（観測画像）上の射影位置（u，v）の画像情報（例えば、距離情報・色情報・テクスチャ情報など）と、予め保存された画像情報（初期画像モデル）との相似性を計算することにより、射影位置の正しさを評価する。
姿勢・位置推定部８は、信頼性評価部７で評価された２次元画像上の射影位置の評価値によって、現時刻における対象人物の３次元空間上の位置及び姿勢を推定する。この現時刻における対象人物の３次元空間上の位置及び姿勢の推定情報は、姿勢・位置予測部５に前時刻の対象人物の各関節及び肢体の位置として出力される。
ここで、上述したモーションキャプチャ処理の概要を、図２に示す模式図を用いて説明する。
まず、予め少なくとも２台以上のカメラ１Ｌ、１Ｒを、同一の対象人物が撮影できるように配置し、それらの位置関係やカメラパラメータ等をカメラキャリブレーションによって取得する。このカメラパラメータ等は、カメラパラメータ取得部２から画像・距離情報観測部３及び姿勢・位置射影部６に出力される。
初期化部４では、例えば、図２（Ａ）のような画像・距離情報観測部３から出力された対象人物の観測画像から視差画像（u,v,depth）を予測し、その視差画像（u,v,depth）を３次元空間上に逆射影することによって、対象人物の３次元形状及び各関節の３次元位置・座標モデル（x,y,z）を算出し、キネマティックスモデルを生成する。また、観測画像に基づいて各関節の画像情報（初期画像モデル）を保存する。
次に、姿勢・位置予測部５において、例えば、図２（Ｂ）のような前時刻（t-1）の各関節位置・姿勢Ｐｔ−１の推定結果に基づいて図２（Ｃ）のような現時刻の各関節の位置・姿勢Ｐｔを、キネマティクスモデルの関節間の連結性拘束を用い、確率モデルによって階層的に予測する。
姿勢・位置射影部６は、予測された現時刻の対象人物の各関節位置・姿勢Ｐｔを、カメラキャリブレーションで得られた射影行列Ｐによって、例えば、図２（Ｄ）のように２次元画像上に射影し、３次元座標（x,y,z）に対応する２次元画像上の射影位置及び視差（u,v,depth）を求める。
そして、信頼性評価部７において、２次元画像（観測画像）上に射影された射影位置の視差（u,v,depth）、色情報、テクスチャ情報等の画像情報と、予め保存された画像情報（初期画像モデル）との相似性を計算し、２次元画像上に射影された対象人物の各関節の射影位置・姿勢の正しさを評価する。
姿勢・位置推定部８は、信頼性評価部７で算出された評価値に基づいて、最終的に、図２（Ｅ）のように現時刻における対象人物の３次元空間上の予測位置・姿勢Ｐｔを求める。
このように対象人物の位置・姿勢・動き追跡を行うことにより、対象人物に負担を掛けることのない、自然なＨＭＩ（Human Machine Interface）を実現することができる。
続いて、上述したモーションキャプチャ装置における各処理について詳細に説明する。まず、対象人物のキネマティクスモデルの生成について説明する。図３に示すように、予めキャリブレーションされた左右カメラカメラ１Ｌ、１Ｒによって３次元空間の対象人物３０の画像を観測し、これらの観測画像(u,v,depth)３１Ｌ、３１Ｒを用いて視差画像３２を推定する。そして、視差画像(u,v,depth)３２をカメラキャリブレーションで求められた射影行列によって、３次元空間に射影し、その３次元空間における人物の各関節の座標位置(x,y,z)を求めることにより、対象人物のキネマティクスモデル３３を生成することができる。
図４は、キネマティクスモデルを初期化するための初期化部４の構成を示すブロック図である。初期化部４は、距離画像を生成する距離計測部４１と、入力画像から顔領域の位置及び距離を検出する顔検出部４２と、距離画像及び顔の距離に基づいて対象人物を前景とするマスク画像を生成するマスク生成部４３と、顔領域の色ヒストグラムを算出する色分布算出部４４と、顔領域の位置及び距離に基づいて手のあるべき位置を示すウィンドウ位置を算出する手検出ウィンドウ生成部４５と、顔領域の色相、彩度、及び色相、彩度それぞれの分散値と、手検出ウィンドウの位置と、マスク画像とに基づいて手を検出する手検出部４６と、顔の位置及び距離と、手の位置及び距離に基づいて各関節位置を算出する関節位置算出部４７とを備えて構成されている。
続いて、初期化部４における初期化処理を図５に示すフローチャート及び図６に示す模式図を参照して説明する。
ステップＳ１において、距離計測部４１は、画像・距離情報観測部３から出力された画像・距離情報に基づいて距離画像を生成する。ここで、距離画像を生成すると同時にその距離の信頼度を示す画像を生成することが好ましい。これにより、後述するマスク画像生成の精度向上を図ることができる。なお、信頼度は、例えばステレオ法で距離を算出し、正規化相関を用いたマッチングを行った場合、そのマッチングコストを指数化したものを用いることができる。
ステップＳ２において、顔検出部４２は、図６（Ａ）に示すように、対象人物の入力画像から顔Ｆを検出し、顔を検出したと判断した場合は、ステップＳに進み、顔を検出していないと判断した場合は、ステップＳ１に戻る。
顔認識技術としては、例えば、特再ＷＯ２００３／０１９４７５（「ロボット装置、顔認識方法及び顔認識装置」ソニー（株））に記載されているように、ガボア・フィルタで顔特徴量を抽出し、サポート・ベクタ・マシンで顔識別を行う手法を用いることができる。
ステップＳ３において、色分布算出部４４は、図６（Ｂ）に示すように、顔検出部４２で検出された顔領域の色のヒストグラムを算出する。ここで、ヒストグラムは、ＨＳＩ表色系のＨ（Hue，色相）及びＳ（Saturation，彩度）に関して、その度数が最も大きいＨ及びＳを求め、それぞれに適当な分散値を持たせたものを出力する。
ステップＳ４において、顔検出部４２は、図６（Ｃ）に示すように、検出した顔Ｆ、及び距離計測部４１で計測された距離画像に基づいて、顔の距離を算出する。ここで、ノイズの影響を除去するために、平均値ではなく、顔領域内の中央の距離の値である中央値（Median）を用いることが好ましい。
ステップＳ５において、手検出ウィンドウ生成部４５は、顔検出部４２で検出した顔領域の位置及び距離に基づいて、例えば、図６（Ｄ）に示すように、対象人物が両手を水平に伸ばした際の手のあるべき位置を示すウィンドウＷの位置を算出する。この手検出ウィンドウの生成方法は、まず、画像中の顔の位置及び距離をカメラパラメータ取得部２で取得したカメラパラメータ等に応じてワールド座標系へと変換する。そして、顔の位置から首と腕の長さを加算し、ウィンドウ位置を決定する。なお、個人差を考慮して、首の長さを２７０ｍｍ±１５０ｍｍ、腕の長さを９００ｍｍ±３５０ｍｍとして規定した。また、対象人物は、モーションキャプチャ装置にほぼ正対していると仮定し、手の距離を顔の距離とほぼ同じであるとした。このようにして求められた手検出ウィンドウのワールド座標値をカメラ座標系へと逆変換し、画像中の手検出ウィンドウの位置を算出する。
ステップＳ６において、マスク生成部４３は、距離計測部４１で生成された距離画像及び顔検出部４２で算出した顔の距離に基づいて、図６（Ｅ）に示す対象人物を前景とするマスク画像を生成する。ここで、距離計測部４１において、距離の信頼度を示す画像が生成されていた場合、マスク生成部４３は、距離の信頼度を用いて、顔の距離から一定の距離だけシフトした値を閾値として２値化した画像をマスク画像として生成する。これにより、マスク画像生成の精度を向上させることができる。さらに、画像にラベリングを施してヒストグラムを取り、度数の大きい領域のみ残すことによってノイズ除去を行うことができる。
ステップＳ７において、手検出部４６は、色分布算出部４４で算出された色相、彩度、及び色相、彩度それぞれの分散値と、手検出ウィンドウ生成部４５で生成したウィンドウ位置と、マスク生成部４３で生成したマスク画像とに基づいて手を検出する。具体的には、手検出ウィンドウ内において、マスク画像で前景となっている領域中から、顔と同じ色相及び彩度の範囲に入る領域を手として検出する。ここで、手の領域の中で、右手であれば右端に、左手であれば左端に円を当てはめ、その中心位置を手の座標として出力する。また、手領域内の中央の座標における距離の値を手の距離として出力する。
ステップＳ８において、手検出部４６は、両手が検出されたかを判断し、検出された場合は初期化成功とし、ステップＳ９へと進む。また、両手が検出されていないと判断した場合、ステップＳ１に戻る。
ステップＳ９において、関節位置算出部４７は、顔検出部４２で検出した顔の位置及び距離と、手検出部４６で検出した手の位置及び距離とに基づいて各関節位置の算出を行う。図６（Ｆ）は、各関節位置Ｓ１〜Ｓ８を示す画像である。ここでは、手が水平な状態で算出されているという前提なので、両手の位置とあらかじめ用意しておいた肩、上腕及び下腕の長さの比率を用いることにより、肩と肘の位置を決定する事ができる。さらに、マスク生成部４３で生成した距離の信頼度を示すマスク画像を用いることにより、ノイズを除去し、肘と肩の位置の精度向上を図ることができる。具体的には、まず、肘のＸ座標におけるマスク前景部分のＹ座標を求め、その中央値を肘のＹ座標として採用する。また、上腕部のＸ座標において何点かをサンプリングし、それぞれにおけるマスク前景部分のＹ座標の中央値をその点のＹ座標として採用し、それらの点を用いて上腕部の近似直線を求める。そして、肩のＸ座標におけるその近似直線上の点を、肩位置として採用する。これらの処理により、大幅に関節位置精度を向上させることができる。
このように３次元空間の各関節位置を求めることにより、キネマティクスモデルを高精度に初期化することができる。また、キネマティクスモデルの初期化の際、そのモデルの各関節点に対応する画像情報（テクスチャ、色、視差、信頼度評価値など）を保存し、初期画像モデルとする。この初期モデルは、後述する追跡処理において、観測画像と比較され、予測の正しさの評価、追跡結果の算出に用いられる。
次に、キネマティクスモデルの各関節位置の予測方法について説明する。図７（Ａ）は、本実施の形態における階層的予測方法の概念図を示す。この階層的予測法は、まず、最も観測しやすい人物の頭部（顔）の情報を用いて、首の関節Ｓ０及び頭部中心Ｓ１の位置を推定する。そして、関節Ｓ０の推定結果を元に、肩の関節Ｓ２、Ｓ３及び背中の関節Ｓ８の位置を推定する。その後、それぞれの関節Ｓ２、Ｓ３、Ｓ８の推定結果を用いて、両肘の関節Ｓ４、Ｓ５及び腰部関節Ｓ９、Ｓ１０の位置を推定する。さらに、両肘の関節Ｓ４、Ｓ５をベースに、両腕の関節Ｓ６、Ｓ７の位置を推定する。また。腰部関節Ｓ９、Ｓ１０をベースに両膝の関節Ｓ１１、Ｓ１２の位置を推定する。最後に、両膝の関節Ｓ１１、Ｓ１２に基づいて両足の関節Ｓ１３、Ｓ１４の位置を推定する。すなわち、この階層的予測法は、キネマティクスモデルの関節間の連結性拘束及び前時刻の関節位置に基づいて、現時刻の各関節位置を順次算出するものである。
図７（Ｂ）は、各関節点の予測方法を説明するための模式図である。現時刻(t)における各関節Ｓ１〜Ｓ１４の予測位置は、前時刻(t-1)の予測結果に基づいて求められる。また、現時刻(t)における各関節の予測位置は、正規分布で表現され、信頼性（確率）の評価が行われる。また、信頼性の評価値により、各関節の推定結果をある範囲内に変動させる。これにより、精度が悪い推定結果をそのまま利用した場合、それぞれ連接する関節への推定精度に大きな影響が生じることを防止する。
図８及び図９は、キネマティクスモデルの各関節位置の予測のための構成を示すブロック図である。ここで、関節Ｓ０〜Ｓ８の位置・姿勢予測部５１〜５８は、姿勢・位置予測部５に対応するものであり、関節Ｓ０〜Ｓ８の位置・姿勢推定部８１〜８８は、姿勢・位置推定部８に対応するものである。すなわち、図１において、キネマティクスモデルの関節間の連結性拘束に応じた順番で、関節の予測位置を姿勢・位置予測部５にて予測し、姿勢・位置射影部６にて予測位置を２次元画像上に射影し、信頼性評価部７にて２次元画像上に射影された予測位置の信頼性を評価し、評価結果に基づいて姿勢・位置推定部８にて推定位置を推定する。そして、姿勢・位置推定部８にて推定された推定位置は、次に予測する階層の関節の予測位置演算に用いられる。
現時刻ｔにおける各関節の予測値（位置・姿勢）は、前時刻（t-1）における各関節Ｓｍ（m=0,・・・,14）の各仮説｛k=1,2,・・・,K｝に基づく姿勢の予測関数ωｍ(t,k)及び位置の予測関数ξｍ(t,k)を用いて計算される（m=0,・・・,14）。ωｍ(t,k)及びξｍ(t,k)は、それぞれ時刻ｔの第ｍ番目の関節に関して下記のように計算される。
Figure 2007333690
ここで、φは、平均値μ、標準分散σの正規乱数を得るための関数であり、νは、時刻（t-1）での各関節点の動き速度を示し、κは、寄与度を調整する定数を示す。
図８に示す上半身の各関節の予測のための構成は、首の関節Ｓ０と頭部中心Ｓ１の位置・姿勢を予測するＳ０とＳ１の位置・姿勢予測部５１と、Ｓ０とＳ１の位置・姿勢推定部８１と、首の関節Ｓ０の推定結果に基づいて肩の関節Ｓ２、Ｓ３の位置・姿勢を予測するＳ２とＳ３の位置・姿勢予測部５２と、Ｓ２とＳ３の位置・姿勢推定部８２と、肩の関節Ｓ２、Ｓ３の推定結果に基づいて両肘の関節Ｓ４、Ｓ５を位置・姿勢を予測するＳ４とＳ５の位置・姿勢予測部５３と、Ｓ４とＳ５の位置・姿勢推定部８３と、両肘の関節Ｓ４、Ｓ５に基づいて両腕の関節Ｓ６、Ｓ７の位置・姿勢を予測する位置・姿勢予測部５４と、Ｓ６とＳ７の位置・姿勢推定部８４とを備えている。
Ｓ０とＳ１の位置・姿勢予測部５１は、前時刻（t-１）の首の関節位置Ｓ０(t-1,k)及び頭部中心位置Ｓ１(t-1,k)を入力し、現時刻(t)の首の関節位置Ｓ０(t,k)及び頭部中心位置Ｓ１(t,k)の予測値を算出する。
Figure 2007333690
Ｓ０とＳ１の位置・姿勢推定部８１は、後述するように現時刻（t）の首の関節位置Ｓ０(t,k)及び頭部中心位置Ｓ１(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い首の関節位置の仮説Ｓ０(t)をＳ２とＳ３の位置・姿勢予測部５２に出力する。
Ｓ２とＳ３の位置・姿勢予測部５２は、前時刻（t-１）の肩の関節位置Ｓ２(t-1,k)、Ｓ３(t-1,k)及び現時刻（t）の首の関節の推定位置Ｓ０(t)を入力し、現時刻（t）の肩の関節位置Ｓ２(t,k)、Ｓ３(t,k)の予測値を算出する。
Figure 2007333690
Ｓ２とＳ３の位置・姿勢推定部８２は、後述するように現時刻（t）の肩の関節位置Ｓ２(t,k)、Ｓ３(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ２(t)、Ｓ３(t)をＳ４とＳ５の位置・姿勢予測部５３に出力する。
Ｓ４とＳ５の位置・姿勢予測部８３は、前時刻（t-１）の両肘の関節位置Ｓ４(t-1,k)、Ｓ５(t-1,k)及び現時刻（t）の肩の関節の推定位置Ｓ２(t)、Ｓ３(t)を入力し、現時刻（t）の両肘の関節位置Ｓ４(t,k)、Ｓ５(t,k)の予測値を算出する。
Figure 2007333690
Ｓ４とＳ５の位置・姿勢推定部８３は、後述するように現時刻（t）の両肘の関節位置Ｓ４(t,k)、Ｓ５(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ４(t)、Ｓ５(t)をＳ６とＳ７の位置・姿勢予測部５４に出力する。
Ｓ６とＳ７の位置・姿勢予測部５４は、前時刻（t-１）の両腕の関節位置Ｓ６(t-1,k)、Ｓ７(t-1,k)及び現時刻（t）の両肘の関節位置Ｓ４(t)、Ｓ５(t)を入力し、現時刻（t）の両肘の関節位置Ｓ６(t,k)、Ｓ７(t,k)の予測値を算出する。
Figure 2007333690
Ｓ６とＳ７の位置・姿勢推定部８４は、後述するように現時刻（t）の両腕の関節位置Ｓ６(t,k)、Ｓ７(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ６(t)、Ｓ７(t)を両腕の関節位置として出力する。
また、図９に示す下半身の各関節を予測するための構成は、背中の関節Ｓ８の位置・姿勢を予測するＳ８の位置・姿勢予測部５５と、Ｓ８の位置・姿勢推定部８５と、背中の関節Ｓ８の推定結果に基づいて腰部関節Ｓ９、Ｓ１０の位置・姿勢を予測するＳ９とＳ１０の位置・姿勢予測部５６と、Ｓ９とＳ１０の位置・姿勢推定部８６と、腰部関節Ｓ９、Ｓ１０の推定結果に基づいて両膝の関節Ｓ１１、Ｓ１２の位置・姿勢を予測するＳ１１とＳ１２の位置・姿勢予測部５７と、Ｓ１１とＳ１２の位置・姿勢推定部８７と、両膝の関節Ｓ１１、Ｓ１２に基づいて両足の関節Ｓ１３、Ｓ１４の位置・姿勢を予測する位置・姿勢予測部５８と、Ｓ１３とＳ１４の位置・姿勢推定部８８とを備える。
Ｓ８の位置・姿勢予測部５５は、前時刻（t-１）の背中の関節位置Ｓ８(t-1,k)及び現時刻(ｔ)の首の関節位置Ｓ０(t)を入力し、現時刻（t）の背中の関節位置Ｓ８(t,k)の予測値を算出する。
Figure 2007333690
Ｓ８の位置・姿勢推定部８５は、後述するように現時刻（t）の背中の関節位置Ｓ８(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ８(t)をＳ９とＳ１０の位置・姿勢予測部５６に出力する。
Ｓ９とＳ１０の位置・姿勢予測部５６は、前時刻（t-１）の腰部の関節位置Ｓ９(t-1,k)、Ｓ１０(t-1,k)及び現時刻（t）の背中の関節位置Ｓ８(t)を入力し、現時刻（t）の肩の関節位置Ｓ９(t,k)、Ｓ１０(t,k)の予測値を算出する。
Figure 2007333690
Ｓ９とＳ１０の位置・姿勢推定部８６は、後述するように現時刻（t）の腰部の関節位置Ｓ９(t,k)、Ｓ１０(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ９(t)、Ｓ１０(t)をＳ１１とＳ１２の位置・姿勢予測部５７に出力する。
Ｓ１１とＳ１２の位置・姿勢予測部５７は、前時刻（t-１）の両膝の関節位置Ｓ１１(t-1,k)、Ｓ１２(t-1,k)及び現時刻（t）の腰部の関節位置Ｓ９(t)、Ｓ１０(t)を入力し、現時刻（t）の両膝の関節位置Ｓ１１(t,k)、Ｓ１２(t,k)の予測値を算出する。
Figure 2007333690
Ｓ４とＳ５の位置・姿勢推定部８７は、後述するように現時刻（t）の両膝の関節位置Ｓ１１(t,k)、Ｓ１２(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ１１(t)、Ｓ１２(t)をＳ１２とＳ１３の位置・姿勢予測部５８に出力する。
Ｓ１３とＳ１４の位置・姿勢予測部５８は、前時刻（t-１）の両足の関節位置Ｓ１３(t-1,k)、Ｓ１４(t-1,k)及び現時刻（t）の両膝の関節位置Ｓ１１(t)、Ｓ１２(t)を入力し、現時刻（t）の両足の関節位置Ｓ１３(t,k)、Ｓ１４(t,k)の予測値を算出する。
Figure 2007333690
Ｓ１３とＳ１４の位置・姿勢推定部８８は、現時刻（t）の両足の関節位置Ｓ１３(t,k)、Ｓ１４(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ１３(t)、Ｓ１４(t)を両足の関節位置として出力する。
このように隣接関節点を追跡精度（確率）に基づいて予測することにより、少ない仮設で全身の動きを予測することができる。例えば、各関節点の仮説ｋ（予測フィルタ数）を１０とし、１５関節の動きを同時に予測した場合、１０１５仮説数必要となるが、隣接関節点を階層的に予測した場合、１０×１５＝１５０仮説数だけでよい。
また、本手法は、前の関節点Ｓｋ-１の追跡結果の信頼性を評価し、Ｓｋの予測モデル（パラメータ）を動的に変化させることにより、例えば、Ｓ０の推定結果が良くない場合、全ての関節点に影響するような、各階層の誤差累積による追跡精度の低下を防ぐことができる。例えば、関節点Ｓ４の追跡結果の信頼性の評価値が低い場合、関節点Ｓ６の動きを予測・追跡する際、図１０に示すようにＳ４を中心とする予測位置（x,y,z）を確率的に変化させながら、それを腕（Ｓ４−Ｓ６）の回転中心として、Ｓ６の動き予測と追跡を行い、最終的に腕（Ｓ４’−Ｓ６）の動きを推定することにより、新しい肘関節点Ｓ４’を推定することができる。この例では、腕（Ｓ４’−Ｓ６）の推定結果がより正しい肘関節位置として得ることができるので、肘関節点Ｓ４’の結果を上腕（Ｓ２−Ｓ４）の推定結果にフィードバックすることも可能である。
図１１は、姿勢・位置射影部６、信頼性評価部７、及び姿勢・位置推定部８の処理を説明するための模式図である。
姿勢・位置射影部６は、各関節の仮説ｋの予測位置(x,y,z)kを２Ｄ画像(u,v,depth)kに射影する。すなわち、図８及び図９に示す各位置・姿勢予測部５１〜５８で予測された各仮説をカメラキャリブレーションで得られた射影行列によって２次元画像に射影する。具体例として、例えば、図１１（Ａ）に示す右腕の関節Ｓ７の各仮説の予測位置（x,y,z）に対して、図１１（Ｂ）に示すように、それらの座標値を観測画像上に投影し、２次元画像上の投影位置・視差（u,v,depth）を求める。
信頼性評価部７は、各仮説による観測画像上の射影位置の画像情報と、予め保存されたモデル画像の画像情報との相似性を評価し、予測された各仮説の信頼性（確率）を計算する。ここで、モデル画像の画像情報として、初期化の時に保存された画像情報（例えば、あるウィンドウ内の画像テクスチャ、色分布、視差など）を用いることができる。また、相似性評価方法としては、例えば、それらの画像パターンを用いる正規化相関や、それらの画像パターンの色分布特性のマッチングを用いることができる。
マッチング評価は、階層的な動き予測手段によって予測された現時刻(t)の各関節点Ｓｍ(t,k)の仮説（m：関節点番号、k：仮説の番号）の３次元位置を、現時刻(t)の２次元画像平面に射影する際、仮説の動き予測パラメータ（R,T）を用いて、初期化の時に得られた画像領域に対応する３次元領域位置に回転(R）、移動(T）処理を行い、２次元モデル画像パターンを求め、このモデル画像パターンと、仮説の射影位置の画像パターンとの相似性評価を行い、マッチングスコアを計算することにより行われる。
姿勢・位置推定部８は、相似性評価値（確率）による各関節Ｓｍの位置・姿勢を推定する。つまり、各仮説の予測位置での確率を寄与度とした平均状態の統計処理によって、関節の位置・姿勢を決定する。具体的には、例えば、図１１（Ｂ）に示すように右腕の関節Ｓ７の各仮説の２次元画像上の射影位置を、信頼性評価部７のマッチング処理により評価された信頼性（確率）に基づいて統計処理することにより、図１１（Ｃ）に示すように右腕の関節Ｓ７の位置を推定する。
以上のように、対象人物のキネマティクスモデルを用いて階層的に現時刻の関節位置を予測することによって、一般環境での対象人物の３次元空間の位置・姿勢をロバストに推定することができる。また、２台以上の複数カメラを用いることによって、対象人物のキネマティクスモデルを容易に生成することができるとともに、対象人物の位置・姿勢の推定精度を向上させることができる。また、背景差分や時間差分を用いていないため、環境変化にロバストである。また、マーカーを用いることなく、対象人物の位置・姿勢・動き追跡を行うことができるため、対象人物に負担を掛けることなく、自然なＨＭＩを実現することができる。
本発明の一実施の形態におけるモーションキャプチャ装置の構成を示すブロック図である。 本発明の一実施の形態におけるモーションキャプチャ処理の概要を説明するための模式図である。 対象人物のキネマティクスモデル生成処理の概要を説明するための模式図である。 キネマティクスモデルを生成するための初期化部の構成を示すブロック図である。 初期化部における初期化処理を示すフローチャートである。 初期化処理を説明するための図である。 本実施の形態における階層的予測方法を説明するための図である。 キネマティクスモデルの各関節位置の予測のための構成を示すブロック図である。 キネマティクスモデルの各関節位置の予測のための構成を示すブロック図である。 前の関節点Ｓｋ-１の追跡結果の信頼性を評価し、Ｓｋの予測モデルを動的に変化させる処理例を説明するための模式図である。 姿勢・位置射影部、信頼性評価部、及び姿勢・位置推定部の処理を説明するための模式図である。
符号の説明
１Ｌ,１Ｒ カメラ、 ２ カメラパラメータ取得部、 ３ 画像・距離情報観測部、 ４ 初期化部、 ５ 姿勢・位置予測部、 ６ 姿勢・位置射影部、 ７ 信頼性評価部、 ８ 姿勢・位置推定部、 ４１ 距離計測部、 ４２ 顔検出部、 ４３ マスク生成部、 ４４ 色分布算出部、 ４５ 手検出ウィンドウ生成部、 ４６ 手検出部、 ４７ 関節位置算出部

Claims (10)

  1. 対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ装置において、
    上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成手段と、
    上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測手段と、
    上記予測手段で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影手段と、
    上記射影手段で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価手段と、
    上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定手段と
    を備えることを特徴とするモーションキャプチャ装置。
  2. 上記観測画像から距離画像を生成する距離画像生成手段と、
    上記観測画像から顔領域の位置及び距離を検出する顔検出手段と、
    上記距離画像及び顔の距離に基づいて対象人物を前景とするマスク画像を生成するマスク生成手段と
    上記顔領域の色ヒストグラムを算出する色分布算出手段と、
    上記顔領域の位置及び距離に基づいて所定位置に手検出ウィンドウを生成する手検出ウィンドウ生成手段と、
    上記顔領域の色ヒストグラム、上記手検出ウィンドウの位置及び上記マスク画像に基づいて手の位置及び距離を検出する手検出手段と、
    上記顔の位置及び距離と、上記手の位置及び距離とに基づいて上記キネマティクスモデルの各関節位置を算出する関節位置算出手段と
    をさらに備えることを特徴とする請求項１記載のモーションキャプチャ装置。
  3. 上記関節位置算出手段は、上記マスク画像の前景領域の肘の関節のＹ軸上の中央値を肘の関節のＹ座標とし、上記マスク画像の前景領域の上腕部のＹ軸上の中央値を上腕部のＹ座標として上腕部の近似直線を求め、肩の関節のＸ軸上と上記近似直線上との交点を、肩の関節の位置として算出することを特徴とする請求項２記載のモーションキャプチャ装置。
  4. 上記生成手段は、上記観測画像から対象人物の視差画像を推定し、該視差画像を３次元空間に逆射影することによって、上記対象人物の各関節及び肢体の３次元位置と姿勢を算出し、キネマティクスモデルを生成することを特徴とする請求項１記載のモーションキャプチャ装置。
  5. 上記射影手段は、上記予測手段によって予測された現時刻の各関節及び肢体の３次元位置と姿勢を、カメラキャリブレーションで得られた射影行列によって３次元空間の位置に対応する２次元画像上の射影位置を求めることにより、上記２次元画像上に射影することを特徴とする請求項１記載のモーションキャプチャ装置。
  6. 上記評価手段は、上記射影位置に対応する観測画像の画像情報と、予め保存された各関節及び肢体の画像情報との相似性を計算し、上記信頼性を評価することを特徴とする請求項１記載のモーションキャプチャ装置。
  7. 上記推定手段は、上記射影手段で射影された射影位置に対する評価値に基づいて、上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定することを特徴とする請求項１記載のモーションキャプチャ装置。
  8. 同一の対象人物を撮影できるように少なくとも２台以上のカメラを配置するとともに、これらの位置関係及びカメラパラメータを予め有する画像観測手段をさらに備えることを特徴とする請求項１記載のモーションキャプチャ装置。
  9. 対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ方法において、
    上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、
    上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、
    上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、
    上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、
    上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程と
    を有することを特徴とするモーションキャプチャ方法。
  10. 対象人物の各関節及び肢体の３次元位置と姿勢を追跡する処理を実行させるモーションキャプチャプログラムにおいて、
    上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、
    上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、
    上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、
    上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、
    上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程と
    を有することを特徴とするモーションキャプチャプログラム。
JP2006169070A 2006-06-19 2006-06-19 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム Expired - Fee Related JP4148281B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006169070A JP4148281B2 (ja) 2006-06-19 2006-06-19 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
DE602007001104T DE602007001104D1 (de) 2006-06-19 2007-06-18 Vorrichtung, Verfahren und Programm zur Bewegungserfassung
US11/764,407 US8355529B2 (en) 2006-06-19 2007-06-18 Motion capture apparatus and method, and motion capture program
KR1020070059441A KR20070120443A (ko) 2006-06-19 2007-06-18 모션 캡쳐 장치 및 모션 캡쳐 방법과 모션 캡쳐 프로그램
EP07252472A EP1870038B1 (en) 2006-06-19 2007-06-18 Motion capture apparatus and method, and motion capture program
CN2007101085007A CN101093582B (zh) 2006-06-19 2007-06-19 动作捕捉装置和动作捕捉方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006169070A JP4148281B2 (ja) 2006-06-19 2006-06-19 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム

Publications (2)

Publication Number Publication Date
JP2007333690A true JP2007333690A (ja) 2007-12-27
JP4148281B2 JP4148281B2 (ja) 2008-09-10

Family

ID=38353959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006169070A Expired - Fee Related JP4148281B2 (ja) 2006-06-19 2006-06-19 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム

Country Status (6)

Country Link
US (1) US8355529B2 (ja)
EP (1) EP1870038B1 (ja)
JP (1) JP4148281B2 (ja)
KR (1) KR20070120443A (ja)
CN (1) CN101093582B (ja)
DE (1) DE602007001104D1 (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010014712A (ja) * 2008-06-30 2010-01-21 Samsung Electronics Co Ltd モーションキャプチャー装置及びモーションキャプチャー方法
JP2010072694A (ja) * 2008-09-16 2010-04-02 Sony Corp 動態推定装置、動態推定方法、プログラム
WO2010038693A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2010085322A (ja) * 2008-10-01 2010-04-15 Sony Computer Entertainment Inc 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2011513868A (ja) * 2008-03-14 2011-04-28 パナソニック株式会社 画像処理方法及び画像処理装置
JP2012098988A (ja) * 2010-11-04 2012-05-24 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012113460A (ja) * 2010-11-24 2012-06-14 Sony Corp 情報処理装置および方法、並びにプログラム
JP2012516507A (ja) * 2009-01-30 2012-07-19 マイクロソフト コーポレーション 標準的なジェスチャー
WO2012101723A1 (ja) * 2011-01-26 2012-08-02 パナソニック株式会社 関節領域表示装置、関節領域検出装置、関節領域帰属度算出装置、関節状領域帰属度算出装置および関節領域表示方法
JP2013089247A (ja) * 2011-10-20 2013-05-13 Lg Innotek Co Ltd 目標物を検出するための映像処理方法及び装置
CN103559708A (zh) * 2013-10-30 2014-02-05 同济大学 基于方靶模型的工业定焦相机参数标定装置
US8712146B2 (en) 2008-12-22 2014-04-29 Electronics And Telecommunications Research Institute Method of creating animatable digital clone from multi-view images
WO2014112631A1 (ja) * 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置及びプログラム
JP2014522018A (ja) * 2011-06-22 2014-08-28 マイクロソフト コーポレーション 全自動動的有関節モデル較正
JP2015019777A (ja) * 2013-07-18 2015-02-02 株式会社東芝 体位決定支援装置及び医用画像診断装置
JP2015167008A (ja) * 2013-07-30 2015-09-24 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
WO2017141569A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 制御装置、制御システム、制御方法およびプログラム
JP2019095345A (ja) * 2017-11-24 2019-06-20 国立大学法人 岡山大学 物体識別システム
JPWO2018087933A1 (ja) * 2016-11-14 2019-06-24 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019102877A (ja) * 2017-11-29 2019-06-24 富士通株式会社 カメラの外部パラメータの推定方法、推定装置および推定プログラム
JP2020042476A (ja) * 2018-09-10 2020-03-19 国立大学法人 東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
JP2021524113A (ja) * 2019-01-18 2021-09-09 北京市商▲湯▼科技▲開▼▲發▼有限公司Ｂｅｉｊｉｎｇ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．，Ｌｔｄ． 画像処理方法および装置、画像機器、ならびに記憶媒体
WO2022149190A1 (ja) 2021-01-05 2022-07-14 富士通株式会社 骨格推定装置、骨格推定方法および体操採点支援システム
WO2022191140A1 (ja) * 2021-03-08 2022-09-15 国立大学法人 東京大学 ３ｄ位置取得方法及び装置
JP2023521952A (ja) * 2020-07-27 2023-05-26 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド ３次元人体姿勢推定方法及びその装置、コンピュータデバイス、並びにコンピュータプログラム
WO2023195099A1 (ja) * 2022-04-06 2023-10-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
EP4360547A1 (en) * 2022-10-27 2024-05-01 Koninklijke Philips N.V. Patient pose detection apparatus

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US20140035805A1 (en) * 2009-04-02 2014-02-06 David MINNEN Spatial operating environment (soe) with markerless gestural control
GB0622451D0 (en) * 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
KR101545360B1 (ko) 2007-04-24 2015-08-19 오블롱 인더스트리즈, 인크 프로세싱 환경에서의 프로틴, 풀 및 슬럭스
KR100940860B1 (ko) * 2007-12-18 2010-02-09 한국전자통신연구원 디지털 크리쳐의 이동 동작 생성 방법 및 장치
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
JP2010176380A (ja) 2009-01-29 2010-08-12 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US20150309581A1 (en) * 2009-04-02 2015-10-29 David MINNEN Cross-user hand tracking and shape recognition user interface
US9317128B2 (en) 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
CN101872476A (zh) * 2009-04-24 2010-10-27 索尼株式会社 估计图像中对象姿势视角的方法、设备
KR101586007B1 (ko) 2009-06-25 2016-01-21 삼성전자주식회사 데이터 처리 장치 및 방법
KR101616926B1 (ko) 2009-09-22 2016-05-02 삼성전자주식회사 영상 처리 장치 및 방법
KR101626065B1 (ko) 2009-10-13 2016-05-31 삼성전자주식회사 마커리스 모션 캡쳐링 장치 및 방법
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
CN102103457B (zh) * 2009-12-18 2013-11-20 深圳富泰宏精密工业有限公司 简报操作系统及方法
JP4763863B1 (ja) * 2009-12-28 2011-08-31 パナソニック株式会社 関節状領域検出装置およびその方法
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US20110199302A1 (en) * 2010-02-16 2011-08-18 Microsoft Corporation Capturing screen objects using a collision volume
JP5757063B2 (ja) 2010-03-29 2015-07-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
RU2534892C2 (ru) * 2010-04-08 2014-12-10 Самсунг Электроникс Ко., Лтд. Устройство и способ для захвата безмаркерных движений человека
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
US9746354B2 (en) 2010-08-26 2017-08-29 Blast Motion Inc. Elastomer encased motion sensor package
US9643049B2 (en) 2010-08-26 2017-05-09 Blast Motion Inc. Shatter proof enclosure and mount for a motion capture element
US9033810B2 (en) 2010-08-26 2015-05-19 Blast Motion Inc. Motion capture element mount
US9028337B2 (en) 2010-08-26 2015-05-12 Blast Motion Inc. Motion capture element mount
US10254139B2 (en) 2010-08-26 2019-04-09 Blast Motion Inc. Method of coupling a motion sensor to a piece of equipment
US8613676B2 (en) 2010-08-26 2013-12-24 Blast Motion, Inc. Handle integrated motion capture element mount
US9622361B2 (en) 2010-08-26 2017-04-11 Blast Motion Inc. Enclosure and mount for motion capture element
US9052201B2 (en) 2010-08-26 2015-06-09 Blast Motion Inc. Calibration system for simultaneous calibration of multiple motion capture elements
JP2012053606A (ja) * 2010-08-31 2012-03-15 Sony Corp 情報処理装置および方法、並びにプログラム
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
US9262674B2 (en) * 2010-12-09 2016-02-16 Panasonic Corporation Orientation state estimation device and orientation state estimation method
CN102631781B (zh) * 2011-02-11 2017-04-05 漳州市爵晟电子科技有限公司 一种游戏方法
CN103988150B (zh) * 2011-03-25 2018-02-13 奥布隆工业有限公司 用于初始化基于视觉的手跟踪器的快速指尖检测
CN102156994B (zh) * 2011-04-19 2013-03-20 上海摩比源软件技术有限公司 一种单视角无标记人体运动跟踪的关节定位方法
EP2710557B1 (en) * 2011-05-16 2020-04-29 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Fast articulated motion tracking
JP5786463B2 (ja) * 2011-06-01 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5898199B2 (ja) * 2011-07-15 2016-04-06 パナソニック株式会社 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
TWI437467B (zh) * 2011-10-11 2014-05-11 Ind Tech Res Inst 顯示控制裝置及顯示控制方法
US8457357B2 (en) * 2011-11-09 2013-06-04 Disney Enterprises, Inc. Relative pose estimation of non-overlapping cameras using the motion of subjects in the camera fields of view
EP2842131B1 (en) * 2012-04-27 2016-11-02 Blast Motion, Inc. Calibration system for simultaneous calibration of multiple motion capture elements
CN102779347B (zh) * 2012-06-14 2014-08-06 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
CN103908293B (zh) * 2012-12-28 2018-03-27 通用电气公司 用于测量医学图像的医学成像系统和方法
US9202353B1 (en) 2013-03-14 2015-12-01 Toyota Jidosha Kabushiki Kaisha Vibration modality switching system for providing navigation guidance
US10032273B2 (en) * 2013-03-15 2018-07-24 Cognex Corporation Machine vision system calibration using inaccurate calibration targets
US20140276095A1 (en) * 2013-03-15 2014-09-18 Miriam Griggs System and method for enhanced goniometry
KR101933921B1 (ko) * 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
US8700354B1 (en) 2013-06-10 2014-04-15 Blast Motion Inc. Wireless motion capture test head system
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
US9091561B1 (en) 2013-10-28 2015-07-28 Toyota Jidosha Kabushiki Kaisha Navigation system for estimating routes for users
CN104635917B (zh) * 2013-11-08 2018-09-11 中国电信股份有限公司 动作捕捉方法和装置、用于非接触输入的方法和装置
KR101394276B1 (ko) * 2013-12-31 2014-05-13 (주) 골프존 뎁스 영상 분석을 통한 사용자의 골프 스윙 자세 분석을 위한 영상 생성 방법과 이를 이용한 골프 스윙 자세 분석 방법 및 장치
US10181193B2 (en) * 2014-03-10 2019-01-15 Microsoft Technology Licensing, Llc Latency reduction in camera-projection systems
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
US11013451B2 (en) 2014-09-19 2021-05-25 Brigham Young University Marker-less monitoring of movement disorders
US9552070B2 (en) 2014-09-23 2017-01-24 Microsoft Technology Licensing, Llc Tracking hand/body pose
US9613505B2 (en) 2015-03-13 2017-04-04 Toyota Jidosha Kabushiki Kaisha Object detection and localized extremity guidance
KR101654156B1 (ko) 2015-06-12 2016-09-05 ㈜리커시브소프트 센서 모듈의 데이터 송수신을 이용한 모션 캡쳐 시스템 및 이를 이용한 모션 캡쳐 방법
WO2017005591A1 (en) * 2015-07-07 2017-01-12 Koninklijke Philips N.V. Apparatus and method for motion tracking of at least a portion of a limb
CN108292437B (zh) 2015-11-20 2022-04-26 索尼公司 图像处理装置和方法
JP2017102808A (ja) * 2015-12-04 2017-06-08 ソニー株式会社 画像処理装置および方法
CN105832342B (zh) * 2016-03-14 2018-08-21 深圳市第二人民医院 基于光学运动捕捉系统可视空间扩展的运动学参数捕捉方法
WO2017163928A1 (ja) * 2016-03-24 2017-09-28 ソニー株式会社 画像処理装置および方法
CN105912982B (zh) * 2016-04-01 2020-07-14 北京明泰朗繁精密设备有限公司 一种基于肢体动作识别的控制方法及装置
US11006856B2 (en) * 2016-05-17 2021-05-18 Harshavardhana Narayana Kikkeri Method and program product for multi-joint tracking combining embedded sensors and an external sensor
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
CN107832713B (zh) * 2017-11-13 2021-11-16 南京邮电大学 一种基于OptiTrack的人体姿态识别方法
CN107920229A (zh) * 2017-11-14 2018-04-17 国网黑龙江省电力有限公司信息通信公司 机房监控记录生成系统及方法
CN108229332B (zh) * 2017-12-08 2020-02-14 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
US10529085B2 (en) * 2018-03-30 2020-01-07 Samsung Electronics Co., Ltd. Hardware disparity evaluation for stereo matching
CN109008993A (zh) * 2018-07-13 2018-12-18 武汉久乐科技有限公司 一种生命体征数据采集控制方法和装置
US11367239B2 (en) * 2018-11-09 2022-06-21 Samsung Electronics Co., Ltd. Textured neural avatars
CN109800645A (zh) * 2018-12-18 2019-05-24 武汉西山艺创文化有限公司 一种动作捕捉系统及其方法
KR102198920B1 (ko) * 2019-02-28 2021-01-06 네이버 주식회사 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템
CN110287764B (zh) 2019-05-06 2022-01-11 深圳大学 姿势预测方法、装置、计算机设备和存储介质
US11003914B2 (en) * 2019-05-13 2021-05-11 Hole-In-One Media, Inc. Autonomous activity monitoring system and method
CN110442153B (zh) * 2019-07-10 2022-03-25 佛山科学技术学院 一种被动式光学动捕系统摄像机校正控制方法及系统
CN110349180B (zh) * 2019-07-17 2022-04-08 达闼机器人有限公司 人体关节点预测方法及装置、动作类型识别方法及装置
CN110445982B (zh) * 2019-08-16 2021-01-12 深圳特蓝图科技有限公司 一种基于六自由度设备的追踪拍摄方法
KR20210087680A (ko) * 2020-01-03 2021-07-13 네이버 주식회사 입력 영상에 포함된 객체의 3차원 포즈를 추정하기 위한 데이터를 생성하는 방법 및 장치와 3차원 포즈 추정을 위한 추론 모델
US20230355117A9 (en) * 2020-01-10 2023-11-09 Yur Inc. Energy expense determination using probabilistic inference
CN111524183A (zh) * 2020-04-07 2020-08-11 上海交通大学 一种基于透视投影变换的目标行列定位方法
CN111598995B (zh) * 2020-04-23 2023-04-28 浙江工商大学 一种基于原型分析的自监督多目三维人体姿态估计方法
CN111938658B (zh) * 2020-08-10 2023-09-01 陈雪丽 一种用于手部、腕部与前臂的关节活动度监测系统及方法
KR102540744B1 (ko) * 2021-03-30 2023-06-12 와이폴라리스 주식회사 사람의 3d좌표를 생성하고 3d좌표의 타당성을 검토하는 장치 및 방법
CN113358383B (zh) * 2021-05-08 2022-10-18 中国标准化研究院 一种空调室外机工效学实验系统及工效学测试方法
WO2023007858A1 (ja) 2021-07-30 2023-02-02 日東電工株式会社 赤外線セキュリティシステム
WO2023008087A1 (ja) 2021-07-30 2023-02-02 日東電工株式会社 赤外線セキュリティシステム、赤外線発光制御システムおよび意匠ユニット

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6324296B1 (en) * 1997-12-04 2001-11-27 Phasespace, Inc. Distributed-processing motion tracking system for tracking individually modulated light points
US6269172B1 (en) * 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
AU6249899A (en) 1998-09-22 2000-04-10 Motek Motion Technology, Inc. System for dynamic registration, evaluation, and correction of functional human behavior
US6774885B1 (en) * 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
KR100426313B1 (ko) * 2001-12-28 2004-04-06 한국전자통신연구원 영상 제작에서 관절형 객체 자세 변경 방법
JP2003214182A (ja) * 2002-01-24 2003-07-30 Mitsubishi Heavy Ind Ltd ガスタービンコンバインドプラント、およびその運転方法
US20030215130A1 (en) * 2002-02-12 2003-11-20 The University Of Tokyo Method of processing passive optical motion capture data
KR100507780B1 (ko) * 2002-12-20 2005-08-17 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
JP2005040556A (ja) * 2003-07-25 2005-02-17 Yoshihito Ono モーション・キャプチャーを用いた運動機能並びに運動能力の分析
WO2005125210A1 (en) * 2004-06-14 2005-12-29 Arizona Board Of Regents For And On Behalf Of Arizona State University Methods and apparatus for motion capture
CN1271574C (zh) * 2004-12-09 2006-08-23 上海交通大学 基于标记点的人肢体三维建模方法
US8023726B2 (en) * 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8437549B2 (en) 2008-03-14 2013-05-07 Panasonic Corporation Image processing method and image processing apparatus
JP2011513868A (ja) * 2008-03-14 2011-04-28 パナソニック株式会社 画像処理方法及び画像処理装置
US8988438B2 (en) 2008-06-30 2015-03-24 Samsung Electronics Co., Ltd. Motion capture apparatus and method
JP2010014712A (ja) * 2008-06-30 2010-01-21 Samsung Electronics Co Ltd モーションキャプチャー装置及びモーションキャプチャー方法
JP2010072694A (ja) * 2008-09-16 2010-04-02 Sony Corp 動態推定装置、動態推定方法、プログラム
JP4613994B2 (ja) * 2008-09-16 2011-01-19 ソニー株式会社 動態推定装置、動態推定方法、プログラム
US8724849B2 (en) 2008-10-01 2014-05-13 Sony Corporation Information processing device, information processing method, program, and information storage medium
WO2010038693A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2010085322A (ja) * 2008-10-01 2010-04-15 Sony Computer Entertainment Inc 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US8712146B2 (en) 2008-12-22 2014-04-29 Electronics And Telecommunications Research Institute Method of creating animatable digital clone from multi-view images
JP2012516507A (ja) * 2009-01-30 2012-07-19 マイクロソフト コーポレーション 標準的なジェスチャー
JP2012098988A (ja) * 2010-11-04 2012-05-24 Sony Corp 画像処理装置および方法、並びにプログラム
US9792494B2 (en) 2010-11-04 2017-10-17 Sony Corporation Image processing apparatus, method, and program capable of recognizing hand gestures
JP2012113460A (ja) * 2010-11-24 2012-06-14 Sony Corp 情報処理装置および方法、並びにプログラム
JP4994525B1 (ja) * 2011-01-26 2012-08-08 パナソニック株式会社 関節領域表示装置、関節領域検出装置、関節領域帰属度算出装置、関節状領域帰属度算出装置および関節領域表示方法
US8929599B2 (en) 2011-01-26 2015-01-06 Panasonic Corporation Articulation region display apparatus, articulation region detecting apparatus, articulation region belongingness calculating apparatus, articulated object region belongingness calculating apparatus, and articulation region display method
WO2012101723A1 (ja) * 2011-01-26 2012-08-02 パナソニック株式会社 関節領域表示装置、関節領域検出装置、関節領域帰属度算出装置、関節状領域帰属度算出装置および関節領域表示方法
JP2014522018A (ja) * 2011-06-22 2014-08-28 マイクロソフト コーポレーション 全自動動的有関節モデル較正
JP2013089247A (ja) * 2011-10-20 2013-05-13 Lg Innotek Co Ltd 目標物を検出するための映像処理方法及び装置
WO2014112631A1 (ja) * 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置及びプログラム
JP2014136137A (ja) * 2013-01-18 2014-07-28 Toshiba Corp 医用情報処理装置及びプログラム
JP2015019777A (ja) * 2013-07-18 2015-02-02 株式会社東芝 体位決定支援装置及び医用画像診断装置
JP2015167008A (ja) * 2013-07-30 2015-09-24 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
US10380759B2 (en) 2013-07-30 2019-08-13 Canon Kabushiki Kaisha Posture estimating apparatus, posture estimating method and storing medium
CN103559708A (zh) * 2013-10-30 2014-02-05 同济大学 基于方靶模型的工业定焦相机参数标定装置
WO2017141569A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 制御装置、制御システム、制御方法およびプログラム
JPWO2018087933A1 (ja) * 2016-11-14 2019-06-24 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019095345A (ja) * 2017-11-24 2019-06-20 国立大学法人 岡山大学 物体識別システム
JP2019102877A (ja) * 2017-11-29 2019-06-24 富士通株式会社 カメラの外部パラメータの推定方法、推定装置および推定プログラム
JP7209333B2 (ja) 2018-09-10 2023-01-20 国立大学法人 東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
WO2020054442A1 (ja) * 2018-09-10 2020-03-19 国立大学法人東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
US11967101B2 (en) 2018-09-10 2024-04-23 The University Of Tokyo Method and system for obtaining joint positions, and method and system for motion capture
JP2020042476A (ja) * 2018-09-10 2020-03-19 国立大学法人 東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
US11741629B2 (en) 2019-01-18 2023-08-29 Beijing Sensetime Technology Development Co., Ltd. Controlling display of model derived from captured image
JP2021524113A (ja) * 2019-01-18 2021-09-09 北京市商▲湯▼科技▲開▼▲發▼有限公司Ｂｅｉｊｉｎｇ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．，Ｌｔｄ． 画像処理方法および装置、画像機器、ならびに記憶媒体
JP2021525431A (ja) * 2019-01-18 2021-09-24 北京市商▲湯▼科技▲開▼▲發▼有限公司Ｂｅｉｊｉｎｇ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．，Ｌｔｄ． 画像処理方法及び装置、画像デバイス並びに記憶媒体
JP7061694B2 (ja) 2019-01-18 2022-04-28 北京市商▲湯▼科技▲開▼▲發▼有限公司 画像処理方法および装置、画像機器、ならびに記憶媒体
US11468612B2 (en) 2019-01-18 2022-10-11 Beijing Sensetime Technology Development Co., Ltd. Controlling display of a model based on captured images and determined information
US11538207B2 (en) 2019-01-18 2022-12-27 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, image device, and storage medium
JP2023521952A (ja) * 2020-07-27 2023-05-26 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド ３次元人体姿勢推定方法及びその装置、コンピュータデバイス、並びにコンピュータプログラム
WO2022149190A1 (ja) 2021-01-05 2022-07-14 富士通株式会社 骨格推定装置、骨格推定方法および体操採点支援システム
JP7468871B2 (ja) 2021-03-08 2024-04-16 国立大学法人 東京大学 ３ｄ位置取得方法及び装置
WO2022191140A1 (ja) * 2021-03-08 2022-09-15 国立大学法人 東京大学 ３ｄ位置取得方法及び装置
WO2023195099A1 (ja) * 2022-04-06 2023-10-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
EP4360547A1 (en) * 2022-10-27 2024-05-01 Koninklijke Philips N.V. Patient pose detection apparatus
WO2024088801A1 (en) * 2022-10-27 2024-05-02 Koninklijke Philips N.V. Patient pose detection apparatus

Also Published As

Publication number Publication date
EP1870038B1 (en) 2009-05-13
US20080112592A1 (en) 2008-05-15
US8355529B2 (en) 2013-01-15
DE602007001104D1 (de) 2009-06-25
CN101093582B (zh) 2010-06-02
KR20070120443A (ko) 2007-12-24
CN101093582A (zh) 2007-12-26
EP1870038A1 (en) 2007-12-26
JP4148281B2 (ja) 2008-09-10

Similar Documents

Publication Publication Date Title
JP4148281B2 (ja) モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
Kamal et al. A hybrid feature extraction approach for human detection, tracking and activity recognition using depth sensors
JP5167248B2 (ja) 深度マップによるヒューマノイド形状のモデル化
KR101812379B1 (ko) 포즈를 추정하기 위한 방법 및 장치
JP5422735B2 (ja) 可変姿勢を含む画像シーケンスのリアルタイム利用可能なコンピュータ支援分析方法
US11721114B2 (en) Method, system, and device of generating a reduced-size volumetric dataset
JP5211069B2 (ja) ラベル付けを用いた人体姿勢の推定および追跡
US8428306B2 (en) Information processor and information processing method for performing process adapted to user motion
JP2009536731A5 (ja)
JP2008140101A (ja) 無制約、リアルタイム、かつマーカ不使用の手トラッキング装置
Jatesiktat et al. Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units
Yamauchi et al. Recognition of walking humans in 3D: Initial results
JP3520050B2 (ja) 移動物体追跡装置
Haker et al. Self-organizing maps for pose estimation with a time-of-flight camera
JP3401512B2 (ja) 移動物体追跡装置
Huang et al. A real-time model-based human motion tracking and analysis for human-computer interface systems
Senior Real-time articulated human body tracking using silhouette information
Lefebvre-Albaret et al. Body posture estimation in sign language videos
CN112215928B (zh) 基于视觉图像的动作捕捉方法及数字动画制作方法
Bhanu et al. Model-based human recognition—2D and 3D gait
UNZUETA IRURTIA Markerless full-body human motion capture and combined motor action recognition for human-computer interaction
Schacter Multi-camera active-vision system reconfiguration for deformable object motion capture
Chen et al. Upper body tracking for human-machine interaction with a moving camera
Ding et al. A generalized parametric 3D shape representation for articulated pose estimation
Serra-Pérez et al. 3D gesture recognition with growing neural gas

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080603

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080616

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130704

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees