JP2003308532A - 受動的光学式モーションキャプチャデータの処理法 - Google Patents

受動的光学式モーションキャプチャデータの処理法

Info

Publication number
JP2003308532A
JP2003308532A JP2003033356A JP2003033356A JP2003308532A JP 2003308532 A JP2003308532 A JP 2003308532A JP 2003033356 A JP2003033356 A JP 2003033356A JP 2003033356 A JP2003033356 A JP 2003033356A JP 2003308532 A JP2003308532 A JP 2003308532A
Authority
JP
Japan
Prior art keywords
marker
labeling
passive optical
motion capture
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003033356A
Other languages
English (en)
Inventor
Yoshihiko Nakamura
仁彦 中村
Katsu Yamane
克 山根
Kazutaka Kurihara
一貴 栗原
Ichiro Suzuki
一郎 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2003033356A priority Critical patent/JP2003308532A/ja
Publication of JP2003308532A publication Critical patent/JP2003308532A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 特定のラベリングアルゴリズムや関節角計算
アルゴリズムに依存せず、受動的光学式モーションキャ
プチャのマーカ消失に対するロバスト性を向上し、シス
テム全体のリアルタイム化を可能にする受動的光学式モ
ーションキャプチャデータの処理法を提供する。 【解決手段】複数の受動的光学式マーカを装着した被験
者を撮影する撮影工程と、各時刻に撮影した全マーカの
3次元座標を得る3次元再構成工程と、ある時刻のある
マーカがそれ以前の時刻のどのマーカに対応するかを求
め、マーカと被験者の各部位との対応を決定するラベリ
ング工程と、ラベリングされた全マーカから、それらが
固定されている身体の部位に関する知識に基づいて各関
節の角度を決定し全身の姿勢を求める関節角計算工程
と、からなる受動的光学式モーションキャプチャデータ
の処理法において、ラベリングと関節角計算をループ状
に結合し、同時進行させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の受動的光学
式マーカを装着した被験者を撮影する撮影工程と、各時
刻に撮影した全マーカの3次元座標を得る3次元再構成
工程と、ある時刻のあるマーカがそれ以前の時刻のどの
マーカに対応するかを求め、マーカと被験者の各部位と
の対応を決定するラベリング工程と、ラベリングされた
全マーカから、それらが固定されている身体の部位に関
する知識に基づいて各関節の角度を決定し全身の姿勢を
求める関節角計算工程と、からなる受動的光学式モーシ
ョンキャプチャデータの処理法に関するものである。
【0002】
【従来の技術】図2(a)〜(d)はそれぞれ従来の受
動的光学式モーションキャプチャデータの処理法の一例
の各工程を説明するための図である。はじめに被験者に
マーカを装着し、周囲に設置したカメラにより運動を撮
影する(図2(a))。各カメラには、多数のマーカが
映っており、全てのカメラの2次元画像から、各マーカ
の3次元座標が得られる(図2(b))。得られた各マ
ーカには、どこの部位に装着されたものか、つまり名前
情報が付加されていない。何らかの手段により、これら
マーカに名前を与えるのがラベリングである(図2
(c))。ラベリングは、例えば、ある時刻のあるマー
カがそれ以前の時刻のどのマーカに対応するかを求め、
マーカと被験者の各部位との対応を決定することで行わ
れる。ラベリングされたマーカは、あらかじめ用意され
た、運動を求めたいCGキャラクタなどの身体モデル
(人間などを剛体リンク機構によってコンピュータ内で
表現したもの)上に仮想的に設置されたマーカと対応付
けられ、全ての関節角が計算される(図2(d))。
【0003】受動的光学式モーションキャプチャでは、
通常、撮影を終了した後にラベリングを行う。これは、
手足の陰など、カメラの死角にマーカが入ったために3
次元座標が得られず、データ上で消失してしまったと
き、そして消失していたマーカが再び現れたとき、撮影
と同時に名前を対応付けることが難しいからである。ま
た、自動的にラベリングを行うとき、単に一つ前の時刻
のラベリング結果に基づいて、それぞれのマーカにもっ
とも近いものを同じマーカとする手法では、マーカ消失
及び再出現に対応できないばかりか、被験者の身体構造
では物理的にあり得ない出力をしてしまう。
【0004】Yang Songらは、これらの問題の解決のた
めに、確率密度関数を用いて自動的にラベリングを行う
技術を開発した(Yang Song, Luis Goncalves, Enrico
Di Berrnardo and Pietro Perona, "Monocular Percept
ion of Biological Motion-Detection and Labeling",
In Proc. IEEE CVPR, pp805-812, 1999)。しかし、あ
らかじめ「典型的」な動作を学習させる必要があるとと
もに、撮影に用いるマーカ数を増やすことが難しいもの
であった。また、この技術はラベリングを撮影終了後
に、それぞれの時刻でのラベリングを、全ての時刻を見
据えて矛盾なく行おうとするものであるため、リアルタ
イム化が難しい。
【0005】
【発明が解決しようとする課題】以下に、上述した従来
の受動的光学式モーションキャプチャデータの処理法に
おける問題点を整理する。 (1)被験者の体の形状を考えないでラベリングを行う
ため、物理的にありえない出力をしてしまう。 (2)マーカが消失した場合、そのマーカ位置を推定で
きない。推定のためには、別の手段が必要である。 (3)マーカ消失を前後の何点かの時刻での情報を元に
補完する手法では、撮影と同時にラベリングを行うリア
ルタイムラベリングができない。 (4)前の時刻の情報のみを補完につかう場合には、リ
アルタイムラベリングは可能であるが、ラベリングが過
去の結果に引きずられ、一旦ラベリングに失敗したとき
に、その後の回復ができなくなる。 (5)ラベリングの後の関節角計算の工程では、アルゴ
リズムによってはマーカ消失の有無にかかわらず常に全
てのマーカがラベリングされた状態で存在していないと
計算できないものもあるため、ラベリング工程の負担は
大きい。
【0006】本発明の目的は、特定のラベリングアルゴ
リズムや関節角計算アルゴリズムに依存せず、受動的光
学式モーションキャプチャのマーカ消失に対するロバス
ト性を向上し、システム全体のリアルタイム化を可能に
する受動的光学式モーションキャプチャデータの処理法
を提供しようとするものである。
【0007】
【課題を解決するための手段】本発明の受動的光学式モ
ーションキャプチャデータの処理法は、複数の受動的光
学式マーカを装着した被験者を撮影する撮影工程と、各
時刻に撮影した全マーカの3次元座標を得る3次元再構
成工程と、ある時刻のあるマーカがそれ以前の時刻のど
のマーカに対応するかを求め、マーカと被験者の各部位
との対応を決定するラベリング工程と、ラベリングされ
た全マーカから、それらが固定されている身体の部位に
関する知識に基づいて各関節の角度を決定し全身の姿勢
を求める関節角計算工程と、からなる受動的光学式モー
ションキャプチャデータの処理法において、ラベリング
と関節角計算をループ状に結合し、同時進行させること
を特徴とするものである。
【0008】本発明では、従来切り離されていたラベリ
ングと関節角計算をループ状に結合し、同時進行させる
ことで、以下の作用効果を得ることができる。 (a)関節角計算後に、消失したマーカの座標を推定
し、常に全てのマーカ軌道が得られる。 (b)ラベリング時に、現在被験者がどのような姿勢で
あるかが推測できるので、体の各部に設置したマーカを
発見する作業が効率的に行われる。 (c)各時刻において全てのマーカデータと全ての関節
角度データが得やすくなるので、リアルタイムモーショ
ンキャプチャに応用できる。
【0009】好適な具体例として、関節角計算によって
得られた前の時刻の身体モデル上の仮想的なマーカ一を
参照しながら、現時刻でのラベリングを行う。本発明を
より効果的に実行できるため好ましい態様となる。ま
た、上述した受動的光学式モーションキャプチャデータ
の処理法を利用することで、リアルタイムモーションキ
ャプチャシステムを実現することができる。
【0010】
【発明の実施の形態】本発明の受動的光学式モーション
キャプチャデータの処理法では、ラベリングと関節角計
算とを、別々の作業とせず同時に行う。ラベリングと関
節角計算をループ状に結合し、各時刻に関節角計算で得
られた全身の姿勢から、マーカの位置を予想し、ラベリ
ングに次の時刻での参照情報としてフィードバックす
る。以下、本発明を詳細に説明する。
【0011】関節角計算は、運動を求めたい被験者やC
Gキャラクタ、もしくはヒューマノイドの身体モデルに
基づいて行われる。身体モデルには仮想的なマーカが装
着されており、実際に計測されラベリングされたマーカ
に仮想的なマーカをできるたけ重ね合わせるように各関
節を動かし、全身の姿勢を決定する。関節角計算がマー
カ消失の有無にかかわらず全てのマーカ座標を要求する
か否かはアルゴリズムに依存するが、計算が終了すれば
例外なく身体モデル上の仮想的なマーカの位置は全て求
まる。この性質を利用し、図1(a)〜(f)のような
モーションキャプチャシステムを構築する。
【0012】図1(a)〜(f)を参照して本発明を説
明すると、まず、図1(a)に示す撮影工程と、図1
(b)に示す3次元再構成工程と、図1(c)に示すラ
ベリング工程のうち最初のラベリング工程とは、従来と
同様である。関節角計算時に利用するモデルとして、被
験者の身体に基づく身体モデルを用いる(図1
(d))。関節角計算終了後求まる全ての仮想的なマー
カ座標を、次の時刻のラベリングに参照情報としてフィ
ードバックする(図1(e))。ラベリングは常に得ら
れるこの参照情報を用いて、被験者の身体の形状を考慮
しながらラベリングを行うことができるので、従来より
も性能が向上する。
【0013】ラベリングの手法は様々だが、例えば参照
マーカ位置からの距離が最小のものをラベリングする手
法では、従来は一つ前の時刻のラベリングされたマーカ
位置を参照マーカ位置としていたためにマーカ消失に対
応できなかったが、関節角計算からフィードバックされ
たマーカ位置を参照マーカ位置とすれば、常に参照でき
るのでラベリングを継続できる。もしも消失マーカの有
無にかかわらず全てのマーカ座標を出力しなければなら
ない場合は、応急的な対応ではあるが、与えられた参照
マーカ位置そのままを出力することも可能であり、はな
はだしく不自然な出力を与えないため、データの整合性
を維持できる。
【0014】最終出力として、被験者とは異なる身体比
率をもつ身体モデルの運動を得たい場合は、一度被験者
の身体モデルによって関節角計算を行った結果得られた
全身の仮想的なマーカ列をもとに、新たに異なる身体モ
デルを用いて関節角計算を行う(図1(f))。
【0015】本発明によって、初期時刻におけるラベリ
ングを除けば、全ての時刻において、一つ前の時刻の参
照情報のみによってラベリングと関節角計算が可能とな
り、光学式モーションキャプチャのリアルタイム処理が
実現可能である。
【0016】上述した本発明は、光学式モーションキャ
プチャシステムや光学式リアルタイムモーションキャプ
チャシステムの他、ヒューマノイドなどのロボットのリ
アルタイム全身操作入力デバイスや生体運動計測装置な
どにも好適に応用することができる。
【0017】
【発明の効果】以上の説明から明らかなように、本発明
の光学式モーションキャプチャデータの処理法によれ
ば、従来のラベリングと関節角計算を別に行う手法と比
較して、ラベリングアルゴリズム及び関節角計算アルゴ
リズムはそのままであっても、以下の効果を得ることが
できる。
【0018】(a)ラベリングで探索すべき空間が、関
節角計算からの参照情報により限定される。これはラベ
リングミスの減少と探索時間の減少につながる。 (b)身体の形状を反映した参照情報を用いることで、
物理的にありえないラベリング結果を回避できる。 (c)関節角計算が全てのマーカを入力として要求する
アルゴリズムの場合は、ラベリング側でマーカ消失が起
こったときに、前の時刻の参照情報をそのまま出力する
という対処ができる。 (d)関節角計算さえできれば、マーカ消失の有無にか
かわらず、全ての時刻において全てのマーカの座標を出
力できる。
【図面の簡単な説明】
【図1】(a)〜(f)はそれぞれ本発明の受動的光学
式モーションキャプチャデータの処理法の一例の各工程
を説明するための図である。
【図2】(a)〜(d)はそれぞれ従来の受動的光学式
モーションキャプチャデータの処理法の一例の各工程を
説明するための図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/60 150 G06T 7/60 150P 15/70 15/70 B // B25J 3/00 B25J 3/00 Z (72)発明者 鈴木 一郎 東京都豊島区西巣鴨2−31−7 東大豊島 学寮 Fターム(参考) 2F065 AA04 CC16 FF04 JJ03 JJ26 3C007 JT10 5B050 AA02 AA06 BA08 BA12 DA07 EA05 EA07 EA24 EA28 5B057 DA07 DB03 DC05 DC08 DC14 DC32 DC36 5L096 AA09 BA08 CA04 DA02 FA09 FA67 FA69 GA34 HA04

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の受動的光学式マーカを装着した被
    験者を撮影する撮影工程と、各時刻に撮影した全マーカ
    の3次元座標を得る3次元再構成工程と、ある時刻のあ
    るマーカがそれ以前の時刻のどのマーカに対応するかを
    求め、マーカと被験者の各部位との対応を決定するラベ
    リング工程と、ラベリングされた全マーカから、それら
    が固定されている身体の部位に関する知識に基づいて各
    関節の角度を決定し全身の姿勢を求める関節角計算工程
    と、からなる受動的光学式モーションキャプチャデータ
    の処理法において、ラベリングと関節角計算をループ状
    に結合し、同時進行させることを特徴とする受動的光学
    式モーションキャプチャデータの処理法。
  2. 【請求項2】 関節角計算によって得られた前の時刻の
    身体モデル上の仮想的なマーカ一を参照しながら、現時
    刻でのラベリングを行う請求項1記載の受動的光学式モ
    ーションキャプチャデータの処理法。
  3. 【請求項3】 請求項1または2記載の受動的光学式モ
    ーションキャプチャデータの処理法を利用したことを特
    徴とするリアルタイムモーションキャプチャシステム。
JP2003033356A 2002-02-12 2003-02-12 受動的光学式モーションキャプチャデータの処理法 Pending JP2003308532A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003033356A JP2003308532A (ja) 2002-02-12 2003-02-12 受動的光学式モーションキャプチャデータの処理法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002033991 2002-02-12
JP2002-33991 2002-02-12
JP2003033356A JP2003308532A (ja) 2002-02-12 2003-02-12 受動的光学式モーションキャプチャデータの処理法

Publications (1)

Publication Number Publication Date
JP2003308532A true JP2003308532A (ja) 2003-10-31

Family

ID=29405067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003033356A Pending JP2003308532A (ja) 2002-02-12 2003-02-12 受動的光学式モーションキャプチャデータの処理法

Country Status (1)

Country Link
JP (1) JP2003308532A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005337983A (ja) * 2004-05-28 2005-12-08 Spice:Kk モーションキャプチャー方法及びシステム
JP2009521751A (ja) * 2005-12-22 2009-06-04 本田技研工業株式会社 多関節システムの姿勢の再構築、リターゲット、軌道追従及び推定
JP2009521334A (ja) * 2005-12-22 2009-06-04 本田技研工業株式会社 多関節システムの動作の再構築、リターゲット、軌道追従及び推定
JP2010014712A (ja) * 2008-06-30 2010-01-21 Samsung Electronics Co Ltd モーションキャプチャー装置及びモーションキャプチャー方法
JP2014056289A (ja) * 2012-09-11 2014-03-27 Poletowin Pitcrew Holdings Inc モーションキャプチャ装置及びそのプログラム
JP2016011951A (ja) * 2014-06-04 2016-01-21 アニマ株式会社 仮想マーカーの位置情報の取得方法及び装置、動作計測方法
JP2016198962A (ja) * 2015-04-10 2016-12-01 凸版印刷株式会社 三次元造形物作成装置
JP2018015824A (ja) * 2016-07-26 2018-02-01 公立大学法人会津大学 ロボットを操作する装置、その装置において実行される方法およびプログラム。

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005337983A (ja) * 2004-05-28 2005-12-08 Spice:Kk モーションキャプチャー方法及びシステム
JP2009521751A (ja) * 2005-12-22 2009-06-04 本田技研工業株式会社 多関節システムの姿勢の再構築、リターゲット、軌道追従及び推定
JP2009521334A (ja) * 2005-12-22 2009-06-04 本田技研工業株式会社 多関節システムの動作の再構築、リターゲット、軌道追従及び推定
US8467904B2 (en) 2005-12-22 2013-06-18 Honda Motor Co., Ltd. Reconstruction, retargetting, tracking, and estimation of pose of articulated systems
JP2010014712A (ja) * 2008-06-30 2010-01-21 Samsung Electronics Co Ltd モーションキャプチャー装置及びモーションキャプチャー方法
US8988438B2 (en) 2008-06-30 2015-03-24 Samsung Electronics Co., Ltd. Motion capture apparatus and method
JP2014056289A (ja) * 2012-09-11 2014-03-27 Poletowin Pitcrew Holdings Inc モーションキャプチャ装置及びそのプログラム
JP2016011951A (ja) * 2014-06-04 2016-01-21 アニマ株式会社 仮想マーカーの位置情報の取得方法及び装置、動作計測方法
JP2016198962A (ja) * 2015-04-10 2016-12-01 凸版印刷株式会社 三次元造形物作成装置
JP2018015824A (ja) * 2016-07-26 2018-02-01 公立大学法人会津大学 ロボットを操作する装置、その装置において実行される方法およびプログラム。

Similar Documents

Publication Publication Date Title
KR20030068444A (ko) 수동적 광학식 모션캡처 데이터 처리법
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
US11948376B2 (en) Method, system, and device of generating a reduced-size volumetric dataset
Mur-Artal et al. ORB-SLAM: a versatile and accurate monocular SLAM system
US7956862B2 (en) Determining camera motion
CN109074660B (zh) 单目相机实时三维捕获和即时反馈的方法和系统
US20170070724A9 (en) Camera pose estimation apparatus and method for augmented reality imaging
JP2021527877A (ja) 3次元人体姿勢情報の検出方法および装置、電子機器、記憶媒体
KR20100006324A (ko) 복수 객체 추적 방법과 장치 및 저장매체
GB2573170A (en) 3D Skeleton reconstruction from images using matching 2D skeletons
KR20090108642A (ko) 이미지의 캡쳐링, 프로세싱, 및 렌더링 방법
CN111445526A (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
CN111951201B (zh) 一种无人机航拍图像拼接方法、装置和存储介质
JP2010519629A (ja) 画像内の3次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも1つのキー画像を創出する方法及びデバイス
CN101578613A (zh) 在运动捕捉中使用的标记
JP4938748B2 (ja) 画像認識装置及びプログラム
JP2003308532A (ja) 受動的光学式モーションキャプチャデータの処理法
JP3520050B2 (ja) 移動物体追跡装置
JP2002032741A (ja) 3次元画像生成システムおよび3次元画像生成方法、並びにプログラム提供媒体
Lin et al. Marker-less registration based on template tracking for augmented reality
JP3401512B2 (ja) 移動物体追跡装置
US10366510B1 (en) Systems and methods for determining location and orientation of a body
Verghese et al. Real-time, model-based tracking of three-dimensional objects
GB2573172A (en) 3D skeleton reconstruction with 2D processing reducing 3D processing
JP3668168B2 (ja) 動画像処理装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060110