JP2004093228A - Motion capture system - Google Patents

Motion capture system Download PDF

Info

Publication number
JP2004093228A
JP2004093228A JP2002252051A JP2002252051A JP2004093228A JP 2004093228 A JP2004093228 A JP 2004093228A JP 2002252051 A JP2002252051 A JP 2002252051A JP 2002252051 A JP2002252051 A JP 2002252051A JP 2004093228 A JP2004093228 A JP 2004093228A
Authority
JP
Japan
Prior art keywords
motion capture
capture system
wireless module
position data
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002252051A
Other languages
Japanese (ja)
Inventor
Kazuyuki Kubota
窪田 和之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinko Electric Industries Co Ltd
Original Assignee
Shinko Electric Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinko Electric Industries Co Ltd filed Critical Shinko Electric Industries Co Ltd
Priority to JP2002252051A priority Critical patent/JP2004093228A/en
Publication of JP2004093228A publication Critical patent/JP2004093228A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily measure the action of a human being by directly detecting the positions of sensors themselves fitted to respective major points of the body of the human being, using a positioning technique by electric wave. <P>SOLUTION: Two or more radio modules Mr which simultaneously and individually receive two or more measuring electric waves transmitted from at least three measuring radio transmitters 4, are attached to major points of the human being. In each radio module, the coordinates of the position of each radio module itself are found on the basis of each received measuring electric wave. The found position coordinates are transmitted to a reception processing device 3 with a transmitter which the radio module has. The motion of the human being is captured using the transmitted position coordinates by each radio module. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、測定用電波を利用したモーションキャプチャシステムに関し、特に、動く対象物体に装着された受信機によって複数の送信機からの測定用電波を受信して、該受信機の位置解析を行うことにより対象物体における各箇所の動きを把握するモーションキャプチャシステムに関する。
【0002】
【従来の技術】
最近では、コンピュータの性能の向上に従って、コンピュータグラフィック(CG)技術が急速に進歩してきた。このCG技術を駆使して、動く対象物体、例えば、行動する人間の身体に関する動きのデータを抽出し、コンピュータ処理によって、人間の身体の動きを、表示装置の画面上で自然に表現できるようになっている。この手法では、人間の身体の関節等の動きに関する主要ポイントに、白いマークやランプを貼り付け、実際の人間の動きを数台のテレビカメラで違った角度から撮影しており、撮影された画像をコンピュータで解析して、CGのスケルトンデータを、動きとして解析している。
【0003】
また、このように、テレビカメラで撮影した映像を元にした画像解析を使用せずに、バーチャルリアリティー技術を応用したCG技術として、磁気式と光学式の二つのモーションキャプチャシステムも用いられている。このうち、磁気式のモーションキャプチャシステムは、強力な磁場が用意され、その磁場の空間内で、対象物体である人間が動くようになっており、人間の身体の関節部分に取り付けた磁気センサによって、その空間の位置を割り出すというものである。この磁気式では、データがリアルタイムに入手できるので、例えば、TVなどの番組作成に利用されている。
【0004】
磁気式モーションキャップチヤシステムの場合においては、通常、対象物体である人間の身体中に複数の磁気センサが貼つけられ、この磁気センサからの電気信号を伝達するためのケーブルを引きずった状態で、対象物体の人間が動作しなければならず、その動作に自由度がないという問題があった。また、近くに金属があると、磁界が歪むために、測定を行う場所の設定に苦労し、そして手間がかかるという問題点があった。さらに、三次元座標を求めるのには、一定の磁場強度を必要とするのに対し、磁力線は、磁力線発生源から円を描いて広がっており、その発生源の中心から離れていくほど磁界が弱くなる(歪み)ので、場所によって、位置検出精度が悪くなる。その影響で、画像処理に問題が生じ、測定誤差が発生しやすいという問題があった。
【0005】
一方、最近では、モーションキャプチャ方式として光学式も多く利用されている。この光学式によるモーションキャプチャシステムの利点は、精度が高く、さらに、対象物体である人間の身体に接続するコードを必要としていないので、人間が自然な動きしやすいことにある。
【0006】
この光学式のモ―ションキャプチャシステムの構成を説明する。対象物体である人間の身体上における主要ポイント、例えば、頭、首、肩、腕、手首、腰、膝、足首などに、複数のマーカが取り付けられる。このマーカは、自転車などに用いられる再帰性反射板シ―トを貼りつけた反射球からなっている。そこで、データ処理装置と同期が取られた照明装置から、定期的に赤外線を発光する。その赤外光は、人間の主要ポイントに取り付けられた反射球である複数のマーカから反射され、高速度高感度カメラによってその反射光が捉えられる。照明装置の発光ごとのマーカの位置が、画像データとしてデータ処理装置に取り込まれる。取り込まれた画像は、画像処理後に、三点計測で、三次元形状モデルで空間状の点として変換されるものである。
【0007】
この光学式モーションキャプチャシステムでは、複数の反射球を人間の身体に取り付け、照明装置からの赤外光を反射させることによって、人間の動きを検出しようとするものであるが、これには、データ処理装置と同期が取られた照明装置を必要とすることから、システムが大掛かりとなる欠点がある。そこで、そのような照明装置を必要としないようにするため、反射球の代わりに、点光源を人間の身体上の主要ポイントに取り付けるようにした。
【0008】
点光源による光学式モーションキャプチャシステムの概要を、図7に示した。同図においては、対象物体である人間の身体における動作の主要ポイントとなる頭、首、腕、手首、腰、膝、足首などに、点光源LSnを取り付けた様子を示した。図中、点光源LSnを、図示の都合上、黒丸で示してある。この点光源を、所定距離だけ離れた位置にあるカメラ1で連続撮影する。この撮影された画像は、表示装置2の画面に表示され、点光源LSnの位置が、画面上の座標(X,Y)として検出される。モーションキャプチャの処理は、上述の光学式モーションキャプチャシステムと同様である。
【0009】
【発明が解決しようとする課題】
反射球による光学式モーションキャプチャシステムの場合、人間の身体上に複数取り付けられた反射球の移動位置を全体的に一画像として取り込むため、背景が画像に入らないように、何らかの幕で雇われた空間環境で人間が動作する必要があった。また、大掛かりな画像キャプチャシステムでは、高速度高感度カメラの台数分だけ照明装置が必要となり、三点計測を行った後、どの点に、どのマーカがあったのかの条件設定を考慮しなければならず、リアルタイムの運用が非常に難しいという問題があった。さらに、人間の主要ポイントに取り付けられているマーカである反射球と他の反射球が、人間の動きによっては重なり、或いは、画像を捉える高速度高感度カメラの死角に移動したときなどには、各反射球の識別に誤りが生じ易く、データ処理を誤るといった問題があつた。
【0010】
また、点光源による光学式モーションキャプチャシステムにおいても、使用できる点光源には、発光量、サイズなどの関係で、昼間の屋外で実施することには難点があり、室内で行うことになる。しかも、使用する点光源によっては、撮影したときに識別性を向上するには、単色背景を使用する必要があるため、モーションキャプチャの実行場所に制限があるという問題がある。
【0011】
さらに、反射球の場合と同様に、点光源によるシステムの場合でも、人間の動きによって点光源が隠れてしまう場合があり、キャプチャ情報の途切れに対処するために、その隠れた期間におけるデータを補間する必要がある。特に、二人の人間による動作をキャプチャ使用とする場合には、人間同士の重なりによる点光源の隠れが多発する。図8(a)に示すように、例えば、二人の人間がダンスをしているときのモーションキャプチャを行うような場合に、それぞれに取り付けられた点光源の色を違えることによって、両者を画像上で区別できたとしても、図8(b)に示されるように、二人の動作によっては、カメラ1の側から見て奥に存在する点光源は手前の人の影に入ってしまうAの部分に関して、当該点光源は、画像上に映し出されない。そのため、データ補間を仕切れないときには、一人ずつのキャプチャ処理を行わざるを得なかった。そのため、二人以上の人間の動作を同時にキャプチャ処理することができないという問題があった。
【0012】
また、点光源による光学式モーションキャプチャシステムにおいても、反射球による場合と同様に、人間の動作を検出できるデータは、表示装置の画面上における2次元座標であり、その2次元データを画像処理によって3次元データとして扱うものであった。そのため、キャプチャ処理には、膨大な処理量を必要とし、しかも、処理誤差が生じるという問題があった。
【0013】
そこで、本発明は、以上の問題を解決するためになされたものであり、CG技術で画像解析の評価を行う従来のモーションキャプチャ方式とは異なり、電波による測位技術を用いることで、キャプチャ対象物体、例えば、人間、動物などの身体の主要ポイントに取り付けられたセンサ自体の位置を直接検出するようにして、キャプチャを実行する場所又は環境に制限されずに、人間などの動作を容易に測定できるモーションキャプチャシステムを提供することを目的としている。
【0014】
【課題を解決するための手段】
以上の課題を解決するため、本発明では、モーションキャプチャシステムにおいて、異なる電波源から送信された各々異なる複数の測定用電波を同時に受信し、動くキャプチャ対象物体に装着される受信手段と、受信した前記各測定用電波に従って時刻を測定する測定手段と、測定された前記時刻と前記電波源の位置情報に基づいて、前記受信手段に係る位置を演算して、位置データを生成する位置処理手段と、前記位置データに基づいて前記受信手段のモーションキャプチャを行うモーションキャプチャ処理手段とを備えた。
【0015】
そして、前記測定用電波は、互いに離れた場所に設置された少なくとも3つの基準信号発生器から同時に各々送出される電波を採用し、或いは、少なくとも4つのGPS衛星から送出される電波を採用することとした。
【0016】
また、少なくとも前記受信手段を含み、前記キャプチャ対象物体に装着される無線モジュールを有することとし、該無線モジュールは、さらに前記測定手段を含み、前記位置処理手段に前記時刻情報を無線により送信するように、或いは、前記測定手段と前記位置処理手段を含み、前記位置データをモーションキャプチャ処理手段に無線により送信するようにした。
【0017】
前記無線モジュールは、記憶手段を有するものとし、前記時刻と前記電波源の位置情報、或いは、前記位置データが前記記憶手段に一時的に蓄積されるようにした。
【0018】
また、複数の前記無線モジュールが、前記キャプチャ対象物体において互いに離れた場所に装着され、前記無線モジュールで作成された前記位置データが、一括して前記モーションキャプチャ処理手段に送信され、或いは、前記無線モジュールで作成された前記時刻情報と前記電波源の位置情報が、一括して前記位置処理手段に送信されるようにした。
【0019】
前記位置データは、当該受信手段に係る位置座標値及び識別情報を含むこととした。
【0020】
前記位置座標値は、測定された前記時刻から、前記受信手段への前記測定用電波の到達時間差が求められ、該到達時間差と光速に基づいて擬似距離が算出され、該擬似距離と前記電波源の位置情報から演算されることとした。
【0021】
【発明の実施の形態】
次に、本発明のモーションキャプチャシステムの実施形態を、対象物体として、人間の身体を例にした場合について、図1乃至図6を参照しながら説明する。
【0022】
図1は、本実施形態のモーションキャプチャシステムの特徴を説明するための概要を示している。本実施形態のモーションキャプチャシステムでは、人間の身体上に、センサとして、磁気センサ、点光源などを配置するのではなく、測定用電波を受信し、該測定用電波に基づいて当該センサの位置を求める無線モジュールを使用した。図1に示されるように、無線モジュールMnが、人間の身体上における主要ポイント、例えば、頭、首、腕、手首、腰、膝、足首などの11箇所に装着される。これらの無線モジュールM01乃至M11の各々において、測定用電波が受信され、その位置がそれぞれ特定される。測定用電波は、無線モジュールMnから離れた位置に設置された複数の送信機4から送出される。これらの複数の送信機4の互いの配置は、予め設定され、それぞれの位置、高さが求められている。それらの配置は、人間に対して距離を置いて取り囲むものでも、適度に散らばっていてもよく、測定用空間を設定できればよい。
【0023】
個々の無線モジュールMnでは、送信機4から送信される複数の測定用電波を受信し、複数の測定用電波に基づいて、個々の無線モジュールMnにおける測定用空間内の位置が特定される。個々の無線モジュールMnで特定された位置データは、受信・処理装置3に送信され、ここで、モーションキャプチャが行われる。そして、表示装置2の画面には、無線モジュールMnの位置座標(xn,yn,zn)が、対応スポットとして表示される。人間が動くことにより、無線モジュールMnも移動し、その移動に従って、無線モジュール内で特定される当該無線モジュールの位置座標も変化し、表示装置2の画面上でも、その位置座標の変化に応じて、対応スポットの軌跡が表示される。
【0024】
この様に、本実施形態のモーションキャプチャシステムでは、測定用電波送信機4で形成される測定用空間内において、人間の身体に装着された無線モジュール自体が自身の位置を特定するようにしており、この特定された位置に基づいてモーションキャプチャを行っているので、測定用電波による測定用空間が形成できるところであれば、何処でも、モーションキャプチャを行うことができる。図1に示されるように、屋外であっても、また、天候に左右されることがない。
【0025】
そして、人間の身体に装着された個々の無線モジュールが、自身の位置を特定しているので、当該無線モジュールに関して測定用空間内での絶対的位置を測定できたことになり、測定用電波が無線モジュールに到達することができさえすれば、モーションキャプチャを実現できる。そのため、測定用電波送信機と人間と間に障害物などが存在していても、また、人間がどのような動きをしても、人間が複数であっても、影響されない。そして、モーションキャプチャ処理するためのデータは、動く無線モジュールの位置座標に関連するものであるから、正確な3次元モーションキャプチャデータとなっており、モーションキャプチャ処理による誤差を生じることがない。
【0026】
ここで、図2を参照して、本実施形態のモーションキャプチャシステムの測位原理について説明する。
【0027】
図2では、図1に示された測定用電波送信機4を3つの基準信号発生器で構成した場合を示している。図2では、説明の都合上、特徴部分を強調して示しており、実際には、これらの第1乃至第3基準信号発生器RF1乃至RF3の設置距離は、相当離されているものとし、人間が自由に動きまわれる広さが確保されている。そして、第1乃至第3基準信号発生器RF1乃至RF3の互いの距離L1、L2及びL3は、正確に測定され、さらに、それらの基準面からの高さについても正確に測定されているものとする。
【0028】
これらの測定で得られた位置情報により、各発生器RF1乃至RF3の位置座標(P1,X1,Y1,Z1)、(P2,X2,Y2,Z2)及び(P3,X3,Y3,Z3)に基づいて、立体的な測定用空間が形成され、各無線モジュールでの位置の特定のために、これらの位置座標は記憶される。ここで、P1乃至P3は、各無線モジュールの番号を示し、その他は、3次元座標(X,Y,Z)を表している。
【0029】
このように形成された測定用空間内に、複数の無線モジュールが装着された人間が動くことになる。図2に示された人間の身体上には、無線モジュールの一つを代表的に示し、その無線モジュールに係る位置データを(g1,p1,xn,yn,zn)で示した。実際には、キャプチャ対象物体として二人の人間の場合であれば、図3に示されるように、二人の人間の身体のそれぞれの主要ポイント11箇所に、無線モジュールが装着されるが、各無線モジュールに、グループ番号gnとパーツ番号pnとが割り当てられ、これらの番号は、位置データを構成するため、当該無線モジュール特定されて位置座標(xn,yn,zn)の頭部分に付与される。図2に示した例における位置データ(g1,p1,xn,yn,zn)では、当該無線モジュールが人間の身体を区分する1グループ目に属し、この中で1番目のものであることを示している。
【0030】
次いで、個々の無線モジュールに関する位置データの取得について説明する。第1基準信号発生器RF1から第1電波が、第2基準信号発生器RF2から第2電波が、そして第3基準信号発生器RF3から第3電波が、送信されているとする。ここで、第1乃至第3基準信号発生器RF1乃至RF3における基準時間は、同じになるように調整されているとする。また、無線モジュールの時間は、各発生器の時間精度と同じであるとする。
【0031】
そこで、無線モジュールでは、これらの第1乃至第3電波を受信し、第1乃至第3電波の到着時刻を計測する。その到着時刻をそれぞれt1、t2及びt3とすると、第1乃至第3電波のそれぞれに含まれる発信時刻t0を検出する。
【0032】
ここで、光速をcとし、各発生器RF1乃至RF3と当該無線モジュールとの間の距離をそれぞれd1、d2及びd3とすると、
t1−t0=d1/c
t2−t0=d2/c
t3−t0=d3/c
の関係が成立するので、計測した到着時刻t1乃至t3から距離d1乃至d3を計算することができる。
【0033】
この距離d1を半径とし、発生器RF1の位置座標(X1,Y1,Z1)を中心とする第1球面、距離d2を半径とし、発生器RF2の位置座標(X2,Y2,Z2)を中心とする第2球面、そして、距離d3を半径とし、発生器RF3の位置座標(X3,Y3,Z3)を中心とする第3球面を想定し、これらの3つの第1乃至第3球面が交差する点を求める。この3球面が交差する点が、測定用空間内の当該無線モジュールに係る位置座標(xn,yn,zn)となり、位置データ(g1,p1,xn,yn,zn)が生成される。
【0034】
この様にして、各無線モジュールは、第1乃至第3電波を他の無線モジュールとは独立して受信し、それぞれの無線モジュール自身に係る位置データが生成される。生成された位置データは、受信・処理装置3に送信され、モーションキャプチャのための情報となる。
【0035】
なお、求めた距離d1、d2及びd3による3つの球面が一点で交差しないときに、第1乃至第3基準信号発生器の時刻精度が高い場合には、無線モジュールにおける時刻ズレが原因であることがあり、この様なときには、第1乃至第3基準信号発生器の他に、さらにもう一台の基準信号発生器を増設し、無線モジュールにおける時刻ズレを補正するようにすると、正確な位置データを生成することができる。
【0036】
次に、キャプチャの対象物体である人間の身体に装着される無線モジュールMnのブロック構成を図4に示した。無線モジュールは、RF受信機5、受信信号処理装置6、記憶装置7、そしてRF送信機8から構成されている。無線モジュールは、モーションキャプチャシステムの無線端末装置の役割を持っており、人間の身体上の主要ポイントに装着できるように、軽量且つコンパクトに形成され、ベルトなどによる装着具を備えたものとなっている。
【0037】
RF受信機5は、アンテナを有しており、第1乃至第3基準信号発生器RF1乃至RF3によって送信された第1乃至第3電波を受信する機能を持っている。受信信号処理装置6では、受信した第1乃至第3電波に基づいて、上述したように、第1乃至第3電波のそれぞれの到達時刻t1乃至t3を計測し、その計測値から、当該無線モジュールと、第1乃至第3基準信号発生器RF1乃至RF3とのそれぞれの距離d1乃至d3を計算する。そして、記憶装置7に記憶された第1乃至第3基準信号発生器RF1乃至RF3の位置座標を基にして、半径d1乃至d3の3つの球面を演算する。ここで、これらの球面が共に交差する点を求め、当該無線モジュールに係る位置データを生成する。
【0038】
RF送信機8は、アンテナを有しており、受信信号処理装置6で生成された当該無線モジュールに係る位置データを受信・処理装置2に送信する機能を持っており、受信信号処理装置6において所定間隔で生成される位置データをリアルタイムで受信・処理装置2に送信する。また、記憶装置7の記憶容量が大きければ、一時的に、或いは、モーションキャプチャ期間に生成された位置データを記憶装置7に記憶しておき、一括して受信・処理装置2に送信するようにしてもよい。
【0039】
記憶装置7を、記録媒体とし、これに、モーションキャプチャ期間に生成された位置データを全て記憶するようにし、キャプチャ終了後、無線モジュールからこの記録媒体を抜き取り、これを受信・処理装置2に挿入し、位置データを読み込ませるようにしてもよい。
【0040】
一方、人間の動きをモーションキャプチャしようとするとき、身体の特定の部位だけをキャプチャする場合は、無線モジュールは、一つ装着される。しかし、対象物体である人間の全体の動きをモーションキャプチャするときは、通常、複数の無線モジュールを主要ポイントに装着する。この複数の無線モジュールを装着する場合には、各無線モジュールを小型化するために、各無線モジュール内の受信信号処理装置6を共通化することもできる。この場合、無線モジュールには、受信機能を残し、他の受信信号処理装置6、記憶装置7、RF送信機8を人間の身体上の一箇所に集中して装着できるようにし、各無線モジュールとは、人間の動きを阻害しない程度のケーブルで接続する。
【0041】
このような接続形態とするとき、受信信号処理装置6では、各無線モジュールから送られてくる第1乃至第3電波に関する受信情報に対して、時分割処理を施すことで位置データの生成処理に対処できる。また、人間の身体に複数の無線モジュールを装着した場合には、複数のうち、メインとなる無線モジュールについては、図4に示される構成とし、他の無線モジュールには、無線機能だけを残すようにしてもよい。
【0042】
これまでは、人間の身体に装着される無線モジュールの構成について説明してきたが、次に、図5を参照して、図1に示された受信・処理装置3について説明する。
【0043】
受信・処理装置3は、各無線モジュールから送信される位置データに基づいてモーションキャプチャ処理を行う機能を有し、RF受信機9、位置データ処理装置10、記憶装置11、そしてモーションキャプチャ制御装置12からなり、その処理結果が表示される画面を有する表示装置2が接続されている。
【0044】
RF受信機9は、無線モジュールから送信される信号を受信する機能を有し、位置データ処理装置10において、受信した信号から、各無線モジュールで生成された位置データが抽出され、その位置データは、記憶装置11に格納される。そして、モーションキャプチャ制御装置12において、記憶装置10に格納された位置データに含まれる座標値(xn,yn,zn)がそのまま使用され、この座標値が、無線モジュール毎に時系列に処理されて、人間の身体上の主要ポイントに係る3次元のモーションキャプチャデータに変換される。表示装置2の画面に表示されるモーションスポットは、この座標値(xn,yn,zn)に対応した位置に表示される。
【0045】
なお、これまでは、無線モジュール内で座標値(xn,yn,zn)を含む位置データを生成するようにしてが、無線モジュール内の受信信号処理装置6の処理負担を軽減するために、受信信号処理装置6では、第1乃至第3電波に基づく時刻情報までを生成し、座標値を含む位置データを生成することなく、RF送信機8から送信される信号には、時刻情報を含めるようにしてもよい。この場合には、受信・処理装置3において、受信した時刻情報に基づいた各無線モジュールに係る座標値が演算されることになる。
【0046】
以上のように、本実施形態のモーションキャプチャシステムでは、複数の測定用電波によって形成された測定用空間内において、複数の無線モジュールを人間の身体に装着し、測定用電波を無線モジュールによって受信することにより、人間の動きに合った座標値が生成されるので、この座標値を用いることによって、複雑な画像処理に拠らなくても、簡単に、そして正確にモーションキャプチャを行うことができる。
【0047】
これまで説明した本実施形態のモーションキャプチャシステムでは、測定用空間を形成するために、特別に用意した第1乃至第3基準信号発生器を適当な感覚を置いて配置していたが、次に、本実施形態のモーションキャプチャシステムにおける測定用空間を形成するのに、グローバル・ポジショニングシステム(GPS)測位を利用する場合について、図6を参照して説明する。
【0048】
図6に示したGPS測位利用のモーションキャプチャシステムは、図1のモーションキャプチャシステムの構成を基本としており、人間の身体上に装着された複数の無線モジュールの個々において、測定用電波を受信し、無線モジュール自身の位置を特定し、そしてその位置を受信・処理装置に送信するようになっている。異なることは、GPS測位利用のモーションキャプチャシステムでは、測定用空間が、第1乃至第3基準信号発生器からの電波によるものではなく、その変わりに、地球を周回する複数のGPS衛生からの電波によって形成されていることである。
【0049】
人間の身体上に装着される無線モジュールの個々に、GPSアンテナが装備されており、個々の無線モジュールにおいて、GPS測位手法に従って無線モジュール自身の位置測定が行なわれる。図6において、無線モジュールの一つを代表的に示したが、その無線モジュールで測定された位置データ(b1,p1,xn,yn,zn)が、受信・処理装置3に送信される。そして受信・処理装置3では、表示装置2の画面に示されるように、その位置データに基づいて、特別な演算処理をしないで、人間の動きに対するモーションキャプチャが行われる。
【0050】
ここで、GPS測位利用のモーションキャプチャシステムにおける無線モジュールの位置測定について説明する。
【0051】
このGPS測位による位置測定は、空間的位置が分かっている少なくとも4つのGPS衛星ST1乃至ST4から時刻t0に送信された電波を利用する。そこで、各衛星と無線モジュールとの擬似距離をそれぞれd1、d2、d3、d4とし、光速をcとし、さらに、無線モジュールにおけるGPS衛星の時刻に対する時刻誤差をδtとすると、
t1=t0+d1/c+δt
t2=t0+d2/c+δt
t3=t0+d3/c+δt
t4=t0+d4/c+δt
の関係が成立するので、4つのGPS衛星について同時に電波の到達時刻差Δt1、Δt2、Δt3、Δt4を測定する。Δti=ti−t0の関係にある。測定されたΔtiに基づいて、擬似距離d1、d2、d3、d4を計算する。
【0052】
次いで、時刻t0における4つのGPS衛星の位置を、送信された電波から軌道情報を求めて計算し、計算された4つのGPS衛星の位置を基準にして、無線モジュールまでの擬似距離を半径とする球殻を求める。4つの球殻が一点で交差するように、無線モジュールの受信位置(xn,yn,zn)と時刻誤差δtを決定する。なお、5つ以上のGPS衛星を利用する場合には、最小二乗法により、誤差最小点を決定する。
【0053】
この様にして、無線モジュールに係る受信位置が特定されたならば、無線モジュールでは、その受信位置を含む位置データ(g1,p1,xn,yn,zn)を生成し、この位置データを受信・処理装置3に送信する。これ以降のモーションキャプチャ処理は、図1及び図2に示したモーションキャプチャシステムの場合と同様であるので、その説明を省略する。
【0054】
ここで述べたGPS測位利用のモーションキャプチャシステムでも、人間の身体上に装着した無線モジュールによって、人間の動きに応じた主要ポイントの位置座標を求められ、この位置座標をそのままモーションキャプチャ処理に利用することができ、複雑な画像処理によるモーションキャプチャを行う必要がなくなる。
【0055】
なお、GPS測位利用のモーションキャプチャシステムにおいては、各無線モジュール内に、GPS測位システムを組み込み、無線モジュール毎の位置データを求め、受信・処理装置3にその位置データを送信することによっても実現できるが、この仕方では、無線モジュール自体の処理負荷が大きくなり、GPS測位手法によっては、位置を特定する処理に時間を要し、リアルタイム処理に不向きな手法もあるので、4つのGPS衛星からの電波の到達時刻情報、それらの軌道情報など、位置データの生成上必要な情報を逐次蓄積するようにし、測定を終了してから、一括して各無線モジュールに係る位置データを作成することもできる。この場合に、これらの情報は、人間の身体上にある記憶装置に蓄積されても、あるいは、受信・処理装置3に送信されて蓄積されるようにしてもよい。
【0056】
【発明の効果】
以上のように、本発明によれば、対象物体上に装着した無線モジュールが、受信した複数の測定用電波に基づいて無線モジュール自体の位置データを作成し、対象物体の動きに応じた位置データによってモーションキャプチャを行うモーションキャプチャシステムとしたので、該位置データは、3次元座標値を含んでおり、正確な3次元のモーションキャプチャを行うことができる。
【0057】
また、点光源によるモーションキャプチャシステムとは異なり、距離測位に電波を利用しているので、背景の影響を受けることなく、屋外であっても、さらに、実施場所に起伏があってもモーションキャプチャを行うことができる。
【0058】
そして、無線モジュール毎に生成される位置データに、位置座標値と無線モジュール識別番号を含めたので、モーションキャプチャ処理に、そのまま3次元座標値として利用でき、しかも、対象物体が複数であろうとも、また、装着される無線モジュールが多数となっても、対象物体上の各主要ポイントの動きを正確に3次元でモーションキャプチャを行うことができる。
【図面の簡単な説明】
【図1】本実施形態によるモーショモーンキャプチャシステムの概要を説明する図である。
【図2】本実施形態によるモーショモーンキャプチャシステムのキャプチャ原理を説明する図である。
【図3】無線モジュールに対する付与される位置情報について説明する図である。
【図4】キャプチャ対象の人間の身体上に装着される無線モジュールのブロック構成を説明する図である。
【図5】無線モジュールから送信された位置データ情報に基づいてモーショモーンキャプチャ処理を行うモーショモーンキャプチャ装置のブロック構成を説明する図である。
【図6】GPS測位をモーショモーンキャプチャシステムに適用した実施形態を説明する図である。
【図7】従来のモーショモーンキャプチャシステムを説明する図である。
【図8】従来のモーショモーンキャプチャシステムで得られた画像表示例を説明する図である。
【符号の説明】
1…カメラ
2…表示装置
3…受信・処理装置
4…測定用電波送信機
5、9…RF受信機
6…受信信号処理装置
7、11…記憶装置
8…RF送信機
10…位置データ処理装置
12…モーショモーンキャプチャ制御装置
Mn…無線モジュール
RF1〜RF3…基準信号発生器
ST1〜ST4…GPS衛星
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a motion capture system using a measurement radio wave, and more particularly to receiving a measurement radio wave from a plurality of transmitters by a receiver attached to a moving target object and performing position analysis of the receiver. The present invention relates to a motion capture system for grasping the movement of each part in a target object by using the method.
[0002]
[Prior art]
Recently, computer graphics (CG) technology has rapidly advanced with the improvement of computer performance. By making full use of this CG technology, it extracts motion data relating to a moving target object, for example, a moving human body, and enables computer processing to naturally express the motion of the human body on the screen of a display device. Has become. In this method, white marks and lamps are attached to key points related to movements such as joints of the human body, and actual human movements are photographed from different angles with several TV cameras. Is analyzed by a computer, and the skeleton data of the CG is analyzed as a motion.
[0003]
Further, as described above, two motion capture systems of a magnetic type and an optical type are also used as a CG technology applying a virtual reality technology without using an image analysis based on a video taken by a television camera. . Among them, the magnetic type motion capture system has a strong magnetic field prepared, and the human being, the target object, moves in the space of the magnetic field, and the magnetic sensor attached to the joint part of the human body , To determine the position of that space. In this magnetic system, data can be obtained in real time, and thus it is used for creating programs such as TVs.
[0004]
In the case of a magnetic motion capping system, a plurality of magnetic sensors are usually attached to a human body as a target object, and a cable for transmitting an electric signal from the magnetic sensor is dragged, There is a problem in that the human being as the target object must move, and there is no flexibility in the movement. In addition, when there is a metal nearby, there is a problem in that the magnetic field is distorted, so that it is difficult to set a place for performing the measurement, and it takes time and effort. Furthermore, while obtaining a three-dimensional coordinate requires a constant magnetic field strength, the magnetic field lines extend in a circle from the magnetic field source, and the magnetic field increases as the distance from the center of the source increases. Since it becomes weak (distortion), the position detection accuracy is deteriorated depending on the place. As a result, a problem occurs in image processing, and there is a problem that a measurement error easily occurs.
[0005]
On the other hand, recently, an optical system has been widely used as a motion capture system. The advantages of this optical motion capture system are that it is highly accurate and does not require a cord to connect to the human body as the target object, so that the human can easily move naturally.
[0006]
The configuration of this optical motion capture system will be described. A plurality of markers are attached to main points on the target human body, for example, head, neck, shoulder, arm, wrist, hip, knee, ankle, and the like. This marker is formed of a reflective sphere to which a retroreflective sheet used for bicycles is attached. Therefore, the illumination device synchronized with the data processing device periodically emits infrared light. The infrared light is reflected from a plurality of markers, which are reflecting spheres attached to the main points of the human, and the reflected light is captured by a high-speed and high-sensitivity camera. The position of the marker for each light emission of the lighting device is taken into the data processing device as image data. The captured image is converted into a spatial point in a three-dimensional model by three-point measurement after image processing.
[0007]
This optical motion capture system attempts to detect human movement by attaching multiple reflective spheres to the human body and reflecting infrared light from a lighting device. The disadvantage is that the system is bulky because it requires a lighting device synchronized with the processing device. In order to eliminate the need for such a lighting device, a point light source is attached to a main point on the human body instead of a reflecting sphere.
[0008]
An outline of an optical motion capture system using a point light source is shown in FIG. FIG. 1 shows a state in which a point light source LSn is attached to a head, a neck, an arm, a wrist, a waist, a knee, an ankle, and the like, which are main points of movement in a human body as a target object. In the figure, a point light source LSn is indicated by a black circle for convenience of illustration. The point light source is continuously photographed by the camera 1 located at a position separated by a predetermined distance. The captured image is displayed on the screen of the display device 2, and the position of the point light source LSn is detected as coordinates (X, Y) on the screen. The motion capture processing is the same as that of the above-described optical motion capture system.
[0009]
[Problems to be solved by the invention]
In the case of an optical motion capture system using reflective spheres, we hired some sort of curtain to prevent the background from being included in the image to capture the moving position of multiple reflective spheres attached to the human body as a whole image Humans had to work in a spatial environment. In addition, in a large-scale image capture system, as many lighting devices as the number of high-speed and high-sensitivity cameras are required, and after performing three-point measurement, it is necessary to consider the condition setting of which marker was at which point. In addition, there was a problem that real-time operation was very difficult. Furthermore, when the reflective sphere, which is a marker attached to the main point of the human, and another reflective sphere overlap depending on the movement of the human, or move to the blind spot of a high-speed high-sensitivity camera that captures images, There is a problem that errors are likely to occur in the identification of each reflecting sphere, and erroneous data processing.
[0010]
Also, in an optical motion capture system using a point light source, there is a difficulty in implementing a point light source that can be used outdoors during the day due to the amount of light emission, size, and the like. In addition, depending on the point light source used, it is necessary to use a single-color background in order to improve the discriminability at the time of shooting, so that there is a problem that there is a limitation on the place where the motion capture is executed.
[0011]
Furthermore, as in the case of a reflective sphere, even in the case of a system using a point light source, the point light source may be hidden by human motion, and data during the hidden period is interpolated to cope with the interruption of captured information. There is a need to. In particular, in the case where the movement by two people is used for capture, the point light source is often hidden by the overlap between the people. As shown in FIG. 8A, for example, when performing motion capture when two people are dancing, the colors of the point light sources attached to the two people are different to allow the two to be imaged. Even if it can be distinguished above, as shown in FIG. 8 (b), depending on the movement of the two persons, the point light source present in the depth as seen from the camera 1 side is shadowed by the person in front. The point light source is not displayed on the image for the portion of. Therefore, when the data interpolation cannot be completed, the capture process must be performed for each person. For this reason, there has been a problem that two or more human actions cannot be simultaneously captured.
[0012]
Also, in an optical motion capture system using a point light source, as in the case of using a reflective sphere, data that can detect human motion is two-dimensional coordinates on the screen of a display device, and the two-dimensional data is obtained by image processing. It was treated as three-dimensional data. Therefore, there is a problem that the capture processing requires a huge amount of processing and a processing error occurs.
[0013]
Therefore, the present invention has been made to solve the above-described problem. Unlike a conventional motion capture method in which image analysis is evaluated using CG technology, an object to be captured is obtained by using a positioning technology using radio waves. For example, by directly detecting the position of the sensor itself attached to a main point of the body such as a human or an animal, the movement of a human or the like can be easily measured without being limited to the place or environment where the capture is performed. The purpose is to provide a motion capture system.
[0014]
[Means for Solving the Problems]
In order to solve the above problems, in the present invention, in a motion capture system, a plurality of different measurement radio waves transmitted from different radio wave sources are simultaneously received, and a receiving unit attached to a moving capture target object, Measuring means for measuring time according to each of the measurement radio waves, based on the measured time and position information of the radio wave source, to calculate the position of the receiving means, position processing means to generate position data, Motion capture processing means for performing a motion capture of the receiving means based on the position data.
[0015]
The measurement radio waves may be radio waves simultaneously transmitted from at least three reference signal generators installed at locations apart from each other, or radio waves transmitted from at least four GPS satellites. And
[0016]
In addition, the wireless module includes at least the receiving unit and has a wireless module attached to the capture target object, and the wireless module further includes the measuring unit and wirelessly transmits the time information to the position processing unit. Alternatively, the apparatus further includes the measurement unit and the position processing unit, and the position data is wirelessly transmitted to the motion capture processing unit.
[0017]
The wireless module has a storage unit, and the time and the position information of the radio wave source or the position data are temporarily stored in the storage unit.
[0018]
Further, the plurality of wireless modules are mounted on the capture target object at locations separated from each other, and the position data created by the wireless module is collectively transmitted to the motion capture processing means, or The time information and the position information of the radio wave source created by the module are transmitted to the position processing means in a lump.
[0019]
The position data includes a position coordinate value and identification information related to the receiving unit.
[0020]
The position coordinate value is obtained from the measured time, the arrival time difference of the measurement radio wave to the receiving means is calculated, a pseudo distance is calculated based on the arrival time difference and the speed of light, the pseudo distance and the radio wave source Is calculated from the position information.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment of the motion capture system of the present invention will be described with reference to FIGS. 1 to 6 in a case where a human body is used as an example of a target object.
[0022]
FIG. 1 shows an outline for explaining features of the motion capture system of the present embodiment. In the motion capture system of the present embodiment, instead of disposing a magnetic sensor or a point light source as a sensor on a human body, a radio wave for measurement is received, and the position of the sensor is determined based on the radio wave for measurement. The required wireless module was used. As shown in FIG. 1, the wireless module Mn is mounted at 11 main points on the human body, for example, at the head, neck, arm, wrist, waist, knee, ankle, and the like. In each of these wireless modules M01 to M11, a measurement radio wave is received and its position is specified. The measurement radio waves are transmitted from a plurality of transmitters 4 installed at positions away from the wireless module Mn. The arrangement of the plurality of transmitters 4 is set in advance, and their positions and heights are determined. These arrangements may be arranged to surround the human at a distance or may be appropriately scattered, as long as the measurement space can be set.
[0023]
Each of the wireless modules Mn receives a plurality of measurement radio waves transmitted from the transmitter 4 and specifies the position in the measurement space of each of the wireless modules Mn based on the plurality of measurement radio waves. The position data specified by each wireless module Mn is transmitted to the receiving / processing device 3, where the motion capture is performed. Then, on the screen of the display device 2, the position coordinates (xn, yn, zn) of the wireless module Mn are displayed as corresponding spots. When the human moves, the wireless module Mn also moves, and the position coordinates of the wireless module specified in the wireless module change in accordance with the movement, and also on the screen of the display device 2 according to the change in the position coordinates. , The locus of the corresponding spot is displayed.
[0024]
As described above, in the motion capture system according to the present embodiment, the wireless module itself mounted on the human body specifies its own position in the measurement space formed by the measurement radio transmitter 4. Since the motion capture is performed based on the specified position, the motion capture can be performed anywhere the measurement space can be formed by the measurement radio wave. As shown in FIG. 1, even outdoors, it is not affected by the weather.
[0025]
Then, since each wireless module mounted on the human body specifies its own position, the absolute position of the wireless module in the measurement space can be measured. As long as the wireless module can be reached, motion capture can be realized. For this reason, even if an obstacle or the like exists between the measurement radio transmitter and the person, no matter how the person moves, even if there are a plurality of people, there is no effect. Since the data for the motion capture processing is related to the position coordinates of the moving wireless module, the data is accurate three-dimensional motion capture data, and no error is caused by the motion capture processing.
[0026]
Here, the positioning principle of the motion capture system of the present embodiment will be described with reference to FIG.
[0027]
FIG. 2 shows a case where the measuring radio transmitter 4 shown in FIG. 1 is composed of three reference signal generators. In FIG. 2, for the sake of explanation, the characteristic portions are emphasized, and in practice, the installation distances of the first to third reference signal generators RF1 to RF3 are assumed to be considerably large, The area where humans can freely move around is secured. The distances L1, L2, and L3 between the first to third reference signal generators RF1 to RF3 are accurately measured, and their heights from the reference plane are also accurately measured. I do.
[0028]
Based on the position information obtained by these measurements, the position coordinates (P1, X1, Y1, Z1), (P2, X2, Y2, Z2) and (P3, X3, Y3, Z3) of each of the generators RF1 to RF3 are obtained. Based on this, a three-dimensional measurement space is formed, and these position coordinates are stored for specifying a position in each wireless module. Here, P1 to P3 indicate the numbers of the respective wireless modules, and the others indicate three-dimensional coordinates (X, Y, Z).
[0029]
A person with a plurality of wireless modules moves in the measurement space thus formed. On the human body shown in FIG. 2, one of the wireless modules is typically shown, and position data relating to the wireless module is shown by (g1, p1, xn, yn, zn). Actually, in the case of two humans as the object to be captured, as shown in FIG. 3, the wireless module is attached to each of the eleven main points of the two human bodies. A group number gn and a part number pn are assigned to the wireless module, and these numbers are assigned to the head of the position coordinates (xn, yn, zn) to identify the wireless module in order to form position data. . The position data (g1, p1, xn, yn, zn) in the example shown in FIG. 2 indicates that the wireless module belongs to the first group that divides the human body, and that it is the first group. ing.
[0030]
Next, acquisition of position data on each wireless module will be described. It is assumed that a first radio wave is transmitted from the first reference signal generator RF1, a second radio wave is transmitted from the second reference signal generator RF2, and a third radio wave is transmitted from the third reference signal generator RF3. Here, it is assumed that the reference times of the first to third reference signal generators RF1 to RF3 are adjusted to be the same. The time of the wireless module is assumed to be the same as the time accuracy of each generator.
[0031]
Therefore, the wireless module receives these first to third radio waves and measures the arrival times of the first to third radio waves. Assuming that the arrival times are t1, t2 and t3, the transmission time t0 included in each of the first to third radio waves is detected.
[0032]
Here, assuming that the speed of light is c and the distances between the generators RF1 to RF3 and the wireless module are d1, d2, and d3, respectively,
t1-t0 = d1 / c
t2-t0 = d2 / c
t3-t0 = d3 / c
Holds, the distances d1 to d3 can be calculated from the measured arrival times t1 to t3.
[0033]
This distance d1 is defined as a radius, a first spherical surface centered on the position coordinates (X1, Y1, Z1) of the generator RF1, and the distance d2 is defined as a radius, centered on the position coordinates (X2, Y2, Z2) of the generator RF2. Assuming a second spherical surface and a third spherical surface centered on the position coordinates (X3, Y3, Z3) of the generator RF3 with the distance d3 as a radius, these three first to third spherical surfaces intersect. Find points. The point at which the three spherical surfaces intersect is the position coordinates (xn, yn, zn) of the wireless module in the measurement space, and position data (g1, p1, xn, yn, zn) is generated.
[0034]
In this manner, each wireless module receives the first to third radio waves independently of the other wireless modules, and generates position data relating to each wireless module. The generated position data is transmitted to the receiving / processing device 3 and becomes information for motion capture.
[0035]
If the three spherical surfaces formed by the obtained distances d1, d2, and d3 do not intersect at one point, and the time accuracy of the first to third reference signal generators is high, the time difference in the wireless module may be the cause. In such a case, in addition to the first to third reference signal generators, another reference signal generator is added to correct the time lag in the wireless module, so that accurate position data can be obtained. Can be generated.
[0036]
Next, FIG. 4 illustrates a block configuration of the wireless module Mn that is mounted on a human body that is an object to be captured. The wireless module includes an RF receiver 5, a received signal processing device 6, a storage device 7, and an RF transmitter 8. The wireless module plays the role of a wireless terminal device of the motion capture system, and is formed to be lightweight and compact, and equipped with a belt or other attachment device so that it can be attached to a main point on the human body. I have.
[0037]
The RF receiver 5 has an antenna and has a function of receiving the first to third radio waves transmitted by the first to third reference signal generators RF1 to RF3. As described above, the reception signal processing device 6 measures the arrival times t1 to t3 of the first to third radio waves based on the received first to third radio waves, and calculates the wireless module And the respective distances d1 to d3 between the first and third reference signal generators RF1 to RF3 are calculated. Then, based on the position coordinates of the first to third reference signal generators RF1 to RF3 stored in the storage device 7, three spherical surfaces having radii d1 to d3 are calculated. Here, a point at which these spherical surfaces intersect is determined, and position data relating to the wireless module is generated.
[0038]
The RF transmitter 8 has an antenna, and has a function of transmitting the position data relating to the wireless module generated by the reception signal processing device 6 to the reception / processing device 2. The position data generated at predetermined intervals is transmitted to the reception / processing device 2 in real time. If the storage capacity of the storage device 7 is large, the position data generated temporarily or during the motion capture period is stored in the storage device 7 and transmitted to the reception / processing device 2 collectively. You may.
[0039]
The storage device 7 is used as a recording medium, in which all the position data generated during the motion capture period is stored. After the capture is completed, the recording medium is extracted from the wireless module and inserted into the receiving / processing device 2. Then, the position data may be read.
[0040]
On the other hand, when trying to capture a motion of a person, if only a specific part of the body is to be captured, one wireless module is mounted. However, when performing motion capture of the entire movement of a human being as a target object, usually, a plurality of wireless modules are attached to main points. When the plurality of wireless modules are mounted, the reception signal processing device 6 in each wireless module can be shared in order to reduce the size of each wireless module. In this case, the reception function is left in the wireless module so that the other reception signal processing device 6, the storage device 7, and the RF transmitter 8 can be attached to one place on the human body in a concentrated manner. Is connected with a cable that does not hinder human movement.
[0041]
In such a connection mode, the reception signal processing device 6 performs time-division processing on the reception information on the first to third radio waves transmitted from each wireless module, thereby performing the position data generation processing. I can deal with it. When a plurality of wireless modules are mounted on a human body, the main wireless module among the plurality is configured as shown in FIG. 4 and only the wireless function is left in the other wireless modules. It may be.
[0042]
Until now, the configuration of the wireless module mounted on the human body has been described. Next, the reception / processing device 3 shown in FIG. 1 will be described with reference to FIG.
[0043]
The receiving / processing device 3 has a function of performing a motion capture process based on position data transmitted from each wireless module, and includes an RF receiver 9, a position data processing device 10, a storage device 11, and a motion capture control device 12. And a display device 2 having a screen on which the processing result is displayed is connected.
[0044]
The RF receiver 9 has a function of receiving a signal transmitted from the wireless module. In the position data processing device 10, position data generated by each wireless module is extracted from the received signal. Are stored in the storage device 11. Then, in the motion capture control device 12, the coordinate values (xn, yn, zn) included in the position data stored in the storage device 10 are used as they are, and the coordinate values are processed in time series for each wireless module. Is converted into three-dimensional motion capture data relating to a main point on the human body. The motion spot displayed on the screen of the display device 2 is displayed at a position corresponding to the coordinate values (xn, yn, zn).
[0045]
Heretofore, the position data including the coordinate values (xn, yn, zn) has been generated in the wireless module. However, in order to reduce the processing load on the reception signal processing device 6 in the wireless module, the reception data is processed. The signal processing device 6 generates time information based on the first to third radio waves, and includes time information in a signal transmitted from the RF transmitter 8 without generating position data including coordinate values. It may be. In this case, the receiving / processing device 3 calculates the coordinate value of each wireless module based on the received time information.
[0046]
As described above, in the motion capture system of the present embodiment, in the measurement space formed by the plurality of measurement radio waves, the plurality of wireless modules are mounted on the human body, and the measurement radio waves are received by the wireless module. As a result, coordinate values suitable for human motion are generated. By using these coordinate values, motion capture can be easily and accurately performed without relying on complicated image processing.
[0047]
In the motion capture system of the present embodiment described so far, the first to third reference signal generators specially prepared are arranged with an appropriate feeling in order to form a measurement space. A case where global positioning system (GPS) positioning is used to form a measurement space in the motion capture system of the present embodiment will be described with reference to FIG.
[0048]
The motion capture system using GPS positioning shown in FIG. 6 is based on the configuration of the motion capture system shown in FIG. 1, and each of a plurality of wireless modules mounted on a human body receives a measurement radio wave, The position of the wireless module itself is specified, and the position is transmitted to the receiving / processing device. The difference is that, in a motion capture system using GPS positioning, the measurement space is not based on radio waves from the first to third reference signal generators, but instead is radio waves from a plurality of GPS satellites orbiting the earth. It is formed by.
[0049]
Each of the wireless modules mounted on the human body is equipped with a GPS antenna, and the position of the wireless module itself is measured in each wireless module according to a GPS positioning method. In FIG. 6, one of the wireless modules is shown as a representative, but the position data (b1, p1, xn, yn, zn) measured by the wireless module is transmitted to the receiving / processing device 3. Then, in the receiving / processing device 3, as shown on the screen of the display device 2, based on the position data, a motion capture for a human motion is performed without performing any special arithmetic processing.
[0050]
Here, the position measurement of the wireless module in the motion capture system using GPS positioning will be described.
[0051]
The position measurement by the GPS positioning uses radio waves transmitted at time t0 from at least four GPS satellites ST1 to ST4 whose spatial positions are known. Therefore, if the pseudo distances between each satellite and the radio module are d1, d2, d3, and d4, the speed of light is c, and the time error of the radio module with respect to the time of the GPS satellite is δt,
t1 = t0 + d1 / c + δt
t2 = t0 + d2 / c + δt
t3 = t0 + d3 / c + δt
t4 = t0 + d4 / c + δt
Is established, the arrival time differences Δt1, Δt2, Δt3, and Δt4 of the radio waves are simultaneously measured for the four GPS satellites. Δti = ti−t0. Based on the measured Δti, pseudo distances d1, d2, d3, and d4 are calculated.
[0052]
Next, the positions of the four GPS satellites at time t0 are calculated by calculating orbit information from the transmitted radio waves, and the pseudo distance to the wireless module is defined as a radius based on the calculated positions of the four GPS satellites. Ask for a spherical shell. The receiving position (xn, yn, zn) of the wireless module and the time error δt are determined so that the four spherical shells intersect at one point. When five or more GPS satellites are used, the minimum error point is determined by the least square method.
[0053]
When the receiving position related to the wireless module is specified in this way, the wireless module generates position data (g1, p1, xn, yn, zn) including the receiving position, and receives the position data. It is transmitted to the processing device 3. The subsequent motion capture processing is the same as in the case of the motion capture system shown in FIGS. 1 and 2, and a description thereof will be omitted.
[0054]
Even in the motion capture system using GPS positioning described here, the position coordinates of the main points according to the movement of the human are obtained by the wireless module mounted on the human body, and the position coordinates are used as they are for the motion capture processing. This eliminates the need for performing motion capture by complicated image processing.
[0055]
In the motion capture system using GPS positioning, it can also be realized by incorporating a GPS positioning system in each wireless module, obtaining position data for each wireless module, and transmitting the position data to the receiving / processing device 3. However, in this method, the processing load on the wireless module itself increases, and depending on the GPS positioning method, it takes time to specify the position, and some methods are not suitable for real-time processing. It is also possible to sequentially accumulate information necessary for generating position data, such as arrival time information and their orbit information, and to collectively generate position data for each wireless module after the measurement is completed. In this case, these pieces of information may be stored in a storage device on the human body, or may be transmitted to the receiving / processing device 3 and stored.
[0056]
【The invention's effect】
As described above, according to the present invention, the wireless module mounted on the target object creates position data of the wireless module itself based on the plurality of received measurement radio waves, and the position data according to the movement of the target object. Therefore, the position data includes three-dimensional coordinate values, so that accurate three-dimensional motion capture can be performed.
[0057]
In addition, unlike a motion capture system using a point light source, radio waves are used for distance positioning, so that motion capture can be performed without being affected by the background, even outdoors, and even if there is undulation in the implementation location. It can be carried out.
[0058]
Then, since the position data generated for each wireless module includes the position coordinate value and the wireless module identification number, the position data can be directly used as a three-dimensional coordinate value in the motion capture processing, and even if there are a plurality of target objects. In addition, even when a large number of wireless modules are mounted, the motion of each main point on the target object can be accurately three-dimensionally captured.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining an outline of a motion shock capture system according to an embodiment.
FIG. 2 is a diagram illustrating a capture principle of a motion-shot capture system according to the present embodiment.
FIG. 3 is a diagram illustrating position information given to a wireless module.
FIG. 4 is a diagram illustrating a block configuration of a wireless module mounted on a human body to be captured;
FIG. 5 is a diagram illustrating a block configuration of a motion-moun capture device that performs motion-moun capture processing based on position data information transmitted from a wireless module.
FIG. 6 is a diagram illustrating an embodiment in which GPS positioning is applied to a motion shock capture system.
FIG. 7 is a diagram illustrating a conventional motion shock capture system.
FIG. 8 is a diagram for describing an example of image display obtained by a conventional motion-shot capture system.
[Explanation of symbols]
1. Camera
2 ... Display device
3. Receiving / processing device
4: Measurement radio transmitter
5, 9… RF receiver
6 ... Reception signal processing device
7, 11 ... storage device
8 ... RF transmitter
10 Position data processing device
12 ... Motion Morning Capture Controller
Mn: Wireless module
RF1 to RF3: Reference signal generator
ST1-ST4 ... GPS satellites

Claims (12)

異なる電波源から送信された各々異なる複数の測定用電波を同時に受信し、動くキャプチャ対象物体に装着される受信手段と、
受信した前記各測定用電波に従って時刻を測定する測定手段と、
測定された前記時刻と前記電波源の位置情報に基づいて、前記受信手段に係る位置を演算して、位置データを生成する位置処理手段と、
前記位置データに基づいて前記受信手段のモーションキャプチャを行うモーションキャプチャ処理手段と、
を有するモーションキャプチャシステム。
Receiving means attached to a moving capture target object, simultaneously receiving a plurality of different measurement radio waves transmitted from different radio wave sources,
Measuring means for measuring time according to each of the received measurement radio waves,
Based on the measured time and the position information of the radio wave source, calculate the position of the receiving means, position processing means to generate position data,
Motion capture processing means for performing a motion capture of the receiving means based on the position data,
Motion capture system having
前記測定用電波は、互いに離れた場所に設置された少なくとも3つの基準信号発生器から同時に各々送出される電波であることを特徴とする請求項1に記載のモーションキャプチャシステム。2. The motion capture system according to claim 1, wherein the measurement radio waves are radio waves simultaneously transmitted from at least three reference signal generators installed at locations separated from each other. 3. 前記測定用電波は、少なくとも4つのGPS衛星から送出される電波であることを特徴とする請求項1に記載のモーションキャプチャシステム。The motion capture system according to claim 1, wherein the measurement radio waves are radio waves transmitted from at least four GPS satellites. 少なくとも前記受信手段を含み、前記キャプチャ対象物体に装着される無線モジュールを有することを特徴とする請求項2又は3に記載のモーションキャプチャシステム。The motion capture system according to claim 2, further comprising a wireless module that includes at least the receiving unit and is mounted on the capture target object. 前記無線モジュールは、前記測定手段を含み、前記位置処理手段に前記時刻情報を無線により送信することを特徴とする請求項4に記載のモーションキャプチャシステム。The motion capture system according to claim 4, wherein the wireless module includes the measurement unit, and transmits the time information to the position processing unit wirelessly. 前記無線モジュールは、前記測定手段と前記位置処理手段を含み、前記位置データをモーションキャプチャ処理手段に無線により送信することを特徴とする請求項4に記載のモーションキャプチャシステム。The motion capture system according to claim 4, wherein the wireless module includes the measurement unit and the position processing unit, and transmits the position data to the motion capture processing unit wirelessly. 前記無線モジュールは、記憶手段を有し、
前記時刻と前記電波源の位置情報、或いは、前記位置データが前記記憶手段に一時的に蓄積されることを特徴とする請求項4乃至6に記載のモーションキャプチャシステム。
The wireless module has storage means,
The motion capture system according to claim 4, wherein the time and the position information of the radio wave source or the position data are temporarily stored in the storage unit.
複数の前記無線モジュールが、前記キャプチャ対象物体において互いに離れた場所に装着されていることを特徴とする請求項4乃至7のいずれか一項に記載のモーションキャプチャシステム。The motion capture system according to any one of claims 4 to 7, wherein the plurality of wireless modules are mounted on the capture target object at locations separated from each other. 前記無線モジュールで作成された前記位置データは、一括して前記モーションキャプチャ処理手段に送信されることを特徴とする請求項8に記載のモーションキャプチャシステム。9. The motion capture system according to claim 8, wherein the position data created by the wireless module is transmitted to the motion capture processing unit in a lump. 前記無線モジュールで作成された前記時刻情報と前記電波源の位置情報は、一括して前記位置処理手段に送信されることを特徴とする請求項8に記載のモーションキャプチャシステム。9. The motion capture system according to claim 8, wherein the time information and the position information of the radio wave source created by the wireless module are transmitted to the position processing unit in a lump. 前記位置データは、当該受信手段に係る位置座標値及び識別情報を含むことを特徴とする請求項8乃至10のいずれか一項に記載のモーションキャプチャシステム。The motion capture system according to claim 8, wherein the position data includes a position coordinate value and identification information related to the receiving unit. 前記位置座標値は、測定された前記時刻から、前記受信手段への前記測定用電波の到達時間差が求められ、該到達時間差と光速に基づいて擬似距離が算出され、該擬似距離と前記電波源の位置情報から演算されることを特徴とする請求項11に記載のモーションキャプチャシステム。The position coordinate value is obtained from the measured time, the arrival time difference of the measurement radio wave to the receiving means is calculated, a pseudorange is calculated based on the arrival time difference and the speed of light, and the pseudorange and the radio wave source are calculated. The motion capture system according to claim 11, wherein the motion capture system is calculated from the position information.
JP2002252051A 2002-08-29 2002-08-29 Motion capture system Pending JP2004093228A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002252051A JP2004093228A (en) 2002-08-29 2002-08-29 Motion capture system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002252051A JP2004093228A (en) 2002-08-29 2002-08-29 Motion capture system

Publications (1)

Publication Number Publication Date
JP2004093228A true JP2004093228A (en) 2004-03-25

Family

ID=32058423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002252051A Pending JP2004093228A (en) 2002-08-29 2002-08-29 Motion capture system

Country Status (1)

Country Link
JP (1) JP2004093228A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159307A (en) * 2011-01-29 2012-08-23 Ihi Corp Three-dimensional shape deriving apparatus and three-dimensional shape deriving method
KR102054713B1 (en) * 2018-10-30 2019-12-11 주식회사 삼우이머션 Collision avoidance method
KR102054712B1 (en) * 2018-06-28 2020-01-22 주식회사 삼우이머션 Apparatus for preventing player collision accident
KR20220070665A (en) 2020-11-23 2022-05-31 주식회사 삼우이머션 Apparatus for preventing player collision accident

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159307A (en) * 2011-01-29 2012-08-23 Ihi Corp Three-dimensional shape deriving apparatus and three-dimensional shape deriving method
KR102054712B1 (en) * 2018-06-28 2020-01-22 주식회사 삼우이머션 Apparatus for preventing player collision accident
KR102054713B1 (en) * 2018-10-30 2019-12-11 주식회사 삼우이머션 Collision avoidance method
KR20220070665A (en) 2020-11-23 2022-05-31 주식회사 삼우이머션 Apparatus for preventing player collision accident

Similar Documents

Publication Publication Date Title
JP6293110B2 (en) Point cloud data acquisition system and method
Shang et al. Measurement methods of 3D shape of large-scale complex surfaces based on computer vision: A review
KR101768958B1 (en) Hybird motion capture system for manufacturing high quality contents
CN104217439B (en) Indoor visual positioning system and method
US20180135969A1 (en) System for measuring the position and movement of an object
KR101220527B1 (en) Sensor system, and system and method for preparing environment map using the same
US9183638B2 (en) Image based position determination
CN107582098B (en) three-dimensional ultrasonic imaging method for two-dimensional ultrasonic image set reconstruction
KR20140049361A (en) Multiple sensor system, and apparatus and method for three dimensional world modeling using the same
CN107909624B (en) Method for extracting and fusing two-dimensional image from three-dimensional tomography
US20070076096A1 (en) System and method for calibrating a set of imaging devices and calculating 3D coordinates of detected features in a laboratory coordinate system
Aliakbarpour et al. An efficient algorithm for extrinsic calibration between a 3d laser range finder and a stereo camera for surveillance
CN113191388A (en) Image acquisition system for target detection model training and sample generation method
CN113487726B (en) Motion capture system and method
JP2003106812A (en) Image information processing method, system and program utilizing the method
JP2004093228A (en) Motion capture system
CN112884832B (en) Intelligent trolley track prediction method based on multi-view vision
JP2001025001A (en) Abnormal object monitor
CN113888702A (en) Indoor high-precision real-time modeling and space positioning device and method based on multi-TOF laser radar and RGB camera
CN208314856U (en) A kind of system for the detection of monocular airborne target
JP3359241B2 (en) Imaging method and apparatus
CN107478227B (en) Interactive large space positioning algorithm
JP2005283195A (en) Position detection system and imaging apparatus
Singh et al. Performance comparison: optical and magnetic head tracking
CN106842219B (en) A kind of space ranging method and system for mixed reality equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A521 Written amendment

Effective date: 20070615

Free format text: JAPANESE INTERMEDIATE CODE: A523

A131 Notification of reasons for refusal

Effective date: 20071218

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080708