JP2005258891A - 3d motion capturing method and device - Google Patents

3d motion capturing method and device Download PDF

Info

Publication number
JP2005258891A
JP2005258891A JP2004070830A JP2004070830A JP2005258891A JP 2005258891 A JP2005258891 A JP 2005258891A JP 2004070830 A JP2004070830 A JP 2004070830A JP 2004070830 A JP2004070830 A JP 2004070830A JP 2005258891 A JP2005258891 A JP 2005258891A
Authority
JP
Japan
Prior art keywords
marker
solid
position marker
coordinates
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004070830A
Other languages
Japanese (ja)
Inventor
Noriko Aragaki
紀子 新垣
Akira Onozawa
晃 小野澤
Ikuo Harada
育生 原田
Hisao Nojima
久雄 野島
Hidenori Sato
秀則 佐藤
Hidekazu Hosoya
英一 細谷
Hiroto Matsuoka
裕人 松岡
Takuya Otsuka
卓哉 大塚
Yoshinori Kitahashi
美紀 北端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004070830A priority Critical patent/JP2005258891A/en
Publication of JP2005258891A publication Critical patent/JP2005258891A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To obtain the state of irregularities and each part that are subjected to motion capture using a marker without any need for power supply by tracking even if they are hidden once. <P>SOLUTION: A unique position marker is attached to each part of a human body 6. The human body 6 is photographed by a camera 1. A marker position calculation section 4 detects the position marker from the image, obtains position marker information, such as the position, rotational angle, or the like of the position marker in a camera screen, and obtains the position coordinates and rotational angle in the absolute coordinates system of each position marker from the position marker DB2. A motion processing section 5 repeats processing for obtaining data on the center coordinates and inclination (3 axes) of each column from the position and inclination data of each position marker for accumulating data. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は３Ｄモーションキャプチャ方法および装置に関する。   The present invention relates to a 3D motion capture method and apparatus.

従来のモーションキャプチャシステムとして、反射特性の優れた特殊なマーカを人体に取り付け、そのマーカの動きを６台のカメラで検出し、ソフトウェア的に３次元を再構成するものがある（非特許文献１）。
岡本庄司、山根克、中村仁彦「ビヘイビアキャプチャシステムにおけるリアルタイムモーションキャプチャ」日本機械学会［Ｎｏ．００−２］ ロボティクス・メカトロニクス講演会 '００ 講演論文集。 As a conventional motion capture system, there is one in which a special marker having excellent reflection characteristics is attached to a human body, the movement of the marker is detected by six cameras, and three-dimensional reconstruction is performed by software (Non-patent Document 1). ).
Shoji Okamoto, Katsushi Yamane, Yoshihiko Nakamura “Real-time motion capture in behavior capture system” The Japan Society of Mechanical Engineers [No. 00-2] Robotics and Mechatronics Lecture '00 Lecture collection.

上述した従来のモーションキャプチャシステムでは、マーカ同士が交差したり、何かの陰に隠れた場合、どのマーカのデータか判別できず、キャプチャ後の処理に時間がかかっていた。発光体のマーカを使用する、システムでは電源供給が必要で、動きがさまたげられた。また、キャプチャしたマーカのみからでは、その部位までの奥行き情報、凹凸、回転の判定ができなかった。回転などの動きを判定するには、関節センサなどの大掛かりな装置の装着が必要であった。   In the above-described conventional motion capture system, when markers cross each other or are hidden behind something, it is not possible to determine which marker data, and it takes a long time for processing after capture. Systems that use illuminant markers required power and were hampered. In addition, depth information, unevenness, and rotation cannot be determined only from the captured marker. In order to determine movement such as rotation, it is necessary to attach a large-scale device such as a joint sensor.

本発明の目的は、一度影に隠れたマーカであってもトラッキングが可能であり、電源供給の必要がなく、キャプチャ対象の凹凸や対象（腕や体）の回転の情報が得られる３Ｄモーションキャプチャ方法および装置を提供することにある。   The object of the present invention is to enable tracking even with a marker once hidden in the shadow, without the need for power supply, and to obtain information on unevenness of the capture target and rotation of the target (arm or body). It is to provide a method and apparatus.

モーションキャプチャ対象の各部分を、所定の立体形状（例えば円柱）でモデル化し、各立体にユニークな位置マーカを貼り付け、各位置マーカの絶対座標系での位置、３次元方向の各向き、大きさ、パターン、当該立体の立体ＩＤを位置マーカＤＢに登録し、また各立体の立体ＩＤ、絶対座標系での中心座標、立体の傾き、大きさ、長さを立体ＤＢに登録しておく。   Each part of the motion capture target is modeled with a predetermined solid shape (for example, a cylinder), a unique position marker is pasted on each solid, the position of each position marker in the absolute coordinate system, each direction in three dimensions, and the size The pattern and the solid ID of the solid are registered in the position marker DB, and the solid ID of each solid, the center coordinates in the absolute coordinate system, the inclination, size, and length of the solid are registered in the solid DB.

ここで、位置マーカとしてＡＲ Ｔｏｏｌｋｉｔ（参考文献：加藤 博、Ｍａｒｋ Ｂｉｌｌｉｎｇｈｕｒｓｔ、浅野 浩一、橘 啓八郎「マーカー追跡に基づく拡張感システムとそのキャリブレーション」日本バーチャルリアリティ学会論文誌 Ｖｏｌ．４、Ｎｏ．４、１９９９）のような３Ｄ情報取得に適した（向き、大きさがわかる）マーカを用いる。   Here, AR Toolkit (reference documents: Hiroshi Kato, Mark Billinghurst, Koichi Asano, Keihachiro Tachibana “Expansion system based on marker tracking and its calibration”, Virtual Reality Society Journal, Vol. 4, No. 4 , 1999), a marker suitable for 3D information acquisition (the direction and size are known) is used.

一方、キャプチャ対象の各部位の、立体モデルの位置マーカに対応する位置マーカを貼り付けるか、または伸縮する衣服の上に位置マーカを貼り付ける。マーカ位置がずれた場合、キャリブレーションで対応することができる。   On the other hand, a position marker corresponding to the position marker of the three-dimensional model of each part to be captured is pasted, or a position marker is pasted on the clothes to be expanded and contracted. When the marker position is shifted, it can be dealt with by calibration.

モーションキャプチャ動作では、まず、キャプチャ対象をカメラで撮影し、画像データを取り込む。次に、画像データから位置マーカを検出し、そのマーカＩＤ、カメラ画面での位置座標、大きさ、３軸の回転角を含む位置マーカ情報を取得し、該位置マーカ情報と、位置マーカＤＢの対応する位置マーカの情報と、カメラの位置、光軸方向のデータとから、人体に貼られた位置マーカの絶対座標系での位置座標と、３軸の回転角を求める。次に、キャプチャ対象に貼られた各位置マーカの絶対座標系での位置座標、３軸の回転角、大きさから当該位置マーカに対応する立体の絶対座標系での３軸の傾きと中心位置座標を求め、蓄積する。   In the motion capture operation, first, a capture target is photographed with a camera, and image data is captured. Next, the position marker is detected from the image data, and the position marker information including the marker ID, the position coordinate on the camera screen, the size, and the three-axis rotation angle is acquired. The position marker information and the position marker DB From the corresponding position marker information, the camera position, and data in the optical axis direction, the position coordinate in the absolute coordinate system of the position marker attached to the human body and the rotation angle of the three axes are obtained. Next, the position coordinates in the absolute coordinate system of each position marker affixed to the capture target, the three-axis inclination and the center position in the three-dimensional absolute coordinate system corresponding to the position marker from the three-axis rotation angle and size Find and accumulate coordinates.

以下、以上の動作を繰り返す。   Thereafter, the above operation is repeated.

実際にカメラ画像から取れるのはマーカの位置と向きなので、キャプチャ対象がどういうポーズになっているかという３Ｄデータに変換するために、例えば円柱モデルによって、キャプチャ対象の形を再構成する。人の体の各部位がどのような向きになっているかというデータに変換すれば、ゲームなどを作るときの人の体の自然な動きの入力情報に利用することができ、例えばＨＡＯＲＥＢＡ（参考文献：http://www.dressingsim.com/new/product/haoreba/）の試着サービスの人形を拡張して、人の体の動きに応じて動かして見せるなど、人の体の動きを入力情報としたアプリケーションに応用できる。   Since what is actually taken from the camera image is the position and orientation of the marker, the shape of the capture target is reconstructed by, for example, a cylindrical model in order to convert it into 3D data indicating what pose the capture target is. If it is converted into data indicating the orientation of each part of the human body, it can be used for input information of the natural movement of the human body when making a game or the like. For example, HAOREBA (references) : Http://www.dressingsim.com/new/product/haoreba/) Expanding the fitting service doll to make it move according to the movement of the human body Can be applied to

マーカが一意に定まるので、一度影に隠れたマーカであってもトラッキングが可能である。マーカが発光体でないため、電源供給の必要がなく動きの妨げが少ない。画像をキャプチャした時点で、マーカまでの距離とマーカ面の向きが求められるので、対象（人）のマーカの状況から、キャプチャ対象のマーカの位置、奥行きや凹凸が対象（腕や体）の回転の情報が得られ、動いた対象の部位の位置がわかる。   Since the marker is uniquely determined, it is possible to track even a marker once hidden in the shadow. Since the marker is not a light emitter, there is no need to supply power and there is little hindrance to movement. When the image is captured, the distance to the marker and the orientation of the marker surface are determined, so the position, depth, and unevenness of the marker to be captured depends on the status of the target (person) marker. Information is obtained, and the position of the moved target part is known.

次に、本発明の実施の形態について図面を参照して説明する。   Next, embodiments of the present invention will be described with reference to the drawings.

図１は本発明の一実施形態の３Ｄモーションキャプチャ装置のブロック図、図２はその全体の処理の流れを示すフローチャートである。   FIG. 1 is a block diagram of a 3D motion capture apparatus according to an embodiment of the present invention, and FIG. 2 is a flowchart showing the overall processing flow.

本実施形態ではモーションキャプチャ対象を人６とし、人体モデルとして円柱モデルを用いており、人の大きさにあらかじめ合わせた円柱が用意されている。そして人６が立ったときの普通のポーズとして円柱の位置が決められている。各円柱には矩形の相異なる位置マーカが貼り付けられている。   In this embodiment, the target of motion capture is a person 6, a cylinder model is used as a human body model, and a cylinder is prepared in advance according to the size of the person. The position of the cylinder is determined as a normal pose when the person 6 stands. Each cylinder has a different rectangular position marker attached thereto.

位置マーカＤＢ２には、表１および図３に示すように、各位置マーカのマーカＩＤ、絶対座標系での中心位置（ｘｉ，ｙｉ，ｚｉ）、傾き（θｘｉ，θｙｉ，θｚｉ）、大きさＬｉ，Ｌｊ、パタンＰｉ、円柱ＩＤが登録されている。   In the position marker DB2, as shown in Table 1 and FIG. 3, the marker ID of each position marker, the center position (xi, yi, zi) in the absolute coordinate system, the inclination (θxi, θyi, θzi), the size Li , Lj, pattern Pi, and cylinder ID are registered.

Figure 2005258891
Figure 2005258891

円柱ＤＢ３には、表２に示すように、各円柱の円柱ＩＤ、絶対座標系での円柱中心座標（ｘｉ，ｙｉ，ｚｉ）、円柱の傾き（３軸）（θｘｉ，θｙｉ，θｚｉ）、直径Ｒｉ、長さＬｉが登録されている。一方、人体には円柱モデル上の位置マーカに対応した位置に位置マーカＭ1，Ｍ2，Ｍ3，…，Ｍi+1，…が１つの円柱に対して少なくとも１個カメラ１に写るように配置されている。 In the cylinder DB3, as shown in Table 2, the cylinder ID of each cylinder, the cylinder center coordinates (xi, yi, zi) in the absolute coordinate system, the inclination (three axes) of the cylinder (θxi, θyi, θzi), the diameter Ri and length Li are registered. On the other hand, in the human body, at least one position marker M 1 , M 2 , M 3 ,..., M i + 1 ,. Is arranged.

Figure 2005258891
Figure 2005258891

マーカ位置算出部４は、カメラ１から画像データを取り込み（ステップ１１）、位置マーカを検出、位置マーカ情報（マーカＩＤ、カメラ画面上での座標、大きさ、向き（３軸）など）を取得する。位置マーカ位置ＤＢ２のマーカの大きさと、カメラ画像中の位置マーカの大きさおよび、カメラ１の位置、および画角より、カメラ１から位置マーカまでの距離を計算する。カメラ画像中の位置マーカの位置および、マーカの向きとカメラ１の光軸方向から、位置マーカの絶対座標における向きを求める。カメラ１の座標とカメラ１からマーカまでの距離から、各位置マーカの絶対座標を求める（ステップ１２）。ステップ１２を全ての位置マーカについて繰り返す（ステップ１３）。   The marker position calculation unit 4 captures image data from the camera 1 (step 11), detects the position marker, and acquires position marker information (marker ID, coordinates on the camera screen, size, orientation, etc.). To do. The distance from the camera 1 to the position marker is calculated from the size of the marker in the position marker position DB2, the size of the position marker in the camera image, the position of the camera 1, and the angle of view. From the position of the position marker in the camera image, the direction of the marker, and the optical axis direction of the camera 1, the direction of the position marker in absolute coordinates is obtained. The absolute coordinates of each position marker are obtained from the coordinates of the camera 1 and the distance from the camera 1 to the marker (step 12). Step 12 is repeated for all position markers (step 13).

モーション処理部５は、各位置マーカの位置（絶対座標）、傾きデータから各円柱の中心座標、円柱の傾きのデータ（モーションデータ）を求める処理を一定時間（例えば１０秒）ごとに繰り返し、モーションデータを蓄積する（ステップ１４）。   The motion processing unit 5 repeats the process of obtaining the position of each position marker (absolute coordinates) and the center coordinates of each cylinder and the data of the inclination of the cylinder (motion data) from the inclination data every predetermined time (for example, 10 seconds). Data is accumulated (step 14).

以上の処理は次のシーンがあれば、繰り返される（ステップ１５）。   The above processing is repeated if there is a next scene (step 15).

次に、マーカ位置算出部４のマーカ位置算出処理、モーション処理部５のモーション処理の詳細な処理を説明する。
１）マーカ位置算出処理（図４、図５）
カメラ１で撮影された画像から位置マーカを検出する（ステップ２１）。次に、位置マーカ情報（マーカの種類（Ｍi）、大きさ（Ｌci）、カメラ画面中の位置、回転角（３軸））（図４）を求める（ステップ２２）。次に、位置マーカ情報と位置マーカＤＢ２の情報（位置、向き）から各位置マーカの絶対座標系での位置座標、回転角（向き）を求める（ステップ２３）。
２）モーション処理（図６）
まず、位置マーカのキャリブレーションデータを読み込む（ステップ３１）。円柱の長さや円柱の直径は、例えば身長が１７０ｃｍの人であれば上腕の長さは１８ｃｍ、直径は５ｃｍなどと固定値を用いてもよい。しかし円柱をキャプチャする人体の体のサイズに近いものにするには、手首などの位置を固定して、手首からマーカまでの距離を図ることで、それを円柱の長さにすることもできる。これを本明細書ではキャリブレーションと呼んでいる。つまり実際の人体のサイズに合わせるという意味で使っている。次に、マーカ位置算出部４から位置マーカの絶対値・傾きのデータを読み込む（ステップ３２）。次に、人体モデルである各円柱の位置、向きを算出する（ステップ３３）。位置、向きが算出された全円柱を配置する（ステップ３４）。 Next, detailed processing of marker position calculation processing of the marker position calculation unit 4 and motion processing of the motion processing unit 5 will be described.
1) Marker position calculation processing (FIGS. 4 and 5)
A position marker is detected from the image photographed by the camera 1 (step 21). Next, position marker information (marker type (M i ), size (Lci), position in the camera screen, rotation angle (3 axes)) (FIG. 4) is obtained (step 22). Next, the position coordinate and the rotation angle (direction) of each position marker in the absolute coordinate system are obtained from the position marker information and information (position and orientation) in the position marker DB 2 (step 23).
2) Motion processing (Fig. 6)
First, calibration data of a position marker is read (step 31). As for the length of the cylinder and the diameter of the cylinder, for example, if the height is 170 cm, a fixed value such as 18 cm for the upper arm and 5 cm for the diameter may be used. However, to make the cylinder closer to the size of the human body that captures it, the position of the wrist or the like can be fixed, and the distance from the wrist to the marker can be set to the length of the cylinder. This is called calibration in this specification. In other words, it is used to match the actual size of the human body. Next, the absolute value / inclination data of the position marker is read from the marker position calculation unit 4 (step 32). Next, the position and orientation of each cylinder, which is a human body model, are calculated (step 33). All cylinders whose positions and orientations are calculated are arranged (step 34).

次に、ステップ３３の処理を図７により詳しく説明する。ある円柱に対応する位置マーカＭiのデータ（絶対座標（ｘｉ，ｙｉ，ｚｉ）と傾き（θｘｉ，θｙｉ，θｚｉ））を取り込む（ステップ４１，４２）。次に、すべての位置マーカＭiの情報（中心座標（ｘｉ，ｙｉ，ｚｉ）、傾き（θｘｉ，θｙｉ，θｚｉ））から円柱の傾き（θｘ，θｙ，θｚ）、中心座標（ｘ，ｙ，ｚ）、直径Ｒ（固定）を求める（ステップ４３）。円柱にマーカが２つ以上あり、それぞれから求めた円柱の位置、傾きに矛盾があれば（計算誤差や画像処理の精度などで異なる場合等）、すべての位置Ｍiの情報から最小二乗法のような近似で円柱として妥当性のある状態を求める（ステップ４４，４５）。以上の処理をすべての円柱について繰り返す（ステップ４６）。次に、各円柱が人の形として自然に配置されるように円柱を補正する。また、位置マーカが検出できない円柱に対しては補完する（ステップ４７）。つまり、胴体の円柱が両腕の上腕の円柱の間付近にない時は、人体の形になるように、近傍の円柱から胴体の位置を求める（両腕の円柱の間に胴体の円柱を配置する）。また、たとえば、上腕部の円柱にマーカが見つからないと上腕部の円柱は求められない。そこで、ひじから手首の円柱情報（向き、位置）と、胴体の円柱情報の向き、位置から、上腕の円柱の向きと位置を推定する。最後に、時間軸方向に人の動きとして妥当性のある動きになるように、円柱の移動加速度がある範囲に収まるように円柱の位置を補正する（ステップ４８）。 Next, the process of step 33 will be described in detail with reference to FIG. Data of position markers M i corresponding to a cylindrical (absolute coordinates (xi, yi, zi) and slope (θxi, θyi, θzi)) capturing (step 41). Then, all the position marker M i information (center coordinates (xi, yi, zi), the slope (θxi, θyi, θzi)) from the cylindrical slope ([theta] x, [theta] y, [theta] z), the center coordinates (x, y, z) and a diameter R (fixed) are obtained (step 43). There markers are two or more cylinders, the position of the cylinder determined from the respective, any inconsistencies in the tilt (if the calculated error and the image processing accuracy such as a different or the like), the least square method from the information of all locations M i A reasonable state as a cylinder is obtained by such approximation (steps 44 and 45). The above processing is repeated for all the cylinders (step 46). Next, the cylinders are corrected so that each cylinder is naturally arranged as a human shape. Further, it complements a cylinder for which a position marker cannot be detected (step 47). In other words, when the cylinder of the torso is not in the vicinity between the cylinders of the upper arms of both arms, the position of the torso is obtained from the cylinders in the vicinity so as to form a human body (the cylinder of the torso is placed between the cylinders of both arms. To do). Further, for example, the upper arm cylinder cannot be obtained unless a marker is found in the upper arm cylinder. Therefore, the direction and position of the upper arm cylinder are estimated from the column information (direction and position) of the wrist from the elbow and the direction and position of the cylinder information of the trunk. Finally, the position of the cylinder is corrected so that the movement acceleration of the cylinder falls within a certain range so that the movement is appropriate as a human movement in the time axis direction (step 48).

次に、円柱直径キャリブレーションの例を図８により説明する。まず、キャリブレーション用座標（ｘｃ，ｙｃ，ｚｃ）にたとえば腕を設定する（ステップ５１）。各位置マーカの情報、すなわち中心座標（ｘ１，ｙ１，ｚ１）、傾き（θｘ１，θｙ１，θｚ１）、マーカ大きさＬ１、形状Ｌ1／Ｌ2を求める（ステップ５２）。最後に、キャリブレーション座標と、ある円柱の位置マーカまでの距離、位置マーカの大きさなどから円柱の直径、長さを推定する（ステップ５３）。 Next, an example of cylinder diameter calibration will be described with reference to FIG. First, for example, an arm is set at the calibration coordinates (xc, yc, zc) (step 51). Information for each location marker, that is, the center coordinates (x1, y1, z1), the inclination (θx1, θy1, θz1), marker size L1, obtains the shape L 1 / L 2 (step 52). Finally, the diameter and length of the cylinder are estimated from the calibration coordinates, the distance to the position marker of a certain cylinder, the size of the position marker, and the like (step 53).

なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。   In addition to what is implemented by dedicated hardware, the present invention records a program for realizing the function on a computer-readable recording medium, and the program recorded on the recording medium is stored in a computer system. It may be read and executed. The computer-readable recording medium refers to a recording medium such as a floppy disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in the computer system. Furthermore, a computer-readable recording medium is a server that dynamically holds a program (transmission medium or transmission wave) for a short period of time, as in the case of transmitting a program via the Internet, and a server in that case. Some of them hold programs for a certain period of time, such as volatile memory inside computer systems.

本発明の一実施形態の３Ｄモーションキャプチャ装置の構成図である。It is a block diagram of the 3D motion capture apparatus of one Embodiment of this invention. 図１の３Ｄモーションキャプチャ装置の全体の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the whole process of the 3D motion capture apparatus of FIG. 円柱モデル上での位置マーカの中心座標、傾き、大きさを示す図である。It is a figure which shows the center coordinate, inclination, and magnitude | size of a position marker on a cylinder model. マーカ位置算出部における処理のフローチャートである。It is a flowchart of the process in a marker position calculation part. カメラ画面中のマーカの位置、方向、大きさを示す図である。It is a figure which shows the position of the marker in a camera screen, a direction, and a magnitude | size. モーション処理部における処理のフローチャートである。It is a flowchart of the process in a motion process part. 図６における円柱の位置・向き推定の処理のフローチャートである。It is a flowchart of the process of position / orientation estimation of the cylinder in FIG. 円柱直径キャリブレーションの処理を示すフローチャートである。It is a flowchart which shows the process of cylinder diameter calibration.

符号の説明Explanation of symbols

１ カメラ
２ 位置マーカＤＢ
３ 円柱ＤＢ
４ マーカ位置算出部
５ モーション処理部
６ 人体
１１〜１５，２１〜２３，３１〜３５，４１〜４８，５１〜５３ ステップ 1 Camera 2 Position marker DB
3 Column DB
4 marker position calculation part 5 motion processing part 6 human body 11-15, 21-23, 31-35, 41-48, 51-53 steps

Claims (4)

モーションキャプチャ対象の各部分を、所定の立体形状でモデル化し、各立体に他の位置マーカとは異なるユニークな位置マーカを貼り付け、各位置マーカの絶対座標系での位置、３次元方向の各向き、大きさ、パターン、当該立体の立体ＩＤを位置マーカＤＢに登録し、また各立体の立体ＩＤ、絶対座標系での中心座標、向き（３軸）、大きさ、長さを立体ＤＢに登録しておく位置マーカデータ登録ステップと、
各部位の、前記モデルの位置マーカに対応する位置にユニークな位置マーカが貼られた前記対象をカメラで撮影し、画像データを取り込む画像データ取り込みステップと、
前記画像データから前記各位置マーカを検出し、そのマーカＩＤ、カメラ画面での位置座標、大きさ、３軸の回転角を含む位置マーカ情報を取得し、該位置マーカ情報と、前記位置マーカＤＢの対応する位置マーカの情報と、前記カメラの位置、光軸方向とカメラの画角のデータとから、前記対象に貼られた位置マーカの絶対座標系での位置座標と、３軸の回転角を求めるマーカ位置算出ステップと、
対象に貼られた各位置マーカの絶対座標系での位置座標、３軸の回転角、大きさから当該位置マーカに対応する立体の絶対座標での３軸の傾きと中心位置座標を求め、蓄積するモーション処理ステップと
を有する３Ｄモーションキャプチャ方法。 Each part of the motion capture target is modeled with a predetermined three-dimensional shape, a unique position marker different from other position markers is pasted on each solid, the position of each position marker in the absolute coordinate system, and each three-dimensional direction The direction, size, pattern, and solid ID of the solid are registered in the position marker DB, and the solid ID of each solid, the central coordinates in the absolute coordinate system, the direction (three axes), the size, and the length are stored in the solid DB. Position marker data registration step to be registered,
An image data capturing step for capturing the image data by capturing the object with a unique position marker pasted at a position corresponding to the position marker of the model of each part with a camera;
Each position marker is detected from the image data, position marker information including the marker ID, position coordinates on the camera screen, size, and three-axis rotation angle is acquired. The position marker information and the position marker DB The position coordinate in the absolute coordinate system of the position marker affixed to the object and the rotation angle of the three axes from the information of the corresponding position marker of the camera, the camera position, the optical axis direction, and the camera angle of view data A marker position calculating step for obtaining
Obtain and accumulate the three-axis tilt and center position coordinates in the absolute coordinates of the solid corresponding to the position marker from the position coordinates in the absolute coordinate system of each position marker attached to the object, the rotation angle and size of the three axes A 3D motion capture method comprising: a motion processing step. 前記モーション処理ステップにおいて、各立体が対象として自然な形に配置されるように立体の傾きおよび／または中心座標を補正し、また位置マーカのない立体に対して補完し、さらに時間軸方向に対象の動きとして妥当性のある動きとなるように、立体の傾きおよび／または中心座標を補正する、請求項１に記載の方法。   In the motion processing step, the inclination and / or center coordinates of the solid are corrected so that each solid is arranged in a natural shape as a target, and the solid is complemented for a solid without a position marker. The method according to claim 1, wherein the inclination of the solid and / or the center coordinates are corrected so that the movement becomes a valid movement. モーションキャプチャ対象の各部分を、所定の立体形状でモデル化し、各立体に貼り付けられた、他の位置マーカとは異なるユニークな各位置マーカの絶対座標系での位置、３次元方向の向き、大きさ、パターン、当該立体の立体ＩＤが登録された位置マーカＤＢと、
各立体の立体ＩＤ、絶対座標系での中心座標、向き、大きさ、長さが登録されている立体ＤＢと、
各部位の、前記モデルの位置マーカに対応する位置にユニークな位置マーカが貼られた前記対象を撮影するカメラと、
前記画像データを取り込み、前記画像データから前記各位置マーカを検出し、そのマーカＩＤ、カメラ画面での位置座標、大きさ、３軸の回転角を含む位置マーカ情報を取得し、該位置マーカ情報と、前記位置マーカＤＢの対応する位置マーカの情報と、前記カメラの位置、光軸方向のデータとから、対象に貼られた位置マーカの絶対座標系での位置座標と、３軸の回転角を求めるマーカ位置算出手段と、
対象に貼られた各位置マーカの絶対座標での位置座標、３軸の回転角、大きさから当該位置マーカに対応する立体の絶対座標での３軸の傾きと中心位置座標を求め、蓄積するモーション処理手段と
を有する３Ｄモーションキャプチャ装置。 Each part of the motion capture target is modeled with a predetermined three-dimensional shape, and the position in the absolute coordinate system of each unique position marker different from other position markers attached to each solid, the direction in the three-dimensional direction, A position marker DB in which a size, a pattern, and a solid ID of the solid are registered;
A solid DB in which the solid ID of each solid, the center coordinates in the absolute coordinate system, the orientation, the size, and the length are registered;
A camera that shoots the object with a unique position marker attached to a position corresponding to the position marker of the model of each part;
The image data is captured, each position marker is detected from the image data, and the position marker information including the marker ID, the position coordinates on the camera screen, the size, and the rotation angle of three axes is obtained. And the position coordinate in the absolute coordinate system of the position marker affixed to the target and the rotation angle of the three axes from the information of the corresponding position marker in the position marker DB and the data of the camera position and the optical axis direction Marker position calculating means for obtaining
The position coordinates in the absolute coordinates of each position marker affixed to the object, the rotation angle and the size of the three axes, the three-axis inclination and the center position coordinates in the absolute coordinates of the solid corresponding to the position marker are obtained and stored. A 3D motion capture device comprising: a motion processing means. 請求項１または２に記載の３Ｄモーションキャプチャ方法をコンピュータで実行するためのプログラム。   A program for executing the 3D motion capture method according to claim 1 or 2 on a computer.
JP2004070830A 2004-03-12 2004-03-12 3d motion capturing method and device Pending JP2005258891A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004070830A JP2005258891A (en) 2004-03-12 2004-03-12 3d motion capturing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004070830A JP2005258891A (en) 2004-03-12 2004-03-12 3d motion capturing method and device

Publications (1)

Publication Number Publication Date
JP2005258891A true JP2005258891A (en) 2005-09-22

Family

ID=35084528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004070830A Pending JP2005258891A (en) 2004-03-12 2004-03-12 3d motion capturing method and device

Country Status (1)

Country Link
JP (1) JP2005258891A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100403313C (en) * 2006-09-14 2008-07-16 浙江大学 Extraction method of key frame of 3d human motion data
JP2009521758A (en) * 2005-12-23 2009-06-04 ソニー ピクチャーズ エンターテイメント インコーポレーテッド Group tracking in motion capture
WO2009107703A1 (en) * 2008-02-27 2009-09-03 国立大学法人浜松医科大学 Surgery support system enabling identification of kind of body-inserted instrument
JP2010508609A (en) * 2006-11-01 2010-03-18 ソニー株式会社 Surface capture in motion pictures
JP2010541035A (en) * 2007-09-04 2010-12-24 ソニー株式会社 Integrated motion capture
JP2011503673A (en) 2006-11-01 2011-01-27 ソニー株式会社 Segment tracking in motion pictures
JP2014020986A (en) * 2012-07-20 2014-02-03 Casio Comput Co Ltd Position determination device, position determination system, position determination method and program
JP2014130438A (en) * 2012-12-28 2014-07-10 Fujitsu Ltd Image processing program, image processing method, and image processing apparatus
JP2015523132A (en) * 2012-06-12 2015-08-13 コーニンクレッカ フィリップス エヌ ヴェ Camera vital signs measurement system
CN110044263A (en) * 2019-05-13 2019-07-23 深圳中科飞测科技有限公司 The working method of detection device and detection device
CN111627043A (en) * 2020-04-13 2020-09-04 浙江工业大学 Simple human body curve acquisition method based on marker and feature filter
KR20210020279A (en) * 2019-08-14 2021-02-24 한국기계연구원 Position detecting system for an object using attached markers and method for position detecting using the same
CN112683163A (en) * 2020-12-03 2021-04-20 中国科学院光电技术研究所 Absolute pose measurement precision evaluation method suitable for vision measurement camera
JP2022036963A (en) * 2018-03-30 2022-03-08 株式会社Zozo Size measurement system

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431840B1 (en) * 2005-12-23 2014-08-25 소니 픽쳐스 엔터테인먼트, 인크. Method, apparatus, and system of tracking a group of motion capture markers in a sequence of frames, and storage medium
JP2009521758A (en) * 2005-12-23 2009-06-04 ソニー ピクチャーズ エンターテイメント インコーポレーテッド Group tracking in motion capture
CN100403313C (en) * 2006-09-14 2008-07-16 浙江大学 Extraction method of key frame of 3d human motion data
JP2010508609A (en) * 2006-11-01 2010-03-18 ソニー株式会社 Surface capture in motion pictures
JP2011503673A (en) 2006-11-01 2011-01-27 ソニー株式会社 Segment tracking in motion pictures
JP2010541035A (en) * 2007-09-04 2010-12-24 ソニー株式会社 Integrated motion capture
JP2013080473A (en) * 2007-09-04 2013-05-02 Sony Corp Integrated motion capture
WO2009107703A1 (en) * 2008-02-27 2009-09-03 国立大学法人浜松医科大学 Surgery support system enabling identification of kind of body-inserted instrument
JP2015523132A (en) * 2012-06-12 2015-08-13 コーニンクレッカ フィリップス エヌ ヴェ Camera vital signs measurement system
US9943371B2 (en) 2012-06-12 2018-04-17 Koninklijke Philips N.V. System for camera-based vital sign measurement
JP2014020986A (en) * 2012-07-20 2014-02-03 Casio Comput Co Ltd Position determination device, position determination system, position determination method and program
JP2014130438A (en) * 2012-12-28 2014-07-10 Fujitsu Ltd Image processing program, image processing method, and image processing apparatus
JP2022036963A (en) * 2018-03-30 2022-03-08 株式会社Zozo Size measurement system
CN110044263A (en) * 2019-05-13 2019-07-23 深圳中科飞测科技有限公司 The working method of detection device and detection device
CN110044263B (en) * 2019-05-13 2021-11-30 深圳中科飞测科技股份有限公司 Detection device and working method thereof
KR20210020279A (en) * 2019-08-14 2021-02-24 한국기계연구원 Position detecting system for an object using attached markers and method for position detecting using the same
KR102334752B1 (en) * 2019-08-14 2021-12-06 한국기계연구원 Position detecting system for an object using attached markers and method for position detecting using the same
CN111627043A (en) * 2020-04-13 2020-09-04 浙江工业大学 Simple human body curve acquisition method based on marker and feature filter
CN111627043B (en) * 2020-04-13 2023-09-19 浙江工业大学 Simple human body curve acquisition method based on markers and feature screeners
CN112683163A (en) * 2020-12-03 2021-04-20 中国科学院光电技术研究所 Absolute pose measurement precision evaluation method suitable for vision measurement camera

Similar Documents

Publication Publication Date Title
JP6768156B2 (en) Virtually enhanced visual simultaneous positioning and mapping systems and methods
CN107833271B (en) Skeleton redirection method and device based on Kinect
JP2005258891A (en) 3d motion capturing method and device
US8644552B2 (en) Markerless motion capturing apparatus and method
JP2005256232A (en) Method, apparatus and program for displaying 3d data
KR20160003066A (en) Monocular visual slam with general and panorama camera movements
RU2013148372A (en) AUTOMATIC CALIBRATION OF AUGMENTED REALITY REPORT SYSTEM
JP2008506953A5 (en)
JP2007072537A (en) 360-degree image photographing device
JP7466649B2 (en) Merging local maps from a mapping device
EP1394743A3 (en) Device for detecting position/orientation of object from stereo images
BR112015023345B1 (en) IN SITU CREATION OF TARGETED NATURAL RESOURCE PLANS
US20070076096A1 (en) System and method for calibrating a set of imaging devices and calculating 3D coordinates of detected features in a laboratory coordinate system
CN111539300A (en) Human motion capture method, device, medium and equipment based on IK algorithm
JP6922348B2 (en) Information processing equipment, methods, and programs
TWI760978B (en) Method for locating a camera from images captured by the camera and related non-transitory computer-readable storage medium and computer system
JP2007025863A (en) Photographing system, photographing method, and image processing program
Damgrave et al. The drift of the xsens moven motion capturing suit during common movements in a working environment
JP2003296708A (en) Data processing method, data processing program and recording medium
JP6602726B2 (en) Virtual environment generation apparatus, virtual environment generation method, and program
JP2005241323A (en) Imaging system and calibration method
CN108346183B (en) Method and system for AR reference positioning
CN104460971A (en) Human motion rapid capturing method
Marcard et al. Multimodal motion capture dataset TNT15
Li et al. A low-cost drift-free optical-inertial hybrid motion capture system for high-precision human pose detection

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050711

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050711

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080604

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081029