JP2016006415A - Method and apparatus for estimating position of optical marker in optical motion capture - Google Patents
Method and apparatus for estimating position of optical marker in optical motion capture Download PDFInfo
- Publication number
- JP2016006415A JP2016006415A JP2015105263A JP2015105263A JP2016006415A JP 2016006415 A JP2016006415 A JP 2016006415A JP 2015105263 A JP2015105263 A JP 2015105263A JP 2015105263 A JP2015105263 A JP 2015105263A JP 2016006415 A JP2016006415 A JP 2016006415A
- Authority
- JP
- Japan
- Prior art keywords
- sensor module
- sensor
- marker
- optical
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003550 marker Substances 0.000 title claims abstract description 258
- 230000003287 optical effect Effects 0.000 title claims abstract description 191
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005259 measurement Methods 0.000 claims abstract description 85
- 238000012937 correction Methods 0.000 claims description 45
- 230000001133 acceleration Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 abstract description 36
- 230000009466 transformation Effects 0.000 abstract description 11
- 238000012544 monitoring process Methods 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 210000000527 greater trochanter Anatomy 0.000 description 8
- 210000000689 upper leg Anatomy 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 210000000245 forearm Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000002023 somite Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 210000000459 calcaneus Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
Description
本発明は、光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置に係り、詳しくは、光学式モーションキャプチャによる動作計測と慣性センサーモジュールによる動作計測とを同時に行うことで、光学式マーカーの位置を推定する技術に関するものである。このような慣性センサーモジュールとしては、９軸センサー、６軸センサーを例示することができる。 The present invention relates to a method and an apparatus for estimating the position of an optical marker in optical motion capture, and more specifically, by simultaneously performing motion measurement using an optical motion capture and motion measurement using an inertial sensor module. The present invention relates to a technique for estimating a position. As such an inertial sensor module, a 9-axis sensor and a 6-axis sensor can be exemplified.
三次元動作分析の計測方式としては、光学式モーションキャプチャ（典型的には、赤外線反射方式が採用される）による動作分析システムが良く知られている。光学式モーションキャプチャでは、複数の光学マーカー（赤外線反射マーカー）を被験者の所定部位に取り付け、複数のカメラで被験者の動作を撮影することで、光学マーカーの移動軌跡から被験者の動作を計測する。光学式モーションキャプチャシステムは、医療、スポーツ、ロボティックス、コンピュータグラフィックス等の分野で広く用いられている。 As a measurement method for three-dimensional motion analysis, a motion analysis system based on optical motion capture (typically an infrared reflection method is adopted) is well known. In optical motion capture, a plurality of optical markers (infrared reflective markers) are attached to a predetermined part of the subject, and the subject's motion is measured from the movement trajectory of the optical marker by photographing the subject's motion with a plurality of cameras. Optical motion capture systems are widely used in fields such as medicine, sports, robotics, and computer graphics.
一方、加速度センサーやジャイロスコープ等の慣性センサーを用いて動作計測を行うことも知られており、近年、６軸センサー（３軸加速度センサー、３軸ジャイロスコープを備えたセンサーモジュール）や９軸センサー（３軸加速度センサー、３軸ジャイロスコープ、３軸地磁気センサーを備えたセンサーモジュール）を用いた動作分析が行われ始めている。 On the other hand, it is also known to perform motion measurement using inertial sensors such as acceleration sensors and gyroscopes. Recently, 6-axis sensors (3-axis acceleration sensors, sensor modules with 3-axis gyroscopes) and 9-axis sensors are also known. Motion analysis using a (3-axis acceleration sensor, 3-axis gyroscope, sensor module including a 3-axis geomagnetic sensor) has begun to be performed.
９軸センサー等のセンサーモジュールを用いて位置を推定する場合には、初期位置に対して、センサーモジュールの加速度センサーによって取得された加速度を２回積分した値を足し合わせていく必要があるため、誤差が累積されてしまい、位置の精度が光学式モーションキャプチャに比べて劣る傾向にある。 When estimating the position using a sensor module such as a 9-axis sensor, the value obtained by integrating the acceleration acquired by the acceleration sensor of the sensor module twice needs to be added to the initial position. Since errors are accumulated, the accuracy of the position tends to be inferior to that of optical motion capture.
一方、光学式モーションキャプチャによる動作分析は、位置の計測精度は９軸センサー等よりも良いという特徴があるが、光学マーカーがカメラから見えている必要があるため、カメラの設置態様や光学式マーカーの取り付け位置・動作によって、カメラから光学式マーカーが隠れてしまうことがある。光学式マーカーが短時間だけ隠れているだけであれば、補間で補うことが可能であるが、長時間隠れて見えていないと正しいデータを取得することが困難である。光学式マーカーを常にカメラで撮影できるようにカメラの台数を増やすことも考えられるが、動作計測システム全体のコストが上昇してしまうというデメリットがある。 On the other hand, the motion analysis by optical motion capture has the feature that the position measurement accuracy is better than that of the 9-axis sensor etc., but the optical marker needs to be visible from the camera, so the camera installation mode and the optical marker The optical marker may be hidden from the camera depending on the mounting position and operation of the camera. If the optical marker is only hidden for a short time, it can be compensated by interpolation. However, if the optical marker is not hidden for a long time, it is difficult to obtain correct data. Although it is conceivable to increase the number of cameras so that the optical markers can always be photographed by the cameras, there is a demerit that the cost of the entire motion measurement system increases.
ここで、光学式モーションキャプチャの動作分析と、慣性センサーモジュールを用いた動作分析を組み合わせることで、それぞれの長所を活かした相乗的な計測を行うことが期待される。しかしながら、単に被験者に光学式モーションキャプチャ用の光学マーカーと９軸センサー等のセンサーモジュールを取り付けただけでは、得られる計測データが増加するだけであり、両システムの欠点を解決することはできない。光学式モーションキャプチャと慣性センサーによる計測をいかに協働させて、有効な同時計測を行うかが重要である。 Here, by combining motion analysis of optical motion capture and motion analysis using inertial sensor modules, it is expected to perform synergistic measurement taking advantage of each advantage. However, simply attaching an optical marker for optical motion capture and a sensor module such as a 9-axis sensor to the subject only increases the measurement data obtained, and the drawbacks of both systems cannot be solved. It is important to collaborate with optical motion capture and inertial sensor for effective simultaneous measurement.
光学式モーションキャプチャと慣性センサーによる計測を同時に行うという視点は、特許文献１に記載されているが、その開示内容は、光学式モーションキャプチャ装置と慣性センサーの双方からの情報を同期させる手段を提供するものに留まる。
本発明は、慣性センサーモジュールによる動作計測と光学式モーションキャプチャによる動作計測の同時計測を行うことで、光学式マーカーがカメラから隠れた場合であっても、当該光学式マーカーの位置を推定できるようにすることを目的とする。 The present invention is capable of estimating the position of the optical marker even when the optical marker is hidden from the camera by performing simultaneous measurement of the motion measurement by the inertial sensor module and the motion measurement by the optical motion capture. The purpose is to.
本発明が採用した第１の技術手段は、
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測において、
光学式マーカーと同一剛体上にセンサーモジュールを設け、前記センサーモジュールに対する前記光学式マーカーの位置関係が記憶されており、
隠れた光学式マーカーの座標値を、前記位置関係と、センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する、
光学式マーカーの位置の推定方法、である。
１つの態様では、世界座標系における隠れた光学式マーカーの座標値を、前記位置関係と、世界座標系におけるセンサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて推定する、
光学式マーカーの位置の推定方法、である。
The first technical means adopted by the present invention is:
With optical motion capture,
A sensor module having at least a three-axis gyro sensor;
In motion measurement with
A sensor module is provided on the same rigid body as the optical marker, and the positional relationship of the optical marker with respect to the sensor module is stored,
The coordinate value of the hidden optical marker is estimated using the positional relationship, the coordinate value of the sensor module, and the posture information of the sensor module.
A method for estimating the position of an optical marker.
In one aspect, the coordinate value of the hidden optical marker in the world coordinate system is obtained using the positional relationship, the coordinate value of the sensor module in the world coordinate system, and the rotation information acquired by the gyro sensor of the sensor module. Estimate using the calculated conversion information between the sensor module coordinate system and the world coordinate system,
A method for estimating the position of an optical marker.
１つの態様では、センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報が得られており、前記変換情報は、前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて取得される。 In one aspect, attitude information of the sensor module when the sensor module coordinate system is made to coincide with the world coordinate system is obtained, and the conversion information is acquired by the attitude information and the gyro sensor of the sensor module. And rotation information.
１つの態様では、前記センサーモジュールは、３軸加速度センサーを備え、
世界座標系における前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される。
In one aspect, the sensor module comprises a triaxial acceleration sensor,
The coordinate value of the sensor module in the world coordinate system is calculated from the measurement value of the acceleration sensor of the sensor module.
１つの態様では、前記センサーモジュールと同一剛体上に設けられ、前記センサーモジュールに対して位置関係が特定された１つあるいは複数の補正用マーカーを用意し、
世界座標系における前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の補正用マーカーの座標値と、前記位置関係と、を用いて取得される。
より具体的には、世界座標系における前記センサーモジュールの座標値は、センサーモジュール座標系における当該補正用マーカーの座標値と、前記光学式モーションキャプチャによって取得した世界座標系における前記補正用マーカーの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得される。
１つの態様では、１つの剛体上に、センサーモジュール、複数個の光学式マーカーが設けられ、各光学式マーカーとセンサーモジュールの位置関係が記憶されている。複数個の光学式マーカーは、いずれか１つが隠れた光学式マーカーとなり、他の１つ以上の見えている光学式マーカーが補正用マーカー(センサーマーカー)となる。
複数の補正用マーカーを利用して、隠れた光学式マーカーを推定する場合の計算方法については当業者において適宜選択される。例えば、得られた複数個の隠れたマーカーの推定位置の平均を隠れたマーカーの推定位置とする。あるいは、得られた複数個のセンサーモジュールの座標値の平均をセンサーモジュールの座標値とし、その座標値を用いて隠れたマーカーの位置を推定してもよい。
In one aspect, one or a plurality of correction markers provided on the same rigid body as the sensor module and having a positional relationship identified with respect to the sensor module are prepared.
The coordinate values of the sensor module in the world coordinate system are acquired using the coordinate values of the one or more correction markers acquired by the optical motion capture and the positional relationship.
More specifically, the coordinate value of the sensor module in the world coordinate system is the coordinate value of the correction marker in the sensor module coordinate system and the coordinate value of the correction marker in the world coordinate system acquired by the optical motion capture. It is obtained using the value and conversion information between the sensor module coordinate system and the world coordinate system calculated using the rotation information obtained by the gyro sensor of the sensor module.
In one aspect, a sensor module and a plurality of optical markers are provided on one rigid body, and the positional relationship between each optical marker and the sensor module is stored. Any one of the plurality of optical markers is a hidden optical marker, and the other one or more visible optical markers are correction markers (sensor markers).
A calculation method for estimating a hidden optical marker using a plurality of correction markers is appropriately selected by those skilled in the art. For example, the average of the estimated positions of the plurality of hidden markers obtained is set as the estimated position of the hidden marker. Alternatively, the average of the coordinate values of the obtained plurality of sensor modules may be used as the coordinate value of the sensor module, and the position of the hidden marker may be estimated using the coordinate value.
本発明が採用した第２の技術手段は、
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測システムにおいて、
光学式マーカーと同一剛体上に設けたセンサーモジュールと、
前記センサーモジュールに対する前記光学式マーカーの位置関係を記憶する記憶手段と、
隠れた光学式マーカーの座標値を、前記位置関係と、センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する演算手段と、
を備えた、光学式マーカーの位置の推定装置、である。
１つの態様では、前記演算手段は、世界座標系における隠れた光学式マーカーの座標値を、前記位置関係と、世界座標系におけるセンサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて推定するものである。
The second technical means adopted by the present invention is:
With optical motion capture,
A sensor module having at least a three-axis gyro sensor;
In the motion measurement system with
A sensor module provided on the same rigid body as the optical marker;
Storage means for storing a positional relationship of the optical marker with respect to the sensor module;
Calculation means for estimating the coordinate value of the hidden optical marker using the positional relationship, the coordinate value of the sensor module, and the attitude information of the sensor module;
An apparatus for estimating the position of an optical marker, comprising:
In one aspect, the calculation means acquires the coordinate value of the hidden optical marker in the world coordinate system by the positional relationship, the coordinate value of the sensor module in the world coordinate system, and the gyro sensor of the sensor module. The estimation is performed using the sensor module coordinate system calculated using the rotation information and the conversion information between the world coordinate system.
１つの態様では、センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報を記憶する記憶手段と、
前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて前記変換情報を計算する手段と、
を備えている。
In one aspect, storage means for storing posture information of the sensor module when the sensor module coordinate system is made to coincide with the world coordinate system;
Means for calculating the conversion information using the attitude information and rotation information acquired by a gyro sensor of the sensor module;
It has.
１つの態様では、前記センサーモジュールは、３軸加速度センサーを備え、
世界座標系における前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される。
In one aspect, the sensor module comprises a triaxial acceleration sensor,
The coordinate value of the sensor module in the world coordinate system is calculated from the measurement value of the acceleration sensor of the sensor module.
１つの態様では、前記センサーモジュールと同一剛体上に設けられ、当該センサーモジュールに対して位置関係が特定された１つあるいは複数の補正用マーカーを備え、
世界座標系における前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の補正用マーカーの座標値と、前記位置関係と、を用いて取得される。
より具体的には、世界座標系における前記センサーモジュールの座標値は、センサーモジュール座標系における当該補正用マーカーの座標値と、前記光学式モーションキャプチャによって取得した世界座標系における前記補正用マーカーの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得される。
In one aspect, the sensor module includes one or a plurality of correction markers provided on the same rigid body, the positional relationship of which is specified with respect to the sensor module,
The coordinate values of the sensor module in the world coordinate system are acquired using the coordinate values of the one or more correction markers acquired by the optical motion capture and the positional relationship.
More specifically, the coordinate value of the sensor module in the world coordinate system is the coordinate value of the correction marker in the sensor module coordinate system and the coordinate value of the correction marker in the world coordinate system acquired by the optical motion capture. It is obtained using the value and conversion information between the sensor module coordinate system and the world coordinate system calculated using the rotation information obtained by the gyro sensor of the sensor module.
本発明に係る動作計測システムの基本的なハードウェアは、光学式モーションキャプチャを構成するものとして光学式マーカー、複数のカメラ、コンピュータであり、センサーモジュールによる動作計測を構成するものとして、９軸センサー等のセンサーモジュール、コンピュータとなる。動作計測システムに用いられるコンピュータは１台でも複数台でもよい。各フレームで時系列に取得された計測データ（カメラ画像、加速度データ、角速度データ等）はコンピュータの記憶部に記憶され、コンピュータの演算部において計測データを用いて所定の演算が実行され、演算結果は記憶部に記憶される。記憶部にはまた、計測に先立って取得した情報が記憶されている。
後述する実施形態では、計算に用いられる各種情報を主として行列で示しているが、行列表現は１つの態様に過ぎないものであり、各種情報を他の表現形式で規定することが可能であることが当業者に理解される。
The basic hardware of the motion measurement system according to the present invention is an optical marker, a plurality of cameras, and a computer that constitute an optical motion capture, and a 9-axis sensor that constitutes a motion measurement by a sensor module. It becomes a sensor module such as a computer. One or more computers may be used in the motion measurement system. Measurement data (camera image, acceleration data, angular velocity data, etc.) acquired in time series in each frame is stored in the storage unit of the computer, and a predetermined calculation is executed using the measurement data in the calculation unit of the computer. Is stored in the storage unit. The storage unit also stores information acquired prior to measurement.
In the embodiment to be described later, various information used for calculation is mainly shown as a matrix, but the matrix representation is only one aspect, and it is possible to define various information in other representation formats. Will be understood by those skilled in the art.
本発明では、光学式モーションキャプチャによる動作計測と、慣性センサーモジュールによる動作計測を同時に行い、カメラ画像を用いずに取得できるセンサーモジュールの位置情報に基づいて光学式マーカーの位置を推定するようにしたので、光学式マーカーが隠れた場合にも（長時間隠れていた場合であっても）、当該光学式マーカーの位置データを推定して取得することができ、この推定値を用いることで、隠れている光学式マーカーの時系列座標を取得して、当該光学式マーカーの移動軌跡を追跡することができ、計測の精度を高めることができる。 In the present invention, the motion measurement by the optical motion capture and the motion measurement by the inertial sensor module are simultaneously performed, and the position of the optical marker is estimated based on the position information of the sensor module that can be obtained without using the camera image. Therefore, even when the optical marker is hidden (even if it is hidden for a long time), the position data of the optical marker can be estimated and acquired. It is possible to acquire the time-series coordinates of the optical marker, and to trace the movement trajectory of the optical marker, thereby improving the measurement accuracy.
［Ａ］光学式モーションキャプチャによる動作計測とセンサーモジュールによる動作計測
［Ａ−１］光学式モーションキャプチャシステムによる動作計測
光学式モーションキャプチャシステムは、被験者の複数の所定部位（頭、首、肩、肘、手首等）や道具等に装着した複数の光学式マーカー１（例えば、赤外線反射マーカー）と、光学式マーカー１を装着した被験者の運動を複数角度から同時に撮影する複数台のカメラ３と、各カメラ３で取得したマーカーの画像情報中のマーカーの二次元位置を再構成して当該マーカーの三次元位置を計算し、光学式マーカーの三次元位置と身体の三次元モデルから身体の各部位の三次元位置（被験者の姿勢）を取得する処理部と、計測データや計測データに基づいて計算されたデータを記憶する記憶部と、処理部による処理結果（被験者の姿勢の時系列データとして取得される運動データ）等を表示する表示部と、からなる。
[A] Motion measurement by optical motion capture and motion measurement by sensor module [A-1] Motion measurement by optical motion capture system The optical motion capture system uses a plurality of predetermined parts (head, neck, shoulder, elbow) of a subject. A plurality of optical markers 1 (for example, infrared reflection markers) mounted on a tool or a tool, a plurality of cameras 3 that simultaneously photograph a subject wearing the optical marker 1 from a plurality of angles, The two-dimensional position of the marker in the image information of the marker acquired by the camera 3 is reconstructed and the three-dimensional position of the marker is calculated, and each part of the body is calculated from the three-dimensional position of the optical marker and the three-dimensional model of the body. A processing unit that acquires a three-dimensional position (subject's posture) and a storage unit that stores measurement data and data calculated based on the measurement data A display unit for displaying such processing by the processing unit results (movement data is acquired as time-series data of the subject's posture) it consists.
処理部、記憶部、表示部は、コンピュータ（例えば、入力部、出力部、演算部、記憶部、表示部等を備える汎用コンピュータ）４から構成され、具体的には、カメラ３によって取得された画像情報および画像処理部で計算された情報を記憶する記憶部、画像情報や測定結果、分析結果を表示する表示部、画像情報に対して画像処理を施すための画像処理部、光学式マーカー１の三次元位置の時系列データを計算する演算部を備えている。 The processing unit, the storage unit, and the display unit are configured by a computer 4 (for example, a general-purpose computer including an input unit, an output unit, a calculation unit, a storage unit, a display unit, and the like), and specifically acquired by the camera 3. Storage unit for storing image information and information calculated by image processing unit, display unit for displaying image information and measurement results and analysis results, image processing unit for performing image processing on image information, optical marker 1 Is provided with a calculation unit for calculating time-series data of the three-dimensional positions.
［Ａ−２］センサーモジュールを用いた動作計測システム
センサーモジュールを用いた動作計測システムは、被験者の所定部位に装着した９軸センサー２と、９軸センサー２からの計測データを受信する受信機（図示せず）と、受信機で得られた各種データに基づく計算を実行するコンピュータ４と、から構成される。９軸センサー２は、３軸加速度センサー、３軸ジャイロスコープ、３軸地磁気センサー、制御部（ＭＣＵ等）、バッテリ、無線通信機能（ブルートゥース等）を備えたセンサーモジュールである。センサーモジュールは、被験者の身体の所定部位（例えば、左上腕、右上腕、左前腕、右前腕、左手首、右手首、体幹等）や道具等に装着される。加速度データ、角速度データは、地磁気データは、各センサーモジュールが持つ通信機能を介してデータ蓄積・計算用コンピュータ４に送信され、計測データを解析し運動を再構成する。
[A-2] Motion Measurement System Using Sensor Module The motion measurement system using the sensor module is a 9-axis sensor 2 attached to a predetermined part of a subject and a receiver that receives measurement data from the 9-axis sensor 2 ( (Not shown) and a computer 4 that executes calculations based on various data obtained by the receiver. The 9-axis sensor 2 is a sensor module including a 3-axis acceleration sensor, a 3-axis gyroscope, a 3-axis geomagnetic sensor, a control unit (MCU, etc.), a battery, and a wireless communication function (Bluetooth, etc.). The sensor module is attached to a predetermined part (for example, the left upper arm, the upper right arm, the left forearm, the right forearm, the left wrist, the right wrist, or the trunk) of the subject's body, a tool, or the like. The acceleration data and the angular velocity data are transmitted to the data storage / calculation computer 4 via the communication function of each sensor module, and the measurement data is analyzed to reconstruct the motion.
コンピュータ４は、受信機より得たセンサーデータを保存し、被験者の姿勢を再構成して、動作分析を行う。コンピュータ４は、入力部、出力部、演算部、記憶部、表示部等を備える汎用コンピュータから構成することができる。入力部から入力されたセンサーデータ（加速度データ、角速度データ、地磁気データ）は記憶部に記憶され、演算部によって所定の計算が実行されて（例えば、加速度データの積分による位置情報、角速度データの積分による角度情報）、計算結果は記憶部に記憶されると共に、必要に応じて、出力部から出力、あるいは／および表示部で表示される。光学式モーションキャプチャによる計測と９軸センサー２による計測を同期して実行し、同期して計測データを取得することで、各時刻（フレーム）において、光学式マーカー１の位置情報と、９軸センサー２から取得される各データが対応して得られ、記憶部に記憶される。 The computer 4 stores sensor data obtained from the receiver, reconstructs the posture of the subject, and performs motion analysis. The computer 4 can be comprised from a general purpose computer provided with an input part, an output part, a calculating part, a memory | storage part, a display part, etc. Sensor data (acceleration data, angular velocity data, geomagnetic data) input from the input unit is stored in the storage unit, and a predetermined calculation is executed by the calculation unit (for example, position information by integration of acceleration data, integration of angular velocity data) And the calculation result are stored in the storage unit and output from the output unit or / and displayed on the display unit as necessary. The measurement by the optical motion capture and the measurement by the 9-axis sensor 2 are executed synchronously, and the measurement data is acquired synchronously, so that the position information of the optical marker 1 and the 9-axis sensor are obtained at each time (frame). Each data acquired from 2 is obtained correspondingly and stored in the storage unit.
［Ｂ］光学式モーションキャプチャにおける光学式マーカーの位置の推定
［Ｂ−１］概要
光学式モーションキャプチャでは、被験者に装着した光学式マーカーの画像を複数台のカメラで撮影し、光学式マーカーの三次元位置を再構成することで、被験者の動作データを取得する。したがって、被験者の姿勢等によって光学式マーカーがカメラから隠れてしまうと、動作データの取得に支障を来すことになる。この問題を解決するために、図２に示すように、同一剛体（剛体には、体節等の剛体、被験者が用いる道具等が含まれる）５上に９軸センサー２と光学式マーカー１を取り付け、位置関係を記憶部に記録しておく。光学式マーカー１が隠れて見えなくなった時に、９軸センサー２の位置情報と、９軸センサー２の姿勢を表す行列（回転行列）と、光学式マーカー１と９軸センサー２の位置関係を表す行列と、を用いて、隠れている光学式マーカー１の位置を推定する。
[B] Estimation of optical marker position in optical motion capture [B-1] Outline In optical motion capture, images of optical markers attached to a subject are taken by a plurality of cameras, and the tertiary of optical markers is obtained. The movement data of the subject is acquired by reconstructing the original position. Therefore, if the optical marker is hidden from the camera due to the posture of the subject or the like, the acquisition of operation data will be hindered. To solve this problem, as shown in FIG. 2, the 9-axis sensor 2 and the optical marker 1 are placed on the same rigid body (the rigid body includes a rigid body such as a body segment and tools used by the subject) 5. The attachment and positional relationship are recorded in the storage unit. When the optical marker 1 is hidden and cannot be seen, the positional information of the 9-axis sensor 2, the matrix (rotation matrix) representing the attitude of the 9-axis sensor 2, and the positional relationship between the optical marker 1 and the 9-axis sensor 2 are represented. The position of the hidden optical marker 1 is estimated using the matrix.
［Ｂ−２］隠れた光学式マーカーの位置の推定
隠れた光学式マーカーの位置の推定の１つの実施例について説明する。以下の手法は、本発明の１つの実施例に過ぎないものであり、本発明の内容を限定するものではない。また、以下に幾つかの計算式を示すが、単なる式の形式が異なるのみであり、当業者において等価であると認識できる式を用いる手法は、以下に述べる手法の範疇に属するものである。
[B-2] Estimation of the position of a hidden optical marker An example of the estimation of the position of a hidden optical marker will be described. The following method is only one example of the present invention and does not limit the content of the present invention. Several calculation formulas are shown below, but the method of using formulas that can be recognized as equivalent by those skilled in the art only belongs to the category of the methods described below.
光学式モーションキャプチャによる動作計測によって、光学式マーカーのフレーム毎の時系列位置データが取得される。光学式モーションキャプチャによる動作計測と同時に９軸センサーによる動作計測を行うことで、フレーム毎に加速度データが得られ、加速度データを積分することで、フレーム毎の時系列位置データが取得される。このようにして、各フレームにおいて、光学式マーカーの位置情報、９軸センサーの位置情報が対応して取得され、記憶される。 The time-series position data for each frame of the optical marker is acquired by the operation measurement by the optical motion capture. By performing motion measurement by the 9-axis sensor simultaneously with motion measurement by optical motion capture, acceleration data is obtained for each frame, and time series position data for each frame is obtained by integrating the acceleration data. In this manner, in each frame, the position information of the optical marker and the position information of the 9-axis sensor are acquired and stored correspondingly.
光学式マーカーが隠れる直前の９軸センサーの世界座標系（カメラ座標系）における座標値を
とする。時刻ｔで光学式モーションキャプチャのカメラから光学式マーカーが消えたとすると、時刻ｔ−１における９軸センサーの世界座標系における座標値に着目する。９軸センサーの世界座標系における座標値は、上述のように、９軸センサーの加速度センサーから取得した加速度データを積分することで取得することができる。また、後述するように、補正マーカーを用いて９軸センサーの世界座標系における座標値を取得することができる。
The coordinate value in the world coordinate system (camera coordinate system) of the 9-axis sensor just before the optical marker is hidden.
And If the optical marker disappears from the optical motion capture camera at time t, attention is paid to the coordinate value in the world coordinate system of the 9-axis sensor at time t-1. As described above, the coordinate value of the 9-axis sensor in the world coordinate system can be acquired by integrating acceleration data acquired from the acceleration sensor of the 9-axis sensor. As will be described later, the coordinate value in the world coordinate system of the 9-axis sensor can be acquired using the correction marker.
光学式マーカーが隠れる直前の当該光学式マーカーの世界座標（カメラ座標系）における座標値を
とする。時刻ｔで光学式モーションキャプチャのカメラから光学式マーカーが消えたとすると、時刻ｔ−１における当該光学式マーカーの世界座標系における座標値に着目する。光学式マーカーの世界座標系における座標値は、上述のように、光学式モーションキャプチャのカメラ画像から取得することができる。
The coordinate value in the world coordinates (camera coordinate system) of the optical marker immediately before the optical marker is hidden
And If the optical marker disappears from the optical motion capture camera at time t, the coordinate value in the world coordinate system of the optical marker at time t−1 is focused. As described above, the coordinate value of the optical marker in the world coordinate system can be acquired from the camera image of the optical motion capture.
光学式マーカーが隠れた後の任意の時ｔｎにおける９軸センサーの世界座標系（カメラ座標系）における座標値を
とする。９軸センサーの世界座標系における座標値は、上述のように、９軸センサーの加速度センサーから取得した加速度データを積分することで取得することができる。また、後述するように、補正マーカーを用いて９軸センサーの世界座標系における座標値を取得することができる。
The coordinate value in the world coordinate system (camera coordinate system) of the 9-axis sensor at an arbitrary time tn after the optical marker is hidden.
And As described above, the coordinate value of the 9-axis sensor in the world coordinate system can be acquired by integrating acceleration data acquired from the acceleration sensor of the 9-axis sensor. As will be described later, the coordinate value in the world coordinate system of the 9-axis sensor can be acquired using the correction marker.
光学式マーカーが隠れた後の任意の時刻ｔｎにおける当該光学式マーカーの世界座標系（カメラ座標系）における座標値の推定値を
とする。
The estimated value of the coordinate value in the world coordinate system (camera coordinate system) of the optical marker at an arbitrary time tn after the optical marker is hidden.
And
光学式マーカーが隠れる直前（時刻ｔ−１）における世界座標系からセンサー座標系への変換行列を
とする。この変換行列は、センサー座標系を世界座標系に一致させた時（較正時）の９軸センサーの姿勢情報を記憶しておき、この姿勢情報と、９軸センサーのジャイロセンサーによって時刻ｔ−１で取得された回転行列と、を用いて計算することができる。較正手法については後述する。
A transformation matrix from the world coordinate system to the sensor coordinate system immediately before the optical marker is hidden (time t-1).
And This transformation matrix stores the posture information of the 9-axis sensor when the sensor coordinate system is matched with the world coordinate system (at the time of calibration), and the time t-1 is determined by this posture information and the gyro sensor of the 9-axis sensor. And the rotation matrix obtained in (1) above. The calibration method will be described later.
光学式マーカーが隠れた後の任意の時間ｔｎにおける世界座標系からセンサー座標系への変換行列を
とする（任意の時間を示すｎが省略されている）。この変換行列は、センサー座標系を世界座標系に一致させた時（較正時）の９軸センサーの姿勢情報を記憶しておき、この姿勢情報と、９軸センサーのジャイロセンサーによって時刻ｔｎで取得された回転行列と、を用いて計算することができる。
A transformation matrix from the world coordinate system to the sensor coordinate system at an arbitrary time t n after the optical marker is hidden.
(N indicating an arbitrary time is omitted). The transformation matrix is, when to match the sensor coordinate system to the world coordinate system stores the posture information of the nine-axis sensor (calibration time), and this position information, at time t n by 9 axis sensor of a gyro sensor And using the obtained rotation matrix.
ここで、光学式マーカーが隠れる直前（時刻ｔ−１）のセンサー座標系における当該光学式マーカーの位置は
である。
すなわち、時刻ｔ−１におけるセンサーモジュール座標系における光学式マーカーの位置情報は、時刻ｔ−１における世界座標系におけるセンサーモジュールの座標値と、時刻ｔ−１における世界座標系における光学式マーカーの座標値と、時刻ｔ−１における前記センサーモジュールのジャイロセンサーによって取得された回転行列を用いて計算されるセンサーモジュール座標系と世界座標系間の変換行列と、を用いて取得する。
センサー座標系における光学式マーカーの位置は、すなわち、同一剛体（体節等）上に設けた光学式マーカーと９軸センサーの位置関係を表している。
同一剛体（体節等）上に設けた光学式マーカーと９軸センサーの位置関係は変わらないので、上記位置関係を取得するタイミングは、光学式マーカーが隠れる直前（時刻ｔ−１）に限定されない。例えば、同一剛体（体節等）上に設けた光学式マーカーと９軸センサーを取り付けた時に、予め位置関係を取得して記憶部に記憶しておいてもよい。
Here, the position of the optical marker in the sensor coordinate system immediately before the optical marker is hidden (time t-1) is
It is.
That is, the position information of the optical marker in the sensor module coordinate system at time t-1 includes the coordinate values of the sensor module in the world coordinate system at time t-1 and the coordinates of the optical marker in the world coordinate system at time t-1. And a conversion matrix between the sensor module coordinate system and the world coordinate system calculated using the rotation matrix acquired by the gyro sensor of the sensor module at time t−1.
The position of the optical marker in the sensor coordinate system represents the positional relationship between the optical marker provided on the same rigid body (such as a body segment) and the 9-axis sensor.
Since the positional relationship between the optical marker provided on the same rigid body (such as a body segment) and the 9-axis sensor does not change, the timing for acquiring the positional relationship is not limited to immediately before the optical marker is hidden (time t-1). . For example, when an optical marker and a 9-axis sensor provided on the same rigid body (such as a body segment) are attached, the positional relationship may be acquired in advance and stored in the storage unit.
上記の要素を用いて、光学式マーカーの座標の推定値は次のように計算できる。
すなわち、光学式マーカーが隠れた後の時刻ｔｎにおける世界座標系における当該光学式マーカーの推定座標値を、時刻ｔ−１におけるセンサーモジュール座標系における光学式マーカーの位置情報と、時刻ｔｎにおける世界座標系におけるセンサーモジュールの座標値と、時刻ｔｎにおける前記センサーモジュールのジャイロセンサーによって取得された回転行列を用いて計算されるセンサーモジュール座標系と世界座標系間の変換行列と、を用いて取得する、
Using the above elements, an estimate of the coordinates of the optical marker can be calculated as follows.
That is, the estimated coordinate value of the optical marker in the world coordinate system at the time t n after the optical marker is hidden, the position information of the optical marker in the sensor module coordinate system at the time t−1, and the time at the time t n . Using the coordinate values of the sensor module in the world coordinate system and the transformation matrix between the sensor module coordinate system and the world coordinate system calculated using the rotation matrix obtained by the gyro sensor of the sensor module at time t n get,
［Ｃ］光学式モーションキャプチャを用いた９軸センサーの位置情報の取得
［Ｃ−１］概要
９軸センサーはその加速度センサーにより計測された加速度データを用いて位置情報を取得することができるが、位置情報を取得するためには加速度データを２回積分した値を足し合わせていく必要があるため、誤差が累積されてしまい、位置の精度が光学式モーションキャプチャに比べて劣る傾向にある。そこで、光学式モーションキャプチャを利用して、隠れ光学式マーカー１の位置情報取得に用いられる９軸センサー２の位置精度を向上させることを考える。図３、図４に示すように、補正用の光学式マーカー１´を用意し、補正用マーカー１´と同一剛体（体節等）５上に９軸センサー２を設け、９軸センサー２に対する補正用マーカー１´の位置関係を記憶しておき、その位置関係を用いて、補正用マーカー１´の位置情報（光学式モーションキャプチャで取得する）から９軸センサー２の位置情報を取得する。図３に示す態様では、補正用マーカー１´は、所定の剛体（体節等）に設けた９軸センサー２上に装着されている。図４に示す態様では、補正用マーカー１´と９軸センサー２は、同一の剛体（体節等）５上に装着されている。位置関係が一意に決定されていれば、補正用マーカー１´と９軸センサー２は、接触していても、離間していてもよい。
[C] Acquisition of position information of 9-axis sensor using optical motion capture [C-1] Outline Although 9-axis sensor can acquire position information using acceleration data measured by the acceleration sensor, In order to acquire the position information, it is necessary to add the values obtained by integrating the acceleration data twice. Therefore, errors are accumulated, and the position accuracy tends to be inferior to that of the optical motion capture. Therefore, it is considered to improve the positional accuracy of the 9-axis sensor 2 used for acquiring the positional information of the hidden optical marker 1 by using the optical motion capture. As shown in FIGS. 3 and 4, a correction optical marker 1 ′ is prepared, and a 9-axis sensor 2 is provided on the same rigid body (such as a body segment) 5 as the correction marker 1 ′. The positional relationship of the correction marker 1 ′ is stored, and the positional information of the 9-axis sensor 2 is acquired from the positional information of the correction marker 1 ′ (obtained by optical motion capture) using the positional relationship. In the embodiment shown in FIG. 3, the correction marker 1 ′ is mounted on a 9-axis sensor 2 provided on a predetermined rigid body (such as a body segment). In the embodiment shown in FIG. 4, the correction marker 1 ′ and the 9-axis sensor 2 are mounted on the same rigid body (such as a body segment) 5. If the positional relationship is uniquely determined, the correction marker 1 ′ and the 9-axis sensor 2 may be in contact with each other or may be separated from each other.
［Ｃ−２］センサーの位置とマーカーの位置関係の決定
補正用マーカー１´を９軸センサー２と同一剛体（体節等）５に固定した状態で、９軸センサー２を回転させて９軸センサー２のジャイロセンサーを用いて回転行列を取得する。この回転情報を用いて、計測前に９軸センサー２の位置と補正用マーカー１の位置関係を決定し、記憶部に記憶しておく。以下に計算方法を示す。
[C-2] Determination of the positional relationship between the sensor position and the marker In the state where the correction marker 1 'is fixed to the same rigid body (such as a body segment) 5 as the 9-axis sensor 2, the 9-axis sensor 2 is rotated to 9 axes The rotation matrix is acquired using the gyro sensor of the sensor 2. Using this rotation information, the positional relationship between the position of the 9-axis sensor 2 and the correction marker 1 is determined before measurement and stored in the storage unit. The calculation method is shown below.
第nフレームでの、９軸センサーの世界座標系における座標値を
とする（この値は未知数である。）。ここでは、より精度の高い９軸センサーの位置情報を取得することを目的とし、９軸センサーの位置情報の取得に、当該９軸センサーの加速度センサーから得られる加速度データを用いない。
The coordinate value in the world coordinate system of the 9th axis sensor in the nth frame
(This value is unknown.) Here, for the purpose of acquiring more accurate position information of the 9-axis sensor, the acceleration data obtained from the acceleration sensor of the 9-axis sensor is not used for acquiring the position information of the 9-axis sensor.
第nフレームでの、絶対座標系から９軸センサー座標系への変換行列を
とする。この変換行列は、センサー座標系を世界座標系に一致させた時（較正時）の９軸センサーの姿勢情報を記憶しておき、この姿勢情報と、９軸センサーのジャイロセンサーによって時刻ｔｎで取得された回転行列と、を用いて計算することができる。
The transformation matrix from the absolute coordinate system to the 9-axis sensor coordinate system in the nth frame
And The transformation matrix is, when to match the sensor coordinate system to the world coordinate system stores the posture information of the nine-axis sensor (calibration time), and this position information, at time t n by 9 axis sensor of a gyro sensor And using the obtained rotation matrix.
第nフレームでの、補正用マーカーの世界座標における座標値を
とする。補正用マーカーの世界座標系における座標値は、光学式モーションキャプチャのカメラ画像から取得することができる。
The coordinate value in the world coordinate of the correction marker in the nth frame
And The coordinate value of the correction marker in the world coordinate system can be acquired from a camera image of optical motion capture.
世界座標系と９軸センサーの座標系を一致させ、９軸センサーの位置を原点に位置させた際の補正用マーカーの座標値を
とする。この値はセンサー座標系における補正用マーカーの位置と同義であり、この値も未知数である。
The coordinate values of the correction marker when the world coordinate system and the coordinate system of the 9-axis sensor are matched and the position of the 9-axis sensor is located at the origin
And This value is synonymous with the position of the correction marker in the sensor coordinate system, and this value is also an unknown number.
このとき次の関係が成り立っている。
となる。この時、右辺は補正用マーカーが原点に来るように移動したときの９軸センサーの位置になる。
At this time, the following relationship holds.
It becomes. At this time, the right side is the position of the 9-axis sensor when the correction marker is moved to the origin.
第iフレーム、第jフレーム、第kフレームにおいて、原点から補正用マーカーまでの距離は一定であることから次の関係が成り立つ。
この連立方程式を解くことで、センサー座標系における補正用マーカーの座標値
を求めることができる。
In the i-th frame, the j-th frame, and the k-th frame, since the distance from the origin to the correction marker is constant, the following relationship is established.
By solving these simultaneous equations, the coordinate value of the correction marker in the sensor coordinate system
Can be requested.
要約すると、センサーモジュール座標系における補正用マーカーの座標値は、
前記センサーモジュールの３つ以上の異なる姿勢において、各姿勢における変換情報（変換行列）を、前記センサーモジュールのジャイロセンサーによって取得された回転情報（回転行列）を用いて取得し、
各姿勢において、前記センサーモジュールから前記補正用マーカーへの距離が同一であることを利用して取得する。
In summary, the coordinate value of the correction marker in the sensor module coordinate system is
In three or more different postures of the sensor module, conversion information (transformation matrix) in each posture is acquired using rotation information (rotation matrix) acquired by the gyro sensor of the sensor module,
Obtained by using the fact that the distance from the sensor module to the correction marker is the same in each posture.
［Ｃ−３］補正用マーカー位置を用いた９軸センサーの位置の取得
計測中に９軸センサー２の位置精度向上用に取り付けた補正用マーカー１´がカメラで撮影される時に、次のような計算を行って、９軸センサー２の座標値を計算する。計測中の補正用マーカー１´の位置から９軸センサー２の座標値を計算するときの計算式は次のようになる。
[C-3] When the correction marker 1 ′ attached for improving the positional accuracy of the 9-axis sensor 2 is photographed by the camera during the acquisition measurement of the position of the 9-axis sensor using the correction marker position, as follows. Then, the coordinate value of the 9-axis sensor 2 is calculated. The calculation formula for calculating the coordinate value of the 9-axis sensor 2 from the position of the correction marker 1 'during measurement is as follows.
求める９軸センサーの絶対座標系での位置を
とする。
Find the position of the 9-axis sensor in the absolute coordinate system
And
センサー座標系における補正用マーカーの位置を
とする。この位置情報は、［Ｃ−１］で取得されている。
The position of the correction marker in the sensor coordinate system
And This position information is acquired in [C-1].
補正用マーカーの絶対座標系での位置を
とする。補正用マーカーの三次元座標値は、光学式モーションキャプチャによって取得される。
The position of the correction marker in the absolute coordinate system
And The three-dimensional coordinate value of the correction marker is acquired by optical motion capture.
絶対座標系から９軸センサーのセンサー座標系への変換行列を
とすると
より
となる。
補正用マーカー１´がカメラで撮影できる場合には、隠れ光学式マーカー１の位置の推定計算において、補正用マーカー１´に基づいて計算された９軸センサー２の位置を用いることができる。
Conversion matrix from absolute coordinate system to sensor coordinate system of 9-axis sensor
If
Than
It becomes.
When the correction marker 1 ′ can be photographed by the camera, the position of the 9-axis sensor 2 calculated based on the correction marker 1 ′ can be used in the estimation calculation of the position of the hidden optical marker 1.
［Ｄ］絶対座標系から９軸センサー座標系への変換行列をＭｗ→ｓの決定
［Ｄ−１］概要
９軸センサーの座標系と世界座標系（三次元動作分析の座標系）は一致していないため、計測前に座標系を一致させるための較正作業が必要となる。計測前に図５に示すような治具６を使って、各９軸センサーの座標系と世界座標系（カメラ座標系）との間の関係を計算するための変換行列を作成する。治具６は、平面視長方形状を有し、上面６０には、縦横方向に間隔を存して方形状の凹部６１が形成されており、各凹部６１に９軸センサー２を嵌め込むようになっている。この治具６には直角三角形の頂点を形成するように３つの光学式マーカー１Ａ、１Ｂ、１Ｃが３つ設けてある。３つのマーカー１Ａ、１Ｂ、１Ｃの作る直角三角形の直角の点につけられたマーカー１Ａと長辺側につけられたマーカー１Ｂの方向を一つ目の軸とし、直角の点につけられたマーカー１Ａと短辺側につけられたマーカー１Ｃの方向をもう一つの軸とする。この軸をそれぞれ、前後軸・左右軸とすると、９軸センサー２の前後軸・左右軸をこの治具６の前後軸・左右軸と一致するように置く。前後軸と左右軸が決まっているため、上下軸は計算により求めることができる。
[D] Determination of conversion matrix from absolute coordinate system to 9-axis sensor coordinate system Mw → s [D-1] Outline The coordinate system of 9-axis sensor and the world coordinate system (coordinate system of three-dimensional motion analysis) are one. Since this is not done, calibration work is required to match the coordinate system before measurement. Before the measurement, a transformation matrix for calculating the relationship between the coordinate system of each 9-axis sensor and the world coordinate system (camera coordinate system) is created using a jig 6 as shown in FIG. The jig 6 has a rectangular shape in plan view, and a rectangular recess 61 is formed on the upper surface 60 at intervals in the vertical and horizontal directions so that the 9-axis sensor 2 is fitted in each recess 61. It has become. The jig 6 is provided with three optical markers 1A, 1B, 1C so as to form a vertex of a right triangle. The direction of the marker 1A attached to the right-angled point of the right triangle formed by the three markers 1A, 1B, 1C and the marker 1B attached to the long side is the first axis, and the marker 1A attached to the right-angled point is short. The direction of the marker 1C attached to the side is taken as another axis. When these axes are the front and rear axes and the left and right axes, respectively, the front and rear axes and left and right axes of the 9-axis sensor 2 are placed so as to coincide with the front and rear axes and left and right axes of the jig 6. Since the front and rear axes and the left and right axes are determined, the upper and lower axes can be obtained by calculation.
［Ｄ−２］
あるタイミングで、光学式モーションンキャプチャによる動作計測と、９軸センサー２による動作計測を同時に行う。３つのマーカー１Ａ、１Ｂ、１Ｃの座標値をそれぞれ
とし、
とするとき、
が３つのマーカー１Ａ、１Ｂ、１Ｃの回転行列となる。この時に９軸センサー２から得られる回転行列をＲsとする（Ｒsはセンサー内で直接計算されて出力される）。
[D-2]
At a certain timing, the operation measurement by the optical motion capture and the operation measurement by the 9-axis sensor 2 are simultaneously performed. The coordinate values of the three markers 1A, 1B, 1C
age,
And when
Becomes a rotation matrix of three markers 1A, 1B, and 1C. At this time, the rotation matrix obtained from the 9-axis sensor 2 is R s (R s is directly calculated and output in the sensor).
上記の作業によって、９軸センサー２の座標系からマーカー１Ａ、１Ｂ、１Ｃの座標系に変換する行列
は
となる。ここで、rは図５の治具を用いて行列を作成するために用いるデータを取得する参照となるフレームを意味する添え字である。
上記の行列とフレーム番号nで取得されたセンサーの回転行列を
としたとき、
フレーム番号ｎにおける９軸センサーのセンサー座標系から世界座標系に変換する行列
は
となり、世界座標系から９軸センサーのセンサー座標系への変換行列は
となる。
Through the above operation, the matrix for converting the coordinate system of the 9-axis sensor 2 to the coordinate system of the markers 1A, 1B, 1C
Is
It becomes. Here, r is a subscript meaning a frame serving as a reference for acquiring data used for creating a matrix using the jig of FIG.
The rotation matrix of the sensor acquired with the above matrix and frame number n
When
Matrix that converts the sensor coordinate system of the 9-axis sensor in frame number n to the world coordinate system
Is
The transformation matrix from the world coordinate system to the sensor coordinate system of the 9-axis sensor is
It becomes.
このように、計測前の較正において、センサーモジュール（９軸センサー）座標系を世界座標系に一致させた時のセンサーモジュール（９軸センサー）の姿勢情報を求めておき、前記姿勢情報と、前記センサーモジュール（９軸センサー）のジャイロセンサーによって取得された回転情報（回転行列）と、を用いて、センサーモジュール（９軸センサー）座標系と世界座標系間の変換情報（変換行列）が取得される。 Thus, in the calibration before measurement, the posture information of the sensor module (9-axis sensor) when the sensor module (9-axis sensor) coordinate system is matched with the world coordinate system is obtained, and the posture information, Using the rotation information (rotation matrix) acquired by the gyro sensor of the sensor module (9-axis sensor), conversion information (conversion matrix) between the sensor module (9-axis sensor) coordinate system and the world coordinate system is acquired. The
９軸センサー座標系を世界座標系に一致させるための９軸センサーの軸の較正手法は、上記の治具６を用いる手法には限定されず、当業者において他の手法が適宜採用し得るものである。例えば、世界座標系の左右と前後に線を引いておき、図６の治具からマーカーを外したうえで、治具の長辺と世界座標系の前後軸、治具の短辺と世界座標系の左右軸を合わせたうえで、センサーのオフセット取得機能を使用して、センサーの座標系をマーカーの座標系を一致させることも可能である。 The method of calibrating the axis of the 9-axis sensor for matching the 9-axis sensor coordinate system with the world coordinate system is not limited to the method using the jig 6 described above, and other methods can be appropriately adopted by those skilled in the art. It is. For example, draw lines on the left and right and front and back of the world coordinate system, remove the marker from the jig in Fig. 6, and then move the long side of the jig and the front and rear axes of the world coordinate system, the short side of the jig and the world coordinates. It is also possible to match the coordinate system of the sensor with the coordinate system of the marker by using the offset acquisition function of the sensor after aligning the left and right axes of the system.
［Ｅ］９軸センサーを用いたカメラの計測精度向上
９軸センサーを利用した隠れマーカーの推定において、光学式マーカーがカメラから隠れて見えない場合に、９軸センサーから得られる情報を用いて隠れた光学式マーカーの位置を推定する方法について説明した。より具体的には、光学式モーションキャプチャによる計測と９軸センサー２による計測を同期して実行し、同期して計測データを取得することで、各時刻（各フレーム）において、光学式マーカー１の位置情報と、９軸センサー２から取得される各データが対応して得られる。例えば、ある時刻において、光学式マーカーがカメラから隠れてしまった場合には、隠れた光学式マーカーの座標を、その時刻において９軸センサーから取得された情報を用いて推定することができる。
[E] Improving camera measurement accuracy using a 9-axis sensor In the estimation of a hidden marker using a 9-axis sensor, if the optical marker is hidden from the camera and cannot be seen, it is hidden using information obtained from the 9-axis sensor. A method for estimating the position of the optical marker has been described. More specifically, the measurement by the optical motion capture and the measurement by the 9-axis sensor 2 are executed in synchronization, and the measurement data is acquired in synchronization, so that at each time (each frame), the optical marker 1 The position information and each data acquired from the 9-axis sensor 2 are obtained correspondingly. For example, when the optical marker is hidden from the camera at a certain time, the coordinates of the hidden optical marker can be estimated using information acquired from the 9-axis sensor at that time.
上記推定方法では、カメラの計測周波数と９軸センサーの計測周波数は同一もしくは同程度であることを前提としていた。ここで、９軸センサーの計測周波数のほうが高い場合には、ある時刻において、９軸センサーで計測され、カメラでは計測されない点については隠れマーカーとして扱うことができる。この時に、カメラから空間的に隠れマーカーの座標値推定と同一の計算を行うことで、光学式マーカーが計測されていない点で、データ取得ができるようになり、光学式マーカーの位置をより正確に補間することができる。既述の「９軸センサーを利用した隠れマーカーの推定」が空間的に隠れている状態であるとすると、計測周波数の異なるデバイスを用いた補間は時間的な隠れマーカーの推定と考えることができる。センサーの計測周波数には、実際には、加速度センサーの計測周波数、３軸ジャイロセンサーの計測周波数があり、これらの両方がカメラの計測周波数よりも高い。１つの態様では、加速度センサーの計測周波数、３軸ジャイロセンサーの計測周波数は同程度であるが、かならずしも同じでなくてもよい。 The above estimation method is based on the premise that the measurement frequency of the camera and the measurement frequency of the 9-axis sensor are the same or similar. Here, when the measurement frequency of the 9-axis sensor is higher, a point measured by the 9-axis sensor at a certain time and not measured by the camera can be handled as a hidden marker. At this time, by performing the same calculation as the estimation of the coordinate value of the hidden marker spatially from the camera, it becomes possible to acquire data at the point where the optical marker is not measured, and the position of the optical marker is more accurate. Can be interpolated. If the previously described "estimation of hidden marker using 9-axis sensor" is a state of being spatially hidden, interpolation using devices with different measurement frequencies can be considered as estimation of temporal hidden marker. . The sensor measurement frequency actually includes an acceleration sensor measurement frequency and a three-axis gyro sensor measurement frequency, both of which are higher than the camera measurement frequency. In one aspect, the measurement frequency of the acceleration sensor is the same as that of the three-axis gyro sensor, but it is not necessarily the same.
すなわち、
光学式マーカーの位置の推定において、
前記光学式マーカーは、ある時点において撮影されない時間的に隠れた光学式マーカーであり、
９軸センサーのジャイロセンサーの単位時間当たりの計測回数及び加速度センサーの単位時間当たりの計測回数は、前記光学モーションキャプチャのカメラの単位時間当たりのデータ取得回数（フレームレート）よりも多く、
前記時間的に隠れた光学式マーカーの座標値を、前記センサーモジュールに対する前記光学式マーカーの位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する。
ここで、センサーモジュールの座標値は、加速度センサーによって取得され、センサーモジュールの姿勢情報は、ジャイロセンサーによって取得される。
That is,
In estimating the position of the optical marker,
The optical marker is a temporally hidden optical marker that is not captured at a certain point in time,
The number of measurements per unit time of the gyro sensor of the 9-axis sensor and the number of measurements per unit time of the acceleration sensor are larger than the number of times of data acquisition (frame rate) per unit time of the optical motion capture camera,
The coordinate value of the optical marker hidden in time is estimated using the positional relationship of the optical marker with respect to the sensor module, the coordinate value of the sensor module, and the attitude information of the sensor module.
Here, the coordinate value of the sensor module is acquired by the acceleration sensor, and the attitude information of the sensor module is acquired by the gyro sensor.
このように、９軸センサーの計測データを用いて、光学式マーカーの補間を行うことによって、低速（低価格）のカメラでも、高速のカメラを使用して計測することと同様の効果が得られ高精度の計測を行うことができ、もって、低コストで高精度の計測が可能となる。なお、本実施形態では、実際のカメラ計測周波数は通常100Hz（50Hz、25Hzの設定も可能）のカメラを使用しており、９軸センサーの計測周波数はこれよりも高いものとする。 Thus, by interpolating the optical marker using the measurement data of the 9-axis sensor, the same effect as that obtained by using a high-speed camera can be obtained even with a low-speed (low-cost) camera. High-precision measurement can be performed, and therefore high-precision measurement can be performed at low cost. In this embodiment, a camera with an actual camera measurement frequency of 100 Hz (50 Hz and 25 Hz can be set) is normally used, and the measurement frequency of the 9-axis sensor is higher than this.
［Ｆ］計測用のマーカーを用いた隠れマーカー推定
光学式モーションキャプチャを利用して、隠れマーカーを推定するためには、常に３個以上の光学式マーカーが映っている必要がある。一つの体節に常に３個のマーカーが映るようにマーカーを貼り付けるとなると、カメラからの死角を少なくするためにカメラの台数を増やしたり、マーカー数を増やしたりすることで、３個以上のマーカーが常に映るようにしている。しかしながら、多数のマーカーを貼り付けて、多数のカメラを利用することはコストがかかる。
[F] Hidden marker estimation using a marker for measurement In order to estimate a hidden marker using optical motion capture, it is necessary to always show three or more optical markers. If a marker is pasted so that three markers are always reflected in one body segment, increase the number of cameras or increase the number of markers to reduce the blind spots from the camera. The marker is always shown. However, it is costly to use a large number of cameras by attaching a large number of markers.
これを防ぐための方法として、ポインタや３点のマーカーを付けた治具（３点マーカー）を用いるものが知られている。仮想的にマーカーを設定することで、マーカーが隠れることを抑えることができるが、３点マーカー自体が隠れてしまった場合には仮想的なマーカーの計算もできない。 As a method for preventing this, a method using a jig (three-point marker) with a pointer or three-point marker is known. By setting the marker virtually, it is possible to prevent the marker from being hidden, but when the three-point marker itself is hidden, the virtual marker cannot be calculated.
本明細書において、センサーマーカー（赤外線反射マーカー）の位置情報を用いて９軸センサーの位置を取得することについて述べたが、長時間、当該マーカーが消えて隠れているような場合には、当該マーカーの位置を精度良く求めることはできず、精度の高い９軸センサーの位置情報の取得ができない。 In this specification, it has been described that the position of the 9-axis sensor is obtained using the position information of the sensor marker (infrared reflective marker). However, if the marker disappears and is hidden for a long time, The position of the marker cannot be obtained with high accuracy, and the position information of the 9-axis sensor with high accuracy cannot be acquired.
このような問題を解決するための方法として、同じ体節上に９軸センサーと、複数の光学式マーカーを設定する。複数の光学式マーカーは、センサーマーカーにもなり得るし、推定対象のマーカーにもなり得る。例えば、図６に示すように、同一体節上に、９軸センサーと、マーカーＡ、マーカーＢを取り付ける。９軸センサーとマーカーＡの位置関係、９軸センサーとマーカーＢの位置関係を記憶しておく。マーカーＡの位置情報が取得できれば、マーカーＡと９軸センサーの位置関係、９軸センサーの姿勢情報から９軸センサーの位置情報を取得することができ、また、取得した９軸センサーの位置情報、マーカーＢと９軸センサーの位置関係、９軸センサーの姿勢情報からマーカーＢの位置を推定することができる。すなわち、マーカーＢが隠れてしまったような場面では、マーカーＡをセンサーマーカーとして、マーカーＢの位置の推定に利用することができ、また、マーカーＡが隠れてしまったような場面では、マーカーＢをセンサーマーカーとして、マーカーＡの位置の推定に利用することができる。 As a method for solving such a problem, a 9-axis sensor and a plurality of optical markers are set on the same body segment. The plurality of optical markers can be sensor markers or markers to be estimated. For example, as shown in FIG. 6, a 9-axis sensor, a marker A, and a marker B are attached on the same body segment. The positional relationship between the 9-axis sensor and the marker A and the positional relationship between the 9-axis sensor and the marker B are stored. If the position information of the marker A can be acquired, the position information of the 9-axis sensor can be acquired from the positional relationship between the marker A and the 9-axis sensor and the posture information of the 9-axis sensor. The position of the marker B can be estimated from the positional relationship between the marker B and the 9-axis sensor and the posture information of the 9-axis sensor. That is, in a scene where the marker B is hidden, the marker A can be used as a sensor marker to estimate the position of the marker B. In a scene where the marker A is hidden, the marker B Can be used for estimating the position of the marker A.
こうすることで、同一体節上の任意の１つのマーカーの位置は、他の１つのマーカーの位置から推定可能であり、すなわち、同一体節上の１個のマーカーが見えていれば（そのマーカーの位置が取得できれば）、他の同一体節上のマーカー位置の推定が可能となる。これにより、カメラの死角に対するロバストネスを大幅に向上させることができ、もって、カメラの台数を減らすこと、計測に必要なマーカー個数を減らすことを可能とし、動作分析にかかる人的・金銭的コストの低減を図ることができる。 In this way, the position of any one marker on the same body segment can be estimated from the position of the other one marker, that is, if one marker on the same body segment is visible (that is, If the position of the marker can be obtained), the marker position on another same body segment can be estimated. As a result, the robustness against the blind spot of the camera can be greatly improved, so that it is possible to reduce the number of cameras and the number of markers required for measurement, and to reduce the human and monetary costs for motion analysis. Reduction can be achieved.
図６では、同一体節上に２個のマーカーを設けることを例示したが、３個以上のマーカー（９軸センサーとの位置関係が記憶されている）を設けてもよい。この場合、１つあるいは複数個のセンサーマーカーの位置情報に基づいて、他の１つあるいは複数個のマーカーの位置を推定することになる。例えば、複数のセンサーマーカーを利用して、隠れた光学式マーカーを推定する場合に、得られた複数個の隠れたマーカーの推定位置の平均を隠れたマーカーの推定位置としてもよい。 In FIG. 6, two markers are provided on the same body segment, but three or more markers (positional relationship with the 9-axis sensor are stored) may be provided. In this case, the position of one or more other markers is estimated based on the position information of one or more sensor markers. For example, when a hidden optical marker is estimated using a plurality of sensor markers, an average of the estimated positions of the plurality of obtained hidden markers may be used as the estimated position of the hidden marker.
より具体的な態様について説明する。大腿部上に装着する光学式マーカーとして、大腿部外側上顆、大転子に光学式マーカーを取り付けて計測を行う場合があり、歩行計測では、大転子上の光学式マーカーが腕振り動作によって隠れてしまうことがしばしば生じる。そこで、大腿部（剛体）上に９軸センサー、大腿部外側上顆マーカー、大転子マーカー、を取り付け、９軸センサーと大腿部外側上顆マーカーの位置関係、９軸センサーと大転子マーカーの位置関係を記憶しておく。大腿部外側上顆マーカーを、９軸センサーの位置情報を取得するセンサーマーカーとして選択し、大転子マーカーを、その位置情報が推定される推定マーカーとして選択することで、大転子マーカーが隠れた際に、大転子マーカーの座標値を、大転子マーカーと９軸センサーの位置関係、大腿部外側上顆マーカーの座標値、９軸センサーと大腿部外側上顆マーカーの位置関係に基づいて取得された９軸センサーの座標値、９軸センサーの姿勢情報と、を用いて推定することができる。 A more specific aspect will be described. As an optical marker to be mounted on the thigh, the optical marker may be attached to the outer epicondyle of the thigh and the greater trochanter to perform measurement. In walking measurement, the optical marker on the greater trochanter is the arm. It often happens that it is hidden by a swing motion. Therefore, a 9-axis sensor, a thigh outer epicondyle marker, and a greater trochanter marker are attached on the thigh (rigid body), and the positional relationship between the 9-axis sensor and the thigh outer epicondyle marker is large. The positional relationship of the trochanter marker is stored. By selecting the thigh outer epicondyle marker as a sensor marker for acquiring position information of the 9-axis sensor, and selecting the greater trochanter marker as an estimated marker whose position information is estimated, the greater trochanter marker is When hidden, the coordinate value of the greater trochanter marker is the positional relationship between the greater trochanter marker and the 9-axis sensor, the coordinate value of the thigh outer epicondyle marker, and the position of the 9-axis sensor and the outer thigh condyle marker. It can be estimated using the coordinate values of the 9-axis sensor and the posture information of the 9-axis sensor acquired based on the relationship.
他の具体的な態様について説明する。前腕部（剛体）上に９軸センサー、尺骨突起マーカー、橈骨突起マーカー、を取り付け、９軸センサーと尺骨突起マーカーの位置関係、９軸センサーと橈骨突起マーカーの位置関係を記憶しておく。ある場面では、尺骨突起マーカーがセンサーマーカー、橈骨突起マーカーが推定マーカーとなり、また、ある場面では、尺骨突起マーカーが推定マーカー、橈骨突起マーカーがセンサーマーカーとなる。回内動作をすると、橈骨突起マーカーが隠れるが、橈骨突起マーカーの座標値を、橈骨突起マーカーと９軸センサーの位置関係、尺骨突起マーカーの座標値、９軸センサーと尺骨突起マーカーの位置関係に基づいて取得された９軸センサーの座標値、９軸センサーの姿勢情報と、を用いて推定することができる。逆に回外動作の際は、尺骨突起のマーカーが隠れるが、尺骨突起のマーカーの座標値を、尺骨突起のマーカーと９軸センサーの位置関係、橈骨突起マーカーの座標値、９軸センサーと橈骨突起マーカーの位置関係に基づいて取得された９軸センサーの座標値、９軸センサーの姿勢情報と、を用いて推定することができる。 Other specific embodiments will be described. A 9-axis sensor, an ulnar process marker, and a radial process marker are attached on the forearm (rigid body), and the positional relationship between the 9-axis sensor and the ulnar process marker and the positional relationship between the 9-axis sensor and the radial process marker are stored. In some scenes, the ulnar process marker is a sensor marker and the radial process marker is an estimated marker. In some scenes, the ulnar process marker is an estimated marker and the radial process marker is a sensor marker. When the pronation is performed, the radial process marker is hidden, but the coordinate value of the radial process marker is changed to the positional relationship between the radial process marker and the 9-axis sensor, the coordinate value of the ulnar process marker, and the positional relationship between the 9-axis sensor and the ulnar process marker. It can be estimated using the coordinate values of the 9-axis sensor and the attitude information of the 9-axis sensor acquired based on the information. On the other hand, the ulnar process marker is hidden during the supination operation, but the coordinate value of the ulnar process marker is the positional relationship between the ulnar process marker and the 9-axis sensor, the coordinate value of the radial process marker, the 9-axis sensor and the calcaneus. It can be estimated using the coordinate values of the 9-axis sensor and the posture information of the 9-axis sensor acquired based on the positional relationship of the protrusion markers.
このように、人間の体の部位で、ほとんどの動作において、体節の表面すべてが隠れることはないので、体節上に複数のマーカーを設け、体節上の見えているマーカーをセンサーマーカーとして、見えなくなったマーカーの位置を推定することは有効である。また、上記態様では、９軸センサー＋２つのマーカーについて説明したが、３つ以上のマーカーを用いてもよい。例えば、骨盤において、左右上前腸骨棘、大転子の4点をそれぞれ、隠れマーカーの推定対象およびセンサーマーカーとしてもよい。 In this way, in most parts of the human body, the entire surface of the body segment is not hidden in most movements, so multiple markers are provided on the body segment and the visible markers on the body segment are used as sensor markers. It is effective to estimate the position of the marker that has disappeared. Moreover, in the said aspect, although 9 axis | shaft sensor + two markers were demonstrated, you may use three or more markers. For example, in the pelvis, the four points of the left and right upper anterior iliac spines and the greater trochanter may be used as the hidden marker estimation target and the sensor marker, respectively.
さらに他の具体的な態様として、仮想マーカーの設定および位置の推定について説明する。仮想点の設定時及び計測時に、３つの光学式マーカーを備えたマーカー治具上に９軸センサーを取り付ける。各光学式マーカーと９軸センサーとの位置関係を記憶しておく。センサーマーカーとして、マーカー治具上の３つのマーカーを利用する。こうすることで、マーカー治具上の少なくとも１個のマーカーが見えていれば、９軸センサーとの位置関係、９軸センサーの姿勢情報から、マーカー治具上の他のマーカー位置を推定することができ、設定した仮想点を決定することが可能となる。仮想点の設定時においても、体節上のマーカーが１つ見えていれば、他の体節マーカーを推定することができ、仮想点を設定することができる。 As yet another specific mode, setting of a virtual marker and position estimation will be described. A 9-axis sensor is mounted on a marker jig provided with three optical markers at the time of setting and measuring a virtual point. The positional relationship between each optical marker and the 9-axis sensor is stored. Three markers on the marker jig are used as sensor markers. By doing this, if at least one marker on the marker jig is visible, the position of the other marker on the marker jig is estimated from the positional relationship with the 9-axis sensor and the posture information of the 9-axis sensor. The set virtual point can be determined. Even when a virtual point is set, if one marker on the body segment is visible, other body segment markers can be estimated and a virtual point can be set.
図７を参照しつつ説明すると、仮想マーカー1の設定・推定の際に、従来は３つの体節マーカー１〜３が見えている必要があった。しかしながら、３つのマーカーのうち１つが見ていれば、他の２つの体節マーカーの推定ができる。例えば、体節マーカー１のみが見えていれば、体節マーカー２、３が隠れていても、体節マーカー２、３の位置を推定することができる。したがって、３つの体節マーカーの位置が計算できるので、仮想マーカー1を計算するためには、体節マーカー１〜３のうち１つが見えていればよいこととなる。同様に、仮想点決定時も３つの体節マーカー１〜３のうち１つが見えていればよい。 Referring to FIG. 7, when setting / estimating the virtual marker 1, conventionally, the three somite markers 1 to 3 had to be visible. However, if one of the three markers is seen, the other two somite markers can be estimated. For example, if only the body segment marker 1 is visible, the positions of the body segment markers 2 and 3 can be estimated even if the body segment markers 2 and 3 are hidden. Therefore, since the positions of the three body segment markers can be calculated, in order to calculate the virtual marker 1, one of the body segment markers 1 to 3 need only be visible. Similarly, it is only necessary that one of the three body segment markers 1 to 3 is visible when the virtual point is determined.
１ 光学式マーカー
１´ 補正用の光学式マーカー
２ ９軸センサー
３ カメラ
４ コンピュータ
５ 剛体
DESCRIPTION OF SYMBOLS 1 Optical marker 1 'Optical marker 2 for correction | amendment 9 Axis sensor 3 Camera 4 Computer 5 Rigid body
Claims (12)
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測において、
光学式マーカーと同一剛体上にセンサーモジュールを設け、前記センサーモジュールに対する前記光学式マーカーの位置関係が記憶されており、
隠れた光学式マーカーの座標値を、前記位置関係と、センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する、
光学式マーカーの位置の推定方法。 With optical motion capture,
A sensor module having at least a three-axis gyro sensor;
In motion measurement with
A sensor module is provided on the same rigid body as the optical marker, and the positional relationship of the optical marker with respect to the sensor module is stored,
The coordinate value of the hidden optical marker is estimated using the positional relationship, the coordinate value of the sensor module, and the posture information of the sensor module.
A method for estimating the position of an optical marker.
請求項１に記載の光学式マーカーの位置の推定方法。 A sensor module that calculates the coordinate value of the hidden optical marker in the world coordinate system using the positional relationship, the coordinate value of the sensor module in the world coordinate system, and the rotation information acquired by the gyro sensor of the sensor module. Using the conversion information between the coordinate system and the world coordinate system,
The method of estimating the position of the optical marker according to claim 1.
請求項２に記載の光学式マーカーの位置の推定方法。 The orientation information of the sensor module when the sensor module coordinate system is made to coincide with the world coordinate system is obtained, and the conversion information includes the orientation information and the rotation information acquired by the gyro sensor of the sensor module. Obtained using
The method of estimating the position of the optical marker according to claim 2.
世界座標系における前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される、
請求項２、３いずれか１項に記載の光学式マーカーの位置の推定方法。 The sensor module includes a triaxial acceleration sensor,
The coordinate value of the sensor module in the world coordinate system is calculated from the measurement value of the acceleration sensor of the sensor module.
The method for estimating the position of the optical marker according to claim 2.
世界座標系における前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の補正用マーカーの座標値と、前記位置関係と、を用いて取得される、
請求項２、３いずれか１項に記載の光学式マーカーの位置の推定方法。 One or a plurality of correction markers provided on the same rigid body as the sensor module and having a positional relationship identified with respect to the sensor module;
The coordinate value of the sensor module in the world coordinate system is acquired using the coordinate value of the one or more correction markers acquired by the optical motion capture and the positional relationship.
The method for estimating the position of the optical marker according to claim 2.
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測システムにおいて、
光学式マーカーと同一剛体上に設けたセンサーモジュールと、
前記センサーモジュールに対する前記光学式マーカーの位置関係を記憶する記憶手段と、
隠れた光学式マーカーの座標値を、前記位置関係と、センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する演算手段と、
を備えた、光学式マーカーの位置の推定装置。 With optical motion capture,
A sensor module having at least a three-axis gyro sensor;
In the motion measurement system with
A sensor module provided on the same rigid body as the optical marker;
Storage means for storing a positional relationship of the optical marker with respect to the sensor module;
Calculation means for estimating the coordinate value of the hidden optical marker using the positional relationship, the coordinate value of the sensor module, and the attitude information of the sensor module;
An apparatus for estimating the position of an optical marker.
請求項６に記載の光学式マーカーの位置の推定装置。 The calculation means uses the coordinate value of the hidden optical marker in the world coordinate system, the positional relationship, the coordinate value of the sensor module in the world coordinate system, and the rotation information acquired by the gyro sensor of the sensor module. Estimate using the calculated conversion information between the sensor module coordinate system and the world coordinate system,
The apparatus for estimating the position of the optical marker according to claim 6.
前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて前記変換情報を計算する手段と、
を備えた、請求項７に記載の光学式マーカーの位置の推定装置。 Storage means for storing posture information of the sensor module when the sensor module coordinate system is made to coincide with the world coordinate system;
Means for calculating the conversion information using the attitude information and rotation information acquired by a gyro sensor of the sensor module;
An apparatus for estimating the position of an optical marker according to claim 7, comprising:
世界座標系における前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される、
請求項７、８いずれか１項に記載の光学式マーカーの位置の推定装置。 The sensor module includes a triaxial acceleration sensor,
The coordinate value of the sensor module in the world coordinate system is calculated from the measurement value of the acceleration sensor of the sensor module.
The position estimation device for an optical marker according to any one of claims 7 and 8.
世界座標系における前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の補正用マーカーの座標値と、前記位置関係と、を用いて取得される、
請求項７、８いずれか１項に記載の光学式マーカーの位置の推定装置。 One or a plurality of correction markers provided on the same rigid body as the sensor module and whose positional relationship is specified with respect to the sensor module,
The coordinate value of the sensor module in the world coordinate system is acquired using the coordinate value of the one or more correction markers acquired by the optical motion capture and the positional relationship.
The position estimation device for an optical marker according to any one of claims 7 and 8.
前記ジャイロセンサーの単位時間当たりの計測回数及び前記加速度センサーの単位時間当たりの計測回数は、前記光学モーションキャプチャのカメラの単位時間当たりのデータ取得回数よりも多く、
前記時間的に隠れた光学式マーカーの座標値を、前記位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する、
請求項４に記載の光学式マーカーの位置の推定方法。 The hidden optical marker is a temporally hidden optical marker that is not photographed at a certain point in time,
The number of measurements per unit time of the gyro sensor and the number of measurements per unit time of the acceleration sensor are greater than the number of times of data acquisition per unit time of the optical motion capture camera,
Estimating the coordinate value of the temporally hidden optical marker using the positional relationship, the coordinate value of the sensor module, and the attitude information of the sensor module,
The method for estimating the position of the optical marker according to claim 4.
前記ジャイロセンサーの単位時間当たりの計測回数及び前記加速度センサーの単位時間当たりの計測回数は、前記光学モーションキャプチャのカメラの単位時間当たりのデータ取得回数よりも多く、
前記演算手段は、前記時間的に隠れた光学式マーカーの座標値を、前記位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する、
請求項９に記載の光学式マーカーの位置の推定装置。 The hidden optical marker is a temporally hidden optical marker that is not photographed at a certain point in time,
The number of measurements per unit time of the gyro sensor and the number of measurements per unit time of the acceleration sensor are greater than the number of times of data acquisition per unit time of the optical motion capture camera,
The calculation means estimates the coordinate value of the optical marker hidden in time using the positional relationship, the coordinate value of the sensor module, and the posture information of the sensor module.
The apparatus for estimating the position of the optical marker according to claim 9.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015105263A JP6288858B2 (en) | 2014-05-29 | 2015-05-25 | Method and apparatus for estimating position of optical marker in optical motion capture |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014111450 | 2014-05-29 | ||
| JP2014111450 | 2014-05-29 | ||
| JP2015105263A JP6288858B2 (en) | 2014-05-29 | 2015-05-25 | Method and apparatus for estimating position of optical marker in optical motion capture |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016006415A true JP2016006415A (en) | 2016-01-14 |
| JP6288858B2 JP6288858B2 (en) | 2018-03-07 |
Family
ID=55224921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015105263A Active JP6288858B2 (en) | 2014-05-29 | 2015-05-25 | Method and apparatus for estimating position of optical marker in optical motion capture |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6288858B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019176020A1 (en) * | 2018-03-14 | 2019-09-19 | 株式会社ソニー・インタラクティブエンタテインメント | Position estimation device, position estimation method, and program |
| WO2020031659A1 (en) * | 2018-08-06 | 2020-02-13 | 国立研究開発法人産業技術総合研究所 | Position and attitude estimation system, position and attitude estimation apparatus, and position and attitude estimation method |
| CN111382701A (en) * | 2020-03-09 | 2020-07-07 | 北京字节跳动网络技术有限公司 | Motion capture method, motion capture device, electronic equipment and computer-readable storage medium |
| CN113592954A (en) * | 2019-12-27 | 2021-11-02 | 深圳市瑞立视多媒体科技有限公司 | Multi-camera calibration method based on optical dynamic capture in large space environment and related equipment |
| CN114543670A (en) * | 2022-01-28 | 2022-05-27 | 中国科学院长春光学精密机械与物理研究所 | Optical element pose auxiliary calibration method and system based on machine vision |
| CN115990334A (en) * | 2023-02-21 | 2023-04-21 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | Motion capture measurement system and measurement method |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7145113B2 (en) | 2019-03-26 | 2022-09-30 | 東京瓦斯株式会社 | Gas detection device, gas detection method and gas detection system |
| KR102486140B1 (en) | 2020-10-12 | 2023-01-10 | 한국과학기술연구원 | System and method for calibrting rate of body size of subject |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0644005A (en) * | 1992-01-24 | 1994-02-18 | Seiko Instr Inc | Coordinate input device |
| JP2009085805A (en) * | 2007-10-01 | 2009-04-23 | Shimadzu Corp | Motion tracker apparatus |
| JP2009109290A (en) * | 2007-10-29 | 2009-05-21 | Tokyo Institute Of Technology | Target position measuring system |
| JP2010133711A (en) * | 2008-12-02 | 2010-06-17 | Sumitomo Heavy Ind Ltd | Method and device of measuring temporal variation of position of object |
-
2015
- 2015-05-25 JP JP2015105263A patent/JP6288858B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0644005A (en) * | 1992-01-24 | 1994-02-18 | Seiko Instr Inc | Coordinate input device |
| JP2009085805A (en) * | 2007-10-01 | 2009-04-23 | Shimadzu Corp | Motion tracker apparatus |
| JP2009109290A (en) * | 2007-10-29 | 2009-05-21 | Tokyo Institute Of Technology | Target position measuring system |
| JP2010133711A (en) * | 2008-12-02 | 2010-06-17 | Sumitomo Heavy Ind Ltd | Method and device of measuring temporal variation of position of object |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019176020A1 (en) * | 2018-03-14 | 2019-09-19 | 株式会社ソニー・インタラクティブエンタテインメント | Position estimation device, position estimation method, and program |
| WO2019176150A1 (en) * | 2018-03-14 | 2019-09-19 | 株式会社ソニー・インタラクティブエンタテインメント | Position estimation device, position estimation method, and program |
| US11402897B2 (en) | 2018-03-14 | 2022-08-02 | Sony Interactive Entertainment Inc. | Position estimation apparatus, position estimation method, and program |
| WO2020031659A1 (en) * | 2018-08-06 | 2020-02-13 | 国立研究開発法人産業技術総合研究所 | Position and attitude estimation system, position and attitude estimation apparatus, and position and attitude estimation method |
| CN113592954A (en) * | 2019-12-27 | 2021-11-02 | 深圳市瑞立视多媒体科技有限公司 | Multi-camera calibration method based on optical dynamic capture in large space environment and related equipment |
| CN113592954B (en) * | 2019-12-27 | 2023-06-09 | 深圳市瑞立视多媒体科技有限公司 | Multi-camera calibration method and related equipment in large space environment based on optical dynamic capturing |
| CN111382701A (en) * | 2020-03-09 | 2020-07-07 | 北京字节跳动网络技术有限公司 | Motion capture method, motion capture device, electronic equipment and computer-readable storage medium |
| CN111382701B (en) * | 2020-03-09 | 2023-09-22 | 抖音视界有限公司 | Motion capture method, motion capture device, electronic equipment and computer readable storage medium |
| CN114543670A (en) * | 2022-01-28 | 2022-05-27 | 中国科学院长春光学精密机械与物理研究所 | Optical element pose auxiliary calibration method and system based on machine vision |
| CN114543670B (en) * | 2022-01-28 | 2023-03-21 | 中国科学院长春光学精密机械与物理研究所 | Optical element pose auxiliary calibration method and system based on machine vision |
| CN115990334A (en) * | 2023-02-21 | 2023-04-21 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | Motion capture measurement system and measurement method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6288858B2 (en) | 2018-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6288858B2 (en) | Method and apparatus for estimating position of optical marker in optical motion capture | |
| JP6145072B2 (en) | Sensor module position acquisition method and apparatus, and motion measurement method and apparatus | |
| US9401025B2 (en) | Visual and physical motion sensing for three-dimensional motion capture | |
| WO2018077176A1 (en) | Wearable device and method for determining user displacement in wearable device | |
| WO2016183812A1 (en) | Mixed motion capturing system and method | |
| CN110617814A (en) | Monocular vision and inertial sensor integrated remote distance measuring system and method | |
| KR20160037972A (en) | Method for camera motion estimation and correction | |
| CN107613867B (en) | Action display system and recording medium | |
| KR20080095878A (en) | Motion capture device and associated method | |
| CN107316319A (en) | The methods, devices and systems that a kind of rigid body is followed the trail of | |
| CN108106614B (en) | A kind of inertial sensor and visual sensor data melt algorithm | |
| CN110609621B (en) | Gesture calibration method and human motion capture system based on microsensor | |
| CN108733206A (en) | A kind of coordinate alignment schemes, system and virtual reality system | |
| CN111899276A (en) | SLAM method and system based on binocular event camera | |
| JP2005256232A (en) | Method, apparatus and program for displaying 3d data | |
| CN109284006A (en) | A kind of human motion capture device and method | |
| Ahmed et al. | A visual-inertial approach to human gait estimation | |
| CN112486331A (en) | IMU-based three-dimensional space handwriting input method and device | |
| CN116443028A (en) | Head posture data acquisition system and method | |
| Islam et al. | Full-body tracking using a sensor array system and laser-based sweeps | |
| JP6205387B2 (en) | Method and apparatus for acquiring position information of virtual marker, and operation measurement method | |
| Abbate et al. | Development of a MEMS based wearable motion capture system | |
| CN107449403B (en) | Time-space four-dimensional joint imaging model and application | |
| CN111158482B (en) | Human body motion gesture capturing method and system | |
| CN112556681B (en) | Vision-based navigation and positioning method for orchard machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6288858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |