JP2013500812A - 運動学的連結の慣性計測 - Google Patents

運動学的連結の慣性計測 Download PDF

Info

Publication number
JP2013500812A
JP2013500812A JP2012523401A JP2012523401A JP2013500812A JP 2013500812 A JP2013500812 A JP 2013500812A JP 2012523401 A JP2012523401 A JP 2012523401A JP 2012523401 A JP2012523401 A JP 2012523401A JP 2013500812 A JP2013500812 A JP 2013500812A
Authority
JP
Japan
Prior art keywords
sensor
joint
relative
computer
body segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012523401A
Other languages
English (en)
Inventor
ヘンドリック・ヨハネス ラウンゲ
ダニエル ルーテンバーグ
パー・ヨハン スリッケ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xsens Holding BV
Original Assignee
Xsens Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xsens Holding BV filed Critical Xsens Holding BV
Publication of JP2013500812A publication Critical patent/JP2013500812A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036Measuring load distribution, e.g. podologic studies
    • A61B5/1038Measuring plantar pressure during gait
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528Joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6828Leg
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6829Foot or ankle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Gyroscopes (AREA)

Abstract

ジョイントにより接続される複数の体節からなるオブジェクトの動きを、当該オブジェクトの体節の互いに対する3D方向の推定によって、ヘディングの基準として地球磁場に依存することなく計測する方法を開示する。この方法は、まず、複数の慣性センサユニットをオブジェクトの各体節、例えば、ユーザの大腿、すね、足等に適用することを含む。次に、各慣性センサユニットと少なくとも1つの隣接するジョイントとの距離の近似値が与えられ、前記ジョイントは、例えばユーザが1、2歩歩くような加速度にさらされる。各体節の相対的方向が算出され、この方向を用いて、局所磁場をヘディングの基準として用いることなく、前記オブジェクトの体節の互いに対する3D方向の推定を形成する。

Description

本発明は、3次元空間において、ジョイントで接続されたオブジェクトパーツからなるオブジェクトを追跡する運動追跡システム、及び、とりわけ、人体の動きを追跡する運動追跡システムに関する。
高分解能の運動計測は、多くの医療、スポーツ及び人間工学への応用にとって重要である。また、映画・コンピュータゲームの市場では、アニメーション効果及び特殊効果の進化を目的とした、運動データのニーズが大きい。さらに、運動データは、トレーニングやシミュレーションのためのバーチャル・リアリティ(VR)及びオーグメンテッド・リアリティ(AR)への応用においても重要である。最後に、リアルタイムの3D運動データは、ロボット及びロボット装置の制御及び安定化にとって非常に重要である。
3D運動データの追跡及び記録に利用可能な技術がいくつかある。一般に、これらの技術は、追跡対象のオブジェクトの周囲にインフラストラクチャを構築する必要がある。例えば、このようなシステムのひとつは、動きを追跡する対象であるオブジェクトの周囲に固設された多数のカメラを用いる光学的システムである。しかしながら、このような光学的測定システムは、カメラで記録される量に関してオブジェクトの動きを追跡できるだけである。さらに、カメラシステムは、オブジェクトに対するカメラの視界が他のオブジェクトによってさえぎられた場合、又は、例えば、照明の状態が原因で1以上のカメラのパフォーマンスが悪い場合には、オクルージョンが生じてしまう。
磁場を形成し、形成された磁場を磁力計で検出することによって位置及び方向を追跡するシステムも、対象オブジェクトの周囲に大規模なインフラストラクチャを必要とする。このような磁力システムは、オクルージョンが生じず、どのような照明状態でも機能する一方、比較的磁気擾乱の影響を受けやすい。さらに、これらのシステムは、距離が離れるにつれて磁場の強さが急激に低下するため、比較的大きな伝送器を必要とする。
他のシステムは、ジョイント角度を推定するための機械的又は光学的角度計に依存している。しかしながら、このようなシステムは、例えば地面等の外部基準系に対する方向を提供する能力が不足している。しかも、対象体への機械的連結は複雑で手間がかかる。超音波センサに基づくシステムは、上記問題点の全てを共通して有しているわけではないが、風や他の超音波源だけでなく空気の温度や湿度等の外乱の影響を受けやすい。さらに、このようなシステムの範囲は比較的制限されることが多く、取り付けるインフラストラクチャの量は大変なものになる。
多くの場合、広範囲にわたって環境を整えることなく、即座に、動き回りながら、即ち、どのような場所においても各体節の運動データを計測できることが望まれる。これに適した技術では、地磁気センサと共に慣性センサを利用する。ジャイロスコープや加速度計等の慣性センサは、他のシステムから独立して自身の動きを計測する。計測した重力加速度等の外力を用いて基準方向を提供することができる。とりわけ、地磁気センサは、“ヘディング”としても知られる、水平面における順方向(北)の基準として地球磁場を決定する。
前記センサは、これを取りつけた体節の動きを、地球固定基準系に対して他のシステムから独立して計測する。前記センサは、角速度を計測するジャイロスコープと、重力を含む加速度を計測する加速度計と、地球磁場を計測する磁力計とから構成される。センサが取り付けられている体節が分かっている場合、及び、各体節及びジョイントに対するセンサの方向が分かっている場合には、各体節の方向をグローバルフレームにおいて表すことができる。算出した各体節の方向及び体節長さの知識を用いることによって、リンク型運動連鎖(拘束型多関節モデル)を絶対的な仮定として、体節間の方向を推定することができ、また、体節の位置を導き出すことができる。この方法は、当該技術ではよく知られており、ジョイントが回転自由度のみを有する完全拘束型多関節剛体を想定している。
地球磁場は、建物内、或いは、自動車,オートバイ,家具及び、磁性材料を含む又は独自の磁場を形成する他の物体、例えばモータ,スピーカ,TV等の近くではひどく乱れることがあるため、地球磁場を基準として用いる必要があるというのは厄介なことである。
さらに、拘束型多関節剛体の動きを正確に計算するには、ジョイント間をつなぐ剛体の長さを正確に知る必要がある。しかしながら、各ジョイントの内部の回転点は露出しておらず、簡単にアクセスすることができないため、ジョイント間の距離を正確に計測することはたいていの場合不可能である。例えば、人間の膝内部の回転ジョイントは、外からは容易に計測できない。外部からのジョイントの場所の計測を難しくしているさらなる要素は、ジョイントの場所は常に定まっているのではなく、実行中の動作によって変わることがあるということである。これは、例えば、人間の膝及び肩に当てはまる。このような運動連鎖をキャリブレーションしてジョイントの相対的位置を正確にキャリブレーションする方法は当該技術においては既知であるが、このような方法は、依然として、正確な方向検知に依存しており、慣性・磁気センサユニットを用いる場合、前述のような地球磁場が乱れる領域では扱いにくい。
本発明は、ジョイントで連結されたパーツからなるオブジェクトの位置及び方向、及び、とりわけ前記オブジェクトパーツの互いに対する位置及び方向を、垂直線回りの回転(ヘディング)の基準として地球磁場に依存せずに、動き回りながらどのような場所でも互いに対して計測できるシステムの提供を目的とする。
本発明は、前記システムを用いながら、又は、別のキャリブレーション手順の一部として、前記オブジェクトパーツを連結する前記ジョイント間の距離を正確に推定することができるシステムの提供をさらなる目的とする。
本発明の他の目的及び特徴は、添付の図面と共に以下の記述を読めば理解されるであろう。
図1は、本発明の実施形態が適用される多分節連結体の概略断面図である。
図2は、テストを目的として本発明の実施形態が実施されたテストベッド装置の写真図である。
図3は、本発明の実施形態に従って、図2の装置におけるセンサAのキャリブレーションデータを示すデータプロットを収集したものである。
図4は、本発明の実施形態に従って、センサAフレーム及びグローバルフレームにおいて表された、テスト中の相対的方向(センサAに対するセンサBの方向)を示すデータプロットを収集したものである。
図5は、図2の義肢テストベッドを、ヒンジ回り、センサA回り及び当該義肢をアームの延長線上に保持して肩回りに回転させたテストについてのセンサAの計測データ及び、本発明の実施形態に従って収集・処理したデータを示すデータプロットを収集したものである。
図6は、本発明の実施形態に従って、図5の3つの異なる回転について、センサAフレーム及びグローバルフレームにおいて表された、相対的ヘディング推定を示すデータプロットを収集したものである。
図7は、義肢をx軸,y軸及びz軸に沿って平行移動させたテストについてセンサAのキャリブレーションデータを示すデータプロットを収集したものであり、本発明の実施形態に従ってデータの収集・処理を行ったものである。
図8は、本発明の実施形態に従って、義肢のいくつかの動きについて相対的ヘディング推定を示すデータプロットを収集したものである。
図9は、上脚(腿)と下脚(すね)とをつなぐ膝ジョイント及び前記すねと足とをつなぐ足首ジョイントを有する脚を示す概略図である。
図10は、アルゴリズムの処理フローを概略的に示しており、本発明の実施形態に従った、当該アルゴリズム用の1組の所定パラメータの使用を含む。
図11は、図9のモデルを踏まえて、足首ジョイントと、センサB(すねに取付)と、センサC(足に取付)との関係を示す概略図である。
図12は、開示した原則を適用することができる、ジョイントで接続された2つの剛性体節A及びBからなるモデルを示す概略図である。
運動連結(KiC)アルゴリズムは、ジョイント両側の2つの体節の(相対的)方向を算出するものである。慣性計測ユニット、別名IMU(3D加速度センサ,3Dジャイロスコープ,任意で3D磁力計を装備)を各体節に堅固に取り付ける。ジョイント角度を正確に決定するのに必要なのは、ジョイント連結に関する限られた演繹的知識のみである。この2つの体節の相対的方向は、ヘディングの基準として局所磁場を用いずに、ジョイント加速度から導出される情報を用いて本質的に決定される。
以下の初期前提が設定される:
・rA en rB,それぞれセンサフレームA及びBにおいて表されるジョイント,は固定されている。
・グローバルフレームは、北を指すX、西を指すY及び上方を指すZにより定義される。
・体節A及び体節Bの加速度及び角速度はこれらの体節に取り付けられるセンサによって計測される。
・初期センサ方向は、計測した初期加速度及び計測した初期磁場を用いて、あるいは任意の初期推定値を用いて算出される。
・重力による加速度は分かっており一定であると考える。さらに、以下の導き出される方程式においては地球角速度を考慮しない。
状態ベクトルは、
Figure 2013500812
により定義される。
Δp=グローバルフレームにおいて表される相対的位置
Δv=グローバルフレームにおいて表される相対的速度
A,lowpass,t=グローバルフレームにおいて表されるセンサAの低域通過加速度
SAθε,A,t=‘センサA’フレームにおいて表されるセンサAの方向誤差
SAε,A,t=‘センサA’フレームにおいて表されるセンサAのジャイロスコープバイアス
SBθε,B,t=‘センサB’フレームにおいて表されるセンサBの方向誤差
SB,t=‘センサB’フレームにおいて表されるセンサBのジャイロスコープバイアス
推定ジャイロスコープオフセットを使って角速度を修正する。
Figure 2013500812
尚、yaccとygyrは、それぞれ、加速度センサとジャイロスコープからの信号(m/s)及び(rad/s)と定義される。2つの時間ステップ間の方向の変化は四元数:
Figure 2013500812
で説明することができる。
続いて、次の方向を算出するのは四元数の乗算:
Figure 2013500812
である。
新たな状態ベクトルを予測する方程式は:
Figure 2013500812
Figure 2013500812
である。
相対的位置を更新する態様を図1の体節図で説明する。ヒンジ105で連結される2つの体節101,103からなるボディ100の例を図1に示す。体節101におけるセンサBの位置は、体節103におけるセンサAの位置と、センサAとセンサBとの相対的距離の和と等しい故、
Figure 2013500812
これらの方程式は、状態ベクトルを更新するために実行される。
共分散行列は、方程式Qx,t+1=A・Qx,t・A´+Qを使って更新され、A、即ちヤコビ行列は、
Figure 2013500812
で与えられる。
同様に、プロセスノイズ共分散行列は、
Figure 2013500812
である。
推測航法を使って計算された状態及びその共分散は集積ドリフトに悩まされることがあることが理解されるであろう。これは、グローバルフレームにおける低域通過加速度の時間についての平均をゼロとする近似を用いて、任意に調整され、オブジェクト体節の傾きの可観測性が得られる:
Figure 2013500812
本発明の実施形態では、この加速度の更新は、前記ユニットの1つ、例えば、センサAについてのみ実施される。
任意で磁場計測更新を複数のセンサに用いることができ、そうすると、ジョイント加速度がない(及び、ジョイント加速度を用いて相対的ヘディングを観測できない)場合に、相対的ヘディングはドリフトせず、レートジャイロスコープのバイアスは観測可能なままである。
第3の計測更新では、前記2つの体節101,103が前記ジョイント105により接続されているという情報を用いる。図1から、前記ジョイント105とセンサAとの間の距離は、センサAとセンサBとの相対的位置Δpと、前記ジョイント105とセンサBとの間の距離との和と等しいということになる。したがって、Δpは、
Figure 2013500812
と等しい。
このとき、計測更新方程式は、
Figure 2013500812
で定義される。
計測更新後、方向誤差SAθε,A,tSBθε,B,tの推定値を用いて方向qGSA,t及びqGSB,tを更新する。これに応じて前記共分散行列が更新され、方向誤差はゼロに設定される。さらに、前記四元数は正規化される。
前記アルゴリズムをテストするために、図2に示すような、よく定義された機械的システム、義肢200を用いて計測が行われた。当該計測において、前記義肢200は、まず、最初の20秒間は静止状態に置かれた後、センサのx方向に平行移動され、その後、50秒間再び静止状態に置かれた。実験中ヒンジ(ジョイント)角度は変えず、したがって、相対的位置も変化しなかった。センサA及びセンサBのキャリブレーションデータを図3に示す。上段301のグラフは加速度センサ信号を示し、中段303のグラフはジャイロスコープ信号を示し、下段305のグラフは磁力計信号を示す。グラフの3列は、それぞれ異なる軸に沿った信号を示している(それぞれ、x,y,z)。
図4は、(グローバルフレームにおいて表された)オイラー角におけるセンサAの方向及び(グローバルフレームにおいて表された)オイラー角におけるセンサBの方向を示す一連のデータプロット400を示している。図4から、センサAの傾き及びセンサBの傾きを即座に観測できることがわかる。とりわけ、センサAの傾きは、任意のセンサAについての低域通過加速度更新から直接観測可能であり、一方、センサBの傾きは、相対的位置の更新によって観測可能になる。両センサについてヘディングは、これらが静止状態に置かれているときは観測不可能である。これは、ヘディングについての情報が与えられない、例えば、磁力計計測更新が用いられなかったからである。
以上から、前記義肢が平行移動するときに相対的ヘディングが観測可能になることが理解されるであろう。前記ジョイントの相対的「ヘディング」は、当該ジョイントにおける水平方向の加速度があるときに観測可能になる。言い換えると、ジョイント中心回りの完全回転があるとき又は(グローバルフレームにおける)垂直方向の加速のみがあるとき、或いは動き又は一定の速度が全くない(加速度が全くない)ときには、相対的ヘディングは観測可能ではない。この洞察を確認するために、前記義肢が回転及び平行移動する場合においていくつかの計測を行った。
前記義肢200が、前記ヒンジ回り,センサA回り,及びアームの延長線上に保持された状態で肩回りに回転する場合において計測を行った。図5に、前記義肢を、前記ヒンジ回り,センサA回り,及びアームの延長線上に保持された状態で肩回りに回転させる計測について、センサAによって計測されたこの計測に基づくキャリブレーションデータ500を示す。
図6は、図5で説明した3つの異なる回転について、グローバルフレームにおいて表された相対的ヘディング推定600を示している。第1部601はヒンジ回りの回転の結果を示しており、第2部603はセンサA回りの回転のプロットを示しており、最終部である第3部605は肩回りの回転の結果を示す。図6には、比較的大きいヨーの不確かさから観測できるように、義肢のヒンジ回りの回転時は正確な相対的ヘディングに収束することが難しいことが示されている。
理論上は、相対的ヘディングは観測不可能であろうが、ヒンジ中心回りの完全回転が困難であることから小さな正味の水平方向加速が生じるため、相対的ヘディングを大まかに推定することが可能であろう。これはこの方法の感度を説明するものである。センサA回りの回転及び肩回りの回転については、相対的ヘディング推定はより早く正確な相対的ヘディングに収束し、不確かさも減少する。
次に、前記義肢200を、x,y及びz軸に沿って平行移動させた場合において計測を行った。この計測に基づくキャリブレーションデータ700を図7に示す。センサAによって計測されたキャリブレーションデータを示す。各列は、それぞれ異なる軸(x,y,z)のデータを示しており、上段701は加速度センサ信号を示しており、中段703はジャイロスコープ信号を示しており、下段705は磁力計信号を示している。矢示は、義肢をz方向及びy方向に平行移動させた時間、ジョイント回りに回転させた時間及びジョイントが自由する状態でセンサA回りに回転させた時間を示している。
図8に、図7で説明した試験を用いて、義肢のいくつかの動きについての相対的ヘディング推定800を示す。図8の上段のグラフ801は、ヒンジ角度をほぼ180°にした状態及びヒンジ角度を約90°にした状態でのz方向への平行移動について、(センサフレームA及びグローバルフレームにおいて表された)相対的ヘディング推定を示す。中段プロット803はy方向への平行移動の結果であり、下段プロット805はジョイントが自由に動作する状態(歩行運動に似せた状態)でのセンサA回りの回転の結果である。これらのプロットは、比較的大きい不確かさから分かるように、z方向の平行移動についてのみ相対的ヘディングを観測することが難しいことを示している。y方向の平行移動については、平行移動の開始時にすぐに収束すること及び最小の不確かさの値により示されるように、相対的ヘディングは観測可能である。
実際の用途として、上記において導き出され、証明されたこの観念は、多数の体節に拡張することが可能であり、また、実際には、任意の数のジョイント及びセンサに拡張可能である。また、各実施形態において、各体節に完全なIMUを備える必要も、全ての体節にセンサを備える必要もない。証明するために、よく用いられる、2つのジョイントで接続される3つの体節からなるシステム、例えば脚又は腕等への実用的応用を以下に導出する。
前記KiCアルゴリズムを証明する例として、脚900、例えば、図9に示すような、上脚(大腿)903と下脚(すね)905とを接続する膝ジョイント901及び前記すね905と足909とを接続する足首ジョイント907について考える。前記足首ジョイント907と、センサB(前記すね905に取付)と、センサC(前記足909に取付)との関係を図11に示し、図9と図11における同じ末尾の番号は、同様の要素を指す。図10に図示した“シナリオファイル”1000は、当該アルゴリズム用の一連の所定のパラメータを示している。
入力
SASB SC,オブジェクト座標フレームにおいて表された、3つのIMUのキャリブレーションデータ(acc,gyr,mag)
B1B2,オブジェクト座標フレームにおいて表されたジョイント位置
・例えばアルゴリズムの初期設定及び他のパラメータを含むシナリオ
出力
・かたまり原点の位置:
・かたまり原点の速度:
・体節の方向:qGSA,qGCB,qGSC
・体節の加速度:
状態ベクトルは、
・位置:
・速度:
・a_低域通過:A,lowpass,t
・方向誤差:SAθSBθSCθ
・ジャイロバイアス:SAgyr,ASBgyr,BSCgyr,C
・磁場:
から構成される。
合計で、16の状態変数と48の状態がある。
状態推定値を更新するための方程式は、
Figure 2013500812
である。
相対的位置更新の使用
・1つのセンサの傾き(ロール/ピッチ)が分かっている場合、他のセンサの傾きは観測可能になる。
・センサはジョイントの加速度を計測する。ジョイントの加速度が水平面内にある場合、相対的ヘディングは観測可能である。
・1つのセンサのヘディングが分かっている場合、他のセンサのヘディングは観測可能になる。
2つのジョイントで接続される3つの体節についての関係を記す方法はいくつかある。
図における概念
は、センサAの座標フレームにおいて表現される(センサAが取り付けられる体節に接続された)ジョイント位置(センサAフレームの原点からジョイント位置までのベクトル)である。
は、グローバルフレームにおいて表されるセンサAの原点である。
ΔpA,Bは、センサAの原点からセンサBの原点までのベクトル、又はセンサAの座標フレームにおいて表されるセンサBの位置である。
計測更新1:
Figure 2013500812
状態ベクトルが分かっている場合、C行列等を、以下の方程式を使って構築することができる:
Figure 2013500812
この更新に関する状態変数は、
Figure 2013500812
である。
計測更新2:
Figure 2013500812
状態速度が分かっている場合、上記の式があればC行列等を構築することができる。
この更新についての状態変数は、
Figure 2013500812
である。
しばらくの間グローバルフレームにおける平均加速度がゼロであることを想定している計測更新は、1つのセンサ、例えば、上脚に取り付けられたセンサであるセンサAについてのみ任意に適用される必要がある。
前記ジョイントはかなり一般的な方法で定義される:2つの体節がジョイントを共有すると言われる場合、所定の時間の間、当該2つの体節のそれぞれに、互いに対する平均変位がゼロである点が存在する。この点の場所がジョイント位置である。この点の場所は時間又はジョント角度に応じて変化し得る。別の言い方をすれば、ジョイントはいくらかの位置的な緩さを含むボールソッケトとして説明される。前記ジョイントの両側の前記体節は剛性を有すると想定されているので、この点の位置は、通常、固定されており、体節(オブジェクト)座標に対して表すことができる。
これは、図12の例1200に見られ、図12では、2つの剛性体節A1201及びB1203がジョイント1205により接続されている。各体節にIMUが堅固に取り付けられている。この図では、オブジェクト座標フレームは、デフォルトケースのセンサ座標フレームと同じである。rはオブジェクトフレームQにおいて表されるジョイント位置であり、rはオブジェクトフレームBで表されるジョイント位置である。
運動連結の関係を用いると、前記アルゴリズムは、動作中の局所磁場についての仮定を用いることなく2つの体節の相対的方向を提供することができる。
2つの体節がジョイントで接続されているという想定から、当該ジョイントの加速度は、ジョイント位置及びグローバル座標フレームにおいて表される、各体節に取り付けられたIMUによって計測される加速度と等しいということになる。言い換えると、両IMUは、ジョイントにおいて同じ加速度を計測するはずである。これは、上記で証明されている。
例えば、体節Aに取り付けられたIMUの方向が分かっている場合、このIMUによって計測される加速度をグローバル座標フレームにおいて表して、これをジョイントに直すことができる。体節Bに取り付けられたIMUによって計測される、ジョイントにおける加速度は体節Aに取り付けられたIMUによって計測される加速度と等しくなければならないため、体節Bに取り付けられたIMUの、垂直軸回りの回転を含む相対的方向を、磁力計の情報を用いることなく知ることができる。この方法は、IMUに対するジョイントの場所(rA及びrB)が分かっていることを想定している。
上記について、1つの重要な例外がある:例えば歩行中等、前記ジョイントが、時折水平方向の加速度を経験する場合には、前記2つの体節間の相対的方向のみを決定することができる。このような時間の継続は、動き,レートジャイロスコープの集積ドリフトにより必要となる修正量,設定された仮定の不確かさ及び整定時間に依存している。膝ジョイントの場合には、典型的な低グレードの自動車用レートジャイロについては30秒毎に数歩歩くというので十分である。膝ジョイントが30秒間より長い時間動いていない場合には、局所的な相対的ヘディングは依然として地球磁場を用いて決定することができ、あるいは、任意で、これを用いて、ドリフトを制限してレートジャイロバイアスを観測可能にすることのみが行われる。
体節上の各センサの位置に対するジョイント位置の推定値の精度は、演繹的に分かっているべきであるが、必要精度によっては、2−3cmの範囲よりも精度よく決定する必要はない。
KiCアルゴリズムについての入力は:
・オブジェクト座標フレームにおいて表された2つのIMUのキャリブレーションデータ
・両方のオブジェクト座標フレームにおいて表されたジョイント位置
・例えば、アルゴリズムの初期設定を含むシナリオ
である。
前記KiCアルゴリズムは、ジョイントと、各体節に取り付けられるIMUの原点との間の距離が分かっていると想定している。したがって、体節Aのオブジェクト座標フレームにおけるジョイント位置OAを表すベクトル及び体節Bのオブジェクト座標フレームにおけるジョイント位置OBを表すベクトルは、入力として与える必要がある。これら2つのベクトルは、ユーザによって設定しなくてはならない。これらは、例えば、巻尺テープを用いてジョイント位置を計測することにより求めることができる。
“シナリオ”は、設定、例えば、磁力計の任意使用、チューニングパラメータ及び前記KiCアルゴリズムで用いられる初期設定を制御するものである。これには、動きの特徴及び設定された想定の不確かさを説明するパラメータが記されている。
加えて、上記方法を用いて、センサA及びセンサBとジョイントとの間の距離が演繹的に分かっていると想定する代わりに、これらの距離の推定を前記アルゴリズムに任せることができることを示すことができる。このアプローチの欠点は、システムが十分に励起されているときにのみ、状態ベクトルにおけるこれらの距離を正確に観測できるようになることである。これは典型的な応用には当てはまらないこともあるが、このアプローチは当該アルゴリズムを非常にゆっくりと収束させることになるであろう。さらに、多くの場合、ジョイントに対するセンサの取付場所は、容易に、少なくとも大まかに知ることができる。前記システムを用いてこれに前記距離を自動的に推定させることによる大きな利点は、ジョイントの場所を正確に実測することは非常に困難である又は不可能である場合があるということである。これについても、上記で説明している。
さらに、ジョイントの特性に付加的な制約を加えることができ、例えば、1自由度又は2自由度のみを有するヒンジ、又は、他の(機械的)モデルを用いることができる。実質的には、これにより、ジョイントの自由度が減少し、相対的方向の推定値及び/又はIMUとジョイントとの間の距離の推定値に可観測性が加わる。これは、よく定義されたジョイントを備えた、義肢のようなシステムにおいて有効である。しかしながら、人体の関節のような、義肢に比べ定義が曖昧なシステムについては、誤りを含む想定がシステムの精度に悪影響を与えるため、注意しながら用いるべきである。
加えて、ジョイント加速度計測は、上述した方法を、位置,速度及び/又は加速度を計測できる他のシステムと組み合わせることによりさらに改善することができる。例えば、UWB位置決めシステム又はカメラベースシステムを、より正確な位置/速度/加速度計測のための入力として用いることができる。
IMU内の加速度センサクラスタの正確な場所は重要ではないが、IMU内の加速度センサクラスタの大きさは完璧に補償されるべきであることが理解されるであろう。さらに、開示した原則は、人体の動きの計測以外にも応用されることも理解されるであろう。実際には、開示した原則は、ジョイントにより接続される様々な体節からなる1以上のボディから構成されるどのようなシステムにも適用することができる。開示した原則の応用の環境例としては、ロボット,セールボート,クレーン,列車等がある。
本明細書中に引用した、公開公報、特許出願及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれるように個々に明確に示され、その全体が本明細書中で説明された場合と同程度に、参照により本文中に組み込まれる。
本発明の説明において(特に、以下の特許請求の範囲において)、“a”及び“an”並びに“the”という語及び類似の指示語の使用は、本明細書中で特に指示がない限り、又は文脈により明確に否定しない限り、単数形と複数形の両方を含むと解釈されるものである。“comprising”,“having”,“including”及び“containing”という語は、特に指示がない限り、無制限の用語(即ち、“含んでいるがこれだけに限定されない”ということを意味する)として解釈されるものとする。本明細書中の値の範囲の記載は、本明細書中に特に指示がない限り、単に、当該範囲に入る各独立した値に個々に言及する簡略的方法としての役目をすることを意図したものであり、各独立した値は、本明細書中で個々に記載されたかのように、本明細書に組み込まれる。本明細書中で説明したすべての方法は、本明細書中に特に指示がない限り、又は、文脈により明らかに否定されない限り、適切な順番であればどのような順番で実施してもよい。本明細書中で挙げられるあらゆる全ての例、又は例示する言語(例えば、“such as”)は、単に、本発明をよりよく説明することを意図したものであり、特に主張されない限り、本発明の範囲における制限を提示するものではない。明細書中の言語はどれも、クレームしていない要素を本発明の実施に必要不可欠なものとして示していると解釈されるべきでない。
本明細書中には、本発明の実施について発明者が知っている最良の形態を含む、本発明の若干の例が説明されている。これらの例の変形は、これまでの記述を読めば当業者には明白である。本願発明者は、熟練の技術者が、このような変形例を適宜採用するだろうと考えており、また、本願発明者は、本発明が、本願中に詳細に説明されたのとは別のやり方で実行されることを意図している。したがって、この発明は、適用法により認められるように、本明細書に添付の特許請求の範囲に挙げた主題の変形及びこれの同等物をすべて含む。さらに、この考えられるすべての変形例における、上述した要素のあらゆる組合せが、本願中に特に指示がない限り、又は文脈により明確に否定されない限り、本発明に包含される。

Claims (14)

  1. ジョイントにより接続される複数の体節からなるオブジェクトの動きを、当該オブジェクトの体節の互いに対する3D方向の推定によって、ヘディングの基準として地球磁場に依存することなく計測する方法であって、
    複数の慣性センサユニットを前記複数の体節のそれぞれに適用することと、
    前記ジョイントを加速度にさらすことと、
    各体節の互いに対する相対的方向を、前記センサユニットからのデータに基づいて算出することと、
    前記体節の方向を用いて、局所磁場をヘディングの基準として用いることなく、前記オブジェクトの体節の互いに対する3D方向の推定を形成することからなる方法。
  2. 各体節の相対的方向の算出は、さらに、前記ジョイントの位置において、第1慣性センサ及び第2慣性センサから計測された加速度を比較することからなる請求項1記載のオブジェクト運動の計測方法。
  3. さらに、各センサと隣接する各ジョイントとの距離を前記センサからのデータに基づいて算出することからなる請求項1記載のオブジェクト運動の計測方法。
  4. 局所磁場をヘディングの基準として用いることなく前記体節の方向を用いることは、前記オブジェクトの位置及び方向を算出することからなる請求項1記載のオブジェクト運動の計測方法。
  5. 前記オブジェクトは人体である請求項1記載のオブジェクト運動の計測方法。
  6. さらに、前記3D方向の推定を、モーションキャプチャーシステム、バーチャル・リアリティシステム及びオーグメンテッド・リアリティのうちの1つに提供する請求項1記載のオブジェクト運動の計測方法。
  7. 前記オブジェクトはロボット装置である請求項1記載のオブジェクト運動の計測方法。
  8. ジョイントにより接続される複数の体節からなるオブジェクトの動きを、当該オブジェクトの体節の互いに対する3D方向の推定によって、ヘディングの基準として地球磁場に依存することなく計測するためのコンピュータ実行可能な指示が記録されたコンピュータ読取可能な媒体であって、前記オブジェクトは、前記複数の体節のそれぞれに取り付けられた複数の慣性センサユニットを有し、前記コンピュータ実行可能な指示は、
    1以上の前記慣性センサユニットから、1以上のジョイントが加速度にさらされたことを示すデータを受信するための指示と、
    各体節の互いに対する相対的方向を、前記センサユニットから受信したデータに基づいて算出するための指示と、
    各体節の方向を用いて、局所磁場をヘディングの基準として用いることなく、前記オブジェクトの体節の互いに対する3D方向の推定を形成するための指示からなるコンピュータ読取可能な媒体。
  9. 前記各体節の相対的方向を算出する指示は、さらに、ジョイント位置において第1慣性センサ及び第2慣性センサから計測された加速度を比較するための指示からなる請求項8記載のコンピュータ読取可能な媒体。
  10. さらに、各センサと隣接する各ジョイントとの距離を、前記センサからのデータに基づいて算出するための指示からなる請求項8記載のコンピュータ読取可能な媒体。
  11. 局所磁場をヘディングの基準として用いることなく前記体節の方向を用いるための指示は、前記オブジェクトの位置及び方向を算出するための指示からなる請求項8記載のコンピュータ読取可能な媒体。
  12. 前記オブジェクトは人体である請求項8記載のコンピュータ読取可能な媒体。
  13. さらに、前記3D方向の推定を、モーションキャプチャーシステム、バーチャル・リアリティシステム及びオーグメンテッド・リアリティの1つに提供するための指示からなる請求項8記載のコンピュータ読取可能な媒体。
  14. 前記オブジェクトはロボット装置である請求項8記載のコンピュータ読取可能な媒体。
JP2012523401A 2009-08-03 2010-08-03 運動学的連結の慣性計測 Pending JP2013500812A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/534,526 US20110028865A1 (en) 2009-08-03 2009-08-03 Inertial Sensor Kinematic Coupling
US12/534,526 2009-08-03
PCT/IB2010/001929 WO2011015939A2 (en) 2009-08-03 2010-08-03 Inertial sensor kinematic coupling

Publications (1)

Publication Number Publication Date
JP2013500812A true JP2013500812A (ja) 2013-01-10

Family

ID=43031445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012523401A Pending JP2013500812A (ja) 2009-08-03 2010-08-03 運動学的連結の慣性計測

Country Status (4)

Country Link
US (1) US20110028865A1 (ja)
EP (1) EP2461748A2 (ja)
JP (1) JP2013500812A (ja)
WO (1) WO2011015939A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014125790A1 (en) * 2013-02-15 2014-08-21 Seiko Epson Corporation Motion analysis system and azimuth tuning method

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7559931B2 (en) 2003-06-09 2009-07-14 OrthAlign, Inc. Surgical orientation system and method
US8057482B2 (en) 2003-06-09 2011-11-15 OrthAlign, Inc. Surgical orientation device and method
US20100153081A1 (en) * 2008-12-11 2010-06-17 Mako Surgical Corp. Implant planning for multiple implant components using constraints
CN101711127B (zh) * 2007-04-19 2013-12-11 玛口外科股份有限公司 使用捕获的关节运动信息的植入规划
US9665686B2 (en) * 2008-02-20 2017-05-30 Mako Surgical Corp. Implant planning using corrected captured joint motion information
CA2731436C (en) 2008-07-24 2019-09-24 OrthAlign, Inc. Systems and methods for joint replacement
US20100137871A1 (en) 2008-09-10 2010-06-03 OrthAlign, Inc. Hip surgery systems and methods
US10869771B2 (en) 2009-07-24 2020-12-22 OrthAlign, Inc. Systems and methods for joint replacement
US8118815B2 (en) 2009-07-24 2012-02-21 OrthAlign, Inc. Systems and methods for joint replacement
CA2825042C (en) * 2010-01-21 2021-01-05 OrthAlign, Inc. Systems and methods for joint replacement
US9901405B2 (en) 2010-03-02 2018-02-27 Orthosoft Inc. MEMS-based method and system for tracking a femoral frame of reference
US8840527B2 (en) * 2011-04-26 2014-09-23 Rehabtek Llc Apparatus and method of controlling lower-limb joint moments through real-time feedback training
DE102011050240A1 (de) * 2011-05-10 2012-11-15 Medizinische Hochschule Hannover Vorrichtung und Verfahren zur Bestimmung der relativen Position und Orientierung von Objekten
CA2873547A1 (en) 2012-05-18 2013-11-21 OrthAlign, Inc. Devices and methods for knee arthroplasty
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
US10321873B2 (en) 2013-09-17 2019-06-18 Medibotics Llc Smart clothing for ambulatory human motion capture
US10602965B2 (en) 2013-09-17 2020-03-31 Medibotics Wearable deformable conductive sensors for human motion capture including trans-joint pitch, yaw, and roll
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US10716510B2 (en) 2013-09-17 2020-07-21 Medibotics Smart clothing with converging/diverging bend or stretch sensors for measuring body motion or configuration
US9649160B2 (en) 2012-08-14 2017-05-16 OrthAlign, Inc. Hip replacement navigation system and method
WO2014071460A1 (en) 2012-11-09 2014-05-15 Dorsavi Pty Ltd Method and apparatus for monitoring deviation of a limb
US10231337B2 (en) 2014-12-16 2019-03-12 Inertial Sense, Inc. Folded printed circuit assemblies and related methods
US10363149B2 (en) 2015-02-20 2019-07-30 OrthAlign, Inc. Hip replacement navigation system and method
US20160258779A1 (en) * 2015-03-05 2016-09-08 Xsens Holding B.V. Inertial Motion Capture Calibration
WO2017053899A1 (en) * 2015-09-23 2017-03-30 Ali Kord Posture monitor
EP3373855B1 (en) * 2015-11-12 2023-03-08 Biostage, Inc. Systems for producing gastrointestinal tissues
CN105806343B (zh) * 2016-04-19 2018-05-22 武汉理工大学 基于惯性传感器的室内3d定位系统及方法
CN105997097B (zh) * 2016-06-22 2019-06-14 武汉纺织大学 人体下肢动作姿态再现系统及再现方法
CN106908054A (zh) * 2017-03-14 2017-06-30 深圳蓝因机器人科技有限公司 一种基于超宽频信号的定位寻径方法和装置
CA3056495A1 (en) 2017-03-14 2018-09-20 OrthAlign, Inc. Soft tissue measurement & balancing systems and methods
AU2018236220A1 (en) 2017-03-14 2019-09-26 OrthAlign, Inc. Hip replacement navigation systems and methods
US11733023B2 (en) * 2018-03-20 2023-08-22 Muvr Labs, Inc. System and method for angle calculations for a plurality of inertial measurement units
GB2574074B (en) 2018-07-27 2020-05-20 Mclaren Applied Tech Ltd Time synchronisation
GB2588236B (en) 2019-10-18 2024-03-20 Mclaren Applied Ltd Gyroscope bias estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09229667A (ja) * 1996-02-28 1997-09-05 Imeeji Joho Kagaku Kenkyusho 回転関節構造物の動作計測装置および方法
WO2004072579A1 (ja) * 2003-02-14 2004-08-26 Akebono Brake Industry Co., Ltd. 姿勢検出装置の誤差補正方法及び動作計測装置
JP2008289866A (ja) * 2007-03-15 2008-12-04 Xsens Technologies Bv 較正ユニットを使った動作追跡のためのシステムと方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6133876A (en) * 1998-03-23 2000-10-17 Time Domain Corporation System and method for position determination by impulse radio
US6492904B2 (en) * 1999-09-27 2002-12-10 Time Domain Corporation Method and system for coordinating timing among ultrawideband transmissions
JP4611580B2 (ja) * 2001-06-27 2011-01-12 本田技研工業株式会社 トルク付与システム
GB0607864D0 (en) * 2006-04-20 2006-05-31 Ubisense Ltd Calibration Of A Location System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09229667A (ja) * 1996-02-28 1997-09-05 Imeeji Joho Kagaku Kenkyusho 回転関節構造物の動作計測装置および方法
WO2004072579A1 (ja) * 2003-02-14 2004-08-26 Akebono Brake Industry Co., Ltd. 姿勢検出装置の誤差補正方法及び動作計測装置
JP2008289866A (ja) * 2007-03-15 2008-12-04 Xsens Technologies Bv 較正ユニットを使った動作追跡のためのシステムと方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014125790A1 (en) * 2013-02-15 2014-08-21 Seiko Epson Corporation Motion analysis system and azimuth tuning method

Also Published As

Publication number Publication date
WO2011015939A3 (en) 2011-04-21
EP2461748A2 (en) 2012-06-13
WO2011015939A2 (en) 2011-02-10
US20110028865A1 (en) 2011-02-03

Similar Documents

Publication Publication Date Title
JP2013500812A (ja) 運動学的連結の慣性計測
CN108939512B (zh) 一种基于穿戴式传感器的游泳姿态测量方法
US11284944B2 (en) MEMS-based method and system for tracking a femoral frame of reference
Roetenberg et al. Estimating body segment orientation by applying inertial and magnetic sensing near ferromagnetic materials
US11402402B2 (en) Systems and methods for human body motion capture
US10352959B2 (en) Method and system for estimating a path of a mobile element or body
Seel et al. Joint axis and position estimation from inertial measurement data by exploiting kinematic constraints
KR101751760B1 (ko) 하지 관절 각도를 이용한 보행 인자 추정 방법
JP2010534316A (ja) 対象物の動きを捕捉するシステム及び方法
JP7023234B2 (ja) 歩行者の動きを推定する方法
US20100250177A1 (en) Orientation measurement of an object
CN113793360B (zh) 基于惯性传感技术的三维人体重构方法
EP1593931A1 (en) Difference correcting method for posture determining instrument and motion measuring instrument
US20160258779A1 (en) Inertial Motion Capture Calibration
WO2002037827A2 (en) Method and apparatus for motion tracking of an articulated rigid body
Lin et al. Development of the wireless ultra-miniaturized inertial measurement unit WB-4: Preliminary performance evaluation
CN109284006B (zh) 一种人体运动捕获装置和方法
JP5185825B2 (ja) 固体の移動を推定するための方法
KR20120131553A (ko) 동작 추적 방법.
CN110609621A (zh) 姿态标定方法及基于微传感器的人体运动捕获系统
Lee et al. IMU-based but magnetometer-free joint angle estimation of constrained links
Abbate et al. Development of a MEMS based wearable motion capture system
Wang et al. Pedestrian inertial navigation based on full-phase constraints of lower limb kinematics
Seel et al. IMU-based joint angle measurement made practical
Barraza-Madrigal et al. Instantaneous position and orientation of the body segments as an arbitrary object in 3D space by merging gyroscope and accelerometer information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140417

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140717

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140725

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140811

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140818

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140916

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150312