JP2013162911A - フォースプレートを備えた3次元動作分析システムのセッティング装置及び方法 - Google Patents

フォースプレートを備えた3次元動作分析システムのセッティング装置及び方法 Download PDF

Info

Publication number
JP2013162911A
JP2013162911A JP2012027871A JP2012027871A JP2013162911A JP 2013162911 A JP2013162911 A JP 2013162911A JP 2012027871 A JP2012027871 A JP 2012027871A JP 2012027871 A JP2012027871 A JP 2012027871A JP 2013162911 A JP2013162911 A JP 2013162911A
Authority
JP
Japan
Prior art keywords
force plate
coordinate system
plate
force
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012027871A
Other languages
English (en)
Other versions
JP5564065B2 (ja
Inventor
Tomohiro Ushikubo
牛久保智宏
Hitoshi Murase
仁 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anima Corp
Original Assignee
Anima Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anima Corp filed Critical Anima Corp
Priority to JP2012027871A priority Critical patent/JP5564065B2/ja
Publication of JP2013162911A publication Critical patent/JP2013162911A/ja
Application granted granted Critical
Publication of JP5564065B2 publication Critical patent/JP5564065B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Abstract

【課題】フォースプレートの変位情報を用いることで、フォースプレートを備えた3次元動作分析システムのセッティングをより簡単に行う。
【解決手段】フォースプレートに設けられ、当該フォースプレートの位置を特定可能な認識手段と、複数のカメラと、フォースプレートが第1の空間の第1の位置に置かれた時のフォースプレート座標系における当該フォースプレートの第1の位置情報を設定する手段と、フォースプレートが第1の空間の第1の位置に置かれた時の当該フォースプレートの認識手段の第1の位置情報を記憶する手段と、フォースプレートが第2の空間の第2の位置に置かれた時のフォースプレートのカメラ画像から当該フォースプレートの認識手段の第2の位置情報を取得する手段と、前記認識手段の第1の位置情報と第2の位置情報との変位情報を取得する手段と、を備える。
【選択図】図17

Description

本発明は、フォースプレートを備えた3次元動作分析システムのセッティング装置及び方法、並びに、当該セッティングに用いられるフォースプレートの変位情報取得装置に関するものである。
人の3次元動作を解析することは、医療分野、介護福祉分野、スポーツ分野、ロボティックス、コンピュータグラフィックス等において有用である。人や物体等の3次元動作を計測する手段としては、モーションキャプチャシステムが知られている。光学式のモーションキャプチャシステムでは、所定の複数のポイントにマーカーが取り付けられた被験者を複数のカメラで撮影し、カメラ画像において各マーカーを同定して各マーカーの3次元座標の時系列データを取得することにより行われる。光学式モーションキャプチャを用いた3次元動作解析装置は、例えば、特許文献1に記載されている。
光学式モーションキャプチャを用いた3次元動作解析装置においては、実際の動作計測に先だって、2次元データから3次元データを再構成するためのカメラパラメーター(DLT法においてはDLT係数)が取得される。例えば、DLT係数の取得は、実際に空間にキャリブレーションツール(相対的位置関係が既知の6点以上の基準点を備えている)を設置し、このキャリブレーションツールを複数のカメラで撮影することで行われる。DLT法におけるキャリブレーションでは、キャリブレーションツールの既知の基準点の実空間座標とカメラにより取得された画像中の基準点との対応から、カメラパラメーター(DLT係数)を推定する。カメラパラメーター(DLT係数)は、各カメラによって取得された2次元画像中の基準点の座標値と、3次元空間における基準点の座標値と、の間の対応関係を規定する係数であり、カメラパラメーター(DLT係数)を利用して、複数台のカメラのカメラ座標(u,v)から計測点の実空間座標(x,y,z)を復元する。DLT係数については、例えば、特許文献2、3に記載されている。
3次元動作分析システムにおいて、モーションキャプチャを用いて得られたデータに加えて、動作時の床反力データを取得することは有用である。フォースプレート(床反力計)から得られた床反力データと3次元動作計測装置により取得された被験者の姿勢・位置データを同時に使用することで、関節に加わる力やモーメントを計算できることが当業者に知られている。
床反力を取得できる3次元動作分析システムとしては、複数台のカメラや床面に埋設された床反力センサを備えたスタジオもあるが、医療現場等では、スタジオのような大掛かりなシステムではなく、可搬式のフォースプレートを用いて、必要に応じてその場でセッティングできる比較簡易なシステムのニーズがある。
従来、3次元動作計測装置とフォースプレートを使用したシステムを校正するためには、カメラの方向調整を行なったのちに校正を行い、新規にカメラパラメーターを作成し直すことにより、3次元動作分析とフォースプレートの座標系を合わせていた。さらに複数枚のフォースプレートを設置する場合には、フォースプレートの置き方に応じて設定ファイルを変更する必要があった。以下に具体的に述べるように、これらの作業を一人で行うことは現実的に難しく、時間と手間がかかる作業である。
カメラの方向調整は、動作分析に必要な空間のデータが取得できるように、カメラの方向とプレートの位置とを調整させることである。従来、カメラの方向の調整は、操作者がカメラにより取得された画像が実際に表示されたモニターを見ながらカメラやプレートを移動させることで行っていた。しかしながら、3次元動作分析装置の設置場所によっては、必ずしも操作者からモニターを見ることができるとは限らず、このような場合は、装置の位置を調整する操作者とモニターを見ながら指示を出す操作者が必要となる。したがって、モニターを見ないでカメラの方向調整を行いたいという要望がある。
3次元動作計測システムとフォースプレートからのデータを用いて関節モーメントを計算するためには、床反力が作用した座標と床反力の値が必要である。床反力の作用中心であるCOP(Center of Pressure)が動作分析の座標系のどの位置にあるかという情報が必要であるため、3次元動作分析の座標系とフォースプレートの座標系とを合わせる必要がある。従来は、カメラの方向調整を行なってフォースプレートの位置が決定された段階で、そのフォースプレートを基準とする座標の原点およびXY軸に、キャリブレーションツール(校正器)の座標の原点及びXY軸を一致させるようにキャリブレーションツールを設置し(図4参照)、そのキャリブレーションツールを用いてカメラパラメーター(DLT法においてはDLT係数)を取得していた。しかしながら、フォースプレートの位置が変わる毎に、都度キャリブレーションツールを位置合わせして設置してカメラパラメーターを取得することは煩雑である。
3次元動作計測装置とフォースプレートを使用したシステムにおいては、複数枚のフォースプレートを同じ空間に設置する場合がある。例えば、被験者の左右の足が載るように左右2枚のフォースプレートを設置する場合、あるいは、被験者の歩行動作を取得するように、複数枚のフォースプレートを敷設する場合等がある。従来、例えば、2つのフォースプレートを設置する場合、以下のような手順でフォースプレートの位置の設定を行っていた。先ず、フォースプレートの設置方法を決め、フォースプレートの位置を特定する設定ファイルを各々のフォースプレートについて作成する。設定ファイルには、フォースプレートの基準位置に対する平行移動情報及び回転情報が設定され、フォースプレートの基準位置に対する平行移動情報及び回転情報によってフォースプレート座標系におけるフォースプレートの位置が特定される。そして、設定ファイルと同じ位置関係になるように2枚のフォースプレートを設置し、フォースプレート座標系と動作分析座標系が一致するようにキャリブレーションツール(校正器)を置いて校正を行う。この作業過程において、設定ファイルの作成とそれに合わせてプレート位置を調整する作業(フォースプレートの位置の実測や設定ファイルの手入力作業を伴う)に手間がかかっていた。
特開2004−344418 特開平10−149445 特開2009−268584
フォースプレートを用いた3次元動作分析が有用であることは理解されているものの、測定前のセッティング作業の煩雑さがこのような3次元動作分析システムの普及のネックとなっている。
本発明は、フォースプレートを備えた3次元動作分析システムのセッティングをより簡単に行うことで、これを解決しようとするものである。
本発明は、フォースプレートの変位情報を用いることで、フォースプレートを備えた3次元動作分析システムのセッティングをより簡単に行うものである。
本発明が採用した第1の技術手段は、
1枚以上のフォースプレートと、
前記フォースプレートに設けられ、当該フォースプレートの位置を特定可能な認識手段と、
前記フォースプレートを撮影して当該フォースプレートのカメラ画像を取得する複数のカメラと、
前記フォースプレートが第1の空間の第1の位置に置かれた時のフォースプレート座標系における当該フォースプレートの第1の位置情報を設定する手段と、
前記フォースプレートが第1の空間の第1の位置に置かれた時の当該フォースプレートの認識手段の第1の位置情報を記憶する手段と、
前記フォースプレートが第2の空間の第2の位置に置かれた時のフォースプレートのカメラ画像から当該フォースプレートの認識手段の第2の位置情報を取得する手段と、
前記認識手段の第1の位置情報と第2の位置情報との変位情報を取得する手段と、
を備えた、フォースプレートを備えた3次元動作分析システムのセッティングに用いる装置、である。
本発明において用いられる認識手段は、カメラ画像を用いた画像処理により当該認識手段の位置情報が検出でき、検出された認識手段によりフォースプレートの位置を特定することができるものである。また、複数枚のフォースプレートが一つのカメラ画像に含まれる場合には、複数の認識手段は、互いに識別可能である必要がある。
本明細書において、第1の空間、第2の空間とは、時を異にしてフォースプレートが置かれた空間を区別するものとして用いられるものであり、第1の位置は第1の空間でフォースプレートが置かれた位置、第2の位置は第2の空間でフォースプレートが置かれた位置を指す。例えば、校正時にフォースプレートが置かれた空間が第1の空間であり、計測時にフォースプレートが置かれた空間が第2の空間である。第1の空間と第2の空間は、同じ部屋であってもよい。
1つの態様では、前記認識手段の第1の位置情報は、第1の空間の第1の位置に置かれたフォースプレートのカメラ画像から取得される。複数枚のカメラ画像とカメラパラメーターを用いて認識手段の座標を計算することができる。また、第1の空間のある特定の位置にフォースプレートが置かれた時の認識手段の位置情報を予め取得して記憶部に記憶しておいてもよい。例えば、フォースプレートの位置情報に対応する認識手段の位置情報をデータベース化しておき、選択されたフォースプレートの第1の位置に対応する認識手段の位置情報をデータベースから取得してもよい。
1つの態様では、
前記第1の空間では、3次元動作分析の座標系とフォースプレートの座標系が一致しており、
前記第2の空間では、3次元動作分析の座標系とフォースプレートの座標系が不一致であり、
前記変位情報は、第2の空間における3次元動作分析の座標系をフォースプレートの座標系に一致させることに用いられる。
1つの態様では、
前記第1の空間及び前記第2の空間において、3次元動作分析の座標系とフォースプレートの座標系が一致しており、
前記変位情報は、フォースプレートの前記第1の位置情報と共に、第2の空間の第2の位置に置かれたフォースプレートの第2の位置情報の取得に用いられる。
1つの態様では、フォースプレートの第1の位置情報は、フォースプレートが基準位置(図5参照)に対する回転角・平行移動量(平行移動量=0、回転角=0の場合を含む)によって規定される。
本発明が採用した第2の技術手段は、フォースプレートを備えた3次元動作分析システムのセッティングにおいて、3次元動作分析の座標系をフォースプレートの座標系に一致させる装置及び方法である。
3次元動作分析の座標系をフォースプレートの座標系に一致させる装置は、
カメラ間距離及び各カメラの方向が決定された複数のカメラと、
フォースプレートに設けられ、当該フォースプレートの位置を特定可能な認識手段と、
3次元動作分析の座標系が第1の空間に設置したフォースプレートの座標系に一致するように校正を行うことで取得した第1のカメラパラメーターを記憶する手段と、
3次元動作分析の座標系とフォースプレートの座標系が一致している校正後の第1の空間において、前記第1の空間に設置したフォースプレートの第1の複数のカメラ画像と前記第1のカメラパラメーターを用いて取得された当該フォースプレートの認識手段の座標を第1座標値として記憶する手段と、
3次元動作分析の座標系とフォースプレートの座標系が不一致である第2の空間に設置したフォースプレートの第2の複数のカメラ画像と前記第1のカメラパラメーターを用いて、第2の空間における当該フォースプレートの認識手段の座標を第2座標値として取得する手段と、
前記認識手段の第1座標値と第2座標値との変位情報を用いて、第2の空間において、3次元動作分析の座標系をフォースプレートの座標系に一致させる手段と、
からなる。
3次元動作分析の座標系をフォースプレートの座標系に一致させる方法は、
3次元動作分析の座標系が第1の空間に設置したフォースプレートの座標系に一致するように校正を行うことで第1のカメラパラメーターを取得して記憶し、
3次元動作分析の座標系とフォースプレートの座標系が一致している校正後の第1の空間において、前記第1の空間に設置したフォースプレートの第1の複数のカメラ画像と前記第1のカメラパラメーターを用いて当該フォースプレートの認識手段の座標を第1座標値として取得して記憶し、
3次元動作分析の座標系とフォースプレートの座標系が不一致である第2の空間に設置したフォースプレートの第2の複数のカメラ画像と前記第1のカメラパラメーターを用いて、第2の空間における当該フォースプレートの認識手段の座標を第2座標値として取得し、
前記認識手段の第1座標値と第2座標値との変位情報を用いて、第2の空間において、3次元動作分析の座標系をフォースプレートの座標系に一致させる、
ものである。
1つの態様では、3次元動作分析の座標系をフォースプレートの座標系に一致させる手段は、
前記第2の複数のカメラ画像と第2のカメラパラメーターを用いて計算したフォースプレートの認識手段の座標値が、前記第1座標値と一致するように、前記第1のカメラパラメーターを第2のカメラパラメーターに変換するものである。
1つの態様では、前記第2空間において、複数枚のフォースプレートが設置され、
1枚目のフォースプレートに基づいて前記第2のカメラパラメーターが取得され、
2枚目以降の各フォースプレートがフォースプレート座標系の第1の位置にある時に、当該2枚目以降の各フォースプレートの位置情報が第1の位置情報として、当該2枚目以降の各フォースプレートの認識手段の座標が第1座標値として記憶されており、
2枚目以降の各フォースプレートの認識手段の座標を前記第2のカメラパラメーターを用いて第2座標値として取得し、
2枚目以降の各フォースプレートの認識手段の前記第1座標値から前記第2座標値への変位情報と前記第1の位置情報に基づいて、第2座標系における2枚目以降の各フォースプレートの位置情報を取得する。
1つの態様では、前記複数のカメラは、個別に方向調整可能に装着された複数のカメラと、方向調整可能に装着された一つ又は複数の可視光線出射部と、からなるカメラユニットから構成されており、
前記フォースプレートには、前記一つ又は複数の可視光線出射部から出射された可視光線のターゲットが設けてあり、
前記第1の空間での校正に先立って、フォースプレートを含む空間を撮影するように各カメラの方向を調整して決定した状態で、一つ又は複数の可視光線出射部から出射された可視光線が前記フォースプレートのターゲットに当たるように、当該可視光線出射部の方向を決定し、
前記第2の空間でのフォースプレートの撮影に先立って、フォースプレートのターゲットに一つ又は複数の可視光線出射部から出射された可視光線が当たるように、前記カメラユニットを位置決めする。
本発明に係るカメラの方向調整を行う方法及によれば、カメラ画像が表示されるモニターを見ないで適切なカメラの位置を決定することができる。
なお、本発明における複数台のカメラは、このようなカメラユニットに限定されるものではなく、空間(例えば、天井)に固定された複数台のカメラでもよい。
本発明が採用した第3の技術手段は、フォースプレートを備えた3次元動作分析システムのセッティングにおいて、フォースプレートの位置情報を自動設定する装置及び方法である。
フォースプレートの位置情報を自動設定する装置は、
カメラ間距離及び各カメラの方向が決定された複数のカメラと、
フォースプレートに設けられ、当該フォースプレートの位置を特定可能な認識手段と、
3次元動作分析の座標系とフォースプレートの座標系が一致している第1の空間において、前記フォースプレートがフォースプレート座標系の第1の位置にある時に、当該フォースプレートの位置情報を第1の位置情報として、当該フォースプレートの認識手段の座標を第1座標値として記憶する手段と、
3次元動作分析の座標系とフォースプレートの座標系が一致している第2の空間において、第2の空間に置かれた前記フォースプレートの認識手段の座標を第2座標値として取得する手段と、
前記フォースプレートの認識手段の前記第1座標値から前記第2座標値への変位情報と前記第1の位置情報に基づいて、前記第2の空間における前記フォースプレートの第2の位置情報を取得する手段と、
からなる。
フォースプレートの位置情報を自動設定する方法は、
3次元動作分析の座標系とフォースプレートの座標系が一致している第1の空間において、前記フォースプレートがフォースプレート座標系の第1の位置にある時に、当該フォースプレートの位置情報が第1の位置情報として、当該フォースプレートの認識手段の座標が第1座標値として記憶されており、
3次元動作分析の座標系とフォースプレートの座標系が一致している第2の空間において、第2の空間に置かれた前記フォースプレートの認識手段の座標を第2座標値として取得し、
前記フォースプレートの認識手段の前記第1座標値から前記第2座標値への変位情報と前記第1の位置情報に基づいて、第2の空間におけるフォースプレートの第2の位置情報を取得することで、第2の空間におけるフォースプレートの位置情報を自動設定する、
ものである。
上記技術手段において、以下の態様を採用することができる。
1つの態様では、前記フォースプレートにはプレートカバーが着脱可能に被着され、前記認識手段は、前記プレートカバーに設けてある。
1つの態様では、前記認識手段は、フォースプレートに直接設けてある。
1つの態様では、前記認識手段は、マーカー間距離が互いに異なる3つのマーカーである。
1つの態様では、複数枚のフォースプレートの各フォースプレートに設けた認識手段は、互いに識別可能である。
2枚のフォースプレート及びプレートカバーを用いる場合を例にすると、
第1フォースプレートには第1プレートカバーが着脱可能に被着され、前記第1プレートカバー上に第1認識手段が設けてあり、
第2フォースプレートには第2プレートカバーが着脱可能に被着され、前記第2プレートカバー上に第2認識手段が設けてあり、
前記第1認識手段と前記第2認識手段は、互いに識別可能である。
より具体的な態様では、
前記第1識別手段は、マーカー間距離が互いに異なる3つのマーカーであり、
前記第2識別手段は、マーカー間距離が互いに異なる3つのマーカーであり、
前記第1識別手段の3つのマーカーを結ぶ3つの線分と、前記第2の識別手段の3つのマーカーを結ぶ3つの線分と、は、少なくとも1辺において長さが異なる。
本発明の第1の技術手段では、フォースプレートの変位情報を用いることで、フォースプレートを備えた3次元動作分析システムのセッティング(3次元動作分析とフォースプレートの座標系の一致やフォースプレートの位置情報の自動設定)をより簡単に行うことができる。
本発明の第2の技術手段によれば、既に取得しているカメラパラメーターを計算により変換することで計測時の3次元動作分析とフォースプレートの座標系の位置合わせを行うことができ、計測時の座標系の位置合わせの際に、再度キャリブレーションを行ってカメラパラメーターを作成し直す必要がない。したがって、従来、計測時に都度行っていた校正作業を行う必要が無い。また、計測時(第2の空間にフォースプレートを置いた時)の処理(第2座標値の取得、変位情報の取得、カメラパラメーターの変換)を1つの入力(クリック)でコンピュータに実行させることで、校正作業を簡単に行うことができる。
本発明の第3の技術手段によれば、計算によってフォースプレートの位置を設定することができ、実際に置かれたフォースプレート位置や角度の実測、設定ファイルの手動変更を行う必要がない。本発明によれば、設定ファイルで設定した位置に合わせてフォースプレートを置かなくても、実際に置かれたフォースプレートの位置情報に基づいて設定ファイルの情報を自動的に調整することができる。
フォースプレートを備えた3次元動作分析システムの概略図である。 本実施形態に係るカメラユニットの正面図である。 本実施形態に係るカメラユニットのレーザーポインタを示す図である。 フォースプレート座標系と3次元動作分析座標系が一致するように校正器をおいた状態のカメラ画像である。 本実施形態に係るフォースプレート座標系におけるフォースプレートの基準位置を示す図である。基準位置において、フォースプレート座標系の原点にフォースプレートの中心が位置し、フォースプレートの二等辺三角形の底辺の中点と反対側の頂点がX軸上に位置している。 フォースプレート座標系を示す図である。 フォースプレート座標系を示す図である。フォースプレートの左右をずらして置く場合のパターン示す。 フォースプレート座標系を示す図である。フォースプレートの左右をずらして置く場合のパターン示す。 本実施形態に係るプレートカバーを示す図であり、上図はプレートカバー、下図はプレートカバーを被着したフォースプレートを示す。 本実施形態に係るプレートカバーをそれぞれ被着してなる2枚のフォースプレートを示す。 本実施形態に係るカメラユニット及びプレートカバーを被着したフォースプレートの概略図である。 本実施形態に係るカメラユニットのレーザーポインタから出射されたレーザー光線がプレートカバー上のターゲットに当たった状態を示す図である。 他の実施形態に係るカメラユニット及びプレートカバーを被着したフォースプレートの概略図である。カメラユニットにおいて、1つのカメラに対応して1つのレーザーポインタが設けてある。 他の実施形態に係るカメラユニットのレーザーポインタから出射されたレーザー光線がプレートカバー上のターゲットに当たった状態を示す図である。3つのレーザーポインタから3本のレーザー光線が出射されている。 計測時における、3次元動作分析の座標系と、2枚のフォースプレートの3つのマーカーセットの位置が表示されている。図15における三角形の線は、3次元動作分析の座標系の原点及び座標軸と、フォースプレートの座標系の原点及び座標軸と、が一致している時のフォースプレートのデフォルト位置を示しており、実際に置かれたフォースプレートを示すものではない。図中の左図に示す実際に置かれたフォースプレートは、それぞれ3つのマーカーによって規定される。 図15の右図を拡大したものであって、図15Aにおける原点及びXYZ軸と、右側のフォースプレートの3点のマーカー位置と、を比較すれば明らかなように、この状態では、3次元動作分析の座標系とフォースプレートの座標系は一致していない。 図15の状態から、3次元動作分析の座標系とフォースプレートの座標系を一致させた状態を示す。また、左側のフォースプレートの位置調整も行われている。 図16の右図を拡大したものであって、図16Aにおける原点及びXYZ軸と、右側のフォースプレートの3点のマーカー位置と、を比較すれば明らかなように、この状態では、3次元動作分析の座標系とフォースプレートの座標系が一致している。 フォースプレート上のマーカー座標の変位情報を用いた座標系の変換、設定ファイルの自動設定を説明するブロック図である。 カメラの方向をモニターを見ないで合わせる手順を示すフローチャートである。 フォースプレートの座標系と3次元動作分析の座標系を合わせる手順を示すフローチャートである。 フォースプレート位置を規定する設定ファイルの自動調整をおこなう手順を示すフローチャートである。
[A]フォースプレートを備えた3次元動作分析システムの構成
[A−1]モーションキャプチャシステム
フォースプレートを備えた3次元動作分析システムの概略図を図1に示す。フォースプレートを備えた3次元動作分析システムにおいて、被験者の3次元動作は、光学式モーションキャプチャシステムにより取得することができる。光学式モーションキャプチャシステムは、一般に、被験者の複数の所定部位に装着した複数の光学式マーカー(例えば、赤外線反射マーカー)と、光学式マーカーを装着した被験者の運動を複数角度から同時に撮影する複数台のカメラと、各カメラで取得したマーカーの画像情報中のマーカーの二次元位置を再構成して当該マーカーの三次元位置を計算し、光学式マーカーの三次元位置と身体の三次元モデルから身体の各部位の三次元位置(被験者の姿勢)を取得する処理部と、処理部の結果(被験者の姿勢の時系列データとして取得される運動データ)を表示する表示部と、からなる。複数のカメラを用いて3次元位置座標を計算する手法としては、DLT法が当業者によく知られている。
[A−2]カメラユニット
本実施形態において、モーションキャプチャシステムで用いる複数台のカメラは、カメラユニットによって提供される。カメラユニットは、カメラ間の関係(カメラ間距離・カメラの方向)が固定された2台以上の動作分析用カメラと、カメラとの関係(距離・方向)が固定されたレーザーポインタと、からなる装置である。
図2に示すように、カメラユニットは、支柱1と、支柱1の下方部位に設けた脚部2と、支柱1に高さ方向に位置調整可能かつ角度が可変に設けられたプレート状のカメラ支持部3と、を備えている。カメラ支持部3には、3台のカメラ4が二等辺三角形(図示の態様では正三角形)の頂点に位置するように互いに離間して配置されている。各カメラ4間の距離は固定されている(カメラ間距離を可変としてもよい)。各カメラ4は角度・向きがカメラ毎に独立して可変となっている。図3に示すように、支柱1には、レーザーポインタ5が角度可変かつ固定可能なように設けてある。レーザーポインタ5の角度を適宜調整した上で、調整後の角度を固定することができる。レーザーポインタ5はカメラ支持部3に設けてもよい。各カメラ4は電源に電気的に接続されていると共に、コンピュータ(データ処理装置)に画像データを出力するようにコンピュータと電気的に接続されている。電気的な配線や部品はカメラ支持部3の中央部位に収納されている。脚部2にはローラ20が回転自在に装着されており、カメラユニットは、各カメラ4間の関係を一定に保持した状態で、一体として床面上を移動可能となっている。3台のカメラの位置関係は二等辺三角形に限定されるものではなく、カメラの台数も複数台であればよく、3台に限定されない。
[A−3]フォースプレート
本実施形態に係るフォースプレート6は、平面視二等辺三角形状の形状を備えた可搬式のフォースプレートである。フォースプレート6は、平面視二等辺三角形状の踏み台と、踏み台の3つの頂点の下方に位置して配置された3つのロードセル(荷重検知センサ)と、を備えている。ロードセルは3分力センサで、X軸方向、Y軸方向、Z軸方向の荷重出力を検出する。フォースプレートのローカル座標において、各ロードセルの位置(XY座標)は既知である。3つの荷重センサで取得された値から荷重の作用中心点(COP:Center of Pressure)が取得される。COPの座標は、踏み台(床面)の面方向のXY平面として、XY座標で取得される。1つの態様では、3次元動作分析システムは、被験者の一方の足が載る第1のフォースプレートと、他方の足が載る第2のフォースプレートと、を備えている。また、このような左右の足に対応するフォースプレート対を一定の方向に連続的に複数敷設することで、歩行時の床反力を取得することができる。各ロードセルで取得される荷重情報(z、y、z方向)は、逐次コンピュータに送信され、コンピュータの演算手段でCOPを逐次(0.01秒、0.001秒等の単位時間毎)求めることで、COP(XY座標値)の時系列データを取得することができる。フォースプレートの形状や荷重センサの個数は限定されず、例えば、略四角形状の踏み板と、踏み板の四隅部に配置した4つのロードセルと、からなるフォースプレートを用いてもよい。
フォースプレートの位置を示すフォースプレート座標系を図6〜図8に例示する。フォースプレートの座標系及び当該座標上のフォースプレートの位置は、コンピュータの表示装置上に表示することができる。図6では、2枚のフォースプレートが示してあり、各二等辺三角形状のフォースプレートの底辺がX軸上にあり、頂角の2等分線がY軸上にある。1つの態様では、この状態が2枚のフォースプレートの置き方のデフォルト位置であり、被験者の一方の足が一方のフォースプレートに載り、他方の足が他方のフォースプレートに載る。フォースプレートの位置は、コンピュータ上の設定ファイルによって規定される。より具体的には、各フォースプレートの位置は、フォースプレートの基準位置に対する回転角度および平行移動量によって規定される。1つの態様では、フォースプレートの基準位置は図5に示すように、フォースプレート座標系の原点にフォースプレートの中心が位置し、フォースプレートの二等辺三角形の底辺の中点と反対側の頂点がX軸上に位置している。図6〜図8において、Ox〜Ozが各軸方向への平行移動、Rotが原点周りの回転角を与えている。図7、図8では、左右のフォースプレートをX軸方向に互いにずらして置く場合のパターン示している。図6〜図8に示す設定ファイルでは、8枚のフォースプレートの設定が可能であるが、本発明に用いられるフォースプレートの枚数は限定されず、任意の数のフォースプレートを設定することができる。
[A−4]プレートカバー
プレートカバー7は、フォースプレート6の上面に被せるカバーであり、図9に示すように、フォースプレート6の平面形状に合わせて二等辺半角形の平面形状を備えている。プレートカバー7の上面には、3つのマーカー8a、8b、8cが互いに離間して取り付けられている。3つのマーカー8a、8b、8cを結ぶ三角形の辺は互いに異なる長さとなっており、すなわち、3つのマーカー間距離は互いに異なる。3つのマーカー間距離のセットは、データ処理装置の記憶部に記憶されている。3つのマーカー間距離を異ならしめることで、3つのマーカーによって形成される三角形の姿勢(すなわち、フォースプレートの姿勢)を特定することができる。マーカー8a、8b、8cは、カメラ画像から検出することができる光学式マーカーであり、例えば赤外線反射マーカーである。
プレートカバー7の上面の中央部位には取手70が設けてあり、各周縁には、位置決め片71が設けてある。フォースプレート6に対するプレートカバー7の装着方向は決まっており、1つの態様では、取手70の長さ方向を頂角の2等分線に合わせるように装着される。取手70を掴んで位置決め片71がフォースプレート6の周縁に当接するようにフォースプレート6の上面にプレートカバー7を被せることで、プレートカバー7は、フォースプレート6に対して常に同じ位置で装着される。したがって、プレートカバー7をフォースプレート6に装着することで、フォースプレート6上の同じ位置に常にマーカー8a、8b、8cを位置させることができる。プレートカバー7の上面に形成された4つの円形開口72は、フォースプレート6に被着されたプレートカバー7の取り外しを容易に行うための空気の抜け穴である。なお、プレートカバーの形状は、プレートカバーをフォースプレートに被着した時に、フォースプレート上の同じ位置に常にマーカーを位置させることができるものであれば、必ずしもフォースプレートの形状と同じ形状である必要はない。
取手70には、レーザーポインタ5から出射されたレーザー光線のターゲットを設けることができる。取手70には、レーザーポインタ5から出射されたレーザー光線のターゲットを設けることができる。ターゲットは、操作者によって視認可能である必要がある。1つの態様では、ターゲットは直径1cm程度の円形であり、操作者によって視認可能な色を備えている。ターゲットを設ける部位は、取手9に限定されず、プレートカバー上面やフォースプレートの上面に直接設けてもよい。
図10に、2個のフォースプレートのそれぞれの上面に被着した2個のプレートカバーを示す。2個のプレートカバーは同寸・同形であるが、第1のプレートカバー上の3つのマーカー8a、8b、8cの位置と、第2のプレートカバー上の3つのマーカー8a´、8b´、8c´の位置と、は異なる。すなわち、3つのマーカー8a、8b、8cを結ぶ線で形成される三角形と、3つのマーカー8a´、8b´、8c´を結ぶ線で形成される三角形と、は異なる形状であり、互いに識別可能である。複数のプレート及びプレートカバーを設置する場合に、プレートカバー毎にマーカー間距離を変えることで、カメラユニットの各カメラによって取得されたカメラ画像において、各プレートカバー(フォースプレート)を識別できるようになっている。より具体的には、複数のプレートカバー間のマーカー間距離において、3つのマーカーを結ぶ三辺の少なくとも一辺の長さをプレートカバー間で異ならしめることで、各プレートカバー(フォースプレート)を識別する。各プレートカバーに設けた3つのマーカー間距離のセットは、データ処理装置の記憶部に記憶されている。
上述の実施形態では、フォースプレートの位置が特定可能な認識手段を備えたプレートカバーを用いているが、プレートカバーの機能を上面に組み込んだフォースプレートを用いてもよい。具体的には、フォースプレートの上面にマーカー(例えば、マーカーとしてLEDを上面と面一に組み込む)を設けてもよく、あるいは、プレート上に描いた図形(番号等)によって認識手段を形成し、パターン認識を用いて認識してもよい。フォースプレートの上面に直接レーザーポインタのターゲットを設けてもよい。複数枚のフォースプレートを同時に用いる場合には、各フォースプレートに設けた認識手段を、互いに識別可能(カメラ画像の画像処理によって)とすればよいことが当業者に理解される。また、マーカー等の認識手段は、典型的にはフォースプレートあるいはプレートカバーの上面に設けられるが、認識手段を設ける部位は必ずしも上面である必要はなく、カメラ画像によって認識手段を検出できるものであれば、認識手段を設ける部位は限定されず、フォースプレートあるいはプレートカバーの側面、フォースプレートの底面(透明の台の上にフォースプレートを置き、下方から撮影する)でもよい。
[付記]
上面にフォースプレートの位置を特定可能な認識手段を備えたフォースプレート。
上面に可視光線のターゲットを備えたフォースプレート。
フォースプレートに着脱可能に被着されるプレートカバーであって、当該プレートカバーにはフォースプレートの位置を特定可能な認識手段が設けてある、プレートカバー。
1つの態様では、プレートカバーには可視光線のターゲットが設けてある。
1つの態様では、前記認識手段は、マーカー間距離が互いに異なる3つのマーカーである。
[A−6]データ処理装置
モーションキャプチャシステム及びフォースプレートにおける各種計算はコンピュータから構成されるデータ処理装置によって実行され得る。具体的には、カメラによって取得された画像情報を取り込む画像入力部、取り込まれた画像情報および画像処理部で計算された情報を記憶する記憶部、該画像情報や測定結果、分析結果を表示する表示部、該画像情報に対して画像処理を施すための画像処理部、マーカーの三次元位置の時系列データを計算する演算部を備えている。計測された各種データを用いてデータ処理を行う処理部や入力されたカメラ画像や処理結果を表示する表示部は、汎用コンピュータ(データを入力するための入力装置、処理されたデータを出力するための出力装置、データを表示する表示装置、主としてCPUから構成される演算装置、ROM、RAM、ハードディスク等の記憶装置、これらを接続するバス、コンピュータに所定の処理を実行させるために記憶装置に格納された所定のプログラム、等を備えている)から実現することができる。同様に、フォースプレートのロードセルは、増幅器を介してデータ処理装置と電気的に接続されており、ロードセルにより測定された被験者の荷重情報を増幅器で増幅してデータ処理装置に出力され、演算手段でCOPを逐次求めることで、COPの時系列データを取得することができる。
[B]3次元動作分析装置とフォースプレートの座標系を簡便に一致させる手法
[B−1]概要
1つの実施形態では、3次元動作分析システムは、3次元動作計測装置と、可搬式の複数枚のフォースプレートと、各フォースプレートに対応するプレートカバーと、を備えている。3次元動作計測装置は、個別に方向調整可能に装着された3つのカメラと、方向調整可能に装着された可視光線出射部(レーザーポインター)と、からなるカメラユニットを備えている。フォースプレートの上面(以下の説明における態様では、プレートカバー上面)には、3つのマーカー(赤外線反射マーカー)、および、レーザーポインタから出射された赤色レーザー光線のターゲットが設けてある。1つのプレートカバーにおいて、3つのマーカー間距離は異ならしめてある。また、プレートカバー間において、少なくとも1つのマーカー間距離(マーカーを結ぶ1辺の長さ)を異ならしめてある。
これらの装置を用いて、以下の手順で3次元動作計測装置とフォースプレートの座標系を一致させる。
(1)3次元動作分析システムを計測現場に設置する前に、所望の空間の画像を取得できるように、カメラユニットの各カメラの方向及びレーザーポインタの方向を決定する。また、カメラパラメーターを取得すると共に、第1のフォースプレートのプレートカバー上の3つのマーカー座標を取得し、これらを記憶する。
(2)計測現場において、レーザーポインタを使用して、カメラの方向調整を、モニターを見ないで行う。
(3)計測現場において、第1のフォースプレートのプレートカバー上のマーカー座標を利用して、計算によってカメラパラメーターを変換することでフォースプレートの座標系と3次元動作計測装置の座標系を合わせる。座標系の位置合わせの際にカメラの校正パラメーターを作成し直す必要がない。
(4)計測現場において、第2のフォースプレート以降の位置と回転を、第2のフォースプレート以降にそれぞれ被着したプレートカバー上のマーカーの座標を使用して、第2のフォースプレート以降のフォースプレート位置の自動調整をおこなう。第2のフォースプレート以降のフォースプレートの移動距離や回転角度の実測、設定ファイルの手動変更を行う必要がない。
[B−2]カメラの方向をモニターを見ないで合わせる方法および装置
本実施形態では、カメラ間の関係(カメラ間距離・カメラの方向)を固定した2台以上の動作分析用カメラ4とカメラとの関係(距離・方向)を固定したレーザーポインタ5からなる装置と、フォースプレート6もしくはプレートカバー7の上面に設けたレーザーポインタ用のターゲット9と、を用いて動作分析用カメラの方向をモニターを見ないで調整する。図11、図12では、フォースプレート6の上面に被着したプレートカバー7の上面にターゲット9が設けてある。カメラの方向をモニターを見ないで合わせる手順を図18に示す。
(1)製造時に(例えば、システムを計測現場に搬入する前段階で)、3次元動作分析に必要な空間のデータ取得ができるように各カメラ4の方向とフォースプレート6の位置を調整した後、プレートカバー(フォースプレート)上のターゲット9に可視レーザー(典型的には赤色レーザー)光線が当たるようにレーザーポインタ5の方向を調整する。より具体的には、空間(例えば、製造者側の実験空間)の床面にフォースプレート6を配置すると共に、フォースプレート6を含む所望空間をカメラユニットの各カメラ4で撮影してモニターに表示する。モニターを見ながら各カメラ4の方向を調整する。各カメラ4の方向が決定した状態で、フォースプレート上のターゲット(図示の態様では、プレートカバー7上のターゲット9)にレーザー光線が当たるようにレーザーポインタ5の方向を調整する。このようにして、カメラユニットにおいて、各カメラ4の方向及びレーザーポインタ5の方向を決定して固定する。
(2)計測時(システムを計測現場に搬入した時)に、レーザーポインタ5から出射されたレーザー光線がターゲット9に当たるようにカメラユニットの位置を調整する。より具体的には、計測空間の床面の所定部位にフォースプレート6を配置すると共に、プレートカバー7を被着し、プレートカバー7上のターゲット9にレーザーポインタ5からのレーザー光線が当たるように、カメラユニットを位置決めする。
操作者は、レーザー光線及びフォースプレート(プレートカバー7)上のターゲット9を見ながら、カメラユニットを移動させればよいので、カメラユニットのカメラにより取得されたモニター画面を見る必要がない。したがって、複数のカメラの方向をモニターに表示された画像を見ることなく合わせることが可能になる。
図11、図12に示す態様では、カメラユニットに対して1つのレーザーポインタ5を設けたが、複数のレーザーポインタ5を用いてもよい。例えば、図13、図14に示すように、各カメラ4に対応して別個にレーザーポインタ5を設け、カメラ1台毎にレーザーポインタ5を用いてカメラの方向を調整するようにしてもよい。図13、図14では、カメラ1台に1つのレーザーポインタ5を対応させたが、カメラ2台に1つのレーザーポインタ5を対応させ、残りのカメラ1台に他の1つのレーザーポインタ5を対応させてもよい。図13、図14では、3つのレーザーポインタ5のターゲット9として1つの共通のターゲットを示したが、レーザーポインタ毎に異なるターゲットを用いてもよい。
カメラの方向をモニターを見ないで合わせる方法および装置は、フォースプレートを備えた3次元動作分析システムとは独立した技術思想として捉えることができ、ある対象物を複数のカメラで撮影する場合におけるカメラの位置のセッティングに適用することができる。
[付記]
個別に方向調整可能に装着された複数のカメラと、方向調整可能に装着された1つあるいは複数の可視光線出射部と、からなるカメラユニットを備え、
対象物には、可視光線出射部から出射された可視光線のターゲットが設けてあり、
前記第1の空間において、対象物を含む空間を撮影するように各カメラの方向を調整して決定した状態で、可視光線出射部から出射された可視光線が前記対象物上のターゲットに当たるように、当該可視光線出射部の方向を決定し、
前記第2の空間において、対象物上のターゲットに可視光線出射部から出射された可視光線が当たるように、前記カメラユニットを位置決めする、カメラユニットの位置決め方法ないしシステム。
1つの態様では、前記対象物はフォースプレートである。
1つの態様では、前記ターゲットは、フォースプレートの上面に直接設けてある。
1つの態様では、前記ターゲットは、フォースプレートに着脱可能に被着されるカバー部材に設けてある。
1つの態様では、カメラユニットは1つの可視光線出射部を備えている。
1つの態様では、カメラユニットは複数の可視光出射部を備えている。より具体的な態様では、1台のカメラ毎に1つの可視光出射部が設けてあり、1台のカメラ毎に、対応する可視光線出射部の方向を決定する。
1つの態様では、可視光出射部はレーザーポインタである。
1つの態様では、対象物には1つのターゲットが設けてある。
1つの態様では、対象物には複数のターゲットが設けてある。
1つの態様では、ターゲットは、対象物に着脱可能に設けられる。
1つの態様では、ターゲットは、対象物に着脱可能に設けられるカバー部材に設けられる。
[B−3]3次元動作計測装置の座標系とプレートの座標系の合せ込み
本実施形態では、カメラ間の関係(カメラ間距離・カメラの方向)を固定した2台以上の動作分析用カメラと、マーカーが3つ取り付けられており(マーカー間距離は等しくないものとする)、フォースプレート上の同じ位置にマーカーを置くことができるプレートカバーと、を用いて、3次元動作計測装置の座標系とフォースプレートの座標系の合せ込みを行う。複数枚のフォースプレートを設置する場合に、ここで合わせ込むのは3次元動作計測装置の座標系と1枚目のフォースプレートの座標系であり、2枚目以降のフォースプレートの位置の調整は「プレート間の位置関係の自動調整」部分で計算される点に留意されたい。フォースプレートの座標系と3次元動作分析の座標系を合わせる手順を図19に示す。なお、3次元動作分析の座標系とフォースプレートの座標系が一致している場合には、座標系を合わせ込作業は不要である。
(1)製造時にカメラ間の関係を固定した状態でカメラパラメーターを作成しておく。具体的には、カメラ間の関係(カメラ間距離・カメラの方向)が固定された2台以上のカメラとフォースプレート位置との位置関係が決定された状態で、当該フォースプレートの座標系に合わせてキャリブレーションツールを設置し、複数台のカメラでキャリブレーションツールを撮影して、カメラパラメーター(DLT係数)を作成する。
この時、キャリブレーションツールの設置の基準となったフォースプレートに被着されたプレートカバー上の3つのマーカー座標を記憶部に記録しておく。すなわち、製造時に校正を行った時(3次元動作計測システムの座標系の原点及び座標軸と、フォースプレートの座標系の原点及び座標軸と、が一致している)のフォースプレートに被着したプレートカバー上の3つのマーカーの座標値を記憶する。プレートカバー上の3つのマーカーの座標値は、校正時の複数のカメラ画像中のマーカー位置及びカメラパラメーターに基づいて計算することができる。
(2)計測時にはカメラ間の関係が固定されているため、製造時のカメラパラメーターで三次元計算が可能である。計測時には、このカメラパラメーターを使用して、複数台のカメラで取得した画像から3次元座標を計算することができる。
(3)計測時において、製造時に校正によって得られた3次元動作計測装置の座標系におけるフォースプレートの位置は、製造時(校正時)における位置から変わっている。計測時において、プレートカバーが被着されたフォースプレートを複数台のカメラで撮影し、取得されたカメラ画像において、記憶部に保存されたマーカー間距離と等しくなるマーカーを検索し、プレートカバー上の3点のマーカーを探索して、3点のマーカーの座標値を取得する。
(4)プレートカバー上の3点のマーカーを使用して3次元動作計測装置の座標系とプレートの座標系を一致させる計算を行う。具体的な計算方法は後述する。
(5)(4)で計算によって変換されたカメラパラメーターを使用することによって3次元動作計測装置の座標系とフォースプレートの座標系を合わせ込むことが可能となる。
計測時における上記(3)、(4)の作業は、コンピュータ画面上のクリック動作によって自動化で行うことができる。具体的には、コンピュータに3次元動作計測装置の座標系とプレートの座標系を一致させる計算を実行させるためのプログラムが記憶部に格納されており、画面上の簡易校正ボタンをクリックすることで、かかるプログラムが実行される。
本実施形態では、DLT法を用いた場合の計算方法を示す。DLT法の校正では下の式のカメラごとにA11〜C13までを未知数として決定を行う。なお、(U1, V1)はカメラ画像の二次元座標値、(X, Y, Z)は三次元動作分析装置での三次元座標値である。
本実施形態では、係数A11〜C13は、校正時に取得したカメラパラメーターである。
この時に、校正時に取得されて記憶部に設定されたフォースプレート上の3点(本実施形態では、3つのマーカー座標)が計測時には下のように移ったとする。
係数A11〜C13をA”11〜C”13に変更することで3次元動作計測装置の座標系をプレートの座標系に合わせることができる。
ただし、
また、
ここで
とする。
p1からp2への単位ベクトルを
p1からp2へのベクトルとp1からp3へのベクトルの法線ベクトルを
v1とv2の法線ベクトルを
とするとき、
p1’からp2’への単位ベクトルを
p1’からp2’へのベクトルとp1’からp3’へのベクトルの法線ベクトルを
v1’とv2’の法線ベクトルを
とするとき、
計算原理について説明する。
社内校正時のDLTパラメーターを使用して計算された任意のマーカー座標値Xを動作分析の座標系とプレートの座標系を一致させる変換を行った後に移動した座標値をX’とする。
また、
:世界座標系の座標系からプレート座標系と動作分析座標系の合わせこみ後の座標系への回転行列、
:世界座標系の座標系から社内校正時の動作分析座標系への回転行列、
C:世界座標系の座標系の原点からプレート座標系と動作分析座標系の合わせこみ後の座標系の原点への平行移動、
B:世界座標系の座標系の原点から社内校正時の動作分析の座標系の原点への平行移動、
とすると、
座標値Xと座標値X’の関係は下のようになる。
上記式を変形すると、
となる。上記X’を(1)式の(x、y、z)に置き換えることで、(1)式は、
となる。この式を変形することで(2)式が得られる。
[B−4]フォースプレート間の関係の位置関係の自動調整
カメラ間の関係(カメラ間距離・カメラの方向)を固定した2台以上の動作分析用カメラと、2枚以上のフォースプレートと、3つのマーカーが設けられている2枚以上のプレートカバーと、を備えた装置を用いてフォースプレート間の関係の位置関係の自動調整を行う。各プレートカバーは、対応するフォースプレートと同じ位置にマーカーを置くことができ、1つのプレートカバーにおいて、3つのマーカー間距離は異ならしめてある。また、プレートカバー間において、少なくとも1つのマーカー間距離(マーカーを結ぶ1辺の長さ)を異ならしめることで、複数のプレートカバーが互いに識別可能となっている。各プレートカバーの3つのマーカー間距離セットは記憶部に記憶されている。フォースプレート位置を規定する設定ファイルの自動調整をおこなう手順を図20に示す。
(1)フォースプレートの座標系と3次元動作計測装置の座標系は既に一致しているものとする。また、社内で校正した際のフォースプレート上のマーカー位置情報、及び、フォースプレートの位置情報は記憶部に記憶されている。各フォースプレートの位置情報は、基準位置(例えば、図3)にあるフォースプレートを原点回りに一定角度回転させた後に平行移動した時のフォースプレートの回転角、平行移動のベクトルによって規定される。例えば、第1のフォースプレート、第2のフォースプレートがある場合に、社内校正時に、設定ファイルで予め設定した位置に合わせて第1のフォースプレート、第2のフォースプレートが置かれ、各フォースプレートの設定ファイルにおいて、フォースプレートの位置を特定する回転角度及び平行移動距離が設定されており、これらの情報は記憶部に記憶されている。第1のフォースプレート上のマーカーの座標、第2のフォースプレートのマーカーの座標は、それぞれ、カメラユニットによって撮影された複数枚の画像に基づいて計算され、記憶部に記憶される。あるいは、フォースプレートの座標系と3次元動作分析の座標系が一致した状態において、予め設定した所定位置にフォースプレートが位置する時の、当該フォースプレート上のマーカー座標を取得しておき、当該マーカー座標を予め記憶部に記憶させておいてもよい。
(2)1枚目の第1のフォースプレートについては3次元動作計測装置の座標系とプレートの座標系の合せ込みで一致しているものとする。
(3)2枚目の第2のフォースプレートについて、各プレートカバーのマーカー間座標が異なることを利用して、第2のフォースプレートのプレートカバーのマーカーを同定し、第2のフォースプレートのプレートカバー上の3つのマーカーのマーカー座標値を得る。
(4)このマーカー座標値と設定された座標値(社内校正時に取得されたマーカー座標値)を用いて以下に述べる計算を実行することで、第2のフォースプレートの基準位置(図3参照)に対する回転角と平行移動量を計算することができる。
(5)3枚目以降のフォースプレート(第3のフォースプレート、第4のフォースプレート、・・・)についても、第2のフォースプレートと同様に計算し、回転角と平行移動のベクトルを計算する。より具体的な例では、4枚のフォースプレートがある場合に、各フォースプレートに対応して4枚のプレートカバーが用意される。各プレートカバーには3つのマーカーが設けてあり、かつ、各プレートカバーのマーカーは互いに識別可能となっている。床面に4枚のフォースプレートを置き、各フォースプレートにプレートカバーを被着した状態をカメラで撮影して得られたカメラ画像において、各フォースプレートに対応するマーカーを識別して同定すると共に、各マーカー座標を取得する。プレートカバー毎にマーカー座標の変位量(予め設定された参照座標値からの)から回転角、平行移動のベクトルを取得する。
計算方法について説明する。Xを平行移動ベクトルとすると、
となる。
また、
とすると、
回転角Rotは、
となる。
ここで、
:回転角が0の状態 → フォースプレート位置合わせ実行時の回転行列
:回転角が0の状態 → 社内校正時の回転行列
C:フォースプレート座標系の原点 → 社内校正時のフォースプレート位置への平行移動ベクトル
B:フォースプレート座標系の原点 → フォースプレート位置合わせ実行時のフォースプレート位置への平行移動ベクトル
である。
このときにフォースプレートは水平に置かれていることを仮定している。
具体的にはソフト内に設定されたプレート上の3点のマーカー座標が計測時には下のように移ったとする。
p1からp2への単位ベクトルを
p1からp2へのベクトルとp1からp3へのベクトルの法線ベクトルを
v1とv2の法線ベクトルを
とするとき、
p1’からp2’への単位ベクトルを
p1’からp2’へのベクトルとp1’からp3’へのベクトルの法線ベクトルを
v1’とv2’の法線ベクトルを
とするとき、
また、
C:プレート座標系の原点 → 社内校正時のプレート位置への平行移動ベクトル
B:プレート座標系の原点 → プレート位置合わせ実行時のプレート位置への平行移動ベクトル
[B−5]3次元動作分析システムのセッティングにおけるマーカー座標の変位情報の利用
フォースプレート上のマーカー座標の変位情報の利用態様について、図17を参照しつつ説明する。フォースプレート座標系において、フォースプレートの位置は、設定ファイルの設定事項によって規定される。具体的には、基準位置(回転角0、平行移動量0)に対する回転角、平行移動量によってフォースプレートの位置が決定される。基準位置を図5に例示する。第1の空間において、設定ファイルで規定された位置(第1の回転角・平行移動量)に合致するようにフォースプレートを第1の位置に置くことで、第1の空間に置かれたフォースプレートの位置と設定ファイル上の位置が対応する。この状態で、3次元計測装置(動作分析)の座標系がフォースプレートの座標系と一致するように校正を行ってカメラパラメーターを取得する。フォースプレートの第1の位置の位置情報(第1の回転角・平行移動量)、取得したカメラパラメーターは記憶部に記憶される。
第1の位置に置かれたフォースプレートのカメラ画像と取得したカメラパラメーターを用いて、第1の位置にあるフォースプレート上のマーカーの位置情報を第1の座標値として取得し、記憶部に記憶する。第1の空間において、3次元計測装置(動作分析)の座標系はフォースプレートの座標系と一致しており、第1の座標値のXY座標値は、3次元計測装置(動作分析)の座標系、フォースプレートの座標系において一致する。また、第1の空間において、フォースプレートの位置情報(第1の回転角・平行移動量)とフォースプレート上のマーカーの位置情報(第1の座標値)は対応している。
第2の空間において3次元計測装置(動作分析)の座標系とフォースプレートの座標系が一致している場合について説明する。第2の空間において、フォースプレートを第2の位置に置く。第2の位置に置かれたフォースプレートのカメラ画像と取得したカメラパラメーターを用いて、第2の位置にあるフォースプレート上のマーカーの位置情報を第2の座標値として取得し、記憶部に記憶する。
第1の空間の第1の位置での第1の座標値と第2の空間の第2の位置での第2の座標値との変位情報から、第1の位置→第2の位置への回転角、平行移動量を調整量として取得する。設定ファイルの第1の空間の第1の位置での第1の回転角・平行移動量と取得した調整量とから第2の空間の第2の位置での第2の回転角・平行移動量を計算し、設定ファイルを自動設定することができる。
第2の空間において3次元計測装置(動作分析)の座標系とフォースプレートの座標系が一致していない場合について説明する。第2の空間において、フォースプレートを第2の位置に置く。第2の位置に置かれたフォースプレートのカメラ画像と取得したカメラパラメーターを用いて、第2の位置にあるフォースプレート上のマーカーの位置情報を第2の座標値として取得し、記憶部に記憶する。
第1の空間(動作分析の座標系とフォースプレートの座標系が一致)における第1座標値と、第2の空間(動作分析の座標系とフォースプレートの座標系が不一致)における第2座標値との差は、第2の空間におけるその時点の動作分析の座標系と、第2の空間においてフォースプレートの座標系と一致した時の動作分析の座標系とのズレに対応する。したがって、第2の位置に置かれたフォースプレートのカメラ画像から計算される第2の座標値が第1の座標値と一致するように、第1の空間で取得されたカメラパラメーターを変換することで、第2の空間における動作分析の座標系をフォースプレートの座標系に一致させることができる(結果として、設定ファイルにおける第2の位置での第2回転角・平行移動量は、第1の位置での第1回転角・平行移動量と同じ位置となるように自動設定される。)。フォースプレートが複数枚ある場合に、変換されたカメラパラメーターを用いて取得した第2の座標値と第1の座標値との変位情報を用いて2枚目以降のフォースプレートの設定ファイルを自動設定することができる。
[B−6]全体の流れ
全体の流れについて、1つの実施形態に基づいて説明する。製造時に、1台のカメラユニット、1枚のフォースプレート、1枚のプレートカバー、キャリブレーションツール、を用意する。
第1のプレートカバーを被着した第1のフォースプレートを床面に設置し、カメラユニットの3台のカメラで撮影する。モニターに表示されたカメラ画像を見ながら、各カメラの方向を調整する。カメラの方向を決定した後で、カメラユニットのレーザーポインタから出射されるレーザー光線が第1のカバープレート上のターゲットに当たるように、レーザーポインタの角度を決定する。このようにして、カメラユニットにおける各カメラ及びレーザーポインタの配向を決定し固定する。
カメラユニットにおける各カメラ及びレーザーポインタの配向を決定した時の第1のフォースプレートの位置に合わせてキャリブレーションツールを設置し、カメラ間の関係が固定された各カメラによってキャリブレーションツールを撮影することで、キャリブレーションツール上の基準点の位置及びカメラ画像における基準点の位置からカメラパラメーター(DLT係数)を取得して記憶部に記憶する。この時、3次元動作計測装置の座標系(第1座標系)とフォースプレートの座標系は一致している。また、プレートカバー上の3つのマーカーの座標値を取得して記憶部に記憶する。
計測時に、カメラ間の関係およびレーザーポインタの方向が固定されたカメラユニット、2枚のフォースプレート、2枚のプレートカバー、を計測現場に搬入する。計測空間に第1のプレートカバーを被着した第1のフォースプレートを置き、第1のプレートカバー上のターゲットにレーザーポインタから出射されるレーザー光線が当たるように、カメラユニットの位置を決定する。この時、カメラ画像を表示するモニターを見る必要がない。
位置が決定されたカメラユニットの各カメラによって撮影された画像から第1のプレートカバー上の3つのマーカーを探索し、3つのマーカーの座標を計算して記憶部に記憶する。
製造時に取得された3つのマーカー座標と計測時に取得された3つのマーカー座標を用いて、3次元動作測定装置の製造時の座標系(第1座標系)を、測定時の座標系(第2座標系)に変換する。具体的には、製造時に取得されたカメラパラメーターを、製造時におけるマーカー座標及び測定時におけるマーカー座標を用いて、変換する。座標系の位置合わせの際に、製造時に取得したカメラパラメーターを作成し直さなくて良い。
さらに、第2のカバープレートを被着した第2のフォースプレートを計測空間に置く。第2のフォースプレートを置くタイミングは限定されず、第1のフォースプレートと第2のフォースプレートを同時に置いてもよい。位置が決定されたカメラユニットの各カメラによって撮影された画像から第2のプレートカバー上の3つのマーカーを探索し、3つのマーカーの座標を計算して記憶部に記憶する。第1のプレートカバー上の3つのマーカーと第2のプレートカバー上の3つのマーカーとは互いに識別可能である。
記憶部には、フォースプレート座標系における第2のフォースプレートの参照位置情報及びその時の第2のプレートカバー上の3つのマーカーの参照座標が記憶されており、実際に置かれた3つのマーカー座標とマーカーの参照座標から第2のフォースプレートの変位情報を取得し、第2のフォースプレートの参照位置情報と前記変位情報とから第2のフォースプレートの位置情報を取得する。第2のフォースプレートの移動距離や回転角度の実測、設定ファイルの手動変更を行う必要がない。
本実施形態に係る3次元動作分析システム(3次元動作計測装置とフォースプレートを備える)では、上述の方法及び装置の1つ以上を採用することによって、3次元動作分析の座標系とフォースプレートの座標系の位置合わせを簡便に行うことが可能となる。

Claims (17)

  1. 1枚以上のフォースプレートと、
    前記フォースプレートに設けられ、当該フォースプレートの位置を特定可能な認識手段と、
    前記フォースプレートを撮影して当該フォースプレートのカメラ画像を取得する複数のカメラと、
    前記フォースプレートが第1の空間の第1の位置に置かれた時のフォースプレート座標系における当該フォースプレートの第1の位置情報を設定する手段と、
    前記フォースプレートが第1の空間の第1の位置に置かれた時の当該フォースプレートの認識手段の第1の位置情報を記憶する手段と、
    前記フォースプレートが第2の空間の第2の位置に置かれた時のフォースプレートのカメラ画像から当該フォースプレートの認識手段の第2の位置情報を取得する手段と、
    前記認識手段の第1の位置情報と第2の位置情報との変位情報を取得する手段と、
    を備えた、フォースプレートを備えた3次元動作分析システムのセッティングに用いる装置。
  2. 前記第1の空間では、3次元動作分析の座標系とフォースプレートの座標系が一致しており、
    前記第2の空間では、3次元動作分析の座標系とフォースプレートの座標系が不一致であり、
    前記変位情報は、第2の空間における3次元動作分析の座標系をフォースプレートの座標系に一致させることに用いられる、
    請求項1に記載の装置。
  3. 前記第1の空間及び前記第2の空間において、3次元動作分析の座標系とフォースプレートの座標系が一致しており、
    前記変位情報は、フォースプレートの前記第1の位置情報と共に、第2の空間の第2の位置に置かれたフォースプレートの第2の位置情報の取得に用いられる、
    請求項1に記載の装置。
  4. カメラ間距離及び各カメラの方向が決定された複数のカメラと、
    フォースプレートに設けられ、当該フォースプレートの位置を特定可能な認識手段と、
    3次元動作分析の座標系が第1の空間に設置したフォースプレートの座標系に一致するように校正を行うことで取得した第1のカメラパラメーターを記憶する手段と、
    3次元動作分析の座標系とフォースプレートの座標系が一致している校正後の第1の空間において、前記第1の空間に設置したフォースプレートの第1の複数のカメラ画像と前記第1のカメラパラメーターを用いて取得された当該フォースプレートの認識手段の座標を第1座標値として記憶する手段と、
    3次元動作分析の座標系とフォースプレートの座標系が不一致である第2の空間に設置したフォースプレートの第2の複数のカメラ画像と前記第1のカメラパラメーターを用いて、第2の空間における当該フォースプレートの認識手段の座標を第2座標値として取得する手段と、
    前記認識手段の第1座標値と第2座標値との変位情報を用いて、第2の空間において、3次元動作分析の座標系をフォースプレートの座標系に一致させる手段と、
    からなるフォースプレートを備えた3次元動作分析システムのセッティング装置。
  5. 前記3次元動作分析の座標系をフォースプレートの座標系に一致させる手段は、
    前記第2の複数のカメラ画像と第2のカメラパラメーターを用いて計算したフォースプレートの認識手段の座標値が、前記第1座標値と一致するように、前記第1のカメラパラメーターを第2のカメラパラメーターに変換するものである、請求項4に記載の装置。
  6. 複数枚のフォースプレートを備えており、
    1枚目のフォースプレートに基づいて前記第2のカメラパラメーターが取得され、
    2枚目以降の各フォースプレートがフォースプレート座標系の第1の位置にある時に、当該2枚目以降の各フォースプレートの位置情報を第1の位置情報として、当該2枚目以降の各フォースプレートの認識手段の座標を第1座標値として記憶する手段と、
    第2空間に置かれた2枚目以降の各フォースプレートの認識手段の座標を前記第2のカメラパラメーターを用いて第2座標値として取得する手段と、
    2枚目以降の各フォースプレートの認識手段の前記第1座標値から前記第2座標値への変位情報と前記第1の位置情報に基づいて、第2空間における2枚目以降の各フォースプレートの位置情報を取得する手段と、
    を備えた、請求項5に記載の装置。
  7. 前記複数のカメラは、個別に方向調整可能に装着された複数のカメラと、方向調整可能に装着された一つ又は複数の可視光線出射部と、からなるカメラユニットから構成されており、
    前記フォースプレートには、前記可視光線出射部から出射された可視光線のターゲットが設けてある、
    請求項4〜6いずれか1項に記載の装置。
  8. 前記ターゲットは、フォースプレートに着脱可能に被着されるプレートカバーに設けてある、請求項7に記載の装置。
  9. 前記認識手段は、フォースプレートに着脱可能に被着されるプレートカバーに設けてある、請求項4〜8いずれか1項に記載の装置。
  10. カメラ間距離及び各カメラの方向が決定された複数のカメラと、
    フォースプレートに設けられ、当該フォースプレートの位置を特定可能な認識手段と、
    3次元動作分析の座標系とフォースプレートの座標系が一致している第1の空間において、前記フォースプレートがフォースプレート座標系の第1の位置にある時に、当該フォースプレートの位置情報を第1の位置情報として、当該フォースプレートの認識手段の座標を第1座標値として記憶する手段と、
    3次元動作分析の座標系とフォースプレートの座標系が一致している第2の空間において、前記フォースプレートの認識手段の座標を第2座標値として取得する手段と、
    前記フォースプレートの認識手段の前記第1座標値から前記第2座標値への変位情報と前記第1の位置情報に基づいて、前記第2の空間における前記フォースプレートの第2の位置情報を取得する手段と、
    からなるフォースプレートを備えた3次元動作分析システムのセッティング装置。
  11. 前記認識手段は、フォースプレートに着脱可能に被着されるプレートカバーに設けてある、請求項10に記載の装置。
  12. フォースプレートを備えた3次元動作分析システムのセッティングにおいて、3次元動作分析の座標系をフォースプレートの座標系に一致させる方法であって、
    前記3次元動作分析システムは、カメラ間距離及び各カメラの方向が決定された複数のカメラを備えており、
    前記フォースプレートには、当該フォースプレートの位置を特定可能な認識手段が設けてあり、
    3次元動作分析の座標系が第1の空間に設置したフォースプレートの座標系に一致するように校正を行うことで第1のカメラパラメーターを取得して記憶し、
    3次元動作分析の座標系とフォースプレートの座標系が一致している校正後の第1の空間において、前記第1の空間に設置したフォースプレートの第1の複数のカメラ画像と前記第1のカメラパラメーターを用いて当該フォースプレートの認識手段の座標を第1座標値として取得して記憶し、
    3次元動作分析の座標系とフォースプレートの座標系が不一致である第2の空間に設置したフォースプレートの第2の複数のカメラ画像と前記第1のカメラパラメーターを用いて、第2の空間における当該フォースプレートの認識手段の座標を第2座標値として取得し、
    前記認識手段の第1座標値と第2座標値との変位情報を用いて、第2の空間において、3次元動作分析の座標系をフォースプレートの座標系に一致させる、
    フォースプレートを備えた3次元動作分析システムのセッティング方法。
  13. 前記3次元動作分析の座標系をフォースプレートの座標系に一致させるステップは、
    前記第2の複数のカメラ画像と第2のカメラパラメーターを用いて計算したフォースプレートの認識手段の座標値が、前記第1座標値と一致するように、前記第1のカメラパラメーターを第2のカメラパラメーターに変換するものである、請求項12に記載の方法。
  14. 前記第2空間において、複数枚のフォースプレートが設置され、
    1枚目のフォースプレートに基づいて前記第2のカメラパラメーターが取得され、
    2枚目以降の各フォースプレートがフォースプレート座標系の第1の位置にある時に、当該2枚目以降の各フォースプレートの位置情報が第1の位置情報として、当該2枚目以降の各フォースプレートの認識手段の座標が第1座標値として記憶されており、
    2枚目以降の各フォースプレートの認識手段の座標を前記第2のカメラパラメーターを用いて第2座標値として取得し、
    2枚目以降の各フォースプレートの認識手段の前記第1座標値から前記第2座標値への変位情報と前記第1の位置情報に基づいて、第2座標系における2枚目以降の各フォースプレートの位置情報を取得する、請求項13に記載の方法。
  15. 前記複数のカメラは、個別に方向調整可能に装着された複数のカメラと、方向調整可能に装着された一つ又は複数の可視光線出射部と、からなるカメラユニットから構成されており、
    前記フォースプレートには、前記一つ又は複数の可視光線出射部から出射された可視光線のターゲットが設けてあり、
    前記第1の空間での校正に先立って、フォースプレートを含む空間を撮影するように各カメラの方向を調整して決定した状態で、一つ又は複数の可視光線出射部から出射された可視光線が前記フォースプレートのターゲットに当たるように、当該可視光線出射部の方向を決定し、
    前記第2の空間でのフォースプレートの撮影に先立って、フォースプレートのターゲットに一つ又は複数の可視光線出射部から出射された可視光線が当たるように、前記カメラユニットを位置決めする、請求項12〜14いずれか1項に記載の方法。
  16. フォースプレートを備えた3次元動作分析システムのセッティングにおいて、フォースプレートの位置情報を自動設定する方法であって、
    前記3次元動作分析システムは、カメラ間距離及び各カメラの方向が決定された複数のカメラを備えており、
    フォースプレートには、当該フォースプレートの位置を特定可能な認識手段が設けてあり、
    3次元動作分析の座標系とフォースプレートの座標系が一致している第1の空間において、前記フォースプレートがフォースプレート座標系の第1の位置にある時に、当該フォースプレートの位置情報が第1の位置情報として、当該フォースプレートの認識手段の座標が第1座標値として記憶されており、
    3次元動作分析の座標系とフォースプレートの座標系が一致している第2の空間において、前記フォースプレートの認識手段の座標を第2座標値として取得し、
    前記フォースプレートの認識手段の前記第1座標値から前記第2座標値への変位情報と前記第1の位置情報に基づいて、第2の空間におけるフォースプレートの第2の位置情報を取得することで、第2の空間におけるフォースプレートの位置情報を自動設定する、
    フォースプレートを備えた3次元動作分析システムのセッティング方法。
  17. 前記第2の空間において、前記フォースプレートの認識手段の第2座標値を取得する前に、3次元動作分析の座標系をフォースプレートの座標系に一致させるステップが実行される、請求項16に記載の方法。
JP2012027871A 2012-02-11 2012-02-11 フォースプレートを備えた3次元動作分析システムのセッティング装置及び方法 Active JP5564065B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012027871A JP5564065B2 (ja) 2012-02-11 2012-02-11 フォースプレートを備えた3次元動作分析システムのセッティング装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012027871A JP5564065B2 (ja) 2012-02-11 2012-02-11 フォースプレートを備えた3次元動作分析システムのセッティング装置及び方法

Publications (2)

Publication Number Publication Date
JP2013162911A true JP2013162911A (ja) 2013-08-22
JP5564065B2 JP5564065B2 (ja) 2014-07-30

Family

ID=49174694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012027871A Active JP5564065B2 (ja) 2012-02-11 2012-02-11 フォースプレートを備えた3次元動作分析システムのセッティング装置及び方法

Country Status (1)

Country Link
JP (1) JP5564065B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116068609A (zh) * 2023-03-09 2023-05-05 中国科学院合肥物质科学研究院 一种真空环境下弯晶谱仪空间位置标定方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149445A (ja) * 1996-11-19 1998-06-02 Image Joho Kagaku Kenkyusho 身体動作解析可視化装置
JP2004344418A (ja) * 2003-05-22 2004-12-09 Anima Kk 三次元動作解析装置
JP2007319347A (ja) * 2006-05-31 2007-12-13 Anima Kk 動作解析システム、動作解析装置及びプログラム
JP2011220908A (ja) * 2010-04-13 2011-11-04 Anima Corp 床反力計測システム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149445A (ja) * 1996-11-19 1998-06-02 Image Joho Kagaku Kenkyusho 身体動作解析可視化装置
JP2004344418A (ja) * 2003-05-22 2004-12-09 Anima Kk 三次元動作解析装置
JP2007319347A (ja) * 2006-05-31 2007-12-13 Anima Kk 動作解析システム、動作解析装置及びプログラム
JP2011220908A (ja) * 2010-04-13 2011-11-04 Anima Corp 床反力計測システム及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116068609A (zh) * 2023-03-09 2023-05-05 中国科学院合肥物质科学研究院 一种真空环境下弯晶谱仪空间位置标定方法和装置
CN116068609B (zh) * 2023-03-09 2023-05-30 中国科学院合肥物质科学研究院 一种真空环境下弯晶谱仪空间位置标定方法和装置

Also Published As

Publication number Publication date
JP5564065B2 (ja) 2014-07-30

Similar Documents

Publication Publication Date Title
JP5922572B2 (ja) 実用型3dビジョンシステム装置およびその方法
US6590669B1 (en) Method for optically detecting the shape of objects
Caruso et al. Microsoft Kinect V2 vision system in a manufacturing application
JP4976402B2 (ja) 実用的な3dビジョンシステムの方法および装置
JP4886560B2 (ja) 情報処理装置、情報処理方法
JP5270670B2 (ja) 2次元画像による3次元組立て検査
JP4492654B2 (ja) 3次元計測方法および3次元計測装置
JP6594129B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2010237193A (ja) キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
KR20100087083A (ko) 물체의 모양을 삼차원 측정하기 위한 시스템 및 방법
JP2000097636A (ja) 非接触3次元測定装置の測定ヘッドの位置決めのための装置及び方法
JP2013231702A (ja) 画像計測装置、画像計測方法及び画像計測プログラム
US20210291376A1 (en) System and method for three-dimensional calibration of a vision system
WO2022111105A1 (zh) 一种自由姿态的智能视觉3d信息采集设备
TW201310004A (zh) 編列數位影像關係裝置
KR20140003265A (ko) 인체관절 움직임 각도의 측정방법
JP2001148025A5 (ja)
US20180374265A1 (en) Mixed reality simulation device and computer readable medium
WO2019230284A1 (ja) 三次元計測装置、三次元計測装置の位置表示方法およびプログラム
CN112254676B (zh) 一种便携式智能3d信息采集设备
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
JP5564065B2 (ja) フォースプレートを備えた3次元動作分析システムのセッティング装置及び方法
JP4382430B2 (ja) 頭部の三次元形状計測システム
JP2013234867A (ja) 三次元位置測定装置、三次元測定装置及び三次元位置測定プログラム
CN114663486A (zh) 一种基于双目视觉的建筑物测高方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140613

R150 Certificate of patent or registration of utility model

Ref document number: 5564065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250