JP2021173724A - 解析装置、解析方法、プログラム、および較正方法 - Google Patents

解析装置、解析方法、プログラム、および較正方法 Download PDF

Info

Publication number
JP2021173724A
JP2021173724A JP2020080278A JP2020080278A JP2021173724A JP 2021173724 A JP2021173724 A JP 2021173724A JP 2020080278 A JP2020080278 A JP 2020080278A JP 2020080278 A JP2020080278 A JP 2020080278A JP 2021173724 A JP2021173724 A JP 2021173724A
Authority
JP
Japan
Prior art keywords
coordinate system
segment
sensor
posture
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020080278A
Other languages
English (en)
Other versions
JP7335199B2 (ja
Inventor
康 池内
Yasushi Ikeuchi
治雄 青木
Haruo Aoki
淳 芦原
Atsushi Ashihara
雅代 荒井
Masayo Arai
毅 大里
Takeshi Osato
賢一 東谷
Kenichi Higashitani
陽祐 長田
Yosuke Nagata
泰三 吉川
Taizo Yoshikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020080278A priority Critical patent/JP7335199B2/ja
Priority to CN202110202036.8A priority patent/CN113576459A/zh
Priority to US17/242,330 priority patent/US20210343028A1/en
Publication of JP2021173724A publication Critical patent/JP2021173724A/ja
Application granted granted Critical
Publication of JP7335199B2 publication Critical patent/JP7335199B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G01P15/08Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00Testing or calibrating of apparatus or devices covered by the preceding groups
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】IMUセンサを用いた姿勢推定に関する較正を好適に行うことができる解析装置、解析方法、プログラム、および較正方法を提供すること。【解決手段】推定対象に付与された一以上の第1マーカを撮像する撮像部によって撮像された画像を取得する取得部と、前記画像に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正する較正部と、を備え、前記第1マーカは、前記複数の慣性計測センサのうち少なくとも一つに対する相対的な姿勢が変化せず、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、前記較正部は、前記第1マーカの前記撮像部に対する姿勢を導出し、導出した姿勢に基づいてセンサ座標系からカメラ座標系への変換行列を導出し、導出したセンサ座標系からカメラ座標系への変換行列を用いて、前記センサ座標系から前記セグメント座標系への変換規則を較正する、解析装置。【選択図】図1

Description

本発明は、解析装置、解析方法、プログラム、および較正方法に関する。
従来、角速度および加速度を計測することが可能なIMUセンサ(Inertial Measurement Unit:慣性計測センサ)を身体に複数個取り付けることで、身体姿勢とその変化(運動)を推定する技術(モーションキャプチャ)が開示されている(例えば、特許文献1参照)。
特開2020−42476号公報
IMUセンサを利用した推定技術では、IMUセンサが対象者の身体に取り付けられた際に、初期姿勢においてIMUセンサの出力を何らかの座標系に変換する規則について、較正が用いられる場合がある。しかしながら、その後の対象者の動作によっては、IMUセンサの較正が行われた後にIMUセンサの取り付け位置や姿勢が較正時から変わってしまい、変換する規則が適正でなくなる場合がある。
本発明は、このような事情を考慮してなされたものであり、IMUセンサを用いた姿勢推定に関する較正を好適に行うことができる解析装置、解析方法、プログラム、および較正方法を提供することを目的の一つとする。
この発明に係る解析装置、解析方法、プログラム、および較正方法は、以下の構成を採用した。
(1):本発明の一態様に係る解析装置は、推定対象の複数の箇所に取り付けられ、角速度および加速度を検出する複数の慣性計測センサのそれぞれの位置を基準としたセンサ座標系で表される前記慣性計測センサの出力を、前記推定対象における前記慣性計測センサが取り付けられた位置に対応するセグメントごとの姿勢を表したセグメント座標系に変換する処理を含む前記推定対象の姿勢推定を行う姿勢推定部と、前記推定対象に付与された一以上の第1マーカを撮像する撮像部によって撮像された画像を取得する取得部と、前記画像に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正する較正部と、を備え、前記第1マーカは、前記複数の慣性計測センサのうち少なくとも一つに対する相対的な姿勢が変化せず、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、前記較正部は、前記第1マーカの前記撮像部に対する姿勢を導出し、導出した姿勢に基づいてセンサ座標系からカメラ座標系への変換行列を導出し、導出したセンサ座標系からカメラ座標系への変換行列を用いて、前記センサ座標系から前記セグメント座標系への変換規則を較正する、解析装置である。
(2):上記(1)の態様において、前記撮像部は、前記推定対象が存在する空間において静止する第2マーカを更に撮像し、前記第2マーカは、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、前記較正部は、前記第2マーカの前記撮像部に対する姿勢を導出し、導出した姿勢に基づいて前記空間を示すグローバル座標系からカメラ座標系への変換行列を導出し、前記セグメント座標系と前記グローバル座標系を同一視することで、前記センサ座標系からカメラ座標系への変換行列と前記グローバル座標系からカメラ座標系への変換行列に基づいて前記センサ座標系から前記セグメント座標系への変換行列を導出し、前記導出した前記センサ座標系から前記セグメント座標系への変換行列に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正するものである。
(3):上記(1)または(2)の態様において、前記撮像部は、前記推定対象に付与された第3マーカを更に撮像し、前記第3マーカは、前記セグメントのうち少なくとも一つに対する相対的な姿勢が変化せず、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、前記較正部は、前記第3マーカの前記撮像部に対する姿勢を導出し、導出した姿勢に基づいて前記セグメント座標系からカメラ座標系への変換行列を導出し、前記センサ座標系からカメラ座標系への変換行列と前記セグメント座標系からカメラ座標系への変換行列に基づいて前記センサ座標系から前記セグメント座標系への変換行列を導出し、前記導出した前記センサ座標系から前記セグメント座標系への変換行列に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正するものである。
(4):本発明の他の態様に係る解析方法は、コンピュータが、推定対象の複数の箇所に取り付けられ、角速度および加速度を検出する複数の慣性計測センサのそれぞれの位置を基準としたセンサ座標系で表される前記慣性計測センサの出力を、前記推定対象における前記慣性計測センサが取り付けられた位置に対応するセグメントごとの姿勢を表したセグメント座標系に変換する処理を含む前記推定対象の姿勢推定を行い、前記推定対象に付与された一以上の第1マーカを撮像する撮像部によって撮像された画像を取得し、前記画像に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正する解析方法であって、前記第1マーカは、前記複数の慣性計測センサのうち少なくとも一つに対する相対的な姿勢が変化せず、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、前記較正する処理において、前記第1マーカの前記撮像部に対する姿勢を導出し、導出した姿勢に基づいてセンサ座標系からカメラ座標系への変換行列を導出し、導出したセンサ座標系からカメラ座標系への変換行列を用いて、前記センサ座標系から前記セグメント座標系への変換規則を較正するものである。
(5):本発明の他の態様に係るプログラムは、コンピュータに、推定対象の複数の箇所に取り付けられ、角速度および加速度を検出する複数の慣性計測センサのそれぞれの位置を基準としたセンサ座標系で表される前記慣性計測センサの出力を、前記推定対象における前記慣性計測センサが取り付けられた位置に対応するセグメントごとの姿勢を表したセグメント座標系に変換する処理を含む前記推定対象の姿勢推定を行わせ、前記推定対象に付与された一以上の第1マーカを撮像する撮像部によって撮像された画像を取得させ、前記画像に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正させるプログラムであって、前記第1マーカは、前記複数の慣性計測センサのうち少なくとも一つに対する相対的な姿勢が変化せず、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、前記較正させる処理において、前記第1マーカの前記撮像部に対する姿勢を導出させ、導出させた姿勢に基づいてセンサ座標系からカメラ座標系への変換行列を導出させ、導出させたセンサ座標系からカメラ座標系への変換行列を用いて、前記センサ座標系から前記セグメント座標系への変換規則を較正させるものである。
(6):本発明の他の態様に係る較正方法は、無人飛行体に搭載された前記撮像部よって前記推定対象に付与された一以上の第1マーカを撮像し、上記(1)から(3)の態様の解析装置が前記撮像部によって撮像された画像を取得して前記センサ座標系から前記セグメント座標系への変換規則を較正するものである。
(7):本発明の他の態様に係る較正方法は、静止物に取り付けられた前記撮像部によって前記推定対象に付与された一以上の第1マーカを撮像し、上記(1)から(3)の態様の解析装置が前記撮像部によって撮像された画像を取得して前記センサ座標系から前記セグメント座標系への変換規則を較正するものである。
(8):本発明の他の態様に係る較正方法は、前記推定対象に取り付けられた前記撮像部によって前記推定対象に付与された一以上の第1マーカを撮像し、上記(1)から(3)の態様の解析装置が前記撮像部によって撮像された画像を取得して前記センサ座標系から前記セグメント座標系への変換規則を較正するものである。
上記(1)〜(8)の態様によれば、適切にIMUセンサを較正することができる。
解析装置100の使用環境の一例を示す図である。 IMUセンサ40の配置の一例を示す図である。 姿勢推定部120の更に詳細な構成と機能の一例を示す図である。 補正部160による平面想定処理を説明するための図である。 補正部160による方向ベクトルviの定義処理について説明するための図である。 推定対象TGTの姿勢変化によって方向ベクトルviが旋回した様子を示す図である。 姿勢推定装置100による補正処理の概要を説明するための図である。 全身補正量計算部164の構成の一例を示す図である。 全身補正量計算部164の構成の他の一例を示す図である。 全身補正量計算部164の全体を模式的に示す図である。 全身補正量計算部164の処理の流れを段階的に説明するための図である。 全身補正量計算部164の処理の流れを段階的に説明するための図である。 全身補正量計算部164の処理の流れを段階的に説明するための図である。 第1マーカMk1の外観の一例を示す図である。 撮像画像IM1の一例を示す図である。 較正部180による処理の内容について説明するための図である。 撮像画像IM2の一例を示す図である。 撮像画像の取得方法の変形例(その1)について説明するための図である。 撮像画像の取得方法の変形例(その2)について説明するための図である。
以下、図面を参照し、本発明の解析装置、解析方法、プログラム、および較正方法の実施形態について説明する。
解析装置は、少なくとも一以上のプロセッサにより実現される。解析装置は、例えば、利用者の端末装置とネットワークを介して通信するサービスサーバである。これに代えて、解析装置は、アプリケーションプログラムがインストールされた端末装置であってもよい。以下の説明では、解析装置はサービスサーバであることを前提とする。
解析装置は、人体などの推定対象に取り付けられた複数の慣性式センサ(IMUセンサ)から検出結果を取得し、検出結果に基づいて推定対象の姿勢推定などを行う装置である。推定対象は、セグメント(腕、手、脚、足などの解析力学において剛体とみなせるもの、換言するとリンク)と、二以上のセグメントを繋ぐジョイント(関節部)を備えるものであれば、人体に限らない。すなわち、推定対象は、人、動物、または関節の可動域が制限されたロボットなどである。
<第1実施形態>
図1は、解析装置100の使用環境の一例を示す図である。端末装置10は、スマートフォンやタブレット端末、パーソナルコンピュータなどである。端末装置10は、ネットワークNWを介して解析装置100と通信する。ネットワークNWは、WAN(Wide Area Network)やLAN(Local Area Network)、インターネット、セルラー網などを含む。撮像装置50は、例えば、撮像部(カメラ)を搭載した無人飛行体(ドローン)である。撮像装置50は、例えば、端末装置10によって操作され、撮像した画像を、端末装置10を介して解析装置100に送信する。撮像装置50の撮像した画像は、較正部180によって使用される。これについては後述する。
IMUセンサ40は、例えば、推定対象である利用者が着用する計測用ウェア30に取り付けられている。計測用ウェア30は、例えば、スポーツ用の動きやすい衣服に複数のIMUセンサ40が取り付けられたものである。また、計測用ウェア30は、ゴムバンドや水着、サポーターのような簡易的な装着具に複数のIMUセンサ40が取り付けられたものであってもよい。
IMUセンサ40は、例えば、三軸のそれぞれについて加速度と角速度を検出するセンサである。IMUセンサ40は、通信機を備え、アプリと連携して検出した加速度や角速度を無線通信で端末装置10に送信する。計測用ウェア30が利用者によって着用されると、IMUセンサ40のそれぞれが利用者の身体のどの部位にあたるか(以下、配置情報)が、自ずと決まる。
[解析装置100について]
解析装置100は、例えば、通信部110と、姿勢推定部120と、第2取得部170と、較正部180とを備える。姿勢推定部120は、例えば、第1推定部130と、一次変換部140と、積分部150と、補正部160とを備える。これらの構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。また、解析装置100は、記憶部190を備える。記憶部190は、HDDやフラッシュメモリ、RAM(Random Access Memory)などにより実現される。
通信部110は、ネットワークNWにアクセスするためのネットワークカードなどの通信インターフェースである。
[姿勢推定処理]
以下、姿勢推定部120による姿勢推定処理の一例について説明する。図2は、IMUセンサ40の配置の一例を示す図である。例えば、利用者の頭部、胸部、骨盤周辺、左右の手足などの複数の箇所にIMUセンサ40―1〜40―N(NはIMUセンサの総数)が取り付けられる。以下では、計測用ウェア30を着用した利用者のことを推定対象TGTと称する場合がある。また、1〜Nのいずれかという意味で引数iを採用し、IMUセンサ40−iなどと称する。図2の例では、計測用ウェア30に心拍センサや温度センサも取り付けられている。
例えば、IMUセンサ40−1が右肩、IMUセンサ40−2が右上腕、IMUセンサ40−8が左大腿、IMUセンサ40−9が左膝下、というように、IMUセンサ40が配置される。また、IMUセンサ40―pは、基準部位となる部位の周辺に取り付けられる。基準部位とは、例えば、利用者の骨盤など体幹部の一部が該当する。以下の説明において、一以上のIMUセンサ40が取り付けられ、その動きが計測される対象の部位のことを「セグメント」と称する。セグメントには、基準部位と基準部位以外のセンサ取り付け部位(以下、参照部位と称する)が含まれる。
以下の説明において、IMUセンサ40―1〜20−Nのそれぞれに対応する構成要素には、符号にハイフン以下の符号を付けて説明する。
図3は、姿勢推定部120の更に詳細な構成と機能の一例を示す図である。第1取得部130は、複数のIMU40センサから、角速度および加速度の情報を取得する。一次変換部140は、第1取得部130により取得された情報を、IMUセンサ40のそれぞれにおける3軸方向の座標系(以下、センサ座標系と称する)から、セグメント座標系の情報に変換し、変換結果を補正部160に出力する。
一次変換部140は、例えば、各セグメントに対応するセグメント角速度計算部146−iと、加速度集約部148と、を備える。セグメント角速度計算部146−iは、第1取得部130により出力されたIMUセンサ40―iの角速度を、セグメント座標系の情報に変換する。セグメント座標系とは、セグメントごとの姿勢を表した座標系である。セグメント角速度計算部146−iによる処理結果(IMUセンサ40の検出結果に基づくものであり、推定対象TGTの姿勢を表す情報)は、例えば、クオータニオンの形式で保持される。なお、IMUセンサ40―iの計測結果をクオータニオンの形式で表現するのはあくまで一例であり、3次元の回転群SO3の回転行列など他の表現方法が用いられてもよい。
加速度集約部148は、セグメントに対応するIMUセンサ40―iの検出した加速度のそれぞれを集約する。加速度集約部148は、集約結果を、推定対象TGTの全身の加速度(以下、全IMU加速度と称する場合がある)に変換する。
積分部150は、セグメント角速度計算部146−iにより基準座標系の情報に変換されたセグメントに対応する角速度を積分することで、推定対象TGTにおいてIMUセンサ40―iが取り付けられたセグメントの向きを、推定対象の姿勢の一部として算出する。積分部150は、積分結果を補正部160および記憶部190に出力する。
なお、積分部150には、処理サイクルが初回である場合には、一次変換部140により出力された角速度(補正部160による補正が行われていない角速度)が入力されるが、それ以降は後述する補正部160により前回処理サイクルにおける処理結果に基づいて導出された補正が反映された角速度が入力される。
積分部150は、例えば、各セグメントに対応する角速度積分部152−iを備える。角速度積分部152−iは、セグメント角速度計算部146−iにより出力されたセグメントの角速度を積分することで、推定対象においてIMUセンサ40−iが取り付けられた参照部位の向きを、推定対象の姿勢の一部として算出する。
補正部160は、推定対象に含まれる基準部位を通る代表平面を想定し、代表平面の法線と、積分部150により算出される参照部位の向きとが直交する方向に近づくように、参照部位の変換された角速度を補正する。代表平面については後述する。
補正部160は、例えば、推定姿勢集約部162と、全身補正量計算部164と、補正量分解部166と、各セグメントに対応する角速度補正部168−iとを備える。
推定姿勢集約部162は、角速度積分部152―iによる計算結果である各セグメントの姿勢を表すクオータニオンを一つのベクトルに集約する。以下、集約されたベクトルを推定全身姿勢ベクトルと呼ぶ。
全身補正量計算部164は、加速度集約部148により出力された全IMU加速度と、推定姿勢集約部162により出力された推定全身姿勢ベクトルとに基づいて、すべてのセグメントの角速度の補正量を計算する。なお、全身補正量計算部164により計算される補正量は、推定対象の全身姿勢として不自然とならないように、セグメントのそれぞれの関係性が考慮されて調整されたものである。全身補正量計算部164は、計算結果を補正量分解部166に出力する。
補正量分解部166は、全身補正量計算部164により計算された補正量を、それぞれのセグメントの角速度に反映できるよう、セグメント毎の角速度の補正量に分解する。補正量分解部166は、分解したセグメント毎の角速度の補正量を、対応するセグメントの角速度補正部168−iに出力する。
角速度補正部168−iは、セグメント角速度計算部146−iにより出力された、セグメントごとの角速度の計算結果に、補正量分解部166により出力された、対応するセグメントの角速度の補正量の分解結果を反映させる。これにより、次サイクルの処理において積分部150の処理対象が積分する対象が、補正部160による補正が反映された状態の角速度になる。角速度補正部168−iは、補正結果を、角速度積分部152−iに出力する。
積分部150による積分結果であるセグメント毎の姿勢の推定結果は、端末装置10に送信される。
図4は、補正部160による平面想定処理を説明するための図である。補正部160は、図4の左図のように、基準部位が推定対象TGTの骨盤である場合、骨盤中央を通る正中矢状面(図中のSagittal plane)を代表平面として想定する。正中矢状面とは、左右相称な推定対象TGTの体の正中に対し平行に、体を左右に分ける面のことである。さらに、補正部160は、図4の右図のように、想定した正中矢状面の法線n(図中の矢印Normal vector)を設定する。
図5は、補正部160による方向ベクトルviの定義処理について説明するための図である。補正部160は、あるIMUセンサ40−iの出力を初期状態とし、その向きを、水平且つ代表平面に平行な向きであると定義する(第1較正処理)。その後、IMUセンサ40−iの出力を積分して得られる三方向の回転に沿って方向ベクトルは三方向に旋回する。
図5に示すように、推定対象TGTの参照部位に、胸部、左右の大腿部、および左右の膝下部が含まれる場合、補正部160は、第1較正処理の結果に基づいてIMUセンサ40の取り付け姿勢の推定を行い、法線nと積分部150により算出される参照部位の向きとが直交する方向に近づくように、参照部位の変換された角速度をそれぞれ補正し、図示のように参照部位の向く方向ベクトルv1〜v5(図中のForward vector)を導出する。図示のように、方向ベクトルv1は胸部の方向ベクトルを示し、方向ベクトルv2およびv3は大腿部の方向ベクトルを示し、方向ベクトルv4およびv5は膝下部の方向ベクトルを示すものである。なお、図中のx軸、y軸、z軸は、基準座標系の方向の一例である。
図6は、推定対象TGTの姿勢変化によって方向ベクトルviが旋回した様子を示す図である。代表平面は、ある基準部位のIMUセンサ40−pの出力を初期状態とした場合、IMUセンサ40−pの出力を積分して得られるヨー方向の変位に沿ってヨー方向に旋回する。補正部160は、前回サイクルにおいて積分部150により算出された参照部位の向きが正中矢状面の法線nに対して直交する向きから乖離することが継続するのに応じて、参照部位の変換された角速度を補正する度合いを大きくする。
〔姿勢の推定〕
補正部160は、例えば、図5に示すように参照部位の方向ベクトルviと法線nとの内積が0である場合に、参照部位の向きが正中矢状面の法線nに対して直交する向きから乖離していないホームポジションの姿勢であると判定し、図6に示すように方向ベクトルviと法線nとの内積が0より大きい場合に、参照部位の向きが正中矢状面の法線nに対して直交する向きから乖離していると判定する。ホームポジションとは、推定対象TGTにIMUセンサ40を取り付けた後の第1較正処理の結果として取得された、推定対象TGTの基本的な体勢(但し、代表平面に対する相対的なもの)のことであり、例えば、静止直立状態である。補正部160は、推定対象TGTに所定の動作(較正動作)を行わせた結果得られたIMUセンサ40の計測結果に基づいて、ホームポジションの定義を行う。
これにより、補正部160は、推定対象が正中矢状面の法線nに対して直交する向きから乖離した姿勢(すなわち、図6に示すように体を捻った状態)が長時間継続したり、正中矢状面の法線nに対して直交する向きから乖離した姿勢を保ったままで運動したりすることが稀であるという仮定に基づいて、時間が経過すれば乖離が小さくなること(図5に示すようなホームポジションに近づくこと)を反映した補正を行う。
図7は、姿勢推定装置100による補正処理の概要を説明するための図である。姿勢推定装置100は、推定対象TGTの骨盤と、それ以外のセグメントで異なる最適化問題を定義する。まず、姿勢推定装置100は、推定対象TGTの骨盤姿勢を計算し、骨盤姿勢を利用してその他のセグメント姿勢を計算する。
仮に、骨盤姿勢の計算と、骨盤以外の他のセグメントの姿勢の計算を別々に解くと、骨盤姿勢は重力補正のみを用いた推定となってしまう。姿勢推定装置100では、その他のセグメント姿勢も考慮して骨盤姿勢の推定を行うことができるよう、骨盤姿勢の推定とその他のセグメント姿勢の推定を同時に行い、全てのIMUセンサ40同士の影響を考慮した最適化を目指すものである。
〔演算例〕
以下、姿勢の推定時の具体的な演算例について数式に沿って説明する。
姿勢を表現するためのクオータニオンの表現方法について説明する。ある座標系frame Aからframe Bまでの回転をクオータニオンで表すと以下の式(1)のようになる。ただし、frame Bはframe Aに対して正規化された軸の回りにθだけ回転している。
Figure 2021173724
なお、以下の説明において、クオータニオンqにハット記号を付したもの(回転を表現する単位クオータニオン)を「q(h)」と示して説明する。単位クオータニオンとは、クオータニオンをノルムで除算したものである。q(h)は式(1)に示すような4つの実数値要素を持つ列ベクトルである。この表現方法を用いて、推定対象TGTの推定全身姿勢ベクトルQを示すと、以下の式(2)のように示すことができる。
Figure 2021173724
なお、 q(h)(iはセグメントを示す1〜Nの整数、または基準位置を示すp)は、参照部位のIMUセンサ40の座標系S(セグメント座標系)における基準位置から、基準座標位置E(例えば、地球の重力方向から定義可能な座標系)までの回転をクオータニオンで表すものである。この推定対象TGTの推定全身姿勢ベクトルQは、全てのセグメントの姿勢を表す単位クオータニオンを1つに集約した、4(N+1)つの実数値要素を持つ列ベクトルである。
推定対象TGTの姿勢を推定するため、まずは、IMUセンサ40が取り付けられたある1つのセグメントの姿勢推定について考える。
Figure 2021173724
式(3)は、最適化問題の更新式の一例であり、式(4)に示す関数の導出結果のノルムの1/2の最小値を導出することにより、ロール・ピッチ方向の補正量を導出するための式である。式(4)の右辺は、センサ座標系で表現した推定姿勢から求めた基準のあるべき方向(例えば、重力や地磁気などの方向)を示す情報から、センサ座標系で表現したIMUセンサ40が計測した基準の方向を減算する式である。
式(5)に示すように、 qは、単位クオータニオン q(h)を行列形式で表現した一例である。また、式(6)に示すように、d(h)はヨー方向を補正するために用いる基準方向(例えば、重力や地磁気などの方向)を示すベクトルである。また、式(7)に示すように、s(h)は、センサ座標系で表現したIMUセンサ40が計測した基準の方向を示すベクトルである。
なお、重力を基準に使う場合、式(6)および式(7)は、以下の式(8)および式(9)のように示すことができる。ax、y、のそれぞれは、x軸方向の加速度、y軸方向の加速度、およびz軸方向の加速度を示す。
d(h)=〔0 0 0 1〕 …(8)
s(h)=〔0 a〕…(9)
式(3)に示した関係式は、例えば、勾配降下法により解くことができる。その場合、推定姿勢の更新式は、式(10)で示すことができる。また、目的関数の勾配は、以下の式(11)を用いて示す。また、勾配を示す式(11)は、式(12)に示すように、ヤコビアンを用いて計算することができる。なお、式(12)に示すヤコビアンは、重力誤差項とヨー方向誤差項を全身の方向ベクトルviの各要素で偏微分した行列である。重力誤差項とヨー方向誤差項については後述する。
Figure 2021173724
式(10)の右辺に示すように、単位クオータニオン q(h)k+1は、現在の推定姿勢を示す単位クオータニオン q(h)から係数μ(1以下の定数)と勾配の積を減算することで導出することができる。また、式(11)および式(12)に示すように、勾配は比較的少ない計算量で導出することができる。
なお、重力を基準に使う場合の式(4)および式(12)の実際の計算例を、以下の式(13)および式(14)に示す。
Figure 2021173724
上図の式(3)〜(7)、および式(10)〜(12)を用いて示した方法では、サンプリングごとに、更新式を1回計算することにより、姿勢の推定が可能となる。また、式(8)、(9)、(13)、(14)に挙げたように重力を基準に使う場合には、ロール軸方向、ピッチ軸方向の補正ができる。
〔全身補正量計算〕
以下、推定姿勢に対する全身補正量(特にヨー方向の補正量)を導出する方法について説明する。図8は、全身補正量計算部164の構成の一例を示す図である。全身補正量計算部164は、例えば、ヨー方向誤差項計算部164aと、重力誤差項計算部164bと、目的関数計算部164cと、ヤコビアン計算部164dと、勾配計算部164eと、補正量計算部164fとを備える。
ヨー方向誤差項計算部164aは、推定した全身の姿勢から、ヨー角方向の補正を実現するためのヨー方向誤差項を計算する。
重力誤差項計算部164bは、推定した全身の姿勢と、IMUセンサ40で検出した加速度からロール軸方向およびピッチ軸方向の補正を実現するための重力誤差項を計算する。
目的関数計算部164cは、推定した全身の姿勢と、IMUセンサ40で検出した加速度と、ヨー方向誤差項計算部164aの計算結果と、重力誤差項計算部164bの計算結果とに基づいて、推定対象TGTの正中矢状面と方向ベクトルviが平行となるように補正するための目的関数を計算する。なお、重力誤差項とヨー方向誤差項の二乗和を目的関数とする。目的関数の詳細については後述する。
ヤコビアン計算部164dは、推定した全身の姿勢と、IMUセンサ40で検出した加速度から推定全身姿勢ベクトルQの偏微分で求めたヤコビアンを計算する。
勾配計算部164eは、目的関数計算部164cによる計算結果と、ヤコビアン計算部164dによる計算結果とを用いて、最適化問題の解を導出して、勾配を計算する。
補正量計算部164fは、勾配計算部164eの計算結果を用いて推定対象TGTの推定全身姿勢ベクトルQに対して適用する全身補正量を導出する。
図9は、全身補正量計算部164の構成の他の一例を示す図である。図9に示す全身補正量計算部164は、正中矢状面と各セグメントの方向ベクトルviとを用いて全身補正量を導出するものであり、図9に示す構成要素に加えて、代表平面法線計算部164gと、セグメントベクトル計算部164hとをさらに備える。
代表平面法線計算部164gは、全身推定姿勢に基づいて、代表平面である正中矢状面の法線nを計算する。セグメントベクトル計算部164hは、全身推定姿勢に基づいて、セグメントの方向ベクトルviを計算する。
[全身補正量の導出例〕
以下、全身補正量の導出例について説明する。
ヨー方向誤差項計算部164aは、以下に示す式(15)を用いて、正中矢状面とセグメントの方向ベクトルが平行となるように補正するためのヨー方向誤差項fの内積計算を行う。
Figure 2021173724
ヨー方向誤差項fは、セグメントiの推定姿勢を示す単位クオータニオン q(h)と、基準部位である骨盤の推定姿勢を示す単位クオータニオン q(h)とに基づいて補正量を導出する式である。式(15)の右辺は、代表平面法線計算部164gにより計算された、センサ座標系で表した正中矢状面の法線nと、セグメントベクトル計算部164hにより計算された、センサ座標系で表したセグメントの方向ベクトルviの内積を導出するものである。これにより、推定対象TGTが体を捻った状態である場合に、その捻りが解消されること(図5の右図に示すようなホームポジションに近づく)を補正内容に加味した補正を行うことができる。
次に、重力誤差項計算部164bは、式(16)に示すように、セグメント毎の基準補正(例えば重力補正)をするための計算を行う。
Figure 2021173724
式(16)は、任意のセグメントiの推定姿勢を示す単位クオータニオン q(h)と、IMUセンサ40−iが計測した加速度(重力)との関係式であり、式(16)の右辺に示すように、推定姿勢から求めた、センサ座標系で表現した重力のあるべき方向(想定重力加速度方向)から、センサ座標系で表現した計測した重力の方向(計測重力加速度方向)(h)を減算することで導出することができる。
ここで、計測した重力の方向(h)の具体例を式(17)に示す。また、重力方向を示す定数(h)は、それぞれ式(18)に示すような定数で表現することができる。
Figure 2021173724
次に、目的関数計算部164cは、重力誤差項とヨー方向誤差項を統合した、セグメントiの補正関数として式(19)を計算する。
Figure 2021173724
ここで、ciは代表平面補正の重み係数である。セグメントiの補正関数を示す式(19)は、最適化問題として形式化すると式(20)のように表現することができる。
Figure 2021173724
なお、式(20)は、重力補正と代表平面補正の目的関数の和で示すことができる補正関数の式(21)と等価である。
Figure 2021173724
目的関数計算部164cは、すべてのセグメントに対して同様に姿勢推定を行い、全身の目的関数を統合した最適化問題を定義する。式(22)は、全身の目的関数を統合した補正関数F(Q,α)である。αは、IMUセンサにより計測された全IMU加速度であり、式(23)のように示すことができる。
Figure 2021173724
なお、式(22)の右辺の第1行は、骨盤に対応した補正関数を示し、右辺の第2行以降は、骨盤以外の各セグメントに対応した補正関数を示すものである。式(22)に示す補正関数を用いて、推定対象TGTの全身の姿勢を補正するための最適化問題は下記の式(24)のように定義することができる。式(24)は、既出の各セグメントの補正関数である式(21)と同様の形式で、式(25)に示すように変形することができる。
Figure 2021173724
次に、勾配計算部164eは、この目的関数の勾配を、推定全身姿勢ベクトルQの偏微分で求めたヤコビアンJを用いて、以下の式(26)のように計算する。なお、ヤコビアンJは、式(27)に示す。
Figure 2021173724
式(27)に示すそれぞれの要素のサイズは以下の式(28)および(29)のようになっている。
Figure 2021173724
すなわち、式(27)に示すヤコビアンJは(3+4N)×4(N+1)(Nは基準部位計測用のIMUセンサ以外の全IMUセンサ数)の大きな行列となるが、実際には以下の式(30)および(31)に示す要素は0となるため計算は割愛することができ、低速な演算装置でもリアルタイムな姿勢推定が可能となる。
Figure 2021173724
式(30)および(31)を既出の式(27)に代入すると、次の式(32)のように示すことができる。
Figure 2021173724
勾配計算部164eは、式(32)の計算結果を用いて式(26)に示す勾配を計算することができる。
[全身補正量計算部の処理イメージ]
図10〜13は、全身補正量計算部164の演算処理の流れを模式的に示す図である。図10は、全身補正量計算部164の全体を模式的に示す図であり、図11〜図13は、全身補正量計算部164の処理の流れを段階的に説明するための図である。
図10に示すように、加速度集約部148は、時刻tに計測された各IMUセンサ40−iの加速度i,t(iは基準部位である骨盤を示すpであってもよい、以下同様)の第1取得部130による取得結果を変換し、集約結果である推定対象TGTの全IMU加速度αに変換する。また、第1取得部130により取得された、時刻tに計測された各IMUセンサ40−iの角速度ωi,tは、それぞれ対応する角速度積分部152−iに出力される。
また、図10の右上部分に示されるZ−1からβまでの処理ブロックは、補正部160が次回処理サイクルにおける補正量を導出することを表すものである。
なお、図10〜図13において、下記の式(33)で示す目的関数の勾配をΔQとすると、時刻tの角速度Q(・)(Qの上文字としてドット記号を付したものであり、時刻tの推定全身姿勢ベクトルQの時間微分結果)へのフィードバックは下記の式(34)のように表現することができる。なお、式(34)のβは、補正量のゲインを調整するための、0≦β≦1となる実数である。
Figure 2021173724
全身補正量計算部164は、式(34)に示すように、角速度Q(・)に勾配ΔQを正規化した結果に任意の実数βを補正量として反映する。
積分部150は、図11に示すように、各セグメントの角速度を積分する。次に、補正部160は、図12に示すように、各セグメントの角速度と推定姿勢を使って、勾配ΔQを計算する。次に、補正部160は、図13に示すように、導出した勾配ΔQを各IMUセンサの角速度にフィードバックする。IMUセンサ40による次の計測結果を第1取得部130が取得すると、積分部150は、図11に示すように、再度各セグメントの角速度を積分する。姿勢推定装置100は、図11〜図13に示す処理を繰り返すことで推定対象TGTの姿勢推定の処理を行うことにより、人の身体の特性や経験則が各セグメントの姿勢の推定結果に反映されるため、姿勢推定装置100の推定結果の精度が向上する。
図11〜図13に示すような処理が繰り返し行われ、推定姿勢集約部162が積分部150の角速度の積分結果を集約することで、それぞれのIMUセンサ40の計測角速度がもつ誤差が平均化され、式(2)の推定全身姿勢ベクトルQを導出することができる。この推定全身姿勢ベクトルQには、人の身体の特性や経験則を用いた、全身姿勢からヨー方向補正量を計算した結果が反映されている。上述の方法で推定対象TGTの姿勢推定を行うことで、地磁気を利用せずに、ヨー角方向ドリフトを抑えた尤もらしい人の全身姿勢を推定することができるため、長時間の計測を行う場合においても、ヨー方向ドリフトを抑えた全身姿勢推定ができる。
解析装置100は、全身姿勢推定結果を、解析結果として記憶部190に記憶させつつ、解析結果を示す情報を、端末装置10に提供する。
[較正処理]
以下、較正部180による較正処理の一例について説明する。第2取得部170は、撮像装置50の撮像部によって撮像された画像(以下、撮像画像)を取得する。撮像装置50は、例えば、端末装置10からの制御(自動制御でもよいし、手動制御でもよい)によって、推定対象TGTを撮像するように飛行制御がなされる。推定対象TGTには、一以上の第1マーカが付与されている。第1マーカは、計測用ウェア30に印刷されたものでもよいし、シールとして貼り付けされたものでもよい。第1マーカは、機械によって容易に認識可能な画像を含み、付与された位置のセグメントと連動して位置および姿勢が変化するものである。その画像には、空間的な方向を示す画像を含まれていると好適である。図14は、第1マーカMk1の外観の一例を示す図である。第1マーカMk1は、例えば、撮像画像からの抽出が容易なコントラストで描画されており、矩形などの二次元形状を有するものである。
図15は、撮像画像IM1の一例を示す図である。撮像画像IM1には、第1マーカMk1に加えて、第2マーカMk2が含まれるように、撮像装置50が制御される。第2マーカMk2は、床面などの静止体に付与されるものである。第2マーカMk2も、第1マーカMk1と同様に、撮像画像からの抽出が容易なコントラストで描画されており、矩形などの二次元形状を有するものである。
第1マーカMk1の姿勢は、センサ座標系に合致しているものとする。第1マーカMk1は、例えば、IMUセンサ40の姿勢に対して相対的な姿勢が変化しないような形で付与される。例えば、IMUセンサ40を構成する剛体部材に第1マーカMk1が印刷または貼り付けされている。較正部180は、撮像画像IMにおける第1マーカMk1および第2マーカMk2に基づいて、センサ座標系からセグメント座標系への変換規則を較正する。特許請求の範囲における「変換部」は、少なくとも一次変換部140を含み、更に積分部150や補正部160を含んでもよい。従って、変換規則とは、一次変換部140がIMUセンサ40―iの角速度をセグメント座標系の情報に変換する規則を指してもよいし、更に積分部150や補正部160が行う処理も含めた規則を指してもよい。
ここで、センサ座標系を<M>、セグメント座標系を<S>、撮像装置50の位置を原点とするカメラ座標系を<E>、静止した座標系であるグローバル座標系を<G>と定義する。グローバル座標系<G>は、例えば、重力方向を一つの軸とする地上座標系である。較正の対象となるのはセンサ座標系<M>からセグメント座標系<S>への変換規則(以下、変換行列) Rである。
図16は、較正部180による処理の内容について説明するための図である。前述したホームポジションの設定時点t0において、較正部180は、図15に示すような撮像画像IMを取得し、第1マーカMk1の頂点の位置に基づいて、第1マーカMk1の撮像部に対する姿勢を導出し、導出した姿勢から座標系同士のなす回転角度を求めることで、センサ座標系<M>からカメラ座標系<E>への変換行列 Rを導出する。係る技術は、例えばOpenCVの機能として公知である。また、較正部180は、第2マーカMk2の頂点の位置に基づいて、第2マーカMk2の撮像部に対する姿勢を導出し、導出した姿勢から座標系同士のなす回転角度を求めることで、グローバル座標系<G>からカメラ座標系<E>への変換行列 Rを導出する。このとき、推定対象TGTが直立姿勢をとっている場合、セグメント座標系<S>とグルーバル座標系<G>が一致していると仮定することができる。従って、変換行列 R=変換行列 Rと仮定することができる。このとき、センサ座標系<M>からセグメント座標系<S>への変換行列を Rとする。
ホームポジションの設定時点t0よりも後の較正時点t1において、推定対象TGTに対するIMUセンサ40の位置および姿勢がズレると、センサ座標系<M>からセグメント座標系<S>への変換行列が R#に変化する。このとき、変換行列 R#は式(35)で求められる。前述したように R= Rと仮定できるため、推定対象TGTがポジションの設定時点t0と同じ直立姿勢を取っている場合、式(36)の関係が得られる。従って、グローバル座標系<G>からカメラ座標系<E>への変換行列 Rの逆行列 Rとセンサ座標系<M>からカメラ座標系<E>への変換行列 Rとを乗算することで、センサ座標系<M>からセグメント座標系<S>への変換行列 R#を導出することができる。
R#= R …(35)
R#=
=(
R・ R …(36)
上記のようにしてセンサ座標系<M>からセグメント座標系<S>への変換行列 R#を取得すると、較正部180は、変換行列 R#に基づいて、センサ座標系からセグメント座標系への変換規則を較正する。これによって、ホームポジションの設定時点t0よりも後の較正時点t1において、IMUセンサ40を用いた姿勢推定に関する較正を好適に行うことができる。
以上説明した第1実施形態によれば、IMUセンサ40を用いた姿勢推定に関する較正を好適に行うことができる。
<第2実施形態>
以下、第2実施形態について説明する。第2実施形態は、第1実施形態に比して較正部180の処理内容が異なるものである。従って、係る相違点を中心に説明する。
第2実施形態において、推定対象TGTには、一以上の第3マーカMk3が付与される。第3マーカMk3は、第1マーカMk1と異なり、セグメント座標系の軸方向を示す軸図形を示すものである。また、第2実施形態において、第2マーカMk2は必須の構成では無いが、存在することによって精度の向上が期待できる。
図17は、撮像画像IM2の一例を示す図である。撮像画像IM2には、第1マーカMk1に加えて、第3マーカMk3が含まれるように、撮像装置50が制御される。図17の例では第2マーカMk2が撮像されている。第3マーカMk3も、例えば、撮像画像からの抽出が容易なコントラストで描画されており、矩形などの二次元形状を有するものである。
第3マーカMk3の姿勢は、セグメント座標系に合致しているものとする。例えば、第3マーカMk3は、推定対象TGTの骨盤や背骨などの剛体に近い部分に当接するように計測用ウェア30に印刷または貼り付けされている。較正部180は、撮像画像IMにおける第1マーカMk1および第3マーカMk3の軸図形に基づいて、センサ座標系からセグメント座標系への変換規則を較正する。
第1実施形態と同様の定義に即して説明する。前述したホームポジションの設定時点t0と、その後の較正時点t1とにおいて、較正部180は、図17に示すような撮像画像IMを取得し、第1マーカMk1の頂点の位置に基づいて、センサ座標系<M>からカメラ座標系<E>への変換行列 Rを導出する。また、較正部180は、第3マーカMk3の頂点の位置に基づいて、第3マーカMk3の撮像部に対する姿勢を導出し、導出した姿勢から座標系同士のなす回転角度を求めることで、セグメント座標系<G>からカメラ座標系<E>への変換行列 Rを導出する。較正時点t1におけるセンサ座標系<M>からセグメント座標系<S>への変換行列 R#は、前述した式(35)で直接的に求められる。
上記のようにしてセンサ座標系<M>からセグメント座標系<S>への変換行列 R#を取得すると、較正部180は、変換行列 R#に基づいて、センサ座標系からセグメント座標系への変換規則を較正する。これによって、ホームポジションの設定時点t0よりも後の較正時点t1において、IMUセンサ40を用いた姿勢推定に関する較正を好適に行うことができる。
以上説明した第2実施形態によれば、IMUセンサ40を用いた姿勢推定に関する較正を好適に行うことができる。
<第2実施形態の変形例>
第2実施形態において、較正部180は、撮像画像IM2に含まれる第3マーカMk3に基づいてセグメント座標系<G>からカメラ座標系<E>への変換行列 Rを導出するものとした。これに代えて、較正部180は、撮像画像を解析することで推定対象TGTのセグメントの位置および姿勢を導出し、それによってセグメント座標系<G>からカメラ座標系<E>への変換行列 Rを導出するようにしてもよい。例えば、顔の特徴点から顔向きを推定する技術によって、セグメントのうち頭部の位置および姿勢を推定することができる。この場合、撮像装置50は、TOF(Time Of Flight)カメラのように距離を測定可能なものであると、推定対象TGTの立体的な輪郭を取得できるため好適である。
<撮像画像の取得方法の変形例>
以下、ドローンを使用した方法以外の撮像画像の取得方法について説明する。図18は、撮像画像の取得方法の変形例(その1)について説明するための図である。図示するように、例えば推定対象TGTが通過するゲート等に一以上の撮像装置50Aを取り付け、推定対象TGTが通過するのに応じて一以上の撮像画像を取得するようにしてもよい。この場合、撮像装置50Aは静止しているため、グローバル座標系<G>とカメラ座標系<E>を同一視することができる。このため、第3マーカMk3が存在しない場合でも第2マーカMk2を省略することができる。
図19は、撮像画像の取得方法の変形例(その2)について説明するための図である。図示するように、例えば推定対象TGTに対してリストバンドやアンクルバンドに取り付けられた一以上の撮像装置50B(マイクロカメラリング)を装着し、一以上の撮像画像を取得するようにしてもよい。この場合、第2マーカMk2が存在することが好ましく、また撮像装置50Bに撮像させる際に推定対象TGTが所定のポーズをとるように指導されると好適である。
上記に代えて、床面や壁面、天井等に一以上の撮像装置を取り付けて撮像画像を取得するようにしてもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
10 端末装置
30 計測用ウェア
40 慣性計測センサ
50、50A、50B 撮像装置
100 解析装置
110 通信部
120 姿勢推定部
130 第1取得部
140 一次変換部
150 積分部
160 補正部
170 第2取得部
180 較正部
190 記憶部

Claims (8)

  1. 推定対象の複数の箇所に取り付けられ、角速度および加速度を検出する複数の慣性計測センサのそれぞれの位置を基準としたセンサ座標系で表される前記慣性計測センサの出力を、前記推定対象における前記慣性計測センサが取り付けられた位置に対応するセグメントごとの姿勢を表したセグメント座標系に変換する処理を含む前記推定対象の姿勢推定を行う姿勢推定部と、
    前記推定対象に付与された一以上の第1マーカを撮像する撮像部によって撮像された画像を取得する取得部と、
    前記画像に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正する較正部と、を備え、
    前記第1マーカは、前記複数の慣性計測センサのうち少なくとも一つに対する相対的な姿勢が変化せず、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、
    前記較正部は、前記第1マーカの前記撮像部に対する姿勢を導出し、導出した姿勢に基づいてセンサ座標系からカメラ座標系への変換行列を導出し、導出したセンサ座標系からカメラ座標系への変換行列を用いて、前記センサ座標系から前記セグメント座標系への変換規則を較正する、
    解析装置。
  2. 前記撮像部は、前記推定対象が存在する空間において静止する第2マーカを更に撮像し、
    前記第2マーカは、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、
    前記較正部は、前記第2マーカの前記撮像部に対する姿勢を導出し、導出した姿勢に基づいて前記空間を示すグローバル座標系からカメラ座標系への変換行列を導出し、前記セグメント座標系と前記グローバル座標系を同一視することで、前記センサ座標系からカメラ座標系への変換行列と前記グローバル座標系からカメラ座標系への変換行列に基づいて前記センサ座標系から前記セグメント座標系への変換行列を導出し、前記導出した前記センサ座標系から前記セグメント座標系への変換行列に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正する、
    請求項1記載の解析装置。
  3. 前記撮像部は、前記推定対象に付与された第3マーカを更に撮像し、
    前記第3マーカは、前記セグメントのうち少なくとも一つに対する相対的な姿勢が変化せず、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、
    前記較正部は、前記第3マーカの前記撮像部に対する姿勢を導出し、導出した姿勢に基づいて前記セグメント座標系からカメラ座標系への変換行列を導出し、前記センサ座標系からカメラ座標系への変換行列と前記セグメント座標系からカメラ座標系への変換行列に基づいて前記センサ座標系から前記セグメント座標系への変換行列を導出し、前記導出した前記センサ座標系から前記セグメント座標系への変換行列に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正する、
    請求項1または2記載の解析装置。
  4. コンピュータが、
    推定対象の複数の箇所に取り付けられ、角速度および加速度を検出する複数の慣性計測センサのそれぞれの位置を基準としたセンサ座標系で表される前記慣性計測センサの出力を、前記推定対象における前記慣性計測センサが取り付けられた位置に対応するセグメントごとの姿勢を表したセグメント座標系に変換する処理を含む前記推定対象の姿勢推定を行い、
    前記推定対象に付与された一以上の第1マーカを撮像する撮像部によって撮像された画像を取得し、
    前記画像に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正する解析方法であって、
    前記第1マーカは、前記複数の慣性計測センサのうち少なくとも一つに対する相対的な姿勢が変化せず、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、
    前記較正する処理において、前記第1マーカの前記撮像部に対する姿勢を導出し、導出した姿勢に基づいてセンサ座標系からカメラ座標系への変換行列を導出し、導出したセンサ座標系からカメラ座標系への変換行列を用いて、前記センサ座標系から前記セグメント座標系への変換規則を較正する、
    解析方法。
  5. コンピュータに、
    推定対象の複数の箇所に取り付けられ、角速度および加速度を検出する複数の慣性計測センサのそれぞれの位置を基準としたセンサ座標系で表される前記慣性計測センサの出力を、前記推定対象における前記慣性計測センサが取り付けられた位置に対応するセグメントごとの姿勢を表したセグメント座標系に変換する処理を含む前記推定対象の姿勢推定を行わせ、
    前記推定対象に付与された一以上の第1マーカを撮像する撮像部によって撮像された画像を取得させ、
    前記画像に基づいて、前記センサ座標系から前記セグメント座標系への変換規則を較正させるプログラムであって、
    前記第1マーカは、前記複数の慣性計測センサのうち少なくとも一つに対する相対的な姿勢が変化せず、撮像された画像を解析することで前記撮像部に対する姿勢が認識可能な形態を有しており、
    前記較正させる処理において、前記第1マーカの前記撮像部に対する姿勢を導出させ、導出させた姿勢に基づいてセンサ座標系からカメラ座標系への変換行列を導出させ、導出させたセンサ座標系からカメラ座標系への変換行列を用いて、前記センサ座標系から前記セグメント座標系への変換規則を較正させる、
    プログラム。
  6. 無人飛行体に搭載された前記撮像部よって前記推定対象に付与された一以上の第1マーカを撮像し、
    請求項1から3のうちいずれか1項記載の解析装置が前記撮像部によって撮像された画像を取得して前記センサ座標系から前記セグメント座標系への変換規則を較正する、
    較正方法。
  7. 静止物に取り付けられた前記撮像部によって前記推定対象に付与された一以上の第1マーカを撮像し、
    請求項1から3のうちいずれか1項記載の解析装置が前記撮像部によって撮像された画像を取得して前記センサ座標系から前記セグメント座標系への変換規則を較正する、
    較正方法。
  8. 前記推定対象に取り付けられた前記撮像部によって前記推定対象に付与された一以上の第1マーカを撮像し、
    請求項1から3のうちいずれか1項記載の解析装置が前記撮像部によって撮像された画像を取得して前記センサ座標系から前記セグメント座標系への変換規則を較正する、
    較正方法。
JP2020080278A 2020-04-30 2020-04-30 解析装置、解析方法、プログラム、および較正方法 Active JP7335199B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020080278A JP7335199B2 (ja) 2020-04-30 2020-04-30 解析装置、解析方法、プログラム、および較正方法
CN202110202036.8A CN113576459A (zh) 2020-04-30 2021-02-23 分析装置、分析方法、存储有程序的存储介质及校正方法
US17/242,330 US20210343028A1 (en) 2020-04-30 2021-04-28 Analysis device, analysis method, non-transient computer-readable recording medium stored with program, and calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020080278A JP7335199B2 (ja) 2020-04-30 2020-04-30 解析装置、解析方法、プログラム、および較正方法

Publications (2)

Publication Number Publication Date
JP2021173724A true JP2021173724A (ja) 2021-11-01
JP7335199B2 JP7335199B2 (ja) 2023-08-29

Family

ID=78238049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020080278A Active JP7335199B2 (ja) 2020-04-30 2020-04-30 解析装置、解析方法、プログラム、および較正方法

Country Status (3)

Country Link
US (1) US20210343028A1 (ja)
JP (1) JP7335199B2 (ja)
CN (1) CN113576459A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442531A (zh) * 2022-01-20 2022-05-06 福州益强信息科技有限公司 多功能图形编程自组网发光棒控制系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676079B2 (en) * 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
KR101299840B1 (ko) * 2005-07-01 2013-08-23 소니 주식회사 모바일 모션 캡쳐 카메라
US9142024B2 (en) 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
CN103499416B (zh) * 2013-09-28 2015-10-28 大连理工大学 一种单目转动惯量快速测量方法及装置
JP6145072B2 (ja) 2014-05-30 2017-06-07 アニマ株式会社 センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置
CN104699247B (zh) * 2015-03-18 2017-12-12 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
DE102017007908A1 (de) 2017-08-21 2019-02-21 Hochschule Bochum Verfahren zur Steuerung der Bewegung eines mobilen Roboters
CN107423729B (zh) * 2017-09-20 2023-12-19 湖南师范大学 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法
CN108108026A (zh) * 2018-01-18 2018-06-01 珠海金山网络游戏科技有限公司 一种vr虚拟现实动作捕捉系统和动作捕捉方法
CN108564643B (zh) * 2018-03-16 2021-01-12 中国科学院自动化研究所 基于ue引擎的表演捕捉系统
JP6596530B2 (ja) * 2018-03-23 2019-10-23 アトラスコプコ株式会社 方法及び装置
EP3782549A4 (en) 2018-04-17 2021-11-10 Sony Group Corporation PROGRAM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING PROCESS
JP2020052758A (ja) 2018-09-27 2020-04-02 本田技研工業株式会社 モーション・キャプチャ装置
CN109409233A (zh) * 2018-09-27 2019-03-01 普宙飞行器科技(深圳)有限公司 动作识别装置、动作识别方法以及无人机

Also Published As

Publication number Publication date
JP7335199B2 (ja) 2023-08-29
CN113576459A (zh) 2021-11-02
US20210343028A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
JP7215965B2 (ja) 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
US8165844B2 (en) Motion tracking system
Zhou et al. Reducing drifts in the inertial measurements of wrist and elbow positions
JP6776882B2 (ja) 運動解析装置、方法及びプログラム
JP6145072B2 (ja) センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置
JP6852673B2 (ja) センサ装置、センサシステム及び情報処理装置
US20170000389A1 (en) Biomechanical information determination
JP6288858B2 (ja) 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
JP2017036970A (ja) 情報処理装置、情報処理方法、プログラム
JP7335199B2 (ja) 解析装置、解析方法、プログラム、および較正方法
CN110609621A (zh) 姿态标定方法及基于微传感器的人体运动捕获系统
De Rosario et al. Correction of joint angles from Kinect for balance exercising and assessment
JP5870656B2 (ja) 軌跡演算装置および軌跡演算方法
Miyajima et al. Lumbar joint torque estimation based on simplified motion measurement using multiple inertial sensors
JP2016209212A (ja) 運動分析装置
JP6205387B2 (ja) 仮想マーカーの位置情報の取得方法及び装置、動作計測方法
JP2015195913A (ja) 姿勢推定方法、姿勢推定プログラム及び姿勢推定装置
JP2014117409A (ja) 身体関節位置の計測方法および装置
US10549426B2 (en) Method for estimating movement of a poly-articulated mass object
JP7343432B2 (ja) 解析システム、解析方法、およびプログラム
JP2021157289A (ja) アニメーション生成装置、アニメーション生成方法及びプログラム
JP5424224B2 (ja) 相対角度推定システム
Megharjun et al. A Kalman filter based full body gait measurement system
JP7216222B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP5424226B2 (ja) 傾斜角度推定システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230817

R150 Certificate of patent or registration of utility model

Ref document number: 7335199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150