JP2015139669A - 移動運動解析装置、方法及びシステム並びにプログラム - Google Patents

移動運動解析装置、方法及びシステム並びにプログラム Download PDF

Info

Publication number
JP2015139669A
JP2015139669A JP2014015897A JP2014015897A JP2015139669A JP 2015139669 A JP2015139669 A JP 2015139669A JP 2014015897 A JP2014015897 A JP 2014015897A JP 2014015897 A JP2014015897 A JP 2014015897A JP 2015139669 A JP2015139669 A JP 2015139669A
Authority
JP
Japan
Prior art keywords
waveform
acceleration
time
walking
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014015897A
Other languages
English (en)
Other versions
JP6378492B2 (ja
Inventor
祐次郎 矢崎
Yujiro Yazaki
祐次郎 矢崎
康太郎 山浦
Kotaro Yamaura
康太郎 山浦
ラジェンドラ マヨラン
Rajendra Mayoran
ラジェンドラ マヨラン
裕輔 長谷川
Hirosuke Hasegawa
裕輔 長谷川
知広 根岸
Tomohiro Negishi
知広 根岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Priority to JP2014015897A priority Critical patent/JP6378492B2/ja
Publication of JP2015139669A publication Critical patent/JP2015139669A/ja
Application granted granted Critical
Publication of JP6378492B2 publication Critical patent/JP6378492B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】人の歩行などの移動運動における客観的な評価を可能にする移動運動解析装置及び方法を提供する。【解決手段】加速度センサを用いて計測された人の移動運動中における加速度成分のうち1方向の加速度成分の時間変化を表す波形の中から、それぞれが一歩または複数歩の動作に対応した複数の部分波形を抽出する抽出手段751と、抽出手段により抽出された複数の部分波形における代表的な部分波形を求める演算手段753とを備えた移動運動解析装置を提供する。上記代表的な部分波形は、例えば、平均波形である。【選択図】図29

Description

本発明は、加速度センサ(sensor)を用いて人の歩行などの移動運動を評価するための技術に関する。
従来、医療施設や介護施設等において、歩行障害を持つ患者に対するリハビリテーション(rehabilitation)が行われている。
このリハビリテーションでは、一般的に、患者に適した歩行訓練プログラム(program)を作成したり、患者の回復レベル(level)を把握したりするために、理学療法士などの指導員が、患者の歩行運動を繰り返し評価する。
一方、近年においては、加速度センサを用いて人の歩行中に生じる加速度を測定し、その測定結果を用いて歩行運動の評価を行う試みが成されている(例えば、特許文献1,要約等参照)。
特開2013−059489号公報
一般的に、理学療法士などの指導員が患者の歩行運動を評価する場合、指導員は患者の歩行運動を目視で観察し主観的に評価する。そのため、評価結果が指導員の癖や習熟度、評価の時期などの違いによってばらつく傾向にあり、客観的な評価が難しい。
また、加速度センサを用いた既存の歩行評価技術においても、歩行運動の客観的な評価を可能にする技術は未だ確立されていない。特に、歩行運動の評価を客観的に行う上で、人の一歩あるいは複数歩の前進動作におけるその人固有の加速度波形を見ることは有用であると考えられているが、そのような波形を求める方法は確立されていない。
このような事情により、人の歩行などの移動運動における客観的な評価を可能にする技術が望まれている。
第1の観点の発明は、
加速度センサを用いて計測された人の移動運動中における加速度成分のうち1方向の加速度成分の時間変化を表す波形の中から、それぞれが一歩または複数歩の動作に対応した複数の部分波形を抽出する抽出手段と、
前記抽出手段により抽出された複数の部分波形における代表的な部分波形を求める演算手段と、を備える移動運動解析装置を提供する。
なお、「代表的な部分波形を求める」ことは、代表的な部分波形を画像として求めることに限定されず、この代表的な部分波形を規定し得る情報すなわち時間と波高値との関係を求めることも含む。
第2の観点の発明は、
前記演算手段が、前記部分波形の波高値方向における平均化処理を用いて前記代表的な部分波形を求める、上記第1の観点の移動運動解析装置を提供する。
第3の観点の発明は、
前記演算手段が、前記部分波形の時間軸方向における正規化処理を用いて前記代表的な部分波形を求める、上記第1の観点または第2の観点の移動運動解析装置を提供する。
第4の観点の発明は、
前記演算手段が、前記抽出された複数の部分波形のうち該複数の部分波形の平均波形との差異が一定レベル以内である部分波形に基づいて、前記代表的な部分波形を求める、上記第1の観点から第3の観点のいずれか一つの観点の移動運動解析装置を提供する。
第5の観点の発明は、
前記演算手段が、抽出された前記複数の部分波形における前記移動運動の同一位相での波高値のばらつきの程度を求め、
前記代表的な部分波形と、前記波高値のばらつきの程度とを表示するよう前記表示部を制御する表示制御手段をさらに備えた、上記第1の観点から第4の観点のいずれか一つの観点の移動運動解析装置を提供する。
第6の観点の発明は、
前記表示制御手段が、前記代表的な部分波形の各時点に、該時点に対応する位相での波高値のばらつきの程度に応じた幅を有する記号を表示するよう前記表示部を制御する、上記第5の観点の移動運動解析装置を提供する。
第7の観点の発明は、
前記演算手段が、前記代表的な部分波形におけるピーク波形の極大値を求め、
前記表示制御手段が、前記極大値と、該極大値を取る時点に対応する位相での波高値のばらつきの程度を表す数値とを表示するよう前記表示部を制御する、上記第5の観点または第6の観点の移動運動解析装置を提供する。
第8の観点の発明は、
前記波高値のばらつきの程度が、分散または標準偏差である、上記第5の観点から第7の観点のいずれか一つの観点の移動運動解析装置を提供する。
第9の観点の発明は、
計測された前記人の移動運動中における加速度成分が、前記人の上下方向の加速度成分を含んでおり、
計測された前記上下方向の加速度成分の時間変化を表す波形における波形形状に基づいて、それぞれが前記一歩または複数歩の動作に対応する複数の時刻を検出する検出手段を備えており、
前記抽出手段は、検出された前記複数の時刻に基づいて前記複数の部分波形を抽出する、上記第1の観点から第8の観点のいずれか一つの観点の移動運動解析装置を提供する。
第10の観点の発明は、
前記複数の時刻の各々が、左足または右足の踵着地またはつま先蹴りに対応する時刻である、上記第9の観点の移動運動解析装置を提供する。
第11の観点の発明は、
前記抽出手段が、前記複数の時刻の各々について、該時刻と特定の位置関係を有する時間範囲に対応する部分波形を抽出する、上記第9の観点または第10の観点の移動運動解析装置を提供する。
第12の観点の発明は、
前記抽出手段が、前記複数の時刻の各々について、該時刻に近接する特定パターンを有する部分波形を抽出する、上記第9の観点または第10の観点の移動運動解析装置を提供する。
第13の観点の発明は、
前記抽出手段が、右足の踵着地、左足のつま先蹴り、左足の踵着地、及び右足のつま先蹴りを1つずつ含む動作に対応する部分波形を抽出する、上記第1の観点から第12の観点のいずれか一つの観点の移動運動解析装置を提供する。
第14の観点の発明は、
前記抽出手段が、一方の足の踵着地及び他方の足のつま先蹴りを1つずつ含む動作に対応する部分波形を抽出する、上記第1の観点から第12の観点のいずれか一つの観点の移動運動解析装置を提供する。
第15の観点の発明は、
前記1方向が、前記人の上下方向、左右方向または前後方向である、上記第1の観点から第14の観点のいずれか一つの観点の移動運動解析装置を提供する。
第16の観点の発明は、
前記移動運動が、歩行運動である、上記第1の観点から第15の観点のいずれか一つの観点の移動運動解析装置を提供する。
第17の観点の発明は、
加速度センサを用いて計測された人の移動運動中における加速度成分のうち1方向の加速度成分の時間変化を表す波形の中から、それぞれが一歩または複数歩の動作に対応した複数の部分波形を抽出するステップと、
前記抽出手段により抽出された複数の部分波形における代表的な部分波形を求めるステップと、を備える移動運動解析方法を提供する。
第18の観点の発明は、
人に取り付けられる加速度センサと、
前記加速度センサを用いて計測された前記人の移動運動中における加速度成分のうち1方向の加速度成分の時間変化を表す波形の中から、それぞれが一歩または複数歩の動作に対応した複数の部分波形を抽出する抽出手段と、を備える移動運動解析システムを提供する。
第19の観点の発明は、
コンピュータを、上記第1の観点から第16の観点のいずれか一つの観点の移動運動解析装置として機能させるためのプログラムを提供する。
上記観点の発明によれば、人の移動運動の客観的な評価を可能にする。
歩行解析システムの構成を概略的に示す図である。 加速度センサモジュール及び歩行解析装置のハードウェアの構成を示す図である。 加速度センサモジュール及び歩行解析装置の機能的な構成を示す機能ブロック図である。 加速度データ解析部の機能的な構成を示す機能ブロック図である。 歩行解析システムにおける処理の流れを示すフロー図である。 サンプル加速度データに基づいて生成された左右方向加速度波形、前後方向加速度波形、及び上下方向加速度波形を示す図である。 サンプル加速度データに基づいて生成された左右方向加速度波形、前後方向加速度波形、及び上下方向加速度波形の拡大図である。 サンプル加速度データに基づいて得られた、重力加速度が除去された各方向の加速度成分の平方二乗和の波形を示す図である。 歩行期間特定部の機能的な構成を示す機能ブロック図である。 歩行期間特定処理の流れを示すフロー図である。 サンプル加速度データに基づいて算出された前後・上下加速度特徴量の時間変化を表す波形を示す図である。 サンプル加速度データに基づいて得られた二値化データDの時間変化を表す波形を示す図である。 サンプル加速度データに基づいて得られた二値化データDの時間変化を表す波形の拡大図である。 サンプル加速度データに基づいて得られた二値化データばらつき量σの時間変化を表す波形と閾値THとを表す図である。 サンプル加速度データに基づいて生成された加速度波形W,Wy,Wzに、解析対象として決定された歩行期間R′を重ねて表した図である。 ステップ基準時刻検出部の機能的な構成を示す機能ブロック図である。 ステップ基準時刻検出処理の流れを示すフロー図である。 サンプル加速度データに基づく前後方向加速度波形ayの拡大図である。 yの隣接時刻間の変化量Δayの時間変化を表す波形を示す図である。 Δayの負値削除済みデータ値Δay′の時間変化を表す波形を示す図である。 Δay′のスムージング済データ値Syの時間変化を表す波形を示す図である。 yの二乗値Cyの時間変化を表す波形を示すグラフである。 yのオフセットデータOSDの時間変化を表す波形を示す図である。 yのオフセット削除済みデータ値Cy′の時間変化を表す波形を示す図である。 y′の二乗値Fyの時間変化を表す波形を示す図である。 yの正規化済みデータ値Fy′の時間変化を表す波形を示す図である。 y′の隣接時刻間の変化量ΔFy′の時間変化を表す波形を示す図である。 前後方向加速度波形Wy′上に、検出されたステップ基準時刻を黒丸ドットで示したものである。 ステップ波形グラフ生成部の機能的な構成を示す機能ブロック図である。 ステップ波形グラフ生成処理の流れを示すフロー図である。 上下方向加速度波形Wz′を示す図である。 第1の左右ステップ波形抽出方法を説明するための図である。 第2の左右ステップ波形抽出方法を説明するための図である。 抽出された複数の左右ステップ波形の一例を示す図である。 左右ステップ波形の代表波形、各歩行位相のばらつきバーなどが表示された画面の表示例を示す図である。
以下、発明の実施形態について説明する。なお、これにより発明は限定されない。
図1は、歩行解析システム(system)1の構成を概略的に示す図である。なお、歩行解析システム1は、発明における移動運動解析システムの一例である。
歩行解析システム1は、図1に示すように、加速度センサモジュール(sensor module)2と、歩行解析装置3とを有している。加速度センサモジュール2は、患者10の背面の腰部中央等に、粘着パッド(pad)やバンド(band)等により装着される。歩行解析装置3は、操作者11が携帯したり操作したりして使用される。なお、歩行解析装置3は、発明における移動運動解析装置の一例である。
図2は、加速度センサモジュール2及び歩行解析装置3のハードウェア(hardware)の構成を示す図である。
図2に示すように、加速度センサモジュール2は、プロセッサ(processor)21と、加速度センサ22と、メモリ(memory)23と、通信I/F(interface)24と、バッテリ(battery)25とを有している。歩行解析装置3は、例えば、スマートフォン(smart phone)、タブレット型コンピュータ(tablet computer)、ノートパソコン(note PC)などのコンピュータ端末であり、プロセッサ31と、ディスプレイ(display)32と、操作部33と、メモリ34と、通信I/F35と、バッテリ36とを有している。なお、プロセッサ21及びプロセッサ31は、それぞれ、単一のプロセッサに限定されず、複数のプロセッサである場合も考えられる。
図3は、加速度センサモジュール2及び歩行解析装置3の機能的な構成を示す機能ブロック(block)図である。
加速度センサモジュール2は、図3に示すように、加速度センサ部201と、サンプリング(sampling)部202と、送信部203とを有している。なお、サンプリング部202及び送信部203は、プロセッサ21がメモリ23に記憶されている所定のプログラム(program)を読み出して実行することにより実現される。
加速度センサ部201は、センサ本体を基準とした3次元直交座標系におけるx,y,zの各軸方向の加速度成分について、その加速度成分に応じたアナログ(analog)信号をほぼリアルタイム(real time)に出力する。
サンプリング部202は、そのアナログ信号を所定のサンプリング周波数でサンプリングしてデジタル(digital)の加速度データに変換する。サンプリング周波数は、例えば128Hzである。サンプリング部202は、例えば、1g(重力加速度)=9.8m/s2=加速度データ値128となるスケール(scale)で、加速度データを出力する。なお、ここでは、加速度成分の正負は、右側寄り、前側寄り、上側寄りをそれぞれ正とする。
送信部203は、サンプリングされた各時刻における加速度成分を表す加速度データをほぼリアルタイムにて無線で送信する。
なお、本例では、加速度センサモジュール2は、センサ本体のx軸方向、y軸方向及びz軸方向が、それぞれ、患者10のRL(Right-Left)方向、AP(Anterior-Posterior)方向及びSI(Superior-Inferior)方向と一致するように取り付けられる。RL方向、AP方向及びSI方向は、それぞれサジタル(sagittal)方向、コロナル(coronal)方向及びアキシャル(axial)方向とも言う。また、本例では、加速度センサモジュール2の姿勢(傾き)は、患者10の歩行中において変化しないものと仮定する。
歩行解析装置3は、図3に示すように、操作部301と、ディスプレイ部302と、患者情報受付部303と、受信部304と、加速度データ取得制御部305と、加速度データ解析部307と、表示制御部310と、記憶部312とを有している。患者情報受付部303、加速度データ取得制御部305、加速度データ解析部307、及び表示制御部310は、プロセッサ31がメモリ34に記憶されている所定のプログラムを読み出して実行することにより実現される。
操作部301は、操作者11の操作を受け付ける。操作部301は、例えば、タッチパネル(touch panel)、タッチパッド(touch pad)、キーボード(keyboard)、マウス(mouse)などにより構成されている。なお、操作者11は、例えば、理学療法士などの指導員である。
ディスプレイ部302は、画像を表示する。ディスプレイ部302は、例えば、液晶パネル、有機ELパネルなどにより構成されている。
患者情報受付部303は、患者情報の入力を受け付け、入力された患者情報を記憶部312に記憶させる。
受信部304は、加速度センサモジュール2の送信部203から送信された加速度データを無線で受信する。なお、送信部203と受信部304との無線通信には、例えば、ブルートゥース(Bluetooth(登録商標))等の規格を用いることができる。
加速度データ取得制御部305は、操作者11による操作に基づいて加速度データを取得するよう受信部304及び記憶部312を制御する。
加速度データ解析部307は、取得された加速度データを解析して、その解析結果を出力する。加速度データ解析部307の詳細については後述する。
表示制御部310は、ディスプレイ部302の画面に、少なくとも加速度データの解析結果を含む種々の画像や文字情報などを表示するようディスプレイ部302を制御する。
記憶部312は、入力された患者情報、取得された加速度データ、加速度データの解析結果などを記憶する。なお、これらの情報は、必要に応じて、歩行解析装置3に接続されたデータベース(database)41に転送されたり、外付けのDVD−ROM、メモリカード(memory card)などの媒体や、インターネット(internet)を介して接続された外部の媒体などを含む記憶媒体42に保存されたりする。
ここで、加速度データ解析部307の詳細について説明する。加速度データ解析部307は、取得された加速度データに対して解析処理を行い、その解析結果を出力する。解析処理は、複数用意されている。加速度データ解析部307は、操作者11によって指定された解析処理を実行する。本例では、実行する解析処理として、取得された加速度データが担持する加速度成分の時間変化を表す加速度波形を生成し、その加速度波形から患者10の一歩または複数歩の前進動作に対応する部分波形を抽出し、その部分波形における代表的な波形と波高値のばらつきの程度とを求めてグラフ化する処理を想定する。なお、一般的に、連続的な左右一歩ずつの前進動作の中には、右足の踵着地、左足のつま先蹴り、左足の踵着地、及び右足のつま先蹴りの各動作が1つずつ含まれる。
図4は、加速度データ解析部307の機能的な構成を示す機能ブロック図である。加速度データ解析部307は、上記の機能を実現させるため、図4に示すように、加速度成分算出部71と、加速度波形生成部72と、歩行期間特定部73と、ステップ基準時刻検出部74と、ステップ波形グラフ生成部75とを有している。
加速度成分算出部71は、取得された加速度データに基づいて、データ取得期間の各サンプリング時刻における患者10の左右方向、前後方向及び上下方向の加速度成分ax,ay,azをそれぞれ算出する。本例では、これらの加速度成分ax,ay,azは、重力加速度gの成分を除去して、患者10の純粋な運動により生じた加速度成分として算出することを想定する。ただし、より簡便に、重力加速度gの成分を含む形で特定してもよい。また、左右方向、前後方向及び上下方向は、それぞれ、水平左右方向、水平進行方向及び鉛直方向を想定する。ただし、より簡便に、加速度センサモジュール2のセンサ本体を基準としたx軸方向、y軸方向及びz軸方向としてもよい。
加速度波形生成部72は、算出された各方向の各サンプリング時刻における加速度成分ax,ay,azに基づいて、左右方向の加速度成分axの時間変化を表す左右加速度波形Wx、前後方向の加速度成分ayの時間変化を表す前後加速度波形Wy、上下方向の加速度成分azの時間変化を表す上下加速度波形Wzをそれぞれ生成する。
歩行期間特定部73は、加速度データ取得期間の中で患者10が実際に歩行を行っている期間(以下、歩行期間ともいう)を特定する。
ステップ基準時刻検出部74は、解析対象として決定された歩行期間中の加速度波形に基づいて、それぞれが患者10の一歩の前進動作に対応する複数のステップ基準時刻を検出する。検出されたステップ基準時刻は、加速度波形において一歩分または複数歩分の前進動作に対応する部分波形を抽出する際に用いる。
ステップ波形グラフ生成部75は、検出されたステップ基準時刻に基づいて、一歩または複数歩の前進動作に対応する部分波形を抽出し、その部分波形の代表的な波形と同一の歩行位相での波高値のばらつきの程度とを算出し、これらをグラフ化する。ここで歩行位相とは、歩行を周期運動と考えたときの位相のことをいい、例えば、右足の踵着地、左足のつま先蹴り、左足の踵着地、及び右足のつま先蹴りなどのタイミングに対応する位相が含まれる。
これより、歩行解析システム1における処理の流れについて説明する。
図5は、歩行解析システム1における処理の流れを示すフロー(flow)図である。
ステップ(step)S1では、患者情報受付部303が、患者情報の入力を受け付け、入力された患者情報を記憶部312に記憶させる。ここでは、操作者11が、歩行解析装置3の操作部301を操作して、患者10の患者情報を直接入力する。患者情報受付部303は、その直接入力された患者情報を記憶部312に記憶させる。患者情報には、例えば、患者のID番号、氏名、年齢、性別、生年月日などが含まれる。なお、後述する患者10の加速度データやこの加速度データの解析結果などは、この患者情報と対応付けて記憶部312に記憶される。
ステップS2では、加速度データ取得制御部305が、受信部304及び記憶部312を制御して、患者10の各時刻tiにおける加速度データを取得する。ここでは、まず、操作者11が、患者10の腰部に加速度センサモジュール2を取り付ける。そして、操作者11は、歩行解析装置3の操作部31により、加速度データの取得開始操作を行う。加速度データ取得制御部305は、この操作に応答して、受信部304に加速度データの受信を開始させ、記憶部312にその受信された加速度データの記憶を開始させる。次に、患者10に、自身の標準的な歩行速度でしばらく歩行してもらう。歩行は、通常、距離にして5m〜20m程度、時間にして20秒〜3分程度、歩数にして10歩〜40歩程度である。加速度センサモジュール2のサンプリング部202は、加速度センサ部201の出力に基づいて、患者10の歩行中におけるx軸方向、y軸方向、z軸方向それぞれの加速度成分Ax,Ay,Azをサンプリングして計測する。加速度センサモジュール2の送信部203は、計測された加速度成分を表す加速度データをほぼリアルタイムで送信する。この間、受信部304は、送信部203から送信された加速度データを順次受信し、記憶部312は、その受信された加速度データを記憶する。患者10の歩行が終了したら、操作者11は、操作部31により加速度データの取得終了操作を行う。加速度データ取得制御部305は、この操作に応答して、受信部304に加速度データの受信を終了させる。これにより、加速度データの取得開始操作が成されてから取得終了操作が成されるまでの期間が実質的に加速度データ取得期間となり、この期間の各サンプリング時刻における各方向の加速度データが取得される。
ステップS3では、加速度データ解析部307が、加速度データに対して実行する解析処理を設定する。例えば、操作者11が、操作部301を操作して、取得した加速度データをグラフ化して表示したり、取得した加速度データを解析してその結果を表示したりする複数の機能の中から、実行させたい所望の機能を選択する。加速度データ解析部307は、その選択された機能に応じて、実行させる解析処理を設定する。本例では、操作者11は、患者10のステップ波形における代表波形とその波高値のばらつき程度とを表示する機能を選択するものとする。このようなステップ波形における代表波形とその波高値のばらつき程度とを表示する機能によれば、患者10の歩行中における加速度成分について、患者10に固有の波形形状を容易に認識することができ、また踵着地やつま先蹴りなどの各歩行位相における波形のばらつきを容易に比較・観察することができる。その結果、操作者11は、患者10の体重バランスすなわち静止状態からの移動の向きと強さについて特徴的な動きを把握し、患者10の足の踵着地及びつま先蹴りのタイミング、その強さ、及びその安定性を理解することができる。
ステップS4では、加速度成分算出部71が、取得された加速度データを記憶部312から読み出し、当該加速度データに基づいて、加速度データ取得期間の各サンプリング時刻における患者10の左右方向、前後方向及び上下方向の加速度成分ax,ay,azを算出あるいは特定する。なお、ここでは、加速度データが表す加速度から重力加速度gの成分を除去する処理を含む所定のアルゴリズム(algorithm)を用いて、各サンプリング時刻及び各方向の加速度成分を算出する。算出された加速度成分は、記憶部312に送信され記憶される。
ステップS5では、加速度波形生成部72が、ステップS4で算出された患者10の各サンプリング時刻における左右方向加速度成分ax、前後方向加速度成分ay、及び上下方向加速度成分azに基づいて、左右方向加速度波形Wx、前後方向加速度波形Wy、及び上下方向加速度波形Wzを生成する。本例では、加速度波形生成部72は、加速度成分の各方向ごとに、加速度データの取得開始時点からの経過時間(時刻)と加速度成分とを2軸とした2次元座標系Kにおいて、各時刻tiでの加速度成分a(i)に対応するデータ点[a(i), ti]をそれぞれプロットすることにより加速度波形を生成する。加速度波形は、必要に応じて、平滑化処理やスムージング処理を行って滑らかな曲線にする。
図6は、サンプル加速度データに基づいて生成された左右方向加速度波形Wx、前後方向加速度波形Wy、及び上下方向加速度波形Wzを示す図である。横軸は、加速度データ取得開始から経過した時間t(秒)であり、縦軸は、加速度データ値ax,ay,az(重力加速度g/128)である。このサンプル加速度データは、約40秒間に渡って取得されたものである。このサンプル加速度データを取得する際に、被検者は、時間t=7秒あたりで歩行を開始し、途中の時間t=20〜23秒あたりで歩行を一時停止してしゃがみ込み、時間t=35秒あたりで歩行を終了している。生成された加速度波形には、被検者のそのような動作による加速度成分の変化が現れている。
図7は、サンプル加速度データに基づいて生成された左右方向加速度波形Wx、前後方向加速度波形Wy、及び上下方向加速度波形Wzの拡大図である。
人の歩行運動では、通常、一方の足の踵着地、他方の足のつま先蹴り、他方の足の踵着地、一方の足のつま先蹴りという4つの動作がこの順番で繰り返し行われる。
上下方向加速度波形Wzにおいては、図7に示すように、歩行運動を構成する上記4つの動作の各々に対応して、波高値が一定以上となる極大値すなわちピーク波形を取ることが知られている。また、一方(他方)の足の踵着地から他方(一方)の足のつま先蹴りまでの時間は、相対的に短くなり、一方(他方)の足のつま先蹴りから同じ一方(他方)の足の踵着地までの時間は、相対的に長くなる。また、上下方向加速度波形Wzにおいて、踵着地のピーク波形は相対的に緩やかな山を描くが、つま先蹴りのピーク波形は相対的に急峻な山を描く。
前後方向加速度波形Wzにおいては、図7に示すように、一方の足の踵着地から他方の足のつま先蹴りまでの一歩の前進動作と、他方の足の踵着地から一方の足のつま先蹴りまでの一歩の前進動作と対応して、波高が一定以上となる極大値すなわちピーク波形を取ることが知られている。
図5に戻り、ステップS6では、歩行期間特定部73が、加速度データ取得期間の中で歩行期間を特定する。一般的に、加速度データ取得期間には、患者10が歩行を行っている期間と歩行を行っていない期間とが含まれている。歩行を行っていない期間としては、例えば、加速度データの取得を開始してから患者10が歩行を開始するまでの期間、患者10が歩行を終了してから加速度データの取得を終了するまでの期間、患者10が歩行中に一時的に歩行を止めてしまう期間などが挙げられる。一方、解析対象に歩行を行っていない期間の加速度データが含まれていると、正しい解析を行うことができない。そこで、ここでは、解析処理を行う前に、加速度データ取得期間の中で歩行期間を特定し、その歩行期間における加速度データを解析処理の対象として決定する。
一般的に、歩行期間を特定する方法としては、次のような方法が考えられる。
第1の歩行期間特定方法は、操作者11が加速度波形を見て歩行期間と考える期間を手動で指定し、指定された期間を歩行期間として特定する方法である。
第2の歩行期間特定方法は、サンプリング時刻ごとに患者10に生じた加速度の大きさを表す特徴量を求め、この特徴量が所定の閾値以上になった時点から当該閾値以下になった時点までを、歩行期間として特定する方法である。加速度の大きさを表す特徴量としては、例えば、重力加速度gの成分が除去された各方向の加速度成分ax,ay,azの平方二乗和が考えられる。
第1の歩行期間特定方法は、アルゴリズムが非常に簡単で済むため、利用しやすい。ただし、操作者11に歩行期間と考える期間を指定してもらう必要がある。
第2の歩行期間特定方法は、アルゴリズムが簡単で分かりやすいため、利用しやすい。ただし、加速度の閾値判定だけで判断しているので、特定精度に限界がある。
図8は、上記のサンプル加速度データに基づいて得られた、加速度の大きさの時間変化を表す波形を示す図である。加速度の大きさは、重力加速度gの成分が除去された各方向の加速度成分ax,ay,azの平方二乗和として求めている。例えば、図8から分かるように、患者10が歩行を行っていない期間(本例では、時間t=20〜23秒の期間)であっても、患者10の体が動いていると何らかの加速度が生じ、この期間を歩行期間として誤検出することが考えられる。また例えば、閾値の設定によって検出タイミングが変化する。また例えば、患者の年齢、体格、歩行障害の程度などによって動作時に生じる加速度の大きさが異なるため、患者によって検出精度にばらつきが生じる。
さらに、歩行期間の中には、通常の歩行が安定して行われている通常歩行期間だけでなく、直線路を往復して歩行する場合における折り返し地点での歩行期間や歩行中にバランスを崩した期間など、通常の歩行が行われていない非通常歩行期間も含まれていることがある。しかし、解析処理の対象に、非通常歩行期間の加速度データが含まれていると、精度の高い解析を行うことができない。特に、患者10の歩行中の加速度データに対して周波数解析を行う場合には、処理対象として通常歩行期間の加速度データを精度よく抽出することは必要不可欠である。
そこで、本例では、歩行期間特定部73は、通常の歩行が安定して行われている通常歩行期間のみを精度よく特定することができるように工夫された方法を用いて、歩行期間を特定する。以下、このような歩行期間特定部73の機能的な構成と、その歩行期間特定処理の詳細について説明する。
図9は、歩行期間特定部73の機能的な構成を示す機能ブロック図である。歩行期間特定部73は、図9に示すように、前後・上下加速度特徴量算出部731と、特徴量二値化処理部732と、二値化データばらつき量算出部733と、ばらつき量閾値判定部734と、マージン設定部735とを有している。
以下、歩行期間特定部73による歩行期間特定処理について説明する。
図10は、歩行期間特定処理の流れを示すフロー図である。
ステップS61では、前後・上下加速度特徴量算出部731が、歩行中か否かの重要な情報を与える特徴量として、各サンプリング時刻ごとに、前後方向加速度成分ayと上下方向加速度成分azの両成分が反映された前後・上下加速度特徴量Qyzを算出する。一般的に、歩行が行われていないときは、上下方向加速度成分azが他の2方向すなわち左右方向及び前後方向の加速度成分に対して顕著に低下する傾向にある。したがって、上下方向加速度成分azは、歩行中か否かの重要な情報を与える。しかし、腰が曲がった患者の歩行を想定した場合には、センサ本体を基準にしたときの前後方向加速度成分ayと上下方向加速度成分azとが逆転する傾向にある。また、左右方向加速度成分axは、歩行中か否かに関係なく、ある程度の大きさを持つことが多い。そこで、ここでは、歩行中か否かの判別対応能力が高い情報として、前後方向加速度成分ayと上下方向加速度成分azの両成分が反映された前後・上下加速度特徴量Qyzを算出する。前後・上下加速度特徴量Qyzとしては、例えば、各サンプリング時刻ごとにおける前後方向加速度成分ayと上下方向加速度成分azとの積または和もしくは加重加算値などを考えることができる。本例では、前後・上下加速度特徴量Qyzとして、各サンプリング時刻ごとにおける前後方向加速度成分ayと上下方向加速度成分azとの積を算出する。
図11は、上記のサンプル加速度データに基づいて算出された前後・上下加速度特徴量(ay×az)の時間変化を表す波形を示す図である。
患者10が通常の歩行を行っているときは、患者10の体には周期的な強い振動が起こりやすい。そのため、患者10が通常の歩行を行っているときの前後方向加速度成分ayと上下方向加速度成分azとは、いずれも、0をまたいで正(プラス)から負(マイナス)へ、あるいは負から正へと、大きく振動する傾向が強い。一方、患者10が通常の歩行を行っていないときには、患者10の体にはランダムで弱い動きが起こりやすい。そのため、患者10が通常の歩行を行っていないときの前後方向加速度成分ayと上下方向加速度成分azとは、いずれも、0をまたぐことが少なく、弱い変化が続く傾向が強い。したがって、前後方向加速度成分ayと上下方向加速度成分azとの積は、患者10が通常の歩行を行っているときには、絶対値が比較的大きい値と0とを頻繁に繰り返すが、患者10が通常の歩行を行っていないときは、0以外の値が比較的緩やかに変化する。
図10に戻り、ステップS62では、特徴量二値化処理部732が、前後・上下加速度特徴量Qyzを閾値判定により二値化して二値化データ値Dを得る。すなわち、各サンプリング時刻ごとに、前後・上下加速度特徴量Qyzが所定の閾値を超えたときには、その時刻でのデータを1に変換し、前後・上下加速度特徴量Qyzが所定の閾値以内のときには、その時刻でのデータを0に変換する。
図12は、上記サンプル加速度データに基づいて得られた二値化データ値Dの時間変化を表す図である。また、図13は、これを時間軸方向に拡大したときの一部拡大図である。
このようにして得られる二値化データ値Dの時間変化においては、患者10が通常の歩行を行っているときには0と1との切り替わりが頻繁に発生し、患者10が通常の歩行を行っていないときには、0が連続的に発生する。なお、上記の閾値は任意に設定できるが、本例では、加速度データ値が128のときに1g(重力加速度)を表すスケールにおいて、閾値を±1000に設定する。すなわち、前後・上下加速度特徴量Qyzが+1000を超えたとき及び−1000を下回ったときは、1を取り、前後・上下加速度特徴量Qyzが−1000以上+1000以下であるときは、0を取るようにする。
図10に戻り、ステップS63では、二値化データばらつき量算出部733が、二値化データDの時間変化において、各サンプリング時刻ごとに、その時刻を基準とした所定の時間幅を有する時間範囲に含まれる二値化データDのばらつきの程度を表す二値化データばらつき量σを算出する。
なお、二値化データばらつき量σとしては、種々の定義が考えられるが、例えば、分散や標準偏差を用いることができる。本例では、二値化データばらつき量σとして、標準偏差を用いる。
また、二値化データばらつき量σの算出に用いる二値化データDが含まれる時間範囲は、任意に設定できるが、患者10が通常の歩行を行っているか否かによって二値化データばらつき量σに変化が現れやすくなるように設定する。例えば、対象となる時刻を中心とし、患者10の一歩の前進動作が含まれると考えられる標準的な時間、例えば1〜5秒間を時間幅とする時間範囲を設定する。本例では、二値化データばらつき量σの算出に用いる二値化データDが含まれる時間範囲として、対象となる時刻を中心とし時間幅を3秒間とする時間範囲を設定する。
また、二値化データばらつき量σは、ロバスト性を持つよう、最大値が所定の値になるよう正規化することが望ましい。本例では、二値化データばらつき量σは、最大値が1になるよう正規化する。
図14は、上記サンプル加速度データに基づいて得られた二値化データばらつき量σの時間変化を表す波形を示す図である。
このような二値化データばらつき量σにおいては、図14から分かるように、患者10が通常の歩行を行っているときには、値が大きくなり、患者10が通常の歩行を行っていないときには、値が小さくなる。
図10に戻り、ステップS64では、ばらつき量閾値判定部734が、二値化データばらつき量σが所定の閾値TH以上である期間を歩行期間として特定する。閾値THは任意に設定できるが、経験的には、二値化データばらつき量σが、最大値が1になるよう正規化された場合において、0.4〜0.8程度が適当である。本例では、当該閾値THとして、0.6を設定する。これを上記サンプル加速度データに適用した場合、図14に示すように、二値化データばらつき量σが閾値TH以上となる期間は、時間t=10〜21秒の期間と、時間t=24〜30秒の期間であり、これらの期間が歩行期間として特定される。
図10に戻り、ステップS65では、マージン設定部735が、ステップS64にて特定された歩行期間のうち端部の期間を除去して残った期間を、解析対象となる歩行期間に決定する。上記の特定された歩行期間の端部は、歩行の開始直後及び終了間際の時間帯を含んでいる。そのため、解析対象を歩行がさらに安定して行われている期間のデータに絞った方が、よりロバストな解析を行うことができる。除去する端部の時間幅は任意に設定できるが、経験的には1〜3秒間程度が適当である。本例では、特定された歩行期間のうち最初と最後の2秒間分の端部を除去する。これを上記サンプル加速度データに適用した場合、解析対象となる歩行期間は、時間t=12〜19秒の期間と、時間t=26〜28秒の期間となる。
図15は、上記サンプル加速度データに基づいて生成された加速度波形W,Wy,Wzに、解析対象として決定された歩行期間R′を重ねて表した図である。この図によれば、通常の歩行が安定して行われている期間が、解析対象として決定されているのが分かる。
なお、先に特定された歩行期間の端部を除去して解析対象の歩行期間を決定する処理は、必須の処理ではなく、必要に応じて行えばよい。
このような通常歩行期間を特定する技術によれば、解析対象から、歩行していない非歩行期間や歩行を安定して行っていない不安定歩行期間を外すことができ、正確で高精度な歩行運動の解析を行うことができる。
図5に戻り、ステップS7では、ステップ基準時刻検出部74が、解析対象となる歩行期間における加速度波形に基づいて、それぞれが患者10の歩行ステップに対応する複数のステップ基準時刻tbjを検出する。
一般的に、ステップ基準時刻を検出する方法としては、例えば、上下方向加速度波形Wzにおけるピーク波形が出現するタイミングや、ピーク波形の山の緩やかさ、特定の波形パターンなど周期性を有する波形形状の特徴に基づいて、ステップ基準時刻tbjを検出する方法が考えられる。
図31は、上下方向加速度波形Wzと歩行位相との関係を示す図である。ステップ基準時刻tbjは、例えば、右足または左足の踵着地またはつま先蹴りの歩行位相に対応した時刻として検出する。具体例としては、上下方向加速度波形Wzにおいて、相対的に緩やかな山を描くピーク波形であって、次のピーク波形との間隔が相対的に短いピーク波形を検出する。そして、そのピーク波形の極大値に対応した時刻を、歩行運動における左右いずれか一方の足である特定の足の踵着地に対応した時刻とみなし、この時刻をステップ基準時刻tbjとして検出する。
この方法は、アルゴリズムが簡単で分かりやすいため、利用しやすい。ただし、加速度の閾値判定だけで判断しているので、特定精度に限界がある。例えば、歩行ステップとは異なる動作により患者10の体が動いていると、何らかの加速度が生じ、誤検出することが考えられる。また例えば、閾値の設定によって検出タイミングが変化する。また例えば、患者の年齢、体格、歩行障害の程度などによって動作時に生じる加速度の大きさが異なるため、患者によって検出精度にばらつきが生じる。
そこで、本例では、ステップ基準時刻検出部74は、ステップ基準時刻を精度よく検出することができるように工夫された方法を用いて、ステップ基準時刻を検出する。以下、このようなステップ基準時刻検出部74の機能的な構成と、そのステップ基準時刻検出処理について説明する。
図16は、ステップ基準時刻検出部74の機能的な構成を示す機能ブロック図である。ステップ基準時刻検出部74は、図16に示すように、前後加速度波形読取部741と、立上り−ピーク変換部742と、変換波形整形部743と、波高値正規化部744と、ピーク検出部745とを有している。
図17は、ステップ基準時刻検出処理の流れを示すフロー図である。
ステップS71では、前後方向加速度波形読取部741が、前後方向加速度波形Wyを記憶部312から読み出す。左右方向加速度波形Wx、前後方向加速度波形Wy、及び上下方向加速度波形Wzの中では、前後方向加速度波形Wyが、患者10の一歩の前進動作につき最もSN比の高いピーク波形を表していることが確認されている。上下方向加速度波形Wzでは、患者10の一歩の前進動作につき一方の足の踵着地に対応するピーク波形と他方の足のつま先蹴りに対応するピーク波形とが短い時間間隔で現れるため、波形が複雑である。また、左右方向加速度波形Wxでは、波高値のSN比が全体的に低く、歩行ステップと相関のある波形を検出しづらい。そこで、ここでは、ステップ基準時刻の検出に、前後方向加速度波形Wyを用いる。前後方向加速度波形読取部741は、読み出された前後方向加速度波形Wyのうち解析対象となる歩行期間の波形部分を前後方向加速度波Wy′として切り出す。
図18は、上記のサンプル加速度データに基づく前後加速度波形Wy′の拡大図である。横軸はサンプリング番号k、縦軸は前後方向加速度成分ayである。なお、本実施形態において、サンプリング番号kは、周波数128Hzでサンプリングするときの各サンプリング時刻に対応した番号であり、解析対象として決定された歩行期間における時間t′と考えることができる。
なお、ステップ基準時刻の検出に用いる加速度波形は、前後方向加速度波形Wyだけに限定されず、他の加速度波形や混合波形等であってもよいが、前後方向加速度波形を主要成分として含む波形であることが望ましい。
図17に戻り、ステップS72では、立上り−ピーク変換部742が、この前後方向加速度波形Wy′における急峻な立上り波形が鋭いピーク波形となって現れるように、解析対象として決定された歩行期間における前後方向加速度成分ayに所定のデータ変換を行う。一般的に、前後方向加速度波形Wy′における患者10の一歩の前進動作に対応するピーク波形は、ピーク先端に枝分かれが現れる傾向が強く、ピーク先端の位置が安定しない。一方、前後方向加速度波形Wy′における急峻な立上り波形は、枝分かれが少なく、位置も比較的安定している。そこで、ここでは、前後方向加速度波形Wy′における急峻な立上り波形を鋭いピーク波形に変換することにより、前後方向加速度波形Wy′におけるピークを強調させ、それを目印にステップ基準時刻が検出できるようにする。このような急峻な立上り波形を鋭いピーク波形に変換する方法としては、種々考えられるが、本例では、各サンプリング時刻ごとに、そのサンプリング時刻(サンプリング番号kで特定される時刻)における前後方向加速度成分ay(k)を、次のサンプリング時刻(サンプリング番号k+1で特定される時刻)における前後方向加速度成分ay(k+1)から減算して得られる差分すなわち変化量Δayを算出し、その変化量Δayをそのサンプリング時刻におけるデータ値とする。
図19は、上記のサンプル加速度データに基づく立上り−ピーク変換後の波形を表すグラフの一例である。この波形は、前後方向加速度成分ayの隣接時刻間の変化量を表すデータ値Δayの時間変化を表したものである。
図17に戻り、ステップS73では、変換波形整形部743が、ステップS72にて得られたデータ値Δayの波形を整形する。
まず、前後方向加速度成分ayの隣接時刻間の変化量を表すデータ値Δayの波形においては、正のピーク波形にのみ注目すればよいことから、負の部分を0値に変換して除去することにより、データ値Δayの負値削除済みデータ値Δay′を得る。
図20は、ayの隣接時刻間の変化量を表すデータ値Δayの負値削除済みデータ値Δay′の時間変化を表す波形を示す図である。
次に、負の値を削除したデータ値Δay′の波形にスムージング処理を施し、滑らかな波形を形成するデータ値Syを得る。
図21は、負の値を削除したデータ値Δay′の波形にスムージング処理を施して得られたデータ値Syの時間変化を表す波形を示す図である。
これにより、負の値を削除したデータ値Δay′の波形に多く含まれるノイズによってステップ基準時刻の検出精度が劣化することを抑える。ここでは、大きなピーク波形の頂点に対応したタイミングにのみ関心があることから、強いスムージング処理を施してよい。スムージング処理としては、例えば平滑化処理等を用いることができる。
次いで、スムージング処理が施されたデータ値Syにおいて、各サンプリング時刻における波高値をN乗(N≧2)して、ピークが強調されたデータ値Cyを得る。本例では、N=2とする。
図22は、スムージング処理が施されたデータ値Syの二乗値Cyの時間変化を表す波形を示す図である。
次いで、ピークが強調されたデータ値Cyの波形におけるオフセットデータOSDを計算する。そして、データ値CyからそのオフセットデータOSDを除去する。
図23は、ピークが強調されたデータ値CyのオフセットデータOSDの時間変化を表す波形を示す図であり、図24は、ピークが強調されたデータ値Cyのオフセット削除済データ値Cy′の時間変化を表す波形を示す図である。
ピークが強調されたデータ値Cyの波形では、これまで施されたスムージング処理などから、0点がわずかにオフセットする。そこで、後工程のために、ピークが強調されたデータ値Cyの波形からこのオフセットデータOSD分を除去する。オフセットデータOSDの計算は、例えばピークが強調されたデータ値Cyの波形の波高値を1/M乗(M≧2)してピークを減衰させ、スムージング処理を施し、M乗して元に戻す、という方法で行う。なお、本例では、M=4とする。
次いで、オフセット削除済みデータ値Cy′の時間変化を表す波形において、各サンプリング時刻における波高値をL乗(L≧2)してピークをさらに強調したデータ値Fyを得る。本例では、L=2とする。
図25は、ピークが強調されたデータCy′の二乗値Fyの時間変化を表す波形を示す図である。
図17に戻り、ステップS74では、波高値正規化部744が、ピークをさらに強調したデータ値Fyの時間変化を表す波形において、波高の最大値が1となるように正規化を行い、正規化済みデータ値Fy′を得る。
図26は、ピークをさらに強調したデータ値Fyの正規化済みデータ値Fy′の時間変化を表す波形を示す図である。
図17に戻り、ステップS75では、ピーク検出部745が、正規化済みのデータ値Fyの時間変化を表す波形におけるピーク波形の頂点を検出し、その頂点に対応する時刻をステップ基準時刻として決定する。決定方法の具体例を以下に示す。
まず、正規化済みデータ値Fy′の波形を微分して、その微分波形を生成する。例えば、正規化済みデータ値Fy′の波形において、各サンプリング時刻ごとに、そのサンプリング時刻における波高値を、次のサンプリング時刻における波高値から減算して、そのサンプリング時刻における変化量ΔFy′を求める。そして、各サンプリング時刻におけるその変化量を時間軸方向に順次プロットすることで、正規化済みデータ値Fy′の波形の微分波形が得られる。
図27は、正規化済みデータ値Fy′の隣接時刻間の変化量ΔFy′の時間変化を表す波形を示す図である。
次に、その微分波形において波高値が所定の閾値以上であるピーク波形の頂点を検出する。例えば、この微分波形において、2点連続で正、その後2点連続で負となる波形部分であって、正の波高値が所定の閾値を超える波形部分を特定する。そして、特定された波形部分における2番目の正の点に対応するサンプリング時刻を、ステップ基準時刻として決定する。
図28は、前後方向加速度波形Wy′上に、検出されたステップ基準時刻をひし形のドットで示したものである。この図28から、前後加速度波形Wy′における急峻な立上りの時刻をステップ基準時刻として精度よく捉えていることが分かる。
このようなステップ基準時刻を検出する技術によれば、患者10の一歩分の前進動作ごとの加速度成分について、波形を観察したり、波形の解析を行ったりすることができる。また、一歩分の前進動作に要する時間を測定することも可能である。
図5に戻り、ステップS8では、ステップ波形グラフ生成部75が、ステップ波形の代表的な波形と同一の歩行位相における波高値のばらつき程度とを表すグラフを生成する。なお、ステップ波形の代表的な波形と同一の歩行位相における波高値のばらつき程度とを表すグラフを生成する処理は、右足一歩の前進動作と左足一歩の前進動作とで別々に行うようにしてもよいが、本例では、左右一歩ずつの前進動作を含む一連の動作に対応した左右ステップ波形について行う。すなわち、加速度波形から複数の左右ステップ波形を抽出し、この左右ステップ波形における代表的な波形と波高値のばらつき程度とを求め、グラフ化する。このようにすれば、患者10の一歩の前進動作について、対応する加速度成分の波形を左右同時に観察したり、左右で比較したりすることができる。また、一歩の前進動作に要する時間を左右同時に確認したり、比較したりすることができる。
以下、ステップ波形グラフ生成部75の機能的な構成と、ステップ波形グラフ生成処理について説明する。
図29は、ステップ波形グラフ生成部75の機能的な構成を示す機能ブロック図である。ステップ波形グラフ生成部75は、図29に示すように、ステップ波形抽出部751と、ステップ波形正規化部752と、代表波形演算部753と、波高値ばらつき演算部754と、グラフ生成部755とを有している。
なお、ステップ波形抽出部751及び代表波形演算部753は、それぞれ、発明における抽出手段及び演算手段の一例である。
図30は、ステップ波形グラフ生成処理の流れを示すフロー図である。
ステップS81では、ステップ波形抽出部751が、左右方向加速度波形Wx′、前後方向加速度波形Wy′及び上下方向加速度波形Wz′において、検出された複数のステップ基準時刻tbjに基づいて、複数の左右ステップ波形Px,j,Py,j,Pz,jを抽出する。
なお、ここでは、上下方向加速度波形Wz′において複数の左右ステップ波形Pz,jを抽出する場合を例に説明する。
図31は、上下方向加速度波形Wzを示す図である。図31に示すように、上下方向加速度波形Wzでは、右足の踵着地、左足のつま先蹴り、左足の踵着地、及び右足のつま先蹴りの動作に対応する歩行位相において、ピーク波形が現れる。
左右ステップ波形を抽出する方法としては、例えば、次のような方法が考えられる。
まず、第1の左右ステップ波形抽出方法について説明する。
図32は、第1の左右ステップ波形抽出方法を説明するための図である。第1の左右ステップ波形抽出方法は、偶数番目または奇数番目のステップ基準時刻tbjに着目し、その着目したステップ基準時刻と特定の位置関係にある時間範囲trjに対応する部分波形を左右ステップ波形Pjとして抽出する方法である。第1の左右ステップ波形抽出方法では、まず、実験やシミュレーションの結果等により、左右ステップ波形とステップ基準時刻との相対的な位置関係Jを求めておく。次いで、上下方向加速度波形Wzにおけるピーク波形間の時間等に基づいて、左右一歩ずつの前進動作が繰り返される周期Δtsを求める。そして、位置関係Hと周期Δtsとに基づいて、着目したステップ基準時刻tbjに対してどの時間範囲が左右一歩ずつの前進動作に対応する時間範囲となるかを求める。左右一歩ずつの前進動作に対応する時間範囲は、例えば、着目したステップ基準時刻tbjより−Δt1の時点から+(Δts−Δt1)の時点までの時間範囲として求める。ステップ波形抽出部751は、このように求められた時間範囲の部分波形を、左右ステップ波形Pjとして抽出する。
次に、第2の左右ステップ波形抽出方法について説明する。
図33は、第2の左右ステップ波形抽出方法を説明するための図である。第2の左右ステップ波形抽出方法は、偶数番目または奇数番目のステップ基準時刻tbjに着目し、その着目したステップ基準時刻tbjに近接する特定パターンを有する部分波形を左右ステップ波形Pjとして抽出する方法である。第2の左右ステップ波形抽出方法では、上下方向加速度波形Wzにおいて、着目したステップ基準時刻tbj以降に現れる計4つの山(波高が一定レベル以上のピーク波形)、すなわち、一方の足の踵着地、他方の足のつま先蹴り、他方の足の踵着地、及び一方の足のつま先蹴りにそれぞれ対応した山を含む部分波形を、左右ステップ波形Pjとして抽出する。
なお、ステップ波形抽出部751は、ステップ基準時刻によらず、波形形状のパターンマッチングなどにより、左右ステップ波形Pjを抽出するようにしてもよい。また、左右ステップ波形Pjを抽出する際には、上下方向加速度波形Wz′において、波高値が負から正に切り替わる時点を抽出すべき部分波形の開始時点、波高値が正から負に切り替わる時点を抽出すべき部分波形の終了時点としてもよい。
図34は、抽出された複数の左右ステップ波形の一例を示す図である。この例では、上下方向加速度波形Wz′において抽出された複数の左右ステップ波形を示している。図34に示すように、抽出された複数の左右ステップ波形は、互いに類似した部分波形となるが、歩行位相ごとに波高値のばらつきが見られる。
図30に戻り、ステップS82では、ステップ波形正規化部752が、抽出された複数の左右ステップ波形Pjを時間軸方向に対して正規化する。例えば、左右ステップ波形Pjごとに、その左右ステップ波形Pjに含まれる最初の山の極大値に対応する時刻と最後の山の極大値に対応する時刻との間の時間が一定となるように、時間軸方向のスケールやオフセット等を調整する。なお、この正規化は必須の処理ではなく、必要に応じて行えばよい。
ステップS83では、代表波形演算部753が、正規化後の複数の左右ステップ波形Pjについて、各歩行位相ごとの波高値の平均値を求め、それらを時間軸方向にプロットして、左右ステップ波形の暫定的な平均波形V0を算出する。
ステップS84では、代表波形演算部753が、左右ステップ波形Pjごとに暫定的な平均波形V0からのずれ量を算出し、そのずれ量が一定レベル以内である左右ステップ波形のみを処理対象として残す。例えば、左右ステップ波形Pjごとに、その左右ステップ波形と暫定的な平均波形V0との間で波高値の差分(絶対値)を歩行位相ごとに求めてそれらを積算した値を求める。そして、求めた値が所定の閾値を超える場合に、その左右ステップ波形を処理対象から除外する。これにより、通常の歩行運動ではない偶発的な動作などに対応する異常波形を処理対象から取り除くことができる。
ステップS85では、代表波形演算部753が、異常波形が除外された複数の左右ステップ波形についての代表的な波形である代表波形V1を算出する。本例では、代表波形V1として、平均波形を算出する。
ステップS86では、波高値ばらつき演算部754が、異常波形が除外された複数の左右ステップ波形について、歩行位相ごとに左右ステップ波形の波高値のばらつきの程度を算出する。ばらつきの程度としては、例えば、分散や標準偏差を用いることができる。本例では、ばらつきの程度として、標準偏差を算出する。
ステップS87では、グラフ生成部755が、横軸を時間もしくは歩行位相、縦軸を波高値とする座標系において、左右ステップ波形の代表波形V1と、各歩行位相φkごとに波高値の標準偏差σkに応じた幅を有するばらつきバーBkとが描かれた左右ステップ波形グラフGを生成する。
図35は、生成された左右ステップ波形グラフGの一例を示す図である。
本例では、グラフ生成部755は、図35に示すように、左右ステップ波形の代表波形V1における各ピーク波形について、そのピーク波形の極大値mfを、歩行の「強さ」を表す指標値とし、その極大値mfを取る歩行位相での標準偏差σfを、歩行の「ばらつき」を表す指標値とし、これらの情報がさらに含まれるように左右ステップ波形グラフGを生成する。このようにすれば、操作者11は、左右ステップ波形グラフGを参照することで、患者10の左足及び右足の踵着地及びつま先蹴りのそれぞれの動作に対応した歩行位相φfにおける上下方向加速度成分az,fについて、その大きさと安定性を把握することができ、これらの情報に基づいて、患者10の歩行評価を行うことができる。
図5に戻り、ステップS9では、表示制御部310が、ディスプレイ部302を制御して、その画面にグラフGを表示させる。
以上、本実施形態によれば、歩行期間特定部73の構成及びその歩行期間特定処理により、加速度データ取得期間内において患者10の通常歩行期間を特定することができる。これにより、解析対象を、患者10が通常の歩行を安定に行っている期間に得られたデータに絞ることができ、高精度な解析を行うことができる。故に、患者10の歩行運動の客観的な評価が可能になる。
本実施形態によれば、ステップ基準時刻検出部74の構成及びそのステップ基準時刻検出処理により、患者10の一歩ごとの前進動作の基準となる時刻を検出することができる。このような基準時刻を用いることで、患者10の一歩または複数歩ずつの動作が行われているときの加速度データを抽出したり、その動作の所要時間を測定したりすることができ、患者10の一歩一歩の動作に着目した解析を行うことができる。故に、本実施形態は、患者10の歩行運動の客観的な評価に有効である。
本実施形態によれば、ステップ波形グラフ生成部75及びそのステップ波形グラフ生成処理により、患者10の左右ステップ波形の代表波形を求めることができる。操作者11は、この左右ステップ波形の代表波形を参照することで、歩行運動における患者10に固有の特徴的な動作を理解することができる。故に、本実施形態は、患者10の歩行運動の客観的な評価に有効である。
また、本実施形態によれば、抽出された複数の左右ステップ波形Pjについての歩行位相ごとに波高値のばらつきの程度を表すばらつきバーBkが表示されるので、左右ステップ波形Pjの代表波形V1の信頼性や歩行位相φごとの安定性を認識することができる。これにより、操作者11は、患者10の歩行運動そのものの不安定さや、歩行運動中に不安定な動作が行われるタイミングなどを把握することができる。
また、本実施形態によれば、左右ステップ波形Pjの代表波形V1におけるピーク波形の極大値mfと、その極大値を取る歩行位相φfでの左右ステップ波形のばらつきの程度とが表示されるので、操作者11は、これら極大値に対応した歩行運動の主要動作である、一方の足の踵着地、他方の足のつま先蹴り、他方の足の踵着地、一方の足のつま先蹴りの動作について、その力強さと安定度とを定量的に把握することができる。各動作の力強さは、患者10の足の筋力を計る指標になる。各動作の安定度は、患者10が自身の体重を足でどの程度支えきれているかの指標になる。操作者11は、これらの情報を基に患者10の歩行運動を客観的に評価することができる。
操作者11は、これらの総合的な評価に基いて患者10の歩行中の動きを詳細に把握し、例えば効果的な歩行訓練プランを作成することができる。
なお、発明は、上記実施形態に限定されず、その趣旨を逸脱しない範囲において種々の変更が可能である。
例えば、本実施形態では、左右ステップ波形を抽出する際に、患者10の歩行運動中における上下方向加速度成分azを処理対象としているが、これに限定されず、例えば、患者10の左右方向加速度成分axや前後方向の加速度成分ayを処理対象としてもよい。すなわち、左右方向加速度成分axの時間変化を表す左右方向加速度波形Wxや前後方向加速度成分ayの時間変化を表す前後方向加速度波形Wyにおいて、左右ステップ波形を抽出し、その代表波形や波高値のばらつきの程度などを求めるようにしてもよい。なお、左右方向加速度波形Wxや前後方向加速度波形Wyにおいては、左右ステップ波形の特徴が上下方向加速度波形Wzほど明確に現れない場合がある。この場合には、一旦、上下方向加速度波形Wzの波形形状に基づいてステップの基準時刻tbjを検出したり、波形形状のパターンマッチングを行ったりして、左右ステップ波形に対応する時間範囲trjを特定する。そして、左右方向加速度波形Wxや前後方向加速度波形Wyにおける当該時間範囲trjの部分波形を左右ステップ波形Pjとして抽出するとよい。
また例えば、本実施形態では、部分波形の抽出、代表波形や波高値のばらつき程度の算出などの処理を行う際に、連続的な左右一歩ずつの前進動作を1つの単位として扱っているが、片足一歩だけの前進動作や、連続的な三歩以上の前進動作を1つの単位として扱ってもよい。
また例えば、本実施形態は、発明を人の歩行運動に適用した例であるが、発明を人のその他の移動運動、例えば人の走行運動などにも適用することができる。
また例えば、本実施形態は、上述したように人に取り付けられた加速度センサから得られた加速度データを解析する移動運動解析装置であるが、コンピュータをこのような装置として機能させるためのプログラムもまた発明の実施形態の一つである。
1 歩行解析システム
10 患者
11 操作者
2 加速度センサモジュール
21 プロセッサ
22 加速度センサ
23 メモリ
24 通信I/F
25 バッテリ
201 加速度センサ部
202 サンプリング部
203 送信部
3 歩行解析装置
31 プロセッサ
32 ディスプレイ
33 操作部
34 メモリ
35 通信I/F
36 バッテリ
301 操作部
302 ディスプレイ部
303 患者情報受付部
304 受信部
305 加速度データ取得制御部
307 加速度データ解析部
310 表示制御部
312 記憶部
41 データベース
42 記憶媒体
71 加速度成分算出部
72 加速度波形生成部
73 歩行期間特定部
731 前後・上下加速度特徴量算出部
732 特徴量二値化処理部
733 二値化データばらつき量算出部
734 ばらつき量閾値判定部
735 マージン設定部
74 ステップ基準時刻検出部
741 前後加速度波形読取部
742 立上り−ピーク変換部
743 変換波形整形部
744 波高値正規化部
745 ピーク検出部
75 ステップ波形グラフ生成部
751 ステップ波形抽出部
752 ステップ波形正規化部
753 代表波形演算部
754 波高値ばらつき演算部
755 グラフ生成部

Claims (19)

  1. 加速度センサを用いて計測された人の移動運動中における加速度成分のうち1方向の加速度成分の時間変化を表す波形の中から、それぞれが一歩または複数歩の動作に対応した複数の部分波形を抽出する抽出手段と、
    前記抽出手段により抽出された複数の部分波形における代表的な部分波形を求める演算手段と、を備える移動運動解析装置。
  2. 前記演算手段は、前記部分波形の波高値方向における平均化処理を用いて前記代表的な部分波形を求める、請求項1に記載の移動運動解析装置。
  3. 前記演算手段は、前記部分波形の時間軸方向における正規化処理を用いて前記代表的な部分波形を求める、請求項1または請求項2に記載の移動運動解析装置。
  4. 前記演算手段は、前記抽出された複数の部分波形のうち該複数の部分波形の平均波形との差異が一定レベル以内である部分波形に基づいて、前記代表的な部分波形を求める、請求項1から請求項3のいずれか一項に記載の移動運動解析装置。
  5. 前記演算手段は、抽出された前記複数の部分波形における前記移動運動の同一位相での波高値のばらつきの程度を求め、
    前記代表的な部分波形と、前記波高値のばらつきの程度とを表示するよう前記表示部を制御する表示制御手段をさらに備えた、請求項1から請求項4のいずれか一項に記載の移動運動解析装置。
  6. 前記表示制御手段は、前記代表的な部分波形の各時点に、該時点に対応する位相での波高値のばらつきの程度に応じた幅を有する記号を表示するよう前記表示部を制御する、請求項5に記載の移動運動解析装置。
  7. 前記演算手段は、前記代表的な部分波形におけるピーク波形の極大値を求め、
    前記表示制御手段は、前記極大値と、該極大値を取る時点に対応する位相での波高値のばらつきの程度を表す数値とを表示するよう前記表示部を制御する、請求項5または請求項6に記載の移動運動解析装置。
  8. 前記波高値のばらつきの程度は、分散または標準偏差である、請求項5から請求項7のいずれか一項に記載の移動運動解析装置。
  9. 計測された前記人の移動運動中における加速度成分は、前記人の上下方向の加速度成分を含んでおり、
    計測された前記上下方向の加速度成分の時間変化を表す波形における波形形状に基づいて、それぞれが前記一歩または複数歩の動作に対応する複数の時刻を検出する検出手段を備えており、
    前記抽出手段は、検出された前記複数の時刻に基づいて前記複数の部分波形を抽出する、請求項1から請求項8のいずれか一項に記載の移動運動解析装置。
  10. 前記複数の時刻の各々は、左足または右足の踵着地またはつま先蹴りに対応する時刻である、請求項9に記載の移動運動解析装置。
  11. 前記抽出手段は、前記複数の時刻の各々について、該時刻と特定の位置関係を有する時間範囲に対応する部分波形を抽出する、請求項9または請求項10に記載の移動運動解析装置。
  12. 前記抽出手段は、前記複数の時刻の各々について、該時刻に近接する特定パターンを有する部分波形を抽出する、請求項9または請求項10に記載の移動運動解析装置。
  13. 前記抽出手段は、右足の踵着地、左足のつま先蹴り、左足の踵着地、及び右足のつま先蹴りを1つずつ含む動作に対応する部分波形を抽出する、請求項1から請求項12のいずれか一項に記載の移動運動解析装置。
  14. 前記抽出手段は、一方の足の踵着地及び他方の足のつま先蹴りを1つずつ含む動作に対応する部分波形を抽出する、請求項1から請求項12のいずれか一項に記載の移動運動解析装置。
  15. 前記1方向は、前記人の上下方向、左右方向または前後方向である、請求項1から請求項14のいずれか一項に記載の移動運動解析装置。
  16. 前記移動運動は、歩行運動である、請求項1から請求項15のいずれか一項に記載の移動運動解析装置。
  17. 加速度センサを用いて計測された人の移動運動中における加速度成分のうち1方向の加速度成分の時間変化を表す波形の中から、それぞれが一歩または複数歩の動作に対応した複数の部分波形を抽出するステップと、
    前記抽出手段により抽出された複数の部分波形における代表的な部分波形を求めるステップと、を備える移動運動解析方法。
  18. 人に取り付けられる加速度センサと、
    前記加速度センサを用いて計測された前記人の移動運動中における加速度成分のうち1方向の加速度成分の時間変化を表す波形の中から、それぞれが一歩または複数歩の動作に対応した複数の部分波形を抽出する抽出手段と、
    前記抽出手段により抽出された複数の部分波形における代表的な部分波形を求める演算手段と、を備える移動運動解析システム。
  19. コンピュータを、請求項1から請求項16のいずれか一項に記載の移動運動解析装置として機能させるためのプログラム。
JP2014015897A 2014-01-30 2014-01-30 移動運動解析装置及びプログラム Active JP6378492B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014015897A JP6378492B2 (ja) 2014-01-30 2014-01-30 移動運動解析装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014015897A JP6378492B2 (ja) 2014-01-30 2014-01-30 移動運動解析装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2015139669A true JP2015139669A (ja) 2015-08-03
JP6378492B2 JP6378492B2 (ja) 2018-08-22

Family

ID=53770438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014015897A Active JP6378492B2 (ja) 2014-01-30 2014-01-30 移動運動解析装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6378492B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065087A1 (ja) * 2015-10-15 2017-04-20 アルプス電気株式会社 歩行状態検出装置及び歩行状態検出プログラム
WO2018179301A1 (ja) * 2017-03-30 2018-10-04 富士通株式会社 情報処理システム、情報処理装置、および情報処理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010119500A (ja) * 2008-11-18 2010-06-03 Omron Healthcare Co Ltd 体動バランス検出装置、体動バランス検出プログラム、体動バランス検出方法、および体動バランス診断方法
JP2010286268A (ja) * 2009-06-09 2010-12-24 Kyushu Univ 信号ピーク測定システム
JP2012181110A (ja) * 2011-03-01 2012-09-20 Nippon Telegr & Teleph Corp <Ntt> 加速度検出装置、方法及びプログラム
JP2012179114A (ja) * 2011-02-28 2012-09-20 Hiroshima Univ 測定装置、測定方法、及び、測定プログラム
WO2013046510A1 (ja) * 2011-09-27 2013-04-04 テルモ株式会社 歩行動作解析システム、情報処理装置及び歩行動作監視装置
JP2013094316A (ja) * 2011-10-31 2013-05-20 Toshiba Corp 歩行分析装置及び歩行分析プログラム
WO2013114596A1 (ja) * 2012-02-01 2013-08-08 富士通株式会社 情報処理装置、代表波形生成方法および代表波形生成プログラム
JP2014213147A (ja) * 2013-04-30 2014-11-17 富山県 歩行機能回復状況の測定システム及び測定方法
JP2015058096A (ja) * 2013-09-18 2015-03-30 カシオ計算機株式会社 運動支援装置及び運動支援方法、運動支援プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010119500A (ja) * 2008-11-18 2010-06-03 Omron Healthcare Co Ltd 体動バランス検出装置、体動バランス検出プログラム、体動バランス検出方法、および体動バランス診断方法
JP2010286268A (ja) * 2009-06-09 2010-12-24 Kyushu Univ 信号ピーク測定システム
JP2012179114A (ja) * 2011-02-28 2012-09-20 Hiroshima Univ 測定装置、測定方法、及び、測定プログラム
JP2012181110A (ja) * 2011-03-01 2012-09-20 Nippon Telegr & Teleph Corp <Ntt> 加速度検出装置、方法及びプログラム
WO2013046510A1 (ja) * 2011-09-27 2013-04-04 テルモ株式会社 歩行動作解析システム、情報処理装置及び歩行動作監視装置
JP2013094316A (ja) * 2011-10-31 2013-05-20 Toshiba Corp 歩行分析装置及び歩行分析プログラム
WO2013114596A1 (ja) * 2012-02-01 2013-08-08 富士通株式会社 情報処理装置、代表波形生成方法および代表波形生成プログラム
JP2014213147A (ja) * 2013-04-30 2014-11-17 富山県 歩行機能回復状況の測定システム及び測定方法
JP2015058096A (ja) * 2013-09-18 2015-03-30 カシオ計算機株式会社 運動支援装置及び運動支援方法、運動支援プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065087A1 (ja) * 2015-10-15 2017-04-20 アルプス電気株式会社 歩行状態検出装置及び歩行状態検出プログラム
JPWO2017065087A1 (ja) * 2015-10-15 2018-08-09 アルプス電気株式会社 歩行状態検出装置及び歩行状態検出プログラム
WO2018179301A1 (ja) * 2017-03-30 2018-10-04 富士通株式会社 情報処理システム、情報処理装置、および情報処理方法
JPWO2018179301A1 (ja) * 2017-03-30 2019-11-07 富士通株式会社 情報処理システム、情報処理装置、および情報処理方法

Also Published As

Publication number Publication date
JP6378492B2 (ja) 2018-08-22

Similar Documents

Publication Publication Date Title
TWI393579B (zh) The state of the muscle movement state analysis system, methods and computer program products
CN106572816B (zh) 步行解析系统和记录有步行解析程序的记录介质
JP5756230B2 (ja) トレーニング装置
JP6127873B2 (ja) 歩行特徴の解析方法
JP2010263953A (ja) 運動分析装置、プログラム及び方法、並びに、運動分析システム
JP6844284B2 (ja) 歩容の評価方法
EP3604097A1 (en) Steering input information acquisition device
JP6243731B2 (ja) 移動運動状態表示装置、方法及びシステム並びにプログラム
JP6259301B2 (ja) 移動運動解析装置、方法及びシステム並びにプログラム
JP2022544793A (ja) 身体活動のコンテキストにおいて対象者に関する生体力学的活動及び生体力学的リスク因子への曝露を解析するための方法及びシステム
JP6378492B2 (ja) 移動運動解析装置及びプログラム
Aubol et al. Tibial acceleration reliability and minimal detectable difference during overground and treadmill running
US20210244317A1 (en) Walking mode display method, walking mode display system and walking mode analyzer
Kobsar et al. Validity of a novel method to measure vertical oscillation during running using a depth camera
JP6378491B2 (ja) 移動運動解析装置、方法及びシステム並びにプログラム
JP6486200B2 (ja) 移動運動解析装置及びシステム並びにプログラム
JP6367570B2 (ja) 移動運動解析装置及びプログラム
JP5360093B2 (ja) 消費エネルギー測定装置、消費エネルギー測定方法および運動解析システム
JP6552875B2 (ja) 移動運動解析装置、方法及びプログラム
JP6527024B2 (ja) 移動運動解析装置及びシステム並びにプログラム
Pavone et al. A Kinect-Based Portable Automatic Gait Analysis System-An Experimental Validation
JP6527023B2 (ja) 移動運動解析装置及びシステム並びにプログラム
JP6643188B2 (ja) 移動運動解析装置及びシステム並びにプログラム
JP6381252B2 (ja) 移動運動解析装置及びプログラム
JP6465419B2 (ja) 測定装置及び測定方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150528

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150602

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171213

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180727

R150 Certificate of patent or registration of utility model

Ref document number: 6378492

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250