JP2019211935A

JP2019211935A - 分析装置、分析方法および分析プログラム

Info

Publication number: JP2019211935A
Application number: JP2018106525A
Authority: JP
Inventors: 修税所; Osamu Zaisho; 信吾塚田; Shingo Tsukada; 健太郎田中; Kentaro Tanaka; 中山　実; Minoru Nakayama; 中山　　実; 岡田　崇; Takashi Okada; 崇岡田
Original assignee: NTT Data Corp; Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp; NTT Data Group Corp
Priority date: 2018-06-01
Filing date: 2018-06-01
Publication date: 2019-12-12
Anticipated expiration: 2038-06-01
Also published as: JP7028721B2

Abstract

【課題】生体信号の分析を外乱要素に頑健に行う。【解決手段】分析装置１０は、取得部１５ａと、分割部１５ｂと、分類部１５ｃと、特定部１５ｄとを備える。取得部１５ａが、時系列の生体信号を取得する。分割部１５ｂが、取得された生体信号を行動単位に分割する。分類部１５ｃが、分割された行動単位の生体信号の波形をパターンごとに分類する。特定部１５ｄが、時系列の生体信号における各パターンの出現時点を特定する。これにより、分析装置１０は、生体信号の分析を外乱要素に頑健に行うことが可能となる。【選択図】図１

Description

本発明は、分析装置、分析方法および分析プログラムに関する。

従来、生体信号の信号強度や周波数に注目した分析が行われている。例えば、筋電位のＲＭＳ（Root Mean Square:二乗平均平方根）やＭＮＦ（MeaN Frequency:平均周波数）等を用いて、筋疲労度や行動のスキルが定量的に表されている。ここでは、筋疲労度が増すにつれ、ＲＭＳが増大し、ＭＮＦが減少するとされている（非特許文献１参照）。

この場合には、周波数フィルタ等を用いてノイズを除去して目的の信号のみを抽出したうえで、信号強度や周波数の解析が行われている。

また、近年、導電性を有するファブリックを素材とするスポーツウェアを用いて、運動中に心拍数等の生体信号を取得する技術が知られている。

Mario Cifrek et al., "Surface EMG based muscle fatigue evaluation in biomechanics", 2009年, Clinical Biomechanics 24, pp.327-340

しかしながら、実践的なフィールドにおける生体信号の長時間計測または常時計測では、生体信号には外乱要素が混入しやすいという問題があった。すなわち、運動中等のより実践的なフィールドでの生体信号の長時間計測または常時計測では、計測環境や被験者のコンディションの変化により、計測中に生体信号の減衰や歪みや雑音がより多く混入する。例えば、運動中の生体信号には、病院等で静止時に取得する生体信号に比較して、ノイズが混入しやすい。

特に、競技場における競技者の生体信号の計測においては、激しい体動に伴って生体組織の振動や変形が生じ、生体信号に歪みが生じる。また、生体電極と生体との接触の不安定化によっても雑音が発生する。さらに、気候や体調の変化により生体インピーダンスが変動する。例えば、発汗に伴う生体信号の減衰や周波数特性の変化は、生体信号の分析の障害となっている。

また、ノイズ除去を行っても、場面に応じて周波数特性の変化や信号の減衰を修正することは困難であった。このように、環境の変化を伴うフィールドにおいて、生体信号の連続的な長時間計測または常時計測では、均一なデータを連続的に取得し、一括して信号の処理を行うことは困難であった。

本発明は、上記に鑑みてなされたものであって、生体信号の分析を外乱要素に頑健に行うことを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る分析装置は、時系列の生体信号を取得する取得部と、取得された生体信号を行動単位に分割する分割部と、分割された行動単位の生体信号の波形をパターンごとに分類する分類部と、前記時系列の生体信号における各パターンの出現時点を特定する特定部と、を備えることを特徴とする。

本発明によれば、生体信号の分析を外乱要素に頑健に行うことができる。

図１は、本実施形態に係る分析装置の概略構成を例示する模式図である。図２は、分割部の処理を説明するための説明図である。図３は、分類部の処理を説明するための説明図である。図４は、特定部の処理を説明するための説明図である。図５は、分析処理手順を示すフローチャートである。図６は、分析プログラムを実行するコンピュータの一例を示す図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［分析装置の構成］
図１は、本実施形態に係る分析装置の概略構成を例示する模式図である。図１に例示するように、分析装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。

入力部１１は、キーボードやマウス等の入力デバイスによって実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネット等の電気通信回線を介した管理サーバ等の外部の装置と制御部１５との通信を制御する。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、分析装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

制御部１５は、ＣＰＵ（Central Processing Unit）等によって実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図１に例示するように、取得部１５ａ、分割部１５ｂ、分類部１５ｃおよび特定部１５ｄとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。

取得部１５ａは、時系列の生体信号を取得する。例えば、取得部１５ａは、運動中の競技者の手首や腕や足等に装着されたウェアラブル端末から、このウェアラブル端末で計測された生体信号の時系列データの入力を、通信制御部１３を介して受け付ける。取得部１５ａは、生体信号の時系列データを例えばオペレータ等から入力部１１を介して取得してもよい。

ここで、生体信号とは、人間が体を動かした場合に発生する信号であり、例えば、筋電位(ＥＭＧ，ElectroMyoGram）、心電、眼電、脳波、心拍、脈拍等が例示される。

分割部１５ｂは、取得された生体信号を行動単位に分割する。具体的には、分割部１５ｂは、例えばＴＨ（THreshold）法と呼ばれる技術を用いて、生体信号の時系列データから行動中の区間の生体信号を行動単位に抽出する。

ここで、ＴＨ法とは、筋電位等の生体信号を時系列データとして扱って、行動単位を検出する技術である（周知文献参照）。

［周知文献］Staude et al., “Onset detection in surface electromyographic signals:a systematic comparison of methods”, 2001年, EURASIP Journal on Applied Signal Processing 2001:2, pp.67-81

また、図２は、分割部１５ｂの処理を説明するための説明図である。図２（０）に示すように、分割部１５ｂは、まず、取得された生体信号の時系列データに対し、例えばバンドパスフィルタ、整流化、スムージング等の前処理を行う。

バンドパスフィルタでは、ノイズが除去される。整流化では、生体信号の強度を示す縦軸の負の値が除外される。スムージングでは、移動平均をとって瞬間的なピーク値が除去される。

図２（ａ）には、バンドパスフィルタ処理後の生体信号（筋電位）の強度と時間との関係が例示されている。また、図２（ｂ）には、整流化後の筋電位の強度と時間との関係が例示されている。

なお、図２および後述する図４には、５００Ｈｚで計測された筋電位が例示されており、各図の横軸の時間は計測回で表されている。つまり、横軸の単位は（１／５００）秒に相当する。

次に、分割部１５ｂは、ＴＨ法を用いて、生体信号のオンセット、例えば筋電位の力を入れている区間を検出し、行動単位の生体信号として抽出する。

具体的には、まず、分割部１５ｂは、図２（１）に示すように、３０秒程度の所定の区間の脱力状態の生体信号を取得する。この区間（以下、無音区間と記す。）の生体信号には、ノイズのみが加わっているものとして、分割部１５ｂは、無音区間の生体信号の強度の平均μおよび標準偏差σを算出する。

また、分割部１５ｂは、図２（２）に示すように、オンセットを判定するための閾値Ｅ_ｔｈ（μ，σ）＝μ＋ｎσを算出する。ここで、ｎは３前後の定数である。

次に、分割部１５ｂは、図２（３）に示すように、例えば５０ｍｓ程度の所定の幅Ｌの移動窓を時間軸上でスライドさせながら、移動窓内での平均μ_ｔを算出する。μ_ｔが閾値Ｅ_ｔｈより大きい場合に、分割部１５ｂは、この移動窓内のデータはオンセットと判定する。これにより、分割部１５ｂは、図２に網掛で示すオンセットの区間を検出し、行動単位の生体信号として抽出する。

図１の説明に戻る。分類部１５ｃは、分割された行動単位の生体信号の波形をパターンごとに分類する。具体的には、分類部１５ｃは、分割部１５ｂが分割した行動単位の生体信号の波形に着目したクラスタリングを行って、パターンごとに分類する。

例えば、スポーツやリハビリ等の行動中の筋電位について、使われている筋肉やその使われ方の違いにより波形のパターンが異なる。したがって、分類部１５ｃが筋電位の波形のパターンによるクラスタリングを行うことは、使われている筋肉やその使われ方による分類を行うことに相当する。

まず、分類部１５ｃは、行動単位の生体信号に対し、計測によって生じる欠損の線形補間を行う。また、分類部１５ｃは、各行動単位の生体信号の時間軸方向の長さを合わせるリサンプリングを行って、各行動単位の生体信号の波形を表すベクトルの次元数を統一する。これにより、各行動単位の生体信号の経過時間のぶれや、長時間の計測中に生じる周波数特性の変化を吸収することが可能となる。

また、分類部１５ｃは、各行動単位の生体信号の最大出力で正規化を行う。なお、フィルタリング等の前処理により、各行動単位の生体信号からスパイクノイズ等は除去されているものとする。

これにより、全ての行動単位の生体信号の波形を表すベクトルの要素が［０，１］で表現されることになる。したがって、ユーザの状態の変化や長時間の計測中に生じる生体信号の減衰等の強度への影響を吸収することが可能となる。なお、分類部１５ｃは、ここでスムージング等の処理を合わせて行ってもよい。

次に、分類部１５ｃは、リサンプリングおよび正規化がなされた各行動単位の生体信号の波形の特徴でクラスタリング（分類）を行う。また、分類部１５ｃは、分類した各クラス（パターン）の標準波形を抽出する。

ここで、図３は、分類部１５ｃの処理を説明するための説明図である。図３に示すように、分類部１５ｃは、波形の特徴で分類した各パターンについて、標準波形を抽出する。図３には、サイクリング中に計測された太ももの筋電位の波形が、パターン０〜パターン４の５つのパターンにクラスタリングされた場合が例示されている。

例えば、ユーザのスキルレベルや筋疲労度等に応じて、ペダルを踏み込むタイミングや回数等が異なり、図３に示すように複数のパターンに分類される。例えばパターン２は、２回に分けてペダルを踏み込んだ場合の筋電位の波形を例示しており、スキルレベルの低いユーザや、ユーザの疲労度が高い場合等に出現する。また、例えばパターン０は、スキルレベルの高いユーザが、上手く体幹を使って早いタイミングでペダルを踏み込んだ場合の筋電位の波形を例示している。

また、分類部１５ｃは、分類したパターンごとの標準波形を抽出して記憶部１４に記憶させる。それ以降、分類部１５ｃは、標準波形を用いて生体信号の波形を分類してもよい。例えば、分類部１５ｃは、リサンプリングおよび正規化がなされた各行動単位の生体信号と各標準波形との類似度を算出し、類似度が所定の閾値以上の標準波形のパターンとして、生体信号を分類する。

その場合に、分類部１５ｃは、分類した各パターンの標準波形を改めて抽出し、記憶部１４の標準波形を更新してもよい。

なお、記憶部１４には、予め既知の標準波形が記憶されていてもよい。その場合には、分類部１５ｃは、上記と同様に、標準波形を用いて生体信号の波形を分類してもよい。また、分類部１５ｃは、分類した各パターンの標準波形を改めて抽出し、記憶部１４の標準波形を更新してもよい。

図１の説明に戻る。特定部１５ｄは、時系列の生体信号における各パターンの出現時点を特定する。また、特定部１５ｄは、特定した各パターンの出現時点を出力部１２あるいは通信制御部１３を介して出力する。例えば、ディスプレイに表示させたり、外部の装置に出力したりする。

ここで、図４は、特定部１５ｄの処理を説明するための説明図である。図４（ａ）には、処理対象の生体信号の強度と時間との関係が例示されており、図４（ｂ）には、各パターンと時間との関係が例示されている。

図４に示すように、特定部１５ｄは、取得部１５ａが取得した生体信号の時系列データにおいて、分割部１５ｂが抽出した行動単位の区間を、分類部１５ｃが分類したパターンを区別して特定し、出力部１２等に出力する。これにより、各パターンの時間軸上の分布を分析することが可能となる。

図４に示す例では、時間軸上の初期には、パターン２の出現回数が多く、中間期にはパターン０やパターン３の出現回数が多く、後期にはパターン４の出現回数が多いことがわかる。

なお、特定部１５ｄは、特定した出現時点を用いて、時系列の生体信号における各パターンの時系列に移動する所定幅の移動窓内での出現頻度を算出してもよい。具体的には、特定部１５ｄは、生体信号の時系列データの時間軸上で所定幅の移動窓をスライドさせながら、移動窓内での各パターンの出現頻度を算出する。

これにより、各パターンの出現頻度の変化を時系列でとらえることが可能となる。したがって、例えば、時間経過とともに筋疲労度が高い場合に出現するパターンの出現頻度が高くなった場合等には、筋疲労度の変化を発見することが可能となる。あるいは、時間経過とともに、各競技における筋肉の使い方においてスキルレベルの低いことを示すパターンの出現頻度が増加した場合等には、筋肉の使い方の変化やスキルの良し悪しを分析することが可能となる。

［分析処理］
次に、図５を参照して、本実施形態に係る分析装置１０による分析処理について説明する。図５は、分析処理手順を示すフローチャートである。図５のフローチャートは、例えば、開始を指示する操作入力があったタイミングで開始される。

まず、取得部１５ａが、生体信号の時系列データを取得する。また、分割部１５ｂが、取得された生体信号の時系列データを、行動単位に分割する（ステップＳ１）。すなわち、分割部１５ｂは、生体信号の時系列データから行動中の区間の生体信号を行動単位に抽出する。

次に、分類部１５ｃが、行動単位の生体信号の波形に着目したクラスタリングを行って、パターンごとに分類する（ステップＳ２）。具体的には、分類部１５ｃは、各行動単位の生体信号のリサンプリングを行って、各行動単位の生体信号の波形を表すベクトルの次元数を統一する。また、分類部１５ｃは、各行動単位の生体信号の最大出力で正規化を行う。そして、分類部１５ｃは、リサンプリングおよび正規化がなされた各行動単位の生体信号を、波形の特徴を示すパターンで分類する。

次に、特定部１５ｄが、時系列の生体信号における各パターンの出現時点を特定し、各パターンの分布を分析する（ステップＳ３）。また、特定部１５ｄは、特定した各パターンの出現時点を出力部１２あるいは通信制御部１３を介して出力する。これにより、一連の分析処理が終了する。

以上、説明したように、本実施形態の分析装置１０において、取得部１５ａが、時系列の生体信号を取得する。また、分割部１５ｂが、取得された生体信号を行動単位に分割する。また、分類部１５ｃが、分割された行動単位の生体信号の波形をパターンごとに分類する。そして、特定部１５ｄが、時系列の生体信号における各パターンの出現時点を特定する。

これにより、例えば、スポーツやリハビリ等の行動中の筋電位について、使われている筋肉やその使われ方の違いにより異なる波形のパターンの出現時点を特定することができる。このような波形のパターンは、非定常的な外乱要素の影響を受け難いため、連続的な長時間計測または常時計測においても、安定かつ一括して信号の処理を行うことが可能となる。このように、本実施形態の分析装置１０は、生体信号の分析を外乱要素に頑健に行うことができる。また、本実施形態の分析装置１０は、例えば筋疲労度の変化や競技における筋肉の使い方やスキルの良し悪し等の高度な分析が可能となる。

また、分類部１５ｃは、記憶部１４に記憶されている標準波形を用いて生体信号の波形を分類してもよい。また、分類部１５ｃは、分類したパターンごとの標準波形を抽出して記憶部１４に記憶させ、以降の処理に用いてもよい。これにより、標準波形を用いない場合より分類部１５ｃの処理負荷を軽減することが可能となる。

また、特定部１５ｄは、特定した出現時点を用いて、時系列の生体信号における各パターンの時系列に移動する所定幅の移動窓内での出現頻度を算出してもよい。これにより、各パターンの出現頻度の変化を時系列でとらえることが可能となる。したがって、例えば、筋疲労度の変化を発見したり、各競技における筋肉の使い方の変化やスキルの良し悪しを分析したりすることが容易に可能となる。

［プログラム］
上記実施形態に係る分析装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、分析装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の分析処理を実行する分析プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の分析プログラムを情報処理装置に実行させることにより、情報処理装置を分析装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）などのスレート端末などがその範疇に含まれる。

また、分析装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の分析処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、分析装置１０は、生体信号の時系列データを入力とし、波形のパターンごとの出力時点を出力する分析処理サービスを提供するサーバ装置として実装される。この場合、分析装置１０は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の分析処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、分析装置１０と同様の機能を実現する分析プログラムを実行するコンピュータの一例を説明する。

図６は、分析プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、分析プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した分析装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、分析プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、分析プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、分析プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１０分析装置
１１入力部
１２出力部
１３通信制御部
１４記憶部
１５制御部
１５ａ取得部
１５ｂ分割部
１５ｃ分類部
１５ｄ特定部

Claims

時系列の生体信号を取得する取得部と、
取得された生体信号を行動単位に分割する分割部と、
分割された行動単位の生体信号の波形をパターンごとに分類する分類部と、
前記時系列の生体信号における各パターンの出現時点を特定する特定部と、
を備えることを特徴とする分析装置。
前記パターンごとの標準波形を記憶する記憶部をさらに備え、
前記分類部は、前記標準波形を用いて前記生体信号の波形を分類することを特徴とする請求項１に記載の分析装置。
前記分類部は、分類した前記パターンごとの標準波形を抽出して記憶部に記憶させることを特徴とする請求項２に記載の分析装置。
前記特定部は、特定した前記出現時点を用いて、前記時系列の生体信号における各パターンの時系列に移動する所定幅の移動窓内での出現頻度を算出することを特徴とする請求項１〜３のいずれか１項に記載の分析装置。
分析装置で実行される分析方法であって、
時系列の生体信号を取得する取得工程と、
取得された生体信号を行動単位に分割する分割工程と、
分割された行動単位の生体信号の波形をパターンごとに分類する分類工程と、
前記時系列の生体信号における各パターンの出現時点を特定する特定工程と、
を含んだことを特徴とする分析方法。
時系列の生体信号を取得する取得ステップと、
取得された生体信号を行動単位に分割する分割ステップと、
分割された行動単位の生体信号の波形をパターンごとに分類する分類ステップと、
前記時系列の生体信号における各パターンの出現時点を特定する特定ステップと、
をコンピュータに実行させるための分析プログラム。