JP2018000871A - 生体の動作識別システム及び生体の動作識別方法 - Google Patents

Abstract

【課題】 動作を識別するための設定を複雑になることなく容易に行うことができるようにするとともに、細かい動作にも確実に対応できるようにする。【解決手段】 生体が行う特定の動作を検出する１もしくは複数の動作検出手段（Ｔ１，〜Ｔｎ）と、動作検出手段からの検出信号に基づいて生体の特定の動作を識別する識別処理部１とを備え、識別処理部１を、動作検出手段（Ｔ１，〜Ｔｎ）からの検出信号の全部若しくは一部を用いて特定の動作を判別して該判別結果を出力する機械学習手段２を備えて構成した。【選択図】 図１

Description

本発明は、生体が行う例えば食事運動等の特定の動作を識別する生体の動作識別システム及び生体の動作識別方法に係り、生体に適したより良い生活の実現や，診断・リハビリテーションへのフィードバック，他への異常状態の通報等に有用な生体の動作識別システム及び生体の動作識別方法に関する。

従来、この種の生体の動作識別システムとしては、例えば、特許文献１（特開２００３−２２００３９号公報）に掲載されたものが知られている。これは、被検者の血圧、脈拍、呼吸数、血中酸素濃度の生体情報の中の少なくとも一つを測定する生体情報測定装置と、被検者の脚部、腕部、頭部、胸部及び腰部の複数部位の加速度を測定する加速度測定装置とを備え、プロセッサ装置により加速度情報に基づいて被検者の運動量を算出し、運動量に基づいて被検者の生体情報の閾値を算出し、被検者の生体情報と閾値とを比較して生体情報が閾値を越えている場合は被検者に身体異常の発生を知らせるものである。プロセッサ装置は、血圧、脈拍、呼吸数、血中酸素濃度の生体情報の夫々が、算出された血圧、脈拍、呼吸数、血中酸素濃度の夫々の閾値と比較し、複数の生体情報がその閾値を超える場合に、被検者に身体異常が発生しているものとする判断する。
生体情報の閾値は、算出された運動量と被検者個人の安静時における血圧、脈拍、呼吸数、血中酸素濃度の夫々の数値に基づいて、各被検者毎に予め設定するようにしている。また、プロセッサは、複数の生体情報から警告に係る被検者の動作及び／又は姿勢（就寝、正座、椅子等に腰掛、歩行、走行、階段歩行、入浴、食事、排泄における動作及び／又は姿勢）を判断し、測定された複数部位の夫々の加速度値に基づいて異常処置の必要性を判断している。

特開２００３−２２００３９号公報

ところで、上記従来のシステムにおいては、生体情報の閾値は、算出された運動量と被検者個人おける血圧、脈拍、呼吸数、血中酸素濃度の夫々について設定されるので、設定が多岐に亘って複雑で、その設定作業も極めて煩雑になっているという問題があった、また、複数の生体情報によって被検者の動作及び／又は姿勢を判断しているが、その判断は定性的であり、細かい動作の検出ができにくくなっており、そのため、例えば、食事の動作において、窒息や誤嚥を引き起こす前兆などの細かい動きには対応することができない。

本発明は上記の点に鑑みて為されたもので、動作を識別するための設定を複雑になることなく容易に行うことができるようにするとともに、細かい動作にも確実に対応できるようにした生体の動作識別システム及び生体の動作識別方法を提供することを目的とする。

このような目的を達成するための本発明の生体の動作識別方法は、生体が行う特定の動作を検出する１もしくは複数の動作検出手段と、該動作検出手段からの検出信号に基づいて上記生体の特定の動作を識別する識別処理部を備えた生体の動作識別システムにおいて、
上記識別処理部を、上記動作検出手段からの検出信号の全部若しくは一部を用いて特定の動作を判別して該判別結果を出力する機械学習手段を備えて構成している。

ここで、特定の動作とは、例えば、食事動作、就寝動作、正座動作、腰掛動作、歩行動作、走行動作、入浴動作、排泄動作等、一連の動作をはじめ、例えば、表情に係る動作，目の動き，呼吸，体温，筋肉の動き、音声などの音、皮膚などの色の変化，表面には出ないが内部の動き等、生体の一部の変化等も含む概念である。また、静止状態も含む概念である。

また、動作検出手段としては、例えば、フォトセンサ（フォトインタラプタ（透過型とアクチエータ型），フォトリフレクタ（反射型）等）、光電素子（フォトレジスタ，LDR（light-dependent resistor），サーモパイル赤外線センサ（熱起電力効果），焦電型赤外線センサ等）、イメージセンサ（リニアイメージセンサ，CCD，CMOSイメージセンサ等）、光リモコン（受光モジュール等）、光センサ（光電子増倍管，イメージインテンシファイア等）、視覚センサ（マシンビジョン，カラーセンサ，全方位視覚，両眼視覚，能動視覚等）、嗅覚センサ（匂いセンサ，匂いコードセンサ，油臭センサ，バイオスニファ等）、味覚センサ（コク・キレセンサ等）、温度センサ（体温計、半導体温度センサ、白金温度センサ、 サーミスタ、熱電対センサ，サーモスタット等）、温湿度センサ（湿度センサ，温湿度センサ等）、圧力センサ（血圧計、圧力センサ，触覚センサ，圧電素子（ピエゾ）等）、磁気センサ（MR，GMR，TMR，MI，SQUID等）、人感センサ（赤外線，超音波，可視光等）、近接センサ、近接スイッチ、超音波センサ、レーザーセンサ、ファイバセンサ、タッチセンサ、加速度センサ（圧電型，半導体等）、角速度センサ（タコジェネ，ジャイロセンサ等）、振動センサ、傾斜／回転センサ（ジャイロセンサ，ロータリーエンコーダ，レゾルバ，サーボ式傾斜角センサ等）、位置角度センサ（変位センサ，測長センサ，リニアスケール，エンコーダ，ポテンショメータ等）、方位角センサ（姿勢・方位センサ等）、液面センサ（レベルセンサ等）、漏液・水検出センサ、流量センサ、電流センサ（筋電センサ等）、電力センサ、バイオセンサ（電気化学バイオセンサ，オプティカルバイオセンサ等）、顔認識センサ、安全センサ、モーションセンサ（光学式，磁気式，慣性式等）、カウンタ（呼吸数計等）、心電センサ、血中濃度計、マイクロフォン、深度センサ、脈波センサ、RGBセンサ、RGB-Dカメラ装置などのカメラ装置が挙げられる。カメラ装置は、撮像データを画像処理して、生体の動作に係る検出信号を出力する。これらから、１つ若しくは複数選択される。動作検出手段は上記に限定されない。

このシステムによれば、機械学習手段により、学習結果から特定の動作を判別するので、例えば、動作検出手段が複数あっても、従来のようにこれらの各動作検出手段ごとに閾値を設定しなくても、各動作検出信号をまとめて特定の動作に関係付けることができ、そのため、動作を識別するための設定を複雑になることなく容易に行うことができるとともに、細かい動作にも確実に対応できるようになる。

これにより、識別処理部においては、機械学習手段が、例えば、予め動作検出手段からの検出信号に基づいて、特定の動作について予め学習しており、動作検出手段からの検出信号があると学習結果から特定の動作を判別し、判別結果を出力する。そのため、この判別結果から、特定の動作である場合には特定の動作が行われたことを確認することができる。尚、予定外の別の動作も確認できる。この場合、特定の動作を正常動作に設定しておけば、特定の動作が行われたと判別されれば、正常動作が行われ、予定外の別の動作のときは例えば異常と判断できる。あるいは、例えば正常動作と異常動作とを夫々特定の動作として設定しておけば、何れかの動作が行われたことを確認することができ、もし、異常動作のときは異常と判断できる。

例えば、特定の動作としての食事動作としては、座位において、円背姿勢（呼吸機能低下）、頸部伸展位（肩や頸部の不必要な緊張．食道への空間が狭くなる）、口のふくらみ（一口量で摂取しているか？）、早食い、かき込み、すすり込み、丸飲み等の動作がある。
これらを特定の動作として設定して識別することにより、食事動作においては、円背姿勢（呼吸機能低下）になっていないか？、頸部伸展位（肩や頸部の不必要な緊張．食道の空間が狭くなる）を行っていないか？、個人に適した食事姿勢を維持しているか？（例：横向き嚥下などを維持しているか?）、適切な一口量で摂取しているか？、固形物と流動物をどの順番で食べているか？、患者によっては異なる物性の食物を交互に嚥下させる交互嚥下を行っているか？、早食い，かき込み，すすり込み，丸飲み等危険な食べ方をしていないか？、食事ペースは良いか？、食事に集中しているか？（ぼーっとしていないか？）、食べながら話していないか？、食事中に呼吸パターンが変化していないか？などを知ることことができる。

本発明において、上記機械学習手段は、人工ニューラルネットワーク（ＡＮＮ）、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、決定木、ランダムフォレスト、k平均法クラスタリング、自己組織化マップ、遺伝的アルゴリズム、ベイジアンネットワーク、ディープラーニング手法などから選択される１つ若しくは複数の組み合わせで構成することができる。

そして、必要に応じ、上記機械学習手段は、予め、上記動作検出手段からの検出信号の全部若しくは一部から特定の動作に係る教師データを作成し、該教師データに基づく学習により得られる判断基準を記憶する学習機能と、上記動作検出手段からの検出信号に基づいて上記記憶した判断基準により対応する特定の動作を判別して該判別結果を出力する実行機能とを有した構成としている。動作検出手段からの総合的な検出信号であっても、これと特定の動作とを一対一で関連付けることができるようになり、簡便にしかも高精度で特定の動作を把握することができるようになる。

この場合、上記機械学習手段は、上記動作検出手段からの検出信号の特徴量を抽出する特徴量抽出手段と、学習時に上記特徴量抽出手段によって抽出された特徴量をラベリングして得られた特定の動作に対応する特徴量を有したラベル及び当該対応する特徴量からなる教師データを作成し、該教師データに基づく学習により得られる判断基準を記憶する判断基準記憶手段と、実行時に上記特徴量抽出手段によって抽出された特徴量と上記判断基準記憶手段に記憶された判断基準から対応するラベルを推定する推定手段と、該推定手段が推定したラベルを示す指示手段とを備えて構成することができる。

これによれば、ラベリングによって、例えば、正常動作に対応するラベルと、異常動作に対応するラベルを設けておけば、推定手段により該当するラベルが推定され、指示手段により該当するラベルが示されることから、正常動作、あるいは、異常動作の何れかの動作が行われたことを確認することができる。

更に、必要に応じ、上記特定の動作は、単一の動作若しくは単一の動作の複数の集合により特定される構成としている。例えば、食事動作の内、開口運動→咀嚼運動→嚥下運動→閉口運動からなる摂食嚥下動作の場合、開口運動，咀嚼運動，嚥下運動，閉口運動を、夫々、単一の動作として夫々を特定し、あるいは、開口運動→咀嚼運動→嚥下運動→閉口運動の一連の動作を１つの動作として特定することができる。

更にまた、必要に応じ、上記特定の動作は、生体が行う正常動作，生体に異常をもたらす虞のある危険動作，上記正常動作及び危険動作とは異なる異常動作の何れか１つ若しくは２つ以上から選択される構成とすることができる。
生体に異常をもたらす虞のある危険動作を選択すれば、異常事態を引き起こす予防に寄与することができる。

また、上記正常動作及び危険動作は、人体がテーブルの前に座して行う食事動作である構成にすることができる。
上記食事動作は、嚥下運動、咀嚼運動、開口運動（摂食運動）を含む構成にすることができる。

上記異常動作は、バイタルサインである構成としている。
バイタルサインとしては、例えば、食事動作の場合、上を向いての嚥下、顔が下向き，倒れる（窒息等による意識消失の疑い）、胸をたたく、首元を手で押さえる（ユニバーサル・チョークサイン）、苦しい表情、窒素時の急激なチアノーゼによる顔の色、むせる、せきをする、湿性咳嗽（痰を伴う咳）、乾性咳嗽、SpO2や呼吸パターンの変化、呼吸停止、胸郭の挙上なし（窒息の疑い）、頻脈、心拍や脈波の下降，上昇、湿性嗄声、痰がらみの声、ガラガラ声への変化（誤嚥の疑い）、苦しむようなうなる声（窒息の疑い）などが挙げられる。

更に、必要に応じ、上記識別処理部に、上記正常動作以外の少なくとも異常動作であることを判別したとき、警報を発する警報手段を備えた構成としている。

また、上記目的を達成するため、本発明は、上記生体の動作識別システムを用い、上記生体の特定の動作を識別する生体の動作識別方法にある。

本発明によれば、機械学習手段により、学習結果から特定の動作を判別するので、例えば、動作検出手段が複数あっても、従来のようにこれらの各動作検出手段ごとに閾値を設定しなくても、各動作検出信号をまとめて特定の動作に関係付けることができ、そのため、動作を識別するための設定を複雑になることなく容易に行うことができるとともに、細かい動作にも確実に対応できるようになる。

本発明の実施の形態に係る生体の動作識別システムの構成を示す図である。 本発明の実施の形態に係る生体の動作識別システムが識別する特定の動作例を示す図である。 本発明の実施の形態に係る生体の動作識別システムにおいて、機械学習手段の学習時における工程を示すフローチャートである。 本発明の実施の形態に係る生体の動作識別システムにおいて、機械学習手段の実行時における工程を示すフローチャートである。 本発明の第１の実施例に係り、検出項目に対して用いる検出器を示す表図である。 本発明の第１の実施例に係るシステム構成（多チャンネルアクティブ電極のシステム構成の概略）を示す図である。 本発明の第１の実施例に係るシステム構成（センサを用いたシステムの概略）を示す図である。 本発明の第１の実施例に係るシステム構成（磁気ユニットを用いたシステムの概略）を示す図である。 本発明の実施例１に係り、加速度計，筋電計，咽喉マイクを被験者に装着した状態及び加速度センサの向きを示す図である。 本発明の実施例１に係り、多チャンネル電極を被験者に装着した状態を示す図である。 本発明の実施例１に係り、磁気センサを被験者に装着した状態を示す図である。 本発明の実施例１に係り、磁気ユニットのソースを被験者に装着した状態を示す図である。 本発明の実施例１に係り、使用したセンサの仕様を示す表図である。 本発明の実施例1に係り、識別方法の概略を示す図である。 本発明の第１の実施例に係り、フレームシフトの様子を示す表図である。 本発明の第１の実施例に係り、ラベリングの様子を示す図である。 本発明の第１の実施例に係る予備実験の結果を示すグラフ図である。 本発明の第１の実施例に係る実験動作を示すフローチャートである。 本発明の実施例１に係り、被験者Ａのイベントの検出結果を示す図である。 本発明の実施例１に係り、被験者Ｂのイベントの検出結果を示す図である。 本発明の実施例１に係り、被験者Ｃのイベントの検出結果を示す図である。 本発明の実施例１に係り、摂食ペースの追従結果を示す図である。 本発明の実施例２に係り、センサを被験者に装着した状態を示す図である。 本発明の実施例２の実験結果を示す図である。 本発明の利用例を示す図である。

以下、添付図面に基づいて、本発明の実施の形態に係る生体の動作識別システム及び生体の動作識別方法について詳細に説明する。本発明の実施の形態に係る生体の動作識別方法は、本発明の実施の形態に係る生体の動作識別システムによって実現されるので、このシステムの説明において説明する。

本発明の実施の形態に係る生体の動作識別システムは、図１に示すように、生体（実施の形態では人体）が行う特定の動作を検出する１もしくは複数の動作検出手段（Ｔ１，Ｔ２，Ｔ３・・・・Ｔｎ）と、動作検出手段からの検出信号に基づいて生体の特定の動作を識別する識別処理部１とを備えている。

特定の動作は、単一の動作若しくは単一の動作の複数の集合により特定される。また、特定の動作は、図２に示すように、生体が行う正常動作，生体に異常をもたらす虞のある危険動作，正常動作及び危険動作とは異なる異常動作の何れか１つ若しくは２つ以上から選択される。実施の形態では、正常動作，危険動作及び異常動作の何れもが特定される。例えば、特定の動作は、人体がテーブルの前に座して行う食事動作であり、この食事動作においての正常動作及び危険動作は、人体がテーブルの前に座して行う通常の食事動作である。食事動作は、嚥下運動，咀嚼運動，開口運動（摂食運動）を含む。異常動作は、バイタルサインであリ、食事動作の場合、例えば、首元を手で押さえるユニバーサル・チョークサインにしている。

動作検出手段（Ｔ１，Ｔ２，Ｔ３・・・・Ｔｎ）は、実施の形態では複数設けられ、例えば、モーションセンサ、マイクロフォン、筋電センサ、心電センサ、呼吸センサ、SpO2センサ等が挙げられる。カラー画像（RGB）と奥行き画像（Depth）を測定するRGB-Dカメラ装置等のカメラ装置も有効である。カメラ装置は、撮像データを画像処理して、生体の動作に係る検出信号を出力する。

識別処理部１は、動作検出手段（Ｔ１，Ｔ２，Ｔ３・・・・Ｔｎ）からの検出信号の全部若しくは一部を用いて特定の動作を判別して該判別結果を出力する機械学習手段２を備えて構成されている。実施の形態では、機械学習手段２は、サポートベクターマシン（ＳＶＭ：Support Vector Machine）で構成されている。この機械学習手段２は、予め、動作検出手段（Ｔ１，Ｔ２，Ｔ３・・・・Ｔｎ）からの検出信号の全部若しくは一部（実施の形態では全部）から特定の動作に係る教師データを作成し、この教師データに基づく学習により得られる判断基準を記憶する学習機能と、動作検出手段（Ｔ１，Ｔ２，Ｔ３・・・・Ｔｎ）からの検出信号に基づいて記憶した判断基準により対応する特定の動作を判別してこの判別結果を出力する実行機能とを有している。

詳しくは、機械学習手段２は、動作検出手段（Ｔ１，Ｔ２，Ｔ３・・・・Ｔｎ）からの検出信号の特徴量を抽出する特徴量抽出手段３と、学習時に特徴量抽出手段３によって抽出された特徴量をラベリングして得られた特定の動作に対応する特徴量を有したラベル及び当該対応する特徴量からなる教師データを作成し、この教師データに基づく学習により得られる判断基準を記憶する判断基準記憶手段４と、実行時に特徴量抽出手段３によって抽出された特徴量と判断基準記憶手段４に記憶された判断基準から対応するラベルを推定する推定手段５と、推定手段５が推定したラベルを示す指示手段６とを備えて構成されている。例えば、食事動作の場合、正常動作，危険動作及び異常動作の何れかに分類したラベルを特定する。指示手段６は、正常動作，危険動作及び異常動作の何れかを示す。

識別処理部１には、指示手段６の指示結果を表示装置７に表示する表示手段８を備えている。表示装置７の表示は、例えば、食事動作の場合、正常動作，危険動作及び異常動作の何れかが表示される。また、識別処理部１には、正常動作以外の危険動作，異常動作であることを判別したとき、表示装置７に警告を表示し、警報器９に警報を発する警報手段１０が備えられている。

従って、本発明の実施の形態に係る生体の動作識別システムによって、生体の動作の識別を行うときは以下のようになる。
＜学習＞
図３に示すように、例えば、食事動作の場合、被験者に、正常動作，危険動作及び異常動作を夫々行わせ、識別処理部１は、標準データを収集する。識別処理部１は、動作検出手段（Ｔ１，Ｔ２，Ｔ３・・・・Ｔｎ）から、夫々の場合の検出信号を取得し（Ｓ１０１）、特徴量抽出手段３によりその特徴量を抽出する（Ｓ１０２）。それから、この特徴量をラベリングし、特定の動作（正常動作，危険動作及び異常動作）に対応する特徴量を有したラベルを特定し（Ｓ１０３）、このラベル及びこのラベルに対応する特徴量からなる教師データを作成し、この教師データに基づく学習により得られる判断基準を判断基準記憶手段４に記憶する（Ｓ１０４）。

＜実行＞
図４に示すように、識別処理部１が、動作検出手段（Ｔ１，Ｔ２，Ｔ３・・・・Ｔｎ）からの検出信号動を取得すると（Ｓ２０１）、特徴量抽出手段３が検出信号の特徴量を抽出する（Ｓ２０２）。推定手段５は、特徴量抽出手段３によって抽出された特徴量と判断基準記憶手段４に記憶された判断基準から対応するラベル（正常動作，危険動作及び異常動作）を推定する（Ｓ２０３）。指示手段６は、該当する正常動作，危険動作及び異常動作の何れかのラベルであることを示す（Ｓ２０４）。表示手段８はこれを表示する（Ｓ２０５）。また、警告手段は、正常動作以外の危険動作，異常動作であることを判別したとき、表示装置７に警告を表示し、警報器９により警報を発する（Ｓ２０５）。

この場合、ラベリングによって、例えば、正常動作に対応するラベルと、危険動作に対応するラベル及び異常動作に対応するラベルを設けてあるので、推定手段５が推定したラベルが、指示手段６により示されることから、正常動作、あるいは、危険動作及び異常動作の何れかの動作が行われたことを確認することができる。

このシステムによれば、機械学習手段２により、学習結果から特定の動作を判別するので、例えば、動作検出手段（Ｔ１，Ｔ２，Ｔ３・・・・Ｔｎ）が複数あっても、従来のようにこれらの各動作検出手段（Ｔ１，Ｔ２，Ｔ３・・・・Ｔｎ）ごとに閾値を設定しなくても、各動作検出信号をまとめて特定の動作に関係付けることができ、そのため、動作を識別するための設定を複雑になることなく容易に行うことができるとともに、細かい動作にも確実に対応できるようになる。

以下実施例を示す。
（１）第１の実施例
この実施例は、食事動作を識別するシステムであり、誤嚥を未然に防ぐことに有用な摂食・嚥下を検出するシステムである。摂食、嚥下は様々な動作の連動で成り立っており、摂食は口腔期、咽頭期、食道期に大別される。口腔期とは、食べ物が口腔内でかみ砕かれ唾液と混ざり合い、飲み込みやすい塊(食塊)となり口から咽頭へと送り込まれる動作の期間である。咽頭期とは、舌尖が持ち上がり、食塊が咽頭に達した後、舌骨が持ち上げられ、同時に咽頭も上前方に持ち上げられ咽頭蓋が反転し気道が閉じられ呼吸が一旦停止し、
食塊を食道まで導くまでの動作期間である。食道期とは、食道に食塊が導かれたあと、食塊が食道下方に送られるまでの動作期間である。これらは口腔内で起こる運動であるため、口腔期は目視で確認できても咽頭期と食道期の同定や、飲み下しした量を推定することは困難である。さらに、摂食ペースの同定をするために開口の検出も必須である。本実施例では、口腔期を咀嚼、咽頭期と食道期を嚥下と再定義した上で、摂食・嚥下を開口と咀嚼、および嚥下のサイクルで成り立つと考えた。さらに、摂食ペースと、口腔内の食塊残量を推定する必要もあり、それらを勘案した上で状態検出のために必要な筋電などの信号の決定、およびシステム構成を行った。

（１−１）デバイスの決定
検出するべき項目，その有用性及び用いるセンサを図５に示す。口腔期，咽頭期，食道期において，下顎の運動，咀嚼筋および舌骨上筋群の筋活動，咀嚼音・嚥下音がそれぞれ変化し，特定動作の検出に資する情報が含まれると予想されることから，加速度センサ，筋電センサ，多チャンネル筋電センサ，咽喉マイクを装着した。尚、本実施例でデータは提示しないが、同時に心電計、SpO2計、呼気計、体動を検知する磁気センサも用いた。

（１−２）システム構成
本実施例で用いた動作検出のシステムは三軸加速度計、咀嚼筋活動を検知するための筋電計、舌骨上筋群の活動を検出するための多チャンネル電極、咽喉マイクからなる。図６乃至図８にシステム構成の概略図を示した。計測に用いたセンサには、三軸加速度センサ(ZB-150H、NIHON KOHDEN)、筋電計(ZB-150、NIHON KOHDEN)、表面筋電位(Surface Electromyogram: EMG)を計測するために多チャンネル筋電計、咽喉マイクを用いた。また、今回の解析では用いなかったが、他にも心電図送信機(ZB-151.H)、呼吸送信機(ZB-153H、NIHON KOHDEN)、SpO2送信機(ZB-157H、NIHON KOHDEN)、及び体動の検出のために磁気センサを体に8個装着してデータの収集も同時に行った。図９乃至図１２には、センサを装着した状態を示した。加速度センサについては図９内に示した方向に各軸が向くように装着した。

多チャンネル電極の信号は、耳朶に貼りつけた基準電極と多チャンネルアクティブ電極を構成する各電極との電位差を、もう片方の耳朶に貼りつけたGND電極を基準に差動増幅することで計測した。
三軸加速度と咀嚼筋の表面筋電位はデータ収録装置(WEB-1000、NIHON KOHDEN)を用い、舌骨上筋群の表面筋電位と咽喉マイクについてはAD変換器(NI USB-6218、NATIONAL INSTRUMENTS) を用い，これらの同期計測を行った。図１３に各種センサの仕様を示す。

（１−３）食事動作識別法
食事動作の識別アルゴリズムの概略図を図１４に示す。動作識別のアルゴリズムには大きく分けて、「特徴量を抽出する特徴抽出部」と「機械学習による動作学習、識別部」で構成される。本実施例では計測した筋電信号を用いて、特徴量を抽出し、サポートベクターマシンによって動作識別を行う。以下に各部分について詳しく述べる。
（１−３−１）特徴抽出部
動作識別を行う前に、舌骨上筋群のEMG[V]から、動作に関連した特徴的な信号成分（特徴量）を抽出する。この特徴量には時間領域の特徴であるRoot mean square（RMS）と，周波数領域の特徴であるCepstrum coefficient（CC）を用いた。
Root Mean Square(RMS)
RMSは式(1.)で表され、EMG信号の振幅に関する特徴が得られる。

Cepstrum coefficient(CC)
CCは式(2)で表される。

周波数領域から抽出する特徴量であり、パワースペクトルの包絡形状と微細構造の分離を行える特徴がある。次数が低いと包絡形状の特徴が、次数が高いと微細構造の特徴が表れる。

RMSとCCの計算には過去nサンプルのEMGを用いる。この際、nサンプル分を一つのフレームとして切り出して計算し、切り出す範囲を一定周期でシフトさせていくフレームシフト方式を用いる。フレームシフトを行う様子を以下の図１５に示す。

本実施例では、長さ128ms（0.5ms×256）のフレームを、16ms（0.5ms×32）の周期でシフトさせながらEMG信号を切り出して特徴量を抽出した。
さらに式(3)のような移動平均を行って特徴量を平滑化した。ここで，pはフレーム番号，Mは移動平均点数である。

RMS，CCを用いて構成した特徴ベクトルに，動作ラベルを付与し，学習・識別に用いる。

（１−３−２）ラベリング
図１６に示すように、SVMによる学習では、ラベリングをする必要がある。本実施例では開口、咀嚼、嚥下の動作を識別した。以下にラベリングの手順とその様子を示した。ラベリングは、開口と嚥下のみ行い、その間を咀嚼とした。上の波形が舌骨上筋群のEMG、中央の波形が咀嚼筋のEMG、下の波形が三軸加速度の各成分の二乗和を示す。
(1)開口時に口を開ける動作が必要になるため1口目の開口開始は加速度や筋活動の値が大きく変化し始める部分とした。
(2)開口終了は口が閉じる動作であり、加速度や筋活動の値が低下したところとし、(1)と(2)の間を開口とラベリングした。
(3)嚥下開始は咀嚼が終了してから行われるので咀嚼筋の活動が大きく低下した部分とした。
(4)嚥下終了は(3)の次の舌骨上筋群の活動が落ちた部分とし、(3)と(4)の間を嚥下とラベリングした。
図１６の左の縦線から順に(1)(2)(3)(4)を示しており、開口とラベリングした部分を（イ）咀嚼とラベリングした部分を（ロ）、嚥下とラベリングした部分を（ハ）として示した。

（１−３−３）動作学習と識別部
最初に学習データを用いて識別関数を構成する必要がある。SVMでは、学習に用いる際の動作学習部と、学習結果を基に識別を行う動作識別部がある。
動作学習部では、動作クラスを付与した学習データからSVMの初期設定パラメータを求め、識別関数を構成する。γとCをSVMハイパパラメータとし、初期設定パラメータであるγとCは格子探索により決定する。γとCの探索範囲はγ={ 、 、…、 }、C={ 、 、…、 }の48通りの組み合わせとし、各格子点の識別率の中から最も高い識別率を示す組み合わせを探索する。なお、この際の識別率は識別結果と、学習に用いたデータの動作クラスとの正誤から求められている。
動作識別部では学習によって作成された識別関数を基に特徴ベクトルを識別し、動作クラスを付与する。その後、過去k個の付与された動作クラスに対して多数決判定を行い、摂食・嚥下の状態を最終決定する。

（１−３−４）SVMマルチクラス拡張
SVMは2クラスを識別する手法であるため、たくさんのクラスを識別する際にはマルチクラスへの拡張が必要となる。一般的にこの方法にはone-against-one法とone-against-all法の2種類が存在するが、本手法ではone-against-one法を採用した。これは、O個のクラスすべての組み合わせ、すなわちO(O-1)/2個の識別関数を構成し、各識別関数を用いて特徴ベクトルの識別を行う方法である。この手法の優位性はHsuらによる2種類の手法の学習時間と識別精度に関する比較実験より示されている。

（１−４）食事動作の識別
若年男性を対象に摂食・嚥下時の咀嚼筋のEMG、顎の運動による加速度、舌骨上筋群のEMGおよび嚥下音を計測し、上記した食事動作の識別結果を示す。
（１−４−１）実験条件
被験者は、舌機能が正常な成人男性3名(年齢 23.0±1.0 歳、mean±SD)とした。先に述べた摂食・嚥下の動作識別実験動作として、コーンフレーク、プリン、水の通常時の摂食・嚥下をする動作、それらを無理のない早さで摂食・嚥下する動作、さらに異常動作のサンプルとして咳1と題して咳に近い咳払い、咳2と題してむせに近い咳払いの計5動作を行った。各動作10回を1セットとし、それぞれ2セット行った。各動作の1セット目をSVMの学習用、2セット目を各動作の推定用に用いた。今回は通常早さと無理のない範囲で早くコーンフレークの摂食・嚥下したデータと咳1および咳2のデータで学習、識別を行った。

あらかじめコーンフレークを通常早さで10回摂食・嚥下する予備実験を行った。予備実験は被験者6名(年齢 22.5±1.5歳、mean±SD)で行った。10回の嚥下間隔をそれぞれをラップタイム形式で計測した。結果を図１７に示す。被験者ごと結果の線の上端が最長の咀嚼時間であり、下端が最短の咀嚼時間、中ほどの灰色の円が平均値である。この結果、共通の摂食・嚥下ペースが見当たらないことから、人によって違うと判断し、動作周期は規定せずに実験を行った。
詳細な実験動作を示したフローチャートを図１８に示す。なお、計測、解析した動作を（＊）、計測のみ行った動作を（＊＊）で示した。

（１−４−２）実験結果
（１−４−２−１）イベントの検出結果
各被験者のイベントの検出結果を図１９乃至図２１に結果を示す。上から咳2と推定されたところ、咳1と推定されたところ、嚥下と推定されたところ、咀嚼と推定されたところ、開口と推定されたところ、判定なしと推定されたところに夫々マークを入れた。

（１−４−２−２）摂食ペースの検出結果
以下に通常早さで摂食・嚥下した時を実線、無理のない範囲で早く摂食・嚥下した時の咀嚼時間を点線、平均値の推移を一点差線にして図２２に示す。

（２）第２の実施例
この実施例は、食事動作を識別するシステムであり、食事動作の異常検出に関する例である。
被験者は，健常な成人男性5名（平均年齢21歳，平均身長171.0cm）とした。身体運動は，磁気式3次元位置・姿勢計測システム（LIBERTY, Polhemus Co。）を用いて計測した。本システムはコントロールユニット，ソース，複数のセンサから構成され，ソースが発生した磁界の変化をセンサで検出することで，ソースを基準座標系とする各センサの位置・姿勢を算出する。本実施例では、図２３に示すように、ソースを腰部，センサを胸部と両手の甲にそれぞれ固定した。

測定動作は，一般的な食事動作と異常動作とした。被験者は，まず初めに，お米を食べる動作，お味噌汁を飲む動作，コップに入った飲み物を飲む動作，おかずを食べる動作，お米を掻き込む動作を模擬的に行い，最後に異常動作の1つであるチョークサインを行った。食事のスピードは人によって異なることから食事動作の時間や回数は規定せず行った。また，チョークサインは上体を前後左右に動かしながら行った。これら一連の動作を1セットとし，サンプリング周波数240Hzにて合計2セットの計測を行った。

解析手法は、機械学習の一つであるSVM（Support Vector Machine）を用いて，測定した身体各部の3次元位置・姿勢データから食事動作と異常動作の2クラス分類を行った。特徴量には，各センサの位置座標と両手甲の距離を用いた。動作ラベルは，食事動作を0，異常動作を1として付与した。カーネル関数にはRBFカーネルを採用し，そのハイパーパラメータ≡とCを格子探索により最適化した。≡とCの探索範囲は≡＝{2-5，2-4，…，20}，C＝{21，22，…，28}の48通りの組み合わせとし，各格子点の識別率の中から最も高い識別率を示す組み合わせを探索した。計測した最初の1セットでSVMの学習を行い，残りの1セットで識別精度の評価を行った。SVMによる識別結果は，過去nサンプルの多数決判定を行うことで平滑化した。

本実施例では，チョークサインを正しくチョークサインと識別した割合を識別率（Accuracy）としてを算出した。下に計算式を示す。

識別率
=（正しく識別されたチョークサインと食事動作のラベル数）÷（全動作のラベル総数）
×100 [%]

被験者5名の識別結果を図２４に示した。識別率は，86。5〜99。0%に分布し，平均93。7±4。1%の精度で食事動作と異常動作を識別できることが確認された。

平成23年度に、我が国の死因第3位は「脳血管疾患」から「肺炎」へと移り変わった。肺炎による死亡者12万4652人のうち96.5％が65歳以上の高齢者であり、その約半数は「摂食・嚥下障害による誤嚥性肺炎」が原因とされている。嚥下障害とは、口腔機能の筋肉の衰えにより飲み込む過程に問題が起き、食物を飲み込めなくなったり、食物が気管へ流入（誤嚥）したりする障害である。また、後期高齢者の約30％に嚥下障害があると言われており、「日本国内の患者数は少なくとも500万人」が見積もられている。更に、高齢者の多くが、摂食・嚥下障害の低下を自覚できず、自身の能力を超えた食物を摂取することで誤嚥し、むせや食塊がのどに詰まった時に起こるチョークサインといった異常動作を起こし、気道閉鎖（窒息）で死に至るケースのみでも年間5000件と言われている。このような誤嚥や窒息の事故は、家庭内だけでなく、老人ホームなどの介護施設でも急増しており、介護事故に関する裁判例も散見されるようになってきた。

本発明は、この解決策として、食事見守り支援の技術として提供することができる。食事見守り支援は食事をしている人が誤嚥しないように食事を見守ることであるが、老人ホームでは介護に従事する人員不足などの問題があり、食事見守り支援は、見守るポイントがむせやこぼし、頸部や体幹の姿勢から摂食ペースや一口で食べる量、患者の注意力が散漫してないかなど多岐にわたり、これらすべてを人的に見守るのは非常に労力のいることであると考えられる。実際には介護士などの有識者がそばで見守ることであったり、直接モニタリングすることも可能ではあるが、家族や介護士などが普段の業務と兼任して行うと、疲労がたまったり業務への支障をきたす可能性もある。食事見守り支援を自動化することで介護士や家族の負担が減ることが見込まれる。高齢化社会に直面し、介護者負担などの問題も顕在化してきた我が国にとって、摂食嚥下障害とその周りの問題は、今後ますます深刻化することが予想されており、喫緊の対策が不可欠である。

本発明では、食事中の異常動作の検出や、異常動作に繋がる可能性のある動作のセンシングをすることで、介護士などの食事支援・指導の有識者がまるでそこにいるような食事見守り支援を自動で行うシステムの構築を目指すことができる。そのためにはリアルタイムで今何を食べているか、今咀嚼しているのかなどを自動検知で把握する必要があると考えられる。自動検知の結果から、食事見守り支援の有識者がまるでそこにいるような食べ方指導や、異常動作をしていたら、家族や介護士に警報が鳴るようなシステムの構築を目指すことができる。

高齢者や嚥下障害者の誤嚥，窒息を防ぐためには，
『自身の嚥下能力に適した食物を，適切なペース，適切な一口量で食べること』
が重要であり，
『汁物をすすり飲む，ご飯をかき込む，姿勢が悪いなどの危険動作（注意動作）』
は，誤嚥や気道閉鎖を引き起こす危険性が極めて高い．食事中の誤嚥では，
『むせや咳』
が生じるが，日常的な嚥下機能の低下を自覚したり，効果的なリハビリを行うためには，
『どのような食事条件の中で，どの程度の頻度で誤嚥が生じるかを，日々記録すること』
が重要となる。また，万が一，食物が気道を塞ぎ，窒息の兆候が見られた場合には，『速やかに家族や介護者等に通報すること』
が必要である。高齢者や嚥下障害者の食事を見守るためには，『』で示した各レベルでの状態検出が不可欠といえるが、本発明は，これに応えることができる。

図２５に示すように、本発明は、手首部に装着したモーションセンサ（3軸加速度，3軸角速度，3軸地磁気），筋電センサ，心拍センサ，マイクロフォンの情報を，SVM（サポートベクターマシン）をはじめとする機械学習法（人工知能）を用いて分析することで，本人の食事ペース，注意動作（すすり飲む，かき込む，上体の姿勢），誤嚥（むせ，咳など），窒息時のボディーサインなどの各状態の検知を行う技術として提供することができる。

Ｔ１〜Ｔｎ 動作検出手段
１ 識別処理部
２ 機械学習手段
３ 特徴量抽出手段
４ 判断基準記憶手段
５ 推定手段
６ 指示手段
７ 表示装置
８ 表示手段
９ 警報器
１０ 警報手段

Claims (11)

1. 生体が行う特定の動作を検出する１もしくは複数の動作検出手段と、該動作検出手段からの検出信号に基づいて上記生体の特定の動作を識別する識別処理部を備えた生体の動作識別システムにおいて、
   上記識別処理部を、上記動作検出手段からの検出信号の全部若しくは一部を用いて特定の動作を判別して該判別結果を出力する機械学習手段を備えて構成したことを特徴とする生体の動作識別システム。
2. 上記機械学習手段は、人工ニューラルネットワーク（ＡＮＮ）、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、決定木、ランダムフォレスト、k平均法クラスタリング、自己組織化マップ、遺伝的アルゴリズム、ベイジアンネットワーク、ディープラーニング手法などから選択される１つ若しくは複数の組み合わせで構成されることを特徴とする請求項１記載の生体の動作識別システム。
3. 上記機械学習手段は、予め、上記動作検出手段からの検出信号の全部若しくは一部から特定の動作に係る教師データを作成し、該教師データに基づく学習により得られる判断基準を記憶する学習機能と、上記動作検出手段からの検出信号に基づいて上記記憶した判断基準により対応する特定の動作を判別して該判別結果を出力する実行機能とを有したことを特徴とする請求項１記載の生体の動作識別システム。
4. 上記機械学習手段は、上記動作検出手段からの検出信号の特徴量を抽出する特徴量抽出手段と、学習時に上記特徴量抽出手段によって抽出された特徴量をラベリングして得られた特定の動作に対応する特徴量を有したラベル及び当該対応する特徴量からなる教師データを作成し、該教師データに基づく学習により得られる判断基準を記憶する判断基準記憶手段と、実行時に上記特徴量抽出手段によって抽出された特徴量と上記判断基準記憶手段に記憶された判断基準から対応するラベルを推定する推定手段と、該推定手段が推定したラベルを示す指示手段とを備えて構成したことを特徴とする請求項３記載の生体の動作識別システム。
5. 上記特定の動作は、単一の動作若しくは単一の動作の複数の集合により特定されることを特徴とする請求項１乃至４何れかに記載の生体の動作識別システム。
6. 上記特定の動作は、生体が行う正常動作，生体に異常をもたらす虞のある危険動作，上記正常動作及び危険動作とは異なる異常動作の何れか１つ若しくは２つ以上から選択されることを特徴とする請求項５記載の生体の動作識別システム。
7. 上記正常動作及び危険動作は、人体がテーブルの前に座して行う食事動作であることを特徴とする請求項６記載の生体の動作識別システム。
8. 上記食事動作は、嚥下運動，咀嚼運動，開口運動（摂食運動）を含むことを特徴とする請求項７記載の生体の動作識別システム。
9. 上記異常動作は、バイタルサインであることを特徴とする請求項６乃至８何れかに記載の生体の動作識別システム。
10. 上記正常動作以外の少なくとも異常動作であることを判別したとき、警報を発する警報手段を備えたことを特徴とする請求項６乃至９何れかに記載の生体の動作識別システム。
11. 上記請求項１乃至１０何れかに記載の生体の動作識別システムを用い、上記生体の特定の動作を識別することを特徴とする生体の動作識別方法。