JP2016165362A - 食事時間推定方法、食事時間推定装置及び食事時間推定プログラム - Google Patents

Abstract

【課題】食事時間の精度低下を抑制すること。【解決手段】情報処理装置１００は、呼吸信号を取得し、呼吸の強度と周期を検出し、呼吸の強度と周期が所定の閾値から変動した頻度から食事時間を推定する。【選択図】図１

Description

本発明は、食事時間推定方法、食事時間推定装置及び食事時間推定プログラムに関する。

メタボリック症候群や糖尿病を始めとする生活習慣病の予防や、ダイエット、医療サービスなどのヘルスケアが注目されている。かかるヘルスケアを行う場合には、日頃の運動や食事などの生活習慣を記録することにより、自己の生活習慣の問題点に気付き、改善していくプロセスが求められる。

例えば、「食事」に関する予防策として、下記の通り、「いつ」、「何を」、「どれだけ」などの食事のコントロール方法が挙げられている。具体的には、規則正しく三食を摂る（いつ）、朝食をとる（いつ）、バランス良く栄養をとる（何を）、カロリーを摂取し過ぎない（どれだけ）、塩分は控える（何を）といった項目が挙げられている。

ここで、例えば、「いつ」食べたのかという記録があれば、不規則な食習慣を検知し、予防のアドバイスを提供するなどのサービスを実施することもできる。

例えば、食事判定を行う技術の一例として、食行動検知システム、発話・飲食状態検出システムや食事行動検出装置などが提案されている。例えば、食行動検知システムでは、食物摂取の際の、腕を上げて降ろす動作を加速度センサを用いて検出することにより、食事判定を行う。また、発話・飲食状態検出システムでは、物を食べる際に咀嚼する事を利用し、体内音の咀嚼特有の周波数パターンを検出する。また、食事行動検出装置の場合、食卓上などに赤外線センサを設置した状況の下、食卓付近で人体を検出した後に人体が頻繁に動いているかどうかを閾値処理する。

ところが、これらの技術のいずれにおいても、食事行動を推定するために、食事の仕方が制限されたり、あるいは食事行動を推定する場所に制約があったりするので、汎用性に欠ける面がある。例えば、食行動検知システムで想定される加速度の傾向は、あくまでも食物摂取時になされる腕の動作の一面にしか対応しておらず、それ以外の腕の動作がなされる場合には加速度の傾向が異なるので、検出漏れが発生する。また、発話・飲食状態検出システムの場合、食事時にマイクを首に装着させることになるので、身体に負担がかかり、かつ見栄えも悪くなってしまう。また、食事行動検出装置の場合、赤外線センサが設置された場所のみの、固定された環境での食事しか認識することはできない。

また、食事判定に脈波を用いる技術の一例として、生活管理端末装置も提案されている。この生活管理端末装置では、食事時に起る咀嚼特徴が現れることに加え、脈拍数が上昇し、かつ皮膚導電率に急激な上昇がない場合に食事中であると判断する。

特開２０１１−４９６８号公報 特開２００３−１７３３７５号公報 特開２０１１−１１５５０８号公報 特開２００４−８１４７１号公報 特開２００８−６１７９０号公報

しかしながら、上記の技術では、次に説明するように、食事時間に誤判定が起こる場合がある。

すなわち、上記の生活管理端末装置では、食事判定に皮膚導電率が用いられる。かかる皮膚導電率は、発汗時等にその計測精度が低下するので、食事判定にも誤判定が発生する可能性が高まる。また、上記の生活管理端末装置において皮膚導電率を用いずに脈拍数だけを用いたとしても、食事以外の原因、例えば精神の緊張、環境温度の変化や運動行為などにより脈拍数が上昇するので、この場合にも誤判定が起こる。

１つの側面では、本発明は、食事時間の精度低下を抑制できる食事時間推定方法、食事時間推定装置及び食事時間推定プログラムを提供することを目的とする。

一態様の食事時間推定方法は、コンピュータが、呼吸信号を取得し、呼吸の強度と周期を検出し、前記呼吸の強度と周期が所定の閾値から変動した頻度から食事時間を推定する処理を実行する。

食事時間の精度低下を抑制できる。

図１は、実施例１に係るヘルスケア支援システムに含まれる各装置の機能的構成を示すブロック図である。 図２は、人体における喉頭蓋の働きの一例を示す図である。 図３は、呼吸信号の一例を示す図である。 図４は、呼吸信号の一例を示す図である。 図５は、呼吸信号の一例を示す図である。 図６は、呼吸信号の一例を示す図である。 図７は、呼吸信号管理表の一例を示す図である。 図８は、呼吸信号管理表の一例を示す図である。 図９は、呼吸信号管理表の一例を示す図である。 図１０は、呼吸信号管理表の一例を示す図である。 図１１は、呼吸信号管理表の一例を示す図である。 図１２は、嚥下の判定結果の統合例を示す図である。 図１３は、嚥下管理表の一例を示す図である。 図１４は、食事時間管理表の一例を示す図である。 図１５は、実施例１に係る食事時間推定処理の手順を示すフローチャートである。 図１６Ａは、呼吸信号の一例を示す図である。 図１６Ｂは、呼吸信号の微分波形の一例を示す図である。 図１６Ｃは、嚥下の検出方法の一例を示す図である。 図１７は、応用例に係る食事時間推定処理の手順を示すフローチャートである。 図１８は、実施例１及び実施例２に係る食事時間推定プログラムを実行するコンピュータのハードウェア構成例を示す図である。

以下に添付図面を参照して本願に係る食事時間推定方法、食事時間推定装置及び食事時間推定プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［システム構成］
図１は、実施例１に係るヘルスケア支援システムに含まれる各装置の機能的構成を示すブロック図である。図１に示すヘルスケア支援システム１は、各種のヘルスケア支援サービスを提供するものである。例えば、ヘルスケア支援サービスの一例として、センサ端末１０により採取されたセンシングデータを用いてセンサ端末１０のユーザの生活行動、例えば食事時間を記録するサービス、さらには、その記録を活用する派生のサービスなどが挙げられる。

かかるヘルスケア支援サービスの一環として、ヘルスケア支援システム１は、ユーザの食事時間を呼吸により推定する場合に、呼吸信号に現れる嚥下の特徴を持つ区間が連続する頻度によって食事時間を推定する食事時間推定サービスを実現する。これによって、例えば、食事以外の外乱、例えば発声、深呼吸や運動などの場面で嚥下と誤認識されるのを抑制し、もって食事時間の誤判定を抑制する。加えて、呼吸のセンシングに絞ることで、食事の仕方が制限させること、あるいは食事行動を推定する場所に制約が生じるのを抑制し、その汎用性を高める。

図１に示すように、ヘルスケア支援システム１には、センサ端末１０と、情報処理装置１００とが収容される。なお、図１には、センサ端末が１つである場合を図示したが、ヘルスケア支援システム１には、複数のセンサ端末が収容されることとしてもかまわない。

これらセンサ端末１０及び情報処理装置１００の間は、相互に通信可能に接続される。ここでは、センサ端末１０及び情報処理装置１００がＢＬＥ（Bluetooth（登録商標） Low Energy）などの近距離無線通信により接続される場合を想定するが、有線または無線を問わず、任意のネットワークを介して互いを接続することができる。例えば、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの構内通信網を始め、インターネット（Internet）などの任意の種類の通信網を採用できる。

センサ端末１０は、センサを実装する端末装置である。

一実施形態として、センサ端末１０には、ウェアラブルガジェットの他、ヘルスケア専用のセンサなどを採用できる。かかるセンサ端末１０には、呼吸センサが実装される。この呼吸センサを用いて、センサ端末１０は、センサ端末１０を利用するユーザの呼吸信号を測定する。このように呼吸センサが実装される場合、一例として、ユーザの生体部位、例えば胸や鼻などの呼吸器の近傍に装着する装着型の呼吸センサを採用することができる。この場合、呼吸器の体表の膨張や収縮を測定するタイプのものでもよいし、骨伝導により呼吸音を測定するタイプのものであってもかまわない。また、装着型の呼吸センサに限らず、肌が撮像された画像の輝度変化から呼吸の検出をユーザの生体部位に非接触の状態で実現することとしてもかまわない。

ここで、センサ端末１０から情報処理装置１００へは、上記の呼吸信号が伝送される。このように呼吸信号を伝送する場合、センサ端末１０は、呼吸信号をリアルタイムで情報処理装置１００へ伝送することもできるし、所定の期間、例えば日次、週次や月次にわたって蓄積された呼吸信号を情報処理装置１００へ伝送することもできる。

情報処理装置１００は、上記のヘルスケア支援サービスを提供するコンピュータである。かかる情報処理装置１００には、携帯端末装置、据置き型やノート型のパーソナルコンピュータを含む計算機全般を採用できる。なお、上記の携帯端末装置には、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、タブレット端末やスレート端末などがその範疇に含まれる。

一実施形態として、情報処理装置１００は、パッケージソフトウェアやオンラインソフトウェアとして上記のヘルスケア支援サービスを実現する食事時間推定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、情報処理装置１００は、センサ端末１０から受け付けた呼吸信号を用いて、センサ端末１０のユーザの食事時間を推定する。その上で、情報処理装置１００は、食事時間を記録することができる他、それまでに記録された食事時間から所定期間、例えば１週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時間から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりすることもできる。例えば、情報処理装置１００が有する表示デバイス、音声出力デバイス、印字デバイスなどの出力デバイスを通じて、上記の各種の情報を出力させることができる。また、情報の出力先は、必ずしも情報処理装置１００に限定されず、ユーザが使用する他の端末装置とすることもできるし、その関係者、例えばユーザの親族、医療または介護の担当者などが使用する端末装置とすることもできる。これによって、上記のヘルスケア支援サービスが実現される。

［センサ端末１０の構成］
次に、本実施例に係るセンサ端末１０の機能的構成について説明する。図１に示すように、センサ端末１０は、呼吸信号測定部１１と、通信Ｉ／Ｆ（InterFace）部１２とを有する。なお、センサ端末１０は、図１に示した機能部以外にも既知のコンピュータが有する機能部を有することとしてもよい。例えば、ウェアラブルガジェットがセンサ端末１０として実行される場合、ウェアラブルガジェットが標準装備するハードウェア及びソフトウェアを実装できるのは言うまでもない。

呼吸信号測定部１１は、上記の呼吸信号を測定する処理部である。

一実施形態として、呼吸信号測定部１１は、呼吸センサを制御して、所定のサンプリング周期で呼吸に関連する物理量をセンシングさせる。ここでは、一例として、呼吸器の体表の膨張や収縮が現れる体積が電気信号に変換される場合を想定する。この場合、呼吸センサのサンプリング間隔に対応する時間ごとに呼吸センサによりセンシングされた体積の測定結果を表す電圧が得られる。これら時間及び電圧の時系列データが呼吸信号として通信Ｉ／Ｆ部１２へ出力されることになる。なお、ここで言う「時間」は、センサ端末１０上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。

通信Ｉ／Ｆ部１２は、他の装置、例えば情報処理装置１００などとの間で通信制御を行うインタフェースである。

一実施形態として、センサ端末１０及び情報処理装置１００間がＢＬＥ等の近距離無線通信により接続される場合、通信Ｉ／Ｆ部１２には、ＢＬＥの通信モジュールを採用できる。また、ＬＡＮ等により接続される場合、通信Ｉ／Ｆ部１２には、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１２は、呼吸信号測定部１１により測定された呼吸信号などを情報処理装置１００へ送信したり、また、呼吸信号の送信間隔や呼吸信号のサンプリングレートに関する指示などを受信したりする。

［情報処理装置１００の構成］
次に、本実施例に係る情報処理装置１００の機能的構成について説明する。図１に示すように、情報処理装置１００は、通信Ｉ／Ｆ部１１０と、第１検出部１２１と、第２検出部１２２と、第３検出部１２３と、嚥下行動判定部１３０と、嚥下頻度算出部１４０と、推定部１５０と、サービス提供部１６０とを有する。なお、情報処理装置１００は、図１に示した機能部以外にも既知のコンピュータが有する機能部、例えば各種の入出力デバイスなどを有することとしてもよい。

通信Ｉ／Ｆ部１１０は、他の装置、例えばセンサ端末１０などとの間で通信制御を行うインタフェースである。

一実施形態として、情報処理装置１００及びセンサ端末１０間がＢＬＥ等の近距離無線通信により接続される場合、通信Ｉ／Ｆ部１１０には、ＢＬＥの通信モジュールを採用できる。また、ＬＡＮ等により接続される場合、通信Ｉ／Ｆ部１１０には、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１１０は、センサ端末１０から呼吸信号などを受信したり、また、呼吸信号の送信間隔や呼吸信号のサンプリングレートに関する指示などをセンサ端末１０へ送信したりする。

上記の呼吸信号は、センサ端末１０から受信してからリアルタイムで後段の機能部に入力することもできるが、食事時間の推定や記録は必ずしもリアルタイムで実行されずともかまわないので、ここでは、一例として、上記の呼吸信号が所定の期間、例えば日次、週次や月次にわたって蓄積された後に呼吸信号が後段の機能部へ入力される場合を想定することとする。

また、上記の呼吸信号は、一例として、呼吸成分に対応する周波数帯の信号成分、例えば１０ｂｐｍ以上６０ｂｐｍ未満の周波数帯を通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタ（Band-Pass Filter）により、ノイズが除去された呼吸信号が後段の機能部へ入力されることとする。なお、ここでは、ＢＰＦにより呼吸信号のノイズを除去する場合を例示したが、ＢＰＦ等による信号処理を実行せずにそのまま後段の機能部に入力することとしてもかまわない。

第１検出部１２１、第２検出部１２２及び第３検出部１２３は、いずれも呼吸信号に現れる嚥下の特徴を検出する処理部である。

ここで、第１検出部１２１、第２検出部１２２及び第３検出部１２３の処理内容について説明するのに先立って、第１検出部１２１、第２検出部１２２及び第３検出部１２３が呼吸信号から検出する嚥下の特徴について説明する。

図２は、人体における喉頭蓋の働きの一例を示す図である。図２には、喉頭蓋２０の周辺部が拡大された拡大図２０Ａ及び拡大図２０Ｂが併せて示されている。図２に示す拡大図２０Ａには、ＯＮ状態の喉頭蓋２０が示されており、図２に示す拡大図２０Ｂには、ＯＦＦ状態の喉頭蓋２０が示されている。図２の拡大図２０Ａに示すように、呼吸が行われる場合、喉頭蓋２０が開くことにより、口、気管及び肺の気道が通じる。一方、図２の拡大図２０Ｂに示すように、食物等を飲み込む場合、喉頭蓋２０が閉じることにより、口、食道及び胃が通じる。

このような喉頭蓋２０の働きの下、嚥下が行われる場合、呼気、停止、吸気の順に一連の動作が発生する。かかる嚥下は、食事時に断続的に繰り返されるので、喉頭蓋のＯＮ及びＯＦＦも断続的に発生する。このことから、一連の動作の発生を検出することにより嚥下を検知し、その結果から食事開始時刻、食事終了時刻もしくはこれらの両方を食事時間として推定することが可能になる。

図３〜図６は、呼吸信号の一例を示す図である。図３〜図６に示すグラフでは、縦軸に振幅（電圧）が示されると共に横軸に時刻が示されている。図３には、食事前、食事区間（食事中）、食事後にセンシングされた呼吸信号が示されている。図３に示す食事区間の呼吸信号が横軸、すなわち時間方向に拡大されたグラフが図４に示されている。図４には、咀嚼中の呼吸に対応する区間が細線で示される一方で、嚥下に対応する区間が太線で示される。図４に示すように、食事中には、食べ物の咀嚼及び嚥下が断続的に繰り返されることにより、呼吸信号の振幅が変化する。具体的には、咀嚼から嚥下へ遷る過程で呼気により振幅が減少し、嚥下中に呼吸が一時的に停止することにより振幅が微少な状態で遷移した後、嚥下後に吸気により振幅が増加するといった現象が起こることがわかる。

図５には、食事開始時刻前後の呼吸信号が示される一方で、図６には、食事終了時刻前後の呼吸信号が示されている。図５及び図６には、ＢＰＦによりノイズが除去される前後の呼吸信号が示されており、フィルタ通過前の呼吸信号が破線で示される一方でフィルタ通過後の呼吸信号が実線で示されている。なお、フィルタ通過後の呼吸信号には、フィルタにより遅延が発生している。

図５及び図６に示すように、食事区間と食事前の区間または食事後の区間との比較により、食事区間では、次のような傾向が特徴として現れることがわかる。一側面として、（１）嚥下に伴って呼吸信号が微少になること、すなわち呼吸が浅くなる区間が発生する。他の側面として、（２）嚥下に伴って呼吸信号の振幅が乱れる区間が発生する。更なる側面として、（３）呼気に連動して嚥下動作が行われやすく呼吸が一時的に停止する区間が発生する。

これら（１）、（２）及び（３）の傾向から、呼吸の浅さ、呼吸の乱れ、呼吸停止を検出することが嚥下の検知につながり、呼吸の浅さ、呼吸の乱れ及び呼吸停止が複合するほど嚥下が行われている可能性が高いとの推定が可能になる。

第１検出部１２１は、上記の呼吸信号から呼吸の浅さを検出する。

一実施形態として、第１検出部１２１は、所定の時間長の窓を設定する。かかる窓の時間長には、呼吸のサイクルに対応する期間を設定できる。一般に、正常な呼吸が行われる場合、呼吸の１サイクルは、約４秒から５秒の間で行われることから、一例として、窓の時間長には４秒間を採用できる。このような窓の設定の下、第１検出部１２１は、呼吸信号に設定された窓内の振幅値のうち最大値及び最小値を抽出し、最大値及び最小値の振幅差を求める。その上で、第１検出部１２１は、先のようにして求めた振幅差が所定の閾値未満であるか否かを判定する。かかる閾値には、一例として、固定値を用いることもできるし、呼吸信号における振幅の統計値、例えば平均値、中央値などを基準に定めることができる。このとき、振幅差が所定の閾値未満である場合には、一呼吸において呼吸が浅いことがわかる。この場合、当該窓における呼吸の浅さの検出結果は、「有り」と判定される。このようにして呼吸の浅さの検出は、呼吸信号の開始時刻から終了時刻まで上記の窓をシフトさせることにより、窓ごとに繰り返し実行される。

図７及び図８は、呼吸信号管理表の一例を示す図である。図７及び図８には、一例として、１日分の呼吸信号のうち一部の区間が抜粋して例示されると共に、説明の便宜上、サンプリング間隔として１秒間が例示されているが、呼吸信号の時間長やサンプリング間隔は任意の長さであってかまわない。このうち、図７には、呼吸の浅さ検出が実行される前の呼吸信号管理表が示される一方で、図８には、呼吸の浅さの検出結果が記録された後の呼吸信号管理表が示されている。なお、図７及び図８に示す呼吸信号管理表は、図示しない内部メモリ上のワークエリアに保持される。かかるワークエリアには、図１に示した第１検出部１２１、第２検出部１２２、第３検出部１２３、嚥下行動判定部１３０、嚥下頻度算出部１４０及び推定部１５０が共通してアクセスできることとする。

図７に示すように、呼吸信号管理表には、ノイズ除去が行われた呼吸信号の時刻及び振幅が記入されている。このような状況の下、図８に示すように、時間長が４秒間である窓が呼吸信号の開始時刻から順に時刻を１つずつシフトさせて設定される。すなわち、１つ目の窓は、図８に実線で示される通り、１２時００分００秒から１２時００分０３秒までの区間に設定され、２つ目の窓は、図８に破線で示される通り、１２時００分０１秒から１２時００分０４秒までの区間に設定される。このような窓の設定が呼吸信号の終了時刻と窓の終了時刻とが一致するまで繰り返し実行される。

例えば、１つ目の窓、すなわち図８に実線で示す窓の場合、振幅の最大値として２００ｍｖが抽出されると共に振幅の最小値として０ｍｖが抽出されるので、振幅差は２００となる。また、２つ目の窓、すなわち図８に破線で示す窓の場合も、振幅の最大値として２００ｍｖが抽出されると共に振幅の最小値として０ｍｖが抽出されるので、振幅差は２００となる。ここで、一例として、振幅差が１００未満である場合に呼吸が浅いと判定されるとしたとき、いずれの窓においても、呼吸は浅くないと判定される。この場合、呼吸の浅さの検出結果として「０」が呼吸信号管理表に記録される。なお、以下では、窓に対応する検出結果は、窓の終了時刻に対応する時刻に対応付けて記録されることとする。また、８つ目の窓、すなわち１２時００分０７秒から１２時００分１０秒までの区間に設定される窓の場合、振幅の最大値として１００ｍｖが抽出されると共に振幅の最小値として１０ｍｖが抽出されるので、振幅差は９０となる。この場合、閾値を下回ることになるので、呼吸は浅いと判定される。この結果、呼吸の浅さの検出結果として「１」が呼吸信号管理表に記録される。

第２検出部１２２は、上記の呼吸信号から呼吸の乱れを検出する。

一実施形態として、第２検出部１２２は、所定の時間長の基準窓と、基準窓の前後に隣接させて基準窓と同一の時間長の窓幅を持つ比較窓を設定する。これらの窓の時間長には、第１検出部１２１で設定される窓と同様の期間、例えば４秒間を設定できる。これら基準窓及び比較窓の設定の下、第２検出部１２２は、基準窓、基準窓の前後に隣接する２つの比較窓ごとに、窓内の振幅値のうち最大値及び最小値を抽出し、最大値及び最小値の振幅差を求める。以下では、基準窓の前後に隣接する２つの比較窓のうち、基準窓の前に隣接する比較窓のことを「第１の比較窓」と記載し、基準窓の後に隣接する比較窓のことを「第２の比較窓」と記載する場合がある。その上で、第２検出部１２２は、基準窓における振幅差と、各比較窓における振幅差との窓間の振幅差の差分が所定の閾値以上であるか否かを判定する。このとき、第１の比較窓または第２の比較窓のうち少なくともいずれか一方との間で窓間の振幅差の差分が所定の閾値以上である場合、隣接する呼吸に乱れがあることがわかる。この場合、当該基準窓における呼吸の乱れの検出結果は、「有り」と判定される。このようにして呼吸の乱れの検出は、呼吸信号の開始時刻から終了時刻まで上記の基準窓及び２つの比較窓をシフトさせることにより、繰り返し実行される。なお、ここでは、一例として、基準窓の前後で２つの比較窓を設ける場合を例示したが、いずれか一方の比較窓に絞って設定することとしてもかまわない。

図９は、呼吸信号管理表の一例を示す図である。図９には、図８に示した呼吸信号管理表に呼吸の乱れの検出結果がさらに記録された後の呼吸信号管理表が示されている。図９に示すように、１度目の基準窓及び比較窓は、図９に実線及び破線で示される通りに設定される。すなわち、基準窓は、図９に実線で示された通り、１２時００分０４秒から１２時００分０７秒までの区間に設定される。一方、第１の比較窓は、図９に破線で示された通り、１２時００分００秒から１２時００分０３秒までの区間に設定されると共に、第２の比較窓は、図９に破線で示された通り、１２時００分０８秒から１２時００分１１秒までの区間に設定される。

これら第１の比較窓、基準窓及び第２の比較窓が設定された場合、基準窓では、振幅の最大値として２００ｍｖが抽出されると共に振幅の最小値として０ｍｖが抽出されるので、振幅差は２００となる。また、第１の比較窓においても、振幅の最大値として２００ｍｖが抽出されると共に振幅の最小値として０ｍｖが抽出されるので、振幅差は２００となる。一方、第２の比較窓では、振幅の最大値として３０ｍｖが抽出されると共に振幅の最小値として１０ｍｖが抽出されるので、振幅差は２０となる。ここで、一例として、振幅差が１００以上である場合に呼吸に乱れがあると判定されるとしたとき、このうち、基準窓と第１の比較窓との間では、窓間の振幅差の差分が閾値未満となる一方で、基準窓と第２の比較窓との間では、窓間の振幅差の差分が閾値以上となる。この場合、呼吸の乱れの検出結果として「１」が呼吸信号管理表に記録されることになる。

第３検出部１２３は、上記の呼吸信号から呼吸停止を検出する。

一実施形態として、第３検出部１２３は、所定の時間長の窓を設定する。かかる窓の時間長には、第１検出部１２１で設定される窓と同様の期間、例えば４秒間を設定できる。このような窓の設定の下、第３検出部１２３は、呼吸信号に設定された窓内で標準偏差を求める。ここでは、一例として、標準偏差を求める場合を例示するが、他の統計値、例えば分散を求めることとしてもかまわない。その上で、第３検出部１２３は、先のようにして求めた窓内の標準偏差が所定の閾値以下であるか否かを判定する。このとき、窓内の標準偏差が所定の閾値以下である場合には、呼吸が一時的に停止するか、あるいは微弱な呼吸しか行われていないことがわかる。この場合、当該窓における呼吸停止の検出結果は、「有り」と判定される。このようにして呼吸停止の検出は、呼吸信号の開始時刻から終了時刻まで上記の窓をシフトさせることにより、窓ごとに繰り返し実行される。

図１０は、呼吸信号管理表の一例を示す図である。図１０には、図９に示した呼吸信号管理表に呼吸停止の検出結果がさらに記録された後の呼吸信号管理表が示されている。例えば、１つ目の窓、すなわち図１０に実線で示す窓の場合、窓内の標準偏差は８１．６５となる。これとは対照に、９つ目の窓、すなわち１２時００分０８秒から１２時００分１１秒までの区間に設定される窓の場合、窓内の標準偏差は８．１６となる。この場合、１つ目の窓では、呼吸停止ではないと判定される一方で、９つ目の窓では、呼吸停止と判定される。この結果、１つ目の窓には、呼吸停止の検出結果として「０」が呼吸信号管理表に記録される一方で、９つ目の窓には、呼吸停止の検出結果として「１」が呼吸信号管理表に記録される。

嚥下行動判定部１３０は、第１検出部１２１、第２検出部１２２及び第３検出部１２３のうち少なくともいずれか１つの検出結果から嚥下行動を判定する処理部である。

一実施形態として、嚥下行動判定部１３０は、各時刻に対応付けられた呼吸の浅さ、呼吸の乱れ及び呼吸停止の検出結果を参照し、３つの検出結果のうち１つ以上で検出結果が「有り」である場合に、当該時刻で嚥下有りと判定する。図１１は、呼吸信号管理表の一例を示す図である。図１１には、図１０に示した呼吸信号管理表に嚥下判定の結果がさらに記録された後の呼吸信号管理表が示されている。例えば、図１１に示す時刻「１２時００分０３秒」の場合、すなわち図１１に実線で示された時刻の場合、３つの検出結果のうちいずれの検出結果も「無し」であるので、嚥下無しと判定される。一方、図１１に示す時刻「１２時００分１０秒」の場合、すなわち図１１に破線で示された時刻の場合、３つの検出結果のうち呼吸の浅さ及び呼吸の乱れの２つの検出結果が「有り」であるので、嚥下有りと判定される。この結果、図１１に示す時刻「１２時００分０３秒」には、嚥下の判定結果として「０」が呼吸信号管理表に記録される一方で、図１１に示す時刻「１２時００分１０秒」には、嚥下の判定結果として「１」が呼吸信号管理表に記録される。なお、ここでは、３つの検出結果のうち１つ以上で検出結果が「有り」である場合に当該時刻で嚥下有りと判定する場合を例示したが、２つ以上で検出結果が「有り」である場合に嚥下有りと判定することとしてもよいし、３つとも検出結果が「有り」である場合に嚥下有りと判定することとしてもよい。

このように嚥下の判定を行った後、嚥下行動判定部１３０は、互いに連続する嚥下の判定結果「有り」の区間を探索し、当該嚥下の判定結果「有り」が連続する区間を１度の嚥下行動として統合する。図１２は、嚥下の判定結果の統合例を示す図である。図１２の左側には、図１１に示した呼吸信号管理表が示されると共に、図１２の右側には、嚥下管理表への嚥下行動の記録結果が示されている。図１２の例では、一例として、互いに連続する嚥下の判定結果「有り」の区間を当該区間の開始時刻に代表させることにより１つの嚥下行動としてまとめる場合が示されている。図１１に示した呼吸信号管理表の場合、１２時００分１０秒から１２時００分１２秒の区間で嚥下の判定結果「有り」が連続する。この場合、図１２に示す嚥下管理表の通り、当該区間の開始時刻である１２時００分１０秒に嚥下の判定結果「有り」を代表させることにより１つの嚥下行動として記録される。このように、互いに連続する嚥下の判定結果「有り」を１つの嚥下行動に統合することにより、１度の嚥下が複数回の嚥下として計上されるのを抑制することができる。

嚥下頻度算出部１４０は、嚥下行動の頻度を算出する処理部である。

一実施形態として、嚥下頻度算出部１４０は、所定の時間長の窓を設定する。かかる窓の時間長には、散発的な嚥下、例えば唾の飲み込みや飲料の摂取を食事と誤判定しない程度の期間を設定できる。一例として、窓の時間長には、３分間を採用できる。このような窓の設定の下、嚥下頻度算出部１４０は、嚥下行動判定部１３０により判定された嚥下行動の判定結果のうち窓内の嚥下行動の判定結果を参照し、嚥下行動の判定結果が有りである時刻の個数を計数することにより、当該窓における嚥下頻度を算出する。このようにして嚥下頻度の算出は、呼吸信号の開始時刻から終了時刻まで上記の窓をシフトさせることにより、窓ごとに繰り返し実行される。

図１３は、嚥下管理表の一例を示す図である。図１３に実線で示された窓、すなわち１２時００分０３秒から１２時０３分０２秒までの区間の窓の場合、嚥下行動の判定結果が有りである個数「４」が計数される。この場合、当該窓に対応する嚥下頻度は、窓の終了時刻に対応する時刻「１２時０３分０２秒」に対応付けて「４」が記録される。

推定部１５０は、嚥下頻度から食事時間を推定する処理部である。

一実施形態として、推定部１５０は、嚥下頻度算出部１４０により算出された嚥下頻度の算出結果のうち嚥下頻度がゼロを超え、かつ互いが連続する嚥下頻度の算出結果をグループ化する。その上で、推定部１５０は、グループ化により得られた区間を食事区間と推定する。このとき、推定部１５０は、先の食事区間に含まれる最初の時刻を食事開始時刻とし、先の食事区間に含まれる最後の時刻を食事終了時刻として、これらのうち少なくとも一方を食事時間として出力することができるが、食事終了時刻については嚥下行動の判定結果をさらに加味して推定することもできる。例えば、推定部１５０は、先の食事区間のうち嚥下行動の判定結果が最後に検知された時刻を食事終了時刻と推定して出力することもできる。

図１４は、食事時間管理表の一例を示す図である。図１４の左側には、図１３に示した嚥下管理表において１２時００分１０秒から１２時１０分００秒までの区間、すなわち図示の実線で囲われた箇所が食事区間としてグループ化された例を示している。かかる食事区間の場合、食事区間に含まれる最初の時刻「１２時００分１０秒」が食事開始時刻として推定される。さらに、当該食事区間のうち嚥下行動の判定結果が最後に検知された時刻「１２時０９分０１秒」が食事終了時刻として推定される。この結果、食事時間管理表には、食事開始時刻として「１２時００分１０秒」が記録される一方で、食事終了時刻として「１２時０９分０１秒」が食事時間管理表に記録される。

サービス提供部１６０は、上記のヘルスケア支援サービスを提供する処理部である。

一実施形態として、サービス提供部１６０は、推定部１５０により推定された食事時間、例えば食事開始時刻、食事終了時刻、もしくは、食事開始時刻及び食事終了時刻の両方のうち少なくともいずれか１つを記録したり、それまでに記録された食事時間から所定期間、例えば１週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時刻から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりする。なお、サービス提供部１６０で実装される機能は、外部のサーバ装置等などにより実現されることとしてもよい。

なお、上記の第１検出部１２１、第２検出部１２２、第３検出部１２３、嚥下行動判定部１３０、嚥下頻度算出部１４０、推定部１５０及びサービス提供部１６０などの機能部は、次のようにして実装できる。例えば、中央処理装置、いわゆるＣＰＵ（Central Processing Unit）などに、上記の各機能部と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの機能部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵ（Micro Processing Unit）に実行させることとしてもよい。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

また、上記の各機能部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭ（Random Access Memory)やフラッシュメモリを採用できる。また、上記の各機能部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などを採用できる。

［処理の流れ］
図１５は、実施例１に係る食事時間推定処理の手順を示すフローチャートである。この処理は、一定期間、例えば日次、週次や月次などにわたる呼吸信号が取得された場合に実行される。図１５に示すように、呼吸信号が取得されると（ステップＳ１０１）、ステップＳ１０１で取得された呼吸信号に含まれるノイズ成分がＢＰＦ等により除去される（ステップＳ１０２）。

続いて、第１検出部１２１は、ステップＳ１０２でノイズが除去された呼吸信号から呼吸の浅さを検出し（ステップＳ１０３）、第２検出部１２２は、ステップＳ１０２でノイズが除去された呼吸信号から呼吸の乱れを検出し（ステップＳ１０４）、第３検出部１２３は、ステップＳ１０２でノイズが除去された呼吸信号から呼吸停止を検出する（ステップＳ１０５）。

そして、嚥下行動判定部１３０は、ステップＳ１０３、ステップＳ１０４及びステップＳ１０５で検出された検出結果のうち少なくともいずれか１つの検出結果を用いて、嚥下の有無を時刻ごとに判定する（ステップＳ１０６）。その後、嚥下行動判定部１３０は、互いに連続する嚥下の判定結果「有り」の区間を探索し、当該嚥下の判定結果「有り」が連続する区間を１度の嚥下行動として統合する（ステップＳ１０７）。

続いて、嚥下頻度算出部１４０は、ステップＳ１０７で判定された嚥下行動が有りと判定された時刻の個数を計数することにより嚥下頻度を算出する（ステップＳ１０８）。その上で、推定部１５０は、ステップＳ１０８で算出された嚥下頻度の算出結果のうち嚥下頻度がゼロを超え、かつ互いが連続する嚥下頻度の算出結果をグループ化する（ステップＳ１０９）。

その後、推定部１５０は、ステップＳ１０９のグループ化により得られた食事区間に含まれる最初の時刻を食事開始時刻として推定し（ステップＳ１１０）、また、当該食事区間のうち嚥下行動の判定結果が最後に検知された時刻を食事終了時刻と推定し（ステップＳ１１１）、処理を終了する。

［効果の一側面］
上述してきたように、本実施例に係る情報処理装置１００は、ユーザの食事時間を呼吸により推定する場合に嚥下の特徴として呼吸信号に現れる呼吸の浅さを検出し、呼吸の浅い区間が検出される頻度によって食事時間を推定する。したがって、本実施例に係る情報処理装置１００によれば、食事時間の誤判定を抑制できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［応用例］
上記の実施例１では、呼吸の浅さ、呼吸の乱れや呼吸停止の検出結果を用いて食事時間を推定する場合を例示したが、他の方法により食事時間を推定することもできる。ここでは、一例として、呼気と吸気の時間間隔が所定の閾値以上であるか否かにより嚥下を検出し、その嚥下の頻度によって食事時間を推定する場合を例示する。

図１６Ａは、呼吸信号の一例を示す図であり、図１６Ｂは、呼吸信号の微分波形の一例を示す図であり、また、図１６Ｃは、嚥下の検出方法の一例を示す図である。このうち、図１６Ａに示すグラフでは、縦軸に振幅（電圧）が示されると共に横軸に時刻が示されている。また、図１６Ｂ及び図１６Ｃに示すグラフでは、縦軸に呼吸信号の振幅値の傾きが示されると共に横軸に時刻が示されている。

図１６Ａに示す呼吸信号の通り、嚥下が行われる場合、呼気、停止、吸気の順に一連の動作が発生する。この呼吸信号が微分された場合、図１６Ｂに示す通り、呼吸信号の振幅値の傾きを表す微分波形が得られる。かかる微分波形では、その値が正の符号である区間を「吸気」に分類し、その値が負の符号である区間を「呼気」に分類できる。ここで、呼気と吸気の時間間隔は、通常の呼吸が行われる場合よりも嚥下が行われる場合の方が長くなる。この生理現象の傾向を利用し、呼気と吸気の時間間隔が所定の閾値以上であるか否かにより嚥下を検出し、その嚥下の頻度から食事時間を推定できる。例えば、図１６Ｃに示すように、微分波形の極小点と微分波形の極大点との間で時間差を算出し、その時間差が所定の閾値、例えば固定値、あるいは微分波形全体での時間差の平均値以上である場合、極小点及び極大点の区間で嚥下を検出できる。

図１７は、応用例に係る食事時間推定処理の手順を示すフローチャートである。この処理は、一例として、所定のフレーム長の呼吸信号が取得される度に繰り返し実行される。図１７に示すように、所定のフレーム長の呼吸信号が取得されると（ステップＳ２０１）、ステップＳ２０１で取得された呼吸信号に含まれるノイズ成分がＢＰＦ等により除去される（ステップＳ２０２）。その上で、ステップＳ２０２でノイズが除去された呼吸信号からその微分波形が算出される（ステップＳ２０３）。

続いて、情報処理装置１００は、ステップＳ２０３で得られた呼吸信号の微分波形から極大点及び極小点を検出し（ステップＳ２０４）、ステップＳ２０４で極小点が検出された時刻を呼気時刻ｔ１として検出する（ステップＳ２０５）。また、情報処理装置１００は、ステップＳ２０４で極大点が検出された時刻を吸気時刻ｔ２として検出する（ステップＳ２０６）。

その後、情報処理装置１００は、ステップＳ２０５で検出された呼気時刻ｔ１と、当該呼気時刻ｔ１に後続する吸気時刻ｔ２とによりペアリングされるペアごとに呼気時刻ｔ１及び吸気時刻ｔ２の時間差、すなわち呼吸間隔ｔｉｎｔを算出する（ステップＳ２０７）。

ここで、ステップＳ２０７で算出された呼吸間隔ｔｉｎｔが所定の閾値以上である場合（ステップＳ２０８Ｙｅｓ）、情報処理装置１００は、嚥下の回数をカウントする嚥下カウンタの値をインクリメントする（ステップＳ２０９）。一方、呼吸間隔ｔｉｎｔが所定の閾値以上でない場合（ステップＳ２０８Ｎｏ）、嚥下カウンタのインクリメントは実行されずに、ステップＳ２１０の処理へ移行する。なお、嚥下カウンタのインクリメントは、上記のペアの判定結果ごとに実行される。

その後、前回に嚥下カウンタの判定を行ってから所定の期間、例えば３分間が経過するまで（ステップＳ２１０Ｎｏ）、上記のステップＳ２０１〜ステップＳ２０９の処理を繰り返す。そして、前回に嚥下カウンタの判定を行ってから所定の期間が経過すると（ステップＳ２１０Ｙｅｓ）、情報処理装置１００は、嚥下カウンタの値が所定の閾値以上であるか否かを判定する（ステップＳ２１１）。

そして、嚥下カウンタの値が所定の閾値以上である場合（ステップＳ２１１Ｙｅｓ）には、上記の期間、すなわち３分間あたりの嚥下回数、すなわち嚥下頻度が食事中と判定できる頻度に達していると判定できる。この場合、情報処理装置１００は、当該期間を食事区間と推定し、その旨を記録する（ステップＳ２１２）。このようにして記録された食事区間が連続する場合には、その先頭を食事開始時刻とし、その最後尾を食事終了時刻として記録することもできる。一方、嚥下カウンタの値が閾値未満である場合（ステップＳ２１１Ｎｏ）には、ステップＳ２１２を飛ばしてステップＳ２１３へ移行する。

その後、嚥下カウンタの値を初期値、例えばゼロに初期化し（ステップＳ２１３）、上記のステップＳ２０１へ戻り、上記のステップＳ２０１以降の処理を繰り返し実行する。

このように、呼気と吸気の時間間隔が所定の閾値以上であるか否かにより嚥下を検出し、その嚥下の頻度によって食事時間を推定する場合にも、上記の実施例１と同様に、食事時間の誤判定を抑制できる。

［他の実装例］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、上記の実施例１では、図１５に示した食事時間推定処理を情報処理装置１００が実行する場合を例示したが、処理の実行主体はこれに限定されない。例えば、センサ端末１０からの呼吸信号を中継する中継装置として情報処理装置１００を機能させ、上記のヘルスケア支援サービスを提供するＷｅｂサーバやアウトソーシングによって上記のヘルスケア支援サービスを提供するクラウドに、上記の食事時間推定処理を実行させることとしてもかまわない。

［食事時間推定プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１８を用いて、上記の実施例と同様の機能を有する食事時間推定プログラムを実行するコンピュータの一例について説明する。

図１８は、実施例１及び実施例２に係る食事時間推定プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１８に示すように、コンピュータ１０００は、操作部１１００ａと、スピーカ１１００ｂと、カメラ１１００ｃと、ディスプレイ１２００と、通信部１３００とを有する。さらに、このコンピュータ１０００は、ＣＰＵ１５００と、ＲＯＭ１６００と、ＨＤＤ１７００と、ＲＡＭ１８００とを有する。これら１１００〜１８００の各部はバス１４００を介して接続される。

ＨＤＤ１７００には、図１８に示すように、上記の実施例１で示した第１検出部１２１、第２検出部１２２、第３検出部１２３、嚥下行動判定部１３０、嚥下頻度算出部１４０、推定部１５０及びサービス提供部１６０と同様の機能を発揮する食事時間推定プログラム１７００ａが記憶される。この食事時間推定プログラム１７００ａは、図１に示した第１検出部１２１、第２検出部１２２、第３検出部１２３、嚥下行動判定部１３０、嚥下頻度算出部１４０、推定部１５０及びサービス提供部１６０の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７００には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７００に格納されればよい。

このような環境の下、ＣＰＵ１５００は、ＨＤＤ１７００から食事時間推定プログラム１７００ａを読み出した上でＲＡＭ１８００へ展開する。この結果、食事時間推定プログラム１７００ａは、図１８に示すように、食事時間推定プロセス１８００ａとして機能する。この食事時間推定プロセス１８００ａは、ＲＡＭ１８００が有する記憶領域のうち食事時間推定プロセス１８００ａに割り当てられた領域にＨＤＤ１７００から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、食事時間推定プロセス１８００ａが実行する処理の一例として、図１５や図１７に示す処理などが含まれる。なお、ＣＰＵ１５００では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記の食事時間推定プログラム１７００ａは、必ずしも最初からＨＤＤ１７００やＲＯＭ１６００に記憶されておらずともかまわない。例えば、コンピュータ１０００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１０００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１０００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１０００がこれらから各プログラムを取得して実行するようにしてもよい。

１ ヘルスケア支援システム
１０ センサ端末
１１ 呼吸信号測定部
１２ 通信Ｉ／Ｆ部
１００ 情報処理装置
１１０ 通信Ｉ／Ｆ部
１２１ 第１検出部
１２２ 第２検出部
１２３ 第３検出部
１３０ 嚥下行動判定部
１４０ 嚥下頻度算出部
１５０ 推定部
１６０ サービス提供部

Claims (11)

1. コンピュータが、
   呼吸信号を取得し、
   呼吸の強度と周期を検出し、
   前記呼吸の強度と周期が所定の閾値から変動した頻度から食事時間を推定する
   処理を実行することを特徴とする食事時間推定方法。
2. 前記検出する処理は、呼吸が浅い区間を検出し、
   前記推定する処理は、前記呼吸が浅い区間が検出される頻度から食事時間を推定することを特徴とする請求項１に記載の食事時間推定方法。
3. 前記呼吸が浅い区間は、前記呼吸信号の振幅値の差が所定の閾値未満である区間を探索することで検出されることを特徴とする請求項２に記載の食事時間推定方法。
4. 前記検出する処理は、呼吸が乱れた区間を検出し、
   前記推定する処理は、前記呼吸が乱れた区間が検出される頻度から食事時間を推定する処理を実行することを特徴とする請求項１に記載の食事時間推定方法。
5. 前記呼吸が乱れた区間は、１呼吸ごとに前記呼吸信号の振幅値の差を所定数の呼吸分算出し、該呼吸ごとの差の変動が所定の閾値未満である区間を探索することで検出されることを特徴とする請求項４に記載の食事時間推定方法。
6. 前記検出処理は、呼吸が停止した区間を検出し、
   前記推定する処理は、前記呼吸が停止した区間が検出される頻度から食事時間を推定する処理を実行することを特徴とする請求項１に記載の食事時間推定方法。
7. 前記呼吸が停止した区間は、前記呼吸信号のばらつきが閾値未満である区間を探索することで検出されることを特徴とする請求項６に記載の食事時間推定方法。
8. 前記検出する処理は、前記呼吸信号から呼吸が停止した区間、呼吸が乱れた区間、呼吸が停止した区間をいずれか１つ以上の呼吸変化を検出し、
   前記推定する処理は、前記呼吸変化の頻度から食事時間を推定することを特徴とする請求項１に記載の食事時間推定方法。
9. コンピュータが、
   呼吸信号を取得し、
   前記呼吸信号を呼気と吸気に分類し、
   前記呼気と当該呼気に後続する吸気との時間差が所定の閾値以上となる頻度から食事時間を推定する
   処理を実行することを特徴とする食事時間推定方法。
10. 呼吸信号を取得する取得部と、
    呼吸の強度と周期を検出する検出部と、
    前記呼吸の強度と周期が所定の閾値から変動した頻度から食事時間を推定する推定部と
    を有することを特徴とする食事時間推定装置。
11. コンピュータに、
    呼吸信号を取得し、
    呼吸の強度と周期を検出し、
    前記呼吸の強度と周期が所定の閾値から変動した頻度から食事時間を推定する
    処理を実行させることを特徴とする食事時間推定プログラム。

Images