JP2020202977A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】生体情報と頭部の動きを別々のセンサーで測定した場合に比べ、生体情報と頭部の動きを同じ画面上で比較可能に表示することができる情報処理装置を提供する。【解決手段】情報処理装置の抽出手段は、人体の頭部における電位を測定した結果である電位測定結果から生体情報と頭部の動きを抽出し、制御手段は、前記抽出手段によって抽出された前記生体情報と前記頭部の動きを同じ画面上で紐付けて通知可能に制御する。【選択図】図１

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、レム睡眠中における脳波を高周波まで計測できるようにした脳波データ取得装置を提供することを課題とし、脳波や筋電図（ＥＭＧ）、眼電図（ＥＯＧ）を採集するための電極やセンサーからの信号は、増幅器を介して、Ａ／Ｄ変換器において、サンプリング制御部からの定まったサンプリング・レートでデジタル・データに変換されて、波形記憶部に記憶され、これらの動作は情報処理部により制御されており、波形記憶部に記憶されている波形データは、例えば、インターフェース部を介して、波形データとして、記録部でプリントアウトされ、サンプリング制御部は、筋電図（ＥＭＧ）からのデータがフラットとなり、レム睡眠であることを検出されると、サンプリング・レートを高くすることが開示されている。

特開２００１−００８９１５号公報

生体情報を測定するセンサーと、そのセンサーとは別に頭部の動きを測定するセンサーがある構成では、別々に測定結果を取得することになる。そのため、生体情報と頭部の動きが関連付いている可能性があるにもかかわらず、それぞれの測定結果を表示することになる。そこで本発明は、生体情報と頭部の動きを別々のセンサーで測定した場合に比べ、生体情報と頭部の動きを同じ画面上で比較可能に通知することができる情報処理装置及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、人体の頭部における電位を測定した結果である電位測定結果から生体情報と頭部の動きを抽出する抽出手段と、前記抽出手段によって抽出された前記生体情報と前記頭部の動きを同じ画面上で紐付けて通知可能に制御する制御手段を有する情報処理装置である。

請求項２の発明は、前記抽出手段は、前記電位測定結果から複数の周波数帯域の波を抽出し、前記制御手段は、前記抽出手段が抽出した複数の波と前記頭部の動きを前記画面上に比較可能に表示するように制御する、請求項１に記載の情報処理装置である。

請求項３の発明は、前記頭部の動きとして、咀嚼を含み、前記抽出手段は、前記電位測定結果が予め定められたパターンに合致する箇所を咀嚼箇所として抽出し、前記制御手段は、生体情報と、前記電位測定結果を示すグラフ上に前記咀嚼箇所を比較可能に表示するように制御する、請求項１に記載の情報処理装置である。

請求項４の発明は、前記予め定められたパターンとして、前記グラフの第１ピークが予め定められた第１閾値より高い又は以上であって、該第１ピークの後にある第２ピークが該第１閾値未満又は以下であり、予め定められた第２閾値より高い又は以上であり、該第２閾値は該第１閾値よりも低いこととする、請求項３に記載の情報処理装置である。

請求項５の発明は、前記頭部の動きとして、嚥下を含み、前記電位測定結果が予め定められたパターンに合致する箇所を嚥下箇所であると解析する解析手段をさらに有し、前記制御手段は、生体情報と、前記電位測定結果を示すグラフ上に前記嚥下箇所を比較可能に表示するように制御する、請求項１に記載の情報処理装置である。

請求項６の発明は、前記予め定められたパターンとして、咀嚼の後であって、前記グラフの第３ピークが予め定められた第３閾値より高い又は以上であることとする、請求項５に記載の情報処理装置である。

請求項７の発明は、前記解析手段は、さらに前記頭部に装着された加速度センサーの測定結果を用いて、該頭部が予め定められた動きである場合は、前記嚥下を飲み物の嚥下であるとして抽出する、請求項６に記載の情報処理装置である。

請求項８の発明は、前記予め定められた動きとして、首を後方に傾ける動きとする、請求項７に記載の情報処理装置である。

請求項９の発明は、前記制御手段は、前記電位測定結果を、複数種の変換処理した結果を同じ画面上に表示する、請求項１に記載の情報処理装置である。

請求項１０の発明は、前記制御手段は、低域通過濾波器、高域通過濾波器を用いて予め定められた期間をスペクトル分析した結果と、周期性を持たないそれ以外のデータとを表示する、請求項１に記載の情報処理装置である。

請求項１１の発明は、前記人体の頭部を撮影する撮影手段をさらに有し、前記制御手段は、さらに、前記撮影手段が撮影した画像を表示するように制御する、請求項１に記載の情報処理装置である。

請求項１２の発明は、前記撮影した画像と前記生体情報を紐付けて利用者の状態を通知する、請求項１１に記載の情報処理装置である。

請求項１３の発明は、前記生体情報が抽出できない場合、前記画像を解析して前記利用者の状態を通知する、請求項１２に記載の情報処理装置である。

請求項１４の発明は、コンピュータを、人体の頭部における電位を測定した結果である電位測定結果から生体情報と頭部の動きを抽出する抽出手段と、前記抽出手段によって抽出された前記生体情報と前記頭部の動きを同じ画面上で紐付けて通知可能に制御する制御手段として機能させるための情報処理プログラムである。

請求項１の情報処理装置によれば、生体情報と頭部の動きを別々のセンサーで測定した場合に比べ、生体情報と頭部の動きを同じ画面上で比較可能に通知することができる。

請求項２の情報処理装置によれば、複数の波と頭部の動きを画面上に比較可能に表示するように制御することができる。

請求項３の情報処理装置によれば、生体情報と、電位測定結果を示すグラフ上に咀嚼箇所を比較可能に表示するように制御することができる。

請求項４の情報処理装置によれば、グラフの第１ピークが予め定められた第１閾値より高い又は以上であって、その第１ピークの後にある第２ピークがその第１閾値未満又は以下であり、予め定められた第２閾値より高い又は以上であり、その第２閾値はその第１閾値よりも低い場合に、咀嚼として抽出することができる。

請求項５の情報処理装置によれば、生体情報と、電位測定結果を示すグラフ上に嚥下箇所を比較可能に表示するように制御することができる。

請求項６の情報処理装置によれば、咀嚼の後であって、グラフの第３ピークが予め定められた第３閾値より高い又は以上である場合に、嚥下として抽出することができる。

請求項７の情報処理装置によれば、嚥下のうち、飲み物の嚥下を抽出することができる。

請求項８の情報処理装置によれば、首を後方に傾ける動きがあった場合に、飲み物の嚥下として抽出することができる。

請求項９の情報処理装置によれば、複数種の変換処理した結果を同じ画面上で確認することができる。

請求項１０の情報処理装置によれば、低域通過濾波器、高域通過濾波器を用いて予め定められた期間をスペクトル分析した結果と、周期性を持たないそれ以外のデータとを確認することができる。

請求項１１の情報処理装置によれば、生体情報と頭部の動きと頭部を撮影した画像を同じ画面上で確認することができる。

請求項１２の情報処理装置によれば、撮影した画像と生体情報を関連付けて通知することができる。

請求項１３の情報処理装置によれば、生体情報が抽出できない場合であっても、利用者の状態を通知することができる。

請求項１４の情報処理プログラムによれば、生体情報と頭部の動きを別々のセンサーで測定した場合に比べ、生体情報と頭部の動きを同じ画面上で比較可能に通知することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態を利用した具体的なシステム構成例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（「ソフトウェア」の解釈として、コンピュータ・プログラムを含む）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（例えば、データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（「２以上の値」には、もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（「ネットワーク」には、一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（つまり、社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）内のレジスタ等を含んでいてもよい。

本実施の形態である情報処理装置１００は、生体情報と頭部の動きを同じ画面上で紐付けて通知する機能を有しており、図１の例に示すように、生体情報抽出モジュール１０５、頭部情報抽出モジュール１１０、解析モジュール１１５、表示制御モジュール１２０、表示モジュール１２５を有している。なお、「紐付け」とは、関連付けることである。
ここで「生体情報」とは、人体の生命活動を測定することによって得られる情報であって、生体情報として、例えば、心電図、心拍数、血圧、体温、脳波、筋電、網膜（眼底）電位等の情報がある。本実施の形態では、主に脳波情報を例として示す。
また、「頭部」とは、首から上の部分をいう。例えば、耳、口、喉、目、鼻、額、頬等のいずれか１つ以上を含む。
また、「頭部の動き」とは、頭部全体、又は、頭部の一部の動きをいう。例えば、うなずき、首振り、咀嚼、嚥下、まばたき、呼吸、口角の動き等がある。具体的には、口角の動きを筋電情報と顔画像で判定するようにしてもよい。そのために、生体情報の測定と同時に顔を撮影して、それらを連動して、電位のデータと顔の表示を紐付けて表示・通知するようにしてもよい。

生体情報抽出モジュール１０５は、解析モジュール１１５と接続されている。生体情報抽出モジュール１０５は、人体の頭部における電位を測定した結果である電位測定結果から生体情報を抽出する。
また、生体情報抽出モジュール１０５は、電位測定結果から複数の周波数帯域の波を抽出するようにしてもよい。
ここで「周波数帯域の波」として、例えば、α波（アルファ波）、β波（ベータ波）、γ波（ガンマ波）、θ波（シータ波）、δ波（デルタ波）があり、「複数の周波数帯域の波」は、これらのうち２以上の波をいう。
また、生体情報抽出モジュール１０５の処理として、電位測定結果に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍの略、高速フーリエ変換）を行うことによって脳波を抽出するようにしてもよい。

頭部情報抽出モジュール１１０は、解析モジュール１１５と接続されている。頭部情報抽出モジュール１１０は、頭部の動きを抽出する。
また、頭部情報抽出モジュール１１０は、人体の頭部における電位を測定した結果である電位測定結果から頭部の動きを抽出するようにしてもよい。

解析モジュール１１５は、生体情報抽出モジュール１０５、頭部情報抽出モジュール１１０、表示制御モジュール１２０と接続されている。解析モジュール１１５は、生体情報抽出モジュール１０５が抽出した生体情報である脳波情報と、頭部情報抽出モジュール１１０が抽出した頭部の動きを用いて、脳波情報と頭部の動きの関係を解析する。
また、解析モジュール１１５は、ユーザーの行動を解析するようにしてもよい。

表示制御モジュール１２０は、解析モジュール１１５、表示モジュール１２５と接続されている。表示制御モジュール１２０は、生体情報抽出モジュール１０５によって抽出された生体情報と頭部情報抽出モジュール１１０によって抽出された頭部の動きを同じ画面上で紐付けて通知可能に制御する。
また、表示制御モジュール１２０は、生体情報抽出モジュール１０５が抽出した複数の波と頭部の動きを表示モジュール１２５の画面上に比較可能に表示するよう制御するようにしてもよい。

表示モジュール１２５は、表示制御モジュール１２０と接続されている。表示モジュール１２５は、表示制御モジュール１２０の制御にしたがって、液晶ディスプレイ、有機ＥＬディスプレイ等の画面上に表示を行う。

例えば、頭部の動きとして、咀嚼を含めてもよい。
その場合、生体情報抽出モジュール１０５は、電位測定結果が予め定められたパターンに合致する箇所を咀嚼箇所として抽出するようにしてもよい。
ここでの「予め定められたパターン」として、グラフの第１ピークが予め定められた第１閾値より高い又は以上であって、その第１ピークの後にある第２ピークがその第１閾値未満又は以下であり、予め定められた第２閾値より高い又は以上であり、その第２閾値はその第１閾値よりも低いこととするようにしてもよい。
そして、表示制御モジュール１２０は、生体情報と、電位測定結果を示すグラフ上に咀嚼箇所を比較可能に表示するよう制御するようにしてもよい。

また、例えば、頭部の動きとして、嚥下を含めてもよい。
その場合、解析モジュール１１５は、電位測定結果が予め定められたパターンに合致する箇所を嚥下箇所であると解析するようにしてもよい。
ここで「予め定められたパターン」として、咀嚼の後であって、グラフの第３ピークが予め定められた第３閾値より高い又は以上であることとしてもよい。
そして、表示制御モジュール１２０は、生体情報と、電位測定結果を示すグラフ上に嚥下箇所を比較可能に表示するよう制御するようにしてもよい。
この場合、解析モジュール１１５は、さらに頭部に装着された加速度センサーの測定結果を用いて、その頭部が予め定められた動きである場合は、電位測定結果が予め定められたパターンに合致する箇所の嚥下を飲み物の嚥下であるとして抽出するようにしてもよい。
ここでの「予め定められた動き」として、首を後方に傾ける動きとしてもよい。
そして、表示制御モジュール１２０は、飲み物の嚥下であることを表示するように制御してもよい。

また、表示制御モジュール１２０は、電位測定結果を、複数種の変換処理した結果を同じ画面上に表示するようにしてもよい。例えば、取得した電位測定結果を、ＦＦＴ、ウェーブレット変換、Ｓｔｏｃｋｗｅｌｌ変換、経験的モード分解（使用者が任意で設定した関数）等の複数種で処理をした結果を同一画面に表示するようにしてもよい。
また、表示制御モジュール１２０は、周波数分析した結果の強度比をそのままグラフにする表示と、周波数分析した全体の強度比率を表示するようにしてもよい。

また、表示制御モジュール１２０は、低域通過濾波器、高域通過濾波器を用いて予め定められた期間をスペクトル分析した結果と、周期性を持たないそれ以外のデータとを表示するようにしてもよい。
ここで「低域通過濾波器」は、一般的には、ＬＰＦ（Ｌｏｗ−Ｐａｓｓ Ｆｉｌｔｅｒの略）と言われているものである。また「高域通過濾波器」は、一般的には、ＨＰＦ（Ｈｉｇｈ−Ｐａｓｓ Ｆｉｌｔｅｒの略）と言われているものである。

また、表示制御モジュール１２０は、ＦＦＴ等で変換処理した結果の各グラフを重複して表示し、そのグラフをユーザーによって選択可能とし、ユーザーによって選択されたグラフを強調表示するようにしてもよい。強調表示として、例えば、グラフの色、形状等を異ならせたり、ハイライト表示したりすること等がある。

また、表示制御モジュール１２０は、グラフの縦軸スケールとして、値の最大又は／及び最小に合わせて調整するモード、ユーザーの操作に合わせて任意で値の表示範囲を固定するモード、値の最大又は／及び最小でスケールをアクティブに固定するモードを選択可能とするようにしてもよい。

図２Ａは、本実施の形態を利用したシステム構成例を示す説明図である。情報処理装置２００Ａと装置２５０とが通信を行うシステム構成例を示すものである。なお、情報処理装置２００Ａ内に、情報処理装置１００の構成を有している。前述の図に示した部位と同種の部位には同一符号を付し、重複した説明を省略する（以下、同様）。

装置２５０は、通信モジュール２５５、生体情報検知モジュール２６０を有している。
通信モジュール２５５は、生体情報検知モジュール２６０と接続されており、また、通信回線を介して、情報処理装置２００Ａの通信モジュール２３０と接続されている。通信モジュール２５５は、情報処理装置２００Ａと通信を行う。通信回線として、無線、有線、これらの組み合わせであってもよい。例えば、無線回線として、Ｗｉ−Ｆｉ、ブルートゥース（登録商標）等の近距離無線通信を行うようにしてもよい。
生体情報検知モジュール２６０は、通信モジュール２５５と接続されている。装置２５０は、例えば、ユーザーの頭部に取り付けられている。装置２５０を身につけているユーザーの頭部における電位を測定する。例えば、特開２０１９−０２４７５８号公報に記載の電極（発泡材料によって構成され、少なくとも生体に接触する部分が導電性を有し、生体に接触して脳波を検出する電極）を用いるようにしてもよい。
そして、生体情報検知モジュール２６０は、その測定結果である電位測定結果を通信モジュール２５５に渡し、情報処理装置２００Ａに送信する。

情報処理装置２００Ａは、生体情報抽出モジュール１０５、頭部情報抽出モジュール１１０、解析モジュール１１５、表示制御モジュール１２０、表示モジュール１２５、通信モジュール２３０を有している。

通信モジュール２３０は、生体情報抽出モジュール１０５、頭部情報抽出モジュール１１０と接続されており、また、通信回線を介して装置２５０の通信モジュール２５５と接続されている。通信モジュール２３０は、装置２５０と通信を行って、電位測定結果を受信する。装置２５０から受信した電位測定結果を、生体情報抽出モジュール１０５と頭部情報抽出モジュール１１０に渡す。

生体情報抽出モジュール１０５は、解析モジュール１１５、通信モジュール２３０と接続されている。生体情報抽出モジュール１０５は、装置２５０から受信した、人体の頭部における電位を測定した結果である電位測定結果から生体情報を抽出する。
頭部情報抽出モジュール１１０は、解析モジュール１１５、通信モジュール２３０と接続されている。頭部情報抽出モジュール１１０は、装置２５０から受信した、人体の頭部における電位を測定した結果である電位測定結果から頭部の動きを抽出する。

図２Ｂは、本実施の形態を利用したシステム構成例を示す説明図である。情報処理装置２００Ｂと装置２５０とが通信を行うシステム構成例を示すものである。なお、情報処理装置２００Ｂ内に、情報処理装置１００の構成を有している。

情報処理装置２００Ｂは、生体情報抽出モジュール１０５、頭部情報抽出モジュール１１０、解析モジュール１１５、表示制御モジュール１２０、表示モジュール１２５、通信モジュール２３０を有している。
通信モジュール２３０は、生体情報抽出モジュール１０５と接続されており、また、通信回線を介して装置２５０の通信モジュール２５５と接続されている。通信モジュール２３０は、装置２５０と通信を行って、電位測定結果を受信する。装置２５０から受信した電位測定結果を、生体情報抽出モジュール１０５に渡す。

生体情報抽出モジュール１０５は、解析モジュール１１５、通信モジュール２３０と接続されている。生体情報抽出モジュール１０５は、装置２５０から受信した、人体の頭部における電位を測定した結果である電位測定結果から生体情報を抽出する。
頭部情報抽出モジュール１１０は、撮影モジュール２３５を有しており、解析モジュール１１５と接続されている。撮影モジュール２３５は、情報処理装置２００Ｂを所持しているユーザー（なお、このユーザーは、装置２５０を身につけているユーザーでもある）の頭部を撮影する。静止画であってもよいし、動画であってもよい。なお、静止画である場合は、時間をずらして２枚以上の静止画を撮影することが好ましい。
頭部情報抽出モジュール１１０は、撮影モジュール２３５が撮影したユーザーの頭部の画像から、頭部の動きを抽出する。例えば、機械学習を行って生成した学習モデルを用いて、画像から頭部の動きを抽出するようにしてもよい。
そして、表示制御モジュール１２０は、さらに、撮影モジュール２３５が撮影した画像を表示するように制御する。その際に、生体情報と頭部の動きを示すグラフを、撮影モジュール２３５が撮影した画像とともに表示するようにしてもよい。また、頭部の動きがあった場合の画像を連動して表示するようにしてもよい。

図２Ｃは、本実施の形態を利用したシステム構成例を示す説明図である。情報処理装置２００Ｃと装置２５０とが通信を行うシステム構成例を示すものである。なお、情報処理装置２００Ｃ内に、情報処理装置１００の構成を有している。

情報処理装置２００Ｃは、生体情報抽出モジュール１０５、頭部情報抽出モジュール１１０、解析モジュール１１５、表示制御モジュール１２０、表示モジュール１２５、通信モジュール２３０を有している。
通信モジュール２３０は、生体情報抽出モジュール１０５、頭部情報抽出モジュール１１０と接続されており、また、通信回線を介して装置２５０の通信モジュール２５５と接続されている。通信モジュール２３０は、装置２５０と通信を行って、電位測定結果を受信する。装置２５０から受信した電位測定結果を、生体情報抽出モジュール１０５と頭部情報抽出モジュール１１０に渡す。

生体情報抽出モジュール１０５は、解析モジュール１１５、通信モジュール２３０と接続されている。生体情報抽出モジュール１０５は、装置２５０から受信した、人体の頭部における電位を測定した結果である電位測定結果から生体情報を抽出する。
頭部情報抽出モジュール１１０は、撮影モジュール２３５を有しており、解析モジュール１１５、通信モジュール２３０と接続されている。頭部情報抽出モジュール１１０は、装置２５０から受信した電位測定結果及び撮影モジュール２３５が撮影したユーザーの頭部の画像から、頭部の動きを抽出する。図２Ａの例に示した頭部情報抽出モジュール１１０と図２Ｂの例に示した頭部情報抽出モジュール１１０の両方の機能を有している。例えば、装置２５０から受信した電位測定結果から抽出した頭部の動きと、頭部の画像から抽出した頭部の動きが、一致している場合に、頭部の動きとして抽出するようにしてもよい。異なる場合は、頭部の動きとして抽出できなかったとしてもよいし、いずれか一方の結果である頭部の動きを採用してもよい。

図３は、本実施の形態を利用した具体的なシステム構成例を示す説明図である。
スマートフォン３００は、情報処理装置２００（特に、情報処理装置２００Ｂ又は情報処理装置２００Ｃ）の具体例であり、ウェアラブルデバイス３５０は、装置２５０の具体例である。スマートフォン３００は、カメラ３３５を有しており、ユーザー３９０の頭部を撮影する。カメラ３３５は、撮影モジュール２３５の具体例である。
ユーザー３９０は、スマートフォン３００を所持しており、ウェアラブルデバイス３５０を頭部に着用している。スマートフォン３００とウェアラブルデバイス３５０は、近距離無線通信を用いて通信を行う。
スマートフォン３００とウェアラブルデバイス３５０によって、ユーザー３９０自身の生体情報と頭部の動きを、スマートフォン３００画面上で関連付けて表示する。例えば、ユーザー３９０の咀嚼と嚥下をセンシングする。
ウェアラブルデバイス３５０として、センサーを外耳道に配設し、そのウェアラブルデバイス３５０は、脳波と筋電の合成波形のデータ（いわゆる生データ（Ｒａｗデータ）であり、以下、生データともいう）を検出する。生データをスマートフォン３００に送信する。スマートフォン３００では、生データそのものを筋電のデータとし、生データに対してＦＦＴを施して、脳波データに変換する。つまり、１つの波形データ（生データ）から２つの情報、つまり、生体情報である脳波データと頭部の動きを示す筋電データを取得する。例えば、スマートフォン３００は、筋電データから咀嚼と嚥下を検知し、筋電データのグラフにマーク付けを行い、また、筋電データのグラフと同じ時系列で脳波データのグラフを表示して、ユーザー３９０は、咀嚼と嚥下が行われた際の脳波データの状態を知ることができるようになる。
具体的には、筋電データのグラフ上でのピークを抽出し、閾値との比較によって、咀嚼と嚥下を検出する。そして、筋電データのグラフ上に咀嚼と嚥下のマーク付けを行う。また、生データをＦＦＴ解析し、ノイズの周波数成分を排除して、脳波を解析して脳波のグラフを生成し、筋電データのグラフと揃えた時系列で表示する。

また、スマートフォン３００のカメラ３３５を用いて、ユーザー３９０の頭部、主に顔を撮影して、顔の動きと脳波の関係を関連付けて表示するようにしてもよい。顔の動きとして、例えば、美容用の顔体操、表情筋のトレーニング等が該当する。

前述した特開２０１９−０２４７５８号公報に記載の電極をウェアラブルデバイス３５０のセンサーに用いた場合、そのセンサーは、微小な電位（例えば、数μＶレベル）を測定する電位計であり、わずかな電位の変化でもＳ／Ｎ比が高い信号を取得することが求められる。
しかしながら、わずかな電位の変化も取得できるために、電極の周囲の筋肉から発生する筋電も、ノイズとして信号にのってしまう。
本実施の形態では、通常ノイズとして扱う筋電情報を用いて、頭部の動作を検出している。頭部の動作として、例えば、咀嚼、嚥下等がある。
脳波測定の電極を外耳道、グランド（ＧＮＤ）を耳の周辺部位に配置し計測するウェアラブルデバイス３５０は、近くに顎、頬や喉の大きな筋肉があり、咀嚼や嚥下等の動作により筋電の信号を取得することが可能である。
特開２０１９−０２４７５８号公報に記載の電極を用いた場合、本実施の形態では、以下のような処理を行う。
（１）ウェアラブルデバイス３５０の脳波電極を、ユーザー３９０の外耳道に配設する。
（２）生データを筋電データとし、生データにＦＦＴの処理を施して脳波データを得て、１つの波形データから２つの生体情報を取得する。

図４は、本実施の形態（ウェアラブルデバイス３５０）による処理例を示すフローチャートである。
ステップＳ４０２では、ウェアラブルデバイス３５０は、ユーザー３９０の生体情報を検出する。前述の生データとなる。
ステップＳ４０４では、スマートフォン３００へ送信するためのデータを生成する。
ステップＳ４０６では、スマートフォン３００へデータを送信する。前述したように、例えば、スマートフォン３００とウェアラブルデバイス３５０は近距離無線通信を行う。

図５は、本実施の形態（スマートフォン３００）による処理例を示すフローチャートである。
ステップＳ５０２では、ウェアラブルデバイス３５０からデータを受信する。
ステップＳ５０４では、受信したデータから脳波に関する情報を抽出する。
ステップＳ５０６では、受信したデータから頭部の動きに関する情報を抽出する。
ステップＳ５０８では、脳波に関する情報と頭部の動きに関する情報の両方のグラフを同一画面上に表示する。もちろんのことながら、２つのグラフの時系列をそろえている。具体的には、２つのグラフの時を示すＸ軸を一致させて表示するようにしてもよいし、２つのグラフを１つの領域内に重複して表示するようにしてもよい。

図６は、本実施の形態（スマートフォン３００）による処理例を示すフローチャートである。
ステップＳ６０２では、ウェアラブルデバイス３５０からデータを受信する。
ステップＳ６０４では、スマートフォン３００のカメラ３３５が撮影した画像を取得する。
ステップＳ６０６では、受信したデータから脳波に関する情報を抽出する。
ステップＳ６０８では、画像を解析して、頭部の動きに関する情報を抽出する。
ステップＳ６１０では、脳波に関する情報と頭部の動きに関する情報の両方のグラフを同一画面上に表示する。例えば、脳波のグラフ上に頭部の動きが発生した時点にマーク付けするようにしてもよい。

図７は、本実施の形態（スマートフォン３００）による処理例を示すフローチャートである。図５の例に示した処理例と図６の例に示した処理例を組み合わせたものである。
ステップＳ７０２では、ウェアラブルデバイス３５０からデータを受信する。
ステップＳ７０４では、カメラ３３５が撮影した画像を取得する。
ステップＳ７０６では、受信したデータから脳波に関する情報を抽出する。
ステップＳ７０８では、受信したデータから頭部の動きに関する情報を抽出する。
ステップＳ７１０では、画像を解析して、頭部の動きに関する情報を抽出する。
ステップＳ７１２では、ステップＳ７０８とステップＳ７１０で抽出した頭部の動きに関する情報を合成する。
ステップＳ７１４では、脳波に関する情報と頭部の動きに関する情報の両方のグラフを同一画面上に表示する。

図８は、本実施の形態による処理例を示す説明図である。
例えば、スマートフォン３００の画面８００に、生データ欄８０２、ＦＦＴ欄８０４、ウェーブレット変換欄８０６、Ｓｔｏｃｋｗｅｌｌ変換欄８０８、経験的モード分解欄８１０を表示する。
ウェアラブルデバイス３５０から取得した信号を、ＦＦＴ、ウェーブレット変換、Ｓｔｏｃｋｗｅｌｌ変換、経験的モード分解（使用者が任意で設定した関数）等の複数種類の処理をした結果を、画面８００上に表示している。ここでは、時間軸である横軸を同じにし、生データ欄８０２、ＦＦＴ欄８０４、ウェーブレット変換欄８０６、Ｓｔｏｃｋｗｅｌｌ変換欄８０８、経験的モード分解欄８１０に分けて、各グラフを表示している。
また、周波数分析した結果の強度比をそのままグラフにする表示と、周波数分析した全体の強度比率を表示するようにしてもよい。

図９は、本実施の形態による処理例を示す説明図である。この例は、生体情報の生データと、生体情報を解析したデータと、生体情報を加工したデータ（生データから周期的な成分を除去したデータ）を表示するようにしたものである。
画面９００には、生データ欄９０２、周波数解析欄９０４、周期的な周波数波形生成欄９０６、加工した波形データ欄９０８を表示する。
周波数解析欄９０４内のグラフには、周期的な周波数成分が現れる。図９では、周波数解析欄９０４内のグラフでピークとなっている部分が該当する。
加工した波形データ欄９０８には、例えば、生データ欄９０２のグラフと周期的な周波数波形生成欄９０６のグラフから生成したグラフを表示している。つまり、生データから周期的な周波数成分を取り除くことで、筋電などの周期性のない波形が見えやすくなる。

図１０は、本実施の形態による処理例を示す説明図である。
グラフ上に咀嚼と嚥下の箇所をマーク付けした例を示すものである。
画面１０００には、生データ欄１００２、δ波欄１００４、θ波欄１００６、α波欄１００８、筋電データ欄１０１０を表示する。δ波欄１００４、θ波欄１００６、α波欄１００８内のグラフは、生データに対してＦＦＴ等の処理を施して、δ波、θ波、α波に分解したものである。また、筋電データ欄１０１０には、生データから脳波の成分を除去して抽出した筋電データのグラフを表示している。そして、このグラフ上に咀嚼と嚥下が行われた箇所についてマーク付けを行っている。
咀嚼については、グラフの第１ピークが予め定められた第１閾値より高い又は以上であって、その第１ピークの後にある第２ピークがその第１閾値未満又は以下であり、予め定められた第２閾値より高い又は以上である箇所を咀嚼が行われた箇所としている。なお、第２閾値は第１閾値よりも低いこととする。図１０の例では、咀嚼のマークがついている第１ピークである箇所は、第１閾値より高いピークであって、その後に続く第２ピークは第１閾値より低くかつ第２閾値より高い関係を満たしている。
嚥下については、咀嚼の後であって、第３ピークが予め定められた第３閾値より高い又は以上である箇所を嚥下が行われた箇所としている。図１０の例では、嚥下のマークがついている第３ピークである箇所は、第１ピークよりも後であって、第３閾値より高い関係を満たしている。なお、第１ピークよりも後であって、そして、第２ピークよりも後であって、第３閾値より高い関係を満たしている箇所を嚥下が行われた箇所としてもよい。
このような表示を行うことによって、筋電データから咀嚼と嚥下が検出された場合、各脳波との関係が一つの画面で確認できるため、仮説や検証が容易になる。

図１１は、本実施の形態による処理例を示す説明図である。
図１１（ａ）の例に示すグラフは、生データのグラフである。つまり、脳波データと筋電データが合成されたものである。
生データを、脳波データと筋電データに分離する。例えば、生データにＦＦＴ処理を施して脳波データを生成してもよい。そして、生データそのものを筋電データとして扱ってもよい。つまり、ウェアラブルデバイス３５０から取得した一つの生データから２つの情報を取得する。
図１１（ｂ）の例に示すグラフは、筋電データのグラフである。ここで、咀嚼箇所１１５０と咀嚼箇所１１５２は、閾値１１１０よりも高く、その直後にあるピークは閾値１１２０よりも高いので、咀嚼の箇所であると判断している。
図１１（ｃ）の例に示すグラフは、生データをＦＦＴ解析し、ノイズの周波数成分を除去した脳波データのグラフである。

図１２は、本実施の形態による処理例を示す説明図である。ウェアラブルデバイス３５０は、節電センサーだけでなく、加速度センサーも有していてもよい。その場合、加速度センサーによる検知結果をも用いて、情報を表示するようにしてもよい。
加速度データグラフ１２１０のデータは、ユーザー３９０の頭部に設置したウェアラブルデバイス３５０内の加速度センサーによって取得したものである。この加速度センサーとして、例えば、６軸センサー等を用いればよい。
生データグラフ１２２０のデータは、そのウェアラブルデバイス３５０内の節電センサーによって取得したものである。
ウェアラブルデバイス３５０内の加速度センサーによる検知結果を用いて、頭部の動作と顎の筋電の情報を関連づけることで、より詳細な動作に分類することができる。例えば、嚥下であって頭を後ろに倒したという情報が得られれば、飲み物を飲んだ動作と判断する。
図１２の例では、生データグラフ１２２０における咀嚼箇所１２５０、咀嚼箇所１２５２の直前に、加速度データグラフ１２１０においてピークがあることから、嚥下の直前に首を後方に傾ける動きがあったことがわかる。なお、このグラフは、前後方向における加速度を示している。また、横方向における加速度を用いれば、顔を傾けること等の判断を行うことができる。

図１３は、本実施の形態による処理例を示す説明図である。
画面１３００に、生データグラフ１３１０、脳波（α波）グラフ１３２０、脳波（β波）グラフ１３３０を重複して表示したものである。もちろんのことながら、時間軸である横軸は一致させている。
この例では、ユーザーがグラフを選択して、そのグラフを強調表示させることができる。例えば、脳波（α波）グラフ１３２０がユーザーによって選択された場合は、脳波（α波）グラフ１３２０を赤色に表示するようにしてもよい。
そして、咀嚼箇所１３５０、咀嚼箇所１３５２のように、咀嚼が行われた箇所にマーク付けを行うことによって、その咀嚼が行われている場合の脳波の状態を観察することができるようにしている。

図１４は、本実施の形態による処理例を示す説明図である。
スマートフォン３００は、画面３２５、カメラ３３５を有している。カメラ３３５は、インカメラとも言われ、スマートフォン３００を有しているユーザー３９０の顔を撮影するのに用いられている。このカメラ３３５でユーザー３９０の顔を撮影して、ウェアラブルデバイス３５０が検知した情報をグラフ表示する例を示す。
図１４の例は、美容用の顔体操、表情筋のトレーニング等に用いるようにした例を示すものである。ユーザー３９０の顔画像と生体情報の測定結果を連動して表示する例を示したものである。

画面３２５には、撮影画像表示領域１４１０、残り回数表示領域１４２０、残り時間表示領域１４３０、コメント表示領域１４４０、グラフ表示領域１４５０を表示する。
ウェアラブルデバイス３５０の初期設定時に、個々人の電位にあわせてイニシャライズ（初期化）を実施する。イニシャライズする際には、電位と画像のデータの両方もしくは片方を用いる。
電位が測定できない場合は、画像情報のみからトレーニング回数をカウントする。トレーニングとして、例えば、眼輪筋トレーニング等がある。なお、「電位が測定できない場合」は、生体情報が抽出できない場合の一例である。
スマートフォン３００の画面３２５は、トレーニング用アプリケーションによって表示され、ユーザー３９０である使用者の顔と電位データとアクティビティの情報を関連付けて表示する。アクティビティの情報として、例えば、もっと目を開くなどのアドバイス、トレーニング回数、トレーニング時間等がある。例えば残り回数表示領域１４２０に「残り回数：５回」と表示し、残り時間表示領域１４３０に「残り時間：００：３２」と表示し、コメント表示領域１４４０に「もっと頬を上げて下さい」と表示する。
また、ウェアラブルデバイス３５０からの筋電データを解析して、リフトアップ等が行われたことを検知する。さらに、顔画像を解析して、リフトアップ等が行われたことを検知するようにしてもよい。即ち、筋電といった生体電位から情報が取得できない異常事態であっても、アプリケーションを止めることなく、効果推定をしてユーザー３９０にトレーニング効果を通知するようにしてもよい。同様に、顔画像が取得できない場合は、生体電位からの情報のみで効果結果を推定してユーザー３９０に通知するようにしてもよい。なお、両方が正常に計測して解析できている場合にあっては、一方のみが計測できている場合に較べて、より精度高くトレーニング効果を推定して通知することができる。

図１５は、本実施の形態による処理例を示す説明図である。
トレーニング前後の顔画像を比較可能に表示したものである。図１５（ａ）に示す画面３２５ａは、トレーニング前の顔画像を表示しており、図１５（ｂ）に示す画面３２５ｂは、トレーニング後の顔画像を表示している。この例では、トレーニングによって、頬線１４１２ａ、頬線１４１４ａが、上がって頬線１４１２ｂ、頬線１４１４ｂに変化していることがわかるようになる。
なお、画像の比較として、例えば、一画面内で左右並びに表示、一枚ずつの表示、２枚を透過して合成、トレーニング前後左右半分ずつの表示、一部拡大等を選べるようにしてもよい。
また、リフトアップ等が行われた時に撮影された顔画像を表示するようにしてもよい。さらに、その前後の顔画像を含めて表示するようにしてもよい。

図１６は、本実施の形態による処理例を示す説明図である。図１６に示す例は、美容用の顔体操、表情筋のトレーニング等に用いるようにした例を示すものである。ユーザー３９０の顔画像と生体情報の測定結果を連動して表示する例を示したものである。
画面３２５には、撮影画像表示領域１６１０、残り回数表示領域１６２０、残り時間表示領域１６３０、コメント表示領域１６４０、グラフ表示領域１６５０を表示する。
図１４に示した例と同様であるが、図１６に示す例は、眼輪筋のトレーニングに関するものである。
例えば残り回数表示領域１６２０に「残り回数：５回」と表示し、残り時間表示領域１６３０に「残り時間：００：３２」と表示し、コメント表示領域１６４０に「もっと目を開いて下さい」と表示する。

図１７は、本実施の形態による処理例を示す説明図である。
トレーニング前後の顔画像を比較可能に表示したものである。図１７（ａ）に示す画面３２５ａは、トレーニング前の顔画像を表示しており、画面３２５ａには、撮影画像表示領域１７１０ａ、トレーニング対象表示領域１７２０ａを表示する。図１７（ｂ）に示す画面３２５ｂは、トレーニング後の顔画像を表示しており、画面３２５ｂには、撮影画像表示領域１７１０ｂ、トレーニング対象表示領域１７２０ｂを表示する。
この例では、トレーニングによって、目の大きさが大きく変化していることがわかるようになる。特に、トレーニング対象の箇所を拡大表示している。この例では、トレーニング対象表示領域１７２０ａ内の目の画像とトレーニング対象表示領域１７２０ｂ内の目の画像を比較できるようにしている。
なお、画像の比較として、例えば、一画面内で左右並びに表示、一枚ずつの表示、２枚を透過して合成、トレーニング前後左右半分ずつの表示、一部拡大等を選べるようにしてもよい。
また、目の見開き等が行われた時に撮影された顔画像を表示するようにしてもよい。さらに、その前後の顔画像を含めて表示するようにしてもよい。

なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図１８に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１８０１を用い、記憶装置としてＲＡＭ１８０２、ＲＯＭ１８０３、ＨＤＤ１８０４を用いている。ＨＤＤ１８０４として、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略）、フラッシュ・メモリであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅの略）等を用いてもよい。生体情報抽出モジュール１０５、頭部情報抽出モジュール１１０、解析モジュール１１５、表示制御モジュール１２０、表示モジュール１２５、通信モジュール２３０、通信モジュール２５５、生体情報検知モジュール２６０等のプログラムを実行するＣＰＵ１８０１と、そのプログラムやデータを記憶するＲＡＭ１８０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１８０３と、脳波情報、頭部情報等を記憶する補助記憶装置であるＨＤＤ１８０４と、キーボード、マウス、タッチスクリーン、マイク、カメラ（視線検知カメラ等を含む）等に対する利用者の操作（動作、音声、視線等を含む）に基づいてデータを受け付ける受付装置１８０６と、ＣＲＴ、液晶ディスプレイ、スピーカー等の出力装置１８０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インターフェース１８０７、そして、それらをつないでデータのやりとりをするためのバス１８０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。

前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１８に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１８に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）や再構成可能な集積回路（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：ＦＰＧＡ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１８に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボットなどに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…情報処理装置
１０５…生体情報抽出モジュール
１１０…頭部情報抽出モジュール
１１５…解析モジュール
１２０…表示制御モジュール
１２５…表示モジュール
２００…情報処理装置
２３０…通信モジュール
２３５…撮影モジュール
２５０…装置
２５５…通信モジュール
２６０…生体情報検知モジュール
３００…スマートフォン
３２５…画面
３３５…カメラ
３５０…ウェアラブルデバイス
３９０…ユーザー

Claims (14)

1. 人体の頭部における電位を測定した結果である電位測定結果から生体情報と頭部の動きを抽出する抽出手段と、
   前記抽出手段によって抽出された前記生体情報と前記頭部の動きを同じ画面上で紐付けて通知可能に制御する制御手段
   を有する情報処理装置。
2. 前記抽出手段は、前記電位測定結果から複数の周波数帯域の波を抽出し、
   前記制御手段は、前記抽出手段が抽出した複数の波と前記頭部の動きを前記画面上に比較可能に表示するように制御する、
   請求項１に記載の情報処理装置。
3. 前記頭部の動きとして、咀嚼を含み、
   前記抽出手段は、前記電位測定結果が予め定められたパターンに合致する箇所を咀嚼箇所として抽出し、
   前記制御手段は、生体情報と、前記電位測定結果を示すグラフ上に前記咀嚼箇所を比較可能に表示するように制御する、
   請求項１に記載の情報処理装置。
4. 前記予め定められたパターンとして、前記グラフの第１ピークが予め定められた第１閾値より高い又は以上であって、該第１ピークの後にある第２ピークが該第１閾値未満又は以下であり、予め定められた第２閾値より高い又は以上であり、該第２閾値は該第１閾値よりも低いこととする、
   請求項３に記載の情報処理装置。
5. 前記頭部の動きとして、嚥下を含み、
   前記電位測定結果が予め定められたパターンに合致する箇所を嚥下箇所であると解析する解析手段
   をさらに有し、
   前記制御手段は、生体情報と、前記電位測定結果を示すグラフ上に前記嚥下箇所を比較可能に表示するように制御する、
   請求項１に記載の情報処理装置。
6. 前記予め定められたパターンとして、咀嚼の後であって、前記グラフの第３ピークが予め定められた第３閾値より高い又は以上であることとする、
   請求項５に記載の情報処理装置。
7. 前記解析手段は、さらに前記頭部に装着された加速度センサーの測定結果を用いて、該頭部が予め定められた動きである場合は、前記嚥下を飲み物の嚥下であるとして抽出する、
   請求項６に記載の情報処理装置。
8. 前記予め定められた動きとして、首を後方に傾ける動きとする、
   請求項７に記載の情報処理装置。
9. 前記制御手段は、前記電位測定結果を、複数種の変換処理した結果を同じ画面上に表示する、
   請求項１に記載の情報処理装置。
10. 前記制御手段は、低域通過濾波器、高域通過濾波器を用いて予め定められた期間をスペクトル分析した結果と、周期性を持たないそれ以外のデータとを表示する、
    請求項１に記載の情報処理装置。
11. 前記人体の頭部を撮影する撮影手段
    をさらに有し、
    前記制御手段は、さらに、前記撮影手段が撮影した画像を表示するように制御する、
    請求項１に記載の情報処理装置。
12. 前記撮影した画像と前記生体情報を紐付けて利用者の状態を通知する、
    請求項１１に記載の情報処理装置。
13. 前記生体情報が抽出できない場合、前記画像を解析して前記利用者の状態を通知する、
    請求項１２に記載の情報処理装置。
14. コンピュータを、
    人体の頭部における電位を測定した結果である電位測定結果から生体情報と頭部の動きを抽出する抽出手段と、
    前記抽出手段によって抽出された前記生体情報と前記頭部の動きを同じ画面上で紐付けて通知可能に制御する制御手段
    として機能させるための情報処理プログラム。