以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
[第1実施形態]
図1は、第1実施形態に係る情報処理装置の模式図である。図1に示すように、情報処理装置10は、ユーザUの体に装着される、いわゆるウェアラブルデバイスである。本実施形態の例では、情報処理装置10は、ユーザUの目に装着される装置10Aと、ユーザUの耳に装着される装置10Bと、ユーザの腕に装着される装置10Cとを含む。ユーザUの目に装着される装置10AはユーザUに視覚刺激を出力する(画像を表示する)後述の表示部26Aを含み、ユーザUの耳に装着される装置10Bは、ユーザUに聴覚刺激(音声)を出力する後述の音声出力部26Bを含み、ユーザUの腕に装着される装置10Cは、ユーザUに触覚刺激を出力する後述の触覚刺激出力部26Cを含む。ただし、図1の構成は一例であり、装置の数や、ユーザUへの装着位置も任意であってよい。例えば、情報処理装置10は、ウェアラブルデバイスに限られず、ユーザUに携帯される装置であってよく、例えばいわゆるスマートフォンやタブレット端末などであってもよい。
図2は、第1実施形態に係る情報処理装置の構成例を示すブロック図である。図1に示すように、情報処理装置10は、行動状態センサ20と、入力部22と、出力部24と、通信部26と、記憶部28と、制御部30とを備える。
行動状態センサ20は、情報処理装置10を装着しているユーザUの行動状態に関する行動状態情報を検出するセンサである。ユーザUの行動状態情報には、ユーザUの行動に関する各種の情報が含まれ得る。ユーザUの行動状態情報には、少なくともユーザUの物理的な身体の動き、行動をする日時、行動をする場所、行動を行っている時間に関する情報が含まれ得る。
行動状態センサ20は、カメラ20Aと、マイク20Bと、GNSS受信器20Cと、加速度センサ20Dと、ジャイロセンサ20Eと、光センサ20Fと、温度センサ20Gと、湿度センサ20Hとを含む。ただし、行動状態センサ20は、行動状態情報を検出する任意のセンサを含むものであってよく、例えば、カメラ20Aと、マイク20Bと、GNSS受信器20Cと、加速度センサ20Dと、ジャイロセンサ20Eと、光センサ20Fと、温度センサ20Gと、湿度センサ20Hとの、少なくとも1つを含んだものであってよいし、他のセンサを含んだものであってもよい。
カメラ20Aは、撮像装置であり、行動状態情報として、情報処理装置10(ユーザU)の周辺の可視光を検出することで、情報処理装置10の周辺を撮像する。カメラ20Aは、所定のフレームレート毎に撮像するビデオカメラであってよい。情報処理装置10においてカメラ20Aの設けられる位置や向きは任意であるが、例えば、カメラ20Aは、図1に示す装置10Aに設けられており、撮像方向がユーザUの顔が向いている方向であってよい。これにより、カメラ20Aは、ユーザUの視線の先にある対象物を、すなわちユーザUの視野の範囲に入る対象物を、撮像できる。また、カメラ20Aの数は任意であり、単数であっても複数であってもよい。なお、カメラ20Aが複数ある場合には、カメラ20Aが向いている方向の情報も、取得される。
マイク20Bは、行動状態情報として、情報処理装置10(ユーザU)の周辺の音声(音波情報)を検出するマイクである。情報処理装置10においてマイク20Bの設けられる位置、向き、及び数などは任意である。なお、マイク20Bが複数ある場合には、マイク20Bが向いている方向の情報も、取得される。
GNSS受信器20Cは、行動状態情報として、情報処理装置10(ユーザU)の位置情報を検出する装置である。ここでの位置情報とは、地球座標である。本実施形態では、GNSS受信器20Cは、いわゆるGNSS(Global Navigation Satellite System)モジュールであり、衛星からの電波を受信して、情報処理装置10(ユーザU)の位置情報を検出する。
加速度センサ20Dは、行動状態情報として、情報処理装置10(ユーザU)の加速度を検出するセンサであり、例えば、重力、振動、及び衝撃などを検出する。
ジャイロセンサ20Eは、行動状態情報として、情報処理装置10(ユーザU)の回転や向きを検出するセンサであり、コリオリの力やオイラー力や遠心力の原理などを用いて検出する。
光センサ20Fは、行動状態情報として、情報処理装置10(ユーザU)の周辺の光の強度を検出するセンサである。光センサ20Fは、可視光線や赤外線や紫外線の強度を検出できる。
温度センサ20Gは、行動状態情報として、情報処理装置10(ユーザU)の周辺の温度を検出するセンサである。
湿度センサ20Hは、行動状態情報として、情報処理装置10(ユーザU)の周辺の湿度を検出するセンサである。
入力部22は、ユーザの操作を受け付ける装置であり、例えばタッチパネルなどであってよい。
出力部24は、情報処理装置10による出力結果を出力する。出力部24は、例えば映像を表示する表示部24Aと、音声を出力する音声出力部24Bとを有する。本実施形態では、表示部24Aは、例えば、いわゆるHMD(Head Mounted Display)である。音声出力部24Bは、音声を出力するスピーカである。
通信部26は、外部の装置などと通信するモジュールであり、例えば、アンテナなどを含んでよい。通信部26による通信方式は、本実施形態では無線通信であるが、通信方式は任意であってよい。
記憶部28は、制御部30の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)のような主記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。
記憶部28には、学習モデル28Aと、地図データ28Bとが記憶されている。学習モデル28Aは、環境情報に基づいてユーザUのおかれている環境を特定するために用いられるAIモデルである。地図データ28Bは、実在の建造物や自然物などの位置情報を含んだデータであり、地球座標と実在の建造物や自然物などとが、関連付けられたデータといえる。学習モデル28A、及び地図データ30Bなどを用いた処理については、後述する。なお、学習モデル28A、及び地図データ28Bや、記憶部28が保存する制御部30用のプログラムは、情報処理装置10が読み取り可能な記録媒体に記憶されていてもよい。また、記憶部28が保存する制御部30用のプログラムや、学習モデル28A、及び地図データ28Bは、記憶部28に予め記憶されていることに限られず、これらのデータを使用する際に、情報処理装置10が通信によって外部の装置から取得してもよい。
制御部30は、情報処理装置10の各部の動作を制御する。制御部30は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、図示しない記憶部に記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。制御部30は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。制御部30は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
制御部30は、行動状態情報取得部40と、行動パターン情報生成部42と、行動スコア算出部44と、行動パターン特定部46と、記憶制御部48と、出力制御部50とを備える。
行動状態情報取得部40は、行動状態センサ20を制御して、行動状態センサ20にユーザUの行動状態情報を検出させる。行動状態情報取得部40は、行動状態センサ20が検出した行動状態情報を取得する。
行動パターン情報生成部42は、行動状態情報取得部40が取得した行動状態情報に基づいて、行動パターン情報を生成する。行動パターン情報生成部42は、例えば、行動状態情報に基づいて、少なくともユーザUの行動状態が検出された日時、場所、時間のパラメータを座標軸とする多次元空間に行動パターン情報を生成する。
行動スコア算出部44は、行動パターン情報生成部42が生成した行動パターン情報に基づいて、行動スコアを算出する。行動スコア算出部44は、例えば、行動状態情報が集まる行動パターン情報群の密度が所定の密度を超えている空間ごとにグループ化する。行動スコア算出部44は、グループ化された行動パターン情報群を含む空間に基づいて、行動パターン情報群の行動スコアを算出する。具体的には、行動スコア算出部44は、例えば、行動パターン情報群を含む空間の大きさに関する情報を行動スコアとして算出する。
行動パターン特定部46は、行動スコア算出部44が算出した行動スコアに基づいて、ユーザUの行動パターンを特定する。行動パターン特定部46は、行動スコアの値が所定の閾値を超えている行動パターン情報群に対応する行動をユーザUの行動パターンであると判定する。行動パターン特定部46は、例えば、行動状態情報取得部40が取得した画像データ、音声データ、位置情報、加速度情報、姿勢情報、赤外線及び紫外線の強度情報、温度情報、及び湿度情報などに基づいて、ユーザUが行っていた行動の種類を特定する。
記憶制御部48は、記憶部28を制御して、記憶を行わせる。行動パターン特定部46が特定したユーザUの行動パターンに関する情報を記憶部28に記憶する。記憶制御部48は、行動パターン特定部46が特定したユーザUの行動パターンに関する情報を所定のフォーマットで記憶部28に記憶する。所定のフォーマットについては、後述する。
出力制御部50は、出力部24を制御して、出力を行わせる。出力制御部50は、例えば、表示部24Aを制御して、行動パターンに関する情報を表示させる。出力制御部50は、例えば、音声出力部24Bを制御して、行動パターンに関する情報を音声で出力する。
[処理内容]
図3を用いて、第1実施形態に係る情報処理装置10の処理内容について説明する。図3は、第1実施形態に係る情報処理装置10の処理の流れの一例を示すフローチャートである。
制御部30は、行動状態センサ20からユーザUの行動に関する行動状態情報を取得する(ステップS10)。具体的には、行動状態情報取得部40は、情報処理装置10(ユーザU)の周辺を撮像した画像データをカメラ20Aから取得する。行動状態情報取得部40は、情報処理装置10(ユーザU)の周辺の音声を収音した音声データをマイク20Bから取得する。行動状態情報取得部40は、情報処理装置10(ユーザU)の位置情報をGNSS受信器20Cから取得する。行動状態情報取得部40は、情報処理装置10(ユーザU)の加速度情報を加速度センサ20Dから取得する。行動状態情報取得部40は、情報処理装置10(ユーザU)の姿勢情報をジャイロセンサ20Eから取得する。行動状態情報取得部40は、情報処理装置10(ユーザU)の周辺の赤外線及び紫外線の強度情報を光センサ20Fから取得する。行動状態情報取得部40は、情報処理装置10(ユーザU)の周辺の温度情報を温度センサ20Gから取得する。行動状態情報取得部40は、情報処理装置10(ユーザU)の周辺の湿度情報を湿度センサ20Hから取得する。行動状態情報取得部40は、これらの情報を、所定期間ごとに、逐次取得する。行動状態情報取得部40は、それぞれの行動状態情報を、同じタイミングで取得してもよいし、異なるタイミングで取得してもよい。また、次の行動状態情報を取得するまでの所定期間は、任意に設定してよく、環境情報毎に所定期間を同じにしてもよいし、異ならせてもよい。
ユーザUの行動には、行動自体の物理的な身体の動き、その行動をする日時、その行動をする場所、その行動をその場所で行っている時間の3つの要素が含まれ得る。ユーザUの行動には、ユーザUの身体の動きだけでなく、例えば、「ゴルフをする」、「映画を見る」、「買い物をする」などの行為も含まれ得る。行動状態情報取得部40が取得したユーザUの身体の動きが同じであっても、位置情報が異なっていれば行っている行為が異なることもあり得る。
制御部30は、ユーザUの行動パターン情報を生成する(ステップS11)。具体的には、行動パターン情報生成部42は、行動状態情報取得部40が取得したユーザUの行動状態情報に基づいて、ユーザUの行動パターン情報を生成する。制御部30は、行動パターン情報群をグループ化する(ステップS12)。具体的には、行動パターン情報生成部42は、行動パターン情報が集まる行動パターン情報群の密度が所定の密度を超えている空間ごとにグループ化する。制御部30は、行動スコアを算出する(ステップS13)。具体的には、行動スコア算出部44は、行動パターン情報群を含む空間の中心から端部までの距離を行動スコアとして算出する。言い換えれば、行動スコア算出部44は、行動パターン情報群を含む空間の大きさを行動スコアとして算出する。
図4は、行動パターン情報を生成する多次元空間について説明するための図である。
図4は、日時、場所、時間を座標軸とする3次元空間を示す。図4では、日時は0時から24時、場所は自宅からの1次元的な直線距離、時間は行動の開始と判断されてから終了と判断されるまでの時間であるが、これに限られない。例えば、場所は名称および住所などであってもよい。
行動パターン情報生成部42は、図4に示す3次元空間において、所定の時間間隔ごとに点Pをプロットすることで行動パターン情報を生成する。行動パターン情報生成部42は、例えば、1分間隔ごとに点Pをプロットするが、これに限られない。行動パターン情報生成部42は、例えば、ユーザUが「正午頃」に「エリアA2付近」で、「2時間」映画を見ていたとする。この場合、行動パターン情報生成部42は、「正午頃」と、「エリアA2付近」と、「2時間」とか交差する点から日時の軸と平行に、「14時頃」まで所定間隔で点Pをプロットする。なお、ユーザUが映画館にいたことは、行動パターン特定部46が、ユーザUの周辺の画像データ、音声データ、位置情報、加速度情報、姿勢情報、赤外線及び紫外線の強度情報、温度情報、及び湿度情報などに基づいて、特定することができる。ユーザUの行動として「食料品を購入する」の場合、通常、スーパーマーケット及びデパートの地下街などの食料品店の候補は複数あり得る。
行動パターン情報生成部42は、図4に示す3次元空間において、行動パターン情報として生成されて点Pが集まる行動パターン情報群の密度が所定の密度を超えている空間を同一の行動パターンとしてグループ化する。行動パターン情報生成部42は、例えば、行動パターン情報が生成され得る空間Sに対して、単位空間USを用いてスキャニングを行う。行動パターン情報生成部42は、例えば、空間Sの各箇所における単位空間USに含まれる点Pの数をカウントする。行動パターン情報生成部42は、例えば、単位空間USに含まれる点Pの数が最も多い箇所を行動パターン情報の中心として特定する。行動パターン情報生成部42は、点Pの数が最も多い単位空間USの周囲の単位空間USに含まれる点Pの数をカウントし、点Pの数が最も多い単位空間USの60%程度の点Pが含まれている単位空間USまでを同一のグループGとして特定する。行動スコア算出部44は、例えば、グループGの中心から何れかの面に引いた垂線の長さを行動スコアとして算出する。行動スコア算出部44は、例えば、グループGの体積を行動スコアとして算出する。なお、行動パターン情報生成部42は、図4に示す3次元空間において、複数のグループGを特定することもあり得る。
ここで、ユーザUの行動には、例えば、「車の購入」であれば「ディーラーに行く」及び「椅子の購入」であれば「ホームセンターに行く」などの購入する対象が頻繁ではないものを購入する行動もあり得る。これらの行動については、図4に示す3次元空間上において、場所も、時間も、日時もばらばらにプロットされるものと考えられる。しかしながら、例えば、ユーザUが毎日朝6時に、近くの「公園」で「体操」を「約10分」するとしたら、3次元空間上にプロットされる点は日を追うごとに空間上に密集してくる。同じ公園の場所の中でも数mから数十mは体操をする場所が日によって違うこともあり得るし、時間も10分から±2分程度ばらつくこともあり得る。このため、行動パターン情報生成部42は、3次元空間上において比較的大きな密集された群のように偏りがあるように行動パターン情報をプロットして生成し得る。このように、比較的簡単な情報である時刻、場所、時間というパラメータを座標軸に選ぶことで、特定の揺らぎを持つ3次元空間の密集した群を1つの行動パターンとして扱うことができるようになる。
図4に示す例では、ユーザUの行動パターンを3次元空間上に示したが、本発明はこれに限定されない。本実施形態では、ユーザUの行動パターンは、任意の多次元空間に生成してよい。例えば、場所は「自宅からの直線距離」としたが、場所を「緯度」と「経度」としてもよい。この場合、行動パターン情報が生成される空間は、4次元空間となる。さらに、日時は「0時から24時」として1日間を示したが、「曜日」として7単位のスカラー値を持つ軸を加えて、5次元空間としてもよい。すこの場合、例えば、ユーザUが月曜日から金曜日に出勤し、土曜日及び日曜日が休日である場合、月曜日から金曜日と、土曜日及び日曜日とでは、行動パターン情報群のプロットが大きく変化し得る。「曜日」の軸の視点で見ると、日常行動の行動パターンと、非日常行動な行動パターンとを判別しやすくなる。日常行動及び非日常行動の行動パターンについては、後述する。
なお、時間は、その行動の開始から終了までの時間としたが、本発明はこれに限られない。例えば、「バットの素振りを200回行った」とか、「何歩歩いた(又は走った)」とかなどの断続的な継続事象のような行動である場合、頻度であってもよい。例えば、ユーザUが定期的に運動をする習慣が場合に時間を頻度に変更することにより、あらゆる行動パターンを「動き」という「運動」のパラメータとして捉えることができ、ユーザUにとって興味あるデータとして表示できる可能性が高くなる。
図3に戻る。制御部30は、行動スコアが閾値未満であるか否かを判定する(ステップS14)。具体的には、行動パターン特定部46は、ステップS13で行動スコア算出部44が算出した行動スコアが所定の閾値未満であるか否かを判定する。閾値未満であると判定された場合(ステップS14;Yes)、ステップS15に進む。閾値未満でないと判定された場合(ステップS14;No)、ステップS18に進む。
ステップS14でYesと判定された場合、制御部30は、行動パターンを特定する(ステップS15)。具体的には、行動パターン特定部46は、行動スコアが所定の閾値以下であった行動パターン情報群に対応する行動をユーザUの行動パターンであると特定する。
制御部30は、特定された行動パターンの行動状態の種類を識別する(ステップS16)。具体的には、行動パターン特定部46は、行動状態情報取得部40が取得した行動状態情報に基づいて、ユーザUが行った行動状態の種類を識別してよい。
より具体的には、行動パターン特定部46は、例えば、学習モデル28Aを用いて、ユーザUの行動状態を特定してもよい。学習モデル28Aは、行動状態センサ20の検出結果と、行動状態センサ20の検出結果が示す行動状態の種類を示す情報とを1つのデータセットとし、複数のデータセットを教師データとして学習して構築されたAIモデルである。行動パターン特定部46は、学習済みの学習モデル28Aに、行動状態センサ20の検出結果を入力して、その検出結果が示す行動状態の種類を示す情報を取得して、ユーザUの行動状態の種類を識別する。行動パターン特定部46は、学習済みの学習モデル28Aを用いて、例えば、ユーザUがゴルフをしている、ショッピングをしている、映画館にいることなどを特定する。
制御部30は、行動パターンを記憶部28に記憶させる(ステップS17)。具体的には、記憶制御部48は、ステップS16で特定された行動パターンを所定のフォーマットで記録する。
図5は、行動パターンを記憶するフォーマットを説明するための図である。本実施形態では、行動パターンは、例えば、16種類から64種類程度の行動を予測できる場所を予め対応付けられ得る。例えば、「ゴルフ場」であれば「ゴルフをしている」ことが予測でき、「映画館」であれば「映画を見ている」ことが予測でき、「ショッピングセンター」であれば「買い物をしている」ことが予測でき、「公園」であれば「体操をしている」ことが予測できる。本実施形態は、ユーザUの位置情報は、行動状態センサ20のGNSS受信器20Cから取得できるので、数週間程度に渡って、ユーザUが訪れた場所を登録することができる。これにより、本実施形態は、ユーザUのライフスタイルに係る行動パターンの候補に順番に番号を付けることができる。
図5に示すように、記憶フォーマットF1には、領域D1と、領域D2と、領域D3と、領域D4と、領域D5とを、含み得る。
領域D1には、特定された行動パターンをナンバリングされた数値が記憶される。領域D1は、例えば、3バイトで構成される。領域D2には、行動パターン情報を群としてプロットした空間の次元数が記憶される。領域D2は、例えば、1バイトで構成される。この場合、空間は最大で、255次元になり得る。領域D3には、ユーザUの行動パターンであると判定された、行動パターン情報群の行動スコアRが記憶される。行動スコアRは、行動パターンの判定誤差の揺らぎを持ち、行動スコアRが小さい値であるほど、行動パターンの信頼度が高いことを意味する。領域D4は、リザーブ領域である。リザーブ領域の最後の1バイトの領域の最終ビットである領域D5には、行動パターンが日常であるものか、非日常であるものかを示す識別子が記憶される。領域D5には、後述する日常行動の行動パターンである場合には0が記述され、非日常行動の行動パターンである場合には1が記述される。リザーブ領域には、各々の行動パターンが発生したときに、付随的な情報を追加したい場合に使用され得る。リザーブ領域は、例えば、6バイト以上の領域を持ち、N次元(Nは任意の整数)の次元に相当する各数字情報を記述してもよい。
図3に戻る。制御部30は、他のグループがあるか否かを判定する(ステップS18)。具体的には行動スコア算出部44は、行動スコアを算出すべき、グループ化された行動パターン情報群があるか否かを判定する。他のグループがあると判定された場合(ステップS18;Yes)、ステップS13に進む。他のグループがないと判定された場合(ステップS18;No)、ステップS19に進む。
制御部30は、処理を終了するか否かを判定する(ステップS19)。具体的には、制御部30は、処理を終了する操作を受け付けた場合、及び電源をオフする操作などを受け付けた場合に、処理を終了すると判定する。処理を終了しないと判定された場合(ステップS19;No)、ステップS10に進む。処理を終了すると判定された場合(ステップS19;Yes)、図3の処理を終了する。
上述のとおり、第1実施形態に係る情報処理装置10は、ユーザUの行動状態を検出し、行動状態に応じた行動パターン情報群を多次元空間に生成する。これにより、第1実施形態に係る情報処理装置10は、行動パターン情報群に基づいて、ユーザUの行動パターンを特定することができる。
[第2実施形態]
次に、第2実施形態について説明する。図6は、第2実施形態に係る情報処理装置の処理の流れの一例を示すフローチャートである。第2実施形態に係る情報処理装置の構成は、図2に示す情報処理装置10と同一の構成なので、説明を省略する。
第2実施形態では、情報処理装置10は、特定されたユーザUの行動パターンが日常的な日常行動であるか、又は非日常的な非日常行動であるか否かを判定する。
図7は、日常行動と、非日常行動とを説明するための図である。
図7において、空間SAは、例えば、同一の行動パターンとしてグループ化された範囲を示す。空間SBは、例えば、中心が空間SAと同じあり、体積が空間SAの60%程度である。
第2実施形態では、空間SBに含まれている行動パターン情報は、行動スコアが第1閾値未満の行動パターンである。第2実施形態では、行動スコアが第1閾値未満の行動パターンを日常行動の行動パターンであると判定する。図7に示す例では、空間SB内の点P1に対応する行動パターンが日常行動の行動パターンと判定される。
第2実施形態では、空間SAと、空間SBとの間の空間に含まれている行動パターンは、行動スコアが第1閾値以上第2閾値未満の行動パターンである。第2実施形態では、行動スコアが第1閾値以上第2閾値未満の行動パターンを非日常行動の行動パターンであると判定する。図7に示す例では、空間SAと、空間SBとの間の空間内の点P2に対応する行動パターンが非日常行動の行動パターンと判定される。
第2実施形態では、空間SAの外側の空間に含まれている行動パターンは、行動スコアが第2閾値以上の行動パターンである。第2実施形態では、行動パターンが第2閾値以上の行動パターンを、対象外としてユーザの行動パターンとして含めない。
図6に戻る。図ステップS20からステップS23の処理は、図3に示すステップS10からステップS13の処理と同一の処理なので、説明を省略する。
制御部30は、行動スコアが第1閾値未満であるか否かを判定する(ステップS24)。具体的には、行動パターン特定部46は、ステップS23で行動スコア算出部44が算出した行動スコアが所定の第1閾値未満であるか否かを判定する。第1閾値未満であると判定された場合(ステップS24;Yes)、ステップS25に進む。第1閾値未満でないと判定された場合(ステップS24;No)、ステップS28に進む。
ステップS24でYesと判定された場合、制御部30は、日常行動の行動パターンを特定する(ステップS25)。具体的には、行動パターン特定部46は、行動スコアが所定の第1閾値未満であった行動パターン情報群に対応する行動をユーザUの日常行動の行動パターンであると特定する。
制御部30は、特定された日常行動の行動パターンの行動状態の種類を識別する(ステップS26)。具体的には、行動パターン特定部46は、行動状態情報取得部40が取得した行動状態情報に基づいて、ユーザUが行った日常行動の行動状態の種類を識別してよい。
制御部30は、日常行動の行動パターンを記憶部28に記憶させる(ステップS27)。具体的には、記憶制御部48は、ステップS25で特定された日常行動の行動パターンを所定のフォーマットで記録する。
ステップS24でNoと判定された場合、制御部30は、行動スコアの第1閾値以上第2閾値未満であるか否かを判定する(ステップS28)。具体的には、行動パターン特定部46は、ステップS23で行動スコア算出部44が算出した行動スコアが所定の第1閾値以上第2閾値未満であるか否かを判定する。第1閾値以上第2閾値未満であると判定された場合(ステップS28;Yes)、ステップS29に進む。第1閾値以上第2閾値未満でないと判定された場合(ステップS28;No)、ステップS32に進む。
ステップS28でYesと判定された場合、制御部30は、非日常行動の行動パターンを特定する(ステップS29)。具体的には、行動パターン特定部46は、行動スコアが所定の第1閾値以上第2閾値満であった行動パターン情報群に対応する行動を非日常行動の行動パターンであると判定する。
制御部30は、特定された非日常行動の行動パターンの行動状態の種類を識別する(ステップS30)。具体的には、行動パターン特定部46は、行動状態情報取得部40が取得した行動状態情報に基づいて、ユーザUが行った非日常行動の行動状態の種類を識別してよい。
制御部30は、非日常行動の行動パターンを記憶部28に記憶させる(ステップS31)。具体的には、記憶制御部48は、ステップS29で特定された非日常行動の行動パターンを所定のフォーマットで記録する。
ステップS32及びステップ33の処理は、ぞれぞれ、図3に示すステップS18及びステップS19の処理と同一の処理なので、説明を省略する。
上述のとおり、第2実施形態に係る情報処理装置10は、行動スコアに基づいて、行動パターンが日常行動であるか、非日常行動であるかを判定する。これにより、第2実施形態に係る情報処理装置10は、同じ行動においても日常のルーチンであるのか、新しい行動であるのかを判定することができる。
具体的には、第2実施形態における、日常行動および非日常行動の識別は、例えば、平日の通勤時間に発生した行動パターンは、ルーチンによる行動なのか、または意図的にその行動パターンを行ったかなどの興味の有無の判断に使用することができる。例えば、毎日決まった時刻にある駅から別の駅まで通勤している場合、駅に向かって歩く行動は同じ時刻であればルーチンであり、興味を持って起こした能動的な行動ではないとして、統計上その行動パターンのデータを無視して計算するなどすることができる。
[第3実施形態]
次に、図8を用いて、第3実施形態に係る情報処理装置について説明する。図8は、第3実施形態に係る情報処理装置の構成例を示すブロック図である。
図8に示すように、情報処理装置10aは、生体センサ32を備える点と、制御部30aが生体情報取得部52及び活性度スコア算出部54を備える点で、図2に示す情報処理装置10とは異なる。
ユーザUの行動には、物理的な動きと共に、興奮度合いなどの生体情報が伴う。そのため、ユーザUの行動パターンを特定する際には、その行動時のユーザUの心理的な状況を考慮することが好ましい。情報処理装置10aは、ユーザUが行動を楽しんでいる度合いを示す活性度スコアを算出する。
生体センサ32は、ユーザUの生体情報を検出するセンサである。生体センサ32は、ユーザUの生体情報を検出可能であれば、任意の位置に設けられてよい。ここでの生体情報は、指紋など不変のものではなく、例えばユーザUの状態に応じて値が変化する情報であることが好ましい。さらに言えば、ここでの生体情報は、ユーザUの自律神経に関する情報、すなわちユーザUの意思にかかわらず値が変化する情報であることが好ましい。具体的には、生体センサ32は、脈波センサ32Aを含み、生体情報として、ユーザUの脈波を検出する。生体センサ32は、ユーザUの脳波を検出する脳波センサを含んでもよい。
脈波センサ32Aは、ユーザUの脈波を検出するセンサである。脈波センサ32Aは、例えば、発光部と受光部とを備える透過型光電方式のセンサであってよい。この場合、脈波センサ32Aは、例えば、ユーザUの指先を挟んで発光部と受光部とが対峙する構成となっており、指先を透過してきた光を受光部が受光し、脈波の圧力が大きいほど血流が大きくなることを利用して、脈の波形を計測するものであってよい。ただし、脈波センサ32Aは、それに限られず、脈波を検出可能な任意の方式のものであってよい。
生体情報取得部52は、生体センサ32を制御して、生体センサ32に生体情報を検出させる。生体情報取得部52は、生体センサ32が検出した生体情報を取得する。
活性度スコア算出部54は、生体情報が取得した生体情報に基づいて、自律神経活性度を算出する。自律神経活性度を算出する方法については、後述する。活性度スコア算出部54は、活性度スコアを算出する。活性度スコア算出部54は、行動スコア算出部44が算出した行動スコアと、行動パターン特定部46が特定した行動パターンと、自律神経活性度に基づいて、活性度スコアを算出する。
[処理内容]
図9を用いて、第3実施形態に係る情報処理装置10aの処理内容について説明する。図9は、第3実施形態に係る情報処理装置10aの処理の流れの一例を示すフローチャートである。
ステップS40の処理は、図3に示すステップS10と同一の処理なので、説明を省略する。
制御部30aは、ユーザUの生体情報を取得する(ステップS41)。具体的には、生体情報取得部52は、生体センサ32の脈波センサ32Aを制御して、ユーザUの脈波情報を取得する。本実施形態では、後述するように、ユーザUの脈波情報を用いて、ユーザUの心理面におけるストレス度、リラックス度、興味度、および集中度の度合いを示す指針となる自律神経活性度を算出する。
ステップS42からステップS47の処理は、それぞれ、図3に示すステップS11からステップS17の処理と同一の処理なので、説明を省略する。
制御部30aは、活性度スコアを算出する(ステップS48)。具体的には、活性度スコア算出部54は、ステップS41で取得された脈波情報に基づいて、ユーザUの活性度スコアを算出する。
図10を用いて、脈波について説明する。図10は、脈波の一例を示すグラフである。図10に示すように、脈波は、所定時間毎にR波WRと呼ばれるピークが現れる波形となる。脈の拍動は、心臓の洞結節にあるペースメーカ細胞の自然発火で生じする。脈拍のリズムは、交感神経と副交感神経の両方の影響を強く受けている。交感神経は、心臓活動を促進させる。副交感神経は、心臓活動を抑制させる。通常、交感神経と、副交感神経とは拮抗して作用する。安静時又はそれに近い状態では、副交感神経が支配的となる。通常、脈拍数は、交感神経の興奮によってアドレナリンが分泌されると増加し、副交感神経の興奮によってアセチルコリンが分泌されると減少する。したがって、自律神経の機能検査は、心電図におけるR-R間隔の変動調べることが有用であるとされている。これは、藤本等の「心電図R-R間隔の変動を用いた自律神経機能検査の正常参考値および標準予測式」(自律神経,30巻2号,1987年,167-173頁)及び早野等の「心拍変動と自律神経機能」(生物物理,28-4,P32-36,1988)に記載されている。R-R間隔とは、図10に示すように、時系列で連続するR波WR同士の間隔である。心拍変動は、信号波形のQPS波の頂点であるR波を脈の1発として測定される。心電図のR波の間隔の変動、つまり図10のR波間を示すR-R間隔の時間間隔の揺らぎが、自律神経指標として用いられている。自律神経指標としてR-R間隔の時間間隔の揺らぎを用いることの妥当性は、多くの医療機関で報告されている。R-R間隔のゆらぎは、安静時に大きくなり、ストレス時には小さくなる。
R-R間隔の変動には、いくつかの特徴的な揺らぎある。1つは0.1Hz付近に出現する低周波成分であり、血管の血圧のフィードバック調節に伴う交感神経系活動の変調に由来する。もう1つは呼吸に同調した変調であり、呼吸性洞性不整脈を反映する高周波成分である。高周波成分は、呼吸中枢による迷走神経前節ニューロンへの直接干渉と肺の伸展受容体および呼吸による血圧変化の反受容体反射を反映し、主に心臓に影響する副交感神経指標とされている。すなわち、脈波のR-R波間の揺らぎを測定した波形成分のうち、低周波成分のパワースペクトルは交感神経の活性度を示し、高周波成分のパワースペクトルは副交感神経の活性度を示しているといえる。
入力される脈波の揺らぎは、R-R間隔値の微分値で求められる。この場合、R-R間隔の微分値が時間的に等間隔のデータでない場合、活性度スコア算出部54は、三次元スプライン補間などを用いて等間隔な時系列データに変換する。活性度スコア算出部54は、R-R間隔の微分値を、高速フーリエ変換などで直交変換を行う。これにより、活性度スコア算出部54は、脈波のR-R間隔値の微分値の高周波成分のパワースペクトルと、低周波成分のパワースペクトルを算出する。活性度スコア算出部54は、高周波成分のパワースペクトルの総和をRRHFとして算出する。活性度スコア算出部54は、低周波成分のパワースペクトルの総和のRRLFとして算出する。活性度スコア算出部54は、式(1)を用いて、自律神経活性度を算出する。活性度スコア算出部54は、自律神経活性度算出部と呼ばれることもある。
式(1)において、ANは自律神経活性度、RRHFは高周波成分のパワースペクトルの総和、RRLFは低周波成分の低周波成分のパワースペクトルの総和である。C1及びC2は、ANの解の発散を抑えるために規定した固定値である。
活性度スコア算出部54は、式(2)を用いて、活性度スコアを算出する。
式(2)において、NSは活性度スコア、APは行動パターン、Rは行動スコア、ANは自律神経活性度である。すなわち、活性度スコア算出部54は、行動パターンと、行動スコアと、自律神経活性度とをパラメータとして含む関数を用いて、活性度スコアを算出してもよい。
また、活性度スコア算出部54は、例えば、学習モデルを用いて、活性度スコアを算出してもよい。学習モデルは、行動パターンと、行動スコアと、自律神経活性度と、活性度スコアとを1つのデータセットとし、複数のデータセットを教師データとして学習して構築されたAIモデルである。この場合、活性度スコア算出部54は、学習済みの学習モデルに行動パターンと、行動スコアと、自律神経活性度とを入力して、活性度スコアを示す
情報を取得して、活性度スコアを算出する。
制御部30は、ユーザUに対して活性度スコアを提示する(ステップS49)。具体的には、出力制御部50は、表示部24A及び音声出力部24Bの少なくとも一方を制御して、ユーザUに対して活性度スコアを提示する。
制御部30は、行動パターンと活性スコアを記憶部28に記憶させる(ステップS50)。具体的には、記憶制御部48は、ステップS46で特定された行動パターンと活性度スコアとを所定のフォーマットで記録する。
図11は、行動パターンを記憶するフォーマットを説明するための図である。図11に示すように、記憶フォーマットF2は、領域D1aと、領域D2aと、領域D3aと、領域D4aと、領域D5aと、領域D6aとを、含み得る。
領域D1aは、特定された行動パターンをナンバリングされた数値が記憶される。領域D1aは、例えば、3バイトで構成される。領域D2aには、行動パターン情報を群としてプロットした空間の次元数が記憶される。領域D2aは、例えば、1バイトで構成される。領域D3aには、ユーザUの行動パターンであると判定された、行動パターン情報群の行動スコアRが記憶される。領域D4aには、自律神経活性度が記憶される。領域D4aは、例えば、2バイトで構成される。領域D5aには、活性度スコアが記憶される。領域D5は、例えば、2バイトで構成されている。領域D6aは、リザーブ領域である。
ステップS51及びステップS52の処理は、それぞれ、図3に示すステップS18及びステップS19の処理と同一の処理なので説明を省略する。
上述のとおり、第3実施形態に係る情報処理装置10aは、ユーザUの行動パターンとして特定された行動を行っていた際の、ユーザがその行動を楽しんでいた度合いを示す活性度スコアを算出することができる。これにより、第3実施形態に係る情報処理装置10aは、ユーザUの行動パターンをより適切に特定することができる。
[第4実施形態]
次に、図12を用いて、第4実施形態に係る情報処理装置について説明する。図12は、第4実施形態に係る情報処理装置の構成例を示すブロック図である。
図12に示すように、情報処理装置10bは、記憶部28aが補正データ28Cを記憶している点と、制御部30bが活性度スコア補正部56を備える点で、図8に示す情報処理装置10aとは異なる。
国又は地域などが変われば、同じ行動パターンであっても感性などの違いにより感じ方に違いが生じることもあり得る。情報処理装置10bは、国又は地域に応じて、活性度スコアを補正する。
補正データ28Cは、活性度スコア補正部56が活性度スコアを補正する際に用いるデータである。補正データ28Cは、例えば、行動パターンと、国又は地域などに応じて活性度スコアに乗算する補正係数とが対応付けられているデータである。
図13は、補正データの一例を説明するための図である。図13には、行動パターンとして、行動パターンMP1と、行動パターンMP2と、行動パターンMP3とが示されている。また、国又は地域として、エリアA1と、エリアA2と、エリアA3とが示されている。図13では、行動パターンは、行動パターンMP1などのように概念的に示しているが、実施には、「ゴルフをする」などにように具体的に示される。また、国又は地域は、エリアA1などのように概念的に示しているが、実際には、日本などの具体的な国名や、東京などの具体的な地域名が示される。
図13に示すように、エリアA1では、行動パターンMP1の活性度スコアには0.5を乗じ、行動パターンMP2の活性度スコアには0.2を乗じ、行動パターンMP3の活性度スコアには0.1を乗じる。エリアA2では、行動パターンMP1の活性度スコアには0.2を乗じ、行動パターンMP2の活性度スコアには0.6を乗じ、行動パターンMP3の活性度スコアには0.9を乗じる。エリアA3では、行動パターンMP1の活性度スコアには0.3を乗じ、行動パターンMP2の活性度スコアには0.7を乗じ、行動パターンMP3の活性度スコアには0.5を乗じる。図13に示すように、国又は地域が異なれば、行動パターンが同じであっても、活性度スコアに乗じる補正係数は変化し得る。補正係数は、各国又は地域ごとに予め想定し得る行動パターンについてアンケート調査を行うことで生成される。なお、図13では、エリアA1からエリアA3のように地域ごとに補正係数を分類しているが、地域以外の所定の条件で、補正係数を分類してもよい。例えば、対象とする行動パターンの種類によっては、年齢や性別などで補正係数を分類してもよい。
活性度スコア補正部56は、活性度スコア算出部54が算出した活性度スコアを補正する。具体的には、活性度スコア補正部56は、行動パターンが特定された国又は地域に基づいて、補正データ28Cを用いて、活性度スコアを補正する。
[処理内容]
図14を用いて、第4実施形態に係る情報処理装置10bの処理内容について説明する。図14は、第4実施形態に係る情報処理装置10bの処理の流れの一例を示すフローチャートである。
ステップS60からステップS68の処理は、それぞれ、図9に示すステップS40からステップS48の処理と同一の処理なので、説明を省略する。
制御部30bは、活性度スコアを補正する(ステップS69)。具体的には、活性度スコア補正部56は、行動パターン特定部46によって特定された位置情報に基づいて、補正データ28Cを用いて、活性度スコア算出部54が算出した活性度スコアを補正する。
制御部30bは、ユーザUに対して補正後の活性度スコアを提示する(ステップS70)。具体的には、出力制御部50は、表示部24A及び音声出力部24Bの少なくとも一方を制御して、ユーザUに対して補正後の活性度スコアを提示する。
制御部30bは、行動パターンと補正後の活性スコアを記憶部28に記憶させる(ステップS71)。具体的には、記憶制御部48は、ステップS66で特定された行動パターンと補正後の活性度スコアとを所定のフォーマットで記録する。
ステップS72及びステップS73の処理は、それぞれ、図9に示すステップS51及びステップS52の処理と同一の処理なので、説明を省略する。
上述のとおり、第4実施形態に係る情報処理装置10bは、国又は地域に応じて活性度スコアに補正係数を乗ずることにより、活性度スコアを補正する。これにより、第4実施形態に係る情報処理装置10bは、国又は地域に応じてより適切に活性度スコアを補正することができる。
[第4実施形態の変形例]
次に、第4実施形態の変形例について説明する。第4実施形態では、図13に示すように、行動パターンとエリアとが対応付けられた補正データ28Cを用いて、活性度スコアを補正する。しかしながら、補正データには、行動パターンが対応付けられていなくてもよい。すなわち、エリアごとに専用の補正係数が定められていてもよい。この場合、活性度スコア補正部56は、活性度スコア算出部54が算出した自律神経活性度を補正データに基づいて補正するようにすればよい。この場合、活性度スコア補正部56は、自律神経活性度補正部とも呼ばれ得る。
図15は、補正データの一例を説明するための図である。図15に示すように、補正データ28Caには、エリアごとに補正係数が定められている。図15に示す例では、エリアA1の補正係数は0.5、エリアA2の補正係数は0.2、及びエリアA3の補正係数は0.3である。
活性度スコア補正部56は、例えば、ユーザUの自律神経活性度が算出された地域がエリアA1であると判定された場合、算出された自律神経活性度に0.5を乗ずることで、自律神経の活性度を補正する。これにより、第4実施形態の変形例では、各地域に応じて自律神経の活性度をより適切に算出することができる。
[第5実施形態]
次に、第5実施形態について説明する。図16は、第5実施形態に係る情報処理装置の処理の流れの一例を示すフローチャートである。第5実施形態に係る情報処理装置の構成は、図2に示す情報処理装置10bと同一の構成なので、説明を省略する。
第5実施形態では、情報処理装置10bは、特定されたユーザUの日常行動の行動パターンと、非日常行動の行動パターンについて、それぞれ独立に活性度スコアを算出する。また、第5実施形態では、情報処理装置10bは、算出されたユーザUの日常行動の行動パターンの活性度スコアと、非日常行動の行動パターンの活性度スコアについて、それぞれ独立に補正する。
ステップS80からステップS84の処理は、それぞれ、図9に示すステップS40からステップS44の処理と同一の処理なので、説明を省略する。
ステップS85からステップS87の処理は、ぞれぞれ、図6に示すステップS24からステップS26の処理と同一の処理なので、説明を省略する。
制御部30bは、日常行動の行動パターンの活性度スコアを算出する(ステップS88)。具体的には、活性度スコア算出部54は、ステップS81で取得された脈波情報に基づいて、ユーザUの日常行動の行動パターンの活性度スコアを算出する。
制御部30bは、日常行動の行動パターンの活性度スコアを補正する(ステップS89)。具体的には、活性度スコア補正部56は、行動パターン特定部46によって特定された位置情報に基づいて、補正データ28Cを用いて、活性度スコア算出部54が算出した日常行動の行動パターンの活性度スコアを補正する。
制御部30bは、ユーザUに対して補正後の日常行動の行動パターンの活性度スコアを提示する(ステップS90)。具体的には、出力制御部50は、表示部24A及び音声出力部24Bの少なくとも一方を制御して、ユーザUに対して補正後の活性度スコアを提示する。
制御部30bは、日常行動の行動パターンと補正後の活性スコアを記憶部28に記憶させる(ステップS91)。具体的には、記憶制御部48は、ステップS66で特定された日常行動の行動パターンと補正後の活性度スコアとを所定のフォーマットで記録する。
ステップS85でNoと判定された場合、ステップS92に進む。ステップS92からステップS94の処理は、それぞれ、図6に示すステップS28からステップS30の処理と同一の処理なので、説明を省略する。
制御部30bは、非日常行動の行動パターンの活性度スコアを算出する(ステップS95)。具体的には、活性度スコア算出部54は、ステップS81で取得された脈波情報に基づいて、ユーザUの非日常行動の行動パターンの活性度スコアを算出する。
制御部30bは、非日常行動の行動パターンの活性度スコアを補正する(ステップS96)。具体的には、活性度スコア補正部56は、行動パターン特定部46によって特定された位置情報に基づいて、補正データ28Cを用いて、活性度スコア算出部54が算出した非日常行動の行動パターンの活性度スコアを補正する。
制御部30bは、ユーザUに対して補正後の非日常行動の行動パターンの活性度スコアを提示する(ステップS97)。具体的には、出力制御部50は、表示部24A及び音声出力部24Bの少なくとも一方を制御して、ユーザUに対して補正後の活性度スコアを提示する。
制御部30bは、非日常行動の行動パターンと補正後の活性スコアを記憶部28に記憶させる(ステップS98)。具体的には、記憶制御部48は、ステップS66で特定された非日常行動の行動パターンと補正後の活性度スコアとを所定のフォーマットで記録する。
ステップS99及びステップS100の処理は、それぞれ、図9に示すステップS51及びステップS52の処理と同一の処理なので、説明を省略する。
上述のとおり、第5実施形態に係る情報処理装置10bは、日常行動の行動パターンと、非日常行動の行動パターンとして特定された行動を行っていた際の活性度スコアをそれぞれ独立に算出することができる。これにより、第3実施形態に係る情報処理装置10aは、ユーザUの行動パターンをより適切に特定することができる。
また、第5実施形態に係る情報処理装置10bは、国又は地域に応じて活性度スコアに補正係数を乗ずることにより、日常行動の行動パターンの活性度スコアと、非日常行動の行動パターンの活性度スコアを補正する。これにより、第5実施形態に係る情報処理装置10bは、国又は地域に応じてより適切に活性度スコアを補正することができる。
[第6実施形態]
次に、図17を用いて、第6実施形態に係る情報処理装置について説明する。図17は、第6実施形態に係る情報処理装置の構成例を示すブロック図である。
図17に示すように、情報処理装置10cは、記憶部28bが履歴データ28Dを記憶している点と、制御部30cが履歴データ取得部58と、学習部60とを備える点で、図8に示す情報処理装置10aとは異なる。
趣味や趣向はユーザごとに異なることがあるため、同じ行動を行っている場合でも、活性度スコアの値は、ユーザごとに異なることもあり得る。第6実施形態に係る情報処理装置10cは、ユーザごとにカスタマイズされた学習済みモデルを用いて、活性スコアを算出する。
履歴データ28Dは、活性度スコアの履歴に関するデータである。履歴データ28Dは、ユーザごとに所定期間における、活性度スコアの順位に関する情報を含み得る。具体的には、履歴データ28Dは、所定期間における活性度スコアが所定よりも高い行動パターンの情報を含み得る。所定期間は、例えば、3カ月であるが、これに限定されない。
図18Aから図18Cは、履歴データ28Dの一例を説明するための図である。図18Aから図18Cに示すように、履歴データ28Dにおいては、順位と、行動パターンと、行動スコアと、活性度スコアとが対応付けられている。図18Aは、ユーザU1の履歴データの一例である。図18Bは、ユーザU2の履歴データの一例である。図18Cは、ユーザU3の履歴データの一例である。図18Aから図18Cには、それぞれ、ユーザU1からユーザU3の所定期間における活性度スコアが高かった行動パターンの1位から5位までが示されている。
図18Aに示すように、ユーザU1の1位は、行動スコアが10、活性度スコアが99の行動パターンMP4である。ユーザU1の2位は、行動スコアが9、活性度スコアが85の行動パターンMP3である。ユーザU1の3位は、行動スコアが8、活性度スコアが80の行動パターンMP1である。ユーザU1の4位は、行動スコアが7、活性度スコアが58の行動パターンMP9である。ユーザU1の5位は、行動スコアが7、活性度スコアが53の行動パターンMP3である。
図18Bに示すように、ユーザU2の1位は、行動スコアが8、活性度スコアが90の行動パターンMP4である。ユーザU2の2位は、行動スコアが7、活性度スコアが88の行動パターンMP3である。ユーザU2の3位は、行動スコアが8、活性度スコアが79の行動パターンMP1である。ユーザU2の4位は、行動スコアが9、活性度スコアが51の行動パターンMP8である。ユーザU2の5位は、行動スコアが9、活性度スコアが49の行動パターンMP3である。
図18Cに示すように、ユーザU3の1位は、行動スコアが10、活性度スコアが89の行動パターンMP7である。ユーザU3の2位は、行動スコアが6、活性度スコアが71の行動パターンMP2である。ユーザU3の3位は、行動スコアが7、活性度スコアが68の行動パターンMP9である。ユーザU3の4位は、行動スコアが8、活性度スコアが65の行動パターンMP4である。ユーザU3の5位は、行動スコアが9、活性度スコアが57の行動パターンMP3である。
図18Aから図18Cに示すように、同じ行動パターンであってもユーザに応じて活性度スコアの高い行動パターンは異なり、活性度スコアには個人差が存在する。
履歴データ取得部58は、記憶部28cから履歴データ28Dを取得する。具体的には、履歴データ取得部58は、活性度スコアの算出対象となるユーザの履歴データ28Dを取得する。
学習部60は、学習用データに基づいて、機械学習による学習によりユーザの活性度スコアを算出するための学習済みモデルを生成する。本実施形態では、学習部60は、例えば、履歴データ取得部58が取得した履歴データ28Dに基づいて、活性度スコアを算出するための学習済みモデルを生成する。学習部60は、例えば、活性度スコアを算出する学習済みモデルとしてDNN(Deep Neural Network)の重みを学習する。学習部60は、例えば、ディープラーニングなどの周知の機械学習の方法を用いて学習すればよい。学習部60は、例えば、学習用データが更新されるごとに、学習済みモデルを更新してもよい。
図19を用いて、第6実施形態に係る学習処理について説明する。図19は、第6実施形態に係る学習処理の流れの一例を示すフローチャートである。
制御部30cは、学習用データを取得する(ステップS110)。具体的には、履歴データ取得部58は、記憶部28bから活性度スコアの算出対象となるユーザの所定期間の履歴データ28Dを取得する。履歴データ取得部58が取得する履歴データ28Dには、少なくとも順位と、行動パターンと、行動スコアと、活性度スコアに関する情報が含まれ得る。履歴データ取得部58は、例えば、過去3カ月の1位から1000位までの履歴データ28Dを取得する。
制御部30cは、学習処理を実行する(ステップS111)。具体的には、学習部60は、履歴データ取得部58が取得した履歴データ28Dを用いて、ユーザの活性度スコアを算出するための学習済みモデルを機械学習により学習して生成する。より具体的には、学習部60は、行動パターンと、行動スコアと、自律神経活性度と、活性度スコアとを1つのデータセットとし、複数(例えば、1000個)のデータセットを教師データとして学習して学習済みモデルを生成する。学習部60は、例えば、活性度スコアの算出対象となるユーザごとに学習済みモデルを生成する。すなわち、本実施形態では、ユーザごとにカスタマイズされた学習済みモデルを生成する。
制御部30cは、学習済みモデルを記憶する(ステップS112)。具体的には、学習部60は、生成した学習済みモデルを記憶部28cに記憶する。
[処理内容]
図20を用いて、第6実施形態に係る情報処理装置10cの処理内容について説明する。図20は、第6実施形態に係る情報処理装置10cの処理の流れの一例を示すフローチャートである。
ステップS120からステップS127の処理は、それぞれ、図9に示すステップS40からステップS47の処理と同一の処理なので、説明を省略する。
制御部30cは、ユーザに応じた学習済みモデルに基づいて、活性度スコアを算出する(ステップS128)。具体的には、活性度スコア算出部54は、ユーザに応じてカスタマイズされた学習済みモデルを用いて、ユーザの活性度スコアを算出する。
ステップS129からステップS132の処理は、それぞれ、図9に示すステップS49からステップS52の処理と同一の処理なので、説明を省略する。
上述のとおり、第6実施形態に係る情報処理装置10cは、ユーザU1からユーザU3のそれぞれのユーザごとに活性度スコアの履歴に応じてカスタマイズして生成された学習済みモデルを用いて、ユーザU1からユーザU3の活性スコアを算出する。これにより、第6実施形態に係る情報処理装置10cは、ユーザの感性に合わせ、より適切に活性度スコアを算出することができる。
[第7実施形態]
図21を用いて、第7実施形態に係る情報処理システムについて説明する。図21は、第7実施形態に係る情報処理システムの構成例を説明するための図である。
図21に示すように、第7実施形態に係る情報処理システム1は、複数の情報処理装置10cと、サーバ装置100と、を含む。情報処理装置10cと、サーバ装置100とは、ネットワークN(例えば、インターネット)を介して、通信可能に接続されている。すなわち、第7実施形態に係る情報処理システム1は、第6実施形態に係る情報処理装置10cと、サーバ装置100とが通信可能に接続された構成を有している。
上述の第6実施形態は、ユーザごとに活性度スコアの履歴に応じてカスタマイズして生成された学習済みモデルを用いて、ユーザの活性度を算出する。第7実施形態では、サーバ装置100が複数のユーザの履歴データを共有データとして記憶することにより、活性度スコアと行動パターンの傾向が近似している複数のユーザの履歴データに基づいて、学習済みモデルを生成して、ユーザの活性度を算出する。
図22を用いて、第7実施形態に係るサーバ装置の構成について説明する。図22は、第7実施形態に係るサーバ装置の構成例を示すブロック図である。
図22に示すように、サーバ装置100は、通信部110と、制御部120と、記憶部130と、を備える。サーバ装置100は、いわゆるクラウドサーバである。
通信部110は、例えば、NIC(Network Interface Card)又は通信回路などによって実現される。通信部110は、ネットワークNと無線又は有線で接続され、情報処理装置10cとの間で情報の送受信を行う。
制御部120は、サーバ装置100の各部の動作を制御する。制御部120は、例えば、CPUやMPU等によって、図示しない記憶部に記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。制御部120は、例えば、ASICやFPGA等の集積回路により実現されてもよい。制御部120は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。制御部120は、取得部122と、判定部124と、要求部126と、提供部128と、を備える。
取得部122は、例えば、通信部110から情報処理装置10cを装着している各ユーザの活性度スコアの履歴に関する履歴データを取得する。取得部122は、例えば、図18Aから図18Cに示すユーザU1からユーザU3の履歴データ28D1から履歴データ28D3を取得する。取得部122は、取得した履歴データを共有データ132として記憶部130に記憶させる。
判定部124は、共有データ132のうち、履歴データの傾向を判定する。判定部124は、例えば、履歴データの傾向が近似しているユーザがいるか否かを判定する。
要求部126は、履歴データの傾向が近似している複数のユーザ存在した場合に、自身の履歴データを他のユーザに使用させることについての可否を要求する。
提供部128は、履歴データの使用が許可された場合に、履歴データの傾向が近似しているユーザに対して、履歴データを提供する。
記憶部130は、制御部120の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAMと、ROMのような主記憶装置と、HDDなどの外部記憶装置とのうち、少なくとも1つ含む。
記憶部130には、共有データ132が記憶されている。共有データ132は、情報処理装置10cを装着している複数のユーザの活性度スコアに関する履歴データを含み得る。共有データ132は、例えば、例えば、図18Aから図18Cに示すユーザU1からユーザU3の履歴データ28D1から履歴データ28D3を含み得る。
[サーバ装置の処理]
図23を用いて、第7実施形態に係るサーバ装置の処理について説明する。図23は、第7実施形態に係るサーバ装置の処理の流れの一例を示すフローチャートである。
制御部120は、共有データ132を参照し、履歴データが近似しているユーザがいるか否かを判定する(ステップS140)。例えば、共有データ132には、図18Aから図18Cに示すユーザU1からユーザU3の履歴データ28D1から履歴データ28D3が含まれているとする。判定部124は、例えば、1位から3位までの行動パターンが同じであり、各行動パターンの行動スコアが8以上であり、かつ互いの活性度スコアの差が10以下のユーザ同士を、履歴データが近似しているユーザであると判定する。この場合、判定部124は、ユーザU1と、ユーザU2の活性度スコアの1位が行動パターンMP4であり、2位が行動パターンMP3であり、3位が行動パターンMP1であることを特定する。判定部124は、ユーザU1について、行動パターンMP4の行動スコアが10であり、行動パターンMP3の行動スコアが9であり、行動パターンMP1の行動スコアが8であることを特定する。判定部124は、ユーザU2について、行動パターンMP4の行動スコアが8であり、行動パターンMP3の行動スコアが8であり、行動パターンMP1の行動スコアが8であることを特定する。判定部124は、ユーザU1及びユーザU2について、行動パターンMP1の活性度スコアの差が9であり、行動パターンMP3の活性度スコアの差が3であり、行動パターンMP1の活性度スコアの差が1であることを特定する。この場合、判定部124は、ユーザU1と、ユーザU2とは履歴データが近似していると判定する。
本実施形態では、判定部124は、ユーザU1からユーザU3の3人の中から2人を選択している場合を説明したが、これは例示であり、実際のユーザの母集団の人数に特に制限はない。判定部124は、3人以上のユーザの履歴データが近似していると判定することもあり得る。判定部124は、本実施形態で説明した方法以外の方法で、履歴データが近似しているか否かを判定してもよい。判定部124は、例えば、数学的に定義された所定の条件式に従って、履歴データが近似しているか否かを判定してもよい。
近似しているユーザがいると判定された場合(ステップS140;Yes)、ステップS141に進む。近似しているユーザがいないと判定された場合(ステップS140;No)、図23の処理を終了する。
ステップS140でYesと判定された場合、制御部120は、履歴データが近似しているユーザに対して共有の許可を要求する(ステップS141)。具体的には、要求部126は、通信部110を介して、ユーザU1及びユーザU2に対して、履歴データの共有の許可を求める通知を送信する。
制御部120は、共有の要求が許可されたか否かを判定する(ステップS142)。具体的には、要求部126は、ステップS141で送信した履歴データの共有の許可の要求に対して、ユーザU1又はユーザU2から履歴データの共有を許可する旨の返答があったか否かを判定する。共有の要求が許可されたと判定された場合(ステップS142;Yes)、ステップS143に進む。共有の要求が許可されていないと判定された場合(ステップS142;No)、図23の処理を終了する。
ステップS142でYesと判定された場合、制御部120は、履歴データを共有させる(ステップS143)。具体的には、提供部128は、例えば、ユーザU2から履歴データの共有を許可された場合には、通信部110を介して、ユーザU1が装着している情報処理装置10cに対してユーザU1の履歴データ28D1を送信する。そして、図23の処理を終了する。
図24を用いて、第7実施形態に係る学習処理について説明する。図24は、第7実施形態に係る学習処理の流れの一例を示すフローチャートである。以下では、ユーザU1が装着している情報処理装置10cがユーザU2の履歴データ28D2を取得して、学習処理を行う処理について説明する。
制御部30cは、履歴データを取得する(ステップS150)。具体的には、履歴データ取得部58は、記憶部28cから活性度スコアの算出対象となるユーザの所定期間の履歴データ28D1を取得する。履歴データ取得部58が取得する履歴データ28D1には、少なくとも順位と、行動パターンと、行動スコアと、活性度スコアに関する情報が含まれ得る。履歴データ取得部58は、例えば、過去3カ月の1位から1000位までの履歴データ28D1を所得する。すなわち、履歴データ取得部58は、1000組のデータセットを教師データとして取得する。
制御部30cは、サーバ装置100からユーザU1の履歴データと近似している履歴データを取得する(ステップS151)。具体的には、履歴データ取得部58は、例えば、通信部26を介して、サーバ装置100からユーザU2の履歴データ28D2を取得する。ここで、例えば、履歴データ28D1の1000組のデータセットに含まれる数の少ない行動パターンが存在することも想定され得る。例えば、学習済みモデルを生成する場合には、6000から8000組以上のデータセットが必要な場合もあり得る。本実施形態では、履歴データ取得部58がサーバ装置100から履歴データ28D1に近似する履歴データ28D2を取得することで、データセット数を補い、より最適な学習済みモデルを生成することができる。
制御部30cは、学習処理を実行する(ステップS152)。具体的には、学習部60は、履歴データ取得部58が取得した履歴データ28D1と履歴データ28D2とを用いて、ユーザの活性度スコアを算出するための学習済みモデルを機械学習により学習して生成する。
制御部30cは、学習済みモデルを記憶する(ステップS153)。具体的には、学習部60は、生成した学習済みモデルを記憶部28bに記憶する。そして、図24の処理を終了する。
[処理内容]
図25を用いて、第7実施形態に係る情報処理装置10cの処理内容について説明する。図25は、第7実施形態に係る情報処理装置10cの処理の流れの一例を示すフローチャートである。
ステップS160からステップS167の処理は、それぞれ、図20に示すステップS120からステップS127の処理と同一の処理なので、説明を省略する。
制御部30cは、共有データを用いて生成された学習済みモデルに基づいて、活性度スコアを算出する(ステップS168)。具体的には、活性度スコア算出部54は、履歴データ28D1と履歴データ28D2とを用いて生成された学習済みモデルを用いて、ユーザU1の活性度スコアを算出する。
ステップS169からステップS172の処理は、それぞれ、図20に示すステップS129からステップS132の処理と同一の処理なので、説明を省略する。
上述のとおり、第7実施形態に係る情報処理装置10cは、ユーザU1の履歴データ28D1と、履歴データ28D1に近似するユーザU2の履歴データ28D2とを用いて学習済みモデルを生成し、その学習済みモデルを用いて活性度スコアを算出する。これにより、第7実施形態に係る情報処理装置10cは、より適切に活性度スコアを算出することができる。
[第8実施形態]
次に、図26を用いて、第8実施形態に係る情報処理装置について説明する。図26は、第8実施形態に係る情報処理装置の構成例を示すブロック図である。
図26に示すように、情報処理装置10dは、出力部24aが触覚刺激出力部24Cを備える点で、図2に示す情報処理装置10とは異なる。
ユーザの生体情報を時々刻々と変化するため、ユーザの活性度スコアも生体情報に変化に応じて、変化する可能性がある。情報処理装置10cは、ユーザの活性度スコアの時間的推移を相対的に提示することにより、活性度スコアの変化を分かりやすく提示する。
触覚刺激出力部26Cは、ユーザUの触覚刺激を出力する装置である。例えば、触覚刺激出力部26Cは、振動などの物理的に作動することで、ユーザに触覚刺激を出力するが、触覚刺激の種類は、振動などに限られず任意のものであってよい。
第8実施形態に係る情報処理装置10dの制御部30dの出力制御部50は、出力制御部50は、出力部24aを制御して、活性度スコア算出部54が算出した活性度スコアの時間的な推移を示す情報を出力させる。言い換えれば、出力制御部50は、出力部24aを制御して、活性度スコアの相対的な変化を示す情報を出力させる。
図27Aから図27Eを用いて、活性度スコアの時間的な推移を相対的に表示する方法について説明する。図27Aから図27Eは、活性度スコアの時間的な推移を相対的に表示する方法を説明するための図である。
図27Aに示すように、出力制御部50は、例えば、表示部24Aを制御して、活性度スコアの時間的な推移をグラフG1として表示させる。図27Aは、横軸が時間、縦軸が活性度スコアを示す。グラフG1において、時刻t0は、活性度スコアの算出を開始した時点を示す。ユーザは、グラフG1を視認することで、活性度スコアの時間的な推移を容易に把握することができる。
図27Bに示すように、出力制御部50は、例えば、表示部24Aを制御して、開始時の活性度スコアの値と、現在の活性度スコアの値とを並列に表示させる。図27Bに示す例では、開始時の活性度スコアが56で、現在の活性度スコアが78であることが示されている。これにより、ユーザは、活性度スコアの時間的な推移を容易に把握することができる。
図27Cに示すように、出力制御部50は、例えば、表示部24Aを制御して、画面の左下隅を中心とする円を4等分した円弧を表示させる。図27Cに示す例では、円弧C1が、開始時点の活性度スコアを示し、その半径r1が活性度スコアの大きさを示す。図27Cに示す例では、円弧C2及び円弧C3は、現在の活性度スコアを示す。出力制御部50は、現在の活性度スコアが開始時点よりも大きければ、半径r1よりも大きい半径r2の円弧C2を半径r1の円弧C1と共に表示部24Aに表示させる。出力制御部50は、現在の活性度スコアが開始時点よりも小さければ、半径r1よりも小さい半径r3の円弧C3を半径r1の円弧C1と共に表示部24Aに表示させる。これにより、ユーザは、活性度スコアの時間的な推移を容易に把握することができる。
図27Dに示すように、出力制御部50は、例えば、表示部24Aを制御して、棒を表示させる。図27Dに示す例では、棒B1が表示部24Aの中央部分に表示されているが、これに限らず、左下隅に表示されてもよいし、右下隅に表示されてもよい。図27Dに示す例では、棒B1が、開始時点の活性度スコアを示し、その高さh1が活性度スコアの大きさを示す。図27Dに示す例では、棒B2及び棒B3は、現在の活性度スコアを示す。出力制御部50は、現在の活性度スコアが開始時点よりも大きければ、高さh1よりも高い高さh2の棒B2を高さh1の棒B1と共に表示部24Aに表示させる。出力制御部50は、現在の活性度スコアが開始時点よりも小さければ、高さh1よりも低い高さh3の棒B3を高さh1の棒B1と共に表示部24Aに表示させる。これにより、ユーザは、活性度スコアの時間的な推移を容易に把握することができる。
図27Eに示すように、出力制御部50は、例えば、表示部24Aを制御して、グラフG2を表示する。グラフG2は、棒グラフであり得る。図27Eは、横軸が時間を示し、縦軸が活性度スコアを示す。グラフG2において、時刻t0は、活性度スコアの算出を開始した時点を示す。ユーザは、グラフG2を視認することで、活性度スコアの時間的な推移を容易に把握することができる。
出力制御部50は、例えば、音声出力部24B又は触覚刺激出力部26Cを制御して、活性度スコアの時間的な推移を示す情報を出力してもよい。
図28を用いて、音声出力部24B又は触覚刺激出力部24Cにより、活性度スコアの時間的な推移を示す情報を出力する方法について説明する。図28は、音声出力部24B又は触覚刺激出力部24Cにより活性度スコアの時間的な推移を示す情報を出力する方法を説明するための図である。
図28は、横軸が時間を示し、縦軸が活性度スコアを示す。時刻t0における活性度スコアNS1は、活性度スコアの算出を開始した時点の活性度スコアである。図28に示す例では、活性度スコアNS1が基準となる。出力制御部50は、例えば、基準である活性度スコアNS1を示す音声出力部24Bから出力させる音声の大きさを設定する。出力制御部50は、例えば、基準である活性度スコアNS1を示す触覚刺激出力部24Cから出力させる刺激(例えば、振動)の強さを設定する。
ここで、時刻t1の時点で活性度スコアが活性度スコアNS1よりも大きい、活性度スコアNS2になったとする。この場合、出力制御部50は、例えば、音声出力部24Bを制御して、活性度スコアNS1に対応する音声と、活性度スコアNS2に対応する音声とをセットで出力させる。出力制御部50は、例えば、触覚刺激出力部24Cを制御して、活性度スコアNS1に対応する刺激と、活性度スコアNS2に対応する刺激とをセットで出力させる。活性度スコアNS2に対応する音声は、活性度スコアNS1に対応する音声よりも大きい。活性度スコアNS2に対応する刺激は、活性度スコアNS1に対応する刺激よりも強い。活性度スコアNS2に対応する音声の大きさは、例えば、活性度スコアNS1対する活性度スコアSN2の比に応じて変化させることが好ましい。活性度スコアNS2に対応する刺激の強さは、例えば、活性度スコアNS1に対する活性度スコアNS2の比に応じて変化させることが好ましい。これにより、ユーザは、活性度スコアNS2の活性度スコアNS1に対する相対的な大きさを把握することができる。
ここで、時刻t2の時点で活性度スコアが活性度スコアNS1よりも小さい、活性度スコアNS3になったとする。この場合、出力制御部50は、例えば、音声出力部24Bを制御して、活性度スコアNS1に対応する音声と、活性度スコアNS3に対応する音声とをセットで出力させる。出力制御部50は、例えば、触覚刺激出力部24Cを制御して、活性度スコアNS1に対応する刺激と、活性度スコアNS3に対応する刺激とをセットで出力させる。活性度スコアNS3に対応する音声は、活性度スコアNS1に対応する音声よりも小さい。活性度スコアNS3に対応する刺激は、活性度スコアNS1に対応する刺激よりも弱い。活性度スコアNS3に対応する音声の大きさは、例えば、活性度スコアNS1対する活性度スコアSN2の比に応じて変化させることが好ましい。活性度スコアNS3に対応する刺激の強さは、例えば、活性度スコアNS1に対する活性度スコアNS2の比に応じて変化させることが好ましい。これにより、ユーザは、活性度スコアNS2の活性度スコアNS1に対する相対的な大きさを把握することができる。
上述のとおり、第8実施形態に係る情報処理装置10dは、ユーザの活性度スコアの時間的推移を相対的に提示する。これにより、第8実施形態に係る情報処理装置10dは、活性度スコアの時間的な変化が分かりやすくなる。
以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。