JP2021089465A - 記憶補助装置、記憶補助方法、及びプログラム - Google Patents

Abstract

【課題】人が意識的に記憶しようとした情報を保護することが可能な記憶補助装置、記憶補助方法、及びプログラムを提供する。【解決手段】脳波センサにより取得されるユーザの脳波から、前記ユーザが記憶対象を記憶しようとするときに発生する記憶脳波を検出する検出部と、検出された前記記憶脳波に基づいて、前記記憶対象の撮像画像を少なくとも含む記憶対象情報を、前記ユーザの記憶情報として記憶装置に記憶させる記憶制御部と、を備える、記憶補助装置。【選択図】図３

Description

本発明は、記憶補助装置、記憶補助方法、及びプログラムに関する。

従来、脳の記憶に関する技術が各種提案されている。

例えば、下記特許文献１には、人の記憶力を向上する技術が開示されている。当該技術では、記憶力の向上を必要とする人に、治療上有効な量の電荷安定化酸素含有ナノ構造体のイオン性水溶液を投与する。これにより、ニューロン内のシナプス伝達が最適化され、人の記憶力が向上する。

特表２０１６−５３２６８３号公報

しかしながら、特許文献１の技術により記憶力が向上しても、人は、記憶した情報を永久的に保持することはできない。そのため、人の記憶は、意識的に記憶した情報であっても、時間の経過と共に薄れてしまう。これにより、人が記憶を思い出すことは、困難となる。

上述の課題を鑑み、本発明の目的は、人が意識的に記憶しようとした情報を保護することが可能な記憶補助装置、記憶補助方法、及びプログラムを提供することにある。

上述の課題を解決するために、本発明の一態様に係る記憶補助装置、脳波センサにより取得されるユーザの脳波から、前記ユーザが記憶対象を記憶しようとするときに発生する記憶脳波を検出する検出部と、検出された前記記憶脳波に基づいて、前記記憶対象の撮像画像を少なくとも含む記憶対象情報を、前記ユーザの記憶情報として記憶装置に記憶させる記憶制御部と、を備える。

本発明の一態様に係る記憶補助方法は、検出部が、脳波センサにより取得されるユーザの脳波から、前記ユーザが記憶対象を記憶しようとするときに発生する記憶脳波を検出することと、記憶制御部が、検出された前記記憶脳波に基づいて、前記記憶対象の撮像画像を少なくとも含む記憶対象情報を、前記ユーザの記憶情報として記憶装置に記憶させることと、を含む。

本発明の一態様に係るプログラムは、コンピュータを、脳波センサにより取得されるユーザの脳波から、前記ユーザが記憶対象を記憶しようとするときに発生する記憶脳波を検出する検出部と、検出された前記記憶脳波に基づいて、前記記憶対象の撮像画像を少なくとも含む記憶対象情報を、前記ユーザの記憶情報として記憶装置に記憶させる記憶制御部と、として機能させる。

本発明によれば、人が意識的に記憶しようとした情報を保護することができる。

本発明の一実施形態に係る記憶補助システムの構成の一例を示すブロック図である。 同実施形態に係る情報取得装置の機能構成の一例を示すブロック図である。 同実施形態に係る記憶補助装置の機能構成の一例を示すブロック図である。 同実施形態に係る記憶情報データベースにおける記憶情報テーブルの構成の一例を示す図である。 同実施形態に係る端末装置の機能構成の一例を示すブロック図である。 同実施形態に係る記憶補助システムにおける記憶時の処理の流れを示すシーケンス図である。 同実施形態に係る記憶補助システムにおける想起時の処理の流れを示すシーケンス図である。 同実施形態に係る記憶補助装置における処理の流れを示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
本発明は、ユーザの脳波に基づき、ユーザの記憶及び想起を補助する記憶補助システムに関する。当該記憶補助システムは、ユーザの脳波に関する情報（以下、「脳波情報」とも称される）に基づき、当該ユーザの記憶に関する情報（以下、「記憶情報」とも称される）の記憶又は出力を制御する。

脳波情報は、脳波の種類ごとの情報を含む。脳波情報は、例えば、記憶脳波に関する情報（以下、「記憶脳波情報」とも称される）と想起脳波に関する情報（以下、「想起脳波情報」とも称される）とを含む。記憶脳波とは、ユーザが記憶対象を意識的に記憶しようとする時に発生する脳波である。想起脳波とは、ユーザが記憶を思い出そうとする時に発生する脳波である。記憶脳波情報と想起脳波情報の各々は、例えば、脳波の波形、電位、及び周波数等の情報を含む。

記憶情報は、記憶対象に関する情報（以下、「記憶対象情報」とも称される）を含む。記憶対象とは、ユーザが意識的に記憶を試みている対象である。本実施形態における記憶対象は、ユーザが記憶する情報を取得するために見ている対象である。この場合、記憶対象情報は、ユーザが対象を見たことによって取得される情報である。なお、記憶対象情報には、ユーザの視界に含まれる情報であれば、ユーザが見ている対象の周囲の情報が含まれてもよい。なお、記憶対象情報は、かかる例に限定されない。

＜＜１．記憶補助システムの構成＞＞
まず、図１を参照して、本実施形態に係る記憶補助システムの構成について説明する。図１は、本実施形態に係る記憶補助システムの構成の一例を示すブロック図である。

図１に示すように、記憶補助システム１は、情報取得装置１０、記憶補助装置２０、及び端末装置３０を含む。記憶補助システム１に含まれる各装置は、ネットワーク４０を介して、互いに通信可能に接続されている。

情報取得装置１０は、各種情報を取得する装置である。情報取得装置１０は、例えば、ウェアラブル端末である。具体的なウェアラブル端末の一例として、ヘルメット型の端末、ヘッドギア型の端末、ヘッドセット型の端末、眼鏡型の端末等のユーザの頭部に装着可能な端末が挙げられる。なお、ウェアラブル端末は、かかる例に限定されない。また、情報取得装置１０は、ウェアラブル端末に限定されない。

記憶補助装置２０は、ユーザの記憶及び想起を補助する装置である。記憶補助装置２０は、例えば、サーバ装置である。なお、記憶補助装置２０は、サーバ装置に限定されない。

端末装置３０は、ユーザが各種情報を参照するために操作する装置である。端末装置３０は、例えば、スマートフォンである。なお、端末装置３０は、かかる例に限定されず、タブレット、ＰＣ（パーソナルコンピュータ）等の端末であってもよい。

＜＜２．機能構成＞＞
以上、記憶補助システム１の構成について説明した。続いて、図２〜図５を参照して、記憶補助システム１を構成する各装置の機能構成について説明する。

＜２−１．情報取得装置１０の機能構成＞
まず、図２を参照して、情報取得装置１０の機能構成について説明する。図２は、本実施形態に係る情報取得装置１０の機能構成の一例を示すブロック図である。図２に示すように、情報取得装置１０は、センサ部１１０、制御部１２０、及び通信部１３０を備える。

（１）センサ部１１０
センサ部１１０は、各種情報を取得する機能を有する。当該機能を実現するために、センサ部１１０は、脳波情報取得部１１０２及び記憶情報取得部１１０４を備える。

（１−１）脳波情報取得部１１０２
脳波情報取得部１１０２は、脳波情報を取得する機能を有する。当該機能は、例えば、脳波センサにより実現される。脳波情報取得部１１０２は、取得した脳波情報を制御部１２０へ出力する。

脳波センサは、電極と脳波計を有するセンサ装置である。電極は、ユーザが情報取得装置１０を装着した際にユーザの頭部に接触するように、情報取得装置１０に設けられる。これにより、電極は、ユーザの脳の電気活動によって生じる電位を計測することができる。電極は、例えば、国際１０−２０法に従って情報取得装置１０に設けられる。脳波計は、電極が計測する電位の時間変化を記録する。脳波計は、記録した電位の時間変化に基づき、脳波の波形及び周波数もさらに記録する。

（１−２）記憶情報取得部１１０４
記憶情報取得部１１０４は、記憶情報を取得する機能を有する。当該機能は、例えば、カメラ（撮像装置）により実現される。記憶情報取得部１１０４は、取得した記憶情報を制御部１２０へ出力する。

カメラは、記憶対象を撮像するセンサ装置である。カメラは、少なくとも記憶対象が含まれる撮像画像を撮像可能に情報取得装置１０に設けられる。例えば、情報取得装置１０には２台のカメラが設けられる。一方のカメラはユーザの目を撮像可能に設けられ、他方のカメラは記憶対象を撮像可能に設けられる。情報取得装置１０は、一方のカメラにより撮像されるユーザの目の撮像画像に基づき、ユーザの視線方向を検出する。検出後、情報取得装置１０は、検出したユーザの視線方向と同一の方向に、他方のカメラの向きを変更する。これにより、情報取得装置１０は、ユーザの視線方向にある記憶対象を他方のカメラに撮像させることができる。なお、カメラは、記憶対象の周囲の情報も含むように撮像画像を撮像してもよい。

なお、記憶情報取得部１１０４は、カメラ以外のセンサ装置をさらに備えてもよい。例えば、記憶情報取得部１１０４は、ＧＰＳ（Global Positioning System）センサにより、ユーザが意識的に記憶を試みた際のユーザの位置情報を取得してもよい。また、記憶情報取得部１１０４は、マイクロフォン（以下、「マイク」とも称される）により、ユーザが意識的に記憶を試みた際のユーザの発声、ユーザの周囲の音声を取得してもよい。

（２）制御部１２０
制御部１２０は、情報取得装置１０の動作全般を制御する機能を有する。例えば、制御部１２０は、センサ部１１０の動作を制御する。具体的に、制御部１２０は、センサ部１１０の脳波情報取得部１１０２に所定の時間間隔で脳波情報を取得させる。また、制御部１２０は、通信部１３０が記憶補助装置２０から受信する記憶情報要求に基づき、センサ部１１０の記憶情報取得部に記憶情報を取得させる。記憶情報要求は、記憶情報の取得指示を示す情報である。

また、制御部１２０は、通信部１３０の動作を制御する。例えば、制御部１２０は、センサ部１１０から入力される各種情報を通信部１３０に記憶補助装置２０へ送信させる。具体的に、制御部１２０は、所定の時間間隔でセンサ部１１０の脳波情報取得部１１０２から入力される脳波情報を、通信部１３０に記憶補助装置２０へ送信させる。また、制御部１２０は、記憶情報要求に基づきセンサ部１１０の記憶情報取得部１１０４から入力される記憶情報を、通信部１３０に記憶補助装置２０へ送信させる。

（３）通信部１３０
通信部１３０は、外部端末と通信を行う機能を有する。通信部１３０は、例えば、制御部１２０から入力される各種情報を記憶補助装置２０へ送信する。具体的に、通信部１３０は、制御部１２０から入力される脳波情報又は記憶情報の少なくともいずれか一方を記憶補助装置２０へ送信する。

また、通信部１３０は、例えば、記憶補助装置２０から受信する各種情報を制御部１２０へ出力する。具体的に、通信部１３０は、記憶補助装置２０から受信した記憶情報要求を制御部１２０へ出力する。

＜２−２．記憶補助装置２０の機能構成＞
続いて、記憶補助装置２０の機能構成について説明する。図３は、本実施形態に係る記憶補助装置２０の機能構成の一例を示すブロック図である。図３に示すように、記憶補助装置２０は、通信部２１０、制御部２２０、及び記憶部２３０を備える。

（１）通信部２１０
通信部２１０は、外部端末と通信を行う機能を有する。通信部２１０は、例えば、情報取得装置１０から受信する脳波情報を制御部２２０へ出力する。また、通信部２１０は、情報取得装置１０から受信する記憶情報を制御部２２０へ出力する。また、通信部２１０は、端末装置３０から受信する記憶情報の詳細要求を制御部２２０へ出力する。

また、通信部２１０は、例えば、制御部２２０から入力される各種情報を各種端末へ送信する。具体的に、通信部２１０は、制御部２２０から入力される記憶情報要求を情報取得装置１０へ送信する。また、通信部２１０は、制御部２２０から入力される記憶情報の一覧情報を端末装置３０へ送信する。また、通信部２１０は、制御部２２０から入力される記憶情報の詳細情報を端末装置３０へ送信する。

（２）制御部２２０
制御部２２０は、記憶補助装置２０の動作全般を制御する機能を有する。当該機能を実現するために、制御部２２０は、検出部２２０２、判定部２２０４、記憶制御部２２０６、及び表示制御部２２０８を備える。

（２−１）検出部２２０２
検出部２２０２は、所定の脳波を検出する脳波検出処理を行う機能を有する。所定の脳波は、例えば、記憶脳波又は想起脳波のいずれか一方である。脳波検出処理では、検出部２２０２は、通信部２１０から入力される脳波情報に基づき、所定の脳波を検出する。具体的に、検出部２２０２は、脳波情報に含まれる脳波の波形、電位、又は周波数の少なくともいずれかに基づき、記憶脳波又は想起脳波のいずれか一方を検出する。

より具体的に、検出部２２０２は、脳波、電位、周波数をモニターする。検出部２２０２は、脳波の形状が記憶脳波の形状を示している場合には記憶脳波を検出し、脳波の形状が想起脳波の形状を示している場合には想起脳波を検出する。また、検出部２２０２は、電位が記憶時にユーザの脳の電気活動によって生じる電位である場合には記憶脳波を検出し、電位が想起時にユーザの脳の電気活動によって生じる電位である場合には想起脳波を検出する。また、検出部２２０２は、周波数が記憶時の周波数帯に含まれる場合には記憶脳波を検出し、周波数が想起時の周波数帯に含まれる場合には想起脳波を検出する。

また、検出部２２０２は、脳波情報を取得した脳波センサの電極の位置に基づき、所定の脳波を検出してもよい。例えば、検出部２２０２は、脳の電気活動によって生じる電位を取得した電極の位置から、当該電位が生じた脳の部位を特定する。検出部２２０２は、特定した脳の部位が記憶脳波の電位を生じる部位である場合には記憶脳波を検出し、特定した脳の部位が想起脳波の電位を生じる部位である場合には想起脳波を検出する。

検出後、検出部２２０２は、検出した脳波を示す検出結果と当該脳波の脳波情報を判定部２２０４へ出力する。

（２−２）判定部２２０４
判定部２２０４は、検出された脳波の種類を判定する判定処理を行う機能を有する。判定処理では、判定部２２０４は、検出部２２０２から入力される検出結果に基づき、記憶脳波と想起脳波のどちらが検出されたかを判定する。記憶脳波が検出されたと判定した場合、判定部２２０４は、判定した脳波の種類を示す判定結果と当該脳波の脳波情報を記憶制御部２２０６へ出力する。一方、想起脳波が検出されたと判定した場合、判定部２２０４は、判定結果を表示制御部２２０８へ出力する。

（２−３）記憶制御部２２０６
記憶制御部２２０６は、検出された記憶脳波に基づき、記憶脳波に関する記憶脳波処理を行う機能を有する。記憶制御部２２０６は、記憶脳波が検出されたことを示す判定結果を判定部２２０４から入力された場合、記憶脳波処理を行う。

記憶脳波処理では、記憶制御部２２０６は、例えば、記憶情報を記憶部２３０（記憶装置）に記憶させる。当該記憶情報は、具体的にはユーザが意識的な記憶を試みた記憶対象に関する記憶対象情報である。記憶対象情報は、具体的に、記憶対象の撮像画像を少なくとも含む情報である。記憶制御部２２０６は、当該撮像画像をユーザの記憶情報として記憶部２３０に記憶させる。

かかる構成により、ユーザが意識的な記憶を試みると、記憶制御部２２０６の制御により、記憶対象情報が記憶部２３０に記憶される。よって、ユーザは、端末等を操作することなく、記憶することを意識するだけで自身の記憶を保護することができる。

記憶脳波が検出された場合、記憶制御部２２０６は、通信部２１０に記憶情報要求を情報取得装置１０へ送信させる。記憶情報要求は、例えば、記憶対象の少なくとも一部を撮像装置に撮像させる指示を含む。記憶情報要求を受信した情報取得装置１０は、記憶情報取得部１１０４に記憶情報を取得させ、取得した記憶情報を通信部１３０に記憶補助装置２０へ送信させる。これにより、記憶制御部２２０６は、通信部２１０を介して、記憶対象の少なくとも一部を含む撮像画像を記憶対象情報として取得することができる。

記憶制御部２２０６は、取得した記憶対象情報を記憶部２３０に記憶させる。記憶対象情報が撮像画像である場合、記憶制御部２２０６は、撮像画像と撮像日時とを記憶対象情報として記憶部２３０に記憶させる。これにより、記憶部２３０は、ユーザが意識的な記憶を試みた日時とその記憶対象が撮像された撮像画像を記憶することができる。

記憶制御部２２０６は、画像認識処理により得られる情報を記憶対象情報として記憶部２３０に記憶させてもよい。具体的に、記憶制御部２２０６は、画像認識処理により認識した認識対象に関する情報（以下、「認識対象情報」とも称される）を、記憶対象情報として記憶部２３０に記憶させる。画像認識処理の対象は、例えば、撮像画像である。認識対象には、記憶対象又は記憶対象の周囲の対象が含まれる。記憶制御部２２０６は、画像認識処理により、記憶対象に関する詳細な情報及び記憶対象の周囲の情報を取得することができる。また、記憶部２３０は、記憶対象に関する詳細な情報及び記憶対象の周囲の情報を記憶することができる。

記憶制御部２２０６は、脳波情報を記憶情報に関連付けて記憶させてもよい。例えば、記憶制御部２２０６は、記憶脳波情報を記憶対象情報に関連付けてユーザの記憶情報として記憶部２３０に記憶させてもよい。具体的に、記憶制御部２２０６は、判定部２２０４から入力される脳波情報に含まれる記憶脳波情報を記憶対象情報に関連付けて記憶部２３０に記憶させる。記憶対象情報に関連付けられる脳波情報は、例えば、脳波の波形、電位、及び周波数である。これにより、記憶部２３０は、検出された記憶脳波の詳細な情報である記憶脳波情報を記憶することができる。なお、記憶制御部２２０６は、想起脳波情報を記憶対象情報に関連付けてユーザの記憶情報として記憶部２３０に記憶させてもよい。

記憶制御部２２０６は、記憶脳波における脳の興奮位置を示す情報（以下、「興奮位置情報」とも称される）を、記憶対象情報に関連付けてユーザの記憶情報として記憶部２３０に記憶させてもよい。記憶制御部２２０６は、例えば、記憶脳波の発生時の電位を取得した電極の位置に基づき、興奮位置情報を取得する。具体的な興奮位置情報として、脳の部位を示す情報が挙げられる。脳には、記憶に関わる神経回路として、Ｐａｐｅｚ回路とＹａｋｏｖｌｅｖ回路がある。

Ｐａｐｅｚ回路は、海馬、脳弓、乳頭体、視床前核、帯状回、海馬傍回、海馬の順に刺激が伝達する閉鎖回路である。例えば、帯状回が興奮すると、Ｐａｐｅｚ回路内で刺激が伝達し、刺激が帯状回へ戻る。このように刺激が伝達することで、Ｐａｐｅｚ回路が持続的に興奮し、情動が生じる。当該情動は、記憶に関与すると知られている。これより、興奮位置情報の脳の部位には、海馬、脳弓、乳頭体、視床前核、帯状回、及び海馬傍回が含まれる。

Ｙａｋｏｖｌｅｖ回路は、側頭葉皮質前部、扁桃体、視床背内側核、前頭眼窩皮質、鉤状束、側頭葉皮質前部の順に刺激が伝達する閉鎖回路である。Ｙａｋｏｖｌｅｖ回路は、Ｐａｐｅｚ回路と相互作用することで、感情的な記憶に影響を与えると考えられている。よって、興奮位置情報の脳の部位には、側頭葉皮質前部、扁桃体、視床背内側核、前頭眼窩皮質、及び鉤状束が含まれてもよい。

また、情報取得装置１０のセンサ部１１０が興奮位置情報を取得可能なセンサ装置を有する場合、記憶制御部２２０６は、当該センサ装置に興奮位置情報を取得させる指示を含む要求を、通信部２１０に情報取得装置１０へ送信させてもよい。このように、記憶制御部２２０６は、センサ装置が取得する情報に基づき、ユーザが意識的な記憶を試みた際の脳の興奮位置情報を取得することができる。また、記憶部２３０は、興奮位置情報を記憶することができる。

記憶制御部２２０６は、ユーザが端末装置３０の入出力部３３０に入力した情報を、記憶対象情報に関連付けて記憶部２３０に記憶させてもよい。ユーザが入出力部３３０に入力する情報は、例えば、記憶対象に関する詳細な情報、ユーザの感情、センサ装置では取得できない記憶対象に関する情報等である。

記憶制御部２２０６は、ユーザの個人情報を記憶対象情報に関連付けて記憶部２３０に記憶させてもよい。ユーザの個人情報は、例えば、ユーザの氏名、年齢、性別、身長、体重、住所等である。

上述のように、記憶制御部２２０６は、多様な情報を関連付けることで、より詳細な情報を有する記憶対象情報を記憶部２３０に記憶させることができる。これにより、ユーザは、記憶することを意識するだけで、自身の記憶をより詳細な情報を含めて保護することができる。

記憶制御部２２０６は、記憶脳波の波形、電位、周波数、又は興奮位置の少なくともいずれかに基づき、記憶情報を分類してもよい。例えば、記憶制御部２２０６は、各記憶脳波の波形の類似度を算出し、算出した類似度に基づき記憶情報を分類する。また、記憶制御部２２０６は、各記憶脳波の電位の大きさに基づき記憶情報を分類する。また、記憶制御部２２０６は、各記憶脳波の周波数の大きさに基づき記憶情報を分類する。また、記憶制御部２２０６は、興奮位置における脳の部位に基づき記憶情報を分類する。

なお、記憶情報は、ユーザによって異なるため、ユーザごとに管理されることが望ましい。例えば、興奮する脳の部位は、ユーザによって異なり得る。そこで、記憶情報は、ユーザに固有の識別情報（例えばユーザＩＤ）と関連付けられることで、ユーザごとに管理されてもよい。

（２−４）表示制御部２２０８
表示制御部２２０８は、検出された想起脳波に基づき、想起脳波に関する想起脳波処理を行う機能を有する。表示制御部２２０８は、想起脳波が検出されたことを示す判定結果を判定部２２０４から入力された場合、想起脳波処理を行う。

想起脳波処理では、表示制御部２２０８は、端末装置３０における表示を制御する。例えば、表示制御部２２０８は、端末装置３０の入出力部３３０（表示装置）にユーザの記憶情報を表示させる。具体的に、表示制御部２２０８は、記憶部２３０に記憶されたユーザの記憶情報の一覧情報を通信部２１０に端末装置３０へ送信させる。記憶情報の一覧情報を受信した端末装置３０は、入出力部３３０に記憶情報の一覧を表示する。

かかる構成により、ユーザが記憶の想起を試みることで入出力部３３０に記憶情報の一覧が表示される。これにより、ユーザは、記憶を自力で思い出すことができなかったとしても、入出力部３３０に表示された一覧を視認して記憶を思い出すことができる。

記憶情報の一覧情報として表示される情報は、例えば、記憶対象情報に関連付けられた情報である。具体的に、記憶対象情報が撮像画像である場合、各撮像画像に関連付けられた撮像日時が一覧情報として表示される。また、各撮像画像に関連付けられた認識対象状が一覧情報として表示されてもよい。また、各撮像画像のサムネイル画像が一覧情報として表示されてもよい。

入出力部３３０に表示された記憶情報の一覧の内、所定の記憶情報がユーザにより選択された場合、表示制御部２２０８は、選択された記憶情報に関する詳細情報を入出力部３３０にさらに表示させる。詳細情報は、例えば、記憶対象情報の撮像画像である。また、詳細情報は、記憶対象情報の認識対象情報や、記憶対象情報に関連付けられた記憶脳波情報及び興奮位置情報等であってもよい。

具体的に、入出力部３３０に表示された記憶情報の一覧から所定の記憶情報が選択されると、選択された記憶情報の詳細要求が端末装置３０から記憶補助装置２０へ送信される。当該詳細要求は、受信した通信部２１０から制御部２２０へ出力される。詳細要求が制御部２２０へ入力されると、表示制御部２２０８は、詳細要求が示す記憶情報の詳細情報を記憶部２３０から取得する。取得後、表示制御部２２０８は、取得した詳細情報を通信部２１０に端末装置３０へ送信させる。記憶情報の詳細情報を受信した端末装置３０は、入出力部３３０に記憶情報の詳細情報を表示する。

かかる構成により、ユーザが入出力部３３０に表示された記憶情報の一覧から選択した記憶情報の詳細情報が入出力部３３０にさらに表示される。これにより、ユーザは、入出力部３３０に表示された記憶の詳細を視認して、自身の記憶をより詳細に思い出すことができる。

（３）記憶部２３０
記憶部２３０は、各種情報を記憶する機能を有する。例えば、制御部２２０から記憶対象情報が入力された場合、記憶部２３０は、入力された記憶対象情報を記憶情報として記憶する。また、制御部２２０から認識対象情報が入力された場合、記憶部２３０は、入力された認識対象情報を記憶対象情報として記憶する。また、制御部２２０から記憶脳波情報が入力された場合、記憶部２３０は、入力された記憶脳波情報を記憶対象情報に関連付けて記憶する。また、制御部２２０から興奮位置情報が入力された場合、記憶部２３０は、入力された興奮位置情報を記憶対象情報に関連付けて記憶する。

各種情報が関連付けられた記憶対象情報は、例えば、記憶部２３０の記憶情報データベースの記憶情報テーブルに記憶される。

ここで、図４を参照して、記憶部２３０に記憶される記憶対象情報の一例について説明する。図４は、本実施形態に係る記憶情報データベースにおける記憶情報テーブルの構成の一例を示す図である。図４に示すように、記憶情報テーブルのレコードには、ユーザＩＤ、撮像画像、撮像日時、記憶対象、波形、電位、周波数、及び興奮位置が含まれる。なお、記憶情報テーブルのレコードに含まれる情報は、かかる例に限定されない。

図４に示す記憶情報テーブルの撮像画像及び撮像日時は、記憶対象情報として取得された情報である。また、記憶情報テーブルの記憶対象は、記憶対象情報として取得された認識対象情報である。また、記憶情報テーブルの波形、電位、及び周波数は、記憶対象情報に関連付けられた記憶脳波情報である。また、記憶情報テーブルの興奮位置は、記憶対象情報に関連付けられた興奮位置情報である。

記憶情報テーブルの１レコード目及び２レコード目には、ユーザＩＤが「１０１」のユーザの記憶対象情報が記憶されている。記憶情報テーブルの３レコード目及び４レコード目には、ユーザＩＤが「１０２」のユーザの記憶対象情報が記憶されている。

１レコード目には、撮像画像が「画像ＡＡＡ」、撮像日時が「１１月２０日１０時２０分３０秒」、記憶対象が「文章」であることが記憶されている。これは、ユーザＩＤが「１０１」のユーザが、「１１月２０日１０時２０分３０秒」に「文章」を記憶しようとしたことを示す。また、１レコード目には、波形が「波形ＡＡＡ」、電位が「Ｖ_１μＶ」、周波数が「ｆ_１Ｈｚ」であることが記憶されている。これは、ユーザＩＤが「１０１」のユーザが「文章」を記憶しようとした時に、波形が「波形ＡＡＡ」、電位が「Ｖ_１μＶ」、周波数が「ｆ_１Ｈｚ」の記憶脳波が検出されたことを示す。また、１レコード目には、興奮位置が「海馬」であることが記憶されている。これは、ユーザＩＤが「１０１」のユーザが「文章」を記憶しようとした時に、脳の「海馬」が興奮していたことを示す。

２レコード目には、撮像画像が「画像ＢＢＢ」、撮像日時が「１１月２０日１１時３０分４０秒」、記憶対象が「人」であることが記憶されている。これは、ユーザＩＤが「１０１」のユーザが、「１１月２０日１１時３０分４０秒」に「人」の容姿を記憶しようとしたことを示す。また、２レコード目には、波形が「波形ＢＢＢ」、電位が「Ｖ_２μＶ」、周波数が「ｆ_２Ｈｚ」であることが記憶されている。これは、ユーザＩＤが「１０１」のユーザが「人」の容姿を記憶しようとした時に、波形が「波形ＢＢＢ」、電位が「Ｖ_２μＶ」、周波数が「ｆ_２Ｈｚ」の記憶脳波が検出されたことを示す。また、２レコード目には、興奮位置が「脳弓」であることが記憶されている。これは、ユーザＩＤが「１０１」のユーザが「人」の容姿を記憶しようとした時に、脳の「脳弓」が興奮していたことを示す。

３レコード目には、撮像画像が「画像ＣＣＣ」、撮像日時が「１１月２０日１２時４０分５０秒」、記憶対象が「建物」であることが記憶されている。これは、ユーザＩＤが「１０２」のユーザが、「１１月２０日１２時４０分５０秒」に「建物」の外観を記憶しようとしたことを示す。また、３レコード目には、波形が「波形ＣＣＣ」、電位が「Ｖ_３μＶ」、周波数が「ｆ_３Ｈｚ」であることが記憶されている。これは、ユーザＩＤが「１０２」のユーザが「建物」の外観を記憶しようとした時に、波形が「波形ＣＣＣ」、電位が「Ｖ_３μＶ」、周波数が「ｆ_３Ｈｚ」の記憶脳波が検出されたことを示す。また、３レコード目には、興奮位置が「乳頭体」であることが記憶されている。これは、ユーザＩＤが「１０２」のユーザが「建物」の外観を記憶しようとした時に、脳の「乳頭体」が興奮していたことを示す。

４レコード目には、撮像画像が「画像ＤＤＤ」、撮像日時が「１１月２０日１２時５０分００秒」、記憶対象が「風景」であることが記憶されている。これは、ユーザＩＤが「１０２」のユーザが、「１１月２０日１２時５０分００秒」に「風景」を記憶しようとしたことを示す。また、４レコード目には、波形が「波形ＤＤＤ」、電位が「Ｖ_４μＶ」、周波数が「ｆ_４Ｈｚ」であることが記憶されている。これは、ユーザＩＤが「１０２」のユーザが「風景」を記憶しようとした時に、波形が「波形ＤＤＤ」、電位が「Ｖ_４μＶ」、周波数が「ｆ_４Ｈｚ」の記憶脳波が検出されたことを示す。また、４レコード目には、興奮位置が「視床前核」であることが記憶されている。これは、ユーザＩＤが「１０２」のユーザが「風景」を記憶しようとした時に、脳の「視床前核」が興奮していたことを示す。

＜２−３．端末装置３０の機能構成＞
続いて、図５を参照して、端末装置３０の機能構成について説明する。図５は、本実施形態に係る端末装置３０の機能構成の一例を示すブロック図である。図５に示すように、端末装置３０は、通信部３１０、制御部３２０、入出力部３３０、及び記憶部３４０を備える。

（１）通信部３１０
通信部３１０は、外部端末と通信を行う機能を有する。通信部３１０は、例えば、記憶補助装置２０から受信する記憶情報の一覧情報を制御部３２０へ出力する。また、通信部３１０は、記憶補助装置２０から受信する記憶情報の詳細情報を制御部３２０へ出力する。

また、通信部３１０は、例えば、制御部３２０から入力される記憶情報の詳細要求を記憶補助装置２０へ送信する。

（２）制御部３２０
制御部３２０は、端末装置３０の動作全般を制御する機能を有する。例えば、制御部３２０は、通信部３１０の動作を制御する。具体的に、制御部３２０は、入出力部３３０から入力されるユーザが選択した記憶情報を示す情報に基づき、記憶情報の詳細要求を生成する。生成後、制御部３２０は、生成した記憶情報の詳細要求を通信部３１０へ出力する。そして、制御部３２０は、通信部３１０に記憶情報の詳細要求を記憶補助装置２０へ送信させる。

また、制御部３２０は、入出力部３３０の動作を制御する。例えば、制御部３２０は、通信部３１０から入力される記憶情報の一覧情報や詳細情報を入出力部３３０へ出力し、表示させる。

また、制御部３２０は、記憶部３４０の動作を制御する。例えば、制御部３２０は、通信部３１０から入力される記憶情報の一覧情報や詳細情報を記憶部３４０に記憶させる。

（３）入出力部３３０
入出力部３３０は、入力部としての機能と出力部としての機能を有し、各種情報の入出力を行う。入出力部３３０は、多様な入力装置又は出力装置により実現され得る。

入出力部３３０は、例えば、表示部を有するタッチパネルにより入力部として機能し、情報の入力を行う。入出力部３３０が入力部として機能する場合、ユーザは、例えば、タッチパネルの表示部に表示された記憶情報一覧から、詳細を確認したい記憶情報をタッチして選択する。そして、入出力部３３０は、記憶情報が選択されたことを示す情報を制御部３２０へ出力する。なお、入出力部３３０の入力部としての機能は、タッチパネルに限定されず、マウス、キーボード、又はマイク等により実現されてもよい。

入出力部３３０は、例えば、ディスプレイ等の表示装置により出力部として機能し、情報の出力を行う。表示装置により出力部として機能する場合、入出力部３３０は、制御部３２０から入力される情報を表示装置に表示する。例えば、入出力部３３０は、制御部３２０から入力される記憶情報の一覧情報や詳細情報をタッチパネルの表示部に表示させる。

（４）記憶部３４０
記憶部３４０は、各種情報を記憶する機能を有する。記憶部３４０は、例えば、制御部３２０から入力される記憶情報の一覧情報や詳細情報を記憶する。

なお、上述した制御部１２０、制御部２２０、及び制御部３２０は、例えば、各制御部が含まれる装置がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。

また、上述した記憶部２３０及び記憶部３４０は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、またはこれらの記憶媒体の任意の組み合わせによって構成される。記憶部２３０及び記憶部３４０は、例えば、不揮発性メモリを用いることができる。

＜＜３．処理の流れ＞＞
以上、記憶補助システム１の構成について説明した。続いて、図６〜図８を参照して、本実施形態に係る記憶補助システム１における処理の流れについて説明する。

＜３−１．記憶補助システム１における処理の流れ＞
まず、図６及び図７を参照して、記憶補助システム１における記憶時と想起時の処理の流れについて説明する。図６は、本実施形態に係る記憶補助システム１における記憶時の処理の流れを示すシーケンス図である。図７は、本実施形態に係る記憶補助システム１における想起時の処理の流れを示すシーケンス図である。

（１）記憶時の処理の流れ
図６に示すように、まず、ユーザは、意識的に記憶対象を記憶することを試みる（Ｓ１０２）。

情報取得装置１０は、ユーザが意識的に記憶を試みたことを示す脳波情報を取得する（Ｓ１０４）。取得後、情報取得装置１０は、取得した脳波情報を記憶補助装置２０へ送信する（Ｓ１０６）。

記憶補助装置２０は、受信した脳波情報に基づき、記憶脳波を検出する（Ｓ１０８）。記憶脳波を検出した記憶補助装置２０は、記憶情報要求を情報取得装置１０へ送信する（Ｓ１１０）。

記憶情報要求を受信した情報取得装置１０は、記憶情報を取得する（Ｓ１１２）。取得後、情報取得装置１０は、取得した記憶情報を記憶補助装置２０へ送信する（Ｓ１１４）。

記憶補助装置２０は、受信した記憶情報を記憶する（Ｓ１１６）。

（２）想起時の処理の流れ
図７に示すように、まず、ユーザは、意識的に記憶対象を想起することを試みる（Ｓ２０２）。

情報取得装置１０は、ユーザが意識的に想起を試みたことを示す脳波情報を取得する（Ｓ２０４）。取得後、情報取得装置１０は、取得した脳波情報を記憶補助装置２０へ送信する（Ｓ２０６）。

記憶補助装置２０は、受信した脳波情報に基づき、想起脳波を検出する（Ｓ２０８）。想起脳波を検出した記憶補助装置２０は、記憶情報の一覧情報を端末装置３０へ送信する（Ｓ２１０）。

記憶情報の一覧情報を受信した端末装置３０は、記憶情報の一覧を表示する（Ｓ２１２）。

ユーザは、端末装置３０に表示された記憶情報の一覧から、より詳細な情報を知りたい記憶情報を選択する（Ｓ３０２）。

端末装置３０は、ユーザが選択した記憶情報の詳細要求を記憶補助装置２０へ送信する（Ｓ３０４）。

詳細要求を受信した記憶補助装置２０は、ユーザが選択した記憶情報の詳細情報を端末装置３０へ送信する（Ｓ３０６）。

端末装置３０は、受信した詳細情報を表示する（Ｓ３０８）。

＜３−２．記憶補助装置２０における処理の流れ＞
続いて、図８を参照して、記憶補助装置２０における処理の流れについて説明する。図８は、本実施形態に係る記憶補助装置２０における処理の流れを示すフローチャートである。

図８に示すように、まず、記憶補助装置２０は、脳波情報を受信したか否かを判定する（Ｓ４０２）。脳波情報を受信していない場合（Ｓ４０２／ＮＯ）、記憶補助装置２０は、Ｓ４０２の判定処理を繰り返す。

一方、脳波情報を受信した場合、記憶補助装置２０は、脳波検出処理を実行する（Ｓ４０４）。脳波検出処理後、記憶補助装置２０は、検出した脳波の種類を判定する。

次いで、記憶補助装置２０は、記憶脳波を検出したか否かを判定する（Ｓ４０６）。記憶脳波を検出した場合（Ｓ４０６／ＹＥＳ）、記憶補助装置２０は、記憶情報を取得する（Ｓ４０８）。取得後、記憶補助装置２０は、取得した記憶情報を記憶する（Ｓ４１０）。記憶後、記憶補助装置２０は、Ｓ４０２から処理を繰り返す。

一方、記憶脳波を検出していない場合（Ｓ４０６／ＮＯ）、記憶補助装置２０は、想起脳波を検出したか否かを判定する（Ｓ４１２）。想起脳波を検出していない場合（Ｓ４１２／ＮＯ）、記憶補助装置２０は、Ｓ４０２から処理を繰り返す。

一方、想起脳波を検出した場合（Ｓ４１２／ＹＥＳ）、記憶補助装置２０は、記憶情報の一覧情報を端末装置３０へ送信する（Ｓ４１４）。送信後、記憶補助装置２０は、記憶情報の詳細要求を受信したか否かを判定する（Ｓ４１６）。記憶情報の詳細要求を受信していない場合（Ｓ４１６／ＮＯ）、記憶補助装置２０は、Ｓ４１６の判定処理を繰り返す。

一方、記憶情報の詳細要求を受信した場合（Ｓ４１６／ＹＥＳ）、記憶補助装置２０は、記憶情報の詳細情報を端末装置３０へ送信する（Ｓ４１８）。送信後、記憶補助装置２０は、Ｓ４０２から処理を繰り返す。

以上説明したように、本実施形態に係る記憶補助装置２０は、脳波センサにより取得されるユーザの脳波から、記憶脳波を検出する。記憶補助装置２０は、検出した記憶脳波に基づいて、記憶対象の撮像画像を少なくとも含む記憶対象情報を、ユーザの記憶情報として記憶装置に記憶させる。

かかる構成により、ユーザが意識的な記憶を試みた記憶対象に関する情報が記憶装置に記憶される。これにより、ユーザが記憶対象に関する情報を記憶できなかった、あるいは忘れてしまったとしても、当該情報は記憶装置に残る。よって、記憶補助装置２０は、人が意識的に記憶しようとした情報を保護することができる。

また、かかる構成により、ユーザは、記憶することを意識するだけで、記憶対象に関する情報を記憶補助装置２０に記憶させることができる。これにより、ユーザは、自身の記憶を記憶補助装置２０に記憶させるために端末操作をする必要がない。よって、ユーザは、記憶補助装置２０に自身の記憶を容易に保護させることができる。

また、本実施形態に係る記憶補助装置２０は、脳波センサにより取得されるユーザの脳波から想起脳波が検出された場合、記憶装置に記憶されたユーザの記憶情報を表示装置に表示させる。

かかる構成により、ユーザが過去に意識的な記憶を試みた記憶対象に関する情報が表示装置に表示される。これにより、ユーザは、記憶を想起できなかったとしても、表示装置に表示された記憶情報から想起を試みた記憶を探すことができる。さらに、表示装置に表示された記憶情報から想起を試みた記憶を見つけた場合、ユーザは、表示されている記憶情報を確認することで、想起を試みた記憶を容易に想起することができる。また、ユーザは、自力での想起が困難な場合に、表示装置に表示された記憶情報を確認することで、想起できるまでにかかる時間を短縮することができる。

また、かかる構成により、ユーザは、想起することを意識するだけで、記憶対象に関する情報を表示装置に表示させることができる。これにより、ユーザは、自身の記憶を表示装置に表示させるために端末操作をする必要がない。よって、ユーザは、表示装置に自身の記憶を容易に表示させることができる。

また、本実施形態に係る記憶補助装置２０は、表示装置に表示された記憶情報の内、ユーザに選択された記憶情報と関連付けられている情報を表示装置にさらに表示させる。

かかる構成により、ユーザが選択した記憶情報の詳細な情報が表示装置に表示される。これにより、ユーザは、想起を試みた記憶のより詳細な情報を確認することができる。

＜＜４．変形例＞＞
以上、本発明の実施形態について説明した。続いて、本発明の実施形態の変形例について説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の各実施形態で説明した構成に対して追加的に適用されてもよい。

＜４−１．第１の変形例＞
上述した実施形態では、情報取得装置１０がセンサ装置を有するウェアラブル端末である例について説明したが、かかる例に限定されない。情報取得装置１０は、表示装置をさらに有するウェアラブル端末であってもよい。

表示装置をさらに有するウェアラブル端末は、例えば、グラス型の端末である。グラス型の端末では、グラス部の一部又は全部が表示装置となっており、当該表示装置に記憶情報が表示される。ウェアラブル端末がグラス型の端末である場合、脳波センサの電極は、例えば、ユーザの耳にかかる部位であるテンプルに設けられる。

＜４−２．第２の変形例＞
上述した実施形態では、情報取得装置１０が記憶情報を取得する例について説明したが、かかる例に限定されない。センサ部をさらに有する端末装置３０が記憶情報を取得してもよい。端末装置３０には、例えば、上述した情報取得装置１０の記憶情報取得部１１０４と同様の機能を実現可能なセンサ装置が備えられる。

以上、本発明の実施形態の変形例について説明した。なお、上述した実施形態における記憶補助装置２０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ 記憶補助システム
１０ 情報取得装置
２０ 記憶補助装置
３０ 端末装置
１１０ センサ部
１２０ 制御部
１３０ 通信部
２１０ 通信部
２２０ 制御部
２３０ 記憶部
３１０ 通信部
３２０ 制御部
３３０ 入出力部
３４０ 記憶部
１１０２ 脳波情報取得部
１１０４ 記憶情報取得部
２２０２ 検出部
２２０４ 判定部
２２０６ 記憶制御部
２２０８ 表示制御部

Claims (10)

1. 脳波センサにより取得されるユーザの脳波から、前記ユーザが記憶対象を記憶しようとするときに発生する記憶脳波を検出する検出部と、
   検出された前記記憶脳波に基づいて、前記記憶対象の撮像画像を少なくとも含む記憶対象情報を、前記ユーザの記憶情報として記憶装置に記憶させる記憶制御部と、
   を備える、記憶補助装置。
2. 前記記憶脳波が検出された場合、
   前記記憶制御部は、前記記憶対象の少なくとも一部を撮像装置に撮像させ、撮像された撮像画像と撮像日時とを前記記憶対象情報として前記記憶装置に記憶させる、請求項１に記載の記憶補助装置。
3. 前記記憶制御部は、画像認識処理により認識した認識対象に関する認識対象情報を、前記記憶対象情報として前記記憶装置に記憶させる、請求項２に記載の記憶補助装置。
4. 前記記憶制御部は、前記記憶脳波に関する記憶脳波情報を、前記記憶対象情報に関連付けて、前記ユーザの記憶情報として前記記憶装置に記憶させる、請求項１から請求項３のいずれか１項に記載の記憶補助装置。
5. 前記記憶制御部は、前記記憶脳波における脳の興奮位置を示す興奮位置情報を、前記記憶対象情報に関連付けて、前記ユーザの記憶情報として前記記憶装置に記憶させる、請求項１から請求項４のいずれか１項に記載の記憶補助装置。
6. 前記記憶制御部は、前記記憶脳波の波形、電位、周波数、又は前記興奮位置の少なくともいずれかに基づき、前記記憶情報を分類する、請求項５に記載の記憶補助装置。
7. 表示制御部をさらに備え、
   前記ユーザが記憶を思い出そうとするときに発生する想起脳波が検出された場合、
   前記表示制御部は、前記記憶装置に記憶された前記ユーザの前記記憶情報を表示装置に表示させる、請求項１から請求項６のいずれか１項に記載の記憶補助装置。
8. 前記表示制御部は、前記表示装置に表示された前記記憶情報の内、前記ユーザに選択された前記記憶情報に含まれる前記撮像画像を、前記表示装置にさらに表示させる、請求項７に記載の記憶補助装置。
9. 検出部が、脳波センサにより取得されるユーザの脳波から、前記ユーザが記憶対象を記憶しようとするときに発生する記憶脳波を検出することと、
   記憶制御部が、検出された前記記憶脳波に基づいて、前記記憶対象の撮像画像を少なくとも含む記憶対象情報を、前記ユーザの記憶情報として記憶装置に記憶させることと、
   を含む、記憶補助方法。
10. コンピュータを、
    脳波センサにより取得されるユーザの脳波から、前記ユーザが記憶対象を記憶しようとするときに発生する記憶脳波を検出する検出部と、
    検出された前記記憶脳波に基づいて、前記記憶対象の撮像画像を少なくとも含む記憶対象情報を、前記ユーザの記憶情報として記憶装置に記憶させる記憶制御部と、
    として機能させる、プログラム。

Images