JP2012048333A - 情報記録再生システム - Google Patents

Abstract

【課題】ユーザの断片的な記憶から、簡単な操作で関連する全ての思い出（情報）を辿ることができる情報記録再生システムを提供する。
【解決手段】情報記録再生システム１は、現在位置測位手段を含むユーザや当該ユーザの周囲環境の状態を測定するセンサーを備えたセンサーユニット１０と、センサーユニット１０により測定された情報を記憶するセンサーデータベース２１と、センサーデータベース２１に記憶された情報及び予め定義した条件に基づいて、ユーザの行動内容や当該ユーザが感じたことを推論して推論事項を生成するユーザ状況推論部２０と、ユーザ状況推論部２０による推論事項に基づいて、ユーザに提示する対話文を生成し、当該対話文に対するユーザの応答から情報を特定するためのエピソードを決定する対話処理部３０と、エピソードを特定するための複数のタグを有し、情報に対応付けてエピソードを記憶するエピソードデータベース３３と、を有する。
【選択図】図１

Description

本発明は、情報記録再生システムに関する。

行動履歴を記録するＧＰＳセンサーを中心としたＧＰＳロガーや、行き先を案内するナビゲーション・システムや、個々人の一日の行動や生体情報を記録することを目的としたライフ・レコーダーが開発されつつある。位置と時間以外の情報を記録するレコーダーに関しては、音声、ビデオ、静止画像、テキストを対象としたマルチメディアデータや、温度計、気圧計、高度計、コンパスのデータを関連付けて記録するレコーダーとして提案されている。また、記録された複数の位置情報の中から任意の位置情報をユーザが選択し、その場所と画像又は音声をひも付けて保存し、位置情報を検索条件とすることができるシステムもある（例えば、特許文献１参照）。

特表２００６−５２６９４５号公報

上述のように様々なセンサーを搭載したレコーダー自体は、デジタルカメラやビデオカメラ以上に、日時や位置情報以外の多くの情報を記録できるというメリットを持っている。しかし、記録した莫大な情報、換言すると、記録したユーザの思い出の中から、ある瞬間の思い出だけを後で振り返りたいという要求に対しては、予めユーザ自らが取得したデータの整理をしておかなければならないという機器が多いため、ある特定日の思い出だけを取り出したい場合には、パーソナルコンピュータなどに転送して、非常に多くの時間をかけた検索や編集が必要となり、最終的にはあきらめてしまうユーザもいる。また、位置情報だけ、あるいは日時だけを手がかりにした検索をしようとすると、ユーザがその場所自体や日時を忘れてしまった場合、検索機能の意味を持たなくなってしまう。このように、思い出のような情報は適切な検索機能がないと所望の情報を引き出すことができないという課題があった。

本発明はこのような課題に鑑みてなされたものであって、ユーザの断片的な記憶から、簡単な操作で関連する全ての思い出（情報）を辿ることができる情報記録再生システムを提供することを目的とする。

本発明に係る情報記録再生システムは、現在位置測位手段を含む、ユーザや当該ユーザの周囲環境の状態を測定するセンサーを備えたセンサーユニットと、このセンサーユニットにより測定された情報を記憶するセンサーデータベースと、センサーデータベースに記憶された情報及び予め定義した条件に基づいて、ユーザの行動内容や当該ユーザが感じたことを推論して推論事項を生成するユーザ状況推論部と、ユーザ状況推論部による推論事項に基づいてユーザに提示する対話文を生成し、当該対話文に対するユーザの応答から情報を特定するためのエピソードを決定する対話処理部と、このエピソードを特定するための複数のタグを有し、情報に対応付けてエピソードを記憶するエピソードデータベースと、を有することを特徴とする。

このような情報記録再生システムにおいて、ユーザ状況推論部は、測定値を予め決められた処理により加工した加工値を算出してセンサーデータベースに記憶させ、当該加工値と予め定義した条件とを用いて、推論を行うことが好ましい。

また、このような情報記録再生システムにおいて、ユーザ状況推論部は、複数の推論事項を生成するとともに、当該複数の推論事項の優先度を算出することが好ましい。

また、このような情報記録再生システムは、ユーザから取得したユーザデータを記憶するユーザ情報データベースを有し、対話処理部は、ユーザ情報データベースに記憶されたユーザデータ若しくはエピソードデータベースに記憶されたエピソード及び予め定義した条件に基づいて対話文を生成し、当該対話文に対するユーザの応答からユーザ情報を特定してユーザ情報データベースに記憶することが好ましい。

このとき、ユーザ状況推論部は、ユーザ情報データベースに記憶されたユーザデータと予め定義した条件とを用いて推論を行い、推論事項を決定することが好ましい。

また、ユーザ情報データベースは、ユーザに関する情報、現在位置に関する情報、及び、他ユーザとの通信に関する情報で構成されることが好ましい。

また、対話処理部は、ユーザ状況推論部で選択した推論事項が正しいか否かを判定するための質問文、又は、推論事項をメッセージとしてユーザに報知するための報知文のいずれかから条件に合う対話文を決定し、当該対話文を用いてユーザと対話を行うことにより、確定した情報があればエピソードデータベース若しくはユーザ情報データベースに記憶することが好ましい。

さらに、対話処理部は、報知文により、ユーザが必要とする情報を当該ユーザに報知するよう構成されることが好ましい。

また、このような情報記録再生システムにおいて、エピソードデータベースは、エピソードを、対話処理部で獲得した情報を基に一回の行動記録毎に格納することが好ましい。

また、このような情報記録再生システムは、表示装置を有し、対話処理部は、ユーザが定義した条件に基づいてエピソードデータベースを検索して表示装置に出力する記録検索機能を有することが好ましい。

このとき、記録検索機能は、ユーザ情報データベースから得られる検索事項を予めリスト化したものと、エピソードデータベースを構成するタグの中からユーザが指定した検索事項とに応じた情報をユーザに提供するように構成されていることが好ましい。

また、記録検索機能は、現在位置測位手段によって得られた位置情報を付加された記録が、拡大・縮小可能なデジタル地図上で表示され、合わせてこの記録の作成時期や期間及びエピソードデータベース内のタグを含む複数の検索条件により、複数の記録の中から特定の記録を絞り込むことができるように構成されていることが好ましい。

さらに、このような情報記録再生システムにおいて、センサーユニットは、現在位置測位手段の他に、静止画、動画、音声、温度、湿度、加速度、回転、ジャイロ、振動、ひずみ、圧力、磁気、水分量、熱量、濃度、粘度、流量、脈拍、血圧、心電位、体温、発汗量、紫外線量、赤外線量、電波強度、照度、においのうち、少なくとも１つのセンサーを有することが好ましい。

本発明に係る情報記録再生システムを以上のように構成すると、センサー測定値から推論されるユーザの行動やユーザの感じたことを、ユーザ自身の簡単な操作により判定した上でデータベースとして記録することができるので、精度の高いユーザの行動を記録することができる。また、エピソードデータベースに格納されているデータはタグ情報にひも付けられているため、ユーザの断片的な情報だけからでもみたい思い出を検索することができるという効果が得られる。

情報記録再生システムの構成を示す説明図である。 情報の記録開始から終了までの処理を示すフローチャートである。 センサーデータベースの構造を示すデータ構造図であって、（ａ）は測定値を記録するテーブルを示し、（ｂ）は加工値を記録するテーブルを示す。 センサーデータベースの構造のうち、特定データを記録するテーブルを示すデータ構造図である。 推論処理を示すフローチャートである。 対話処理を示すフローチャートである。 対話プログラムにより表示される対話文の一例を示す説明図である。 対話プログラムにより表示される別の対話文の一例を示す説明図である。 エピソードデータベースの構造を示すデータ構造図である。 検索処理を示すフローチャートである。 検索処理を行うときのキーワードリストの例を示す説明図である。 ユーザ情報データベースの構成を説明するための説明図である。 ネットワークを介して他のユーザの情報を取得するときの対話文の一例を示す説明図である。 ネットワークを介して接続された情報記録再生システムの処理を説明するための説明図である。 情報を検索するためのユーザインタフェースの一例を示す説明図である。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、本実施形態に係る情報記録再生システムの構成について説明する。図１に示す情報記録再生システム１は、センサーユニット１０、ユーザ状況推論部２０、対話処理部３０及び表示装置４０を有して構成されている。ここで、ユーザ状況推論部２０及び対話処理部３０はＣＰＵやメモリが搭載された専用の装置で構成しても良いし、パーソナルコンピュータ等に実装しても良い。なお、ユーザ状況推論部２０及び対話処理部３０は、図１に示すようにそれぞれを独立した装置として実装しても良いし、同一の装置として実装しても良い。また、表示装置４０は、例えば、タッチパネル式ディスプレイを備えて構成され、ユーザが画面上で操作をしながら情報の記録、再生及び編集を行うことができる。もちろん、この表示装置４０をディスプレイで構成し、別途、キーボードやマウス等で構成される入力装置を設けても良い。

ユーザ状況推論部２０は、センサーユニット１０により測定された測定値を用いてユーザの状況を推論するものであり、センサーユニット１０による測定値等が記録されるセンサーデータベース２１と、このセンサーデータベース２１に記録された測定値等を用いて推論を行う推論プログラム２２とを有して構成されている。また、対話処理部３０は、ユーザ状況推論部２０で推論された結果（推論事項）を用いてユーザと対話をしてエピソードを確定するものであり、ユーザに関する情報が記録されるユーザ情報データベース３１と、表示装置４０を介してユーザと対話を行う対話プログラム３２と、対話の結果確定したエピソードを記録するエピソードデータベース３３と、エピソードデータベース３３から所望の情報を抽出する（検索する）ための記録検索機能３４と、エピソードデータベース３３に記録されている情報を編集するデータ編集機能３５とを有して構成されている。

次に、図２〜図８を用いて、情報の記録開始から記録終了までの処理について説明する。ユーザがセンサーユニット１０に搭載されているセンサー情報の記録をする場合は、表示装置４０のディスプレイ上に配置された記録開始ボタンを押下するか、あるいは、この情報記録再生システム１に設けられたハードボタンの押下により行う。このセンサーユニット１０には、現在位置測位手段が搭載されており、例えば、ＧＰＳ（Global Positioning System）や固定された電波発信機からの電波情報の利用が挙げられる。また、センサーユニット１０には、その他のセンサーとして、静止画や動画を記録するためのＣＣＤやＣＭＯＳなどのイメージセンサー、音声を記録するためのマイク、温度センサー、湿度センサー、加速度センサー、回転やジャイロを検出するための方位角センサー、振動センサー、歪みセンサー、圧力センサー、磁気センサー、またその他、水分量、熱量、濃度、粘度、流量、脈拍、血圧、心電位、体温、発汗量、紫外線量、赤外線量、電波強度、照度、におい等を検出するセンサーなどの中から１つ以上のセンサーが搭載されている。記録開始とともに、センサーユニット１０で取得されたデータは、センサーデータベース２１にユーザが指定した時間毎にリアルタイムに保存される（ステップＳ１００）。ここで、イメージセンサー及びマイクは、ユーザの指示により撮影・録音が開始された時点からセンサーデータベース２１に保存を行うようにする。撮影又は録音の指示は、表示装置４０のタッチパネルディスプレイ上に表示されたボタンを押下するか、あるいは、情報記録再生システム１に設けられたハードボタンの押下により行う。

なお、センサーユニット１０は、この情報記録再生システム１と一体に構成されていても良いし、その一部又は全部のセンサーが別ユニットとして構成されていても良い。例えば、脈拍や血圧を測定する場合は、被検者（ユーザ）の指など肌に直接触れた測定ができる指輪型やネックレス型の形態でも良い。また、その他の医療機器などから取得する形態でもよい。このようにセンサーユニット１０が別ユニットの形態となる場合には、無線通信又は有線通信モジュールを用いて、情報記録再生システム１のユーザ状況推論部２０に搭載されるセンサーデータベース２１に取得した情報を保存できるようにする。

図３にセンサーデータベース２１のデータ管理の一例を示す。図３（ａ）に示す通り、各搭載センサーの測定値２１ｄ、並びに、撮影画像（静止画）２１ｅ及び音声２１ｆは、時間２１ｂと位置２１ｃに全データをリンクさせる。なお、ここでは、位置２１ｃとして、例えばＧＰＳで測定された緯度、経度及び標高で記録する場合を示している。このとき、一連の行動記録をツアーと呼ぶことにすると、ツアー毎にツアーＩＤ２１ａを設ける。この図３（ａ）に示す例では、ツアーＩＤ２１ａを「０００１」とした場合を示している。また、時間２１ｂ及び位置２１ｃにリンクされた測定値２１ｄとしては、上述のセンサーユニット１０を構成するセンサーの例で示したように、温度、湿度、加速度等がある。

さらに、ユーザ状況推論部２０は、センサーユニット１０で取得されてセンサーデータベース２１に格納されたデータを使って、一般的な手法で算出した加工値２１ｈを上述のセンサーＩＤ２１ａと同じ値２１ｇをキーとして図３（ｂ）に示すようなデータ構造でセンサーデータベース２１に保存する（ステップＳ１１０）。加工値２１ｈの例として、総行動時間、不快指数、標高差、総移動距離、撮影画像枚数、撮影毎の場所、撮影時間、または、画像に写っている人の数などがある。画像に写っている人数は、Ａｄａｂｏｏｓｔなどの一般的手法を用いた画像認識アルゴリズムにより認識する。これらの加工値２１ｈは、測定値２１ｄとともに後述する推論のためのデータとして利用するものである。なお、加工値の算出及び取得タイミングは、ユーザが指定する時間（例えば３時間毎）や、行動記録終了後などに設定できる。また、測定値２１ｄ及び加工値２１ｈは表示装置４０に表示することもできる。例えば、デジタル地図データ上に現在位置を示したり、測定した温度や湿度データをリアルタイムで表示する方法が考えられる。

上述のように、測定値２１ｄ及び加工値２１ｈは、推論条件のデータとして使用する。推論条件に使用するデータは以上の他に、特定データとしてセンサーデータベース２１に予め登録しておくことも可能であり、図４にその一例を示す。すなわち、テーマパークや観光名所、歌枕や世界遺産などの特定場所について、緯度・経度の最小値・最大値による特定や、緯度・経度による平面座標によって定義される領域によって特定エリアを指定して特定することもできる。エリア指定は、中心位置の緯度・経度と中心からの距離を半径とした円エリアや楕円、三角形、正六角形、その他の多角形領域など、エリア指定ができれば特に方法は限定しない。また、ユーザが過去に行った場所を、特定データとして登録しておくことも可能である。なお、図４には、特定データＩＤ２１ｊをキーとして、緯度・経度の最小値（Ｍｉｎ）及び最大値（Ｍａｘ）からなる位置情報２１ｋ毎に特定場所２１ｍを登録した場合を示している。ＧＰＳの記録から現在位置（緯度ｘ，経度ｙ）を取得し、特定データ「１−００１」の領域内｛（ａ１ｘ＜現在位置ｘ＜ｂ１ｘ）＆（ａ１ｙ＜現在位置ｙ＜ｂ１ｙ）｝に位置情報記録があると判断した場合は、「高尾山に登った」ということを推論することができる。

ここで、登録できる特定データは、この情報記録再生システム１の本体に持っていなくてもよい。例えば、通信モジュールを搭載することで、Ｗｅｂ通信手段を用いてネットワーク上から特定データをダウンロードすることもできる。また、特定データ「１−００２」は東京タワーの位置を｛（ａ２ｘ＜現在位置ｘ＜ｂ２ｘ）＆（ａ２ｙ＜現在位置ｙ＜ｂ２ｙ）｝という条件式が推論に用いられることを前提として登録した例であるが、このような特定データは、推論に必要な条件を定義できる様式であればどのような情報でも良い。推論条件式としては、測定値２１ｄや加工値２１ｈ、位置情報２１ｋ及び特定場所２１ｍのパラメータを使った関数を予め定義しておくようにする。特定データ「１−００３」の場合は、｛（ａ３ｘ＜現在位置ｘ＜ｂ３ｘ）＆（ａ３ｙ＜現在位置ｙ＜ｂ３ｙ）｝であると判断した場合は、「現在、過去に来た○○の領域にいる」ということが推論できる。また、例えば、不快指数をｘ、総移動距離をｙ、平均移動速度をｚとした場合の疲労度を定義する関数ｆ（ｘ，ｙ，ｚ）により、疲労度合いを５段階で推論するように定義することもできる。あるいは、平均移動速度から移動手段を「徒歩」「自転車」「電車」と定義したり、脈拍、血圧などのバイタルセンサーの値が範囲内の場合を「健康」、一定値を超えた、若しくは、一定値に満たない場合を「異常値検出」などと定義することにより、その日の体調を推論したり、バイタルセンサー値と移動に伴う消費カロリーなどから、健康状態を「良好」「運動不足」「要検診」などと定義することもできる。

推論プログラム２２は、センサーデータベース２１に記録されている取得データが、上記のような推論条件に合っているか否かを判定し、合っていないときは記録処理を終了する（ステップＳ１２０）。一方、取得データが推論条件に合っているときは、以下に示す方法により推論事項を決定する（ステップＳ１３０）。図５に推論プログラム２２の推論処理Ｓ１３０の一例を示す。この推論プログラム２２は、複数の推論条件を設けることにより、ユーザの状況や行動を導くように構成されている。上記の例のように、疲労度を５段階、移動手段を３パターン、健康状態を３パターン定義したとすると、センサー測定値２１ｄと加工値２１ｈから、予め定義した推論条件の範囲内かどうかを判定し、範囲内にある推論条件を抽出する（ステップＳ１３０１）。このとき、条件範囲内に該当する推論事項が複数抽出される場合があるので、推論条件が複数個抽出されたか否かを判定する（ステップＳ１３０２）。そして、例えば、疲労度が「かなり悪い」で、体調が「良好」で、移動手段が「自転車」である３個の推論事項が抽出された場合、この中から最終的に選択される推論事項を１個決定する。この複数の推論事項から１個を決定する手段としては、予め推論事項の優先度を決めておき、この優先度を参照し（ステップＳ１３０３）、優先度の高い順に上から１個を選択するようにする（ステップＳ１３０４）。また、過去に推論した回数を推論事項毎にカウントしておき、推論が何度も重ならないように、一番カウント数の少ない順に推論事項を選択しても良い。

上記のように、１個の推論事項が決定した後、今度はユーザへの対話処理を行い、推論事項のユーザへの確認とユーザ情報データベース３１及びエピソードデータベース３３のデータ編集を行う（ステップＳ１４０）。図６に対話プログラム３２により実行される対話処理のフローチャートを示す。まず、各推論事項に１個以上の対話文を定義しておき、対話プログラム３２は、上述のように、その中から１個の対話文を抽出する（ステップＳ１４０１）。対話文の抽出手段は、センサーデータベース２１に記録されている測定値２１ｄ及び加工値２１ｈから導き出されるタイミングに応じて決定するようにする。例えば、朝昼夜の時間帯で対話内容を変更したり、季節や場所などで対話文を変更するようにする。そして、対話プログラム３２は、決定した対話文を表示装置４０上に表示し（ステップＳ１４０２）、この表示装置４０に設けられたタッチパネル等からユーザの応答を受け（ステップＳ１４０３）、ユーザからの応答があったときは、その応答から確定する情報があるか否かを判断し（ステップＳ１４０４）、確定した情報があるときは、その内容をエピソードデータベース３３に記録する（ステップＳ１４０５）。

ここで、対話文としては、はい（Ｙｅｓ）、いいえ（Ｎｏ）などで回答できる簡単な選択肢を用意したり、ユーザ自身による文字入力を行うように構成したりすることで、そのユーザに関する情報や記録時のエピソードを入手するようにする。数回の対話を繰り返すように対話プログラム３２を構成することも可能である。例えば、「今日は高尾山に登りましたか？」という対話文に対して、はい・いいえ（Ｙｅｓ・Ｎｏ）の２択を用意した場合、ユーザが「はい（Ｙｅｓ）」を選択すると、「○○年○月○日 高尾山に登った。」というエピソードを確定することができるが、「いいえ（Ｎｏ）」が選択された場合は、その続きの対話文を用意しておく必要がある。例えば、「高尾山の近くまで来たんですよね？」等、エピソードを成立させるための対話文を複数用意しておくのが良い。それに対して、ユーザが「はい（Ｙｅｓ）」を選択した場合は、「○○年○月○日 高尾山の近くまで来た。」、若しくは、「○○年○月○日 高尾山を見た。」というエピソードを確定することができる。

図７に、対話プログラム３２により表示装置４０に表示される対話文の一例を示す。図７（ａ）に示す「この近くに、前に撮影した地点があるけど行ってみない？」は、上述の特定データを用いて推論した結果、過去にも同じ場所に来たことがある場合に導きだされた推論事項である。このとき、より思い出しやすくするために「写真を見る」というボタンを用意し、撮影した写真を見ることができるようにしても良い。図７（ｂ）に示す「この場所に関する○○の情報がありますが、ご存じですか？」は、その場所に関する情報を提示する場合である。ここで提示する情報は、例えばインターネットを介してネットワークに接続されるＷｅｂサーバのデータを検索しても良いし、専用のサーバ若しくはハードウェアに格納された情報を提示しても良い。図７（ｃ）に示す「暑い！湿度が高い！涼しいところに連れて行って。」は、センサーデータベース２１に記録されている湿度データが設定値範囲外となり、異常値と判定した場合の例である。湿度や温度などの異常値は、故障防止にも利用することができる。

なお、対話文は必ずしもエピソードとは関係しなくても良く、故障防止のように、他の目的に利用しても良い。例えば、移動距離から消費カロリーを計算して健康管理を行ったり、画像データから写真管理を行ったり、その目的のためだけの対話文を用意することもできる。また、上述の図７（ｂ），（ｃ）に示した対話文は直接ユーザのエピソードには関係しないので、エピソードデータベース３３に記録しないように構成することも可能である（ユーザ情報データベース３１にユーザ情報として記録することもできる）。また、エピソードを確定するために、上記、高尾山の例のように対話を継続させることができる。図８は不快指数からその日の印象を推論した場合である。図８（ａ）に示す対話文「今日は快適な一日でしたね。そう思いませんか？」に対してユーザが「はい（Ｙｅｓ）」を選択した場合は、「○○年○月○日 快適な一日だった。」というエピソードが確定するので、これに応答して、図８（ｂ）に示す対話文「わかりました。エピソードに追加しておきますね。」を用意しておいても良い。反対に、図８（ａ）で「いいえ（Ｎｏ）」が選択された場合、その日の印象をユーザから入手するために、図８（ｃ）に示す対話文「そうですか。では、どういう印象を持ちましたか？」を用意しておき、いくつかの選択肢（疲れた、蒸し暑い、楽しい、面白い、よかった、等）からユーザに選択してもらうようにすることで、エピソードを確定することもできる。ユーザが返事をしたくないと感じた場合の対応として、キャンセルボタンや閉じるボタンなどを用意しておくのも良い。

また、対話プログラム３２によるユーザとの対話は、推論プログラム２２により決定された推論事項だけでなく、ユーザ情報データベース３１に記録されたユーザ情報を用いることもできる。例えば、ユーザに関する誕生日のデータを基に、「今日はあなたの誕生日ですね。おめでとう。」という対話文を表示することにより、誕生日に記録された情報であるというエピソードを確定することができる。同様に、「もう来週誕生日だね。去年の誕生日は○○に行ったよね。覚えている？」という対話文とすることもできる。また、ユーザに関する趣味のデータ「サーフィン」を基に、現在地データが海の近くであるときは、「今日もサーフィンに来ているんですか？」という対話文を示すことで、その返答をエピソードデータベース３３に記録することもできる。さらに、ユーザ情報データベース３１に友人として登録されており、エピソードデータベース３３にも多く記録されている人がいれば、「今日も○○さんと出かけているの？」という対話文を示すことで、その返答をエピソードデータベース３３に記録することもできる。

次に、以上のようにして確定されたエピソードを格納するエピソードデータベース３３の構成について説明する。図９はエピソードデータベース３３の一例である。上述のように、本実施形態に係る情報記録再生システム１は、推論プログラム２２により推論された推論事項に基づいて対話プログラム３２によりユーザと対話をして、ユーザの一連の行動記録、すなわちツアー毎にエピソードデータベース３３を作成する。その内容は全てセンサーデータベース２１とともにツアーＩＤ３３ａでリンクするようにする。図９のツアーＩＤ３３ａに示す「０００１」は、図３に示した一続きの行動記録と同じツアーのエピソードである。エピソードデータベース３３は、「タイトル」「いつ」「誰と」「どこで（目的地）」「移動手段」「どのように（感じた）」「何をした」などのタグ３３ｂで構成される。このタグ３３ｂには、上述のように、推論事項を対話処理によりユーザに提示して確定したものが含まれている。これらの情報はセンサー記録時のエピソードとして格納されるので、ＧＰＳデータ・画像・音声を含む全てのセンサー測定値２１ｄ及び高低差や不快指数などの加工値２１ｈであるセンサーデータベース２１、並びに、エピソードデータベース３３の２つのデータベースに基づいてユーザの思い出検索を行うことができる。このような検索は、詳細については後述するが、対話処理部３０に設けられた記録検索機能３４により行うことができる。例えば、暑かった日の思い出や高低差の大きい登山の思い出、という検索を、表示装置４０を介して行うことが可能である。

また、対話処理部３０に設けられたデータ編集機能３５により、ユーザが自らこのエピソードデータベース３３を、行動記録後に編集することができる。また、ユーザ情報データベース３１も同様に内容を編集することができる。例えば、タグ３３ｂのうち、「タイトル」や「どのように（感じた）」「何をした」のところをもっと日記のように細かく記録したいとユーザが思った場合は、いつでも編集することができる。編集方法としては、データ編集機能３５によりエピソードデータベース３３に記録されている一続きの行動記録、すなわちツアーのリストを表示装置４０に出力し、このリストから編集したいツアーをユーザが選択するようにして、データ編集機能３５に実装されたエディタ機能を用いて内容を変更したり追加したりすることができる。また、「誰と」の編集には、ユーザ情報データベース３１から友人や家族の名前リストを作成して、初回以外はこのリストの中から名前を選択できるようにするとよい。そうすると、後でこのタグを基に人の名前から思い出を検索することも可能である。

思い出検索は、エピソードデータベース３３及びセンサーデータベース２１からキーワードリストを作成してその中からユーザが選択できるようにする。図１０に記録検索機能３４による思い出検索のフローチャートを示す。なお、この図１０においては、情報記録再生システム１とユーザとの対話処理を明確にするために、実線で表す記録検索機能３４の処理に加えて、破線で表すユーザによる処理も示す。例えば、ユーザがＡＡＡさんと一緒に行った思い出を検索したいと考えた場合の例を示す。まず、記録検索機能３４により表示装置４０に表示されたリストから、対象となるキーワードをユーザが選択する（ステップＳ２００）。キーワードは、図１１（ａ）に示すように、記録検索機能３４が、「日付」「目的地」「誰と」「交通手段」「どのように感じたか」「何をしたか」「気温変化」「移動高低差」「移動距離」などをメニューとして提示し、これらは全て予めシステム側で設定しておくようにする（ステップＳ２０１）。例えば、ユーザはこの中から「誰と」を選択する。次に、記録検索機能３４は、「誰と」に関連する情報を抽出する。図９に示すエピソードデータベース３３より「誰と」のタグ検索により抽出してリスト化し、表示装置４０に図１１（ｂ）に示すサブメニューとして表示されると、ユーザはＡＡＡさんを選択することができる（ステップＳ２０２）。さらに、記録検索機能３４は、図９のエピソードデータベース３３から今度はタグ「誰と」を辿り、ＡＡＡさんが含まれているツアーＩＤを抽出する（ステップＳ２０３）。そして、抽出したツアーＩＤを基にユーザにＡＡＡさんに関連するツアータイトルを表示するようにする（ステップＳ２０４）。図１１（ｃ）に示す通り、ＡＡＡさんと一緒に行った思い出だけを抽出することができる。この中からユーザが「登山０９１２」を選択した場合、センサーデータベース（行動履歴）２１やエピソードデータベース（エピソード）３３の内容を表示装置４０のディスプレイ上に表示するようにする。または、「日付」「目的地」「誰と」「交通手段」「どのように感じたか」「何をしたか」「気温変化」「移動高低差」「移動距離」などのメニュー一覧と一緒に検索窓を設けておき、例えば「誰と」の検索窓に「ＡＡＡさん」と入力することで、図９に示すエピソードデータベース３３に格納されているデータとテキストのマッチングを行い、同様の仕組みでＡＡＡさんに関連するツアータイトルが表示されるように構成されていても良い。

このように、エピソードデータベース３３を充実させることにより、ユーザの断片的な「ＡＡＡさん」という記憶からだけでも、簡単な操作で、地図上へ行動履歴表示、撮影した写真や音声、センサー記録値などをユーザに提示することで、ＡＡＡさんとの思い出だけを懐かしむことができる。なお、そのときに聞いた音楽などをエピソードデータベース３３にリンクしておけば、同時に当時の音楽を楽しむこともできる。

次に、ユーザ情報データベース３１について説明する。図１２はユーザ情報データベース３１の一例を示している。上述のエピソードデータベース３３と同様に、対話処理部３０の対話プログラム３２を用いてユーザに関する情報収集を行い、ユーザ情報としてユーザ情報データベース３１に記録して行く。例えば、エピソードデータベース３３を基に、複数回登場している名前「○○さん」があれば、「○○さんとはどんな関係？」という対話文をユーザに提示するとともに、その選択肢として「家族」「友人」「恋人」などを表示して選択させることにより、名前とその関係を関連付けてユーザ情報データベース３１に記録することができる。なお、ユーザ情報データベース３１を持っているユーザは、図１４に示すように、通信機能を用いてネットワークに接続されたサーバ５０へその登録情報を投稿することにより提供したり、サーバ５０から他のユーザが提供した（投稿した）情報を受信してユーザ情報データベース３１に登録することもできる。

ユーザ情報データベース３１には、ユーザの名前、友人や家族の名前、誕生日などを登録することもできる他、図１２に一例を示すようにユーザの嗜好性を判断するフラグを設定するようにする。嗜好性は大カテゴリ、中カテゴリ、小カテゴリに分類される。大カテゴリを「登山・トレッキング」とすると、まず、ユーザがこの分野に興味があるかどうかを対話処理でユーザに問いかける。対話のタイミングは限定しない。そして、センサーユニット１０から取得された位置から、ユーザ情報データベース３１にユーザの現在位置情報を記録するように構成して、この現在位置情報が「現在地が山」となっている場合や、エピソードデータベース３３で複数回、山に行ったという記録があった場合に、図１３（ａ）のように、ユーザに対して「トレッキング・登山に興味がありますか？」という対話文を示し、「はい・いいえ（Ｙｅｓ・Ｎｏ）」から選択させるようにする。ユーザが「はい（Ｙｅｓ）」を選択した場合は、図１２のユーザ情報データベース３１の大カテゴリ「登山・トレッキング」に興味があるフラグがＹｅｓになる。もしここで「いいえ（Ｎｏ）」が選択された場合は、この分野の対話を行う優先度は下がる。もちろん、このカテゴリに関する情報をサーバ５０から受信したり、サーバ５０に情報提供をする優先度も下がる。大カテゴリのフラグは中カテゴリ、小カテゴリに承継され、中カテゴリのフラグは小カテゴリに承継される。また、ユーザ情報データベース３１の「トレッキング・登山」という大カテゴリにＹｅｓのフラグが立っていれば、「鳥や動物などに興味がありますか？」という中カテゴリのフラグを立てるような質問をユーザにする。同様に中カテゴリのフラグがＹｅｓであれば、さらにその下の小カテゴリのフラグを立てるような質問をする（例えば、「キツツキに興味がありますか？」）。

図１４に示すプロセスＰ１は、小カテゴリ「キツツキ」のフラグがＹｅｓのときに、ユーザが情報を発信する場合の例である。ユーザ（投稿者）Ｘは図１３（ｂ）のような入力フォームにメッセージを記入し、その現在位置や時刻と共にサーバ５０へ提供することができる。但し、偽りの情報提供を防ぐといったセキュリティ対策のために、センサーデータベース２１に記録されている情報（位置２１ｃやセンサー測定値２１ｄなど）に基づいて、提供できる情報を自分が通った軌跡上及びその周辺の情報に限定することができる。図１３（ｃ）のように、投稿者がメッセージを送信するデータにＧＰＳによって取得した位置情報と時刻を同時に送信するようにする。また、ユーザ情報データベース３１に対して、未だ登録されていない小カテゴリをユーザが新たに作成したい場合には、対話処理部３０により表示装置４０に表示される新規登録ボタンなどを利用して、ユーザ情報データベース３１の新たなカテゴリの作成とフラグ設定を行うようにする。この場合、情報提供後は、サーバ５０側にも新規小カテゴリが作成される。

図１４に示すプロセスＰ２は、小カテゴリ「キツツキ」のフラグがＹｅｓのユーザＹの情報を受信する場合の例である。現在位置が投稿者Ｘの位置を含む一定範囲内であれば、他ユーザＹの投稿した情報を受信することができる。このように受信した情報は、例えば図１３（ｄ）のように表示装置４０に表示することによりユーザに提示できる。その際には、情報を受信したユーザの情報提供に対する評価をサーバ５０に送信することができる（例えば、「ありがとう」や「この情報はいらない」等をユーザが選択することにより評価が行われる）。そして、図１４に示すプロセスＰ３は、図１３（ｄ）においてユーザＸが選択した評価を送信する例である。この結果をサーバ５０側で管理するようにする。サーバ５０側では、ユーザの評価の累積得点から、提供する対話データの優先度を決定するアルゴリズムを持たせることもできる。また、登録日時の新しい情報を優先的に提供するようにしても良い。

図１３（ｅ）は、ユーザ情報データベース３１の小カテゴリにはまだ設定されていない新しい分類についての情報を受信する場合の例である。この情報を受信すると、ユーザ情報データベース３１の小カテゴリの領域に「ムササビ」の領域が生成される。そして、図１３（ｅ）に示す対話処理においてユーザが「はい（Ｙｅｓ）」を選択すると、ユーザが「ムササビ」に興味があるというフラグにＹｅｓが設定され、投稿者からの新たな小カテゴリ「ムササビ」の情報が受信可能になる。このように、小カテゴリは他ユーザの小カテゴリ情報を受信可能にするかどうかを判定する領域として利用することができる。

ユーザ情報データベース３１に記録されている情報は、エピソードデータベース３３と同様に、ユーザによる編集が可能である。テキストベースのエディター機能を用いても良いし、画像として手書きメモ機能を用いても良い。また、行動記録の中から地図上に行動軌跡の表示と共に、手書きの絵やメモをタッチペンで記載しても良い。あるいは、撮影した画像データ上にコメントを記入しても良い。これらの情報は全て、別の画像データとして図９に示すエピソードデータベース３３にリンクするのが良い。このような構成とすると、手書きメモを残した思い出だけを抽出できるように、「手書きメモを残した思い出」を検索のキーワードとして利用することもできる。

また、ユーザは、エピソードデータベース３３内のタグやフリーのキーワードに加え、それぞれの思い出の位置をプロットしたデジタル地図上の座標と、その思い出を記録した時期によって、時間的、空間的な記憶を頼りにした直感的な検索を行うことが可能である。図１５は、地図上の位置情報と記録作成時期を利用した思い出検索のためのユーザインタフェースの一例であり、タッチパネルを具備した表示装置４０に表示される。中央の地図６１上にツアー記録の位置情報に対応した点がプロットされており、この地図は縮尺バー６２により、拡大及び縮小が可能である。地図６１は、タッチ操作により、この地図６１上のどの地点を中心に表示するかを操作することができる。また、時間バー６３により、任意の時期若しくは期間に作成された記録のみを地図６１上に表示できるように操作可能である。例えば、時間バー６３上のポインタを２０１１年に合わせれば、２０１１年に作成された記録のプロットのみが地図６１上に表示される。それに加えて、フリーワード検索６４やタグ検索６５によって、エピソードデータベース３３に格納されたデータを基に、さらに地図６１上に表示される記録を絞り込むことが可能である。例えば、「キツツキ」のタグを選択すれば、キツツキのタグが設定された記録のプロットが地図６１上に表示される。

本実施形態に係る情報記録再生システムを以上のように構成すると、センサー測定値から推論されるユーザの行動やユーザの感じたことを、ユーザ自身の簡単な操作により判定した上でデータベースとして記録することができるので、精度の高いユーザの行動を記録することができる。また、エピソードデータベースに格納されているデータはタグ情報にひも付けられているため、ユーザの断片的な情報だけからでもみたい思い出を検索することができるという効果が得られる。

１ 情報記録再生システム １０ センサーユニット
２０ ユーザ状況推論部 ２１ センサーデータベース
３０ 対話処理部 ３１ ユーザ情報データベース
３３ エピソードデータベース ３４ 記録検索機能 ４０ 表示装置

Claims (13)

1. 現在位置測位手段を含むユーザや当該ユーザの周囲環境の状態を測定するセンサーを備えたセンサーユニットと、
   前記センサーユニットにより測定された情報を記憶するセンサーデータベースと、
   前記センサーデータベースに記憶された前記情報及び予め定義した条件に基づいて、前記ユーザの行動内容や当該ユーザが感じたことを推論して推論事項を生成するユーザ状況推論部と、
   前記ユーザ状況推論部による前記推論事項に基づいて、前記ユーザに提示する対話文を生成し、当該対話文に対する前記ユーザの応答から前記情報を特定するためのエピソードを決定する対話処理部と、
   前記エピソードを特定するための複数のタグを有し、前記情報に対応付けて前記エピソードを記憶するエピソードデータベースと、を有することを特徴とする情報記録再生システム。
2. 前記ユーザ状況推論部は、前記測定値を予め決められた処理により加工した加工値を算出して前記センサーデータベースに記憶させ、当該加工値と予め定義した条件とを用いて、前記推論を行うことを特徴とする請求項１に記載の情報記録再生システム。
3. 前記ユーザ状況推論部は、複数の推論事項を生成するとともに、当該複数の推論事項の優先度を算出することを特徴とする請求項１または２に記載の情報記録再生システム。
4. 前記ユーザから取得したユーザデータを記憶するユーザ情報データベースを有し、
   前記対話処理部は、前記ユーザ情報データベースに記憶された前記ユーザデータ若しくは前記エピソードデータベースに記憶された前記エピソードと、予め定義した条件と、に基づいて前記対話文を生成し、当該対話文に対する前記ユーザの応答から前記ユーザ情報を特定して前記ユーザ情報データベースに記憶することを特徴とする請求項１〜３いずれか一項に記載の情報記録再生システム。
5. 前記ユーザ状況推論部は、前記ユーザ情報データベースに記憶された前記ユーザデータと予め定義した条件とを用いて推論を行い、前記推論事項を決定することを特徴とする請求項４に記載の情報記録再生システム。
6. 前記ユーザ情報データベースは、前記ユーザに関する情報、現在位置に関する情報、及び、他ユーザとの通信に関する情報で構成されることを特徴とする請求項４または５に記載の情報記録再生システム。
7. 前記対話処理部は、前記ユーザ状況推論部で選択した前記推論事項が正しいか否かを判定するための質問文、又は、前記推論事項をメッセージとして前記ユーザに報知するための報知文のいずれかから、条件に合う前記対話文を決定し、当該対話文を用いて前記ユーザと対話を行うことにより、確定した情報があれば、前記エピソードデータベース若しくは前記ユーザ情報データベースに記憶することを特徴とする請求項４〜６いずれか一項に記載の情報記録再生システム。
8. 前記対話処理部は、前記報知文により、前記ユーザが必要とする情報を当該ユーザに報知するよう構成されたことを特徴とする請求項７に記載の情報記録再生システム。
9. 前記エピソードデータベースは、前記エピソードを、前記対話処理部で獲得した情報を基に一回の行動記録毎に格納することを特徴とする請求項１〜８いずれか一項に記載の情報記録再生システム。
10. 表示装置を有し、
    前記対話処理部は、前記ユーザが定義した条件に基づいて前記エピソードデータベースを検索して前記表示装置に出力する記録検索機能を有することを特徴とする請求項１〜９いずれか一項に記載の情報記録再生システム。
11. 前記記録検索機能は、前記ユーザ情報データベースから得られる検索事項を予めリスト化したものと、前記エピソードデータベースを構成する前記タグの中から前記ユーザが指定した検索事項に応じた情報を前記ユーザに提供するように構成されていることを特徴とする請求項１０に記載の情報記録再生システム。
12. 前記記録検索機能は、前記現在位置測位手段によって得られた位置情報を付加された記録が、拡大・縮小可能なデジタル地図上で表示され、合わせて前記記録の作成時期や期間及び前記エピソードデータベース内の前記タグを含む複数の検索条件により、複数の前記記録の中から特定の記録を絞り込むことができるように構成されていることを特徴とする請求項１０または１１に記載の情報記録再生システム。
13. 前記センサーユニットは、前記現在位置測位手段の他に、静止画、動画、音声、温度、湿度、加速度、回転、ジャイロ、振動、ひずみ、圧力、磁気、水分量、熱量、濃度、粘度、流量、脈拍、血圧、心電位、体温、発汗量、紫外線量、赤外線量、電波強度、照度、においのうち、少なくとも１つのセンサーを有することを特徴とする請求項１〜１２いずれか一項に記載の情報記録再生システム。

Images