JP2006018551A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】 ユーザの現在の状況に応じたコンテンツファイルを検索できるようにする。
【解決手段】 環境監視部１６は、ユーザの周囲の状況を示すデータであるセンシングデータを生成する。認識部７１は、センシングデータを基に、ユーザの周囲の状況を認識する。メタ情報生成部１０９は、１または複数のセンシングデータと、認識部７１によって認識された結果を示す認識情報とを基に、メタ情報を生成する。要求部７２は、メタ情報を基に、ユーザの周囲の状況が変化したか否かを判定する。検索要求部１１１は、ユーザの周囲の状況が変化したと判定された場合、現在のユーザの周囲の状況に類似した、過去のユーザの周囲の状況を記録したコンテンツファイルを検索する旨のコンテンツファイル検索要求を生成する。検索部７５は、コンテンツ検索要求を基に、コンテンツファイルを検索する。本発明は、パーソナルコンピュータ、携帯型の端末装置などに適用できる。
【選択図】 図２

Description

本発明は情報処理装置および方法、並びにプログラムに関し、特に、ユーザの周囲の状況に応じたコンテンツを提示することができるようにした情報処理装置および方法、並びにプログラムに関する。

テキストファイル、静止画像ファイル、動画像ファイル、音声ファイルなどの表示または再生を行うためのデータ（以下、適宜、コンテンツファイルと称する）が記憶されているデータベースを利用したデータの検索が広く普及している。データベースを利用したデータの検索においては、ユーザは、検索するデータに関係するキーワードを入力することによって、所望のデータを検索する。

従来、このようなデータの検索を行う情報処理装置は、コンテンツファイルとしての画像データの属性情報から画像データの取得時のコンテキスト（文脈）を推定して、画像データの分類を行っている（例えば、特許文献１参照）。この装置においては、ルールベース推論エンジンが、日付情報、屋内／屋外判定結果、家族情報データベースに記憶されているデータ、および季節行事・社会習慣知識ベースに記憶されているデータを利用して、画像データに関する可能性の高いコンテキストを推定する。

また、ユーザによって指定された動画像において、注目するオブジェクトのメタデータとメタデータベースに記憶されているメタデータとを比較することによって、類似した動画像を検索するものもある（例えば、特許文献２参照）。

さらに、動画像データを生成する装置として、ビデオカメラの映像に対応する動画像データおよびセンサのデータによって、異常状態が検知されると、その異常状態の検知前後の映像に対応する動画像データおよび対応データを遠隔センタに送信するものもある（例えば、特許文献３参照）。

特開２００２−１０１７８号公報

特開２００１−１３４５８９号公報

特開平８−１９５８２５号公報

しかしながら、上述した特許文献１乃至３に開示されている技術においては、ユーザがキーワードを入力することによって、コンテンツファイルを検索することはできるが、ユーザが検索を指示していない場合においても、情報処理装置がユーザの周囲の状況の変化に応じてコンテンツファイルを検索し、検索したコンテンツファイルに対応するコンテンツをユーザに提示することはできなかった。

したがって、ユーザは、ユーザ自身の記憶があいまいなものについては、キーワードが分からない場合、コンテンツファイルを検索することができないという課題があった。

本発明は、このような状況に鑑みてなされたものであり、ユーザの周囲の状況の変化に応じて、ユーザの現在の周囲の状況に応じたコンテンツファイルを検索することができるようにするものである。

本発明の情報処理装置は、ユーザの周囲の状況を検出し、ユーザの周囲の状況を示すデータであるセンシングデータを生成する検出手段と、センシングデータを基に、ユーザの周囲の状況を認識する認識手段と、１または複数のセンシングデータと、認識手段によって認識された結果を示す認識情報とを基に、ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成するメタ情報生成手段とを備えることを特徴とする。

情報処理装置は、センシングデータに対応するデータであって、ユーザの周囲の状況を記録したデータであるコンテンツデータを一時的に記憶するコンテンツデータ記憶手段と、認識情報を基に、ユーザの周囲の状況が変化したか否かを判定する判定手段と、ユーザの周囲の状況が変化したと判定された場合、記憶しているコンテンツデータを基に、ユーザの周囲の状況を記録した静止画像、動画像、または音声を表示または再生させるためのコンテンツファイルを生成するコンテンツファイル生成手段とをさらに設けることができる。

情報処理装置は、コンテンツファイルおよびメタ情報を関係付けて記録するコンテンツファイル記録手段をさらに設けることができる。

メタ情報生成手段は、１または複数のセンシングデータと、認識手段によって認識された結果を示す認識情報とを基に、認識情報の確からしさを示す情報である確信度情報を含む、ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成するようにすることができる。

情報処理装置は、メタ情報に含まれる、認識情報を基に、ユーザの周囲の状況が変化したか否かを判定する判定手段と、確信度情報を基に、認識情報の優先度を示す重みを算出する重み算出手段と、ユーザの周囲の状況が変化したと判定された場合、認識情報および認識情報の重みを基に、ユーザの周囲の状況を記録した静止画像、動画像、または音声を表示または再生させるためのコンテンツファイルであって、現在の前記ユーザの周囲の状況に類似した、過去の前記ユーザの周囲の状況を記録したコンテンツファイルを重み付け検索する検索手段とをさらに設けることができる。

判定手段は、第１のメタ情報に含まれる認識情報と、第１のメタ情報の１つ前に生成された第２のメタ情報に含まれる認識情報とを比較し、第１のメタ情報に含まれる認識情報の変化を基に、ユーザの周囲の状況が変化したか否かを判定し、重み算出手段は、確信度情報および認識情報の変化の度合いを基に、認識情報の優先度を示す重みを算出するようにすることができる。

情報処理装置は、検出されたコンテンツファイルを基に、コンテンツファイルに対応する静止画像または動画像を表示する表示手段をさらに設け、検索手段は、表示手段に表示されている静止画像または動画像が、ユーザによって選択された場合、選択された静止画像または動画像に対応するコンテンツファイルを基に、選択された静止画像または動画像に対応するコンテンツファイルに、コンテンツファイルに関係付けられたメタ情報が類似したコンテンツファイルをさらに検索するようにすることができる。

情報処理装置は、コンテンツファイルの重みを基に定められる所定の順番で、検索されたコンテンツファイルに対応する静止画像または動画像を表示する表示手段をさらに設け、検索手段は、検索結果を基に、検索されたコンテンツファイルの優先度を示す重みをさらに算出するようにすることができる。

本発明の情報処理方法は、ユーザの周囲の状況を検出し、ユーザの周囲の状況を示すデータであるセンシングデータの生成を制御する検出ステップと、センシングデータを基に、ユーザの周囲の状況を認識する認識ステップと、１または複数のセンシングデータと、認識手段によって認識された結果を示す認識情報とを基に、ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成するメタ情報生成ステップとを含むことを特徴とする。

本発明のプログラムは、ユーザの周囲の状況を検出し、ユーザの周囲の状況を示すデータであるセンシングデータの生成を制御する検出ステップと、センシングデータを基に、ユーザの周囲の状況を認識する認識ステップと、１または複数のセンシングデータと、認識手段によって認識された結果を示す認識情報とを基に、ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成するメタ情報生成ステップとをコンピュータに実行させることを特徴とする。

本発明の情報処理装置および方法、並びにプログラムにおいては、ユーザの周囲の状況が検出され、ユーザの周囲の状況を示すデータであるセンシングデータが生成され、センシングデータを基に、ユーザの周囲の状況が認識される。そして、１または複数のセンシングデータと、認識手段によって認識された結果を示す認識情報とを基に、ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報が生成される。

本発明によれば、ユーザの周囲の状況の変化に応じて、コンテンツファイルを検索し、ユーザの現在の周囲の状況に応じたコンテンツを提示することができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

請求項１に記載の情報処理装置は、ユーザの周囲の状況を検出し、ユーザの周囲の状況を示すデータであるセンシングデータを生成する検出手段（例えば、図２の環境監視部１６および入力部１７）と、センシングデータを基に、ユーザの周囲の状況を認識する認識手段（例えば、図２の顔認識部１０６、場所認識部１０７、および音声認識部１０８）と、１または複数のセンシングデータと、認識手段によって認識された結果を示す認識情報とを基に、ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成するメタ情報生成手段（例えば、図２のメタ情報生成部１０９）とを備えることを特徴とする。

請求項２に記載の情報処理装置は、センシングデータに対応するデータであって、ユーザの周囲の状況を記録したデータであるコンテンツデータを一時的に記憶するコンテンツデータ記憶手段（例えば、図２のバッファ１１３）と、認識情報を基に、ユーザの周囲の状況が変化したか否かを判定する判定手段（例えば、図２の要求部７２）と、ユーザの周囲の状況が変化したと判定された場合、記憶しているコンテンツデータを基に、ユーザの周囲の状況を記録した静止画像、動画像、または音声を表示または再生させるためのコンテンツファイルを生成するコンテンツファイル生成手段（例えば、図２のコンテンツ生成部７３）とをさらに備えることを特徴とする。

請求項３に記載の情報処理装置は、コンテンツファイルおよびメタ情報を関係付けて記録するコンテンツファイル記録手段（例えば、図２のメタ情報／コンテンツデータベース７４）をさらに備えることを特徴とする。

請求項４に記載の情報処理装置は、メタ情報生成手段（例えば、図２のメタ情報生成部１０９）は、１または複数のセンシングデータと、認識手段（例えば、図２の顔認識部１０６、場所認識部１０７、および音声認識部１０８）によって認識された結果を示す認識情報とを基に、認識情報の確からしさを示す情報である確信度情報を含む、ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成することを特徴とする。

請求項５に記載の情報処理装置は、メタ情報に含まれる、認識情報を基に、ユーザの周囲の状況が変化したか否かを判定する判定手段（例えば、図２の要求部７２）と、確信度情報を基に、認識情報の優先度を示す重みを算出する重み算出手段（例えば、図２の重み算出部１１２）と、ユーザの周囲の状況が変化したと判定された場合、認識情報および認識情報の重みを基に、ユーザの周囲の状況を記録した静止画像、動画像、または音声を表示または再生させるためのコンテンツファイルであって、現在の前記ユーザの周囲の状況に類似した、過去の前記ユーザの周囲の状況を記録したコンテンツファイルを重み付け検索する検索手段（例えば、図２の検索部７５）とをさらに備えることを特徴とする。

請求項６に記載の情報処理装置は、判定手段（例えば、図２の要求部７２）は、第１のメタ情報に含まれる認識情報と、第１のメタ情報の１つ前に生成された第２のメタ情報に含まれる認識情報とを比較し、第１のメタ情報に含まれる認識情報の変化を基に、ユーザの周囲の状況が変化したか否かを判定し、重み算出手段（例えば、図２の重み算出部１１２）は、確信度情報および認識情報の変化の度合いを基に、認識情報の優先度を示す重みを算出することを特徴とする。

請求項７に記載の情報処理装置は、検出されたコンテンツファイルを基に、コンテンツファイルに対応する静止画像または動画像を表示する表示手段（例えば、図２の出力部１８）をさらに備え、検索手段（例えば、図２の検索部７５）は、表示手段に表示されている静止画像または動画像が、ユーザによって選択された場合、選択された静止画像または動画像に対応するコンテンツファイルを基に、選択された静止画像または動画像に対応するコンテンツファイルに、コンテンツファイルに関係付けられたメタ情報が類似したコンテンツファイルをさらに検索することを特徴とする。

請求項８に記載の情報処理装置は、コンテンツファイルの重みを基に定められる所定の順番で、検索されたコンテンツファイルに対応する静止画像または動画像を表示する表示手段（例えば、図２の出力部１８）をさらに備え、検索手段（例えば、図２の検索部７５）は、検索結果を基に、検索されたコンテンツファイルの優先度を示す重みをさらに算出することを特徴とする。

請求項９に記載の情報処理方法は、ユーザの周囲の状況を検出し、ユーザの周囲の状況を示すデータであるセンシングデータの生成を制御する検出ステップ（例えば、図３のステップＳ１１の処理）と、センシングデータを基に、ユーザの周囲の状況を認識する認識ステップ（例えば、図３のステップＳ１２の処理）と、１または複数のセンシングデータと、認識手段（例えば、図２の顔認識部１０６、場所認識部１０７、および音声認識部１０８）によって認識された結果を示す認識情報とを基に、ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成するメタ情報生成ステップ（例えば、図３のステップＳ１３の処理）とを含むことを特徴とする。

なお、請求項１０に記載のプログラムも、上述した請求項９に記載の情報処理方法と基本的に同様の処理であるため、繰り返しになるのでその説明は省略する。

本発明は、パーソナルコンピュータ、PDA（Personal Digital Assistance）、携帯型の端末装置などに適用できる。

図１は、本発明に係る情報処理装置の構成の例を示すブロック図である。

CPU（Central Processing Unit）１１は、ROM（Read Only Memory）１２、または記録部１９に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１３には、CPU１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１１、ROM１２、およびRAM１３は、バス１４により相互に接続されている。

CPU１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、ビデオカメラ、マイクロフォン、GPS（Global Positioning System）受信装置、時計、などよりなる環境監視部１６、キーボード、マウス、スイッチ、カメラなどよりなる入力部１７、ディスプレイ、スピーカ、ランプなどによる出力部１８が接続されている。CPU１１は、環境監視部１６からの入力、または入力部１７から入力される指令に対応して各種の処理を実行する。

入出力インタフェース１５に接続されている記録部１９は、例えばハードディスクなどで構成され、CPU１１が実行するプログラムや各種のデータを記録する。通信部２０は、インターネット、その他のネットワークなどの通信網を介して、外部装置と通信する。

また、通信部２０は、通信網を介してプログラムを取得し、記録部１９に記録させるようにしてもよい。

入出力インタフェース１５に接続されているドライブ２１は、磁気ディスク４１、光ディスク４２、光磁気ディスク４３、或いは半導体メモリ４４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部１９に転送され、記録される。

図２は、情報処理装置の機能の構成を示すブロック図である。

情報処理装置は、環境監視部１６、入力部１７、出力部１８、認識部７１、要求部７２、コンテンツ生成部７３、メタ情報／コンテンツデータベース７４、検索部７５、出力制御部７６、PIM（Personal Information Manager）データ記録部７７、および入力制御部７８を含むように構成される。

環境監視部１６は、現在時刻、ユーザの現在位置、ユーザが発話しているか否かなどのユーザの周囲の環境（状況）を監視し、ユーザの周囲の状況を検出し、ユーザの周囲の状況を示すデータであるセンシングデータを生成する。環境監視部１６は、生成したセンシングデータを認識部７１に供給する。

また、環境監視部１６は、ユーザの周囲の状況を示すコンテンツデータを生成し、生成したコンテンツデータをコンテンツ生成部７３に供給する。ここで、コンテンツデータとは、センシングデータと同様のデータであり、例えば、センシングデータより品質の高いデータである。例えば、環境監視部１６が、センシングデータとして静止画像データを生成した場合、環境監視部１６は、センシングデータに対応するコンテンツデータとして、解像度および画質がセンシングデータより高い静止画像データを生成する。換言すれば、コンテンツデータは、例えば、センシングデータを基に表示される静止画像の内容と同じ内容の静止画像を表示させるための静止画像データであって、センシングデータを基に表示される静止画像より解像度および画質が高い静止画像を表示させるための静止画像データである。なお、センシングデータと同一のデータをコンテンツデータとして、用いるようにしてもよい。

また、センシングデータは、ユーザの周囲の状況を認識できる程度の品質のデータであればよいので、例えば、動画像データであるコンテンツデータのフレームを間引くことにより、動画像データであるセンシングデータを生成するようにしてもよい。また、例えば、静止画像データであるコンテンツデータの画素を間引くことにより、静止画像データであるセンシングデータを生成するようにしてもよい。

環境監視部１６は、ビデオカメラ１０１、マイクロフォン１０２、GPS受信装置１０３、および時計１０４を備えている。

環境監視部１６のビデオカメラ１０１は、情報処理装置の周囲の環境（状況）、すなわちユーザの周囲の状況を撮像し、撮像した動画像に対応する動画像データを生成する。環境監視部１６は、環境監視部１６のビデオカメラ１０１が生成した動画像データを基に、センシングデータを生成し、生成したセンシングデータを認識部７１に供給する。例えば、環境監視部１６は、環境監視部１６のビデオカメラ１０１が生成した動画像データを基に、静止画像データであるセンシングデータを生成し、生成したセンシングデータを認識部７１に供給する。

また、環境監視部１６は、環境監視部１６のビデオカメラ１０１が生成した動画像データを基に、コンテンツデータを生成し、生成したコンテンツデータをコンテンツ生成部７３に供給する。例えば、環境監視部１６は、環境監視部１６のビデオカメラ１０１が生成した動画像データを基に、静止画像データであるコンテンツデータを生成し、生成したコンテンツデータをコンテンツ生成部７３に供給する。

また、例えば、環境監視部１６は、環境監視部１６のビデオカメラ１０１が生成した動画像データを基に、動画像データであるコンテンツデータを生成し、生成したコンテンツデータをコンテンツ生成部７３に供給する。

環境監視部１６のマイクロフォン１０２は、情報処理装置の周囲、すなわちユーザの周囲において発話された音声を取得し、取得した音声を電気信号としての音声データに変換する。環境監視部１６は、環境監視部１６のマイクロフォン１０２が電気信号に変換した音声データを基に、センシングデータを生成し、生成したセンシングデータを認識部７１に供給する。例えば、環境監視部１６は、環境監視部１６のマイクロフォン１０２が電気信号に変換した音声データを基に、音声データであるセンシングデータを生成し、生成したセンシングデータを認識部７１に供給する。

また、環境監視部１６は、環境監視部１６のマイクロフォン１０２が電気信号に変換した音声データを基に、コンテンツデータを生成し、生成したコンテンツデータをコンテンツ生成部７３に供給する。例えば、環境監視部１６は、環境監視部１６のマイクロフォン１０２が電気信号に変換した音声データを基に、音声データであるコンテンツデータを生成し、生成したコンテンツデータをコンテンツ生成部７３に供給する。

環境監視部１６のGPS受信装置１０３は、GPSの人工衛星から送信されてきた、人工衛星の位置を示す情報および送信した時刻を示す情報を受信し、受信した人工衛星の位置を示す情報および送信した時刻を示す情報を基に、情報処理装置の現在位置を計測する。環境監視部１６は、環境監視部１６のGPS受信装置１０３が計測した情報処理装置の現在位置を基に、情報処理装置の現在位置を示すセンシングデータを生成し、生成したセンシングデータを認識部７１に供給する。例えば、環境監視部１６は、環境監視部１６のGPS受信装置１０３が計測した情報処理装置の現在位置を基に、緯度および経度により表される情報処理装置の現在位置を示すセンシングデータを生成し、生成したセンシングデータを認識部７１に供給する。

環境監視部１６の時計１０４は、時間を計測し（計時し）、現在の日付および時刻を示すデータ（以下、時刻データと称する）を保持している。環境監視部１６の時計１０４は、例えば、RTC（Real Time Clock）である。環境監視部１６は、環境監視部１６の時計１０４が保持している時刻データを基に、現在の日付および時刻を示すセンシングデータを生成し、生成したセンシングデータを認識部７１に供給する。

入力部１７は、ユーザが入力した指令を基に、センシングデータを生成し、生成したセンシングデータを認識部７１に供給する。入力部１７は、シャッタボタン１０５を備えている。

入力部１７のシャッタボタン１０５は、例えば、静止画像または動画像の撮像を指示するシャッタボタンである。入力部１７は、ユーザによって、入力部１７のシャッタボタン１０５が押圧されると、シャッタボタン１０５が押圧された旨の信号を生成し、生成したシャッタボタン１０５が押圧された旨の信号をセンシングデータとして認識部７１に供給する。

なお、シャッタボタン１０５の詳細は、後述するが、入力部１７のシャッタボタン１０５が押圧されると、入力部１７は、シャッタボタン１０５が押圧された旨の信号を生成し、生成したシャッタボタン１０５が押圧された旨の信号をセンシングデータとして、認識部７１に供給する。

なお、詳細は、後述するが、シャッタボタン１０５が押圧された旨の信号が供給された認識部７１は、シャッタボタン１０５が押圧された旨を示すメタ情報を生成し、生成したメタ情報をコンテンツ生成部７３に供給する。このメタ情報が供給されたコンテンツ生成部７３は、ビデオカメラ１０１から供給されたコンテンツデータから、静止画像データを抽出したコンテンツファイルを生成する。従って、シャッタボタン１０５が押圧されると、静止画像データを格納したコンテンツファイルが生成される。同様に、シャッタボタン１０５が押圧された場合、動画像データを格納したコンテンツファイルを生成するようにしてもよい。

入力部１７は、ユーザが入力部１７を操作することによって、PIMデータ記録部７７に記録されているアドレスデータ、スケジュールデータ、学習データなどの更新を指示した場合、その指示に応じた入力信号を生成し、生成した入力信号をPIMデータ記録部７７に供給する。ここで、アドレスデータとは、ユーザの名前、住所、電話番号などが含まれるデータであり、スケジュールデータとは、ユーザのスケジュール（予定）が含まれるデータであり、学習データとは、認識部７１がユーザの周囲の環境を認識する場合に用いられるデータである。以下、アドレスデータ、スケジュールデータ、学習データなどのPIMデータ記録部７７が記録しているデータを、適宜、PIMデータと称する。

認識部７１は、環境監視部１６および入力部１７から供給されたセンシングデータを基に、ユーザの周囲の環境を認識する。認識部７１は、認識の結果を基に、メタ情報を生成する。ここで、メタ情報とは、ユーザの周囲の環境を示す情報であり、認識の結果を基に生成される情報である。なお、メタ情報の詳細は、後述する。

また、この場合における、ユーザの周囲の環境とは、例えば、ユーザが誰といるのか、ユーザがどこにいるのか、ユーザの周囲において、どのような会話がなされているのかなど、ユーザがおかれている環境（状況）をいう。

認識部７１は、顔認識部１０６、場所認識部１０７、音声認識部１０８、およびメタ情報生成部１０９を備えている。

認識部７１の顔認識部１０６は、環境監視部１６から供給された動画像データまたは静止画像データであるセンシングデータおよびPIMデータ記録部７７から供給された学習データを基に、顔認識処理を行う。すなわち、認識部７１の顔認識部１０６は、動画像データまたは静止画像データであるセンシングデータから人の顔の画像を認識し、認識された人を特定する顔認識処理を行うことによって、情報処理装置の周囲に誰がいるのかを特定する。

ここで、学習データには、ユーザ、ユーザの友人、ユーザの家族などを特定するためのユーザＩＤ（Identification）、ユーザＩＤに関係付けられた、顔認識処理に用いられるデータ（例えば、両目の間隔と目と鼻との間隔の比率を示すデータなど）、場所の名前を示すデータ、場所の名前を示すデータに関係付けられた、場所を特定するための画像認識処理に用いられるデータ、ユーザＩＤに関係付けられた、音声認識処理に用いられるデータなどが含まれる。認識部７１の顔認識部１０６は、顔認識処理の結果を示すデータを生成する。なお、顔認識処理の結果を示すデータには、顔認識処理によって認識されたユーザ、ユーザの友人、ユーザの家族などを特定するためのユーザＩＤおよび顔認識処理の結果の確からしさを示すスコアが含まれている。

したがって、例えば、認識部７１の顔認識部１０６は、環境監視部１６から静止画像データであるセンシングデータが供給され、PIMデータ記録部７７から学習データが供給された場合、顔認識処理を行う。そして、例えば、顔認識処理の結果、センシングデータからユーザＡの顔が認識された場合、認識部７１の顔認識部１０６は、センシングデータから認識された顔がユーザＡの顔である確からしさを示すスコアを含む、センシングデータからユーザＡの顔が認識された旨の顔認識処理の結果を示すデータを生成する。

認識部７１の場所認識部１０７は、環境監視部１６から供給されたセンシングデータおよびPIMデータ記録部７７から供給された学習データを基に、場所を特定するための画像認識処理を行う。すなわち、認識部７１の場所認識部１０７は、場所を特定するための画像認識処理を行うことによって、情報処理装置（すなわち、ユーザ）の現在位置を特定する。

認識部７１の場所認識部１０７は、画像認識処理の結果を示すデータを生成する。なお、画像認識処理の結果を示すデータには、画像認識処理の結果の確からしさを示すスコアが含まれている。

したがって、例えば、認識部７１の場所認識部１０７は、環境監視部１６から静止画像データであるセンシングデータが供給され、PIMデータ記録部７７から学習データが供給された場合、画像認識処理を行う。そして、例えば、画像認識処理の結果、センシングデータから場所Ｃが認識された場合、認識部７１の場所認識部１０７は、センシングデータを基に、認識された場所が場所Ｃである確からしさを示すスコアを含む、センシングデータから場所Ｃが認識された旨の画像認識処理の結果を示すデータを生成する。

ここで、学習用データには、例えば、ユーザの自宅、職場などの静止画像を表示させるための静止画像データと、所定の領域に分割された静止画像データの各領域の画素の輝度、色度情報などの特徴量とが含まれている。認識部７１の場所認識部１０７は、例えば、静止画像データであるセンシングデータの特徴量を求め、求めた特徴量と、学習用データに含まれる静止画像の特徴量とを比較することによって、画像認識処理を行う。

認識部７１の音声認識部１０８は、環境監視部１６から供給されたセンシングデータおよびPIMデータ記録部７７から供給された学習データを基に、音声認識処理を行う。すなわち、認識部７１の音声認識部１０８は、音声認識処理を行うことによって、情報処理装置（すなわち、ユーザ）の周囲において、発話された音声に含まれる単語を特定（検出）する。認識部７１の音声認識部１０８は、音声認識処理の結果を示すデータを生成する。なお、音声認識処理の結果を示すデータには、音声認識処理の結果の確からしさを示すスコアが含まれている。

したがって、例えば、認識部７１の音声認識部１０８は、環境監視部１６から音声データであるセンシングデータが供給され、PIMデータ記録部７７から学習データが供給された場合、音声認識処理を行う。そして、例えば、音声認識処理の結果、センシングデータから単語（キーワード）が認識された場合、認識部７１の音声認識部１０８は、認識された単語と、認識された単語が音声に含まれる確からしさを示すスコアとを含む、センシングデータから単語が認識された旨の音声認識処理の結果を示すデータを生成する。

認識部７１のメタ情報生成部１０９は、環境監視部１６から供給されたセンシングデータ、入力部１７から供給されたセンシングデータ、認識部７１の顔認識部１０６が生成した顔認識処理の結果を示すデータ、認識部７１の場所認識部１０７が生成した画像認識処理の結果を示すデータ、および認識部７１の音声認識部１０８が生成した音声認識処理の結果を示すデータを基に、メタ情報を生成し、生成したメタ情報を要求部７２およびコンテンツ生成部７３に供給する。

なお、メタ情報には、人に関係する情報、場所に関係する情報、発話に関係する情報、および時刻を示す情報が含まれる。ここで、人に関係する情報とは、認識部７１が顔認識処理によって認識したユーザのユーザＩＤおよび認識部７１による顔認識処理におけるそのユーザの認識の確からしさを示すスコアを含む情報である。同様に、場所に関係する情報とは、認識部７１が認識した場所および認識部７１による画像認識処理におけるその場所の認識の確からしさを示すスコアを含む情報であり、発話に関係する情報とは、認識部７１が音声認識処理によって認識した単語および認識部７１による音声認識処理におけるその単語の認識の確からしさのスコアを含む情報である。

要求部７２は、認識部７１から供給されたメタ情報を基に、ユーザの周囲の状況が変化したか否かを判定する。要求部７２は、ユーザの周囲の状況が変化したと判定された場合、コンテンツファイルの生成を要求する旨のコンテンツファイル生成要求を生成し、生成したコンテンツファイル生成要求をコンテンツ生成部７３に供給する。

ここで、コンテンツファイルとは、コンテンツ生成部７３がコンテンツデータを基に生成するデータであり、ユーザの周囲の状況を撮像した動画像または静止画像、ユーザの周囲において、発話された音声など（以下、コンテンツと称する）を表示または再生させるためのデータである。また、例えば、コンテンツファイルは、“フォト”に分類される静止画像データであるコンテンツファイル、“サウンド”に分類される音声データであるコンテンツファイル、および“ムービー”に分類される動画像データであるコンテンツファイルに分類される。例えば、コンテンツは、コンテンツファイルを基に、ディスプレイである出力部１８に表示される。

なお、より詳細には、コンテンツファイルが“サウンド”に分類されるコンテンツファイルである場合は、ユーザにコンテンツを提示するとき、例えば、コンテンツファイルの名前、コンテンツファイルが生成された時刻におけるユーザの周囲の静止画像などをディスプレイである出力部１８に表示するか、音声データであるコンテンツファイルを再生する。音声データであるコンテンツファイルを再生する場合、コンテンツファイルの一部を再生するようにしてもよく、フェードインおよびフェードアウトするようにしてもよい。また、コンテンツファイルが“ムービー”に分類されるコンテンツファイルである場合は、ユーザにコンテンツを提示するとき、例えば、コンテンツファイルに対応する動画像をそのまま、または、動画像を代表する静止画像などをディスプレイである出力部１８に表示する。

また、要求部７２は、ユーザの周囲の状況が変化したと判定された場合、コンテンツファイルを検索する旨のコンテンツファイル検索要求を生成し、生成したコンテンツファイル検索要求を検索部７５に供給する。コンテンツファイル検索要求には検索部７５がコンテンツファイルを検索する場合に検索のキーワードとして用いる検索キーと、検索キーの優先度である重みが含まれる。コンテンツファイル検索要求の詳細は後述する。

要求部７２は、ユーザの周囲の状況が変化していないと判定された場合、コンテンツファイル生成要求およびコンテンツファイル検索要求を生成しない。

要求部７２は、生成要求部１１０、検索要求部１１１、および重み算出部１１２を備えている。

要求部７２の生成要求部１１０は、ユーザの周囲の状況が変化したと判定された場合、コンテンツファイルの生成を要求する旨のコンテンツファイル生成要求を生成する。コンテンツファイル生成要求には、メタ情報に含まれる時刻を示す情報と、生成するコンテンツファイルの分類を示す情報とが含まれる。要求部７２の生成要求部１１０は、ユーザの周囲の状況が変化したと判定されなかった場合、コンテンツファイル生成要求を生成しない。

例えば、要求部７２の生成要求部１１０は、メタ情報に含まれる人に関係する情報が、それまで含まれていなかったユーザＩＤを含むように変化した場合、ユーザＩＤで特定される人が現れるようにユーザの周囲の状況が変化したと判定し、コンテンツファイルの生成を要求する旨のコンテンツファイル生成要求を生成する。

要求部７２の重み算出部１１２は、ユーザの周囲の状況が変化したと判定された場合、認識部７１から供給されたメタ情報に含まれる、スコアを基に、重みを算出する。要求部７２の重み算出部１１２は、ユーザの周囲の状況が変化したと判定されなかった場合、重みを算出しない。

要求部７２の検索要求部１１１は、ユーザの周囲の状況が変化したと判定された場合、検索キーおよび要求部７２の重み算出部１１２が算出した重みを含むコンテンツファイル検索要求を生成する。要求部７２の検索要求部１１１は、メタ情報の人に関係する情報に含まれるユーザの名前、メタ情報の場所に関係する情報に含まれる場所の名前、およびメタ情報の発話に関係する情報に含まれる単語を検索キーとしてコンテンツファイル検索要求を生成する。要求部７２の検索要求部１１１は、ユーザの周囲の状況が変化したと判定されなかった場合、コンテンツファイル検索要求を生成しない。

コンテンツ生成部７３は、コンテンツファイルおよび所定の形式のメタ情報を生成する。コンテンツ生成部７３は、バッファ１１３を備えている。

コンテンツ生成部７３のバッファ１１３は、環境監視部１６から供給されたコンテンツデータを一時的に記憶する。

コンテンツ生成部７３は、要求部７２からコンテンツファイル生成要求が供給された場合、コンテンツ生成部７３のバッファ１１３に記憶されているコンテンツデータを基に、コンテンツファイル生成要求によって指定された分類のコンテンツファイルを生成する。この場合、例えば、コンテンツ生成部７３は、コンテンツファイル生成要求によって指定された時刻に生成されたコンテンツデータを、コンテンツ生成部７３のバッファ１１３から取得し、取得したコンテンツデータを基に、コンテンツファイルを生成する。コンテンツ生成部７３は、要求部７２からコンテンツファイル生成要求が供給されなかった場合、コンテンツファイルを生成しない。

コンテンツ生成部７３は、要求部７２からコンテンツファイル生成要求が供給された場合、コンテンツファイル生成要求によって指定された時刻（コンテンツファイル生成要求に含まれる現在時刻）に生成されたメタ情報を認識部７１から取得し、PIMデータ記録部７７に記録されているスケジュールデータを参照して、認識部７１から取得したメタ情報を基に、コンテンツファイルに関係付けられた、所定の形式のメタ情報を生成する。コンテンツ生成部７３は、要求部７２からコンテンツファイル生成要求が供給されなかった場合、コンテンツファイルを生成しない。

コンテンツ生成部７３は、生成したコンテンツファイルおよびメタ情報をメタ情報／コンテンツデータベース７４に供給する。

メタ情報／コンテンツデータベース７４は、コンテンツ生成部７３から供給されたコンテンツファイルおよびメタ情報を関係付けて記録する。メタ情報／コンテンツデータベース７４は、記録部１９に含まれ、例えば、ハードディスクである記録部１９のメタ情報およびコンテンツファイルを記録する所定の領域である。メタ情報／コンテンツデータベース７４は、記録しているコンテンツファイルを検索部７５に供給する。例えば、コンテンツファイルおよびメタ情報は、１つのフォルダに格納されることにより関係付けられるか、または、一方に他方を指すポインタが付加されることにより関係付けられる。

検索部７５は、要求部７２からコンテンツファイル検索要求が供給された場合、メタ情報／コンテンツデータベース７４に記録されているメタ情報を参照して、コンテンツファイル検索要求に含まれる検索キーおよび検索キーの重みを基に、コンテンツファイルを重み付け検索する。検索部７５は、重み付け検索されたコンテンツファイルと、検索キーとの適合度および検索キーの重みを基に、検索されたコンテンツファイルの重みを算出し、重みを表示させるためのデータを生成する。そして、検索部７５は、重み付け検索されたコンテンツファイルをメタ情報／コンテンツデータベース７４から取得し、取得したコンテンツファイルおよび生成した重みを表示させるためのデータを出力制御部７６に供給する。

検索部７５は、要求部７２からコンテンツファイル検索要求が供給されなかった場合、コンテンツファイルを重み付け検索しない。

出力制御部７６は、各種のデータの出力部１８への出力を制御する。

出力制御部７６は、検索部７５から供給されたコンテンツファイルおよび重みを表示させるためのデータを基に、コンテンツおよび重みをディスプレイである出力部１８に表示させる。

出力制御部７６は、PIMデータ記録部７７から供給されたスケジュールデータを基に、スケジュールを表示させるためのデータを生成し、生成したスケジュールを表示させるためのデータを基に、スケジュールをディスプレイである出力部１８に表示させる。

PIMデータ記録部７７は、アドレスデータ、スケジュールデータ、および学習データを記録している。PIMデータ記録部７７は、記録部１９に含まれ、例えば、ハードディスクである記録部１９のアドレスデータ、スケジュールデータ、および学習データを記録する所定の領域である。PIMデータ記録部７７は、記録している学習データを認識部７１に供給する。PIMデータ記録部７７は、スケジュールデータを出力制御部７６に供給する。

PIMデータ記録部７７は、入力部１７から入力信号が供給された場合、供給された入力信号を基に、記録しているPIMデータを更新する。例えば、PIMデータ記録部７７は、入力部１７から、スケジュールデータの更新を要求する旨の入力信号が供給された場合、供給された入力信号を基に、記録しているスケジュールデータを更新する。

入力制御部７８は、ユーザが入力部１７を操作することによって、ディスプレイである出力部１８に表示されているコンテンツを選択した場合、ユーザが選択したコンテンツに関係付けられたコンテンツファイルを再検索する旨の再検索要求を生成し、生成した再検索要求を検索部７５に供給する。なお、再検索要求には、ユーザが選択したコンテンツを表示するためのコンテンツファイルを特定する情報が含まれる。

検索部７５は、入力制御部７８から再検索要求が供給された場合、メタ情報／コンテンツデータベース７４に記録されているメタ情報を参照して、再検索要求によって指定されたコンテンツファイルに関係付けられたメタ情報に含まれる検索キーおよびスコアを基に、コンテンツファイルを重み付け検索する。この場合、検索部７５は、メタ情報の人に関係する情報に含まれるユーザの名前、メタ情報の場所に関係する情報に含まれる場所の名前、およびメタ情報の発話に関係する情報に含まれる単語を検索キーとし、検索キーのスコアを重みとして重み付け検索する。検索部７５は、重み付け検索されたコンテンツファイルと、検索キーとの適合度および検索キーの重みを基に、検索されたコンテンツファイルの重みを算出し、重みを表示させるためのデータを生成する。そして、検索部７５は、重み付け検索されたコンテンツファイルをメタ情報／コンテンツデータベース７４から取得し、取得したコンテンツファイルおよび生成した重みを表示させるためのデータを出力制御部７６に供給する。

検索部７５は、入力制御部７８から再検索要求が供給されなかった場合、コンテンツファイルを重み付け検索しない。

出力部１８は、出力制御部７６から供給されたコンテンツファイルおよび重みを表示させるためのデータを基に、コンテンツおよび重みをディスプレイである出力部１８に表示する。出力部１８は、出力制御部７６から供給されたスケジュールを表示させるためのデータを基に、スケジュールをディスプレイである出力部１８に表示する。なお、出力部１８には、１または複数のコンテンツが表示される。

次に、図３のフローチャートを参照して、情報処理装置によるコンテンツ表示の処理を説明する。

ステップＳ１１において、環境監視部１６は、ユーザの周囲の環境（状況）を監視し、ユーザの周囲の状況を検出し、ユーザの周囲の状況を示すデータであるセンシングデータを生成する。環境監視部１６は、生成したセンシングデータを認識部７１に供給する。

例えば、ステップＳ１１において、環境監視部１６は、環境監視部１６のビデオカメラ１０１が撮像した動画像に対応する動画像データを基に、動画像のフレームを構成する静止画像に対応する静止画像データをそのままセンシングデータとするか、または静止画像データを所定の割合で間引いてセンシングデータとすることにより、静止画像データであるセンシングデータを生成し、生成したセンシングデータを認識部７１に供給する。また、例えば、入力部１７のシャッタボタン１０５が押圧されると、入力部１７は、入力部１７のシャッタボタン１０５が押圧された旨の信号を生成し、生成したシャッタボタン１０５が押圧された旨の信号をセンシングデータとして、認識部７１に供給する。

ステップＳ１２において、認識部７１は、環境監視部１６および入力部１７から供給されたセンシングデータを基に、周囲の状況を認識する。

例えば、ステップＳ１２において、認識部７１の顔認識部１０６は、環境監視部１６から供給された静止画像データであるセンシングデータおよびPIMデータ記録部７７から供給された学習データを基に、顔認識処理を行う。学習データには、例えば、ユーザＩＤによって特定されるユーザの顔の静止画像を表示させる静止画像データ、静止画像データにおけるユーザの口、目、鼻などの端点をノードとして、ノードにより表されたユーザの顔のグラフ、隣接するノードとノードとの距離、および各ノードにおける静止画像データの特徴量が含まれている。ここで、特徴量は、例えば、静止画像データにガボールウェーブレット変換を施すことによって得られるガボール特徴量とすることができる。

認識部７１の顔認識部１０６は、例えば、フレキシブル特徴照合法により、環境監視部１６から供給された静止画像データであるセンシングデータから、口、目、鼻などの特定の部位を抽出し、抽出した部位をノードとして顔のグラフを生成する。そして、認識部７１の顔認識部１０６は、生成した顔のグラフの隣接するノードとノードとの距離および各ノードの特徴量を求め、求めた隣接するノードとノードとの距離、および各ノードの特徴量のそれぞれと、PIMデータ記録部７７から供給された学習データに含まれる、各ユーザの隣接するノードとノードとの距離、および各ノードの特徴量のそれぞれとを比較することにより、情報処理装置の周囲にいるユーザを認識する。そして、認識部７１の顔認識部１０６は、顔認識処理の結果を示すデータを生成する。

また、例えば、ステップＳ１２において、認識部７１の場所認識部１０７は、環境監視部１６から供給された静止画像データであるセンシングデータおよびPIMデータ記録部７７から供給された学習データを基に、画像認識処理を行う。学習用データには、例えば、ユーザの自宅、職場などの静止画像を表示させるための静止画像データと、所定の領域に分割された静止画像データの各領域の画素の輝度、色度情報などの特徴量とが含まれている。認識部７１の場所認識部１０７は、例えば、静止画像データであるセンシングデータの特徴量を求め、求めた特徴量と、学習用データに含まれる静止画像の特徴量とを比較することによって、情報処理装置の現在位置を認識する。そして、認識部７１の場所認識部１０７は、画像認識処理の結果を示すデータを生成する。

さらに、例えば、ステップＳ１２において、認識部７１の音声認識部１０８は、環境監視部１６から供給された音声データであるセンシングデータおよびPIMデータ記録部７７から供給された学習データを基に、音声認識処理を行う。学習データには、例えば、認識の対象となる単語について、その発音に関する情報が記述された単語辞書情報、および単語辞書情報に含まれる各単語がどのように連鎖するかが記述された文法規則情報が含まれている。例えば、認識部７１の音声認識部１０８は、環境監視部１６から供給された音声データであるセンシングデータからMFCC（Mel Frequency Cepstrum Coefficient）などの特徴量を抽出し、抽出した特徴量を用いて、学習データを参照しながら連続分布HMM（Hidden Markov Model）法などに基づいて、情報処理装置の周囲において、発話された単語を認識する。そして、認識部７１の音声認識部１０８は、音声認識処理の結果を示すデータを生成する。

ステップＳ１３において、認識部７１のメタ情報生成部１０９は、環境監視部１６および入力部１７から供給されたセンシングデータ、顔認識部１０６が生成した顔認識処理の結果を示すデータ、認識部７１の場所認識部１０７が生成した画像認識処理の結果を示すデータ、並びに認識部７１の音声認識部１０８が生成した音声認識処理の結果を示すデータを基に、メタ情報を生成し、生成したメタ情報を要求部７２に供給する。

メタ情報には、例えば、図４および図５に示す情報が含まれている。

ここで、図４は、メタ情報に含まれる情報を説明するための図である。メタ情報は、“Person”、“Leitmotif”、“Location”、および“Time”の項目のそれぞれから構成され、各項目には、項目ごとに分類された情報が含まれている。すなわち、“Person”である項目には、顔認識処理によって認識されたユーザに関係する情報が含まれている。

同様に、“Leitmotif”である項目には、音声認識処理によって認識された発話に関係する情報が含まれており、“Location”である項目には、画像認識処理によって認識された場所に関係する情報が含まれている。また、“Time”である項目には、日付けおよび時刻を示す情報が含まれている。

さらに、図５に示すように、“Person”、“Leitmotif”、および“Location”である項目のそれぞれには、“Prospect”である項目が含まれる。“Prospect”である項目には、認識処理の結果として、複数の候補がある場合における、１つの候補に関係する情報である。したがって、例えば、顔認識処理の結果として、ユーザＡおよびユーザＢが認識された場合、“Person”である項目に含まれる１つ目の“Prospect”である項目には、ユーザＡに関係する情報が含まれ、“Person”である項目に含まれる２つ目の“Prospect”である項目には、ユーザＢに関係する情報が含まれる。

また、例えば、画像認識処理の結果として、現在位置が場所Ｆまたは場所Ｇであると認識された場合、“Location”である項目に含まれる１つ目の“Prospect”である項目には、場所Ｆに関係する情報が含まれ、“Location”である項目に含まれる２つ目の“Prospect”である項目には、場所Ｇに関係する情報が含まれる。

さらに、“Prospect”である項目には、“Score”である項目が含まれる。“Score”である項目には、認識処理の結果の確からしさを示すスコアが含まれる。

“Location”である項目には、“Latitude”である項目が含まれ、“Latitude”である項目には、環境監視部１６のGPS受信装置１０３によって計測された、情報処理装置の現在位置の緯度を示す情報が含まれる。また、“Location”である項目には、“Longitude”である項目が含まれ、“Longitude”である項目には、環境監視部１６のGPS受信装置１０３によって計測された、情報処理装置の現在位置の経度を示す情報が含まれる。

図６は、メタ情報のより具体的な一例を示す図である。メタ情報に含まれる、図中、上から２行目に示される“Person”である項目には、上から３行目の“Prospect”である項目および“Score”である項目が含まれている。上から３行目の“Prospect”である項目に含まれる“７５”は、顔認識処理によって、認識されたユーザのユーザＩＤを示し、上から３行目の“Score”である項目に含まれる“0.4235989”は、顔認識処理によって、認識されたユーザのユーザＩＤが“７５”である、認識の確からしさを示すスコアである。

例えば、上から３行目の“Score”である項目に含まれる“0.4235989”は、顔認識処理によって、ユーザＩＤが“７５”であるユーザが認識された確率（確からしさ）が42.35989％であることを示す。

同様に、上から２行目に示される“Person”である項目には、上から４行目の“Prospect”である項目および“Score”である項目が含まれている。上から４行目の“Prospect”である項目に含まれる“０３”は、顔認識処理によって、認識されたユーザのユーザＩＤを示し、上から４行目の“Score”である項目に含まれる“0.6628738”は、顔認識処理によって、認識されたユーザのユーザＩＤが“０３”である、認識の確からしさを示すスコアである。

例えば、上から４行目の“Score”である項目に含まれる“0.6628738”は、顔認識処理によって、ユーザＩＤが“０３”であるユーザが認識された確率（確からしさ）が66.28738％であることを示す。

上から６行目の“Leitmotif”である項目には、上から７行目の“Prospect”である項目および“Score”である項目が含まれている。上から７行目の“Prospect”である項目に含まれる“ドラゴンレーダー”は、音声認識処理によって、認識された音声に含まれる単語を示し、上から７行目の“Score”である項目に含まれる“0.44827411”は、音声認識処理によって、認識された音声に単語“ドラゴンレーダー”が含まれる、認識の確からしさを示すスコアである。

例えば、上から７行目の“Score”である項目に含まれる“0.44827411”は、音声認識処理によって、単語“ドラゴンレーダー”が音声から認識された確率（確からしさ）が、44.827411％であることを示す。

同様に、上から６行目の“Leitmotif”である項目には、上から８行目の“Prospect”である項目および“Score”である項目が含まれている。上から８行目の“Prospect”である項目に含まれる“フィラデルフィア”は、音声認識処理によって、認識された音声に含まれる単語を示し、上から８行目の“Score”である項目に含まれる“0.9987236”は、音声認識処理によって、認識された音声に単語“フィラデルフィア”が含まれる確からしさを示すスコアである。

例えば、上から８行目の“Score”である項目に含まれる“0.9987236”は、音声認識処理によって、単語“フィラデルフィア”が音声から認識された確率（確からしさ）が、99.87236％であることを示す。

上から１０行目の“Location”である項目には、上から１１行目の“Latitude”である項目が含まれる。上から１１行目の“Latitude”である項目に含まれる“35 37 2217 Ｎ”は、環境監視部１６のGPS受信装置１０３によって計測された、情報装置の現在位置の緯度を示す。例えば、上から１１行目の“Latitude”である項目に含まれる“35 37 2217 Ｎ”は、環境監視部１６のGPS受信装置１０３によって計測された、情報装置の現在位置の緯度が北緯３５度３７分２２．１７秒であることを示す。

また、上から１０行目の“Location”である項目には、上から１２行目の“Longitude”である項目が含まれる。上から１２行目の“Longitude”である項目に含まれる“139 44 2383 Ｅ”は、環境監視部１６のGPS受信装置１０３によって計測された、情報装置の現在位置の経度を示す。例えば、上から１２行目の“Longitude”である項目に含まれる“139 44 2383 Ｅ”は、環境監視部１６のGPS受信装置１０３によって計測された、情報装置の現在位置の経度が東経１３９度４４分２３．８３秒であることを示す。

上から１０行目の“Location”である項目には、上から１３行目の“Prospect”である項目および“Score”である項目が含まれている。上から１３行目の“Prospect”である項目に含まれる“二号館Ｂ９会議室”は、画像認識処理によって認識された場所（現在位置の名前）を示し、上から１３行目の“Score”である項目に含まれる“0.2629673”は、画像認識処理によって認識された場所が“二号館Ｂ９会議室”である、認証の確からしさを示すスコアである。

例えば、上から１３行目の“Score”である項目に含まれる“0.2629673”は、画像認識処理によって、場所“二号館Ｂ９会議室”が認識された確率（確からしさ）が、26.29673％であることを示す。

同様に、上から１０行目の“Location”である項目には、上から１４行目の“Prospect”である項目および“Score”である項目が含まれている。上から１４行目の“Prospect”である項目に含まれる“ガンダーラ会議室”は、画像認識処理によって認識された場所（現在位置）を示し、上から１４行目の“Score”である項目に含まれる“0.8659298”は、画像認識処理によって認識された場所が“ガンダーラ会議室”である確からしさを示すスコアである。

例えば、上から１４行目の“Score”である項目に含まれる“0.8659298”は、画像認識処理によって、場所“ガンダーラ会議室”が認識された確率（確からしさ）が、86.59298％であることを示す。

上から１６行目の“Time”である項目に含まれる“03‐08‐29‐16：47”は、日付けおよび時刻を示す。例えば、上から１６行目の“Time”である項目に含まれる“03‐08‐29‐16：47”は、２００３年８月２９日の１６時４７分であることを示す。

図３のフローチャートの説明に戻り、ステップＳ１４において、環境監視部１６は、コンテンツデータを生成し、生成したコンテンツデータをコンテンツ生成部７３に供給する。

例えば、ステップＳ１４において、環境監視部１６は、環境監視部１６のビデオカメラ１０１が撮像した動画像に対応する動画像データを基に、動画像のフレームを構成する静止画像に対応する静止画像データをそのままコンテンツデータとするか、または静止画像データを所定の圧縮率で圧縮してコンテンツデータとすることにより、静止画像であるコンテンツデータを生成し、生成したコンテンツデータをコンテンツ生成部７３に供給する。なお、環境監視部１６は、環境監視部１６のビデオカメラ１０１が撮像した動画像に対応する動画像データを基に、動画像データであるコンテンツデータを生成することも可能である。

ステップＳ１５において、コンテンツ生成部７３のバッファ１１３は、環境監視部１６から供給されたコンテンツデータを一時的に記憶する。

ステップＳ１６において、要求部７２は、コンテンツファイル生成要求の生成の処理を行う。なお、コンテンツファイル生成要求の生成の処理の詳細は、後述するが、コンテンツファイル生成要求の生成の処理において、要求部７２は、認識部７１から供給されたメタ情報を基に、コンテンツファイル生成要求を生成し、生成したコンテンツファイル生成要求をコンテンツ生成部７３に供給する。

ステップＳ１７において、コンテンツ生成部７３は、コンテンツファイルの生成の処理を行う。なお、コンテンツファイルの生成の処理の詳細は、後述するが、コンテンツファイルの生成の処理において、コンテンツ生成部７３は、要求部７２から供給されたコンテンツファイル生成要求を基に、コンテンツファイルを生成する。

ステップＳ１８において、要求部７２は、コンテンツファイル検索要求の生成の処理を行う。なお、コンテンツファイル検索要求の生成の処理の詳細は、後述するが、コンテンツファイル検索要求の生成の処理において、要求部７２は、認識部７１から供給されたメタ情報を基に、コンテンツファイル検索要求を生成し、生成したコンテンツファイル検索要求を検索部７５に供給する。

ステップＳ１９において、検索部７５は、コンテンツファイルの検索の処理を行い、手続きはステップＳ１１に戻り、上述した処理を繰り返す。なお、コンテンツファイルの検索の処理の詳細は、後述するが、コンテンツファイルの検索の処理において、検索部７５は、要求部７２から供給されたコンテンツファイル検索要求を基に、コンテンツファイルを検索する。そして、検索部７５によって、検索されたコンテンツファイルに対応するコンテンツがディスプレイである出力部１８に表示される。

このようにして、情報処理装置は、メタ情報を生成する。情報処理装置は、生成したメタ情報を基に、コンテンツファイルを生成する。また、情報処理装置は、生成したメタ情報を基に、コンテンツファイルを検索し、検索したコンテンツファイルに対応するコンテンツをディスプレイである出力部１８に表示する。

このように、情報処理装置は、ユーザの指示がない場合においても、ユーザの周囲の状況が変化したとき、コンテンツファイルを生成するようにしたので、ユーザが、気付かなかった、手が離せないなどの理由により、コンテンツファイルを生成させることができなかったという事態を避けることができる。また、ユーザは、コンテンツファイルを生成させる旨の指示をすることに気をとられて、その場を楽しむことができないという事態を避けることができる。

また、情報処理装置は、ユーザの指示がない場合においても、ユーザの周囲の状況が変化したとき、ユーザの周囲の状況から連想されるコンテンツファイルを検索し、検索したコンテンツファイルに対応するコンテンツを表示（提示）するようにしたので、ユーザが忘れてしまっている、ユーザの過去の周囲の状況を記録したコンテンツが表示され、ユーザの記憶の想起を促進させることができる。

次に、図７のフローチャートを参照して、図３のステップＳ１６の処理に対応するコンテンツファイル生成要求の生成の処理を説明する。

認識部７１からメタ情報が供給されたので、ステップＳ４１において、要求部７２は、認識部７１から供給されたメタ情報に含まれる、人に関係する情報が変化したか否かを判定する。例えば、ステップＳ４１において、要求部７２は、認識部７１から供給されたメタ情報と、供給されたメタ情報の１つ前に認識部７１から供給されたメタ情報とを比較することにより、図６に示すメタ情報の“Person”である項目に含まれる情報が変化したか否かを判定する。この場合、例えば、メタ情報の“Person”である項目にユーザＡに関係する情報が追加された、ユーザＡのスコアが所定の値を超えたなどの変化がおきたときに、人に関係する情報が変化したと判定される。

ステップＳ４１において、メタ情報に含まれる、人に関係する情報が変化したと判定された場合、情報処理装置の周囲の環境において、新たなユーザが認識されたので、ステップＳ４２に進み、要求部７２の生成要求部１１０は、“フォト”に分類されるコンテンツファイルを生成する旨のコンテンツファイル生成要求を生成する。要求部７２は、生成したコンテンツファイル生成要求をコンテンツ生成部７３に供給し、処理は終了する。この場合、要求部７２の生成要求部１１０は、例えば、図６のメタ情報の“Time”である項目に含まれる時刻を示す情報を含むコンテンツファイル生成要求を生成する。このようにすることで、コンテンツファイルの生成の処理において、処理に要する時間に影響されることなく、メタ情報がまさに変化した時点におけるコンテンツデータをコンテンツファイルとして記録することができる。

一方、ステップＳ４１において、メタ情報に含まれる、人に関係する情報が変化したと判定されなかった場合、情報処理装置の周囲の環境において、新たなユーザが認識されなかったので、ステップＳ４３に進み、要求部７２は、認識部７１から供給されたメタ情報に含まれる、場所に関係する情報が変化したか否かを判定する。例えば、ステップＳ４３において、要求部７２は、認識部７１から供給されたメタ情報と、供給されたメタ情報の１つ前に認識部７１から供給されたメタ情報とを比較することにより、図６に示すメタ情報の“Location”である項目に含まれる情報が変化したか否かを判定する。この場合、例えば、メタ情報の“Location”である項目に場所Ｂに関係する情報が追加された、場所Ｂのスコアが所定の値を超えたなどの変化がおきたときに、場所に関係する情報が変化したと判定される。

ステップＳ４３において、メタ情報に含まれる、場所に関係する情報が変化したと判定された場合、情報処理装置の位置が変わった（情報処理装置が移動した）と認識されたので、ステップＳ４４に進み、要求部７２の生成要求部１１０は、“フォト”に分類されるコンテンツファイルを生成する旨のコンテンツファイル生成要求を生成する。要求部７２は、生成したコンテンツファイル生成要求をコンテンツ生成部７３に供給し、処理は終了する。この場合、要求部７２の生成要求部１１０は、例えば、図６のメタ情報の“Time”である項目に含まれる時刻を示す情報を含むコンテンツファイル生成要求を生成する。

一方、ステップＳ４３において、メタ情報に含まれる、場所に関係する情報が変化したと判定されなかった場合、情報処理装置の位置が移動したと認識されなかったので、ステップＳ４５に進み、要求部７２は、認識部７１から供給されたメタ情報に含まれる、発話に関係する情報が変化したか否かを判定する。例えば、ステップＳ４５において、要求部７２は、認識部７１から供給されたメタ情報と、供給されたメタ情報の１つ前に認識部７１から供給されたメタ情報とを比較することにより、図６に示すメタ情報の“Leitmotif”である項目に含まれる情報が変化したか否かを判定する。この場合、例えば、メタ情報の“Leitmotif”である項目に単語Ｃに関係する情報が追加された、単語Ｃのスコアが所定の値を超えたなどの変化がおきたときに、発話に関係する情報が変化したと判定される。

ステップＳ４５において、メタ情報に含まれる、発話に関係する情報が変化したと判定された場合、情報処理装置の周囲において音声が発話されたと認識されたので、ステップＳ４６に進み、要求部７２の生成要求部１１０は、“サウンド”に分類されるコンテンツファイルを生成する旨のコンテンツファイル生成要求を生成する。要求部７２は、生成したコンテンツファイル生成要求をコンテンツ生成部７３に供給し、処理は終了する。この場合、要求部７２の生成要求部１１０は、例えば、図６のメタ情報の“Time”である項目に含まれる時刻を示す情報を含むコンテンツファイル生成要求を生成する。

一方、ステップＳ４５において、メタ情報に含まれる、発話に関係する情報が変化したと判定されなかった場合、情報処理装置の周囲において音声が発話されたと認識されなかったので、ステップＳ４７に進み、要求部７２は、コンテンツファイルを生成してから所定の期間が経過したか否かを判定する。

ステップＳ４７において、コンテンツファイルを生成してから所定の期間が経過したと判定された場合、ステップＳ４８に進み、要求部７２の生成要求部１１０は、“フォト”に分類されるコンテンツファイルを生成する旨のコンテンツファイル生成要求を生成する。要求部７２は、生成したコンテンツファイル生成要求をコンテンツ生成部７３に供給し、処理は終了する。この場合、要求部７２の生成要求部１１０は、例えば、図６のメタ情報の“Time”である項目に含まれる時刻を示す情報を含むコンテンツファイル生成要求を生成する。

一方、ステップＳ４７において、コンテンツファイルを生成してから所定の期間が経過したと判定されなかった場合、ステップＳ４８の処理は、スキップされ、処理は終了する。

このようにして、要求部７２は、認識部７１から供給されたメタ情報を基に、ユーザの周囲の環境が変化したか否かを判定し、ユーザの周囲の環境が変化したと判定された場合、コンテンツファイルを生成する旨のコンテンツファイル生成要求を生成する。また、ユーザの周囲の環境が変化したと判定されなかった場合、コンテンツファイル生成要求を生成しない。

このように、情報処理装置が、ユーザの周囲の環境を監視し、ユーザの周囲の環境の変化に応じて、コンテンツファイルの生成要求を生成するようにしたので、ユーザは、情報処理装置に対して、コンテンツファイルを生成する旨の指示をする必要がない。

次に、図８のフローチャートを参照して、図３のステップＳ１７の処理に対応するコンテンツファイルの生成の処理を説明する。

要求部７２からコンテンツファイル生成要求が供給されたので、ステップＳ７１において、コンテンツ生成部７３は、要求部７２から供給されたコンテンツファイル生成要求およびコンテンツ生成部７３のバッファ１１３が一時的に記憶しているコンテンツデータを基に、コンテンツファイルを生成する。

より詳細には、ステップＳ７１において、コンテンツ生成部７３は、コンテンツ生成部７３のバッファ１１３が一時的に記憶しているコンテンツデータであって、要求部７２から供給されたコンテンツファイル生成要求に含まれる時刻に環境監視部１６が生成し、環境監視部１６から供給されたコンテンツデータを基に、要求部７２から供給されたコンテンツファイル生成要求によって指定された分類のコンテンツファイルを生成する。

したがって、例えば、要求部７２から供給されたコンテンツファイル生成要求に含まれる時刻を示す情報が、時刻ｔ１であり、コンテンツファイル生成要求が“フォト”に分類されるコンテンツファイルを生成する旨のコンテンツファイル生成要求であった場合、コンテンツ生成部７３は、コンテンツ生成部７３のバッファ１１３が記憶しているコンテンツデータのうち、時刻ｔ１において環境監視部１６によって生成され、環境監視部１６から供給された静止画像データであるコンテンツデータを基に、コンテンツファイルを生成する。

なお、要求部７２からコンテンツファイル生成要求が供給された場合だけを説明したが、要求部７２からコンテンツファイル生成要求が供給されなかった場合、コンテンツ生成部７３は、コンテンツファイルの生成の処理を行わず、処理は終了する。

ステップＳ７２において、コンテンツ生成部７３は、要求部７２から供給されたコンテンツファイル生成要求に含まれる時刻に生成されたメタ情報を認識部７１から取得する。例えば、要求部７２から供給されたコンテンツファイル生成要求に含まれる時刻が時刻ｔ１であった場合、ステップＳ７２において、コンテンツ生成部７３は、時刻ｔ１に生成されたメタ情報を認識部７１から取得する。

ステップＳ７３において、コンテンツ生成部７３は、PIMデータ記録部７７に記録されているスケジュールデータを参照して、認識部７１から取得したメタ情報を基に、所定の形式のメタ情報を生成し、生成したメタ情報およびコンテンツファイルをメタ情報／コンテンツデータベース７４に供給する。

例えば、ステップＳ７３において、コンテンツ生成部７３は、PIMデータ記録部７７に記録されているスケジュールデータを参照して、認識部７１から取得したメタ情報を基に、XML（Extensible Markup Language）形式のメタ情報を生成し、生成したメタ情報およびコンテンツファイルをメタ情報／コンテンツデータベース７４に供給する。

この場合、例えば、コンテンツ生成部７３は、認識部７１から取得したメタ情報に図９に示す項目をさらに含むXML形式のメタ情報を生成する。

“Factor”である項目は、ファイルに含まれる情報を示す情報であり、メタ情報が格納されたファイルであることを示す。“Guide”である項目には、コンテンツファイルを特定するための番号が含まれている。

また、“Filepath”である項目には、コンテンツファイルが記録されるアドレスを示すパスを示す情報が含まれており、“Type”である項目には、コンテンツファイルの分類を示す情報が含まれている。さらに、“event”である項目には、スケジュールデータに含まれる情報が含まれる。

ここで、図１０は、コンテンツ生成部７３が生成したメタ情報のより具体的な一例を示す図である。

図１０に示すメタ情報は、図６に示すメタ情報に“Factor”である項目、“Guide”である項目、“Filepath”である項目、“Type”である項目、および“event”である項目のそれぞれが新たに追加されている。なお、“Person”である項目、“Leitmotif”である項目、“Location”である項目、および“Time”である項目のそれぞれは、図６における場合と同様であり、繰り返しになるので、その説明は省略する。

図中、上から２行目の“Factor”である項目に含まれる、上から３行目乃至２２行目の項目のそれぞれは、メタ情報であることを示している。

また、上から３行目の“Guide”である項目に含まれる“3090B941‐751B‐403f‐A224‐4C4966166983”は、メタ情報に対応するコンテンツファイルを特定するための番号である。上から４行目の“Filepath”である項目に含まれる上から５行目の“d:\EQ‐Data\photo002.jpg”は、メタ情報に対応するコンテンツファイルが記録されているアドレスを示すパスを示し、例えば、ファイル名が“photo002.jpg”であるコンテンツファイルがドライブ“ｄ”のフォルダ“EQ‐Data”に記録されていることを示す。上から６行目の“Type”である項目に含まれる“Photo”は、メタ情報に対応するコンテンツファイルの分類が“フォト”であることを示している。

このように、コンテンツ生成部７３が、“Guide”である項目に含まれるコンテンツファイルを特定するための番号、“Filepath”である項目に含まれるコンテンツファイルが記録されているアドレスを示すパス、および“Type”である項目に含まれるコンテンツファイルの分類のそれぞれの情報を含むようにメタ情報を生成することにより、メタ情報とコンテンツファイルとが関係付けられる。

さらに、上から２１行目の“event”である項目に含まれる“２部１課８月度集会＠Gandhara会議室”は、PIMデータ記録部７７が記録しているスケジュールデータに含まれるユーザのスケジュールであって、上から２２行目の“03‐08‐29‐16:47”で示される時刻におけるユーザのスケジュールを示している。この場合、例えば、ユーザは、２００３年８月２９日の１６時４７分に“Gandhara会議室”において、２部１課の８月度集会があることを示している。

図８のフローチャートの説明に戻り、ステップＳ７４において、メタ情報／コンテンツデータベース７４は、コンテンツ生成部７３から供給されたコンテンツファイルおよびメタ情報を関係付けて記録し、処理は終了する。

このようにして、コンテンツ生成部７３は、コンテンツファイルおよびメタ情報を生成する。また、メタ情報／コンテンツデータベース７４は、コンテンツファイルおよびメタ情報を関係付けて記録する。このように、コンテンツファイルに対応するメタ情報を生成し、コンテンツファイルおよびメタ情報を関係付けて記録することによって、容易にコンテンツファイルを検索することができる。

図１１のフローチャートを参照して、図３のステップＳ１８の処理に対応するコンテンツファイル検索要求の生成の処理を説明する。

認識部７１からメタ情報が供給されるので、ステップＳ１０１において、要求部７２は、認識部７１から供給されたメタ情報に含まれる情報が変化したか否かを判定する。

例えば、ステップＳ１０１において、要求部７２は、認識部７１から供給されたメタ情報と、供給されたメタ情報の１つ前に認識部７１から供給されたメタ情報とを比較することにより、メタ情報に含まれる情報が変化したか否かを判定する。

ステップＳ１０１において、メタ情報に含まれる情報が変化したと判定された場合、ステップＳ１０２に進み、要求部７２の重み算出部１１２は、メタ情報の人に関係する情報に含まれるスコアの総和が１になるように正規化する。

例えば、ステップＳ１０２において、メタ情報の人に関係する情報として、ユーザＡに関係する情報およびユーザＢに関係する情報がメタ情報に含まれている場合、要求部７２の重み算出部１１２は、ユーザＡのスコアおよびユーザＢのスコアの総和が１になるように正規化する。例えば、ユーザＡのスコアが０．４であり、ユーザＢのスコアが０．１である場合、要求部７２の重み算出部１１２によって正規化されたユーザＡのスコアは０．８とされ、正規化されたユーザＢのスコアは、０．２とされる。

ステップＳ１０３において、要求部７２の重み算出部１１２は、メタ情報の場所に関係する情報に含まれるスコアの総和が１になるように正規化する。

例えば、ステップＳ１０３において、メタ情報の場所に関係する情報として、場所Ｄに関係する情報および場所Ｅに関係する情報がメタ情報に含まれている場合、要求部７２の重み算出部１１２は、場所Ｄのスコアおよび場所Ｅのスコアの総和が１になるように正規化する。例えば、場所Ｄのスコアが０．４であり、場所Ｅのスコアが０．１である場合、要求部７２の重み算出部１１２によって正規化された場所Ｄのスコアは０．８とされ、正規化された場所Ｅのスコアは、０．２とされる。

ステップＳ１０４において、要求部７２の重み算出部１１２は、メタ情報の発話に関係する情報に含まれるスコアの総和が１になるように正規化する。

例えば、ステップＳ１０４において、メタ情報の発話に関係する情報として、単語Ｊに関係する情報および単語Ｋに関係する情報がメタ情報に含まれている場合、要求部７２の重み算出部１１２は、単語Ｊのスコアおよび単語Ｋのスコアの総和が１になるように正規化する。例えば、単語Ｊのスコアが０．４であり、単語Ｋのスコアが０．１である場合、要求部７２の重み算出部１１２によって正規化された単語Ｊのスコアは０．８とされ、正規化された単語Ｋのスコアは、０．２とされる。

ステップＳ１０５において、要求部７２は、メタ情報の人に関係する情報が変化したか否かを判定する。例えば、ステップＳ１０５において、要求部７２は、認識部７１から供給されたメタ情報と、供給されたメタ情報の１つ前に認識部７１から供給されたメタ情報とを比較することにより、図６に示すメタ情報の“Person”である項目に含まれる情報が変化したか否かを判定する。この場合、例えば、メタ情報の“Person”である項目にユーザＡに関係する情報が追加された、ユーザＡのスコアが所定の値を超えたなどの変化がおきたときに、人に関係する情報が変化したと判定される。

ステップＳ１０５において、メタ情報の人に関係する情報が変化したと判定された場合、ステップＳ１０６に進み、要求部７２の重み算出部１１２は、人に関係する情報に含まれるスコアに重み係数を掛け合わせ、重みを計算する。

ここで、重み係数とは、予め定められた値であり、コンテンツファイルを検索する場合における、検索キーと他の検索キーとの相対的な優先度を示す値である。例えば、コンテンツファイルを検索するための検索キーとして、“ユーザＡ”よりも“ユーザＢ”を優先させたい場合、“ユーザＡ”の重み係数を１とし、“ユーザＢ”の重み係数を２とすることができる。

したがって、例えば、メタ情報の人に関係する情報に、ユーザＡに関係する情報およびユーザＢに関係する情報が含まれている場合、ステップＳ１０６において、要求部７２の重み算出部１１２は、ユーザＡのスコアに予め定められたユーザＡの重み係数を掛け合わせることによって、ユーザＡの重みを算出し、ユーザＢのスコアに予め定められたユーザＢの重み係数を掛け合わせることによって、ユーザＢの重みを算出する。

また、重み係数は、メタ情報に含まれる情報の変化の度合いに合わせて、変化させることも可能である。例えば、認識部７１から供給されたメタ情報（メタ情報Ａと称する）の人に関係する情報に、ユーザＡに関係する情報およびユーザＢに関係する情報が含まれており、供給されたメタ情報Ａの１つ前に認識部７１から供給されたメタ情報（メタ情報Ｂと称する）の人に関係する情報に、ユーザＡに関係する情報が含まれていた場合、メタ情報Ａには、ユーザＡに関係する情報およびユーザＢに関係する情報が含まれ、メタ情報Ｂには、ユーザＡに関係する情報しか含まれていないので、メタ情報に含まれる情報の変化の度合いは、ユーザＡよりもユーザＢの方が大きい。したがって、例えば、ユーザＡの重み係数を１とし、ユーザＢの重み係数を２とすることができる。

さらに、例えば、メタ情報に含まれる情報処理装置の場所に関係する情報が“新宿”から“渋谷”に変化した場合に、“渋谷”の重み係数を大きくするようにしてもよく、全ての重み係数を１にするようにしてもよい。

ステップＳ１０５において、メタ情報の人に関係する情報が変化していないと判定された場合、ステップＳ１０６の処理は、スキップされ、ステップＳ１０７に進む。

ステップＳ１０７において、要求部７２は、メタ情報の場所に関係する情報が変化したか否かを判定する。例えば、ステップＳ１０７において、要求部７２は、認識部７１から供給されたメタ情報と、供給されたメタ情報の１つ前に認識部７１から供給されたメタ情報とを比較することにより、図６に示すメタ情報の“Location”である項目に含まれる情報が変化したか否かを判定する。この場合、例えば、メタ情報の“Location”である項目に場所Ｄに関係する情報が追加された、場所Ｄのスコアが所定の値を超えたなどの変化がおきたときに、場所に関係する情報が変化したと判定される。

ステップＳ１０７において、メタ情報の場所に関係する情報が変化したと判定された場合、ステップＳ１０８に進み、要求部７２の重み算出部１１２は、場所に関係する情報に含まれるスコアに重み係数を掛け合わせ、重みを計算する。

例えば、メタ情報の場所に関係する情報に、場所Ｄに関係する情報および場所Ｆに関係する情報が含まれている場合、ステップＳ１０８において、要求部７２の重み算出部１１２は、場所Ｄのスコアに予め定められた場所Ｄの重み係数を掛け合わせることによって、場所Ｄの重みを算出し、場所Ｆのスコアに予め定められた場所Ｆの重み係数を掛け合わせることによって、場所Ｆの重みを算出する。なお、重み係数は、メタ情報に含まれる情報の変化の度合いに合わせて、変化させてもよい。

ステップＳ１０７において、メタ情報の場所に関係する情報が変化していないと判定された場合、ステップＳ１０８の処理は、スキップされ、ステップＳ１０９に進む。

ステップＳ１０９において、要求部７２は、メタ情報の発話に関係する情報が変化したか否かを判定する。例えば、ステップＳ１０９において、要求部７２は、認識部７１から供給されたメタ情報と、供給されたメタ情報の１つ前に認識部７１から供給されたメタ情報とを比較することにより、図６に示すメタ情報の“Leitmotif”である項目に含まれる情報が変化したか否かを判定する。この場合、例えば、メタ情報の“Leitmotif”である項目に単語Ｊに関係する情報が追加された、単語Ｊのスコアが所定の値を超えたなどの変化がおきたときに、発話に関係する情報が変化したと判定される。

ステップＳ１０９において、メタ情報の発話に関係する情報が変化したと判定された場合、ステップＳ１１０に進み、要求部７２の重み算出部１１２は、発話に関係する情報に含まれるスコアに重み係数を掛け合わせ、重みを計算する。

例えば、メタ情報の発話に関係する情報に、単語Ｊに関係する情報および単語Ｋに関係する情報が含まれている場合、ステップＳ１１０において、要求部７２の重み算出部１１２は、単語Ｊのスコアに予め定められた単語Ｊの重み係数を掛け合わせることによって、単語Ｊの重みを算出し、単語Ｋのスコアに予め定められた単語Ｋの重み係数を掛け合わせることによって、単語Ｋの重みを算出する。なお、重み係数は、メタ情報に含まれる情報の変化の度合いに合わせて、変化させてもよい。

ステップＳ１０９において、メタ情報の発話に関係する情報が変化していないと判定された場合、ステップＳ１１０の処理は、スキップされ、ステップＳ１１１に進む。

ステップＳ１１１において、要求部７２の重み算出部１１２は、重みの総和が１になるように正規化する。例えば、ユーザＡの重み、ユーザＢの重み、場所Ｄの重み、場所Ｆの重み、単語Ｊの重み、および単語Ｋの重みを算出した場合、ステップＳ１１１において、要求部７２の重み算出部１１２は、ユーザＡの重み、ユーザＢの重み、場所Ｄの重み、場所Ｆの重み、単語Ｊの重み、および単語Ｋの重みの総和が１になるように正規化する。

ステップＳ１１２において、要求部７２の検索要求部１１１は、検索キーおよび要求部７２の重み算出部１１２が算出した検索キーの重みを含むコンテンツファイル検索要求を生成する。要求部７２は、生成したコンテンツファイル検索要求を検索部７５に供給し、処理は終了する。ここで、要求部７２の検索要求部１１１は、メタ情報の人に関係する情報に含まれるユーザの名前、場所に関係する情報に含まれる場所の名前、および発話に関係する情報に含まれる単語を検索キーとして、コンテンツファイル検索要求を生成する。

例えば、ステップＳ１１２において、要求部７２の検索要求部１１１は、図１２に示す検索キーおよび検索キーの重みを含むようにコンテンツファイル検索要求を生成する。そして、要求部７２は、生成したコンテンツファイル検索要求を検索部７５に供給する。

ここで、図１２は、コンテンツファイル検索要求の例を説明する図である。

図１２で示されるコンテンツファイル検索要求の例には、検索キーとして、“ユーザＡ”、“ユーザＢ”、“自宅”、および“夜”が含まれている。また、検索キー“ユーザＡ”、“ユーザＢ”、“自宅”、および“夜”のそれぞれに対して、正規化された“ユーザＡ”の重みは“０．４”であり、正規化された“ユーザＢ”の重みは“０．２”であり、正規化された“自宅”の重みは“０．２”であり、および正規化された“夜”の重みは“０．２”である。

また、ステップＳ１０１において、メタ情報に含まれる情報が変化していないと判定された場合、コンテンツファイル検索要求を生成しないので、ステップＳ１０２乃至１１２の処理はスキップされ、処理は終了する。

このようにして、要求部７２は、コンテンツファイル検索要求を生成する。

このように、検索キーおよび検索キーの重みを含むようにコンテンツファイル検索要求を生成することによって、後段において、検索キーを基に、重み付け検索することが可能となる。

図１３のフローチャートを参照して、図３のステップＳ１９の処理に対応するコンテンツファイルの検索の処理を説明する。

要求部７２からコンテンツファイル検索要求が供給されたので、ステップＳ１４１において、検索部７５は、メタ情報／コンテンツデータベース７４に記録されているメタ情報を参照して、要求部７２から供給されたコンテンツファイル検索要求を基に、コンテンツファイルを重み付け検索する。

例えば、ステップＳ１４１において、検索部７５は、メタ情報／コンテンツデータベース７４に記録されているメタ情報に含まれる情報と、要求部７２から供給されたコンテンツファイル検索要求に含まれる検索キーとの適合度を基に、コンテンツファイルを順位付けすることによりコンテンツファイルを重み付け検索する。

したがって、例えば、図１２に示すコンテンツファイル検索要求を基に、コンテンツファイルを重み付け検索する場合、メタ情報に検索キーが含まれているとき、検索キーの重みに“１”を掛け合わせ、メタ情報に検索キーが含まれていないとき、検索キーの重みに“０”を掛け合わせる。そして、コンテンツファイル検索要求に含まれる全ての検索キーの重みに“１”または“０”を掛け合わせ、“１”または“０”を掛け合わせた検索キーの重み総和をメタ情報に関係付けられたコンテンツファイルの重みとする。

すなわち、“ユーザＡ”に関係する情報および“自宅”に関係する情報を含み、“ユーザＢ”に関係する情報および“夜”に関係する情報を含まないメタ情報に関係付けられたコンテンツファイルの重みは、０．６（（０．４×１）＋（０．２×０）＋（０．２×１）＋（０．２×０））となる。この場合、コンテンツファイルの重みの値が大きいほど、検索キーとの適合度が高く、したがって、順位の高いコンテンツファイルとなる。

なお、メタ情報に検索キーが含まれているとき、検索キーの重みに“１”を掛け合わせると説明したが、検索キーの重みに、メタ情報に含まれる検索キーのスコアを掛け合わせるようにしてもよい。

なお、検索部７５は、要求部７２からコンテンツファイル検索要求が供給されなかった場合、コンテンツファイルの検索の処理を行わず、処理は終了する。

ステップＳ１４２において、検索部７５は、重み付け検索したコンテンツファイルの重みを表示させるデータを生成する。

ステップＳ１４３において、検索部７５は、重み付け検索の結果を基に、メタ情報／コンテンツデータベース７４からコンテンツファイルを取得し、取得したコンテンツファイルおよび生成したコンテンツファイルの重みを表示させるデータを出力制御部７６に供給する。例えば、ステップＳ１４３において、検索部７５は、重み付け検索の結果を基に、最も順位の高いコンテンツファイルから所定の順位までのコンテンツファイルをメタ情報／コンテンツデータベース７４から取得し、取得したコンテンツファイルおよび生成したコンテンツファイルの重みを表示させるデータを出力制御部７６に供給する。

ステップＳ１４４において、出力制御部７６は、検索部７５から供給されたコンテンツファイルおよびコンテンツファイルの重みを表示させるデータを基に、ディスプレイである出力部１８にコンテンツおよびコンテンツファイルの重みを表示させ、処理は終了する。

なお、コンテンツをディスプレイである出力部１８に表示させる場合、対応するコンテンツファイルの重みが大きいコンテンツをディスプレイの中央に表示させたり、大きく表示させたりしてもよい。

また、検索部７５は、入力制御部７８からコンテンツファイルを再検索する旨の再検索要求が供給された場合、メタ情報／コンテンツデータベース７４に記録されているメタ情報を参照して、再検索要求によって指定されたコンテンツファイルに関係付けられたメタ情報に含まれる情報を検索キーとし、検索キーおよび検索キーのスコアを基に、コンテンツファイルを重み付け検索する。なお、検索部７５による再検索の処理は、図１３を参照して説明したコンテンツファイルの検索の処理と同様なので、その説明は省略する。

このようにして、検索部７５は、要求部７２から供給されたコンテンツファイル検索要求を基に、コンテンツファイルを検索する。そして、出力制御部７６は、コンテンツファイルを基に、コンテンツをディスプレイである出力部１８にコンテンツを表示させる。

このように、情報処理装置は、ユーザの周囲の状況から連想されるコンテンツファイルを重み付け検索し、検索されたコンテンツファイルを基に、コンテンツをディスプレイである出力部１８に表示することで、ユーザの記憶の想起を促進させることができる。

以上のように、情報処理装置は、ユーザの周囲の状況に応じて、コンテンツファイルを検索し、ユーザの現在の周囲の状況に応じたコンテンツを提示することができる。

本発明によれば、コンテンツを表示するようにしたので、ユーザは、コンテンツを閲覧することができる。また、本発明によれば、ユーザの周囲の状況を監視し、メタ情報を生成するようにしたので、ユーザの現在の周囲の状況に応じたコンテンツファイルを検索することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４１（フレキシブルディスクを含む）、光ディスク４２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク４３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ４４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１２や、記録部１９に含まれるハードディスクなどで構成される。

なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明に係る情報処理装置の構成を示すブロック図である。 本発明に係る情報処理装置の機能の構成を示すブロック図である。 コンテンツの表示の処理を説明するフローチャートである。 メタ情報に含まれる情報を説明するための図である。 メタ情報に含まれる情報を説明するための図である。 メタ情報を説明するための図である。 コンテンツファイル生成要求の生成の処理を説明するフローチャートである。 コンテンツファイルの生成の処理を説明するフローチャートである。 メタ情報に含まれる情報を説明するための図である。 メタ情報を説明するための図である。 コンテンツファイル検索要求の生成の処理を説明するフローチャートである。 コンテンツファイル検索要求を説明するための図である。 コンテンツファイルの検索の処理を説明するフローチャートである。

符号の説明

１１ ＣＰＵ， １２ ＲＯＭ， １３ ＲＡＭ， １６ 環境監視部， １７ 入力部， １８ 出力部， １９ 記録部， ４１ 磁気ディスク， ４２ 光ディスク， ４３ 光磁気ディスク， ４４ 半導体メモリ， ７１ 認識部， ７２ 要求部， ７３ コンテンツ生成部， ７４ メタ情報／コンテンツデータベース， ７５ 検索部， ７６ 出力制御部， ７８ 入力制御部， １０６ 顔認識部， １０７ 場所認識部， １０８ 音声認識部， １０９ メタ情報生成部， １１０ 生成要求部， １１１ 検索要求部， １１２ 重み算出部， １１３ バッファ

Claims (10)

1. ユーザの周囲の状況を検出し、前記ユーザの周囲の状況を示すデータであるセンシングデータを生成する検出手段と、
   前記センシングデータを基に、前記ユーザの周囲の状況を認識する認識手段と、
   １または複数の前記センシングデータと、前記認識手段によって認識された結果を示す認識情報とを基に、前記ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成するメタ情報生成手段と
   を備えることを特徴とする情報処理装置。
2. 前記センシングデータに対応するデータであって、前記ユーザの周囲の状況を記録したデータであるコンテンツデータを一時的に記憶するコンテンツデータ記憶手段と、
   前記認識情報を基に、前記ユーザの周囲の状況が変化したか否かを判定する判定手段と、
   前記ユーザの周囲の状況が変化したと判定された場合、記憶している前記コンテンツデータを基に、前記ユーザの周囲の状況を記録した静止画像、動画像、または音声を表示または再生させるためのコンテンツファイルを生成するコンテンツファイル生成手段と
   をさらに備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記コンテンツファイルおよび前記メタ情報を関係付けて記録するコンテンツファイル記録手段をさらに備える
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記メタ情報生成手段は、１または複数の前記センシングデータと、前記認識手段によって認識された結果を示す認識情報とを基に、前記認識情報の確からしさを示す情報である確信度情報を含む、前記ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記メタ情報に含まれる、前記認識情報を基に、前記ユーザの周囲の状況が変化したか否かを判定する判定手段と、
   前記確信度情報を基に、前記認識情報の優先度を示す重みを算出する重み算出手段と、
   前記ユーザの周囲の状況が変化したと判定された場合、前記認識情報および前記認識情報の前記重みを基に、前記ユーザの周囲の状況を記録した静止画像、動画像、または音声を表示または再生させるためのコンテンツファイルであって、現在の前記ユーザの周囲の状況に類似した、過去の前記ユーザの周囲の状況を記録したコンテンツファイルを重み付け検索する検索手段と
   をさらに備えることを特徴とする請求項４に記載の情報処理装置。
6. 前記判定手段は、第１のメタ情報に含まれる認識情報と、前記第１のメタ情報の１つ前に生成された第２のメタ情報に含まれる認識情報とを比較し、前記第１のメタ情報に含まれる認識情報の変化を基に、前記ユーザの周囲の状況が変化したか否かを判定し、
   前記重み算出手段は、前記確信度情報および前記認識情報の変化の度合いを基に、前記認識情報の優先度を示す重みを算出する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 検出された前記コンテンツファイルを基に、前記コンテンツファイルに対応する静止画像または動画像を表示する表示手段をさらに備え、
   前記検索手段は、前記表示手段に表示されている静止画像または動画像が、前記ユーザによって選択された場合、選択された前記静止画像または前記動画像に対応するコンテンツファイルを基に、選択された前記静止画像または前記動画像に対応する前記コンテンツファイルに、コンテンツファイルに関係付けられたメタ情報が類似したコンテンツファイルをさらに検索する
   ことを特徴とする請求項５に記載の情報処理装置。
8. 前記検索手段は、検索結果を基に、検索された前記コンテンツファイルの優先度を示す重みをさらに算出し、
   前記コンテンツファイルの前記重みを基に定められる所定の順番で、検索された前記コンテンツファイルに対応する静止画像または動画像を表示する表示手段をさらに備える
   ことを特徴とする請求項５に記載の情報処理装置。
9. ユーザの周囲の状況を検出し、前記ユーザの周囲の状況を示すデータであるセンシングデータの生成を制御する検出ステップと、
   前記センシングデータを基に、前記ユーザの周囲の状況を認識する認識ステップと、
   １または複数の前記センシングデータと、認識手段によって認識された結果を示す認識情報とを基に、前記ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成するメタ情報生成ステップと
   を含むことを特徴とする情報処理方法。
10. ユーザの周囲の状況を検出し、前記ユーザの周囲の状況を示すデータであるセンシングデータの生成を制御する検出ステップと、
    前記センシングデータを基に、前記ユーザの周囲の状況を認識する認識ステップと、
    １または複数の前記センシングデータと、認識手段によって認識された結果を示す認識情報とを基に、前記ユーザの周囲の状況の変化を検知するための構造化されている情報であるメタ情報を生成するメタ情報生成ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images