JP2011086023A - 記憶が曖昧な情報の検索が可能なコンピュータ - Google Patents

Abstract

【課題】コンピュータに格納された曖昧な記憶のファイルの検索を支援する。
【解決手段】所定の時刻ごとにデスクトップ空間画像が生成され、そのときに存在する内部使用データおよび外部入力データからデスクトップ空間画像に対するメタデータが作成される。メタデータは複数のタグデータで構成されており、タグデータの一部は検索対象であるターゲット・ファイルとなる。ターゲット・ファイルを検索する際には、最初に表示された複数のデスクトップ空間画像の中から、ユーザはターゲット・ファイルを連想するものを選択する。選択されたデスクトップ空間画像を表示して、それに関連するメタデータの中からターゲット・ファイルを選択する。デスクトップ空間画像によりターゲット・ファイルに対するユーザの既視感が再現され検索範囲を絞り込むことができる。
【選択図】図２

Description

本発明は、コンピュータに格納された曖昧な情報を検索する技術に関し、さらに詳細には検索対象となる情報に対するユーザの既視感をコンピュータに再現して検索を支援する技術に関する。

今日コンピュータは文書の作成、プレゼンテーション、Ｗｅｂサイトへのアクセス、または、画像や音声の再生などのような多様な目的に利用される。近年、ハードディスク・ドライブ（ＨＤＤ）の容量が飛躍的に増大して、コンピュータに格納されるデータの容量も増大の一途をたどっている。ユーザは過去にアクセスしたファイルにアクセスする場合に、ファイル名やファイルの作成日時などの形式的な情報を覚えていればその検索は容易である。しかし、形式的な情報を思い出せない場合は膨大な情報の中から目的とするファイルを手探りで探していくことになる。これまで、検索対象を絞り込むために、カレンダーを利用する方法があった。この方法ではカレンダーの各日付に登録された情報は日付を基準にして探し出すことができる。

特許文献１は、一度みたインターネット上のサイトを再度検索する場合の時間を短縮する技術を開示する。同文献には、インターネット上にて検索及び閲覧済みのサイトおよび情報を、サムネイル（画像の縮小見本）として一括蓄積し、再度過去検索サイトおよび情報を閲覧可能とし、情報収集の対象となる情報どうしの比較検討作業を簡略化ならしめることが記載されている。特許文献２は、媒体ファイルを高速でブラウジングする技術を開示する。同文献には、時間周期に対し、特定形式の媒体ファイル、アノテーションまたはブックマーク処理された媒体ファイル、または他のユーザ指定のブラウズ可能パラメータをブラウジングするよう構成し、ブラウジングまたはスクローリングファンクションのスピードをユーザの希望に基づき変更できるようにすることが記載されている。

特開２００２−７３６８４号公報 特開２００５−２１６２８５号公報

カレンダーの日付を基準にして検索対象を絞り込む方法は、カレンダーに登録されたデータに関しては有効であるが、検索対象とするファイル（以後、ターゲット・ファイルという。）がつねにカレンダーに登録されているとは限らない。また、日付を覚えていない場合は、ターゲット・ファイルを探すのが困難になる。

人間には、ファイルの名称や作成日時などのような形式的な情報よりもそれに関連するイメージの方が記憶に残しやすいという特質がある。したがって、イメージを通じて特定のファイルを探し出すしくみがあれば、コンピュータの利便性を一層高めることができる。ここで、コンピュータのデスクトップ画面は、その時点でユーザが行っていた作業に対する画像イメージを提供することができる。また、プレゼンテーションを行うための資料の各ページもその場で参加者が発言していた内容に対する画像イメージを提供することができる。ユーザがターゲット・ファイルに感じる既視感をこのような画像イメージとして再現できれば、形式的な情報を覚えていなくても画像イメージを通じてターゲット・ファイルを連想することで検索を容易に行うことができる。

そこで本発明の目的は、コンピュータに格納したターゲット・ファイルを検索する際にユーザを支援するコンピュータ・プログラムを提供することにある。さらに本発明の目的は、ターゲット・ファイルに対するユーザの既視感を画像イメージとしてコンピュータに再現するコンピュータ・プログラムを提供することにある。さらに本発明の目的は、ターゲット・ファイルに対するユーザの既視感を画像イメージとして再現して容易に検索できるようにしたコンピュータを提供することにある。

本発明では、コンピュータに格納されたターゲット・ファイルを検索するために、ターゲット・ファイルに対するユーザの既視感を画像イメージで再現して検索範囲を絞り込むことができる。ユーザがアクセスしたファイルを後に検索するための準備として、時間軸上で発生する複数のイベントが定義される。そしてイベントが生成されたときのデスクトップ空間画像とイベントが生成された時刻から所定の時間内にコンピュータの動作環境として存在する複数のタグデータを含むメタデータとをコンピュータの記録装置に記録していく。メタデータはコンピュータの動作環境を構成する情報である。ターゲット・ファイルを検索する場合は、記録された複数のデスクトップ空間画像を最初に表示する。ユーザは、表示された複数のデスクトップ空間画像のなかからデスクトップ空間画像が生成された時刻近辺で処理していたターゲット・ファイルを連想することができる。

表示された複数のデスクトップ空間画像のなかから、ターゲット・ファイルにアクセスしていたときのコンピュータの動作環境を最も連想させる特定のデスクトップ空間画像をユーザが選択すると、それに関連付けられたメタデータがディスプレイに表示される。そして、メタデータの中からユーザはタグデータを選択するとそれに対応したターゲット・ファイルが実行される。ユーザはターゲット・ファイルの実行により曖昧な記憶として留まっていたターゲット・ファイルを確実に認識することができる。メタデータは、文書作成支援ソフトウエア、プレゼンテーション支援ソフトウエア、Ｗｅｂブラウザ、メーリング・ソフトウエア、表計算ソフトウエア、および動画再生ソフトウエアからなるグループから選択した内部使用データに関するソフトウエアが生成したり、カメラ処理ソフトウエア、マイクロフォン処理ソフトウエア、ＩＰアドレス取得ソフトウエア、および外付けデバイスを制御するソフトウエアからなるグループから選択した外部入力データに関するソフトウエアが生成したりすることができる。

イベントは、表示中のファイルのページが変更されたとき、ソフトウエアが作成したウインドウがアクティブになったとき、マイクロフォンが録音を開始したとき、カメラが画像の撮影を開始したとき、ＩＰアドレスが変更されたとき、およびキーボードから入力があったときからなるグループから選択された要素に基づいて生成することができる。メタデータを記録する際には、前回イベントから今回イベントまでの間にタグデータが更新された場合は更新された最新のタグデータを記録する。なお、今回イベントに基づいてデスクトップ空間画像を記録する際に、前回イベントと今回イベントの間に存在し、今回イベントが生成された瞬間にはコンピュータの動作環境として存在しないタグデータであってもメタデータとして記録する。

デスクトップ空間画像は、複数のデスクトップ空間画像を時系列に配置したサムネール形式で表示するとユーザがターゲット・ファイルを連想し易い。複数のデスクトップ空間画像の中から表示するデスクトップ空間画像を選択する際には、デスクトップ空間画像に書き込まれたアノテーションに基づいて表示するデスクトップ空間画像を抽出してもよい。また表示するデスクトップ空間画像を選択する際には、同一のタグデータが関連付けられた複数のデスクトップ空間画像を抽出したり、複数のタグデータに対してＡＮＤ論理またはＯＲ論理を実行したりして得られたデスクトップ空間画像を抽出したりして行うことができる。

本発明の他の態様では、イベントごとに変化する特定のファイルのファイル画像とイベントが生成された時刻から所定の時間内にコンピュータの動作環境として存在する複数のタグデータとを含むメタデータをイベントごとに記録装置に記録する。検索する場合は、記録された複数のファイル画像を最初に表示する。ユーザは、ファイル画像でターゲット・ファイルに対する既視感を再現することができる。ユーザが表示された複数のファイル画像のなかから最もターゲット・ファイルを連想する特定のファイル画像を選択すると、それに関連するメタデータが表示される。そして、メタデータの中からユーザは特定のタグデータを選択するとそれに対応したターゲット・ファイルが実行される。この場合のイベントは、特定のファイルのページが変更されたときに生成することができる。

本発明により、コンピュータに格納したターゲット・ファイルを検索する際にユーザを支援するコンピュータ・プログラムを提供することができた。さらに本発明により、ターゲット・ファイルに対するユーザの既視感を画像イメージとしてコンピュータに再現するコンピュータ・プログラムを提供することができた。さらに本発明により、ターゲット・ファイルに対するユーザの既視感を画像イメージとして再現して容易に検索できるようにしたコンピュータを提供することができた。

本実施の形態にかかるコンピュータのハードウエアの概略の構成を示す機能ブロック図である。 コンピュータの動作環境の一例を示す図である。 本実施の形態にかかるソフトウエアおよびハードウエアの構成を示す機能ブロック図である。 図２の時刻ｔ１で連想データ作成部が作成したメタデータのデータ構造の一例を示す図である。 連想データを蓄積する手順を示すフローチャートである。 連想データを利用してターゲット・ファイルを検索する手順を示すフローチャートである。 ファイル選択画面の一例を示す図である。 ファイル画像を画像イメージとして利用するときの連想データのデータ構造を示す図である。

図１は、本実施の形態にかかるコンピュータ１０のハードウエアの概略の構成を示す機能ブロック図である。コンピュータ１０は、ノートブック型パーソナル・コンピュータであってもデスクトップ型パーソナル・コンピュータであってもよく特に限定しない。コンピュータ１０は、ＣＰＵ１１、メイン・メモリ１３、ＨＤＤ１５、液晶ディスプレイ（ＬＣＤ）１７、内蔵カメラ１９、内蔵マイクロフォン２１、無線モジュール２３、ＵＳＢポート２５、内蔵スピーカ２７、およびキーボードやマウスなどの入力デバイス２９がバス３１に接続されている。バス３１は、ノース・ブリッジやサウス・ブリッジなどの複数のチップ・セットを含む。ＵＳＢポート２５には、外付けのＬＣＤ、プロジェクタ、マイクロフォン、カメラ、ＨＤＤ、ブルートゥース（Bluetooth：登録商標）・マウス、光学ディスク・ドライブ（ＯＤＤ）、血圧計、歩数計、およびオシロスコープなどの外部デバイスを接続することができる。コンピュータ１０のハードウエアの構成は周知であるため、個々のデバイスの説明は省略する。

図２は、コンピュータ１０の動作環境の一例を示す図である。コンピュータ１０では、ユーザの認識のもとで、あるいはユーザが認識していないところでさまざまなプログラムが実行され実行状態を示す情報の一部はＬＣＤ１７に表示される。ここにプログラムの実行状態を示す情報はコンピュータ１０のその時点での動作環境を構成し、ＣＰＵ１１で実行されているプログラムの種類と表示されるウインドウの表示内容、ＵＳＢポート２５に接続された外部デバイスの種類と動作状況、およびスピーカ２７の音量やＬＣＤ１７の輝度設定のようなハードウエアの設定状態などを含む。

図２には、コンピュータ１０の動作環境の一例として、時刻ｔ０から時刻ｔ４までの間にコンピュータ１０で処理されている内部使用データと外部入力データの時系列的な状態を示している。図２には、内部使用データを処理するアプリケーション・ソフトウエアの一例として、主に文書を作成する文書作成支援ソフトウエア、主にプレゼンテーションに利用するプレゼンテーション支援ソフトウエア、Ｗｅｂサーバにアクセスして文書あるいは画像を閲覧するためのＷｅｂブラウザ、および動画を再生するための動画再生ソフトウエアを示している。この他に内部使用データを処理するアプリケーション・ソフトウエアには、電子メールの送信および受信を行うメーリング・ソフトウエアや表計算を行う表計算ソフトウエアなども含まれる。

また図２には、外部入力データを処理するソフトウエアの一例として、内蔵カメラ１９またはＵＳＢポート２５に接続された外付けカメラからの映像を記録および再生するカメラ処理ソフトウエア、内蔵マイクロフォン２１またはＵＳＢポート２５に接続された外付けマイクロフォンの音声を録音および再生するマイクロフォン処理ソフトウエア、無線モジュール２３が接続するアクセス・ポイントのＩＰアドレスを取得するＩＰアドレス取得ソフトウエア、およびＵＳＢポート２５に接続された血圧計の測定結果を処理する心拍数計測ソフトウエアを示している。この他に外部入力データを処理するソフトウエアとして、ＵＳＢポート２５に接続されるマウスやＯＤＤなどの外付けデバイスを制御するデバイス・ドライバなども含むことができる。

図２には、各ソフトウエアの時刻ｔ０から時刻ｔ４までの実行状態を示している。文書作成支援ソフトウエアは、時刻ｔ１と時刻ｔ３の間にファイル名がａａａ．ｘｙ１のファイルを作成または更新している。プレゼンテーション支援ソフトウエアは、時刻ｔ０と時刻ｔ４の間にファイル名がｂｂｂ．ｘｙ２のファイルをＬＣＤ１７またはＵＳＢポート２５に接続されたプロジェクタに表示している。Ｗｅｂブラウザは、時刻ｔ０から時刻ｔ４までの間に、ファイル名がａ．ｈｔｍｌ〜ｆ．ｈｔｍｌのファイルをＬＣＤ１７表示している。動画再生ソフトウエアは、時刻ｔ０と時刻ｔ１の間にファイル名がｃｃｃ．ｘｙ３のファイルをＬＣＤ１７とスピーカ２７で再生している。

カメラ処理ソフトウエアは、時刻ｔ１と時刻ｔ４の間に映像を撮影し、ファイル名がｄｄｄ．ｘｙ４のファイルとしてＨＤＤ１５に記録している。マイクロフォン処理ソフトウエアは、時刻ｔ０と時刻ｔ３の間に音声を録音し、ファイル名がｅｅｅ．ｘｙ５のファイルとしてＨＤＤ１５に記録している。ＩＰアドレス取得ソフトウエアは、無線モジュール２３が時刻ｔ０と時刻ｔ１の間に接続したアクセス・ポイントのＩＰアドレスとしてａ．ｂ．ｃ．ｄを取得し、時刻ｔ１と時刻ｔ４の間に接続したＩＰアドレスとしてｅ．ｆ．ｇ．ｈを取得している。心拍数計測ソフトウエアは、時刻ｔ０と時刻ｔ１の間に血圧計が測定した心拍数をｎｎｎとして取得している。時刻ｔ０〜ｔ４は、あらかじめ定義されたイベントに基づいて確定され、時刻ｔ１〜時刻ｔ４のタイミングで画像イメージが生成されるが、これについては以下で説明する。

図３は、本実施の形態にかかるソフトウエアおよびハードウエアの構成を示す機能ブロック図である。図３は、ＨＤＤ１５以外はすべてソフトウエアの機能ブロックを示している。図３に示すソフトウエアはＨＤＤ１５に格納されメイン・メモリ１３にロードされてＣＰＵ１１で実行される。各機能ブロックのソフトウエアは、周知のオペレーティング・システム（ＯＳ）および周知のデバイス・ドライバなどと協働して所定の機能を実現する。各機能ブロックは単体のプログラム・モジュールで構成してもよいし、複数の機能ブロックをまとめたプログラム・モジュールで構成してもよい。

空間画像取得部１０１は、イベントが発生したタイミングでＬＣＤ１７に表示されているデスクトップ空間画像を取得する。デスクトップ空間画像は、ＬＣＤ１７に表示するための画像イメージを一時的に記憶するＶＲＡＭが保有している。空間画像取得部１０１は、たとえば入力デバイス２９のPrintScreenキーの押下、マウスのクリック、またはジェスチャー動作でデスクトップ空間画像をキャプチャする周知のプログラムを利用して構成することができる。デスクトップ空間画像は、デスクトップ上でアクティブになっているウインドウだけでなく、ＬＣＤ１７に表示される全体の画像で構成される。空間画像取得部１０１は、連想データ作成部１１５からの指示でデスクトップ空間画像をキャプチャして空間画像記録部１０３に記憶し、デスクトップ空間画像のファイル名とデータ・パスを連想データ作成部１１５に送る。空間画像記録部１０３、内部使用データ記録部１０７、外部入力データ記録部１１１、および連想データ記録部１１７は、ＨＤＤ１５の記憶領域の一部である。

アノテーション作成部１０２は、ユーザがＬＣＤ１７に表示されたデスクトップ空間画像に対して入力デバイス２９によりアノテーションを書き込むための処理をする周知のソフトウエアである。アノテーション作成部１０２がデスクトップ空間画像に書き込んだアノテーションは、書き込まれるたびに空間画像取得部１０１を通じて書き込まれたデスクトップ空間画像に対するタグデータとして連想データ作成部１１５に送られる。たとえば、ユーザがデスクトップ空間画像に表示された特定のソフトウエアのウインドウの特定の文言を線で囲うとその文言は、書き込んだデスクトップ空間画像に対するタグデータとして連想データ作成部１１５に送られる。

内部使用データ処理部１０５は、図２に示した内部使用データに関する周知の複数のソフトウエアを利用して構成されている。内部使用データ処理部１０５は、内部使用データ記録部１０７に記憶された所定のファイルをメイン・メモリ１３に読み出して編集、表示、または再生の処理を行う。内部使用データ処理部１０５は、ユーザが新たにファイルを作成したり編集したりしたときに内部使用データ記録部１０７にそのファイルを記録する。内部使用データ処理部１０５の各ソフトウエアは、メイン・メモリ１３上にロードされてファイルを処理しているときに、処理に関連するタグデータが更新されるたびに連想データ作成部１１５に送る。たとえば、文書作成支援ソフトウエアが処理するファイルのページが図４で説明するタグデータ項目に選定されているときは、内部使用データ処理部１０５は、ページが変更されるたびにそのページ情報を連想データ作成部１１５に送る。

外部入力データ処理部１０９は、図２に示した外部入力データに関する周知のソフトウエアを利用して構成されている。外部入力データ処理部１０９は、外部からコンピュータ１０に入力された画像、音声、ＩＰアドレス、または、外付けデバイスの識別子などに関連する外部入力データを外部入力データ記録部１１１に記録する。外部入力データ処理部１０９は、外部から外部入力データを収集したり、または外部入力データ記録部１１１に記録された外部入力データをＬＣＤ１７およびスピーカ２７で再生したりする。外部入力データ処理部１０９の各ソフトウエアは、メイン・メモリ１３上にロードされてファイルを処理しているときに、処理に関連するタグデータが更新されるたびに連想データ作成部１１５に送る。たとえば、ＩＰアドレス取得ソフトウエアが取得するＩＰアドレスが図４で説明するタグデータ項目に選定されているときは、外部入力データ処理部１０９は、ＩＰアドレスが変更されるたびにそのＩＰアドレスを連想データ作成部１１５に送る。

イベント作成部１１３は、図２の時刻ｔ０〜ｔ４を確定するためのイベントを生成して連想データ作成部１１５に送る。イベントは後にユーザがターゲット・ファイルに関して抱いている既視感を再現するためのデスクトップ空間画像を生成するタイミングを与える。イベントは、デスクトップ空間画像がユーザにターゲット・ファイルに対して最も既視感を与えることができる状態のときに生成することが望ましい。そのようなイベントの一例としては、プレゼンテーション支援ソフトウエアを使ってユーザがプレゼンテーションをしている間にページ操作が行われて新しいページに移行したとき、内部使用データを処理するソフトウエアの中であらかじめ定義した特徴的なウインドウがアクティブになったときを挙げることができる。

さらにイベントは、マイクロフォン２１が録音を開始したとき、カメラ１９が撮影を開始したとき、または無線モジュール２３が接続するアクセス・ポイントのＩＰアドレスが変更されたときに生成することができる。さらにイベントは、コンピュータ１０を使用している間にユーザがアノテーション部１０２を通じてデスクトップ空間画像にアノテーションを書き込んだり、特別に割り当てられたキーを押下したりしたときに生成することができる。ユーザは、後にターゲット・ファイルを思い出すようなときにキーワードになりそうなデスクトップ空間画像上の文言をアノテーションとして選択することができる。

連想データ作成部１１５は、イベント生成部１１３から受け取ったイベントに応じて、その時点でＬＣＤ１７に表示されているデスクトップ空間画像をキャプチャして、空間画像記録部１０３に記憶するように空間画像取得部１０１に指示する。デスクトップ空間画像の実データは、ＢＭＰ、ＪＰＥＧ、またはＴＩＦなどのデータ形式で空間画像記録部１０３に記憶される。連想データ作成部１１５は内部使用データ処理部１０５および外部入力データ処理部１０９から同一のタグデータ項目に対して新しいタグデータが送られてきたときにはそれまで受けっていたタグデータを更新する。

たとえば、図２に示したＷｅｂブラウザが閲覧していたファイルの名称に関するタグデータは、時刻ｔ０から時刻ｔ１までの間に連想データ作成部１１５によりａ．ｈｔｍｌ、ｂ．ｈｔｍｌ、ｃ．ｈｔｍｌと更新される。連想データ作成部１１５は時刻ｔ１でイベント生成部１１３から受け取ったイベントに応じて、キャプチャしたデスクトップ空間画像に対するタグデータを確定し、一連のタグデータを当該デスクトップ空間画像に対するメタデータとして連想データ記録部１１７に記憶する。連想データ作成部１１５は、アノテーション作成部１０２がデスクトップ空間画像に書き込んだアノテーションをタグデータとして、空間画像取得部１０１から受け取りメタデータの一部として連想データ記録部１１７に記録する。デスクトップ空間画像に対するメタデータは、連想データ作成部１１５により複数のタグデータがＸＭＬ（Extensible Markup Language）で関連付けられて作成される。

内部使用データに関するタグデータは、文書作成支援ソフトウエアや文書閲覧ソフトウエアの名称、処理しているファイルの名称、および処理しているページとすることができる。内部使用データに関するタグデータはまたはメーリング・ソフトウエアが処理した電子メールのサブジェクト名、送信または受信時刻、送信者名、または宛先名とすることができる。あるいは内部使用データに関するタグデータは、Ｗｅｂブラウザが閲覧したファイルのＵＲＬや動画再生ソフトウエアの名称、処理しているファイルの名称、開始時刻、および終了時刻とすることができる。

外部使用データに関するタグデータは、カメラ処理ソフトウエアやマイクロフォン処理ソフトウエアの名称、処理しているファイルの名称、開始時刻および終了時刻とすることができる。外部使用データに関するタグデータはまた、マイクロフォンが収集した音声の大きさ、音源の方向とすることもできる。外部使用データに関するタグデータはまた、接続されたネットワークのＩＰアドレス、開始時刻、および終了時刻としたり、ＵＳＢポート２５に接続されたデバイスの名称、開始時刻および終了時刻としたりすることもできる。

図２に基づいて連想データ作成部１１５が作成したメタデータを説明すると、時刻ｔ１、ｔ２、ｔ３、ｔ４でそれぞれファイル名がイメージ＃００１、イメージ＃００２、イメージ＃００３、イメージ＃００４のデスクトップ空間画像の実データまたはボディ部分が空間画像記録部１０３に記録され、そのファイル名とＨＤＤ１５内での記録場所に対するデータ・パスがメタデータの一部として連想データ記録部１１７に記録される。また、イメージ＃００１、イメージ＃００２、イメージ＃００３、イメージ＃００４に対して時刻ｔ０〜ｔ１、時刻ｔ１〜時刻ｔ２、時刻ｔ２〜時刻ｔ３、時刻ｔ３〜時刻ｔ４の間にコンピュータ１０の動作環境として存在していたタグデータがそれぞれのデスクトップ空間画像に関連するメタデータとして連想データ記録部１１７に記録される。各タグデータで示された実データは内部使用データ記録部１０７または外部入力データ記録部１１１に記録される。

検索画面処理部１１９は、ターゲット・ファイルに対する既視感をＬＣＤ１７に再現するためのデスクトップ空間画像をＬＣＤ１７に表示し、さらにターゲット・ファイルを取得するためのファイル選択画面をＬＣＤ１７に表示する。ファイル選択画面は、メタデータだけまたはデスクトップ空間画像とそれに関連するメタデータで構成することができる。検索画面処理部１１９は、空間画像記録部１０３に記録された複数のデスクトップ空間画像を縮小してサムネール形式で表示することができる。検索実行部１２１は、検索画面処理部１１９からの指示に基づいて連想データ記録部１１７を通じて空間画像記録部１０３から複数のデスクトップ画像を検索し、さらに取得した各デスクトップ空間画像に関連するメタデータを連想データ記録部１１７から取得して検索画面処理部１１９に送る。

図４は、図２の時刻ｔ１で連想データ作成部１１５が作成したメタデータのデータ構造の一例を示す図である。メタデータ１５０は、時刻ｔ１で発生したイベントに基づいて作成された複数のタグデータが、ファイル名がイメージ＃００１のデスクトップ空間画像に関連付けられている。メタデータ１５０は空間画像取得部１０１、内部使用データ処理部１０５および外部入力データ処理部１０９からあらかじめ受け取るように定めておいたタグデータ項目に基づいて形式が作成されている。タグデータ項目には、アノテーション、ソフトウエア名、ファイル名、ページ、ＵＲＬ、開始・終了時刻などが含まれる。メタデータ１５０は各タグデータをツリー状に関連付けて構成することができる。たとえば、プレゼンテーション支援ソフトウエアが複数のファイルを処理したときに、ページはそれぞれのファイルの下層に位置するタグデータとして構成することができる。

図２において、文書作成支援ソフトウエアは時刻ｔ０と時刻ｔ１の間で作成、編集または表示がされていないのでタグデータは記録されていない。プレゼンテーション支援ソフトウエアに関するタグデータは時刻ｔ１で表示されていたｂｂｂ．ｘｙ２のファイル名とその時刻に表示されていた１０ページのページ数が記録されている。Ｗｅｂブラウザに関するタグデータは、時刻ｔ０と時刻ｔ１との間で閲覧が更新されたａ．ｈｔｍｌ、ｂ．ｈｔｍｌ、ｃ．ｈｔｍｌのファイルの中で、時刻ｔ１で閲覧されていたｃ．ｈｔｍｌのファイル名が記録されている。

動画再生ソフトウエアに関するタグデータとしては、時刻ｔ０と時刻ｔ１の間で再生されていたｃｃｃ．ｘｙ３のファイル名、開始時刻００：ｂｂ：ｃｃおよび終了時刻００：ｄｄ：ｅｅが記録されている。カメラ処理ソフトウエアは、時刻ｔ０と時刻ｔ１の間で撮影および再生をしていないのでタグデータは記録されていない。マイクロフォン処理プログラムに関するタグデータとしては、時刻ｔ０と時刻ｔ１の間で録音されたｅｅｅ．ｘｙ５のファイル名、録音開始時刻ａａ：ｂｂ：ｃｃおよび時刻ｔ２と時刻ｔ３との間の録音終了時刻ｃｃ：ｄｄ：ｅｅが記録されている。

録音終了時刻は時刻ｔ１の時点では確定しないので、連想データ作成部１１５は、時刻ｔ３の時点でメタデータを作成する際に、外部入力データ処理部１０９または外部入力データ記録部１１１から録音終了時刻を取得してメタデータ１５０に記録する。ＩＰアドレス取得ソフトウエアに関するタグデータとしては、時刻ｔ０と時刻ｔ１の間で無線モジュール２３が接続されていたアクセス・ポイントのａ．ｂ．ｃ．ｄというＩＰアドレスとその開始時刻００：ａａ：ｃｃおよび終了時刻００：ｅｅ：ｆｆが記録されている。内部使用データ記録部１０７および外部入力データ記録部１１１には、タグデータにリンクした実データが記録されており、ＬＣＤ１７に表示されたタグデータを入力デバイス２９で選択すると実データをメイン・メモリ１３にロードすることができる。

つぎにユーザが過去に処理したことがあるとかすかに記憶しているターゲット・ファイルを、デスクトップ空間画像およびメタデータで再現することにより検索を行う手順を説明する。図５は、連想データを蓄積する手順を示すフローチャートで、図６は連想データを利用してターゲット・ファイルを検索する手順を示すフローチャートである。ここに連想データは、イベントごとに作成されたデスクトップ空間画像とそれに関連するメタデータとで構成される。ブロック２０１でコンピュータ１０が動作を開始すると、ブロック２０３でユーザは検索画面処理部１１９がＬＣＤ１７に表示する検索画面を通じて、図４で説明したソフトウエア名、ファイル名、ページ、ＵＲＬ、時刻情報、およびＩＰアドレスのようなタグデータ項目を決定する。

ブロック２０５では、ユーザはさらに検索画面を通じてイベント項目を選定する。ここでは、プレゼンテーション支援ソフトウエアを利用しているユーザが、資料のページを操作するときにイベントが発生するようにイベント生成項目を設定するものとする。イベント項目は１つまたは複数選択することができる。その後ユーザは連想データの収集作業を意識することなく通常通りコンピュータ１０を使用する。

ブロック２０７では、連想データ収集作業の開始のイベントが生成されるまで待機する。連想データ収集作業は、ユーザがキーボード２９の特定のキーを押下したり、特定のプログラムが動作を開始したり、あるいは、コンピュータ１０が特定の外部デバイスの装着を認識したときに開始することができる。ここでは、プレゼンテーション支援ソフトウエアが起動したときに連想データの収集作業を開始するものとする。このようにして図２の時刻ｔ０では、連想データ収集作業が開始される。

ブロック２０９では、連想データ作成部１１５がブロック２０５で選択されたイベント項目に基づいて、メイン・メモリ１３上にＸＭＬのデータ形式で図４に示した構造のメタデータのフォーマットを作成する。そして、ブロック２０３で設定されたタグデータ項目について、内部使用データ処理部１０５から内部使用データに関するタグデータを取得し、外部入力データ処理部１０９から外部入力データに関するタグデータを取得してメイン・メモリ１３に記憶する。連想データ作成部１１５は、同一のタグデータ項目に対して新しいタグデータを受け取ったときはタグデータを更新し、その処理を時刻ｔ０から時刻ｔ１まで継続する。文書作成支援ソフトウエアおよびカメラ処理ソフトウエアは時刻ｔ１までの間は実行されないので、それらに関するタグデータ項目は空のままである。連想データ作成部１１５は、プレゼンテーション支援ソフトウエアのページが操作されるたびに操作された後のページを対応するタグデータ項目に記録する。新たなページが操作されたときには、古いページを上書きして更新する。

連想データ作成部１１５は、Ｗｅｂブラウザが閲覧するＵＲＬが変更されるたびに、そのファイル名を更新しながら対応するタグデータ項目に記憶する。連想データ作成部１１５は、動画再生ソフトウエアが実行したｃｃｃ．ｘｙ３のファイル名、開始時刻および終了時刻を対応するタグデータ項目に記憶する。連想データ作成部１１５は、マイクロフォン処理ソフトウエアのソフトウエア名（ｅｅｅ．ｘｙ５）と録音開始時刻を記憶する。なお、マイクロフォン処理ソフトウエアは、イベントが発生するたびにｅｅｅ．ｘｙ５のファイルに時間タグを付加して、後に検索して実行されるときにイベントが発生する時刻を再生開始時刻または再生終了時刻に設定できるようにする。連想データ作成部１１５は、ＩＰアドレス取得ソフトウエアが取得したＩＰアドレスと接続開始時刻および接続終了時刻を記憶する。連想データ作成部１１５は、空間画像取得部１０１から受け取ったアノテーションを記憶する。

ブロック２１１では、プレゼンテーション支援ソフトウエアのページが操作されたことにより時刻ｔ１でイベント生成部１１３がイベントを生成する。ブロック２１３では、連想データ作成部１１５はイベントの生成に応じて空間画像取得部１０１に、その時点でＬＣＤ１７に表示されているデスクトップ空間画像をキャプチャして空間画像記録部１０３に記録するように指示する。連想データ作成部１１５は同時に空間画像取得部１０１からキャプチャされたデスクトップ空間画像のファイル名（イメージ＃００１）とそのデータ・パスを取得し、メタデータの一部としてメイン・メモリ１３に記憶する。そして、ブロック２１５では連想データ作成部１１５が、時刻ｔ１におけるイメージ＃００１のデスクトップ空間画像に関連するメタデータを確定して連想データ記録部１１７に記録する。

ブロック２１７では連想データ作成部１１５が連想データ収集作業を終了したか否かを検索画面生成部１１９が判断する。連想データ収集作業の終了のイベントは、ブロック２０７の開始のイベントに対応させて同一のソフトウエアの状態の変化により生成することができる。時刻ｔ４まではブロック２１７からブロック２０９に戻って連想データが同様の手順で連想データ記録部１１７に記録される。ブロック２１７で時刻ｔ４に到達したときにプレゼンテーション支援ソフトウエアが終了するとブロック２１９で連想データ収集作業終了イベントが生成されて連想データの収集作業が終了する。ブロック２０３とブロック２０５でタグデータ項目とイベント項目を初期設定しておけば、以後ユーザは何ら意識しないでもブロック２０７からブロック２１９までの手順が自動的に実行され、ユーザが通常の作業を行っている間に連想データは蓄積されていく。

つぎに、蓄積された連想データを利用して曖昧に記憶しているターゲット・ファイルを検索する手順を説明する。ユーザは過去にターゲット・ファイルを作成したり、利用したりしたことを漠然と覚えているが、それをＨＤＤ１５から検索するために必要なファイル名または利用の日時を思い出せない場合がある。たとえば、ユーザはある話し手が過去に話していた特定の内容を録音したことだけをかすかに記憶しており、それをターゲット・ファイルとして検索したいとする。ユーザは録音したときのデスクトップ空間画像は記憶している可能性が高いので、本実施の形態ではターゲット・ファイルに対する既視感を、デスクトップ空間画像とメタデータからなる連想データを通じて具現化しターゲット・ファイルの検索範囲を絞り込んでいく。

ブロック３０１でコンピュータ１０が動作を開始すると、ユーザはブロック３０３で、検索画面処理部１１９がＬＣＤ１７に提供する検索画面を通じて空間画像記録部１０３に記録されたデスクトップ空間画像を検索する。ユーザは、自ら書き込んだアノテーション、マイクロフォン処理ソフトウエアにより録音した時期として考えられる一定の期間、そのときに使用していたと記憶していた他のソフトウエアの名称などの広範囲な検索条件を検索画面に入力する。検索画面生成部１１９は入力された検索条件を検索実行部１２１に指示する。

検索実行部１２１は検索条件に該当する複数のデスクトップ空間画像を連想データ記録部１１７から検索して、それらを空間画像記録部１０３から抽出して検索画面処理部１１９に送る。ブロック３０５で検索画面処理部１１９は、受け取った複数のデスクトップ空間画像を縮小された複数の空間画像が時系列で配置されたサムネール形式でＬＣＤ１７に表示する。ブロック３０７でユーザは複数のデスクトップ空間画像の中から録音したときの画像イメージに抱く既視感に基づいて特定のデスクトップ空間画像を選択する。サムネール形式のデスクトップ空間画像が時系列に一画面に配置されていることで、ユーザはコンピュータ１０で過去に体験した動作環境を一層思い出しやすくなる。

ここで、ユーザが図２の時刻ｔ１で作成されたファイル名がイメージ＃００１のデスクトップ空間画像を選択するものとする。この選択の過程において、ユーザのターゲット・ファイルに対するなんとなく録音の記憶があるという既視感を、現実に録音したときに表示されていたデスクトップ空間画像を通じて鮮明にして、ターゲット・ファイルの検索を支援することができる。ユーザが選択した特定のデスクトップ空間画像が検索画面処理部１１９から検索実行部１２１に通知され、検索実行部１２１は連動データ記録部１１７から対応するメタデータを取得して検索画面処理部１１９に送る。

ブロック３０９では選択された特定のデスクトップ空間画像とそれに対応するメタデータからなる連想データが、検索画面処理部１１９によりファイル選択画面としてＬＣＤ１７に表示される。図７にファイル選択画面の一例を示す。検索画面処理部１１９により生成されＬＣＤ１７に表示されたファイル選択画面のウインドウ１６１の中には、イメージ＃００１のデスクトップ空間画像１６３と動画再生ソフトウエアとファイル名ｃｃｃ．ｘｙ３のファイルを明示するアイコン１６９、ＩＰアドレス取得ソフトウエアとＩＰアドレスを明示するアイコン１７１、および心拍数計測ソフトウエアと心拍数ｎｎｎを明示するアイコン１７５が表示されている。アイコン１６９、１７１、１７５は、イメージ＃００１のデスクトップ空間画像が生成された時刻ｔ１の瞬間にはコンピュータ１０の動作環境に存在しないタグデータを表示するために作成されたものである。

その他のタグデータは時刻ｔ１において、プレゼンテーション支援ソフトウエアが作成したウインドウ１６５、Ｗｅｂブラウザが作成したウインドウ１６７、マイクロフォン処理ソフトウエアが作成したウインドウ１６８、およびアノテーション部１０２を通じてユーザが書き込んだアノテーション１７３としてデスクトップ空間画像１６３に表示される。ブロック３１１でユーザはウインドウ１６１が含むタグデータの中からターゲット・ファイルと想定したウインドウ１６８を選択する。ターゲット・ファイルは、メタデータの中から選択することになる。

ウインドウ１６８はＨＤＤ１５に格納された開始時刻ａａ：ｂｂ：ｃｃから終了時刻ｃｃ：ｄｄ：ｅｅまでの音声ファイルｅｅｅ．ｘｙ５にリンクしており、入力デバイス２９で選択するとブロック３１３で時刻ａａ：ｂｂ：ｃｃから時刻ｔ０まで録音された音声が再生される。もし時刻ｔ２のデスクトップ空間画像（イメージ＃００２）とウインドウ１６８が選択されたときは時刻ｔ１から時刻ｔ２まで録音された音声が再生され、時刻ｔ３のデスクトップ空間画像（イメージ＃００３）とウインドウ１６８が選択されたときは、時刻ｔ２から時刻ｃｃ：ｄｄ：ｅｅまで録音された音声が再生される。本実施の形態における検索は、ユーザがターゲット・ファイルの名称や作成日時を記憶していない場合に行われるため、ターゲット・ファイルを認識するためにはユーザは実際に当該ファイルを実行して内容を確認する必要がある。

ブロック３１５でユーザは、その音声を聞いてファイル名がｅｅｅ．ｘｙ５のファイルがターゲット・ファイルであるか否かを判断し、ターゲット・ファイルであると判断した場合はブロック３２３で検索を終了する。ターゲット・ファイルでないと判断した場合は、ブロック３１７に移行してブロック３０５で表示されたサムネールを変更する必要があるか否かを判断する。変更する必要がないと判断したときは、ブロック３０７に移行して、他のデスクトップ空間画像を選択し同様の手順を繰り返す。ブロック３０３で入力したアノテーション、期間、またはファイル名を変更する必要があると判断したときは、ブロック３０３に移行して同様の手順を繰り返す。

ユーザはターゲット・ファイルを録音したときに特定のファイルを同時に使用していたと感じることがある。その場合はブロック３０３、３０５で、当該特定のファイルをタグデータとしてメタデータに含むデスクトップ空間画像だけを選択して表示することもできる。デスクトップ空間画像を同一のタグデータで絞り込むことで、ターゲット・ファイルを検索することが容易になる。たとえば、ユーザがターゲット・ファイルにＷｅｂブラウザが表示したｅ．ｈｔｍｌのファイルが最も関連すると判断したときは当該ファイルをメタデータに含むデスクトップ空間画像だけをサムネールとして表示することができる。

また、複数のタグデータにＡＮＤ検査またはＯＲ検索を実行してターゲット・ファイルに関連するデスクトップ空間画像を選択することもできる。たとえば、ユーザがターゲット・ファイルを録音したときに動画再生ソフトウエアのファイルとプレゼンテーション支援ソフトウエアのファイルのいずれかを同時に実行していた可能性が高いと判断すれば、２つのファイル名をタグデータとするデスクトップ空間画像をＯＲ検索することができる。このように単一のタグデータまたは複数のタグデータに基づいて、デスクトップ空間画像を検索することで、検索の範囲を効果的に絞り込むことができる。

これまで検索の連想データとしてデスクトップ空間画像を利用する方法を説明したが、連想データとして特定のタグデータに対応するファイルのページごとのファイル画像を利用する方法もある。たとえば、プレゼンテーション支援ソフトウエアの特定のファイルに対するページ操作があるたびに変化したページを示すファイル画像に関連するメタデータを連想データ作成部１１５が作成することで、ページごとのファイル画像をデスクトップ空間画像に置き換えることができる。図８は、ファイルを画像イメージとして利用するときの連想データのデータ構造を説明する図である。連想データ４０１は、プレゼンテーション支援ソフトウエアのページ４０３ごとにタグデータ４０５が関連付けられており、ファイル選択画面には、検索画面処理部１１９によりサムネール形式で複数のページのファイル画像が表示される。ユーザがいずれかのページのファイル画像を選択すると、ファイル選択画面には選択されたファイル画像とそれに関連するタグデータのアイコンが表示される。ユーザは、ページごとのファイル画像とターゲット・ファイルの関連を連想して、検索範囲を絞り込むことができる。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

１５０…メタデータ
１６１…ファイル選択画面のウインドウ
１６３…デスクトップ空間画像
１６５…プレゼンテーション支援ソフトウエアが作成したウインドウ
１６７…Ｗｅｂブラウザが作成したウインドウ
１６８…マイクロフォン処理ソフトウエアが作成したウインドウ
１６９…動画再生ソフトウエアのアイコン
１７１…ＩＰアドレス取得ソフトウエアのアイコン
１７３…アノテーション

Claims (14)

1. コンピュータに格納されたターゲット・ファイルを検索するために、前記コンピュータに、
   複数のイベントを生成するステップと、
   前記イベントが生成されたときのデスクトップ空間画像と前記イベントが生成された時刻から所定の時間内に前記コンピュータの動作環境として存在する複数のタグデータを含むメタデータとを前記イベントごとに記録するステップと、
   前記記録された複数のデスクトップ空間画像を表示するステップと、
   前記表示された複数のデスクトップ空間画像のなかから選択された特定のデスクトップ空間画像に関連する前記メタデータを表示するステップと、
   前記表示されたメタデータの中から選択されたタグデータに対応する前記ターゲット・ファイルを実行するステップと
   を有する処理を実行させるコンピュータ・プログラム。
2. 前記メタデータが、文書作成支援ソフトウエア、プレゼンテーション支援ソフトウエア、Ｗｅｂブラウザ、メーリング・ソフトウエア、表計算ソフトウエア、および動画再生ソフトウエアからなるグループから選択されたいずれか１つまたは複数の要素により生成された内部使用データを含む請求項１に記載のコンピュータ・プログラム。
3. 前記メタデータが、カメラ処理ソフトウエア、マイクロフォン処理ソフトウエア、ＩＰアドレス取得ソフトウエア、および外付けデバイスを制御するソフトウエアからなるグループから選択されたいずれか１つまたは複数の要素により生成された外部入力データを含む請求項１または請求項２に記載のコンピュータ・プログラム。
4. 前記イベントが、表示中のファイルのページが変更されたとき、ソフトウエアが作成したウインドウがアクティブになったとき、マイクロフォンが録音を開始したとき、カメラが画像の撮影を開始したとき、ＩＰアドレスが変更されたとき、およびキーボードから入力があったときからなるグループから選択されたいずれか１つまたは複数の要素に基づいて生成される請求項２または請求項３に記載のコンピュータ・プログラム。
5. 前記メタデータを記録するステップが、前回イベントから今回イベントまでの間に更新されたタグデータを記録するステップを含む請求項１から請求項４のいずれかに記載のコンピュータ・プログラム。
6. 前記デスクトップ空間画像を表示するステップが、複数のデスクトップ空間画像を時系列に配置したサムネール形式で表示するステップを含む請求項１から請求項５のいずれかに記載のコンピュータ・プログラム。
7. 前記デスクトップ空間画像を表示するステップが、前記デスクトップ空間画像に書き込まれたアノテーションに基づいて選択された前記デスクトップ空間画像を抽出するステップを含む請求項１から請求項６のいずれかに記載のコンピュータ・プログラム。
8. 前記デスクトップ空間画像を表示するステップが、同一の前記タグデータが関連付けられた複数の前記デスクトップ空間画像を抽出するステップを含む請求項１から請求項７のいずれかに記載のコンピュータ・プログラム。
9. 前記デスクトップ空間画像を表示するステップが、複数の前記タグデータに対してＡＮＤ論理またはＯＲ論理を実行して前記デスクトップ空間画像を抽出するステップを含む請求項１から請求項８のいずれかに記載のコンピュータ・プログラム。
10. コンピュータに格納されたターゲット・ファイルを検索するために、前記コンピュータに、
    イベントごとに変化する特定のファイルのファイル画像と前記イベントが生成された時刻から所定の時間内に前記コンピュータの動作環境として存在する複数のタグデータを含むメタデータとを前記イベントごとに記録するステップと、
    前記記録され複数のファイル画像を表示するステップと、
    前記表示された複数のファイル画像のなかから選択された特定のファイル画像に関連する前記メタデータを表示するステップと、
    前記表示されたメタデータの中から選択されたタグデータに対応するターゲット・ファイルを実行するステップと
    を有する処理を実行させるコンピュータ・プログラム。
11. 前記イベントが、前記特定のファイルのページが変更されたときに生成される請求項１０に記載のコンピュータ・プログラム。
12. ターゲット・ファイルを含む複数のファイルを格納した記録装置とディスプレイを備えるコンピュータであって、
    複数のイベントを生成するイベント生成部と、
    前記ディスプレイに表示されたデスクトップ空間画像と該デスクトップ空間画像に関連する複数のタグデータを含むメタデータとを前記イベントごとに前記記録装置に記録する連想データ作成部と、
    複数の前記デスクトップ空間画像を前記ディスプレイに表示し、表示された前記デスクトップ空間画像のなかから選択された特定の前記デスクトップ空間画像に関連するタグデータを含むファイル選択画面を前記ディスプレイに表示し、前記ファイル選択画面から選択されたタグデータに対応する前記ターゲット・ファイルを実行する検索画面処理部と
    を有するコンピュータ。
13. 前記ファイル選択画面は、前記特定のデスクトップ空間画像を含む請求項１２に記載のコンピュータ。
14. ターゲット・ファイルを含む複数のファイルを格納した記録装置とディスプレイを備えるコンピュータであって、
    複数のイベントを生成するイベント生成部と、
    前記ディスプレイに表示された特定のファイルの前記イベントごとに変化するファイル画像と該ファイル画像に関連する複数のタグデータを含むメタデータとを前記イベントごとに前記記録装置に記録する連想データ作成部と、
    複数の前記ファイル画像を前記ディスプレイに表示し、表示された前記ファイル画像のなかから選択された特定の前記ファイル画像に関連するタグデータを含むファイル選択画面を前記ディスプレイに表示し、前記ファイル選択画面から選択されたタグデータに対応する前記ターゲット・ファイルを実行する検索画面処理部と
    を有するコンピュータ。

Images