JP2010092116A - コンテンツ可視化装置およびコンテンツ可視化方法 - Google Patents

Abstract

【課題】コンテンツ間の関連度を可視化するコンテンツ可視化装置を提供する。
【解決手段】ユーザのコンテンツ操作時に発生したアプリケーションやＯＳのイベント情報（コンテンツの利用時間、アクセス回数、マウス・キーボード利用回数等）からコンテンツ毎に複数のコンテンツ操作履歴を分類・算出する。そして、操作の種類が異なるコンテンツにおいてコンテンツ操作履歴を統合し，全てのコンテンツに対して統一的な操作度（コンテンツを弄った量）を算出する。そして、この操作度を利用したコンテンツ同士の操作量の近さと、コンテンツにアクセスした時間の近さから、コンテンツ間の関連度を動的に算出し、コンテンツ間の関連度を可視化する。
【選択図】図１

Description

本発明は、情報端末上における大量のコンテンツを効率よく閲覧するための、コンテンツ可視化装置およびコンテンツ可視化方法に関する。

近年、情報端末内にある大量のコンテンツの管理については、ユーザが手動で分類する事や、コンテンツの作成日時・更新日時、場所毎に階層化することが行われている。しかし、ユーザの手動による分類では手間がかかり、また、階層化による分類では、分類Aにも分類Bにも該当するコンテンツが存在し、階層化には限界があった。

そこで、自動的にコンテンツ間の関連度を算出し、可視化するコンテンツ管理手法が提案されている（例えば、特許文献１参照。）。これは、関連度を算出するアプローチとして、コンテンツ内のデータを解析し、似た文字やデータを判定し、コンテンツ間の関連度を算出するものである。すなわち、ライフログを元にしたファイルの連想検索であって、ライフログで記録された単語を解析し、その単語に関連する上位概念の単語を算出する。そして、その単語に関連付けられたテキストや写真などのファイルを検索するものである。

また、コンテンツのテキストデータを基に特徴ベクトルを生成し、この特徴ベクトルの近いもの同士をグルーピング化して二次元状にマッピングする手法も提案されている(例えば、特許文献２参照。）。

関連度算出におけるその他のアプローチとして、増井俊之氏によって近傍検索、一覧表示及びサムネイル表示機能をもつデータリンクソフトウェアの開発が行われている。増井俊之氏によるNeighbor Questの研究では、コンテンツのメタデータ（ディレクトリ構造、作成・更新日時、属性など）を検索キーとして使う近傍検索の手法が提案されている。

また、マイクロソフト社の表計算ソフトであるMicrosoft Excel（登録商標）では、カラーバブルチャートという機能を利用して、コンテンツの属性を縦軸・横軸・円の大きさでデータを可視化することができる。

基準時間、基準場所、基準カテゴリのどれか一つを固定し他の軸をずらす事が可能な表示制御手法が提案されている(例えば、特許文献３参照。）。

また、基準とするアーティスト名の周りに関連するアーティストグループを表示する手法も提案されている(例えば、特許文献４参照。）。
特開2007-272485号公報 特開2004-178605号公報 特開2004-185535号公報 特開2007-294037号公報

しかしこれらの提案は、コンテンツの類似性により、似た内容のコンテンツを特定できるが、あるコンテンツを使っている時によく参照したコンテンツ等、使い方が似ているコンテンツを探し出せなかった。また、既存の近傍検索研究では、コンテンツに対する複数のメタデータを算出し、共通の操作方法を持つコンテンツをこのメタデータを利用し関連付ける事を行っているが、操作方法の異なる複数のコンテンツを関連付ける手法について述べていない。

上記した、Microsoft Excel（登録商標）では、基準コンテンツを中心として関連するコンテンツを配置することは行っておらず、重なって表示された複数のコンテンツを別ウィンドウなどで一覧表示するような機能を持っていない。

また、特許文献３では、基準となる軸に関連するコンテンツを表示することはできるが、コンテンツ間の関連度を可視化できない。

しかし、特許文献４による可視化手法も関連度の度合いを表示することを行っていない。

そこで、本発明は、上記問題に鑑みてなされたもので、コンテンツ同士の関連度の強さを可視化が可能なコンテンツ可視化装置およびコンテンツ可視化方法を提供することを目的とする。

本発明の一態様によれば、コンテンツを操作する際の操作指令を入力するための入力装置と、コンテンツが操作される際のイベントを基に、各コンテンツに対するコンテンツ操作履歴を取得する操作情報取得部と、この操作情報取得部で取得されたコンテンツ操作履歴をデータベースとして記録するユーザ操作履歴データベースと、前記コンテンツ操作履歴を基に、前記コンテンツの起動毎に単位の異なる複数のコンテンツ操作履歴を１つの指標として統合し、種類の異なるコンテンツに対して統一的な前記コンテンツが操作された量を操作度とし、選択されたコンテンツを基準コンテンツとしたとき、前記コンテンツが操作された時刻が基準コンテンツの操作時刻とどれだけ近いかを意味する相対的な時間関連度RTRと、操作された量が基準コンテンツの操作量とどれだけ近いかを意味する相対的な操作関連度RSRを基に定義される関連度をコンテンツ間で算出する関連度算出部と、選択された基準コンテンツを表示画面の中心に配置し、基準コンテンツに対する各コンテンツの前記関連度の強さに応じて各コンテンツを配置して表示する関連度マップを生成する関連度マップ表示部と、前記生成された関連度マップを表示する出力装置を備えたことを特徴とするコンテンツ可視化装置が提供される。

本発明の別の一態様によれば、コンテンツが操作される際のイベントを基に、コンテンツ操作履歴を取得し、前記取得したコンテンツ操作履歴を記録し、前記コンテンツの起動毎に単位の異なる複数のコンテンツ操作履歴を１つの指標として統合し、種類の異なるコンテンツに対して統一的な前記コンテンツが操作された量である操作度を算出し、選択されたコンテンツを基準コンテンツとしたとき、前記コンテンツが操作された時刻が基準コンテンツの操作時刻とどれだけ近いかを意味する相対的な時間関連度RTRと、操作された量が基準コンテンツの操作量とどれだけ近いかを意味する相対的な操作関連度RSRを基に定義される関連度をコンテンツ間で算出し、選択された前記基準コンテンツを表示画面の中心に配置し、基準コンテンツに対する各コンテンツの前記関連度の強さに応じて各コンテンツを配置して表示することを特徴とするコンテンツ可視化方法が提供される。

本発明によれば、コンテンツの中身を解析する手間やユーザの恣意的なコンテンツ分類の手間を軽減し、ユーザが選択したコンテンツに関連度の強いコンテンツを動的にかつ連想的に可視化できる。

以下、本発明の実施の形態について図面を参照しながら説明する。各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。

図１は、本発明の実施形態に係るコンテンツ可視化装置の概略構成を示すブロック図である。本発明の実施形態に係るコンテンツ可視化装置は、コンテンツ同士の関連度を、相対的な時間関連度、相対的な操作量関連度という特徴ある指標に基づき、或るコンテンツに対して関連の強いコンテンツを、関連度マップ上に、可視可能に表示させるものである。相対的な時間関連度は、ユーザが操作した時刻が近いかとの観点からの指標であり、相対的な操作量関連度は、ユーザが操作した量が近いかとの観点からの指標である。関連度、関連度マップのいずれも、詳細については後述する。本発明の実施形態に係るコンテンツ可視化装置で対象となるコンテンツの種類は、特段の制限はない。図２に示すように、テキストコンテンツ（例えば、TXTファイル、DOCファイル、 XLSファイル、PPTファイル等）、メール（例えば、EMLファイル等）、メディアコンテンツ（例えば、MP3ファイル、WAVファイル、AIFFファイル、AVIファイル、MPEGファイル等）、画像コンテンツ(例えば、JPGファイル、BMPファイル等）、ウェブコンテンツ（例えば、HTMLファイル等）、携帯電話等の通信履歴（例えば、通話履歴、メッセンジャーログ等）等、幅広いものである。尚、コンテンツの表示は、図２に示すようなコンテンツアイコンを使用する他に、コンテンツ作成時のサムネイルを利用することもできる。

コンテンツ可視化装置１００は、入力装置１０、操作情報取得部２０、ユーザ操作履歴データベース(以下、ユーザ操作履歴ＤＢという)３０、関連度算出部４０、関連度マップ表示部５０、表示制御部６０、出力装置７０から構成されている。このうち、操作情報取得部２０、ユーザ操作履歴ＤＢ３０、関連度算出部４０、関連度マップ表示部５０、表示制御部６０の各部は、例えば各処理プログラムの形態として構築することができる。また、コンテンツ可視化装置１００を例えば、情報端末装置として組み立てる場合には、図示しない記憶部やプロセッサを具備させることもできる。

まず、各部を簡潔に説明して、その後、各部における制御等について詳述する。入力装置１０は、例えばマウスやキーボードで構成され、ユーザがコンテンツを操作する際の操作指令を入力するものである。

操作情報取得部２０は、ユーザがコンテンツを操作した際にOS、アプリケーションから生じるイベント情報を基に、各コンテンツに対するコンテンツ操作履歴を取得するものである。イベント情報は、コンテンツの起動や、マウス操作の際のマウスイベント、キー入力等の情報が挙げられる。図３により、イベント情報の取得について説明する。図３に示すように、コンテンツＡ、コンテンツＢは、アプリケーションの基で起動、再生等が管理され、コンテンツＣ、コンテンツＤは、別のアプリケーションの基で起動、再生等が管理されている。そして、各アプリケーションは、ＯＳオペレーティングシステムの基で、動作している。例えば、ユーザがコンテンツＡを起動し、その内容に対して修正を加えた後、コンテンツＡを終了させる場合、ユーザによるそれぞれの操作、すなわちイベント情報は、ＯＳやアプリケーションを介して起動から終了まで一連のイベント情報を纏め、コンテンツAのコンテンツ操作履歴として操作情報取得部２０に収集、取得される。

ユーザ操作履歴ＤＢ３０は、操作情報取得部２０で取得されたコンテンツ操作履歴をデータベースとして記録するものである。ユーザ操作履歴ＤＢ３０は、例えばＳＱＬのような関係データベースの形態で構築することができる。

ユーザ操作履歴ＤＢ３０は、例えば、コンテンツ操作履歴テーブルとコンテンツ操作履歴の重み情報を記録するテーブルの二つから構成される。コンテンツ操作履歴テーブルには、例えば図４に示すように、各コンテンツの起動時刻、各コンテンツの終了時刻、コンテンツ利用時間、フォアグランドでのアクセス回数（以下、FG回数という）、マウス利用回数、キーボード利用回数、操作度等が記録される。

コンテンツ操作履歴の重み情報を記録する重み情報テーブルは、例えば図５に示すように、コンテンツ操作履歴であるコンテンツ操作名、コンテンツ利用時間、ＦＧ回数、マウス利用回数、キーボード利用回数等に対して、それぞれ重み値Ｗ_１、Ｗ_２、Ｗ_３、Ｗ_４を関係付けしている。重み値は、コンテンツ操作に対して、ユーザが情報端末上で適宜付与することができる。例えば、WEBドキュメントやメールを閲覧する際、選択文字列の反転をしながらよく読むユーザの場合であれば、マウスの利用回数について操作情報の重み値Ｗ_ｉを高く設定する事で、このユーザの嗜好を反映できる。デフォルトでは、コンテンツの重み情報全てに1が代入されるように、同じ値であってもよい。ユーザが選択したコンテンツに対して、より関連度の強いコンテンツが浮かび上がってくるように、重み値を変えることが好適である。

関連度算出部４０は、ユーザ操作履歴ＤＢ３０に記録されたコンテンツ操作履歴テーブルとコンテンツ操作履歴の重み情報を記録した重み情報テーブルの値に基づいて、後述する関連度を算出するものである。

関連度マップ表示部５０は、関連度算出部４０で算出された関連度を受け取り、後述する関連度マップを生成するものである。

表示制御部６０は、入力装置１０からの指令に基づいて、関連度マップ表示部５０で生成された関連度マップに関する情報を出力装置７０で表示させるように制御するものである。

出力装置７０は、例えばPCや携帯端末装置のディスプレイなどで、表示制御部の制御により関連度マップを表示する。

（操作情報取得部の制御）
図６は、操作情報取得部２０における制御の流れを示すフローチャートである。尚、上述したコンテンツの重み値情報をユーザが任意に変更するためには、本プログラムの起動前に、ユーザ操作履歴DB３０へ登録を行う。

操作情報取得部２０は、ユーザ操作により発生するイベントを監視するプロセス（監視プロセス）を起動し（ステップＳ６０１）、コンテンツ可視化装置上のプロセスやメッセージを監視する（ステップＳ６０２）。そしてこれらプロセスやメッセージを解析する事により、アプリケーションを特定し（ステップＳ６０３）、操作対象のコンテンツを特定する（ステップＳ６０４）。監視プロセスはアプリケーションの起動毎にスレッドを作成し、各スレッドが特定されたコンテンツに対するイベント情報を取得する（ステップＳ６０５）処理を行う。具体的には、コンテンツの起動時刻や終了時刻、コンテンツに対して行われたウィンドウ操作イベント（例えば、ウィンドウのアクティブ化、作成、破棄、最大化、アイコン化、移動、サイズ変更）やマウス・キーボードイベント（例えば、上下右左、ボタン種類、キーボード又はマウス）などを取得する。

コンテンツが終了するまで、イベント情報の取得が繰りかえされる。そして、コンテンツの終了を検出する（ステップＳ６０６）と、今までに取得した情報を策定した単位で（コンテンツの利用時間、FG回数、マウス利用回数、キーボード利用回数など）、コンテンツ操作履歴を作成する（ステップＳ６０７）。

次いで、作成したコンテンツ操作履歴をユーザ操作履歴DBへ登録する（ステップＳ６０８）。アプリケーションの終了するまで、コンテンツ操作履歴の作成が繰りかえされる（ステップＳ６０９）。

関連度算出部４０では、各コンテンツに対して、まず、ユーザ操作履歴DB３０へ保存されたコンテンツ操作履歴から、ユーザがそのコンテンツをどの程度操作したか（いじったか）を示す操作度（SR）を算出する。算出された操作度を基に、コンテンツ間の操作の関連性を示す相対的な操作関連度（RSR）を算出する。また、コンテンツの起動時刻とコンテンツの終了時刻の履歴を基に、コンテンツ間の利用時間における関連性を示す相対的な時間関連度（RTR）を算出する。相対的な操作関連度と相対的な時間関連度を基に、コンテンツ間の関連度（AR）を求める。

まず、関連度算出部４０における処理について説明し、次いで操作度（SR）、相対的な操作関連度（RSR）、相対的な時間関連度（RTR）、関連度（AR）の算出について説明する。

図７は、関連度算出部４０における処理の流れを示すフローチャートである。

まず、ユーザが選択する基準コンテンツと関連度算出期間を取得し、関連度マップを起動する（ステップＳ７０１）。基準コンテンツとは、関連するコンテンツを探し出すキーとなるコンテンツのことである。例えば、一か月前に展示会で”Aさん”と電話している途中で残した”メモ1”を探したい場合、”Aさんとの通話記録”がそれに該当する。関連度算出期間とは、コンテンツの検索範囲を絞る時間的な制約で、関連度マップ生成プログラムの起動時からカウントする。関連度算出期間は必ずしも指定する必要はなく、指定しない場合はシステムのデフォルト値（半年や1年等）が適用される。

その後、ユーザ操作履歴DB３０から各コンテンツ操作履歴の重み値情報を取得し（ステップＳ７０２）、さらに、コンテンツ操作履歴と操作度(SR)を取得する（ステップＳ７０３）。この時、操作度変更Flagに0を代入し、操作度変更Flagを初期化する（ステップＳ７０４）。この操作度変更Flagは、操作度が更新されたかを記憶するためのフラグである。

次に、ユーザ操作履歴DB３０を更新したかどうかを判断する（ステップＳ７０５）。ユーザ操作履歴DB３０に操作度が全て登録されていない場合(Nullが入っている場合)は、未算出の操作度SRを算出する処理を行う（ステップＳ７０６）。そして算出された操作度SRをユーザ操作履歴DB３０へ登録し（ステップＳ７０７）、操作度変更Flagに1を代入する（ステップＳ７０８）。操作度変更Flagが”1”の時は、操作度に更新があったことを示している。

そして、次の処理では、操作度変更Flagに1が代入されているかどうかをチェックする（ステップＳ７０９）。更新があった場合、すなわち、操作度変更Flagが”1”の時は、基準コンテンツに対する相対的な時間関連度(RTR)と相対的な操作関連度(RSR)を算出し、それぞれユーザ操作履歴DB３０を更新する（ステップＳ７１０、ステップＳ７１１）。その後、操作度変更Flagに0を代入する（ステップＳ７１２）。もし、ステップＳ７０９において操作度変更Flagが0の場合（操作度に更新なし）は、ユーザ操作履歴DB３０より相対的な時間関連度(RTR)と相対的な操作関連度(RSR)を読み込む（ステップＳ７１３）。

その後、求められた相対的な時間関連度(RTR)と、相対的な操作関連度(RSR)を利用して、基準コンテンツに対する各コンテンツの関連度（AR）を算出する（ステップＳ７１４）。

（操作度SRの算出）
関連度算出部４０では、関連度算出期間内のコンテンツ操作履歴と各種コンテンツ操作履歴の重み値情報、操作度（既に計算されている場合）をユーザ操作履歴DB３０から取得する。これらの情報を元に、操作度(SR)を計算する。操作度(SR)は、コンテンツに対する複数のコンテンツ操作履歴を元に得られる、ユーザがそのコンテンツをどの程度操作したかを示す数値である。操作度(SR)は、コンテンツの起動毎に、コンテンツに対する単位の異なる複数の操作履歴を一つの指標に統一し算出される。以下の説明では、具体例として、コンテンツXの操作度(SR)を算出する。

図８は、コンテンツXに関して各起動した回におけるコンテンツ操作履歴と操作度(SR)の関係を示している。具体的には、コンテンツXに対してL回参照し、コンテンツ操作履歴としてK個のコンテンツ操作履歴を定義した例を示している。コンテンツに対する操作として、コンテンツ利用時間、ＦＧ回数、マウス利用回数、キーボード利用回数を例示しているが、他にはクリップボード回数、コピー＆ペースト回数、ディレクトリ操作回数等が好適である。

ここで、L回目のコンテンツXにおけるk個目の操作の指標をX_kLと定義する。例えば、1回目のコンテンツXに対するコンテンツ操作履歴は、Ｘ₁₁からＸ_K1と表す。また同様に、2回目のコンテンツXに対するコンテンツ操作履歴は、Ｘ₁₂からＸ_K2と表す。

ユーザがL回起動したコンテンツＸについての操作度SRは、図９に示すように、（SR_X1 … SR_XL）のL個、存在する。

また、同種類のコンテンツ操作履歴におけるｋ個目のコンテンツ操作履歴は以下のように表す（X_k1、X_k2、X_k3、 … X_kL、X_{k (L+1)}、X_{k (L+2)} …X_kL’）。 この時、X_k1とX_{k (L+1)}は同種類であるが異なるコンテンツを指している。最後にアクセスした時にできたコンテンツ操作履歴がX_KL’である。

次にコンテンツ操作履歴を用いて、操作度SR_X1を算出する数式を以下の式（２）に示す。この式は、それぞれのコンテンツ操作履歴について、分散を1になるように正規化し、そこで得られた値を足し合わせ、コンテンツXに関する操作度（SR_X1）を算出する。同様にして、SR_X2・・・SR_XLを算出する。

上記の操作を分かりやすく図示したものを図１０に示す。図１０は、コンテンツ利用時間とドキュメントをフォアグラウンドにしたFG回数をコンテンツ操作履歴指標として利用した場合における、コンテンツXの操作度SRを説明する図である。

まず、図１０（ａ）に示すように、コンテンツＸに対する利用時間とFG回数を元に各操作履歴（サンプル）を二次元状にプロットする。次いで、プロットした各サンプルを正規化する。具体的には、分散が1になるようにプロットした各サンプルの位置を修正する（図１０（ｂ））。この操作は、コンテンツ利用時間とFG回数を計算するもので、式（２）で表わされる操作度SRを算出する式では、2項で表わされることになる。操作度SRは各サンプルに関して、正規化されたコンテンツ利用時間とFG回数の値をそれぞれ足し合わせる。

操作履歴のサンプリング、正規化、足し合わせの操作は、同種類のコンテンツ毎、例えばテキストコンテンツ毎、メディアコンテンツ毎に行われる。

（相対的な時間関連度RTRの算出）
次に、基準コンテンツAと他のコンテンツBの利用時刻の近さ、すなわち相対的な時間関連度（RTR）の算出について、図１１を参照して説明する。図１１に示すように、基準コンテンツA(A1…A3)と他のコンテンツB(B1…B4)の利用時刻を元に、相対的な時間関連度RTR_ABを計算する図を示す。

相対的な時間関連度RTR_ABを求めるため、まず基準コンテンツAiと利用時刻が一番近いBjを求める。図１１に示す例では、A1とB1、A2とB3、A3とB4である。

その後、これらコンテンツの利用時間を元に、基準コンテンツAと他のコンテンツBとの利用時刻の近さDiを算出する。図１１に示す例では、D₁、D₂、D₃である。最後に、時間関連度RTR_ABは、

具体的なD₁の算出方法について、説明する。図１２は、基準コンテンツA1とコンテンツB1、コンテンツB2との利用時刻の近さD₁の関係を説明する図である。図１２において、Sはコンテンツを参照するためにアプリケーションを起動した時間を表し、Eはアプリケーションを終了した時間を表している。例えば、S_A1、E_A1であれば、アプリケーションA1（一回目に起動したアプリケーションA）の起動時刻と終了時刻を表している。

相対的な時間関連度(RTR)は、以下の式（９）で一般化される。基準コンテンツに対する利用時間の近さＤ_iの逆数の和を平均して、相対的な時間関連度(RTR)と定義する。ただし、ξ₁はＤ_iが0の時に、相対的な時間関連度(RTR)が計算上、無限大にならないような小さい定数と設定する。

コンテンツ可視化装置を含むシステムのパフォーマンス、例えば演算処理速度を向上させるとの観点から、相対的な時間関連度(RTR)を算出する際のコンテンツについて対象範囲を限定することも可能である。図１３は、基準コンテンツの起動時刻から所定時間内にあるコンテンツを説明する図である。図１３に示す例では、基準コンテンツA1、A2、A3のそれぞれの起動時刻から±α以内にあるコンテンツ（αの値は初期固定）に限定し、2α以内のコンテンツを利用して相対的な時間関連度(RTR)を算出する。これにより、全ての基準コンテンツと情報端末内のすべてのコンテンツに対して相対的な時間関連度(RTR)を計算しないため、コンテンツ可視化装置を含むシステムの処理速度向上につながる。

（相対的な操作関連度RSRの算出）
次に、各コンテンツの操作度を利用して、基準コンテンツと他のコンテンツ間の相対的な操作関連度(RSR)を算出する。本実施形態では、以下の条件を基にして、コンテンツ間の相対的な関連度を算出する。

条件１：基準コンテンツと近い操作量のコンテンツは、相対的な操作関連度(RSR)を高くする。

条件２：ユーザが常に操作する量が多いコンテンツは、相対的な操作関連度(RSR)を高くする。

条件３：基準コンテンツと比べ常に同じくらい操作されるコンテンツは、相対的な操作関連度(RSR)を高くする。

具体的に、基準コンテンツAiとコンテンツBjの相対的な操作関連度RSR_ABの算出について説明する。図１４は、基準コンテンツに操作度が最も近いコンテンツの特定を説明するもので、横軸は時間、縦軸は操作度である。図１４に示す例では、基準コンテンツAiが３回（A1からA3）起動され、またコンテンツBjは５回（B1からB5）起動されている。また、基準コンテンツA1からA3はSR_A1からSR_A3という操作度を持ち、コンテンツB1からB5はSR_B1からSR_B5の操作度を持っている。

まず、基準コンテンツA1に対して最も操作度が近いB1が特定され、A2に対して最も操作度が近いB2が特定され、A3に対して最も操作度が近いB4が特定される。そして、

ここで、ξ₂は計算上、R_AB(i)が無限大へならないようにするための小さい定数である。尚、R_AB(1)とは、1番目のA(つまり図１４では、A1)と、それに対応するB(つまり図１４では、B1)について操作度を基に、条件１と条件２を考慮して得られた数値である。σ_AB ²は、A1とB1、A2とB2、A3とB4におけるそれぞれの操作度についての差分を基に算出している。図１４に示す例では、該当しないB3、B5については利用しない。つまり、次式（１２）で表わされる、
SR_AB(1)＝｜SR_A1−SR_B1｜、SR_AB(2)＝｜SR_A2−SR_B2｜、SR_AB(3)＝｜SR_A3−SR_B4｜ ・・・（１２）の分散である。SR_AB(1)とは、1番目のA(つまり図１４では、A1)と、それに対応するB(つまり図１４では、B1)について操作度の差分について絶対値をとった値である。

式（１３）の第一項におけるＲ_AB(i)は、条件1と条件2を考慮し、基準コンテンツAとコンテンツＢが近い操作度でかつ、二つの数値が高い操作度であった場合に、高まる指標を定義している。そして、式（１３）の第二項は、条件3を考慮し、基準コンテンツAとコンテンツBの操作度における差分の分散が小さい時、値が大きくなる指標を定義している。また、MはＲ_AB(i)の個数である。

Ｒ_AB(i)は以下の式（１４）で計算される。

（関連度ARの算出）
基準コンテンツに対する相対的な時間関連度(RTR)と相対的な操作関連度(RSR)の値を基に、基準コンテンツと他のコンテンツがどの程度関連があるかを示す関連度(AR)を算出する。関連度(AR)は、以下の式（１８）で求められる。

尚、算出された関連度に応じて、コンテンツアイコンをそのまま可視化した場合（例えば、後述する図１６参照。）、１回だけ基準コンテンツとほぼ同じ時刻に起動され、１回だけ基準コンテンツとほぼ同じ操作量で操作されたコンテンツと、複数回起動され操作された結果、基準コンテンツに関連していると評価されたコンテンツの判別がつきにくいおそれがある。

そこで、基準コンテンツと関連しているコンテンツの中でも、頻繁に利用されるコンテンツと、あまり利用されないコンテンツを識別できることが好適である。そこで、本実施形態では、出現頻度を利用している。出現頻度は、以下の式（１９）で算出される。

例えば、図１５に示すように、基準コンテンツAが作成あるいは参照された利用回数が３回である期間内において、同じくコンテンツBが作成あるいは参照された利用回数は２回である。したがって、基準コンテンツAの出現個数は３個であり、コンテンツBは２個出現しているため、コンテンツBの出現頻度は２／３となる。

本実施形態では、関連度マップに表示されたコンテンツアイコンの色や透明度にコンテンツの出現頻度を反映させ、例えば出現頻度の大きいコンテンツは色濃く表示し、出現頻度が小さいコンテンツは、薄く表示させる。

（関連度マップ表示部の制御）
関連度マップ表示部５０では、これまでに得られた相対的な時間関連度、相対的な操作関連度、関連度と出現頻度を用いて関連度マップを表示する。図１６は、基準コンテンツに関連するコンテンツを関連度に応じてマップ化した図を例示している。基準コンテンツは、画面上の中心に配置され、基準コンテンツの上方には、基準コンテンツよりも操作される量が多いコンテンツが配置されている。基準コンテンツの下方には、基準コンテンツよりも操作される量が少ないコンテンツが配置されている。基準コンテンツの左側には、基準コンテンツよりも前の時間に利用されたコンテンツが配置されている。また、基準コンテンツの右側には、基準コンテンツよりも後の時間に利用されたコンテンツが配置されている。すなわち、基準コンテンツと操作された量が近く、近い時間に利用されたコンテンツが、基準コンテンツに関連するコンテンツとして基準コンテンツの近傍に表示される。図１６に示す例では、基準コンテンツである通話記録の近傍に、通話記録に関連するメモが３つ表示されている。

図１７は、関連度マップ表示部５０における表示処理の流れを示すフローチャートである。

まず、関連度マップに表示する各コンテンツを関連度順に並べたリスト(AR_List)と、その個数(AR_List_Length)を算出する（ステップＳ１７０１）。その後、基準コンテンツを画面の中心に配置する（ステップＳ１７０２）。

続いて、上記のAR_ListとAR_List_Lengthを参照して、コンテンツ描画ループを実行し、１個ずつ描画していく（ステップＳ１７０３）。

さらに、AR_N個目のコンテンツの出現頻度からコンテンツアイコンの色または透明度を算出する（ステップＳ１７０４）。続いて、AR_N個目のコンテンツを描画する（ステップＳ１７０５）。そして、コンテンツ描画ループを実行する（ステップＳ１７０６）。

図１８は、関連度マップの完成図の一例を示す図である。図１８に示すように、関連度は、基準コンテンツと各コンテンツにおける最短距離の逆数として描画される。すなわち、基準コンテンツとの関連度が高いほど、各コンテンツとの距離が近くなっている。

（表示制御部における制御）

まず操作バーによる表示制御について、図１９、図２０を参照して説明する。図１９は操作バーを説明する図で、図２０は操作バーを利用して、中心コンテンツを基準に拡大した図である。操作バーは、中心コンテンツを中心に関連度マップの縦軸（Y軸）と横軸（X軸）の目盛を均等に拡大縮小させることができる。拡大縮小カーソルを操作バーの一番左端に移動させると、コンテンツ全体を最小化する。逆に操作バーの右端に拡大縮小カーソルを持っていくと最大化する。

図２１は、操作バーを使用した表示制御の流れを示すフローチャートである。まず、ユーザによって拡大縮小の中心点となる中心コンテンツが選択されたかを判別する（ステップＳ２１０１）。中心コンテンツが選択された場合には、選択されたコンテンツを中心に配置して拡大縮小が行われる（ステップＳ２１０２）。もし、中心コンテンツが選択されなかった場合は、基準コンテンツを中心に配置して拡大縮小が行われる（ステップＳ２１０３）。ついで、中心コンテンツを識別しやすくするため、例えば中心コンテンツの枠の色を赤くする（ステップＳ２１０４）。図１９、図２０の例だと枠が赤く表示されているのが中心コンテンツである。

その後、操作バーの位置が変更されたかを判別する（ステップＳ２１０５）。操作バーの位置が変更された場合、変更された操作バーの更新情報を取得する（ステップＳ２１０６）。操作バーの更新情報を基にコンテンツリストを作成する（ステップＳ２１０７）。コンテンツリストとは、関連度マップに表示するために必要な情報を持ったものである。操作バーが最小の時は、すべてのコンテンツがコンテンツリストに登録される。コンテンツリストを基に関連度マップ表示部を呼び出し、関連度マップの再描画を行う（ステップＳ２１０８）。

次に、グループ選択ツールによるグループ一覧表示という表示制御について、図２２、図２３を参照して説明する。数多くのコンテンツが関連度マップ上に描画される場合には、コンテンツアイコンが重なりあって見にくくなる。そこで、重なりが生じている関連度マップ上の領域を選択して、その領域内のコンテンツの詳細を見易くする機能がグループ選択ツールである。

図２４は、グループ選択ツールによる処理の流れを示すフローチャートである。まず、ユーザがマウス等を操作し、グループ選択ツールにて、例えば関連度マップの右上のコンテンツ（アイコン）の集団を一括選択すると、グループ選択ツールで選択されたコンテンツを取得する（ステップＳ２４０１）。次に、グループ選択ツールで選択されたコンテンツ数を計算する（ステップＳ２４０２）。グループ選択ツールで選択されたコンテンツ数を、例えば右上に表示する（ステップＳ２４０３）。グループ選択ツールの大きさ(X pixel × Y pixel )は、予め決められた大きさの中から選択できる。図２２に示す場合は、15個のコンテンツが重なっていることを示している。グループ選択ツールで選択されたコンテンツ数に合わせた格子を、ポップアップ調に表示する（ステップＳ２４０４）。N個のコンテンツが表示された場合、K²＝NまたはK²＞NとなるようなK×Kの格子が表示される。続いて、各コンテンツの出現頻度を計算し（ステップＳ２４０５）、格子にコンテンツを左上から順に関連度順に配置する（ステップＳ２４０６）。各コンテンツの出現頻度に合わせて背景色の色をつけ、または透明度が設定される（ステップＳ２４０７）。

以上詳細に説明してきた本発明の実施形態に係るコンテンツ可視化システムで実現される、関連度の高いコンテンツの可視化の具体的なシナリオを携帯電話を例として以下に示す。

ユーザは過去に参照したコンテンツをもう一度探し出そうとしている。一か月前に展示会で”Aさん”と電話している途中で残した”メモ1”を探したい。ユーザは普段から携帯電話に多くのメモを残しており、一か月前の展示会に参加した際にも多くのメモを残している。通常は日付で探そうとしても、多くのコンテンツが一覧で表示され、探すのが困難である。また通常、通話履歴とメモ（テキスト）、音声メモなど混在して表示できず、それぞれのアプリケーションを切り替えて表示する必要がある。

本システムを利用すると、ユーザは展示会でＡさんへ電話した時の通話記録（基準コンテンツ）を探す。この通話記録を基に、関連度マップ生成プログラムを起動する。すると、画面上に、Aさんとの通話記録に関連するコンテンツが複数表示される（図１６参照）。ここでは、Aさんとの通話記録に関連するメモが三つに絞られ、この中からメモ1を容易に見つけられる。また同時に、メモ1以外にも今まで忘れていたメモ2やメモ3も連想的に発見できる。

本実施形態によれば、コンテンツの中身を解析する手間や、ユーザの恣意的なコンテンツを分類する手間もかけず、ユーザにとって関連の強いコンテンツを動的にかつ連想的に閲覧することが可能になる。

また、本実施形態によれば、関連度マップにおけるコンテンツの表示範囲を拡大縮小させる操作バー機能と、重なって表示されたコンテンツを一覧で閲覧するグループ選択ツール機能を備えているので、基準コンテンツに対する、他の関連する複数コンテンツを概観することができる。また特定の場所を拡大縮小したり、特定の場所でのまとまりを選択することで、画面上に重なって表示されたコンテンツを画面上に整えて配置することができるため、基準コンテンツに対して特定の距離にあるコンテンツを容易に検索することが可能になる。

なお、本発明は上記の実施形態のそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施形態に係るコンテンツ可視化装置の概略構成を示すブロック図である。 コンテンツの種類を説明する図である。 イベント情報の取得を説明する図である。 ユーザ操作履歴DBにおけるコンテンツ操作履歴テーブルを説明する図である。 ユーザ操作履歴DBにおけるコンテンツ操作履歴の重み値を説明する図である。 操作情報取得部における制御の流れを示すフローチャートである。 関連度算出部における処理の流れを示すフローチャートである。 コンテンツXに対する操作履歴と操作度の関係を示す図である。 コンテンツXの操作度を説明する図である。 コンテンツ利用時間とFG回数をコンテンツ操作履歴指標として利用した場合における、コンテンツXの操作度を説明する図である。 基準コンテンツと他のコンテンツとの利用時刻の近さを説明する図である。 基準コンテンツA1とコンテンツB1、B2との利用時刻の近さD₁の関係を説明する図である。 基準コンテンツの起動時刻から所定時間内にあるコンテンツを説明する図である。 基準コンテンツに操作度が最も近いコンテンツの特定を説明する図である。 出現頻度を説明する図である。 基準コンテンツに関連するコンテンツを関連度に応じてマップ化した図である。 関連度マップ表示部における表示処理の流れを示すフローチャートである。 関連度マップの一例を示す図である。 操作バーを説明する図である。 操作バーを利用して、中心コンテンツを基準に拡大した図である。 操作バーを使用した表示制御の流れを示すフローチャートである。 グループ選択ツールを説明する図である。 グループ選択ツールを利用した結果を説明する図である。 グループ選択ツールによる処理の流れを示すフローチャートである。

符号の説明

１００・・・コンテンツ可視化装置、１０・・・入力装置、２０・・・操作情報取得部、３０・・・ユーザ操作履歴データベース、４０・・・関連度算出部、５０・・・関連度マップ表示部、６０・・・表示制御部、７０・・・出力装置。

Claims (14)

1. コンテンツを操作する際の操作指令を入力するための入力装置と、
   コンテンツが操作される際のイベントを基に、各コンテンツに対するコンテンツ操作履歴を取得する操作情報取得部と、
   この操作情報取得部で取得されたコンテンツ操作履歴をデータベースとして記録するユーザ操作履歴データベースと、
   前記コンテンツ操作履歴を基に、前記コンテンツの起動毎に単位の異なる複数のコンテンツ操作履歴を１つの指標として統合し、種類の異なるコンテンツに対して統一的な前記コンテンツが操作された量を操作度とし、選択されたコンテンツを基準コンテンツとしたとき、前記コンテンツが操作された時刻が基準コンテンツの操作時刻とどれだけ近いかを意味する相対的な時間関連度RTRと、操作された量が基準コンテンツの操作量とどれだけ近いかを意味する相対的な操作関連度RSRを基に定義される関連度をコンテンツ間で算出する関連度算出部と、
   選択された基準コンテンツを表示画面の中心に配置し、基準コンテンツに対する各コンテンツの前記関連度の強さに応じて各コンテンツを配置して表示する関連度マップを生成する関連度マップ表示部と、
   前記生成された関連度マップを表示して，ユーザからの操作を受け付ける出力装置
   を備えたことを特徴とするコンテンツ可視化装置。
2. 前記関連度マップの縦軸と横軸の目盛を均等に拡大縮小して表示させる操作バーと、前記関連度マップ上の複数のコンテンツをグループとして選択可能で、選択されたコンテンツ数を表示するとともに、前記関連度順にコンテンツを一覧表示させるグループ選択ツールを有する表示制御部を備えたことを特徴とする請求項１記載のコンテンツ可視化装置。
3. 前記グループ選択ツールによる一覧表示は、選択範囲(横方向ピクセル×縦方向ピクセル)に応じて、格子状に選択された複数コンテンツのアイコンが関連度順に再配置されることを特徴とする請求項２記載のコンテンツ可視化装置。
4. 選択された利用期間内における前記基準コンテンツの利用回数に対する対象となる前記コンテンツの利用回数を出現頻度と定義し、前記関連度マップに表示されるコンテンツアイコンの色や透明度に、該出現頻度を反映させて表示することを特徴とする請求項３記載のコンテンツ可視化装置。
5. 前記各格子の背景色は、コンテンツの出現頻度により色または透明度が設定されることを特徴とする請求項４記載のコンテンツ可視化装置。
6. 前記コンテンツ操作履歴は、コンテンツ利用時間、フォアグランドでのアクセス回数、コンテンツに対するマウス利用回数、コンテンツに対するキーボード利用回数等の情報端末操作情報であることを特徴とする請求項１記載のコンテンツ可視化装置。
7. 前記関連度マップは、前記基準コンテンツに対して前記関連度が高いコンテンツほど、前記基準コンテンツとの表示画面上の距離が近く配置されることを特徴とする請求項１記載のコンテンツ可視化装置。
8. 前記相対的な時間関連度（RTR）は、前記コンテンツを参照するためにアプリケーションを起動した時刻と終了した時刻を基に起動時刻の差分を求め、前記コンテンツの起動回数分、前記基準コンテンツに対する利用時間の近さの逆数の和を平均して算出することを特徴とする請求項１記載のコンテンツ可視化装置。
9. 前記相対的な時間関連度（RTR）は、前記基準コンテンツの起動時刻±α（α＝固定値）の範囲内にある前記コンテンツに対象を限定して算出することを特徴とする請求項１記載のコンテンツ可視化装置。
10. 前記相対的な操作関連度（RSR）は、基準コンテンツと他のコンテンツの操作度の差分と分散を算出し、
    （１）基準コンテンツと近い操作量のコンテンツは、相対的な操作関連度（RSR）を高くする
    （２）常に操作される量が多いコンテンツは、相対的な操作関連度（RSR）を高くする
    （３）基準コンテンツと比べて、常に同程度に操作されるコンテンツは相対的な操作関連度（RSR）を高くする
    との設定条件の基で算出されることを特徴とする請求項１記載のコンテンツ可視化装置。
11. 前記コンテンツの操作履歴は、操作の種類に応じて重み付け可能であることを特徴とする請求項１記載のコンテンツ可視化装置。
12. 前記基準コンテンツに関連する前記コンテンツの検索範囲を絞るための関連度算出期間を設定可能であることを特徴とする請求項１記載のコンテンツ可視化装置。
13. コンテンツが操作される際のイベントを基に、コンテンツ操作履歴を取得し、
    前記取得したコンテンツ操作履歴を記録し、
    前記コンテンツの起動毎に単位の異なる複数のコンテンツ操作履歴を１つの指標として統合し、種類の異なるコンテンツに対して統一的な前記コンテンツが操作された量である操作度を算出し、
    選択されたコンテンツを基準コンテンツとしたとき、前記コンテンツが操作された時刻が基準コンテンツの操作時刻とどれだけ近いかを意味する相対的な時間関連度RTRと、操作された量が基準コンテンツの操作量とどれだけ近いかを意味する相対的な操作関連度RSRを基に定義される関連度をコンテンツ間で算出し、
    選択された前記基準コンテンツを表示画面の中心に配置し、基準コンテンツに対する各コンテンツの前記関連度の強さに応じて各コンテンツを配置して表示することを特徴とするコンテンツ可視化方法。
14. 前記操作度は、各コンテンツ起動毎にコンテンツの種類毎における複数の前記コンテンツ操作履歴の平均と分散を用いて正規化し、コンテンツの種類に関係なく統一的に操作された量を示すことを特徴とする請求項１記載のコンテンツ可視化装置。