JP2012256105A - 表示装置、オブジェクト表示方法、及びプログラム - Google Patents

Abstract

【課題】一又は複数の動画に登場する人物について、人物間の関係性をユーザに分かりやすく提示すること。
【解決手段】各登場人物が動画中に登場する区間を表した区間メタデータを利用し、共演関係に基づく登場人物間の関係性の強さを表す関係性スコアを算出する関係性スコア算出部と、動画に登場する各登場人物に対応するオブジェクトを表示するオブジェクト表示部と、を備え、前記オブジェクト表示部は、前記関係性スコアが高い登場人物の組に対応するオブジェクトを互いに近い位置に表示し、前記関係性スコアが低い登場人物の組に対応するオブジェクトの組を互いに離れた位置に表示する、表示装置が提供される。
【選択図】図１

Description

本技術は、表示装置、オブジェクト表示方法、及びプログラムに関する。

テレビジョン映像やビデオ映像など、人々は、様々な動画を視聴する機会に恵まれている。また、広域通信網の整備が進み、多くの家庭では、インターネットを介してストリーミング配信される動画（以下、ストリーミング映像）を視聴することも可能になっている。こうした動画を視聴する際、ユーザは、リモートコントローラ（以下、リモコン）を操作して放送局を選択したり、ビデオ映像の再生を開始させたりする。視聴する動画が録画映像、ＤＶＤビデオ映像、Ｂｌｕ−ｒａｙビデオ映像、ストリーミング映像などの場合、ユーザは、再生を開始する位置を指定したり、一部の映像シーンをスキップさせたりすることができる。例えば、下記の特許文献１には、簡単な操作でＣＭをスキップ再生できるようにする技術が開示されている。

特開２０１０−２７７６６１号公報

しかしながら、動画に登場する人物の中から指定した人物が登場する映像シーンを選択的に再生できるようにしたり、指定した人物に関係する人物が登場する別の動画を再生できるようにしたりする技術は知られていない。また、動画に登場する人物について、人物間の関係性をユーザに分かりやすく提示する技術も知られていない。そこで、本技術は、上記のような事情を受けて考案されたものであり、一又は複数の動画に登場する人物について、人物間の関係性をユーザに分かりやすく提示することが可能な、新規かつ改良された表示装置、オブジェクト表示方法、及びプログラムを提供することを意図している。

本技術のある観点によれば、各登場人物が動画中に登場する区間を表した区間メタデータを利用し、共演関係に基づく登場人物間の関係性の強さを表す関係性スコアを算出する関係性スコア算出部と、動画に登場する各登場人物に対応するオブジェクトを表示するオブジェクト表示部と、を備え、前記オブジェクト表示部は、前記関係性スコアが高い登場人物の組に対応するオブジェクトを互いに近い位置に表示し、前記関係性スコアが低い登場人物の組に対応するオブジェクトの組を互いに離れた位置に表示する、表示装置が提供される。

また、本技術の別の観点によれば、各登場人物が動画中に登場する区間を表した区間メタデータを利用し、共演関係に基づく登場人物間の関係性の強さを表す関係性スコアを算出するステップと、動画に登場する各登場人物に対応するオブジェクトを表示するステップと、を含み、前記関係性スコアが高い登場人物の組に対応するオブジェクトの組は、互いに近い位置に表示され、前記関係性スコアが低い登場人物の組に対応するオブジェクトの組は、互いに離れた位置に表示される、オブジェクト表示方法が提供される。

また、本技術の別の観点によれば、各登場人物が動画中に登場する区間を表した区間メタデータを利用し、共演関係に基づく登場人物間の関係性の強さを表す関係性スコアを算出する関係性スコア算出機能と、動画に登場する各登場人物に対応するオブジェクトを表示するオブジェクト表示機能と、をコンピュータに実現させるためのプログラムであり、前記オブジェクト表示機能は、前記関係性スコアが高い登場人物の組に対応するオブジェクトの組を互いに近い位置に表示し、前記関係性スコアが低い登場人物の組に対応するオブジェクトの組を互いに離れた位置に表示する、プログラムが提供される。

また、本技術の別の観点によれば、上記のプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。

以上説明したように本技術によれば、一又は複数の動画に登場する人物について、人物間の関係性をユーザに分かりやすく提示することが可能になる。

本実施形態に係る情報処理装置の機能構成について説明するための説明図である。 本実施形態に係る動画タイムラインメタデータの構成について説明するための説明図である。 本実施形態に係る区間メタデータの構成及び区間メタデータを利用して検出可能な情報について説明するための説明図である。 本実施形態に係る関係性の評価方法について説明するための説明図である。 本実施形態に係る関係性マトリックスの構成について説明するための説明図である。 本実施形態に係る関係性マトリックスの計算方法について説明するための説明図である。 本実施形態に係る関係性マトリックスの計算方法について説明するための説明図である。 本実施形態に係る関係性マトリックスの計算方法について説明するための説明図である。 本実施形態に係る関係性マトリックスの計算方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法及びシーン画像の表示方法について説明するための説明図である。 本実施形態に係るシーン画像の表示方法について説明するための説明図である。 本実施形態に係るシーン画像の表示方法について説明するための説明図である。 本実施形態に係るシーン画像の表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法及びシーン画像の表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法及びシーン画像の表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法及びシーン画像の表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法及びシーン画像の表示方法について説明するための説明図である。 本実施形態に係るオブジェクトの表示方法、シーン画像の表示方法、及び関連情報の表示方法について説明するための説明図である。 本実施形態に係る再生ウィンドウの表示方法について説明するための説明図である。 本実施形態に係る情報処理装置のハードウェア構成例について説明するための説明図である。

以下に添付図面を参照しながら、本技術に係る好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する説明の流れについて簡単に述べる。

まず、図１を参照しながら、本実施形態に係る情報処理装置１００の構成について説明する。次いで、図２を参照しながら、本実施形態に係る動画タイムラインメタデータの構成について説明する。次いで、図３〜図９を参照しながら、本実施形態に係る関係性値の算出方法について説明する。次いで、図１０〜図２４を参照しながら、本実施形態に係る関係性値を利用したオブジェクトの表示方法について説明する。

次いで、図２５〜図３２を参照しながら、本実施形態に係るシーン画像の表示方法について説明する。次いで、図３３を参照しながら、本実施形態に係る関連情報の表示方法について説明する。次いで、図３４を参照しながら、本実施形態に係る動画再生画面の表示方法及び動画の再生方法について説明する。次いで、図３５を参照しながら、本実施形態に係る情報処理装置１００の機能を実現することが可能なハードウェア構成例について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。

（説明項目）
１：実施形態
１−１：情報処理装置１００の構成
１−２：関係性値の算出方法
１−２−１：区間メタデータに基づく共演関係の評価方法
１−２−２：共演作品数に基づく関係性値の算出方法
１−２−３：共演作品数に基づく関係性値の算出方法（重み付き）
１−２−４：出演時間に基づく関係性値の算出方法
１−２−５：出演シーン時間に基づく関係性値の算出方法
１−３：オブジェクトの表示方法
１−３−１：オブジェクトのサイズについて
１−３−２：オブジェクト間の距離について
１−３−３：奥行き表現について
１−３−４：関係性の表現について
１−４：シーン画像の表示方法
１−４−１：シーン画像の配置方法（ランダム配置）
１−４−２：シーン画像の配置方法（時系列配置）
１−４−３：シーン画像の配置方法（ムードに応じた配置）
１−５：シーン画像表示及びオブジェクト表示の切り替え
１−５−１：年代の切り替え
１−５−２：地域の切り替え
１−５−３：切り替え時のオブジェクト表示
１−６：その他の表示方法
１−６−１：３Ｄ表示
１−６−２：関連情報の表示
１−６−３：動画再生画面の表示
２：ハードウェア構成例
３：まとめ

＜１：実施形態＞
本技術の一実施形態について説明する。本実施形態に係る技術は、動画に登場する登場人物について登場人物間の関係性を抽出し、関係性の有無及び関係性の強さをユーザに分かりやすく提示する技術に関する。また、本実施形態に係る技術は、指定された登場人物と動画との関係を俯瞰することが可能なユーザインターフェースを提供する技術に関する。さらに、本実施形態に係る技術は、指定された登場人物が登場する映像シーンを選択的に再生したり、その登場人物に関する関連情報を表示したりするためのユーザインターフェースを提供する技術に関する。以下、詳細な技術内容について説明する。

［１−１：情報処理装置１００の構成］
まず、図１を参照しながら、本実施形態に係る情報処理装置１００の構成について説明する。図１は、本実施形態に係る情報処理装置１００の構成について説明するための説明図である。

（全体構成）
図１に示すように、情報処理装置１００は、主に、メタデータ取得部１０１と、出演時間計算部１０２と、関係性計算部１０３と、オブジェクト表示部１０４と、関連情報表示部１０５と、シーン画像取得部１０６と、シーン画像表示部１０７と、動画取得部１０８と、再生制御部１０９と、表示部１１０とにより構成される。なお、表示部１１０は、別体であってもよい。この場合、情報処理装置１００は、信号線又はネットワークを通じて表示部１１０に画像を表示させる表示制御装置として機能する。さらに、動画取得部１０８及び再生制御部１０９は別体であってもよい。

（オブジェクトの表示に関する構成）
まず、メタデータ取得部１０１は、動画タイムラインメタデータを取得する。例えば、メタデータ取得部１０１は、信号線又はネットワークを介して接続された記憶装置、又はネットワークを介して接続されたメタデータ提供システムなどから動画タイムラインメタデータを取得する。記憶装置としては、例えば、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどの記録媒体に書き込まれたデータを読み出し可能な装置、或いは、これら記録媒体にデータを書き込み及び読み出し可能な装置が該当する。なお、メタデータ取得部１０１は、事前に動画タイムラインメタデータを取得しておいてもよいし、再生対象の動画がユーザにより指定されたタイミングで動画タイムラインメタデータを取得してもよい。

動画タイムラインメタデータは、図２に示すように、領域メタデータ、区間メタデータ、オブジェクトメタデータにより構成される。領域メタデータは、動画フレーム内に登場する人物や物品などの位置及び範囲を示すメタデータである。図２の例では、動画フレーム内に登場する人物の顔領域を示す領域メタデータが例示されている。また、区間メタデータは、動画の中で、人物や物品などが登場する区間を示すメタデータである。そして、オブジェクトメタデータは、動画に登場する人物や物品などに関する関連情報を示すメタデータである。

なお、動画タイムラインメタデータは、動画に登場する人物毎及び物品毎に設定される。また、動画タイムラインメタデータは、動画１つ１つについて設定される。そのため、動画タイムラインメタデータのうち、区間メタデータを利用することにより、ある登場人物がどの動画のどの区間に登場するかを把握することが可能になる。また、領域メタデータを利用することにより、ユーザが指定した画面上の領域と、画面上に表示されている人物や物品などとの対応関係を把握することが可能になる。例えば、領域メタデータ及びオブジェクトメタデータを利用すると、ユーザが登場人物の顔領域を指定すると、その登場人物に関する関連情報が表示されるといったユーザインターフェースを実現することが可能になる。

再び図１を参照する。メタデータ取得部１０１により取得された動画タイムラインメタデータは、出演時間計算部１０２、関係性計算部１０３、関連情報表示部１０５、再生制御部１０９に入力される。例えば、出演時間計算部１０２、関係性計算部１０３、及び再生制御部１０９には、区間メタデータが入力される。また、関連情報表示部１０５には、領域メタデータ及びオブジェクトメタデータが入力される。なお、関係性計算部１０３及び再生制御部１０９に領域メタデータが入力されるように構成されていてもよい。

区間メタデータが入力されると、出演時間計算部１０２は、入力された区間メタデータを利用し、各動画における各登場人物の出演時間（以下、動画別出演時間）を計算する。区間メタデータには、人物が登場する各区間の出現開始時間及び出現終了時間が含まれている。そのため、１つの動画について各登場区間の長さを合計することにより、その動画における動画別出演時間を計算することができる。また、出演時間計算部１０２は、対象とする全ての動画を対象に動画別出演時間を合計して人物毎の総出演時間を算出する。

出演時間計算部１０２により算出された動画別出演時間の情報は、関係性計算部１０３に入力される。また、出演時間計算部１０２により算出された総出演時間の情報は、オブジェクト表示部１０４に入力される。区間メタデータ及び動画別出演時間の情報が入力されると、関係性計算部１０３は、入力された区間メタデータ及び動画別出演時間の情報を利用して人物間の関係性を示す関係性値を算出する。この関係性値は、関係性の有無及び関係性の強さを示すスコアである。なお、関係性値の算出方法については後述する。

関係性計算部１０３により算出された関係性値は、オブジェクト表示部１０４に入力される。総出演時間の情報及び関係性値が入力されると、オブジェクト表示部１０４は、人物を示すオブジェクトを表示部１１０に表示する。このとき、オブジェクト表示部１０４は、総出演時間の情報に基づいてオブジェクトのサイズを調整し、関係性値に基づいて各オブジェクトの配置を調整する。なお、総出演時間の情報及び関係性値に基づくオブジェクトの表示方法については後述する。また、オブジェクト表示部１０４は、オブジェクトの表示位置を変更する操作、オブジェクトを指定する操作、或いは、後述するシーン画像の切り替え操作などが行われた際にオブジェクトの表示を制御する。

（関連情報の表示に関する構成）
さて、関連情報表示部１０５には、領域メタデータ及びオブジェクトメタデータが入力される。領域メタデータ及びオブジェクトメタデータが入力されると、関連情報表示部１０５は、入力された領域メタデータ及びオブジェクトメタデータを利用して表示部１１０に関連情報を表示する。例えば、あるオブジェクトが選択された場合、関連情報表示部１０５は、選択されたオブジェクトに対応する人物又は物品の関連情報を表示する。また、動画の再生中に、ある画面上の領域が選択された場合、関連情報表示部１０５は、領域メタデータを利用して、選択された領域に対応する人物又は物品を検出する。そして、関連情報表示部１０５は、検出した人物又は物品に関する関連情報を表示する。なお、関連情報の具体的な表示方法については後述する。

（シーン画像の表示に関する構成）
シーン画像取得部１０６は、動画の１シーンを表現したシーン画像を取得する。例えば、シーン画像取得部１０６は、信号線又はネットワークを介して接続された記憶装置、又はネットワークを介して接続された動画配信システムなどから動画又はシーン画像を取得する。記憶装置としては、例えば、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどの記録媒体に書き込まれたデータを読み出し可能な装置、或いは、これら記録媒体にデータを書き込み及び読み出し可能な装置が該当する。なお、シーン画像取得部１０６は、事前に動画又はシーン画像を取得しておいてもよいし、再生対象の動画がユーザにより指定されたタイミングで動画又はシーン画像を取得してもよい。

また、シーン画像取得部１０６は、動画から１枚の画像を抽出し、その画像をシーン画像として利用してもよいし、予め用意されたシーン画像を利用してもよい。或いは、シーン画像に動画像を再生して利用してもよい。例えば、シーン画像取得部１０６は、動画の先頭に位置する動画フレームの画像をシーン画像として利用したり、動画のパッケージ写真をシーン画像として利用したりする。なお、シーン画像取得部１０６は、１つの動画につき１枚又は複数枚のシーン画像を取得する。また、シーン画像取得部１０６により取得されたシーン画像は、シーン画像表示部１０７に入力される。

シーン画像が入力されると、シーン画像表示部１０７は、入力されたシーン画像を表示部１１０に表示する。このとき、シーン画像表示部１０７は、複数枚のシーン画像をタイル状に並べて表示する。また、シーン画像表示部１０７は、予め設定された配置ルールに基づいてシーン画像を配置する。例えば、シーン画像表示部１０７は、ランダムにシーン画像を配置したり、動画の種類や時間情報に基づいてシーン画像を配置したりする。さらに、シーン画像表示部１０７は、シーン画像の切り替え操作が行われた場合に、その切り替え操作に応じてシーン画像を切り替える。なお、シーン画像の表示方法については後述する。

（動画の再生制御に関する構成）
動画取得部１０８は、信号線又はネットワークを介して接続された記憶装置、又はネットワークを介して接続された動画配信システムなどから動画を取得する。記憶装置としては、例えば、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどの記録媒体に書き込まれたデータを読み出し可能な装置、或いは、これら記録媒体にデータを書き込み及び読み出し可能な装置が該当する。なお、動画取得部１０８は、事前に動画を取得しておいてもよいし、再生対象の動画がユーザにより指定されたタイミングで動画を取得してもよい。動画取得部１０８により取得された動画は、再生制御部１０９に入力される。

動画が入力されると、再生制御部１０９は、入力された動画を再生し、映像を表示部１１０に表示させる。例えば、あるオブジェクトが選択された場合、再生制御部１０９は、メタデータ取得部１０１により入力された区間メタデータを利用し、選択されたオブジェクトに対応する人物が登場する区間を特定する。そして、再生制御部１０９は、特定した区間を選択的に再生する。また、動画の再生中に、ある人物が選択された場合、再生制御部１０９は、区間メタデータを利用し、選択された人物が登場する区間を選択的に再生する。さらに、再生制御部１０９は、区間メタデータを利用し、動画の再生中に登場する人物の登場シーンを表示したり、選択された登場シーンを再生したりする。

以上、本実施形態に係る情報処理装置１００の構成について説明した。

［１−２：関係性値の算出方法］
次に、図３〜図９を参照しながら、本実施形態に係る関係性値の算出方法について説明する。なお、関係性値の計算は、主に関係性計算部１０３の機能により実現される。

（１−２−１：区間メタデータに基づく共演関係の評価方法）
まず、図３〜図５を参照しながら、区間メタデータに基づく共演関係の評価方法について説明する。ここでは、区間メタデータから得られる主な情報の種類と、人物間の関係性を評価する際の評価基準とについて説明する。図３〜図５は、区間メタデータに基づく共演関係の評価方法について説明するための説明図である。

まず、図３を参照する。先に述べたように、区間メタデータは、動画毎及び人物毎に用意されている。また、各区間メタデータは、人物が登場する動画中の区間を表す。図３には、動画Ｍ１について、人物Ａの登場区間を表した区間メタデータと、人物Ｂの登場区間を表した区間メタデータと、人物Ｃの登場区間を表した区間メタデータとが例示されている。図３の例では、ｔ_２〜ｔ_４の区間、ｔ_９〜ｔ_１１の区間、ｔ_１３〜ｔ_１６の区間が人物Ａの登場区間である。また、ｔ_１〜ｔ_３の区間、ｔ_５〜ｔ_７の区間、ｔ_１０〜ｔ_１２の区間が人物Ｂの登場区間である。さらに、ｔ_６〜ｔ_８の区間、ｔ_１４〜ｔ_１５の区間が人物Ｃの登場区間である。

図３に例示した３つの区間メタデータからは、動画Ｍ_１における各登場人物の出演時間（動画別出演時間）、動画Ｍ_１における共演者、動画Ｍ_１における共演シーンの長さ（以下、共演シーン時間）が分かる。例えば、動画Ｍ_１における人物Ａの動画別出演時間Δｔ_Ａは、Δｔ_１Ａ＝｜ｔ_４−ｔ_２｜＋｜ｔ_１１−ｔ_９｜＋｜ｔ_１６−ｔ_１３｜と算出される。人物Ｂの動画別出演時間Δｔ_１Ｂ、人物Ｃの動画別出演時間Δｔ_１Ｃについても同様である。また、動画Ｍ_１において人物Ａ、Ｂ、Ｃの登場区間が存在することから、人物Ａと人物Ｂとは共演者であり、人物Ｂと人物Ｃとは共演者であり、人物Ｃと人物Ａとは共演者であることが分かる。

さらに、ｔ_２〜ｔ_３の区間及びｔ_１０〜ｔ_１１の区間で人物Ａと人物Ｂとが共に登場しているから、動画Ｍ_１における人物Ａと人物Ｂとの共演シーン時間Δｔ_１ＡＢは、Δｔ_１ＡＢ＝｜ｔ_３−ｔ_２｜＋｜ｔ_１１−ｔ_１０｜と算出される。同様に、ｔ_６〜ｔ_７の区間で人物Ｂと人物Ｃとが共に登場しているから、動画Ｍ_１における人物Ｂと人物Ｃとの共演シーン時間Δｔ_１ＢＣは、Δｔ_１ＢＣ＝｜ｔ_７−ｔ_６｜と算出される。また、ｔ_１５〜ｔ_１４の区間で人物Ａと人物Ｃとが共に登場しているから、動画Ｍ_１における人物Ａと人物Ｃとの共演シーン時間Δｔ_１ＣＡは、Δｔ_１ＣＡ＝｜ｔ_１５−ｔ_１４｜と算出される。

このように、各動画の区間メタデータを分析することにより、各動画における各登場人物の動画別出演時間、各動画における共演者、各動画における共演シーン時間が得られる。また、複数の動画について得られた動画別出演時間、共演者、共演シーン時間などの情報を組み合わせると、図４に示すように、対象とする動画群（図４の例では動画Ｍ_１〜Ｍ_ｎ）について各人物の総出演時間、各人物の組に関する共演作品数、各人物の組に関する総共演時間、各人物の組に関する総共演シーン時間といった情報が得られる。

例えば、対象とする動画群について同じ人物の動画別出演時間を合計すると、その人物に関する総出演時間が得られる。また、各動画における共演者が分かっているため、ある人物の組が共演者となっている動画の数を計算すれば、その人物の組に関する共演作品数が得られる。さらに、ある人物の組に注目し、その人物の組が共演する動画群について各人物の動画別出演時間を合計することで、その人物の組に関する共演時間が得られる。また、ある人物の組に注目し、その人物の組が共演する動画群について共演シーン時間を合計することで、その人物の組に関する共演シーン時間が得られる。

例えば、人物Ｄと人物Ｅとが動画Ｍ_２、Ｍ_５で共演しているとしよう。この場合、人物Ｄと人物Ｅとの組に関する共演時間は、動画Ｍ_２及びＭ_５における人物Ｄの動画別出演時間（Δｔ_２Ｄ及びΔｔ_５Ｄ）の合計値と、動画Ｍ_２及びＭ_５における人物Ｅの動画別出演時間（Δｔ_２Ｅ及びΔｔ_５Ｅ）の合計値との和（Δｔ_２Ｄ＋Δｔ_５Ｄ＋Δｔ_２Ｅ＋Δｔ_５Ｅ）となる。また、人物Ｄと人物との組に関する共演シーン時間は、動画Ｍ_２における共演シーン時間Δｔ_２ＤＥと、動画Ｍ_５における共演シーン時間Δｔ_５ＤＥとの和（Δｔ_２ＤＥ＋Δｔ_５ＤＥ）となる。

共演作品数が多い人物の組、共演時間の長い人物の組、共演シーン時間の長い人物の組は、人物間の関係性が強い組であると考えられる。また、お互いに主役として共演している作品が多いほど、人物間の関係性が強いと考えることもできる。さらに、表示される面積なども考慮して人物間の関係性を評価する方が好ましいと考えられる。表示面積を考慮しないと、例えば、エキストラとして出演している人物と主演俳優との間の関係性が高く、主演俳優と主演女優との間の関係性が低くなるといったことも起こりうる。主役や脇役などの情報は、オブジェクトメタデータから得られる。また、表示面積などは、領域メタデータから得られる。

上記のように、区間メタデータを利用することで、人物間の関係性を評価するための様々な情報が得られる。また、その情報を利用することにより、人物間の関係性を評価することができる。さらに、オブジェクトメタデータや領域メタデータを併せて利用することにより、人物間の関係性をより適切に評価することが可能になる。例えば、人物間の関係性は、図５に示すように、マトリックスの形式で表現できる。なお、マトリックスの各枠には、その要素に対応する人物の組について関係性の強さを表す関係性値が入る。なお、このマトリックスのことを関係性マトリックスと呼ぶことにする。以下、関係性値の具体的な算出方法について説明する。

（１−２−２：共演作品数に基づく関係性値の算出方法）
まず、図６を参照しながら、共演作品数に基づく関係性値の算出方法について説明する。図６は、共演作品数に基づく関係性値の算出方法について説明するための説明図である。なお、対象とする動画群は、動画Ｍ_１〜Ｍ_６であるとする。また、動画Ｍ_１〜Ｍ_６に登場する人物は、人物Ａ、人物Ｂ、人物Ｃであるとする。

既に述べたように、区間メタデータを利用すると、図６に示すように、人物Ａ、人物Ｂ、人物Ｃの共演関係が得られる。図６の例において、動画Ｍ_１の出演者は、人物Ａ、人物Ｂ、人物Ｃである。また、動画Ｍ_２の出演者は、人物Ａ、人物Ｃである。さらに、動画Ｍ_３の出演者は、人物Ｂだけである。そして、動画Ｍ_４の出演者は、人物Ａだけである。また、動画Ｍ_５の出演者は、人物Ａ、人物Ｂである。さらに、動画Ｍ_６の出演者は、人物Ａ、人物Ｂである。つまり、人物Ａと人物Ｂとが共演する作品は、動画Ｍ_１、動画Ｍ_５、動画Ｍ_６である。また、人物Ａと人物Ｃとが共演する作品は、動画Ｍ_１、動画Ｍ_２である。さらに、人物Ｂと人物Ｃとが共演する作品は、動画Ｍ_１だけである。

人物Ａと人物Ｂとが共演する作品数は３、人物Ａと人物Ｃとが共演する作品数は２、人物Ｂと人物Ｃとが共演する作品数は１であるため、人物Ａと人物Ｂとの関係性を表す関係性値は３、人物Ａと人物Ｃとの関係性を表す関係性値は２、人物Ｂと人物Ｃとの関係性を表す関係性値は１となる。なお、同じ人物間の関係性値も形式的に算出することができる。例えば、人物Ａと人物Ａとが共演する作品は、人物Ａが出演する作品と同義であり、動画Ｍ_１、Ｍ_２、Ｍ_４〜Ｍ_６が該当する。つまり、人物Ａと人物Ａとの共演作品数は５となり、人物Ａと人物Ａとの関係性を表す関係性値は５となる。人物Ｂ、人物Ｃについても同様である。

同じ人物に関する関係性値も含め、上記の方法で算出された関係性値をまとめると、図６に示すような関係性マトリックスが得られる。但し、この関係性マトリックスの対角成分は、各枠に対応する人物の出演作品数を表す。また、出演数の多い人物はメジャー度が高いと考えられるため、関係性マトリックスの対角成分はメジャー度を表しているとも言える。なお、ここでは出演作品数をそのまま関係性値として利用しているが、所定の係数をかけたり、正規化したりするなど、加工した数値を関係性値としてもよい。

以上、共演作品数に基づく関係性の算出方法について説明した。

（１−２−３：共演作品数に基づく関係性値の算出方法（重み付き））
次に、図７を参照しながら、共演作品数に基づく関係性値の算出方法（重み付き）について説明する。図７は、共演作品数に基づく関係性値の算出方法（重み付き）について説明するための説明図である。ここでは、主役／脇役の区別を重みで表現し、その重み値と共演作品数とに基づいて関係性値を算出する方法について述べる。なお、対象とする動画群は、動画Ｍ_１〜Ｍ_６であるとする。また、動画Ｍ_１〜Ｍ_６に登場する人物は、人物Ａ、人物Ｂ、人物Ｃであるとする。

区間メタデータを利用すると、図７に示すように、人物Ａ、人物Ｂ、人物Ｃの共演関係が得られる。図７の例において、動画Ｍ_１の出演者は、人物Ａ、人物Ｂ、人物Ｃである。また、動画Ｍ_２の出演者は、人物Ａ、人物Ｃである。さらに、動画Ｍ_３の出演者は、人物Ｂだけである。そして、動画Ｍ_４の出演者は、人物Ａだけである。また、動画Ｍ_５の出演者は、人物Ａ、人物Ｂである。さらに、動画Ｍ_６の出演者は、人物Ａ、人物Ｂである。つまり、人物Ａと人物Ｂとが共演する作品は、動画Ｍ_１、動画Ｍ_５、動画Ｍ_６である。また、人物Ａと人物Ｃとが共演する作品は、動画Ｍ_１、動画Ｍ_２である。さらに、人物Ｂと人物Ｃとが共演する作品は、動画Ｍ_１だけである。

また、オブジェクトメタデータを利用すると、動画Ｍ_１において人物Ａ及び人物Ｂが主役、人物Ｃが脇役であることが分かる。同様に、動画Ｍ_２において人物Ａが主役、人物Ｃが脇役であることが分かる。また、動画Ｍ_３において人物Ｂが主役であることが分かる。さらに、動画Ｍ_４において人物Ａが脇役であることが分かる。そして、動画Ｍ_５において人物Ａ、人物Ｂが脇役であることが分かる。また、動画Ｍ_６において人物Ａが主役、人物Ｂが脇役であることが分かる。

ここで、重みについて考える。共演者が共に主役の場合、共演作品１つにつきスコア＝４を与えるものとする。また、共演者の一方が主役、かつ、他方が脇役の場合、共演作品１つにつきスコア＝２を与えるものとする。さらに、共演者が共に脇役の場合、共演作品１つにつきスコア＝１を与えるものとする。

図７の例において、人物Ａと人物Ｂとが共に主役を務める作品は、動画Ｍ_１である。また、人物Ａが主役を務め、かつ、人物Ｂが脇役を務める作品、或いは、人物Ａが脇役を務め、かつ、人物Ｂが主役を務める作品は、動画Ｍ_６である。そして、人物Ａと人物Ｂとが共に脇役を務める作品は、動画Ｍ_５である。これらの結果から、人物Ａと人物Ｂとの組について、人物Ａと人物Ｂとが共に主役を務める作品の数は１である。また、人物Ａが主役を務め、かつ、人物Ｂが脇役を務める作品、或いは、人物Ａが脇役を務め、かつ、人物Ｂが主役を務める作品の数は１である。そして、人物Ａと人物Ｂとが共に脇役を務める作品の数は１である。従って、スコアの合計は、４×１＋２×１＋１×１＝７となる。つまり、人物Ａと人物Ｂとの関係性を表す関係性値は７となる。

同様に、人物Ａと人物Ｃとが共に主役を務める作品は、動画Ｍ_２である。また、人物Ａが主役を務め、かつ、人物Ｃが脇役を務める作品、或いは、人物Ａが脇役を務め、かつ、人物Ｃが主役を務める作品は、動画Ｍ_１である。そして、人物Ａと人物Ｃとが共に脇役を務める作品は存在しない。これらの結果から、人物Ａと人物Ｃとの組について、人物Ａと人物Ｃとが共に主役を務める作品の数は１である。また、人物Ａが主役を務め、かつ、人物Ｃが脇役を務める作品、或いは、人物Ａが脇役を務め、かつ、人物Ｃが主役を務める作品の数は１である。そして、人物Ａと人物Ｃとが共に脇役を務める作品の数は０である。従って、スコアの合計は、４×１＋２×１＋１×０＝６となる。つまり、人物Ａと人物Ｃとの関係性を表す関係性値は６となる。

同様に、人物Ｂと人物Ｃとが共に主役を務める作品は存在しない。また、人物Ｂが主役を務め、かつ、人物Ｃが脇役を務める作品、或いは、人物Ｂが脇役を務め、かつ、人物Ｃが主役を務める作品は、動画Ｍ_１である。そして、人物Ｂと人物Ｃとが共に脇役を務める作品は存在しない。これらの結果から、人物Ｂと人物Ｃとの組について、人物Ｂと人物Ｃとが共に主役を務める作品の数は０である。また、人物Ｂが主役を務め、かつ、人物Ｃが脇役を務める作品、或いは、人物Ｂが脇役を務め、かつ、人物Ｃが主役を務める作品の数は１である。そして、人物Ｂと人物Ｃとが共に脇役を務める作品の数は０である。従って、スコアの合計は、４×０＋２×１＋１×０＝２となる。つまり、人物Ｂと人物Ｃとの関係性を表す関係性値は２となる。

同じ人物に関する関係性値も同様にして求め、これらの関係性値をまとめると、図７に示すような関係性マトリックスが得られる。但し、この関係性マトリックスの対角成分は、各枠に対応する人物のメジャー度を表している。なお、ここではスコアの合計値をそのまま関係性値としたが、合計値の平方根を関係性値としてもよい。また、上記の説明では、役柄の組み合わせに応じてスコア付けする方法を例示したが、例えば、次のように役柄重みＲＷを定義し、下記の式（１）に基づいて関係性値Ｒｅｌを算出してもよい。役柄重みＲＷ（Ｍ_ｋ，Ａ）は、動画Ｍ_ｋにおける人物Ａの役柄が主役の場合に２、脇役の場合に１、出演していない場合に０をとる。また、Ｒｅｌ（Ａ，Ｂ）は、人物Ａと人物Ｂとの関係性を示す関係性値を表す。

以上、共演作品数に基づく関係性の算出方法（重み付き）について説明した。

（１−２−４：出演時間に基づく関係性値の算出方法）
次に、図８を参照しながら、出演時間に基づく関係性値の算出方法について説明する。図８は、出演時間に基づく関係性値の算出方法について説明するための説明図である。ここでは、各動画における各人物の出演時間を利用して関係性値を算出する方法について述べる。なお、対象とする動画群は、動画Ｍ_１〜Ｍ_６であるとする。また、動画Ｍ_１〜Ｍ_６に登場する人物は、人物Ａ、人物Ｂ、人物Ｃであるとする。

区間メタデータを利用すると、図８に示すように、人物Ａ、人物Ｂ、人物Ｃの共演関係が得られる。図８の例において、動画Ｍ_１の出演者は、人物Ａ、人物Ｂ、人物Ｃである。また、動画Ｍ_２の出演者は、人物Ａ、人物Ｃである。さらに、動画Ｍ_３の出演者は、人物Ｂだけである。そして、動画Ｍ_４の出演者は、人物Ａだけである。また、動画Ｍ_５の出演者は、人物Ａ、人物Ｂである。さらに、動画Ｍ_６の出演者は、人物Ａ、人物Ｂである。つまり、人物Ａと人物Ｂとが共演する作品は、動画Ｍ_１、動画Ｍ_５、動画Ｍ_６である。また、人物Ａと人物Ｃとが共演する作品は、動画Ｍ_１、動画Ｍ_２である。さらに、人物Ｂと人物Ｃとが共演する作品は、動画Ｍ_１だけである。

また、区間メタデータを利用すると、図８に示すように、動画Ｍ_１における人物Ａの出演時間は４０、人物Ｂの出演時間は３０、人物Ｃの出演時間は１０であることが分かる。同様に、動画Ｍ_２における人物Ａの出演時間は３０、人物Ｃの出演時間は４０であることが分かる。また、動画Ｍ_３における人物Ｂの出演時間は２０であることが分かる。さらに、動画Ｍ_４における人物Ａの出演時間は１０であることが分かる。そして、動画Ｍ_５における人物Ａの出演時間は５、人物Ｂの出演時間は１０であることが分かる。また、動画Ｍ_６における人物Ａの出演時間は４０、人物Ｂの出演時間は５であることが分かる。

出演時間が長い人物は、その動画の中で重要な役を担当していると言える。また、互いに重要な役で出演している人物間の関係性は強いと考えられる。逆に、互いに出演時間が短い人物間の関係性は低いと考えられる。例えば、ちょい役で登場する人物間の関係性は低く評価されるべきであろう。こうした考えから、出演時間ＰＳＬを定義し、下記の式（２）に基づいて関係性値Ｒｅｌを算出する方法を提案する。但し、出演時間ＰＳＬ（Ｍ_ｋ，Ａ）は、動画Ｍ_ｋにおける人物Ａの出演時間を表し、人物Ａが出演していない場合には０をとる。また、Ｒｅｌ（Ａ，Ｂ）は、人物Ａと人物Ｂとの関係性を示す関係性値を表す。なお、右辺の平方根を関係性値としてもよい。

図８の例において、人物Ａと人物Ｂとの関係性を示す関係性値は、４０×３０（動画Ｍ_１）＋３０×０（動画Ｍ_２）＋０×２０（動画Ｍ_３）＋１０×０（動画Ｍ_４）＋５×１０（動画Ｍ_５）＋４０×５（動画Ｍ_６）＝１４５０となる。同様に計算すると、人物Ａと人物Ｃとの関係性を示す関係性値は１６００、人物Ｂと人物Ｃとの関係性を示す関係性値は３００となる。これらの数値をまとめると、図８に示すような関係性マトリックスが得られる。なお、同じ人物についても同様に計算することが可能である。出演時間の長い人物は、メジャー度の高い人物であると言える。そのため、同じ人物に関する関係性値（関係性マトリックスの対角成分）は、各人物のメジャー度を表す。

以上、出演時間に基づく関係性マトリックスの計算方法について説明した。

（１−２−５：出演シーン時間に基づく関係性値の算出方法）
次に、図９を参照しながら、出演シーン時間に基づく関係性値の算出方法について説明する。図９は、出演シーン時間に基づく関係性値の算出方法について説明するための説明図である。ここでは、各動画における共演シーン時間を利用して関係性値を算出する方法について述べる。なお、対象とする動画群は、動画Ｍ_１〜Ｍ_６であるとする。また、動画Ｍ_１〜Ｍ_６に登場する人物は、人物Ａ、人物Ｂ、人物Ｃであるとする。

区間メタデータを利用すると、図９に示すように、各動画について各人物の組に関する共演シーン時間が得られる。なお、図９の中では、人物Ｘと人物Ｙとの組に関する共演シーン時間を［Ｘ，Ｙ］と表現している。例えば、動画Ｍ_１における人物Ａと人物Ｂとの組に関する共演シーン時間は［Ａ，Ｂ］＝２０である。同様に、動画Ｍ_１に関しては、［Ａ，Ａ］＝４０、［Ｂ，Ｂ］＝３０，［Ｃ，Ｃ］＝１０、［Ａ，Ｃ］＝５、［Ｂ，Ｃ］＝５という結果が得られている。なお、［Ａ，Ａ］とは、人物Ａと人物Ａとが共演する区間の長さを示すものであるが、同じ人物が対象であるから、人物Ａの出演時間に一致する。［Ｂ，Ｂ］、［Ｃ，Ｃ］についても同様である。

同じ映像シーンに登場する人物間の関係性は強いと考えられる。例えば、会話を交わす関係にある人物は、当然のことながら同じ映像シーンに登場する。また、敵対していたり、或いは、味方の関係にある人物は、動画の中で同じ映像シーンに登場する頻度が高い。ヒーロー役の人物とヒロイン役の人物も同じ映像シーンに登場する頻度が高い。こうした考えから、共演シーン時間ＣＳＬを定義し、下記の式（３）に基づいて関係性値Ｒｅｌを算出する方法を提案する。但し、共演シーン時間ＣＳＬ（Ｍ_ｋ，Ａ，Ｂ）は、動画Ｍ_ｋにおいて人物Ａと人物Ｂとが共演している区間の長さを表し、いずれかの人物が出演していない場合には０をとる。また、Ｒｅｌ（Ａ，Ｂ）は、人物Ａと人物Ｂとの関係性を示す関係性値を表す。なお、右辺の平方根を関係性値としてもよい。

図９の例において、人物Ａと人物Ｂとの関係性を示す関係性値は、２０（動画Ｍ_１）＋０（動画Ｍ_２）＋０（動画Ｍ_３）＋０（動画Ｍ_４）＋５（動画Ｍ_５）＋５（動画Ｍ_６）＝３０となる。同様に計算すると、人物Ａと人物Ｃとの関係性を示す関係性値は２５、人物Ｂと人物Ｃとの関係性を示す関係性値は５となる。これらの数値をまとめると、図９に示すような関係性マトリックスが得られる。なお、同じ人物についても同様に計算することが可能である。同じ人物に関する関係性値（関係性マトリックスの対角成分）は、各人物の総出演時間を表す。

以上、共演シーン時間に基づく関係性マトリックスの計算方法について説明した。

以上説明したように、区間メタデータを利用して得られる情報から、様々な観点で人物間の関係性を評価することが可能である。なお、ここで説明した関係性値の算出方法は一例であり、例えば、顔領域の面積により重み付けした出演時間や共演シーン時間などを利用して関係性値を算出することも可能である。また、主役／脇役の区別を考慮して重み付けした出演時間や共演シーン時間などを利用して関係性値を算出することも可能である。

（その他の方法１：共演シーン時間＋役柄重み）
一例として、共演シーン時間ＣＳＬ及び役柄重みＲＷを組み合わせて関係性値Ｒｅｌを算出する方法を紹介する。なお、ＣＳＬ及びＲＷの定義は既に説明したものと同じである。この例において、関係性値Ｒｅｌ（Ａ，Ｂ）は、下記の式（４）により算出される。なお、右辺の平方根は省略してもよい。この方法によると、各動画における各人物の重要度を示す役柄重みと、各動画における人物間の関係性の強さを示す共演シーン時間とを共に考慮した関係性値が算出される。

（その他の方法２：共演シーン時間＋出演時間）
別の例として、共演シーン時間ＣＳＬ及び出演時間ＰＳＬを組み合わせて関係性値Ｒｅｌを算出する方法を紹介する。なお、ＣＳＬ及びＰＳＬの定義は既に説明したものと同じである。この例において、関係性値Ｒｅｌ（Ａ，Ｂ）は、下記の式（５）により算出される。なお、右辺の平方根は省略してもよい。この方法によると、各動画における各人物の重要度を示す出演時間と、各動画における人物間の関係性の強さを示す共演シーン時間とを共に考慮した関係性値が算出される。

［１−３：オブジェクトの表示方法］
次に、図１０〜図２４を参照しながら、上記の関係性値を利用したオブジェクトの表示方法について説明する。例えば、図１０に示すように、動画の各登場人物をオブジェクトで表現し、関係性値の高いオブジェクト同士を近づけて表示する。このような表示方法を用いると、人物間の関係性を容易に視認することが可能になる。なお、オブジェクトの表示は、主にオブジェクト表示部１０４の機能により実現される。以下、オブジェクトの表示方法について、より詳細に説明する。

（１−３−１：オブジェクトのサイズについて）
まず、図１１を参照する。オブジェクトの表現に利用できる情報として、各人物の出演時間に関する情報がある。区間メタデータを利用して得られる各人物の出演時間に関する情報としては、動画別出演時間の情報、及び総出演時間の情報がある。ここでは、総出演時間の情報を利用するオブジェクトの表現方法について考える。総出演時間は、人物のメジャー度、或いは、注目度を表す指標であると考えられる。例えば、主役として出演する動画の数が多い人物は、当然に総出演時間が長くなるであろう。従って、総出演時間の長い人物に対応するオブジェクトは目立つように表現される方が好ましい。

上記のような理由から、オブジェクト表示部１０４は、図１１に示すように、総出演時間の長い人物を示すオブジェクトを大きく表示し、総出演時間の短い人物を示すオブジェクトを小さく表示する。このような表現を用いると、対象とする動画群に登場する人物の中で、メジャー度の高い人物を容易に識別することが可能になる。なお、オブジェクトの表示サイズは、総出演時間に応じて段階的に変化するようにしてもよいし、総出演時間に応じて連続的に変化するようにしてもよい。

例えば、オブジェクト表示部１０４は、第１閾値Ｔｈ_１、第２閾値Ｔｈ_２（Ｔｈ_２＜Ｔｈ_１）を利用し、総出演時間ＴがＴ＞Ｔｈ_１の場合に表示サイズを大にし、Ｔｈ_２＜Ｔ≦Ｔｈ_１の場合に表示サイズを中にし、Ｔ≦Ｔｈ_２の場合に表示サイズを小にする。また、オブジェクト表示部１０４は、線形又は非線形の単調増加関数ｆを利用し、総出演時間Ｔに応じて表示サイズＳ＝α＊ｆ（Ｔ）を算出してもよい。なお、ここでは総出演時間を利用する方法について紹介したが、例えば、動画別出演時間の平均値、中央値、或いは、最大値などを利用する方法も考えられる。また、総出演時間が所定の閾値を越えない人物のオブジェクトを表示しないようにしてもよい。このような表示にすると、ちょい役やエキストラなどのオブジェクトが表示されないようになり、注目すべき人物のオブジェクトを認識しやすくなる。

（１−３−２：オブジェクト間の距離について）
次に、図１２を参照する。ここでは、人物間の関係性をオブジェクト間の距離で表現する方法について紹介する。人物間の関係性は、関係性値により表現される。図１２に示すように、人物間の関係性値が大きい場合、その人物に対応するオブジェクト間の距離を小さくする。逆に、人物間の関係性値が小さい場合、その人物に対応するオブジェクト間の距離を大きくする。但し、図１０に示したように複数のオブジェクトを表示した場合に、視認性が損なわれるのは好ましくない。そのため、オブジェクトが適度に散らばって配置されるようにすることが好ましい。また、オブジェクトが表示領域内に留まるように配慮することが望まれる。

そこで、下記の式（６）で定義されるエネルギー関数Ｅを導入する。このエネルギー関数Ｅ（Ａ）は、人物Ａのオブジェクトが表示領域内の座標（ｘ，ｙ）に位置する場合に生じるエネルギー（以下、ポテンシャルエネルギー）を表す。オブジェクト表示部１０４は、全ての人物に関するエネルギー関数Ｅの和ＴＥが最小となるように、各人物に対応するオブジェクトの位置を決定する。下記の式（６）に示すように、エネルギー関数Ｅは、２つの項で構成される。第１項Ｅ_１は、人物間の関係性に関するポテンシャルエネルギーを表す項である。一方、第２項Ｅ_２は、表示領域内の位置に関するポテンシャルエネルギーを表す項である。以下、各項について詳細に説明する。

まず、第１項Ｅ_１について説明する。例えば、人物Ａに関する第１項Ｅ_１（Ａ）は、下記の式（７）に示すように、人物Ａと人物Ｑ（Ｑ＝Ｂ，Ｃ，…）との間の関係性に関するエネルギー関数Ｅ_１１（Ａ，Ｑ）の和で表現される。また、エネルギー関数Ｅ_１１（Ａ，Ｑ）は、下記の式（８）に示すように、関係性値Ｒ（Ａ，Ｑ）及び距離Ｄ（Ａ，Ｑ）の関数として定義される。なお、Ｒ（Ａ，Ｑ）は、人物Ａと人物Ｑとの組に関する関係性値（上記のＲｅｌ（Ａ，Ｑ））を表す。また、Ｄ（Ａ，Ｑ）は、図１４に示すように、人物Ａのオブジェクトと人物Ｑのオブジェクトとの間の表示領域における距離を表す。なお、ｋ_１１、ｋ_１２、ｋ_１３は、正規化係数である。

人物Ａと人物Ｑとの間に関係性がある場合、エネルギー関数Ｅ_１１（Ａ，Ｑ）は、図１３に示すように、Ｄ（Ａ，Ｑ）＝ｋ_１２／Ｒ（Ａ，Ｑ）に最小値（安定点）を持ち、下に凸の曲線を描く関数である。既に述べたように、エネルギーが最小となるようにオブジェクトの配置が決められる。そのため、人物Ａのオブジェクトと人物Ｑのオブジェクトとの間の距離は、安定点付近の値に決められる。安定点の位置は、関係性値Ｒ（Ａ，Ｑ）が大きくなるほど左側へとシフトする。つまり、人物Ａと人物Ｑとの関係性が強いほど、人物Ａのオブジェクトと人物Ｑのオブジェクトとの間の距離は近くなる。なお、ここではエネルギー関数Ｅ_１１（Ａ，Ｑ）を二次関数で表現したが、図１３に示すような曲線を描く関数であれば二次関数でなくてもよい。

一方、人物Ａと人物Ｑとの間に関係性がない場合、エネルギー関数Ｅ_１１（Ａ，Ｑ）は、図１５に示すように、Ｄ（Ａ，Ｑ）の増加に伴って単調減少する関数である。つまり、人物Ａのオブジェクトと人物Ｑのオブジェクトとが近づくとエネルギーが増加することになる。言い換えると、人物Ａと人物Ｑとの間に関係性がない場合、人物Ａのオブジェクトと人物Ｑのオブジェクトとは限りなく離れていくことになる。但し、オブジェクト同士が限りなく離れていくと、いずれか一方又は両方のオブジェクトが表示領域から外へと出てしまうことになる。そこで、表示領域内における各オブジェクトの位置に関するポテンシャルエネルギーを表す第２項Ｅ２を導入する。

第２項Ｅ２は、下記の式（９）に示すように、Ｘ方向に沿って測った画面中心からの距離Ｄ_Ｘ（図１８を参照）、及びＹ方向に沿って測った画面中心からの距離Ｄ_Ｙ（図１８を参照）の関数として定義される。但し、ｋ_２１、ｋ_２２は正規化係数である。また、ｎは、ｎ≧２である。なお、第２項Ｅ_２は、Ｄ_Ｘ＝０、Ｄ_Ｙ＝０のときに最小値をとり、Ｄ_Ｘ及びＤ_Ｙの値が大きくなるにつれて増加する曲線を描く関数であれば、下記の式（９）に示す関数形に限定されない。例えば、図１６及び図１７のように、第２項Ｅ_２は、表示領域の側端に漸近する曲線を描くような関数であってもよい。また、第２項Ｅ_２は、画面中心からの距離に応じて段階的に値が増加する階段関数であってもよい。

上記のように第２項Ｅ_２を定義すると、オブジェクトが画面の側端に近づくにつれて、そのオブジェクトに関するエネルギーが増加する。そのため、第１項Ｅ_１の影響によりオブジェクトが画面の側端に近づこうとしても、第２項Ｅ_２の影響により、そのオブジェクトが画面の側端に近づき過ぎないように制御される。その結果、表示領域の外へとオブジェクトが出てしまうことを回避できるようになる。なお、第２項Ｅ_２の定義次第ではオブジェクトが表示領域の外側へとはみ出してしまうことも考えられる。第２項Ｅ_２を上記の式（９）のように定義した場合、どの程度はみ出しを許容するかは、指数ｎの設定に委ねられる。もちろん、オブジェクトが表示領域の外へ大きくはみ出すことを許容するような表現を採用してもよい。

繰り返しになるが、オブジェクト表示部１０４は、全ての人物Ｕ（Ｕ＝Ａ，Ｂ，Ｃ，…）に関するエネルギー関数Ｅの和ＴＥ（下記の式（１０）を参照）が最小になるように、各人物に対応するオブジェクトの配置を決める。なお、ＴＥが最小となるように各オブジェクトの位置を決める方法としては、例えば、最急降下法、焼きなまし法、遺伝的アルゴリズムなどの最適化手法を利用することができる。オブジェクト表示部１０４は、このような方法を利用して表示領域内における各オブジェクトの座標を決定し、図１０に示すようにオブジェクト群を表示する。

図１０に示すように、関係性の強い人物のオブジェクト同士は近くに表示される。また、関係性のない人物のオブジェクト同士は離れて表示される。その結果、関係性のある人物のオブジェクト同士でクラスタが形成される。例えば、図１０に示すように、同じ動画で共演する人物のオブジェクト群がクラスタを形成する。また、互いに異なる動画に登場する人物のオブジェクト群同士であっても、ある人物を介してオブジェクト群同士の関係性が表出する。図１０の例では、動画Ｍ_３に登場する多くの人物は、動画Ｍ_４に登場する人物と共演していない。しかし、動画Ｍ_３と動画Ｍ_４との両方に出演している人物が存在しているため、その人物のオブジェクトを介して両方のオブジェクト群が近い位置に表示される。このように、本実施形態に係るオブジェクトの表示方法を適用すると、人物間の直接的な関係性だけでなく、間接的な関係性をも視覚的に表現することが可能になる。

（１−３−３：奥行き表現について）
図１０に示したオブジェクト群は、２次元平面に配置されているように見えるだろう。上記の方法を用いると、オブジェクト群を２次元平面に適切に配置することができる。但し、上記の方法は、オブジェクト群を３次元空間に配置する方法に拡張することも可能である。例えば、２次元配置を基本とし、図１９に示すように、奥行き方向にオブジェクトをずらして３次元配置にすることが可能である。奥行き方向へのずらし方としては、ランダムにずらす方法や、オブジェクトのサイズに応じてずらす方法などが考えられる。具体的には、図１９に示すように、サイズの大きなオブジェクトを少し奥行き方向にずらし、サイズの小さなオブジェクトを少し手前方向にずらして配置するのが好ましい。

また、オブジェクトの座標を３次元座標として扱い、３次元空間内の距離Ｄと関係性値Ｒとを用いてエネルギー関数Ｅを定義してもよい。このようにエネルギー関数Ｅを定義すると、関係性値に基づくオブジェクト群の配置表現により、３次元空間の中で人物間の関係性を表現することが可能になる。特に、３次元空間内を自由に移動できたり、拡大／縮小できたり、或いは、視点変更ができたりするようなユーザインターフェースの場合、３次元的な表現は有効である。

なお、第１項Ｅ_１は、距離Ｄと関係性値Ｒとで規定される関数である。そのため、３次元配置に拡張しても第１項Ｅ_１の関数形は変更する必要がない。また、奥行き方向にオブジェクトがどれだけ遠ざかってもよいとするならば（無限空間を仮定するならば）、第２項Ｅ_２の関数形を変更する必要もない。但し、奥行き方向にオブジェクトが遠ざかり過ぎると見えなくなってしまう可能性があるため、奥行き方向に遠ざかるにつれてエネルギーが大きくなるように第２項Ｅ_２の関数形を変更するのが好ましい。なお、３次元空間を制限する方法としては、例えば、立方体の空間に制限する方法や、四角錐の空間（視野に収まる範囲）に制限する方法などが考えられる。

このように、奥行き表現を加えることで、オブジェクト群を３次元空間に配置することが可能になる。

（１−３−４：関係性の表現について）
次に、関係性の表現方法に関する追加的なアイデアを紹介する。

（接続線の表示）
既に説明したように、上記の方法を適用すると、関係性の強い人物のオブジェクト同士が近くに配置され、関係性の弱い人物のオブジェクト同士が遠くに配置される。そのため、オブジェクト間の距離やオブジェクト群の位置関係などから人物間の関係性を推察することができる。しかし、関係性の有無を確実に知りたい場合もある。例えば、オブジェクトの数が多く、表示領域内におけるオブジェクトの密度が高い場合、オブジェクト間の距離だけでは関係性の有無を正確に把握できないことがある。

そこで、本件発明者は、図２０に示すように、関係性の有無を示す接続線を表示する方法を考案した。例えば、ユーザが１つのオブジェクトを選択すると、選択されたオブジェクトと、そのオブジェクトに対応する人物と関係する人物のオブジェクトとが接続線で接続される。このように、接続線を表示すると、関係性の有無を一目で確実に認識することが可能になる。なお、図２０の例では、ユーザがオブジェクトを選択した場合に接続線が表示されるようにしているが、常に接続線が表示されるようにしてもよい。但し、図１０に示すように、表示領域内に多くのオブジェクトが表示されている場合、常に接続線が表示されていると表示が煩雑になるため、オブジェクトの選択に応じて接続線が表示されるようにする方が好ましい。

（オブジェクトの動き）
ところで、これまでは各オブジェクトの表示位置が固定されているかのように説明をしてきた。もちろん、各オブジェクトの表示位置が固定されていてもよいが、各オブジェクトを揺動させることにより、画面内に動きが生まれ、より親しみやすいユーザインターフェースが実現できる。また、人物間の関係性をオブジェクトの揺動により表現することもできる。例えば、図２１に示すように、通常はオブジェクトをランダムに揺動させておき、あるオブジェクトが選択された場合に、そのオブジェクトに対応する人物と関係のある人物のオブジェクトを全て同位相で揺動させる方法などが考えられる。この方法を用いると、接続線の表示がなくとも、直感的に関係性の有無を認識することが可能になる。

また、オブジェクトメタデータに基づいて役柄などの情報が得られている場合、その情報に基づいてオブジェクトの動きを制御してもよい。例えば、人物Ａがヒーローで人物Ｂがヒロインの場合、オブジェクト表示部１０４は、図２２に示すように、人物Ａのオブジェクトと人物Ｂのオブジェクトとを同位相で揺動させておき、徐々に両オブジェクトを近づけさせる。また、人物Ａと人物Ｂとが対立関係にある場合、図２３に示すように、オブジェクト表示部１０４は、人物Ａのオブジェクトと人物Ｂのオブジェクトとを逆位相で揺動させておき、徐々に両オブジェクトを離れさせる。このような表現を用いることで、関係性の中身が一目で分かるようになる。

また、ドラッグ操作などによりオブジェクトの位置を変更できるようにする。例えば、図２４に示すように、人物Ａのオブジェクトを選択して所望の位置に移動できるようにする。但し、人物Ａのオブジェクトだけが移動してしまうと、オブジェクト間の距離から人物間の関係性が把握できなくなってしまう。そのため、オブジェクト表示部１０４は、人物Ａのオブジェクトが移動した場合、人物Ａに関係する人物のオブジェクトも共に移動させる。また、オブジェクト表示部１０４は、移動後の位置においてオブジェクト間の距離が関係性値に基づく距離になるように各オブジェクトの位置を調整する。

さらに、人物Ａのオブジェクトが移動したことにより、人物Ａと関係のない人物Ｂのオブジェクトも影響を受ける。既に説明したように、全てのオブジェクトに関するエネルギーの和ＴＥが最小となるように各オブジェクトの配置が決められる。そのため、人物Ａのオブジェクト及び関連するオブジェクトが移動すると、全てのオブジェクトに関するエネルギーの和ＴＥも変化してしまう。そこで、オブジェクト表示部１０４は、全てのオブジェクトに関するエネルギーの和ＴＥが再び最小になるように、例えば、人物Ｂのオブジェクト及び関連するオブジェクトを移動させる。

但し、ＴＥの再計算にかかる負荷が高い場合、オブジェクト表示部１０４は、図２４に示すように、人物Ａのオブジェクト及び関連するオブジェクトを避けるように、人物Ｂのオブジェクト及び関連するオブジェクトを移動させるようにしてもよい。関係性のない人物のオブジェクト同士が離れれば離れるほどエネルギーの和ＴＥは下がるはずである。そこで、ＴＥの再計算を省略し、関係性のないオブジェクト群が所定の距離以上遠ざかるように各オブジェクトの位置を調整するようにしてもよい。

以上、関係性値に基づくオブジェクトの表示方法について説明した。

［１−４：シーン画像の表示方法］
次に、図２５〜図２８を参照しながら、シーン画像の表示方法について説明する。

シーン画像とは、動画の１シーンを表現した画像、或いは、その動画を代表する画像である。例えば、最初の動画フレームを抽出してシーン画像として利用することができる。また、動画のパッケージ写真をシーン画像として利用することができる。さらに、出演時間が最も長い人物が登場する動画フレームを抽出してシーン画像として利用することができる。その他にも、動画からランダムに抽出された動画フレームをシーン画像として利用してもよいし、主役が登場する動画フレームをシーン画像として利用してもよい。或いは、シーン画像に動画像を再生して利用してもよい。このように、様々な画像をシーン画像として利用することができる。

また、対象となる動画に対応するシーン画像は、図２５に示すように、オブジェクトと共に表示される。さらに、シーン画像は、タイル状に並べて配置される。例えば、あるオブジェクトが選択されると、そのオブジェクトに対応する人物が登場する動画のシーン画像がハイライト表示される。なお、選択されたオブジェクトに対応する人物が複数の動画に登場する場合や、複数の映像シーンに登場する場合、図２５に示すように、複数のシーン画像がハイライト表示されることがある。このハイライト表示を参照すると、選択したオブジェクトに対応する人物がどのくらい多くの動画に出演しているかを一目で把握することができる。

また、シーン画像の配置に規則性を持たせることで、ハイライト表示されたシーン画像の分布から、選択したオブジェクトに対応する人物が出演している動画の種類や時期などの傾向を一目で把握することが可能になる。以下、シーン画像の配置方法に関するアイデアを紹介する。

（１−４−１：シーン画像の配置方法（ランダム配置））
シーン画像の配置方法としては、図２６に示すように、ランダムにシーン画像を配置する方法が考えられる。シーン画像をランダムに配置すると、あるオブジェクトが選択された場合に、そのオブジェクトに対応する人物が登場する動画のシーン画像がハイライト表示される。また、所定のタイミングでシーン画像の再配置が行われるようにすると、ハイライト表示されるシーン画像の位置が頻繁に変わるため、飽きがこないユーザインターフェースが実現される。

また、ランダムな位置にあるシーン画像がハイライト表示されるため、賑やかな印象を持ったユーザインターフェースが実現される。なお、ランダムに表示されていても、ハイライト表示されるシーン画像が全体に占める割合は容易に認識できるため、選択したオブジェクトに対応する人物の出演頻度を直感的に知ることができる。

（１−４−２：シーン画像の配置方法（時系列配置））
また、シーン画像の配置方法としては、図２７に示すように、時系列でシーン画像を配置する方法が考えられる。図２７の例では、Ｘ軸に沿って動画のシリーズが時系列で並ぶようにし、Ｙ軸に沿って動画中に登場する映像シーンのシーン画像が時系列に並ぶようにしている。このような配置にすると、ハイライト表示されたシーン画像の分布から、例えば、選択したオブジェクトに対応する人物が、シリーズの前半に登場するのか、後半から登場するのかを一目で把握することが可能になる。また、その人物が、動画中の前半に登場することが多いのか、中盤に登場することが多いのか、或いは、後半に登場することが多いのかが容易に把握できるようになる。

図２７の例では、第５話の後半に対応するシーン画像、及び第６話及び第７話の全般に対応するシーン画像がハイライト表示されている。従って、選択されたオブジェクトに対応する人物が第５話の後半から第７話の終わりまで登場していることが一目で分かる。また、総集編においても、後半に位置するシーン画像がハイライト表示されていることから、選択されたオブジェクトに対応する人物は、このシリーズの後半に登場する人物であることが容易に把握できる。このように、シーン画像を時系列に配置することにより、人物の登場期間や登場する場面の傾向などを一目で把握することができるようになる。なお、ここでは動画のシリーズものを例に挙げたが、時間的な要素を含む動画群を対象にするならば、同様にして時系列でシーン画像を配置することが可能である。

（１−４−３：シーン画像の配置方法（ムードに応じた配置））
また、シーン画像の配置方法としては、図２８に示すように、ムードに応じてシーン画像を配置する方法が考えられる。例えば、図２８に示すように、アクション、ファニー、ハピネス、ラブリー、ホラー、アンハッピーなど、動画のムード毎に列を分けてシーン画像を配置する方法が考えられる。また、行の並びについては、時系列で配置してもよいし、ムードの度合いに応じて配置してもよい。例えば、アクションの列に関し、アクションシーンの比較的多い動画のシーン画像を手前に表示し、アクションシーンの比較的少ない動画のシーン画像を奥側に表示するなどの配置方法が考えられる。

このような配置にすると、ハイライト表示されたシーン画像の分布から、例えば、選択したオブジェクトに対応する人物がどのようなムードの動画に出演しているかを容易に把握することができるようになる。さらに、人物Ａが登場する動画のうち、アクションシーンの多い動画を選択するといった選び方が可能になる。なお、ハイライト表示されたシーン画像の選択操作により、選択されたシーン画像に対応する動画が再生される仕組みにしてもよい。このような仕組みにすると、ユーザは、所望の動画を素早く再生することが可能になる。また、その動画の中で、ムードに適合した映像シーンが選択的に再生されるような仕組みにしてもよい。

以上、シーン画像の配置方法について説明した。

［１−５：シーン画像表示及びオブジェクト表示の切り替え］
次に、図２９〜図３２を参照しながら、シーン画像群の表示方法及びオブジェクト表示の切り替え方法について説明する。図２５に示したように、タイル状に配置されるシーン画像群は、オブジェクトと共に表示される。また、シーン画像は、オブジェクトの選択に応じてハイライト表示される。さらに、シーン画像を選択することにより、そのシーン画像に対応する動画が再生される仕組みが設けられていてもよい。これらの構成については既に説明した通りである。ここでは、シーン画像群の切り替えに関するアイデアを紹介する。また、シーン画像群の切り替えに伴うオブジェクト表示の切り替えに関するアイテムについても紹介する。

（１−５−１：年代の切り替え）
例えば、図２９に示すように、年代で分けたシーン画像群を用意しておき、シーン画像群を切り替えることにより、対象とする動画が属する年代を切り替えられるようにする仕組みについて考える。オブジェクトと共に表示されるシーン画像群は、１つの年代に対応するシーン画像群である。もちろん、シーン画像群と共に表示されるオブジェクトは、そのシーン画像群に対応する動画に登場する人物のオブジェクトである。そのため、シーン画像群を切り替えると、シーン画像群と共に表示されるオブジェクトも切り替わる。

例えば、１９９０年代の動画に関するシーン画像群が表示されているとき、そのシーン画像群と共に表示されるオブジェクトは、１９９０年代に活躍した俳優や女優を表す。また、シーン画像群を２０００年代のシーン画像群に切り替えると、そのシーン画像群と共に表示されるオブジェクトは、２０００年代に活躍した俳優や女優を表すものへと切り替わる。このように、年代で分けたシーン画像群を切り替えられるようなユーザインターフェースにすることで、各時代に活躍した俳優や女優を容易に把握できるようになる。

なお、シーン画像群の区別をより細かく設定してもよい。例えば、１９９０年代のテレビドラマ、２０００年代のテレビドラマ、２０１０年代のテレビドラマ、１９９０年代の映画、２０００年代の映画、２０１０年代の映画などという区分が考えられる。この区分を採用すると、例えば、シーン画像群を切り替えることで、テレビドラマで活躍した俳優や女優の移り変わりを把握することができる。また、シーン画像群を切り替えることで、同じ年代においてテレビドラマで活躍していた俳優や女優と、映画で活躍していた俳優や女優との違いを容易に把握することができるようになる。

このように、シーン画像群の構成を時間的要素に基づいて設定しておくことにより、シーン画像群の切り替えに応じて変化するオブジェクト群の構成変化から人物の出演傾向の時間的変化などを容易に把握することが可能になる。

（１−５−２：地域の切り替え）
図２９の例は、シーン画像群を時間的要素に基づいて区分し、シーン画像群の切り替えに応じてオブジェクト表示を切り替える構成に関するものであった。ここでは、図３０を参照しながら、地域に応じてシーン画像群及びオブジェクト群を切り替える構成について説明する。図３０に示すように、画面上に地図を表示し、ユーザに地図上の地域を選択させるユーザインターフェースを提案する。このユーザインターフェースにおいて、ユーザがヨーロッパを選択すると、オブジェクト表示部１０４は、ヨーロッパの俳優が登場する動画のシーン画像群と、その俳優に対応するオブジェクト群とを表示する。また、ユーザがアメリカを選択すると、オブジェクト表示部１０４は、アメリカの俳優が登場する動画のシーン画像群と、その俳優に対応するオブジェクト群とを表示する。

なお、オブジェクト表示部１０４は、地図上にシーン画像群を表示してもよい。例えば、オブジェクト表示部１０４は、地図上でヨーロッパに対応する領域に、ヨーロッパの俳優が出演する動画のシーン画像群を表示してもよい。同様に、オブジェクト表示部１０４は、地図上で日本に対応する領域に日本の俳優が出演する動画のシーン画像群を表示したり、地図上でアメリカに対応する領域にアメリカの俳優が出演する動画のシーン画像群を表示したりしてもよい。また、地域毎に年代を切り替えられるようにしてもよい。例えば、ヨーロッパの俳優が出演する１９９０年代のシーン画像群をヨーロッパの俳優が出演する２０００年代のシーン画像群に切り替えられるようにしてもよい。

このように、シーン画像群の構成を地理的要素に基づいて設定しておくことにより、地域単位で活躍している俳優を容易に把握することが可能になる。また、世界的に活躍している俳優などを容易に把握することができるようになる。

（１−５−３：切り替え時のオブジェクト表示）
シーン画像群を切り替えた際、図３１に示すように、オブジェクトがシーン画像群から抜け出すように表示されるようにしてもよい。例えば、人物Ａのオブジェクトは、人物Ａが登場する動画の映像シーンを表すシーン画像から抜け出すように表示されるようにする。また、人物Ａが複数の動画に登場する場合、人物Ａの出演時間が最も長い動画に対応するシーン画像から抜け出すように表示されるようにする。このような表示にすることで、シーン画像と人物との対応関係が容易に把握できるようになる。

以上、シーン画像群の表示方法及びオブジェクト表示の切り替え方法について説明した。

［１−６：その他の表示方法］
これまで、シーン画像群及びオブジェクトの表示方法について、図１０に示した表示構成を念頭において説明してきた。ここでは、シーン画像群の表示方法に関する変形例、関連情報の表示方法、動画再生画面の表示方法について説明する。

（１−６−１：３Ｄ表示）
図１０の例では、オブジェクトの下側にシーン画像群が表示されていた。しかし、図３２に示すように、オブジェクトの上下左右にシーン画像群を表示してもよい。このような表示にすると、より多くのシーン画像を表示することが可能になる。より多くのシーン画像を表示することができるようになると、例えば、１つの動画から比較的再生時間の長い映像シーンを複数抽出し、各映像シーンのシーン画像を表示することなども可能になる。また、シーン画像群を種類毎に分けて見やすく表示することなども可能になる。

例えば、一面にはランダムに配置されたシーン画像群を表示し、他面には時系列に配置されたシーン画像群やムードに応じて配置されたシーン画像群を表示するなどの表現が可能になる。また、面毎に異なる年代のシーン画像群を表示したり、面毎に異なる地域のシーン画像群を表示したりするなどの表現も可能になる。もちろん、このような表現にした場合でも、オブジェクトが選択された場合には、選択されたオブジェクトに対応する人物が登場するシーンのシーン画像がハイライト表示される。そのため、ハイライト表示されたシーン画像の分布に基づいて、その人物が活躍した年代、地域、或いは、活躍の度合いなど、様々な情報を視覚的に認識することが可能になる。

（１−６−２：関連情報の表示）
さて、これまでは主にオブジェクト及びシーン画像の表示方法について説明してきたが、オブジェクトメタデータを利用すると、図３３に示すように、人物の関連情報を表示することが可能になる。例えば、ユーザによりオブジェクトが選択された場合、オブジェクトメタデータを利用して、そのオブジェクトに対応する人物に対応する関連情報を表示することができる。

また、区間メタデータを併せて利用することにより、選択されたオブジェクトに対応する人物が登場する登場シーンを検出し、図３３に示すように、登場シーンの画像を並べて表示することも可能である。さらに、並べて表示した画像が選択された場合に、その画像に対応する映像シーンが再生されるようにすることも可能である。また、区間メタデータを利用すると、ユーザにより同時に選択された複数のオブジェクトに対応する人物が共演している映像シーンを検出することも可能である。さらに、検出された共演シーンの画像を並べて表示したり、その共演シーンに対応するシーン画像をハイライト表示したりすることもできる。また、共演作品の情報を関連情報として表示してもよい。

（１−６−３：動画再生画面の表示）
さて、上記の説明の中で、オブジェクトの選択、シーン画像の選択、或いは、映像シーンの画像の選択などに応じて動画全体又は一部の映像シーンが再生される仕組みについて言及してきた。ここでは、図３４を参照しながら、動画再生画面の構成例について紹介する。例えば、図３４に示すように、再生ウィンドウを表示し、その中に動画の再生画面を表示する方法が考えられる。また、再生画面に登場する人物の顔領域を表示したり、人物のサムネイル画像を表示したりしてもよい。さらに、サムネイル画像が選択された場合に、そのサムネイル画像に対応する人物が登場する区間を表示してもよい。

また、顔領域又はサムネイル画像の選択に応じて、選択された顔領域又はサムネイル画像に対応する人物が登場する区間の映像シーンだけが選択的に再生されるようにしてもよい。既に述べたように、区間メタデータには、各人物が動画中のどの区間に登場するかを示す情報が含まれている。そのため、区間メタデータを利用することにより、特定の人物に関し、その人物が登場する区間だけを選択的に再生することが可能になる。また、区間メタデータを利用すると、特定の人物群が共演する共演シーンを検出することも可能になる。そのため、区間メタデータを利用することで、複数の人物が選択された場合に、それら人物が共演する共演シーンだけを選択的に再生することも可能である。

以上、表示方法に関するアイデアについて紹介した。

以上説明したように、本実施形態に係る技術を用いると、人物間の関係性を一目で把握することができるようなユーザインターフェースが実現される。また、人物と映像シーンとの関係性や人物の活躍状況などを一目で把握できるようなユーザインターフェースが実現される。

ところで、上記の説明では、動画の種類や入力デバイスの種類について、あまり言及してこなかったが、例えば、次のような動画や入力デバイスが対象に含まれる。まず、動画の種類としては、録画した映像コンテンツ、記録メディアにて提供される映像コンテンツ、テレビジョン放送などの映像コンテンツ、ネットワークを介してストリーミング配信される映像コンテンツなどが考えられる。また、入力デバイスとしては、マウス、キーボード、リモコン、タッチパッド、タッチパネルなどが考えられる。

また、上記の説明では、対象とする動画群の選択方法について、あまり言及してこなかったが、例えば、次のような方法で対象とする動画群を選択することができる。例えば、お気に入りの人物名をユーザに入力してもらい、その人物名の人物に関連のある動画群を選択する方法が考えられる。人物に関連のある動画群としては、例えば、その人物が登場する動画と、その動画で共演している人物が登場する動画とを集めた動画群などが考えられる。また、ユーザの閲覧履歴などがある場合、その閲覧履歴を利用してユーザがお気に入りの人物を特定し、その人物に関連のある動画群を選択する方法が考えられる。

また、ユーザがお気に入りの人物に対応するオブジェクトと、その人物に関係性のある人物のオブジェクトだけを表示したり、そのオブジェクトを画面の中心付近に表示したりする表示方法も考えられる。但し、お気に入りの人物は、ユーザ入力に基づくものであってもよいし、ユーザの閲覧履歴を利用して特定されたものであってもよい。また、最初に表示させるオブジェクトをお気に入りの人物に対応するオブジェクトにしてもよい。また、シーン画像群を地域毎に表示する際、ユーザが居住する地域に最も近い地域に関するシーン画像群を画面に中心付近に表示したり、その地域の地図をクローズアップして表示したりしてもよい。このような変形例についても、本実施形態の技術的範囲に属する。

＜２：ハードウェア構成例＞
上記の情報処理装置１００が有する各構成要素の機能は、例えば、図３５に示すハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図３５に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。

図３５に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。

＜３：まとめ＞
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、テレビジョン受像機、録画再生装置、セットトップボックス、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。とりわけ、以下に記載する技術的思想は、こうした情報処理装置に含まれる表示装置としての機能に適用することができる。

下記（１）に記載の表示装置が有する構成のように区間メタデータを利用すると、動画中に登場する登場人物について、登場人物の共演関係を検出することができる。例えば、登場人物Ａに関する区間メタデータと、登場人物Ｂに関する区間メタデータとを利用すると、共演の有無、共演作品の数、共演シーンの長さ、その他の共演関係に関する情報を検出することができる。そのため、これらの情報から、登場人物Ａと登場人物Ｂとの間の関係性の強さを示す関係性スコアを算出することが可能になる。また、各登場人物に対応するオブジェクトを表示する際に、上記のようにして算出された関係性スコアの大きさに応じてオブジェクトの配置関係を制御することにより、ユーザに登場人物間の関係性を分かりやすく提示することが可能になる。つまり、ユーザは、動画中の共演関係に基づく登場人物間の関係性の強さを視覚的に認識することが可能になる。

（１）
各登場人物が動画中に登場する区間を表した区間メタデータを利用し、共演関係に基づく登場人物間の関係性の強さを表す関係性スコアを算出する関係性スコア算出部と、
動画に登場する各登場人物に対応するオブジェクトを表示するオブジェクト表示部と、
を備え、
前記オブジェクト表示部は、前記関係性スコアが高い登場人物の組に対応するオブジェクトを互いに近い位置に表示し、前記関係性スコアが低い登場人物の組に対応するオブジェクトの組を互いに離れた位置に表示する、
表示装置。

（２）
前記区間メタデータを利用し、各登場人物が動画中に登場する時間の合計値を表す出演時間を登場人物毎に算出する出演時間算出部をさらに備え、
前記オブジェクト表示部は、前記出演時間が長い登場人物に対応するオブジェクトを大きく表示し、前記出演時間が短い登場人物に対応するオブジェクトを小さく表示する、
前記（１）に記載の表示装置。

（３）
前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について共演作品の数を算出し、当該共演作品の数を前記関係性スコアとして出力する、
前記（１）又は（２）に記載の表示装置。

（４）
前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について、両登場人物が主役として出演した共演作品の数に第１の重み値をかけた値と、一方の登場人物が主役として出演し、かつ、他方の登場人物が脇役として出演した共演作品の数に第２の重み値をかけた値と、両登場人物が脇役として出演した共演作品の数に第３の重み値をかけた値と、を合計した値を前記関係性スコアとして出力し、
前記第１の重み値は、前記第２の重み値よりも大きく、
前記第２の重み値は、前記第３の重み値よりも大きい、
前記（１）又は（２）に記載の表示装置。

（５）
前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について、各共演作品中における一方の登場人物の出演時間と他方の登場人物の出演時間とをかけた値を全ての共演作品について合計し、合計した値を前記関係性スコアとして出力する、
前記（２）に記載の表示装置。

（６）
前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について、両登場人物が同じ動画フレームに登場する時間の合計値を算出し、当該合計値を前記関係性スコアとして出力する、
前記（１）又は（２）に記載の表示装置。

（７）
前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について、両登場人物が主役として同じ動画フレームに登場する時間の合計値に第１の重み値をかけた値と、同じ動画フレームに一方の登場人物が主役として登場し、かつ、他方の登場人物が脇役として登場する時間の合計値に第２の重み値をかけた値と、両登場人物が脇役として同じ動画フレームに登場する時間の合計値に第３の重み値をかけた値と、を合計した値を前記関係性スコアとして出力する、
前記（１）又は（２）に記載の表示装置。

（８）
前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について、共演作品毎に、一方の登場人物の出演時間と他方の登場人物の出演時間とをかけた値と、両登場人物が同じ動画フレームに登場する時間の合計値と、をかけた値を算出し、算出した値を全ての共演作品について合計し、合計した値を前記関係性スコアとして出力する、
前記（２）に記載の表示装置。

（９）
前記オブジェクト表示部は、表示領域内におけるオブジェクトの位置に関する第１の関数と、オブジェクト間の位置関係に関する第２の関数とで構成されるポテンシャル関数の値が最小となるように全てのオブジェクトを表示し、
前記第１の関数は、オブジェクトの位置が前記表示領域に近づくほど値が大きくなる関数であり、
前記第２の関数は、関係性のある登場人物の組に対応する２つのオブジェクトが当該登場人物の組に対応する関係性スコアに応じた距離に近づくと値が減少し、関係性のない登場人物の組に対応する２つのオブジェクトが近づくと値が増加する関数であり、
前記関係性スコアに応じた距離は、前記関係性スコアが大きくなるほど小さくなる、
前記（１）〜（８）のいずれか１項に記載の表示装置。

（１０）
動画の１シーンを表す画像をタイル状に並べて表示するシーン表示部をさらに備え、
前記シーン表示部は、１つの前記オブジェクトがユーザにより選択された場合に、選択されたオブジェクトに対応する登場人物が登場する動画の１シーンを表す画像をハイライト表示する、
前記（１）に記載の表示装置。

（１１）
前記シーン表示部は、動画からランダムにシーンを選択し、選択したシーンを表す画像をランダムな位置に並べて表示する、
前記（１０）に記載の表示装置。

（１２）
前記シーン表示部は、同じ列に同じ動画から抽出された画像が並ぶように表示し、
前記画像は、抽出元の動画が古い順に行方向に並んで表示され、かつ、各動画中における出現時刻が早い順に列方向に並んで表示される、
前記（１０）に記載の表示装置。

（１３）
前記シーン表示部は、同じムードを持つシーンが同じ列に並ぶように前記動画の１シーンを表す画像を表示する、
前記（１０）に記載の表示装置。

（１４）
前記オブジェクト表示部は、ユーザにより１つの前記画像が選択された場合に、当該画像に対応する動画に登場する登場人物に対応するオブジェクトだけを表示する、
前記（１０）に記載の表示装置。

（１５）
前記オブジェクト表示部は、関連性のある登場人物の組に対応する２つのオブジェクトを結ぶ線を表示する、
前記（１）に記載の表示装置。

（１６）
ユーザにより１つの前記オブジェクトが選択された場合に、前記区間メタデータを利用して当該オブジェクトに対応する登場人物が登場する区間を抽出し、抽出した区間の動画フレームを再生する動画再生部をさらに備える、
前記（１）に記載の表示装置。

（１７）
前記オブジェクト表示部は、ユーザにより１つの前記オブジェクトが選択された場合に、選択されたオブジェクトに対応する登場人物と関係性のある登場人物に対応する全てのオブジェクトを同位相で動かす、
前記（１）に記載の表示装置。

（１８）
各登場人物が動画中に登場する区間を表した区間メタデータを利用し、共演関係に基づく登場人物間の関係性の強さを表す関係性スコアを算出するステップと、
動画に登場する各登場人物に対応するオブジェクトを表示するステップと、
を含み、
前記関係性スコアが高い登場人物の組に対応するオブジェクトの組は、互いに近い位置に表示され、
前記関係性スコアが低い登場人物の組に対応するオブジェクトの組は、互いに離れた位置に表示される、
オブジェクト表示方法。

（１９）
各登場人物が動画中に登場する区間を表した区間メタデータを利用し、共演関係に基づく登場人物間の関係性の強さを表す関係性スコアを算出する関係性スコア算出機能と、
動画に登場する各登場人物に対応するオブジェクトを表示するオブジェクト表示機能と、
をコンピュータに実現させるためのプログラムであり、
前記オブジェクト表示機能は、前記関係性スコアが高い登場人物の組に対応するオブジェクトの組を互いに近い位置に表示し、前記関係性スコアが低い登場人物の組に対応するオブジェクトの組を互いに離れた位置に表示する、
プログラム。

（備考）
上記の情報処理装置１００は、表示装置の一例である。上記の関係性計算部１０３は、関係性スコア算出部の一例である。上記の出演時間計算部１０２は、出演時間算出部の一例である。上記のシーン画像表示部１０７は、シーン表示部の一例である。上記の再生制御部１０９は、動画再生部の一例である。

以上、添付図面を参照しながら本技術に係る好適な実施形態について説明したが、本技術はここで開示した構成例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。

例えば、本実施形態に関する説明の中で、主に人物間の関係性や人物に対応するオブジェクトなどの表示方法について説明した。しかし、本実施形態に係る技術の適用対象は人物に限定されない。例えば、動画に登場する物品と人物との関係性を同様にして評価することも可能であるし、その物品に対応するオブジェクトを表示することもできる。例えば、俳優Ａが好んで身に付けているスーツＳを上記の技術により発見したり、俳優ＡがスーツＳをどのくらい好んで身に付けているかを視覚的に表現したりすることができる。

ここで視覚的に表現されていることは、動画を解析して得られる俳優ＡとスーツＳとの関係性である。そのため、テレビジョン映像などを解析の対象にすると、上記のように、俳優Ａが好んで着用しているスーツＳという物品が抽出されるであろう。例えば、俳優Ａに対する関心の高いユーザは、上記の技術を用いることで、俳優Ａが頻繁に身に付けている物品を容易に知ることができるようになる。

また、同様にして物品間の関係性を抽出したり、その関係性を視覚的に表現したりすることもできる。例えば、俳優Ａが頻繁に着用しているスーツＳと関係性の高い（例えば、同じ映像シーンに登場する機会の多い）ドレスＤを視覚的に表現することができる。つまり、上記の技術を利用すると、映画の１シーンに登場するようなセンスの良いスーツとドレスとの組み合わせを容易に知ることができるようになる。もちろん、服飾だけでなく、ある車種の車と合う服装や眼鏡の種類、或いは、ある色の車と合う場所（例えば、海、森など）を同様の方法で容易に知ることができるようになる。

上記のような応用例についても、当然に本実施形態の技術的範囲に属する。

１００ 情報処理装置
１０１ メタデータ取得部
１０２ 出演時間計算部
１０３ 関係性計算部
１０４ オブジェクト表示部
１０５ 関連情報表示部
１０６ シーン画像取得部
１０７ シーン画像表示部
１０８ 動画取得部
１０９ 再生制御部
１１０ 表示部

Claims (19)

1. 各登場人物が動画中に登場する区間を表した区間メタデータを利用し、共演関係に基づく登場人物間の関係性の強さを表す関係性スコアを算出する関係性スコア算出部と、
   動画に登場する各登場人物に対応するオブジェクトを表示するオブジェクト表示部と、
   を備え、
   前記オブジェクト表示部は、前記関係性スコアが高い登場人物の組に対応するオブジェクトを互いに近い位置に表示し、前記関係性スコアが低い登場人物の組に対応するオブジェクトの組を互いに離れた位置に表示する、
   表示装置。
2. 前記区間メタデータを利用し、各登場人物が動画中に登場する時間の合計値を表す出演時間を登場人物毎に算出する出演時間算出部をさらに備え、
   前記オブジェクト表示部は、前記出演時間が長い登場人物に対応するオブジェクトを大きく表示し、前記出演時間が短い登場人物に対応するオブジェクトを小さく表示する、
   請求項１に記載の表示装置。
3. 前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について共演作品の数を算出し、当該共演作品の数を前記関係性スコアとして出力する、
   請求項１に記載の表示装置。
4. 前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について、両登場人物が主役として出演した共演作品の数に第１の重み値をかけた値と、一方の登場人物が主役として出演し、かつ、他方の登場人物が脇役として出演した共演作品の数に第２の重み値をかけた値と、両登場人物が脇役として出演した共演作品の数に第３の重み値をかけた値と、を合計した値を前記関係性スコアとして出力し、
   前記第１の重み値は、前記第２の重み値よりも大きく、
   前記第２の重み値は、前記第３の重み値よりも大きい、
   請求項１に記載の表示装置。
5. 前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について、各共演作品中における一方の登場人物の出演時間と他方の登場人物の出演時間とをかけた値を全ての共演作品について合計し、合計した値を前記関係性スコアとして出力する、
   請求項２に記載の表示装置。
6. 前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について、両登場人物が同じ動画フレームに登場する時間の合計値を算出し、当該合計値を前記関係性スコアとして出力する、
   請求項１に記載の表示装置。
7. 前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について、両登場人物が主役として同じ動画フレームに登場する時間の合計値に第１の重み値をかけた値と、同じ動画フレームに一方の登場人物が主役として登場し、かつ、他方の登場人物が脇役として登場する時間の合計値に第２の重み値をかけた値と、両登場人物が脇役として同じ動画フレームに登場する時間の合計値に第３の重み値をかけた値と、を合計した値を前記関係性スコアとして出力する、
   請求項１に記載の表示装置。
8. 前記関係性スコア算出部は、前記区間メタデータを利用し、各登場人物の組について、共演作品毎に、一方の登場人物の出演時間と他方の登場人物の出演時間とをかけた値と、両登場人物が同じ動画フレームに登場する時間の合計値と、をかけた値を算出し、算出した値を全ての共演作品について合計し、合計した値を前記関係性スコアとして出力する、
   請求項２に記載の表示装置。
9. 前記オブジェクト表示部は、表示領域内におけるオブジェクトの位置に関する第１の関数と、オブジェクト間の位置関係に関する第２の関数とで構成されるポテンシャル関数の値が最小となるように全てのオブジェクトを表示し、
   前記第１の関数は、オブジェクトの位置が前記表示領域に近づくほど値が大きくなる関数であり、
   前記第２の関数は、関係性のある登場人物の組に対応する２つのオブジェクトが当該登場人物の組に対応する関係性スコアに応じた距離に近づくと値が減少し、関係性のない登場人物の組に対応する２つのオブジェクトが近づくと値が増加する関数であり、
   前記関係性スコアに応じた距離は、前記関係性スコアが大きくなるほど小さくなる、
   請求項１に記載の表示装置。
10. 動画の１シーンを表す画像をタイル状に並べて表示するシーン表示部をさらに備え、
    前記シーン表示部は、１つの前記オブジェクトがユーザにより選択された場合に、選択されたオブジェクトに対応する登場人物が登場する動画の１シーンを表す画像をハイライト表示する、
    請求項１に記載の表示装置。
11. 前記シーン表示部は、動画からランダムにシーンを選択し、選択したシーンを表す画像をランダムな位置に並べて表示する、
    請求項１０に記載の表示装置。
12. 前記シーン表示部は、同じ列に同じ動画から抽出された画像が並ぶように表示し、
    前記画像は、抽出元の動画が古い順に行方向に並んで表示され、かつ、各動画中における出現時刻が早い順に列方向に並んで表示される、
    請求項１０に記載の表示装置。
13. 前記シーン表示部は、同じムードを持つシーンが同じ列に並ぶように前記動画の１シーンを表す画像を表示する、
    請求項１０に記載の表示装置。
14. 前記オブジェクト表示部は、ユーザにより１つの前記画像が選択された場合に、当該画像に対応する動画に登場する登場人物に対応するオブジェクトだけを表示する、
    請求項１０に記載の表示装置。
15. 前記オブジェクト表示部は、関連性のある登場人物の組に対応する２つのオブジェクトを結ぶ線を表示する、
    請求項１に記載の表示装置。
16. ユーザにより１つの前記オブジェクトが選択された場合に、前記区間メタデータを利用して当該オブジェクトに対応する登場人物が登場する区間を抽出し、抽出した区間の動画フレームを再生する動画再生部をさらに備える、
    請求項１に記載の表示装置。
17. 前記オブジェクト表示部は、ユーザにより１つの前記オブジェクトが選択された場合に、選択されたオブジェクトに対応する登場人物と関係性のある登場人物に対応する全てのオブジェクトを同位相で動かす、
    請求項１に記載の表示装置。
18. 各登場人物が動画中に登場する区間を表した区間メタデータを利用し、共演関係に基づく登場人物間の関係性の強さを表す関係性スコアを算出するステップと、
    動画に登場する各登場人物に対応するオブジェクトを表示するステップと、
    を含み、
    前記関係性スコアが高い登場人物の組に対応するオブジェクトの組は、互いに近い位置に表示され、
    前記関係性スコアが低い登場人物の組に対応するオブジェクトの組は、互いに離れた位置に表示される、
    オブジェクト表示方法。
19. 各登場人物が動画中に登場する区間を表した区間メタデータを利用し、共演関係に基づく登場人物間の関係性の強さを表す関係性スコアを算出する関係性スコア算出機能と、
    動画に登場する各登場人物に対応するオブジェクトを表示するオブジェクト表示機能と、
    をコンピュータに実現させるためのプログラムであり、
    前記オブジェクト表示機能は、前記関係性スコアが高い登場人物の組に対応するオブジェクトの組を互いに近い位置に表示し、前記関係性スコアが低い登場人物の組に対応するオブジェクトの組を互いに離れた位置に表示する、
    プログラム。

Images