JP2012048324A - 情報処理装置、その処理方法及びプログラム - Google Patents

Abstract

【課題】関連するコンテンツを容易且つ的確に検索できるようにした技術を提供する。
【解決手段】情報処理装置は、動画で構成され、当該動画に関連する付加情報が付加された複数のコンテンツのうちのいずれかのコンテンツを再生する。ここで、情報処理装置は、再生中のコンテンツにおけるいずれかの時点の静止画を取得し、静止画内から１又は複数のオブジェクトを識別するとともに当該識別したオブジェクトをタイプ別に分類し、オブジェクトのタイプ毎に付加情報と当該タイプに対する関連度とを予め保持する関連度情報保持テーブルから上記識別されたオブジェクトのタイプに対応して保持された付加情報を取得し、当該付加情報に基づいて検索条件を作成する。そして、当該作成した検索条件に従って複数のコンテンツの中から再生中のコンテンツに関連するコンテンツを検索し、その検索結果を表示器に表示する。
【選択図】図２

Description

本発明は、情報処理装置、その処理方法及びプログラムに関する。

従来、コンテンツに付加されたメタデータの中から、予め決められた種類のメタデータを取得し、それを検索条件として当該コンテンツに関連する他のコンテンツを検索する技術が知られている。また、当該検索されたコンテンツのダイジェストを再生する技術も知られている。

その他、ユーザにより指示されたキーワードと、コンテンツに付加されたメタデータとの一致度に応じて、検索されたコンテンツの再生順序を記述したプレイリストを作成する技術も知られている。作成されたプレイリストは、再生されるコンテンツのタイトル、内容、再生時刻等の情報がキーワードに応じて分類されており、時系列に提示する番組表として表示される（特許文献１参照）。

また、コンテンツの関連キーワードを抽出し、その関連キーワードから関連キーワードリストを生成する技術が知られている。この技術では、当該関連キーワードリストの中から関連キーワードが選択された場合、その関連キーワードを含んでいる関連コンテンツを抽出する。関連キーワードの抽出では、コンテンツのメタデータ、ユーザの入力情報、コンテンツの画像特徴情報（例えば、人物や色など）や文字情報、コンテンツの音声特徴情報（例えば、楽曲、曲調や雰囲気など）が関連キーワードとして抽出される（特許文献２参照）。

特開２００７−１５０７６４号公報 特開２００７−３２８６６１号公報

しかし、コンテンツに付加されたメタデータの中から、予め決められた種類のメタデータを検索条件とする場合には、決められた種類のメタデータが登録されていないと検索がヒットせず、検索結果が得られない状態となる。

また、ユーザにより指示されたキーワードに基づいて検索条件を指定する場合には、ユーザは、コンテンツのメタデータを把握していなければならず、ユーザに負担を掛けることになる。

そこで、本発明は、上記課題に鑑みてなされたものであり、従来の構成よりも、関連するコンテンツを容易且つ的確に検索できるようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様は、動画で構成され、当該動画に関連する付加情報が付加された複数のコンテンツのうちのいずれかのコンテンツを再生する情報処理装置であって、再生中のコンテンツにおけるいずれかの時点の静止画を取得する取得手段と、前記取得された静止画内から１又は複数のオブジェクトを識別するとともに当該識別したオブジェクトをタイプ別に分類する第１の分類手段と、前記オブジェクトのタイプ毎に、付加情報と当該タイプに対する関連度とを予め保持する関連度情報保持テーブルと、前記関連度情報保持テーブルから前記識別されたオブジェクトのタイプに対応して保持された前記付加情報を取得し、当該付加情報に基づいて検索条件を作成する作成手段と、前記作成手段により作成された検索条件に従って前記複数のコンテンツの中から前記再生中のコンテンツに関連するコンテンツを検索する検索実行手段と、前記検索実行手段による検索結果を表示器に表示する表示処理手段とを具備することを特徴とする。

本発明によれば、関連するコンテンツを容易且つ的確に検索できる。

本発明の一実施の形態に係わる情報処理装置１０のハードウェア構成の一例を示す図。 図１に示す情報処理装置１０の機能的な構成の一例を示す図。 図１に示す情報処理装置１０の動作の流れの一例を示すフローチャート。 （ａ）はコンテンツ一覧画面の一例を示す図、（ｂ）は識別されたオブジェクトの一例を示す図、（ｃ）はメタデータの一例を示す図。 （ａ）はオブジェクトのタイプの一例を示す図、（ｂ）は関連度情報保持テーブルの一例を示す図、（ｃ）は検索結果の一例を示す図。 図１に示す情報処理装置１０の動作の流れの一例を示すフローチャート。 （ａ）はメタデータの一例を示す図、（ｂ）及び（ｃ）は関連度情報保持テーブルの更新の概要の一例を示す図。 （ａ）及び（ｂ）は実施形態２に係わる検索結果の表示態様を示す図。 実施形態３に係わる検索結果の表示態様を示す図。

以下、本発明の一実施の形態について添付図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係わる情報処理装置１０のハードウェア構成の一例を示す図である。

情報処理装置は、再生中のコンテンツに関連するコンテンツのダイジェスト（コンテンツの内容を要約したもの）の再生を行なう。ここで、情報処理装置１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、入力部１４と、リモートコントローラ１５と、表示コントローラ１６と、表示部（表示器）１７と、記憶部１８とを具備して構成される。これら各構成部は、システムバス１９を介して通信可能に接続されている。

ＣＰＵ（Central Processing Unit）１１は、情報処理のための演算、論理判断等を行ない、システムバス１９を介して、各構成部における動作を統括制御する。ＲＯＭ（Read Only Memory）１２は、各種プログラム等を格納する。なお、ＲＯＭ１２は、書き込み可能に構成されていても良い。ＲＡＭ（Random Access Memory）は、各種データが一時的に格納される。例えば、ＣＰＵ１１により各種処理が実施される際には、ワーク領域として利用される。

入力部１４は、リモートコントローラ（以下、コントローラと呼ぶ）１５を介したユーザからの（遠隔）指示を入力する。なお、本実施形態においては、コントローラ１５を介してユーザ指示を入力する場合を例に挙げて説明するが、情報処理装置１０の前面部等に設けられたボタン等を介したユーザ指示を入力するように構成されていても良い。

表示部１７は、例えば、液晶パネル等で実現され、各種画面を表示する。表示コントローラ１６は、表示部１７に対して各種画面の表示を制御する。これにより、表示部１７には、例えば、コンテンツの表示等が行なわれる。なお、コンテンツとは、一般的な動画であっても良いし、また、複数の静止画からなるスライドショーであっても良い。すなわち、連続する静止画を含む動画形式のデータであれば良い。

記憶部１８は、例えば、メモリカード、ＨＤＤ（Hard Disk Drivｅ）、ＤＶＤ−ＲＡＭ（Digital Versatile Disk Random Access Memory）等で実現され、各種情報を記憶する。記憶部１８には、例えば、複数のコンテンツが格納される。なお、本実施形態におけるコンテンツには、被写体、撮影日時、撮影場所、イベント名、所属名などのメタデータ（付加情報）が付加されている。メタデータは、コンテンツ全体に付加されていても良いし、動画内に含まれるシーン（静止画）に対応して付加されていても良い。

以上が、情報処理装置１０におけるハードウェア構成の一例についての説明である。なお、情報処理装置１０は、入力部１４からの各種入力に応じて作動する。入力部１４から入力が供給されると、入力部１４からＣＰＵ１１に向けてインタラプト信号が送られる。そして、ＣＰＵ１１が、例えば、ＲＯＭ１２、ＲＡＭ１３、記憶部１８等に記憶された各種の制御信号を読み出し、それらの制御信号に従って情報処理装置１０における各構成部の制御が行なわれる。

図２は、図１に示す情報処理装置１０の機能的な構成の一例を示す図である。ここでは、図１に示すコントローラ１５及びＣＰＵ１１において実現される機能的な構成について説明する。

まず、コントローラ１５上に実現される機能的な構成について説明する。コントローラ１５には、コンテンツ再生指示部２１と、コンテンツ検索指示部２２と、ダイジェスト再生選択部２３と、コンテンツ登録指示部２４とが機能的な構成として実現される。

コンテンツ再生指示部２１は、再生対象となるコンテンツを指示し、コンテンツ検索指示部２２は、再生中のコンテンツ内における検索対象となるシーン（ある時点の静止画）を指示する。ダイジェスト再生選択部２３は、関連する複数のコンテンツの中からダイジェスト再生の対象となるコンテンツを選択し、コンテンツ登録指示部２４は、登録対象となるコンテンツを指示する。なお、これら指示や選択は、ユーザからの指示に基づいてなされる。

次に、ＣＰＵ１１上に実現される機能的な構成について説明する。なお、ＣＰＵ１１上に実現される機能的な構成は、ＣＰＵ１１が、例えば、ＲＯＭ１２、ＲＡＭ１３、記憶部１８等に記憶された各種プログラムを実行することにより実現される。

ＣＰＵ１１上においては、設定部３０と処理部４０とが機能的な構成として実現される。まず、処理部４０として実現される機能的な構成について説明する。

表示処理部４１は、表示コントローラ１６を介して各種画面を表示部１７に表示させる。例えば、コンテンツ再生指示部２１により指示されたコンテンツを表示部１７上（表示器上）で再生（表示）させる。

静止画取得部４２は、コンテンツ検索指示部２２により指示されたコンテンツに含まれるある時点の静止画を取得する。第１のオブジェクト分類部４３は、第１の分類手段として機能し、コンテンツから１又は複数のオブジェクトを識別するとともに、当該識別したオブジェクトをタイプ別に分類する。第１のオブジェクト分類部４３には、静止画取得部４２により取得された静止画内から１又は複数のオブジェクトを識別する第１のオブジェクト識別部４３ａが設けられる。なお、オブジェクトの識別は、画像認識技術を用いても良いし、複数の関連画像を用いた類似画像の検索に基づいて行なわれても良い。

テーブル管理部４４は、オブジェクトのタイプ毎にメタデータ（属性名）をその（タイプに対する）関連度に対応して保持する関連度情報保持テーブルを管理する。なお、テーブル管理部４４においては、例えば、ＲＯＭ１２、ＲＡＭ１３、記憶部１８等を用いて関連度情報保持テーブルを管理する。

検索条件作成部４５は、第１のオブジェクト分類部４３により分類されたオブジェクトのタイプ毎に関連度情報保持テーブル（図５（ｂ）参照）を参照して、メタデータによる検索条件を作成する。検索実行部４６は、検索条件作成部４５により作成された検索条件に従って検索処理を実行する。このとき、表示処理部４１は、検索実行部４６による検索結果を表示部１７に表示させる。

ダイジェスト作成部４７は、ダイジェスト再生選択部２３により選択されたコンテンツのダイジェストを作成する。より具体的には、表示部１７に表示された検索結果の中からユーザによる指示（ダイジェスト再生選択部２３）に基づいて選択（指定）されたコンテンツのダイジェストを作成する。このとき、表示処理部４１は、当該作成されたダイジェストを表示部１７上で再生させる。

続いて、設定部３０として実現される機能的な構成について説明する。コンテンツ登録部３１は、コンテンツ登録指示部２４からの指示に基づいてコンテンツを登録する。第２のオブジェクト分類部３２は、第２の分類手段として機能し、コンテンツ全体から１又は複数のオブジェクトを識別するとともに、当該識別したオブジェクトをタイプ別に分類する。第２のオブジェクト分類部３２には、コンテンツ登録部３１により登録されたコンテンツや、ダイジェスト再生中のコンテンツからオブジェクトを識別する第２のオブジェクト識別部３２ａが設けられる。

メタデータ抽出部３３は、コンテンツに付加されたメタデータを抽出する。メタデータ判定部３４は、メタデータ抽出部３３により抽出されたコンテンツのメタデータの属性値が適正であるか否かを判定する。テーブル情報設定部３５は、コンテンツのオブジェクトのタイプ毎に、メタデータと関連度とを関連度情報保持テーブル（図５（ｂ）参照）に設定（更新）する。テーブル情報設定部３５においては、メタデータ判定部３４によりコンテンツのメタデータの属性値が適正と判定された場合は、メタデータの関連度を高く設定する。

次に、図３を用いて、図１に示す情報処理装置１０における動作の流れの一例について説明する。ここでは、コンテンツの再生を行なう場合について説明する。

［Ｓ１０１］
ユーザが、コントローラ１５を操作してコンテンツの再生を指示すると、コントローラ１５は、コンテンツ再生指示部２１において、コンテンツの再生を情報処理装置１０に指示する。この指示を受けた情報処理装置１０は、表示処理部４１において、当該指示されたコンテンツを表示部１７上で再生する（Ｓ１０１）。この処理は、例えば、図４（ａ）に示すコンテンツ一覧画面が表示部１７に表示されている状態で、ユーザがコントローラ１５によりいずれかのコンテンツを指示することにより行なわれる。この場合、「箱根旅行」が指示されている。

［Ｓ１０２］
ここで、ユーザが、コントローラ１５を操作して再生中のコンテンツから検索対象となるシーン（ある時点における静止画）又はシーン内におけるオブジェクトを指示したとする。すると、コントローラ１５は、コンテンツ検索指示部２２において、入力部１４に当該指示を送信する。この指示を受けた情報処理装置１０は、静止画取得部４２において、コンテンツ検索指示部２２により指示されたコンテンツに含まれるある時点の静止画を取得する。そして、第１のオブジェクト識別部４３ａにおいて、当該指示されたシーン内から１又は複数のオブジェクトを識別する（Ｓ１０２）。例えば、図４（ｂ）に示す状態で再生中のコンテンツが表示部１７に表示されていたとする。ここで、当該再生中のコンテンツ内から特定のオブジェクト（例えば、人物）が指示された場合、第１のオブジェクト識別部４３ａは、当該特定のオブジェクトを識別する。一方、特定のオブジェクトが指示されなかった場合、第１のオブジェクト識別部４３ａは、シーン全体を対象領域としてオブジェクトの識別を行なう。なお、オブジェクトの識別は、画像認識技術を用いても良いし、複数の関連画像を用いた類似画像の検索に基づいて行なわれても良い。

上述した通り、コンテンツ（又はコンテンツ内の各シーン等）には、メタデータが付加されている。メタデータは、図４（ｃ）に示すように、属性の種類を示す属性名と、その値を示す属性値とが対応付けられた情報で構成される。この場合、属性名「被写体」の属性値は「さゆり」となっており、属性名「所属名」の属性値は「キヤノン」となっており、属性名「イベント名」の属性値は「旅行」となっている。

［Ｓ１０３］
続いて、情報処理装置１０は、第１のオブジェクト分類部４３において、Ｓ１０２の処理で識別されたオブジェクトをタイプ別に分類する（Ｓ１０３）。例えば、図５（ａ）に示すように、コンテンツのオブジェクトを「人物」、「建築物」、「動物」、「植物」、「風景」等のタイプに分類する。

［Ｓ１０４、Ｓ１０５］
オブジェクトをタイプ別に分類すると、情報処理装置１０は、検索条件作成部４５において、関連度情報保持テーブルを参照して、Ｓ１０３の処理で分類されたオブジェクトのタイプ毎に検索条件を作成する（Ｓ１０４）。この検索条件は、所定数（この場合、４件）に達するまで繰り返し行なわれる（Ｓ１０５でＮＯ）。

関連度情報保持テーブルは、例えば、図５（ｂ）に示すレイアウトで構成される。具体的には、オブジェクトのタイプに対応して、それぞれのタイプに関連するメタデータ（メタデータの属性値）が保持される。この場合、オブジェクトのタイプに対応して、第１の関連度、第２の関連度、第３の関連度を有するメタデータが保持されている。なお、第１の関連度が最も高い関連度を有し、第２の関連度、第３の関連度の順に関連度が低くなっていくものとする。

ここで、図５（ｂ）に示す関連度情報保持テーブルに基づいて作成される検索条件について説明する。ここでは、例えば、オブジェクトのタイプ「人物」について検索条件を作成する場合を例に挙げて説明する。なお、コンテンツには、図４（ｃ）に示すメタデータが付加されているものとする。

オブジェクトのタイプ「人物」では、当該タイプに関連するメタデータとして、メタデータの属性名「被写体」、「所属名」、「イベント名」に対応する属性値（図４（ｃ）参照）がその関連度に応じて検索条件（検索キーワード）とされる。

具体的には、検索条件１（１回目の検索）として、
”被写体＝「さゆり」 and 所属名＝「キヤノン」 and イベント名＝「旅行」”
検索条件２（２回目の検索）として、
”被写体＝「さゆり」”
検索条件３（３回目の検索）として、
”所属名＝「キヤノン」”
検索条件４（４回目の検索）として、
”イベント名＝「旅行」”
が検索条件として作成される。

なお、関連度情報保持テーブルは、オブジェクトのタイプに依らず共通のテーブルが設けられる構成であっても良いし、また、ユーザ毎にテーブルが設けられる構成であっても良い。

［Ｓ１０６〜Ｓ１０９］
所定数分の検索条件が作成されると（Ｓ１０５でＹＥＳ）、情報処理装置１０は、Ｓ１０６〜Ｓ１０８の処理を所定数分繰り返す（Ｓ１０９でＮＯ）。この処理では、まず、情報処理装置１０は、検索実行部４６において、Ｓ１０４で作成した検索条件に従って検索処理を実行する（Ｓ１０６）。具体的には、最初のループでは、検索条件１に従った検索を実施し、次のループでは、検索条件２に従った検索を実施し、次のループでは、検索条件３に従った検索を実施し、次のループでは、検索条件４に従った検索を実施する。

次に、情報処理装置１０は、表示処理部４１において、検索結果として得られたコンテンルにおける１又は複数のシーンに基づいてサムネイルを作成する（Ｓ１０７）。この場合、検索条件１〜４までの４つの検索条件が設けられているため、当該４つの検索条件に対する検索結果を表示する必要がある。そのため、４つの検索結果を表示できるように、個々のサイズを調整したサムネイルを作成する。

そして、情報処理装置１０は、表示処理部４１において、Ｓ１０７の処理で作成した検索結果のコンテンツのサムネイルの中からいずれかを代表サムネイルとして選択し、それを表示部１７に表示させる（Ｓ１０８）。

上述した検索条件１〜４に対応する検索処理が全て終了すると、表示部１７には、例えば、図５（ｃ）に示すように、４つの検索条件に対応した検索結果が表示される。この場合、サムネイル１は検索条件１に対応する検索結果の代表サムネイルであり、サムネイル２は検索条件２に対応する検索結果の代表サムネイルである。また、サムネイル３は検索条件３に対応する検索結果の代表サムネイルであり、サムネイル４は検索条件４に対応する検索結果の代表サムネイルである。

［Ｓ１１０、Ｓ１１１］
検索結果が表示されると、それを参照したユーザは、コントローラ１５を介してダイジェストの再生対象となるコンテンツのサムネイルを指示する。すると、コントローラ１５は、ダイジェスト再生選択部２３において、入力部１４に当該指示を送信する。この指示を受けた情報処理装置１０は、ダイジェスト作成部４７において、当該指示されたサムネイルに対応するコンテンツのダイジェストを作成する（Ｓ１１０）。例えば、コンテンツの先頭から所定時間（例えば、１０秒）をダイジェストとしても良いし、また、例えば、コンテンツの中で音声の最も盛り上がる部分から所定範囲（例えば、前後５秒）をダイジェストとしても良い。その後、情報処理装置１０は、表示処理部４１において、当該作成したダイジェストを表示部１７上で再生する（Ｓ１１１）。

次に、図６を用いて、図１に示す情報処理装置１０における動作の流れの一例について説明する。ここでは、コンテンツの登録を行なう場合について説明する。

［Ｓ２０１、Ｓ２０２］
この処理は、ユーザが、コントローラ１５を操作してコンテンツの登録を指示するか（Ｓ２０１でＹＥＳ）、又は、図３のＳ１１１の処理でダイジェストの再生が指示されるか（Ｓ２０１でＮＯの後、Ｓ２０２でＹＥＳ）した場合に開始する。なお、ユーザがコントローラ１５を操作してコンテンツの登録を指示した場合には、コントローラ１５は、コンテンツ登録部３１において、コンテンツの登録を情報処理装置１０に指示することになる。

［Ｓ２０３］
次に、情報処理装置１０は、第２のオブジェクト識別部３２ａにおいて、登録が指示されたコンテンツ又はダイジェスト再生が指示されたコンテンツからオブジェクトを識別する（Ｓ２０３）。このオブジェクトの識別は、コンテンツ全体を対象として行なわれる。なお、オブジェクトの識別は、上記同様に、画像認識技術を用いても良いし、複数の関連画像を用いた類似画像の検索に基づいて行なわれても良い。

［Ｓ２０４］
オブジェクトが識別されると、情報処理装置１０は、第２のオブジェクト分類部３２において、当該識別された１又は複数のオブジェクトをタイブ別に分類する（Ｓ２０４）。例えば、上述した図５（ａ）に示すように、コンテンツのオブジェクトを「人物」、「建築物」、「動物」、「植物」、「風景」等のタイプに分類する（この場合、「人物」と「植物」とが識別並びに分類されている）。

［Ｓ２０５］
オブジェクトをタイプ別に分類すると、情報処理装置１０は、メタデータ抽出部３３において、当該処理中のコンテンツからメタデータを抽出する（Ｓ２０５）。例えば、図７（ａ）に示すように、コンテンツから属性名「被写体」の属性値「さゆり」、属性名「種類」の属性値「ユリ科」、属性名「撮影日時」の属性値「箱根」というメタデータを抽出する。なお、「所属名」及び「イベント名」の属性値は、特にデータが設定されていなかったため、空データとなっている。

［Ｓ２０６、Ｓ２０７］
次に、情報処理装置１０は、メタデータ判定部３４において、Ｓ２０５の処理で抽出されたメタデータの属性値が適正であるか否かを判定する（Ｓ２０６）。そして、テーブル情報設定部３５において、Ｓ２０４の処理で分類されたコンテンツのオブジェクトのタイプ毎に、メタデータと関連度とを対応付けて関連度情報保持テーブルに設定する（Ｓ２０７）。なお、Ｓ２０６における判定は、コンテンツから抽出されたメタデータの属性値に基づいて行なわれる。

ここで、例えば、図７（ａ）は、テーブル情報変更前のメタデータの関連度（スコア）を示している。すなわち、図５（ｂ）に示す関連度情報保持テーブルに保持された各メタデータは、それぞれその関連度が数値化（スコア）されている。この場合、タイプ「人物」における「被写体」のスコア（関連度を示す値）は、「１３６」であり、「所属名」のスコアは、「４８」であり、「イベント名」のスコアは、「３５」である。

ここで、Ｓ２０６の処理でメタデータ判定部３４において、メタデータの属性値が適正であると判定されたメタデータについては、このスコアを大きくする。本実施形態においては、コンテンツからメタデータ（属性値）を抽出できたメタデータ（属性名）のスコアの値を大きく設定する場合について説明する。なお、勿論、辞書データ等を予め保持しておき、当該辞書データに保持された情報と、抽出されたメタデータの属性値との一致度に基づいてスコアを決めて設定するように構成しても構わない。その他、コンテンツの再生回数に応じてスコアを決めて設定するように構成しても構わない。すなわち、コンテンツが再生される度に、当該コンテンツから識別及び分類されたオブジェクトのタイプに対する該当のメタデータのスコアを大きく設定するようにしても良い。

この場合、コンテンツからメタデータを抽出できたメタデータの属性名が「被写体」、「種類」、「撮影場所」であるので、図７（ｃ）に示すように、それに対応するスコアには大きな値が設定されている。

ここで、Ｓ２０７におけるテーブル情報の設定について説明する。例えば、タイプ「植物」において、「種類」のスコアよりも、「撮影場所」のスコアが上回ったとする。この場合、図５（ｂ）に示すテーブルのタイプ「植物」の欄では、「撮影場所」が第２の関連度になり、「種類」が第３の関連度になる。

以上説明したように本実施形態によれば、再生中のコンテンツにおけるある時点の静止画内から識別したオブジェクトをタイプ別に分類する。そして、当該オブジェクトのタイプに対応する（関連度情報保持テーブルに保持された）メタデータに基づいて検索条件を作成し、検索を行なうため、関連するコンテンツを容易且つ的確に検索できる。

（実施形態２）
次に、実施形態２について説明する。実施形態２に係わる情報処理装置１０の構成や全体的な動作は、実施形態１と同様となるため、ここではその説明については省略し、相違点について重点的に説明する。

ここで、相違点としては、実施形態１を説明した図３に示すＳ１０４及びＳ１０６の処理にある。具体的には、検索条件に対して優先度を設定し、その優先度順に検索を実行する。

上述した実施形態１と同様に、下記に示す検索条件が作成されたとする。

検索条件１として、
”被写体＝「さゆり」 and 所属名＝「キヤノン」 and イベント名＝「旅行」”
検索条件２として、
”被写体＝「さゆり」”
検索条件３として、
”所属名＝「キヤノン」”
検索条件４として、
”イベント名＝「旅行」”

この場合、検索条件１に対して第１の優先度、検索条件２に対して第３の優先度、検索条件３に対して第４の優先度、検索条件４に対して第２の優先度が設定されたとする。この場合、図３に示すＳ１０６〜Ｓ１０８までの検索処理においては、検索条件１、検索条件４、検索条件２、検索条件３の順に検索処理が実施されることになる。なお、優先度は、ユーザ指示に基づいて付けられても良いし、また、何らかの基準を用いて付けられても良い。

また、図３に示すＳ１０８の処理においては、情報処理装置１０は、検索条件の優先度に応じてコンテンツのサムネイルのサイズを切り替えて表示する。例えば、検索条件１に対して第１の優先度、検索条件２に対して第３の優先度、検索条件３に対して第４の優先度、検索条件４に対して第２の優先度が設定されている場合には、図８（ａ）に示す表示態様で検索結果が表示される。すなわち、検索条件各々に設定された優先度に応じてその表示態様を変更して検索結果を表示する。この場合、優先度の高い検索条件の検索結果は、大きな領域を用いて表示されおり、優先度の低い検索条件の検索結果は、その領域が小さくして表示されている。

また、図８（ｂ）に示すように、検索条件各々に設定された優先度に応じてその配置位置を変更するようにしても良い。この場合、優先度の高い検索結果が最も中心に表示されており、優先度が低くなるにつれ、中心から離れた位置に表示されている。

（実施形態３）
次に、実施形態３について説明する。実施形態３に係わる情報処理装置１０の構成や全体的な動作は、実施形態１と同様となるため、ここではその説明については省略し、相違点について重点的に説明する。

ここで、相違点としては、実施形態１を説明した図３に示すＳ１０８の処理にある。具体的には、検索結果が表示されている状態で、ユーザによるコントローラ１５の指示によりコンテンツのサムネイルが選択された場合、図９に示すように、当該選択されたコンテンツにおけるいくつかのサムネイル５０を表示する。この場合、検索結果１に対応して、当該コンテンツのサムネイルの一覧が表示されており、検索結果の出力順に、サムネイル１−２、サムネイル１−３、・・・が表示されている。

なお、このように一覧を表示せずに、例えば、５秒単位のスライドショーを用いて、複数のサムネイルを表示するようにしても良い。また、例えば、５秒単位のダイジェストとして検索結果のコンテンツのサムネイルを表示しても良い。

以上が本発明の代表的な実施形態の例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 動画で構成され、当該動画に関連する付加情報が付加された複数のコンテンツのうちのいずれかのコンテンツを再生する情報処理装置であって、
   再生中のコンテンツにおけるいずれかの時点の静止画を取得する取得手段と、
   前記取得された静止画内から１又は複数のオブジェクトを識別するとともに当該識別したオブジェクトをタイプ別に分類する第１の分類手段と、
   前記オブジェクトのタイプ毎に、付加情報と当該タイプに対する関連度とを予め保持する関連度情報保持テーブルと、
   前記関連度情報保持テーブルから前記識別されたオブジェクトのタイプに対応して保持された前記付加情報を取得し、当該付加情報に基づいて検索条件を作成する作成手段と、
   前記作成手段により作成された検索条件に従って前記複数のコンテンツの中から前記再生中のコンテンツに関連するコンテンツを検索する検索実行手段と、
   前記検索実行手段による検索結果を表示器に表示する表示処理手段と
   を具備することを特徴とする情報処理装置。
2. 前記表示器に表示された検索結果の中からユーザにより指定された検索結果に対応するコンテンツのダイジェストを作成するダイジェスト作成手段
   を更に具備し、
   前記表示処理手段は、
   前記作成されたダイジェストを前記表示器で再生する
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記検索実行手段は、
   前記作成手段により作成された所定数の検索条件に従って前記複数のコンテンツの中から前記再生中のコンテンツに関連するコンテンツを検索し、
   前記表示処理手段は、
   前記所定数の検索条件各々に対応して前記表示器上の異なる領域に検索結果を表示する
   ことを特徴とする請求項１記載の情報処理装置。
4. 前記第１の分類手段は、
   前記取得された静止画に対して画像認識、又は前記取得された静止画に対して予め設けられた類似画像を用いて検索を行なうことにより、１又は複数のオブジェクトを識別するとともに当該識別したオブジェクトをタイプ別に分類する
   ことを特徴とする請求項１記載の情報処理装置。
5. 前記作成手段は、
   所定数の検索条件を作成するとともに各検索条件に対して優先度を設定し、
   前記検索実行手段は、
   前記作成手段により作成された所定数の検索条件に従って前記複数のコンテンツの中から前記再生中のコンテンツに関連するコンテンツを検索し、
   前記表示処理手段は、
   前記所定数の検索条件各々に対応する検索結果をその優先度に応じて表示態様を変更して前記表示器上に表示する
   ことを特徴とする請求項１記載の情報処理装置。
6. ユーザによりコンテンツの登録が指示された場合、又は前記ダイジェストの再生が指示された場合に、当該コンテンツ全体から１又は複数のオブジェクトを識別するとともに当該識別したオブジェクトをタイプ別に分類する第２の分類手段と、
   前記コンテンツの登録が指示されたコンテンツから付加情報を抽出する抽出手段と、
   前記抽出された付加情報に基づいて前記関連度情報保持テーブルに保持された前記関連度を示す値を変更して設定する設定手段と
   を具備することを特徴とする請求項２記載の情報処理装置。
7. 動画で構成され、当該動画に関連する付加情報が付加された複数のコンテンツのうちのいずれかのコンテンツを再生する情報処理装置の処理方法であって、
   取得手段が、再生中のコンテンツにおけるいずれかの時点の静止画を取得する工程と、
   第１の分類手段が、前記取得された静止画内から１又は複数のオブジェクトを識別するとともに当該識別したオブジェクトをタイプ別に分類する工程と、
   作成手段が、前記オブジェクトのタイプ毎に付加情報と当該タイプに対する関連度とを予め保持する関連度情報保持テーブルから前記識別されたオブジェクトのタイプに対応して保持された前記付加情報を取得し、当該付加情報に基づいて検索条件を作成する工程と、
   検索実行手段が、前記作成手段により作成された検索条件に従って前記複数のコンテンツの中から前記再生中のコンテンツに関連するコンテンツを検索する工程と、
   表示処理手段が、前記検索実行手段による検索結果を表示器に表示する工程と
   を含むことを特徴とする情報処理装置の処理方法。
8. 動画で構成され、当該動画に関連する付加情報が付加された複数のコンテンツのうちのいずれかのコンテンツを再生する情報処理装置を、
   再生中のコンテンツにおけるいずれかの時点の静止画を取得する取得手段、
   前記取得された静止画内から１又は複数のオブジェクトを識別するとともに当該識別したオブジェクトをタイプ別に分類する第１の分類手段、
   前記オブジェクトのタイプ毎に、付加情報と当該タイプに対する関連度とを予め保持する関連度情報保持テーブルから前記識別されたオブジェクトのタイプに対応して保持された前記付加情報を取得し、当該付加情報に基づいて検索条件を作成する作成手段、
   前記作成手段により作成された検索条件に従って前記複数のコンテンツの中から前記再生中のコンテンツに関連するコンテンツを検索する検索実行手段、
   前記検索実行手段による検索結果を表示器に表示する表示処理手段
   として機能させるためのプログラム。

Images