JP2010055424A - 画像を処理する装置、方法およびプログラム - Google Patents

Abstract

【課題】順次選択される画像に関連する画像をより適切に選択可能な画像処理装置を提供する。
【解決手段】過去に選択された画像と選択順序とを特定可能な履歴情報を記憶する選択履歴記憶部１２２と、コンテンツ記憶部１２１のいずれかの画像を表す第１画像を選択する対象コンテンツ選択部１０１と、メタデータを用いて第１画像と第２画像との関連度を算出する関連度算出部１０４と、履歴情報に基づいて第１画像の前に選択された第２画像を特定し、特定した第２画像と関連度に関する選択条件を満たす第２画像とを選択する表示コンテンツ選択部１０５と、第１画像を選択可能な第１選択情報と選択された第２画像を選択可能な第２選択情報とを表示装置２００に表示するための情報であって、関連度が大きい第２画像の第２選択情報ほど、第１選択情報の近くに表示する出力情報を生成する出力情報生成部１０６と、を備えた。
【選択図】 図１

Description

この発明は、複数の画像から選択した画像を、関連する他の画像とともに表示するための情報を生成する装置、方法およびプログラムに関する。

ＰＣでは、検索機能は日常の業務で幅広く用いられている一般的な機能となっている。例えば、Ｗｅｂサービスプロバイダが提供しているＷｅｂ検索は万人に幅広く用いられている。通常、ＰＣによる検索では、調べる対象を検索キーワードとして入力するといったように、ユーザが自ら積極的に、能動的に検索を実行する。

現在、テレビ、ＤＶＤレコーダ、ＨＤＤレコーダといったＡＶ機器もＩＴ化が進んできており、これらの機器がインターネットに接続できるようになってきた。これにともない、ＡＶ機器でも、ＰＣと同様の検索機能が提供されるようになっている。ＡＶ機器に提供されている検索機能は、ＰＣと同様、能動的な検索機能である。

しかし、ＡＶ機器のコンテンツ保存能力の拡大、ビデオオンデマンド（ＶＯＤ）などのサービスの拡大、および、自装置内のコンテンツだけでなく他のＡＶ機器内のコンテンツとのシームレス性の拡大、さらには、インターネットに存在するコンテンツとのシームレス性の拡大などにより、ユーザがアクセス可能なコンテンツ数は、急速に爆発的に増加している。

また、ＨＤＤレコーダの普及により、ユーザのコンテンツの獲得スタイルおよび視聴スタイルが変化している。すなわち、ユーザが視聴を望むコンテンツのみを選択して録画するという能動的な録画スタイルから、とりあえず興味のあるものは録画しておき、その中から取捨選択するというスタイル、または、お勧めサービスやお任せ録画サービスなどを用いた非能動的な録画スタイルへ変化している。このような非能動的なスタイルへの変更に伴い、ユーザがアクセス可能なコンテンツは、必ずしもユーザが把握していないものを多く含むという時代となってきた。

このような状況では、機器からアクセス可能な多量のコンテンツの中から、ユーザの希望に沿ったコンテンツに如何に辿り着くかが重要となってきている。例えば、ユーザは、必ずしもアクセス可能な多量のコンテンツの内容を把握しているわけではない。このため、能動的な検索機能を用いて検索しようとしても、何をキーワードとして検索したらよいかが分からない場合もある。すなわち、ＡＶ機器では、従来のような能動的な検索機能によるコンテンツの検索では、所望のコンテンツに辿り着くのは困難となっている。

また、ＡＶ機器のユーザがＰＣの操作に精通しているとは限らない。すなわち、ＡＶ機器のユーザが、ＰＣの世界では普通であるキーワード入力型の能動的な検索に馴染みがあるとは言い難い。このような状況のため、ＡＶ機器の能動的な検索は一部のユーザのみに使われる機能となっており、余り普及している検索方法とは言い難いのが現状である。

この状況の解決策として、能動的な検索ではなく、ユーザの状況に応じて、ユーザが望むと思われるコンテンツが自動的に検索され、検索結果を直観的に理解しやすい方法で提示できるように改善した受動的な検索機能を提供するということが考えられる。例えば、あるコンテンツと関連があるコンテンツを検索して提示し、提示したコンテンツから所望のコンテンツをユーザに選択させるという方法である。これは、視聴するコンテンツをユーザがキーワードなどを用いて積極的に（能動的に）探すのではなく、あるコンテンツを元として検索したコンテンツの関連性をユーザに提示することで、暗示的にユーザにコンテンツ検索を行わせようという方法である。結果的に、ユーザは、自分の興味のあるコンテンツを明示的な検索無しに検索することができる。

このようにコンテンツを受動的に検索する方法では、コンテンツ同士の関連性をユーザに可視化することが非常に重要であると考えられる。ユーザは、受動的に検索されたコンテンツから、可視化された関連性を参照していずれかのコンテンツを選択することにより、機器からアクセス可能な多量に存在しているコンテンツから所望のコンテンツに辿り着くことが可能となる。

写真の分野では、デジタルカメラなどで撮影した多量の写真を可視化する技術が存在している。例えば、特許文献１は、多量の写真を空間内に可視化する技術が提案されている。これは、複数の画像の時系列的な関係を表すため、画像を時系列順に順次拡大し、この拡大した画像が内周側より時系列の順序でらせん状に表示する技術である。これにより、時系列により連続する多くの画像について、前後関係を容易に理解することができるようになる。

国際公開第ＷＯ ００／３３５７２号パンフレット

しかしながら、特許文献１の方法は、時系列順に画像を表示するのみであり、関連するコンテンツを適切に検索して表示するものではない。

本発明は、上記に鑑みてなされたものであって、選択される画像に関連する画像をより適切に選択することができる装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数の画像と、前記画像のメタデータとを記憶する画像記憶部と、前記画像記憶部に記憶された画像のうち、いずれかの画像を表す第１画像を順次選択する第１選択部と、前記第１選択部によって選択された画像と、画像が選択された順序とを特定可能な履歴情報を記憶する選択履歴記憶部と、前記第１画像のメタデータと、前記画像記憶部に記憶された画像のうち前記第１画像以外の画像のメタデータとに基づいて、前記第１画像と前記第１画像以外の画像とが関連する度合いを表す関連度を算出する関連度算出部と、前記履歴情報に基づいて、少なくとも前記第１画像の１つ前に選択された画像と、前記関連度に関する予め定められた第１選択条件を満たす画像と、を表す第２画像を選択する第２選択部と、前記第１画像を選択可能な第１選択情報と、選択された前記第２画像を選択可能な第２選択情報とを表示装置に表示するための情報であって、前記関連度が大きい前記第２画像の前記第２選択情報ほど、前記第１選択情報の近くに表示する出力情報を生成する生成部と、を備えたことを特徴とする。

また、本発明は、上記装置を実行することができる方法およびプログラムである。

本発明によれば、順次選択される画像に関連する画像をより適切に選択することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる装置、方法およびプログラムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
第１の実施の形態にかかる画像処理装置は、コンテンツに関する所定の情報を用いて時系列以外のコンテンツ間の関連性を算出し、関連性が大きいコンテンツを、ユーザが興味を示すコンテンツの候補として表示するという比較例に対して、より適切にコンテンツを選択する。

比較例では、例えばユーザが選択したコンテンツに付加された情報を元に、他のコンテンツの対応する情報との関連度を算出し、関連度が大きい関連コンテンツを求めてユーザに提示する。提示された関連コンテンツのうちいずれかの関連コンテンツをユーザがさらに選択すると、選択された関連コンテンツに関連する関連コンテンツをさらに検索して提示する。通常は、あるコンテンツに対して表示された関連コンテンツを選択すれば、元のコンテンツは選択された関連コンテンツに対する関連コンテンツとして表示される。このため、ユーザは、元のコンテンツに戻って別の関連コンテンツを選択することなどが可能である。

しかし、関連性の算出方法によっては、元のコンテンツが関連コンテンツとして検索されず、ユーザが元のコンテンツに戻れない場合があった。例えば、ユーザが選択したコンテンツに付加されている情報を元に、他のコンテンツの対応する情報と比較して関連性を求める方法では、同じ２つのコンテンツ間の関連性であっても、いずれのコンテンツを基準とするかによって関連性の値が変化しうる。この結果、元のコンテンツの関連性の値が他のコンテンツの関連性の値より相対的に小さくなり、表示個数の制限等により、元のコンテンツが関連コンテンツとして表示されなくなる場合がある。

この結果、ユーザは、順次選択されるコンテンツ間の関連性を的確に把握して所望のコンテンツを選択することができない場合が生じうる。

これに対し、第１の実施の形態にかかる画像処理装置は、選択されたコンテンツの履歴を記憶し、記憶された履歴を参照することにより、選択されたコンテンツに関連するコンテンツとして、過去に選択されたコンテンツを選択する。これにより、ユーザは直前に選択したコンテンツに戻ることが可能となり、順次選択されるコンテンツに関連するコンテンツを適切に選択することができる。

第１の実施の形態の画像処理装置１００は、例えば、ＴＶ番組や映画などの動画像コンテンツを録画可能なＨＤＤレコーダとして実現することができる。なお、適用可能な装置はＨＤＤレコーダーに限られるものではない。また、処理対象となるコンテンツは動画像コンテンツに限られるものではなく、静止画像コンテンツを処理対象とするように構成してもよい。以下では、主に動画像コンテンツを処理対象とする例について説明する。

図１は、第１の実施の形態にかかる画像処理装置１００の構成を示すブロック図である。図１に示すように、画像処理装置１００は、コンテンツ記憶部１２１と、選択履歴記憶部１２２と、対象コンテンツ選択部１０１と、第１メタデータ取得部１０２と、第２メタデータ取得部１０３と、関連度算出部１０４と、表示コンテンツ選択部１０５と、出力情報生成部１０６と、を備えている。

コンテンツ記憶部１２１は、動画像コンテンツデータと、動画像コンテンツデータに付随する情報であるメタデータとを記憶する。例えば、画像処理装置１００をＨＤＤレコーダとして実現する場合、コンテンツ記憶部１２１は、ＨＤＤの所定の領域にＴＶ番組を動画像コンテンツとして録画したり、録画したコンテンツを取得したりできるデータベースに相当する。コンテンツ記憶部１２１は、ユーザが録画した動画像コンテンツ群が蓄積される。ユーザは、コンテンツ記憶部１２１から所望の動画像コンテンツを取得して視聴する。

図２は、コンテンツ記憶部１２１に記憶されるデータのデータ構造の一例を示す図である。図２に示すように、コンテンツ記憶部１２１は、コンテンツを識別するコンテンツＩＤと、コンテンツの実体データと、コンテンツのメタデータとを対応づけたデータを記憶する。

コンテンツの実体データの格納形式は特に限定されるものではない。例えば、ＴＶ番組などのコンテンツが、ＭＰＥＧ２やＨ．２６４などのコーデックを用いてエンコードされたファイルとして格納される。なお、実体データをコンテンツＩＤと対応づけて別の記憶部に記憶するように構成してもよい。

メタデータは、例えば、ＴＶ番組の動画像コンテンツに付加されたＥＰＧなどから取得した情報を記憶する。ＥＰＧは、インターネットやデータ放送などを通じて得ることが可能な電子番組表データである。ＥＰＧには、例えば、ＴＶ番組の放送日時、放送チャンネル、番組タイトル、サブタイトル、番組概要、番組ジャンル、出演者リスト、および制作者情報などの番組に関係する様々な情報が含まれる。コンテンツ記憶部１２１は、このようなＥＰＧから取得した情報をメタデータとしてコンテンツと対応づけて記憶する。

また、メタデータは、コンテンツ記憶部１２１に動画像コンテンツを記憶した日時を表す録画日時、および録画条件なども記憶する。このようなメタデータは、画像処理装置１００がコンテンツを録画するときに、ＥＰＧ等を参照してタグ情報化し、動画像コンテンツの実体データに付随させてコンテンツ記憶部１２１に蓄積される。

また、ＶＯＤサービスやネットワーク上の動画像共有サービスの場合、このようなメタデータが動画像コンテンツの実体データのタグ情報として予め埋めこまれた状態で、サービス提供者からネットワーク回線などを通じてＨＤＤレコーダなどの画像処理装置１００に配信され、コンテンツ記憶部１２１に蓄積されることもありうる。

図２では、メタデータとして、録画日時、コンテンツのタイトル、チャンネル、ジャンルおよび出演者リストを記憶した例が示されている。なお、メタデータとして記憶可能な情報はこれに限られるものではない。例えば、ユーザが入力した情報をメタデータとして蓄積するように構成してもよい。

また、動画像コンテンツはＴＶ番組に限られるものではないし、メタデータもＥＰＧから得られる情報に限定されるものではない。また、コンテンツ記憶部１２１は、ＨＤＤだけでなく、ＤＶＤ−ＲＡＭ、光ディスク、メモリカードなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

さらに、コンテンツ記憶部１２１がデータを取得して蓄積するための領域は１つに限定されるものではなく、ＨＤＤやＤＶＤ−ＲＡＭなどにまたがった領域に蓄積されていてもよい。また、データベースシステムなどから所定の取得処理によって取り出すことが可能であれば、複数の異なる領域にまたがって蓄積されていてもよい。すなわち、複数の領域にデータが記憶されている場合であっても、１つの領域にデータが記憶されている場合と同様に、単一の作業で所望のデータにアクセス可能となっていればよい。また、データを蓄積する領域が画像処理装置１００内に存在する必要はなく、例えば、ネットワーク接続された別のＨＤＤ等にアクセスすることで、データの蓄積や取得を実行するように構成してもよい。

選択履歴記憶部１２２は、コンテンツ記憶部１２１に記憶されたコンテンツのうち、後述する対象コンテンツ選択部１０１によって処理対象コンテンツとして選択されたコンテンツと選択された順序とを特定可能な履歴情報を記憶する。例えば、選択履歴記憶部１２２は、選択されたコンテンツのコンテンツＩＤを、選択された順に記憶する。

ここで、処理対象コンテンツとは、関連するコンテンツを検索する基準となるコンテンツを意味する。選択履歴記憶部１２２は、過去に処理対象コンテンツとして選択されたコンテンツのコンテンツＩＤを選択された順で時系列に記憶する。図３は、選択履歴記憶部１２２に記憶される履歴情報のデータ構造の一例を示す図である。図３に示すように、履歴情報は、コンテンツＩＤを含む。

なお、履歴情報は上記の形式に限られるものではなく、選択されたコンテンツと、選択された順序とが特定可能な形式であればどのような形式であってもよい。また、選択履歴記憶部１２２に記憶されるデータは上記に限られず、タイトル名および番組概要などのコンテンツ記憶部１２１に記憶されているメタデータを同時に記憶するように構成してもよい。

また、選択履歴記憶部１２２に記憶されるコンテンツ数（記憶コンテンツ数）を制限するように構成してもよい。記憶コンテンツ数は、例えば、システムの初期設定やユーザからの設定変更などによって決定する。記憶コンテンツ数をＮ（１以上の整数）とした場合、Ｎ＋１回目の処理対象コンテンツの履歴情報を記憶すると同時に、過去に記憶したコンテンツの履歴情報、例えば１回目に記憶した最も古いコンテンツの履歴情報を選択履歴記憶部１２２から削除することにより、記憶されるコンテンツ数を調整する。

なお、選択されたコンテンツが必ず記憶されるように構成する必要はない。例えば、記憶対象のコンテンツが選択された時点で、選択されたコンテンツの履歴情報が既に選択履歴記憶部１２２に記憶されているか否かを調べ、記憶されていない場合に追加するという方法でもよい。この場合、同一コンテンツの履歴情報が選択履歴記憶部１２２に２つ以上含まれることはなく、既に記憶されている履歴情報が優先されることになる。

これに対し、選択されたコンテンツの履歴情報が既に選択履歴記憶部１２２に記憶されている場合に、記憶済みの履歴情報を削除し、選択されたコンテンツの履歴情報を追加するという方法でもよい。この場合、新たに選択されたコンテンツの履歴情報が優先されることになる。なお、以下では、選択履歴記憶部１２２に履歴情報が記憶されているコンテンツを「履歴コンテンツ」と呼ぶ。

対象コンテンツ選択部１０１は、コンテンツ記憶部１２１から、所定の選択条件を満たす１つの動画像コンテンツを処理対象コンテンツとして選択する。選択条件としては、例えば、視聴状態のコンテンツを処理対象コンテンツとして選択し、視聴状態のコンテンツが存在しない場合は、最後に視聴したコンテンツを処理対象コンテンツとして選択するという条件を用いることができる。

また、選択条件として、所定の時間経過ごとに、現在の処理対象コンテンツに対する関連度（後述）が最も大きいコンテンツを、次の処理対象コンテンツとして選択するという条件を用いてもよい。このとき、同じジャンルのコンテンツを対象とするように構成してもよい。

また、ユーザが表示装置２００のＧＵＩ（グラフィカルユーザインタフェース）などを用いて表示画面上で選択したコンテンツを処理対象コンテンツとして選択する選択条件を用いてもよい。例えば、表示装置２００の表示画面上に表示された、録画されたコンテンツのリストから、リモコンなどを用いてユーザが選択したコンテンツを処理対象コンテンツとして選択するように構成することができる。

また、上述のお勧めサービスやお任せ録画サービスと同様の手法により、事前に設定されたユーザのプロファイルなどを参照し、ユーザの嗜好に沿ったコンテンツを選択するという選択条件を用いてもよい。例えば、ユーザが、ユーザプロファイルとして、視聴を希望するコンテンツを「サッカー番組」などと指定しておく。対象コンテンツ選択部１０１は、指定された情報を参照し、コンテンツ記憶部１２１から、「サッカー番組」であるコンテンツを処理対象コンテンツとして選択する。

また、ユーザの操作履歴を記憶しておき、操作履歴を参照することにより、ユーザが最も頻繁に閲覧している番組などを選択する、という選択条件を用いてもよい。このように、コンテンツ記憶部１２１に記憶されたコンテンツのうち、特定のコンテンツを選択できるものであれば、あらゆる選択条件を利用することができる。

第１メタデータ取得部１０２は、対象コンテンツ選択部１０１によって選択された処理対象コンテンツのメタデータを、コンテンツ記憶部１２１から取得する。また、第１メタデータ取得部１０２は、取得したメタデータにコンテンツを代表する画像情報（以下、コンテンツ代表画像という）が含まれていない場合に、コンテンツ代表画像を生成する。第１メタデータ取得部１０２は、例えば動画像コンテンツの先頭のフレームをコンテンツ代表画像として生成する。なお、コンテンツ代表画像の生成方法はこれに限るものではなく、例えば、カット検出により検出されたフレームをコンテンツ代表画像としてもよい。

第２メタデータ取得部１０３は、後述する関連度算出部１０４の指示に従い、指定された動画像コンテンツのメタデータをコンテンツ記憶部１２１から取得する。具体的には、第２メタデータ取得部１０３は、対象コンテンツ選択部１０１が選択した処理対象コンテンツ以外のコンテンツのメタデータを、コンテンツ記憶部１２１から取得する。取得したメタデータは、関連度算出部１０４がコンテンツ間の関連度を算出するときに参照される。

また、第２メタデータ取得部１０３は、第１メタデータ取得部１０２と同様に、取得したメタデータにコンテンツ代表画像が含まれていない場合は、処理対象コンテンツのコンテンツ代表画像を生成する。

関連度算出部１０４は、第１メタデータ取得部１０２で取得された処理対象コンテンツのメタデータと、第２メタデータ取得部１０３で取得された各コンテンツのメタデータと、を用いて、処理対象コンテンツと他のコンテンツとが関連する度合いを表す関連度を算出する。

関連度算出部１０４は、まず、処理対象コンテンツを、関連度の算出対象コンテンツ（算出対象コンテンツ１）として決定する。そして、関連度算出部１０４は、算出対象コンテンツ１のメタデータ（以下、メタデータ１という）を、第１メタデータ取得部１０２を用いて取得する。

次に、関連度算出部１０４は、処理対象コンテンツ以外の１つのコンテンツを、関連度の算出対象コンテンツ（算出対象コンテンツ２）として決定する。そして、関連度算出部１０４は、算出対象コンテンツ２のメタデータ（以下、メタデータ２という）を、第２メタデータ取得部１０３を用いて取得する。なお、後述する表示コンテンツ選択部１０５が算出対象コンテンツ２を決定し、関連度算出部１０４に対して関連度の算出を指示するように構成してもよい。

この結果、算出対象コンテンツ１および算出対象コンテンツ２の録画日時、録画条件、コンテンツのタイトル、サブタイトル、コンテンツの放送日時、放送チャンネル、ジャンル、コンテンツの概要・詳細内容、出演者リストや内容、制作者の情報などといった情報が、それぞれメタデータ１およびメタデータ２として取得される。

そして、関連度算出部１０４は、メタデータ１とメタデータ２とを比較することで、算出対象コンテンツ１（処理対象コンテンツ）と算出対象コンテンツ２との関連度を算出する。

関連度算出部１０４は、以下の（１）式を用いて関連度を算出する。

ここで、Ｎは、コンテンツ記憶部１２１に記憶されたメタデータの種類の総数を表す。メタデータ（ｎ）は、コンテンツ記憶部１２１に記憶された複数のメタデータのうちｎ（ｎ＝１，．．．，Ｎ）番目のメタデータを表す。ｙ_ｎ=ｆ_ｎ（ｘ１_ｎ，ｘ２_ｎ）はメタデータｘ１_ｎとメタデータｘ２_ｎとの関連度をｙ_ｎとして返す関数を表す。ｗ_ｎは重みを示す値である。

メタデータの種類は、上述の通り多岐に渡るが、以降では説明を簡単にするために、コンテンツ記憶部１２１には、｛録画日時、タイトル、放送チャンネル、ジャンル、出演者リスト｝の５つの種類のメタデータが記憶されているものとして説明する。

この場合、関連度は、
ｙ_１＝ｆ_１（メタデータ１の録画日時，メタデータ２の録画日時）
ｙ_２＝ｆ_２（メタデータ１のタイトル，メタデータ２のタイトル）
ｙ_３＝ｆ_３（メタデータ１の放送チャンネル，メタデータ２の放送チャンネル）
ｙ_４＝ｆ_４（メタデータ１のジャンル，メタデータ２のジャンル）
ｙ_５＝ｆ_５（メタデータ１の出演者リスト，メタデータ２の出演者リスト）
の重み付き線形和で表現される。

以下に、ｆ_１からｆ_５の具体例についてそれぞれ説明する。

ｆ_１は、例えば、録画日時が近いほど大きな値をとり、遠いほど小さな値を取る関数である。具体的には、例えば、ｆ_１＝ＣＯ１／｜ｄｉｆｆ（ｒｅｃ＿ｄａｔｅ（メタデータ１）−ｒｅｃ＿ｄａｔｅ（メタデータ２））｜などを用いることができる。ここで、ｒｅｃ＿ｄａｔｅ（ｘ）は、メタデータｘの録画日時を一意に整数化する関数である。例えば、ある基準日時を０とし、基準日時からの経過秒数などに整数化する関数を用いることができる。

また、ＣＯ１は予め定められた任意の定数を表す。｜Ｘ｜はＸの大きさを示す関数であり、典型的には絶対値を表す。なお、ここでは、ｆ_１（メタデータ１，メタデータ２）＝ｇ（ｄｉｆｆ（ｒｅｃ＿ｄａｔｅ（メタデータ１）−ｒｅｃ＿ｄａｔｅ（メタデータ２）））とした場合に、ｇ（ｘ）＝ＣＯ１／｜ｘ｜で表される関数ｇを用いた例を示したが、利用可能な関数はこれに限定されるものではない。

例えば、ｇ（ｘ）＝ＣＯ１／｜｜ｘ｜｜のように、Ｌ２ノルムなどを使用するような関数ｇを用いてもよい。この際、｜｜ｘ｜｜は、典型的には、ｘを構成するそれぞれの要素の差の自乗合計の平方根をとったものを表す。

また、g（ｘ）は、シグモイド関数のようなものでもよいし、ガンマ関数のようなものでもよい。また、これまでの説明では、メタデータ１とメタデータ２とが近い場合に大きな値をとる関数を用いる例を示したが、これに限定されるものではない。すなわち、両者が近い場合に小さな値をとるような関数を用いてもよい。また、特定の条件の時に大きな値をとるような関数ｇを用いることもできる。

ｆ_２は、例えば、メタデータ１とメタデータ２のタイトル文字列に同様の文字列が多く含まれているほど大きな値をとるような関数で実現される。例えば、メタデータ１のタイトルが「あいうえお」であり、メタデータ２のタイトルが「かきうえこ」の場合、「うえ」の２文字が両者に含まれている。一方、メタデータ１のタイトルが「あいうえお」であり、メタデータ２のタイトルが「かきくけお」の場合、「お」の１文字が両者に含まれている。このため、前者の例の方がｆ_２の値が大きくなる。

以上では、単純に両者に含まれている文字数の比較で値を求める関数ｆ_２の例を示したが、適用可能な関数はこれに限定されるものではない。例えば、先頭から共通する文字列の文字数が多い方をより大きな値をとる関数を用いてもよい。また、同様の概念を含む文字列を共通の文字列とみなすような関数を用いてもよい。例えば、「野球」と「ベースボール」とを同様の概念の文字列とみなし、これらが比較するタイトルのそれぞれに含まれている場合は、共通文字列が含まれていると判断する関数を用いることができる。

また、タイトルに含まれるメインの文字列とサブの文字列とをそれぞれ比較し、サブの文字列が異なる場合には、他の場合より大きい値を算出する関数ｆ_２を用いてもよい。メインの文字列が一致し、サブの文字列が異なる場合は、共通のシリーズのコンテンツであることが多いためである。例えば、「あいうえお＃２」と、「あいうえお＃３」とは、同じドラマコンテンツの異なる回であるとみなせる。このため、このような場合に、ｆ_２が例えば２倍の値を出力するように構成することができる。

なお、以上の説明は一例であり、曖昧検索や、正規表現による検索などの技術を用いて、より高度な比較を行うことも可能である。

ｆ_３は、例えば、メタデータ１とメタデータ２の放送チャンネルが同じ場合は大きな値ととるような関数である。例えば、放送チャンネルが同じ場合に値ＣＯ２を出力し、それ以外の場合に値０を出力する関数として実現できる。ここで、ＣＯ２は予め定められた任意の定数である。

これをさらに拡張し、同系列のチャンネルの場合には、別の値を出力する関数を用いてもよい。例えば、メタデータ１の放送チャンネルおよびメタデータ２の放送チャンネルが、それぞれ「ＮＨＫ第１」および「ＮＨＫ教育」の場合は、同系列のチャンネルであり、同じ地上波メディアであるため、ＣＯ２／２を返すように関数ｆ_３を構成してもよい。

「ＮＨＫ第1（地上波）」と「ＮＨＫ ＢＳハイビジョン（ＢＳ放送波）」の場合は、同系列のチャンネルだが放送メディアが異なるため、ＣＯ２／４を返すように関数ｆ_３を拡張してもよい。なお、以上で説明した手法は一例であり、チャンネル間の関連度を返す関数であれば任意の関数を用いることが可能である。

ｆ_４は、例えば、メタデータ１とメタデータ２のジャンルが同じ場合は大きな値をとるような関数である。例えば、メタデータ１のジャンルとメタデータ２のジャンルが一致する場合に予め定められた定数値である値ＣＯ３を出力し、一致しない場合に値０を出力する関数を用いることができる。さらに、ジャンル間の階層関係に応じて関連度を算出するような関数を用いてもよい。例えば、メタデータ１のジャンルが「スポーツ」であり、メタデータ２のジャンルが「野球」である場合、「野球」は「スポーツ」の下位のジャンル（サブジャンル）と判定できるため、ＣＯ３／２を関連度として出力するように構成することができる。また、例えば、メタデータ１のジャンルが「野球」であり、メタデータ２のジャンルが「サッカー」である場合、「野球」と「サッカー」の上位のジャンル（親ジャンル）が共に「スポーツ」で共通すると判定できるため、ＣＯ３／４を関連度として出力するように構成することができる。なお、以上で説明した手法は一例であり、ジャンル間の関連度を返す関数であれば任意の関数を用いることが可能である。

ｆ_５は、例えば、メタデータ１とメタデータ２の出演者リストに共通する出演者の人数が多いほど大きい値を出力する関数である。例えば、（共通する出演者の人数）×ＣＯ４を出力する関数ｆ_５を用いることができる。なお、ＣＯ４は予め定められた任意の定数値を表す。例えば、メタデータ１の出演者リストおよびメタデータ２の出演者リストが、それぞれ「ＷＷ，ＸＸ，ＹＹ」および「ＸＸ，ＹＹ，ＺＺ」の場合、共通する出演者は２人であるため、関数ｆ_５は２×ＣＯ４を出力する。また、メタデータ１の出演者リストおよびメタデータ２の出演者リストが、それぞれ「ＶＶ，ＷＷ，ＸＸ」および「ＸＸ，ＹＹ，ＺＺ」の場合、共通する出演者は１人であるため、関数ｆ_５は１×ＣＯ４を出力する。また、共通の出演者が居ない場合には関数ｆ_５は０を出力する。

なお、出演者リストには、個人だけでなく、複数の個人からなるグループも含まれうる。このため、例えば、ある出演者ＳがグループＸＸのメンバであり、メタデータ１の出演者リストが「ＶＶ，ＷＷ，ＸＸ」、メタデータ２の出演者リストが「Ｓ，ＹＹ，ＺＺ」であった場合に、関数ｆ_５がＣＯ４／２を出力するように構成してもよい。メタデータ１の出演者リストには出演者Ｓが含まれていないが、ＳをメンバとするグループＸＸが含まれるため、出演者Ｓが出演しているとみなせるためである。

同様に、例えばグループＸＸとグループＹＹが同じ事務所に所属する場合などのように、出演グループや出演者間に何らかの関係が定義される場合に、ＣＯ４／４を出力するように関数ｆ_５を拡張してもよい。この場合、出演者（出演グループ）間の関係は、メタデータに定義されていてもよいし、コンテンツ記憶部１２１に予め記録してもよいし、外部の情報サイト等から取得するように構成してもよい。

また、出演者リストに出現する順番によって重み付けした関連度を算出するように構成してもよい。例えば、メタデータ１のｋ番目に記載されている出演者と一致する場合に、１／ｋを重み付け係数として関連度を算出する関数を用いてもよい。すなわち、メタデータ１の１番目に記載されている出演者と一致する場合は算出した関連度をそのまま出力する。また、２番目に記載されている出演者と一致する場合は算出した関連度に１／２を乗じて出力する。また、３番目に記載されている出演者と一致する場合は算出した関連度に１／３を乗じて出力する。

さらに、メタデータ１内での順番とメタデータ２内での順番を共に加味して関連度を算出するように構成してもよい。例えば、メタデータ１の２番目の出演者とメタデータ２の３番目の出演者とが一致する場合、算出した関連度に１／６＝１／２×１／３を乗じて出力するようにしてもよい。

また、出演者が主演者であることを表すメタデータをさらに利用して関連度を算出するように構成してもよい。例えば、一致した出演者が主演者の場合には算出した関連度を２倍して出力するといったように、主演者に対する関連度の重み付けを変えるようにしてもよい。

以上で説明したような関数ｆ_１からｆ_５と（１）式から、関連度を算出することができる。なお、上記関数は一例であり、２つの値の相関関係を表す関数であれば従来から用いられているあらゆる関数を使用することが可能である。

例えば、画像に関する所定の情報のヒストグラムを算出し、ヒストグラムの相関関係から関連度を算出するように構成してもよい。すなわち、算出対象コンテンツ１の任意のフレームを表す画像のヒストグラムと、算出対象コンテンツ２の任意のフレームを表す画像のヒストグラムとを算出し、両者の相関の強さに重みを掛け合わせた値を関連度として用いてもよい。なお、ヒストグラムを求める情報としては、例えば画像の輝度などの従来から用いられているあらゆる情報を適用できる。

また、関連度は単独の方法で算出されたものに限る必要はない。例えば、複数の方法で算出された関連度を、ユーザの指定、または予め設定されたプロファイルによって定義される重みを利用した重み付き線形和で合成してもよい。

表示コンテンツ選択部１０５は、選択履歴記憶部１２２に記憶されている履歴情報と、関連度算出部１０４によって算出された関連度とを参照し、表示装置２００に表示する対象となる表示コンテンツを選択する。

具体的には、表示コンテンツ選択部１０５は、まず、選択履歴記憶部１２２に履歴情報が記憶されている履歴コンテンツを表示コンテンツとして選択する。表示コンテンツ選択部１０５は、処理対象コンテンツとともに、少なくとも処理対象コンテンツの１つ前に選択された履歴コンテンツを表示コンテンツとして選択する。これにより、ユーザは表示されたコンテンツから直前に選択したコンテンツを選択し、直前に選択したコンテンツに戻ることが可能となる。

さらに、表示コンテンツ選択部１０５は、関連度算出部１０４によって算出された関連度が所定の選択条件を満たすコンテンツを、表示コンテンツとして選択する。表示コンテンツ選択部１０５は、表示コンテンツの個数の上限を定めた上限値から、選択した履歴コンテンツの個数を減算した個数のコンテンツを、関連度が大きい順に選択するという選択条件を用いる。なお、選択条件はこれに限られるものではない。例えば、さらに関連度が所定の閾値より大きいコンテンツを対象として表示コンテンツを選択するように構成してもよい。

出力情報生成部１０６は、選択された表示コンテンツを表示装置２００に表示するための出力情報を生成する。具体的には、出力情報生成部１０６は、表示装置２００上で選択可能なように表示コンテンツそれぞれを可視化した複数の選択情報を生成し、選択情報を所定の基準で配置して表示するための出力情報を生成する。このとき、出力情報生成部１０６は、処理対象コンテンツに対する関連度が大きいコンテンツの選択情報ほど、処理対象コンテンツの選択情報の近くに配置するように表示する出力情報を生成する。これにより、ユーザは、コンテンツ間の関連を適切に判断し、所望のコンテンツをさらに選択することが可能となる。

出力情報生成部１０６は、さらに詳細な構成として、表示コンテンツ配置部１０６ａと、空間可視化部１０６ｂとを備えている。

表示コンテンツ配置部１０６ａは、第２メタデータ取得部１０３によって取得されたメタデータを用いて、選択された表示コンテンツを所定の空間に配置して可視化する。

図４は、可視化した表示コンテンツの一例を示す図である。図４に示すように、表示コンテンツ配置部１０６ａは、矩形で表現される背景４００の上に、コンテンツ代表画像４０１、番組タイトル４０２、録画日時４０３、および放送チャンネル名４０４を重ねることによって表示コンテンツを可視化する。これらの情報は、第２メタデータ取得部１０３によって取得される。

以降では、同図に示すように、背景４００、コンテンツ代表画像４０１、番組タイトル４０２、録画日時４０３、および放送チャンネル名４０４を可視化する要素（メタデータ）として使用する例を用いて説明を行う。なお、可視化する要素はこれに限定されるものではない。また、各要素のレイアウトも同図に示すレイアウトに限定されるものではない。

表示コンテンツ配置部１０６ａは、例えば、ＣＧ（コンピュータグラフィックス）技術を用いて、図４のように各要素がレイアウトされた状態で可視化できるようにする。具体的には、表示コンテンツ配置部１０６ａは、まず、背景４００の表示サイズに大きさ合わせた板状のポリゴンを用意する。そして、同図のようなレイアウトになるように、ポリゴンの表面の一部（または全部）にコンテンツ代表画像４０１をテクスチャマッピングする。

また、表示コンテンツ配置部１０６ａは、番組タイトル４０２、録画日時４０３、および放送チャンネル名４０４といった文字情報については、まず、これらの文字情報を可視化した画像をテクスチャ画像としてそれぞれ生成する。そして、表示コンテンツ配置部１０６ａは、生成したテクスチャ画像を所定の位置に所定のサイズ（ポリゴンの表面の一部）でテクスチャマッピングする。

文字情報の可視化には色々な方法が存在するが、例えば、ベクトルデータで表現された文字データをＣＧのシェーダ技術を用いてテクスチャデータとして可視化（レンダリング）する技術などを使用して実現することが可能である。

なお、以上で説明した文字の可視化の手法は一例であり、これに限定することなく既存のあらゆる手法を用いることが可能である。また、背景４００を所定の色で塗るように構成してもよいし、テクスチャマッピングによって所定の画像を貼ってもよい。また、メタデータに応じて背景４００を変更するように構成してもよい。例えば、メタデータのジャンルを参照し、コンテンツのジャンルがスポーツの場合は背景４００を青く塗り、ジャンルがドラマの場合は背景４００を黄色に塗るというように構成してもよい。

このように、表示コンテンツ配置部１０６ａは、コンテンツ記憶部１２１から取得したメタデータを視覚的に表現することにより、表示コンテンツを可視化する。そして、上記のような例の場合、ユーザは、可視化された表示コンテンツを見ることにより、コンテンツのジャンル、タイトル名、録画日時、放送チャンネル、およびコンテンツの内容を確認することができる。以下では、可視化された表示コンテンツを「可視化コンテンツ」と呼ぶ。

可視化コンテンツは、表示装置２００に表示された場合、ユーザによって選択することができる。すなわち、ユーザは、表示された可視化コンテンツのいずれかを選択することにより、次に処理対象コンテンツとするコンテンツを指定することができる。したがって、可視化コンテンツが上述の選択情報に相当する。

さらに、表示コンテンツ配置部１０６ａは、選択された表示コンテンツそれぞれを可視化した複数の可視化コンテンツを所定の空間に配置する。図５は、可視化コンテンツを３次元空間内に配置した例を示す図である。

図５に示すように、可視化コンテンツ２０１や可視化コンテンツ２０２を含む複数の可視化コンテンツが、３次元空間内に配置される。なお、同図は、可視化コンテンツ群を配置した３次元空間を上方（Ｚ軸の正側の遠方）から観察した場合の図を示している。

表示コンテンツ配置部１０６ａは、可視化コンテンツそれぞれを、３次元空間内に３次元的に配置する。このため、３次元空間を観察する視点を変えれば、同じ配置でも異なった形式で可視化コンテンツが観察される。図６は、図５と異なる視点から観察した場合の可視化コンテンツの配置例を示す図である。図６は、図５と同じ３次元空間に対して図５と同様に配置した可視化コンテンツ群を、異なる視点（空間の前方、すなわちｙ軸正側の遠方よりややＺ軸正側）から観察した場合の図を示している。

なお、表示コンテンツ配置部１０６ａによる関連度に応じた表示コンテンツの配置処理の詳細については後述する。

空間可視化部１０６ｂは、表示コンテンツ配置部１０６ａで生成および配置された可視化コンテンツ群が含まれる空間の様子を所定の視点条件で可視化する。空間可視化部１０６ｂは、まず、空間可視化用のパラメータを設定する。具体的には、空間可視化部１０６ｂは、空間をどのような方向から可視化するかを設定する。ＣＧ的に言えば、空間可視化部１０６ｂは、空間をレンダリングするためのカメラ（視点）位置、方向、および範囲などのパラメータの設定などを行う。

また、空間可視化部１０６ｂは、必要に応じて空間のレンダリングのための光源の位置、光源の強さ、および範囲などのパラメータも同時に設定する。また、空間可視化部１０６ｂは、レンダリングの際の可視化範囲、およびレンダリング手法などを設定する。レンダリング手法の設定方法としては、様々な方法が考えられる。例えば、まず、シェーダプログラムを用いて、予めいくつかのレンダリング手法を定義しておく。そして、空間可視化部１０６ｂが、定義されたレンダリング手法から、ユーザ入力、または、システム設定値などを参照して使用するレンダリング手法を決定する。そして、空間可視化部１０６ｂは、決定したレンダリング手法を定義したシェーダプログラムをグラフィックス処理専用のハードウェアであるＧＰＵ（Graphics Processing Unit）に設定する。

このようにして空間可視化用のパラメータを設定した後、空間可視化部１０６ｂは、空間の可視化を実行する。具体的には、空間可視化部１０６ｂは、設定したＣＧパラメータに従って、ＣＧ空間をレンダリングする。これにより、表示コンテンツ配置部１０６ａによって３次元空間内に配置された可視化コンテンツ群の様子が可視化される。

また、例えば、ボリュームシャドーというＣＧの技術を用いれば、可視化コンテンツが前後に重なっている場合に、奥のコンテンツ部分に、手前のコンテンツの影を落とすことも可能である。なお、この際には、影を落とすコンテンツ群の手前側にライトを設定し、ボリュームシャドー技術を用いて影を付加させる。

また、レンダリング後の画像にポストエフェクトとして画像処理することで、同様の効果を実現することも可能である。また、空間可視化部１０６ｂは、表示コンテンツ以外の情報も同時に可視化する。例えば、後述するように表示コンテンツを円錐台の側面に設けられたジャンルごとの座標軸上に分けて可視化する場合、ジャンルを示す座標軸、ジャンル名、円錐台の等値面などを同時にレンダリングし、可視化コンテンツ群のレンダリングに重畳させる。

なお、このようにして得られたレンダリング画像に、ポストエフェクト処理による画像処理をさらに行ってもよい。また、得られたレンダリング画像を用いて、別のシェーダプログラムを用いてさらにレンダリングを行い、新たなレンダリング画像を得ることもできる。

このような空間可視化部１０６ｂの処理により、レイアウトされた可視化コンテンツ群を特定の視点から見た画像が出力情報として生成される。

次に、このように構成された第１の実施の形態にかかる画像処理装置１００による画像処理について図７を用いて説明する。図７は、第１の実施の形態における画像処理の全体の流れを示すフローチャートである。

まず、対象コンテンツ選択部１０１が、コンテンツ記憶部１２１から１つのコンテンツを処理対象コンテンツとして選択する（ステップＳ７０１）。対象コンテンツ選択部１０１は、例えば、視聴状態のコンテンツを処理対象コンテンツとして選択する。なお、最後に視聴したコンテンツ、最後に録画したコンテンツ、または、ユーザのプロファイルなどを参照して選択されたコンテンツを、処理対象コンテンツとして選択してもよい。また、例えば、ユーザが表示装置２００のＧＵＩで可視化された録画済みコンテンツリストからマウスやリモコンなどを用いて指定したコンテンツを、処理対象コンテンツとして選択してもよい。また、例えば、コンテンツを視聴している状態で、ユーザがリモコンの所定のボタンを押すことによって、現在視聴中のコンテンツを処理対象コンテンツとして選択してもよい。

次に、対象コンテンツ選択部１０１は、選択した処理対象コンテンツのコンテンツＩＤを選択履歴記憶部１２２に記憶する（ステップＳ７０２）。

次に、選択された処理対象コンテンツと、処理対象コンテンツに関連するコンテンツを表示コンテンツとして選択する表示コンテンツ選択処理が実行される（ステップＳ７０３）。次に、選択された表示コンテンツを表示装置２００に表示するための出力情報を生成する出力情報生成処理が実行される（ステップＳ７０４）。表示コンテンツ選択処理および出力情報生成処理の詳細については後述する。

次に、出力情報生成部１０６が、生成した出力情報を表示装置２００に出力する（ステップＳ７０５）。これにより、処理対象コンテンツ、処理対象コンテンツと関連性の高いコンテンツ群、および選択履歴記憶部１２２に履歴情報が記憶されている履歴コンテンツが、その関連性に従って空間に配置された様子が表示装置２００の表示画面に表示される。

次に、対象コンテンツ選択部１０１が、処理対象コンテンツの更新が必要か否かを判断する（ステップＳ７０６）。例えば、対象コンテンツ選択部１０１は、所定時間経過ごとに、現在の処理対象コンテンツに対する関連度が最も高いコンテンツを、次の処理対象コンテンツとして選択する選択条件を用いている場合は、所定時間が経過したか否かを判断する。なお、対象コンテンツ選択部１０１が、ユーザが表示装置２００の表示画面に選択されたコンテンツから、処理対象コンテンツ以外のコンテンツを選択したか否かを判断するように構成してもよい。

処理対象コンテンツの更新が必要な場合（ステップＳ７０６：ＹＥＳ）、対象コンテンツ選択部１０１は、選択条件に応じて新たな処理対象コンテンツを選択し（ステップＳ７０１）、処理を繰り返す。処理対象コンテンツの更新が必要でない場合（ステップＳ７０６：ＮＯ）は画像処理を終了する。

次に、ステップＳ７０３の表示コンテンツ選択処理の詳細について図８を用いて説明する。図８は、第１の実施の形態における表示コンテンツ選択処理の全体の流れを示すフローチャートである。

まず、関連度算出部１０４は、処理対象コンテンツに関連するコンテンツとして関連度算出の対象とする算出対象コンテンツ（上述の算出対象コンテンツ２）の条件を決定する（ステップＳ８０１）。例えば、関連度算出部１０４は、コンテンツ記憶部１２１に含まれている全てのコンテンツを算出対象コンテンツとする条件を決定する。

なお、事前の設定により算出対象コンテンツの条件を変えるように構成してもよい。例えば、メタデータのうち条件とするメタデータの種類や値を設定可能とし、この設定に従い、例えば、特定の日時以降に録画されたコンテンツを対象とする条件、特定のジャンルのコンテンツを対象とする条件、または、特定のタイトルを含むコンテンツを対象とする条件、といったように条件を変更するように構成してもよい。算出対象コンテンツの条件は、ユーザ入力によって与えられてもよいし、システム設定として予め決められていてもよい。なお、関連度算出部１０４は、いずれの条件であっても履歴コンテンツは算出対象コンテンツに加える。

次に、関連度算出部１０４は、決定した条件に適合するコンテンツであって、関連度を算出していない算出対象コンテンツを１つ決定する（ステップＳ８０２）。関連度算出部１０４は、第１メタデータ取得部１０２を用いて、処理対象コンテンツのメタデータ（メタデータ１）をコンテンツ記憶部１２１から取得する。また、関連度算出部１０４は、第２メタデータ取得部１０３を用いて、算出対象コンテンツのメタデータ（メタデータ２）をコンテンツ記憶部１２１から取得する。

次に、関連度算出部１０４は、取得したメタデータ１およびメタデータ２を用いて、処理対象コンテンツと算出対象コンテンツとの関連度を算出する（ステップＳ８０３）。

次に、関連度算出部１０４は、すべての算出対象コンテンツについて、処理対象コンテンツとの関連度を算出したか否かを判断する（ステップＳ８０４）。すべての算出対象コンテンツの関連度を算出していない場合は（ステップＳ８０４：ＮＯ）、次の未処理の算出対象コンテンツを選択して処理を繰り返す（ステップＳ８０２）。

すべての算出対象コンテンツの関連度を算出した場合（ステップＳ８０４：ＹＥＳ）、関連度算出部１０４は、算出した関連度の一覧を生成して出力する（ステップＳ８０５）。

次に、表示コンテンツ選択部１０５は、生成された関連度の一覧を参照し、履歴コンテンツ以外の算出対象コンテンツであって、所定の選択条件に適合する算出対象コンテンツを表示コンテンツとして選択し、表示コンテンツリストに追加する（ステップＳ８０６）。表示コンテンツリストとは、選択した表示コンテンツを保存するリストである。

例えば、表示コンテンツ選択部１０５は、システム設定またはユーザ入力によって得られたコンテンツ数の上限値がＮ個であり、関連度を算出した算出対象コンテンツ数がＮを超える場合には、関連度が大きい方からＮ−Ｍ個（Ｍは履歴コンテンツの個数）の算出対象コンテンツを選択して表示コンテンツリストに追加する。表示コンテンツ選択部１０５は、例えば、関連度が大きい順にソートして表示コンテンツを表示コンテンツリストに保存する。

次に、表示コンテンツ選択部１０５は、履歴コンテンツを表示コンテンツリストに追加して表示コンテンツリストを更新する（ステップＳ８０７）。これにより、表示コンテンツリストには、履歴コンテンツを含めてＮ個のコンテンツがリストアップされる。なお、図７のステップＳ７０２で、処理対象コンテンツも履歴コンテンツとして選択履歴記憶部１２２に保存されているため、表示コンテンツリストには、処理対象コンテンツも追加される。

次に、ステップＳ７０４の出力情報生成処理の詳細について図９を用いて説明する。図９は、第１の実施の形態における出力情報生成処理の全体の流れを示すフローチャートである。

出力情報生成処理では、最初に、表示コンテンツ配置部１０６ａが、表示コンテンツリストに含まれる各コンテンツを３次元空間上に配置して可視化する（ステップＳ９０１〜ステップＳ９０６）。

具体的には、まず、表示コンテンツ配置部１０６ａが、処理対象コンテンツの配置位置を、３次元空間座標の原点に設定する（ステップＳ９０１）。上述のように、処理対象コンテンツは、対象コンテンツ選択部１０１で選択されたコンテンツであり、関連度算出の基準となるコンテンツである。このため、表示コンテンツ配置部１０６ａは、処理対象コンテンツを図４のように可視化した可視化コンテンツを、３次元空間の原点位置（ｘ，ｙ）＝（０，０）に配置する。なお、表示コンテンツ配置部１０６ａは、この可視化コンテンツの法線方向をｚ軸、すなわち法線ベクトル＝（０，０，１）の方向として可視化コンテンツを配置する。

図１０および図１１は、３次元空間内の可視化コンテンツの配置例を示す模式図である。図１０は、配置対象となる３次元空間を上から観察した場合の配置例を表している。また、図１１は、配置対象となる３次元空間を正面から観察した場合の配置例を表している。各図の可視化コンテンツ２０２は、ステップＳ９０１で原点に配置された処理対象コンテンツの可視化コンテンツに相当する。

次に、表示コンテンツ配置部１０６ａは、表示コンテンツリストから、配置対象とする未処理のコンテンツを取得する（ステップＳ９０２）。例えば、表示コンテンツ配置部１０６ａは、まだ配置していないコンテンツのうち、関連度の最も大きいコンテンツを選択する。表示コンテンツ配置部１０６ａは、取得したコンテンツから図４に示すようなレイアウトの可視化コンテンツを生成する。以下では、このようにして表示コンテンツリストから取得して可視化したコンテンツを配置対象コンテンツという。

次に、表示コンテンツ配置部１０６ａは、取得した配置対象コンテンツの関連度を取得する（ステップＳ９０３）。関連度は、表示コンテンツ選択処理内で算出されている。

次に、表示コンテンツ配置部１０６ａは、第２メタデータ取得部１０３を用いて、配置対象コンテンツのメタデータのうちジャンルをコンテンツ記憶部１２１から取得する（ステップＳ９０４）。取得したジャンルは、後述するように配置対象コンテンツを配置する方向を決定するために用いる。なお、取得するメタデータはジャンルに限られるものではなく、１つ以上の任意のメタデータを取得して配置位置の決定に用いることができる。

次に、表示コンテンツ配置部１０６ａは、関連度とジャンルとに従い、配置対象コンテンツの配置位置を算出する（ステップＳ９０５）。表示コンテンツ配置部１０６ａは、具体的には以下のような手順により配置位置を算出する。

まず、図１０に示すように、原点に配置された処理対象コンテンツの可視化コンテンツ２０２のｘｙ平面上の方位方向を、ステップＳ９０４で取得したメタデータであるジャンルによって振り分ける。同図では、方位方向を、方位２０３ａ〜方位２０３ｈの８個に分割している。このように分割した８つの方位のそれぞれに、ジャンルの種類を予め割り振っておく。同図では、方位２０３ｂに「バラエティ」を、方位２０３ｆに「スポーツ」を割り振った例が示されている。

なお、同図のジャンルの割り振り方は一例であり、これに限定されるものではない。また、ジャンル以外のメタデータを各方位方向に割り当てることもできる。また、割り振りは固定的であるとは限らず、視聴状況等に応じて動的に変わるように構成してもよい。例えば、ユーザの過去の操作履歴を参照し、最も頻繁に視聴している番組のジャンルから視聴している順に方位２０３ａ、方位２０３ｂ、・・・、方位２０３ｈを割り振るように構成することができる。また、ユーザ入力にしたがって割り振り方法を変更してもよい。さらに、複数のメタデータをそれぞれ別の方位方向に割り当ててもよい。例えば、方位２０３ａと方位２０３ｂにはジャンル、方位２０３ｃには録画日時といったように、複数の種別のメタデータを同時に割り当ててもよい。

次に、表示コンテンツ配置部１０６ａは、図１１に示すような円錐台を仮想的に設定する。具体的には、表示コンテンツ配置部１０６ａは、例えば円錐台の上底面２０４ａに処理対象コンテンツの可視化コンテンツ２０２を配置し、上底面２０４ａの半径を任意の定数ｒ１とし、また、Ｚ軸の特定の負値の位置に下底面２０４ｃ（半径ｒ２）を仮定した円錐台を設定する。なお、同図の面２０４ｂは、上底面２０４ａと下底面２０４ｃとの中間の面を表している。

そして、表示コンテンツ配置部１０６ａは、この円錐台の側面上に上記各方位に対応する軸を設定し、この軸上にｚ値が大きいほど関連度が大きく、小さいほど関連度が小さくなるように配置対象コンテンツの配置位置を決定する。

上底面２０４ａ、下底面２０４ｃのパラメータが決定され、関連度からｚ値への変換方法が定まっていれば、特定の関連度に対応する円錐台の側面の位置は、簡単な幾何式を解くだけで一意に決定することが可能である。円錐台のパラメータは、予め定めておいてもよいし、ユーザ履歴やユーザ入力などを用いて適宜変えるように構成してもよい。

関連度からｚ値への変換方法も予め定めておく。例えば、「ｚ値＝Ａ×（関連度の最大値−配置対象コンテンツの関連度）」などの変換式により求めることが可能である。ここで、Ａは任意の定数である。変換式はこれに限定されるものではなく、ある関連度から一意にｚ値が得られるような式であればあらゆる変換式を用いることが可能である。

なお、連続関数ではない変換式により、関連度からｚ値を求めるように構成することもできる。例えば、「ｚ値＝ｒｏｕｎｄ（Ａ×（関連度の最大値−配置対象コンテンツの関連度））」などの変換式を用いてもよい。ここで、ｒｏｕｎｄは、小数点以下を四捨五入する関数である。この場合、いくつかの関連度に対して、同じｚ値が出力されることになる。また、以上のような変換式を、ユーザ履歴やユーザ入力などを用いて適宜変えることも可能である。

以上のような処理により、関連度によって円錐台の側面上の高さ（ｚ値）が定まり、ジャンルにより、その高さでの方位方向が定まることになる。これにより、例えば関連度がｖ１であり、ジャンルがバラエティである配置対象コンテンツは、図１０および図１１の可視化コンテンツ２０１ａに対応する配置位置が算出される。また、関連度がｖ２（＜ｖ１）であり、ジャンルがスポーツである配置対象コンテンツは、図１０および図１１の可視化コンテンツ２０１ｃに対応する配置位置が算出される。図１０および図１１では、このようにして配置された可視化コンテンツ２０１ａ〜２０１ｅの一例が示されている。

このようにして配置位置を算出することにより、図１０のように、３次元空間を上から観察した場合は、可視化コンテンツ２０１ａと可視化コンテンツ２０１ｃとはジャンルが異なるということを容易に識別することが可能となる。また、図１１のように、３次元空間を横から観察した場合は、可視化コンテンツ２０１ａの方が可視化コンテンツ２０１ｃよりも関連度が大きいということを容易に識別することができる。

図９に戻り、表示コンテンツ配置部１０６ａは、表示コンテンツリストのすべてのコンテンツを処理したか否かを判断する（ステップＳ９０６）。すべてのコンテンツを処理していない場合は（ステップＳ９０６：ＮＯ）、表示コンテンツ配置部１０６ａは、次の未処理のコンテンツを取得して処理を繰り返す（ステップＳ９０２）。

すべてのコンテンツを処理した場合（ステップＳ９０６：ＹＥＳ）、空間可視化部１０６ｂが、３次元空間上に配置された可視化コンテンツを所定の視点で可視化した出力情報を生成する（ステップＳ９０７）。

以上のような処理により、例えば、図１０および図１１の中心部に可視化された処理対象コンテンツ、および、処理対象コンテンツと関連度の高いコンテンツ記憶部１２１のコンテンツと、以前に処理対象コンテンツとなった履歴コンテンツとが中心部の周りに可視化されたコンテンツ群（図の２０１ａ〜２０１ｅなど）を、表示装置２００の表示画面に表示することができる。

これにより、ある動画（処理対象コンテンツ）とデータベース（コンテンツ記憶部１２１）に記憶されている別のコンテンツ群との関連性が可視化される。そして、ユーザは、その動画と関連度の高いコンテンツ群の分布を知ることが可能となる。また、それと同時に、それまでユーザが選択してきた、いわゆる探索の履歴となるコンテンツ（履歴コンテンツと呼ぶ）が同一の画面上に一瞥できる形で配置されるため、必ず直前に選択した戻ることができるようになる。

なお、これまでは、図４に示すように、表示コンテンツをコンテンツ代表画像を含むような画像で３次元空間上に可視化した例を説明した。可視化する方法はこれに限られず、関連度が大きいコンテンツほど、処理対象コンテンツの近くに表示するように可視化するものであればあらゆる方法を適用できる。例えば、２次元空間上にコンテンツを可視化するように構成してもよい。また、タイトルなどのように表示コンテンツを識別可能な識別情報をリスト形式で出力するように構成してもよい。この場合、例えば、処理対象コンテンツを最上位に配置し、その下に関連度の高い順に関連するコンテンツを配置するようなリスト形式の出力情報を生成して出力する。

このように、第１の実施の形態にかかる画像処理装置では、選択されたコンテンツの履歴を記憶し、記憶された履歴を参照することにより、選択されたコンテンツに関連するコンテンツとして、過去に選択されたコンテンツを常に選択して表示する出力情報を生成することができる。これにより、ユーザは直前に選択したコンテンツに戻ることが可能となり、順次選択されるコンテンツに関連するコンテンツを適切に選択することが可能となる。

（変形例）
次に、第１の実施の形態の変形例について説明する。本変形例では、第１の実施の形態の空間可視化部１０６ｂに以下の機能が追加される。

すなわち、本変形例の空間可視化部は、履歴コンテンツに対応する可視化コンテンツに対して、それが履歴コンテンツであることをユーザに認識させるために、画像のエフェクト処理を行う機能がさらに追加される。また、本変形例の空間可視化部は、対象コンテンツ選択部１０１で選択された順序が理解できるように、履歴コンテンツ間を所定のＣＧオブジェクトで連結する処理がさらに追加される。

具体的には、本変形例の空間可視化部は、可視化コンテンツのうち、履歴コンテンツから生成された可視化コンテンツをレンダリングする際に、以前に処理対象コンテンツとなったことを認識させるためのＣＧ処理を施す。例えば、本変形例の空間可視化部は、セピア調にすることにより古くなった写真のように色あせた風合いを出す画像処理を行う。なお、セピア調にするための画像処理の方法については従来から用いられているあらゆる方法を適用できる。

複数の履歴コンテンツが存在する場合は、セピア調に変換する際の色差（ＹＣｂＣｒ表色系のＣｂ、Ｃｒ）を、選択された順序が新しい順に、より色あせた風合いが強くなるように調整してもよい。また、適用される画像処理はこれに限られるものではない。その他の画像処理を組み合わせてもよいし、他の画像処理を単独で用いてもよい。例えば、以前に記憶された履歴コンテンツであるほどコントラストを高くするなどが考えられる。

また、本変形例の空間可視化部は、表示コンテンツ配置部１０６ａによって生成および配置された可視化コンテンツのうち、履歴コンテンツである可視化コンテンツ間に直線、楕円、および鎖などのつながりを連想させるオブジェクトを生成して可視化する。具体的には、本変形例の空間可視化部は、最後に選択された履歴コンテンツから新しい順に、上記のようなオブジェクトを生成して連結していく。例えば、履歴コンテンツＡ、履歴コンテンツＢ、および履歴コンテンツＣが、この順で選択履歴記憶部１２２に記憶されている場合、履歴コンテンツＡと履歴コンテンツＢとの間、および、履歴コンテンツＢと履歴コンテンツＣとの間にオブジェクトが生成される。本変形例の空間可視化部は、生成したオブジェクトを、他の可視化コンテンツとともにレンダリングする。

本変形例の空間可視化部は、例えば、各履歴コンテンツに対応する可視化コンテンツの重心をそれぞれ求め、選択履歴記憶部１２２に記憶されている順に順序が隣り合う２つの履歴コンテンツに対応する可視化コンテンツの重心間にオブジェクトを生成する。

オブジェクトとして直線を生成する場合には、直線の両端点が重心の位置と一致するように直線の位置を決定すればよい。また、オブジェクトとして楕円を生成する場合は、楕円の長軸の両端が重心の位置と一致するような楕円を生成すればよい。オブジェクトとして鎖を生成する場合は、鎖の両端の楕円の内側に重心が含まれるようにオブジェクトを生成すればよい。楕円に重心が含まれるか否かは、従来から用いられている一般的な方法で判定可能である。

また、可視化コンテンツを連結する位置は重心に限定するものではない。例えば、可視化コンテンツを表すＣＧモデルを構成する頂点のいずれかを連結してもよいし、ＣＧモデルを構成する稜線上の任意の点を連結してもよい。また、生成するオブジェクトは直線、楕円、および鎖に限られるものではなく、コンテンツを接続する位置が一意に決定されるか、またはオブジェクトが囲む領域にコンテンツを接続する位置が含まれるか否かを判定できるものであればあらゆるオブジェクトを用いることができる。

次に、本変形例での出力情報生成処理の詳細について図１２を用いて説明する。図１２は、第１の実施の形態の変形例における出力情報生成処理の全体の流れを示すフローチャートである。なお、これ以外の処理の流れは、第１の実施の形態の図７および図８と同様であるため説明を省略する。

また、図１２の出力情報生成処理では、ステップＳ１２０８のオブジェクト生成・可視化処理が追加された点が、第１の実施の形態の出力情報生成処理を示す図９と異なっている。それ以外のステップは図９と同じであるため説明を省略する。

ステップＳ１２０８では、本変形例の空間可視化部が、履歴コンテンツ間を接続する直線等のオブジェクトを生成し、生成したオブジェクトを可視化するための出力情報を生成する。

このように、本変形例によれば、現在の処理対象コンテンツと履歴コンテンツの関連性が一瞥してわかるようなエフェクト処理を加えることができる。このため、ユーザ自身が、例えばいずれのジャンルを主に探索したのか、または、いずれのジャンルを探索していないのか、などといったユーザ自身の探索領域を直観的に認識することが可能となる。また、履歴コンテンツが探索順序とは異なる基準（例えば関連度）で配置されていた場合でも、探索の順序を直観的に認識することが可能となる。

（第２の実施の形態）
第２の実施の形態にかかる画像処理装置は、表示装置上に表示されたコンテンツ群からユーザが所望のコンテンツを選択可能とし、選択されたコンテンツが過去に選択された履歴コンテンツである場合に、上記変形例のような履歴コンテンツ間を接続するオブジェクトを生成して可視化する。

図１３は、第２の実施の形態にかかる画像処理装置１３００の構成を示すブロック図である。図１３に示すように、画像処理装置１３００は、コンテンツ記憶部１２１と、選択履歴記憶部１２２と、対象コンテンツ選択部１３０１と、第１メタデータ取得部１０２と、第２メタデータ取得部１０３と、関連度算出部１０４と、表示コンテンツ選択部１０５と、出力情報生成部１３０６と、操作部１３３１と、受付部１３０８と、を備えている。

第２の実施の形態では、操作部１３３１および受付部１３０８を追加したことと、対象コンテンツ選択部１３０１および出力情報生成部１３０６内の空間可視化部１３０６ｂの機能と、が第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかる画像処理装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

操作部１３３１は、ユーザによって操作されるマウスやリモコンであり、表示装置２００の表示画面上で指定された位置情報を出力する。以下では、操作部１３３１としてマウスを用いた例について説明する。ユーザは、例えば表示装置２００上の画面に表示されたマウスカーソルを頼りとしてマウスを操作することができる。

受付部１３０８は、操作部１３３１から出力された位置情報を受け付ける。また、受付部１３０８は、受け付けた位置情報を空間可視化部１３０６ｂに送出し、空間可視化部１３０６ｂに対して当該位置情報に対応する位置にマウスカーソルを表示することを指示する。

また、受付部１３０８は、表示コンテンツ配置部１０６ａから得られる可視化コンテンツ群の配置位置の情報、および、空間可視化部１３０６ｂから得られるレンダリングのための視点情報などを用いて、現在のマウス位置（マウスカーソル位置）の下に存在している可視化コンテンツを特定する。

具体的には、受付部１３０８は、マウスカーソル位置（画面空間上のマウス座標位置）から、可視化３次元空間の視点ベクトル方面にレイを飛ばし、このレイが交差する可視化コンテンツのうち、視点から観察した場合に最も手前に存在する可視化コンテンツを算出する。受付部１３０８は、３次元の直線と、可視化コンテンツとの３次元的な交点を視点から観察できる全ての可視化コンテンツに対し簡単な幾何演算を用いることにより、このような可視化コンテンツを算出することが可能である。

また、受付部１３０８は、空間可視化部１３０６ｂに対して、以上のようにして求めたマウスカーソル位置の下に存在する可視化コンテンツに異なった態様で可視化を行うように指示する。

さらに、ユーザがマウスの左クリックボタンの押下などの所定の決定操作を行った場合、受付部１３０８は、以上のようにして求めたマウスカーソル位置の下に存在する可視化コンテンツを新たな処理対象コンテンツとして選択することを、対象コンテンツ選択部１３０１に対して通知する。

対象コンテンツ選択部１３０１は、受付部１３０８によって通知されたコンテンツを処理対象コンテンツとして選択する点が、第１の実施の形態の対象コンテンツ選択部１０１と異なっている。

空間可視化部１３０６ｂは、受付部１３０８から通知された、マウス位置へマウスカーソルを表示する旨の指示に従い、可視化した結果の対応する位置にマウスカーソルを重畳して可視化する。

また、空間可視化部１３０６ｂは、受付部１３０８から通知された可視化コンテンツが履歴コンテンツであった場合に、履歴コンテンツ間のつながりを表すオブジェクトを生成して可視化する。オブジェクトの生成方法は、第１の実施の形態の変形例と同様である。

ただし、選択履歴記憶部１２２に記憶されている全ての履歴コンテンツ間にオブジェクトを生成する必要はない。例えば、受付部１３０８から通知された履歴コンテンツの前後に記憶されている履歴コンテンツとの間にオブジェクトを生成するように構成してもよい。また、受付部１３０８から通知された履歴コンテンツより以前の履歴コンテンツ間のみにオブジェクトを生成するように構成してもよい。また、受付部１３０８から通知された履歴コンテンツより新しく記憶された履歴コンテンツ間のみにオブジェクトを生成するように構成してもよい。

このように、第２の実施の形態にかかる画像処理装置では、ユーザが履歴コンテンツに注目した場合のみに履歴コンテンツ間のつながりが可視化されるため、探索順序とは異なる基準（例えば関連度）で配置されていた場合でも、表示結果の視認性を損なうことなく、探索の順序を直観的に認識することが可能となる。

次に、第１または第２の実施の形態にかかる画像処理装置のハードウェア構成について図１４を用いて説明する。図１４は、第１または第２の実施の形態にかかる画像処理装置のハードウェア構成を示す説明図である。

第１または第２の実施の形態にかかる画像処理装置は、ＣＰＵ５１などの制御装置と、ＲＯＭ５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置と、各部を接続するバス６１を備えており、通常のコンピュータを利用したハードウェア構成となっている。

第１または第２の実施の形態にかかる画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、第１または第２の実施の形態にかかる画像処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施の形態にかかる画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、第１または第２の実施の形態の画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１または第２の実施の形態にかかる画像処理装置で実行される画像処理プログラムは、上述した各部（対象コンテンツ選択部、第１メタデータ取得部、第２メタデータ取得部、関連度算出部、表示コンテンツ選択部、出力情報生成部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。

第１の実施の形態にかかる画像処理装置の構成を示すブロック図である。 コンテンツ記憶部に記憶されるデータのデータ構造の一例を示す図である。 選択履歴記憶部に記憶される履歴情報のデータ構造の一例を示す図である。 可視化した表示コンテンツの一例を示す図である。 可視化コンテンツを３次元空間内に配置した例を示す図である。 図５と異なる視点から観察した場合の可視化コンテンツの配置例を示す図である。 第１の実施の形態における画像処理の全体の流れを示すフローチャートである。 第１の実施の形態における表示コンテンツ選択処理の全体の流れを示すフローチャートである。 第１の実施の形態における出力情報生成処理の全体の流れを示すフローチャートである。 ３次元空間内の可視化コンテンツの配置例を示す模式図である。 ３次元空間内の可視化コンテンツの配置例を示す模式図である。 第１の実施の形態の変形例における出力情報生成処理の全体の流れを示すフローチャートである。 第２の実施の形態にかかる画像処理装置の構成を示すブロック図である。 第１または第２の実施の形態にかかる画像処理装置のハードウェア構成を示す説明図である。

符号の説明

５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ
６１ バス
１００ 画像処理装置
１０１ 対象コンテンツ選択部
１０２ 第１メタデータ取得部
１０３ 第２メタデータ取得部
１０４ 関連度算出部
１０５ 表示コンテンツ選択部
１０６ 出力情報生成部
１０６ａ 表示コンテンツ配置部
１０６ｂ 空間可視化部
１２１ コンテンツ記憶部
１２２ 選択履歴記憶部
２００ 表示装置
２０１ａ〜２０１ｅ 可視化コンテンツ
２０２ 可視化コンテンツ
２０３ａ〜２０３ｈ 方位
２０４ａ 上底面
２０４ｂ 面
２０４ｃ 下底面
４００ 背景
４０１ コンテンツ代表画像
４０２ 番組タイトル
４０３ 録画日時
４０４ 放送チャンネル名
１３００ 画像処理装置
１３０１ 対象コンテンツ選択部
１３０６ 出力情報生成部
１３０６ｂ 空間可視化部
１３０８ 受付部
１３３１ 操作部

Claims (12)

1. 複数の画像と、前記画像のメタデータとを記憶する画像記憶部と、
   前記画像記憶部に記憶された画像のうち、いずれかの画像を表す第１画像を順次選択する第１選択部と、
   前記第１選択部によって選択された画像と、画像が選択された順序とを特定可能な履歴情報を記憶する選択履歴記憶部と、
   前記第１画像のメタデータと、前記画像記憶部に記憶された画像のうち前記第１画像以外の画像のメタデータとに基づいて、前記第１画像と前記第１画像以外の画像とが関連する度合いを表す関連度を算出する関連度算出部と、
   前記履歴情報に基づいて、少なくとも前記第１画像の１つ前に選択された画像と、前記関連度に関する予め定められた第１選択条件を満たす画像と、を表す第２画像を選択する第２選択部と、
   前記第１画像を選択可能な第１選択情報と、選択された前記第２画像を選択可能な第２選択情報とを表示装置に表示するための情報であって、前記関連度が大きい前記第２画像の前記第２選択情報ほど、前記第１選択情報の近くに表示する出力情報を生成する生成部と、
   を備えたことを特徴とする画像処理装置。
2. 前記生成部は、前記第１画像を選択可能な画像である第１選択画像と、前記第２画像を選択可能な画像である第２選択画像とを前記表示装置に表示するための画像であって、前記関連度が大きい前記第２画像の前記第２選択画像ほど前記第１選択画像の近くに配置した出力画像を前記出力情報として生成すること、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記生成部は、選択された前記第２画像のうち前記履歴情報に基づいて特定した前記第２画像の前記第２選択画像と、前記第１選択画像とを接続するオブジェクトの画像を含む前記出力画像を生成すること、
   を特徴とする請求項２に記載の画像処理装置。
4. 前記表示装置に表示された前記第２選択画像のうち、ユーザにより選択された前記第２選択画像を受け付ける受付部をさらに備え、
   前記第１選択部は、さらに、受け付けられた前記第２選択画像に対応する前記第２画像を新たな前記第１画像として選択し、
   前記生成部は、選択された前記第１画像が、前記履歴情報で特定可能な画像であるか否かを判断し、特定可能な画像である場合に、前記オブジェクトの画像を含む前記出力画像を生成すること、
   を特徴とする請求項３に記載の画像処理装置。
5. 前記画像は複数の静止画像を含む動画像であり、
   前記生成部は、前記第１画像に含まれるいずれかの静止画像である前記第１選択画像と、る前記第２画像に含まれるいずれかの静止画像である前記第２選択画像とを前記表示装置に表示するための前記出力画像を生成すること、
   を特徴とする請求項２に記載の画像処理装置。
6. 前記生成部は、前記履歴情報に基づいて特定した前記第２画像の前記第２選択情報を、前記履歴情報に基づいて特定した前記第２画像以外の前記第２画像の前記第２選択情報と異なる表示態様で表示する前記出力情報を生成すること、
   を特徴とする請求項１に記載の画像処理装置。
7. 前記表示装置に表示された前記第２選択情報のうち、ユーザにより選択された前記第２選択情報を受け付ける受付部をさらに備え、
   前記第１選択部は、さらに、受け付けられた前記第２選択情報に対応する前記第２画像を新たな前記第１画像として選択すること、
   を特徴とする請求項１に記載の画像処理装置。
8. 前記第１選択部は、前記画像記憶部に記憶された画像のうち、予め定められた第２選択条件に適合するメタデータを有する画像を前記第１画像として選択すること、
   を特徴とする請求項１に記載の画像処理装置。
9. 前記関連度算出部は、前記画像記憶部に記憶された前記第１画像以外の画像のうち、予め定められた第３選択条件を満たす画像を対象として、前記第１画像と前記第１画像以外の画像との前記関連度を算出すること、
   を特徴とする請求項１に記載の画像処理装置。
10. 前記メタデータは、前記画像を識別する識別情報を含み、
    前記生成部は、前記第１選択情報として前記第１画像の前記識別情報である第１識別情報と、前記第２選択情報として前記第２画像の前記識別情報である第２識別情報とを前記表示装置に表示するための情報であって、前記関連度が大きい前記第２画像の前記第２識別情報ほど前記第１識別情報の近くに表示する前記出力情報を生成すること、
    を特徴とする請求項１に記載の画像処理装置。
11. 第１選択部が、複数の画像と前記画像のメタデータとを記憶する画像記憶部に記憶された画像のうち、いずれかの画像を表す第１画像を順次選択し、選択した画像と画像を選択した順序とを特定可能な履歴情報を選択履歴記憶部に記憶する第１選択ステップと、
    関連度算出部が、前記第１画像のメタデータと、前記画像記憶部に記憶された画像のうち前記第１画像以外の画像のメタデータとに基づいて、前記第１画像と前記第１画像以外の画像とが関連する度合いを表す関連度を算出する関連度算出ステップと、
    第２選択部が、前記履歴情報に基づいて、少なくとも前記第１画像の１つ前に選択された画像と、前記関連度に関する予め定められた第１選択条件を満たす画像と、を表す第２画像を選択する第２選択ステップと、
    生成部が、前記第１画像を選択可能な第１選択情報と、選択された前記第２画像を選択可能な第２選択情報とを表示装置に表示するための情報であって、前記関連度が大きい前記第２画像の前記第２選択情報ほど、前記第１選択情報の近くに表示する出力情報を生成する生成ステップと、
    を備えたことを特徴とする画像処理方法。
12. コンピュータを、
    複数の画像と、前記画像のメタデータとを記憶する画像記憶部と、
    前記画像記憶部に記憶された画像のうち、いずれかの画像を表す第１画像を順次選択する第１選択部と、
    前記第１選択部によって選択された画像と、画像が選択された順序とを特定可能な履歴情報を記憶する選択履歴記憶部と、
    前記第１画像のメタデータと、前記画像記憶部に記憶された画像のうち前記第１画像以外の画像のメタデータとに基づいて、前記第１画像と前記第１画像以外の画像とが関連する度合いを表す関連度を算出する関連度算出部と、
    前記履歴情報に基づいて、少なくとも前記第１画像の１つ前に選択された画像と、前記関連度に関する予め定められた第１選択条件を満たす画像と、を表す第２画像を選択する第２選択部と、
    前記第１画像を選択可能な第１選択情報と、選択された前記第２画像を選択可能な第２選択情報とを表示装置に表示するための情報であって、前記関連度が大きい前記第２画像の前記第２選択情報ほど、前記第１選択情報の近くに表示する出力情報を生成する生成部と、
    として機能させるための画像処理プログラム。

Images