JP2014238793A - ディジタルコンテンツ分類装置、ディジタルコンテンツ検索装置、方法、及びプログラム - Google Patents

Abstract

【課題】ディジタルコンテンツが伝播する経路の情報を利用して、ディジタルコンテンツ集合を分類することができるようにする。【解決手段】ディジタルコンテンツ伝播経路特定部２２によって、ディジタルコンテンツを共有するディジタルコンテンツ集合のペアを各々検出し、ディジタルコンテンツ集合内のディジタルコンテンツ間の伝播経路を表すディジタルコンテンツ伝播経路を特定し、ディジタルコンテンツ伝播経路統合部２３によって、複数のディジタルコンテンツについて特定されたディジタルコンテンツ伝播経路を統合して、ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成する。ディジタルコンテンツ集合分類部２４によって、生成されたディジタルコンテンツ集合伝播経路に基づいて、複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力する。【選択図】図２

Description

本発明は、ディジタルコンテンツ分類装置、ディジタルコンテンツ検索装置、方法、及びプログラムに関する。

画像の内容を理解することは、人間には非常に容易なタスクである一方、計算機にとっては非常に難しいタスクの一つである。特に、画像内に含まれる物体などでは表現が難しい感覚や印象に関わる内容を理解することは、極めて難しい。

このような場合、人間が何らかの形で画像に付与した補助情報を用いることで、画像の内容を理解しようという試みが多数行われている（例えば、非特許文献１、非特許文献２、非特許文献３）。

Boutemedjet et al.: A graphical model for context-aware visual content recommendation, IEEE Trans. MM (2008). Pessemier et al.: Context aware recommendations for user-generated content on a social network site, Proc. EuroTV (2009). Berg et al.: Understanding and predicting importance in images, Proc. CVPR (2012).

しかしながら、画像が実世界やウェブ上でどのように伝播していくかを考慮した画像の内容理解に関する技術は、これまでに知られていない。実世界やウェブ上で、ある画像が伝播したという情報は、同一伝播経路上にいるユーザがその画像に興味を持った、もしくは同一伝播経路上にある画像集合がその画像と類似する画像を含んでいることを意味している。この伝播情報を大量に集めることができれば、数多くの伝播経路を共有するユーザや画像集合が類似した内容を持つ画像を集めていることが期待される。

本発明は、上記の事情を考慮してなされたものである。第１の目的は、ディジタルコンテンツが伝播する経路の情報を利用して、ディジタルコンテンツ集合を分類することができるディジタルコンテンツ分類装置、方法、及びプログラムを提供することにある。

第２の目的は、ディジタルコンテンツが伝播する経路の情報を利用して、類似するディジタルコンテンツを検索することができるディジタルコンテンツ検索装置、方法、及びプログラムを提供することにある。

上記の第１の目的を達成するために本発明に係るディジタルコンテンツ分類装置は、予め用意された複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力するディジタルコンテンツ分類装置であって、前記複数のディジタルコンテンツ集合に含まれる複数のディジタルコンテンツの各々について、前記ディジタルコンテンツを共有するディジタルコンテンツ集合のペアを各々検出し、前記ディジタルコンテンツが共有された前記ディジタルコンテンツ集合内の前記ディジタルコンテンツ間の伝播経路を表すディジタルコンテンツ伝播経路を特定するディジタルコンテンツ伝播経路特定部と、前記複数のディジタルコンテンツについて特定された前記ディジタルコンテンツ伝播経路を統合して、前記ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成するディジタルコンテンツ伝播経路統合部と、前記ディジタルコンテンツ伝播経路統合部によって生成された前記ディジタルコンテンツ集合伝播経路に基づいて、前記複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力するディジタルコンテンツ集合分類部と、を含んで構成されている。

本発明に係るディジタルコンテンツ分類方法は、予め用意された複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力するディジタルコンテンツ分類装置におけるディジタルコンテンツ分類方法であって、ディジタルコンテンツ伝播経路特定部によって、前記複数のディジタルコンテンツ集合に含まれる複数のディジタルコンテンツの各々について、前記ディジタルコンテンツを共有するディジタルコンテンツ集合のペアを各々検出し、前記ディジタルコンテンツが共有された前記ディジタルコンテンツ集合内の前記ディジタルコンテンツ間の伝播経路を表すディジタルコンテンツ伝播経路を特定し、ディジタルコンテンツ伝播経路統合部によって、前記複数のディジタルコンテンツについて特定された前記ディジタルコンテンツ伝播経路を統合して、前記ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成し、ディジタルコンテンツ集合分類部によって、前記ディジタルコンテンツ伝播経路統合部によって生成された前記ディジタルコンテンツ集合伝播経路に基づいて、前記複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力する。

上記の第２の目的を達成するために本発明に係るディジタルコンテンツ検索装置は、予め用意された複数のディジタルコンテンツ集合に含まれる複数のディジタルコンテンツの各々について、前記ディジタルコンテンツを共有するディジタルコンテンツ集合のペアを各々検出し、前記ディジタルコンテンツが共有された前記ディジタルコンテンツ集合内の前記ディジタルコンテンツ間の伝播経路を表すディジタルコンテンツ伝播経路を特定するディジタルコンテンツ伝播経路特定部と、前記複数のディジタルコンテンツについて特定された前記ディジタルコンテンツ伝播経路を統合して、前記ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成するディジタルコンテンツ伝播経路統合部と、前記ディジタルコンテンツ伝播経路統合部によって生成された前記ディジタルコンテンツ集合伝播経路に基づいて、前記複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力するディジタルコンテンツ集合分類部と、前記複数のディジタルコンテンツの各々における、前記ディジタルコンテンツの特徴ベクトルと、前記ディジタルコンテンツ集合分類集合に基づいて得られる前記ディジタルコンテンツの補助ベクトルとに基づいて、前記ディジタルコンテンツｖ_i、ｖ_jの前記補助ベクトルｘ_i、ｘ_j間の距離に応じた各要素Ａ_i,jから構成される行列Ａを用いて、前記ディジタルコンテンツの特徴ベクトルを、前記特徴ベクトルより低次元の低次元ベクトルに変換するための線形写像を計算し、前記計算された線形写像を用いた、前記ディジタルコンテンツ間の類似度を出力する類似度関数を構成するディジタルコンテンツ情報類似度関数構成部と、入力されたディジタルコンテンツと、複数のディジタルコンテンツの各々との類似度を、前記構成された類似度関数を用いて計算し、計算された類似度に基づいて、前記入力されたディジタルコンテンツと類似するディジタルコンテンツを、前記複数のディジタルコンテンツから検索する類似ディジタルコンテンツ検索部と、を含んで構成されている。

本発明に係るディジタルコンテンツ検索方法は、ディジタルコンテンツ伝播経路特定部によって、予め用意された複数のディジタルコンテンツ集合に含まれる複数のディジタルコンテンツの各々について、前記ディジタルコンテンツを共有するディジタルコンテンツ集合のペアを各々検出し、前記ディジタルコンテンツが共有された前記ディジタルコンテンツ集合内の前記ディジタルコンテンツ間の伝播経路を表すディジタルコンテンツ伝播経路を特定し、ディジタルコンテンツ伝播経路統合部によって、前記複数のディジタルコンテンツについて特定された前記ディジタルコンテンツ伝播経路を統合して、前記ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成し、ディジタルコンテンツ集合分類部によって、前記ディジタルコンテンツ伝播経路統合部によって生成された前記ディジタルコンテンツ集合伝播経路に基づいて、前記複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力し、ディジタルコンテンツ情報類似度関数構成部によって、前記複数のディジタルコンテンツの各々における、前記ディジタルコンテンツの特徴ベクトルと、前記ディジタルコンテンツ集合分類集合に基づいて得られる前記ディジタルコンテンツの補助ベクトルとに基づいて、前記ディジタルコンテンツｖ_i、ｖ_jの前記補助ベクトルｘ_i、ｘ_j間の距離に応じた各要素Ａ_i,jから構成される行列Ａを用いて、前記ディジタルコンテンツの特徴ベクトルを、前記特徴ベクトルより低次元の低次元ベクトルに変換するための線形写像を計算し、前記計算された線形写像を用いた、前記ディジタルコンテンツ間の類似度を出力する類似度関数を構成し、類似ディジタルコンテンツ検索部によって、入力されたディジタルコンテンツと、複数のディジタルコンテンツの各々との類似度を、前記構成された類似度関数を用いて計算し、計算された類似度に基づいて、前記入力されたディジタルコンテンツと類似するディジタルコンテンツを、前記複数のディジタルコンテンツから検索する。

本発明に係るプログラムは、コンピュータを、上記のディジタルコンテンツ分類装置の各部として機能させるためのプログラムである。

本発明に係るプログラムは、コンピュータを、上記のディジタルコンテンツ検索装置の各部として機能させるためのプログラムである。

以上説明したように、本発明のディジタルコンテンツ分類装置、方法、及びプログラムによれば、ディジタルコンテンツが共有されたディジタルコンテンツ集合内のディジタルコンテンツ間の伝播経路を表すディジタルコンテンツ伝播経路を特定し、特定されたディジタルコンテンツ伝播経路を統合して、ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成し、生成されたディジタルコンテンツ集合伝播経路に基づいて、ディジタルコンテンツ集合を分類することにより、ディジタルコンテンツが伝播する経路の情報を利用して、ディジタルコンテンツ集合を分類することができる、という効果が得られる。

本発明のディジタルコンテンツ検索装置、方法、及びプログラムによれば、ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成し、生成されたディジタルコンテンツ集合伝播経路に基づいて、ディジタルコンテンツ集合を分類し、ディジタルコンテンツ集合分類集合に基づいて得られるディジタルコンテンツの補助ベクトルに基づいて、ディジタルコンテンツの特徴ベクトルを、低次元ベクトルに変換するための線形写像を計算し、計算された線形写像を用いた、ディジタルコンテンツ間の類似度を出力する類似度関数を構成し、構成された類似度関数を用いて類似度を計算することにより、ディジタルコンテンツが伝播する経路の情報を利用して、類似するディジタルコンテンツを検索することができる、という効果が得られる。

画像情報の例を示す図である。 本発明の第１の実施の形態に係るディジタルコンテンツ分類装置の一構成例を示すブロック図である。 ディジタルコンテンツ伝播経路特定部、ディジタルコンテンツ伝播経路特定部、及びディジタルコンテンツ集合分類部の入出力を示す図である。 画像伝播経路の特定方法を説明するための図である。 画像集合伝播経路の生成方法を説明するための図である。 代表ディジタルコンテンツ抽出部及びディジタルコンテンツ分類視覚化部の入出力を示す図である。 本発明の第１の実施の形態に係るディジタルコンテンツ分類装置におけるディジタルコンテンツ集合分類処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係るディジタルコンテンツ検索装置の一構成例を示すブロック図である。 ディジタルコンテンツ情報類似度関数構成部及び類似ディジタルコンテンツ検索部の入出力を示す図である。 本発明の第２の実施の形態に係るディジタルコンテンツ検索装置におけるディジタルコンテンツ集合分類処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係るディジタルコンテンツ検索装置における類似画像検索処理ルーチンの内容を示すフローチャートである。 画像集合伝播経路を視覚化した様子を示す図である。 代表的な画像集合分類集合及びそこに所属するboardの名前を示した図である。 認識性能の実験結果を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜概要＞
まず、各部の詳細な実施形態の説明に入る前に、入力として用いる画像情報の構成、及びそれら画像情報が伝播していく過程について述べる。本実施形態においては、説明の簡略化のため、Pinterest (インターネット＜ＵＲＬ：http://pinterest.com＞) と呼ばれるソーシャルメディアサイトにおける画像情報の構成、およびそれらが伝播していく過程に着目する。

Pinterestのユーザは、「board」と呼ばれる画像集合をいくつか所有し、保存しておきたいと思った画像を見つけた際に、自らが所有するboardのうちいずれかのboardに画像を「pinする」（そのboardに画像へのリンクを作成して公開する）。Pinterestでは、pinするための方法として下記の2通りの方法を提供している。

(1)web上もしくはユーザフォルダにある画像へのリンクをアップロードし、そのリンクをboardに紐付けて公開する。

(2) Pinterest上にすでに存在する画像情報へのリンクを新たに作成し、そのリンクをboardに紐付けて公開する。以下、この操作を、「repin」と呼ぶ。

図１に、Pinterestにおける画像情報の例を示している。Pinterestでは、この画像情報のことを「pin」と呼ぶ。上記の図１から、pinは、画像そのものだけではなく、(1) 画像がpinされたboardの名前、(2)repinによって画像情報が生成された場合にはそのrepin元となるboardの名前とそのboardを所有するユーザの名前、(3)当該画像を最初にPinterest上へpinしたユーザの名前とそのボードの名前、(4)当該pinがrepinされた先のboardの名前、などを含んでいる。

上述の通り、本実施形態においては、Pinterestにおける画像情報及びそれらが伝播していく過程に着目した方法について説明するが、この方法は特にこれらの情報に限るものではなく、ディジタルコンテンツ集合・その集合の間でのディジタルコンテンツの伝播など同様の構造を持つ他の多様なディジタルコンテンツにも適用可能である。

〔第１の実施の形態〕
＜システム構成＞
図２は、本発明の第１の実施の形態に係るディジタルコンテンツ分類装置１００を示すブロック図である。ディジタルコンテンツ分類装置１００は、複数のディジタルコンテンツ集合である画像集合（ｂｏａｒｄに対応）を入力し、画像集合を分類する装置であり、具体的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭと、後述するディジタルコンテンツ分類処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

ディジタルコンテンツ分類装置１００は、入力部１０、演算部２０、及び出力部３０を備えている。

入力部１０は、複数のディジタルコンテンツ集合である複数の画像集合（ｂｏａｒｄに対応）の入力を受け付ける。画像集合は、画像情報の集合であり、画像情報は、画像を含む。

演算部２０は、ディジタルコンテンツ集合データベース２１、ディジタルコンテンツ伝播経路特定部２２、ディジタルコンテンツ伝播経路統合部２３、ディジタルコンテンツ集合分類部２４、代表ディジタルコンテンツ抽出部２５、及びディジタルコンテンツ分類視覚化部２６を備えている。

ディジタルコンテンツ集合データベース２１は、入力された複数の画像集合を記憶する。

ディジタルコンテンツ伝播経路特定部２２は、ディジタルコンテンツ集合データベース２１に記憶された複数の画像集合に基づいて、複数の画像集合に含まれる各画像について、当該画像が共有されている画像集合のペアを検出し、ディジタルコンテンツ伝播経路として、当該画像が共有された画像集合内の画像情報間の経路を表す画像伝播経路を特定する（図３参照）。

画像伝播経路の特定方法は特に限られるものではないが、本実施形態においては，Pinterest上でのpinの伝播経路に着目した以下の方法について記述する。

図４に、画像伝播経路の特定方法に関する概要を示す。ここでは、Pin1と記載されている画像情報を基準に説明する。

Pinterestにおける画像情報から、当該画像情報に含まれる画像がPinterestの外部からアップロードされたかどうか、そうではない場合にはrepin元となるboard名とその所有者であるユーザ名を知ることができる。

さらに、repin元となるboard名とその所有者、及び画像のURLから、当該画像情報のrepin元となる画像情報を特定することができる。上記図４において、Pin2と記載の画像情報が、画像情報Pin1のrepin元として特定された画像情報となる。

同様の手順をすべての画像情報に対して行うことで、画像が共有されている画像集合のペアが検出され、各画像情報を頂点とし、repin元画像情報に対応する頂点からrepin先画像情報に対応する頂点への有向辺を持つ有向グラフを多数得ることができる。この有向グラフを画像伝播経路とする。

ディジタルコンテンツ伝播経路統合部２３は、ディジタルコンテンツ伝播経路特定部２２によって特定された複数の画像情報の各々についての画像伝播経路を統合し、ディジタルコンテンツ集合伝播経路として、画像集合間の伝播経路を表す画像集合伝播経路を生成する（上記図３参照）。

画像集合伝播経路の生成方法は特に限定されるものではないが、本実施形態においては、同一boardにpinされた画像情報に対応する頂点を統合する方法について説明する。

図５に、画像集合伝播経路の生成方法の概要を示す。

ディジタルコンテンツ伝播経路特定部２２により特定される画像伝播経路は、各画像情報を節点に対応させた有向グラフであることがわかる。また、repin先の画像情報をrepin元の画像情報と別であると見なすと、各画像情報は必ずいずれかの一つの画像集合（board）に所属することになる。このことを利用して、同一boardにpinされた画像情報に対応する頂点を一つの頂点にまとめ、まとめられた頂点の重みとして、まとめた頂点の数（＝当該boardに含まれるpinの数）を持たせる。これにより、始点と終点を共有する有向辺も一つの頂点にまとめられ、まとめられた有向辺の重みとして、まとめた有向辺の数を持たせる。

このように構成した、画像集合（board）を頂点とする有向グラフを、画像集合伝播経路とする。

ディジタルコンテンツ集合分類部２４は、ディジタルコンテンツ伝播経路統合部２３によって生成された画像集合伝播経路に基づいて、画像集合伝播経路における画像集合の間の伝播関係を利用することで画像集合を分類し、各分類のディジタルコンテンツ集合分類集合として、各分類の画像集合分類集合を獲得する（上記図３参照）。

画像集合分類集合の獲得方法は特に限定されるものではないが、本実施形態においては、有向グラフである画像集合伝播経路をクラスタリングする方法について説明する。

グラフをクラスタリングする方法は数多く知られており、それらは頂点クラスタリングと辺クラスタリングのいずれかに分類される。本実施形態においては、頂点クラスタリングに属する方法であれば、いずれの方法も用いることができる。例えば、固有値計算を用いるスペクトラルクラスタリングや、modularityと呼ばれる統計量を最大化するNewmanのクラスタリングとその改良法（非特許文献４（Vincent Blondel, Jean-Loup Guillaume, Renaud Lambiotte, Etienne Lefebvre "Fast unfolding of communities in large networks," Journal of Statistical Mechanics: Theory and Experiment, Vol.2008, No.10, October 2008.）を参照）などを用いることができる。

また、これらのクラスタリング手法を単純に適用するだけでなく、階層的なクラスタリングを採用して、クラスタリングの結果として得られたクラスタのうち、いくつかのクラスタに対して、再度上記のクラスタリング手法を適用してもよい。例えば、あらかじめ定められた数を超える頂点（＝boards）を含むクラスタに対して再度クラスタリングを行うなどの方法が考えられる。

上記のクラスタリング手法のいずれかもしくは複数を組み合わせて用いて、画像集合伝播経路をクラスタリングすることにより、画像集合伝播経路の各頂点（=画像集合（board））がいずれかのクラスタに属することになる。このboardのクラスタを画像集合分類集合とする。

代表ディジタルコンテンツ抽出部２５は、ディジタルコンテンツ集合分類部２４によって得られた各画像集合分類集合について、当該画像集合分類集合、もしくは当該画像集合分類集合の要素である画像集合の各々から、ディジタルコンテンツ集合分類集合代表ディジタルコンテンツとして、それらを代表する画像情報である画像集合分類集合代表画像を各々抽出する（図６参照）。

画像集合分類集合代表画像の抽出方法は特に限定されるものではないが、本実施形態においては、各画像集合分類集合から、その集合を代表する画像情報を、その中に含まれる画像集合内のすべての画像情報の中から選択する方法について説明する。

多数の画像の中から代表的な画像を選択する方法は数多く知られているが、例えば、各画像情報間の類似性を何らかの形で計算し、その類似性から代表的な画像を抽出方法が知られていている（非特許文献５（Yushi Jing and Shumeet Baluja "VisualRank: Applying PageRank to large-scale image search," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.30, No.11, pp.1877-1890, November 2008.）、k-medoid法など）。これらの方法の改良・発展手法も同様に用いることができる。

このときの画像情報間の類似性は特に限定されるものではないが、例えば、pinしたユーザの同一性・類似性、画像特徴量の類似性などを用いることができる。画像特徴量としては、色ヒストグラムやGISTなどの大局的特徴量や、非特許文献６（原田達也 "大規模データを用いた一般物体・シーン認識の潮流と理論," 情報処理学会 コンピュータビジョンとイメージメディア研究会 (CVIM)，2012年3月15日．インターネット＜URL: http://www.isi.imi.i.u-tokyo.ac.jp/~harada/pdf/cvim_slide_harada20120315.pdf＞）に記載の各種特徴量表現を用いることができる。

なお、画像集合分類集合の各画像集合について、当該画像集合に含まれる画像情報の中から代表的な画像情報を、上記と同様の方法で選択するようにしてもよい。上記では画像集合分類集合についての代表的な画像情報の選択であったのに対し、この場合、画像集合についての代表的な画像情報の選択であることに注意する。

さらに、特に選択などを行わず、各画像集合分類集合の中に含まれる画像集合内のすべての画像情報を代表画像とする方法も可能である。

ディジタルコンテンツ分類視覚化部２６は、ディジタルコンテンツ集合データベース２１に記憶されている画像集合、ディジタルコンテンツ伝播経路統合部２３によって生成された画像集合伝播経路、ディジタルコンテンツ集合分類部２４によって得られた画像集合分類集合、及び代表ディジタルコンテンツ抽出部２５によって抽出された画像集合分類集合代表画像を用いて、画像集合分類集合に含まれる画像情報の内容、及びそれらの関連性を視覚化し、視覚化の結果を、出力部３０により出力する（上記図６参照）。

この視覚化の方法は特に限定されるものではないが、例えば、画像集合伝播経路を二次元グラフとして視覚化し、各頂点の色によって各頂点がどのクラスタに属しているかを表示する方法が考えられる。有向グラフである画像集合伝播経路を二次元グラフに埋め込む方法は数多く知られており、例えばバネモデルや特許文献７（特開2008-287497号公報）に示す方法などを用いることができる。

その他、各頂点に対応する画像集合から画像集合分類集合代表画像を抽出した場合には、当該頂点を当該画像集合に対する画像集合分類集合代表画像に置き換えて表示する方法も考えられる。

＜ディジタルコンテンツ分類装置の作用＞
次に、本実施の形態に係るディジタルコンテンツ分類装置１００の作用について説明する。まず、画像情報の集合である複数の画像集合が、ディジタルコンテンツ分類装置１００に入力されると、ディジタルコンテンツ分類装置１００によって、入力された複数の画像集合が、ディジタルコンテンツ集合データベース２１へ格納される。そして、ディジタルコンテンツ分類装置１００によって、図７に示すディジタルコンテンツ集合分類処理ルーチンが実行される。

まず、ステップＳ１０１において、ディジタルコンテンツ集合データベース２１に記憶されている複数の画像集合から、複数の画像集合に含まれる各画像について、当該画像が共有されている画像集合のペアを検出する。そして、ステップＳ１０２において、上記ステップＳ１０１で検出された画像集合のペアに基づいて、各画像について、画像情報間の伝播経路を特定する。

そして、ステップＳ１０３において、上記ステップＳ１０２で特定された画像伝播経路に基づいて、画像伝播経路を統合し、画像集合伝播経路を生成する。次のステップＳ１０４では、上記ステップＳ１０３で生成された画像集合伝播経路に基づいて、画像集合を分類して、各分類の画像集合分類集合を得る。

そして、ステップＳ１０５において、上記ステップＳ１０４で得られた各分類の画像集合分類集合について、当該画像集合分類集合から、画像集合分類集合代表画像を抽出する。ステップＳ１０６では、上記ステップＳ１０５で抽出された各分類の画像集合分類集合の画像集合分類集合代表画像に基づいて、各分類の画像集合分類集合に含まれる画像情報を視覚化して、出力部３０により出力し、ディジタルコンテンツ集合分類処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係るディジタルコンテンツ分類装置によれば、画像が共有された画像集合内の画像情報間の伝播経路を表す画像伝播経路を特定し、特定された画像伝播経路を統合して、画像集合間の伝播経路を表す画像集合伝播経路を生成し、生成された画像集合伝播経路に基づいて、画像集合を分類することにより、画像が伝播する経路の情報を利用して、画像集合を分類することができる。

また、画像の内容を、それらがウェブ上で伝播した経路と共に解析することにより、画像のみでは明らかにならなかった画像間の相関関係や類似性を自動的に把握することができ、画像の内容理解を促進することができる。

〔第２の実施の形態〕
＜システム構成＞
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、入力された画像と類似する画像を検索するディジタルコンテンツ検索装置に、本発明を適用した場合を例に説明する。

図８に示すように、ディジタルコンテンツ検索装置２００は、複数の画像集合（ｂｏａｒｄに対応）を入力し、画像集合を分類すると共に、入力された画像に類似する画像を検索する装置であり、具体的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭと、後述するディジタルコンテンツ集合分類処理ルーチン及びディジタルコンテンツ検索処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

ディジタルコンテンツ検索装置２００は、入力部１０、演算部２２０、及び出力部３０を備えている。

入力部１０は、複数の画像集合（ｂｏａｒｄに対応）の入力を受け付けると共に、検索クエリとしての画像の入力を受け付ける。

演算部２２０は、ディジタルコンテンツ集合データベース２１、ディジタルコンテンツ伝播経路特定部２２、ディジタルコンテンツ伝播経路統合部２３、ディジタルコンテンツ集合分類部２４、ディジタルコンテンツ情報類似度関数構成部２２５、及び類似ディジタルコンテンツ検索部２２６を備えている。

ディジタルコンテンツ情報類似度関数構成部２２５は、ディジタルコンテンツ集合データベース２１に記憶されている画像集合、及びディジタルコンテンツ集合分類部２４によって得られた画像集合分類集合を用いて、画像情報及び画像集合間の伝播経路を考慮した類似度関数である画像情報類似度関数を構成する（図９参照）。

画像情報類似度関数の構成方法は特に限定されるものではないが、本実施形態では，局所線形判別分析及び局所性保存射影を改良した方法について説明する。

局所線形判別分析は、クラスラベルｙ∈｛１，２，…，Ｃ｝が付与された高次元ベクトル＾ｘ∈~Ｒ^dを線形写像＾Ｔ∈~Ｒ^d×mによって低次元ベクトル＾ｚ∈~Ｒ^m（ｍ＜ｄ）に変換する次元削減手法の一種である。なお、行列及びベクトルを示す記号には、「＾」を付して記す。

局所線形判別分析において、最適な線形写像＾Ｔ^*は以下の最適化問題の解として与えられる。

ここで、行列^Ｉ^dはｄ×ｄ単位行列であり、^Ｓ_b及び^Ｓ_wはそれぞれ下記のように計算される。

ただし、^ｘ_iはｉ番目の高次元ベクトルであり、ｙ_iはそれに付与されたクラスラベルであり、ｎは高次元ベクトルの総数であり、ｎ_cはクラスラベルｃが付与された高次元ベクトルの数であり、Ａ_i,jは行列^Ａの第（i,j）成分である。最適な線形写像＾Ｔ^*の獲得方法は特に限定されるものではないが、例えば、下記の一般化固有値問題を解くことで得られる。

ここで、^ψ_iは第ｉ番目の固有ベクトル、λ_iはそれに対応する固有値、ηはあらかじめ定められた定数である。

従来技術の局所線形判別分析では、行列^Ａを高次元ベクトル^ｘ_i（ｉ＝１，２，...，ｎ）に基づいて決定していた。一方、本実施形態においては、別途与えられたベクトル^ｖ_i（ｉ＝１，２，...，ｎ）に基づいて行列Ａを決定する。行列^Ａの決定方法は特に限定されるものではないが、本実施形態においては、下記の式によって決定する。

ここで、σはパラメータである。

行列^Aの要素A_i,jは、ベクトル対(^x_i,^x_j)に与える重みに相当しており、本実施の形態では、上記の式で決定される行列^Ａを用いることにより、距離が近い補助ベクトル対 (v_i,v_j)に対応する高次元ベクトル対 (x_i,x_j)だけを使って線形写像が求められる。これにより、高次元ベクトル対 (x_i,x_j)の距離が近くても、補助ベクトル対 (v_i,v_j)の距離が大きけば、ディジタルコンテンツの意味が異なる可能性が高いため、線形写像の導出には用いられない。

局所性保存射影は、局所線形判別分析とは異なり、クラスラベルを用いずに、高次元ベクトル^ｘ∈~Ｒ^dを線形写像^Ｔ∈~Ｒ^d×mによって低次元ベクトル^ｚ∈~Ｒ^m（ｍ＜ｄ）に変換する次元削減手法の一種である．

局所性保存射影において、最適な線形写像^Ｔ^*は以下の一般化固有値問題の解として与えられる。

ここで、^Ｘは高次元ベクトル^ｘ_iを列ベクトルとして順に並べたｄ×ｎ行列、^Ｄ及び^Ｌはそれぞれ以下の式で与えられる行列である。

局所性保存射影では、行列^Ａを高次元ベクトル^ｘ_i（ｉ＝１，２，...，ｎ）に基づいて決定していた。一方、本実施形態においては、別途与えられたベクトル^ｖ_i（ｉ＝１，２，...，ｎ）に基づいて決定する。行列^Ａの決定方法は特に限定されるものではないが、本実施形態においては、下記の式によって決定する。

ここで、σはパラメータである。

本実施形態では、高次元ベクトル^ｘ_i（ｉ＝１，２，...，ｎ）として、第ｉ番目の画像から抽出した画像特徴量のベクトルを採用し、別途与えられるベクトル^ｖ_i（ｉ＝１，２，...，ｎ）として、当該画像を含むpinから算出した補助ベクトルを採用した場合を特に考える。ここで、同一の画像が複数の画像情報（＝pin）に含まれることがあることに注意する。例えば、repinによって生成された画像情報には、そのrepin元の画像情報と同一の画像を含む。そのため、高次元ベクトルの総数ｎは、画像情報の総数ではなくユニーク画像の総数となることに注意する。

補助ベクトル^ｖ_iの作成方法は特に限定されるものではないが、例えば、以下のような方法が考えられる。

（１）第１の方法では、当該画像をpinもしくはrepinしたユーザに関する情報を保持する補助ベクトルを作成する。例えば、^ｖ_iとして、集めたデータに含まれるすべてのユーザの数と同じ次元数を持つ二値ベクトルを考え、第ｊ番目のユーザが第ｉ番目の画像をpinもしくはrepinしたときにのみ^ｖ_iの第ｊ成分を1とする。

（２）第２の方法では、当該画像を含むboard（＝画像集合）に関する情報を保持する補助ベクトルを作成する。例えば、^ｖ_iとして、集めたデータに含まれるすべてのboardの数と同じ次元数を持つ二値ベクトルを考え、第ｌ番目のboardに第ｉ番目の画像が含まれるときにのみ^ｖ_iの第ｌ成分を1とする。

（３）第３の方法として、当該画像を含むboardが所属するクラスタ（＝画像集合分類集合）に関する情報を保持する補助ベクトルを作成する。例えば、^ｖ_iとして、前述のディジタルコンテンツ集合分類部２４で獲得したすべてのクラスタの数と同じ次元数を持つ二値ベクトルを考え、第ｉ番目の画像を含み、かつ第ｋ番目のクラスタに所属するboardの数を、^ｖ_iの第ｋ成分とする。なお、上記のboard数を、第ｉ番目の画像がpinもしくはrepinされた数（＝第ｉ番目の画像を含む画像情報の数）で割って正式化したものを^ｖ_iの第ｋ成分としてもよい。

ディジタルコンテンツ情報類似度関数構成部２２５は、ディジタルコンテンツ集合データベース２１に記憶されている画像集合の画像情報に含まれる各画像について、画像特徴量のベクトルを計算すると共に、補助ベクトルを作成し、各画像についての画像特徴量のベクトル及び補助ベクトルに基づいて、最適な線形写像＾Ｔ^*を求める。

上記の方法によって得られた最適な線形写像＾Ｔ^*を用いることで、２つの画像の類似性を判断する画像情報類似度関数は、２つの画像に含まれる画像からそれぞれ抽出した画像特徴量のベクトル＾ｘ_i、^ｘ_jの類似性関数Ｓ（＾ｘ_i、^ｘ_j）によって定義され、以下のように構成される。

低次元ベクトルについての類似度関数ｓ（＾ｚ_i、^ｚ_j）として、すでに知られている様々な類似度関数を用いることができ、例えば、（正規化）相互相関、ｌp距離（ｐは0以上の任意の実数であり、無限大を含む。ｐ＝２のときにはユークリッド距離と等価となる）と等価な類似度関数（距離の逆数など）などを用いることができる。

このように、ディジタルコンテンツ情報類似度関数構成部２２５は、最適な線形写像＾Ｔ^*を用いた画像情報類似度関数を構成する。

類似ディジタルコンテンツ検索部２２６は、別途与えられた新しい画像である入力画像に対して、ディジタルコンテンツ情報類似度関数構成部２２５によって構成された画像情報類似度関数を用いて、ディジタルコンテンツ集合データベース２１に記憶された画像集合の画像情報に含まれる各画像から、類似する画像を検索する（上記図９参照）。

類似画像の検索方法は特に限定されるものではないが、本実施形態においては、前述のディジタルコンテンツ情報類似度関数構成部２２５によって構成した画像情報類似度関数に基づく方法を説明する。

具体的には、例えば、入力画像から抽出される画像特徴量のベクトル＾ｘ_qと、^ｘ_i（ｉ＝１，２，...，ｎ）のそれぞれとを比較し、画像情報類似度関数の出力値である類似値が高い順に画像を検索し、もしくは類似度が高い画像の上位a件（aはあらかじめ定められた任意の自然数）を検索し、もしくは類似度があらかじめ定められた閾値よりも大きな画像を検索する。類似ディジタルコンテンツ検索部２２６は、検索された画像を、出力部３０により出力する。

＜ディジタルコンテンツ検索装置の作用＞
次に、本実施の形態に係るディジタルコンテンツ検索装置２００の作用について説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、画像情報の集合である複数の画像集合が、ディジタルコンテンツ検索装置２００に入力されると、ディジタルコンテンツ検索装置２００によって、入力された複数の画像集合が、ディジタルコンテンツ集合データベース２１へ格納される。そして、ディジタルコンテンツ検索装置２００によって、図１０に示すディジタルコンテンツ集合分類処理ルーチンが実行される。

まず、ステップＳ１０１において、ディジタルコンテンツ集合データベース２１に記憶されている複数の画像集合から、各画像について、当該画像が共有されている画像集合のペアを検出する。そして、ステップＳ１０２において、上記ステップＳ１０１で検出された画像集合のペアに基づいて、各画像について、当該画像情報間の伝播経路を特定する。

そして、ステップＳ１０３において、上記ステップＳ１０２で特定された画像伝播経路に基づいて、画像伝播経路を統合し、画像集合伝播経路を生成する。次のステップＳ１０４では、上記ステップＳ１０３で生成された画像集合伝播経路に基づいて、画像集合を分類して、各分類の画像集合分類集合を得る。

そして、ステップＳ２０５において、ディジタルコンテンツ集合データベース２１に記憶されている画像集合の画像情報に含まれる各画像について、画像特徴量のベクトルを計算する。次のステップＳ２０６では、ディジタルコンテンツ集合データベース２１に記憶されている画像集合の画像情報に含まれる各画像について、当該画像を含む画像情報、及び画像情報を含む画像集合が属する画像集合分類集合に基づいて、補助ベクトルを生成する。

そして、ステップＳ２０７において、上記ステップＳ２０５で計算された画像特徴量のベクトル及び上記ステップＳ２０６で生成された補助ベクトルに基づいて、最適な線形写像^Ｔ^*を計算する。ステップＳ２０８では、上記ステップＳ２０７で計算された最適な線形写像^Ｔ^*を用いて、画像情報類似度関数を構成し、ディジタルコンテンツ集合分類処理ルーチンを終了する。

そして、検索クエリとなる画像が、ディジタルコンテンツ検索装置２００に入力されると、ディジタルコンテンツ検索装置２００によって、図１１に示す類似画像検索処理ルーチンが実行される。

ステップＳ２１０において、入力画像について、画像特徴量のベクトルを計算する。ステップＳ２１１では、上記ステップＳ２１０で計算された入力画像の画像特徴量のベクトルと、ディジタルコンテンツ集合データベース２１に記憶されている画像情報に含まれる各画像について計算された画像特徴量のベクトルとに基づいて、上記のディジタルコンテンツ集合分類処理ルーチンで構成された画像情報類似度関数を用いて、各画像との類似度を算出する。

そして、ステップＳ２１２において、上記ステップＳ２１１で算出された各画像との類似度に基づいて、入力画像に類似する画像を検索して、検索された類似画像を、出力部３０により出力して、類似画像検索処理ルーチンを終了する。

以上説明したように、第２の実施の形態に係るディジタルコンテンツ検索装置によれば、画像集合間の伝播経路を表す画像集合伝播経路を生成し、生成された画像集合伝播経路に基づいて、画像集合を分類し、画像集合分類集合に基づいて得られる画像の補助ベクトルに基づいて、画像の特徴ベクトルを、低次元ベクトルに変換するための最適な線形写像を計算し、計算された最適な線形写像を用いた、画像間の類似度を出力する類似度関数を構成し、構成された類似度関数を用いて類似度を計算することにより、画像が伝播する経路の情報を利用して、類似する画像を検索することができる。

＜実験結果＞
上述した第１の実施の形態、第２の実施の形態の手法を検証するために、Pinterestから画像情報を取得し、この画像情報に対して、第１の実施の形態、第２の実施の形態で説明した手法により解析を行った。取得した画像情報（=pin）の数はおよそ100万であり、そのうちおよそ90万がrepinによって生成されたものである。画像そのもののユニーク数はおよそ78万枚、boardの数はおよそ20万である。ここで、repinによって生成されたものではない画像情報の数と、画像そのもののユニーク数とが、必ずしも整合しないことに注意されたい。同一画像を保持する複数の画像情報が存在しうる一方で、一つの画像情報に複数の画像を含むことができないため、仮にPinterest上のすべての画像情報を取得することができれば、画像のユニーク数は、repinによって生成されたものではない画像情報の数以下になる。しかし、すべての画像情報を取得することは困難であり、repinによって生成されたことがわかっている画像情報であっても、そのrepinの元となっている画像情報が取得されているとは限らない。

図１２及び図１３に、上記の第１の実施の形態で説明した手法を実行した結果を示す。画像集合分類集合の獲得のために、上記の非特許文献４に示される方法を階層的に実行した。

上記図１２では、取得した画像情報から獲得した画像集合伝播経路を、ディジタルコンテンツ分類視覚化部２６により視覚化した結果を示している。また、上記図１２では、頂点に対応するboardのIDと名前も併せて表示している。上記図１２から、類似する意味内容を含む画像集合が同一のクラスタもしくは極めて隣接するクラスタに属していることがわかる。

上記図１３では、代表的な画像集合分類集合及びそこに所属するboardの名前を示している。上記図１３から、クリスマスや服飾など比較的広い意味内容が、より詳細な意味内容のみを含むクラスタに分類されていることがわかる。例えば、ID 1-4までのクラスタはいずれもクリスマスに関連するが、それぞれ、クリスマスの食事・飾り・ツリー・贈り物などに分類されている。

図１４に、上記の第２の実施の形態で説明した手法を実行した結果を示す。補助ベクトルとして、画像集合分類集合情報を用いた。類似画像情報の提示方法として、線形回帰とk近傍法を採用した。

上記図１４に示す実験結果を得る際に、取得した画像情報から、任意に選択した12500枚の画像を含む画像情報を利用した。これらの画像には、architecture, fashion, cupcake, animals, chocolate, flowers, blue, sea, Christmas, greenのいずれか1つ以上のクラスラベルが付与されている。これら12500枚の画像から、ランダムに5000枚を選択して画像情報類似度関数および類似画像情報提示方法の構成に利用し、残りの7500枚からランダムに選択した5000枚の画像のクラスラベルを同定する問題を設定した。上記図１４に示した実験結果は、上記の画像のランダム選択を100回行った際の平均値である。利用した画像情報全体に関係するユーザ数・board数・画像集合分類集合数はそれぞれ171・634・389である。画像特徴量は非特許文献８（A. Oliva and A. Torralba "Modeling the shape of the scene: A holistic representation of the spatial envelope," International Journal of Computer Vision, Vol.42, pp.145-175, 2001.）に記載のGISTを用いた。

上記図１４の第１行において、「ORI」は次元削減前の画像特徴量^x_i (i=1,2,…,n)を低次元ベクトル^z_i (i=1,2,…,n)の代わりに用いた場合を示し、「Graph Reg.」は非特許文献９（D.K. Mahajan and M. Slaney "Image classification using the web graph," Proceedings of ACM International Conference on Multimedia (ACMMM), 2010.）に記載の正則化手法を用いた場合を示し、「PCA」・「LFDA」はそれぞれPCA・LFDAを用いて低次元ベクトルを獲得した場合を示し，「Prop.」は、上記の第２の実施の形態において説明した方法である。また、上記図１４の第２行に示した数値mは、低次元ベクトル^z_i(i=1,2,…,n)の次元数を示している。上記図１４の第１列において、「Linear reg.」は線形回帰を用いた場合の認識性能を示し、「NN」はk近傍法を用いた場合の認識性能を示している。

上記図１４から、上記の第２の実施の形態において説明した手法が、非常に低次元の特徴量を用いているにも関わらず、いずれの対抗手法に対しても有意に優れた結果を示していることがわかる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記の第２の実施の形態において、ディジタルコンテンツ情報類似度関数構成部２２５は、上記の第１の実施の形態の代表ディジタルコンテンツ抽出部２５により抽出された画像集合分類集合代表画像を更に用いて、画像情報及びその伝播経路を考慮した類似度関数である画像情報類似度関数を構成してもよい。

また、上記の第２の実施の形態において、入力画像に類似する画像を、ディジタルコンテンツ集合データベースに記憶された画像集合の画像情報に含まれる各画像から検索する場合を例に説明したが、これに限定されるものではなく、別途用意された画像の集合から、入力画像に類似する画像を検索してもよい。

また、入力画像に対するクラスラベルを出力するようにしてもよい。この場合には、画像特徴量^ｘ_i（ｉ＝１，２，．．．，ｎ）もしくはその一部とそれらに付与されているクラスラベルｃ_iを用いて識別器を構成しておき、当該識別器を用いて、入力画像に対するクラスラベルを求めるようにすればよい。この識別器として、例えば、サポートベクトルマシン (SVM)、k近傍法、当該クラスラベルの有無を二値で表現して構成するロジスティック回帰や線形回帰などが考えられる。

また、ディジタルコンテンツが、画像以外であってもよい。例えば、音楽データや文書データなどの各種ディジタルコンテンツの内容を、それらが実世界やウェブ上で伝播した経路と共に解析するようにしてもよい。

また、上記の第１の実施の形態において、ディジタルコンテンツ分類装置１００は、代表ディジタルコンテンツ抽出部２５及びディジタルコンテンツ分類視覚化部２６が省略されて構成されていてもよい。この場合には、各分類の画像集合分類集合を、出力部３０により出力するようにすればよい。

また、上記の第２の実施の形態において、ディジタルコンテンツ分類装置２００は、上記の第１の実施の形態で説明した代表ディジタルコンテンツ抽出部２５及びディジタルコンテンツ分類視覚化部２６を更に備えていてもよい。この場合には、ディジタルコンテンツ集合分類部２４及びディジタルコンテンツ情報類似度関数構成部２２５の間に、代表ディジタルコンテンツ抽出部２５及びディジタルコンテンツ分類視覚化部２６を設ければよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 入力部
２０、２２０ 演算部
２１ ディジタルコンテンツ集合データベース
２２ ディジタルコンテンツ伝播経路特定部
２３ ディジタルコンテンツ伝播経路統合部
２４ ディジタルコンテンツ集合分類部
２５ 代表ディジタルコンテンツ抽出部
２６ ディジタルコンテンツ分類視覚化部
３０ 出力部
１００ ディジタルコンテンツ分類装置
２００ ディジタルコンテンツ検索装置
２２５ ディジタルコンテンツ情報類似度関数構成部
２２６ 類似ディジタルコンテンツ検索部

Claims (6)

1. 予め用意された複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力するディジタルコンテンツ分類装置であって、
   前記複数のディジタルコンテンツ集合に含まれる複数のディジタルコンテンツの各々について、前記ディジタルコンテンツを共有するディジタルコンテンツ集合のペアを各々検出し、前記ディジタルコンテンツが共有された前記ディジタルコンテンツ集合内の前記ディジタルコンテンツ間の伝播経路を表すディジタルコンテンツ伝播経路を特定するディジタルコンテンツ伝播経路特定部と、
   前記複数のディジタルコンテンツについて特定された前記ディジタルコンテンツ伝播経路を統合して、前記ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成するディジタルコンテンツ伝播経路統合部と、
   前記ディジタルコンテンツ伝播経路統合部によって生成された前記ディジタルコンテンツ集合伝播経路に基づいて、前記複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力するディジタルコンテンツ集合分類部と、
   を含むディジタルコンテンツ分類装置。
2. 予め用意された複数のディジタルコンテンツ集合に含まれる複数のディジタルコンテンツの各々について、前記ディジタルコンテンツを共有するディジタルコンテンツ集合のペアを各々検出し、前記ディジタルコンテンツが共有された前記ディジタルコンテンツ集合内の前記ディジタルコンテンツ間の伝播経路を表すディジタルコンテンツ伝播経路を特定するディジタルコンテンツ伝播経路特定部と、
   前記複数のディジタルコンテンツについて特定された前記ディジタルコンテンツ伝播経路を統合して、前記ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成するディジタルコンテンツ伝播経路統合部と、
   前記ディジタルコンテンツ伝播経路統合部によって生成された前記ディジタルコンテンツ集合伝播経路に基づいて、前記複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力するディジタルコンテンツ集合分類部と、
   前記複数のディジタルコンテンツの各々における、前記ディジタルコンテンツの特徴ベクトルと、前記ディジタルコンテンツ集合分類集合に基づいて得られる前記ディジタルコンテンツの補助ベクトルとに基づいて、前記ディジタルコンテンツｖ_i、ｖ_jの前記補助ベクトルｘ_i、ｘ_j間の距離に応じた各要素Ａ_i,jから構成される行列Ａを用いて、前記ディジタルコンテンツの特徴ベクトルを、前記特徴ベクトルより低次元の低次元ベクトルに変換するための線形写像を計算し、前記計算された線形写像を用いた、前記ディジタルコンテンツ間の類似度を出力する類似度関数を構成するディジタルコンテンツ情報類似度関数構成部と、
   入力されたディジタルコンテンツと、複数のディジタルコンテンツの各々との類似度を、前記構成された類似度関数を用いて計算し、計算された類似度に基づいて、前記入力されたディジタルコンテンツと類似するディジタルコンテンツを、前記複数のディジタルコンテンツから検索する類似ディジタルコンテンツ検索部と、
   を含むディジタルコンテンツ検索装置。
3. 予め用意された複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力するディジタルコンテンツ分類装置におけるディジタルコンテンツ分類方法であって、
   ディジタルコンテンツ伝播経路特定部によって、前記複数のディジタルコンテンツ集合に含まれる複数のディジタルコンテンツの各々について、前記ディジタルコンテンツを共有するディジタルコンテンツ集合のペアを各々検出し、前記ディジタルコンテンツが共有された前記ディジタルコンテンツ集合内の前記ディジタルコンテンツ間の伝播経路を表すディジタルコンテンツ伝播経路を特定し、
   ディジタルコンテンツ伝播経路統合部によって、前記複数のディジタルコンテンツについて特定された前記ディジタルコンテンツ伝播経路を統合して、前記ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成し、
   ディジタルコンテンツ集合分類部によって、前記ディジタルコンテンツ伝播経路統合部によって生成された前記ディジタルコンテンツ集合伝播経路に基づいて、前記複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力する
   ディジタルコンテンツ分類方法。
4. ディジタルコンテンツ伝播経路特定部によって、予め用意された複数のディジタルコンテンツ集合に含まれる複数のディジタルコンテンツの各々について、前記ディジタルコンテンツを共有するディジタルコンテンツ集合のペアを各々検出し、前記ディジタルコンテンツが共有された前記ディジタルコンテンツ集合内の前記ディジタルコンテンツ間の伝播経路を表すディジタルコンテンツ伝播経路を特定し、
   ディジタルコンテンツ伝播経路統合部によって、前記複数のディジタルコンテンツについて特定された前記ディジタルコンテンツ伝播経路を統合して、前記ディジタルコンテンツ集合間の伝播経路を表すディジタルコンテンツ集合伝播経路を生成し、
   ディジタルコンテンツ集合分類部によって、前記ディジタルコンテンツ伝播経路統合部によって生成された前記ディジタルコンテンツ集合伝播経路に基づいて、前記複数のディジタルコンテンツ集合を分類して、各分類のディジタルコンテンツ集合分類集合を出力し、
   ディジタルコンテンツ情報類似度関数構成部によって、前記複数のディジタルコンテンツの各々における、前記ディジタルコンテンツの特徴ベクトルと、前記ディジタルコンテンツ集合分類集合に基づいて得られる前記ディジタルコンテンツの補助ベクトルとに基づいて、前記ディジタルコンテンツｖ_i、ｖ_jの前記補助ベクトルｘ_i、ｘ_j間の距離に応じた各要素Ａ_i,jから構成される行列Ａを用いて、前記ディジタルコンテンツの特徴ベクトルを、前記特徴ベクトルより低次元の低次元ベクトルに変換するための線形写像を計算し、前記計算された線形写像を用いた、前記ディジタルコンテンツ間の類似度を出力する類似度関数を構成し、
   類似ディジタルコンテンツ検索部によって、入力されたディジタルコンテンツと、複数のディジタルコンテンツの各々との類似度を、前記構成された類似度関数を用いて計算し、計算された類似度に基づいて、前記入力されたディジタルコンテンツと類似するディジタルコンテンツを、前記複数のディジタルコンテンツから検索する
   ディジタルコンテンツ検索方法。
5. コンピュータを、請求項１に記載のディジタルコンテンツ分類装置の各部として機能させるためのプログラム。
6. コンピュータを、請求項２に記載のディジタルコンテンツ検索装置の各部として機能させるためのプログラム。