JP2011198364A - 媒体文書へのラベル添加方法及び該方法を用いるシステム - Google Patents

Abstract

【課題】本発明は、媒体文書にラベルを添加する方法等を提供する。
【解決手段】本発明の実施形態に従う方法は、ラベルを含んだ既存の媒体文書の訓練サンプルに基づいて、ラベルの検知モデルを構築するステップ（４０２）と、訓練サンプルにおけるラベルの出現頻度に基づいてラベル間の共存係数を抽出するステップ（４０４）と、媒体文書を入力する（４０６）とともに、その入力された媒体文書から視覚特徴を抽出するステップ（４０８）と、入力された媒体文書の初期ラベルを取得するステップ（４０４）と、初期ラベルと訓練サンプルのラベル間の共存係数とに基づいて候補ラベルを取得するステップ（４１０）と、入力された媒体文書の視覚特徴及び共存係数に基づき、ラベル検知モデルを用いて、候補ラベルの中から、入力された媒体文書を記述するラベル集合を選択する（４１２，４１４）。
【選択図】図４

Description

本発明は、媒体文書へのラベル添加方法及び該方法を用いるシステムに関し、特に、コンテンツ文書へのラベル添加方法及びシステムに関する。

従来、デジタル技術の普及に伴い、例えば、音声ファイル、ビデオファイル、画像、文書及びこれらの複合文書等の大量の媒体文書が生成されている。大量の音声ファイルの出現により、各種情報の鮮明な記録や保存が可能となり、ユーザに利便性をもたらしている。しかしながら、このような媒体文書の大量生成により、これらの大量の媒体文書から如何に所望の文書を高速に検索するかが課題となっている。この課題を解決するために、媒体文書にそのコンテンツを記述する文字ラベルを添加することで、ユーザの文字ラベルによる各種媒体文書の検索利便性を図ることが提案されている。このような媒体文書に文字ラベルを添加する方法は、「媒体文書ラベル法」と呼ばれており、即ち、画像、オーディオセグメント及びビデオセグメントにキーワード（ラベルとも呼ばれる）を添加する行為である。このようなラベルは、例えば、マルチメディア管理や、マルチメディア検索や、著作権保護や、目標識別等の以降の各種媒体文書に関するアプリケーションに用いられる。

従来の媒体ラベル法は、人為的な媒体文書へのラベル添加方法を用いており、明らかに時間と労力の無駄になっていた。今日の日増しに増え続けている媒体文書に直面しては、人為的な手法のみの各々の媒体文書へのラベル添加は不可能に近くなる。米国特許出願公開第２００８／０２２９１９１（Ａ１）号明細書（特許文献１）の発明者からは、人とコンピュータとの相互作用による画像添加ラベル方法が提案されている。特許文献１は、筆跡注釈を出発点として、筆跡注釈の結果から筆跡識別処理を行っており、識別の結果は画像文書に関連付けられた１つまたは複数のラベルの形成に用いられる。しかしながら、実際には、大多数の文書、特に、ビデオファイルや音声ファイルには、筆跡注釈が含まれていないため、筆跡注釈のない文書には、特許文献１に開示されている技術を用いてもラベルを生成することができない。

米国特許出願公開第２００９／０２８９９４２（Ａ１）号明細書（特許文献２）には、画像自動注釈技術が提案されている。該方法は、先ず、ラベル辞書を構築し、ラベル辞書に基づいて大量の訓練サンプルを収集し、ラベル辞書に存在するラベルのグラフモデル（Graph Model）を構築し、グラフの逐次交代によりラベルモデルの構築を行って、該モデルにより、各媒体文書へのラベル添加を自動的に行っている。特許文献２の技術の最大の問題点は、中身に限りのあるラベル辞書しか扱うことができず、新たに入力された画像に関しては、新たに入力された画像に含まれるラベルがラベル辞書にはない場合は、ラベル出力ができなくなってしまう。次に、該方法は、必ず全自動で行わなければならないため、注釈プロセスにおいて、ユーザの先験的知識をシステムに伝授することができず、先験的知識の無駄になってしまう。

米国特許出願公開第２００８／０２２９１９１（Ａ１）号明細書 米国特許出願公開第２００９／０２８９９４２（Ａ１）号明細書

本発明は、従来技術における前記問題点を鑑みてなされており、全自動式または一部ユーザ関与による半自動式により、入力された媒体文書に適切な文字ラベルを選択してそのコンテンツを記述することで、以降の媒体文書の検索、管理等の実際の応用への強力なサポートが可能な媒体文書への添加ラベル方法及びシステムを提供する。

本発明の１局面によると、ラベルを含んだ既存の媒体文書の訓練サンプルに基づいてラベルの検知モデルを構築するステップと、前記訓練サンプルにおけるラベルの出現頻度に基づいてラベル間の共存係数を抽出するステップと、媒体文書を入力するとともに、該入力された媒体文書から視覚特徴を抽出するステップと、前記入力された媒体文書の初期ラベルを取得するステップと、前記初期ラベルと前記訓練サンプルのラベル間の共存係数とに基づいて候補ラベルを取得するステップと、前記入力された媒体文書の前記視覚特徴及び前記共存係数に基づいて、前記ラベル検知モデルを用いて前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するステップとを含む、媒体文書へのラベル添加方法を提供する。

本発明の媒体文書へのラベル添加方法は、前記ラベルを含んだ既存の媒体文書の訓練サンプルに基づいてラベルの検知モデルを構築するステップが、前記訓練サンプルからラベル辞書を形成するとともに、前記ラベル辞書の各特定ラベルが所属する訓練サンプルをそれぞれ収集するステップと、該収集した訓練サンプルの視覚特徴を抽出するステップと、前記収集した訓練サンプル及び前記視覚特徴に基づき、前記特定ラベルの媒体文書における存在確率を与える検知モデルを構築するステップとを含む。

また、本発明の媒体文書へのラベル添加方法は、前記訓練サンプルにおけるラベルの出現頻度に基づいてラベル間の共存係数を抽出するステップが、全訓練サンプルに対し、２つのラベルの同一媒体文書における数を統計し、ラベル同士の共存頻度を決定するステップと、全訓練サンプルに対し、前記２つのラベル及び該２つのラベルのうちのいずれか一方のラベルが存在する媒体文書の数、または、前記２つのラベルのうちのいずれか一方のラベルが存在する媒体文書の数を統計するステップと、前記統計した媒体文書の数から、前記２つのラベルの共存係数を取得するステップとを含む。

また、本発明の媒体文書へのラベル添加方法は、前記入力された媒体文書の初期ラベルを取得するステップが、ユーザによる初期ラベルの自発提供、前記入力された媒体文書自身が有しているラベルの自動抽出、並びに、前記入力された媒体文書自身が有している他の情報の自動抽出及びラベル形式への変換、のいずれかにより実現可能となっている。

また、本発明の媒体文書へのラベル添加方法は、前記視覚特徴が、少なくとも、媒体文書の色、テクスチャ、エッジ方向等の低次元特徴と、媒体文書の作成環境、作成時間等の高次元特徴とを含む。

また、本発明の媒体文書へのラベル添加方法は、前記ラベル検知モデルを用いて、前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するステップが、構築した前記ラベル検知モデルによって、各候補ラベルの前記入力された媒体文書への存在信頼度を取得するステップと、前記ラベル間の共存係数に基づいて、前記候補ラベル数と同じ次元数を有する、候補ラベルの共存係数行列を取得するステップと、前記候補ラベルの存在信頼度と前記候補ラベルの共存係数行列とに基づいて、各候補ラベルの前記入力された媒体文書コンテンツへの記述能力を示す、各候補ラベルの存在スコアを算出するステップと、各候補ラベルの存在スコアに応じて、前記候補ラベルの存在スコアを順位付けするステップと、前記順位付けの結果から、前記入力された媒体文書を記述する１つまたは複数の候補ラベルを選択するステップとを含む。

また、本発明の媒体文書へのラベル添加方法は、前記初期ラベルと前記訓練サンプルのラベル間の共存係数とに基づいて候補ラベルを取得するステップが、前記初期ラベルが複数である場合は、前記複数の初期ラベルのそれぞれに対応するそれぞれの候補ラベルリストを取得するステップを含み、前記ラベル検知モデルを用いて、前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するステップが、構築した前記ラベル検知モデルによって、各候補ラベルリストにおける各候補ラベルの、前記入力された媒体文書への存在信頼度を取得するステップと、各候補ラベルリストにおける候補ラベル間の共存係数に基づいて、各候補ラベルリストにおける候補ラベル数と同じ次元数を有する、各候補ラベルリストにおける候補ラベルの共存係数行列を取得するステップと、各候補ラベルリストにおける各候補ラベルの存在信頼度と前記候補ラベルの共存係数行列とに基づいて、各候補ラベルの存在スコアを算出し、各候補ラベルリストにおける各候補ラベルの前記入力された媒体文書に対する存在信頼度を累計することで、各候補ラベルリストの前記入力された媒体文書コンテンツへの記述能力を示す、各候補ラベルリストの合計存在スコアを取得するステップと、前記候補ラベルリストの合計存在スコアに応じて、前記候補ラベルリストの合計存在スコアを順位付けするステップと、前記順位付けの結果から、前記入力された媒体文書を記述する候補ラベルリストを選択するステップとを含む。

また、本発明の他の局面によると、ラベルを含んだ既存の媒体文書の訓練サンプルに基づいてラベルの検知モデルを構築するモジュールと、前記訓練サンプルにおけるラベルの出現頻度に基づいてラベル間の共存係数を抽出するモジュールと、媒体文書を入力するとともに、該入力された媒体文書から視覚特徴を抽出するモジュールと、前記入力された媒体文書の初期ラベルを取得するモジュールと、前記初期ラベルと前記訓練サンプルのラベル間の共存係数とに基づいて候補ラベルを取得するモジュールと、前記入力された媒体文書の前記視覚特徴及び前記共存係数に基づいて、前記ラベル検知モデルを用いて前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するモジュールとを含む、媒体文書へのラベル添加システムを提供する。

また、媒体文書へのラベル添加システムは、前記ラベル検知モデルを用いて、前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するモジュールが、構築した前記ラベル検知モデルによって、各候補ラベルの前記入力された媒体文書への存在信頼度を取得するモジュールと、前記ラベル間の共存係数に基づいて、前記候補ラベル数と同じ次元数を有する、前記候補ラベルの共存係数行列を取得するモジュールと、前記候補ラベルの存在信頼度と前記候補ラベルの共存係数行列とに基づいて、各候補ラベルの前記入力された媒体文書コンテンツへの記述能力を示す、各候補ラベルの存在スコアを算出するモジュールと、各候補ラベルの存在スコアに応じて、前記候補ラベルの存在スコアを順位付けするモジュールと、前記順位付けの結果から、前記入力された媒体文書を記述する１つまたは複数の候補ラベルを選択するモジュールとを含む。

また、媒体文書へのラベル添加システムは、前記初期ラベルと前記訓練サンプルのラベル間の共存係数とに基づいて候補ラベルを取得するモジュールが、前記初期ラベルが複数である場合は、前記複数の初期ラベルのそれぞれに対応するそれぞれの候補ラベルリストを取得し、前記ラベル検知モデルを用いて、前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するモジュールが、構築した前記ラベル検知モデルによって、各候補ラベルリストにおける各候補ラベルの、前記入力された媒体文書への存在信頼度を取得するモジュールと、各候補ラベルリストにおける候補ラベル間の共存係数に基づいて、各候補ラベルリストにおける候補ラベル数と同じ次元数を有する、各候補ラベルリストにおける候補ラベルの共存係数行列を取得するモジュールと、各候補ラベルリストにおける各候補ラベルの存在信頼度と前記候補ラベルの共存係数行列とに基づいて、各候補ラベルの存在スコアを算出し、各候補ラベルリストにおける各候補ラベルの前記入力された媒体文書に対する存在信頼度を累計することで、各候補ラベルリストの、前記入力された媒体文書コンテンツへの記述能力を示す、各候補ラベルリストの合計存在スコアを取得するモジュールと、前記候補ラベルリストの合計存在スコアに応じて、前記候補ラベルリストの存在スコアを順位付けするモジュールと、前記順位付けの結果から、前記入力された媒体文書を記述する候補ラベルリストを選択するモジュールとを含む。

本発明における文書ラベル方法及びシステムによると、媒体文書は、画像、音声やビデオファイルでもよく、その他の媒体実体でもよい。

本発明におけるシステムは、媒体文書入力時に、１つまたは複数のラベルを提供するようにユーザに通知してよい。ユーザからの応答（１つまたは複数のラベルの入力）がある場合は、より効率よく該初期ラベルによる処理が可能となり、ユーザからの応答がない場合は、初期ラベルを自動生成する形式で処理を行うことができる。本発明の実施形態は、ユーザからの初期ラベル取得が可能であるため、ユーザの先験的知識を充分利用することが可能となる。

システムは、ユーザから、前記入力された１つの媒体文書に対して１つまたは複数の初期ラベルを提供されると、或いはシステムにより１つまたは複数の初期ラベルが自動生成されると、予め算出されたラベル共存係数から、１つまたは複数の初期ラベルに関する複数の候補ラベルを取得する。その後、前記入力された媒体文書の視覚特徴に基づいて、以降のラベル入力となる候補ラベルに関し、各ラベルの前記入力された媒体文書における存在スコアを算出するとともに、そのスコアに応じて候補ラベルの順位付けされたリストを取得する。

システムは、ユーザから、前記入力された１つの媒体文書に対して複数の初期ラベルを提供されると、或いはシステムにより複数の初期ラベルが自動生成されると、複数の初期ラベルの各々に対して、前述のステップを行い、複数の候補ラベルを含む候補ラベルリストを取得する。ここで、各候補ラベルリストはすべて、合計存在スコアの演算に用いられる。最後に、最高の合計存在スコアを有する候補ラベルリストを取得し、即ち、最終的なラベルリストとなる。

前述のように、本発明の技術によれば、システムによる媒体文書へのラベル添加が極めて容易になるとともに、最後の媒体文書記述用のラベル集合の正確性をより向上させることができる。

ラベルリストを有する例示的画像である。 媒体文書へのラベル添加システムの例示的配置のブロック図である。 本発明の実施例２００のより詳細な例示的配置のブロック図である。 本発明の実施例２００の媒体文書へのラベル添加のフローチャートである。

以下、図面を参照して本発明の実施例について詳細に説明する。

図１は、訓練サンプルの一例を表している。訓練サンプル１００は、画像１０２及び順位付けされたラベルリスト１０４を有している。図１においては、１つの媒体文書（すなわち、画像１０２）が１つのラベルリスト（すなわち、順位付けされたラベルリスト１０４）に対応しており、本発明における１つの訓練サンプル１００をなしている。同様に、１つのラベルは、複数の媒体文書に対応可能で、換言すると、１つのラベルは、１つの媒体文書リストに対応可能であり、このような対応関係も、１つの訓練サンプルをなしている。複数の訓練サンプルは、本発明における訓練サンプルの集合をなしている。通常、人為的注釈方法で訓練サンプルの構築が行われているが、１つまたは複数のウェブサイトからラベルを含んだ媒体文書を収集して訓練サンプルとしてよい。このような媒体文書は、本発明の前述の複数の視覚特徴として表され、局所二進パターン（Ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ，ＬＢＰ）によるテクスチャ記述の特徴、ＬＡＢ色空間におけるブロックによる色モメント（ｂｌｏｃｋ−ｗｉｓｅ ｃｏｌｏｒ ｍｏｍｅｎｔ ｉｎ ｌａｂ ｃｏｌｏｒ ｓｐａｃｅ）の特徴、エッジ方向ヒストグラムの特徴、フーリエ記述の副次的特徴等があるが、これに限らない。これにより、サンプル集合の視覚特徴空間を形成することができる。前記視覚特徴の演算方法は、当業者に周知されているため、詳細は割愛する。

図２は、媒体文書へのラベル添加システムの例示的全体配置のブロック図であり、システム全体を２００とする。図面に示されているように、文書ラベル添加システム２００は、媒体文書の入力に用いる媒体文書入力モジュール２０２と、少なくとも１つの初期ラベルの入力に用いる初期ラベル入力モジュール２０４と、媒体文書ラベル供給部２０６と、１つまたは複数のラベル２１０を含む順位付けされたラベルリストを生成するためのラベルリスト生成モジュール２０８とが含まれている。具体的には、Ｋ個のラベル２１０（１）、２１０（２）・・・２１０（Ｋ）がある。ここで、Ｋは正の整数である。画像１０２から得られる配置が、前記図１におけるラベルリスト１０４と対応しているため、ここでの詳細説明は割愛する。

図３は、本発明の１実施例における媒体文書ラベル添加システム３００のブロック図である。

該媒体文書ラベル添加システム３００は、ラベルの順位付け／選択を行うモジュール３１４を有する媒体文書ラベル供給部３０６を有している。図面に示されているように、文書ラベル供給部３０６に加えて、媒体文書ラベル添加システム３００は、媒体文書を入力するための媒体文書入力モジュール３０２と、初期ラベル生成モジュール３０４と、ラベル共存係数抽出部３０５と、候補ラベル生成モジュール３０７と、最終的なラベル集合を生成する最終ラベル集合生成モジュール３０８とがさらに設けられている。また、文書ラベル供給部３０６は、ラベルの順位付け／選択を行うラベル順位付け／選択機能モジュール３１４と、ラベル検知モデルを構築するラベル検知モデル生成モジュール３１６と、視覚特徴抽出部３１８とを有する。ここで、ラベル順位付け／選択機能モジュール３１４は、ラベルの順位付け／選択を行う場合に、媒体文書特徴３１０及びラベル特性３１２を用いる。

ラベル検知モデル生成モジュール３１６は、ラベルを含んだ既存の媒体文書によって形成されている訓練サンプルに基づいてラベル検知モデルを構築する。訓練サンプルは、通常、人為的注釈方法によって生成されるが、１つまたは複数のウェブサイトからラベルを含んだ媒体文書を収集して訓練サンプルとしてよい。具体的には、前記訓練サンプルからラベル辞書を形成し、次いで、前記ラベル辞書における各ラベルが属する訓練サンプルを収集する。その後、視覚特徴抽出部３１８により、前記訓練サンプルの視覚特徴を抽出し、次いで、抽出した訓練サンプルの視覚特徴を、ラベル検知モデル生成モジュール３１６に転送する。ここで、抽出した訓練サンプルの視覚特徴に基づき、例えば、サポートベクトルマシーン（ＳＶＭ）を用いてラベル検知モデルを構築する。ここで、構築した検知モデルは、対応するラベルの、１つの媒体文書における存在確率を示している。サポートベクトルマシーン（ＳＶＭ）によるラベル検知モデルの構築方法は、当業者に周知であるため、詳細な説明は割愛する。

同時に、ラベル共存係数抽出部３０５は、訓練サンプルにおけるラベルの出現頻度に基づいてラベル間の共存係数、即ちラベル特性３１２を抽出する。ラベル共存係数抽出部３０５による共存係数の取得工程は、具体的に、全ての訓練サンプルに対し、任意の２つのラベルの同一媒体文書における数を統計し、ラベル同士の共存頻度を決定する。その後、全訓練サンプルに対し、それら２つのラベル若しくはそれら２つのラベルのうちの１つが存在する媒体文書の数、または、２つのラベルのうちのいずれか１つが存在する媒体文書の数を統計する。最後に、統計した媒体文書の数から、２つのラベルの共存係数を取得する。共存係数の取得方法については、後述する式（１）〜式（４）を参照することができる。

視覚特徴抽出部３１８は、ラベル検知モデル生成モジュール３１６によるラベル検知モデル構築時における訓練サンプルからの視覚特徴抽出以外に、媒体文書入力後の入力された媒体文書からの視覚特徴抽出によっても、媒体文書特徴３１０を取得することができる。

初期ラベル生成モジュール３０４は、入力された媒体文書の初期ラベルを取得する。初期ラベルの取得には、様々な方法があり、例えば、ユーザによる自発的な初期ラベル提供や、入力された媒体文書自身がラベルを持っている場合の媒体文書自体からのラベルの自動抽出や、入力された媒体文書自身が持っている他の情報（例えば、文書のファイル名、形成時間、媒体文書の画面に表示される文字情報等）の自動抽出及びこれらの情報のラベル形式への変換や、入力された媒体文書が持っている他の情報（例えば、ウェブページリンク、視覚特徴等）を用いて第三機関から初期ラベルを取得することができるが、このような初期ラベルは、粗末過ぎるため、入力された媒体文書を正確に記述することができない。

ここで、入力された媒体文書へのより正確なラベルを形成するために、初期ラベルによる媒体文書への正確な注釈が必要となる。正確な注釈を行うために、候補ラベル生成モジュール３０７は、初期ラベル生成モジュール３０４により取得される入力された媒体文書の初期ラベルと、ラベル共存係数抽出部３０５により抽出されるラベル間の共存係数とに基づいて、候補ラベルを取得する。具体的には、訓練サンプルが収集した全ラベルにおける初期ラベルと共存関係のあるラベルは、全て候補ラベルと設定される。複数の初期ラベルが存在している場合には、候補ラベル生成モジュール３０７は、各初期ラベルに対してそれぞれに対応する候補ラベルリストを生成する。即ち、１つの初期ラベルは、１つの候補ラベルリストに対応する。

しかし、候補ラベルは、通常比較的に多いため、直接このような候補ラベルを用いて、入力された媒体文書の記述を行った場合、以降のラベルによる媒体文書への検索が、依然として正確さに欠けてしまうため、このような候補ラベルへの更なる正確な選別が必要となる。

このため、これらの候補ラベルに対してある程度の順位付けを行う必要がある。これにより、入力された媒体文書の記述により適したラベル集合を候補ラベルから選択することができる。

ここで、入力された媒体文書の視覚特徴及び共存係数に基づいて、ラベル検知モデルを用いて候補ラベルから、入力された媒体文書を記述するラベル集合を選択する、２つの方法を提供する。もちろん、以下に記載する２つの選択方法以外にも他の方法はあるが、ここでは、説明を割愛する。

その一つ目の方法として、ラベル順位付け／選択機能モジュール３１４は、１つまたは複数の初期ラベルに対応する全ての候補ラベルに対して順位付けを行う。先ず、ラベル順位付け／選択機能モジュール３１４は、ラベル検知モデル生成モジュール３１６が構築したラベル検知モデルに基づいて、入力された媒体文書に関して、各候補ラベルの存在信頼度を取得する。ラベル順位付け／選択機能モジュール３１４は、候補ラベル間の共存係数に基づき、候補ラベル数と同じ次元数を有する、候補ラベルの共存係数行列を取得する。ラベル順位付け／選択機能モジュール３１４は、候補ラベルの存在信頼度と候補ラベルの共存係数行列とに基づき、入力された媒体文書に関して、各候補ラベルの存在スコアを算出する。ここで、存在スコアが大きくなればなるほど、より正確にその候補ラベルが入力された媒体文書コンテンツを記述していることになる。存在スコアの演算方法については後述する。ラベル順位付け／選択機能モジュール３１４は、各候補ラベルの存在スコアに応じて、夫々の候補ラベルの存在スコアを順位付けする。最後に、ラベル順位付け／選択機能モジュール３１４は、順位付けの結果から、入力された媒体文書を記述するのに適した１つまたは複数の候補ラベルを選択する。

２つ目の方法としては、初期ラベルが複数存在する場合、ラベル順位付け／選択機能モジュール３１４は、各初期ラベルに対応する候補ラベル集合を順位付けすることで、最後のラベル集合を選択する。このような方式において、ラベル順位付け／選択機能モジュール３１４は、構築したラベル検知モデルを用いることによって、入力された媒体文書に関して、各候補ラベルリストにおける各候補ラベルの存在信頼度を取得する。次に、ラベル順位付け／選択機能モジュール３１４は、各候補ラベルリストにおける候補ラベル間の共存係数に基づいて、各候補ラベルリストにおける候補ラベルの共存係数行列を取得する。行列の次元数は、各候補ラベルリストにおける候補ラベル数と同数である。次に、ラベル順位付け／選択機能モジュール３１４は、各候補ラベルリストにおける各候補ラベルの存在信頼度と候補ラベルの共存係数行列とに基づいて、入力された媒体文書に関して、各候補ラベルの存在スコアを算出し、夫々の候補ラベルの存在スコアを累計することで、各候補ラベルリストの合計存在スコアが得られる。ここで、合計存在スコアが大きくなればなるほど、より正確にその候補ラベルリストが入力された媒体文書コンテンツを記述していることになる。その後、ラベル順位付け／選択機能モジュール３１４は、各候補ラベルリストの合計存在スコアに応じて、候補ラベルリストの合計存在スコアを順位付けする。最後に、ラベル順位付け／選択機能モジュール３１４は、順位付けの結果から、入力された媒体文書を記述するのに適した候補ラベルリストを選択する。

最後に、媒体文書ラベル供給部３０６は、順位付けされ選択された候補ラベル（又は候補ラベルリスト）を、媒体文書の最終的なラベル集合３０８として出力する。

図４は、本発明の実施例２００における媒体文書へのラベル添加のフローチャートである。フローチャート４００には、ステップ４０２〜４１４が含まれている。

フローチャート４００においては、ステップ４０２で、１組のラベル検知モデルを構築し、ステップ４０４で、ラベル生成手段を構築している。ラベル検知モデルの１実施形態としては、先ず、各ラベルに対しラベル訓練集合を収集し、訓練サンプルの視覚特徴を抽出し、次に、サポートベクトルマシーン（ＳＶＭ）を用いてラベル検知モデルを構築するとともに、前記訓練サンプルにおけるラベルの出現頻度に基づいてラベル間の共存係数を抽出する。

ステップ４０６において、媒体文書が入力される。ステップ４０４で、ユーザによる初期ラベル入力が可能である。ユーザが初期ラベルの入力を希望しないか、入力していない場合は、ステップ４０４で、他のラベル自動生成方法から初期ラベルを生成することができ、例えば、１）ユーザによる初期ラベルの自発提供、２）入力された媒体文書自身が持っているラベルの自動抽出、３）入力された媒体文書自身が持っている他の情報の自動抽出及びラベル形式への変換、のいずれかにより実現可能となる。このような初期ラベルの自動取得により、ラベルのあるサイト上で類似の媒体文書を検索するとともに、そのラベル情報を抽出することが可能となる。

ステップ４０８において、入力された媒体文書の視覚特徴を抽出し、ステップ４１０で、ステップ４０４からの初期ラベルに基づいて、候補ラベルを取得する。前記初期ラベルと前記訓練サンプルにおけるラベル間の共存係数とに基づいて、候補ラベルを取得する。ここで、共存係数は、前記訓練サンプルにおけるラベル間の共存の回数で、正規化により得られる。

非制限的実施例として、下記の共存係数演算式に基づいてもよい。

ｔ_ｉとｔ_ｊは、いずれか２つのラベルを表し、｜・｜は、１つの集合の大きさであり、∩と∪は、それぞれ２つの集合の共通集合と和集合である。

先と同じく、一例として、共存係数は、下記の式（２）から算出することができる。

一例として、非対称性を考慮した場合、共存係数は、下記の式（３）または式（４）から算出することができる。

ステップ４１２において、ラベルやラベルリストの順位付け／選択機能が提供され、順位付けされた最終的なラベルリスト４１４が得られる。例えば、順位付け／選択機能モジュール３１４は、媒体文書特徴３１０及びラベル特性３１２に応じて、評価を行い、候補ラベルを推定し、順位付けを行う。具体的には、ある種のラベル図表が、最終的なラベルリストを検索するために用いられてよい。相関ダイアグラム（Ｖ，Ｅ）を考慮すると、頂点集合Ｖは、Ｎ個のラベルに対応し、エッジ集合Ｅは、ラベル間の共存関係によって重み付けされている。

ベクトルｓ＝［ｓ_０，ｓ_１，．．．，ｓ_Ｎ−１］^Ｔにより、ラベル存在スコアのベクトルを表すことができる。ここで、各要素ｓ_ｉは、所定の媒体文書に対するラベルｔ_ｉの存在スコアである。

また、ベクトルｄ＝［ｄ_０，ｄ_１，．．．，ｄ_Ｎ−１］^Ｔは、ラベル信頼度のベクトルを表し、各要素ｄ_ｉは、ラベル検知モデルから得られた、所定の媒体文書に対するラベルｔ_ｉの信頼度である。ラベルｔ_ｉに対応する検知モデルが存在しない場合は、ｄ_ｉ＝０．５とする。なお、ρは、調和パラメータであり、Ｗ_Ｎ×Ｍ｛ω_ｉｊ｝は、共存係数の行列を表し、要素ω_ｉｊは、２つのラベルｔ_ｉとｔ_ｊ（ｉ≠ｊ）の共存係数を表し、ω_ｉｉ＝０である。結果として、正規化されたフレームワークは、下記の式（５）により、下記のエネルギ関数の最小化として表される。

ここで、Ｕ_Ｎ×Ｎ｛ｕ_ｉｉ｝は、対角行列であり、第ｉ行第ｉ列の要素ｕ_ｉｉは、共存係数行列Ｗ_Ｎ×Ｍの第ｉ行の要素の和となる。

故に、存在スコアの予測関数は、下記の式（６）のようになる。

Ｃ（ｓ）におけるｓの微分を求め、下記の式（７）が得られる。

ここで、Ｖ＝Ｕ^{−（１／２）}ＷＵ^{−（１／２）}。

前記式は、下記の式（８）のように変形できる。

α＝１／（１＋ρ）、β＝ρ／（１＋ρ）とした時、（Ｉ−αＶ）ｓ^＊＝βｄが得られる。（Ｉ−αＶ）が可逆であることから、

が得られる。

最終的なラベル集合を取得するために、ｓ^＊における要素の順位付けを行い、最高スコアの前に位置する幾つかの要素に対応するラベルを所定の媒体文書のラベルと決定する。

複数の初期ラベルが存在する場合、各初期ラベルに対応する候補ラベルリストにおけるラベルｓ^＊を累計して合計スコアを取得し、次いで、各候補ラベルリストの合計スコアの順位付けを行い、最高合計スコアのラベルリストを所定の媒体文書のラベルリストと決定する。

前述の説明においては、モジュール順に各モジュール間の動作を行っているが、本発明の方法のステップ順は、前記順番に制限されておらず、必要に応じて、入れ替えることができる。特に、一部のステップ間には、特定の前後の区別がなく、例えば、媒体文書を入力するとともに、入力された媒体文書から視覚特徴を抽出するステップと、初期ラベルと訓練サンプルのラベル間の共存係数とに基づいて候補ラベルを取得するステップとは、前後の区別がなく、一部のステップは同時に行ってもよい。具体的には、ラベルを含んだ既存の媒体文書の訓練サンプルに基づいてラベルの検知モデルを構築するとともに、前記訓練サンプルにおけるラベルの出現頻度に基づいてラベル間の共存係数を抽出し、媒体文書を入力するとともに、入力された媒体文書から視覚特徴を抽出し、入力された媒体文書の初期ラベルを取得する、３つのステップ間には、前後の関係がなく、同時に行っても、前後に行ってもよく、本発明の効果には影響を及ぼさない。

以上のように、図面を参照しながら、本発明の実施例における代表的な画像検索システム及び代表的な画像検索方法ついて説明してきたが、このような実施例は例示的なものであり、本発明がこれに限定されることはない。当業者は、本発明の範囲を逸脱しない範囲内で、充分本発明の実施例への各種変形や代替を行うことができる。

１００ 訓練サンプル
１０２ 画像
１０４ ラベルリスト
２００，３００ 媒体文書ラベル添加システム
２０２，３０２ 媒体文書入力モジュール
２０４ 初期ラベル入力モジュール
２０６，３０６ 媒体文書ラベル供給部
２０８ ラベルリスト生成モジュール
３０４ 初期ラベル生成モジュール
３０５ 共存係数抽出部
３０７ 候補ラベル生成モジュール
３０８ 最終ラベル集合生成モジュール
３１０ 媒体文書特徴
３１２ ラベル特性
３１４ ラベル順位付け／選択機能モジュール
３１６ ラベル検知モデル生成モジュール
３１８ 視覚特徴抽出部

Claims (10)

1. ラベルを含んだ既存の媒体文書の訓練サンプルに基づき、ラベルの検知モデルを構築するステップと、
   前記訓練サンプルにおけるラベルの出現頻度に基づいてラベル間の共存係数を抽出するステップと、
   媒体文書を入力するとともに、該入力された媒体文書から視覚特徴を抽出するステップと、
   前記入力された媒体文書の初期ラベルを取得するステップと、
   前記初期ラベルと前記訓練サンプルのラベル間の前記共存係数とに基づき、候補ラベルを取得するステップと、
   前記入力された媒体文書の前記視覚特徴及び前記共存係数に基づき、前記ラベル検知モデルを用いて、前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するステップと
   を含む、媒体文書へのラベル添加方法。
2. 前記ラベルを含んだ既存の媒体文書の訓練サンプルに基づき、ラベルの検知モデルを構築するステップが、
   前記訓練サンプルによりラベル辞書を形成するとともに、前記ラベル辞書の各特定ラベルの所属する訓練サンプルをそれぞれ収集するステップと、
   前記収集した訓練サンプルの視覚特徴を抽出するステップと、
   前記収集した訓練サンプル及び前記視覚特徴に基づき、前記特定ラベルの媒体文書における存在確率を与える検知モデルを構築するステップと
   を含む、請求項１に記載の媒体文書へのラベル添加方法。
3. 前記訓練サンプルにおけるラベルの出現頻度に基づき、ラベル間の共存係数を抽出するステップが、
   全訓練サンプルに対し、２つのラベルの同一媒体文書における数を統計し、ラベル同士の共存頻度を決定するステップと、
   全訓練サンプルに対し、前記２つのラベル及び該２つのラベルのうちのいずれか一方のラベルが存在する媒体文書の数、または、前記２つのラベルのうちのいずれか一方のラベルが存在する媒体文書の数を統計するステップと、
   前記統計した媒体文書の数から、前記２つのラベルの共存係数を取得するステップと
   を含む、請求項１に記載の媒体文書へのラベル添加方法。
4. 前記入力された媒体文書の初期ラベルを取得するステップが、
   ユーザによる初期ラベルの自発提供、
   前記入力された媒体文書自身が有しているラベルの自動抽出、並びに
   前記入力された媒体文書自身が有している他の情報の自動抽出及びラベル形式への変換、
   のいずれかにより実現可能となる、請求項１乃至３のうちいずれか一項に記載の媒体文書へのラベル添加方法。
5. 前記視覚特徴が、少なくとも
   媒体文書の色、テクスチャ、エッジ方向等の低次元特徴と、媒体文書の作成環境、作成時間等の高次元特徴とを含む、請求項１乃至４のうちいずれか一項に記載の媒体文書へのラベル添加方法。
6. 前記ラベル検知モデルを用いて、前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するステップが、
   構築した前記ラベル検知モデルによって、各候補ラベルの前記入力された媒体文書への存在信頼度を取得するステップと、
   前記ラベル間の共存係数に基づいて、前記候補ラベル数と同じ次元数を有する、前記候補ラベルの共存係数行列を取得するステップと、
   前記候補ラベルの存在信頼度と前記候補ラベルの共存係数行列とに基づいて、各候補ラベルの前記入力された媒体文書コンテンツへの記述能力を示す、各候補ラベルの存在スコアを算出するステップと、
   各候補ラベルの存在スコアに応じて、前記候補ラベルの存在スコアを順位付けするステップと、
   前記順位付けの結果から、前記入力された媒体文書を記述する１つまたは複数の候補ラベルを選択するステップと
   を含む、請求項１乃至５のうちいずれか一項に記載の媒体文書へのラベル添加方法。
7. 前記初期ラベルと前記訓練サンプルのラベル間の共存係数とに基づいて候補ラベルを取得するステップが、
   前記初期ラベルが複数である場合は、前記複数の初期ラベルのそれぞれに対応するそれぞれの候補ラベルリストを取得するステップ
   を含み、
   前記ラベル検知モデルを用いて、前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するステップが、
   構築した前記ラベル検知モデルによって、各候補ラベルリストにおける各候補ラベルの、前記入力された媒体文書への存在信頼度を取得するステップと、
   各候補ラベルリストにおける前記ラベル間の共存係数に基づいて、各候補ラベルリストにおける候補ラベル数と同じ次元数を有する、各候補ラベルリストにおける候補ラベルの共存係数行列を取得するステップと、
   各候補ラベルリストにおける各ラベルの存在信頼度と前記ラベルの共存係数行列とに基づいて、各候補ラベルの存在スコアを算出し、各候補ラベルリストにおける各候補ラベルの前記入力された媒体文書への存在信頼度を累計することで、各候補ラベルリストの前記入力された媒体文書コンテンツへの記述能力を示す、各候補ラベルリストの合計存在スコアを取得するステップと、
   前記候補ラベルリストの合計存在スコアに応じて、前記候補ラベルリストの合計存在スコアを順位付けするステップと、
   前記順位付けの結果から、前記入力された媒体文書を記述する候補ラベルリストを選択するステップと
   を含む、請求項１乃至６のうちいずれか一項に記載の媒体文書へのラベル添加方法。
8. ラベルを含んだ既存の媒体文書の訓練サンプルに基づいて、ラベルの検知モデルを構築するモジュールと、
   前記訓練サンプルにおけるラベルの出現頻度に基づいて、ラベル間の共存係数を抽出するモジュールと、
   媒体文書を入力するとともに、該入力された媒体文書から視覚特徴を抽出するモジュールと、
   前記入力された媒体文書の初期ラベルを取得するモジュールと、
   前記初期ラベルと前記訓練サンプルのラベル間の共存係数とに基づいて、候補ラベルを取得するモジュールと、
   前記入力された媒体文書の前記視覚特徴及び前記共存係数に基づいて、前記ラベル検知モデルを用いて、前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するモジュールと、
   を含む、媒体文書へのラベル添加システム。
9. 前記ラベル検知モデルを用いて、前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するモジュールが、
   構築した前記ラベル検知モデルによって、各候補ラベルの前記入力された媒体文書への存在信頼度を取得するモジュールと、
   前記ラベル間の共存係数に基づいて、前記候補ラベル数と同じ次元数を有する、前記候補ラベルの共存係数行列を取得するモジュールと、
   前記候補ラベルの存在信頼度と前記候補ラベルの共存係数行列とに基づいて、各候補ラベルの前記入力された媒体文書コンテンツへの記述能力を示す、各候補ラベルの存在スコアを算出するモジュールと、
   各候補ラベルの存在スコアに応じて、前記候補ラベルの存在スコアを順位付けするモジュールと、
   前記順位付けの結果から、前記入力された媒体文書を記述する１つまたは複数の候補ラベルを選択するモジュールと
   を含む、請求項８に記載の媒体文書へのラベル添加システム。
10. 前記初期ラベルと前記訓練サンプルのラベル間の共存係数とに基づいて候補ラベルを取得するモジュールが、
    前記初期ラベルが複数である場合は、前記複数の初期ラベルのそれぞれに対応するそれぞれの候補ラベルリストを取得し、
    前記ラベル検知モデルを用いて、前記候補ラベルから、前記入力された媒体文書を記述するラベル集合を選択するモジュールが、
    構築した前記ラベル検知モデルによって、各候補ラベルリストにおける各候補ラベルの、前記入力された媒体文書への存在信頼度を取得するモジュールと、
    各候補ラベルリストにおける前記ラベル間の共存係数により、各候補ラベルリストにおける、前記候補ラベル数と同じ次元数を有する、各候補ラベルリストにおける前記候補ラベルの共存係数行列を取得するモジュールと、
    各候補ラベルリストにおける各候補ラベルの存在信頼度と前記候補ラベルの共存係数行列とに基づいて、各候補ラベルの存在スコアを算出し、各候補ラベルリストにおける各候補ラベルの、前記入力された媒体文書への存在信頼度を累計することで、各候補ラベルリストの、前記入力された媒体文書コンテンツへの記述能力を示す、各候補ラベルリストの合計存在スコアを取得するモジュールと、
    前記候補ラベルリストの合計存在スコアに応じて、前記候補ラベルの存在スコアを順位付けするモジュールと、
    前記順位付けの結果から、前記入力された媒体文書を記述する候補ラベルリストを選択するモジュールと
    を含む、請求項８又は９に記載の媒体文書へのラベル添加システム。

Images