JP2008217701A - メタデータ付与装置，メタデータ付与方法，メタデータ付与プログラム，及びメタデータ付与プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】分類対象が動画像である場合に対しても適用可能なメタデータ付与装置とメタデータ付与方法を提供する。
【解決手段】入力映像Ｉinのフレーム画像Ｉｆの画像特徴ベクトルＦｖ_QUERYが画像データベース検索部３２０に読み込まれると、画像データベース検索部３２０は、類似した画像特徴ベクトルｆｖ_iを画像データベース２００から抽出し、その画像ベクトルｆｖ_iに関連付けられているキーワードｋｗを、その画像特徴ベクトルＦｖ_QUERYで表されるフレーム画像Ｉｆの内容や特徴を説明する情報として決定する。メタデータ付与部３３０のメタデータ書込部３３２は、映像データバッファ３４０中のメタデータ格納部３４２に記憶されている対応するメタデータを、この決定した決定するキーワードｋｗに基づいて更新する。
【選択図】 図１

Description

本発明は、画像、特に動画像等を含む入力映像に対し、自動的にその映像自身の内容や特徴を説明する情報を取得し、メタデータとして付与するメタデータ作成装置，メタデータ付与方法，メタデータ付与プログラム，及びメタデータ付与プログラムを記録した記録媒体に関する。

通信技術及び情報処理技術の進歩により、通信及び情報処理における画像データの利用が、近年、飛躍的に拡大している。この結果、ウェブ(Web：World Wide Web)上でやり取りされる画像データには、ウェブ上の大量の画像データの中から所望の画像データの検索及び選択を容易にするために、その画像データ自身の内容や特徴を説明する情報が画像データ自体のメタデータとして付与されているようになっている。

画像データの自身の内容や特徴を説明する情報を含むメタデータは、様々なアプリケーションでの画像データの利用を考慮した場合、理想的には、当該メタデータが付加された画像データを多角的な視点から捉えた、精度の高い、豊富なシーケンシャルデータであることが望ましい。

通常、画像データにメタデータとして付加される、その画像データ自身の内容や特徴を説明する情報は、画像データの作成者側が、予めその画像データの用途を想定して、人手により付与する方法が一般的であった。しかしながら、大量の既存の画像データに対して、ユーザが個別に想定し得る様々な観点で、検索対象又は提供対象の画像データについて、内容や特徴を説明する情報を人手により付与することは、その作業量を考えた場合、実現が困難であった。

そこで、画像データ自身の内容や特徴を説明する情報を画像データのメタデータに自動的に付与する方法として、従来、次に述べるような第１及び第２の自動付与方法が提案されている。

第１の自動付与方法は、例えば非特許文献１に記載されているように、入力された画像データ自体の画像認識によって、又はこの画像データに付随する音声データの音響処理もしくは自然言語処理によって、入力された画像データ自体からその内容や特徴を説明する情報を抽出して、この抽出した情報を画像データのメタデータとして自動付与する方法である。

また、第２の自動付与方法は、例えば非特許文献２に記載されているように、ウェブから知識を獲得し、その獲得知識を実世界の画像の分類や自動キーワード付与等に利用又は応用して、実世界の画像の自動分類を行う方法である。

そして、この２つの従来技術を比較した場合、第１の方法では、メタデータとして付与する画像データ自身の内容や特徴を説明する情報の抽出対象が、メタデータの付与対象であり、分類対象でもある、入力された画像データ自体又はその付随する音声データに限定されてしまうのに対して、第２の方法では、その抽出対象がウェブ上に存在する多様なメタデータの付与された画像データである、という違いがある。そのため、この第２の方法によれば、第１の方法に比べて、メタデータを利用した抽出対象の画像データの数と種類が多くなることによって、観点，認識の推移等にも柔軟に対応でき、画像データ自身の内容や特徴を説明する情報が取得できる、というメリットがある。

このような「ウェブから知識を獲得し、その獲得知識を利用又は応用して、実世界の画像の自動分類を行う」という、従来の第２の方法について、図３１乃至図３３に基づいて、具体的に説明する。

図３２は、上述した従来の第２の方法を用いたメタデータ付与システムの構成図である。

図３３は、図３２に示したメタデータ付与システムの、画像データに対してのメタデータ付与処理のフローチャートである。

図３４は、図３２に示したメタデータ付与システムの、動画像をも含んだ映像データに対してのメタデータ付与処理のフローチャートである。

なお、以下の説明では、単に‘画像データ’と称する場合は、この‘画像データ’中には動画像を含まないものとし、特に動画像をも含む場合については‘映像データ’と称し、両者を区別する。

図３２に示すように、第２の方法を用いたメタデータ付与システム９００は、ＷＷＷ(World Wide Web)画像収集システム９１０，データベース９２０，画像分類システム９３０，及び動画像メタデータ付与装置９４０を備えて構成されている。

図３３に示すように、ユーザは、まず、予めＷＷＷ画像収集システム９１０に対して、画像分類システム９３０に未知画像が入力された際に備えて、この未知画像に関して分類したい分類クラスを表すキーワード（単語）を入力しておく(ステップS9010)。これにより、ＷＷＷ画像収集システム９１０は、ＷＷＷ９５０から、この入力したキーワードがメタデータとして付与されている画像データを収集する(ステップS9020)。そして、この収集結果として得られたＷＷＷ９１０からの画像データは、この入力したキーワードそれぞれで表した分類クラス毎に、データベース９２０に保存される (ステップS9030)。

一方、画像分類システム９３０は、分類したい未知画像（静止画）がテスト画像として入力されると(ステップS9040)、このテスト画像の視覚的特徴を表す画像特徴ベクトルを用いて、テスト画像に係る類似画像の検索を、データベース９２０に対して行う。画像分類システム９３０は、このテスト画像に係る類似画像の検索結果を基に、検索された類似画像の中、最も類似度の高い画像が所属している分類クラスを、入力されたテスト画像の分類クラスとして決定するようになっている(ステップS9050)。

そして、この従来の第２の方法を用いたメタデータ付与システム９００を利用すれば、動画像に対してメタデータを付与することも可能となる。この場合は、図３４に示すように、画像分類システム９３０に対して動画像メタデータ付与装置９４０は作動するようになる。

図３４に示すように、この動画像メタデータ付与装置９４０に、分類したい未知映像（動画像）が入力されると(ステップS9042)、動画像メタデータ付与装置９４０は、動画像の連続したコマをそれぞれが形成するフレーム画像を取得し(ステップS9044)、この取得したフレーム画像それぞれをテスト画像として画像分類システム９３０に入力する(ステップS9046)。これにより、画像分類システム９３０は、動画像メタデータ付与装置９４０から未知映像（動画像）のフレーム画像がテスト画像として入力される度に、図３３により説明した静止画の場合のステップS9050に示した処理と同様にして、フレーム画像の画像特徴ベクトルを用いて、このフレーム画像に係る類似画像の検索をデータベース９２０に対して行い、この検索結果に基づいてフレーム画像の分類クラス（キーワードｋｗ）を決定、取得する(ステップS9052)。そして、この画像分類システム９３０によって取得されたフレーム画像の分類クラスは、動画像からなる入力映像の当該フレーム画像に係るメタデータとして、動画像メタデータ付与装置９４０に供給され、動画像メタデータ付与装置９４０は、入力された動画像の対応するフレーム画像のメタデータにこの取得した分類クラスを付与する(ステップS9054)。そして、画像分類システム９３０は、入力映像としての分類したい未知映像（動画像）が終了するまで(ステップS9056)、この未知映像（動画像）のフレーム画像それぞれをテスト画像（分類したい未知画像）とした、フレーム画像それぞれに係る分類クラスの決定、取得を繰り返し行うことで、入力映像が未知映像（動画像）である場合であっても、分類クラスに係るメタデータの自動付与が実現できるようになっている。

ＮＨＫ技研 R&D No.95 2006 一般画像自動分類の実現へ向けたWorld Wide Webからの画像知識の獲得：人口知能学会論文誌 19巻5号I(2004)

しかしながら、上述の「ウェブから知識を獲得し、その獲得知識を利用又は応用して、実世界の画像の自動分類を行う」という第２の方法では、入力映像の分類クラスを決定する際に用いるキーワードは、ユーザによって予め入力された、分類したいクラスを表す単語（分類基準キーワード）を基にしたものである。そして、この分類クラスを決定する際に用いる分類クラスを表す単語自体は、ユーザが、分類クラスをメタデータとして付与する分類対象の入力映像の用途等を考慮しながらその映像データ自身の内容や特徴を解釈し、分類基準キーワードの選定者の視点で決定する。この結果、自身の内容や特徴を説明する情報がメタデータとして付加された映像データについての様々なアプリケーションでの利用を考えた場合、多角的な視点の関係から、上述した従来技術の第２の方法は次のような問題点があった。

すなわち、
１．画像自身の内容や特徴を説明する情報のメタデータは、分類対象（キーワード付与対象）の画像と同じ分類クラスに属する類似画像にメタデータとして付与されているキーワードから選択されるが、そのメタデータすなわち類似画像の選択範囲が、ユーザが入力した分類基準キーワードという分類クラスの「枠」の範囲内の母集団に限定されるため、分類対象の映像データにメタデータとして付与される、映像データ自身の内容や特徴を説明する情報に、偏りが生じる可能性がある、
２．分類クラス選択用の分類基準キーワードは、分類基準キーワードの選定者としてのユーザ自身の視点を基に選定されるため、分類基準キーワードの選定者でもあるユーザ自身の選定視点に偏りが生じている場合には、この偏りに起因して、メタデータ付与システムは、分類対象の映像データに付与するメタデータに偏りを生じさせてしまう。この結果、「適切な分類クラスのキーワードの選択がなされている否か」といった点について、信頼性の問題が残ることになる、
３．なお、この２．で述べた、メタデータとして付与された映像データ自身の内容や特徴を説明する情報についての偏り及び信頼性の問題は、異なる視点からの解釈による複数の基準キーワードを使って、メタデータ付与を希望する分類対象の映像データに関しての該当する分類クラスの数を増やし、メタデータ付与のための分類基準キーワードの母集団を増やすことによって回避できる。しかしながら、分類基準キーワードすなわち分類クラスの数を増やし、メタデータ付与のための分類基準キーワードの母集団を大きくすることは、分類対象の映像データに付与されるメタデータのノイズ増加につながり、付与されるメタデータの信頼性が低下する、
という問題があった。

また、上述した第２の方法を、図３２に示した動画像メタデータ付与装置９４０を用いて、未知映像（動画像）の内容や特徴を説明する情報のメタデータ付与に適用する場合でも、その分類クラス選択用の基準キーワードの選定は、ユーザによって画像（静止画）を分類対象として行われているだけである。そのため、従来のメタデータ付与システムの場合は、動画像中のフレーム画像に対してのメタデータ付与については想定していなかった。

本発明は、上記した問題点を解決するためになされたものであって、入力された分類対象の画像／映像データに対して、その画像／映像データ自身の内容や特徴を説明する情報を含むメタデータを付与する場合に、メタデータの付与対象の画像／映像データの特徴を抽出して、この特徴を基に予め蓄積された画像データを参照し、メタデータ付与のための母集団を抽出することが可能なメタデータ作成装置、メタデータ付与方法、及びメタデータ付与プログラムを提供する。

これにより、従来の、ユーザが選定した基準キーワードを用いた、上述したメタデータ付与の問題点を改善し、さらに分類対象が動画像である場合に対しても適用可能なメタデータ付与装置とメタデータ付与方法を提供することを目的としている。

本発明は上述の課題に対してなされたものであり、本発明のメタデータ付与装置は、画像の視覚的特徴を表す画像特徴ベクトル、及び画像自身の内容及び特徴を説明するキーワードを収集する画像データ収集部と、該画像データ収集部が収集した画像の画像特徴ベクトル及びキーワードを記録する画像データベースと、入力映像に対して、映像自身の内容や特徴を説明する情報を入力映像の映像データのメタデータに付与して映像出力する動画メタデータ付与部と、を備え、前記画像データ収集部は、前記画像データベースに記録する画像の画像特徴ベクトル及びキーワードを、ウェブ上の画像データ並びにテキストから収集し、当該収集した画像特徴ベクトル及びキーワードを画像毎に対応付けて前記画像データベースに記録し、前記動画メタデータ付与部は、入力映像を形成するフレーム画像と、前記画像データベースに記録されている画像との類似性を両者の画像特徴ベクトルの類似性から判断し、前記画像データベースの類似と判断された画像特徴ベクトルに対応付けられたキーワードを、入力映像の映像データにメタデータとして付与して映像出力することを特徴とする。

また、本発明のメタデータ付与方法は、画像の視覚的特徴を表す画像特徴ベクトル、及び画像自身の内容及び特徴を説明するキーワードを収集する画像データ収集ステップ、該画像データ収集ステップによって収集した画像の画像特徴ベクトル及びキーワードを画像データベースに記録する記録ステップ、入力映像に対して、映像自身の内容や特徴を説明する情報を入力映像の映像データのメタデータに付与して映像出力する動画メタデータ付与ステップを有し、前記画像データ収集ステップは、前記画像データベースに記録する画像の画像特徴ベクトル及びキーワードを、ウェブ上の画像データ並びにテキストから収集し、当該収集した画像特徴ベクトル及びキーワードを画像毎に対応付けて前記画像データベースに記録し、前記動画メタデータ付与ステップは、入力映像を形成するフレーム画像と、前記画像データベースに記録されている画像との類似性を両者の画像特徴ベクトルの類似性から判断し、前記画像データベースの類似と判断された画像特徴ベクトルに対応付けられたキーワードを、入力映像の映像データにメタデータとして付与して映像出力する
ことを特徴とする。

また、本発明は、コンピュータを、上述したメタデータ付与装置として機能させるためのプログラムである。

また、本発明は、コンピュータを、上述したメタデータ付与装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体ある。

本発明に開示される技術を利用することにより、動画像も含む様々な映像データに対して、映像データ自身の内容や特徴を表す情報を含んだメタデータを、フレーム単位に付与することが可能となる。

そして、付与する分類クラスの判断の根拠となる知識を、ルールベースではなく、ウェブ上の知識に求めることによって、映像データ自身の内容や特徴を表す情報を含んだメタデータについて、より一般的な付与、世相を反映した付与が可能となる。

以下、本発明のメタデータ付与装置，及びメタデータ付与方法について、図面とともに説明する。

図１は、本発明に係るメタデータ付与装置の概略構成図である。
本発明のメタデータ付与装置１０は、図１に示すように、画像データ収集部１００と、画像データベース（画像ＤＢ）２００と、動画メタデータ付与部３００とを備えて構成されている。

画像データ収集部１００は、インターネット５０上のウェブページから、映像データにメタデータとして付与するための映像データ自身の内容や特徴を説明する情報を収集し、この収集した情報を画像データベース２００に蓄積する。

画像データ収集部１００は、ウェブ上に存在する画像データを大量に収集（取得）することを特徴とする。画像データ収集部１００は、収集したウェブページの画像ｉそれぞれについて、その画像データの画像特徴ベクトルｆｖと、その画像を説明する関連キーワードｋｗ又はその集合であるキーワード群[ｋｗ]とを取得して、画像データベース２００に記憶する。

画像データベース２００は、画像データ収集部１００によって取得された、画像データそれぞれの画像特徴ベクトルｆｖと、同じく取得されたその関連キーワードｋｗ又はキーワード群[ｋｗ]とを対応付けて、保存及び蓄積する。

動画メタデータ付与部３００は、分類対象の映像入力として、自身の内容や特徴を説明する情報をメタデータとして付加しておきたい静止画や動画像等からなる入力映像Ｉinの映像データを読み込んで、この映像データに対して、映像データ自身の内容や特徴を説明する情報のメタデータを付与し、このメタデータが付加された入力映像データを出力映像Ｉoutとして映像出力するものである。

上述した構成からなるメタデータ付与装置１０は、その装置機能に基づいて、２つの装置機能部分に大別される。

その第１の装置機能部分は、画像データ収集部１００及び画像データベース２００によって構成され、インターネット５０から画像データを収集し、分類対象の映像データにメタデータとして付与するための、映像データ自身の内容や特徴を説明するための情報としてのキーワードｋｗを収集・蓄積する装置機能部分である。

また、その第２の装置機能部分は、画像データベース２００及び動画メタデータ付与部３００によって構成され、入力映像Ｉinに、その映像データ自身の内容や特徴を説明する情報として好適なキーワードｋｗを取得してメタデータとして付加し、このメタデータが付与された出力映像データを、出力映像Ｉoutとして映像出力する装置機能部分である。

次に、上述した２つの装置機能部分を備えて構成される本発明のメタデータ付与装置１０について、各部１００，２００，３００の構成の相違に応じて、それぞれ実施の形態及び実施例に分けて、説明する。

＜第１の実施の形態＞
<画像データ収集部>
図２は、第１の実施の形態に係るメタデータ付与装置における画像データ収集部の構成図である。
画像データ収集部１００は、画像データを収集し、分類対象の映像データにメタデータとして付加するための情報等を収集する第１の装置機能部分である。本実施の形態に係るメタデータ付与装置１０では、画像データ収集部１００は、ページ取得部１１０と、画像取得部１２０と、画像特徴ベクトル算出部１３０と、タグ情報取得部１４０とを備えて構成されている。

ページ取得部１１０は、定期的に、多くのウェブページ（ホームページ）が登録されているウェブサイト（ウェブサーバ）を検索・巡回して、画像が掲載されているウェブページを自動取得する。

このページ取得部１１０による、具体的なウェブサイトの巡回・検索は、例えば、サーチエンジン‘Google（登録商標）’の「多くの良質なホームページからリンクされているホームページは、やはり良質なホームページである」 という再帰的な関係を基に全てのホームページの重要度を判定した‘PageRank（登録商標）’のような、各ウェブサイトのホームページ毎の重要度判定等に関してのホームページ評価情報に基づいて行われる。ページ取得部１１０は、各ウェブサイトから別途取得したホームページ評価情報に基づいて、データの信頼性や正確性が保証された複数の適切なウェブページそれぞれを定期的に巡回・検索し、各巡回・検索先でそのウェブページの配信を受け、ウェブサイトからウェブページのウェブデータを取得する構成になっている。そして、ページ取得部１１０は、その取得したウェブページのウェブデータを、画像取得部１２０及びタグ情報取得部１４０に供給する。

画像取得部１２０は、ページ取得部１１０で取得された検索・巡回先のウェブページ（ホームページ）上に画像ｉが掲載されている、すなわち検索・巡回先のウェブページのウェブデータに画像データ（画像ファイル）が含まれている場合は、その画像データを抽出する構成になっている。画像取得部１２０は、抽出した画像データを画像特徴ベクトル算出部１３０に供給する。

画像特徴ベクトル算出部１３０は、画像取得部１２０が取得したウェブページ（ホームページ）上の各画像データに基づいて、その画像内容の特徴を抽出した画像特徴ベクトルｆｖを算出する構成になっている。この画像特徴ベクトルｆｖは、その画像データに基づく画像を、例えば色彩，テクスチャ，輪郭等に代表される、項目別の特徴量で構成される多次元ベクトルによって表現したものである。画像特徴ベクトル算出部１３０は、検索・巡回先のウェブページ上の画像ｉそれぞれを、このような画像特徴ベクトルｆｖによって表現することによって、図１に示した動画メタデータ付与部３００の、後述する画像データベース検索部３２０による類似画像検索を行い易いようにしている。

ここで、画像特徴ベクトル算出部１３０によって作成される画像特徴ベクトルｆｖについて、図３によって説明する。
図３は、画像特徴ベクトル算出部の構成を示すブロック図を示す。
画像特徴ベクトル算出部１３０は、上述した色彩，テクスチャ，輪郭等といった、特徴項目それぞれに応じた特徴量算出部１３０-１〜１３０-Ｎを備えた構成になっている。画像特徴ベクトル算出部１３０は、画像取得部１２０から取得した画像ｉの画像データが入力されると、それぞれの特徴量算出部１３０-１〜１３０-Ｎが、この取得画像ｉに係るそれぞれ特徴量ｆ₁〜ｆ_Nを算出して、特徴量ｆ₁〜ｆ_Nを成分とする画像特徴ベクトルｆｖ_i を生成して出力する。なお、この場合、Ｎは、特徴量算出部１３０-１〜１３０-Ｎの個数、すなわち特徴項目数を表すものとする。

このように、画像特徴ベクトル算出部１３０は、取得画像ｉが入力される毎に、次のような関係式で表せる画像特徴ベクトルｆｖ_iを算出する構成になっている。

画像ｉの画像特徴ベクトルｆｖ_i ： ｆｖ_i＝(ｆ_1i, ｆ_2i, ・・・, ｆ_Ni)
一方、タグ情報取得部１４０は、ページ取得部１１０によって取得されたウェブページのＨＴＭＬ文書（又は ＨＴＭＬファイル、ＨＴＭＬソース）で用いる制御文としてのタグ(tag)の情報を利用して、画像取得部１２０が取得した画像データに関連するキーワードｋｗを取得する。

ここで、このタグ情報取得部１４０によるキーワードｋｗの取得の仕方について、図４に示すＨＴＭＬ文書を例に、具体的に説明する。

図４は、ＨＴＭＬ文書におけるタグ情報の例についての説明図であり、図４（ａ）は、ＨＴＭＬ文書中における<img>タグの記述例を示したもので、図４（ｂ）は、同じくＨＴＭＬ文書中における<table>タグの記述例を示したものである。

図４（ａ）は、ＨＴＭＬ文書で画像データ（画像ファイル）を表示するために用いる制御文としての<img>タグの記述例を示したものである。図示の例では、<img>タグの‘src’属性で指定した画像ファイル“xxx.jpg”が“富士山”の画像データであるものとし、この“xxx.jpg”の画像ファイルを表示できない（表示しない）ブラウザを考慮して、‘alt’属性によってこの画像ファイル“xxx.jpg”の代わりに、テキスト（文字列）「富士山」が表示されることが指定されている。なお、同図中において、その<img>タグの‘width’属性は、画像の幅をピクセル又はパーセンテージで指定するものであり、‘height’属性は、画像の高さをピクセル又はパーセンテージで指定するものである。

そして、タグ情報取得部１４０は、このような、画像ファイル“xxx.jpg”を表示するために用いる制御文としての<img>タグの中から、ブラウザがその画像ファイル“xxx.jpg”を表示できないときに代わりに表示する、‘alt’属性によって指定されたテキスト（文字列）の「富士山」を抽出して、これを“富士山”の画像ファイル“xxx.jpg”に関してのキーワードｋｗとして取得する。このような、タグ情報取得部１４０による画像ファイルに関してのキーワードｋｗの取得構成は、<img>タグ中の‘alt’属性によって指定され、画像の代わりに表示される代替テキスト（文字列）が、通常、画像内容を表現する端的なキーワードｋｗになっていることが多いことに基づいている。

したがって、図４（ａ）に示したＨＴＭＬ文書の場合は、タグ情報取得部１４０は、ブラウザによって画像データ（画像ファイル）が表示できない場合に表示される代替テキスト（文字列）を、キーワードｋｗとして取得することになる。

一方、図４（ｂ）は、ＨＴＭＬ文書でテーブル（表）を作成するために用いる制御文としての<table>タグの記述例を示したものである。図示の例では、<table>タグの‘background’属性で指定したテーブルの背景画像の画像ファイル“xxx.jpg”が“富士山”の画像であるものとし、その<tr>タグ中の‘th’属性で指定したテーブルの前景のテーブルヘッダ部分の行の記述が「富士山」のテキスト（文字列）であり、そのテキスト（文字列）「富士山」の‘style’属性で指定したスタイルシートが“color:white”であることが指定されている。

そして、タグ情報取得部１４０は、このような場合、テーブルを作成するために用いる制御文としての<table>タグ中の‘background’属性から、テーブルの背景画像の画像ファイル“xxx.jpg”を抽出すると、同じく<table>タグ中の<tr>タグ中において‘th’属性で指定されたテーブルの前景のテーブルヘッダ部分の「富士山」のテキスト（文字列）を抽出して、これを“富士山”の画像ファイル“xxx.jpg”に関してのキーワードｋｗとして取得する。このような、タグ情報取得部１４０による画像ファイルに関してのキーワードｋｗの取得構成は、<table>タグの‘background’属性によって指定された背景画像に関しては、<table>タグ中の<tr>タグ中において‘th’属性で指定されたテーブルヘッダ部分のテキスト（文字列）が、通常、画像ファイル“xxx.jpg”を表現する端的なキーワードｋｗになっていることが多いことに基づいている。

したがって、図４(ｂ)に示したＨＴＭＬ文書の場合は、タグ情報取得部１４０は、テーブルの背景画像が指定されている場合は、その前景のテーブルヘッダ部分のテキスト（文字列）を、キーワードｋｗとして取得することになる。

なお、上述したようなキーワードｋｗの取得に当たって、キーワードｋｗの取得対象のテキスト（文字列）が上述したように名詞（例えば「富士山」）で指定されているものの他に、文章で指定されているものもある。このような場合には、タグ情報取得部１４０は、この取得したテキスト（文字列）の文章から、形態素解析を利用して、名詞，形容詞を抽出することによって、その画像に関連するキーワードｋｗを取得する構成になっている。なお、このタグ情報取得部１４０によるキーワードｋｗの取得構成は、上記説明した構成に限られるものではなく、他にも、タグ情報取得部１４０は、新たに定義された画像データに関連するタグ情報を利用して、その画像内容に関してのキーワードｋｗを取得することもできる。このようにして、タグ情報取得部１４０は、画像を含むウェブページ（ホームページ）のＨＴＭＬ文書のタグの情報を解析して、ウェブページ上の画像に関連するキーワードｋｗを取得する。

その上で、この画像データ収集部１００によって収集された、インターネット５０上の検索・巡回先の各ウェブページの画像データそれぞれに関連して画像特徴ベクトルｆｖ_iやキーワードｋｗは、入力映像（分類したい未知映像）にその映像データ自身の内容や特徴を説明する情報をメタデータとして付与する際の利用に備えて、画像データベース２００に記録保持される。

図５は、図２に示した画像データ収集部による、上述した画像データ収集処理のフローチャートである。
図５に示すように、本実施例の画像データ収集部１００は、まず、ページ取得部１１０がインターネット５０上の検索・巡回先のウェブサイトにアクセスし、そのウェブページ（ホームページ）の配信を受ける。その際、ページ取得部１１０は、その配信を受けたウェブページが画像のあるウェブページである場合には、そのウェブページを取得して、画像取得部１２０及びタグ情報取得部１４０に供給する。これに対し、ページ取得部１１０は、その配信を受けたウェブページに画像がない場合は、インターネット５０上の次の検索・巡回先のウェブサイトにアクセスし、そのウェブページ（ホームページ）の配信を受ける(ステップS1010)。

画像取得部１２０は、ページ取得部１１０から、取得したウェブページが供給されると、その中の画像データを取得し、この取得した画像データを画像特徴ベクトル算出部１３０に供給する。画像特徴ベクトル算出部１３０は、この画像取得部１２０から供給された画像データの供給に基づいて、この画像データによる画像の種々の特徴量に基づく多次元ベクトルからなる画像特徴ベクトルｆｖ_i を算出する(ステップS1020)。

これに対し、同じくページ取得部１１０から取得したウェブページが供給されるタグ情報取得部１４０は、画像取得部１２０による画像取得処理、及び画像特徴ベクトル算出部１３０による画像特徴ベクトル算出処理との同期をとって、画像特徴ベクトル算出部１３０が画像特徴ベクトルｆｖ_i を算出する画像データの関連するテキスト情報を、そのウェブページのＨＴＭＬ文書のタグ情報を解析することによって取得する(ステップS1030)。そして、タグ情報取得部１４０は、その取得した画像データに関連するテキスト情報が、名詞，形容詞である場合にはこれをキーワードｋｗとしてそのまま取得し、文章である場合には形態素解析を利用してその文章中の名詞，形容詞を抽出し、これをキーワードｋｗとして取得する(ステップS1040)。

そして、画像特徴ベクトル算出部１３０及びタグ情報取得部１４０は、画像データ毎に対応付けて、算出した画像特徴ベクトルｆｖ_iと取得したキーワードｋｗとを、後述する画像データベース２００へ出力、保存していく(ステップS1050)。

これにより、画像データ収集部１００は、その検索・巡回先のウェブサイトの画像データ毎に対して、画像特徴ベクトルｆｖ_iの算出処理と、タグ情報取得によるキーワードｋｗの取得処理とを繰り返し行うことによって、画像特徴ベクトルｆｖが形成する多次元ベクトル空間中に、キーワードｋｗの分布を生成していく。

なお、上述した画像データ収集部１００の構成の説明では、画像データ収集部１００は、画像データを取得したウェブページ上から、タグ情報取得部１４０によってそのＨＴＭＬ文書中の関連するタグ情報を利用して、取得した画像データに対応したキーワードｋｗを生成する構成としたが、画像データ収集部１００は、ウェブページ上から取得した画像データに関連する情報を、タグ情報を利用する以外の方法によってキーワードｋｗを取得することも可能である。

<画像データ収集部の第１の変形例>
図６は、図２とは別構成からなる画像データ収集部の構成図ある。
例えば、図６に示した画像データ収集部１００では、図２に示した画像データ収集部１００の構成に対し、そのタグ情報取得部１４０に代え、ページ構成解析部１５０が備えられている構成になっている。その余のページ取得部１１０，画像取得部１２０，及び画像特徴ベクトル算出部１３０については、図２に示した画像データ収集部１００のページ取得部１１０，画像取得部１２０，及び画像特徴ベクトル算出部１３０の構成と同じである。

この場合、ページ構成解析部１５０は、ウェブページ上の、取得した画像データによる画像ｉの近くに配置されているテキストは、その画像ｉを高頻度で説明しているという事実に基づき、画像取得部１２０が画像データを取得したウェブページの構成を解析して、画像取得部１２０が取得した画像データによる画像ｉに関連する、ウェブページ上の文章を抽出する構成になっている。そして、ページ構成解析部１５０は、この抽出した文章から名詞，形容詞を抽出して、画像ｉに関してのキーワードｋｗを取得する構成になっている。

このページ構成解析部１５０による、取得画像ｉに関するキーワードｋｗの具体的な取得方法としては、画像ｉの近くに配置されているテキストに限らず、様々なページ構成解析による取得方法が可能である。

具体的には、ウェブページ上で取得画像ｉの近くに表示配置される文章が複数ある場合等を考慮して、ページ構成解析部１５０は、画像ｉの最も近くに表示配置され、かつその余の文章に対しては離れて孤立配置されている文章を抽出し、その文章中から名詞，形容詞を抽出して、画像ｉに関してのキーワードｋｗを取得することも可能である。

また、ページ構成解析部１５０は、キーワードｋｗを取得する画像ｉからリンクされているウェブページ上の文章が存在するか否かを確認して、存在する場合にはこのリンクされている文章を取得し、この取得した文章から名詞，形容詞を抽出して、画像に関してのキーワードｋｗを取得することも可能である。

さらに、ページ構成解析部１５０は、ウェブページ上の文章中から抽出された、キーワードｋｗになり得る名詞，形容詞が多数あるような場合には、抽出した名詞それぞれ，形容詞それぞれについて、文章中の文字属性（例えば、サイズ，色，太字，ブリンク，等）に基づいて重み付けを行い、抽出したか名詞又は形容詞それぞれの重みに基づいて、画像に関してのキーワードｋｗを取得することも可能である。

ページ構成解析部１５０は、このような様々なページ構成解析による取得方法を、選択的に、又は必要に応じて組み合わせて利用することによって、画像ｉに関して取得するキーワードｋｗのノイズの低減をはかり、キーワードｋｗの効率的な取得が行える。

図７は、図６に示した画像データ収集部による画像データ収集処理のフローチャートである。

図７に示すように、本実施例の画像データ収集部１００の場合も、ウェブページ（ホームページ）の取得(ステップS1010)、ウェブページからの画像データの取得及びその画像特徴ベクトルｆｖ_iの算出(ステップS1020)については、前述した実施例の画像データ収集部１００の場合と変わらない。本実施例の画像データ収集部１００では、ページ取得部１１０が取得したウェブページは、画像取得部１２０とともに、前述したタグ情報取得部１４０に代わるページ構成解析部１５０に供給される。ページ構成解析部１５０は、ページ取得部１１０が取得したウェブページに関して、画像取得部１２０が取得する画像ｉの近くに配置されている文章，画像ｉからリンクされている文章等を、ページ構成解析して取得する(ステップS1032)。そして、ページ構成解析部１５０は、これら取得した関連文章中から形態素解析を利用して関連文章中に含まれる名詞，形容詞を抽出し、さらにこれら抽出した名詞又は形容詞それぞれについて、文章中の文字属性（例えば、サイズ，色，太字，ブリンク，等）に基づいて重み付けを行い、その結果に基づいてこれら抽出した名詞又は形容詞の中から、画像ｉに関してのキーワードｋｗを抽出する(ステップS1042)。そして、画像特徴ベクトル算出部１３０及びページ構成解析部１５０は、画像データ毎に対応付けて、算出した画像特徴ベクトルｆｖ_iと取得したキーワードｋｗとを、後述する画像データベース２００へ出力、保存していく(ステップS1052)。

これにより、本実施例の画像データ収集部１００も、その検索・巡回先のウェブサイトの画像データ毎に対して、画像特徴ベクトルｆｖ_iの算出処理と、ページ構成解析によるキーワードｋｗの取得処理とを繰り返し行うことによって、画像特徴ベクトルｆｖが形成する多次元ベクトル空間中に、キーワードｋｗの分布を生成していく。

<画像データ収集部の第２の変形例>
図８は、さらに別の構成からなる画像データ収集部の変形例を示したものである。
例えば、図８に示した画像データ収集部１００は、図２又は図６に示した画像データ収集部１００の構成に対し、そのタグ情報取得部１４０又はページ構成解析部１５０に代え、画像内データ取得部１６０が備えられている構成になっている。画像内データ取得部１６０は、画像取得部１２０から検索・巡回先のウェブサイトから取得した画像データが供給され、この画像データに基づいてその画像ｉに関してのキーワードｋｗの取得処理を行う。その余のページ取得部１１０，画像取得部１２０，及び画像特徴ベクトル算出部１３０については、図２又は図６に示した画像データ収集部１００のページ取得部１１０、画像取得部１２０、及び画像特徴ベクトル算出部１３０の構成と同じである。

画像内データ取得部１６０は、画像取得部１２０が取得した画像ｉの画像データ（画像ファイル）自身に付与されている既存のメタデータを参照し、キーワードｋｗを取得する構成になっている。具体的には、画像内データ取得部１６０は、その画像データ（画像ファイル）自身の既存のメタデータから、その画像ｉに関してのキーワードｋｗを取得する構成になっている。

例えば、画像取得部１２０が取得した画像ｉが、例えばデジタルカメラで撮影された画像のような、ＪＰＥＧ画像のデータ形式をベースに撮影情報等を埋め込むことを可能にした画像ファイル形式の画像データ、例えば‘ｅｘｉｆ(exchangeable image file format)’の画像ファイル形式で保存されている画像データである場合、その画像データには、ＴＩＦＦ(Tagged Image File Format)形式で記録された画像データ自身を説明する情報、すなわち「タグ」と呼ばれる、撮影日時，画素数，圧縮情報，絞り値，シャッター速度，ホワイトバランス，ＧＰＳ(Global Positioning System)情報，等といった情報が、既存のメタデータとして含まれている。

画像内データ取得部１６０は、このような画像を説明するメタデータが付随している画像ｉを取得した画像取得部１２０から、その画像データが供給され、この付随したメタデータを抽出して、その中の画像を特徴付けるのに適した情報をキーワードｋｗとして取得し、画像データベース２００へ出力する構成になっている。

図９は、図８に示した画像データ収集部による画像データ収集処理のフローチャートである。
図９に示すように、本実施例の画像データ収集部１００の場合も、ウェブページ（ホームページ）の取得(ステップS1010)、ウェブページからの画像データの取得及びその画像特徴ベクトルの算出(ステップS1020)については、前述した実施例の画像データ収集部１００と変わらない。本実施例の画像データ収集部１００の場合は、画像取得部１２０が取得した画像データ（画像ファイル）は、その画像特徴ベクトルの算出処理を行う画像特徴ベクトル算出部１３０とともに、前述したタグ情報取得部１４０又はページ構成解析部１５０に代わる、画像内データ取得部１６０に供給される。画像内データ取得部１６０は、画像取得部１２０が取得した画像ｉの画像データ（画像ファイル）に付随したメタデータを抽出する(ステップS1034)。画像内データ取得部１６０は、その抽出したメタデータとして含まれる画像データ自身を説明する情報を形態素解析を利用して取得し、その中から、この画像ｉを特徴付けるのに適した情報を抽出し、この抽出した情報を画像ｉに関してのキーワードｋｗとして取得する(ステップS1044)。

そして、画像特徴ベクトル算出部１３０及び画像内データ取得部１６０は、画像データ及び画像毎に対応付けて、算出した画像特徴ベクトルｆｖ_iと取得したキーワードｋｗとを、後述する画像データベース２００へ出力、保存していく(ステップS1054)。
これにより、本実施例の画像データ収集部１００も、その検索・巡回先のウェブサイトの画像データ毎に対して、画像特徴ベクトルｆｖ_iの算出処理と、画像内データの取得によるキーワードｋｗの取得処理とを繰り返し行うことによって、画像特徴ベクトルｆｖが形成する多次元ベクトル空間中に、キーワードｋｗの分布を生成していく。

このように、本実施の形態に係るメタデータ付与装置１０の画像データ収集部１００は、その画像取得部１２０によって取得した画像ｉに関して、上述したタグ情報取得部１４０，ページ構成解析部１５０，画像内データ取得部１６０等といった構成によって、取得した画像ｉ自身の内容や特徴を説明する情報としてのキーワードｋｗを取得することができる。

そして、これらタグ情報取得部１４０，ページ構成解析部１５０，画像内データ取得部１６０等といったキーワード取得部については、図２，６，８にそれぞれ示した画像データ収集部１００の実施例では、これら各部１４０，１５０，１６０の中のいずれか１つを備えていることとして説明したが、これら各部１４０，１５０，１６０の中の全部又は幾つかを組み合わせて用いること、さらに各部１４０，１５０，１６０をウェブページのジャンルや信頼度等といった属性毎に使い分けることによって、画像ｉ内容や特徴を説明する情報としてのキーワードｋｗの精度を高めることもできる。

<画像データベース>
一方、図１０は、画像データベースのデータ保持構成についての一実施例を示した図である。
例えば図２に示した画像データ収集部１００の場合を例に説明すると、画像データベース２００は、画像特徴ベクトル算出部１３０によって算出されたウェブページ上の画像ｉ₁，ｉ₂，ｉ₃，ｉ₄，ｉ₅，…それぞれに対応した画像特徴ベクトルｆｖ₁，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…と、タグ情報取得部１４０によって取得されたウェブページ上の画像ｉ₁，ｉ₂，ｉ₃，ｉ₄，ｉ₅，…それぞれに対応したキーワード群[ｋｗ_a]，[ｋｗ_b， ｋｗ_c， ｋｗ_d]，[ｋｗ_a]，[ｋｗ_d]，[ｋｗ_b，ｋｗ_d]，…とが、互いに対応付けられ、記録保持されて構築される。つまり、本実施例の場合は、図２に示した画像データ収集部１００の関係から、画像データベース２００はその情報源としてインターネット５０上に公開されている膨大なウェブページ（ホームページ）上の情報、その中でも静止画像をその情報源として利用している。

図１０に示すような、画像特徴ベクトルｆｖとキーワード群[ｋｗ]との対からなる画像データベース２００によれば、いずれかの画像特徴ベクトルｆｖを指定することによって、所定の画像特徴ベクトルｆｖを有する画像ｉから取得された、当該画像ｉ自身の内容や特徴を説明するための情報としてのキーワード群[ｋｗ]を引き出せる構成になっている。

図１１は、画像データベースに保持される画像特徴ベクトルとキーワード群との対応関係の説明図である。
図１１に示すように、画像データベース２００においては、ウェブページ上の画像ｉ_１，ｉ₂，ｉ₃，ｉ₄，ｉ₅，…それぞれは、図３に示した画像特徴ベクトル算出部１３０のＮ個の特徴量算出部１３０-１〜１３０-Ｎによって形成されるベクトル空間内の画像特徴ベクトルｆｖ_１，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…それぞれが指し示す点として表される。これにより、画像ｉ_i，ｉ₂，ｉ₃，ｉ₄，ｉ₅，…それぞれに対応したキーワード群[ｋｗ_a]，[ｋｗ_b， ｋｗ_c， ｋｗ_d]，[ｋｗ_a]，[ｋｗ_d]，[ｋｗ_b，ｋｗ_d]，…それぞれの構成キーワードｋｗ_a，ｋｗ_b，ｋｗ_c， ｋｗ_d，…は、多元ベクトル空間内の該当する画像特徴ベクトルｆｖが指し示す点に存在することを意味している。したがって、図２で述べた画像データ収集部１００により、ウェブページ上の画像ｉの収集を繰り返し行っていくことによって、画像特徴ベクトルｆｖが存在するベクトル空間中に、キーワードｋｗの分布が形成されていくことになる。

このようにして取得したキーワード群[ｋｗ]は、ウェブ上のデータを利用しているため、様々な観点で画像ｉについて記述された情報が内包されている。そのため、キーワード群[ｋｗ]を形成する各キーワードｋｗについて、所定の画像ｉに対するその時代の総意としての解釈や、さらに今までになかった画像ｉについても新語による解釈を得られることが、本実施の形態のメタデータ付与装置１０における画像データ収集方法、画像データベース２００の構築方法の利点である。

もちろん、画像データベース２００に画像特徴ベクトルｆｖとともに保持されるキーワード群[ｋｗ]は、ウェブ上の情報以外であっても、本実施の形態のメタデータ付与装置１０における画像データ収集方法、画像データベース２００の構築方法を適用することは可能である。ただし、上述のようなメリットを実現するためには、多くの人が参加する形でリアルタイムに情報が更新形成されていく情報源から、前述した画像データ収集部１００が情報源における画像ｉについての情報の収集を繰り返し行っていく必要がある。

本実施の形態のメタデータ付与装置１０では、このように構成されている画像データベース２００を用いて、類似画像検索、及び類似している画像に関連付けられているキーワード群の取得を実現する。本実施の形態のメタデータ付与装置１０では、次に説明する動画メタデータ付与部３００によって、この画像データベース２００を用いて、分類対象として入力される動画像を含む入力映像に対して、類似画像検索によらないキーワードｋｗの決定が可能となっている。

<動画メタデータ付与部>
次に、図１に示したメタデータ付与装置１０における動画メタデータ付与部３００の実施例の構成について説明する。
動画メタデータ付与部３００は、メタデータの付与対象であり分類対象である、入力された映像データに対して、画像データベース２００に画像毎に対応付けられて蓄積されている画像特徴ベクトルｆｖ及びキーワード群[ｋｗ]の情報を利用して、入力された映像データのフレーム単位で、映像データ自身の内容や特徴を説明する情報を、メタデータとして付与する。

図１２は、本実施例の動画メタデータ付与部の構成図である。
本実施例の動画メタデータ付与部３００は、映像データ入力部３１０と、画像データベース検索部３２０と、メタデータ付与部３３０と、映像データバッファ３４０と、映像データ出力部３５０と備えて構成されている。

映像データ入力部３１０は、自身の内容や特徴を説明する情報を含むメタデータを付与したい、分類対象の入力映像（動画像）Ｉinを入力する構成になっている。

画像データベース検索部３２０は、入力映像Ｉinを構成するフレーム画像の画像特徴ベクトルＦｖと類似した画像特徴ベクトルｆｖを画像データベース２００から検索し、その画像特徴ベクトルｆｖに付随する情報すなわちキーワードｋｗを取得する構成になっている。

メタデータ付与部３３０は、メタデータを付与する分類対象の入力映像Ｉinからそのフレーム画像Ｉｆを取得し、画像データベース検索部３２０から画像データベース２００を検索して得たキーワードｋｗを取得して、入力映像Ｉinのフレーム画像Ｉｆ毎に画像自身の内容や特徴を説明する情報を含むメタデータを付与する構成になっている。

映像データバッファ３４０は、メタデータ付与部３３０が入力映像Ｉinにメタデータの付与を行っている間、映像データを一時保管する構成にもなっている。

映像データ出力部３５０は、メタデータ付与部３３０によってメタデータが付与された入力映像Ｉout、すなわち自身の内容や特徴を説明する情報を含むメタデータが付加された映像データＩoutの映像出力を行う構成になっている。

次に、動画メタデータ付与部３００の上述した各部の構成について、詳細に説明する。
図１３は、映像データ入力部及び映像データバッファの構成図を示したものである。
映像データ入力部３１０は、メタデータを付与したい分類対象の入力映像Ｉinを動画メタデータ付与部３００へ取り込むための窓口として機能し、本例では、フレーム画像取得部３１１と、画像特徴ベクトル算出部３１２と、メタデータひな形生成部３１３とを備えて構成されている。

ここでは、画像自身の内容や特徴に関する情報のメタデータを付与したい入力映像Ｉinとして、ＣＣＤ等で撮影された映像情報だけのデータのような映像データを想定する。なお、動画等のマルチメディアコンテンツを検索するための内容記述データであるＭＰＥＧ‐７よるメタデータや、デジタル放送及びインターネット双方のネットワークからマルチメディアコンテンツを検索するためのＴＶ‐Anytimeによるメタデータが映像コンテンツに埋め込まれたＭＰＥＧ２‐ＴＳ等のような映像データのように、既存の定型メタデータが付随している映像データでも、適用可能である。

フレーム画像取得部３１１は、メタデータを付与するために取り込まれた入力映像（ここでは、動画像）Ｉinから、その連続したコマを形成するフレーム画像Ｉｆを取得し、取得したフレーム画像Ｉｆを入力映像Ｉinの形成順（入力映像Ｉinの時間経過）に沿って画像特徴ベクトル算出部３１２に出力する構成になっている。

画像特徴ベクトル算出部３１２は、図２に示した画像データ収集部１００の画像特徴ベクトル算出部１３０と同様にして、フレーム画像取得部３１１が取得した入力画像Ｉinのフレーム画像Ｉｆの特徴を抽出した多次元の画像特徴ベクトルＦｖを算出する構成になっている。画像特徴ベクトル算出部３１２は、算出した画像特徴ベクトルＦｖを、映像データバッファ３４０中の、画像特徴ベクトルＦｖを入力映像Ｉinの形成順に対応付けて保持する画像特徴ベクトル格納部３４１へ格納する。

メタデータひな形生成部３１３は、入力映像Ｉinの映像データがＭＰＥＧ２‐ＴＳ等のように、予めＭＰＥＧ‐７やＴＶ‐Anytimeによる既存のメタデータが付与されているか否かを確認し、既存のメタデータがないことを確認すると、入力映像Ｉinの内容や特徴を説明する情報をフレーム単位で入力映像Ｉinに埋め込むためのメタデータのひな形を作成し、そのひな形のメタデータを映像データバッファ３４０中のメタデータ格納部３４２に、画像特徴ベクトルＦｖの場合と同様に、入力映像Ｉinの形成順に対応付けて保存する。なお、メタデータのひな形としては、本実施例の場合は、後にＥＣＧ（Electronic Contents Guide）を構成するためのコンテンツメタデータとユーザの嗜好等を記述するためのコンシューマメタデータとのひな形が作成される。また、メタデータひな形生成部３１３は、入力映像Ｉinの映像データに予めＭＰＥＧ‐７やＴＶ‐Anytimeによる既存のメタデータがある場合には、既存のメタデータをそのまま、メタデータのひな形として映像データバッファ３４０中のメタデータ格納部３４２にフレーム単位で保存する。

また、映像データ入力部３１０では、メタデータ付与部３３０によって、入力映像Ｉinの映像データにフレーム単位でメタデータを付与する際に発生するタイムラグを吸収するために、入力映像Ｉinの映像データを映像データバッファ３４０中の映像データ格納部３４３にそのまま一時保存する構成にもなっている。

そのため、映像データバッファ３４０には、上述した映像データ入力部３１０の各部構成に対応して、画像特徴ベクトル格納部３４１，メタデータ格納部３４２，及び映像データ格納部３４３が形成される。

図１４は、本実施例のメタデータ付与部の構成図を示したものである。
メタデータ付与部３３０は、画像特徴ベクトル読込部３３１と、メタデータ書込部３３２とを備えた構成になっている。
画像特徴ベクトル読込部３３１は、画像データベース検索部３２０で画像データベース２００の画像中から最も類似している画像を検索するために、映像データバッファ３４０の画像特徴ベクトル格納部３４１に格納保持されている入力映像Ｉinのフレーム単位で算出した画像特徴ベクトルＦｖ_QUERYを順次読み込み、画像データベース検索部３２０に供給する。

メタデータ書込部３３２は、画像特徴ベクトル読込部３３１によって画像データベース検索部３２０に読み込ませた入力映像Ｉinのフレーム単位の画像特徴ベクトルＦｖ_QUERYとの同期をはかって、画像データベース検索部３２０から、その戻り値として、画像特徴ベクトル読込部３３１から読み込んだ画像特徴ベクトルＦｖ_QUERYに最も類似している画像特徴ベクトルｆｖを有する画像と対に記録されているキーワード群[ｋｗ]を受ける。そして、メタデータ書込部３３２は、映像データバッファ３４０中のメタデータ格納部３４２に格納されている、メタデータひな形生成部３１３によって形成された対応するフレームのひな形のメタデータを、このキーワード群[ｋｗ]で更新する。

画像データベース検索部３２０は、画像特徴ベクトル読込部３３１を介して映像データバッファ３４０の画像特徴ベクトル格納部３４１から読み込んだ、入力映像Ｉinのフレーム単位で算出した画像特徴ベクトルＦｖ_QUERYについて、図１０で示した画像データベース２００に格納されている画像特徴ベクトルｆｖ_１，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…の中から、最も類似している画像特徴ベクトル、例えばｆｖ_iを検索する。

画像データベース検索部３２０は、この検索処理を行うと、その呼び出し元であるメタデータ付与部３３０へ返し、メタデータ付与部３３０のメタデータ書込部３３２によって、図１０に示した映像データ入力部３１０のメタデータひな形生成部３１３により生成された、映像データバッファ３４０中のメタデータ格納部３４２における対応するメタデータのデータ内容を、この検索した画像特徴ベクトルｆｖ_iに対応して得たキーワードｋｗに基づいて更新する。

図１５は、画像データベース検索部による画像データベースに格納されている画像特徴ベクトルの検索についての一実施例の説明図である。なお、図１５では、説明簡便のため、画像特徴ベクトル読込部３３１によって読み込まれた、入力映像Ｉinのフレーム単位の画像特徴ベクトルＦｖ_QUERYを、特徴ベクトル１，２による２次元の画像特徴ベクトル空間で表してある。また、同図中に、中抜き丸印‘○’で表した点それぞれは、図１０に示した画像データベース２００に格納されている各画像の画像特徴ベクトルｆv_１，ｆv₂，ｆv₃，ｆv₄，ｆv₅，…を表したものである。

画像データベース検索部３２０は、画像特徴ベクトル読込部３３１から、読み込んだ入力映像Ｉinのフレーム単位で算出した画像特徴ベクトルＦｖ_QUERYが入力されると、この画像特徴ベクトル空間中で、最も近接している画像データベース２００内の画像特徴ベクトルｆｖ_iを検索する。
画像データベース検索部３２０は、この検索を、画像特徴ベクトルＦｖ_QUERYと画像特徴ベクトルｆｖ_１，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…それぞれとの間のベクトル間距離の計算を行って、各距離の比較を行うことによって求める。すなわち、画像データベース検索部３２０は、画像特徴ベクトルＦｖ_QUERYに対してベクトル間距離が最も小さい関係にある画像特徴ベクトルｆｖ_iを求めることによって、読み込んだ入力映像Ｉinのフレーム画像に最も類似している、画像データベース２００内の画像を特定する。図１５の場合は、黒く塗り潰して示した黒丸印‘●’の点で表された画像特徴ベクトルｆｖ_iが最も近接しているため、この画像特徴ベクトルｆｖ_iのキーワード群[ｋｗ]が、メタデータ付与部３３０に画像データベース検索部３２０からの戻り値として返される。

なお、画像データベース検索部３２０による、読み込んだ画像特徴ベクトルＦｖ_QUERYについての画像データベース２００の検索に基づく、キーワード群[ｋｗ]の取得構成は、上述した図１５に示した構成に限られるものではない。

図１６は、画像データベース検索部による画像データベースに格納されている画像特徴ベクトルの検索についての別の実施例の説明図である。

図１６に示す場合では、画像データベース検索部３２０は、読み込んだ画像特徴ベクトルＦｖ_QUERYが示す画像特徴ベクトル空間の十字○印で示した点から、所定距離Ｒの範囲内にその指す点がある画像データベース２００内の画像特徴ベクトルｆｖ_i全てを対象として検索する。そして、画像データベース検索部３２０は、これら検索した画像特徴ベクトルｆｖ_iそれぞれに対応する画像データベース２００内のキーワード群[ｋｗ]の間で、例えば、最も多数のキーワード群[ｋｗ]に含まれているキーワードｋｗ、すなわち画像特徴ベクトルｆｖ_iに対応付けられる頻度が最も高いキーワードｋｗを取得したり、又はこれら検索した画像特徴ベクトルｆｖ_i全ての中の所定数以上の画像特徴ベクトルｆｖ_iに含まれているキーワードｋｗの中から、上位Ｎ個のキーワードｋｗを取得する構成になっている。その上で、画像データベース検索部３２０は、この取得した１乃至はＮ個のキーワードｋｗを戻り値の新たなキーワード群[ｋｗ]として、メタデータ付与部３３０のメタデータ書込部３３２に供給する。すなわち、本例の場合は、画像データベース検索部３２０は、戻り値としてのキーワード群[ｋｗ]に含まれるキーワードｋｗの取得構成が、図１５に示した取得構成よりもより柔軟な取得構成になっている。

図１４に示したメタデータ付与部３３０では、その画像特徴ベクトル読込部３３１よって画像データベース検索部３２０に読み込ませた入力映像Ｉinのフレーム単位の画像特徴ベクトルＦｖ_QUERYに関して、画像データベース検索部３２０からその戻り値としてのキーワード群[ｋｗ]（この場合のキーワード群[ｋｗ]には、０乃至複数個のキーワードｋｗが含まれる）がメタデータ書込部３３２に供給されると、メタデータ書込部３３２は、入力映像のフレーム単位の画像特徴ベクトルＦｖ_QUERYとの同期をはかって、映像データバッファ３４０中の、メタデータひな形生成部３１３により生成されたメタデータ格納部３４２の対応するメタデータに、この供給されたキーワード群[ｋｗ]を構成するキーワードｋｗを追加して更新する。

そして、映像データバッファ３４０のメタデータひな形生成部３１３のメタデータの更新状況に応じて、図１２に示した映像データ出力部３５０では、映像データバッファ３４０のメタデータ格納部３４２の更新されたメタデータ、及び映像データ格納部３４３に一時保存されている入力映像Ｉinの映像データを基に、メタデータが付与された入力映像Ｉoutの出力を行う構成になっている。

図１７は、本実施例の映像データ出力部の構成図である。
本実施例の場合、映像データ出力部３５０は、マルチプレクサ３５１を用いて構成されている。

マルチプレクサ３５１には、映像データバッファ３４０のメタデータ格納部３４２から、画像データベース検索部３２０によってメタデータ付与部３３０を介して更新された、入力映像Ｉinのフレーム単位の画像データの内容や特徴を説明する情報を含むメタデータが供給され、同じく映像データバッファ３４０の映像データ格納部３４３からは、このメタデータが付加される、入力映像Ｉinの対応するフレーム単位の画像データが供給される構成になっている。そして、マルチプレクサ３５１は、入力映像Ｉinの最初（最初のフレーム）から終了（最後のフレーム）まで、上述したようにして、入力映像Ｉinに対してフレーム単位でメタデータの付与を行い、入力映像Ｉinの内容や特徴を説明する情報を含むメタデータがフレーム単位で付与された入力映像Ｉoutの映像出力を行う構成になっている。

したがって、上述したメタデータ付与装置１０の動画メタデータ付与部３００の各部は、入力映像の１フレーム単位に、入力映像Ｉinの内容や特徴を説明する情報を含むメタデータを、人手を必要とすることなく、自動的に付与することができる。また、入力映像Ｉinの１フレーム単位に、入力映像Ｉinの内容や特徴を説明する情報を含むメタデータを付与する必要がない場合でも、例えば、その映像データ入力部３１０のフレーム画像取得部３１１が取得する、入力映像Ｉinのフレーム単位の画像の取得間隔、画像特徴ベクトル算出部３１２が画像特徴ベクトルＦｖを算出するフレーム画像Ｉｆの算出間隔、等を任意に調整することによって、メタデータ付与に必要なリソースを削減することも可能である。また、図１５，図１６に示したメタデータ付与部３３０による画像データベース２００の画像特徴ベクトルｆｖの検索構成においても、その検索する距離Ｒや頻度等といった検索基準要素の値を変更することで、ユーザの目的希望に合った範囲で入力映像Ｉinにメタデータとして付与するキーワードｋｗを抽出することもでき、入力映像Ｉinの分類もユーザの意向を反映させながら適確に行うことができる。

なお、上記説明では、説明簡便のため、入力映像Ｉinとして、既存の定型メタデータが付随していない映像情報のみから構成される映像データを例に説明したが、既存の定型メタデータが付随している映像データの場合であっても、例えば、映像データ入力部３１０で入力映像Ｉinの映像データのデータ形式を判別し、その判別したデータ形式に応じてフレーム画像取得部３１１で入力映像Ｉinのフレーム画像Ｉｆを取得する一方、映像データ出力部３５０は、映像データバッファ３４０のメタデータ格納部３４２に格納されているメタデータから入力映像Ｉinの映像データのデータ形式を判別し、その判別したデータ形式に合わせて、既存の定型メタデータに入力映像Ｉinの内容や特徴を説明する情報としての取得したキーワード群[ｋｗ]を付加することによって、対応できるようになっている。

図１８は、図１２に示した動画メタデータ付与部による動画メタデータ付与処理のフローチャートである。
図１８に示すように、本実施例の動画メタデータ付与部３００は、まず、入力映像Ｉinが供給されると、映像データ入力部３１０は、入力映像Ｉinの映像データがＭＰＥＧ２−ＴＳ等の、ＭＰＥＧ−７やTV-Anytime等といった既存のメタデータが付随している映像データであるか、映像情報だけの映像データであるかの判別を行う(ステップS3010)。映像データ入力部３１０は、入力映像Ｉinの映像データが映像情報だけの映像データである場合は、そのメタデータひな形生成部３１３がメタデータのひな形を作成し(ステップS3020)、これを映像データバッファ３４０のメタデータ格納部３４２に格納しておく(ステップS3030)。また、映像データ入力部３１０は、既存のメタデータが付随している映像データである場合は、そのメタデータひな形生成部３１３は、メタデータのひな形を作成することなく、その既存のメタデータを映像データバッファ３４０のメタデータ格納部３４２に格納して展開しておく(ステップS3030)。

このように、本実施例の動画メタデータ付与部３００では、メタデータの付与されている映像（ＭＰＥＧ2−ＴＳ等）とメタデータの付与されていない映像とを共通に扱うことを可能としている。

そして、映像データ入力部３１０では、そのフレーム画像取得部３１１が入力映像Ｉinの映像データからメタデータを付与するフレーム画像Ｉｆを取得するともに(ステップS3040)、画像特徴ベクトル算出部３１２は、そのフレーム画像の画像特徴を表現する画像特徴ベクトルＦｖを算出し(ステップS3050)、映像データバッファ３４０の画像特徴ベクトル格納部３４１へ算出した画像特徴ベクトルＦｖ（すなわち、画像特徴ベクトルＦｖ_QUERY）を保存する(ステップS3060)。さらに、映像データ入力部３１０は、そのフレーム画像を取得した入力映像Ｉinの映像データ自体も、映像データバッファ３４０の映像データ格納部３４３へ保存する(ステップS3070)。

このようにして、映像データバッファ３４０の画像特徴ベクトル格納部３４１に画像特徴ベクトルＦｖ_QUERYが保存され、メタデータ格納部３４２にメタデータが保存されると、メタデータ付与部３３０及び画像データベース検索部３２０によって、画像特徴ベクトル格納部３４１に保存された画像特徴ベクトルＦｖ_QUERYを基に、その入力映像Ｉinの取得したフレーム画像Ｉｆに適したキーワード群[ｋｗ]を、画像データベース２００を検索して決定する作業が行われる(ステップS3080)。

より具体的には、メタデータ付与部３３０の画像特徴ベクトル読込部３３１によって、入力映像Ｉinの映像データから取得したフレーム画像Ｉｆの画像特徴ベクトルＦｖ_QUERYが画像データベース検索部３２０に読み込まれると、画像データベース検索部３２０は、例えば、図１５に示したように、画像特徴ベクトルＦｖ_QUERYに最も近接した画像特徴ベクトルｆｖ_iを画像データベース２００から抽出し、その画像ベクトルｆｖ_iに関連付けられているキーワードｋｗを、その画像特徴ベクトルＦｖ_QUERYで表されるフレーム画像Ｉｆの内容や特徴を説明する情報として決定する(ステップS3080)。

そして、メタデータ付与部３３０及び画像データベース検索部３２０によって、メタデータとして対応するフレーム画像Ｉｆの内容や特徴を説明する情報としてのキーワードｋｗが決定されると(ステップS3080)、メタデータ付与部３３０のメタデータ書込部３３２は、映像データバッファ３４０中のメタデータ格納部３４２に記憶されている対応するメタデータを、この決定した決定するキーワードｋｗに基づいて更新する(ステップS3090)。

そして、映像データ入力部３１０，メタデータ付与部３３０，及び画像データベース検索部３２０では、上述のステップS3040〜S3090で示したフレーム単位の処理を、映像データバッファ３４０中のメタデータ格納部３４２に記憶されている入力映像Ｉinのフレーム全てについて終了するまで(ステップS3100)、繰り返し行う。その上で、動画メタデータ付与部３００の映像データ出力部３５０からは、フレーム単位で画像の内容や特徴を説明する情報を含むメタデータが付加された映像データＩoutが映像出力される。

このようにして、本実施の形態のメタデータ付与装置１０の動画メタデータ付与部３００では、上述した動画メタデータ付与方法により、１フレーム単位で入力映像Ｉinの内容や特徴を説明したメタデータ付与が行われる。

そして、上述した動画メタデータ付与方法によれば、人手を必要とすることなく、映像の１フレーム毎に対して、画像の内容や特徴を説明したメタデータを付与していくことができ、非常に有用である。また、この画像の内容や特徴を説明したメタデータを入力映像Ｉinの１フレーム毎に付与する必要がない場合は、例えば、連続するフレーム画像間でそれぞれの内容や特徴についての変化が乏しいような場合には、数フレーム毎に上述のメタデータ付与を行うことで、メタデータ付与に必要なリソースを削減することもできる。

なお、上述した動画メタデータ付与方法における、映像データ出力部３５０におけるメタデータと、入力映像Ｉinの映像データの対応するフレームとの同期方法については、上記説明した以外にも、種々の同期方法がある。例えば、入力映像Ｉin内のフレームと同期する情報（タイムコード等）を用いれば、映像ファイルとは別ファイルにメタデータを用意して、映像ファイルとメタデータファイルとを別々に一緒に出力しても問題ない。さらに、入力されるリアルタイム情報に対して、後述するシーンの区切れ（シーンの転換点）等に対応した特定のメタデータが発生した時点で、イベントを発生させるといったシステムを構築することも当然可能である。

＜第２の実施の形態＞
前述した第１の実施の形態の、入力映像Ｉinの１フレーム毎又は数フレーム毎にメタデータを付与していくメタデータ付与装置１０では、例えば、同じシーンが連続している部分（動きがほとんどない映像区間）を有する入力映像Ｉinの場合でも、入力映像Ｉinの１フレーム毎に、映像自身の内容や情報を説明する情報を含むメタデータを決定して付与していくため、入力映像Ｉinに対するメタデータ付与方法が合理的ではない。

そのため、このような同じようなシーンが連続している部分を有する入力映像Ｉinについては、意味的に連続したある区間では、画像自身の内容や情報を説明する情報を含むメタデータとして、その区間を形成する連続した複数のフレームに、その区間の内容や特徴を表す適切な共通な情報を付与していく方がより望ましい。

そこで、本実施の形態のメタデータ付与装置１０は、その動画メタデータ付与部３００が、前述した第１の実施の形態とは異なり、入力映像Ｉinの画像データの中、メタデータを付与する区間を決定し、その付与区間内で適切なメタデータを選定する構成になっている。

<共通する構成、相違する構成>
本実施の形態のメタデータ付与装置１０は、その概略構成レベルに関して、図１に示した第１の実施の形態のメタデータ付与装置１０の概略構成と変わることはない。そして、その画像データ収集部１００の構成についても、図２，図６又は図８に示した前述した第１の実施の形態の画像データ収集部１００の構成と同じである。

本実施の形態のメタデータ付与装置１０では、その動画メタデータ付与部３００の構成が、その概略構成レベルに関しては図１２に示した前述した第１の実施の形態の動画メタデータ付与部３００の構成と変わることはないが、その各部の構成が、上記した課題の関係から、一部異なるようになっている。

そのため、本実施の形態によるメタデータ付与装置１０を説明するに当たっては、前述した第１の実施の形態のメタデータ付与装置１０との相違部分についてのみ説明し、同一及び同様な部分については、同一符号を付し、その詳細な説明は省略する。

<動画メタデータ付与部>
図１９は、本実施の形態に係るメタデータ付与装置の、動画メタデータ付与部における映像データ入力部の実施例の構成図である。
動画メタデータ付与部３００の映像データ入力部３１０は、フレーム画像取得部３１１と、画像特徴ベクトル算出部３１２と、メタデータひな形生成部３１３とに加えて、付与区間検出部３１４が設けられている。

映像データ入力部３１０は、第１の実施の形態の場合と同様に、メタデータを付与したい分類対象の入力映像Ｉinを動画メタデータ付与部３００へ取り込むための窓口として機能する。

付与区間検出部３１４は、画像特徴ベクトル算出部３１２から、フレーム画像取得部３１１が入力画像Ｉinの時間経過に沿って取得する各フレーム画像の画像特徴ベクトルの算出結果が供給される構成になっている。付与区間検出部３１４は、この画像特徴ベクトル算出部３１２から供給される画像特徴ベクトルの変化の度合いが予め設定されている所定条件に適合したか否かを監視して、類似画像からなるフレーム画像Ｉｆが入力映像Ｉinの時間経過に沿って連続する区間、すなわち画像自身の内容や特徴を説明する情報に関して同じ情報をメタデータとして付与する区間を検出する。

そのため、付与区間検出部３１４は、例えば、画像特徴ベクトル算出部３１２から入力映像Ｉinの時間経過に沿って順次供給される画像特徴ベクトルの算出結果の変化が急激であるならば、入力映像Ｉinにおける意味的なシーン（ショット）が変化したと認識する類似区間認識アルゴリズムや、入力映像Ｉinにおける２つのシーンがフレーム間で切換わるカット点を検出するカット点検出アルゴリズム、等を用いて、入力映像Ｉinにおけるシーンの区切れ（シーンの転換点）を検出する。そして、付与区間検出部３１４は、シーンの区切れを検出すると、例えば、シーンの転換点に該当することを示す情報を、メタデータひな形生成部３１３によって生成された映像データバッファ３４０中のメタデータ格納部３４２に格納されている、このシーンの区切れの始まりに該当するフレームのひな形のメタデータに追加して更新する。

これにより、類似する意味的なシーン（ショット）が連続する類似区間に該当する、連続した複数のフレーム画像それぞれを対象に、換言すれば，あるシーンの転換点から次のシーンの転換点までの区間を形成するフレーム画像Ｉfそれぞれを対象に、後述のメタデータ付与部３３０及び画像データベース検索部３２０によって、映像自身の内容や特徴を説明するための同じキーワードｋｗを付与することが可能になっている。そのため、映像データバッファ３４０中のメタデータ格納部３４２には、この付与区間検出部３１４によって、事前に同じキーワードｋｗを付与するフレーム画像の区間が定義できるようになっている。

具体的には、動画メタデータ付与部３００では、ある１つのフレーム画像Ｉf_iが、入力映像Ｉinの形成順（入力映像Ｉinの時間経過）で隣り合うその前・後のフレーム画像Ｉf_i-1，Ｉf_i+1と全く類似関係にない場合は、付与区間検出部３１４によって、このある１つのフレーム画像Ｉf_iに対して１対１に対応した１つの付与区間が与えられることなる。この場合、このある１つのフレーム画像Ｉf_iに対応するメタデータには、シーンの転換点に該当することを示す情報が追加され、次の後のフレーム画像Ｉf_i+1に対応するメタデータにも、シーンの転換点に該当することを示す情報が追加されて、このある１つのフレーム画像Ｉf_iが１対１に対応した１つの付与区間が与えられることになる。

本実施の形態の映像データバッファ３４０は、図１３に示した映像データバッファ３４０と同様に、入力映像Ｉinの形成順（入力映像Ｉinの時間経過）に沿ってフレーム画像毎の算出した画像特徴ベクトルＦｖが格納される画像特徴ベクトル格納部３４１，入力映像Ｉinの内容や特徴を説明する情報を入力映像Ｉinのフレーム単位で埋め込むためのひな形のメタデータが入力映像Ｉinのフレーム画像Ｉfに対応付けて格納されるメタデータ格納部３４２，及び入力映像Ｉinの映像データをそのまま一時保存する映像データ格納部３４３が形成されている。

さらに本実施の形態では、ひな形のメタデータが格納されるメタデータ格納部３４２は、さらに、同じキーワードｋｗを付与するフレーム画像の区間を示すためのシーンの転換点に該当することを示す情報が、付与区間検出部３１４によってシーンの転換点に該当するフレーム画像に対応したひな形のメタデータに追加されて更新されるようになっている点が、図１３に示した映像データバッファ３４０の場合と異なる。

図２０は、本実施の形態に係るメタデータ付与装置の、動画メタデータ付与部におけるメタデータ付与部の実施例の構成図である。
メタデータ付与部３３０は、図１４に示した第１の実施の形態に係るメタデータ付与装置のメタデータ付与部３３０と同様に、画像特徴ベクトル読込部３３１と、メタデータ書込部３３２とが備えられているとともに、さらに、メタデータ読込部３３３，キーワードバッファ３３４，及びキーワード決定部３３５が追加して備えられている。

メタデータ読込部３３３は、映像データバッファ３４０中のメタデータ格納部３４２に格納されている、同じキーワードｋｗを付与するメタデータ付与区間を示すためのシーンの転換点に該当することを示す情報に基づいて、フレーム毎のひな形としてのメタデータを、入力映像Ｉinの形成順（入力映像Ｉinの時間経過）に沿って、メタデータ付与区間毎に分けて読み込む。

メタデータ読込部３３３は、１つのメタデータ付与区間を形成する１又は複数のフレーム画像に対応したひな形のメタデータを読み込む度に、そのメタデータ付与区間における全フレーム画像分のひな形のメタデータを、そのフレーム画像の形成順どおりに、画像特徴ベクトル読込部３３１と、メタデータ書込部３３２とにそれぞれ供給する。

画像特徴ベクトル読込部３３１は、第１の実施の形態の場合とは少し異なり、メタデータ読込部３３３から、あるメタデータ付与区間における全フレーム画像分のメタデータそれぞれが供給されると、このあるメタデータ付与区間の全フレーム画像それぞれに対応する画像特徴ベクトルＦｖ_QUERYを、映像データバッファ３４０の画像特徴ベクトル格納部３４１から全て読み込む。

そして、画像特徴ベクトル読込部３３１は、このあるメタデータ付与区間における全てのフレーム画像それぞれに対応する画像特徴ベクトルＦｖ_QUERYを、入力映像Ｉinにおけるフレーム画像の形成順、すなわちメタデータ付与区間におけるフレーム順に沿って、画像データベース検索部３２０に順次供給する。

画像データベース検索部３２０は、この画像特徴ベクトル読込部３３１からその形成順で供給される、メタデータ付与区間に含まれるフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERYについて、画像データベース２００に格納されている画像特徴ベクトルｆｖの中から、予め定められた所定条件の範囲内で類似している画像特徴ベクトルｆｖ_iと、その画像特徴ベクトルｆｖ_iに対応したキーワード群[ｋｗ]とを検索する。

ここで、この予め定められた所定条件の範囲内で類似している画像特徴ベクトルｆｖ_iとは、その画像特徴ベクトルＦｖ_QUERYの周辺の画像特徴ベクトル空間、すなわちその画像特徴ベクトルＦｖ_QUERYに対して所定距離ｔの範囲内の画像特徴ベクトル空間に指す点が所在する１又は複数の画像特徴ベクトルｆｖ_iである。

図２１は、上述した本実施の形態に係るメタデータ付与装置の、画像データベース検索部によるキーワード取得についての説明図である。
図２１では、あるメタデータ付与区間のフレーム画像の画像特徴ベクトルＦｖ_QUERYとして、説明簡便のため、画像特徴ベクトル読込部３３１から３つの画像特徴ベクトルＦｖ_QUERY(すなわち、Ｆｖ_QUERY1，Ｆｖ_QUERY2，Ｆｖ_QUERY3)が供給されたものとして説明する。

図２１において、図中、十字○印で示した各点は、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2，Ｆｖ_QUERY3それぞれが画像特徴ベクトル空間内で指す点であり、この十字○印の各点を中心とした破線で示された円形の範囲内は、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2，Ｆｖ_QUERY3それぞれに関しての所定距離ｔの範囲内の、画像特徴ベクトル空間内の検索対象領域である。

画像データベース検索部３２０は、例えば、図中で十字○印の点で示した、同じメタデータ付与区間に含まれるフレーム画像の画像特徴ベクトルＦｖ_QUERY（すなわち、Ｆｖ_QUERY1，Ｆｖ_QUERY2，Ｆｖ_QUERY3）毎に、画像データベース２００から、画像特徴ベクトルＦｖ_QUERYに対して所定距離ｔの範囲内の画像特徴ベクトル空間に指す点が所在する画像特徴ベクトルｆｖ_i全てと、その各画像特徴ベクトルｆｖ_iに対応したキーワード群[ｋｗ]とを検索する。

図２１において、黒く塗り潰した黒丸印‘●’の個々の点、又は中抜き丸印‘○’の個々の点は、画像データ収集部１００によって収集され画像データベース２００に格納されているウェブページ上の各画像ｉの画像特徴ベクトルｆｖ_iそれぞれが指す点に該当する。

ここで、例えば、画像データベース検索部３２０が、メタデータ付与区間内に含まれる１つのフレーム画像の画像特徴ベクトルＦｖ_QUERYについて、図１０に示した画像データベース２００から、この画像特徴ベクトルＦｖ_QUERYに対して所定距離ｔの範囲内の画像特徴ベクトル空間内にその指す点が所在する画像特徴ベクトルｆｖ_iを検索し、画像特徴ベクトルｆｖ_１，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅と、この画像特徴ベクトルｆｖ_１，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…それぞれに対応したキーワード群[ｋｗ_a]，[ｋｗ_b， ｋｗ_c， ｋｗ_d]，[ｋｗ_a]，[ｋｗ_d]，[ｋｗ_b，ｋｗ_d] ，…とを取得した場合を想定する。

本実施の形態では、上述したようにして、画像データベース検索部３２０は、画像特徴ベクトルＦｖ_QUERYから所定距離ｔの範囲内の画像特徴ベクトルｆｖ_１，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…、及びこの画像特徴ベクトルｆｖ_１，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…それぞれに対応するキーワード群[ｋｗ_a]，[ｋｗ_b， ｋｗ_c， ｋｗ_d]，[ｋｗ_a]，[ｋｗ_d]，[ｋｗ_b，ｋｗ_d] ，…を画像データベース２００から検索すると、前述した第１の実施の形態とは異なり、この取得したキーワード群[ｋｗ_a]，[ｋｗ_b， ｋｗ_c， ｋｗ_d]，[ｋｗ_a]，[ｋｗ_d]，[ｋｗ_b，ｋｗ_d] ，…から、この画像特徴ベクトルＦｖ_QUERYで表される１つのフレーム画像の内容や特徴を説明する情報としてのキーワード群[ｋｗ]を決定しない構成になっている。

その代わりに、本実施の形態の画像データベース検索部３２０は、キーワードバッファ３３４にメタデータ付与区間に対応して作成されている、図２２に示すようなキーワードテーブル３３４ｔに、今回取得したキーワード群[ｋｗ_a]，[ｋｗ_b， ｋｗ_c， ｋｗ_d]，[ｋｗ_a]，[ｋｗ_d]，[ｋｗ_b，ｋｗ_d] ，…から抽出されたキーワードｋｗ_a，ｋｗ_b，ｋｗ_c，ｋｗ_d，…に対応付けて、そのキーワードｋｗを含む検索結果の画像特徴ベクトルｆｖを追加格納する。

図２２は、キーワードバッファに形成され、画像データベース検索部が検索した画像特徴ベクトル及びそのキーワード群を格納するキーワードテーブルの一実施例を示した図である。

キーワードバッファ３３４には、メタデータ付与区間に対応して、キーワードｋｗの違い (ｋｗ_a，ｋｗ_b，ｋｗ_c， ｋｗ_d，ｋｗ_d，…)別に、それぞれのキーワードｋｗを有する画像特徴ベクトルＦｖ_QUERYの周辺の画像特徴ベクトルｆｖ_i ([ｆｖ_１，ｆｖ₃]，[ｆｖ_１，ｆｖ₃，ｆｖ₅]，[ｆｖ₂]，[ｆｖ₂，ｆｖ₄，，ｆｖ₅，]，[ｆｖ₂₃]，…)を格納するためのキーワードテーブル３３４ｔが形成される。すなわち、このキーワードバッファ３３４のメタデータ付与区間に対応したキーワードテーブル３３４ｔは、そのメタデータ付与区間におけるキーワードｋｗ(ｋｗ_a，ｋｗ_b，ｋｗ_c， ｋｗ_d，ｋｗ_d，…)毎に、そのキーワードｋｗをキーワード群[ｋｗ] に含む画像特徴ベクトルｆｖ_iを格納したヒストグラムとして機能し、キーワードテーブル３３４ｔでは、この画像特徴ベクトルｆｖ_iの数によってメタデータ付与区間内のキーワードｋｗ毎の重み付けがなされる。

キーワード決定部３３５は、図２２で説明したような、キーワードバッファ３３４のキーワードテーブル３３４ｔに格納されている、メタデータ付与区間毎の相異なるキーワードｋｗそれぞれに該当する画像特徴ベクトルｆｖ_iのヒストグラムの一時記憶内容に基づいて、このメタデータ付与区間に含まれる画像特徴ベクトルＦｖ_QUERY全てに対して（例えば、図２１に示すメタデータ付与区間においては、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2，Ｆｖ_QUERY3それぞれに対して）付与するための、共通の映像自身の内容や特徴を説明する情報としてのキーワードｋｗ又はキーワード群[ｋｗ]を、統計処理を用いて決定する。そして、キーワード決定部３３５は、メタデータ付与区間毎に決定した、メタデータ付与区間を形成するフレーム画像それぞれに共通のキーワードｋｗ又はキーワード群[ｋｗ]を、メタデータ書込部３３２に供給する。

キーワード決定部３３５は、上述したメタデータ付与区間毎のフレーム画像全てに関しての共通なキーワードｋｗ及びキーワード群[ｋｗ]の決定を、例えば、対応付けられて格納されている特徴ベクトルｆｖ_iの数が最も多いキーワードｋｗや、対応付けられて格納されている特徴ベクトルｆｖ_iの数が多い上位Ｎ個のキーワードｋｗを抽出して、この抽出した最も多いキーワードｋｗ、又はこの最も多いキーワードｋｗをも含めた上位Ｎ個のキーワードｋｗからなるキーワード群[ｋｗ]を、該当するメタデータ付与区間におけるフレーム画像それぞれに共通のはキーワード群[ｋｗ]として決定する。

メタデータ書込部３３２は、このキーワード決定部３３５から、メタデータ付与区間毎に決定された、そのメタデータ付与区間に含まれるフレーム画像それぞれに共通なキーワード群[ｋｗ]の供給を受ける度に、そのメタデータ付与区間毎におけるフレーム画像それぞれにキーワード群[ｋｗ]を、ひな形のメタデータとの同期をとって、映像データバッファ３４０のメタデータ格納部３４２に格納されている該当メタデータ付与区間のフレーム画像のひな形のメタデータに追加して更新する。

したがって、本実施の形態の場合は、映像データバッファ３４０中の、入力映像Ｉinにおける形成順（入力映像Ｉinの時間経過）に沿ったフレーム画像それぞれのひな形のメタデータにおける、メタデータ付与区間に該当するひな形のメタデータ部分には、第１の実施の形態で説明したように個々のフレーム画像と１対１に対応して決定されたキーワードキーワード群[ｋｗ]ではなく、メタデータ付与区間の複数のフレーム画像に対応して決定された共通なキーワード群[ｋｗ]が追加更新されて、メタデータ付与区間を形成するフレーム画像それぞれで、映像自身の内容や特徴を表す情報が同じになる。そのため、入力映像Ｉinにおける、同じシーンが連続して意味的に連続した区間では、その区間を形成する連続した複数のフレームそれぞれに、メタデータとしてその区間の内容や特徴を表す共通な情報を付与していくことができる。

図２３は、図２０に示した動画メタデータ付与部による動画メタデータ付与処理のフローチャートである。
図２３に示すように、本実施例の動画メタデータ付与部３００は、まず、入力映像Ｉinが供給されると、映像データ入力部３１０は、入力映像Ｉinの映像データがＭＰＥＧ２−ＴＳ等の、ＭＰＥＧ−７やTV-Anytime等といった既存のメタデータが付随している映像データであるか、映像情報だけの映像データであるかの判別を行う(ステップS3010)。映像データ入力部３１０は、入力映像Ｉinの映像データが映像情報だけの映像データである場合は、そのメタデータひな形生成部３１３がメタデータのひな形を作成し(ステップS3020)、これを映像データバッファ３４０のメタデータ格納部３４２に格納しておく(ステップS3030)。また、映像データ入力部３１０は、既存のメタデータが付随している映像データである場合は、そのメタデータひな形生成部３１３は、メタデータのひな形として、その既存のメタデータを映像データバッファ３４０のメタデータ格納部３４２にそのまま格納して展開しておく(ステップS3030)。

そして、映像データ入力部３１０は、そのフレーム画像取得部３１１が入力映像Ｉinの映像データからメタデータを付与するフレーム画像Ｉｆを取得するともに(ステップS3040)、画像特徴ベクトル算出部３１２は、そのフレーム画像の画像特徴を表現する画像特徴ベクトルＦｖを算出し(ステップS3050)、映像データバッファ３４０の画像特徴ベクトル格納部３４１へ算出した画像特徴ベクトルＦｖ（すなわち、画像特徴ベクトルＦｖ_QUERY）を保存する(ステップS3060)。

また、映像データ入力部３１０の付与区間検出部３１４は、画像特徴ベクトル算出部３１２で算出した画像特徴ベクトルＦｖに基づいて、類似区間認識アルゴリズムや、カット点検出アルゴリズム、等を用いて、入力映像Ｉinにおけるシーンの区切れ（シーンの転換点）を検出し、シーンの転換点に該当することを示す情報を、メタデータひな形生成部３１３によって生成された映像データバッファ３４０中のメタデータ格納部３４２に格納されている、このシーンの区切れの始まりに該当するフレームのメタデータ部分に追加して更新することによって、キーワードｋｗの付与区間を定義する(ステップS3062)。

加えて、映像データ入力部３１０は、そのフレーム画像を取得した入力映像Ｉinの映像データ自体も、映像データバッファ３４０の映像データ格納部３４３へ保存する(ステップS3070)。

映像データ入力部３１０は、上述のステップS3040〜S3070で示したフレーム単位の処理を、映像データバッファ３４０中のメタデータ格納部３４２に記憶されている入力映像Ｉinのフレーム全てについて終了するまで(ステップS3100)、繰り返し行う。

その一方で、動画メタデータ付与部３００のメタデータ付与部３３０では、次のような処理を行う。

メタデータ付与部３３０では、そのキーワードバッファ３３４に、図２２で説明したような、画像データベース２００から検索した画像特徴ベクトルｆｖ_i及び該当するキーワードｋｗを対応付けて一時記憶するための、キーワードｋｗの付与区間毎に対応したキーワードテーブル３３４ｔを作成する(ステップS3110)。

メタデータ読込部３３３は、映像データ入力部３１０の付与区間検出部３１４によってシーンの転換点に関する情報が追加更新された映像データバッファ３４０のメタデータ格納部３４２から、メタデータ付与区間を形成する１又は複数のフレーム画像に対応したひな形のメタデータを読み込み、そのメタデータ付与区間における全フレーム画像分のひな形のメタデータを、そのフレーム画像の形成順どおりに、画像特徴ベクトル読込部３３１と、メタデータ書込部３３２とにそれぞれ供給する(ステップS3120)。

画像特徴ベクトル読込部３３１は、そのメタデータ付与区間の全フレーム画像それぞれに対応する画像特徴ベクトルＦｖ_QUERYを、映像データバッファ３４０の画像特徴ベクトル格納部３４１から順番に読み込む(ステップS3130)。

画像データベース検索部３２０は、画像特徴ベクトル読込部３３１からメタデータ付与区間の形成順で供給される、メタデータ付与区間内の１つフレーム画像の画像特徴ベクトルＦｖ_QUERYを取得し、画像データベース２００に格納されている画像特徴ベクトルｆｖの中から、予め定められた所定条件の範囲内で類似している画像特徴ベクトルｆｖ_iそれぞれを検索し、この検索した画像特徴ベクトルｆｖ_iで表される画像の内容や特徴を表す情報としてのキーワード群[ｋｗ]を取得する(ステップS3140)。

画像データベース検索部３２０は、この類似している画像特徴ベクトルｆｖ_iと、各画像特徴ベクトルｆｖ_i毎に取得した、その画像特徴ベクトルｆｖ_iで表される画像の内容や特徴を表す情報としてのキーワードｋｗ又はキーワード群[ｋｗ]に含まれるキーワードｋｗとを、キーワードバッファ３３４に作成されたこのメタデータ付与区間に対応するキーワードテーブル３３４ｔに対応付けて追加格納し、図２２に示すような、キーワードｋｗ毎の、画像データベース２００から検索した画像特徴ベクトルｆｖ_iを示したヒストグラムを作成する(ステップS3150)。

画像特徴ベクトル読込部３３１及び画像データベース検索部３２０では、上述のステップS3140〜S3150で示した画像データベース２００の検索処理が、映像データバッファ３４０中のメタデータ格納部３４２に記憶されている入力映像Ｉinのメタデータ付与区間のフレーム全てについて終了するまで(ステップS3160)、繰り返し行われる。

メタデータ付与部３３０では、メタデータ付与区間のフレーム全てについての画像データベース２００の検索処理を終了すると(ステップS3160)、キーワード決定部３３５が、キーワードバッファ３３４に形成されたこのメタデータ付与区間に対応したキーワードテーブル３３４ｔによる、キーワードｋｗ別の画像特徴ベクトルｆｖ_iのヒストグラムに基づいて、このメタデータ付与区間に付与するキーワードｋｗ又はキーワード群[ｋｗ]を決定する(ステップS3170)。

メタデータ書込部３３２は、この決定されたメタデータ付与区間のキーワードｋｗ又はキーワード群[ｋｗ]をキーワード決定部３３５から受け、映像データバッファ３４０中のメタデータ格納部３４２に格納されている、該当するメタデータ付与区間のフレームのひな形のメタデータに追加して更新する(ステップS3180)。

そして、動画メタデータ付与部３００では、上述のステップS3120〜S3180で示したメタデータ付与区間の処理が、映像データバッファ３４０中のメタデータ格納部３４２に記憶されている入力映像Ｉinのメタデータ付与区間全てについて終了するまで(ステップS3190)、繰り返し行われる。

このようにして、本実施の形態のメタデータ付与装置１０の動画メタデータ付与部３００では、上述した動画メタデータ付与方法により、入力映像Ｉinにおける、同じシーンが連続して意味的に連続した区間では、その区間を形成する連続した複数のフレームそれぞれに、メタデータとしてその区間の内容や特徴を表す共通な情報を付与していくことができる。

また、本実施の形態のメタデータ付与装置１０では、メタデータ付与部３３０の画像データベース検索部３２０は、第１の実施の形態の画像データベース検索部３２０のように、画像特徴ベクトルＦｖ_QUERYで表される１つのフレーム画像についての内容や特徴を説明する情報としてのキーワード群[ｋｗ]を決定しない構成になっている。その理由について、図２１を用いて具体的に説明する。

図２１において、あるメタデータ付与区間のフレーム画像の画像特徴ベクトルＦｖ_QUERYとして、画像特徴ベクトル読込部３３１から３つの画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2，Ｆｖ_QUERY3が供給されている場合を想定する。

仮に、図２１において、黒丸印‘●’の点で表された、画像データベース２００に格納されている各画像特徴ベクトルｆｖ_iは、その対応付けられているキーワード群[ｋｗ]にキーワードｋｗ_fだけしか含まれておらず、同様に中抜き丸印‘○’の点で表された画像データベース２００に格納されている各画像特徴ベクトルｆｖ_iも、その対応付けられているキーワード群[ｋｗ]にキーワードｋｗ_gだけしか含まれていない場合を、想定する。

この場合、動画メタデータ付与部３００、特に画像データベース検索部３２０の構成が第１の実施の形態の動画メタデータ付与部３００、特に画像データベース検索部３２０のように、メタデータ付与区間を考慮せず、個々のフレーム画像と１対１に対応したキーワードｋｗ又はキーワード群[ｋｗ]を決定するものであると、図２１に示すような場合は、同じようなシーンのフレーム画像であっても、換言すれば、映像の内容や特徴を説明するためのメタデータが変化してほしくない部分であっても、メタデータがメタデータ付与区間内のフレーム画像毎に変化してしまう可能性がある。

具体的には、画像特徴ベクトルＦｖ_QUERY1の場合は、例えば、その十字○印で指す点に最も近接している黒丸印‘●’ の点で表された画像特徴ベクトルｆｖ_iのキーワードｋｗ_fが、同様にして、画像特徴ベクトルＦｖ_QUERY2に関しては，最も近接している中抜き丸印‘○’の点で表された画像特徴ベクトルｆｖ_iのキーワードｋｗ_fが、画像特徴ベクトルＦｖ_QUERY3それぞれに関しては、最も近接している黒丸印‘●’ の点で表された画像特徴ベクトルｆｖ_iのキーワードｋｗ_fが、キーワードｋｗとして検索されることになる。

これに対して、本実施の形態のメタデータ付与装置１０における動画メタデータ付与部３００の画像データベース検索部３２０の場合は、ステップS3140，S3150で示した画像データベース２００の検索処理を、入力映像Ｉinのメタデータ付与区間のフレーム画像全てについて行った後、同じ若しくは類似するシーンについてのフレーム画像が連続するメタデータ付与区間を考慮して、このメタデータ付与区間のフレーム全体についての画像データベース２００の検索処理結果に基づいて、メタデータ付与区間のキーワード群[ｋｗ]を決定するので、メタデータがメタデータ付与区間内のフレーム画像毎に変化してしまうことがない。

また、本実施の形態においては、動画メタデータ付与部３００の画像データベース検索部３２０では、メタデータ付与区間に含まれるフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERYについて、画像データベース２００に格納されている画像特徴ベクトルｆｖの中から、予め定められた所定条件の範囲内で類似している画像特徴ベクトルｆｖ_iと、その画像特徴ベクトルｆｖ_iに対応したキーワード群[ｋｗ]とを検索する構成になっている。

そこで、同じメタデータ付与区間に含まれる、相異なるフレーム画像の画像特徴ベクトルＦｖ_QUERYそれぞれについて画像データベース検索部３２０が画像データベース２００を検索して得た画像特徴ベクトルｆｖが重複するような場合、すなわち、同じメタデータ付与区間に含まれる、相異なるフレーム画像それぞれの画像データベース２００を検索するための距離ｔの範囲が互いに重なり合うような場合には、両画像特徴ベクトルＦｖ_QUERYで画像データベース２００から重複して検索される画像特徴ベクトルｆｖに関し、キーワードバッファ３３４の該当するキーワード付与区間のキーワードテーブルに、同じキーワードｋｗに対応して同じ画像特徴ベクトルｆｖが重複して格納されないようにすることによって、所定条件の範囲を決定する距離ｔの大きさ等に基づいたフレーム間での検索対象領域の重複による影響を解消できる。

具体的には、画像データベース検索部３２０が、画像データベース２００からの検索で取得した画像特徴ベクトルｆｖ_iを、同じく取得した対応するキーワード群[ｋｗ]のキーワードｋｗそれぞれに基づいて、キーワードバッファ３３４のメタデータ付与区間のキーワードテーブル３３４ｔに格納する際、既にキーワードテーブル３３４ｔの同じキーワードｋｗに対応して、今回取得した画像特徴ベクトルｆｖ_iは既に格納されているか否かを確認する。そして、画像データベース検索部３２０は、既に格納されている場合には、このキーワードｋｗについてキーワードテーブル３３４ｔへの格納を取り止めたり、既に格納されているキーワードｋｗに上書きして、重複しないように格納する。

＜第２の実施の形態の変形例＞
上述した第２の実施の形態の動画メタデータ付与部３００の画像データベース検索部３２０において、反対に、キーワード付与区間に含まれる形成順が連続したフレーム画像それぞれの画像データベース２００を検索するための距離ｔが小さい場合は、例えば図２４に示した画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2，Ｆｖ_QUERY3それぞれの距離（半径）ｔで規定される所定条件の範囲同士の間に隙間領域が介在し、この隙間領域に指す点が位置する画像データベース２００の画像特徴ベクトルｆｖ_iに対応したキーワード群[ｋｗ]が、キーワード付与区間に含まれるフレーム画像の画像特徴ベクトルＦｖ_QUERY（Ｆｖ_QUERY1，Ｆｖ_QUERY2，Ｆｖ_QUERY3）の決定に反映されない場合が生じるおそれがある。本変形例は、このような連続したフレーム画像の画像特徴ベクトルＦｖ_QUERY（Ｆｖ_QUERY1，Ｆｖ_QUERY2，Ｆｖ_QUERY3）間の隙間領域に所在する画像データベース２００の画像特徴ベクトルｆｖ_iをも、キーワード付与区間に含まれるフレーム画像の画像特徴ベクトルＦｖ_QUERY（Ｆｖ_QUERY1，Ｆｖ_QUERY2，Ｆｖ_QUERY3）の決定に反映できるようにして、キーワード付与区間に含まれるフレーム画像に対してより的確なキーワード群[ｋｗ]を設定できるようにしたものである。

図２４は、本変形例に係るメタデータ付与装置の、画像データベース検索部によるキーワード取得についての説明図である。

本変形例のメタデータ付与装置１０の場合、その動画メタデータ付与部３００の画像データベース検索部３２０の構成が、上述した第２の実施の形態のメタデータ付与装置１０の場合と異なる。

本変形例の画像データベース検索部３２０は、画像特徴ベクトル読込部３３１からその形成順で供給される、メタデータ付与区間に含まれるフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERYについて、メタデータ付与区間内の画像特徴ベクトルＦｖ_QUERY全てをその形成順に一時保持し、メタデータ付与区間内の画像特徴ベクトルＦｖ_QUERYそれぞれの画像特徴ベクトル空間内の指す点（図２４中、十字○印で表された各点）を、対応するフレーム画像それぞれの形成順に通る曲線からなる、メタデータ付与区間内の画像特徴ベクトルＦｖ_QUERYの移動軌跡Ｌを作成する。

したがって、この作成された画像特徴ベクトルＦｖ_QUERYの移動軌跡Ｌの始点は、メタデータ付与区間における形成順が最初のフレーム画像の画像特徴ベクトルＦｖ_QUERY（図２４では、画像特徴ベクトルＦｖ_QUERY1が該当する）が画像特徴ベクトル空間内で指す点になり、移動軌跡Ｌの終点は、メタデータ付与区間における形成順が最後のフレーム画像の画像特徴ベクトルＦｖ_QUERY（図２４では、画像特徴ベクトルＦｖ_QUERY3が該当する）が画像特徴ベクトル空間内で指す点に対応する。

その上で、本変形例の画像データベース検索部３２０は、このメタデータ付与区間内の画像特徴ベクトルＦｖ_QUERYの移動軌跡Ｌに基づいて、画像データベース２００に対する検索対象領域を作成する。本変形例の画像データベース検索部３２０の場合、検索対象領域として、このメタデータ付与区間内の画像特徴ベクトルＦｖ_QUERYの移動軌跡Ｌ上から、予め定められた所定条件（図２４では、距離ｔが該当する）に基づいた検査対象領域を作成する。

画像データベース検索部３２０は、このメタデータ付与区間内の画像特徴ベクトルＦｖ_QUERYの移動軌跡Ｌ上から距離ｔの範囲内の検索対象領域で、画像データベース２００から、その指す点がこの検索対象領域内に所在している画像特徴ベクトルｆｖ_i全てを、このメタデータ付与区間内のフレーム画像の少なくともいずれかと類似する画像特徴ベクトルｆｖとして検索して抽出する。

その上で、画像データベース検索部３２０は、この抽出した画像特徴ベクトルｆｖ_iそれぞれと、この各画像特徴ベクトルｆｖ_iに対応したキーワード群[ｋｗ]とを対応付けて、メタデータ付与部３３０に検索結果として供給する構成になっている。

そして、画像データベース検索部３２０は、図２２に示したキーワードバッファ３３４にメタデータ付与区間に対応して形成されている、キーワードｋｗの違い別に、それぞれのキーワードｋｗを有する画像特徴ベクトルＦｖ_QUERYの周辺の画像特徴ベクトルｆｖ_i を格納するためのキーワードテーブル３３４ｔに、検索した画像特徴ベクトルｆｖ_iそれぞれと、この各画像特徴ベクトルｆｖ_iに対応したキーワード群[ｋｗ]に含まれるキーワードｋｗとを格納していく構成になっている。

なお、このキーワードテーブル３３４ｔに基づいて、キーワード決定部３３５が、上述したメタデータ付与区間毎のフレーム画像全てに関しての共通なキーワード群[ｋｗ]の決定を行う処理及びそのための構成については、本変形例のメタデータ付与装置１０の場合も、上述した第２の実施の形態のメタデータ付与装置１０の場合も同じである。

したがって、本変形例の画像データベース検索部３２０を用いたメタデータ付与装置１０によれば、メタデータ付与区間毎についてのキーワード群[ｋｗ]の決定のために用いる画像特徴ベクトルｆｖ_iの母数が、キーワード付与区間に含まれる形成順が連続したフレーム画像それぞれの画像データベース２００を検索するための所定条件の範囲を規定する距離ｄが小さい場合であっても、メタデータ付与区間内の画像特徴ベクトルＦｖ_QUERYの移動軌跡Ｌに沿って隣り合う画像特徴ベクトルＦｖ_QUERYの範囲同士の間に隙間領域が介在することがないので、その決定のために用いる画像特徴ベクトルｆｖ_i の母数をより多く、合理的に利用することができ、より適切なキーワード群[ｋｗ]の決定ができる。

＜第３の実施の形態＞
本実施の形態のメタデータ付与装置１０は、その動画メタデータ付与部３００が、第２の実施の形態によるメタデータ付与装置１０と同様に、入力映像Ｉinの画像データの中、メタデータを付与する区間を決定し、その付与区間内で適切なメタデータを選定する構成になっている。

図２５は、第３の実施の形態に係るメタデータ付与装置の、画像データベース検索部によるキーワード取得についての説明図である。
図２５において、画像特徴空間に□印の点で指す点が表されている画像特徴ベクトルｆｖ_i それぞれは、それぞれ自身に対応したキーワード群[ｋｗ]にキーワードｋｗ_pを含む、画像データベース２００に格納されている画像特徴ベクトルｆｖ_i それぞれである。また、画像特徴空間に△印の点で指す点が表されている画像特徴ベクトルｆｖ_i それぞれは、それぞれ自身に対応したキーワード群[ｋｗ]にキーワードｋｗ_qを含む、画像データベース２００に格納されている画像特徴ベクトルｆｖ_i それぞれである。

そして、図中、実線又は破線で囲った領域の範囲内に所在する、□印又は△印で指す点が表されている点画像特徴ベクトルｆｖ_iは、メタデータ付与装置１０の動画メタデータ付与部３００における、キーワードバッファ３３４のキーワードテーブル３３４ｔに保持されている画像特徴ベクトルｆｖ_iと等価である。

これにより、メタデータ付与装置１０では、その画像データベース検索部３２０が、キーワードテーブル３３４ｔに蓄積されているキーワードｋｗ_p，ｋｗ_q，…の中で、どのキーワードｋｗ_p，ｋｗ_qがどれほどの確からしさをメタデータ付与区間に対して有するかということが算出できる。

図２５において、×印で示した２つの点は、あるメタデータ付与区間内の２つのフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERY（Ｆｖ_QUERY1，Ｆｖ_QUERY2）を示す。また、実線又は破線で囲った領域は、メタデータ付与区間内の画像特徴ベクトルＦｖ_QUERY（Ｆｖ_QUERY1，Ｆｖ_QUERY2）、又はこれらの移動軌跡Ｌに対する、距離ｔの範囲内の、画像データベース２００に格納された画像特徴ベクトルｆｖ_i の検索対象領域である。

ここでは、図２５(a)において、２つのフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERY（Ｆｖ_QUERY1，Ｆｖ_QUERY2）を有するメタデータ付与区間に付与されるキーワード群[ｋｗ]が、キーワードｋｗ_pを含むものであるか、キーワードｋｗ_qを含むものであるかを判別するものとして説明する。

このような場合における、メタデータ付与区間に付与されるキーワード群[ｋｗ]としての唯一のキーワードｋｗの判定の仕方としては、
まず、各画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2毎に対応したキーワード群[ｋｗ]としての唯一のキーワードｋｗの判定方法として、第１の実施の形態のメタデータ付与装置１０の動画メタデータ付与部３００のように、
(1-1) 図１５で説明したように、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2それぞれの×印で示した画像特徴空 間内の指す点に対して、最も近接する画像データベース２００に格納された画像特徴ベクトルｆｖ_i のキーワードｋｗを取得して判定する方法、
(1-2) 図１６で説明したように、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2それぞれの×印で示した画像特徴空間内の指す点を中心に所定距離ｔの範囲内の検索対象領域に所在する、画像データベース２００に格納された画像特徴ベクトルｆｖ_i の中で、最も多数の、又は上位Ｎ個の画像特徴ベクトルｆｖ_iが有するキーワードｋｗを取得して判定する方法、
がある。

また、各画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2がそれぞれ表すフレーム画像を含むメタデータ付与区間に付与される唯一のキーワードｋｗの判定方法としては、第２の実施の形態のメタデータ付与装置１０の動画メタデータ付与部３００のように、
(2-1) 予めメタデータ付与区間の画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2毎に上記(1-1)，(1-2)で述べた判定方法によって取得したキーワードｋｗそれぞれを基にして、画像特徴ベクトルＦｖ_QUERYに付与されている最も数の多いキーワードｋｗや、画像特徴ベクトルの形成順に最も多く連続するキーワードｋｗを判定する方法（すなわち、第２の実施の形態に対する比較例として説明した、「個々のフレーム画像と１対１に対応したキーワードｋｗ又はキーワード群[ｋｗ]を予め決定しておき、利用する」判定方法）、
(2-2) 第２の実施の形態のように、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2それぞれの×印で示した画像特徴空間内の指す点を基に、メタデータ付与区間内の画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2を総合したメタデータ付与区間のための検索対象領域を設定し、この検索対象領域に所在する、画像データベース２００に格納された画像特徴ベクトルｆｖ_i の中で、最も多数の画像特徴ベクトルｆｖ_iが有するキーワードｋｗを取得して判定する方法、
がある。

さらに、前記(2-2)のメタデータ付与区間に付与される唯一のキーワードｋｗの判定方法における、メタデータ付与区間のための検索対象領域としては、
(3-2) 図２１を用いて説明した第２の実施の形態のような、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2それぞれの×印で示した画像特徴空間内の指す点を中心に所定距離ｔの範囲内の検索対象領域同士を合わせた論理和からなる領域を検索対象領域、
(3-2) 図２４を用いて説明した第２の実施の形態の変形例のような、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2それぞれの×印で示した画像特徴空間内の指す点を基に、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2がそれぞれ表すフレーム画像の移動軌跡Ｌを作成し、この移動軌跡Ｌから所定距離ｔの範囲内の検索対象領域、
がある。

ここで、図２５(a)に示した、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2にあっては、メタデータ付与装置１０が、これら画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2がそれぞれ表すフレーム画像を含むメタデータ付与区間に、唯一のキーワードｋｗを付与しようとした場合に、そのキーワードｋｗの判定について、特殊ケースとして、次のような問題点が生じる。

・例えば、メタデータ付与区間に付与する唯一のキーワードｋｗの判定方法として前記(2-1)の方法を用い、その画像特徴ベクトル毎のキーワードの判定方法としては前記(1-1)の方法を用いた場合には、画像特徴ベクトルＦｖ_QUERY1に最も近接する画像データベース２００に格納された画像特徴ベクトルは、△印の点で表される、特定のキーワードｋｗ_qを含む画像特徴ベクトルｆｖ_i になるのに対して、画像特徴ベクトルＦｖ_QUERY2に最も近接する画像データベース２００に格納された画像特徴ベクトルは、□印の点で表される、特定のキーワードｋｗ_pを含む画像特徴ベクトルｆｖ_i になるため、前記(1-1)の方法を用いてメタデータ付与区間に付与する唯一のキーワードｋｗを判定できない。これは、メタデータ付与区間に含まれる２つにフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2それぞれに対して、キーワードｋｗ_q，ｋｗ_pが同じように近接しているため、メタデータ付与区間に付与するキーワードｋｗとしては、キーワードｋｗ_q，ｋｗ_pいずれも確からしいことによるものである。

・例えば、メタデータ付与区間に付与される唯一のキーワードｋｗの判定方法として前記(2-1)の方法を用い、さらに、その画像特徴ベクトル毎のキーワードの判定方法としては前記(1-2)を用いた場合には、画像特徴ベクトルＦｖ_QUERY1に対して所定距離ｔの範囲内にある画像データベース２００に格納された画像特徴ベクトルｆｖ_i は、キーワードｋｗ_qに対応した△印の点を指す画像特徴ベクトルｆｖ_iの数が“３”、キーワードｋｗ_pに対応した△印の点を指す画像特徴ベクトルｆｖ_iの数が“３”になり、同様に、画像特徴ベクトルＦｖ_QUERY2に対して所定距離ｔの範囲内にある画像データベース２００に格納された画像特徴ベクトルｆｖ_i も、キーワードｋｗ_qに対応した△印の点を指す画像特徴ベクトルｆｖ_iの数が“３”、キーワードｋｗ_pに対応した△印の点を指す画像特徴ベクトルｆｖ_iの数が“３”になるため、前記(1-2)の方法を用いてメタデータ付与区間に付与する唯一のキーワードｋｗを判定できない。これは、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2いずれとも、その所定距離ｔの範囲内に、キーワードｋｗ_qを含む画像特徴ベクトルｆｖ_i ，及びｋｗ_pを含む画像特徴ベクトルｆｖが同数あるため、メタデータ付与区間に付与するキーワードｋｗとしては、キーワードｋｗ_q，ｋｗ_pいずれも確からしいことによるものである。

・例えば、メタデータ付与区間に付与される唯一のキーワードｋｗの判定方法として前記(2-1)の方法を用いた場合には、画像特徴ベクトルＦｖ_QUERY1，Ｆｖ_QUERY2がそれぞれ表すフレーム画像の移動軌跡Ｌから所定距離ｔの範囲内の検索対象領域には、キーワードｋｗ_qに対応した△印の点を指す画像特徴ベクトルｆｖ_iの数が“９”、キーワードｋｗ_pに対応した△印の点を指す画像特徴ベクトルｆｖ_iの数も“９”になるため、前記(2-1)の方法では、メタデータ付与区間に付与する唯一のキーワードｋｗを判定できない。これは、キーワードｋｗ_qを含む画像特徴ベクトルｆｖ_i ，ｋｗ_pを含む画像特徴ベクトルｆｖが同数あるため、メタデータ付与区間に付与するキーワードｋｗとしては、キーワードｋｗ_q，ｋｗ_pいずれも確からしいことによるものである。

このような特殊ケースの場合は、上述した(1-1)，(1-2)，(2-1)，(2-2)，(3-1)，(3-2)のような、画像特徴ベクトル空間内で画像特徴ベクトルＦｖ_QUERYが指す点を中心にした所定距離ｄ，ｔの範囲内に所在する、画像データベース２００に格納されている画像特徴ベクトルｆｖ及びこの特徴ベクトルｆｖに対応するキーワード群[ｋｗ]についての検索結果だけでは、メタデータ付与区間に付与する唯一の、又は厳選された複数のキーワードｋｗの判定が行えない。

本実施の形態のメタデータ付与装置１０は、画像データ収集部１００によってウェブ上から収集された多数の画像ｉが格納されている画像データベース２００から、入力映像Ｉinのメタデータ付与区間毎に、唯一の又は厳選された複数の適確なキーワードｋｗを映像自身の内容又は特徴を説明する情報としてそのメタデータに付与する場合に、検索されたキーワードｋｗ毎に、自身のキーワード群[ｋｗ]にこの検索されたキーワードｋｗを含む画像特徴ベクトルｆｖの画像特徴ベクトル空間内全体での分布状況を参考にして、メタデータ付与区間に含まれるフレーム画像それぞれに付与する唯一又は厳選された複数のキーワードｋｗとしての適性を考慮するようにしたメタデータ付与装置１０である。

<共通する構成、相違する構成>
本実施の形態のメタデータ付与装置１０は、その概略構成レベルに関して、図１に示した第１，第２の実施の形態のメタデータ付与装置１０の概略構成と変わることはない。そして、その画像データ収集部１００の構成についても、図２，図６又は図８に示した前述した第１，第２の実施の形態の画像データ収集部１００の構成と同じである。

本実施の形態のメタデータ付与装置１０では、その動画メタデータ付与部３００の構成が、その概略構成レベルに関しては図１２に示した前述した第１，第２の実施の形態の動画メタデータ付与部３００の構成と変わることはないが、その各部の構成が、上記した課題の関係から、一部異なるようになっている。また、この動画メタデータ付与部３００の各部の構成変化に伴い、画像データベース２００も画像データ収集部１００によって取得されたウェブページ上の画像ｉの画像特徴ベクトルｆｖ_iとキーワードｋｗとの格納対応付けの仕方も異なるようになっている。

そのため、本実施の形態によるメタデータ付与装置１０を説明するに当たっては、前述した第１の実施の形態のメタデータ付与装置１０との相違部分についてのみ説明し、同一及び同様な部分については、同一符号を付し、その詳細な説明は省略する。

<画像データベース>
画像データベース２００は、本実施の形態では、図１０に示したような、画像特徴ベクトルｆｖ₁，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…と、タグ情報取得部１４０，ページ構成解析部１５０，又は画像内データ取得部１６０によって取得されたウェブページ上の画像ｉ₁，ｉ₂，ｉ₃，ｉ₄，ｉ₅，…それぞれに対応したキーワード群[ｋｗ_a]，[ｋｗ_b， ｋｗ_c， ｋｗ_d]，[ｋｗ_a]，[ｋｗ_d]，[ｋｗ_b，ｋｗ_d]，…とが、互いに対応付けられ、記録保持されたデータ保持構成に代え、図２２に示したメタデータ付与部３３０のキーワードバッファ３３４と同様な図２６に示す如くの、画像データ収集部１００によって取得されたウェブページ上の画像ｉ₁，ｉ₂，ｉ₃，ｉ₄，ｉ₅，…全てを対象に、取得したキーワードｋｗの違い (ｋｗ_a，ｋｗ_b，ｋｗ_c， ｋｗ_d，ｋｗ_d，…)別に、それぞれのキーワードｋｗを自身のキーワード群[ｋｗ]に含む、ウェブページ上の画像ｉ₁，ｉ₂，ｉ₃，ｉ₄，ｉ₅，…の画像特徴ベクトルｆｖ₁，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…が互いに対応付けられ、記録保持されたデータ保持構成になっている。

図２６は、本実施の形態に係るメタデータ付与装置の、画像データベースに保持される画像特徴ベクトルとキーワード群との対応関係の説明図である。

また、画像データベース２００には、入力映像Ｉinと類似する画像ｉの類似判別の際に同じ画像特徴ベクトルｆｖ_iについての入力映像Ｉinとの類似性判別作業の重複作業を避けて検索効率の向上をはかるため、画像データ収集部１００によって取得されたウェブページ上の画像取得した画像ｉそれぞれの画像特徴ベクトルｆｖ₁，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…の一覧も格納された構成になっている。

このように、図２２に示したキーワードバッファ３３４とメタデータ付与部３３０と同様な、キーワードｋｗ毎にウェブページ上の画像ｉ₁，ｉ₂，ｉ₃，ｉ₄，ｉ₅，…の画像特徴ベクトルｆｖ₁，ｆｖ₂，ｆｖ₃，ｆｖ₄，ｆｖ₅，…を対応付けた画像データベース２００の構成によれば、いずれかのキーワードｋｗを指定することによって、そのキーワードｋｗを自身のキーワード群[ｋｗ]に含む画像特徴ベクトルｆｖそれぞれと、その画像特徴ベクトルｆｖの総数（そのキーワードｋｗを有する画像ｉの総数Ｎx）と引き出せる構成になっている。

<動画メタデータ付与部>
図２７は、本実施の形態に係るメタデータ付与装置の、動画メタデータ付与部におけるメタデータ付与部の実施例の構成図である。
メタデータ付与部３３０は、図２０に示した第２の実施の形態に係るメタデータ付与装置のメタデータ付与部３３０と同様に、画像特徴ベクトル読込部３３１と、メタデータ書込部３３２と、メタデータ読込部３３３と、キーワードバッファ３３４と、キーワード決定部３３５とが備えられているとともに、さらに、領域決定部３３６，及び制御部３３７が追加して備えられている。

また、画像データベース検索部３２０は、キーワードリスト取得部３２１と、画像特徴ベクトル数取得部３２２とを有する構成になっている。

領域決定部３３６は、画像特徴ベクトル読込部３３１からその形成順で供給される、メタデータ付与区間のフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERYを基に、メタデータ付与区間毎に、そのフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERYそれぞれについて画像データベース２００から類似する画像特徴ベクトルｆｖを抽出するための画像特徴ベクトル空間内の範囲、すなわち検索対象領域を決定する。

本実施の形態では、領域決定部３３６は、この検索対象領域の決定を、前述した第２の実施の形態の変形例では画像データベース検索部３２０が前記(3-2)の方法を用いて行っていた、メタデータ付与区間内のフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERYの移動軌跡Ｌの作成と、この移動軌跡Ｌから所定距離ｔの範囲内の算出とに基づいて、図２４を用いて説明したようにして行う構成になっている。

領域決定部３３６は、メタデータ付与区間毎に、このメタデータ付与区間内のフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERYの移動軌跡Ｌから所定距離ｔの範囲内からなる、画像特徴ベクトル空間内における検索対象領域の領域決定データを、制御部３３７に供給する。

制御部３３７は、領域決定部３３６からメタデータ付与区間毎に対応した、画像特徴ベクトル空間内における検索対象領域の領域決定データの供給を受け、メタデータ付与区間毎に、画像データベース検索部３２０が、その対応する領域決定データにより規定された画像特徴ベクトル空間内の検索対象領域内で、このメタデータ付与区間内のフレーム画像の少なくともいずれかと類似する画像特徴ベクトルｆｖの検索を行うのを実行制御する。

そして、制御部３３７は、この画像データベース検索部３２０による検索結果を受け、キーワードバッファ３３４への格納制御を行う。

画像データベース検索部３２０は、キーワードリスト取得部３２１と、画像特徴ベクトル数取得部３２２との、２つの検索部を有する。
画像データベース検索部３２０のキーワードリスト取得部３２１は、制御部３３７からメタデータ付与区間毎に対応した画像特徴ベクトル空間内の検索対象領域の領域決定データの供給を受け、画像データベース２００から、この検索対象領域内にその指す点が所在する画像特徴ベクトルｆｖ全てを抽出するとともに、この抽出した全ての画像特徴ベクトルｆｖそれぞれを基に、全ての画像特徴ベクトルｆｖの中のいずれかの画像特徴ベクトルｆｖのキーワード群[ｋｗ]に含まれるキーワードｋｗ全てを取得する。そして、キーワードリスト取得部３２１は、この取得したキーワードｋｗ全てを制御部３３７に供給し、制御部３３７は、図２８に示すようなキーワードテーブル３３４ｔに、今回取得したキーワードｋｗを展開する。

一方、画像データベース検索部３２０の画像特徴ベクトル数取得部３２２は、キーワードリスト取得部３２１による、検索対象領域内から抽出した全ての画像特徴ベクトルｆｖそれぞれと、この抽出した全ての画像特徴ベクトルｆｖの中のいずれかの画像特徴ベクトルｆｖのキーワード群[ｋｗ]に含まれるキーワードｋｗ全てを基に、この抽出したキーワードｋｗ毎に、このキーワードｋｗを自身のキーワード群[ｋｗ]に含む今回取得された画像特徴ベクトルｆｖの検索総数、すなわちこのキーワードｋｗを自身のキーワード群[ｋｗ]に含んで検索対象領域内にその指す点が所在する画像特徴ベクトルｆｖの検索総数‘count_x’と、このキーワードｋｗを自身のキーワード群[ｋｗ]に含む画像特徴ベクトル空間内の画像特徴ベクトルｆｖの検索対象総数‘Ｎ_x’とを、図２６に示した画像データベース２００の対応するキーワードｋｗについての格納データに基づいて算出する。

そして、画像特徴ベクトル数取得部３２２は、キーワードｋｗ毎の、このキーワードｋｗを自身のキーワード群[ｋｗ]に含む検索対象領域内にその指す点が所在する画像特徴ベクトルｆｖの検索総数‘count_x’、及びこのキーワードｋｗを自身のキーワード群[ｋｗ]に含む画像特徴ベクトル空間内の画像特徴ベクトルｆｖの検索対象総数‘Ｎ_x’を制御部３３７に供給し、制御部３３７は、図２８に示すようなキーワードテーブル３３４ｔに、その展開されたキーワードｋｗに対応させて追加格納する。

図２８は、キーワードバッファに形成され、画像データベース検索部が検索した画像特徴ベクトル及びそのキーワード群を格納するキーワードテーブルの一実施例を示した図である。

キーワードバッファ３３４のキーワードテーブル３３４ｔには、メタデータ付与区間に対応して、画像データベース検索部３２０のキーワードリスト取得部３２１によって取得されて展開されたキーワードｋｗの違い (ｋｗ_a，ｋｗ_b，ｋｗ_c， ｋｗ_d，ｋｗ_d，…)別に、画像データベース検索部３２０の画像特徴ベクトル数取得部３２２によって取得された、そのキーワードｋｗを自身のキーワード群[ｋｗ]に含む検索対象領域内にその指す点が所在する画像特徴ベクトルｆｖの検索総数‘count_x’と、そのキーワードｋｗを自身のキーワード群[ｋｗ]に含む画像特徴ベクトル空間内の画像特徴ベクトルｆｖの検索対象総数‘Ｎ_x’ とが、対応付けられて格納されている。

キーワード決定部３３５は、あるメタデータ付与区間に関して、画像データベース検索部３２０のキーワードリスト取得部３２１によって取得したキーワードｋｗのキーワードテーブル３３４ｔへの展開が終了し、かつ画像特徴ベクトル数取得部３２２によってこの展開されたキーワードｋｗそれぞれについての画像特徴ベクトルｆｖの検索総数‘count_x’と検索対象総数‘Ｎ_x’ とがキーワードテーブル３３４ｔに格納されると、キーワードｋｗの適切度合い‘prob_x’を算出する。

キーワード決定部３３５は、キーワードｋｗの適切度合い‘prob_x’を、キーワードバッファ３３４のこのメタデータ付与区間に対応するキーワードテーブル３３４ｔのキーワードｋｗそれぞれについて、その画像特徴ベクトルｆｖの検索総数‘count_x’を検索対象総数‘Ｎ_x’で除した値として算出する。
prob_x ＝ count_x ／ Ｎ_x

そして、キーワード決定部３３５は、キーワードバッファ３３４のこのメタデータ付与区間に対応するキーワードテーブル３３４ｔのキーワードｋｗ全てについて、キーワードｋｗそれぞれについてのキーワードｋｗの適切度合い‘prob_x’の算出を完了したならば、このメタデータ付与区間に含まれるフレーム画像それぞれに共通なキーワード群[ｋｗ]として決定する構成になっている。

この場合、キーワード決定部３３５は、キーワードテーブル３３４ｔのキーワードｋｗそれぞれについて算出したキーワードｋｗの適切度合い‘prob’の値を比較し、最も適切度合い‘prob’ の値が高いキーワードｋｗ、又は適切度合い‘prob’ の値が上位Ｎ個のキーワードｋｗからなるキーワード群[ｋｗ]を、該当するメタデータ付与区間におけるフレーム画像それぞれに共通のキーワード群[ｋｗ]として決定する。

したがって、本実施の形態の場合は、図２５(a)に示した、前述の (1-1)，(1-2)，(2-1)，(2-2)，(3-1)，(3-2)のような、画像特徴ベクトル空間内で画像特徴ベクトルＦｖ_QUERYが指す点を中心にした所定距離ｄ，ｔの範囲内に所在する、画像データベース２００に格納されている画像特徴ベクトルｆｖ及びこの特徴ベクトルｆｖに対応するキーワード群[ｋｗ]についての検索結果だけでは、メタデータ付与区間に付与する唯一の、又は厳選された複数のキーワードｋｗの判定が行えない場合であっても、メタデータ付与区間に付与するキーワードｋｗを決定することができる。

すなわち、キーワードｋｗそれぞれをキーワード群[ｋｗ]に含む画像特徴ベクトルｆｖそれぞれの画像特徴ベクトル空間内全体での分布状況を基にした、メタデータ付与区間を表すキーワードｋｗとしての確からしさ、すなわち適切度合い‘prob’ の値から、メタデータ付与区間に付与するキーワードｋｗを決定することができる。

具体的には、図２５(a)に示したメタデータ付与区間内の２つのフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERY（Ｆｖ_QUERY1，Ｆｖ_QUERY2）の状況にあっても、図２５(ｂ)，(ｃ) に示すように、この場合は、□印の点で表されるキーワードｋｗ_pを含む画像特徴ベクトルｆｖ_i 、及び△印の点で表されるキーワードｋｗ_qを含む画像特徴ベクトルｆｖ_i毎に分離した状態で、キーワードｋｗ_q，ｋｗ_pそれぞれについて適切度合い‘prob’を求め、メタデータ付与区間に付与する唯一のキーワードｋｗを決定することができる。

例えば、図２５(ｂ) に示すように、□印の点で表されるキーワードｋｗ_pについては、検索総数‘count_xp’は‘９’、検索対象総数‘Ｎ_xP’は‘１６’ 、適切度合い‘prob’ は‘９／１６’になり、図２５(ｃ) に示すように、△印の点で表されるキーワードｋｗ_qについては、検索総数‘count_xq’は‘９’、検索対象総数‘Ｎ_xq’は‘１２’ 、適切度合い‘prob’ は‘９／１２’になり、△印の点で表されるキーワードｋｗ_qを唯一のキーワードｋｗとして決定することになる。

図２９は、図２７に示した動画メタデータ付与部による動画メタデータ付与処理のフローチャートである。
なお、本実施例の動画メタデータ付与部３００において、その映像データ入力部３１０が入力映像Ｉinに対して行う各処理は、図２３に示した、第２の実施の形態のメタデータ付与装置１０における動画メタデータ付与部３００の映像データ入力部３１０によるステップS3010〜S3100の処理と同様なので、図２９においては同一符号ステップS3010〜S3100を付し、各処理の説明は省略する。

図２９において、動画メタデータ付与部３００では、その映像データ入力部３１０ が入力映像Ｉinに対するステップS3010〜S3100に示す映像入力処理を行う一方で、メタデータ付与部３３０では、次のような処理を行う。

メタデータ付与部３３０では、そのキーワードバッファ３３４に、図２２で説明したような、画像データベース２００から検索した画像特徴ベクトルｆｖ_i及び該当するキーワードｋｗを対応付けて一時記憶するための、キーワードｋｗの付与区間毎に対応したキーワードテーブル３３４ｔを作成する(ステップS3110)。

メタデータ読込部３３３は、映像データ入力部３１０の付与区間検出部３１４によってシーンの転換点に関する情報が追加更新された映像データバッファ３４０のメタデータ格納部３４２から、メタデータ付与区間を形成する１又は複数のフレーム画像に対応したひな形のメタデータを読み込み、そのメタデータ付与区間における全フレーム画像分のひな形のメタデータを、そのフレーム画像の形成順どおりに、画像特徴ベクトル読込部３３１と、メタデータ書込部３３２とにそれぞれ供給する(ステップS3120)。

画像特徴ベクトル読込部３３１は、そのメタデータ付与区間の全フレーム画像それぞれに対応する画像特徴ベクトルＦｖ_QUERYを、映像データバッファ３４０の画像特徴ベクトル格納部３４１から読み込む(ステップS3132)。

領域決定部３３６は、画像特徴ベクトル読込部３３１からその形成順で供給される、メタデータ付与区間のフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERYを基に、メタデータ付与区間毎に、例えば図２５(a)に示すような、このメタデータ付与区間内のフレーム画像それぞれの画像特徴ベクトルＦｖ_QUERYの移動軌跡Ｌから所定距離ｔの範囲内からなる、画像特徴ベクトル空間内における検索対象領域Ｄを決定し、この制御部３３７に供給する(ステップS3134)。

画像データベース検索部３２０のキーワードリスト取得部３２１は、制御部３３７からメタデータ付与区間毎に対応した画像特徴ベクトル空間内の検索対象領域の領域決定データの供給を受け、画像データベース２００から、この検索対象領域内にその指す点が所在する画像特徴ベクトルｆｖ全てを抽出するとともに、この抽出した全ての画像特徴ベクトルｆｖそれぞれを基に、全ての画像特徴ベクトルｆｖの中のいずれかの画像特徴ベクトルｆｖのキーワード群[ｋｗ]に含まれるキーワードｋｗ全てを取得する。そして、キーワードリスト取得部３２１は、この取得したキーワードｋｗ全てを制御部３３７に供給し、制御部３３７は、図２８に示すようなキーワードテーブル３３４ｔに、今回取得したキーワードｋｗを展開する(ステップS3142)。

そして、画像データベース検索部３２０の画像特徴ベクトル数取得部３２２は、画像データベース検索部３２０が取得したキーワードｋｗ全ての中で、後述するステップS3152，S3154，S3156の処理を行ったキーワードｋｗの数を計数するためのカウンタｊの値をリセットする(ステップS3144)。

その上で、画像特徴ベクトル数取得部３２２は、この抽出した全ての画像特徴ベクトルｆｖの中のいずれかの画像特徴ベクトルｆｖのキーワード群[ｋｗ]に含まれるキーワードｋｗ全ての中、カウンタｊの値に対応する順番（この場合の順番は、ｊ+１番目）のキーワードｋｗについて、このキーワードｋｗを自身のキーワード群[ｋｗ]に含む今回取得された画像特徴ベクトルｆｖの検索総数、すなわちこのキーワードｋｗを自身のキーワード群[ｋｗ]に含んで検索対象領域内にその指す点が所在する画像特徴ベクトルｆｖの検索総数‘count_x[j]’と、このキーワードｋｗを自身のキーワード群[ｋｗ]に含む画像特徴ベクトル空間内の画像特徴ベクトルｆｖの検索対象総数‘Ｎ_x[j]’とを、図２６に示した画像データベース２００の対応するキーワードｋｗについての格納データを基づいて算出する(ステップS3152，S3154)。

キーワード決定部３３５は、カウンタｊの値に対応する順番（ｊ+１番目）のキーワードｋｗについて、画像特徴ベクトル数取得部３２２によって算出された画像特徴ベクトルｆｖの検索総数‘count_x[j]’と検索対象総数‘Ｎ_x[j]’ とを基に、このキーワードｋｗの適切度合い‘prob_x[j]’を、
prob_x[j] ＝ count_x[j] ／ Ｎ_x[j]
を演算することによって算出する (ステップS3156)。

そして、画像特徴ベクトル数取得部３２２は、この算出したカウンタｊの値に対応する順番のキーワードｋｗの適切度合い‘prob_x[j]’を制御部３３７に供給し、制御部３３７は、図２８に示すようなキーワードテーブル３３４ｔに、この算出したキーワードｋｗの適切度合い‘prob_x[j]’を追加格納し、 ステップS3152，S3154，S3156の処理を行ったキーワードｋｗの数を計数するためのカウンタｊの値をインクリメントする(ステップS3158)。

その上で、画像特徴ベクトル数取得部３２２は、このカウンタｊの値がステップS3142でキーワードリスト取得部３２１が取得したキーワードｋｗの総数に達しているか否かを判別することによって、このメタデータ付与区間に対応するキーワードテーブル３３４ｔに展開されたキーワードｋｗ全てについて、キーワードｋｗそれぞれについてのキーワードｋｗの適切度合い‘prob_x’の算出を完了したか否かを判別する(ステップS3160)。

そして、画像特徴ベクトル数取得部３２２は、キーワードｋｗの適切度合い‘prob_x’の算出がキーワードｋｗ全てについて未だ完了ししていない場合は、カウンタｊの値に対応する次の順番のキーワードｋｗについて、上述したステップS3152〜S3160の処理を繰り返し行う一方、キーワードｋｗの適切度合い‘prob_x’の算出がキーワードｋｗ全てについて完了している場合は、キーワード決定部３３５が、このメタデータ付与区間に含まれるフレーム画像それぞれに共通なキーワード群[ｋｗ]を決定する。

この場合、キーワード決定部３３５は、キーワードテーブル３３４ｔのキーワードｋｗそれぞれについて算出したキーワードｋｗの適切度合い‘prob_x’の値を比較し、最も適切度合い‘prob_x’ の値が上位Ｎ個のキーワードｋｗからなるキーワード群[ｋｗ]を、該当するメタデータ付与区間におけるフレーム画像それぞれに共通のキーワード群[ｋｗ]として決定する(ステップS3160)。

メタデータ書込部３３２は、この決定されたキーワード群[ｋｗ]をキーワード決定部３３５から受け、映像データバッファ３４０中のメタデータ格納部３４２に格納されている、該当するメタデータ付与区間のフレームのひな形のメタデータに追加して更新する(ステップS3180)。

そして、動画メタデータ付与部３００では、上述のステップS3110〜S3180で示したメタデータ付与区間の処理が、映像データバッファ３４０中のメタデータ格納部３４２に記憶されている入力映像Ｉinのメタデータ付与区間全てについて終了するまで(ステップS3190)、繰り返し行われる。

このようにして、本実施の形態のメタデータ付与装置１０の動画メタデータ付与部３００では、上述した動画メタデータ付与方法により、入力映像Ｉinにおける、同じシーンが連続して意味的に連続した区間では、その区間を形成する連続した複数のフレームそれぞれに、メタデータとしてその区間の内容や特徴を表す共通なより適確な情報を付与していくことができる。

具体的には、画像データベース２００から検索した検査対象領域内にその指す点が所在する各画像特徴ベクトルｆｖに対応付けられたキーワード群[ｋｗ] のそれぞれキーワードｋｗについて、どのキーワードｋｗがメタデータ付与区間どれほどの確からしさを持つかといった、キーワードｋｗの適切度合い‘prob_x’の値が算出できるようになっている。すなわち、図２５ (ｂ)、(ｃ)に示したように、抽出したキーワードｋｗそれぞれについて、検査対象領域内と、検査対象領域外も含む画像特徴ベクトル空間全体とで分離した状態で、抽出したキーワードｋｗそれぞれの画像特徴ベクトル空間における配置上の特徴を比較考慮して、メタデータ付与区間に付与するためのより適確なキーワードｋｗを決定することができる。これにより、抽出したキーワードｋｗ毎の、画像特徴ベクトル空間における偏在についても考慮したキーワード選択を行うことができる。

＜その他の実施の形態＞
ここで、上述した各実施の形態によるメタデータ付与装置１０では、第１の装置機能部分としての、画像データ収集部１００及び画像データベース２００によって構成され、インターネット５０から画像データを収集し、分類対象の映像データにメタデータとして付与するための、映像データ自身の内容や特徴を説明するための情報としてのキーワードｋｗを収集・蓄積する装置機能部分、第２の装置機能部分としての、画像データベース２００及び動画メタデータ付与部３００によって構成され、入力映像Ｉinに、その映像データ自身の内容や特徴を説明する情報として好適なキーワードｋｗを取得してメタデータとして付加し、このメタデータが付与された出力映像データを、出力映像Ｉoutとして映像出力する装置機能部分を、１つのシステムとして説明してきたが、これは第１，第２の装置機能部分、並びに画像データ収集部１００，画像データベース２００，動画メタデータ付与部３００の各部が、１つの場所に内包させられる必要があるということではなく、あくまで説明のためのものである。具体的には、上述した各実施の形態によるメタデータ付与装置１０は、インターネット上のサービスとして一部を独立させる方法、家庭内でサーバークライアントシステムを構築し分離させる方法等にも適用可能である。さらに具体的には、例えば、画像データ収集部１００，画像データベース２００，動画メタデータ付与部３００は多くのユーザが共通的に利用できるデータベースシステムであり、このシステムを例えばウェブサーバー上に構成することも可能である。そして、このようなシステム構成を採用することによって、ユーザが購入する製品のコスト低減、もしくはユーザの所有しているシステムの計算リソースの低減も可能になる。また、ロボットビジョン等、大規模ＨＤＤを持てないシステムにおいても利用できる。

また、放送コンテンツやインターネットで動画像を提供するポータルサイト等、コンテンツを提供する側がこのシステムを利用することも当然考えられる。

そこで、ＭＰＥＧ２−ＴＳに特化した場合のシステム構成について、図３０，図３１に基づき説明する。

図３０は、その他の実施の形態のメタデータ付与装置における、動画メタデータ付与部における映像データ入力部の一実施例の構成図である。

本実施例の映像データ入力部３１０は、放送コンテンツやインターネットでＭＰＥＧ２−ＴＳによる形式の映像が入力映像Ｉinである場合のように、入力映像Ｉinの元々付与されているメタデータにセグメント情報が存在する場合の、動画メタデータ付与部３００における特化した映像データ入力部３１０の構成を示している。本実施例の場合、デマルチプレクサは、入力映像Ｉinのコンテンツデータから、このセグメント情報を含むメタデータ，映像データ，音声データをそれぞれ分離する構成になっている。そのため、本実施例の場合では、図１９に示した映像データ入力部３１０では設けられていた付与区間検出部３１４は必要なく、メタデータ内のセグメント情報を、そのままシーンの転換点に該当することを示す情報として利用することができる。そして、図２０，図２７と同様な構成であるため図示省略したメタデータ付与部３３０では、メタデータ読込部３３３がこのメタデータ内のセグメント情報を取得することに基づいて、データ付与区間の処理を行う構成になっている。

さらに、本実施例の映像データ入力部３１０では、入力映像Ｉinの、元々セグメント情報を含むメタデータが、そのまま映像データバッファ３４０のメタデータ格納部３４２に格納されるため、メタデータひな形生成部３１３を必要としない。
図３１は、その他の実施の形態のメタデータ付与装置における、動画メタデータ付与部における映像データ入力部の別の実施例の構成図である。

本実施例の映像データ入力部３１０は、放送コンテンツやインターネットでＭＰＥＧ２−ＴＳによる形式の映像が入力映像Ｉinである場合であっても、そのメタデータにセグメント情報が存在しない場合の構成を示したものである。

本実施例の映像データ入力部３１０では、セグメント情報以外のメタデータの情報を解析するメタデータ情報解析部３１５、付与区間検出部３１４が備えられ、図１９に示した映像データ入力部３１０と、メタデータひな形生成部３１３を必要としない以外は、ほぼ同じ構成となっている。

そして、上述した各実施の形態で説明したメタデータ付与装置１０それぞれは、コンピュータに対応するメタデータ付与方法を実行させるプログラムを用いれば、ＰＣ等の機器をメタデータ付与装置１０として機能させることも可能である。

以上に説明してきたメタデータ付与装置１０、またメタデータ付与方法を用いて、入力映像Ｉinに対するメタデータ付与を行うことにより、映像−画像−テキスト間でのリンクが同時に形成されるため、クロスメディア変換等、様々なアプリケーションが想定される。

また、テキストとイメージ、動きといった今まで結びつけることが難しかったメディア間の共起関係を構成することもできる。

さらに、このようなリンク関係を用いることで、テキスト間、映像間の類似性も定義することができる。例えば画像に関連付けられているテキストを分析すると、類似性の高いテキストは多くの画像において共有されている。また映像においても、類似性の高い映像はより多くの画像、テキストを持つ。本手法は入力映像Ｉin、特に動画像についてのメタデータ付与にフィーチャーをあてて技術を開示しているが、これによりメタデータ付与以外にも、例えばテキスト−映像相互間の検索装置等に適用することができるのはいうまでもない。

本発明のメタデータ付与装置の概略構成図である。 第１の実施の形態に係るメタデータ付与装置の、画像データ収集部の構成図である。 図２に示した画像データ収集部における画像特徴ベクトル算出部の構成を示すブロック図である。 ＨＴＭＬ文書におけるタグ情報の例についての説明図である。 図２に示した画像データ収集部による画像データ収集処理のフローチャートである。 図２とは別構成の画像データ収集部の変形例の構成図ある。 図７に示した画像データ収集部による画像データ収集処理のフローチャートである。 さらに別の構成からなる画像データ収集部の変形例の構成図ある。 図８に示した画像データ収集部による画像データ収集処理のフローチャートである。 画像データベースのデータ保持構成についての一実施例を示した図である。 画像データベースに保持される画像特徴ベクトルとキーワード群との対応関係の説明図である。 第１の実施の形態に係るメタデータ付与装置の、動画メタデータ付与部の構成図である。 図１２に示した映像データ入力部及び映像データバッファの構成図である。 図１２に示したメタデータ付与部の構成図である。 図１２に示した画像データベース検索部による、画像データベースに格納されている画像特徴ベクトルの検索についての一実施例の説明図である。 画像データベース検索部による画像データベースに格納されている画像特徴ベクトルの検索についての別の実施例の説明図である。 図１２に示した映像データ出力部の一実施例の構成図である。 図９に示した動画メタデータ付与部による動画メタデータ付与処理のフローチャートである。 第２の実施の形態に係るメタデータ付与装置の、動画メタデータ付与部における映像データ入力部の構成図である。 第２の実施の形態に係るメタデータ付与装置の、動画メタデータ付与部におけるメタデータ付与部の実施例の構成図である。 第２の実施の形態に係るメタデータ付与装置の、画像データベース検索部によるキーワードｋｗの取得についての説明図である。 第２の実施の形態に係るメタデータ付与装置の、キーワードバッファに形成され、画像データベース検索部が検索した画像特徴ベクトル及びそのキーワード群を格納するキーワードテーブルの一実施例を示した図である。 図２０に示した動画メタデータ付与部による動画メタデータ付与処理のフローチャートである。 第２の実施の形態の変形例に係るメタデータ付与装置の、画像データベース検索部によるキーワード取得についての説明図である。 第３の実施の形態に係るメタデータ付与装置の、画像データベース検索部によるキーワード取得についての説明図である。 第３の実施の形態に係るメタデータ付与装置の、画像データベースに保持される画像特徴ベクトルとキーワード群との対応関係の説明図である。 第３の実施に係るメタデータ付与装置の、動画メタデータ付与部におけるメタデータ付与部の実施例の構成図である。 第３の実施の形態に係るメタデータ付与装置の、キーワードバッファに形成され、画像データベース検索部が検索した画像特徴ベクトル及びそのキーワード群を格納するキーワードテーブルの一実施例を示した図である。 図２７に示した動画メタデータ付与部による動画メタデータ付与処理のフローチャートである。 その他の実施の形態のメタデータ付与装置における、動画メタデータ付与部における映像データ入力部の一実施例の構成図である。 その他の実施の形態のメタデータ付与装置における、動画メタデータ付与部における映像データ入力部の別の実施例の構成図である。 従来のメタデータ付与システムの構成図である。 従来のメタデータ付与システムの、画像データに対してのメタデータ付与処理のフローチャートである。 従来のメタデータ付与システムの、動画像をも含んだ映像データに対してのメタデータ付与処理のフローチャートである。

符号の説明

１０ メタデータ付与装置、 ５０ インターネット、
１００ 画像データ収集部、 １１０ ページ取得部、
１２０ 画像取得部、 １３０ 画像特徴ベクトル算出部、
１４０ タグ情報取得部、 １５０ ページ構成解析部、
１６０ 画像内データ取得部、 ２００ 画像データベース、
３００ 動画メタデータ付与部、 ３１０ 映像データ入力部、
３１１ フレーム画像取得部、 ３１２ 画像特徴ベクトル算出部、
３１３ メタデータひな形生成部、 ３１４ 付与区間検出部、
３１５ メタデータ情報解析部、 ３２０ 画像データベース検索部、
３２１ キーワードリスト取得部、 ３２２ 画像特徴ベクトル数取得部、
３３０ メタデータ付与部、 ３３１ 画像特徴ベクトル読込部、
３３２ メタデータ書込部、 ３３３ メタデータ読込部、
３３４ キーワードバッファ、 ３３４ｔ キーワードテーブル、
３３５ キーワード決定部、 ３３６ 領域決定部、
３３７ 制御部、 ３４０ 映像データバッファ、
３４１ 画像特徴ベクトル格納部、 ３４２ メタデータ格納部、
３４３ 映像データ格納部、 ３５０ 映像データ出力部、
３５１ マルチプレクサ、 ９００ メタデータ付与システム、
９１０ ＷＷＷ画像収集システム、 ９２０ データベース、
９３０ 画像分類システム、
９４０ 動画像メタデータ付与装置

Claims (17)

1. 画像の視覚的特徴を表す画像特徴ベクトル、及び画像自身の内容及び特徴を説明するキーワードを収集する画像データ収集部と、
   該画像データ収集部が収集した画像の画像特徴ベクトル及びキーワードを記録する画像データベースと、
   入力映像に対して、映像自身の内容や特徴を説明する情報を入力映像の映像データのメタデータに付与して映像出力する動画メタデータ付与部と、
   を備え、
   前記画像データ収集部は、
   前記画像データベースに記録する画像の画像特徴ベクトル及びキーワードを、ウェブ上の画像データ並びにテキストから収集し、当該収集した画像特徴ベクトル及びキーワードを画像毎に対応付けて前記画像データベースに記録し、
   前記動画メタデータ付与部は、
   入力映像を形成するフレーム画像と、前記画像データベースに記録されている画像との類似性を両者の画像特徴ベクトルの類似性から判断し、前記画像データベースの類似と判断された画像特徴ベクトルに対応付けられたキーワードを、入力映像の映像データにメタデータとして付与して映像出力する
   ことを特徴とするメタデータ付与装置。
2. 前記画像データベースは、
   前記画像データ収集部によって収集された画像の画像特徴ベクトルと、
   当該収集された画像の画像特徴ベクトルに関連付けられているキーワードと
   を対として記録することを特徴とする請求項１記載のメタデータ付与装置。
3. 前記画像データベースは、
   前記画像データ収集部によって収集された画像のキーワードと、
   当該収集されたキーワードに関連付けられている画像の画像特徴ベクトルと
   を対として記録することを特徴とする請求項１記載のメタデータ付与装置。
4. 分類対象として入力された入力映像の映像データに、画像データベースから当該入力映像の内容や特徴を説明するキーワードを取得して、メタデータとして付与して映像出力するメタデータ付与装置であって、
   分類対象の入力映像の映像データを取り込む映像データ入力部と、
   該映像データ入力部によって取り込まれた入力映像の映像データを一時記録しておく映像データバッファと、
   前記画像データベースに画像毎に記録されている画像特徴ベクトルの中から、該映像データバッファに一時記録された入力映像の連続した又は所定間隔を空けたフレーム画像単位で、当該フレーム画像と類似する前記画像データベースに記録されている画像を両者の画像特徴ベクトルの類似性に基づいて検索し、前記画像データベースに当該類似画像の画像特徴ベクトルに対応付けられて記録されているキーワードを取得する画像データベース検索部と、
   該画像データベース検索部によって検索されたキーワードを、前記映像データバッファに一時記録されている映像データにメタデータとして付与するメタデータ付与部と、
   前記映像データバッファから、該メタデータ付与部によってキーワードがメタデータとして付与された映像データを映像出力する映像出力部と
   を備えていることを特徴とするメタデータ付与装置。
5. 前記画像データベース検索部は、入力映像のフレーム画像と前記画像データベースに画像毎に記録されている画像特徴ベクトルとの類似性を、両者の画像特徴ベクトル間の距離に基づいて判断することを特徴とする請求項４記載のメタデータ付与装置。
6. 分類対象として入力された入力映像の映像データに、画像データベースから当該入力映像の内容や特徴を説明するキーワードを取得して、メタデータとして付与して映像出力するメタデータ付与装置であって、
   分類対象の入力映像の映像データを取り込む映像データ入力部と、
   該映像データ入力部によって取り込まれた入力映像の映像データを一時記録しておく映像データバッファと、
   該映像データ入力部によって取り込まれた入力映像について、当該入力映像の時間経過に沿って連続するフレーム画像に対して共通するキーワードをメタデータとして付与するメタデータ付与区間を検出するメタデータ付与区間検出部と、
   前記画像データベースに画像毎に記録されている画像特徴ベクトルの中から、該映像データバッファに一時記録された入力映像のメタデータ付与区間単位に、当該メタデータ付与区間に含まれるフレーム画像に類似する前記画像データベースに記録されている画像を両者の画像特徴ベクトルの類似性に基づいて検索し、前記画像データベースに当該類似画像の画像特徴ベクトルに対応付けられて記録されているキーワードを取得する画像データベース検索部と、
   該画像データベース検索部によってメタデータ付与区間単位に検索されたキーワードを、前記映像データバッファに一時記録されている映像データの当該メタデータ付与区間に対するメタデータとして付与するメタデータ付与部と、
   前記映像データバッファから、該メタデータ付与部によってメタデータ付与区間単位にキーワードがメタデータとして付与された映像データを映像出力する映像出力部と
   を備えていることを特徴とするメタデータ付与装置。
7. 前記メタデータ付与区間検出部は、
   入力映像の類似度の高い連続シーン毎、カット点毎、又は入力映像の画像データの既存メタデータに含まれている情報に基づいて、メタデータ付与区間を検出する
   ことを特徴とする請求項６記載のメタデータ付与装置。
8. 前記画像データベース検索部は、
   前記メタデータ付与区間検出部によって検出されたメタデータ付与区間中に含まれる全フレーム画像について、類似画像検索によりキーワードを取得する
   ことを特徴とする請求項６記載のメタデータ付与装置。
9. 前記メタデータ付与部は、
   前記画像データベース検索部によってメタデータ付与区間単位に取得されたキーワードの中から、映像データに対して実際にメタデータとして付与するキーワードを、当該キーワードと対応付けられて検索された画像特徴ベクトルの個数に基づいて決定するキーワード決定部
   を有すること特徴とする請求項６記載のメタデータ付与装置。
10. 前記キーワード決定部は、
    メタデータ付与区間中で画像データに対応付けられた頻度の高い上位所定数個のキーワードを、メタデータ付与区間に対して実際にメタデータとして付与するキーワードメタデータとして付与する
    ことを特徴とする請求項９記載のメタデータ付与装置。
11. 前記メタデータ付与部には、前記メタデータ付与区間検出部によって検出されたメタデータ付与区間に含まれる入力映像のフレーム画像が描く画像特徴ベクトル空間の軌跡に基づいて、画像特長ベクトル空間における画像特徴ベクトルの検索対象領域を決定する領域決定部を有し、
    前記キーワード決定部は、
    取得されたキーワード毎に、画像特長ベクトル空間内に存在する対応付けられた画像特徴ベクトルの個数を分母、検索対象領域内に存在する対応付けられた画像特徴ベクトルの個数を分子とし、
    その比率をもってキーワードの確からしさとした上で、
    その値が高い上位所定数個のキーワードを実際にメタデータ付与区間にメタデータとして付与するキーワードとして決定する
    ことを特徴とする請求項９記載のメタデータ付与装置。
12. 前記メタデータ付与部は、
    キーワードをメタデータとして書き込む際には、
    メタデータの付随した入力映像が入力された場合、映像データバッファに付随しているメタデータを展開し、その枠組みに対してキーワードを追記し、
    メタデータが付随していない場合は、該映像データバッファにメタデータのひな形を作成し、作成されたメタデータの枠組みに対してキーワード群を追記する
    ことを特徴とする請求項１記載のメタデータ付与装置。
13. 画像の視覚的特徴を表す画像特徴ベクトル、及び画像自身の内容及び特徴を説明するキーワードを収集する画像データ収集ステップ、
    該画像データ収集ステップによって収集した画像の画像特徴ベクトル及びキーワードを画像データベースに記録する記録ステップ、
    入力映像に対して、映像自身の内容や特徴を説明する情報を入力映像の映像データのメタデータに付与して映像出力する動画メタデータ付与ステップ
    を有し、
    前記画像データ収集ステップは、
    前記画像データベースに記録する画像の画像特徴ベクトル及びキーワードを、ウェブ上の画像データ並びにテキストから収集し、当該収集した画像特徴ベクトル及びキーワードを画像毎に対応付けて前記画像データベースに記録し、
    前記動画メタデータ付与ステップは、
    入力映像を形成するフレーム画像と、前記画像データベースに記録されている画像との類似性を両者の画像特徴ベクトルの類似性から判断し、前記画像データベースの類似と判断された画像特徴ベクトルに対応付けられたキーワードを、入力映像の映像データにメタデータとして付与して映像出力する
    ことを特徴とするメタデータ付与方法。
14. 分類対象として入力された入力映像の映像データに、画像データベースから当該入力映像の内容や特徴を説明するキーワードを取得して、メタデータとして付与して映像出力するメタデータ付与方法であって、
    分類対象の入力映像の映像データを取り込む映像データ入力ステップ、
    該映像データ入力ステップによって取り込まれた入力映像の映像データを映像データバッファに一時記録しておく一時記録ステップ、
    前記画像データベースに画像毎に記録されている画像特徴ベクトルの中から、該映像データバッファに一時記録された入力映像の連続した又は所定間隔を空けたフレーム画像単位で、当該フレーム画像と類似する前記画像データベースに記録されている画像を両者の画像特徴ベクトルの類似性に基づいて検索し、前記画像データベースに当該類似画像の画像特徴ベクトルに対応付けられて記録されているキーワードを取得する画像データベース検索ステップ、
    該画像データベース検索ステップによって検索されたキーワードを、前記映像データバッファに一時記録されている映像データにメタデータとして付与するメタデータ付与ステップ、
    前記映像データバッファから、該メタデータ付与ステップによってキーワードがメタデータとして付与された映像データを映像出力する映像出力ステップ
    を有することを特徴とするメタデータ付与方法。
15. 分類対象として入力された入力映像の映像データに、画像データベースから当該入力映像の内容や特徴を説明するキーワードを取得して、メタデータとして付与して映像出力するメタデータ付与方法であって、
    分類対象の入力映像の映像データを取り込む映像データ入力ステップ、
    該映像データ入力ステップによって取り込まれた入力映像の映像データを映像データバッファに一時記録しておく一時記憶ステップ、
    該映像データ入力ステップによって取り込まれた入力映像について、当該入力映像の時間経過に沿って連続するフレーム画像に対して共通するキーワードをメタデータとして付与するメタデータ付与区間を検出するメタデータ付与区間検出ステップ、
    前記画像データベースに画像毎に記録されている画像特徴ベクトルの中から、該映像データバッファに一時記録された入力映像のメタデータ付与区間単位に、当該メタデータ付与区間に含まれるフレーム画像に類似する前記画像データベースに記録されている画像を両者の画像特徴ベクトルの類似性に基づいて検索し、前記画像データベースに当該類似画像の画像特徴ベクトルに対応付けられて記録されているキーワードを取得する画像データベース検索ステップ、
    該画像データベース検索ステップによってメタデータ付与区間単位に検索されたキーワードを、前記映像データバッファに一時記録されている映像データの当該メタデータ付与区間に対するメタデータとして付与するメタデータ付与ステップ、
    前記映像データバッファから、該メタデータ付与ステップによってメタデータ付与区間単位にキーワードがメタデータとして付与された映像データを映像出力する映像出力ステップ、
    を有していることを特徴とするメタデータ付与方法。
16. コンピュータを、請求項１，４，又は６記載のメタデータ付与装置として機能させるためのプログラム。
17. コンピュータを、請求項１，４，又は６記載のメタデータ付与装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images