JP2005018675A

JP2005018675A - コンテンツ特徴量抽出装置、コンテンツ特徴量抽出プログラムおよびコンテンツ特徴量抽出方法

Info

Publication number: JP2005018675A
Application number: JP2003186112A
Authority: JP
Inventors: Keigo Majima; 恵吾真島; Seiichi Goshi; 清一合志; Kazuto Ogawa; 一人小川; Itsuro Murota; 逸郎室田; Takeshi Otake; 剛大竹; Seiichi Nanba; 誠一難波
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2003-06-30
Filing date: 2003-06-30
Publication date: 2005-01-20
Anticipated expiration: 2023-06-30
Also published as: JP4377620B2

Abstract

【課題】特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができるコンテンツ特徴量抽出装置、プログラムおよび方法を提供する。
【解決手段】比較の基準とする基準コンテンツと比較の対象とする比較コンテンツとを、多変量解析における主成分分析を用いて分析し、当該比較コンテンツを構成する複数の主成分を特徴量データとして抽出するコンテンツ特徴量抽出装置１であって、基準多変量データ生成手段７と、特徴係数演算手段９と、多変量データ生成手段１１と、主成分演算手段１３と、を備えた。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、コンテンツの特徴量を抽出し、この抽出した特徴量を不正流通検出や類似検索に利用するコンテンツ特徴量抽出装置、コンテンツ特徴量抽出プログラムおよびコンテンツ特徴量抽出方法に関する。
【０００２】
【従来の技術】
近年のネットワークの高速化や記録媒体の大容量化に伴い、映像データ、音声データ等からなる大容量のデジタルコンテンツ（以下、コンテンツとする）を、高速のネットワークである公衆通信回線（光ファイバ通信回線、ＡＤＳＬ等）により配信、または、大容量の記録媒体である光ディスク（ＤＶＤ等）により流通させることを、誰でも容易に行える環境が整備されている。
【０００３】
また、ネットワークを介して配信されたコンテンツは蓄積が容易であり、記録媒体に記録されたコンテンツは配送が容易であるので、当該コンテンツの著作権者（以下、単に「著作権者」とする）や当該コンテンツを配信する配信事業者（以下、「コンテンツプロバイダ」とする）の許可を得ることなく、蓄積したコンテンツを複製した後、ネットワークを介して再配信したり、当該コンテンツを改竄（かいざん）したりするなど、不正行為を行うことが容易である。この不正行為がコンテンツを流通させる上での大きな阻害要因となっている。
【０００４】
特に、著作権者やコンテンツプロバイダの許可（許諾）を得ることなく、コンテンツの複製、再配信（再送信）を行う不正行為による不正流通コンテンツは、著作権者やコンテンツプロバイダに多大な金銭的不利益をもたらすので、このような不正流通コンテンツを高精度、且つ、短時間に検出し、不正行為の抑止を図ることができる技術的な手段が模索されている。
【０００５】
また、インターネットの普及やデジタル情報機器（ストレージ装置等）の高性能化に伴い、大容量のコンテンツである動画像コンテンツ（大容量マルチメディアデータ）の利用が一般化している。このため、インターネット上やストレージ装置内に保持された膨大な数のコンテンツの中から、利用者が要望する特定のコンテンツを効率よく検索する手段が求められている。
【０００６】
不正流通コンテンツの検出や、特定のコンテンツの検索を行うために、コンテンツを構成する映像データの輝度や色情報等から当該コンテンツの特徴を表す特徴量データを抽出し、この抽出した特徴量データをコンテンツ間の同一性や類似性の判定（検定）に利用する特徴量抽出技術が有効な手段として提案されている。
【０００７】
また、コンテンツの特徴量を抽出する従来の技術に関して、例えば、ＩＳＯ／ＩＥＣ１５９３８−３「ＭＰＥＧ−７ビジュアル記述」（非特許文献１参照）では、映像データ（映像信号）の特徴を記述し、この記述した特徴を抽出する特徴量抽出アルゴリズムが規定されている。このビジュアル記述は、主として、映像データ（映像信号）ベースでの類似検索・フィルタリングのために用いられることが想定されており、このビジュアル記述の中で、映像データ上の色や形状等の低レベルの特徴量を記述する具体的なものとして、色の空間的な配置を周波数軸上で表現する「色配置記述（ＣｏｌｏｒＬａｙｏｕｔ）」が定義されている。
【０００８】
この色配置記述は、人間の視覚特性を反映させたもので、コンテンツを構成する各画像フレームに対して、高精度の検索を可能にしている。つまり、色配置記述によって、コンテンツ同士の類似性を検定する際に、不要な情報を周波数軸上で削除することができる。その結果、コンテンツの特徴を記述するデータ量が減少する。
【０００９】
ちなみに、色配置は、Ｄ＝｛ｎ_ｙ，Ｙ_ｉ（ｉ＝１，２，・・・ｎ_ｙ）；ｎ_ｃ，Ｃｂ_ｊ，Ｃｒ_ｊ（ｊ＝１，２，・・・，ｎ_ｃ）｝で表される。
この色配置Ｄにおいて、ｎ_ｙは輝度成分係数の個数であり、ｎ_ｃは色差成分係数の個数であり、Ｙ_ｉは輝度信号（Ｙ）のＤＣＴ係数であり、Ｃｂ_ｊ，Ｃｒ_ｊは色差信号（Ｃｂ，Ｃｒ）のＤＣＴ係数である。なお、動画像データから特徴量を算出する場合には輝度信号（Ｙ）を６係数で、色差信号（Ｃｂ，Ｃｒ）を３係数にすることが推奨されている。
【００１０】
ここで、図８を参照して、従来の特徴量抽出方法について説明する。
この図８は、従来のコンテンツ特徴量抽出装置のブロック図であり、この図８に示したように、コンテンツ特徴量抽出装置１０１は、６４（８×８）分割平均化部１０３と、ＤＣＴ変換部１０５と、ジグザグスキャン部１０７と、非線形量子化部１０９とを備えている。
【００１１】
６４（８×８）分割平均化部１０３は、原画像を６４（８行×８列）区画に分割し、それぞれの区画の代表色（平均色）を算出するものである。つまり、この６４（８×８）分割平均化部１０３は、原画像を６４の代表色からなる６４区画に縮小退化させた「縮退画像」に変換するものである。
【００１２】
ＤＣＴ変換部１０５は、６４（８×８）分割平均化部１０３で変換した６４区画の縮退画像にＤＣＴ変換（離散コサイン変換）を行って、離散コサイン係数に変換するものである。
【００１３】
ジグザグスキャン部１０７は、ＤＣＴ変換部１０５で変換された離散コサイン変換係数をジグザグスキャンによって、低周波数成分から順に並べ替えを行うものである。
【００１４】
非線形量子化部１０９は、ジグザグスキャン部１０７で並べ替えられた離散コサイン変換係数の直流成分を６ビット、交流成分を５ビットで量子化すると共に、低周波数成分から定められた個数（輝度ｎ_ｙ個、色差ｎ_ｃ個）だけ順に取り出したものを特徴量（特徴量データ）として出力するものである。
【００１５】
【非特許文献１】
ＩＳＯ／ＩＥＣ１５９３８−３“ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ−ＭｕｌｔｉｍｅｄｉａＣｏｎｔｅｎｔＤｅｓｃｒｉｐｔｉｏｎＩｎｔｅｒｆａｃｅ−Ｐａｒｔ３：Ｖｉｓｕａｌ，６．６Ｃｏｌｏｒｌａｙｏｕｔ”．ｐｐ４２−５０（２００２）
【００１６】
【発明が解決しようとする課題】
しかしながら、図８に示したコンテンツ特徴量抽出装置１０１では、１フレームの画像データを対象に特徴量抽出を行っているので、長時間の放送番組等の動画像データであるコンテンツに対して、特徴量データのデータ量が膨大となる問題がある。
【００１７】
また、特徴量データを用いて、高精度に不正流通コンテンツの検出や番組検索（コンテンツの検索）を行う際には、異種のコンテンツの区別をしながら、コンテンツ間の同一性や類似性の検定を行うことができる十分な分散を確保しなければならないという問題がある。
【００１８】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができるコンテンツ特徴量抽出装置、コンテンツ特徴量抽出プログラムおよびコンテンツ特徴量抽出方法を提供することにある。
【００１９】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１記載のコンテンツ特徴量抽出装置は、比較の基準とする基準コンテンツと比較の対象とする比較コンテンツとを、多変量解析における主成分分析を用いて分析し、当該比較コンテンツを構成する複数の主成分を特徴量データとして抽出するコンテンツ特徴量抽出装置であって、基準コンテンツ多変量データ生成手段と、特徴係数演算手段と、比較コンテンツ多変量データ生成手段と、主成分演算手段と、を備える構成とした。
【００２０】
かかる構成によれば、コンテンツ特徴量抽出装置は、基準コンテンツ多変量データ生成手段によって、基準コンテンツを多変量解析における主成分分析を用いて分析し、この分析した結果である複数の基準変量データを生成する。多変量解析とは、母集団となる複数のデータ（基準コンテンツ）、または、母集団を十分推定可能な種類と数とを有するデータを使用して、当該母集団において、複雑に絡み合ったデータを構成している主な要素を洗い出したり、要素同士の絡み合いを明らかにする解析法の一つである。主成分分析とは、相関関係にあるいくつかの要素（要因）を合成（圧縮）して、いくつかの成分にし、その総合力や特性を求める分析方法である。
【００２１】
続いて、このコンテンツ特徴量抽出装置は、特徴係数演算手段によって、基準コンテンツ多変量データ生成手段で生成された基準変量データに所定の演算を施して、基準コンテンツの特徴を示す複数の固有ベクトルからなる特徴係数とする。なお、この特徴係数は、基準変量データに所定の演算を施して得られる係数である。また、この所定の演算は、例えば、基準変量データに所定係数を乗算して合成し、この合成したものの分散を求めるものである。
【００２２】
そして、このコンテンツ特徴量抽出装置は、比較コンテンツ多変量データ生成手段によって、比較コンテンツを、多変量解析における主成分分析を用いて分析し、この分析した結果である複数の変量データを生成し、主成分演算手段によって、比較コンテンツ多変量データ生成手段で生成された変量データと、特徴係数演算手段で演算された特徴係数とに基づいて、主成分を演算して求め、特徴量データとして出力する。この特徴量データは、例えば、複数の変量データのそれぞれに複数の特徴係数を乗算して得られたもの（特に、変量データと特徴係数とを乗算した３個の値（主成分）である、第一主成分、第二主成分および第三主成分）ものである。
【００２３】
請求項２記載のコンテンツ特徴量抽出装置は、請求項１に記載のコンテンツ特徴量抽出装置において、前記基準コンテンツ多変量データ生成手段または前記比較コンテンツ多変量データ生成手段は、ブロック平均化手段と、離散コサイン変換手段と、周波数変換手段と、周波数データ総和算出手段と、を有していることを特徴とする。
【００２４】
かかる構成によれば、コンテンツ特徴量抽出装置の基準コンテンツ多変量データ生成手段または比較コンテンツ多変量データ生成手段は、ブロック平均化手段によって、動画像データである基準コンテンツまたは動画像データである比較コンテンツの輝度信号および色差信号によって再現されるフレームそれぞれに含まれる全画素データを複数（例えば６４個、水平８分割×垂直８分割）のブロックに分割すると共に、分割したブロック毎の全画素データを平均化して縮小画像データを生成する。つまり、動画像データ（１フレーム）を複数個のブロックに分割した後、このブロック内の全画素データの輝度信号および色差信号を平均化する。
【００２５】
続いて、コンテンツ特徴量抽出装置の基準コンテンツ多変量データ生成手段または比較コンテンツ多変量データ生成手段は、離散コサイン変換手段によって、ブロック平均化手段によって、生成された縮小画像データに対して、離散コサイン変換を施して、離散コサイン係数とする。この離散コサイン係数は、例えば、輝度信号（Ｙ）に関するもので６個、色差信号（Ｃｂ）に関するもので３個、色差信号（Ｃｒ）に関するもので３個といった具合に定個数求められる。
【００２６】
次に、コンテンツ特徴量抽出装置の基準コンテンツ多変量データ生成手段または比較コンテンツ多変量データ生成手段は、周波数変換手段によって、離散コサイン係数に周波数変換を施して周波数軸方向波形データとする。この周波数軸方向波形データは、周波数軸を横軸にとって、各周波数に含まれるデータ量（成分）を縦軸にとったグラフ上で、各周波数におけるデータ量の頂点を繋げていったものである。そして、コンテンツ特徴量抽出装置の基準コンテンツ多変量データ生成手段または比較コンテンツ多変量データ生成手段は、周波数データ総和算出手段によって、周波数変換手段で変換された周波数軸方向波形データを周波数全域に亘って総和し、基準変量データまたは変量データとする。
【００２７】
請求項３記載のコンテンツ特徴量抽出装置は、請求項１または請求項２に記載のコンテンツ特徴量抽出装置において、前記特徴係数演算手段は、複数の前記基準変量データのそれぞれに所定係数を乗算して合成した合成基準変量データの分散を求め、この分散を最大とする前記所定係数を前記特徴係数として求めることを特徴とする。
【００２８】
かかる構成によれば、コンテンツ特徴量抽出装置は、特徴係数演算手段によって、基準変量データのそれぞれに所定係数を乗算して合成した合成基準変量データの分散を求め、この分散が最大となる所定係数を特徴係数とすることで、データ量を増加させることなく、基準コンテンツの特徴を表すことができる（特徴量データを得ることができる）。
【００２９】
請求項４記載のコンテンツ特徴量抽出装置は、請求項１から請求項３のいずれか一項に記載のコンテンツ特徴量抽出装置において、前記主成分演算手段は、複数の前記変量データのぞれぞれに前記特徴係数を乗算して前記主成分を求め、この主成分を前記特徴量データとして出力することを特徴とする。
【００３０】
かかる構成によれば、コンテンツ特徴量抽出装置は、主成分演算手段によって、複数の変量データのそれぞれに特徴係数を乗算して主成分を求め、この主成分を特徴量データとして出力しているので、データ量を増加させることなく、比較コンテンツの特徴を表すことができる（特徴量データを得ることができる）。
【００３１】
請求項５記載のコンテンツ特徴量抽出プログラムは、比較の基準とする基準コンテンツと比較の対象とする比較コンテンツとを、多変量解析における主成分分析を用いて分析し、当該比較コンテンツを構成する複数の主成分を特徴量データとして抽出する装置を、基準コンテンツ多変量データ生成手段、特徴係数演算手段、比較コンテンツ多変量データ生成手段、主成分演算手段、として機能させる構成とした。
【００３２】
かかる構成によれば、コンテンツ特徴量抽出プログラムは、基準コンテンツ多変量データ生成手段によって、基準コンテンツを多変量解析における主成分分析を用いて分析し、この分析した結果である複数の基準変量データを生成し、特徴係数演算手段によって、基準コンテンツ多変量データ生成手段で生成された基準変量データに所定の演算を施して、基準コンテンツの特徴を示す複数の固有ベクトルからなる特徴係数とする。そして、このコンテンツ特徴量抽出プログラムは、比較コンテンツ多変量データ生成手段によって、比較コンテンツを、多変量解析における主成分分析を用いて分析し、この分析した結果である複数の変量データを生成し、主成分演算手段によって、比較コンテンツ多変量データ生成手段で生成された変量データと、特徴係数演算手段で演算された特徴係数とに基づいて、主成分を演算して求め、特徴量データとして出力する。
【００３３】
請求項６記載のコンテンツ特徴量抽出方法は、比較の基準とする基準コンテンツと比較の対象とする比較コンテンツとを、多変量解析における主成分分析を用いて分析し、当該比較コンテンツを構成する複数の主成分を特徴量データとして抽出するコンテンツ特徴量抽出方法であって、基準コンテンツ多変量データ生成ステップと、特徴係数演算ステップと、比較コンテンツ多変量データ生成ステップと、主成分演算ステップと、を含む手順とした。
【００３４】
かかる手順によれば、コンテンツ特徴量抽出方法は、基準コンテンツ多変量データ生成ステップにおいて、基準コンテンツを多変量解析における主成分分析を用いて分析し、この分析した結果である複数の基準変量データを生成し、特徴係数演算ステップにおいて、基準コンテンツ多変量データ生成ステップにて生成された基準変量データに所定の演算を施して、基準コンテンツの特徴を示す複数の固有ベクトルからなる特徴係数とする。そして、このコンテンツ特徴量抽出方法は、比較コンテンツ多変量データ生成ステップにおいて、比較コンテンツを、多変量解析における主成分分析を用いて分析し、この分析した結果である複数の変量データを生成し、主成分演算ステップにおいて、比較コンテンツ多変量データ生成ステップにて生成された変量データと、特徴係数演算ステップにて演算された特徴係数とに基づいて、主成分を演算して求め、特徴量データとして出力する。
【００３５】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（コンテンツ特徴量抽出装置の構成）
図１はコンテンツ特徴量抽出装置のブロック図である。この図１に示すように、コンテンツ特徴量抽出装置１は、動画像データであるコンテンツ（基準コンテンツと比較コンテンツ）の特徴量データを多変量解析における主成分分析を用いて抽出するもので、特徴係数生成部３と、特徴量データ抽出部５とを備えている。
【００３６】
また、このコンテンツ特徴量抽出装置１は、ネットワーク（外部のインターネット等）を介して、または、記録媒体（光ディスク［例えば、ＤＶＤ］等）に記録されて不正に流通するコンテンツ（不正流通コンテンツ）の検出を行う不正流通コンテンツ検出システム（図示せず）や、保存管理されているコンテンツ群（番組群）から目的とする（所望する）コンテンツ（番組）やシーン等の検索を行う番組検索システム等に適用可能なものである。
【００３７】
特徴係数生成部３は、比較コンテンツの特徴量データを算出する基準となる特徴係数を生成するもので、基準多変量データ生成手段７（基準コンテンツ多変量データ生成手段）と、特徴係数演算手段９とを備えている。
【００３８】
基準多変量データ生成手段７は、動画像データ（基準コンテンツ［１，・・・，ｉ，・・・，ｍ］）を多変量解析による主成分分析し、複数（多数）の基準変量データを生成するもので、ブロック平均化手段７ａと、ＤＣＴ処理手段７ｂ（離散コサイン変換手段）と、周波数変換手段７ｃと、周波数データ総和算出手段７ｄとを備えている。なお、多変量解析による主成分分析の説明は、コンテンツ特徴量抽出装置１の構成、動作の説明をした後に、具体的な数値、数式を示して行うこととする。
【００３９】
ブロック平均化手段７ａは、入力された動画像データ（基準コンテンツ（１，・・・，ｉ，・・・，ｍ））の輝度信号（Ｙ）、色差信号（Ｃｂ、Ｃｒ）からフレーム単位の処理を行って、縮小画像データを出力するものである。なお、基準コンテンツ（１，・・・，ｉ，・・・，ｍ）のｉはｉ番目（ｉ個）の基準コンテンツを、ｍはｍ番目（ｍ個）の基準コンテンツを示している。フレーム単位の処理は、各フレームの全画素を水平８ブロック×垂直８ブロックに分割し、各ブロックにおける全画素の輝度信号（Ｙ）、色差信号（Ｃｂ、Ｃｒ）の画素データを平均化して、水平８画素×垂直８ラインの縮小画像データを作成（生成）するものである。
【００４０】
ＤＣＴ処理手段７ｂは、ブロック平均化手段７ａによって生成された縮小画像データの画素データＹ、ＣｂおよびＣｒに対してＤＣＴ演算処理（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）を施して、離散コサイン係数に変換するものである。この実施の形態では、ＤＣＴ処理手段７ｂは、輝度信号（Ｙ）については、Ｙ０、Ｙ１、Ｙ２、Ｙ３、Ｙ４、Ｙ５の６係数、色差信号（Ｃｂ）については、Ｃｂ０、Ｃｂ１、Ｃｂ２の３係数、色差信号（Ｃｒ）については、Ｃｒ０、Ｃｒ１、Ｃｒ２の３係数の合計１２係数を算出している。なお、この離散コサンイン係数の数が多ければ多いほど、最終的に生成される特徴量データを使用した際のコンテンツの同一性または類似性の検定精度を高くすることができる。
【００４１】
周波数変換手段７ｃは、ＤＣＴ処理手段７ｂで算出した１２個の離散コサイン係数のそれぞれに対し、周波数変換処理を施して、１２の時系列波形（周波数軸方向波形データ）とするものである。この周波数変換手段７ｃにおける周波数変換処理は、ＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ；高速フーリエ変換）処理である。
【００４２】
周波数データ総和算出手段７ｄは、周波数変換手段７ｃで１２の時系列波形（周波数軸方向波形データ）を周波数全域に亘って総和し、１２個の基準変量データｋＹ０、ｋＹ１、ｋＹ２、ｋＹ３、ｋＹ４、ｋＹ５およびｋＣｂ０、ｋＣｂ１、ｋＣｂ２とｋＣｒ０、ｋＣｒ１、ｋＣｒ２を算出するものである。
【００４３】
特徴係数演算手段９は、基準多変量データ生成手段７で生成された１２個の基準変量データ（ｋＹ０、ｋＹ１、ｋＹ２、ｋＹ３、ｋＹ４およびｋＹ５、ｋＣｂ０、ｋＣｂ１およびｋＣｂ２、ｋＣｒ０、ｋＣｒ１およびｋＣｒ２）に基づいて、特徴係数を演算して求め、特徴量データ抽出部５に出力するものである。この特徴係数演算手段９は、１２個の基準変量データのそれぞれに所定係数を乗算して合成した合成基準変量データの分散を求め、この分散を最大とする所定係数を特徴係数として求めるものである。また、この特徴係数は、基準コンテンツの特徴を示す複数の固有ベクトルからなるものである。なお、この特徴量係数演算手段９における特徴係数の演算の仕方については後記することとする。
【００４４】
特徴量データ抽出部５は、特徴係数生成部３で生成された特徴係数に基づいて、比較コンテンツの特徴量データを抽出するもので、多変量データ生成手段１１（比較コンテンツ多変量データ生成手段）と、主成分演算手段１３とを備えている。
【００４５】
多変量データ生成手段１１は、動画像データ（比較コンテンツ）を多変量解析による主成分分析し、複数（多数）の変量データを生成するもので、ブロック平均化手段１１ａと、ＤＣＴ処理手段１１ｂ（離散コサイン変換手段）と、周波数変換手段１１ｃと、周波数データ総和算出手段１１ｄとを備えている。
【００４６】
ブロック平均化手段１１ａは、入力された動画像データ（比較コンテンツ）の輝度信号（Ｙ）、色差信号（Ｃｂ、Ｃｒ）からフレーム単位の処理を行って、縮小画像データを出力するものである。フレーム単位の処理は、各フレームの全画素を水平８ブロック×垂直８ブロックに分割し、各ブロックにおける全画素の輝度信号（Ｙ）、色差信号（Ｃｂ、Ｃｒ）の画素データを平均化して、水平８画素×垂直８ラインの縮小画像データを作成（生成）するものである。
【００４７】
ＤＣＴ処理手段１１ｂは、ブロック平均化手段１１ａによって生成された縮小画像データの画素データＹ、ＣｂおよびＣｒに対してＤＣＴ演算処理を施して、離散コサイン係数に変換するものである。この実施の形態では、ＤＣＴ処理手段１１ｂは、輝度信号（Ｙ）については、Ｙ０、Ｙ１、Ｙ２、Ｙ３、Ｙ４、Ｙ５の６係数、色差信号（Ｃｂ）については、Ｃｂ０、Ｃｂ１、Ｃｂ２の３係数、色差信号（Ｃｒ）については、Ｃｒ０、Ｃｒ１、Ｃｒ２の３係数の合計１２係数を算出している。なお、この離散コサンイン係数の数が多ければ多いほど、最終的に生成される特徴量データを使用した際のコンテンツの同一性または類似性の検定精度を高くすることができる。
【００４８】
周波数変換手段１１ｃは、ＤＣＴ処理手段１１ｂで算出した１２個の離散コサイン係数のそれぞれに対し、周波数変換処理を施して、１２の時系列波形（周波数軸方向波形データ）とするものである。この周波数変換手段１１ｃにおける周波数変換処理は、ＦＦＴ処理である。
【００４９】
周波数データ総和算出手段１１ｄは、周波数変換手段１１ｃで１２の時系列波形（周波数軸方向波形データ）を周波数全域に亘って総和し、１２個の変量データｈＹ０、ｈＹ１、ｈＹ２、ｈＹ３、ｈＹ４およびｈＹ５と、ｈＣｂ０、ｈＣｂ１およびｈＣｂ２と、ｈＣｒ０、ｈＣｒ１およびｈＣｒ２とを算出するものである。
【００５０】
主成分演算手段１３は、特徴係数生成部３の特徴係数演算手段９から出力された特徴係数と、周波数データ総和算出手段１１ｄから出力された１２個の変量データｈＹ０、ｈＹ１、ｈＹ２、ｈＹ３、ｈＹ４およびｈＹ５と、ｈＣｂ０、ｈＣｂ１およびｈＣｂ２と、ｈＣｒ０、ｈＣｒ１およびｈＣｒ２とに基づいて、特徴量データを演算して求め出力するものである。この主成分演算手段１３は、１２個の変量データのぞれぞれに特徴係数を乗算して主成分を求め、この主成分を特徴量データとして出力するものである。なお、この主成分演算手段１３における主成分の演算の仕方については後記することとする。
【００５１】
このコンテンツ特徴量抽出装置１によれば、基準多変量データ生成手段７によって、動画像データ（基準コンテンツ）が多変量解析における主成分分析を用いて分析され、この分析された結果である複数の基準変量データが生成され、特徴係数演算手段９によって、基準多変量データ生成手段７で生成された基準変量データに所定の演算が施されて、基準コンテンツの特徴を示す複数の固有ベクトルからなる特徴係数が得られる。そして、多変量データ生成手段１１によって、動画像データ（比較コンテンツ）が多変量解析における主成分分析を用いて分析され、この分析された結果である複数の変量データが生成され、主成分演算手段１３によって、多変量データ生成手段１１で生成された変量データと、特徴係数演算手段９で演算された特徴係数とに基づいて、主成分が演算して求められ、特徴量データとして出力される。つまり、多変量解析による主成分分析を用いて、基準コンテンツおよび比較コンテンツを分析しているので、特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができる。
【００５２】
また、このコンテンツ特徴量抽出装置１によれば、ブロック平均化手段７ａ、１１ａによって、動画像データである基準コンテンツまたは動画像データである比較コンテンツの輝度信号および色差信号によって再現されるフレームそれぞれに含まれる全画素データが複数（６４個）のブロックに分割されると共に、分割されたブロック毎の全画素データが平均化されて縮小画像データが生成される。続いて、ＤＣＴ処理手段７ｂ、１１ｂによって、ブロック平均化手段７ａ、１１ａで生成された縮小画像データに対して、離散コサイン変換が施されて、離散コサイン係数とされ、周波数変換手段７ｃ、１１ｃによって、離散コサイン係数に周波数変換が施されて１２の時系列波形（周波数軸方向波形データ）とされる。
【００５３】
そして、周波数データ総和算出手段７ｄ、１１ｄによって、周波数変換手段７ｃ、１１ｃで変換された１２の時系列波形（周波数軸方向波形データ）が周波数全域に亘って総和され、基準変量データまたは変量データとされる。つまり、基準コンテンツおよび比較コンテンツを分割して平均化した縮小画像データに離散コサイン変換、周波数変換を施して得られた１２の時系列波形（周波数軸方向波形データ）を周波数全域に亘って総和して、基準変量データまたは変量データを得ており、これら基準変量データまたは変量データを用いているので、当該コンテンツの特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができる。
【００５４】
さらに、コンテンツ特徴量抽出装置１によれば、特徴係数演算手段９によって、基準変量データのそれぞれに所定係数が乗算されて合成された合成基準変量データが求められ、この合成基準変量データの分散が最大となる所定係数が特徴係数とされることで、データ量を増加させることなく、動画像データ（基準コンテンツ）の特徴を表すことができる（特徴量データを得ることができる）。
【００５５】
さらにまた、コンテンツ特徴量抽出装置１よれば、主成分演算手段１３によって、複数の変量データのそれぞれに特徴係数が乗算されて主成分が求められ、この主成分が特徴量データとして出力されているので、データ量を増加させることなく、動画像データ（比較コンテンツ）の特徴を表すことができる（特徴量データを得ることができる）。
【００５６】
（コンテンツ特徴量抽出装置の動作）
次に、図２に示すフローチャートを参照して、コンテンツ特徴量抽出装置１の動作について説明する（適宜、図１参照）。
【００５７】
まず、動画像データ（基準コンテンツ）がコンテンツ特徴量抽出装置１の特徴係数生成部３に入力されると、コンテンツ特徴量抽出装置１は、基準多変量データ生成手段７によって、この動画像データ（基準コンテンツ）の基準変量データを生成し、特徴係数演算手段９に出力する（Ｓ１）。
【００５８】
続いて、コンテンツ特徴量抽出装置１は、特徴係数演算手段９によって、特徴係数を生成し、特徴量データ抽出部５の主成分演算手段１３に出力する（Ｓ２）。
【００５９】
また、動画像データ（比較コンテンツ）がコンテンツ特徴量抽出装置１の特徴量データ抽出部５に入力されると、コンテンツ特徴量抽出装置１は、多変量データ生成手段１１によって、この動画像データ（比較コンテンツ）の変量データを生成し、主成分演算手段１３に出力する（Ｓ３）。
【００６０】
そして、特徴係数と変量データとがコンテンツ特徴量抽出装置１の主成分演算手段１３に入力されると、コンテンツ特徴量抽出装置１は、主成分演算手段１３によって、特徴量データを生成して外部に出力する（Ｓ４）。
【００６１】
このコンテンツ特徴量抽出装置１の動作で説明したように、多変量解析における主成分分析によって、基準変量データと変量データとを求め、比較コンテンツの特徴量データを算出しているので、この特徴量データを使用すれば、ネットワークや記録媒体を介して流通しているコンテンツとの同一性や類似性を高精度に検出（検定）することができる。
【００６２】
（主成分分析、特徴係数、特徴量データについて）
ここで、多変量解析における、主成分分析、特徴係数および特徴量データの算出について説明する（適宜、図１参照）。
【００６３】
［主成分分析について］
まず、主成分分析について説明する。主成分分析とは、例えば、複数の変量ｘ、ｙ、ｚに関し、次に示す数式（１）における合成変量ｕの分散を最大とする係数ａ、ｂ、ｃを求め、この場合の合成変量ｕを主成分としてデータの分析を行うものである。
【００６４】
ｕ＝ａｘ＋ｂｙ＋ｃｚ・・・数式（１）
但し、係数ａ、ｂ、ｃは、ａ^２＋ｂ^２＋ｃ^２＝１を満たす定数である。
【００６５】
［特徴係数について］
次に、特徴係数について説明する（適宜、図１参照）。
まず、母集団となる複数の基準コンテンツ（１，・・・，ｉ，・・・，ｍ）、または母集団を十分推定可能な種類と数を有する複数の基準コンテンツを用いて、前記したように、基準多変量データ生成手段７で基準変量データを生成する。
【００６６】
ここで、図３に基準コンテンツの数をｍとし、各基準コンテンツにおける基準変量データの数をｎとした場合の基準変量データの一覧を示す。なお、コンテンツ特徴量抽出装置１の特徴係数生成部３の基準多変量データ生成手段７に入力される動画像データ（基準コンテンツ）は、１つの動画像データ（１つの基準コンテンツ）から当該動画像データ（当該基準コンテンツ）の特徴を表す複数の基準変量データが得られるものであればよい。
【００６７】
この基準多変量データ生成手段７で生成された複数の基準変量データに対して、特徴係数演算手段９では、以下に述べる演算を実行し、特徴係数を算出している。図３に示した基準変量データのうちｉ番目の基準コンテンツの基準変量データに対する合成変量（合成基準変量データ）ｕ_ｉを次の数式（２）によって求める。
【００６８】
ｕ_ｉ＝ａ_１ｘ_ｉ１＋・・・＋ａ_ｊｘ_ｉｊ＋・・・＋ａ_ｎｘ_ｉｎ・・・数式（２）
但し、ｉは、１＜ｉ＜ｍの整数であり、係数ａ_１，・・・，ａ_ｊ，・・・，ａ_ｎはａ_１ ^２＋・・・＋ａ_ｊ ^２＋・・・＋ａ_ｎ ^２＝１・・・数式（３）
を満たす定数とする。
【００６９】
また、合成変量（合成基準変量データ）ｕ_ｉの分散Ｓｕ^２を次の数式（４）によって求める。
【００７０】
【数１】

【００７１】
ここで、ｕの平均（ｕにルビ「−」の付いた文字）はｕ_ｉの平均値であり、Ｓ_１１、・・・、Ｓ_ｊｊ、・・・Ｓ_ｎｎは、それぞれ変量ｘ_ｉ１、・・・、ｘ_ｉｊ、・・・、ｘ_ｉｎ（１＜ｉ＜ｍ）の分散を表しており、Ｓ_１２、・・・、Ｓ_{ｊ（ｊ＋１）}、・・・、Ｓ_{（ｎ−１）ｎ}は、それぞれ変量ｘ_ｉ１−ｘ_ｉ２、・・・、ｘ_ｉｊ−ｘ_{ｉ（ｊ＋１）}、・・・、ｘ_{ｉ（ｎ−１）}−ｘ_ｉｎ（１＜ｉ＜ｍ）の共分散を表している。
【００７２】
この実施の形態における主成分分析は、条件が数式（３）の下で、数式（４）に示した合成変量（合成基準変量データ）ｕ_ｉの分散Ｓｕ^２を最大とする係数ａ_１、・・・、ａ_ｊ、・・・、ａ_ｎを求めることである。
【００７３】
そして、これらの係数ａ_１、・・・、ａ_ｊ、・・・、ａ_ｎについて、ラグランジュの定数変化法を用いて、次の数式（５）を得る。
【００７４】
【数２】

【００７５】
ここで、λは数式（５）の固有の定数を表しており、Ｓは次の数式（６）のように表すことができる。
【００７６】
【数３】

【００７７】
この数式（６）に示す行列Ｓは、各変量の分散・共分散行列であり、数式（５）は、係数の組（ａ_１、・・・、ａ_ｊ、・・・、ａ_ｎ）を行列Ｓの固有ベクトル、定数λを行列Ｓの固有値とする、行列Ｓの固有値問題を表していることになる。
【００７８】
条件が数式（３）の下で、数式（４）に示した合成変量（合成基準変量データ）ｕ_ｉの分散Ｓｕ^２を最大とする係数ａ_１、・・・、ａ_ｊ、・・・、ａ_ｎは、行列Ｓの最大の固有値に対応する固有ベクトルで表されることになる。
【００７９】
従って、行列Ｓの１番目に大きい（最大の）固有値λ_１に対応する固有ベクトル（ａ_１〈１〉、・・・、ａ_ｊ〈１〉、・・・、ａ_ｎ〈１〉）を求め、この固有ベクトル（ａ_１〈１〉、・・・、ａ_ｊ〈１〉、・・・、ａ_ｎ〈１〉）を特徴係数の第１主成分とし、行列Ｓの２番目に大きい固有値λ_２に対応する固有ベクトル（ａ_１〈２〉、・・・、ａ_ｊ〈２〉、・・・、ａ_ｎ〈２〉）を求め、この固有ベクトル（ａ_１〈２〉、・・・、ａ_ｊ〈２〉、・・・、ａ_ｎ〈２〉）を特徴係数の第２主成分とし、行列Ｓの３番目に大きい固有値λ_３に対応する固有ベクトル（ａ_１〈３〉、・・・、ａ_ｊ〈３〉、・・・、ａ_ｎ〈３〉）を求め、この固有ベクトル（ａ_１〈３〉、・・・、ａ_ｊ〈３〉、・・・、ａ_ｎ〈３〉）を特徴係数の第３主成分とする。
【００８０】
これら固有ベクトル（ａ_１〈１〉、・・・、ａ_ｊ〈１〉、・・・、ａ_ｎ〈１〉）、（ａ_１〈２〉、・・・、ａ_ｊ〈２〉、・・・、ａ_ｎ〈２〉）および（ａ_１〈３〉、・・・、ａ_ｊ〈３〉、・・・、ａ_ｎ〈３〉）を特徴係数として、コンテンツ特徴量抽出装置１の主成分演算手段１３に入力している。
【００８１】
なお、動画像データの場合、情報吸収率を意味する累積寄与率は、第３主成分までで８０％を超えるため、第１主成分から第３主成分までを特徴係数として用いれば十分である。但し、さらに精度を求める場合には、これら第１主成分から第３主成分までに限らずに第４主成分以降も併せて特徴係数として用いることとしてもよい。
【００８２】
［特徴量データについて］
次に、特徴量データについて説明する（適宜、図１参照）。
まず、多変量データ生成手段１１により得られたｎ個の変量データ（ｘ１、・・・、ｘｊ、・・・、ｘｎ）を主成分演算手段１３に入力する。すると、主成分演算手段１３において、特徴係数演算手段９で求めた特徴係数の第１主成分、第２主成分、第３主成分から、以下に示す数式（７）〜（９）を使用した演算を行って、ｕ〈１〉、ｕ〈２〉およびｕ〈３〉を求め、これらを特徴量データとして出力する。
【００８３】
ｕ〈１〉＝ａ_１〈１〉ｘ_１＋・・・＋ａ_ｊ〈１〉ｘ_ｊ＋・・・＋ａ_ｎ〈１〉ｘ_ｎ・・・数式（７）
ｕ〈２〉＝ａ_１〈２〉ｘ_１＋・・・＋ａ_ｊ〈２〉ｘ_ｊ＋・・・＋ａ_ｎ〈２〉ｘ_ｎ・・・数式（８）
ｕ〈３〉＝ａ_１〈３〉ｘ_１＋・・・＋ａ_ｊ〈３〉ｘ_ｊ＋・・・＋ａ_ｎ〈３〉ｘ_ｎ・・・数式（９）
これらの数式（７）〜（９）で求められたｕ〈１〉、ｕ〈２〉およびｕ〈３〉が特徴量データとなる。
【００８４】
（基準変量データの事例、特徴係数の事例について）
次に、図４、図５を参照して、基準変量データの事例、特徴係数の事例について説明する。図４は、基準変量データの事例を示しており、この基準変量データの事例は、基準コンテンツとして、内容と種類との異なる１０個の放送番組（各約１０分）を用いて得られたものである。図４では、番組番号１〜１０の１０個の放送番組について、１２個の基準変量データ（ｋＹ０、ｋＹ１、ｋＹ２、ｋＹ３、ｋＹ４およびｋＹ５、ｋＣｂ０、ｋＣｂ１およびｋＣｂ２、ｋＣｒ０、ｋＣｒ１およびｋＣｒ２）が求められている。
【００８５】
また、図５は、これらの基準変量データを用いて得られた特徴係数の事例を示しており、１２個の特徴係数（ｔＹ０、ｔＹ１、ｔＹ２、ｔＹ３、ｔＹ４およびｔＹ５、ｔＣｂ０、ｔＣｂ１およびｔＣｂ２、ｔＣｒ０、ｔＣｒ１およびｔＣｒ２Ｙ０）の第１主成分から第３主成分までを求めたものである。
【００８６】
ちなみに、この特徴係数の事例では、第１主成分から第３主成分までで、累積寄与率８９．７％が得られている。
【００８７】
（特徴量データの事例について）
次に、図６、図７を参照して、特徴量データの事例について説明する。
この特徴量データの事例では、コンテンツ特徴量抽出装置１に入力した動画像データ（基準コンテンツおよび比較コンテンツ）に、基準コンテンツとして１０個の番組（基準コンテンツ）と、比較コンテンツとして各基準コンテンツの冒頭１０％を削減して得られた編集番組（編集コンテンツ）とを用いた。
【００８８】
図６には、番組の特徴量データである第１主成分および第２主成分と、編集番組の特徴量データである第１主成分および第２主成分との分布図を示しており、図７には、番組の特徴量データである第３主成分および第２主成分と、編集番組の特徴量データである第３主成分および第２主成分との分布図を示している。
【００８９】
これら図６、図７に示したように、特徴量データとして、第１主成分、第２主成分および第３主成分を用いることにより、異種番組の区別（１０個の番組の区別）および類似番組や編集前後の同一番組の識別が可能であることがわかる。
【００９０】
なお、この実施の形態では、３２ビットの浮動小数点型データを用いて、基準変量データ、変量データ、特徴係数および特徴量データの算出（演算）を行っているが、これを１６ビットの浮動小数点型データを用いて行っても同様の結果を得ることができる。特に、最終的に得られる特徴量データに関しては、１６ビットの整数型のデータで表現されれば十分である。
【００９１】
また、このコンテンツ特徴量抽出装置１では、動画像データ（映像コンテンツ）について説明を行ったが、これに限定されるものではなく、音声データ（楽曲コンテンツ）等に対しても適用可能であり、さらに動画像データと音声データとを組み合わせたものについても、適用可能である。
【００９２】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、コンテンツ特徴量抽出装置１の各構成の処理を汎用的なコンピュータ言語で記述したコンテンツ特徴量抽出プログラムとみなすことや、各構成の処理を一つずつの過程ととらえたコンテンツ特徴量抽出方法とみなすことも可能である。これらの場合、コンテンツ特徴量抽出装置１と同様の効果を得ることができる。
【００９３】
【発明の効果】
請求項１、５、６記載の発明によれば、多変量解析による主成分分析を用いて、コンテンツを分析しているので、特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができる。
【００９４】
請求項２記載の発明によれば、基準コンテンツおよび比較コンテンツを分割して平均化した縮小画像データに離散コサイン変換、周波数変換を施して得られた周波数軸方向波形データを周波数全域に亘って総和して、基準変量データまたは変量データを得ており、これら基準変量データまたは変量データを用いているので、当該コンテンツの特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができる。
【００９５】
請求項３記載の発明によれば、合成基準変量データの分散が最大となる所定係数が特徴係数とされることで、データ量を増加させることなく、動画像データ（基準コンテンツ）の特徴を表すことができる（特徴量データを得ることができる）。
【００９６】
請求項４記載の発明によれば、複数の変量データのそれぞれに特徴係数が乗算されて主成分が求められ、この主成分が特徴量データとして出力されているので、データ量を増加させることなく、動画像データ（比較コンテンツ）の特徴を表すことができる（特徴量データを得ることができる）。
【図面の簡単な説明】
【図１】本発明による一実施の形態であるコンテンツ特徴量抽出装置のブロック図である。
【図２】図１に示したコンテンツ特徴量抽出装置の動作を説明したフローチャートである。
【図３】基準変量データの一覧を示した図である。
【図４】基準変量データの事例を示した図である。
【図５】特徴係数の事例を示した図である。
【図６】特徴量データの事例を示した図であり、番組の特徴量データである第１主成分および第２主成分と、編集番組の特徴量データである第１主成分および第２主成分との分布図である。
【図７】特徴量データの事例を示した図であり、番組の特徴量データである第３主成分および第２主成分と、編集番組の特徴量データである第３主成分および第２主成分との分布図である。
【図８】従来のコンテンツ特徴量抽出装置のブロック図である。
【符号の説明】
１コンテンツ特徴量抽出装置
３特徴係数生成部
５特徴量データ抽出部
７基準多変量データ生成手段（基準コンテンツ多変量データ生成手段）
７ａ、１１ａブロック平均化手段
７ｂ、１１ｂＤＣＴ処理手段（離散コサンイン変換手段）
７ｃ、１１ｃ周波数変換手段
７ｄ、１１ｄ周波数データ総和算出手段
９特徴係数演算手段
１１多変量データ生成手段（比較コンテンツ多変量データ生成手段）
１３主成分演算手段

Claims

比較の基準とする基準コンテンツと比較の対象とする比較コンテンツとを、多変量解析における主成分分析を用いて分析し、当該比較コンテンツを構成する複数の主成分を特徴量データとして抽出するコンテンツ特徴量抽出装置であって、
前記基準コンテンツを、前記多変量解析における主成分分析を用いて分析し、この分析した結果である複数の基準変量データを生成する基準コンテンツ多変量データ生成手段と、
この基準コンテンツ多変量データ生成手段で生成された基準変量データに所定の演算を施して、前記基準コンテンツの特徴を示す複数の固有ベクトルからなる特徴係数とする特徴係数演算手段と、
前記比較コンテンツを、前記多変量解析における主成分分析を用いて分析し、この分析した結果である複数の変量データを生成する比較コンテンツ多変量データ生成手段と、
この比較コンテンツ多変量データ生成手段で生成された変量データと、前記特徴係数演算手段で演算された特徴係数とに基づいて、前記主成分を演算して求め、前記特徴量データとして出力する主成分演算手段と、
を備えることを特徴とするコンテンツ特徴量抽出装置。
前記基準コンテンツ多変量データ生成手段または前記比較コンテンツ多変量データ生成手段は、
前記基準コンテンツまたは前記比較コンテンツが動画像データであり、この動画像データの輝度信号および色差信号によって再現されるフレームそれぞれに含まれる全画素データを複数のブロックに分割すると共に、分割したブロック毎の全画素データの輝度信号および色差信号を平均化して縮小画像データを生成するブロック平均化手段と、
このブロック平均化手段によって生成された縮小画像データに対して、離散コサイン変換を施して、離散コサイン係数とする離散コサイン変換手段と、
この離散コサイン変換手段によって変換された離散コサイン係数に周波数変換を施して周波数軸方向波形データとする周波数変換手段と、
この周波数変換手段によって変換された周波数軸方向波形データを周波数全域に亘って総和し、基準変量データまたは変量データとする周波数データ総和算出手段と、
を有していることを特徴とする請求項１に記載のコンテンツ特徴量抽出装置。
前記特徴係数演算手段は、
複数の前記基準変量データのそれぞれに所定係数を乗算して合成した合成基準変量データの分散を求め、この分散を最大とする前記所定係数を前記特徴係数として求めることを特徴とする請求項１または請求項２に記載のコンテンツ特徴量抽出装置。
前記主成分演算手段は、
複数の前記変量データのぞれぞれに前記特徴係数を乗算して前記主成分を求め、この主成分を前記特徴量データとして出力することを特徴とする請求項１から請求項３のいずれか一項に記載のコンテンツ特徴量抽出装置。
比較の基準とする基準コンテンツと比較の対象とする比較コンテンツとを、多変量解析における主成分分析を用いて分析し、当該比較コンテンツを構成する複数の主成分を特徴量データとして抽出する装置を、
前記基準コンテンツを、前記多変量解析における主成分分析を用いて分析し、この分析した結果である複数の基準変量データを生成する基準コンテンツ多変量データ生成手段、
この基準コンテンツ多変量データ生成手段で生成された基準変量データに所定の演算を施して、前記基準コンテンツの特徴を示す複数の固有ベクトルからなる特徴係数とする特徴係数演算手段、
前記比較コンテンツを、前記多変量解析における主成分分析を用いて分析し、この分析した結果である複数の変量データを生成する比較コンテンツ多変量データ生成手段、
この比較コンテンツ多変量データ生成手段で生成された変量データと、前記特徴係数演算手段で演算された特徴係数とに基づいて、前記主成分を演算して求め、前記特徴量データとして出力する主成分演算手段、
として機能させることを特徴とするコンテンツ特徴量抽出プログラム。
比較の基準とする基準コンテンツと比較の対象とする比較コンテンツとを、多変量解析における主成分分析を用いて分析し、当該比較コンテンツを構成する複数の主成分を特徴量データとして抽出するコンテンツ特徴量抽出方法であって、
前記基準コンテンツを、前記多変量解析における主成分分析を用いて分析し、この分析した結果である複数の基準変量データを生成する基準コンテンツ多変量データ生成ステップと、
この基準コンテンツ多変量データ生成ステップにて生成された基準変量データに所定の演算を施して、前記基準コンテンツの特徴を示す複数の固有ベクトルからなる特徴係数とする特徴係数演算ステップと、
前記比較コンテンツを、前記多変量解析における主成分分析を用いて分析し、この分析した結果である複数の変量データを生成する比較コンテンツ多変量データ生成ステップと、
この比較コンテンツ多変量データ生成ステップにて生成された変量データと、前記特徴係数演算ステップにて演算された特徴係数とに基づいて、前記主成分を演算して求め、前記特徴量データとして出力する主成分演算ステップと、
を含むことを特徴とするコンテンツ特徴量抽出方法。