JP4377620B2

JP4377620B2 - Content feature amount extraction apparatus, content feature amount extraction program, and content feature amount extraction method

Info

Publication number: JP4377620B2
Application number: JP2003186112A
Authority: JP
Inventors: 恵吾真島; 清一合志; 一人小川; 逸郎室田; 剛大竹; 誠一難波
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2003-06-30
Filing date: 2003-06-30
Publication date: 2009-12-02
Anticipated expiration: 2023-06-30
Also published as: JP2005018675A

Description

【０００１】
【発明の属する技術分野】
本発明は、コンテンツの特徴量を抽出し、この抽出した特徴量を不正流通検出や類似検索に利用するコンテンツ特徴量抽出装置、コンテンツ特徴量抽出プログラムおよびコンテンツ特徴量抽出方法に関する。
【０００２】
【従来の技術】
近年のネットワークの高速化や記録媒体の大容量化に伴い、映像データ、音声データ等からなる大容量のデジタルコンテンツ（以下、コンテンツとする）を、高速のネットワークである公衆通信回線（光ファイバ通信回線、ＡＤＳＬ等）により配信、または、大容量の記録媒体である光ディスク（ＤＶＤ等）により流通させることを、誰でも容易に行える環境が整備されている。
【０００３】
また、ネットワークを介して配信されたコンテンツは蓄積が容易であり、記録媒体に記録されたコンテンツは配送が容易であるので、当該コンテンツの著作権者（以下、単に「著作権者」とする）や当該コンテンツを配信する配信事業者（以下、「コンテンツプロバイダ」とする）の許可を得ることなく、蓄積したコンテンツを複製した後、ネットワークを介して再配信したり、当該コンテンツを改竄（かいざん）したりするなど、不正行為を行うことが容易である。この不正行為がコンテンツを流通させる上での大きな阻害要因となっている。
【０００４】
特に、著作権者やコンテンツプロバイダの許可（許諾）を得ることなく、コンテンツの複製、再配信（再送信）を行う不正行為による不正流通コンテンツは、著作権者やコンテンツプロバイダに多大な金銭的不利益をもたらすので、このような不正流通コンテンツを高精度、且つ、短時間に検出し、不正行為の抑止を図ることができる技術的な手段が模索されている。
【０００５】
また、インターネットの普及やデジタル情報機器（ストレージ装置等）の高性能化に伴い、大容量のコンテンツである動画像コンテンツ（大容量マルチメディアデータ）の利用が一般化している。このため、インターネット上やストレージ装置内に保持された膨大な数のコンテンツの中から、利用者が要望する特定のコンテンツを効率よく検索する手段が求められている。
【０００６】
不正流通コンテンツの検出や、特定のコンテンツの検索を行うために、コンテンツを構成する映像データの輝度や色情報等から当該コンテンツの特徴を表す特徴量データを抽出し、この抽出した特徴量データをコンテンツ間の同一性や類似性の判定（検定）に利用する特徴量抽出技術が有効な手段として提案されている。
【０００７】
また、コンテンツの特徴量を抽出する従来の技術に関して、例えば、ＩＳＯ／ＩＥＣ１５９３８−３「ＭＰＥＧ−７ビジュアル記述」（非特許文献１参照）では、映像データ（映像信号）の特徴を記述し、この記述した特徴を抽出する特徴量抽出アルゴリズムが規定されている。このビジュアル記述は、主として、映像データ（映像信号）ベースでの類似検索・フィルタリングのために用いられることが想定されており、このビジュアル記述の中で、映像データ上の色や形状等の低レベルの特徴量を記述する具体的なものとして、色の空間的な配置を周波数軸上で表現する「色配置記述（ＣｏｌｏｒＬａｙｏｕｔ）」が定義されている。
【０００８】
この色配置記述は、人間の視覚特性を反映させたもので、コンテンツを構成する各画像フレームに対して、高精度の検索を可能にしている。つまり、色配置記述によって、コンテンツ同士の類似性を検定する際に、不要な情報を周波数軸上で削除することができる。その結果、コンテンツの特徴を記述するデータ量が減少する。
【０００９】
ちなみに、色配置は、Ｄ＝｛ｎ_y，Ｙ_i（ｉ＝１，２，・・・ｎ_y）；ｎ_c，Ｃｂ_j，Ｃｒ_j（ｊ＝１，２，・・・，ｎ_c）｝で表される。
この色配置Ｄにおいて、ｎ_yは輝度成分係数の個数であり、ｎ_cは色差成分係数の個数であり、Ｙ_iは輝度信号（Ｙ）のＤＣＴ係数であり、Ｃｂ_j，Ｃｒ_jは色差信号（Ｃｂ，Ｃｒ）のＤＣＴ係数である。なお、動画像データから特徴量を算出する場合には輝度信号（Ｙ）を６係数で、色差信号（Ｃｂ，Ｃｒ）を３係数にすることが推奨されている。
【００１０】
ここで、図８を参照して、従来の特徴量抽出方法について説明する。
この図８は、従来のコンテンツ特徴量抽出装置のブロック図であり、この図８に示したように、コンテンツ特徴量抽出装置１０１は、６４（８×８）分割平均化部１０３と、ＤＣＴ変換部１０５と、ジグザグスキャン部１０７と、非線形量子化部１０９とを備えている。
【００１１】
６４（８×８）分割平均化部１０３は、原画像を６４（８行×８列）区画に分割し、それぞれの区画の代表色（平均色）を算出するものである。つまり、この６４（８×８）分割平均化部１０３は、原画像を６４の代表色からなる６４区画に縮小退化させた「縮退画像」に変換するものである。
【００１２】
ＤＣＴ変換部１０５は、６４（８×８）分割平均化部１０３で変換した６４区画の縮退画像にＤＣＴ変換（離散コサイン変換）を行って、離散コサイン係数に変換するものである。
【００１３】
ジグザグスキャン部１０７は、ＤＣＴ変換部１０５で変換された離散コサイン変換係数をジグザグスキャンによって、低周波数成分から順に並べ替えを行うものである。
【００１４】
非線形量子化部１０９は、ジグザグスキャン部１０７で並べ替えられた離散コサイン変換係数の直流成分を６ビット、交流成分を５ビットで量子化すると共に、低周波数成分から定められた個数（輝度ｎ_y個、色差ｎ_c個）だけ順に取り出したものを特徴量（特徴量データ）として出力するものである。
【００１５】
【非特許文献１】
ＩＳＯ／ＩＥＣ１５９３８−３“ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ−ＭｕｌｔｉｍｅｄｉａＣｏｎｔｅｎｔＤｅｓｃｒｉｐｔｉｏｎＩｎｔｅｒｆａｃｅ−Ｐａｒｔ３：Ｖｉｓｕａｌ，６．６Ｃｏｌｏｒｌａｙｏｕｔ”．ｐｐ４２−５０（２００２）
【００１６】
【発明が解決しようとする課題】
しかしながら、図８に示したコンテンツ特徴量抽出装置１０１では、１フレームの画像データを対象に特徴量抽出を行っているので、長時間の放送番組等の動画像データであるコンテンツに対して、特徴量データのデータ量が膨大となる問題がある。
【００１７】
また、特徴量データを用いて、高精度に不正流通コンテンツの検出や番組検索（コンテンツの検索）を行う際には、異種のコンテンツの区別をしながら、コンテンツ間の同一性や類似性の検定を行うことができる十分な分散を確保しなければならないという問題がある。
【００１８】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができるコンテンツ特徴量抽出装置、コンテンツ特徴量抽出プログラムおよびコンテンツ特徴量抽出方法を提供することにある。
【００１９】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１記載のコンテンツ特徴量抽出装置は、比較の基準とする基準コンテンツと比較の対象とする比較コンテンツとを、多変量解析における主成分分析を用いて分析し、当該比較コンテンツを構成する複数の主成分を特徴量データとして抽出するコンテンツ特徴量抽出装置であって、基準コンテンツ多変量データ生成手段と、特徴係数演算手段と、比較コンテンツ多変量データ生成手段と、主成分演算手段と、を備える構成とした。
【００２０】
かかる構成によれば、コンテンツ特徴量抽出装置は、基準コンテンツ多変量データ生成手段によって、基準コンテンツから複数の基準変量データを生成する。
【００２１】
続いて、このコンテンツ特徴量抽出装置は、特徴係数演算手段によって、多変量解析における主成分分析を用いて、基準コンテンツ多変量データ生成手段で生成された複数の基準変量データのそれぞれに所定係数を乗算して合成した合成基準変量データの分散に対応する分散・共分散行列を求め、当該行列の固有値の大きい順に所定個のものに対する固有ベクトルを、特徴係数として出力する。
多変量解析とは、母集団となる複数のデータ（基準コンテンツ）、または、母集団を十分推定可能な種類と数とを有するデータを使用して、当該母集団において、複雑に絡み合ったデータを構成している主な要素を洗い出したり、要素同士の絡み合いを明らかにする解析法の一つである。主成分分析とは、相関関係にあるいくつかの要素（要因）を合成（圧縮）して、いくつかの成分にし、その総合力や特性を求める分析方法である。
【００２２】
そして、このコンテンツ特徴量抽出装置は、比較コンテンツ多変量データ生成手段によって、比較コンテンツから複数の変量データを生成し、主成分演算手段によって、比較コンテンツ多変量データ生成手段で生成された変量データと、特徴係数演算手段で演算された特徴係数とに基づいて、主成分を演算して求め、特徴量データとして出力する。この特徴量データは、例えば、複数の変量データのそれぞれに複数の特徴係数を乗算して得られたもの（特に、変量データと特徴係数とを乗算した３個の値（主成分）である、第一主成分、第二主成分および第三主成分）ものである。
【００２３】
また、請求項１記載のコンテンツ特徴量抽出装置の前記基準コンテンツ多変量データ生成手段及び前記比較コンテンツ多変量データ生成手段は、ブロック平均化手段と、離散コサイン変換手段と、周波数変換手段と、周波数データ総和算出手段と、を有していることを特徴とする。
【００２４】
かかる構成によれば、コンテンツ特徴量抽出装置の基準コンテンツ多変量データ生成手段または比較コンテンツ多変量データ生成手段は、ブロック平均化手段によって、動画像データである基準コンテンツまたは動画像データである比較コンテンツの輝度信号および色差信号によって再現されるフレームそれぞれに含まれる全画素データを複数（例えば６４個、水平８分割×垂直８分割）のブロックに分割すると共に、分割したブロック毎の全画素データを平均化して縮小画像データを生成する。つまり、動画像データ（１フレーム）を複数個のブロックに分割した後、このブロック内の全画素データの輝度信号および色差信号を平均化する。
【００２５】
続いて、コンテンツ特徴量抽出装置の基準コンテンツ多変量データ生成手段または比較コンテンツ多変量データ生成手段は、離散コサイン変換手段によって、ブロック平均化手段によって、生成された縮小画像データに対して、離散コサイン変換を施して、離散コサイン係数とする。この離散コサイン係数は、例えば、輝度信号（Ｙ）に関するもので６個、色差信号（Ｃｂ）に関するもので３個、色差信号（Ｃｒ）に関するもので３個といった具合に定個数求められる。
【００２６】
次に、コンテンツ特徴量抽出装置の基準コンテンツ多変量データ生成手段または比較コンテンツ多変量データ生成手段は、周波数変換手段によって、離散コサイン係数に周波数変換を施して周波数軸方向波形データとする。この周波数軸方向波形データは、周波数軸を横軸にとって、各周波数に含まれるデータ量（成分）を縦軸にとったグラフ上で、各周波数におけるデータ量の頂点を繋げていったものである。そして、コンテンツ特徴量抽出装置の基準コンテンツ多変量データ生成手段または比較コンテンツ多変量データ生成手段は、周波数データ総和算出手段によって、周波数変換手段で変換された周波数軸方向波形データを周波数全域に亘って総和し、基準変量データまたは変量データとする。
【００２９】
また、請求項１記載のコンテンツ特徴量抽出装置の前記主成分演算手段は、複数の前記変量データのぞれぞれに前記特徴係数を乗算して前記主成分を求め、この主成分を前記特徴量データとして出力することを特徴とする。
【００３０】
かかる構成によれば、コンテンツ特徴量抽出装置は、主成分演算手段によって、複数の変量データのそれぞれに特徴係数を乗算して主成分を求め、この主成分を特徴量データとして出力しているので、データ量を増加させることなく、比較コンテンツの特徴を表すことができる（特徴量データを得ることができる）。
【００３１】
請求項３記載のコンテンツ特徴量抽出プログラムは、比較の基準とする基準コンテンツと比較の対象とする比較コンテンツとを、多変量解析における主成分分析を用いて分析し、当該比較コンテンツを構成する複数の主成分を特徴量データとして抽出する装置を、基準コンテンツ多変量データ生成手段、特徴係数演算手段、比較コンテンツ多変量データ生成手段、主成分演算手段、として機能させる構成とした。
【００３２】
かかる構成によれば、コンテンツ特徴量抽出プログラムは、基準コンテンツ多変量データ生成手段によって、基準コンテンツから複数の基準変量データを生成し、特徴係数演算手段によって、多変量解析における主成分分析を用いて、基準コンテンツ多変量データ生成手段で生成された複数の基準変量データのそれぞれに所定係数を乗算して合成した合成基準変量データの分散に対応する分散・共分散行列を求め、当該行列の固有値の大きい順に所定個のものに対する固有ベクトルを、特徴係数として出力する。そして、このコンテンツ特徴量抽出プログラムは、比較コンテンツ多変量データ生成手段によって、比較コンテンツをから複数の変量データを生成し、主成分演算手段によって、比較コンテンツ多変量データ生成手段で生成された複数の変量データを成分としたベクトルと、特徴係数演算手段で演算された各特徴係数との内積を、特徴量データとして出力する。
【００３３】
請求項４記載のコンテンツ特徴量抽出方法は、比較の基準とする基準コンテンツと比較の対象とする比較コンテンツとを、多変量解析における主成分分析を用いて分析し、当該比較コンテンツを構成する複数の主成分を特徴量データとして抽出するコンテンツ特徴量抽出方法であって、基準コンテンツ多変量データ生成ステップと、特徴係数演算ステップと、比較コンテンツ多変量データ生成ステップと、主成分演算ステップと、を含む手順とした。
【００３４】
かかる手順によれば、コンテンツ特徴量抽出方法は、基準コンテンツ多変量データ生成ステップにおいて、基準コンテンツから複数の基準変量データを生成し、特徴係数演算ステップにおいて、多変量解析における主成分分析を用いて、基準コンテンツ多変量データ生成ステップで生成された複数の基準変量データのそれぞれに所定係数を乗算して合成した合成基準変量データの分散に対応する分散・共分散行列を求め、当該行列の固有値の大きい順に所定個のものに対する固有ベクトルを、特徴係数として出力する。そして、このコンテンツ特徴量抽出方法は、比較コンテンツ多変量データ生成ステップにおいて、比較コンテンツから複数の変量データを生成し、主成分演算ステップにおいて、比較コンテンツ多変量データ生成ステップで生成された複数の変量データを成分としたベクトルと、特徴係数演算ステップで演算された各特徴係数との内積を、特徴量データとして出力する。
【００３５】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（コンテンツ特徴量抽出装置の構成）
図１はコンテンツ特徴量抽出装置のブロック図である。この図１に示すように、コンテンツ特徴量抽出装置１は、動画像データであるコンテンツ（基準コンテンツと比較コンテンツ）の特徴量データを多変量解析における主成分分析を用いて抽出するもので、特徴係数生成部３と、特徴量データ抽出部５とを備えている。
【００３６】
また、このコンテンツ特徴量抽出装置１は、ネットワーク（外部のインターネット等）を介して、または、記録媒体（光ディスク［例えば、ＤＶＤ］等）に記録されて不正に流通するコンテンツ（不正流通コンテンツ）の検出を行う不正流通コンテンツ検出システム（図示せず）や、保存管理されているコンテンツ群（番組群）から目的とする（所望する）コンテンツ（番組）やシーン等の検索を行う番組検索システム等に適用可能なものである。
【００３７】
特徴係数生成部３は、比較コンテンツの特徴量データを算出する基準となる特徴係数を生成するもので、基準多変量データ生成手段７（基準コンテンツ多変量データ生成手段）と、特徴係数演算手段９とを備えている。
【００３８】
基準多変量データ生成手段７は、動画像データ（基準コンテンツ［１，・・・，ｉ，・・・，ｍ］）から複数（多数）の基準変量データを生成するもので、ブロック平均化手段７ａと、ＤＣＴ処理手段７ｂ（離散コサイン変換手段）と、周波数変換手段７ｃと、周波数データ総和算出手段７ｄとを備えている。
【００３９】
ブロック平均化手段７ａは、入力された動画像データ（基準コンテンツ（１，・・・，ｉ，・・・，ｍ））の輝度信号（Ｙ）、色差信号（Ｃｂ、Ｃｒ）からフレーム単位の処理を行って、縮小画像データを出力するものである。なお、基準コンテンツ（１，・・・，ｉ，・・・，ｍ）のｉはｉ番目（ｉ個）の基準コンテンツを、ｍはｍ番目（ｍ個）の基準コンテンツを示している。フレーム単位の処理は、各フレームの全画素を水平８ブロック×垂直８ブロックに分割し、各ブロックにおける全画素の輝度信号（Ｙ）、色差信号（Ｃｂ、Ｃｒ）の画素データを平均化して、水平８画素×垂直８ラインの縮小画像データを作成（生成）するものである。
【００４０】
ＤＣＴ処理手段７ｂは、ブロック平均化手段７ａによって生成された縮小画像データの画素データＹ、ＣｂおよびＣｒに対してＤＣＴ演算処理（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）を施して、離散コサイン係数に変換するものである。この実施の形態では、ＤＣＴ処理手段７ｂは、輝度信号（Ｙ）については、Ｙ０、Ｙ１、Ｙ２、Ｙ３、Ｙ４、Ｙ５の６係数、色差信号（Ｃｂ）については、Ｃｂ０、Ｃｂ１、Ｃｂ２の３係数、色差信号（Ｃｒ）については、Ｃｒ０、Ｃｒ１、Ｃｒ２の３係数の合計１２係数を算出している。なお、この離散コサイン係数の数が多ければ多いほど、最終的に生成される特徴量データを使用した際のコンテンツの同一性または類似性の検定精度を高くすることができる。
【００４１】
周波数変換手段７ｃは、ＤＣＴ処理手段７ｂで算出した１２個の離散コサイン係数のそれぞれに対し、周波数変換処理を施して、１２の周波数軸方向波形データとするものである。この周波数変換手段７ｃにおける周波数変換処理は、ＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ；高速フーリエ変換）処理である。
【００４２】
周波数データ総和算出手段７ｄは、周波数変換手段７ｃで１２の周波数軸方向波形データを周波数全域に亘って総和し、１２個の基準変量データｋＹ０、ｋＹ１、ｋＹ２、ｋＹ３、ｋＹ４、ｋＹ５およびｋＣｂ０、ｋＣｂ１、ｋＣｂ２とｋＣｒ０、ｋＣｒ１、ｋＣｒ２を算出するものである。
【００４３】
特徴係数演算手段９は、多変量解析による主成分分析を用いて、基準多変量データ生成手段７で生成された１２個の基準変量データ（ｋＹ０、ｋＹ１、ｋＹ２、ｋＹ３、ｋＹ４およびｋＹ５、ｋＣｂ０、ｋＣｂ１およびｋＣｂ２、ｋＣｒ０、ｋＣｒ１およびｋＣｒ２）に基づいて、特徴係数を演算して求め、特徴量データ抽出部５に出力するものである。この特徴係数演算手段９は、１２個の基準変量データのそれぞれに所定係数を乗算して合成した合成基準変量データの分散を求め、この分散を最大とする所定係数を特徴係数として求めるものである。また、この特徴係数は、基準コンテンツの特徴を示す複数の固有ベクトルからなるものである。なお、この特徴量係数演算手段９における特徴係数の演算の仕方については後記することとする。
【００４４】
特徴量データ抽出部５は、特徴係数生成部３で生成された特徴係数に基づいて、比較コンテンツの特徴量データを抽出するもので、多変量データ生成手段１１（比較コンテンツ多変量データ生成手段）と、主成分演算手段１３とを備えている。
【００４５】
多変量データ生成手段１１は、動画像データ（比較コンテンツ）から複数（多数）の変量データを生成するもので、ブロック平均化手段１１ａと、ＤＣＴ処理手段１１ｂ（離散コサイン変換手段）と、周波数変換手段１１ｃと、周波数データ総和算出手段１１ｄとを備えている。
【００４６】
ブロック平均化手段１１ａは、入力された動画像データ（比較コンテンツ）の輝度信号（Ｙ）、色差信号（Ｃｂ、Ｃｒ）からフレーム単位の処理を行って、縮小画像データを出力するものである。フレーム単位の処理は、各フレームの全画素を水平８ブロック×垂直８ブロックに分割し、各ブロックにおける全画素の輝度信号（Ｙ）、色差信号（Ｃｂ、Ｃｒ）の画素データを平均化して、水平８画素×垂直８ラインの縮小画像データを作成（生成）するものである。
【００４７】
ＤＣＴ処理手段１１ｂは、ブロック平均化手段１１ａによって生成された縮小画像データの画素データＹ、ＣｂおよびＣｒに対してＤＣＴ演算処理を施して、離散コサイン係数に変換するものである。この実施の形態では、ＤＣＴ処理手段１１ｂは、輝度信号（Ｙ）については、Ｙ０、Ｙ１、Ｙ２、Ｙ３、Ｙ４、Ｙ５の６係数、色差信号（Ｃｂ）については、Ｃｂ０、Ｃｂ１、Ｃｂ２の３係数、色差信号（Ｃｒ）については、Ｃｒ０、Ｃｒ１、Ｃｒ２の３係数の合計１２係数を算出している。なお、この離散コサンイン係数の数が多ければ多いほど、最終的に生成される特徴量データを使用した際のコンテンツの同一性または類似性の検定精度を高くすることができる。
【００４８】
周波数変換手段１１ｃは、ＤＣＴ処理手段１１ｂで算出した１２個の離散コサイン係数のそれぞれに対し、周波数変換処理を施して、１２の周波数軸方向波形データとするものである。この周波数変換手段１１ｃにおける周波数変換処理は、ＦＦＴ処理である。
【００４９】
周波数データ総和算出手段１１ｄは、周波数変換手段１１ｃで１２の周波数軸方向波形データを周波数全域に亘って総和し、１２個の変量データｈＹ０、ｈＹ１、ｈＹ２、ｈＹ３、ｈＹ４およびｈＹ５と、ｈＣｂ０、ｈＣｂ１およびｈＣｂ２と、ｈＣｒ０、ｈＣｒ１およびｈＣｒ２とを算出するものである。
【００５０】
主成分演算手段１３は、特徴係数生成部３の特徴係数演算手段９から出力された特徴係数と、周波数データ総和算出手段１１ｄから出力された１２個の変量データｈＹ０、ｈＹ１、ｈＹ２、ｈＹ３、ｈＹ４およびｈＹ５と、ｈＣｂ０、ｈＣｂ１およびｈＣｂ２と、ｈＣｒ０、ｈＣｒ１およびｈＣｒ２とに基づいて、特徴量データを演算して求め出力するものである。この主成分演算手段１３は、１２個の変量データのぞれぞれに特徴係数を乗算して主成分を求め、この主成分を特徴量データとして出力するものである。なお、この主成分演算手段１３における主成分の演算の仕方については後記することとする。
【００５１】
このコンテンツ特徴量抽出装置１によれば、基準多変量データ生成手段７によって、動画像データ（基準コンテンツ）から複数の基準変量データが生成され、特徴係数演算手段９によって、多変量解析の主成分分析を用いて、基準多変量データ生成手段７で生成された基準変量データに所定の演算が施されて、基準コンテンツの特徴を示す複数の固有ベクトルからなる特徴係数が得られる。そして、多変量データ生成手段１１によって、動画像データ（比較コンテンツ）から複数の変量データが生成され、主成分演算手段１３によって、多変量データ生成手段１１で生成された変量データと、特徴係数演算手段９で演算された特徴係数とに基づいて、主成分が演算して求められ、特徴量データとして出力される。つまり、多変量解析による主成分分析を用いて、基準コンテンツおよび比較コンテンツを分析しているので、特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができる。
【００５２】
また、このコンテンツ特徴量抽出装置１によれば、ブロック平均化手段７ａ、１１ａによって、動画像データである基準コンテンツまたは動画像データである比較コンテンツの輝度信号および色差信号によって再現されるフレームそれぞれに含まれる全画素データが複数（６４個）のブロックに分割されると共に、分割されたブロック毎の全画素データが平均化されて縮小画像データが生成される。続いて、ＤＣＴ処理手段７ｂ、１１ｂによって、ブロック平均化手段７ａ、１１ａで生成された縮小画像データに対して、離散コサイン変換が施されて、離散コサイン係数とされ、周波数変換手段７ｃ、１１ｃによって、離散コサイン係数に周波数変換が施されて１２の周波数軸方向波形データとされる。
【００５３】
そして、周波数データ総和算出手段７ｄ、１１ｄによって、周波数変換手段７ｃ、１１ｃで変換された１２の周波数軸方向波形データが周波数全域に亘って総和され、基準変量データまたは変量データとされる。つまり、基準コンテンツおよび比較コンテンツを分割して平均化した縮小画像データに離散コサイン変換、周波数変換を施して得られた１２の周波数軸方向波形データを周波数全域に亘って総和して、基準変量データまたは変量データを得ており、これら基準変量データまたは変量データを用いているので、当該コンテンツの特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができる。
【００５４】
さらに、コンテンツ特徴量抽出装置１によれば、特徴係数演算手段９によって、基準変量データのそれぞれに所定係数が乗算されて合成された合成基準変量データが求められ、この合成基準変量データの分散が最大となる所定係数が特徴係数とされることで、データ量を増加させることなく、動画像データ（基準コンテンツ）の特徴を表すことができる（特徴量データを得ることができる）。
【００５５】
さらにまた、コンテンツ特徴量抽出装置１よれば、主成分演算手段１３によって、複数の変量データのそれぞれに特徴係数が乗算されて主成分が求められ、この主成分が特徴量データとして出力されているので、データ量を増加させることなく、動画像データ（比較コンテンツ）の特徴を表すことができる（特徴量データを得ることができる）。
【００５６】
（コンテンツ特徴量抽出装置の動作）
次に、図２に示すフローチャートを参照して、コンテンツ特徴量抽出装置１の動作について説明する（適宜、図１参照）。
【００５７】
まず、動画像データ（基準コンテンツ）がコンテンツ特徴量抽出装置１の特徴係数生成部３に入力されると、コンテンツ特徴量抽出装置１は、基準多変量データ生成手段７によって、この動画像データ（基準コンテンツ）の基準変量データを生成し、特徴係数演算手段９に出力する（Ｓ１）。
【００５８】
続いて、コンテンツ特徴量抽出装置１は、特徴係数演算手段９によって、特徴係数を生成し、特徴量データ抽出部５の主成分演算手段１３に出力する（Ｓ２）。
【００５９】
また、動画像データ（比較コンテンツ）がコンテンツ特徴量抽出装置１の特徴量データ抽出部５に入力されると、コンテンツ特徴量抽出装置１は、多変量データ生成手段１１によって、この動画像データ（比較コンテンツ）の変量データを生成し、主成分演算手段１３に出力する（Ｓ３）。
【００６０】
そして、特徴係数と変量データとがコンテンツ特徴量抽出装置１の主成分演算手段１３に入力されると、コンテンツ特徴量抽出装置１は、主成分演算手段１３によって、特徴量データを生成して外部に出力する（Ｓ４）。
【００６１】
このコンテンツ特徴量抽出装置１の動作で説明したように、基準変量データと変量データとを求め、比較コンテンツの特徴量データを算出しているので、この特徴量データを使用すれば、ネットワークや記録媒体を介して流通しているコンテンツとの同一性や類似性を高精度に検出（検定）することができる。
【００６２】
（主成分分析、特徴係数、特徴量データについて）
ここで、多変量解析における、主成分分析、特徴係数および特徴量データの算出について説明する（適宜、図１参照）。
【００６３】
［主成分分析について］
まず、主成分分析について説明する。主成分分析とは、例えば、複数の変量ｘ、ｙ、ｚに関し、次に示す数式（１）における合成変量ｕの分散を最大とする係数ａ、ｂ、ｃを求め、この場合の合成変量ｕを主成分としてデータの分析を行うものである。
【００６４】
ｕ＝ａｘ＋ｂｙ＋ｃｚ・・・数式（１）
但し、係数ａ、ｂ、ｃは、ａ²＋ｂ²＋ｃ²＝１を満たす定数である。
【００６５】
［特徴係数について］
次に、特徴係数について説明する（適宜、図１参照）。
まず、母集団となる複数の基準コンテンツ（１，・・・，ｉ，・・・，ｍ）、または母集団を十分推定可能な種類と数を有する複数の基準コンテンツを用いて、前記したように、基準多変量データ生成手段７で基準変量データを生成する。
【００６６】
ここで、図３に基準コンテンツの数をｍとし、各基準コンテンツにおける基準変量データの数をｎとした場合の基準変量データの一覧を示す。なお、コンテンツ特徴量抽出装置１の特徴係数生成部３の基準多変量データ生成手段７に入力される動画像データ（基準コンテンツ）は、１つの動画像データ（１つの基準コンテンツ）から当該動画像データ（当該基準コンテンツ）の特徴を表す複数の基準変量データが得られるものであればよい。
【００６７】
この基準多変量データ生成手段７で生成された複数の基準変量データに対して、特徴係数演算手段９では、以下に述べる演算を実行し、特徴係数を算出している。図３に示した基準変量データのうちｉ番目の基準コンテンツの基準変量データに対する合成変量（合成基準変量データ）ｕ_iを次の数式（２）によって求める。
【００６８】
ｕ_i＝ａ₁ｘ_i1＋・・・＋ａ_jｘ_ij＋・・・＋ａ_nｘ_in ・・・数式（２）
但し、ｉは、１＜ｉ＜ｍの整数であり、係数ａ₁，・・・，ａ_j，・・・，ａ_nはａ₁ ²＋・・・＋ａ_j ²＋・・・＋ａ_n ²＝１・・・数式（３）
を満たす定数とする。
【００６９】
また、合成変量（合成基準変量データ）ｕ_iの分散Ｓｕ²を次の数式（４）によって求める。
【００７０】
【数１】

【００７１】
ここで、ｕの平均（ｕにルビ「−」の付いた文字）はｕ_iの平均値であり、Ｓ₁₁、・・・、Ｓ_jj、・・・Ｓ_nnは、それぞれ変量ｘ_i1、・・・、ｘ_ij、・・・、ｘ_in（１＜ｉ＜ｍ）の分散を表しており、Ｓ₁₂、・・・、Ｓ_j(j+1)、・・・、Ｓ_(n-1)nは、それぞれ変量ｘ_i1−ｘ_i2、・・・、ｘ_ij−ｘ_i(j+1)、・・・、ｘ_i(n-1)−ｘ_in（１＜ｉ＜ｍ）の共分散を表している。
【００７２】
この実施の形態における主成分分析は、条件が数式（３）の下で、数式（４）に示した合成変量（合成基準変量データ）ｕ_iの分散Ｓｕ²を最大とする係数ａ₁、・・・、ａ_j、・・・、ａ_nを求めることである。
【００７３】
そして、これらの係数ａ₁、・・・、ａ_j、・・・、ａ_nについて、ラグランジュの定数変化法を用いて、次の数式（５）を得る。
【００７４】
【数２】

【００７５】
ここで、λは数式（５）の固有の定数を表しており、Ｓは次の数式（６）のように表すことができる。
【００７６】
【数３】

【００７７】
この数式（６）に示す行列Ｓは、各変量の分散・共分散行列であり、数式（５）は、係数の組（ａ₁、・・・、ａ_j、・・・、ａ_n）を行列Ｓの固有ベクトル、定数λを行列Ｓの固有値とする、行列Ｓの固有値問題を表していることになる。
【００７８】
条件が数式（３）の下で、数式（４）に示した合成変量（合成基準変量データ）ｕ_iの分散Ｓｕ²を最大とする係数ａ₁、・・・、ａ_j、・・・、ａ_nは、行列Ｓの最大の固有値に対応する固有ベクトルで表されることになる。
【００７９】
従って、行列Ｓの１番目に大きい（最大の）固有値λ₁に対応する固有ベクトル（ａ₁〈１〉、・・・、ａ_j〈１〉、・・・、ａ_n〈１〉）を求め、この固有ベクトル（ａ₁〈１〉、・・・、ａ_j〈１〉、・・・、ａ_n〈１〉）を特徴係数の第１主成分とし、行列Ｓの２番目に大きい固有値λ₂に対応する固有ベクトル（ａ₁〈２〉、・・・、ａ_j〈２〉、・・・、ａ_n〈２〉）を求め、この固有ベクトル（ａ₁〈２〉、・・・、ａ_j〈２〉、・・・、ａ_n〈２〉）を特徴係数の第２主成分とし、行列Ｓの３番目に大きい固有値λ₃に対応する固有ベクトル（ａ₁〈３〉、・・・、ａ_j〈３〉、・・・、ａ_n〈３〉）を求め、この固有ベクトル（ａ₁〈３〉、・・・、ａ_j〈３〉、・・・、ａ_n〈３〉）を特徴係数の第３主成分とする。
【００８０】
これら固有ベクトル（ａ₁〈１〉、・・・、ａ_j〈１〉、・・・、ａ_n〈１〉）、（ａ₁〈２〉、・・・、ａ_j〈２〉、・・・、ａ_n〈２〉）および（ａ₁〈３〉、・・・、ａ_j〈３〉、・・・、ａ_n〈３〉）を特徴係数として、コンテンツ特徴量抽出装置１の主成分演算手段１３に入力している。
【００８１】
なお、動画像データの場合、情報吸収率を意味する累積寄与率は、第３主成分までで８０％を超えるため、第１主成分から第３主成分までを特徴係数として用いれば十分である。但し、さらに精度を求める場合には、これら第１主成分から第３主成分までに限らずに第４主成分以降も併せて特徴係数として用いることとしてもよい。
【００８２】
［特徴量データについて］
次に、特徴量データについて説明する（適宜、図１参照）。
まず、多変量データ生成手段１１により得られたｎ個の変量データ（ｘ１、・・・、ｘｊ、・・・、ｘｎ）を主成分演算手段１３に入力する。すると、主成分演算手段１３において、特徴係数演算手段９で求めた特徴係数の第１主成分、第２主成分、第３主成分から、以下に示す数式（７）〜（９）を使用した演算を行って、ｕ〈１〉、ｕ〈２〉およびｕ〈３〉を求め、これらを特徴量データとして出力する。
【００８３】
ｕ〈１〉＝ａ₁〈１〉ｘ₁＋・・・＋ａ_j〈１〉ｘ_j＋・・・＋ａ_n〈１〉ｘ_n・・・数式（７）
ｕ〈２〉＝ａ₁〈２〉ｘ₁＋・・・＋ａ_j〈２〉ｘ_j＋・・・＋ａ_n〈２〉ｘ_n・・・数式（８）
ｕ〈３〉＝ａ₁〈３〉ｘ₁＋・・・＋ａ_j〈３〉ｘ_j＋・・・＋ａ_n〈３〉ｘ_n・・・数式（９）
これらの数式（７）〜（９）で求められたｕ〈１〉、ｕ〈２〉およびｕ〈３〉が特徴量データとなる。
【００８４】
（基準変量データの事例、特徴係数の事例について）
次に、図４、図５を参照して、基準変量データの事例、特徴係数の事例について説明する。図４は、基準変量データの事例を示しており、この基準変量データの事例は、基準コンテンツとして、内容と種類との異なる１０個の放送番組（各約１０分）を用いて得られたものである。図４では、番組番号１〜１０の１０個の放送番組について、１２個の基準変量データ（ｋＹ０、ｋＹ１、ｋＹ２、ｋＹ３、ｋＹ４およびｋＹ５、ｋＣｂ０、ｋＣｂ１およびｋＣｂ２、ｋＣｒ０、ｋＣｒ１およびｋＣｒ２）が求められている。
【００８５】
また、図５は、これらの基準変量データを用いて得られた特徴係数の事例を示しており、１２個の特徴係数（ｔＹ０、ｔＹ１、ｔＹ２、ｔＹ３、ｔＹ４およびｔＹ５、ｔＣｂ０、ｔＣｂ１およびｔＣｂ２、ｔＣｒ０、ｔＣｒ１およびｔＣｒ２Ｙ０）の第１主成分から第３主成分までを求めたものである。
【００８６】
ちなみに、この特徴係数の事例では、第１主成分から第３主成分までで、累積寄与率８９．７％が得られている。
【００８７】
（特徴量データの事例について）
次に、図６、図７を参照して、特徴量データの事例について説明する。
この特徴量データの事例では、コンテンツ特徴量抽出装置１に入力した動画像データ（基準コンテンツおよび比較コンテンツ）に、基準コンテンツとして１０個の番組（基準コンテンツ）と、比較コンテンツとして各基準コンテンツの冒頭１０％を削減して得られた編集番組（編集コンテンツ）とを用いた。
【００８８】
図６には、番組の特徴量データである第１主成分および第２主成分と、編集番組の特徴量データである第１主成分および第２主成分との分布図を示しており、図７には、番組の特徴量データである第３主成分および第２主成分と、編集番組の特徴量データである第３主成分および第２主成分との分布図を示している。
【００８９】
これら図６、図７に示したように、特徴量データとして、第１主成分、第２主成分および第３主成分を用いることにより、異種番組の区別（１０個の番組の区別）および類似番組や編集前後の同一番組の識別が可能であることがわかる。
【００９０】
なお、この実施の形態では、３２ビットの浮動小数点型データを用いて、基準変量データ、変量データ、特徴係数および特徴量データの算出（演算）を行っているが、これを１６ビットの浮動小数点型データを用いて行っても同様の結果を得ることができる。特に、最終的に得られる特徴量データに関しては、１６ビットの整数型のデータで表現されれば十分である。
【００９１】
また、このコンテンツ特徴量抽出装置１では、動画像データ（映像コンテンツ）について説明を行ったが、これに限定されるものではなく、音声データ（楽曲コンテンツ）等に対しても適用可能であり、さらに動画像データと音声データとを組み合わせたものについても、適用可能である。
【００９２】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、コンテンツ特徴量抽出装置１の各構成の処理を汎用的なコンピュータ言語で記述したコンテンツ特徴量抽出プログラムとみなすことや、各構成の処理を一つずつの過程ととらえたコンテンツ特徴量抽出方法とみなすことも可能である。これらの場合、コンテンツ特徴量抽出装置１と同様の効果を得ることができる。
【００９３】
【発明の効果】
請求項１乃至４記載の発明によれば、多変量解析による主成分分析を用いて、コンテンツを分析しているので、特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができる。
【００９４】
また、請求項１乃至４記載の発明によれば、基準コンテンツおよび比較コンテンツを分割して平均化した縮小画像データに離散コサイン変換、周波数変換を施して得られた周波数軸方向波形データを周波数全域に亘って総和して、基準変量データまたは変量データを得ており、これら基準変量データまたは変量データを用いているので、当該コンテンツの特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検定を高精度に行うことができる。
【００９５】
また、請求項１乃至４記載の発明によれば、合成基準変量データの分散が最大となる所定係数が特徴係数とされることで、データ量を増加させることなく、動画像データ（基準コンテンツ）の特徴を表すことができる（特徴量データを得ることができる）。
【００９６】
また、請求項１乃至４記載の発明によれば、複数の変量データのそれぞれに特徴係数が乗算されて主成分が求められ、この主成分が特徴量データとして出力されているので、データ量を増加させることなく、動画像データ（比較コンテンツ）の特徴を表すことができる（特徴量データを得ることができる）。
【図面の簡単な説明】
【図１】本発明による一実施の形態であるコンテンツ特徴量抽出装置のブロック図である。
【図２】図１に示したコンテンツ特徴量抽出装置の動作を説明したフローチャートである。
【図３】基準変量データの一覧を示した図である。
【図４】基準変量データの事例を示した図である。
【図５】特徴係数の事例を示した図である。
【図６】特徴量データの事例を示した図であり、番組の特徴量データである第１主成分および第２主成分と、編集番組の特徴量データである第１主成分および第２主成分との分布図である。
【図７】特徴量データの事例を示した図であり、番組の特徴量データである第３主成分および第２主成分と、編集番組の特徴量データである第３主成分および第２主成分との分布図である。
【図８】従来のコンテンツ特徴量抽出装置のブロック図である。
【符号の説明】
１コンテンツ特徴量抽出装置
３特徴係数生成部
５特徴量データ抽出部
７基準多変量データ生成手段（基準コンテンツ多変量データ生成手段）
７ａ、１１ａブロック平均化手段
７ｂ、１１ｂＤＣＴ処理手段（離散コサンイン変換手段）
７ｃ、１１ｃ周波数変換手段
７ｄ、１１ｄ周波数データ総和算出手段
９特徴係数演算手段
１１多変量データ生成手段（比較コンテンツ多変量データ生成手段）
１３主成分演算手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a content feature amount extraction device, a content feature amount extraction program, and a content feature amount extraction method that extract feature amounts of content and use the extracted feature amounts for unauthorized distribution detection and similarity search.
[0002]
[Prior art]
With the recent increase in network speed and storage media capacity, large-capacity digital content (hereinafter referred to as content) consisting of video data, audio data, etc., is transferred to a public communication line (optical fiber communication), which is a high-speed network. An environment in which anyone can easily distribute or distribute via an optical disk (DVD or the like), which is a large-capacity recording medium, is provided.
[0003]
In addition, content distributed via a network is easy to store, and content recorded on a recording medium is easy to deliver. Therefore, the copyright owner of the content (hereinafter simply referred to as “copyright holder”). And without permission from the distributor (hereinafter referred to as “content provider”) to distribute the content, copy the stored content and re-distribute it via the network, or tamper with the content. It is easy to do fraudulent activities such as This fraudulent act is a major impediment to distributing content.
[0004]
In particular, illegally distributed content resulting from unauthorized acts of copying and redistributing (retransmitting) content without obtaining the permission (license) of the copyright owner or content provider is subject to significant financial inconvenience to the copyright owner or content provider. Therefore, technical means capable of detecting such illegally distributed content with high accuracy and in a short time and deterring illegal acts are being sought.
[0005]
In addition, with the spread of the Internet and higher performance of digital information devices (storage devices, etc.), the use of moving image content (large-capacity multimedia data), which is a large-capacity content, has become common. For this reason, there is a need for means for efficiently searching for specific content desired by a user from a vast number of contents held on the Internet or in a storage device.
[0006]
In order to detect illegally distributed content or to search for specific content, feature amount data representing the feature of the content is extracted from the luminance and color information of the video data constituting the content, and the extracted feature amount data is A feature amount extraction technique used for determination (testing) of identity and similarity between contents has been proposed as an effective means.
[0007]
Also, with regard to the conventional technique for extracting content feature amounts, for example, ISO / IEC 15938-3 “MPEG-7 Visual Description” (see Non-Patent Document 1) describes the characteristics of video data (video signal). A feature extraction algorithm for extracting the described features is defined. It is assumed that this visual description is mainly used for similarity search / filtering based on video data (video signal), and in this visual description, low-level colors, shapes, etc. on video data. As a specific description of the feature amount, “color layout description” that defines the spatial arrangement of colors on the frequency axis is defined.
[0008]
This color arrangement description reflects human visual characteristics, and enables high-precision search for each image frame constituting the content. That is, unnecessary information can be deleted on the frequency axis when the similarity between contents is tested by the color arrangement description. As a result, the amount of data describing the content features is reduced.
[0009]
Incidentally, the color arrangement is D = {n_y, Y_i(I = 1, 2,... N_y; N_c, Cb_j, Cr_j(J = 1, 2,..., N_c)}.
In this color arrangement D, n_yIs the number of luminance component coefficients, n_cIs the number of color difference component coefficients, Y_iIs the DCT coefficient of the luminance signal (Y) and Cb_j, Cr_jIs a DCT coefficient of the color difference signal (Cb, Cr). In addition, when calculating a feature amount from moving image data, it is recommended that the luminance signal (Y) has 6 coefficients and the color difference signals (Cb, Cr) have 3 coefficients.
[0010]
Here, a conventional feature amount extraction method will be described with reference to FIG.
FIG. 8 is a block diagram of a conventional content feature amount extraction device. As shown in FIG. 8, the content feature amount extraction device 101 includes a 64 (8 × 8) division averaging unit 103, a DCT transform, and the like. Unit 105, zigzag scanning unit 107, and nonlinear quantization unit 109.
[0011]
The 64 (8 × 8) division averaging unit 103 divides the original image into 64 (8 rows × 8 columns) sections and calculates a representative color (average color) of each section. That is, the 64 (8 × 8) division averaging unit 103 converts the original image into a “degenerate image” obtained by reducing and reducing the original image into 64 sections composed of 64 representative colors.
[0012]
The DCT transform unit 105 performs DCT transform (discrete cosine transform) on the 64 degenerated images transformed by the 64 (8 × 8) division averaging unit 103 and transforms them into discrete cosine coefficients.
[0013]
The zigzag scanning unit 107 rearranges the discrete cosine transform coefficients transformed by the DCT transformation unit 105 in order from the low frequency component by zigzag scanning.
[0014]
The nonlinear quantization unit 109 quantizes the DC component of the discrete cosine transform coefficients rearranged by the zigzag scanning unit 107 with 6 bits and the AC component with 5 bits, and also determines the number (brightness n_yPieces, color difference n_cAre extracted in order as feature quantities (feature quantity data).
[0015]
[Non-Patent Document 1]
ISO / IEC 15938-3 “Information Technology-Multimedia Content Description Interface-Part3: Visual, 6.6 Color layout”. pp42-50 (2002)
[0016]
[Problems to be solved by the invention]
However, since the content feature quantity extraction apparatus 101 shown in FIG. 8 performs feature quantity extraction for one frame of image data, the feature is extracted from content that is moving image data such as a long-time broadcast program. There is a problem that the amount of data is enormous.
[0017]
In addition, when detecting illegally distributed content or searching for programs (content search) with high accuracy using feature data, it is possible to test the identity and similarity between content while distinguishing different types of content. There is a problem that sufficient dispersion must be ensured.
[0018]
Therefore, an object of the present invention is to solve the problems of the conventional techniques described above, and to perform content identity or content similarity test with high accuracy without increasing the amount of feature data. An object of the present invention is to provide a quantity extraction device, a content feature quantity extraction program, and a content feature quantity extraction method.
[0019]
[Means for Solving the Problems]
In order to achieve the above-described object, the present invention has the following configuration.
The content feature amount extraction apparatus according to claim 1 is configured to analyze a reference content as a reference for comparison and a comparison content as a comparison target by using principal component analysis in multivariate analysis, and to configure a plurality of contents constituting the comparison content A content feature quantity extraction device for extracting the principal component of the reference content multivariate data generation means, feature coefficient calculation means, comparison content multivariate data generation means, and principal component calculation means. It was set as the structure provided.
[0020]
  According to such a configuration, the content feature amount extraction device uses the reference content multivariate data generation unit to execute the reference contentFromGenerate multiple baseline variable data.
[0021]
  Subsequently, the content feature quantity extraction device uses the feature coefficient calculation means,Using principal component analysis in multivariate analysis,Generated by the reference content multivariate data generation meanspluralStandard variable dataFind the variance / covariance matrix corresponding to the variance of the combined reference variate data synthesized by multiplying each by a given coefficient, and output the eigenvectors for the given ones in descending order of the eigenvalues of the matrix as feature coefficientsDo.
  Multivariate analysis is a method that uses multiple data (reference content) that make up a population, or data that has enough types and numbers that can be used to estimate the population. It is one of the analysis methods to identify the main elements that make up and to clarify the entanglement between elements. Principal component analysis is an analysis method that synthesizes (compresses) several correlated elements (factors) into several components, and obtains the total power and characteristics.
[0022]
  Then, the content feature amount extraction device uses the comparison content multivariate data generation means to perform comparison content.FromA plurality of variable data is generated, and the principal component is calculated by the principal component calculation means based on the variable data generated by the comparison content multivariate data generation means and the feature coefficient calculated by the feature coefficient calculation means. Obtained and output as feature data. This feature amount data is obtained, for example, by multiplying each of a plurality of variable data by a plurality of feature coefficients (in particular, three values (principal components) obtained by multiplying the variable data and the feature coefficients. First main component, second main component and third main component).
[0023]
  Also,Claim1Described content feature quantity extraction deviceofThe reference content multivariate data generation meansas well asThe comparison content multivariate data generating means includes block averaging means, discrete cosine transform means, frequency transform means, and frequency data summation calculation means.
[0024]
According to this configuration, the reference content multivariate data generation unit or the comparison content multivariate data generation unit of the content feature quantity extraction device uses the block averaging unit to compare the reference content that is moving image data or the comparison content that is moving image data. All the pixel data included in each frame reproduced by the luminance signal and the color difference signal is divided into a plurality of blocks (for example, 64, horizontal 8 divisions × vertical 8 divisions), and all the pixel data for each divided block is averaged. To generate reduced image data. That is, after the moving image data (one frame) is divided into a plurality of blocks, the luminance signals and color difference signals of all the pixel data in this block are averaged.
[0025]
Subsequently, the reference content multivariate data generation unit or the comparison content multivariate data generation unit of the content feature amount extraction apparatus performs discrete cosine on the reduced image data generated by the block capping unit by the discrete cosine transform unit. Transform to a discrete cosine coefficient. The discrete cosine coefficients are obtained by a fixed number such as 6 for the luminance signal (Y), 3 for the color difference signal (Cb), and 3 for the color difference signal (Cr).
[0026]
Next, the reference content multivariate data generation unit or the comparison content multivariate data generation unit of the content feature amount extraction apparatus performs frequency conversion on the discrete cosine coefficient by the frequency conversion unit to obtain frequency axis direction waveform data. The frequency axis direction waveform data is obtained by connecting the vertices of the data amount at each frequency on a graph in which the frequency axis is the horizontal axis and the data amount (component) included in each frequency is the vertical axis. . Then, the reference content multivariate data generation unit or the comparison content multivariate data generation unit of the content feature amount extraction apparatus applies the frequency axis direction waveform data converted by the frequency conversion unit by the frequency data sum calculation unit over the entire frequency range. The sum is taken as standard variable data or variable data.
[0029]
  Also,Claim1Described content feature quantity extraction deviceofThe principal component calculation means obtains the principal component by multiplying each of the plurality of variable data by the feature coefficient, and outputs the principal component as the feature amount data.
[0030]
According to such a configuration, the content feature quantity extraction device obtains a principal component by multiplying each of a plurality of variable data by the feature coefficient by the principal component calculation means, and outputs the principal component as feature quantity data. The feature of the comparison content can be expressed without increasing the data amount (feature data can be obtained).
[0031]
  Claim3The described content feature amount extraction program analyzes a reference content as a reference for comparison and a comparison content as a comparison target using principal component analysis in multivariate analysis, and a plurality of principal components constituting the comparison content Is configured to function as a reference content multivariate data generation unit, a feature coefficient calculation unit, a comparison content multivariate data generation unit, and a principal component calculation unit.
[0032]
  According to such a configuration, the content feature amount extraction program can execute the reference content multivariate data generation unit.FromA plurality of reference variable data is generated, and the characteristic coefficient calculation meansUsing principal component analysis in multivariate analysis,Generated by the reference content multivariate data generation meanspluralStandard variable dataFind the variance / covariance matrix corresponding to the variance of the combined reference variate data synthesized by multiplying each by a given coefficient, and output the eigenvectors for the given ones in descending order of the eigenvalues of the matrix as feature coefficientsTo do. Then, this content feature amount extraction program uses the comparison content multivariate data generation means to output the comparison content.FromMultiple variable data is generated and generated by the comparison content multivariate data generation means by the principal component calculation meanspluralVariable dataVectorAnd calculated by the feature coefficient calculation meanseachFeature coefficient andThe inner product ofAnd output as feature data.
[0033]
  Claim4The content feature amount extraction method described includes analyzing a reference content as a reference for comparison and a comparison content as a comparison target using principal component analysis in multivariate analysis, and a plurality of principal components constituting the comparison content Is a content feature amount extraction method that extracts a reference content multivariate data generation step, a feature coefficient calculation step, a comparison content multivariate data generation step, and a principal component calculation step. did.
[0034]
  According to such a procedure, the content feature amount extraction method uses the reference content in the reference content multivariate data generation step.FromA plurality of reference variable data is generated, and in the feature coefficient calculation step,Using principal component analysis in multivariate analysis,Generated in the reference content multivariate data generation steppluralStandard variable dataFind the variance / covariance matrix corresponding to the variance of the combined reference variate data synthesized by multiplying each by a given coefficient, and output the eigenvectors for the given ones in descending order of the eigenvalues of the matrix as feature coefficientsTo do. And this content feature amount extraction method uses the comparison content in the comparison content multivariate data generation step.FromMultiple variable data was generated and generated in the comparison content multivariate data generation step in the principal component calculation steppluralVariable dataVectorAnd calculated in the feature coefficient calculation stepeachFeature coefficient andThe inner product ofAnd output as feature data.
[0035]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
(Configuration of content feature extraction device)
FIG. 1 is a block diagram of a content feature amount extraction apparatus. As shown in FIG. 1, the content feature amount extraction apparatus 1 extracts feature amount data of content (reference content and comparison content) that is moving image data using principal component analysis in multivariate analysis. A coefficient generation unit 3 and a feature amount data extraction unit 5 are provided.
[0036]
In addition, the content feature amount extraction apparatus 1 is configured to store content (illegal distribution content) illegally distributed through a network (external Internet or the like) or recorded on a recording medium (such as an optical disc [eg, DVD]). An unauthorized distribution content detection system that performs detection (not shown), a program search system that searches for a desired (desired) content (program), a scene, etc. from a stored and managed content group (program group) Applicable.
[0037]
The feature coefficient generation unit 3 generates a feature coefficient that serves as a reference for calculating the feature amount data of the comparison content, and includes a reference multivariate data generation unit 7 (reference content multivariate data generation unit) and a feature coefficient calculation unit 9. And.
[0038]
  The reference multivariate data generation means 7 is a moving image data (reference content [1,..., I,..., M]).FromGenerates a plurality of (many) reference variable data, and includes block averaging means 7a, DCT processing means 7b (discrete cosine transform means), frequency transform means 7c, and frequency data sum calculation means 7d..
[0039]
The block averaging means 7a is a frame unit based on the luminance signal (Y) and color difference signals (Cb, Cr) of the input moving image data (reference content (1,..., I,..., M)). Processing is performed to output reduced image data. Note that i in the reference content (1,..., I,..., M) indicates the i-th (i) reference content, and m indicates the m-th (m) reference content. The processing in units of frames divides all pixels in each frame into 8 horizontal blocks × 8 vertical blocks, averages the pixel data of the luminance signal (Y) and color difference signals (Cb, Cr) of all pixels in each block, Reduced image data of 8 horizontal pixels × 8 vertical lines is created (generated).
[0040]
  The DCT processing means 7b performs DCT arithmetic processing (Discrete Cosine Transform) on the pixel data Y, Cb and Cr of the reduced image data generated by the block averaging means 7a, and converts them into discrete cosine coefficients. . In this embodiment, the DCT processing means 7b has six coefficients Y0, Y1, Y2, Y3, Y4, and Y5 for the luminance signal (Y), and three of Cb0, Cb1, and Cb2 for the color difference signal (Cb). For the coefficient and color difference signal (Cr), a total of 12 coefficients of 3 coefficients of Cr0, Cr1, and Cr2 are calculated. This discrete codeRhinoThe more the number of image coefficients, the higher the accuracy of the content identity or similarity test when using the finally generated feature data.
[0041]
  The frequency converting unit 7c performs a frequency converting process on each of the 12 discrete cosine coefficients calculated by the DCT processing unit 7b,No lapWaveform axis direction waveform dataAndTo do. The frequency conversion process in the frequency conversion means 7c is an FFT (Fast Fourier Transform) process.
[0042]
  The frequency data sum calculating means 7d is a frequency converting means 7c,No lapWaveform axis direction waveform dataTSumming over the entire frequency range, twelve reference variable data kY0, kY1, kY2, kY3, kY4, kY5 and kCb0, kCb1, kCb2 and kCr0, kCr1, kCr2 are calculated.
[0043]
  The characteristic coefficient calculation means 9Using principal component analysis with multivariate analysis,Based on the twelve reference variable data (kY0, kY1, kY2, kY3, kY4 and kY5, kCb0, kCb1 and kCb2, kCr0, kCr1 and kCr2) generated by the reference multivariate data generation means 7 Thus, it is obtained and output to the feature amount data extraction unit 5. The feature coefficient calculation means 9 obtains the variance of the combined reference variable data obtained by multiplying each of the 12 reference variable data by a predetermined coefficient, and obtains the predetermined coefficient that maximizes the variance as the feature coefficient. . This feature coefficient is composed of a plurality of eigenvectors indicating the features of the reference content. A method of calculating the feature coefficient in the feature quantity coefficient calculating means 9 will be described later.
[0044]
The feature quantity data extraction unit 5 extracts feature quantity data of the comparison content based on the feature coefficient generated by the feature coefficient generation unit 3, and is a multivariate data generation unit 11 (comparison content multivariate data generation unit). And principal component calculation means 13.
[0045]
  Multivariate data generation means 11 is moving image data (comparison content)FromIt generates a plurality (various) of variable data, and includes block averaging means 11a, DCT processing means 11b (discrete cosine transform means), frequency transform means 11c, and frequency data sum total calculation means 11d.
[0046]
The block averaging unit 11a performs processing in units of frames from the luminance signal (Y) and color difference signals (Cb, Cr) of the input moving image data (comparison content), and outputs reduced image data. The processing in units of frames divides all pixels in each frame into 8 horizontal blocks × 8 vertical blocks, averages the pixel data of the luminance signal (Y) and color difference signals (Cb, Cr) of all pixels in each block, Reduced image data of 8 horizontal pixels × 8 vertical lines is created (generated).
[0047]
The DCT processing unit 11b performs DCT calculation processing on the pixel data Y, Cb, and Cr of the reduced image data generated by the block averaging unit 11a, and converts them into discrete cosine coefficients. In this embodiment, the DCT processing means 11b has six coefficients Y0, Y1, Y2, Y3, Y4, and Y5 for the luminance signal (Y), and three of Cb0, Cb1, and Cb2 for the color difference signal (Cb). For the coefficient and color difference signal (Cr), a total of 12 coefficients of 3 coefficients of Cr0, Cr1, and Cr2 are calculated. Note that the greater the number of discrete cosin-in coefficients, the higher the accuracy of content identity or similarity when using the finally generated feature data.
[0048]
  The frequency conversion unit 11c performs a frequency conversion process on each of the twelve discrete cosine coefficients calculated by the DCT processing unit 11b.No lapWaveform axis direction waveform dataAndTo do. The frequency conversion process in the frequency conversion unit 11c is an FFT process.
[0049]
  The frequency data sum calculating means 11d is the frequency converting means 11c and 12No lapWaveform axis direction waveform dataTSumming over the entire frequency range, twelve variable data hY0, hY1, hY2, hY3, hY4 and hY5, hCb0, hCb1 and hCb2 and hCr0, hCr1 and hCr2 are calculated.
[0050]
The principal component calculation unit 13 includes the feature coefficient output from the feature coefficient calculation unit 9 of the feature coefficient generation unit 3 and the twelve variable data hY0, hY1, hY2, hY3, hY4 output from the frequency data total calculation unit 11d. On the basis of hYb5, hY5, hCb0, hCb1 and hCb2, and hCr0, hCr1 and hCr2, the feature amount data is calculated and output. The principal component calculating means 13 obtains a principal component by multiplying each of 12 pieces of variable data by a feature coefficient, and outputs the principal component as feature amount data. The principal component calculation method in the principal component calculation means 13 will be described later.
[0051]
  According to the content feature amount extraction apparatus 1, the reference multivariate data generation unit 7 causes the moving image data (reference content).FromA plurality of reference variable data is generated, and the characteristic coefficient calculating means 9Using principal component analysis of multivariate analysis,A predetermined calculation is performed on the reference variable data generated by the reference multivariate data generation means 7 to obtain a feature coefficient composed of a plurality of eigenvectors indicating the characteristics of the reference content. Then, the multivariate data generation means 11 moves the moving image data (comparison content).FromA plurality of variable data is generated, and the principal component is calculated by the principal component calculation means 13 based on the variable data generated by the multivariate data generation means 11 and the feature coefficient calculated by the feature coefficient calculation means 9. And is output as feature data. In other words, since the reference content and comparative content are analyzed using principal component analysis by multivariate analysis, the content identity or similarity test can be performed with high accuracy without increasing the amount of feature data. It can be carried out.
[0052]
  In addition, according to the content feature amount extraction apparatus 1, the block averaging means 7a and 11a apply to each frame reproduced by the luminance signal and the color difference signal of the reference content that is moving image data or the comparison content that is moving image data. All the included pixel data is divided into a plurality of (64) blocks, and all the pixel data for each divided block is averaged to generate reduced image data. Subsequently, the DCT processing means 7b, 11b performs discrete cosine transform on the reduced image data generated by the block averaging means 7a, 11a to obtain discrete cosine coefficients, and the frequency conversion means 7c, 11c. The discrete cosine coefficient is subjected to frequency conversion 12No lapWaveform axis direction waveform dataAndIs done.
[0053]
  Then, 12 converted by the frequency conversion means 7c and 11c by the frequency data total calculation means 7d and 11d.No lapWaveform axis direction waveform dataTIt is summed over the entire frequency range to obtain reference variable data or variable data. That is, 12 obtained by performing discrete cosine transform and frequency transform on the reduced image data obtained by dividing and averaging the reference content and the comparison content.No lapWaveform axis direction waveform dataTSince the reference variable data or variable data is obtained by summing over the entire frequency range, and these reference variable data or variable data are used, the content amount of the content can be increased without increasing the data amount of the feature amount data of the content. The identity or similarity test can be performed with high accuracy.
[0054]
Furthermore, according to the content feature quantity extraction device 1, the feature coefficient calculation means 9 obtains the synthesized reference variable data synthesized by multiplying each of the reference variable data by a predetermined coefficient, and the variance of the synthesized reference variable data is determined. By setting the maximum predetermined coefficient as the feature coefficient, it is possible to represent the feature of the moving image data (reference content) without increasing the data amount (feature amount data can be obtained).
[0055]
Furthermore, according to the content feature amount extraction apparatus 1, the principal component calculation unit 13 obtains a principal component by multiplying each of the plurality of variable data by the feature coefficient, and the principal component is output as feature amount data. Therefore, the feature of the moving image data (comparison content) can be expressed without increasing the data amount (feature amount data can be obtained).
[0056]
(Operation of content feature extraction device)
Next, the operation of the content feature quantity extraction apparatus 1 will be described with reference to the flowchart shown in FIG. 2 (see FIG. 1 as appropriate).
[0057]
First, when moving image data (reference content) is input to the feature coefficient generation unit 3 of the content feature amount extraction device 1, the content feature amount extraction device 1 uses the reference multivariate data generation means 7 to generate the moving image data (reference content). Reference variable data of reference content is generated and output to the characteristic coefficient calculation means 9 (S1).
[0058]
Subsequently, the content feature quantity extraction apparatus 1 generates a feature coefficient by the feature coefficient calculation means 9 and outputs it to the principal component calculation means 13 of the feature quantity data extraction unit 5 (S2).
[0059]
When moving image data (comparison content) is input to the feature amount data extraction unit 5 of the content feature amount extraction device 1, the content feature amount extraction device 1 uses the multivariate data generation means 11 to generate the moving image data ( (Comparison content) variable data is generated and output to the principal component calculation means 13 (S3).
[0060]
When the feature coefficient and the variable data are input to the principal component calculation means 13 of the content feature quantity extraction device 1, the content feature quantity extraction device 1 generates feature quantity data by the principal component calculation means 13 and externally outputs the feature quantity data. (S4).
[0061]
  As described in the operation of the content feature amount extraction apparatus 1, GroupQuasi-variable data and variable data are obtained and feature data of comparison content is calculated. If this feature data is used, it is identical or similar to content distributed via a network or recording medium. Sex can be detected (tested) with high accuracy.
[0062]
(About principal component analysis, feature coefficient, feature data)
Here, principal component analysis, calculation of feature coefficients, and feature amount data in multivariate analysis will be described (see FIG. 1 as appropriate).
[0063]
[About principal component analysis]
First, principal component analysis will be described. The principal component analysis refers to, for example, the coefficients a, b, and c that maximize the variance of the composite variable u in the following equation (1) for a plurality of variables x, y, and z, and the composite variable u in this case Is used to analyze data.
[0064]
u = ax + by + cz (1)
Where the coefficients a, b and c are a²+ B²+ C²Is a constant that satisfies = 1.
[0065]
[About feature coefficients]
Next, the characteristic coefficient will be described (see FIG. 1 as appropriate).
First, as described above, using a plurality of reference contents (1,..., I,..., M) serving as a population, or a plurality of reference contents having types and numbers capable of sufficiently estimating the population. In addition, reference multivariate data generation means 7 generates reference variable data.
[0066]
Here, FIG. 3 shows a list of reference variable data when the number of reference contents is m and the number of reference variable data in each reference content is n. Note that moving image data (reference content) input to the reference multivariate data generation means 7 of the feature coefficient generation unit 3 of the content feature amount extraction apparatus 1 is the moving image from one moving image data (one reference content). What is necessary is just to be able to obtain a plurality of reference variable data representing the characteristics of the data (reference content).
[0067]
With respect to the plurality of reference variable data generated by the reference multivariate data generation means 7, the feature coefficient calculation means 9 performs the following calculation to calculate the feature coefficients. Synthetic variables (composite standard variable data) u for the standard variable data of the i-th standard content among the standard variable data shown in FIG._iIs obtained by the following equation (2).
[0068]
u_i= A₁x_i1+ ... + a_jx_ij+ ... + a_nx_in  ... Formula (2)
However, i is an integer of 1 <i <m, and the coefficient a₁, ..., a_j, ..., a_nIs a₁ ²+ ... + a_j ²+ ... + a_n ²= 1 Formula (3)
Is a constant that satisfies.
[0069]
Also, a synthetic variable (composite standard variable data) u_iDistribution of Su²Is obtained by the following equation (4).
[0070]
[Expression 1]

[0071]
Here, the average of u (the letter with the ruby “-” attached to u) is u_iIs the average value of S₁₁... S_jj・・・・・・ S_nnAre the variables x_i1, ..., x_ij, ..., x_inRepresents the variance of (1 <i <m) and S₁₂... S_{j (j + 1)}... S_{(n-1) n}Are the variables x_i1-X_i2, ..., x_ij-X_{i (j + 1)}, ..., x_{i (n-1)}-X_inIt represents the covariance of (1 <i <m).
[0072]
In the principal component analysis in this embodiment, the condition is under the expression (3), and the composite variable (synthesis reference variable data) u shown in the expression (4)_iDistribution of Su²The coefficient a that maximizes₁... a_j... a_nIs to seek.
[0073]
And these coefficients a₁... a_j... a_nIs obtained using the Lagrangian constant variation method.
[0074]
[Expression 2]

[0075]
Here, λ represents a specific constant of the formula (5), and S can be represented as the following formula (6).
[0076]
[Equation 3]

[0077]
The matrix S shown in the equation (6) is a variance / covariance matrix of each variable, and the equation (5) is a set of coefficients (a₁... a_j... a_n) Represents the eigenvector of the matrix S, and the constant λ represents the eigenvalue of the matrix S.
[0078]
The composite variable (synthetic reference variable data) u shown in Equation (4) under the condition of Equation (3)_iDistribution of Su²The coefficient a that maximizes₁... a_j... a_nIs represented by an eigenvector corresponding to the largest eigenvalue of the matrix S.
[0079]
Therefore, the first largest (maximum) eigenvalue λ of the matrix S₁Eigenvectors corresponding to (a₁<1>, ..., a_j<1>, ..., a_n<1>) and the eigenvector (a₁<1>, ..., a_j<1>, ..., a_n<1>) as the first principal component of the feature coefficient, and the second largest eigenvalue λ of the matrix S₂Eigenvectors corresponding to (a₁<2>, ..., a_j<2>, ..., a_n<2>) and obtain this eigenvector (a₁<2>, ..., a_j<2>, ..., a_n<2>) as the second principal component of the feature coefficient, and the third largest eigenvalue λ of the matrix S_ThreeEigenvectors corresponding to (a₁<3>, ..., a_j<3>, ..., a_n<3>) and the eigenvector (a₁<3>, ..., a_j<3>, ..., a_n<3>) is the third principal component of the feature coefficient.
[0080]
These eigenvectors (a₁<1>, ..., a_j<1>, ..., a_n<1>), (a₁<2>, ..., a_j<2>, ..., a_n<2>) and (a₁<3>, ..., a_j<3>, ..., a_n<3>) is input to the principal component calculation means 13 of the content feature quantity extraction apparatus 1 as a feature coefficient.
[0081]
In the case of moving image data, since the cumulative contribution rate, which means the information absorption rate, exceeds 80% up to the third principal component, it is sufficient to use the first principal component to the third principal component as feature coefficients. . However, when further accuracy is required, not only the first principal component to the third principal component but also the fourth principal component and the subsequent components may be used as feature coefficients.
[0082]
[About feature data]
Next, feature amount data will be described (see FIG. 1 as appropriate).
First, n variable data (x1,..., Xj,..., Xn) obtained by the multivariate data generation unit 11 are input to the principal component calculation unit 13. Then, in the principal component calculation means 13, the following mathematical formulas (7) to (9) are used from the first principal component, the second principal component, and the third principal component of the feature coefficient obtained by the feature coefficient calculation means 9. An operation is performed to obtain u <1>, u <2>, and u <3>, and these are output as feature data.
[0083]
u <1> = a₁<1> x₁+ ... + a_j<1> x_j+ ... + a_n<1> x_n... Formula (7)
u <2> = a₁<2> x₁+ ... + a_j<2> x_j+ ... + a_n<2> x_n... Formula (8)
u <3> = a₁<3> x₁+ ... + a_j<3> x_j+ ... + a_n<3> x_n... Formula (9)
U <1>, u <2>, and u <3> obtained by these mathematical formulas (7) to (9) are feature amount data.
[0084]
(Examples of standard variable data and feature coefficients)
Next, with reference to FIG. 4 and FIG. 5, an example of the reference variable data and an example of the characteristic coefficient will be described. FIG. 4 shows an example of reference variable data, which was obtained using ten broadcast programs (about 10 minutes each) having different contents and types as reference contents. It is. In FIG. 4, twelve reference variable data (kY0, kY1, kY2, kY3, kY4 and kY5, kCb0, kCb1 and kCb2, kCr0, kCr1 and kCr2) are obtained for 10 broadcast programs with program numbers 1 to 10. It has been.
[0085]
FIG. 5 shows examples of feature coefficients obtained by using these reference variable data. Twelve feature coefficients (tY0, tY1, tY2, tY3, tY4 and tY5, tCb0, tCb1, and tCb2, tCr0, tCr1 and tCr2Y0) from the first principal component to the third principal component.
[0086]
Incidentally, in the case of this feature coefficient, a cumulative contribution ratio of 89.7% is obtained from the first principal component to the third principal component.
[0087]
(About the feature data example)
Next, an example of feature amount data will be described with reference to FIGS.
In this example of feature amount data, moving picture data (reference content and comparison content) input to the content feature amount extraction device 1 includes 10 programs (reference content) as reference content and the beginning of each reference content as comparison content. An editing program (editing content) obtained by reducing 10% was used.
[0088]
FIG. 6 shows a distribution diagram of the first principal component and the second principal component that are the feature amount data of the program and the first principal component and the second principal component that are the feature amount data of the edited program. 7 shows a distribution diagram of the third principal component and the second principal component, which are the feature amount data of the program, and the third principal component and the second principal component, which is the feature amount data of the edited program.
[0089]
As shown in FIG. 6 and FIG. 7, by using the first principal component, the second principal component, and the third principal component as the feature amount data, it is possible to distinguish different programs (10 programs) and similar. It can be seen that the program and the same program before and after editing can be identified.
[0090]
In this embodiment, calculation (calculation) of reference variable data, variable data, feature coefficient, and feature value data is performed using 32-bit floating point type data. Similar results can be obtained by using the type data. In particular, it is sufficient that the feature amount data finally obtained is expressed by 16-bit integer type data.
[0091]
Further, in the content feature amount extraction device 1, the moving image data (video content) has been described, but the present invention is not limited to this, and can also be applied to audio data (music content). Further, the present invention can be applied to a combination of moving image data and audio data.
[0092]
As mentioned above, although this invention was demonstrated based on one Embodiment, this invention is not limited to this.
For example, it is considered that the processing of each component of the content feature amount extraction apparatus 1 is a content feature amount extraction program described in a general-purpose computer language, or the content feature amount extraction method that considers the processing of each component as one process It can also be considered. In these cases, the same effect as that of the content feature amount extraction apparatus 1 can be obtained.
[0093]
【The invention's effect】
  Claim 1Thru 4According to the described invention, content analysis is performed using principal component analysis based on multivariate analysis, so that the content identity or similarity test can be performed with high accuracy without increasing the amount of feature data. Can be done.
[0094]
  Also,Claim1 to 4According to the described invention, the frequency-axis direction waveform data obtained by performing discrete cosine transformation and frequency transformation on the reduced image data obtained by dividing and averaging the reference content and the comparison content are summed over the entire frequency range, Since we have obtained standard variable data or variable data and use these standard variable data or variable data, we can increase the content identity or similarity test without increasing the amount of feature data of the content. Can be done with precision.
[0095]
  Also,Claim1 to 4According to the described invention, the characteristic of the moving image data (reference content) can be expressed without increasing the amount of data by using the predetermined coefficient that maximizes the variance of the combined reference variable data as the feature coefficient. (Feature data can be obtained).
[0096]
  Also,Claim1 toAccording to the invention described in 4, the principal component is obtained by multiplying each of the plurality of variable data by the feature coefficient, and since this principal component is output as the feature amount data, the moving image can be recorded without increasing the data amount. The feature of image data (comparison content) can be expressed (feature data can be obtained).
[Brief description of the drawings]
FIG. 1 is a block diagram of a content feature amount extraction apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart for explaining the operation of the content feature amount extraction apparatus shown in FIG. 1;
FIG. 3 is a diagram showing a list of reference variable data.
FIG. 4 is a diagram showing an example of reference variable data.
FIG. 5 is a diagram showing examples of feature coefficients.
FIG. 6 is a diagram showing an example of feature quantity data; first and second principal components that are program feature quantity data; and first and second principal components that are feature quantity data of an edited program. It is a distribution map with a component.
FIG. 7 is a diagram illustrating an example of feature amount data, and a third principal component and a second principal component that are feature amount data of a program, and a third principal component and a second principal component that are feature amount data of an edited program; It is a distribution map with a component.
FIG. 8 is a block diagram of a conventional content feature amount extraction apparatus.
[Explanation of symbols]
1. Content feature extraction device
3 Feature coefficient generator
5 Feature data extraction unit
7 Standard multivariate data generation means (reference content multivariate data generation means)
7a, 11a Block averaging means
7b, 11b DCT processing means (discrete cosanin conversion means)
7c, 11c Frequency conversion means
7d, 11d Frequency data total calculation means
9 Feature coefficient calculation means
11 Multivariate data generation means (comparison content multivariate data generation means)
13 Principal component calculation means

Claims

Content features that analyze the reference content to be compared and the comparative content to be compared using principal component analysis in multivariate analysis, and extract a plurality of principal components constituting the comparison content as feature data A quantity extraction device,
A reference content multivariate data generating means for generating a plurality of reference variables data from a plurality of the reference content,
A variance corresponding to the variance of the combined reference variable data synthesized by multiplying each of the plurality of reference variable data generated by the reference content multivariate data generation means by a predetermined coefficient using principal component analysis in the multivariate analysis. A feature coefficient computing means for obtaining a covariance matrix and outputting eigenvectors for a predetermined number in descending order of eigenvalues of the matrix as a feature coefficient;
And comparing the content multivariate data generating means for generating a plurality of variable data from the comparison content,
Principal component calculation that outputs, as the feature quantity data, an inner product of a vector having a plurality of variable data generated by the comparison content multivariate data generation means as components and each feature coefficient calculated by the feature coefficient calculation means Means,
Equipped with a,
The reference content multivariate data generation hands stage,
The reference content is moving image data, while dividing the entire pixel data included in each frame to be reproduced by the luminance signal and the color difference signal of the moving image data into a plurality of blocks, all the pixel data of each divided block Block averaging means for generating reduced image data by averaging the luminance signal and color difference signal of
Discrete cosine transformation is performed on the reduced image data generated by the block averaging unit, discrete cosine transformation is performed to convert the reduced image data into discrete cosine coefficients , and a predetermined number thereof is calculated .
Against each of the discrete cosine coefficients calculated by the discrete cosine transform means, and frequency conversion means to frequency-axis direction waveform data by performing frequency conversion,
The frequency axis direction waveform data converted by the frequency converting means to sum over the entire frequency range, the frequency data total sum calculation means for the reference variable data,
Consisting of
Before Symbol comparison content multivariate data generation means,
A pre-Symbol comparison content moving image data, while dividing the entire pixel data included in each frame to be reproduced by the luminance signal and the color difference signal of the moving image data into a plurality of blocks, all the pixel data of each divided block Block averaging means for generating reduced image data by averaging the luminance signal and color difference signal of
Discrete cosine transformation is performed on the reduced image data generated by the block averaging unit, discrete cosine transformation is performed to convert the reduced image data into discrete cosine coefficients , and a predetermined number thereof is calculated .
Against each of the discrete cosine coefficients calculated by the discrete cosine transform means, and frequency conversion means to frequency-axis direction waveform data by performing frequency conversion,
The frequency axis direction waveform data converted by the frequency converting means to sum over the entire frequency range, the frequency data sum calculating means and the variable data,
Composed of
Content feature quantity extraction unit, wherein the this.

The content feature amount extraction apparatus according to claim 1, wherein the feature coefficient calculation means outputs three feature coefficients.

And comparing the contents of the reference content to base the comparison to be compared, and analyzed using principal component analysis in multivariate analysis, in order to extract a plurality of principal components constituting the comparison contents as the feature amount data Computer
The reference content is moving image data, and all pixel data included in each frame reproduced by the luminance signal and color difference signal of the moving image data is divided into a plurality of blocks, and all the pixel data of each divided block is First block averaging means for averaging the luminance signal and the color difference signal to generate reduced image data;
A first discrete cosine transform unit that performs discrete cosine transform on the reduced image data generated by the first block averaging unit, transforms it into discrete cosine coefficients, and calculates a predetermined number thereof;
The first discrete against the respective cosine discrete cosine coefficient calculated by the conversion unit, first frequency converting means for frequency-axis direction waveform data by performing frequency conversion,
First frequency data sum total calculating means for summing the frequency axis direction waveform data converted by the first frequency converting means over the entire frequency range to obtain reference variable data;
Using the principal component analysis in the multivariate analysis, the plurality of reference contents are synthesized by multiplying each of the plurality of reference variable data generated by the first frequency data sum calculation means by a predetermined coefficient. A feature coefficient computing means for obtaining a variance / covariance matrix corresponding to the variance of the composite reference variate data, and outputting eigenvectors for a predetermined number in the descending order of the eigenvalues of the matrix as feature coefficients;
The comparison content is moving image data, and all pixel data included in each frame reproduced by the luminance signal and the color difference signal of the moving image data is divided into a plurality of blocks, and all the pixel data of each divided block is A second block averaging means for averaging the luminance signal and the color difference signal to generate reduced image data;
A second discrete cosine transform unit that performs discrete cosine transform on the reduced image data generated by the second block averaging unit, transforms it into discrete cosine coefficients, and calculates a predetermined number thereof.
The second discrete cosine against the respective discrete cosine coefficients calculated by the transformation means, second frequency converting means for frequency-axis direction waveform data by performing frequency conversion,
A second frequency data sum total calculating means for summing the frequency axis direction waveform data converted by the second frequency converting means over the entire frequency range to obtain variable data;
For the comparison content, an inner product of a vector having a plurality of variable data generated by the second frequency data summation calculation means as components and each feature coefficient calculated by the feature coefficient calculation means, Principal component calculation means for outputting as quantity data,
A content feature amount extraction program characterized by causing it to function as

Content features that analyze the reference content to be compared and the comparative content to be compared using principal component analysis in multivariate analysis, and extract a plurality of principal components constituting the comparison content as feature data A quantity extraction method comprising:
A reference content multivariate data generation step of generating a plurality of reference variables data from a plurality of the reference content,
A variance corresponding to the variance of the combined reference variable data synthesized by multiplying each of the plurality of reference variable data generated by the reference content multivariate data generation means by a predetermined coefficient using principal component analysis in the multivariate analysis. A feature coefficient calculation step of obtaining a covariance matrix and outputting eigenvectors for a predetermined number in the descending order of eigenvalues of the matrix as a feature coefficient;
And comparing the content multivariate data generation step of generating a plurality of variable data from the comparison content,
Principal component calculation that outputs, as the feature quantity data, an inner product of a vector having a plurality of variable data generated by the comparison content multivariate data generation means as components and each feature coefficient calculated by the feature coefficient calculation means Steps,
Only including,
The reference content multivariate data generation step includes:
The reference content is moving image data, and all pixel data included in each frame reproduced by the luminance signal and color difference signal of the moving image data is divided into a plurality of blocks, and all the pixel data of each divided block is A block averaging step of averaging the luminance signal and the color difference signal to generate reduced image data;
A discrete cosine transform step for performing a discrete cosine transform on the reduced image data generated by the block averaging means, transforming it into discrete cosine coefficients, and calculating a predetermined number thereof,
Against each of the discrete cosine coefficients calculated by the discrete cosine transform unit, a frequency conversion step of the frequency axis direction waveform data by performing frequency conversion,
A frequency data sum total calculating step for summing the frequency axis direction waveform data converted by the frequency conversion means over the entire frequency range and making the reference variable data,
Including
The comparison content multivariate data generation step includes:
The comparison content is moving image data, and all pixel data included in each frame reproduced by the luminance signal and the color difference signal of the moving image data is divided into a plurality of blocks, and all the pixel data of each divided block is A block averaging step of averaging the luminance signal and the color difference signal to generate reduced image data;
A discrete cosine transform step for performing a discrete cosine transform on the reduced image data generated by the block averaging means, transforming it into discrete cosine coefficients, and calculating a predetermined number thereof,
Against each of the discrete cosine coefficients calculated by the discrete cosine transform unit, a frequency conversion step of the frequency axis direction waveform data by performing frequency conversion,
A frequency data sum total calculating step for summing the frequency axis direction waveform data converted by the frequency converting means over the entire frequency range and making the variable data,
including
Content characteristic quantity extraction wherein a call.