JP2007108960A - ディジタルコンテンツ特徴量抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】 ディジタルコンテンツの同一性・類似性識別において、識別精度とノイズ耐性を同時に向上させることを可能とする。
【解決手段】 本発明は、入力されたコンテンツを複数の領域に分割し、各領域についての領域特徴量を計算し、該領域の領域特徴量と領域番号とを組にして格納し、領域特徴量をキーとして、格納されている領域の領域特徴量と領域番号の組をソートし、ソートした順序に並んだ領域番号を順序情報とし、順序情報から、指定された順序選択開始位置や選択間隔に基づいて、複数の領域を選択し、選択された領域番号の組を部分順序情報とし、当該部分順序情報を取得する処理を複数回実施して得られた複数の部分順序情報を特徴量として出力する。
【選択図】 図１

Description

本発明は、ディジタルコンテンツ特徴量抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、インターネット等のネットワーク上で流通するディジタルコンテンツに対し、コンテンツの不正使用探索などのために同一または類似のコンテンツを検索するためのディジタルコンテンツ特徴量抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。

従来は、ディジタルコンテンツの同一性・類似性を識別するための技術として、ディジタルコンテンツを部分ブロックに分割し、部分ブロックにおける特徴量（画素平均値など）の順序情報（ブロック列）を特徴量情報とする特徴量抽出アルゴリズムがある。この方法でコンテンツのフォーマット変換時などに発生するノイズへの耐性を得るためには、想定されるノイズの大きさに応じて、ブロック列から特徴値の間隔を持たせて部分ブロック列を抽出する。例えば、平均画素値を特徴量として利用し、画素値２０程度のノイズが想定される場合は、画素値が２０以上の間隔になるよう部分ブロックを抽出する（例えば、非特許文献１参照）。
高田、阿部、川村"変換耐性を備えたコンテンツ識別手法"画素の認識・理解シンポジウム（MIRU2005）,2005. 7

しかしながら、上記の従来の方法では、大きなノイズに耐性を持たせるためにブロックを抽出する間隔を広くした際に、部分ブロック列のブロック長が短くなり識別精度が劣化し、逆に識別精度を向上させるためにはブロック長を長くする必要があるためノイズ耐性が劣化するという問題がある。例えば、８ビットの色レベルで平均画素値を用い、想定するノイズが画素値２０相当である場合を想定した場合には、部分ブロックの列長は高々２５６／２０＝１２となる。この場合に識別できるディジタルコンテンツの数は、YCbCr（RGBなどでも可)それぞれの色成分において列長が１２なので

となる。しかし、各色成分の分布範囲が狭い場合には識別可能コンテンツは減り、各成分で列長５の場合には、

種別しか識別できなくなり、これは明らかにディジタルコンテンツの識別ＩＤとして小さすぎるものとなる。

本発明は、上記の点に鑑みなされたもので、識別精度とノイズ耐性を同時に向上させることが可能なディジタルコンテンツ特徴量抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、ディジタルコンテンツを任意の複数領域に分割し、各領域の特徴量を用いてディジタルコンテンツ全体の特徴量として用いるためのディジタルコンテンツ特徴量抽出方法であって、
入力されたコンテンツを複数の領域に分割し、領域情報記憶手段に格納する領域計算ステップ（ステップ１）と、
領域情報記憶手段から分割された各領域を取得し、該各領域についての領域特徴量を計算し、該領域の領域特徴量と領域番号とを組にして領域特徴量記憶手段に格納する領域特徴量計算ステップ（ステップ２）と、
領域特徴量をキーとして、領域特徴量記憶手段に格納されている領域の領域特徴量と領域番号の組をソートし、ソートした順序に並んだ領域番号を順序情報として順序情報記憶手段に格納する領域特徴量順序計算ステップ（ステップ３）と、
順序情報記憶手段に格納されている順序情報から、指定された順序選択開始位置や選択間隔に基づいて、複数の領域を選択し、選択された領域番号の組を部分順序情報として部分順序情報記憶手段に格納する領域選択ステップ（ステップ４）と、
領域選択ステップを複数回実施して得られた複数の部分順序情報を特徴量として出力する複数領域選択ステップ（ステップ５）と、を行う。

また、本発明（請求項２）は、請求項１のディジタルコンテンツ特徴量抽出方法であって、
複数領域選択ステップにおいて、
領域選択ステップを複数回実施して得られ、部分順序情報記憶手段に格納されている部分順序情報から重複する部分順序情報の部分列を削除する同一情報排除ステップを更に行う。

図２は、本発明の原理構成図である。

本発明（請求項３）は、ディジタルコンテンツを任意の複数領域に分割し、各領域の特徴量を用いてディジタルコンテンツ全体の特徴量として用いるためのディジタルコンテンツ特徴量抽出装置であって、
入力されたコンテンツを複数の領域に分割し、領域情報記憶手段５０に格納する領域計算手段１０と、
領域情報記憶手段５０から分割された各領域を取得し、該各領域についての領域特徴量を計算し、該領域の領域特徴量と領域番号とを組にして領域特徴量記憶手段６０に格納する領域特徴量計算手段２０と、
領域特徴量をキーとして、領域特徴量記憶手段６０に格納されている領域の領域特徴量と領域番号の組をソートし、ソートした順序に並んだ領域番号を順序情報として順序情報記憶手段７０に格納する領域特徴量順序計算手段３０と、
順序情報記憶手段７０に格納されている順序情報から、指定された順序選択開始位置や選択間隔に基づいて、複数の領域を選択し、選択された領域番号の組を部分順序情報として部分順序情報記憶手段に格納する領域選択手段４０と、
領域選択手段４０の処理を複数回実施して得られた複数の部分順序情報を特徴量として出力する複数領域選択手段９０と、を有する。

また、本発明（請求項４）は、請求項３のディジタルコンテンツ特徴量抽出装置であって、
複数領域選択手段９０は、
領域選択手段を複数回実施して得られ、部分順序情報記憶手段に格納されている部分順序情報から重複する部分順序情報の部分列を削除する同一情報排除手段を含む。

本発明（請求項５）は、コンピュータを、請求項３または４のディジタルコンテンツ特徴量抽出装置として機能させるディジタルコンテンツ特徴量抽出プログラムである。

本発明（請求項６）は、コンピュータを、請求項３または４のディジタルコンテンツ特徴量抽出装置として機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体である。

上記のように本発明によれば、ある程度の幅を持たせた同一種類の特徴量を複数抽出することで、ノイズへの耐性と識別精度の向上を同時に達成することができる。

さらに、冗長な部分順序情報を削減することで、不必要な特徴量情報を削減し、識別精度を劣化させることなく、少ないデータ量で特徴量表現を実現することができる。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図３は、本発明の第１の実施の形態における装置構成を示す。

同図に示すディジタルコンテンツ特徴量抽出装置は、領域計算部１０、特徴量計算部２０、領域特徴量順序計算部３０、領域選択部４０、領域情報記憶部５０、領域特徴量記憶部６０、順序情報記憶部７０、部分順序情報記憶部８０から構成される。

領域選択部４０には、マウスやキーボード等の入力装置１、ディスプレイ等の出力装置２が接続される。

領域情報記憶部５０、領域特徴量記憶部６０、順序情報記憶部７０、部分順序情報記憶部８０は、ディスク装置等の記憶媒体である。

領域計算部１０は、入力されたディジタルコンテンツを複数の領域に分割し、領域情報記憶部５０に格納する。

特徴量計算部２０は、領域情報記憶部５０から分割された領域から既存の方法により領域特徴量を計算し、当該領域特徴量と領域番号を組みとして領域特徴量記憶部６０に格納する。

領域特徴量順序計算部３０は、領域特徴量をキーとして、領域特徴量記憶部６０に格納されている情報をソートし、ソートした順序に並んだ領域番号を順序情報として順序情報記憶部７０に格納する。

領域選択部４０は、順序情報記憶部７０から順序情報を取得して、入力装置１から指定された順序選択開始位置や選択間隔に基づいて、順序情報から複数の領域を選択する処理を繰り返し、選択された領域番号の組を部分順序情報として部分順序情報記憶部８０、他の記憶装置または、出力装置２に出力する。

次に、上記の構成における動作を説明する。

図４は、本発明の第１の実施の形態における動作のフローチャートである。

ステップ１０１） コンテンツの特徴量を抽出するにあたり、コンテンツを領域計算部１０に入力する。

ステップ１０２） 領域計算部１０では、領域分割処理により、予め設定された個数または、コンテンツの大きさなどの特性に応じた個数の領域にコンテンツを分割し、領域情報記憶部５０に格納する。

ステップ１０３） 特徴量計算部２０は、領域情報記憶部５０から分割された各領域を読み出して、特徴量（領域特徴量）を計算し、領域特徴量記憶部６０に領域番号と共に組みにして格納する。領域特徴量としては、静止画においては領域内画素平均値・分散値・周波数情報、動画においては、マクロブロック情報、テキストにおける単語出現頻度など、各種コンテンツにおいて、適切な領域特徴量計算式を選択可能である。

ステップ１０４） 領域特徴量順序計算部３０は、領域特徴量記憶部６０から領域特徴量をキーとしてソートする。ソートの結果は、領域番号と領域特徴量の組が昇順（または、降順）に並んでいる。この情報から領域番号だけを抽出したものを順序情報Ａとして順序情報記憶部７０に格納し、また、領域番号と順序特徴量の組のソート結果を順序情報Ｂとして順序情報記憶部７０に格納する。なお、ここで、順序情報Ａと順序情報Ｂを同じ順序情報記憶部７０に格納しているが、この例に限定されることなく、別々の記憶部に格納するようにしてもよい。

ステップ１０５） 領域選択部４０では、予めパラメータで指定されている任意の回数分、順序情報記憶部７０に格納されている順序情報Ｂ（領域番号と順序特徴量の組のソート結果）から領域選択処理を行う。この際に、図５に示すように、同一の順序情報から順序選択開始位置（図５の（１））や、選択間隔（図５の（２））などを変動させることで複数の相異なる部分順序情報が得られる。ここでは、順序選択開始位置や選択間隔等のパラメータは予め設定されているものとする。なお、当該パラメータの設定はこの例に限定されることなく、入力装置１からオペレータが入力するようにしてもよい。

ステップ１０６） 領域選択部４０は、予めパラメータで設定されている順序選択開始位置と選択間隔に基づいて、領域特徴量記憶部６０の領域番号と領域特徴量の組の列から領域番号と領域特徴量の組の部分列を抽出し、このうち、領域番号のみを取り出したものを部分順序情報とし、部分順序情報記憶部８０、または出力装置２に出力する。

ステップ１０７） ステップ１０５で指定された回数分の処理が終了したらステップ１０８に移行し、終了していない場合はステップ１０５に戻る。

ステップ１０８） 得られた部分順序情報記憶部８０に格納されている複数の部分順序情報を特徴量として出力装置２または、他の記憶装置に出力する。なお、他の記憶装置に出力せず、当該部分順序情報記憶部８０に保持していてもよい。

次に、上記のパラメータを状況によって自動で調整する例を説明する。以下では、コンテンツ種別数Ｃが予め設定されており、当初、順序選択開始位置、選択間隔は予め設定されているものとする。

上記のステップ１０５〜ステップ１０７に対応させて説明する。

ステップ１０５’） 上記のステップ１０５と同様に、序選択開始位置、選択間隔は予め設定されているものを用いて、上記のステップ１０５と同様の処理を行う。

ステップ１０６’） 上記のステップ１０６と同様の処理を行う。このとき、ｉ回目の実行で抽出された部分順序情報の列長をＬ（ｉ）とする。

ステップ１０７’） 当該ステップでは、上記のステップ１０７で用いた所定の回数を用いずに、
Ｃ≦Ｌ（０）！＊Ｌ（１）！＊Ｌ（２）！＊…＊Ｌ（ｎ）！
（但し、ｎは現在の繰り返し回数）
を満たすかを判定する。上記の式を満たした場合にはステップ１０８に移行し、満たさない場合には、順序選択開始位置、選択間隔を自動的に変動（それぞれの値を予め設定された値だけ小さくする）させ、ステップ１０５’に移行する。

このように、コンテンツ種別数Ｃに対する上記の式を満たさない場合には、順序選択開始位置、選択間隔を変更することによりパラメータを自動的に調整することができる。

上記のように、一つの順序から複数の部分順序情報を抽出することにより、利用する特徴情報を増やすことができる。例えば、静止画において３つの色成分から長さ１２の部分順序情報をそれぞれ３つの部分順序情報を抽出すれば、

となる。色分布範囲が狭く列長５の場合は、

となり、従来技術と比較して多くのディジタルコンテンツを識別可能となる。

ここで、上記のコンテンツ特徴量抽出処理により出力された部分順序情報を用いて、他のディジタルコンテンツとの同一性・類似性を識別する方法について説明する。

この場合は、複数の部分順序情報と識別対象の順序情報との順序関係が全て一致する、または、相関が高いことを確認すればよい。

図６は、本発明の第１の実施の形態のディジタルコンテンツ特徴量抽出装置をコンテンツ同一判定装置に適用した例を示す。

同図に示すシステムは、上記で説明したディジタルコンテンツ特徴量抽出装置１００Ａと１００Ｂ、及び、特徴量比較装置３００からなり、特徴量比較装置３００は、特徴量入力部３１０と特徴量比較部３２０を有する。

検索クライアント側のディジタルコンテンツ特徴量抽出装置１００Ａでは、図５のフローチャートのステップ１０１〜ステップ１０８の処理を行い、取得した部分順序情報を出力する。

ディジタルコンテンツ特徴量抽出装置１００Ｂでは、図５のフローチャートのステップ１０１〜ステップ１０４までの処理を行い、順序情報（ステップ１０４において順序情報Ａとして順序状況記憶部７０に格納されている情報）を取得してデータベース１１０に格納する。

特徴量比較装置３００の特徴量比較部３２０では、クライアントのディジタルコンテンツ特徴量抽出装置１００Ａから送られた部分順序情報と一致する順序情報をデータベース１１０から検索し、結果を検索クライアント側に返却する。

［第２の実施の形態］
本実施の形態におけるディジタルコンテンツ特徴量抽出装置の構成は、前述の第１の実施の形態における図３に示す構成と同様である。

本実施の形態では、第１の実施の形態の領域選択部４０における処理を複数回実施して得られた部分順序情報記憶部８０に格納されている部分順序情報のうち、重複する部分順序情報の部分列を削除する点において、第１の実施の形態と異なる。

以下に、本実施の形態における動作を説明する。

図７は、本発明の第２の実施の形態における動作のフローチャートである。

ステップ２０１） コンテンツの特徴量を抽出するにあたり、領域計算部１０にコンテンツを入力する。

ステップ２０２） 領域計算部１０では、予め設定された個数またはコンテンツの大きさなどの特性に応じた個数の領域にコンテンツを分割して、領域情報記憶部５０に格納する。

ステップ２０３） 次に、特徴量計算部２０は、領域情報記憶部５０から分割された領域を取得して、当該領域についての特徴量を計算し、領域特徴量と領域番号と共に領域特徴量記憶部６０に格納する。

ステップ２０４） 領域特徴量順序計算部３０は、領域特徴量記憶部６０の領域毎の特徴量値をキーとしてソートし、ソートした結果を順序情報記憶部７０に格納する。

ステップ２０５） 領域選択部４０において、入力装置１から指定された回数分、次の領域選択処理を実施する。

ステップ２０６） 領域選択部４０は、領域選択処理では、領域の順序情報の一部である部分順序情報を選択し、部分順序情報記憶部８０に格納する。

ステップ２０７） 指定された回数分の処理が終了した場合はステップ２０８に移行し、終了していない場合は、ステップ２０５に戻る。

ステップ２０８） 領域選択部４０は、部分順序情報記憶部８０に格納された部分順序情報から、既に得られている部分順序情報と重複する部分順序情報の部分列を削除する。

ステップ２０９） 最後に得られた部分順序記憶部８０に残っている部分順序情報を出力する。

上記のステップ２０８の同一情報排除処理は、部分順序情報に重複が生じ、識別精度に貢献しない場合を避けるために用いられる。例えば、部分順序情報１が［１，１０，２０，３０］で、部分順序情報２が［２，１０，２０，３０］の場合、列の一部［１０，２０，３０］という情報が重複しており、ブロック列２において利用すべき情報は［２，１０］のみあればよい。この場合に同一情報排除処理は、部分順序情報２を［２，１０］に短縮する。

また、必要に応じ、［２，１０，２５，３５］のように他の部分順序情報と重複しない情報を補完するようにしてもよい。

これにより、不要な順序情報が削除され、識別精度を劣化させることなく、特徴量情報を短くすることができる。

また、本発明は、上記の第１、第２の実施の形態におけるディジタルコンテンツ特徴量抽出装置の動作をプログラムとして構築し、ディジタルコンテンツ特徴量抽出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

さらに、構築されたプログラムをハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体等のコンピュータ読み取り可能な記録媒体に格納し、ディジタルコンテンツ特徴量抽出装置として利用されるコンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、ネットワーク上の同一または類似するコンテンツを検索する技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の第１の実施の形態における装置構成図である。 本発明の第１の実施の形態における動作のフローチャートである。 本発明の第１の実施の形態における服す領域選択処理のパラメータ変動の概略を説明するための図である。 本発明の第１の実施の形態のディジタルコンテンツ特徴量抽出装置をコンテンツ同一判定装置に適用した例である。 本発明の第２の実施の形態における動作のフローチャートである。

符号の説明

１ 入力装置
２ 出力装置
１０ 領域計算手段、領域計算部
２０ 領域特徴量計算手段、領域特徴量計算部
３０ 領域特徴量順序計算手段、領域特徴量順序計算部
４０ 領域選択手段、領域選択部
５０ 領域情報記憶手段、領域情報記憶部
６０ 領域特徴量記憶手段、領域特徴量記憶部
７０ 順序情報記憶手段、順序情報記憶部
８０ 部分順序情報記憶手段、部分順序情報記憶部
９０ 複数領域選択手段
１００ ディジタルコンテンツ特徴量抽出装置

Claims (6)

1. ディジタルコンテンツを任意の複数領域に分割し、各領域の特徴量を用いてディジタルコンテンツ全体の特徴量として用いるためのディジタルコンテンツ特徴量抽出方法であって、
   入力されたコンテンツを複数の領域に分割し、領域情報記憶手段に格納する領域計算ステップと、
   前記領域情報記憶手段から分割された各領域を取得し、該各領域についての領域特徴量を計算し、該領域の領域特徴量と領域番号とを組にして領域特徴量記憶手段に格納する領域特徴量計算ステップと、
   前記領域特徴量をキーとして、前記領域特徴量記憶手段に格納されている前記領域の領域特徴量と領域番号の組をソートし、ソートした順序に並んだ領域番号を順序情報として順序情報記憶手段に格納する領域特徴量順序計算ステップと、
   前記順序情報記憶手段に格納されている前記順序情報から、指定された順序選択開始位置や選択間隔に基づいて、複数の領域を選択し、選択された領域番号の組を部分順序情報として部分順序情報記憶手段に格納する領域選択ステップと、
   前記領域選択ステップを複数回実施して得られた複数の部分順序情報を特徴量として出力する複数領域選択ステップと、
   を行うことを特徴とするディジタルコンテンツ特徴量抽出方法。
2. 前記複数領域選択ステップにおいて、
   前記領域選択ステップを複数回実施して得られ、前記部分順序情報記憶手段に格納されている前記部分順序情報から重複する部分順序情報の部分列を削除する同一情報排除ステップを更に行う、請求項１記載のディジタルコンテンツ特徴量抽出方法。
3. ディジタルコンテンツを任意の複数領域に分割し、各領域の特徴量を用いてディジタルコンテンツ全体の特徴量として用いるためのディジタルコンテンツ特徴量抽出装置であって、
   入力されたコンテンツを複数の領域に分割し、領域情報記憶手段に格納する領域計算手段と、
   前記領域情報記憶手段から分割された各領域を取得し、該各領域についての領域特徴量を計算し、該領域の領域特徴量と領域番号とを組にして領域特徴量記憶手段に格納する領域特徴量計算手段と、
   前記領域特徴量をキーとして、前記領域特徴量記憶手段に格納されている前記領域の領域特徴量と領域番号の組をソートし、ソートした順序に並んだ領域番号を順序情報として順序情報記憶手段に格納する領域特徴量順序計算手段と、
   前記順序情報記憶手段に格納されている前記順序情報から、指定された順序選択開始位置や選択間隔に基づいて、複数の領域を選択し、選択された領域番号の組を部分順序情報として部分順序情報記憶手段に格納する領域選択手段と、
   前記領域選択手段の処理を複数回実施して得られた複数の部分順序情報を特徴量として出力する複数領域選択手段と、
   を有することを特徴とするディジタルコンテンツ特徴量抽出装置。
4. 前記複数領域選択手段は、
   前記領域選択手段を複数回実施して得られ、前記部分順序情報記憶手段に格納されている前記部分順序情報から重複する部分順序情報の部分列を削除する同一情報排除手段を含む、請求項３記載のディジタルコンテンツ特徴量抽出装置。
5. コンピュータを、
   請求項３または４のディジタルコンテンツ特徴量抽出装置として機能させることを特徴とするディジタルコンテンツ特徴量抽出プログラム。
6. コンピュータを、
   請求項３または４のディジタルコンテンツ特徴量抽出装置として機能させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images