JP2011507081A - 時間イベント・ベースの画紋法のためのコンピュータ実装方法、コンピュータ・プログラム、画像の著作権侵害を自動的に検出するための装置及びコンピュータ実装方法 - Google Patents

Abstract

【課題】時間イベント・ベースの画紋法のためのコンピュータ実装方法、装置及びコンピュータ・プログラム・コードを提供する。
【解決手段】１つの実施形態では、画像コンテンツ内のイベントが検出される。画像コンテンツは、複数の画像フレームを含む。各イベントは、画像コンテンツ内の離散的な注意点を表す。これらのイベントを使用して、１セットの時間イベント・ベースのセグメントが生成される。時間イベント・ベースの各セグメントは、１セットのイベントをカバーする画像コンテンツの一のセグメントである。時間イベント・ベースの各セグメントに関連する１セットの画像フレームのコンテンツ・ベースの特徴の時間トラッキングを使用して、時間イベント・ベースの各セグメントから一の時系列信号が導出される。時間イベント・ベースのセグメントごとの時系列信号に基づき、時間セグメント・ベースの一の画紋が抽出され、その結果、画像コンテンツに関連する１セットの時間セグメント・ベースの画紋が形成される。
【選択図】 図９

Description

本発明は、画像を処理するための方法及び装置に係り、さらに詳細に説明すれば、時間セグメント・ベースの画紋（temporal segment based video fingerprints）を抽出し且つロバスト・マッチングを行うことにより、準複製（near-duplicate）の画像を識別し且つ画像の著作権侵害を検出するためのコンピュータ実装方法、装置及びコンピュータ使用可能なプログラム・コードに係る。

オンラインのデジタル・コンテンツが増殖し、ますます多くの人々がオンラインのメディアにアクセスするようになっているために、著作権のあるコンテンツを識別する必要性が増大している。例えば、著作権のある音声及び画像コンテンツの所有者は、ソーシャル・ネットワーク上及びコンテンツ共有サイト上にある当該所有者の著作権のあるコンテンツの無許可のコピーを識別し且つこれを除去することに関心を持っている。ソーシャル・ネットワーク及びコンテンツ共有サイトは、ウェブサイトの他のユーザが鑑賞するための音楽、写真及び画像のようなコンテンツをユーザが掲示することを許可する。ソーシャル・ネットワーク及びコンテンツ共有サイトは、YouTube（登録商標）、Facebook（登録商標）、MySpace（登録商標）等を含む。これらのソーシャル・ネットワーク及びコンテンツ共有サイトのユーザは、しばしば海賊版の映画、画像又はテレビ・ショーを利用する。

また、著作権のある音声及び画像コンテンツの所有者は、当該所有者が著作権のあるコンテンツの出現ごとに適切に補償されることを保証するために、当該コンテンツの許可された出現を識別することに関心を持っている。例えば、所有者は、特定の歌曲がラジオ上で放送されるごとに適切な補償金が払われることを保証するように望むことがある。

一方、広告主は、広告コンテンツが適切な回数にわたって放映されることを確認するために、例えば、テレビ、ラジオ又はインターネット上でそれらの広告の出現をモニタすることに関心を持っている。これらのアプリケーションに共通の必要性とは、未知のメディア、オンライン画像、ラジオ及びテレビのリポジトリの中から、音声及び／又は画像のような著作権のある既知のデジタル・メディアのコピー又は準複製を識別することである。

著作権のあるコンテンツを識別し且つ保護するために現に利用可能な解決法は、電子透かし法（watermarking）及び画紋法（video fingerprinting）を含んでいる。電子透かし法は、画像コンテンツの正当な所有者を識別する、可視又は不可視の電子透かしを画像コンテンツ内に挿入する。電子透かし技術は、画像の任意の完全なコピー、並びにオリジナル・コンテンツの電子透かし付き区分（watermarked piece）に基づいて作成された任意の２次的コンテンツに対し、電子透かしが自動的に転送されるように設計されている。そのようなコピー又は２次的著作物は、許可されているか否かに拘わらず、コピー又は２次的画像コンテンツ内に埋め込まれた電子透かしの存在を走査することにより、これを識別することができる。

しかし、電子透かしが、画像コンテンツ自体を破壊せずに電子透かしを除去することが困難であるように設計されていたとしても、電子透かしを無効化し且つ除去することができる。もし、電子透かしが成功裡に除去されるならば、その画像コンテンツは、永久的にアンロックされることになり、その結果、もはや電子透かしを介して無許可の複製又は２次的著作物の作成をモニタ及び／又は検出することができない。

電子透かしに関する前述の問題に起因して、最近では、コンテンツ・ベースの画紋法及びコンテンツのマッチングと呼ばれる他のアプローチが、活発になってきている。なぜなら、コンテンツ・ベースの画紋法は、画像コンテンツ内の任意の電子透かしの存在に依存しないからである。このアプローチによれば、コンテンツの区分全体が、「疑似−電子透かし」と見なされ、当該コンテンツの一意的な音声−視覚側面を特徴づける１つ以上の一意的な画紋に要約される。コンテンツの２つの区分が互いに他のコピー又は２次的著作物であるか否かを識別するために、コンテンツの２つの区分のための画紋が比較される。もし、コンテンツ・ベースの画紋が十分に類似していれば、コンテンツの２つの区分は、コピー、準複製又は２次的著作物であると宣言される。

コンテンツ・ベースの画紋法は、画像内の音声トラック又は音声を一意的に特徴づける、音声ベースの画紋法を含む。また、コンテンツ・ベースの画紋法は、画像から重要なフレームを抽出することを基礎としており、それらの視覚特性を使用して、視覚的に重要なフレーム・ベースの画紋を作成する。次に、これらのフレーム・ベースの画紋の集合は、各画像を記述するために使用される。フレーム・ベースの視覚特徴（visual features）は、本来、大域的又は局所的であり得る。すなわち、フレーム・ベースの視覚特徴は、フレーム全体又はフレームの１つ以上の領域から抽出することができる。

一般に、コンテンツ・ベースの画紋法は、多くの通常の編集動作及び画像処理変換に関して不変である、類似する画紋を必要とする。通常の編集動作は、カット、スライス、再配列等を含む。画像処理変換は、切り取り、スケーリング、アスペクト比変更、画像の再取得又は再圧縮、大域照明変更、色空間変換、減色、データの破損、雑音の追加等を含む。

現に利用可能なコンテンツ・ベースの画紋法のアプローチが成功する度合いは、画像コピー内で観察される妥当な画像変換の範囲に関して様々である。その主たる理由は、画紋のマッチングが成功するためには、複雑なフレーム整列に加えて、ロバストなフレーム・ベースの画紋法技術が必要であるということにある。フレーム・ベースの画紋法技術は、殆どの変換に対し、不変でなければならない。

コンテンツ・ベースの画紋法は、フレーム整列問題及び欠落フレーム又は誤ってサンプルされたフレームの存在下では、不正確で且つ信頼性が低くなる。また、フレームの視覚的な外観を十分に変更するような任意の画像処理変換は、フレーム・ベースのマッチング・アプローチを無効にすることがある。すなわち、現在のコンテンツ・ベースの画紋法は、画像サンプルが編集動作を受けた場合は、コピー及び２次的画像コンテンツを検出することができないのが普通である。

本発明は、時間イベント・ベースの画紋法のためのコンピュータ実装方法、装置及びコンピュータ・プログラム・コードを提供する。１つの実施形態では、画像コンテンツ内のイベントが検出される。画像コンテンツは、複数の画像フレームを含む。各イベントは、画像コンテンツ内の離散的な注意点（points of interest）を表す。これらのイベントを使用して、時間イベント・ベースの１セットのセグメントが生成される。時間イベント・ベースの各セグメントは、１セットのイベントをカバーする画像コンテンツの一のセグメントである。時間イベント・ベースの各セグメントに関連する１セットのフレームのコンテンツ・ベースの特徴の時間トラッキングを使用して、時間イベント・ベースの各セグメントから一の時系列信号（time series signal）が導出される。時間イベント・ベースのセグメントごとの時系列信号に基づき、時間セグメント・ベースの一の画紋が抽出され、その結果、画像コンテンツに関連する１セットの時間セグメント・ベースの画紋が形成される。

本発明は、画像コンテンツが編集動作の対象となり且つ著作権のある画像コンテンツに対し改変がなされた場合であっても、そのコピー及び２次的著作物をより正確に且つより確実に検出することができるという効果を奏する。

実施形態が実装される、データ処理システムのネットワークを示す図である。 実施形態に従った、データ処理システムを示す図である。 実施形態に従った、テスト画像のための時間セグメント・ベースの画紋の生成及び画紋の参照データベースに対するマッチングを示すブロック図である。 実施形態に従った、著作権のあるコンテンツのための時間セグメント・ベースの画紋の参照データベースの生成を示すブロック図である。 実施形態に従った、時間セグメント・ベースの画紋生成手段を示すブロック図である。 実施形態に従った、画紋抽出プロセスを示すグラフである。 実施形態に従った、画紋マッチング・エンジンを示すブロック図である。 実施形態に従った、マッチング・プロセスを示すブロック図である。 実施形態に従った、時間セグメント・ベースの画紋を抽出するためのプロセスを示すフローチャートである。 実施形態に従った、時間セグメント・ベースの画紋を使用して、テスト・セグメントが参照画像とマッチするか否かを決定するためのプロセスを示すフローチャートである。

図１は、実施形態が実装される、データ処理システムのネットワーク図である。ネットワーク・データ処理システム１００は、コンピュータのネットワークであって、その内部で実施形態を実装することができる。ネットワーク・データ処理システム１００内に含まれるネットワーク１０２は、ネットワーク・データ処理システム１００内で相互に接続される種々の装置及びコンピュータの間の通信リンクを提供するために使用される媒体である。ネットワーク１０２は、有線、無線通信リンク又は光ファイバ・ケーブルのような接続を含む。

図示の例では、サーバ１０４及び１０６は、ストレージ・ユニット１０８と共にネットワーク１０２に接続される。また、クライアント１１０〜１１４が、ネットワーク１０２に接続される。クライアント１１０〜１１４は、パーソナル・コンピュータ又はネットワーク・コンピュータである。サーバ１０４は、ブート・ファイル、オペレーティング・システムのイメージ及びクライアント１１０〜１１４に対するアプリケーションのようなデータを提供する。この例では、クライアント１１０〜１１４は、サーバ１０４に対するクライアントである。ネットワーク・データ処理システム１００は、図示されていない追加のサーバ、クライアント及び他の装置を含むことがある。

図示の例では、ネットワーク・データ処理システム１００は、ネットワーク１０２を有するインターネットである。周知のように、インターネットは、ネットワーク及びゲートウェイの世界的な集合を表し、互いに通信するために伝送制御プロトコル／インターネット・プロトコル（ＴＣＰ／ＩＰ）スイートを使用する。インターネットの中心は、データ及びメッセージを経路指定する、何千もの商用、政府用、教育用及び他のコンピュータ・システムから成る、主要ノード又はホスト・コンピュータ間の高速データ通信回線のバックボーンである。もちろん、ネットワーク・データ処理システム１００は、イントラネット、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）等の、多くの異なるタイプのネットワークとしても実装されることがある。図１は、１例として図示されたものであって、異なる実施形態のアーキテクチャ上の制限を示すことを意図するものではない。

図２は、実施形態に従った、データ処理システムのブロック図を示す。この例では、データ処理システム２００は、通信ファブリック２０２を含む。通信ファブリック２０２は、プロセッサ・ユニット２０４、メモリ２０６、永続的ストレージ２０８、通信ユニット２１０、入出力（Ｉ／Ｏ）ユニット２１２及びディスプレイ２１４の間の通信を提供する。

プロセッサ・ユニット２０４は、メモリ２０６にロード可能なソフトウェアのための命令を実行する役目を有する。プロセッサ・ユニット２０４は、特定の実装に依存して、１つ以上のプロセッサのセット又はマルチプロセッサ・コアとすることができる。さらに、プロセッサ・ユニット２０４は、単一チップ上に主プロセッサ及び２次プロセッサが存在する、１つ以上の異機種プロセッサ・システムを使用して実装されることがある。他の例として、プロセッサ・ユニット２０４は、同じタイプの複数のプロセッサを含む、対称マルチプロセッサ・システムとすることができる。

これらの例では、メモリ２０６は、ランダム・アクセス・メモリである。永続的ストレージ２０８は、特定の実装に依存して、種々の形式を取ることができる。例えば、永続的ストレージ２０８は、１つ以上のコンポーネント又は装置を含む。例えば、永続的ストレージ２０８は、ハード・ドライブ、フラッシュ・メモリ、再書き込み可能な光ディスク、再書き込み可能な磁気テープ、又はこれらの或る組み合わせである。また、永続的ストレージ２０８によって使用される媒体は、取り外し可能とすることができる。例えば、取り外し可能なハード・ドライブは、永続的ストレージ２０８として使用される。

これらの例では、通信ユニット２１０は、他のデータ処理システム又は装置との通信を提供するためのネットワーク・インタフェース・カードである。通信ユニット２１０は、物理的及び無線通信リンクの一方又は両方の使用を通して、通信を提供する。

入出力ユニット２１２は、データ処理システム２００に接続される他の装置とのデータの入出力を可能にする。例えば、入出力ユニット２１２は、キーボード及びマウスを通して、ユーザ入力のための接続を提供する。さらに、入出力ユニット２１２は、プリンタへ出力を送ることができる。ディスプレイ２１４は、ユーザに対し情報を表示するための機構を提供する。

オペレーティング・システム、アプリケーション又はプログラム用の命令は、永続的ストレージ２０８上に配置される。これらの命令は、プロセッサ・ユニット２０４による実行のために、メモリ２０６にロードされる。異なる実施形態のプロセスは、メモリ２０６のようなメモリ内に配置される、コンピュータ実装命令を使用してプロセッサ・ユニット２０４によって実行される。これらの命令は、プログラム・コード、コンピュータ使用可能プログラム・コード又はコンピュータ可読プログラム・コードと呼ばれ、プロセッサ・ユニット２０４内のプロセッサによって読み取られ実行される。異なる実施形態のプログラム・コードは、メモリ２０６又は永続的ストレージ２０８のような、異なる物理的又は有形的なコンピュータ可読媒体上に具体化される。

プログラム・コード２１６は、選択的に取り外し可能なコンピュータ可読媒体２１８上に機能的な形式で配置され、プロセッサ・ユニット２０４による実行のために、これをデータ処理システム２００にロード又は転送される。これらの例では、プログラム・コード２１６及びコンピュータ可読媒体２１８は、コンピュータ・プログラム２２０を形成する。１つの例では、コンピュータ可読媒体２１８は、光又は磁気ディスクのような有形的な形式を有することがあり、その場合には、かかるコンピュータ可読媒体２１８を永続的ストレージ２０８の一部であるドライブ又は他の装置に挿入又は装填することにより、永続的ストレージ２０８の一部であるハード・ドライブのようなストレージ装置に転送することができる。また、有形的な形式において、コンピュータ可読媒体２１８は、データ処理システム２００に接続される、ハード・ドライブ、サム・ドライブ又はフラッシュ・メモリのような永続的ストレージの形式を取ることができる。コンピュータ可読媒体２１８の有形的な形式は、コンピュータ記録可能ストレージ媒体とも呼ばれる。特定の状況では、コンピュータ可読媒体２１８は、取り外し可能ではないことがある。

代替的に、プログラム・コード２１６は、コンピュータ可読媒体２１８から通信ユニット２１０への通信リンクを通して又は入出力ユニット２１２への接続を通して、データ処理システム２００に転送される。図示の例では、この通信リンク又は接続を、物理的又は無線とすることができる。また、コンピュータ可読媒体は、プログラム・コードを保持する通信リンク又は無線伝送のような、非有形的な媒体の形式を取ることができる。

データ処理システム２００について例示された異なるコンポーネントは、異なる実施形態を実装可能な態様に対し、アーキテクチャ上の制限を示すことを意図するものではない。異なる実施形態は、データ処理システム２００について例示されたものに加えて、又はそれに代わるコンポーネントを含む、データ処理システム内で実装することができる。図２の他のコンポーネントは、例示されたものから変わることがある。

１つの例として、データ処理システム２００内のストレージ装置は、データを格納可能な任意のハードウェア装置である。メモリ２０６、永続的ストレージ２０８及びコンピュータ可読媒体２１８は、有形的な形式のストレージ装置の例である。

他の例では、通信ファブリック２０２を実装するために、システム・バス又は入出力バスのような１つ以上のバスから構成される、バス・システムを使用することができる。もちろん、当該バス・システムは、それに接続された異なるコンポーネント又は装置の間のデータ転送を提供する、適切な任意のタイプのアーキテクチャを使用して実装することができる。さらに、通信装置は、モデム又はネットワーク・アダプタのような、データを送信及び受信するために使用される１つ以上の装置を含むことがある。さらに、メモリは、メモリ２０６又は通信ファブリック２０２内のインタフェース兼メモリ・コントローラ・ハブ内に存在するようなキャッシュとすることができる。

インターネット上のコンテンツ共有が増殖しているために、著作権のあるコンテンツのコピー又は２次的著作物を識別し且つ画像の著作権侵害を検出するための改良された技術に対する必要性が増大している。現在、コピー及び２次的著作物の識別を容易にするために、電子透かしが画像コンテンツ内に挿入されることがある。電子透かしは、画像コンテンツ自体を破壊せずに電子透かしを除去することが困難であるように設計されているが、電子透かしを無効化し且つこれを画像コンテンツから除去することができる。もし、電子透かしが成功裡に除去されるならば、その画像コンテンツは、永久的にアンロックされることになり、その結果、もはや電子透かしを介して無許可の複製又は２次的著作物の作成をモニタ及び／又は検出することができない。

他の解決法として、著作権のあるコンテンツを識別するために、コンテンツ・ベースの画紋法が使用されるようになってきた。しかし、現在のコンテンツ・ベースの画紋法は、フレーム整列問題及び欠落フレーム又は誤ってサンプルされたフレームの存在下では、不正確で且つ信頼性が低くなる。また、フレームの視覚的な外観を十分に変更するような任意の画像処理変換は、従来技術のコンテンツ・ベースの画紋法及びフレーム・ベースのマッチング・アプローチを無効にすることがある。

さらに、本発明は、従来技術の音声ベースの画紋法が不適当であるという知見を基礎としている。なぜなら、音声ベースの画紋法は、互いに同一の画像を有するが修正された音声トラックを有する画像複製物（例えば、異なる音声トラックを有する映画）を認識することができないからである。従来技術の方法及び装置の前記及び他の問題、欠点等に鑑み、本発明は、テスト画像の時間セグメント・ベースの画紋を抽出し、当該テスト画像の時間セグメント・ベースの画紋と参照画像の時間セグメント・ベースの画紋とのマッチングを行うことにより、画像の著作権侵害を確実に検出するための方法及び装置を提供する。

１つの実施形態では、このプロセスは、画像コンテンツ内のイベントを検出する。画像コンテンツは、複数の画像フレームを含む。オプションとして、これらの画像フレームは、対応する音声トラックを伴うことがある。画像コンテンツは、当該画像コンテンツが著作権のある既知の画像のコピー又は２次的著作物であるか否かを決定するためにテストされる、テスト画像とすることができる。また、画像コンテンツは、著作権のある既知の画像コンテンツとすることができる。

各イベントは、画像コンテンツ内の離散的な注意点を表す。各イベントは、音声内の著しい状態変化、視覚コンテンツ内の変化又は画像の意味コンテンツ内の変化とすることができる。例えば、各イベントは、画像内の人物又はオブジェクトの出現、シーン変化又は話者変化とすることができる。

画像コンテンツ内のイベントの自動検出に基づいて、時間イベント・ベースの１セットのセグメントが生成される。このセットは、１つ以上の時間イベント・ベースのセグメントのセットを含むことができる。時間イベント・ベースの各セグメントは、１つ以上のイベントのセットをカバーする。

時間イベント・ベースの各セグメントにおけるフレームの順序付けられたシーケンスに関連するコンテンツ・ベースの特徴の時間トラッキングに基づき、各セグメントから一の時系列信号が導出される。コンテンツ・ベースの特徴は、音声特徴（audio feature）又は視覚特徴（visual feature）の何れかである。これらのコンテンツ・ベースの特徴は、完全に音声特徴、完全に視覚特徴又は音声特徴及び視覚特徴の組み合わせから構成することができる。時間イベント・ベースのセグメントごとの時系列信号を要約し且つこれに近似する一のセグメント画紋が抽出され、その結果、画像コンテンツに関連する１セットの時間セグメント・ベースの画紋が形成される。

１セットの時間セグメント・ベースの画紋は、第１の画像クリップの一部が第２の画像クリップと同じオリジナル・コンテンツのコピー又は２次的著作物であるか否かを決定するために使用される。このプロセスは、第１の画像クリップのための時間セグメント・ベースの画紋を、第２の画像クリップのために生成された時間セグメント・ベースの画紋と比較する。第１の画像クリップに関連する時間セグメント・ベースの一の画紋と第２の画像クリップに関連する時間セグメント・ベースの一の画紋との間の類似性測度（similarity measure）に基づき、イベント・ベースのマッチング・セグメントが識別され、その結果、一のマッチング・セグメントが形成される。

第１の画像クリップと第２の画像クリップとの間の全てのマッチング・セグメントが収集され、その結果、１セットのマッチング・セグメントが形成される。この１セットのマッチング・セグメントは、イベント・ベースのセグメントの単一のマッチング対又はイベント・ベースのセグメントの２つ以上のマッチング対を含むことがある。この１セットのマッチング・セグメントから、良好な線形適合（linear fit）を生じるマッチング・セグメントの一のサブセットが選択される。

良好な線形適合を生じるマッチング・セグメントの前記サブセットのうち選択されたマッチング・セグメントの非重複期間（non-overlapping duration）に基づき、第１の画像クリップ及び第２の画像クリップのための一の総合的画像マッチ・スコアが識別される。次に、この総合的画像マッチ・スコアを使用して、第１の画像クリップが第２の画像クリップの準複製であるか否かという決定がなされる。

図３は、実施形態に従った、テスト画像のための時間セグメント・ベースの画紋の生成及び画紋の参照データベースに対するマッチングを示すブロック図である。コンピュータ３００は、図１のサーバ１０６又はクライアント１１０及び図２のデータ処理システム２００等を含む、任意の汎用コンピュータ内で実装される。

時間セグメント・ベースの画紋生成手段３０２は、画像コンテンツのための時間セグメント・ベースの画紋を生成するためのソフトウェア・コンポーネントである。画像コンテンツは、テスト画像３０４又は著作権のある既知のコンテンツとすることができる。時間セグメント・ベースの画紋生成手段３０２は、コンテンツ・ベースの特徴をテスト画像３０４の一意的な時間的シグネチャと組み合わせることにより、時間セグメント・ベースの画紋を生成する。

この例では、テスト画像３０４は、これが著作権のあるコンテンツのコピー又は著作権のあるコンテンツの２次的著作物であるか否かを決定するために、著作権のある既知のコンテンツに対してテストされている画像コンテンツである。テスト画像３０４は、複数の画像フレームを含む。オプションとして、これらの画像フレームは、音声トラックを伴うことがある。すなわち、テスト画像３０４は、画像のみ又は音声及び画像の組み合わせとすることができる。

テスト画像源３０６は、テスト画像３０４の源である。テスト画像源３０６は、画像コンテンツのオンラインの源又はオフラインの源とすることができる。例えば、テスト画像源３０６は、テレビ番組、コマーシャル、音声及び／又はウェブサイト上の画像コンテンツ等を含む。ウェブサイトの例は、YouTube（登録商標）、Facebook（登録商標）、MySpace（登録商標）等を含む。

時間セグメント・ベースの画紋生成手段３０２は、テスト画像３０４内のイベントを検出し、イベント境界で整列したセグメントを形成し、セグメントごとにコンテンツ・ベースの記述子の時間的なトレースを抽出し、テスト画像のための時間セグメント・ベースの画紋３１２を生成する。この実施形態では、テスト画像のための時間セグメント・ベースの画紋３１２は、各画像セグメントの視覚特徴及び／又は音声特徴の時間的なトレースを要約する、数値の順序付けられたシーケンスとして形成される。これらのセグメントを不変のイベント境界で整列させると、画像コンテンツの編集又は改変により生じることがある任意のフレーム整列問題を緩和することができる。時間セグメント・ベースの画紋生成手段３０２は、テスト画像のための時間セグメント・ベースの画紋３１２を生成するとともに、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６を生成する。この例では、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６は、データ・ストレージ３１０内に永久的に格納される。一方、テスト画像のための時間セグメント・ベースの画紋３１２は、オンザフライで生成され、永久的にではなく、マッチング及び画像コピーの識別のためにのみ使用される。しかし、テスト画像のための時間セグメント・ベースの画紋３１２は、これをオンラインで生成するのではなく、これを生成した後にデータ・ストレージ３１０内に格納することにより、オフラインのマッチング・プロセス中に著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６に対してマッチングを行うようにすることができる。

データ・ストレージ３１０は、データを格納するための装置である。データ・ストレージ３１０は、ハード・ドライブ、フラッシュ・メモリ、主メモリ、読み取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、不揮発性のランダム・アクセス・メモリ（ＮＶＲＡＭ）等として実装することができる。データ・ストレージ３１０は、単一のデータ・ストレージ装置内で又は複数のデータ・ストレージ装置内で実装することができる。この例では、データ・ストレージ３１０は、コンピュータ３００に結合されたローカル・データ・ストレージ装置である。しかし、他の実施形態では、データ・ストレージ３１０をコンピュータ３００に対し遠隔に配置することができ、又はデータ・ストレージ３１０を１つ以上のローカル・データ・ストレージ装置及び１つ以上の遠隔データ・ストレージ装置として実装することができる。

データ・ストレージ３１０は、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６を格納する。著作権のあるコンテンツは、著作権のある既知のコンテンツである、任意の音声及び／又は画像コンテンツとすることができる。著作権のあるコンテンツは、著作権のある１つ以上の既知の画像クリップを有する、ライブラリ又はデータベース内に格納することができる。また、データ・ストレージ３１０は、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６を格納する。

時間セグメント・ベースの画紋生成手段３０２は、著作権のある既知の画像コンテンツのための時間セグメント・ベースの画紋３１６を生成する。著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６は、時間セグメント・ベースの１つ以上の画紋を含む。著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６は、時間セグメント・ベースの画紋生成手段３０２によって、オンライン又はオフラインで生成される。すなわち、ネットワーク接続の存在下又はネットワーク接続の不在下で、コンピュータ３００を使用して、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６を生成することができる。次に、時間セグメント・ベースの画紋生成手段３０２は、テスト画像のための時間セグメント・ベースの画紋３１２を生成する。次に、画紋マッチング・エンジン３２０は、テスト画像のための時間セグメント・ベースの画紋３１２を、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６と比較する。

画紋マッチング・エンジン３２０は、時間セグメント・ベースの画紋のマッチング・プロセスを実行するためのソフトウェア・コンポーネントである。画紋マッチング・エンジン３２０は、テスト画像のための時間セグメント・ベースの画紋３１２を、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６と比較する。結果３１８は、テスト画像３０４が著作権のあるコンテンツのコピー又は２次的著作物であるか否かを指示する。かかるコピー又は２次的著作物は、著作権のあるコンテンツの準複製と称することができる。１つの実施形態では、準複製の検出が、コンテンツ・ベースの画像の著作権侵害の検出又は予防の目的に使用される。

従って、時間セグメント・ベースの画紋生成手段３０２は、テスト画像３０４に関連する複数のフレーム内のフレームごとに、コンテンツ・ベースの特徴を抽出する。テスト画像３０４は、これらの画像フレームに対応する音声コンテンツを含むことができる。コンテンツ・ベースの特徴は、視覚特徴又は音声特徴とすることができる。時間セグメント・ベースの画紋生成手段３０２は、これらのコンテンツ・ベースの特徴における著しい変化に基づき、テスト画像３０４に関連する画像コンテンツ内のイベントを検出する。次に、時間セグメント・ベースの画紋生成手段３０２は、１つ以上のイベントをカバーする重複セグメントを生成することにより、１セットの時間イベント・ベースのセグメントを形成する。

次に、時間セグメント・ベースの画紋生成手段３０２は、時間イベント・ベースの各セグメントに関連するコンテンツ・ベースの特徴の時間トラッキングに基づき、時間イベント・ベースの各セグメントから一の時系列信号を導出する。時間セグメント・ベースの画紋生成手段３０２は、セグメントごとの時系列信号に基づき、セグメント・ベースの画紋を抽出することにより、テスト画像のための時間セグメント・ベースの画紋３１２を形成する。

画紋マッチング・エンジン３２０は、テスト画像３０４からテスト・セグメントを受け取る。画紋マッチング・エンジン３２０は、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６における時間セグメント・ベースの１つ以上の画紋を、テスト画像のための時間セグメント・ベースの画紋３１２と比較する。画紋マッチング・エンジン３２０は、類似性測度に基づき、マッチング・セグメントを識別する。画紋マッチング・エンジン３２０は、最良の線形適合を生じるマッチング参照セグメントの一のサブセットを検出する。

この文脈において、線形適合とは、複数セットのマッチング・セグメントが、それらの時間的な配置及び相対的な時間的な距離に関して整合していること、すなわち、１対の画像内のマッチング・セグメントの時間的な位置の間に線形の関係が存在しなければならないことを意味する。もし、第１の画像からの時間Ｘにおける一のセグメントが第２の画像からの時間Ｙにおける一のセグメントとマッチすれば、Ｙ＝ａＸ＋ｂ（但し、ａ及びｂは、一定の実数）という線形の関係が存在するということである。１セットの対マッチング・セグメントが線形適合を生じるのは、マッチング・セグメントの各対が同じ線形の関係によって関係付けられる場合である（但し、マッチング・セグメントの全ての対について、定数ａ及びｂは、同じであるか又は殆ど同じである）。マッチング・セグメントの線形適合の品質は、同じ線形の関係に適合するマッチング・セグメント対の数に基づき、さらにこの線形の関係のパラメータａ及びｂに基づく。

画紋マッチング・エンジン３２０は、最良の線形適合に基づき、一の画像マッチ・スコアを生成する。この例では、もし、当該画像マッチ・スコアが一の閾値スコアを超えれば、画紋マッチング・エンジン３２０は、テスト・セグメントが参照画像の潜在的なコピー又は２次的著作物であることを識別する結果３１８を生成する。もし、当該画像マッチ・スコアが当該閾値スコアを超えなければ、画紋マッチング・エンジン３２０は、テスト・セグメントが参照画像とマッチしないことを識別する結果３１８を生成する。

１つの実施形態では、著作権のあるコンテンツを有するコンテンツ所有者は、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６を生成するために、当該著作権のある画像のための時間セグメント・ベースの画紋を抽出する。これらの画紋は、広範囲の歪みに対しロバストであるように設計された、細粒度の時間コンテンツ・ベースの画紋である。そのため、時間セグメント・ベースの画紋は、画像著作権の侵害を検出し且つ著作権のあるコンテンツを無許可の使用から保護するために使用することができる。

他の例では、画像共有サイトは、時間セグメント・ベースの画紋生成手段３０２を使用することにより、当該画像共有サイトにポストされた画像のための時間セグメント・ベースの画紋を生成することができる。画像共有サイトは、画紋マッチング・エンジン３２０を使用することにより、当該画像共有サイトのユーザによる著作権のある画像の著作権侵害及び無許可の使用を検出することができる。この例では、テスト画像３０４は、画像共有サイトのユーザによって当該画像共有サイトにポストされた画像である。テスト画像のための時間セグメント・ベースの画紋３１２は、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６の参照データベースに対してマッチングされる。このマッチングは、広範囲の歪みに対してロバストであるように設計された、細粒度の時間コンテンツ・ベースのプロセスである。このプロセスは、共有された画像が記述子データベース内の著作権のある画像のうち１つの海賊版であるか否かを検出する。

図４は、実施形態に従った、著作権のあるコンテンツのための時間セグメント・ベースの画紋の参照データベースの生成を示すブロック図である。時間セグメント・ベースの画紋生成手段３０２は、図３の時間セグメント・ベースの画紋生成手段３０２がテスト画像のための時間セグメント・ベースの画紋３１２を生成するのと同じ態様で、著作権のあるコンテンツ４０４のための時間セグメント・ベースの画紋３１６を生成する。

データ・ストレージ３１０は、著作権のあるコンテンツ４０４を格納する。著作権のあるコンテンツ４０４は、著作権のある既知のコンテンツである、任意の音声及び／又は画像コンテンツとすることができる。この例では、著作権のあるコンテンツ４０４は、著作権のある１つ以上の既知の画像クリップを有する、ライブラリ又はデータベースである。著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６は、著作権のある既知の画像コンテンツ（例えば、著作権のあるコンテンツ４０４）のための時間セグメント・ベースの画紋を保持する。

時間セグメント・ベースの画紋生成手段３０２は、著作権のあるコンテンツ４０４のための時間セグメント・ベースの画紋３１６を、オンライン又はオフラインで生成する。すなわち、ネットワーク接続の存在下又はネットワーク接続の不在下で、時間セグメント・ベースの画紋生成手段３０２を使用して、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６を生成することができる。次に、時間セグメント・ベースの画紋生成手段３０２は、図３と同様に、テスト画像のための時間セグメント・ベースの画紋３１２を生成する。次に、画紋マッチング・エンジン３２０は、図３と同様に、時間セグメント・ベースの画紋３１２を、著作権のあるコンテンツのための時間セグメント・ベースの画紋３１６と比較する。

図５は、実施形態に従った、時間セグメント・ベースの画紋生成手段３０２を示すブロック図である。時間セグメント・ベースの画紋生成手段３０２は、テスト画像又は著作権のある既知のコンテンツに関連する画像フレーム５０１を受け取る。フレーム・ベースの特徴抽出手段５０２は、フレームごとにコンテンツ・ベースの特徴５０３を抽出する、時間セグメント・ベースの画紋生成手段３０２に関連するソフトウェア・コンポーネントである。コンテンツ・ベースの特徴５０３は、視覚特徴のみ、音声特徴のみ、又は視覚特徴及び音声特徴の組み合わせとすることができる。

イベント検出手段５０４は、コンテンツ・ベースの特徴５０３内の著しい変化に基づき、イベントを検出するためのソフトウェア・コンポーネントである。イベント検出手段５０４は、期間制約に基づき、イベントをカバーする重複セグメントを作成する。これらのセグメントは、イベント境界５０５によって定義される。すなわち、イベント検出手段５０４は、一の画像クリップの音声−画像コンテンツ内の著しい状態変化に基づき、画像フレーム５０１内のイベントを検出し且つ抽出する。例えば、イベントは、画像ショット又はシーン変化、話者変化をマークすることができ，又は単に全体的なフレーム又は音声強度の変化に基づくことができる。すなわち、イベント検出手段５０４は、画像ショット検出を使用して、シーン変化、話者変化、音声変化及びフレーム明度（frame intensity）の変化を検出することができる。また、イベント検出手段５０４は、音声特徴、視覚特徴及び多重特徴を使用して、イベントを検出することができる。

次に、時間セグメント・ベースの画紋生成手段３０２は、これらのイベントを使用して、時間イベント・ベースのセグメントを形成する。これらのセグメントは、複数のイベントをカバーすることができ、ばらばら又は重複することができ、また画像の全体又は画像の一のサブセットのみをカバーすることができる。また、これらの時間イベント・ベースのセグメントは、１つ以上の他の時間イベント・ベースのセグメントと重複することができる。マッチングを行う場合、時間イベント・ベースのセグメントのサブセットは、線形適合を生じ、複数のフレーム内のフレームのサブセットをカバーする。時間イベント・ベースのマッチング・セグメントは、ギャップによって分離することができる。

セグメント抽出手段５０６は、セグメントごとに特徴の時系列を作成することにより、セグメント時系列５０７を形成する。セグメント抽出手段５０６は、時間イベント・ベースの各セグメントを、時間イベント・ベースの各セグメントのフレームから抽出されたコンテンツ・ベースの特徴の時間的なトレースと関連付ける。例えば、コンテンツ・ベースの１つの視覚特徴は、フレーム・ピクセル内の赤、緑及び青の明度の和に対応する総合的フレーム明度である。この時系列信号は、総合的フレーム明度の時間トラッキング、フレーム領域ベースの明度シーケンスのトラッキング、グリッド・ベースの明度シーケンスのトラッキング及び／又は隣接フレーム間差分のトラッキングに基づくことができる。

従って、セグメントごとにフレーム・ベースの記述子の時系列を構築することにより、セグメント時系列５０７が形成される。これらの記述子は、総合的フレーム明度と同様に単純にすることができ、或いは色、テクスチャ、エッジ及び形状特性に基づき、より複雑な特徴とすることができる。

次に、セグメント・ベースの特徴抽出手段５０８は、時間セグメントごとに時間セグメント・ベースの画紋を抽出することにより、時間セグメント・ベースの画紋５０９を形成する。こうするため、セグメント・ベースの特徴抽出手段５０８は、各セグメントに関連する記述子の時系列から固定次元の時間セグメント・ベースの画紋を抽出する。これらの固定次元の画紋を抽出するためには、可変長の時系列を固定次元の特徴ベクトルに縮小させるための種々の方法（例えば、一様サンプリング、ベクトル量子化、区分的（piece-wise）線形近似、離散コサイン変換（ＤＣＴ）、離散ウェーブレット変換（ＤＷＴ）、離散フーリエ変換等）を使用することができる。

図６は、実施形態に従った、画紋抽出プロセスを示すグラフである。グラフ６００は、時間セグメント・ベースの画紋生成手段（例えば、図３の時間セグメント・ベースの画紋生成手段３０２）によって実装された画紋抽出プロセスのグラフである。

画像６０１は、テスト画像又は著作権のある既知のコンテンツとすることができる。フレーム・ベースの特徴抽出手段６０２は、画像６０１から特徴を抽出するためのソフトウェア（例えば、図５のフレーム・ベースの特徴抽出手段５０２）である。フレーム・ベースの特徴抽出手段６０２は、画像６０１をフレームに処理し、画像６０１のフレームごとに赤／緑／青の明度の和を抽出し、その結果、一の時系列信号が得られる。イベント検出手段６０４は、一の閾値及びこの時系列信号の導関数のゼロ交差に基づいて、この時系列信号内のイベントを検出する。セグメント抽出手段６０６は、セグメントに関する最小及び最大の期間制約に基づき、イベントをカバーする重複セグメントを作成する。この例では、セグメント・ベースの特徴抽出手段６０８は、均等に間隔を置かれた６４個の時点でセグメントごとの時系列信号をサブサンプルし、その結果、１セットのセグメントである画像６０１のための一の画紋及びそれらの対応する６４個の次元ベクトルが得られる。しかし、セグメント・ベースの特徴抽出手段６０８は、任意の数の時点においてセグメントごとの時系列信号をサブサンプルするか、又はそうでなければ固定次元のベクトルを生成することができる。

フレーム・ベースの特徴として赤／緑／青の明度の和を使用すると、多くの変化（例えば、画像のまわりの黒いバンド、アスペクト比の変化、画像上に重ね合わされるタグ・ライン又は固定テキスト、画像の最終的な増光又は減光、利得が急速に変わらない場合のＡＧＣ、色空間の変換、解像度及びＤＣオフセットの変化）に関する不変性又はロバスト性を提供することができる。

変化に基づくイベント検出を使用すると、空間的及び時間的な変化の両方に関する不変性を提供することができる。テスト画像が編集され且つ異なる時間スケール上にあったとしても、イベント検出手段６０４は、類似する時点においてテスト信号が変化することを検出しなければならない。

また、イベントをカバーする重複セグメントを使用すると、空間的及び時間的な変化の両方に関する不変性を提供することができる。テスト画像の品質が劣化し且つ異なる時間スケール上にあったとしても、セグメント抽出手段６０６は、類似する変化の短いシーケンスに基づいて、イベントをカバーする重複セグメントを検出しなければならない。

図７は、実施形態に従った、画紋マッチング・エンジンのブロック図である。画紋マッチング・エンジン３１４は、テスト・セグメント７０４のための時間セグメント・ベースの画紋を受け取る。画紋検索兼比較手段７０５は、一のテスト画像とマッチする参照セグメント（マッチング参照セグメント）を識別するためのソフトウェア・コンポーネントである。すなわち、当該識別された参照セグメントは、これをテスト画像と比較することにより、テスト画像が当該識別された参照セグメントのコピー又は２次的著作物であるか否かを決定するために利用することができる。

画紋検索兼比較手段７０５は、テスト・セグメント７０４ごとに、マッチング参照セグメントを検出する。参照セグメント７０６は、著作権のある既知の画像コンテンツのセグメントである。画紋検索兼比較手段７０５は、参照セグメント７０６内の参照セグメントごとに、全てのマッチング・セグメント７０８を収集する。すなわち、テスト・セグメント７０４が記述子データベース内の参照セグメント７０６と比較され、最近隣検索又はそれと同様の検索を使用して最も近いマッチング参照セグメントが検出され、その結果、マッチング・セグメント７０８が形成される。

線形適合分析手段７１０は、最良の線形適合を生ずるマッチング・セグメントのサブセットを検出することにより、フィルタされたマッチング・セグメント７１２を形成する。すなわち、線形適合分析手段７１０は、テスト・セグメント７０４が各参照画像に対し線形的に適合するか否かを分析する。線形適合分析手段７１０は、参照画像ごとに、テスト・セグメント７０４のサブセット及び最長期間の線形適合を有するマッチング参照セグメントをフィルタすることにより、フィルタされたマッチング・セグメント７１２を形成する。

線形適合分析手段７１０を使用すると、空間的及び時間的な変化の両方に関する不変性を提供することができる。テスト画像が編集されていたとしても、線形適合は、セグメントが時間的に整列することを必要とするが、必ずしもこれらのセグメントが連続的であることを必要としない。

マッチド画像スコアリング手段７１４は、テスト画像ごとに、最良の線形適合を有する参照画像に基づき全体的なマッチング・スコアを計算することにより、マッチ・スコア７１６を形成する。マッチド画像スコアリング手段７１４は、フィルタされたマッチング・セグメント７１２を使用することにより、記述子データベースに対する最良のマッチ・スコア７１６を計算する。最良のマッチ・スコア７１６は、テスト画像が著作権のある画像であるか否かを検出するために使用される。

閾値スコア比較エンジン７１８は、マッチ・スコア７１６を一の閾値スコアと比較することにより、テスト画像が著作権のあるコンテンツのコピー又は２次的著作物であるか否かを決定する。例えば、マッチ・スコア７１６が閾値スコアに等しいか又はこれより大きければ、閾値スコア比較エンジン７１８は、テスト画像を参照セグメント７０６内の著作権のあるコンテンツのコピー又は２次的著作物であると識別する。

図８は、実施形態に従った、マッチング・プロセス８００を示すブロック図である。画紋マッチング・エンジン（例えば、図３の画紋マッチング・エンジン３１４）は、抽出された時間セグメント・ベースの画紋を活用して、画像クリップ８０２及び８０４の比較及びマッチングを行う。画像クリップ８０２は、著作権のあるコンテンツ（例えば、図４の著作権のあるコンテンツ４０４）のリポジトリからの既知の参照画像である。画像クリップ８０４は、未知のテスト画像（例えば、図３のテスト画像３０４）である。

類似する画紋を使用して、未知のテスト画像８０４と既知の参照画像８０２との間でマッチング・セグメントを識別することができる。次に、各候補参照画像からのマッチング・セグメントの集合及び組み合わされた期間を使用して、テスト画像８０４と候補参照画像８０２との間の総合的マッチ品質をスコアすることができる。次に、十分に大きなスコアを有する任意の候補参照画像が未知のテスト画像に対する準複製であると宣言され、そしてテスト画像８０４が著作権のあるコンテンツの２次的著作物としてフラグ付けされる。

図９は、実施形態に従った、時間セグメント・ベースの画紋を抽出するためのプロセスを示すフローチャートである。図９のプロセスは、時間セグメント・ベースの画紋を生成するためのソフトウェア（例えば、図３の時間セグメント・ベースの画紋生成手段３０２）によって実装される。

開始後、本プロセスは、画像コンテンツ内のフレームごとに、コンテンツ・ベースの特徴を抽出する（ステップ９０２）。画像コンテンツは、テスト画像又は著作権のある既知の画像コンテンツとすることができる。画像コンテンツは、画像フレームのみ、音声のみ又は音声及び画像フレームの組み合わせとすることができる。これらのコンテンツ・ベースの特徴は、視覚特徴、音声特徴又は画像特徴及び音声特徴の組み合わせである。

次に、本プロセスは、コンテンツ・ベースの特徴における著しい変化に基づき、画像コンテンツ内のイベントを検出し（ステップ９０４）、そして期間制約に基づき、１つ以上のイベントをカバーする重複セグメントを生成することにより、１セットの時間イベント・ベースのセグメントを形成する（ステップ９０６）。この１セットの時間イベント・ベースのセグメントは、２つ以上のイベント・ベースのセグメントのセットである。

次に、本プロセスは、時間イベント・ベースの各セグメントに関連するコンテンツ・ベースの特徴の時間トラッキングに基づき、前記１セットの時間イベント・ベースのセグメントにおける時間イベント・ベースの各セグメントから一の時系列信号を導出し（ステップ９０８）、そしてセグメントごとに、時間セグメント・ベースの画紋を抽出することにより、画像コンテンツのための時間セグメント・ベースの画紋を形成する（ステップ９１０）。その後、本プロセスが終了する。すなわち、図９のプロセスは、与えられた画像クリップのための時間セグメント・ベースの１つ以上の画紋を生成する。図９のプロセスは、テスト画像クリップのための及び／又は著作権のある既知のコンテンツのための時間セグメント・ベースの画紋を生成するために、これを何回でも実行することができる。

図１０は、実施形態に従った、時間セグメント・ベースの画紋を使用して、一のテスト・セグメントが一の参照画像とマッチするか否かを決定するためのプロセスを示すフローチャートである。図１０のプロセスは、時間セグメント・ベースの画紋とのマッチングを行うためのソフトウェア（例えば、図３の画紋マッチング・エンジン３２０）によって実装される。

開始後、本プロセスは、テスト画像コンテンツから一のテスト・セグメントを選択し（ステップ１００２）、一の参照画像の時間セグメント・ベースの画紋を、当該テスト・セグメントの時間セグメント・ベースの画紋と比較し（ステップ１００４）、類似性測度に基づき、マッチング・セグメントを識別し（ステップ１００６）、そして最良の線形適合を生ずる、マッチング参照セグメントの一のサブセットを検出する（ステップ１００８）。

次に、本プロセスは、最良の線形適合に基づき、一の画像マッチ・スコアを生成し（ステップ１０１０）、テスト画像のマッチ・スコアが一の閾値を超えるか否かを決定し（ステップ１０１２）、そしてスコアが閾値を超えれば、テスト・セグメントが参照画像の潜在的な２次的著作物であるとしてこれを識別する（ステップ１０１４）。その後、本プロセスが終了する。

ステップ１０１２に戻って、説明を続ける。もし、マッチ・スコアが閾値を超えなければ、本プロセスは、テスト・セグメントが参照画像にマッチしないとしてこれを識別する（ステップ１０１６）。その後、本プロセスが終了する。すなわち、マッチ・スコアが低すぎれば、本プロセスは、テスト画像が参照画像に関連する著作権のあるコンテンツのコピー又は２次的著作物であるとしてこれを識別しない。

本発明は、時間イベント・ベースの画紋法を実現するためのコンピュータ実装方法、装置及びコンピュータ・プログラム・コードを提供する。１つの実施形態では、画像コンテンツ内のイベントが検出される。画像コンテンツは、複数の画像フレームを含む。各イベントは、画像コンテンツ内の離散的な注意点を表す。これらのイベントを使用して、時間イベント・ベースの１セットのセグメントが生成される。時間イベント・ベースの各セグメントは、１つ以上のイベントをカバーする画像コンテンツの一のセグメントである。時間イベント・ベースの各セグメントに関連するフレームのコンテンツ・ベースの特徴の時間トラッキングに基づき、各セグメントから一の時系列信号が導出される。時間イベント・ベースのセグメントごとの時系列信号に基づいて、セグメント画紋が抽出され，その結果、画像コンテンツに関連する１セットの時間セグメント・ベースの画紋が形成される。

テスト画像クリップのための時間セグメント・ベースの画紋が、各参照画像のための時間セグメント・ベースの画紋と比較される。全てのマッチング対が検出される。良好な線形適合を生ずるマッチング対のサブセットが、候補参照画像へのマッチをスコアリングするために使用される。

時間セグメント・ベースの画紋は、コンテンツ・ベースの画像の著作権侵害の検出又は画像の著作権侵害を予防するために使用することができる。また、このプロセスによって生成される時間セグメント・ベースの画紋は、コンテンツ・ベースの検索、概念検出、コンテンツの要約、フィルタリング、経路指定又はターゲット広告のために使用することができる。時間セグメント・ベースの画紋法は、編集動作（例えば、カット、挿入及びスライス）に対してよりロバストである。すなわち、時間セグメント・ベースの画紋法は、画像コンテンツが編集動作の対象となり且つ著作権のある画像コンテンツに対し改変がなされた場合であっても、そのコピー及び２次的著作物をより正確に且つより確実に検出することができる。

従って、実施形態は、コンテンツ・ベースの特徴を画像の一意的な時間的シグネチャと組み合わせることにより、編集及び画像処理変換に関するロバスト性を改良することができる。ロバスト性の増加は、画像内の重要なイベントを検出すること、イベント境界に整列されたセグメントを形成すること、及びセグメントごとにコンテンツ・ベースの記述子の時間的なトレースを抽出することを通してもたらされる。不変のイベント境界でこれらのセグメントを整列させると、前述のフレーム整列問題を軽減することができる。これらのセグメントが可変数のイベントをカバーし且つ互いに重複することを可能にすると、編集動作に関する増加したロバスト性をもたらすような冗長レベルを提供することができる。時間的なトレース・シグネチャを画紋に取り込むようにすると、画紋に対する依存性を減少させることができ、従って、画像処理変換に関するロバスト性を増加させることができる。

本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態又はソフトウェア及びハードウェア要素の両方を含む実施形態の形式を取ることができる。好ましい実施形態では、本発明は、ファームウェア、常駐ソフトウェア、マイクロコード等を含むソフトウェアの形式で実装される。

さらに、本発明は、コンピュータ又は任意の命令実行システムに関連して又はこれらによって使用するためのプログラム・コードを提供する、コンピュータ使用可能媒体又はコンピュータ可読媒体からアクセス可能なコンピュータ・プログラムの形式を取ることができる。この記載の目的上、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、装置等に関連して又はこれらによって使用するためのプログラムを保持し、格納し、通信し、伝送し、移送する、任意の有形的装置とすることができる。

媒体は、電子、磁気、光学、電磁気、赤外線又は半導体式のシステム（若しくは装置）又は伝送媒体とすることができる。コンピュータ可読媒体の例には、半導体又は固体メモリ、磁気テープ、取り外し可能なフレキシブル・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、剛体磁気ディスク及び光ディスクがある。光ディスクの例には、読み取り専用のＣＤ−ＲＯＭ、読み書き可能なＣＤ−Ｒ／Ｗ及びＤＶＤがある。

コンピュータ使用可能なプログラム・コードを格納又は実行するのに適したデータ処理システムは、システム・バスを通してメモリ要素に直接的又は間接的に結合された少なくとも１つのプロセッサを含む。これらのメモリ要素は、コンピュータ使用可能なプログラム・コードの実行中に使用されるローカル・メモリ、バルク・ストレージ、コンピュータ使用可能なプログラム・コードの実行中にバルク・ストレージからの取り出し回数を減少させるために少なくとも或るコンピュータ使用可能なプログラム・コードの一時的記憶領域を提供するキャッシュ・メモリを含む。

入出力装置（キーボード、ディスプレイ、ポインティング装置等を含む）は、システムに対し直接的に又は介在するＩ／Ｏコントローラを通して結合することができる。

また、ネットワーク・アダプタをデータ処理システムに対し結合することもできる。そのようにすると、このデータ処理システムは、介在する専用又は公衆ネットワークを通して、他のデータ処理システム、遠隔プリンタ又はストレージ装置に結合されるようになる。ネットワーク・アダプタの例には、モデム、ケーブル・モデム及びイーサネット（登録商標）・カードがある。

本発明に関する記述は、例示及び説明を目的として与えられたものであって、網羅的であること及び開示された形態に本発明を限定することを意図するものではない。当業者にとって、多くの修正及び変形が明らかであろう。実施形態は、本発明の原理及び実際的な応用を最もよく説明し、考えられる特定の用途に適するような種々の修正を伴う種々の実施形態に関して当業者が本発明を理解することを可能にするために、選択され説明されたものである。

３００・・・コンピュータ
３０２・・・時間セグメント・ベースの画紋生成手段
３０４・・・テスト画像
３０６・・・テスト画像源
３１０・・・データ・ストレージ
３１２・・・テスト画像のための時間セグメント・ベースの画紋
３１６・・・著作権のあるコンテンツのための時間セグメント・ベースの画紋
３１８・・・結果
３２０・・・画紋マッチング・エンジン
４０４・・・著作権のあるコンテンツ
５０１・・・画像フレーム
５０２、６０２・・・フレーム・ベースの特徴抽出手段
５０３・・・コンテンツ・ベースの特徴
５０４、６０４・・・イベント検出手段
５０５・・・イベント境界
５０６、６０６・・・セグメント抽出手段
５０７・・・セグメント時系列
５０８、６０８・・・セグメント・ベースの特徴抽出手段
５０９・・・時間セグメント・ベースの画紋
７０４・・・テスト・セグメント
７０５・・・画紋検索兼比較手段
７０６・・・参照セグメント
７０８・・・マッチング・セグメント
７１０・・・線形適合分析手段
７１２・・・フィルタされたマッチング・セグメント
７１４・・・マッチド画像スコアリング手段
７１６・・・マッチ・スコア
７１８・・・閾値スコア比較エンジン

Claims (20)

1. 下記のステップ、
   （ａ）画像コンテンツ内のイベントを検出するステップであって、
   前記画像コンテンツは、複数の画像フレームを含み、各イベントは、前記画像コンテンツ内の離散的な注意点を表す、ステップと、
   （ｂ）前記イベントを使用して、時間イベント・ベースの１セットのセグメントを生成するステップであって、
   時間イベント・ベースの各セグメントは、１セットのイベントをカバーする前記画像コンテンツの一のセグメントである、ステップと、
   （ｃ）時間イベント・ベースの前記１セットのセグメントにおける時間イベント・ベースの各セグメントに関連する１セットのフレームのコンテンツ・ベースの特徴の時間トラッキングを使用して、時間イベント・ベースの当該各セグメントから一の時系列信号を導出するステップと、
   （ｄ）時間イベント・ベースの前記各セグメントのための前記時系列信号に基づき、一のセグメント画紋を抽出することにより、前記画像コンテンツに関連する１セットの時間セグメント・ベースの画紋を形成するステップ、
   を有する、時間イベント・ベースの画紋法のためのコンピュータ実装方法。
2. 第１の画像クリップの一部が第２の画像クリップと同じオリジナル・コンテンツのコピー又は２次的著作物であるか否かを決定するために、前記１セットの時間セグメント・ベースの画紋が使用され、下記のステップ、
   （ｅ）前記第１の画像クリップのための時間セグメント・ベースの画紋を、前記第２の画像クリップのために生成された時間セグメント・ベースの画紋と比較するステップと、
   （ｆ）前記第１の画像クリップに関連する時間セグメント・ベースの一の画紋と前記第２の画像クリップに関連する時間セグメント・ベースの一の画紋との間の類似性測度に基づき、イベント・ベースのマッチング・セグメントを識別することにより、一のマッチング・セグメントを形成するステップと、
   （ｇ）前記第１の画像クリップと前記第２の画像クリップとの間の全てのマッチング・セグメントを収集することにより、１セットのマッチング・セグメントを形成するステップと、
   （ｈ）マッチング・セグメントの一のサブセットを選択するステップであって、
   マッチング・セグメントの前記サブセットは、前記第２の画像クリップに関連するマッチング・セグメントに対し良好な線形適合を生ずる、前記第１の画像クリップに関連するマッチング・セグメントを含むステップと、
   （ｉ）マッチング・セグメントの前記サブセットのうち選択されたマッチング・セグメントに基づき、前記第１の画像クリップ及び前記第２の画像クリップのための一の総合的画像マッチ・スコアを識別するステップと、
   （ｊ）前記総合的画像マッチ・スコアを使用して、前記第１の画像クリップが前記第２の画像クリップの準複製であるか否かを決定するステップ、
   をさらに有する、請求項１記載のコンピュータ実装方法。
3. 下記のステップ、
   （ｋ）前記総合的画像マッチ・スコアを一の閾値スコアと比較するステップと、
   （ｌ）前記総合的画像マッチ・スコアが前記閾値スコアを超えることに応答して、前記第１の画像クリップを前記第２の画像クリップの準複製であると識別するステップ、
   をさらに有する、請求項２記載のコンピュータ実装方法。
4. 時間セグメント・ベースの前記画紋が、コンテンツ・ベースの検索、概念検出、コンテンツ分類、要約、経路指定、フィルタリング及びターゲット広告のうちの少なくとも１つのために使用される、請求項１記載のコンピュータ実装方法。
5. コンテンツ・ベースの前記特徴が、音声特徴及び視覚特徴のうちの少なくとも１つを含み、各イベントが、画像ショット検出、シーン変化、話者変化、音声変化、フレーム明度の変化、又は色、テクスチャ、形状、エッジ若しくは動きの低レベルのコンテンツ・ベースの記述子に基づく変化のうちの少なくとも１つに基づいて検出される、請求項１記載のコンピュータ実装方法。
6. 時間イベント・ベースの前記セグメントが、前記複数のフレームにおける１セットのフレームをカバーし、当該１セットのフレームが、前記画像コンテンツの一のサブセットだけをカバーする、請求項１記載のコンピュータ実装方法。
7. 前記画像コンテンツに関連する時間イベント・ベースの第１のセグメントが、前記画像コンテンツに関連する時間イベント・ベースの第２のセグメントと重複する、請求項１記載のコンピュータ実装方法。
8. 前記時系列信号が、総合的フレーム明度の時間トラッキング、フレーム領域ベースの明度シーケンスのトラッキング、グリッド・ベースの明度シーケンスのトラッキング及び隣接フレーム間差分のトラッキングのうちの少なくとも１つに基づく、請求項１記載のコンピュータ実装方法。
9. 時間セグメント・ベースの前記画紋が、一様サンプリング、区分的線形近似、離散コサイン変換（ＤＣＴ）、離散ウェーブレット変換（ＤＷＴ）及び離散フーリエ変換（ＤＦＴ）のうちの少なくとも１つに基づいて、前記セグメント時系列から抽出される、請求項１記載のコンピュータ実装方法。
10. 時間セグメント・ベースの一の画紋が、固定次元の一の特徴ベクトルを含む、請求項１記載のコンピュータ実装方法。
11. 一のイベントが、前記画像の音声コンテンツ、前記画像の視覚コンテンツ及び前記画像の意味コンテンツのうちの少なくとも１つにおける著しい状態変化を記述する、請求項１記載のコンピュータ実装方法。
12. コンピュータ可読媒体上に格納された下記のプログラム・コード、
    （ａ）画像コンテンツ内のイベントを検出するためのプログラム・コードであって、
    前記画像コンテンツは、複数の画像フレームを含み、各イベントは、前記画像コンテンツ内の離散的な注意点を表すプログラム・コードと、
    （ｂ）前記イベントを使用して、時間イベント・ベースの１セットのセグメントを生成するためのプログラム・コードであって、
    時間イベント・ベースの各セグメントは、１セットのイベントをカバーする前記画像コンテンツの一のセグメントであるプログラム・コードと、
    （ｃ）時間イベント・ベースの前記１セットのセグメントにおける時間イベント・ベースの各セグメントに関連する１セットのフレームのコンテンツ・ベースの特徴の時間トラッキングを使用して、時間イベント・ベースの各セグメントから一の時系列信号を導出するためのプログラム・コードと、
    （ｄ）時間イベント・ベースの前記各セグメントのための前記時系列信号に基づき、一のセグメント画紋を抽出することにより、前記画像コンテンツに関連する１セットの時間セグメント・ベースの画紋を形成するためのプログラム・コード
    を有する、時間イベント・ベースの画紋法のためのコンピュータ・プログラム。
13. 第１の画像クリップの一部が第２の画像クリップと同じオリジナル・コンテンツのコピー又は２次的著作物であるか否かを決定するために、前記１セットの時間セグメント・ベースの画紋が使用され、前記コンピュータ可読媒体上に格納された下記のプログラム・コード、
    （ｅ）前記第１の画像クリップのための時間セグメント・ベースの画紋を、前記第２の画像クリップのために生成された時間セグメント・ベースの画紋と比較するためのプログラム・コードと、
    （ｆ）前記第１の画像クリップに関連する時間セグメント・ベースの一の画紋と前記第２の画像クリップに関連する時間セグメント・ベースの一の画紋との間の類似性測度に基づき、イベント・ベースのマッチング・セグメントを識別することにより、一のマッチング・セグメントを形成するためのプログラム・コードと、
    （ｇ）前記第１の画像クリップと前記第２の画像クリップとの間の全てのマッチング・セグメントを収集することにより、１セットのマッチング・セグメントを形成するためのプログラム・コードと、
    （ｈ）マッチング・セグメントの一のサブセットを選択するためのプログラム・コードであって、
    マッチング・セグメントの前記サブセットは、前記第２の画像クリップに関連するセグメントに対し良好な線形適合を生ずる、前記第１の画像クリップに関連するマッチング・セグメントを含むプログラム・コードと、
    （ｉ）マッチング・セグメントの前記サブセットのうち選択されたマッチング・セグメントに基づき、前記第１の画像クリップ及び前記第２の画像クリップのための一の総合的画像マッチ・スコアを識別するためのプログラム・コードと、
    （ｊ）前記総合的画像マッチ・スコアを使用して、前記第１の画像クリップが前記第２の画像クリップの準複製であるか否かを決定するためのプログラム・コード、
    をさらに有する、請求項１２記載のコンピュータ・プログラム。
14. 前記コンピュータ可読媒体上に格納された下記のプログラム・コード、
    （ｋ）前記総合的画像マッチ・スコアを一の閾値スコアと比較するためのプログラム・コードと、
    （ｌ）前記総合的画像マッチ・スコアが前記閾値スコアを超えることに応答して、前記第１の画像クリップを前記第２の画像クリップの準複製であると識別するためのプログラム・コード、
    をさらに有する、請求項１３記載のコンピュータ・プログラム。
15. コンテンツ・ベースの前記特徴が、音声特徴及び視覚特徴のうちの少なくとも１つを含み、各イベントが、画像ショット検出、シーン変化、話者変化、音声変化、フレーム明度の変化、又は色、テクスチャ、形状、エッジ若しくは動きの低レベルのコンテンツ・ベースの記述子に基づく変化のうちの少なくとも１つに基づいて検出される、請求項１２記載のコンピュータ・プログラム。
16. 画像の著作権侵害を自動的に検出するための装置であって、
    バス・システムと、
    前記バス・システムに結合された通信システムと、
    前記バス・システムに結合されたメモリとを備え、
    前記メモリが、コンピュータ使用可能なプログラム・コードを含み、
    前記バス・システムに結合された処理ユニットをさらに備え、
    前記コンピュータ使用可能なプログラム・コードが、前記処理ユニットに、下記のステップ、
    （ａ）画像コンテンツ内のイベントを検出するステップであって、
    前記画像コンテンツは、複数の画像フレームを含み、各イベントは、前記画像コンテンツ内の離散的な注意点を表すステップと、
    （ｂ）前記イベントを使用して、時間イベント・ベースの１セットのセグメントを生成するステップと、
    時間イベント・ベースの各セグメントは、１セットのイベントをカバーする前記画像コンテンツの一のセグメントであると、
    （ｃ）時間イベント・ベースの前記１セットのセグメントにおける時間イベント・ベースの各セグメントに関連する１セットのフレームのコンテンツ・ベースの特徴の時間トラッキングを使用して、時間イベント・ベースの当該各セグメントから一の時系列信号を導出するステップと、
    （ｄ）時間イベント・ベースの前記各セグメントのための前記時系列信号に基づき、一のセグメント画紋を抽出することにより、前記画像コンテンツに関連する１セットの時間セグメント・ベースの画紋を形成するステップ、
    を実行させる、装置。
17. 前記コンピュータ使用可能なプログラム・コードが、前記処理ユニットに、下記のステップ、
    （ｅ）前記第１の画像クリップのための時間セグメント・ベースの画紋を、前記第２の画像クリップのために生成された時間セグメント・ベースの画紋と比較するステップと、
    （ｆ）前記第１の画像クリップに関連する時間セグメント・ベースの一の画紋と前記第２の画像クリップに関連する時間セグメント・ベースの一の画紋との間の類似性測度に基づき、イベント・ベースのマッチング・セグメントを識別することにより、一のマッチング・セグメントを形成するステップと、
    （ｇ）前記第１の画像クリップと前記第２の画像クリップとの間の全てのマッチング・セグメントを収集することにより、１セットのマッチング・セグメントを形成するステップと、
    （ｈ）マッチング・セグメントの一のサブセットを選択するステップであって、
    マッチング・セグメントの前記サブセットは、前記第２の画像クリップに関連するセグメントに対し良好な線形適合を生ずる、前記第１の画像クリップに関連するマッチング・セグメントを含むステップと、
    （ｉ）マッチング・セグメントの前記サブセットのうち選択されたマッチング・セグメントに基づき、前記第１の画像クリップ及び前記第２の画像クリップのための一の総合的画像マッチ・スコアを識別するステップと、
    （ｊ）前記総合的画像マッチ・スコアを使用して、前記第１の画像クリップが前記第２の画像クリップの準複製であるか否かを決定するステップ、
    をさらに実行させる、請求項１６記載の装置。
18. 前記コンピュータ使用可能なプログラム・コードが、前記処理ユニットに、下記のステップ、
    （ｋ）前記総合的画像マッチ・スコアを一の閾値スコアと比較するステップと、
    （ｌ）前記総合的画像マッチ・スコアが前記閾値スコアを超えることに応答して、前記第１の画像クリップを前記第２の画像クリップの準複製であると識別するステップと、
    をさらに実行させる、請求項１７記載の装置。
19. 下記のステップ、
    （ａ）第１の画像クリップのための時間セグメント・ベースの画紋を第２の画像クリップのために生成された時間セグメント・ベースの画紋と比較するステップと、
    （ｂ）前記第１の画像クリップに関連する時間セグメント・ベースの一の画紋と前記第２の画像クリップに関連する時間セグメント・ベースの一の画紋との間の類似性測度に基づき、イベント・ベースのマッチング・セグメントを識別することにより、一のマッチング・セグメントを形成するステップと、
    （ｃ）前記第１の画像クリップと前記第２の画像クリップとの間の全てのマッチング・セグメントを収集することにより、１セットのマッチング・セグメントを形成するステップと、
    （ｄ）マッチング・セグメントの一のサブセットを選択するステップであって、
    マッチング・セグメントの前記サブセットは、前記第２の画像クリップに関連するセグメントに対し良好な線形適合を生ずる、前記第１の画像クリップに関連するマッチング・セグメントを含むステップと、
    （ｅ）マッチング・セグメントの前記サブセットのうち選択されたマッチング・セグメントに基づき、前記第１の画像クリップ及び前記第２の画像クリップのための一の総合的画像マッチ・スコアを識別するステップと、
    （ｆ）前記総合的画像マッチ・スコアを使用して、前記第１の画像クリップが前記第２の画像クリップの準複製であるか否かを決定するステップ、
    を含む、画像の著作権侵害を自動的に検出するためのコンピュータ実装方法。
20. 下記のステップ、
    （ｇ）前記総合的画像マッチ・スコアを一の閾値スコアと比較するステップと、
    （ｈ）前記総合的画像マッチ・スコアが前記閾値スコアを超えることに応答して、前記第１の画像クリップを前記第２の画像クリップの準複製であると識別するステップ、
    をさらに含む、請求項１９記載のコンピュータ実装方法。

Images