JP2010525634A - ビデオ検出システムおよびビデオ検出方法 - Google Patents

Abstract

ビデオ検出システムおよびビデオ検出方法により、問い合わせ対象ビデオセグメントを一つまたは複数の記憶されたビデオサンプルと比較する。問い合わせ対象ビデオセグメントおよび記憶されたビデオサンプルは、それぞれ、別々のディジタル画像集合で表わすことができる。第1の比較および第2の比較は、COLOR9空間において低解像度および高解像度の時間的および空間的統計モーメントの集合を比較する工程と、問い合わせ対象ディジタル画像集合とマッチしないファイルディジタル画像集合を削除する工程とを備える。第3の比較では、COLOR9空間においてウェーブレット変換係数の集合を比較することによってマッチするファイルの集合を生成する。問い合わせ対象ディジタル画像集合内の特定のフレームの一つまたは複数のサブフレームをRGBビット別に位置合わせし、対応するマッチするファイルサブフレームの集合と比較することにより、問い合わせ対象サブフレームの変化を決定する。問い合わせ対象サブフレームに変化がある場合、変化したサブフレームを、マッチするファイルサブフレームの集合に加える。

Description

関連特許出願の相互参照
本出願は、2007年4月13日に出願された米国仮出願第60/923,412号の恩典を主張するものである。上記出願の全教示は参照により本明細書に組み入れられる。

発明の分野
本発明はコンテンツベースの検索システムに関する。具体的には、本発明は、ビデオコンテンツを監視するためのビデオ特徴検出、識別、および分類システムに関する。

発明の背景
エンドユーザデバイスまでの広帯域通信チャネルが利用できることにより、画像、オーディオ、およびビデオコンテンツによるユビキタスなメディアサービスが可能になっている。全世界的に送信されるマルチメディアコンテンツの量はますます増加しつつあり、インテリジェントなコンテンツ管理の必要が高まっている。提供者らは自社のコンテンツを整理し、無許可の放送、使用、および変更を検出することができなければならない。同様に、放送事業者および市場調査会社も、特定のフッテージがいつ、どこで放送されているか知ろうとする。コンテンツ監視、市場動向分析、および著作権保護は、新しくディジタルメディア界において台頭しつつある用途である。

コンテンツベースの検索（CBR）システムは、ディジタルデータ表現の形で記憶されている情報のアクセス、整理、および分析を行うのに一般的に使用される。ディジタルデータ表現を探索し、または別の方法でこれに問い合わせを行って、既存のディジタルデータ表現の目標集合とのマッチを決定することができる。マッチは、問い合わせ対象ディジタルデータ表現と既存のディジタルデータ表現の集合との間の類似性の度合によって決定することができる。これらのディジタルデータ表現は、ディジタルテキスト、ディジタルグラフィックス、ディジタル画像、ディジタルオーディオ、ディジタルビデオ、ディジタルオーディオ/ビデオ、およびこれらの組み合わせとして分類されるのが一般的である。

各ディジタルデータ表現クラスは、大抵、そのクラスに特有の属性、すなわち特徴を共有する。特徴モデルを使用して、あるクラスに特有の特徴を識別および定義し、クラス内の各ディジタルデータ表現をその所与のクラスの特徴空間内の特徴集合によって表わすことができる。したがって、問い合わせ対象ディジタルデータ表現の特徴も既存のディジタルデータ表現の特徴も同じ特徴空間内にある場合、問い合わせを、問い合わせ対象ディジタルデータ表現の特徴集合の、既存のディジタルデータ表現の集合の特徴集合に対するマッチングだけに限定することができる。

特徴を自動的にマッチさせるには、大抵、特徴をまず数値の集合に還元する必要がある。これは、特徴データ集合および特徴尺度と呼ばれる一つまたは複数の規則によるマッチングに使用され得る特徴メトリックを使用して実現することができる。特徴尺度は一般的に、問い合わせ対象ディジタルデータ表現と目標ディジタルデータ表現の特徴空間の各特徴における対応する特徴データ集合要素間で測定される距離によって決定される。このようなK次元特徴空間内の距離尺度は一般に、K次元最近傍問い合わせ、すなわちK-NN問い合わせと呼ばれる。

1970年代半ば、K-NN問い合わせに索引付けするのに、木構造などの階層構造が導入された。1984年、GuttmanがR木索引付け構造を提案し、これに続いて、1987年にSellisがR^＋木変形を、1990年にBeckmanが動的R^＊木変形を提案した。各特徴は、前述の木構造のそれぞれにおける葉構造、すなわち特徴空間の区画として定義された。距離は各区画にまたがる不規則な凸形部分空間に対して求められた。不規則な凸形部分空間により、おおよそ20を超える次元Kを有する、距離尺度分散の低い特徴空間においては、前述の木構造のそれぞれにおける索引付きK-NN問い合わせがほとんど処理できなかった。

1995年にFaloutsosにより、また1996年にNgおよびSedighainにより実施された主成分分析法は、カルーネン・レーベ変換の高速近似を使用して特徴空間の次元数を低減した。しかし、その結果は一貫して、特徴空間次元が大幅に低減されるのに伴ってK-NN問い合わせにおける正確さが失われることを示した。

特徴空間における関係データベースは、木構造トポロジを除き、メトリック空間が、トポロジ自体の固有情報なしで木構造トポロジにまたがるように定義されることを可能にした。1999年、Vleugelsは、メトリック空間、およびK-NN問い合わせの特徴尺度を生成するためのメトリック空間からd次元の有利な空間（d-dimensioned vantage-space）への変換を実施したが、関係データベースから木構造データベースへの変換の際に問い合わせの正確さを喪失した。

別の関係データベースによる手法が、1994年にChiuehによって、また1997年にCiacciaによって実施された。Chiuehのバンテージ・ポイント・ツリーもCiacciaのM木も、特徴空間を再帰的に分割して、それぞれが正規の超球によって定義される、より小さい特徴部分空間にした。K-NN問い合わせに際して超球の重心が探索され、複雑さが低減される。

前述の木構造、関係データベース構造、ならびに木構造および関係データベース構造の組み合わせを使用したK-NN問い合わせは、多くのディジタルデータ表現の特徴集合に固有の特徴集合直交性を利用しない。定義される特徴集合の固有の特性に従って反復的に特徴をクラスタ化することにより、特徴のクラスタを特徴空間において再帰的に分割して、それぞれが正規の超球によって定義される、より小さい独立の特徴部分空間、すなわち入れ子型の独立の特徴部分空間にすることができる。

独立の超球を備える特徴部分空間が関与するK-NN問い合わせは、部分探索を可能にし、より少ない探索回数での問い合わせの正確さが高まる。

本発明は、事実上任意の情報源からのディジタルメディア放送と対照した、映画、クリップ、および広告などのディジタルフッテージのディジタルデータ表現のための、コンテンツベースの検索システムを提供することにより当分野に存在する必要を満たし、また、そのようなディジタルコンテンツの自動的で、効率のよい監視も可能にする。本発明によるシステムおよびプロセスは、高度の拡張性を有し、ビデオおよびオーディオ領域におけるフッテージをリアルタイムで分析するための優れたコンピュータビジョンおよび信号処理技術を使用することができる。

いくつかの態様において、コンテンツベースの検索は、一つまたは複数のディジタルデータ表現の入れ子型の独立の特徴空間にわたって実施される一つまたは複数のK-NN問い合わせを含む。本発明において、ディジタルデータ表現を:ディジタルテキスト、ディジタルグラフィックス、ディジタル画像、ディジタルオーディオ、ディジタルビデオ、ディジタルオーディオ/ビデオ、およびこれらの組み合わせの一つとして分類することができる。

再帰的特徴空間は、順次の特徴データ集合抽出の結果である。順次の特徴データ集合抽出は少なくとも:符号化され、圧縮されたディジタルデータ表現を復号され、復元されたディジタルデータ表現に変換する工程と、復号され、復元されたディジタルデータ表現をディジタル画像空間上にマップする工程と、ディジタル画像空間から特徴データ集合の集合を順次生成する工程と、ディジタル画像空間からの特徴データ集合の集合および既存のディジタルデータ表現集合内のファイルからの対応する特徴集合の集合を比較する工程と、特徴尺度の集合および閾値の集合に基づいてディジタル画像空間をファイルにマッチさせる工程と、特徴データ集合の新しい集合および新しいディジタル画像空間の一つまたは複数を用いて反復する工程とを備える。

特徴データ集合の集合を生成する工程は:ディジタル画像空間から空間的特徴データ集合の一つまたは複数の集合を生成する工程と、ディジタル画像空間から空間的周波数特徴データ集合の一つまたは複数の集合を生成する工程と、ディジタル画像空間から時間的特徴データ集合の一つまたは複数の集合を生成する工程と、ディジタル画像空間から時間的周波数特徴データ集合の一つまたは複数の集合を生成する工程と、ディジタル画像空間からビットマップ特徴データ集合の一つまたは複数の集合を生成する工程と、これらの組み合わせの少なくとも一つを備える。

さらに、ディジタル画像空間自体は:空間的1次元空間、空間的多次元空間、時間的1次元空間、時間的多次元空間、運動量空間、エネルギー空間、RGB色空間、YCrCb色空間、YIQ色空間、YUV色空間、9色空間、29色空間、ビットマップ画像空間、およびこれらの組み合わせの一つまたは複数とすることができる。

ディジタル画像空間から空間的特徴データ集合の一つまたは複数の集合を生成する工程は、空間モーメントの一つまたは複数の集合を生成する工程を備える。空間モーメントの一つまたは複数の集合を生成する工程は、平均値、分散、およびスキューの少なくとも一つを生成する工程を備える。ディジタル画像空間から空間的周波数特徴データ集合の一つまたは複数の集合を生成する工程は:1次元DFT、多次元DFT、1次元ウェーブレット変換、および多次元ウェーブレット変換の一つまたは複数を生成する工程を備える。

ディジタル画像空間から時間的特徴データ集合の一つまたは複数の集合を生成する工程は、時間および事象の一方によって索引付けされた特徴データ集合を生成する工程を備え、事象は:画像、画像変化、画像変化率、画像トリガ、画像メッセージ、およびこれらの組み合わせの一つを備える。ディジタル画像空間から時間的周波数特徴データ集合の一つまたは複数の集合を生成する工程は、1次元z変換、多次元z変換、LSP、2次元LSP、時間的ウェーブレット変換、およびこれらの組み合わせの一つを生成する工程を備える。

ディジタル画像空間からビットマップ特徴データ集合の一つまたは複数の集合を生成する工程は:ビットマップ画像空間、変換されたビットマップ画像空間、回転されたビットマップ画像空間、サイズ変更されたビットマップ画像空間、および再量子化されたビットマップ画像空間の一つまたは複数からビットマップ特徴データ集合を生成する工程を備える。

ビットマップ画像空間は、ディジタル画像空間に区画を設けることを備える。一つまたは複数の態様において、ディジタル画像空間に区画を設けることは、空間的2次元画像空間に5セクションの区画を設けることを備える。いくつかの態様において、5セクションのうちの四つが空間的2次元画像の4辺のそれぞれと接する台形を備え、第5のセクションが空間的2次元画像の中央にある矩形を備える。いくつかの態様において、5セクションのうちの四つが空間的2次元画像の各辺または各辺の近くの円を備え、第5のセクションが空間的2次元画像の中央または中央の近くにある円を備える。

ビットマップ画像空間は、解像度の変更を提供すること備え、128×128画素のフル解像度を:64×64画素、32×32画素、および別の適切な解像度の一つの解像度を提供するように変更することができる。ビットマップ画像空間は:ディジタル画像空間の変更、解像度の変更、および区画の変更の一つまたは複数と関連付けられる振幅の集合を再量子化することによって再量子化されたビットマップ画像空間を提供することを備える。再量子化されたディジタル画像空間は、制約条件付き拡散アルゴリズムに従って振幅の集合を再量子化することを備える。

問い合わせ対象ディジタル画像の集合からの特徴データ集合を、ファイルディジタル画像の集合からの対応する特徴データ集合と比較する工程は、対応する特徴データ集合要素間の距離メトリックの集合を生成する工程を備え、距離メトリックの集合は誤差関数の集合によって生成される。問い合わせ対象ディジタル画像の集合をファイルディジタル画像の集合にマッチさせる工程は、閾値の集合より小さい対応する距離メトリックの集合を有するファイルディジタル画像の集合をグループ化する工程を備える。

いくつかの態様において、ビデオ検出を生成するように適合された装置は、問い合わせ対象ディジタル画像集合および第1のファイルディジタル画像集合の集合のそれぞれについて共通の複数の特徴集合を抽出する手段と、マッチするファイルディジタル画像集合の集合を求めて複数の特徴データ集合を順次探索する手段とを含む。順次探索することは、問い合わせ対象ディジタル画像集合および第1のファイルディジタル画像集合の集合の各部分集合の順次により小さい集合に共通の複数の特徴データ集合をマッチさせることを備える。

装置は、問い合わせ対象ディジタル画像集合内の一つの問い合わせ対象ディジタル画像の一つまたは複数のサブフレームを、マッチするファイルディジタル画像集合の集合内のファイルディジタル画像の一つまたは複数のサブフレームの一つまたは複数の集合と比較する手段をさらに含む。RGB色空間内の配列された画素の集合が比較され、配列された画素の集合およびRGB色空間は、問い合わせ対象ディジタル画像集合内の問い合わせ対象ディジタル画像およびマッチするファイルディジタル画像集合の集合内のファイルディジタル画像に共通である。

装置は、問い合わせ対象ディジタル画像の一つまたは複数のサブフレームを変換し、サイズ変更し、再量子化し、前述の比較を繰り返して、配列された画素の集合の一つまたは複数の部分集合の一つまたは複数のマッチする誤差関数(matching error function)を低減する手段をさらに含む。

装置は、一つまたは複数のマッチする誤差関数が対応するマッチする閾値(matching set of threshold)の集合よりも小さい場合に、マッチを検出する手段をさらに含む。装置は、検出が行われない場合に、マッチするファイルディジタル画像集合の集合内のファイルディジタル画像の一つまたは複数のサブフレームの一つまたは複数の集合に:（1）一つまたは複数の新しいサブフレームと、（2）一つまたは複数のサブフレームの新しい集合の一つを加える手段を含む。

装置は、マッチするファイルディジタル画像集合の集合内の各ファイルディジタル画像ごとに前述のビット別の比較を繰り返す手段をさらに含む。

いくつかの好ましい態様において、ビデオ検出の方法は、問い合わせ対象ディジタル画像集合および第1のファイルディジタル画像集合の集合のそれぞれについて共通の第1の特徴データ集合を抽出する工程と、問い合わせ対象ディジタル画像集合についての第1の特徴データ集合と、第1のファイルディジタル画像集合の集合のそれぞれについての第1の特徴データ集合との間の第1の一つまたは複数の誤差関数の集合を測定する工程と、第2のファイルディジタル画像集合の集合を生成する工程とを含む。第2の集合は、対応する第1の閾値の集合より小さい対応する第1の一つまたは複数の誤差関数の集合を有する、第1のファイルディジタル画像集合の集合のそれぞれからなる。前述の各工程は、最終的な特徴データ集合が抽出されるまで繰り返すことができ、マッチするファイルディジタル画像集合の集合が生成される。

いくつかの好ましい態様において、ビデオ検出の方法は、問い合わせ対象ディジタル画像集合内の問い合わせ対象ディジタル画像の一つまたは複数のサブフレームを、マッチするファイルディジタル画像集合の集合内のファイルディジタル画像の一つまたは複数のサブフレームの一つまたは複数の集合と比較する工程をさらに含む。比較する工程は、RGB色空間内の配列された画素の集合によって行われ、配列された画素の集合およびRGB色空間は、問い合わせ対象ディジタル画像集合内の問い合わせ対象ディジタル画像およびマッチするファイルディジタル画像集合の集合内のファイルディジタル画像に共通である。

いくつかの好ましい態様において、問い合わせ対象ディジタル画像の一つまたは複数のサブフレームが繰返し変換、サイズ変更、および再量子化されて、配列された画素の集合の一つまたは複数の部分集合の一つまたは複数のマッチする誤差関数が低減される。

いくつかの好ましい態様において、一つまたは複数のマッチする誤差関数が対応するマッチする閾値の集合より小さい場合にマッチが検出される。マッチが検出されない場合、ビデオ検出の方法は、マッチするファイルディジタル画像集合の集合内のファイルディジタル画像の一つまたは複数のサブフレームの一つまたは複数の集合に:（1）一つまたは複数の新しいサブフレームと、（2）一つまたは複数のサブフレームの新しい集合の一つを加える。前述のマッチするサブフレームを検出するための各工程は、マッチするファイルディジタル画像集合の集合内の各ファイルディジタル画像ごとに繰り返される。

いくつかの好ましい態様において、第1の特徴データ集合は、問い合わせ対象ディジタル画像集合のCOLOR9空間における2次元統計モーメントの第1の関数によって抽出される。いくつかの好ましい態様において、第1の関数は:問い合わせ対象ディジタル画像集合内の連続する問い合わせ対象ディジタル画像間の2次元統計モーメントの集合の距離尺度に従って、問い合わせ対象ディジタル画像集合を時間的にセグメント化してセグメント化された問い合わせ対象ディジタル画像部分集合の集合にし、各セグメント化された問い合わせ対象ディジタル画像部分集合ごとに2次元統計モーメントの集合を平均することを含む。

いくつかの好ましい態様において、測定する工程は、第1のファイルディジタル画像集合の集合のそれぞれについて対応するキーフレームを用いて平均することを区別する工程を含む。いくつかの好ましい態様において、2次元統計モーメントの集合は、平均値、分散、およびスキューの少なくとも一つを備える。

いくつかの好ましい態様において、第2の特徴データ集合が、問い合わせ対象ディジタル画像集合のCOLOR9空間における2次元統計モーメントの第2の関数によって抽出される。いくつかの好ましい態様において、第2の関数は、問い合わせ対象ディジタル画像集合内の連続する問い合わせ対象ディジタル画像間の2次元統計モーメントの集合の距離尺度に従って、問い合わせ対象ディジタル画像集合を時間的にセグメント化してセグメント化された問い合わせ対象ディジタル画像部分集合の集合にし、各セグメント化された問い合わせ対象ディジタル画像部分集合ごとに2次元統計モーメントの集合に時間的に索引付けすることを備える。

いくつかの好ましい態様において、測定する工程は、第1のファイルディジタル画像集合の集合のそれぞれについて対応するセグメントフレームの集合を用いて時間的索引付けを畳み込む工程を備える。いくつかの好ましい態様において、2次元統計モーメントの集合は:平均値、分散、およびスキューの少なくとも一つを備える。

いくつかの好ましい態様において、第3の特徴データ集合が、COLOR9空間における2次元ウェーブレット変換係数の集合として抽出される。2次元ウェーブレット変換係数の集合は、ハール変換係数とすることができる。COLOR9空間は、2次元;ウェーブレット変換を円滑化するためにグレースケールに変換することができる。

いくつかの好ましい態様において、配列された画素の集合を比較する工程は、マッチするファイルディジタル画像集合の集合内のファイルディジタル画像によって定義され、配列された画素の集合は:水平オフセット、垂直オフセット、水平セグメント長、および垂直セグメント長の一つまたは複数の集合を備える。

いくつかの好ましい態様において、変換、サイズ変更、再量子化、および繰り返しを行って一つまたは複数のマッチする誤差関数を低減する工程は、一つまたは複数のフィードバックループを備える。いくつかの好ましい態様において、変換、サイズ変更、再量子化、および繰り返しを行って一つまたは複数のマッチする誤差関数を低減する工程は、エッジ検出抑制関数を備える。いくつかの好ましい態様において、マッチを検出する工程は、配列された画素の集合の一つまたは複数の部分集合が連続している場合にマッチを検出する工程をさらに備える。

いくつかの好ましい態様において、マッチが検出されない場合に、ビデオ検出の方法は、問い合わせ対象ディジタル画像の一つまたは複数のサブフレームの部分集合を加える。

いくつかの好ましい態様において、ビデオアーカイブの方法を使用してビデオクリップが自動的にタグ付けされ、記憶される。ビデオアーカイブの方法は、ビデオを符号化する工程と、ファイルディジタル画像の集合にインポートする工程と、ファイルディジタル画像の集合からビデオ検出データの集合を生成する工程と、ファイルディジタル画像の集合からビデオ分析データの集合を生成する工程と、ファイルディジタル画像の集合からメタデータの集合を生成する工程と、ファイルディジタル画像の集合に基づいて人手による注釈データの集合を生成する工程と、ビデオをアーカイブするために前述の生成データからビデオ索引付けデータの集合を生成する工程とを備える。

前に測定されたファイルディジタル画像よりも明白に大きい距離を生じるファイルディジタル画像に関する一部完了ビデオ方法(partially completed video method)は、ビデオ検出装置に命令して次のファイルディジタル画像までスキップさせ、効率よく、データツリー刈込み工程を挿入することができる。前に測定されたファイルディジタル画像よりも明白に小さい距離を生じるファイルディジタル画像に関する一部完了ビデオ方法は、ビデオ検出装置に命令して試験用のファイルディジタル画像を記憶させ、問い合わせ対象ディジタルデータ表現に、マッチするファイルディジタル画像の集合内の前に測定されファイルされたディジタル画像を置き換えさせることができる。

前に試験されたファイルディジタル画像を試験用のファイルディジタル画像で置き換えるために探索を早期に中断することは:一つまたは複数のマッチする誤差の集合の逆畳み込みおよび閾値レベルの再割り当ての一つまたは複数を備える。

本発明の上記およびその他の目的、特徴および利点は、添付の図面に示す本発明の好ましい態様の以下のより詳細な説明から明らかになる。図面において類似の参照文字は、異なる各図にまたがって同じ部分を指し示すものである。各図面は必ずしも一定の縮尺で描かれているとは限らず、むしろ本発明の原理を示すことに力点が置かれている。
本発明の一態様による例示的な多重チャネルビデオ監視プロセスの機能ブロック図を示す。 本発明の一態様による例示的な多重チャネルビデオ監視システムのブロック図を示す。 本発明の一態様によるディジタルビデオ指紋の生成を示す図である。 本発明の一態様による多重チャネルビデオ監視システムへの例示的なグラフィカル・ユーザ・インターフェースのスクリーンショットを示す。 本発明の一態様による、多重チャネルビデオ監視システムへのグラフィカル・ユーザ・インターフェースによって提供される例示的な詳細なクリップ比較のスクリーンショットを示す。 本発明の一態様による例示的なディジタルビデオ画像検出マッチングシステムのシステムブロック図を示す。 本発明の一態様による例示的なオーディオビデオ検出マッチングシステムのシステムブロック図を示す。 本発明の一態様による例示的なビデオ検出プロセスの流れ図を示す。 本発明の一態様によるK-NN入れ子型独立特徴部分空間の例示的な横断集合を示す。 本発明の一態様によるディジタル画像表現サブフレームの変化を伴うK-NN入れ子型独立特徴部分空間の例示的な横断集合を示す。 本発明の一態様によるディジタル画像表現サブフレームの検出可能な変化の一例を示す。

好ましい態様の詳細な説明
本明細書において図示し、説明する個々の実装形態は本発明の例であり、いかなる意味でも本発明の範囲を限定するためのものではないことを理解すべきである。さらに、各技法は、テレビ会議、ロボティクスビジョン、無人輸送手段、または他の任意の類似の用途における応用に適するものである。

本発明によるビデオ検出システムおよびプロセスは、映画、クリップ、および広告などのディジタルフッテージを、事実上任意の情報源からのディジタルメディア放送と対照して比較することができる。これにより、ディジタルコンテンツを自動的に、効率よく監視することが可能になる。ビデオ検出システムは高度な拡張性を有し、ビデオおよびオーディオ領域のフッテージをリアルタイムで分析するための優れたコンピュータビジョンおよび信号処理技術を使用する。

ユーザは、ビデオ検出システムに自分の基準コンテンツを挿入し、様々なテレビ放送チャネルまたはディジタル・ビデオ・ストリームなどの一つまたは複数のメディア情報源を監視対象の候補として挙げることができる。次いでシステムは、監視対象のメディア情報源内の基準コンテンツの外観に関する詳細な統計を生成する。確認のために放送フッテージのコピーが保持される。ビデオ検出は、24時間監督なしで動作するように設計される。必要とされる人的介入の量が最小限に抑えられるため、これにより事実上いかなる情報源も非常に費用効果的に監視することが可能になる。

さらに、ビデオ検出システムの自動コンテンツベース識別技術は極めて正確である。人間の観察者は疲労により誤ることもあり、識別しにくいフッテージ内の細かな詳細を見逃すこともあるが、ビデオ検出システムは99％を上回る実証された正確さでコンテンツを検出することができる。このシステムでは、監視すべきフッテージを予め検査し、または操作することを必要としない。システムはビデオ・ストリーム・データ自体から関連情報を抽出し、したがって、人的介入なしでほぼ無制限の数のチャネルを効率よく監視することができる。

ビデオ検出システムは、基準コンテンツから、指紋と呼ばれるディジタルシグネチャを算出する。これらのシグネチャは、色分布、形状、パターン、およびオーディオストリームにおける周波数スペクトルなどの、コンテンツに特定の視聴覚的局面を記述するものである。各ビデオには、基本的に、その固有の視聴覚的特性のコンパクトなディジタル表現である固有の指紋がある。

基準コンテンツの指紋は、すべての関連メタ情報と共に基準データベースに記憶される。典型的なシナリオでは、監視すべきビデオ情報源は、ビデオ検出信号取得ユニットによってバッファされる;すなわち、これらの情報源からの指紋は、オフラインで抽出され、次いで図1に示すように、基準データベース内の指紋と比較される。

ビデオ検出システムおよびプロセスは、監視されているビデオ・データ・ストリームにおける基準コンテンツのいかなる発現も確実に識別する、高速多段指紋比較エンジンを使用する。指紋採取プロセスの一部として、システムは、図2に示すように近傍内で発現する類似のフレームをクラスタ化する。この結果として、ビデオがショットと呼ばれる小さい視覚的に一貫した単位に時間的にセグメント化される。各ショットごとに、絵コンテとして視覚化するのに使用することのできる一つの代表フレーム、すなわちキーフレームが選択される。個々のフレームの指紋が組み合わさってクリップ全体のビデオ指紋を形成する。ビデオ検出システムおよびプロセスは、これらのビデオ指紋を使用して、監視されているビデオストリームの一つにおいて基準コンテンツまたは基準コンテンツの部分が出現するかどうか、およびいつ出現するかを識別する。

マッチングプロセス内で、ビデオ検出システムは、フッテージを分析して関心対象領域（ROI）を識別する。関心対象領域は、例えば、基準コンテンツが、全画面としてではなく、ビデオ内の他のコンテンツと一緒に縮小版として示されているときなどに発現する。そのような場合、分析エンジンは、基準コンテンツが示されている領域を識別することができ、後続の処理工程において他のコンテンツを無視する。

システム概要。図3に示す本発明による例示的ビデオ検出システム40は、少なくとも四つの主要なサブシステム:すなわち、（i）信号、またはメディア取得サブシステム42、（ii）コンテンツ分析サブシステム44、（iii）データ記憶サブシステム46;および（iv）管理サブシステム48からなる。メディア取得サブシステム42は、一つまたは複数のビデオ信号50を取得し、各信号ごとにそれをいくつかの信号バッファユニット52上にデータチャンクとして記録する。用途によっては、本明細書においてより詳細に説明するように、バッファユニット52が指紋抽出も行ってもよい。これは、非常にコンパクトな指紋がインターネットなどの通信媒体を介して遠方の取り込みサイトから中央のコンテンツ分析サイトまで送信される遠隔取り込みシナリオに役立てることができる。また、ビデオ検出システム40およびプロセスは、ネットワーク接続を介して記録されるデータにアクセスすることができる限り、既存の信号取得解決策と共に組み込まれていてもよい。

各データチャンクごとの指紋は、データ記憶サブシステム46のメディアリポジトリ58部に記憶させることができる。いくつかの態様において、データ記憶サブシステム46は、システムリポジトリ56および基準リポジトリ60の一つまたは複数を含む。データ記憶サブシステム46のリポジトリ56、58、60の一つまたは複数は、一つまたは複数のローカル・ハードディスク・ドライブ、ネットワークを介してアクセスされるハードディスクドライブ、光記憶ユニット、ランダム・アクセス・メモリ（RAM）記憶ドライブ、およびこれらの組み合わせを含むことができる。リポジトリ56、58、60の一つまたは複数は、記憶コンテンツの記憶およびアクセスを円滑に行わせるデータベース管理システムを含むことができる。いくつかの態様において、システム40は、そのデータベースアクセス層を介して、OracleおよびMicrosoft-SQL Serverなどの、異なるSQLベースの関係データベースシステムをサポートする。このようなシステムデータベースは、処理、構成、および状況情報を含む、動作時に生成されるすべてのメタデータの中央リポジトリとして働く。

いくつかの態様において、メディアリポジトリ58は、指紋を指紋に対応するキーフレームと共に記憶するシステム40の主ペイロードデータ記憶として役立つ。また、メディアリポジトリ58には、記憶された指紋と関連付けられた処理済みフッテージの低品質バージョンも記憶される。メディアリポジトリ58は、ネットワークで接続されたファイルシステムとしてアクセスされ得る一つまたは複数のRAIDシステムを使用して実施することができる。

各データチャンクは、管理サブシステム48のコントローラ62によって処理するためにスケジュールされる分析タスクとなり得る。コントローラ62は主に、負荷を平衡化し、コンテンツ分析サブシステム44のコンテンツ分析クラスタ54内の個々のノードにジョブを分配する役割を果たす。また、少なくともいくつかの態様では、管理サブシステム48は、大抵フロントエンドと呼ばれる、操作員/管理者用端末64も含む。操作員/管理者用端末64は、ビデオ検出システム40の一つまたは複数の要素を構成するのに使用することができる。また操作員/管理者用端末64は、比較用の基準ビデオコンテンツをアップロードし、比較の結果を表示および分析するのに使用することもできる。

図3に示すように、コンテンツ分析ユニットは、信号バッファユニットから直接記録されたデータチャンクを取り出し、分析の前に指紋を抽出する。システム40（図2）は、それぞれが個々の一連の画像フレーム71を含む、一つまたは複数のビデオ（およびより大抵は視聴覚）クリップまたはセグメント70を受け取る。各画像フレームは冗長性が高く、フレームグループはビデオセグメント70の各ショットにより相互に異なる。例示的ビデオセグメント70では、ビデオセグメントのサンプリングされたフレームが、ショット:すなわち、第1のショット72'、第2のショット72''、および第3のショット72'''に従ってグループ化される。異なるショット72'、72''、72'''（大抵72）のそれぞれについて、代表的なフレーム、すなわちキーフレーム74'、74''、74'''（大抵74）が選択される。システム40は、異なるキーフレーム74のそれぞれについて個々のディジタルシグネチャ76'、76''、76'''（大抵76）を決定する。各キーフレーム74のディジタルシグネチャ76のグループは、合わさって例示的ビデオセグメント70のディジタルビデオ指紋を表わす。

そのようないくつかのデータチャンク70を処理した後、これらのチャンクの検出結果がシステムデータベース56（図2）に記憶される。有益には、信号バッファユニット52（図2）およびコンテンツ分析ノード54（図2）の数および容量は、任意の種類の特定用途に合わせてシステムの容量をカスタマイズするために柔軟に拡張され得る。システム40の実現形態は、個々の必要に適するように組み合わされ、構成され得る複数のソフトウェアコンポーネントを含むことができる。特定の用途に応じて、いくつかのコンポーネントを同じハードウェア上で走らせることができる。あるいは、またはこれに加えて、性能を高め、耐故障性を改善するために各コンポーネントを個別ハードウェア上で走らせることもできる。このようなモジュラ・システム・アーキテクチャは、事実上、可能なあらゆる用途に適するカスタマイズを可能にする。これは、ローカルな、単一PCによる解決策から全国的な監視システム、耐故障性、記録冗長性、およびこれらの組み合わせにまで及ぶ。

システム操作員またはデータ分析者は、フロントエンド40（図2）を使用して、検出結果を検討し、基準コンテンツを管理し、システムの状況を監視してもよい。コアシステムに、新しい基準クリップを抽出しデータベースに挿入するClipCutterユーティリティ、および前に記録されたフッテージに対する基準クリップのオフラインでのマッチングを可能にするRetroMatchツールなどの、いくつかの補助ツールを加えることもできる。

いくつかの態様において、ビデオ検出システムおよびプロセスを、ウェブポータル解決策としてインストールすることもできる。ウェブポータル実装形態は、柔軟なオンデマンド式の監視をサービスとして提供することを可能にする。ウェブアクセスが可能でありさえすればよいため、ウェブポータル実装形態は、少量の基準データを有するクライアントが、本発明のビデオ検出システムおよびプロセスの利点から恩恵を受けることを可能にする。解決策は、既存のアプリケーションとのシームレスな社内統合のためのMicrosoft.Net Remotingを使用していくつかのプログラミングインターフェースの一つまたは複数を提供することができる。あるいは、またはこれに加えて、2次コントローラおよび2次信号バッファユニットをインストールすることにより、記録ビデオデータの長期記憶および運用冗長性を追加することもできる。

図2を再度参照すると、信号バッファユニット52は、いかなるユーザ介入も必要とせずに24時間動作するように実施することができる。このような態様では、連続したビデオ・データ・ストリームが取り込まれ、管理可能なセグメント、すなわちチャンクに分割され、内部ハードディスク上に記憶される。ハードディスク空間を循環バッファとして機能するように移植することができる。この構成では、より古い記憶データチャンクをアーカイブ用の別の長期記憶ユニットに移動させ、新しく入ってくるデータチャンクのために内部ハードディスクドライブに空きを確保することができる。このような記憶管理は、非常に長い期間（たとえば数時間、数日、数週間）にわたる信頼性の高い、連続した信号の利用を可能にする。コントローラ62は、いかなるデータも失われないようにすべてのデータチャンクを適時に処理するように構成されている。信号取得ユニット52は、システムの耐故障性を高めるために、必要な場合（たとえばネットワーク遮断の期間）には、全くネットワーク接続なしでも動作するように設計されている。

いくつかの態様において、信号バッファユニット52は、指紋抽出を行い、記録されたチャンクをローカルで変換する。結果として生じる指紋の記憶所要量は、基礎をなすデータチャンクと比べれば些細なものであり、データチャンクと共にローカルで記憶させることができる。これにより、限られた帯域幅のネットワークを介して絵コンテを含む非常にコンパクトな指紋を送信することが可能になり、ビデオコンテンツ全部を送信しなくてもすむ。

いくつかの態様において、コントローラ62は、信号バッファユニット52が記録したデータチャンクの処理を管理する。コントローラ62は、信号バッファユニット52およびコンテンツ分析ノード54を絶えず監視し、必要に応じて負荷平衡化を行ってシステムリソースの効率的な使用を維持する。例えば、コントローラ62は、分析ノード54のうちの選択されたノードに分析ジョブを割り当てることにより、新しいデータチャンクの処理を開始する。場合によっては、コントローラ62は、分析ノード54、または一つもしくは複数の分析ノード54全体で個々の分析プロセスを自動的に再開し、ユーザ介入なしの誤差回復を可能にする。システム40の一つまたは複数のサブシステム42、44、46を監視および制御するためにフロントエンド64のところにグラフィカル・ユーザ・インターフェースを設けることができる。例えば、グラフィカル・ユーザ・インターフェースは、ユーザが、コンテンツ分析44サブシステムの構成、再構成およびその状況の獲得を行うことを可能にする。

いくつかの態様において、分析クラスタ44は、ビデオ検出監視システムの主力部分として一つまたは複数の分析ノード54を含む。各分析ノード54は、コントローラ62によって割り当てられる分析タスクを独立に処理する。これは主に、記録されたデータチャンクを取り出すこと、ビデオ指紋を生成すること、および基準コンテンツと対照して指紋をマッチングすることを含む。結果として生じるデータは、メディアリポジトリ58、およびデータ記憶サブシステム46に記憶される。また、分析ノード54は、基準クリップ収集ノード、バックアップノード、またはシステムが遡及マッチングを行う場合のRetroMatchノードの一つもしくは複数として動作することもできる。大抵、分析クラスタのすべての活動は、コントローラによって制御され、監視される。

操作員、データ分析者、およびその他のユーザのための例示的なメイン・グラフィカル・ユーザ・インターフェース（GUI）のスクリーンショット80が図4に示されている。ビデオ検出比較GUI80は、ユーザが検出を検討し、基準コンテンツを管理し、クリップメタデータを編集し、基準および検出フッテージを再生し、基準コンテンツと検出コンテンツの詳細な比較を行うことを可能にする。いくつかの態様において、システム40は、記録セレクタ、およびコントローラ・フロント・エンド64などの異なる機能および/またはサブシステムのためのより多くの異なるグラフィカル・ユーザ・インターフェースを含む。

ポータルとは、オンデマンド式コンテンツ検出をサービスとして提供するためのシステムへのウェブベースのエンドユーザ用インターフェースである。ポータルは、中小規模の広告会社、コンテンツ所有者、またはPR映画などの、より少量の基準コンテンツを有する顧客を対象とする。クライアントは、ログインし、自社の基準コンテンツをアップロードし、指定の時間範囲にわたって監視させようとするチャネルを選択することができる。詳細な検出報告書をオンラインでいつでも見ることができ、基準コンテンツが放送されるたびに電子メール通知を送らせることができる。加えて、ポータルは、RSSフィード、メタデータアクセス、Microsoft-ExcelまたはXML形式の検出報告書のダウンロード、およびGUIフロントエンドと同様の詳細なクリップ差分可視化などの高度な機能も提供する。

ビデオ検出比較GUI80は、標準ウィンドウ制御機構など、一つまたは複数のユーザ選択可能コントロール82を含む。またGUI80は、検出結果表84も含む。例示的な態様では、検出結果表84は各検出ごとに1行、複数の行60を含む。行60は記憶画像の低解像度バージョンを、検出自体に関連する他の情報と共に含む。大抵、記憶画像の名前またはその他のテキスト表示を画像の隣に示すことができる。検出情報は:検出の日時；チャネルまたはその他のビデオ情報源の兆候；マッチの品質に関する指示；オーディオマッチの品質に関する指示；検査の日付；検出識別値；および検出情報源に関する指示の一つまたは複数を含むことができる。いくつかの態様において、GUI80は、検出されたマッチするビデオの一つまたは複数のフレームを表示させるためのビデオ表示ウィンドウ88も含む。あるいは、またはこれに加えて、GUI80は、オーディオ比較の兆候を比較するためのオーディオ表示ウィンドウ89も含む。

公表されるコンテンツは元の基準コンテンツとわずかに異なることも多く、このコンテンツはそれでも検出されるが、システムは100％マッチを報告しない。これらの場合、ユーザは、図5に示す、比較分析のための例示的グラフィカル・ユーザ・インターフェース90を使用して、基準と検出の間の変化を詳細に調べることができる。基準コンテンツは、上段92に、キーフレーム96ごとに示され、下段94の検出されたコンテンツと比較される。視覚的差異が色付きの囲みを使用して強調表示される。オーディオトラックの差異は、各キーフレーム96の上に示される色別のバー（たとえば赤いバーおよび緑のバー）98'、98''として視覚化することができ、ユーザインターフェース90を介して基準フッテージおよび検出フッテージの両方を並べて再生することにより評価することができる。いくつかの態様において、フロントエンド64（図2）は、個々の要件を満たすようにカスタマイズすることのできるコンポーネントベースのグラフィカル・ユーザ・インターフェースを提供する。必要に応じて、ユーザ管理およびシステム監視などの機能が加えられてもよい。

次に図6を参照すると、本発明の一態様による例示的ディジタルビデオ画像検出マッチングシステムのより詳細なシステムブロック図100が示されている。システムブロック図100は、ユーザインターフェース110、システムマネージャ120、ファイルマネージャ130、プリプロセッサ140、ビデオ・フレーム・プロセッサ150、ファイルデータベース160、およびビデオデータベース170を含む。

ユーザインターフェース110は、システムマネージャ120およびファイルマネージャ130と直接やり取りする。システムマネージャ130は、分析コントローラ121、ならびにシステム構成を提供する要素126およびシステムタイミング機能を提供する要素127を含む。分析コントローラ121は、入力分析コントローラ121Aおよび出力分析コントローラ121Bを含む。入力分析コントローラ121Aは、閾値集合122を提供する要素を含む。出力分析コントローラは、検出器123、分類器124、およびビデオドライバ125を含む。

閾値集合122は、一つまたは複数の特徴集合閾値を決定するためのシステム入力として使用される。いくつかの態様において、閾値集合122は、ユーザインターフェース110からの入力に基づき、特徴閾値を手動で決定する。いくつかの態様において、閾値集合122は、特徴閾値を自動的に決定する。いくつかの態様において、閾値集合122は、特徴閾値を、手動および自動で決定する。

検出器123および分類器124によってビデオマッチ出力データの集合が受け取られる。検出器123は、ビデオマッチ出力データの結果を登録する。分類器124は、ビデオマッチ出力データの結果を分類する。ビデオドライバ125は、ビデオマッチ出力データの結果および分類を表示する。

システムマネージャ120のシステム構成126およびシステムタイミング127の各要素は、プリプロセッサ140とやり取りする。システム構成126は、MPEGビデオ入力ストリームを取り込むためのファームウェア構成を決定する。システムタイミング127は、MPEGビデオ入力ストリームのためのビデオ取り込み速度およびビデオ取り込み期間を決定する。

ユーザインターフェース110は、ファイルマネージャ130とやり取りして、問い合わせ対象ビデオ入力と比較するための少なくとも一つのビデオファイルをアップロードする。ファイルマネージャは、ウェブクエリ131、アップロードタグ132、ならびにファイルアップロード機能および待ち行列133を含む。ウェブクエリ131、アップロードタグ132、およびファイルアップロード機能133は、ユーザによりユーザインターフェース110において選択される。

プリプロセッサ140は、MPEGビデオ取り込みおよびバッファのための要素141、MPEGディジタル画像表現からRGBディジタル画像表現へのビデオ変換のための要素142、境界、分割画面の除去、およびビデオサイズ変更のための要素143、ならびにRGBディジタル画像表現からCOLOR9ディジタル画像表現へのビデオ変換のための要素144を含む。

プリプロセッサ140は、ビデオ・フレーム・プロセッサ150とやり取りする。ビデオ・フレーム・プロセッサ150は、低解像度時間モーメントを計算する方法を含む低解像度時間的特徴抽出のための要素151、および低解像度時間モーメントを既存のデータベースと比較する要素152を含む。ビデオ・フレーム・プロセッサ150は、同じ要素に、高解像度時間モーメントを計算する方法を含む高解像度特徴抽出のための要素151、および高解像度時間モーメントを既存のデータベースと比較する要素152をさらに含む。ビデオ・フレーム・プロセッサ150は、2Dウェーブレット変換係数を計算する方法153、および2Dウェーブレット変換係数を既存のデータベースと比較する要素154をさらに含む。

ビデオ・フレーム・プロセッサ150は、RGBディジタル画像表現サブフレームを正規化されたグレー・スケール・ディジタル画像表現サブフレームに変換し、正規化されたグレー・スケール・ディジタル画像表現サブフレームを既存のデータベースと比較する要素155であり、比較することが、正規化されたグレー・スケール・ディジタル画像表現サブフレームの変換（dx、dy）およびスケーリング（s）における既存のデータベースに対する位置合わせを含む要素、ならびにRGBディジタル画像表現サブフレームを既存のデータベースとビット別に比較する要素156であり、比較することが、残余位置合わせ誤差を除去するエッジ検出抑制アルゴリズムを含む要素をさらに含む。RGBディジタル画像表現サブフレームは、既存のデータベースによって決定される。

ビデオ・フレーム・プロセッサ150は、比較要素152、154、および156のための動的閾値を設定する要素157をさらに含む。

ファイルデータベース160は、RGBディジタル画像表現サブフレームアーカイブ161、2Dウェーブレット変換係数アーカイブ162、低解像度時間モーメントおよび高解像度時間モーメントアーカイブ163、ならびにMPEGアーカイブ164によって相互参照されるビデオフレーム関係データベースを含む。

ファイルデータベース160の各要素161、162、および163は、それぞれ、ビデオ・フレーム・プロセッサ150の各要素156、154、および152に直接データ供給する。ファイルデータベース160の各要素161、162、および163は、ビデオ・フレーム・プロセッサの各要素155、153、および151が、それぞれ、MPEGビデオ取り込みおよびバッファのためのプリプロセッサ140要素141から計算されるのと同様のやり方でMPEGアーカイブ164から計算され、155、153、および151の計算は、プリプロセッサ140とビデオ・フレーム・プロセッサ150の間で分配される。

ビデオデータベース170は、MPEGアーカイブ171、RGBディジタル画像表現サブフレームアーカイブ172、および特徴アーカイブ173によって相互参照されるビデオフレーム関係データベースを含み、特徴アーカイブは低解像度および高解像度の特徴を含む。ビデオデータベース170の各要素171、172、および173には、それぞれ、プリプロセッサ140要素141、ビデオ・フレーム・プロセッサ150要素155および156、ならびにビデオ・フレーム・プロセッサ150要素151〜154によってデータが取り込まれる。ビデオデータベース170には、ユーザがユーザインターフェース110において選択するシステムマネージャ120システム構成126によって決定されるようにデータが取り込まれる。

図7に、本発明の第1の態様によるオーディオビデオ検出マッチングシステムのシステムブロック図200を示す。システムブロック図100は、ユーザインターフェース110、システムマネージャ120、ファイルマネージャ130、プリプロセッサ140、ビデオ・フレーム・プロセッサ150、ファイルデータベース160、およびオーディオデータベース270を含む。

ユーザインターフェース110は、システムマネージャ120およびファイルマネージャ130と直接やり取りする。システムマネージャ130は、分析コントローラ121、ならびにシステム構成を提供する要素126およびシステムタイミング機能を提供する要素127を含む。分析コントローラ121は、入力分析コントローラ121Aおよび出力分析コントローラ121Bを含む。入力分析コントローラ121Aは閾値集合を提供する要素122を含む。出力分析コントローラは、検出器123、分類器124、およびオーディオドライバ225を含む。

閾値集合122は、一つまたは複数の特徴集合閾値を決定するためのシステム入力として使用される。いくつかの態様において、閾値集合122は、ユーザインターフェース110からの入力に基づいて特徴閾値を手動で決定する。いくつかの態様において、閾値集合122は、特徴閾値を自動的に決定する。いくつかの態様において、閾値集合122は、特徴閾値を、手動および自動で決定する。

検出器123および分類器124によってオーディオマッチ出力データの集合が受け取られる。検出器123は、オーディオマッチ出力データの結果を登録する。分類器124は、オーディオマッチ出力データの結果を分類する。オーディオドライバ125は、オーディオマッチ出力データの結果および分類を再生する。

システムマネージャ120のシステム構成126およびシステムタイミング127の各要素は、プリプロセッサ140とやり取りする。システム構成126は、MPEGビデオ入力ストリームを取り込むためのファームウェア構成を決定する。システムタイミング127は、MPEGビデオ入力ストリームのためのビデオ取り込み速度およびビデオ取り込み期間を決定する。

ユーザインターフェース110は、ファイルマネージャ130とやり取りして、問い合わせ対象オーディオ入力と比較するための少なくとも一つのオーディオファイルをアップロードする。ファイルマネージャは、ウェブクエリ131、アップロードタグ132、ならびにファイルアップロード機能および待ち行列133を含む。ウェブクエリ131、アップロードタグ132、およびファイルアップロード機能133は、ユーザによりユーザインターフェース110において選択される。

プリプロセッサ140は、MPEGビデオ取り込みおよびバッファのための要素141、MPEGディジタル画像表現からオーディオ時間領域表現への変換のための要素242、ならびにオーディオ時間領域表現からオーディオ周波数領域表現への変換のための要素243を含む。

プリプロセッサ140は、オーディオ・フレーム・プロセッサ250とやり取りする。オーディオ・フレーム・プロセッサ250は、オーディオ時間領域表現にウィンドウイングする要素251、およびオーディオ時間領域表現を既存のデータベースに相関させる要素252を含む。オーディオ・フレーム・プロセッサ250は、オーディオ周波数領域表現に重み付けする要素253、および重み付けされたオーディオ周波数領域表現を既存のデータベースと比較する要素254をさらに含む。

オーディオ・フレーム・プロセッサ250は、比較要素252および154のための動的閾値を設定する要素157をさらに含む。

ファイルデータベース160は、オーディオ時間領域表現アーカイブ261、オーディオ周波数領域表現アーカイブ262、およびMPEGアーカイブ164によって相互参照されるオーディオフレーム関係データベースを含む。

ファイルデータベース160の各要素261および262は、それぞれ、オーディオ・フレーム・プロセッサ250の各要素252および254上に直接マップする。ファイルデータベース160の各要素261および262は、オーディオ・フレーム・プロセッサの各要素251および153が、それぞれ、MPEGビデオ取り込みおよびバッファのためのプリプロセッサ140要素141から計算されるのと同じやり方でMPEGアーカイブ164から計算され、251および253のための計算は、プリプロセッサ140とオーディオ・フレーム・プロセッサ250との間で分配される。

オーディオデータベース270は、MPEGアーカイブ171、オーディオ時間領域表現アーカイブ272、およびオーディオ周波数領域表現アーカイブ273によって相互参照される、オーディオフレーム関係データベースを含む。オーディオデータベース270の各要素171、272および273には、それぞれ、プリプロセッサ140の要素141およびオーディオ・フレーム・プロセッサ250の各要素251および253によってデータが取り込まれる。オーディオデータベース270には、ユーザがユーザインターフェース110において選択するシステムマネージャ120システム構成126によって決定されるようにデータが取り込まれる。

図8に、本発明の第1の態様によるディジタルビデオ画像検出システム100の方法流れ図300を示す。方法流れ図300は、開始点Aにおいて、ユーザがユーザインターフェース110でディジタルビデオ画像検出システムを構成する126から開始し、システムを構成する工程は、少なくとも一つのチャネル、少なくとも一つの復号方法、ならびにチャネルサンプリング速度、チャネルサンプリング時刻、およびチャネルサンプリング期間を選択する工程を含む。システムを構成する工程126は、ディジタルビデオ画像検出システムを手動で構成する工程、および半自動的に構成する工程の一つを含む。システムを半自動的に構成する工程126は:チャネルプリセットを選択する工程、スケジューリングコードを走査する工程、およびスケジューリングフィードを受け取る工程の一つまたは複数を含む。

ディジタルビデオ画像検出システムを構成する工程126は、タイミング制御シーケンスを生成する工程127をさらに含み、タイミング制御シーケンス127によって生成される信号の集合は、MPEGビデオ受信機へのインターフェースを提供する。

いくつかの態様において、ディジタルビデオ画像検出システム100の方法流れ図300は、任意で、ディジタルビデオ画像検出システム100がマッチングを行うためのファイル画像131を求めてウェブに問い合わせする工程を提供する。いくつかの態様において、方法流れ図300は、任意で、ディジタルビデオ画像検出システム100がマッチングを行うためのファイル画像をユーザインターフェース100からアップロードする工程を提供する。いくつかの態様において、ファイルデータベースに問い合わせし、待ち行列に入れる工程133bが、ディジタルビデオ画像検出システム100がマッチングを行うための少なくとも一つのファイル画像を提供する。

方法流れ図300はさらに、MPEGビデオ受信機においてMPEGビデオ入力を取り込み、バッファに入れる工程と、MPEGビデオ入力171をMPEGビデオアーカイブにディジタル画像表現として記憶させる工程とを提供する。

方法流れ図300はさらに:MPEGビデオ画像を複数の問い合わせディジタル画像表現に変換する工程と、ファイル画像を複数のファイルディジタル画像表現に変換する工程と、問い合わせ対象ディジタル画像表現およびファイルディジタル画像表現を比較し、マッチングする工程とを提供し、MPEGビデオ画像を変換する工程とファイル画像を変換する工程とは比較可能な方法である。ファイル画像を複数のファイルディジタル画像表現に変換する工程は:ファイル画像がアップロードされるときにファイル画像を変換する工程、ファイル画像が待ち行列に入れられるときにファイル画像を変換する工程、およびMPEGビデオ画像を変換するのと同時にファイル画像を変換する工程の一つによって提供される。

方法流れ図300は、MPEGビデオ画像およびファイル画像を、それぞれ、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現に変換する方法142を提供する。いくつかの態様において、変換方法142は、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現から画像境界を除去する工程143をさらに備える。いくつかの態様において、変換方法142は、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現から分割画面を除去する工程143をさらに備える。いくつかの態様において、画像境界を除去する工程および分割画面を除去する工程の一つまたは複数143は、エッジを検出する工程を含む。いくつかの態様において、変換方法142は、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現を128×128画素のサイズにサイズ変更する工程をさらに備える。

方法流れ図300はさらに、MPEGビデオ画像およびファイル画像を、それぞれ、問い合わせ対象COLOR9ディジタル画像表現およびファイルCOLOR9ディジタル画像表現に変換する方法144を提供する。変換方法144は、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現から直接変換する方法を提供する。

変換方法144は:問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現を中間輝度軸上に投影する工程と、中間輝度を用いて問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現を正規化する工程と、正規化された問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現を、それぞれ、問い合わせ対象COLOR9ディジタル画像表現およびファイルCOLOR9ディジタル画像表現に変換する工程とを含む。

方法流れ図300はさらに、MPEGビデオ画像およびファイル画像を、それぞれ、問い合わせ対象5セグメント低解像度時間モーメントディジタル画像表現およびファイル5セグメント低解像度時間モーメントディジタル画像表現に変換する方法151を提供する。変換方法151は、問い合わせ対象COLOR9ディジタル画像表現およびファイルCOLOR9ディジタル画像表現から直接変換する方法を提供する。

変換方法151は:問い合わせ対象COLOR9ディジタル画像表現およびファイルCOLOR9ディジタル画像表現を五つの空間的なオーバーラップセクションおよび非オーバーラップセクションに区分する工程と、5セクションのそれぞれについて統計モーメントの集合を生成する工程と、統計モーメントの集合に重み付けする工程と、統計モーメントの集合を時間的に相互に関連付けて、COLOR9ディジタル画像表現の一つまたは複数のシーケンスの時間的セグメントを表わすキーフレームまたはショットフレームの集合を生成する工程とを含む。

変換方法151で統計モーメントの集合を生成する工程は:5セクションのそれぞれについて平均値、分散、およびスキューの一つまたは複数を生成する工程を含む。いくつかの態様において、変換方法151で統計モーメントの集合を時間的に相互に関連付ける工程は、順次バッファに入れられたRGBディジタル画像表現の集合の手段、分散、およびスキューの一つまたは複数を相互に関連付ける工程を含む。

順次バッファに入れられたMPEGビデオ画像COLOR9ディジタル画像表現の集合について統計モーメントの集合を時間的に相互に関連付ければ、連続するCOLOR9ディジタル画像表現の一つまたは複数のセグメントについての中央統計モーメントの集合を求めることが可能になる。中央統計モーメントの集合と最も密接にマッチする時間的セグメントの集合内の画像フレームの統計モーメントの集合が、ショットフレーム、すなわちキーフレームとして識別される。キーフレームは、より高解像度のマッチをもたらすさらに洗練された方法のために確保される。

方法流れ図300はさらに、問い合わせ対象5セクション低解像度時間モーメントディジタル画像表現およびファイル5セクション低解像度時間モーメントディジタル画像表現をマッチングする比較方法152を提供する。いくつかの態様において、第1の比較方法151は:問い合わせ対象5セクション低解像度時間モーメントディジタル画像表現およびファイル5セクション低解像度時間モーメントディジタル画像表現の5セグメントのそれぞれの平均値、分散、およびスキューの一つまたは複数の間の一つまたは複数の誤差を見つける工程を含む。いくつかの態様において、一つまたは複数の誤差が、COLOR9の問い合わせ対象ディジタル画像表現およびファイルディジタル画像表現の一つまたは複数のシーケンスの一つまたは複数の時間的セグメントに対応する、一つまたは複数の問い合わせ対象キーフレームおよび一つまたは複数のファイル・キー・フレームによって生成される。いくつかの態様において、一つまたは複数の誤差が重み付けされ、この重み付けは、より外側のセグメントおよびセクションの集合においてよりは中央のセグメントにおいて時間的により強く、中央のセクションにおいて空間的により強い。

比較方法152は、第1の比較の結果としてマッチが見つからなかった場合に方法流れ図300を「E」で終了させる分岐要素を含む。比較方法152は、比較方法152の結果としてマッチが見つかった場合に方法流れ図300を変換方法153に向かわせる分岐要素を含む。

いくつかの態様において、比較方法152におけるマッチは:それぞれ、平均値閾値、分散閾値、およびスキュー閾値より小さいメトリックを登録している問い合わせ対象平均値とファイルの平均値の間の距離、問い合わせ対象分散とファイルの分散の間の距離、および問い合わせ対象スキューとファイルのスキューの間の距離の一つまたは複数を含む。第1の比較方法152のメトリックは、周知の距離生成メトリックの任意のものとすることができる。

変換方法153aは、問い合わせ対象COLOR9ディジタル画像表現およびファイルCOLOR9ディジタル画像表現から高解像度時間モーメントの集合を抽出する方法を含み、高解像度時間モーメントの集合は:COLOR9ディジタル画像表現の一つまたは複数のシーケンスの時間的セグメントを表わす画像セグメント内の画像の集合のそれぞれについての平均値、分散、およびスキューの一つまたは複数を含む。

変換方法153aの時間モーメントは変換方法151によって提供される。変換方法153aは、画像の集合および対応する統計モーメントの集合に時系列で索引付けする。比較方法154aは、畳み込みにより各時間的セグメントごとに問い合わせ対象集合およびファイル画像集合の統計モーメントを比較する。

比較方法154aにおける畳み込みは、問い合わせ対象の、およびファイルの:第1の特徴平均値、第1の特徴分散、および第1の特徴スキューの一つまたは複数を畳み込む。いくつかの態様において、畳み込みが重み付けされ、この重み付けはクロミナンスの関数である。いくつかの態様において、畳み込みが重み付けされ、この重み付けは色相の関数である。

比較方法154aは、第1の特徴比較の結果としてマッチが見つからなかった場合に方法流れ図300を終了させる分岐要素を含む。比較方法154aは、第1の特徴比較方法153aの結果としてマッチが見つかった場合に方法流れ図300を変換方法153bに向かわせる分岐要素を含む。

いくつかの態様において、第1の特徴比較方法153aにおけるマッチは:それぞれ、第1の特徴平均値閾値、第1の特徴分散閾値、および第1の特徴スキュー閾値より小さいメトリックを登録している問い合わせ対象第1の特徴平均値とファイルの第1の特徴平均値の間の距離、問い合わせ対象第1の特徴分散とファイルの第1の特徴分散の間の距離、ならびに問い合わせ対象第1の特徴スキューとファイルの第1の特徴スキューの間の距離の一つまたは複数を含む。第1の特徴比較方法153aのメトリックは、周知の距離生成メトリックの任意のものとすることができる。

変換方法153bは、問い合わせ対象COLOR9ディジタル画像表現およびファイルCOLOR9ディジタル画像表現から、九つの問い合わせ対象ウェーブレット変換係数およびファイルウェーブレット変換係数の集合を抽出する工程を含む。具体的には、九つの問い合わせ対象ウェーブレット変換係数およびファイルウェーブレット変換係数の集合は、COLOR9ディジタル画像表現を備える九つの色表現のそれぞれのグレースケール表現から生成される。いくつかの態様において、グレースケール表現は、COLOR9ディジタル画像表現を備える九つの色表現のそれぞれの対応する輝度表現とおおよそ等価のものである。いくつかの態様において、グレースケール表現は、一般的に色域無相関化（color gamut sphering）と呼ばれるプロセスによって生成され、色域無相関化は、COLOR9ディジタル画像表現を備える九つの色表現全体にわたって明るさおよび彩度をおおよそ消去し、または正規化するものである。

いくつかの態様において、九つのウェーブレット変換係数の集合は:九つの1次元ウェーブレット変換係数の集合、九つの1次元ウェーブレット変換係数の一つまたは複数の非共線集合の集合、および九つの2次元ウェーブレット変換係数の集合の一つである。いくつかの態様において、九つのウェーブレット変換係数の集合は:ハールウェーブレット変換係数の集合およびハールウェーブレット変換係数の2次元集合の一つである。

方法流れ図300はさらに、九つの問い合わせ対象ウェーブレット変換係数およびファイルウェーブレット変換係数の集合をマッチングする比較方法154bを提供する。いくつかの態様において、比較方法154bは、九つの問い合わせ対象ウェーブレット変換係数およびファイルウェーブレット変換係数の集合のための相関関数を含む。いくつかの態様において、相関関数が重み付けされ、この重み付けは;すなわちCOLOR9ディジタル画像表現を備える九つの色表現のそれぞれの関数である。

比較方法154bは、比較方法154bの結果としてマッチが見つからなかった場合に方法流れ図300を終了させる分岐要素を含む。比較方法154bは、比較方法154bの結果としてマッチが見つかった場合に方法流れ図300を分析方法155a〜156bに向かわせる分岐要素を含む。

いくつかの態様において、比較方法154bにおける比較は:九つの問い合わせ対象ウェーブレット係数およびファイルウェーブレット係数の集合の間の距離、九つの問い合わせ対象ウェーブレット係数およびファイルウェーブレット係数の選択された集合の間の距離、ならびに九つの問い合わせ対象ウェーブレット係数およびファイルウェーブレット係数の重み付き集合の間の距離の一つまたは複数を含む。

分析方法155a〜156bは、MPEGビデオ画像およびファイル画像を、それぞれ、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームに変換し、それぞれ、一つまたは複数のグレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームに変換し、ならびに一つまたは複数のRGBディジタル画像表現差分サブフレームに変換する工程を提供する。分析方法155a〜156bは、問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現から関連付けられるサブフレームに直接変換する工程を提供する。

分析方法55a〜156bは、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームを提供し155a:問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現の一つまたは複数の部分を、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームとして定義する工程と、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームを一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームに変換する工程と、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームを正規化する工程とを含む。

定義する方法は、最初に、一つまたは複数の問い合わせ対象RGBディジタル画像表現およびファイルRGBディジタル画像表現の各対ごとに同一の画素を定義する工程を含む。変換する方法は、変換を円滑に行わせるために、問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームの各対から輝度尺度を抽出する工程を含む。正規化する方法は、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームの各対から平均値を減算する工程を含む。

分析方法155a〜156bはさらに、比較方法155b〜156bを提供する。比較方法155b〜156bは、第2の比較の結果としてマッチが見つからなかった場合に方法流れ図300を終了させる分岐要素を含む。比較方法155b〜156bは、第2の比較方法155b〜156bの結果としてマッチが見つかった場合に方法流れ図300を検出分析方法320に向かわせる分岐要素を含む。

比較方法155b〜156bは:一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームとファイル・グレー・スケール・ディジタル画像表現サブフレームの各対間の位置合わせを提供する工程155bと、一つまたは複数のRGBディジタル画像表現差分サブフレームおよび接続された問い合わせ対象RGBディジタル画像表現の拡張変化サブフレームをレンダリングする工程156a〜bとを含む。

一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームとファイル・グレー・スケール・ディジタル画像表現サブフレームの各対間の位置合わせを提供する方法155bは:一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームとファイル・グレー・スケール・ディジタル画像表現サブフレームの各対間のグレースケール画素差分の絶対値を合計することにより差分絶対値の和（SAD）メトリックを提供する工程と、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームを変換し、スケーリングする工程と、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームの各対ごとの最小SADを見つけるまで繰り返す工程とを含む。方法155bのスケーリングする工程は、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームを、独立に、128×128画素サブフレーム、64×64画素サブフレーム、および32×32画素サブフレームの一つにスケーリングする工程を含む。

方法155bのスケーリングする工程は、一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームを、独立に、720×480画素（480i/p）サブフレーム、720×576画素（576i/p）サブフレーム、1280×720画素（72Op）サブフレーム、1280×1080画素（1080i）サブフレーム、および1920×1080画素（1080p）サブフレームの一つにスケーリングする工程を含み、スケーリングは、RGB表現画像から、またはMPEG画像から直接行うことができる。

一つまたは複数のRGBディジタル画像表現差分サブフレームおよび接続された問い合わせ対象RGBディジタル画像表現の拡張変化サブフレームをレンダリングする方法156a〜bは:位置合わせを提供する方法155bに従って一つまたは複数の問い合わせ対象グレー・スケール・ディジタル画像表現サブフレームおよびファイル・グレー・スケール・ディジタル画像表現サブフレームを位置合わせする工程と、一つまたは複数のRGBディジタル画像表現差分サブフレームを提供する工程と、接続された問い合わせ対象RGBディジタル画像表現の拡張変化サブフレームを提供する工程とを含む。

方法56aの一つまたは複数のRGBディジタル画像表現差分サブフレームを提供する工程は:一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレーム内のエッジを抑制する工程と、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームとファイルRGBディジタル画像表現サブフレームの各対間のRGB画素差分の絶対値を合計することによってSADメトリックを提供する工程と、一つまたは複数のRGBディジタル画像表現差分サブフレームを、対応するSADが閾値を下回る集合として定義する工程とを含む。

抑制する工程は:一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームのエッジマップを提供する工程と、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームから、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームおよびファイルRGBディジタル画像表現サブフレームのエッジマップを減算する工程とを含み、エッジマップを提供する工程はソボルフィルタを提供する工程を含む。

方法56aにおける接続された問い合わせ対象RGBディジタル画像表現の拡張変化サブフレームを提供する工程は:一つまたは複数のRGBディジタル画像表現差分サブフレームの集合に対応する一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームの集合を接続し、拡張する工程を含む。

一つまたは複数のRGBディジタル画像表現差分サブフレームおよび接続された問い合わせ対象RGBディジタル画像表現の拡張変化サブフレームをレンダリングする方法156a〜bは、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームを、独立に:128×128画素サブフレーム、64×64画素サブフレーム、および32×32画素サブフレームの一つにスケーリングする方法156a〜bのスケーリングを含む。

方法156a〜bのスケーリングは、一つまたは複数の問い合わせ対象RGBディジタル画像表現サブフレームを、独立に:720×480画素（480i/p）サブフレーム、720×576画素（576i/p）サブフレーム、1280×720画素（72Op）サブフレーム、1280×1080画素（1080i）サブフレーム、および1920×1080画素（1080p）サブフレームの一つにスケーリングする工程を含み、スケーリングは、RGB表現画像から、またはMPEG画像から直接行うことができる。

方法流れ図300はさらに検出分析方法320を提供する。検出分析方法320および関連付けられる検出分類方法124は、ユーザインターフェース110によって制御されるように、マッチ表示およびビデオドライバ125のためのビデオ検出マッチおよび分類データおよび画像を提供する。検出分析方法320および検出分類方法124はさらに、動的閾値方法330に検出データを提供し、動的閾値方法330は:動的閾値の自動リセット、動的閾値の手動リセット、およびこれらの組み合わせの一つを提供する。

方法流れ図300はさらに第3の比較方法340を提供し、ファイルデータベース待ち行列が空でない場合に方法流れ図300を終了させる分岐要素を提供する。

図9Aに、本発明の第1の態様による特徴空間400におけるK-NN入れ子型独立特徴部分空間の横断集合を示す。問い合わせ対象画像405はAから開始し、Dのところの目標ファイル画像431まで送られ、特徴空間410と420の境界に位置する閾値レベル413のファイル画像432などの、マッチング基準411、412を満たさないファイル画像を選別する。

図9Bに、本発明の第1の態様による問い合わせ対象画像サブフレームの変化を伴うK-NN入れ子型独立特徴部分空間の横断集合を示す。問い合わせ対象画像405のサブフレーム421および目標ファイル画像431のサブフレーム422は、特徴空間420と430の境界にあるサブフレーム閾値においてマッチしない。マッチが見つかるのはファイル画像432とであり、新しいサブフレーム432が生成され、ファイル画像431と問い合わせ対象画像405の両方と関連付けられ、目標ファイル画像431のサブフレーム421および新しいサブフレーム432も、ファイルの目標画像432の新しい部分空間集合を備える。

図10に、本発明の第1の態様によるディジタル画像表現サブフレームの変化の一例を示す。目標ファイル画像サブフレームおよび問い合わせ対象画像サブフレームの一つの集合500が示されており、集合500はサブフレーム集合501、502、503、および504を含む。サブフレーム集合501および502は、変換およびスケーリングの一つまたは複数において他の集合メンバと異なる。サブフレーム集合502および503とは、画像コンテンツが互いに異なり、サブフレーム集合501および502とも異なり、サブフレームマッチング閾値までの画像差分を示している。

以上、本発明を本発明の特定の態様に関連して説明したが、さらなる変更が可能であることが理解される。さらに本出願は、本発明が関連する当技術分野において公知であり、または慣例とされているものに含まれ、添付の特許請求の範囲内に含まれる程度の本開示からの逸脱を含めて、本発明の任意の変形、使用、または適合を包含するものである。

本明細書で言及するすべての出版物、特許、および特許出願は、あたかも個々の出版物、特許、または特許出願が具体的および個別的に参照により組み入れられるべきであると指示されているのと同様に、参照により本明細書に組み入れられるものである。

Claims (30)

1. （a）問い合わせ対象ディジタル画像集合および第1のファイルディジタル画像集合の集合内のファイルディジタル画像集合から特徴データ集合を抽出する工程と、
   （b）前記問い合わせ対象ディジタル画像集合および前記ファイルディジタル画像集合から抽出された前記特徴データ集合間の一つまたは複数の誤差を測定する工程と、
   （c）前記第1のファイルディジタル画像集合の集合内の一つまたは複数のファイルディジタル画像集合について工程（a）〜工程（b）を繰り返す工程と、
   （d）対応する閾値の集合より小さい対応する一つまたは複数の誤差を有する前記第1の集合内の前記ファイルディジタル画像集合のそれぞれからなる、第2のファイルディジタル画像集合の集合を生成する工程と、
   （e）一つまたは複数の特徴データ集合について工程（a）〜工程（d）を繰り返し、マッチするファイルディジタル画像集合の集合を生成する工程と、
   （f）前記問い合わせ対象ディジタル画像集合内の問い合わせ対象ディジタル画像の一つまたは複数のサブフレームと、前記マッチするファイルディジタル画像集合の集合内のファイルディジタル画像集合内のファイルディジタル画像の一つまたは複数のサブフレームの一つまたは複数の集合との間の一つまたは複数のビットマップのマッチング誤差を測定する工程であって、ここで、該ビットマップはRGB色空間における配列された画素の集合を備える該工程と、
   （g）前記問い合わせ対象ディジタル画像の前記一つまたは複数のサブフレームを変換し、サイズ変更し、再量子化し、（f）を繰り返して前記一つまたは複数のビットマップのマッチング誤差を低減する工程と、
   （h）前記ファイルディジタル画像の一つまたは複数のサブフレームの前記一つまたは複数の集合に、（1）一つまたは複数の新しいサブフレームの一つ、および（2）一つまたは複数のサブフレームの新しい集合の一つを加える工程と、
   （i）前記マッチするファイルディジタル画像集合の集合内の一つまたは複数のファイルディジタル画像集合内の一つまたは複数のファイルディジタル画像について（f）〜（h）を繰り返す工程と
   を備える、ビデオ検出の方法。
2. （a）の抽出する工程が、COLOR9空間における一つまたは複数の2次元統計モーメントの第1の関数によって特徴データ集合を抽出する工程を備える、請求項1記載の方法。
3. 第1の関数が、
   （i）問い合わせ対象ディジタル画像集合内の連続する問い合わせ対象ディジタル画像間およびファイルディジタル画像集合内の連続するファイルディジタル画像間の一つまたは複数の2次元統計モーメントの距離尺度に従って、前記問い合わせ対象ディジタル画像集合および前記ファイルディジタル画像集合を、セグメント化された問い合わせ対象ディジタル画像部分集合の集合およびセグメント化されたファイルディジタル画像部分集合の集合に時間的にセグメント化する工程と、
   （ii）前記一つまたは複数の2次元統計モーメントから一つまたは複数のセグメント化された問い合わせ対象ディジタル画像部分集合について一つまたは複数の問い合わせ対象中央値および対応する問い合わせ対象画像中央フレームを見つけ、前記一つまたは複数の2次元統計モーメントから一つまたは複数のセグメント化されたファイルディジタル画像部分集合について一つまたは複数のファイル中央値および対応するファイル画像中央フレームを見つける工程と
   を備える、請求項2記載の方法。
4. （b）の測定する工程が、一つまたは複数の問い合わせ対象中央値と一つまたは複数のファイル中央値との間の一つまたは複数の誤差を測定する工程を備える、請求項3記載の方法。
5. 2次元統計モーメントの集合が、平均値、分散、およびスキューの少なくとも一つを備える、請求項2記載の方法。
6. （a）の抽出する工程が、COLOR9空間における2次元統計モーメントの第2の関数によって特徴データ集合を抽出する工程を備える、請求項1記載の方法。
7. 第2の関数が、
   （i）問い合わせ対象ディジタル画像集合内の問い合わせ対象ディジタル画像の集合およびファイルディジタル画像集合内のファイルディジタル画像の集合に時間的に索引付けする工程と、
   （ii）前記時間的に索引付けされた問い合わせ対象ディジタル画像の集合および前記時間的に索引付けされたファイルディジタル画像の集合に、対応する一つまたは複数の2次元統計モーメントの集合を割り当てる工程と
   を備える、請求項6記載の方法。
8. （b）の測定する工程が、問い合わせ対象ディジタル画像の集合の時間的に索引付けされた一つまたは複数の2次元統計モーメントの集合およびファイルディジタル画像の集合の前記時間的に索引付けされた一つまたは複数の2次元統計モーメントの集合を畳み込む工程を備える、請求項7記載の方法。
9. 2次元統計モーメントの集合が、平均値、分散、およびスキューの少なくとも一つを備える、請求項6記載の方法。
10. （a）の抽出する工程が、
    一つまたは複数のセグメント化された問い合わせ対象ディジタル画像部分集合について問い合わせ対象画像中央フレームからCOLOR9空間において2次元ウェーブレット変換係数の集合を抽出する工程と、
    一つまたは複数のセグメント化されたファイルディジタル画像部分集合についてファイル画像の中央フレームからCOLOR9空間において2次元ウェーブレット変換係数の集合を抽出する工程と
    を備える、請求項3記載の方法。
11. 2次元ウェーブレット変換係数の集合が、ハールウェーブレット変換係数である、請求項10記載の方法。
12. COLOR9空間がグレースケールに変換される、請求項10記載の方法。
13. （f）の問い合わせ対象ディジタル画像およびファイルディジタル画像が、それぞれ、問い合わせ対象中央画像フレームおよびファイル中央画像フレームを備える、請求項3記載の方法。
14. 配列された画素の集合が、水平オフセット、垂直オフセット、水平セグメント長、および垂直セグメント長の一つまたは複数を備える、請求項1記載の方法。
15. 配列された画素の集合が連続したものである、請求項14記載の方法。
16. 変換し、サイズ変更し、再量子化し、（f）を繰り返して一つまたは複数のビットマップのマッチング誤差を低減する（g）の工程が、一つまたは複数のフィードバックループを備える、請求項1記載の方法。
17. 変換し、サイズ変更し、再量子化し、（f）を繰り返して一つまたは複数のビットマップのマッチング誤差を低減する（g）の工程が、エッジ検出抑制関数を備える、請求項1記載の方法。
18. （h）の加える工程が、問い合わせ対象ディジタル画像の一つまたは複数のサブフレームの部分集合を加える工程をさらに備える、請求項1記載の方法。
19. （a）ビデオを符号化する工程と、
    （b）該ビデオをファイルディジタル画像の集合にインポートする工程と、
    （c）該ファイルディジタル画像の集合からビデオ検出データの集合を生成する工程と、
    （d）該ファイルディジタル画像の集合からビデオ分析データの集合を生成する工程と、
    （e）該ファイルディジタル画像の集合からメタデータの集合を生成する工程と、
    （f）該ファイルディジタル画像の集合に基づいて人手による注釈データの集合を生成する工程と、
    （g）（c）〜（f）からビデオ索引付けデータの集合を生成する工程と、
    （h）前記ビデオおよびビデオ索引付けデータをアーカイブする工程と
    を備える、ビデオアーカイブの方法。
20. 符号化する工程が、ビデオをRGB色空間に変換する工程を備える、請求項19記載の方法。
21. ビデオ検出データの集合を生成する工程が、第1の特徴データ集合、第2の特徴データ集合、および第3の特徴データ集合を抽出する工程を備える、請求項19記載の方法。
22. 第1の特徴データ集合が、COLOR9空間における2次元統計モーメントの集合の第1の関数を備える、請求項21記載の方法。
23. 第2の特徴データ集合が、COLOR9空間における2次元統計モーメントの集合の第2の関数を備える、請求項21記載の方法。
24. 第3の特徴データ集合が、COLOR9空間における2次元ウェーブレット変換係数の集合を備える、請求項21記載の方法。
25. ビデオ分析データの集合を生成する工程が、重複場面推定値、元のフッテージ推定値、ビデオカット推定値、音声/テキスト推定値、およびテキスト識別推定値を生成する工程を備える、請求項19記載の方法。
26. メタデータの集合を生成する工程が、日時データ、全地球測位システム（GPS）データ、およびビデオ記録器取り込みデータを生成する工程を備える、請求項19記載の方法。
27. 人手による注釈データの集合を生成する工程が、題名データ、期間データ、コメントデータ、キーワードデータ、ディジタル著作権データ、著作権データ、および参照データの手入力を生成する工程を備える、請求項19記載の方法。
28. ビデオ索引付けデータの集合を生成する工程が、工程（c）〜工程（f）から自動セグメント化および階層化索引付けを生成する工程を備える、請求項19記載の方法。
29. ビデオおよびビデオ索引付けデータをアーカイブする工程が、ファイルディジタル画像の集合、ビデオ検出データの集合、ビデオ分析データの集合、メタデータの集合、人手による注釈データの集合、ビデオ索引付けデータの集合、およびセグメント化および階層化索引付けデータを備える関係データベースを生成する工程を備える、請求項19記載の方法。
30. （a）問い合わせ対象ディジタル画像集合および第1のファイルディジタル画像集合の集合のそれぞれについて共通の複数の特徴データ集合を抽出する手段と、
    （b）マッチするファイルディジタル画像集合の集合を求めて前記複数の特徴データ集合を順次探索する手段であって、順次探索することが、前記問い合わせ対象ディジタル画像集合と前記第1のファイルディジタル画像集合の集合の部分集合の順次により小さい集合とに共通の前記複数の特徴データ集合をマッチングすることを備える、手段と、
    （c）前記問い合わせ対象ディジタル画像集合内の問い合わせ対象ディジタル画像の一つまたは複数のサブフレームを、前記マッチするファイルディジタル画像集合の集合内のファイルディジタル画像集合内のファイルディジタル画像の一つまたは複数のサブフレームの一つまたは複数の集合と比較する手段であって、比較することがRGB色空間において配列された画素の集合を比較することを備え、それによって該配列された画素の集合および前記RGB色空間が前記問い合わせ対象ディジタル画像および前記ファイルディジタル画像に共通である手段と、
    （d）前記問い合わせ対象ディジタル画像の前記一つまたは複数のサブフレームを変換し、サイズ変更し、再量子化し、（d）を繰り返して前記配列された画素の集合の一つまたは複数の部分集合の一つまたは複数のビットマップのマッチング誤差を低減する手段であって、該一つまたは複数のビットマップのマッチング誤差が、問い合わせ対象ディジタル画像集合内の前記問い合わせ対象ディジタル画像と前記マッチするファイルディジタル画像集合の集合内のファイルディジタル画像集合内の前記ファイルディジタル画像との間で取られる手段と、
    （e）前記一つまたは複数のビットマップのマッチング誤差が対応する閾値の集合より小さい場合にマッチを検出する手段と、
    （f）マッチが検出されない場合、前記ファイルディジタル画像の一つまたは複数のサブフレームの前記一つまたは複数の集合に、（1）一つまたは複数の新しいサブフレームの一つ、および（2）一つまたは複数のサブフレームの新しい集合の一つを加える手段と、
    （g）前記マッチするファイルディジタル画像集合の集合内の一つまたは複数のファイルディジタル画像集合内の一つまたは複数のファイルディジタル画像について（c）〜（f）を繰り返す手段と
    を備える、ビデオ検出を生成するように適合された装置。

Images