JP2006505075A - 複数のイメージフレームを有するビデオシーケンス検索のための非線形量子化及び類似度マッチング方法 - Google Patents

Abstract

減少されたビット数で複数のビデオシーケンスを表現するイメージ情報を有するデータベースを構成する方法を提供すること。
複数のビデオシーケンスを表現するデジタルビデオデータ情報−前記複数のビデオシーケンスのそれぞれは、前記デジタルビデオデータのイメージフレームセットを含む−を有するデータベース構築方法において、前記各ビデオシーケンスの前記各イメージフレームをＬ個（Ｌは正の整数）の副画像（ｓｕｂ−ｉｍａｇｅ）−前記各副画像は、Ｓ ｘ Ｔ個（Ｓ及びＴはそれぞれ正の整数）のイメージブロック（ｉｍａｇｅ−ｂｌｏｃｋ）にさらに分割される−に分割する第１ステップと、前記各イメージブロックに対し、５個の基準エッジ（ｒｅｆｅｒｅｎｃｅ ｅｄｇｅ）−前記基準エッジは、４個の方向性（ｄｉｒｅｃｔｉｏｎａｌ）エッジ及び１個の無方向性（ｎｏｎ−ｄｉｒｅｃｔｉｏｎａｌ）エッジを含む−のうち何れか１つを割り当て、前記各イメージフレームに対してＬ個のエッジヒストグラム（ｅｄｇｅ ｈｉｓｔｏｇｒａｍ）−前記エッジヒストグラムは、Ｍ個のエッジヒストグラムビンの（ｅｄｇｅ ｈｉｓｔｏｇｒａｍ ｂｉｎ）を含む−を生成する第２ステップと、前記各エッジヒストグラムに含まれた前記エッジヒストグラムビンを、Ｓ ｘ Ｔに正規化し、前記各イメージフレームに対してＭ個の正規化されたエッジヒストグラムビンを生成する第３ステップと、前記各イメージフレームの正規化されたエッジヒストグラムビンに基づいて、前記各ビデオシーケンスに対するＬ個の代表（ｒｅｐｒｅｓｅｎｔａｔｉｖｅ）エッジヒストグラムを生成するために前記各ビデオシーケンスに対してＭ個の代表エッジヒストグラムビンを計算する第４ステップと、前記データベースに格納される前記各代表エッジヒストグラムに対する第２イメージ記述子としてＭ個の量子化インデックス値を生成するために、前記代表エッジヒストグラムビンを非線形的に量子化する第５ステップとを含む。

Description

本発明は、イメージデータ検索方法に関し、さらに詳細には、複数のイメージセットを含むビデオシーケンスに対する減少されたビットを有するエッジヒストグラム記述子のビット表現を構成する方法、及び前記エッジヒストグラム記述子のインコーディングされた表現から効果的に抽出された情報を利用してビデオシーケンスを検索する方法に関する。

ＪＰＥＧ(Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ)は、停止イメージの国際的な標準であり、ＭＰＥＧ−１(Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−１)及びＭＰＥＧ−２は、動画の国際標準である。圧縮イメージ情報において、各イメージの特徴情報は、キーフレーム抽出、イメージ検索、ブラウジングなどのようなアプリケーションのために抽出される。

特徴情報を抽出するために、明暗またはカラーヒストグラムが広く用いられる。明暗ヒストグラム及びカラーヒストグラムそれぞれは、１つのイメージにおいて、明暗及びカラー(赤、緑または青)の相対的な頻度を示す。特に、最近では、デジタル格納された停止イメージまたはデジタルビデオデータ検索のためのヒストグラム比較方法がたくさん提案されている。ヒストグラムが、イメージ検索及び画面境界探知(Ｓｈｏｔ ｂｏｕｎｄａｒｙ ｄｅｔｅｃｔｉｏｎ)に用いられることによって、既存のヒストグラム技術が向上するであろう。すなわち、エッジヒストグラムのようにイメージ内容をさらに効率的に表現できるヒストグラム記述子が適用される必要がある。また、記述子の二進化表現が簡潔でなければならず、類似度マッチングのための演算の複雑度も低くならなければならない。

画面境界探知のためにカラーヒストグラム及びエッジマップを使用する方法が、「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＳＣＥＮＥＳ ＡＮＤ ＳＵＭＭＡＲＩＺＩＮＧ ＶＩＤＥＯ ＳＥＱＵＥＮＣＥＳ」という名称（特許文献１参照）で開示されている。前記発明が人間の視覚システムに比べて色情報を抽出し遂げるのに効果的であるとはいえ、明暗情報を抽出しきることができない。

また、色情報を受信した後、ヒストグラムインターセクション方法(ｈｉｓｔｏｇｒａｍ ｉｎｔｅｒｓｅｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅ)を利用してイメージの類似度を測定することによって、インデクシングする方法が論文に開示されている(非特許文献１参照)。しかし、この方法は、明暗及びエッジ情報を用いず、正確性が保障されない。また、既存の方法では、離散量子化方法を用いてヒストグラムを生成するため、同じ効果を得るためには相対的に多くの数のヒストグラムビン(ｈｉｓｔｏｇｒａｍ ｂｉｎ)が必要である。結果的に、格納及び類似度の測定において、非効率的である。その上、既存では、特徴抽出がピクセル単位でなされるため、特徴情報が制限して生成されるという問題がある。

一方、ヒストグラムがイメージ検索などに広く用いられるため、最近では、ヒストグラム情報を効率的に格納することができる方法が要求される。すなわち、既存のヒストグラム格納方法によると、ヒストグラムビン値が線形量子化(ｌｉｎｅａｒ ｑｕａｔｉｚａｔｉｏｎ)を通した正規化によって固定された大きさの格納領域に格納される。その結果、このようなヒストグラム格納に対する線形量子化方法は、ビット量が増加するほど問題点が深刻化する。

国際標準化機構(Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ,ＩＳＯ)/国際電機標準会議(Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ,ＩＥＣ)合同技術委員会(Ｊｏｉｎｔ Ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｔｔｅｅ １)(ＩＳＯ/ＩＥＣ ＪＴＣ１)では、ＭＰＥＧ−７と関連して内容基盤マルチメディアデータ検索(Ｃｏｎｔｅｎｔ Ｂａｓｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｒｅｔｒｉｅｖａｌ)技術に対する標準を制定している。

内容基盤マルチメディアは、デジタルビデオデータのような動画及び停止イメージを含む。デジタルビデオデータ、すなわちビデオシーケンス(ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ)は、少なくとも１つの動きオブジェクト(ｍｏｖｉｎｇ ｏｂｊｅｃｔ)に対する複数のイメージフレームを含む。ビデオシーケンス検索のために、動きオブジェクトに対する動き記述子(ｍｏｖｉｎｇ ｄｅｓｃｒｉｐｔｏｒ)は、イメージフレームから抽出されるが、動き記述子はイメージフレームの動きオブジェクトに対する動き情報を含む。動き記述子が抽出された後、質疑ビデオシーケンスとデータベースとに格納されているビデオシーケンスの動き記述子の間の類似度が演算される。最終的に、演算される類似度によって所望のビデオシーケンスが検索される。
米国特許第５,８０５,７３３号明細書 米国特許出願第０９/９７８,６６８号明細書 国際公開第ＷＯ ０２/３３９７８号パンフレット Ｍ.Ｊ.Ｓｗａｉｎ,ｅｔａｌ.,"Ｃｏｌｏｒ Ｉｎｄｅｘｉｎｇ",Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ,Ｖｏｌ.７−１,ｐｐ.１１−３２,１９９１

一般的に、内容基盤マルチメディア検索方法において、動き記述子として動き経路記述子(ｍｏｔｉｏｎ ｔｒａｊｅｃｔｏｒｙ ｄｅｓｃｒｉｐｔｏｒ)が広く用いられる。動き経路記述子は、ビデオシーケンスのイメージフレームに含まれている動きオブジェクトの動き経路情報を含む。動き経路記述子は、動きオブジェクトの位置及び速度に基づいた媒介変数方程式(ｐａｒａｍｅｔｒｉｃ ｅｑｕａｔｉｏｎ)を利用することによって、動きオブジェクトの動き経路を含む。動き経路記述子を利用する従来の技術によると、花火または滝などのイメージを含むビデオデータのように多くの動きオブジェクトを含む「テクスチャビデオシーケンス」を表現できない。すなわち、テクスチャビデオシーケンスでは、動き経路記述子として表現されなければならない動きオブジェクトが非常に多い。結果的に、多数の動きオブジェクトに対する多くの動き経路記述子を抽出するための演算量が非常に多いという問題点がある。

したがって、テクスチャビデオシーケンスを含むデジタルビデオデータを検索するために、新しいデジタルビデオデータ検索方法及び強化された技術方法が要求される。

本発明は、上述した従来の技術の問題点を解決するためになされたものであって、その目的とするところは、減少されたビット数で複数のビデオシーケンスを表現するイメージ情報を有するデータベースを構成する方法を提供することにある。

本発明のもう１つの目的は、質疑ビデオシーケンスに応じて、高速検索と正確度の高さでデータベースに格納されている対応ビデオシーケンスを検索する方法を提供することにある。

本発明のもう１つの目的は、質疑ビデオシーケンスに応じて、高速検索と正確度の高さでデータベースに格納されており、テクスチャビデオを含む対応ビデオシーケンスを検索する方法を提供することにある。

前記のような目的を達成するために本発明は、複数のビデオシーケンスを表現するデジタルビデオデータ情報−前記複数のビデオシーケンスのそれぞれは、前記デジタルビデオデータのイメージフレームセットを含む−を有するデータベース構築方法において、前記各ビデオシーケンスの前記各イメージフレームをＬ個(Ｌは正の整数)の副画像(ｓｕｂ−ｉｍａｇｅ)−前記各副画像は、Ｓ ｘ Ｔ個(Ｓ及びＴはそれぞれ正の整数)のイメージブロック(ｉｍａｇｅ−ｂｌｏｃｋ)にさらに分割される−に分割する第１ステップと、前記各イメージブロックに対し、５個の基準エッジ(ｒｅｆｅｒｅｎｃｅ ｅｄｇｅ)−前記基準エッジは、４個の方向性(ｄｉｒｅｃｔｉｏｎａｌ)エッジ及び１個の無方向性(ｎｏｎ−ｄｉｒｅｃｔｉｏｎａｌ)エッジを含む−のうち何れか１つを割り当て、前記各イメージフレームに対してＬ個のエッジヒストグラム(ｅｄｇｅ ｈｉｓｔｏｇｒａｍ)−前記エッジヒストグラムは、Ｍ個のエッジヒストグラムビンの(ｅｄｇｅ ｈｉｓｔｏｇｒａｍ ｂｉｎ)を含む−を生成する第２ステップと、
前記各エッジヒストグラムに含まれた前記エッジヒストグラムビンを、Ｓ ｘ Ｔに正規化し、前記各イメージフレームに対してＭ個の正規化されたエッジヒストグラムビンを生成する第３ステップと、前記各イメージフレームの正規化されたエッジヒストグラムビンに基づいて、前記各ビデオシーケンスに対するＬ個の代表(ｒｅｐｒｅｓｅｎｔａｔｉｖｅ)エッジヒストグラムを生成するために前記各ビデオシーケンスに対してＭ個の代表エッジヒストグラムビンを計算する第４ステップと、前記データベースに格納される前記各代表エッジヒストグラムに対する第２イメージ記述子としてＭ個の量子化インデックス値を生成するために、前記代表エッジヒストグラムビンを非線形的に量子化する第５ステップとを含むことを特徴とする方法を提供する。

また、前記のような目的を達成するために本発明は、データベースを基盤に、質疑ビデオシーケンスに対するデジタルビデオデータのイメージフレームセットを有する対応するビデオシーケンスを検索する方法において、前記質疑ビデオシーケンスに対するイメージ記述子として、前記質疑ビデオシーケンスのＬ個(Ｌは正の整数)代表エッジヒストグラム−前記各代表エッジヒストグラムは、前記質疑ビデオシーケンスに含まれたイメージフレームの副画像に含まれた５個の基準エッジの代表空間分布を示し、前記基準エッジは、４個の方向性エッジと１個の無方向性エッジを含む−を計算する第１ステップと、デジタルビデオデータ情報に基づき、前記データベースからビデオシーケンスに対する複数のイメージ記述子−前記各ビデオシーケンスに対する各イメージ記述子は、前記各ビデオシーケンスに対するＬ個の代表エッジヒストグラムビンを含む−を抽出する第２ステップと、前記質疑ビデオシーケンスに対するイメージ記述子を、前記各ビデオシーケンスに対する前記各イメージ記述子と比較し、比較結果を生成する第３ステップと、前記比較結果によって、前記質疑ビデオシーケンスと類似の少なくとも１つのビデオシーケンスを検索する第４ステップとを含むことを特徴とする方法を提供する。

また、前記のような目的を達成するために本発明は、それぞれが複数のデジタルビデオデータイメージフレームを有するビデオシーケンスに対するイメージ記述子を抽出する方法において、対象イメージフレームとしてイメージフレームのうち何れか１つを選択する第１ステップと、前記対象イメージのＬ個のエッジヒストグラム−前記エッジヒストグラムそれぞれは、５個の正規化されたエッジヒストグラムビンを有して、副画像に５個の基準エッジの空間分布を示し、前記基準エッジは４個の方向性エッジ及び１個の無方向性エッジを含む−を生成するために、Ｌｘ５個(Ｌは正の整数)の正規化されたエッジヒストグラムビンを計算する第２ステップと、対象イメージとして、次のイメージフレームを選択する第３ステップと、全てのイメージフレームのＬ個のエッジヒストグラムが計算されるまで、前記第２ステップ及び第３ステップを繰り返す第４ステップと、前記各イメージフレームのＬ個のエッジヒストグラムに基づき、前記ビデオシーケンスに対するＬｘ５個の正規化されたエッジヒストグラムビンを有する代表エッジヒストグラムを計算する第５ステップと、前記ビデオシーケンスに対するイメージ記述子として、Ｌｘ５個の量子化インデックス値を生成するために前記代表エッジヒストグラムのＬｘ５個の正規化されたエッジヒストグラムビンを非線形的に量子化する第６ステップと、前記Ｌｘ５個の量子化インデックス値を前記データベースに格納する第７ステップとを含むことを特徴とする方法を提供する。

前記のような本発明は、複数のイメージフレームを有するビデオシーケンスに対する量子化インデックス値を格納するのに必要なビットの数が非常に減少できる。また、類似度の演算の複雑度は、非線形量子化によって、非常に減少できる。

また、本発明は、エッジヒストグラム記述子を利用してテクスチャビデオを含むデジタルビデオデータを効率的に検索できる。

以下の内容は、ただ本発明の原理を例示する。したがって、当業者は、本明細書に明確に説明されるか、または図示できなかったが、本発明の原理を具現して本発明の概念と範囲とに含まれた多様な装置を発明できるものである。また、本明細書に列挙された全ての条件付き用語及び実施の形態は原則的に、本発明の概念が分かるようにするための目的としてだけ明確に意図され、このように特別に列挙された実施の形態及び状態に制約的ではないものと理解しなければならない。また、本発明の原理、観点及び実施の形態だけでなく、特定実施の形態を列挙する全ての詳細な説明は、このような事項の構造的及び機能的均等物を含むように意図されなければならないと理解しなければならない。また、このような均等物は、現在公知された均等物だけでなく、将来に開発される均等物、すなわち構造と関係がなく同じ機能を行うように発明された全ての素子を含むこと理解しなければならない。したがって、例えば、本明細書のブロック図は、本発明の原理を具体化する例示的な回路の概念的な観点を示すものと理解しなければならない。これと同様にし、全てのフローチャート、状態変換図、意思コードなどは、コンピュータが読み取り可能な媒体に実質的に示すことができ、コンピュータまたはプロセッサが明確に図示されたのか否かを問わず、コンピュータまたはプロセッサによって行われる多様なプロセスを示すものと理解しなければならない。

プロセッサ、またはこれと類似の概念で表示された機能ブロックを含む図に示す多様な素子の機能は、専用ハードウェアだけでなく、適切なソフトウェアと関連してソフトウェアを実行する能力を有するハードウェアの使用として提供され得る。プロセッサにより提供されている時、前記機能は、単一専用プロセッサ、単一共有プロセッサ、または複数の個別的プロセッサにより提供され得り、これらのうちの一部は共有できる。またプロセッサ、制御がまたはこれと類似の概念で提示される用語の明確な使用は、ソフトウェアを実行する能力を有したハードウェアを排他的に引用して解析されるか否か、制限無しでデジタル信号プロセッサ(ＤＳＰハードウェア、ソフトウェアを格納するためのロム(ＲＯＭ)、ラム(ＲＡＭ)及び非揮発性メモリを暗示的に含むものと理解しなければならない。周知寛容の他のハードウェアも含まれ得る。同様に、図に示しているスイッチは、概念的にだけ提示されたものであり得る。このようなスイッチの作用は、プログラムロジックまたは専用ロジックを通してプログラム制御及び専用ロジックの相互作用を通してか、または手動で行うことができるものと理解しなければならない。特定の技術は、本明細書のさらに詳細な理解として設計者によって選択され得る。

本明細書の請求の範囲において、詳細な説明に記載された機能を行うための手段として表現された構成要素は、例えば、前記機能を行う回路素子の組み合わせまたはファームウェア/マイクロコードなどを含む全ての形式のソフトウェアを含む機能を行う全ての方法を含むものとして意図され、上記の機能を行うように、上記ソフトウェアを実行するための適切な回路と組み合わせられる。このような請求の範囲により定義される本発明は、多様に列挙された手段により提供される機能などが結合され、請求項が要求する方式と結合されるため、上記の機能を提供できるいかなる手段も本明細書から把握されるものと均等なものとして理解しなければならない。

上述した目的、特徴及び長所などは、添付された図面と関連した次の詳細な説明を通してより明確になるだろう。まず、各図面の構成要素などに参照番号を付することにおいて、同じ構成要素などに限っては、例え、異なる図面上に表示されても、できるだけ同じ番号を持つようにしていることに留意しなければならない。また、本発明を説明するにおいて、関連した公知技術に対する具体的な説明が本発明の要旨を不必要にする恐れがあると判断される場合、その詳細な説明を省略する。以下、添付された図面を参照して本発明に係る好ましい実施例を詳細に説明する。

図１Ａは、本発明の一実施の形態によって対応するビデオシーケンスに対する複数のイメージ記述子を構成するための並列プロセスを示すブロック図である。図に示しているように、対象ビデオシーケンスは、複数のイメージフレームを含み各イメージフレームのエッジヒストグラムが同時に生成される。

処理ブロック(Ｓ１０１)でＫ個のイメージフレームが、処理ブロック(Ｓ１０２)に入力される。処理ブロック(Ｓ１０２)で、各イメージフレームは、Ｎ ｘ Ｎ個(Ｎは正の整数)、例えば４ ｘ ４個の副画像に分割される。各イメージフレームに対する副画像は、処理ブロック(Ｓ１０３)に送信されてビデオシーケンスの各イメージフレームに対するエッジヒストグラムが生成される。すなわち、各副画像に対するエッジヒストグラムが複数のエッジによって獲得され、各イメージフレームに対する８０個の正規化された局部(ｌｏｃａｌ)エッジヒストグラムビンが処理ブロック(Ｓ１０４)に送信される。

処理ブロック(Ｓ１０４)で、ビデオシーケンスに含まれた各イメージフレームの８０個の正規化されたエッジヒストグラムビンに基づいて、代表エッジヒストグラムビンの８０個を計算することによって、第１イメージ記述子として対象ビデオシーケンスの代表エッジヒストグラムが計算される。

各代表エッジヒストグラムビンは、各イメージフレームの対応する正規化されたエッジヒストグラムビンの平均値(ｍｅａｎ ｖａｌｕｅ)、または中間値(ｍｅｄｉａｎ ｖａｌｕｅ)のうち何れか１つであり得る。また、各代表エッジヒストグラムビンは、対応する正規化されたエッジヒストグラムビン間のインターセクション値(ｉｎｔｅｒｓｅｃｔｉｏｎ ｖａｌｕｅ)、またはキー値(ｋｅｙ ｖａｌｕｅ)を選択し、各イメージフレームの対応する正規化されたエッジヒストグラムビンのうち何れか１つにすることができる。

一方、代表エッジヒストグラムを計算した後、オブジェクトの変化図(ｖａｒｉａｔｉｏｎ)を示す他の統計値を代表エッジヒストグラムを有する要求されるビデオシーケンスを検索するのに利用できる。他の統計値は、２個以上のイメージフレームの差を示す分散(ｖａｒｉａｎｃｅ)を含む。

処理ブロック(Ｓ１０５)で、代表エッジヒストグラムは非線形的に量子化されて対応する第２イメージ記述子、例えば、量子化インデックス値グループが生成される。

次に、対象ビデオシーケンスに対する第２イメージ記述子は、データベース(Ｓ１０６)に入力されて格納される。前記プロセスは、データベースに格納される複数のビデオシーケンスを利用して行われる。

図１Ｂは、本発明によってデジタルビデオデータのイメージフレームセットを含むビデオシーケンスのそれぞれに対する複数のイメージ記述子を有するデータベースを構成するための直列プロセスを説明するためのフローチャートである。

上述のように、ビデオシーケンスは、複数のイメージフレームを有して、各イメージフレームのエッジヒストグラムが直列的に生成されて代表エッジヒストグラムが獲得される。

ステップＳ１１０で、ビデオシーケンスのイメージフレームの１つが、対象イメージフレームに選ばれる。ステップＳ１１１で、選ばれたイメージフレームは、Ｎ ｘ Ｎ個、例えば、４ ｘ ４個の副画像に分割される。ステップＳ１１２で、エッジヒストグラムが副画像から抽出される。ステップＳ１１３で、全ての副画像のエッジヒストグラムが生成されたのか判断される。全ての副画像のエッジヒストグラムが生成されない場合には、ステップＳ１１４で次の副画像が選択され、次の副画像のエッジヒストグラムがステップＳ１１２で生成される。全ての副画像のエッジヒストグラムが生成された場合には、ステップＳ１１５でビデオシーケンスの次に、イメージフレームを選択するために整数Ｋが１つ増加される。次いで、ステップＳ１１６で、ビデオシーケンスの全てのイメージフレームが選択されたのか判断される。ビデオシーケンスの全てのイメージフレームが選択されない場合には、次のイメージフレームが新しい対象フレームとして選択され、前記ステップＳ１１０ないしステップＳ１１５が繰り返される。すなわち、各副画像に対するエッジヒストグラムが、各副画像に含まれた複数のエッジによって獲得され、各イメージフレームに対する８０個の正規化された局部エッジヒストグラムビンが獲得される。

ビデオシーケンスに含まれた全てのイメージフレームの全てのエッジヒストグラムが生成された後、ステップＳ１１７で、各イメージフレームの８０個の正規化されたエッジヒストグラムビンに基づいて、８０個の代表エッジヒストグラムビンを計算することによって、第１イメージ記述子として代表エッジヒストグラムが生成される。各代表エッジヒストグラムビンは、全てのイメージフレームの対応する正規化された局部エッジヒストグラムビンの平均値、または中間値のうち何れか１つになることができる。また、各代表エッジヒストグラムビンは、正規化されたエッジヒストグラムビンの間のインターセクション値、またはキー値を選択し、全てのイメージフレームの対応する正規化された局部エッジヒストグラムビンのうち何れか１つにすることができる。

ステップＳ１１８において、代表エッジヒストグラムは、非線形的に量子化されて対応する第２イメージ記述子、例えば、量子化インデックス値グループが生成される。次いで、ビデオシーケンスに対する第２イメージ記述子は、データベースに入力されて格納される。前記プロセスは、全てのビデオシーケンスがデータベースに格納されるまで繰り返される。

図１Ｃは、本発明の他の実施の形態によって、デジタルビデオデータのイメージフレームを有する対応するビデオシーケンスに対する複数のイメージ記述子を有するデータベースを構成するための直列プロセスを説明するためのフローチャートである。図に示しているように、図１Ｃのフローチャートは、ステップＳ１１９を除いては、図１Ｂのフローチャートと同じである。したがって便宜上ステップＳ１１０ないしステップＳ１１７の説明は省略する。

ステップＳ１１７で代表エッジヒストグラムが生成された後、ステップＳ１１９では、２個以上のイメージフレーム間の差を示す変化値(ｖａｒｉａｔｉｏｎ ｖａｌｕｅ)が計算される。変化値は、デジタルビデオデータに含まれた各イメージフレームのエッジヒストグラムに対する変化図も計算することによって獲得できる。オブジェクトの変化度も示す変化値はまた要求されるビデオシーケンスを検索するのに利用される。分散または標準偏差(Ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ)が変化値になることができる。分散は、代表エッジヒストグラムのようにデジタルビデオデータを詳細に検索するのに利用され得る。

図２ないし図６は、図１で説明された第１イメージ記述子を獲得するプロセスを説明するための図であり、図２は、イメージ記述子によって表現される１６個の副画像を有するイメージを説明するための図、図３Ａないし３Ｅは、本発明によってエッジ決定プロセスに用いられる５種類のエッジを説明するための図、図４は、それぞれのフィルタ係数が割り当てられた４個の副ブロックに分割されたイメージブロックを説明するための図、図５Ａないし５Ｅは、イメージブロックであり、各イメージブロックの副ブロックに５個のエッジに対する対応フィルタ係数が割り当てられたイメージブロックを説明するための図、図６は、各イメージフレームに対応する８０個のエッジヒストグラムビンの配列を説明するための図である。

図２に示しているように、ビデオシーケンスに含まれた各イメージフレームの対応するエッジヒストグラムを獲得するために、デジタルビデオデータの入力イメージ２００は４ ｘ ４個の重ならない(ｎｏｎ−ｏｖｅｒｌａｐｐｉｎｇ)副画像に分割され、１６個の長方形の副画像(２１１ないし２２６)を形成する。それぞれの副画像は、多数のピクセルを含む。

エッジヒストグラムを抽出するために各副画像は、Ｍ ｘ Ｔ個の重ならない正四角形のイメージブロックに分割される。イメージブロックの大きさは、イメージの大きさによって決定される。各イメージブロックは、エッジのうち何れか１つを用いて、イメージブロックが記述されるエッジ決定過程で用いられる。

本発明の一実施の形態によって、図３Ａないし３Ｅに示しているように、エッジ決定過程には、５個のエッジが含まれ、そのうちの１つのエッジがイメージブロックに対して選択される。エッジは垂直エッジ、水平エッジ、４５゜エッジ及び１３５゜エッジ(３０１、３０３、３０５及び３０７)のような方向性(ｄｉｒｅｃｔｉｏｎａｌ)エッジ及び特定方向を指さない、少なくとも１つのエッジを含む無方向性(ｎｏｎ−ｄｉｒｅｃｔｉｏｎａｌ)エッジを含む。

副画像に対するエッジヒストグラムを生成するために、イメージブロックからエッジ特徴を探し出すことが必要である。すなわち、エッジ決定過程は、イメージブロックにどのようなエッジを割り当てるのか決定するために行われる。このようなエッジ抽出は、空間領域でデジタルフィルタを適用する方法を利用して行われる。

図４に示しているように、エッジ決定過程でイメージブロックは、４個の副ブロックに分割される。すなわち、図に示しているように、図面符号４００は、イメージブロックを、図面符号４１１、４１３、４１５及び４１７は、それぞれ副ブロックを示す。副ブロックは、イメージブロック４００に対し０、１、２及び３にレーベルされる。ここで、各副ブロックに対応するフィルタ係数が割り当てられてエッジの大きさのセットが獲得できる。

本発明の一実施の形態によると、各イメージブロック４００は、２ ｘ ２個の副ブロックに分割され、各副ブロックは、０、１、２、または３にレーベルされる。

各イメージブロックに対し、次の数式を用いて５個種類のエッジに対応する５個のエッジの大きさのセットが獲得される。

前記数式１ないし数式５で、ｍｖ(ｉ，ｊ)、ｍｈ(ｉ，ｊ)、ｍｄ−４５(ｉ，ｊ)、ｍｄ−１３５(ｉ，ｊ)及びｍｎｄ(ｉ，ｊ)それぞれは、(ｉ，ｊ)番目イメージブロックに対する垂直エッジ、水平エッジ、４５゜エッジ、１３５゜エッジ及び無方向性エッジの大きさ、ａｋ(ｉ，ｊ)は、(ｉ，ｊ)番目イメージブロックでＫに割り当てられた副ブロックに対する平均グレイレベル(ｇｒｅｙ ｌｅｖｅｌ)、ｆｖ(ｋ)、ｆｈ(ｋ)、ｆｄ−４５(ｋ)、ｆｄ−１３５(ｋ)及びｆｎｄ(ｋ)は、それぞれＫに割り当てられた副ブロックで垂直エッジ、水平エッジ、４５゜エッジ、１３５゜エッジ及び無方向性エッジに対するフィルタ係数を意味する。ここでＫ=０、１、２及び３は、それぞれの副ブロックにレーベルリングされる数を示す。

図５Ａないし図５Ｅは、各エッジに対するフィルタ係数を示す。図に示しているように、図面符号５０１、５０３、５０５、５０７及び５０９は、それぞれ前記垂直エッジ、水平エッジ、４５゜エッジ、１３５゜エッジ及び無方向性エッジに対するフィルタ係数を示す。各イメージブロックは、５個のエッジの大きさのうちで選択されたエッジの大きさを利用して表現できる。ここで、それぞれの大きさは、各エッジに対して計算される。

１つのイメージブロックに対応するエッジを決定するために、前記数式を通して獲得された５個のエッジの大きさが相互に比較される。比較結果、最大エッジの大きさを有するエッジによってイメージブロックが表現される。ここで、最大エッジの大きさは、所定の臨界値より大きくなければならない。万一、最大エッジの大きさが、所定臨界値より小さい場合、当該イメージブロックは、エッジを含まないものと決定される。

エッジの大きさの比較結果として、イメージブロックに対するエッジが決定されると、副画像に対する対応エッジヒストグラムビンが１つ増加される。エッジヒストグラムビンには、垂直ビン、水平ビン、４５゜ビン、１３５゜ビン及び無方向性ビンの５個の種類がある。５個のエッジヒストグラムビンは、エッジヒストグラムを表現するための構成要素である。副画像に含まれた全てのイメージブロックに対する対応エッジが検出された後、検出された各エッジに対応するエッジヒストグラムビンが１つ増加され、局部エッジヒストグラムという副画像に対するエッジヒストグラムが生成される。１６個の副画像全てに対し、エッジ検出過程及びエッジヒストグラム生成過程が行われる。

局部エッジヒストグラムは、１つの副画像に含まれた５個のエッジの分布を示す。すなわち、１つの副画像に対するエッジヒストグラムを示す。副画像の数は、１６個に固定されており、各副画像には、５個のエッジヒストグラムビンが割り当てられているため、１６個の副画像の全てに対する対応局部エッジヒストグラムを生成するためには、８０個のエッジヒストグラムビンが必要である。すなわち、ビン番号(Ｂｉｎ Ｃｏｕｎｔｓ)の各ビンの意味は、表１のように定義される。

ここで、ビン番号[０]、ビン番号[１]、...、ビン番号[７９]は、それぞれエッジヒストグラム記述子に対するインコーディングされたビンを示す。

図６は、１つのビデオシーケンスに含まれた各イメージフレームに対応する８０個のエッジヒストグラムビンの配列を示す説明図である。

例えば、図２のイメージ２００の(０，０)において、副画像２１１に対するエッジヒストグラムは、第１イメージフレームの垂直エッジヒストグラムビン、水平エッジヒストグラムビン、４５゜エッジヒストグラムビン、１３５゜エッジヒストグラムビン及び無方向性エッジヒストグラムビン(６００、６０１、６０２、６０３及び６０４)を含む。

図６では、ビン番号[１，０]、ビン番号[１，１]、ビン番号[１，３](図示せず)及びビン番号[１，４](図示せず)で示されている。同じように、図２の(０，１)で副画像２１２に対する局部エッジヒストグラムは、５個のエッジヒストグラムビンの(６０５、６０６、６０７、６０８及び６０９)を副画像２１１に対するビンと同じ順序で含む。

図６では、ビン番号[１，５]、ビン番号[１，６]、ビン番号[１，７]及びビン番号[１，９](図示せず)で示されている。したがって、１６個の副画像全てに対する１６個のエッジヒストグラムのそれぞれを生成するためには、総８０個のエッジヒストグラムビンが必要である。ここで、８０個のビンは、５個のエッジヒストグラムビンを１６個の副画像に掛け算することで計算される。

ビデオシーケンスの各イメージフレームに対するエッジヒストグラムを獲得するために、１つの副画像に対する局部エッジヒストグラムの各エッジヒストグラムビンは、各ビンを副画像に含まれたイメージブロックの総数で除算して正規化される。したがって、局部エッジヒストグラムに対するエッジヒストグラムビンのそれぞれは、０から１までの範囲にあるビン値を有するようになる。

デジタルビデオデータに含まれた各イメージフレームの全てのエッジヒストグラムを計算した後、ビデオシーケンスに含まれたイメージフレームの８０個の正規化された局部エッジヒストグラムビンに基づいて、８０個の代表エッジヒストグラムビンを計算することによって、第１イメージ記述子としてビデオシーケンスの代表エッジヒストグラムが計算される。

各代表エッジヒストグラムビンは、全てのイメージフレームに含まれた対応する正規化されたエッジヒストグラムビンの平均値、または中間値のうち何れか１つになることができる。また、各代表エッジヒストグラムビンは、同じ位置の局部エッジヒストグラムビンの間のインターセクション値、またはキー値を選択して全てのイメージフレームの対応する正規化されたエッジヒストグラムビンのうち何れか１つにすることができる。

例えば、代表エッジヒストグラムを計算するために平均値が使われる場合、代表エッジヒストグラムは次のように計算される。

図６に示しているように、各イメージフレームに対する同一位置の対応エッジヒストグラムビンが合算され、ビデオシーケンスに含まれたフレームの個数で除算され、代表エッジヒストグラムビンが生成される。例えば、対応エッジヒストグラムビンのビン番号[Ｋ，０]、ビン番号[Ｋ−１，０]、...、ビン番号[１，０]が合算され、フレームの個数で除算されて代表エッジヒストグラムビンのビン番号[０]が生成される。全ての他のエッジヒストグラムビンもまた合算され、デジタルビデオデータのフレーム個数で除算され、ビン番号[０]、ビン番号[１]、...、ビン番号[７９]のような代表エッジヒストグラムビンが生成される。全ての代表エッジヒストグラムビンが計算された後、上述のように、ビデオシーケンスの代表エッジヒストグラムは、ビデオシーケンスの第１イメージ記述子として格納される。

デジタルビデオデータに含まれた代表エッジヒストグラムの正規化されたビン値は、図１Ａの処理ブロック(Ｓ１０５)に送信される。処理ブロック(Ｓ１０５)で、代表エッジヒストグラムは、多数の量子化テーブルを利用して非線形的に量子化される。

すなわち、第２イメージ記述子を獲得するために正規化ビン値は、量子化され、二進表現で獲得される。量子化は、代表エッジヒストグラムの正規化された８０個ビン値に対して行われる。ここで、正規化ビン値は、非線形的に量子化されるため、前記二進表現のために用いられる全体ビット数は、最小化される。前記プロセスは、データベースに格納される全てのビデオシーケンスに対して行われる。

その結果、量子化索引値グループが、第２イメージ記述子として獲得される。非線形量子化は、例えば、本発明の一実施の形態によって、ロイド−マックス(Ｌｌｏｙｄ−Ｍａｘ)アルゴリズムで設計された非線形量子化器を用いて実行される。

量子化を行うために、表２ないし表６のように垂直エッジヒストグラムビン、水平エッジヒストグラムビン、４５゜エッジヒストグラムビン、１３５゜エッジヒストグラムビン及び無方向性エッジヒストグラムビンに対する５個の非線形量子化テーブルがそれぞれ用いられる。

ここで、本発明によると、８個の量子化レベルを有するためには、量子化テーブルでビット/ビンの最適数は３に固定される。第２イメージ記述子は、データベース(Ｓ１０６)に格納され、質疑イメージ入力に応答して検索される。

図７は、本発明によって、質疑ビデオシーケンスの入力に応答して要求されるビデオシーケンスを検索するプロセスを説明するための図である。

質疑イメージは、受信される場合、質疑ビデオシーケンスは図１Ａの処理ブロック(Ｓ１０１)及び処理ブロック(Ｓ１０３)で処理される。すなわち、質疑ビデオシーケンスに対する各イメージフレームのエッジヒストグラムは、上述のような方法で獲得され、質疑ビデオシーケンスに対する各イメージフレームのエッジヒストグラムは、質疑ビデオシーケンスに対する正規化されたエッジヒストグラムを含む。

次に、ビデオシーケンスに含まれた各イメージフレームの局部エッジヒストグラム、ビデオシーケンスの代表エッジヒストグラム、質疑ビデオシーケンスに対する全域(ｇｌｏｂａｌ)エッジヒストグラム及び半−全域(ｓｅｍｉ−ｇｌｏｂａｌ)ヒストグラムがイメージ記述子である正規化エッジヒストグラムビンに基づいて生成される。全域エッジヒストグラムは、全体イメージ区域でのエッジ分布を示す。全域エッジヒストグラム及び半−全域ヒストグラムは以下でさらに詳細に記述される。

一方、図７には、本発明の好ましい実施の形態によって、多数の非線形逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)テーブルを利用することによって、質疑ビデオシーケンスの入力に応じて要求されるデジタルビデオデータを検索する方法が示されている。ここで、非線形逆量子化テーブルは、前記表２ないし表６がなり得る。

質疑ビデオシーケンスが入力されると、処理ブロック(Ｓ１０１)と同じ過程、すなわち、イメージ分割過程が処理ブロック(Ｓ７０１)で実行される。

処理ブロック(Ｓ７０２)では、処理ブロック(Ｓ１０３)と同じ過程、すなわち、各イメージフレームのエッジヒストグラム生成過程が実行される。

処理ブロック(Ｓ７０３)では、ビデオシーケンスに含まれた各イメージフレームのエッジヒストグラムに基づいて、ビデオシーケンスの代表エッジヒストグラムが生成される。

ビデオシーケンスの代表エッジヒストグラムが計算された後、図１Ａの処理ブロック(Ｓ１０５)と同じように非線形量子化過程が行われる。

高い検索性能を得るために、質疑ビデオシーケンスに対する全域エッジヒストグラム及び半−全域エッジヒストグラムは、代表エッジヒストグラムの非線形逆量子化過程(Ｓ７０４)後、処理ブロック(Ｓ７０３)で生成された代表エッジヒストグラムビンに基づいて、さらに生成され得る。

データマッチング過程において、各ビデオシーケンスに対する複数の第２イメージ記述子が事前設定されたデータベース(Ｓ１０７)から順次に検索される。格納されている対象ビデオシーケンスにおいて、量子化インデックス値グループが検索され、非線形逆量子化テーブル(Ｓ７０４)に送信される。非線形逆量子化テーブルの利用を通して量子化インデックス値が検索されたビデオシーケンスに対する正規化されたエッジヒストグラムビンに変換される。

処理ブロック(Ｓ７０５)で、要求されるビデオシーケンス検索のために質疑ビデオシーケンスの代表エッジヒストグラム及び検索されたビデオシーケンスが比較される。

検索されたビデオシーケンスと質疑ビデオシーケンスとの詳細なマッチングのために、全域エッジヒストグラム及び半−全域エッジヒストグラムが利用され得る。例えば、データマッチング処理ブロック(Ｓ７０５)は、全域エッジヒストグラム及び半−全域エッジヒストグラムを利用して説明される。

正規化エッジヒストグラムビンは、ビデオシーケンスの代表エッジヒストグラム、質疑ビデオシーケンスに対する全域エッジヒストグラム及び半−全域エッジヒストグラムを抽出するのに用いられる。すなわち、検索性能を高めるために、正規化された代表エッジヒストグラムビンの、全域エッジヒストグラム及び半−全域エッジヒストグラムを有する代表エッジヒストグラムが、データマッチング過程で検索ビデオシーケンスに対するイメージ記述子として利用される。

本発明の出願人が出願した「ＮＯＮ−ＬＩＮＥＡＲ ＱＵＡＮＴＩＺＡＴＩＯＮ ＡＮＤ ＳＩＭＩＬＡＲＩＴＹ ＭＡＴＣＨＩＮＧ ＭＥＴＨＯＤ ＦＯＲ ＲＥＴＲＩＥＶＩＮＧ ＩＭＡＧＥ ＤＡＴＡ」という名称の２００１年１０月１８日出願の米国出願(特許文献２参照)およびこれに対応する２００２年０４月２５日公開のＰＣＴ出願（特許文献３参照)は、全域エッジヒストグラム及び半−全域エッジヒストグラムの生成に対して詳細に開示しており、その開示される事項は、本明細書で参照することによって結合する。

データマッチング過程(Ｓ７０５)で、質疑ビデオシーケンスＡと対象ビデオシーケンスＢとの代表エッジヒストグラム、半−全域エッジヒストグラム及び全域エッジヒストグラムの間の距離を計算することによって、２ビデオ間の類似度が次のように決定される。

ここで、Ｌｏｃａｌ_Ａ[ｉ]とＬｏｃａｌ_Ｂ[ｉ]とは、それぞれビデオシーケンスＡ及びＢの代表エッジヒストグラムそれぞれのｉ番目ビンに割り当てられたインデックス値、Ｇｌｏｂａｌ_Ａ[]及びＧｌｏｂａｌ_Ｂ[]は、それぞれデジタルビデオデータＡ及びＢの全域エッジヒストグラムそれぞれのｉ番目ビンに割り当てられたインデックス値、Ｓｅｍｉ_Ｇｌｏｂａｌ_Ａ[]及びＳｅｍｉ_Ｇｌｏｂａｌ_Ｂ[]は、それぞれビデオシーケンスＡ及びＢの半−全域エッジヒストグラムそれぞれのｉ番目ビンに割り当てられたインデックス値を示す。全域エッジヒストグラムに対するビンの個数は代表エッジヒストグラム及び半−全域エッジヒストグラムのそれより相対的に小さいため、加重値５が前記数式に適用される。

上述のように、数式６を利用して逆量子化テーブルを参照することによって、２個のデジタルビデオデータＡとＢとの間の類似度が測定できる。この場合、イメージに対する代表エッジヒストグラムビン値は、逆量子化テーブルを参照してデコーディングされるため、数式６は正確な検索のための応用分野で広く用いられる。ここで、逆量子化テーブルそれぞれは、表２ないし表６に示されたエッジ量子化テーブルそれぞれに対応する。

前記過程は、全てのビデオシーケンスが処理されるまで繰り返される。

尚、本発明は、上記した本実施の形態に限られるものではなく、本発明の技術的思想から逸脱しない範囲内で多様に変更が可能であり、それらも本発明の技術的範囲に属する。

本発明の一実施の形態によって、ビデオシーケンスに対する複数のイメージ記述子を有するデータベースを構成するための並列プロセスを示すブロック図である。 本発明の他の実施の形態によって、ビデオシーケンスに対する複数のイメージ記述子を有するデータベースを構成するための直列プロセスを説明するためのフローチャート。 本発明のもう１つの実施の形態によって、ビデオシーケンスに対する複数のイメージ記述子を有するデータベースを構成するための直列プロセスを説明するためのフローチャートである。 イメージ記述子によって、表現される１６個の副画像を有するイメージを説明するための図である。 本発明によって、エッジ決定プロセスに用いられる５種類のエッジを説明するための図である。 本発明によって、エッジ決定プロセスに用いられる５種類のエッジを説明するための図である。 本発明によって、エッジ決定プロセスに用いられる５種類のエッジを説明するための図である。 本発明によって、エッジ決定プロセスに用いられる５種類のエッジを説明するための図である。 本発明によって、エッジ決定プロセスに用いられる５種類のエッジを説明するための図である。 それぞれのフィルタ係数が割り当てられた４個の副ブロックに分割されたイメージブロックを説明するための図である。 イメージブロックとして、各イメージブロックの副ブロックに５個のエッジに対する対応フィルタ係数が割り当てられたイメージブロックを説明するための図である。 イメージブロックとして、各イメージブロックの副ブロックに５個のエッジに対する対応フィルタ係数が割り当てられたイメージブロックを説明するための図である。 イメージブロックとして、各イメージブロックの副ブロックに５個のエッジに対する対応フィルタ係数が割り当てられたイメージブロックを説明するための図である。 イメージブロックとして、各イメージブロックの副ブロックに５個のエッジに対する対応フィルタ係数が割り当てられたイメージブロックを説明するための図である。 イメージブロックとして、各イメージブロックの副ブロックに５個のエッジに対する対応フィルタ係数が割り当てられたイメージブロックを説明するための図である。 各イメージフレームに対応する８０個のエッジヒストグラムビンの配列を説明するための図である。 本発明によって質疑ビデオシーケンスに応答して、要求されるビデオシーケンスを検索するプロセスを説明するための図である。

Claims (41)

1. 複数のビデオシーケンスを表現するデジタルビデオデータ情報−前記複数のビデオシーケンスのそれぞれは、前記デジタルビデオデータのイメージフレームセットを含む−を有するデータベース構築方法において、
   前記各ビデオシーケンスの前記各イメージフレームをＬ個（Ｌは正の整数）の副画像（ｓｕｂ−ｉｍａｇｅ）−前記各副画像は、Ｓ ｘ Ｔ個（Ｓ及びＴはそれぞれ正の整数）のイメージブロック（ｉｍａｇｅ−ｂｌｏｃｋ）にさらに分割される−に分割する第１ステップと、
   前記各イメージブロックに対し、５個の基準エッジ（ｒｅｆｅｒｅｎｃｅ ｅｄｇｅ）−前記基準エッジは、４個の方向性（ｄｉｒｅｃｔｉｏｎａｌ）エッジ及び１個の無方向性（ｎｏｎ−ｄｉｒｅｃｔｉｏｎａｌ）エッジを含む−のうち何れか１つを割り当て、前記各イメージフレームに対してＬ個のエッジヒストグラム（ｅｄｇｅ ｈｉｓｔｏｇｒａｍ）−前記エッジヒストグラムは、Ｍ個のエッジヒストグラムビン（ｅｄｇｅ ｈｉｓｔｏｇｒａｍ ｂｉｎ）を含む−を生成する第２ステップと、
   前記各エッジヒストグラムに含まれた前記エッジヒストグラムビンを、Ｓ ｘ Ｔに正規化し、前記各イメージフレームに対してＭ個の正規化されたエッジヒストグラムビンを生成する第３ステップと、
   前記各イメージフレームの正規化されたエッジヒストグラムビンに基づいて、前記各ビデオシーケンスに対するＬ個の代表（ｒｅｐｒｅｓｅｎｔａｔｉｖｅ）エッジヒストグラムを生成するために、前記各ビデオシーケンスに対してＭ個の代表エッジヒストグラムビンを計算する第４ステップと、
   前記データベースに格納される前記各代表エッジヒストグラムに対する第２イメージ記述子としてＭ個の量子化インデックス値を生成するために、前記代表エッジヒストグラムビンを非線形的に量子化する第５ステップと
   を含むことを特徴とする方法。
2. 前記方向性エッジが、
   垂直（ｖｅｒｔｉｃａｌ）エッジ、水平（ｈｏｒｉｚｏｎｔａｌ）エッジ、４５゜エッジ及び１３５゜エッジを含み、
   前記無方向性エッジが、
   前記４の方向性エッジを除外した、決まった方向がないエッジを示すことを特徴とする請求項１に記載の方法。
3. 前記垂直エッジ、水平エッジ、４５゜エッジ、１３５゜エッジ及び無方向性エッジが、
   それぞれ次のように示されることを特徴とする請求項２に記載の方法。
   

   
4. 前記第１ステップが、
   前記各イメージフレームをＮ ｘ Ｎ個（Ｎは正の整数）の重ならない（ｎｏｎ−ｏｖｅｒｌａｐｐｉｎｇ）副画像に分割し、Ｌ個の長方形の模様の副画像を生成する第１１ステップと、
   前記副画像をＳ ｘ Ｔ個の重ならないブロックに分割し、Ｓ ｘ Ｔ個の正四角形の模様のイメージブロックを生成する第１２ステップと
   を含むことを特徴とする請求項３に記載の方法。
5. 前記第２ステップが、
   前記各イメージブロックに前記基準エッジのうち何れか１つを割り当てる第２１ステップと、
   前記各イメージフレームに対してＬ個のエッジヒストグラムを生成するために、前記各副画像に含まれた各基準エッジの個数をカウントする第２２ステップと
   を含むことを特徴とする請求項４に記載の方法。
6. 前記第２１ステップが、
   各イメージブロックを２ ｘ ２個の副ブロックに分割する第２１１ステップと、
   対応フィルタ係数を前記各副ブロックに割り当てる第２１２ステップと、
   前記フィルタ係数を利用して前記各イメージブロックに対する５個のエッジに対応する５個のエッジの大きさのセットを計算する第２１３ステップと、
   前記計算されたエッジの大きさを相互に比較し、前記イメージブロックを最大エッジの大きさを有するエッジで示す第２１４ステップと
   を含むことを特徴とする請求項５に記載の方法。
7. 前記５個のエッジの大きさは次の５個の数式によって算出されることを特徴とする請求項６に記載の方法。
   

   

   

   

   

   

   （ただし、ｍｖ（ｉ，ｊ）、ｍｈ（ｉ，ｊ）、ｍｄ−４５（ｉ，ｊ）、ｍｄ−１３５（ｉ，ｊ）及びｍｎｄ（ｉ，ｊ）それぞれは、（ｉ，ｊ）番目イメージブロックに対する垂直エッジ、水平エッジ、４５゜エッジ、１３５゜エッジ及び無方向性エッジの大きさ、
   ａｋ（ｉ，ｊ）は、（ｉ，ｊ）番目イメージブロックでＫに割り当てられた副ブロックに対する平均グレイレベル（ｇｒｅｙ ｌｅｖｅｌ）、
   ｆｖ（ｋ）、ｆｈ（ｋ）、ｆｄ−４５（ｋ）、ｆｄ−１３５（ｋ）及びｆｎｄ（ｋ）は、それぞれＫに割り当てられた副ブロックで垂直エッジ、水平エッジ、４５゜エッジ、１３５゜エッジ及び無方向性エッジに対するフィルタ係数を意味する）
8. 前記最大エッジの大きさが所定の臨界値より小さい場合、前記イメージブロックはエッジを１つも含まないものとして取扱うことを特徴とする請求項６に記載の方法。
9. 前記代表エッジヒストグラムビンが、
   前記ビデオシーケンスのイメージフレームの対応するエッジヒストグラムビンの平均値に基づいて、計算されることを特徴とする請求項１に記載の方法。
10. 前記第５ステップが、
    前記各基準エッジに対応する５個の非線形量子化テーブルのうちで対応する非線形量子化テーブルを利用して、前記各代表エッジヒストグラムビンを非線形的に量子化する第５１ステップを含むことを特徴とする請求項１に記載の方法。
11. 前記第５１ステップが、
    前記各代表エッジヒストグラムビンを、前記各対応基準エッジ量子化テーブルに含まれた代表値でマッピングする第５２１ステップと、
    前記各代表エッジヒストグラムビンに対する代表値を示す量子化インデックス値３ビットを生成し、前記ビデオシーケンスに対する第２イメージ記述子としてＬｘ５個の量子化インデックス値を生成する第５２２ステップと
    を含むことを特徴とする請求項１０に記載の方法。
12. 前記正規化エッジヒストグラムビンが、
    ロイド−マックス（Ｌｌｏｙｄ−Ｍａｘ）アルゴリズムを基盤とする非線形量子化器によって、非線形的に量子化されることを特徴とする請求項１０に記載の方法。
13. 前記Ｎは４であることを特徴とする請求項５に記載の方法。
14. 前記量子化テーブルが、
    下記表１のように前記副画像に垂直エッジの個数を示す垂直エッジヒストグラムビンに対するテーブルを含むことを特徴とする請求項１２に記載の方法。
    

    
15. 前記量子化テーブルが、下記表２のように前記副画像で水平エッジの個数を示す水平エッジヒストグラムビンに対するテーブルをさらに含むことを特徴とする請求項１２に記載の方法。
    

    
16. 前記量子化テーブルが、下記表３のように前記副画像で４５゜エッジの個数を示す４５゜エッジヒストグラムビンに対するテーブルをさらに含むことを特徴とする請求項１２に記載の方法。
    

    
17. 前記量子化テーブルが、下記表４のように前記副画像で１３５゜エッジの個数を示す１３５゜エッジヒストグラムビンに対するテーブルをさらに含むことを特徴とする請求項１２に記載の方法。
    

    
18. 前記量子化テーブルが、下記表５のように前記副画像で無方向性エッジの個数を示す無方向性エッジヒストグラムビンに対するテーブルをさらに含むことを特徴とする請求項１２に記載の方法。
    

    
19. 前記各エッジヒストグラムビンのビン番号(ＢｉｎＣｏｕｎｔ)は、次の表６のように定義されることを特徴とする請求項７に記載の方法。
    

    
20. 前記ビデオシーケンスの変化値（ｖａｒｉａｔｉｏｎ ｖａｌｕｅ）−前記変化値は、前記各イメージフレームの前記エッジヒストグラムの分散（ｖａｒｉａｎｃｅ）を含む−を計算し、前記変化値を前記データベースに格納する第６ステップをさらに含むことを特徴とする請求項１に記載の方法。
21. データベースを基盤に、質疑ビデオシーケンスに対するデジタルビデオデータのイメージフレームセットを有する対応するビデオシーケンスを検索する方法において、
    前記質疑ビデオシーケンスに対するイメージ記述子として、前記質疑ビデオシーケンスのＬ個（Ｌは正の整数）代表エッジヒストグラム−前記各代表エッジヒストグラムは、前記質疑ビデオシーケンスに含まれたイメージフレームの副画像に含まれた５個の基準エッジの代表空間分布を示し、前記基準エッジは、４個の方向性エッジと１個の無方向性エッジを含む−を計算する第１ステップと、
    デジタルビデオデータ情報に基づき、前記データベースからビデオシーケンスに対する複数のイメージ記述子−前記各ビデオシーケンスに対する各イメージ記述子は、前記各ビデオシーケンスに対するＬ個の代表エッジヒストグラムビンを含む−を抽出する第２ステップと、
    前記質疑ビデオシーケンスに対するイメージ記述子を、前記各ビデオシーケンスに対する前記各イメージ記述子と比較し、比較結果を生成する第３ステップと、
    前記比較結果によって、前記質疑ビデオシーケンスと類似した少なくとも１つのビデオシーケンスを検索する第４ステップと
    を含むことを特徴とする方法。
22. 前記各エッジヒストグラムが、
    基準エッジに対応する５個のエッジヒストグラムビンを有することを特徴とする請求項２１に記載の方法。
23. 前記方向性エッジが、
    垂直エッジ、水平エッジ、４５゜エッジ及び１３５゜エッジを含み、
    前記無方向性エッジが、
    前記４個の方向性エッジを除外した、決まった方向がないエッジを示すことを特徴とする請求項２１に記載の方法。
24. 前記第１ステップが、
    前記各質疑ビデオシーケンスの前記各イメージフレームを、Ｌ個（Ｌは正の整数）の副画像−前記各副画像はＳ ｘ Ｔ個（Ｓ及びＴはそれぞれ正の整数）のイメージブロックにさらに分割される−に分割する第１１ステップと、
    前記各イメージブロックに対し、５個の基準エッジ−前記基準エッジは、４個の方向性エッジ及び１個の無方向性エッジを含む−のうち何れか１つを割り当て、前記各イメージフレームに対し、Ｌ個のエッジヒストグラム−前記エッジヒストグラムは、Ｍ個のエッジヒストグラムビンを含む−を生成する第１２ステップと、
    前記各エッジヒストグラムに含まれた前記エッジヒストグラムビンをＳ ｘ Ｔに正規化し、前記各イメージフレームに対してＭ個の正規化されたエッジヒストグラムビンを生成する第１３ステップと、
    前記各イメージフレームの正規化されたエッジヒストグラムビンに基づき、前記各ビデオシーケンスに対するＬ個の代表エッジヒストグラムを生成するために、前記質疑ビデオシーケンスに対し、Ｍ個の代表エッジヒストグラムビンを計算する第４ステップと、
    を含むことを特徴とする請求項２１に記載の方法。
25. 前記第２２ステップが、
    前記各イメージブロックに前記基準エッジのうち何れか１つを割り当てる第２２１ステップと、
    前記各イメージフレームに対し、Ｌ個のエッジヒストグラムを生成するために、前記各副画像に含まれた各基準エッジの個数をカウントする第２２２ステップ
    を含むことを特徴とする請求項２３に記載の方法。
26. 前記第２２１ステップが、
    各イメージブロックを２ ｘ ２個の副ブロックに分割する第２２１１ステップと、
    対応フィルタ係数を前記各副ブロックに割り当てる第２２１２ステップと、
    前記フィルタ係数を利用して前記各イメージブロックに対する５個のエッジに対応する５個のエッジの大きさのセットを計算する第２２１３ステップと、
    前記計算されたエッジの大きさを相互に比較し、前記イメージブロックを最大エッジの大きさを有するエッジで表現する第２２１４ステップと
    を含むことを特徴とする請求項２５に記載の方法。
27. 前記５個のエッジの大きさが、次の５個の数式によって算出されることを特徴とする請求項２６に記載の方法。
    
    

    

    

    

    

    

    （ただ、ｍｖ（ｉ，ｊ）、ｍｈ（ｉ，ｊ）、ｍｄ−４５（ｉ，ｊ）、ｍｄ−１３５（ｉ，ｊ）及びｍｎｄ（ｉ，ｊ）それぞれは、（ｉ，ｊ）番目イメージブロックに対する垂直エッジ、水平エッジ、４５゜エッジ、１３５゜エッジ及び無方向性エッジの大きさ、
    ａｋ（ｉ，ｊ）は（ｉ，ｊ）番目イメージブロックでＫに割り当てられた副ブロックに対する平均グレイレベル、
    ｆｖ（ｋ）、ｆｈ（ｋ）、ｆｄ−４５（ｋ）、ｆｄ−１３５（ｋ）及びｆｎｄ（ｋ）は、それぞれＫに割り当てられた副ブロックで垂直エッジ、水平エッジ、４５゜エッジ、１３５゜エッジ及び無方向性エッジに対するフィルタ係数を意味する）
28. 前記最大エッジの大きさが所定の臨界値より小さい場合、前記イメージブロックは、エッジを１つも含まないことで取扱うことを特徴とする請求項２６に記載の方法。
29. 前記質疑ビデオシーケンス及び対象ビデオシーケンスに対するイメージ記述子が、それぞれＬｘ５個の代表エッジヒストグラムビンに基づいた全域エッジヒストグラム及びＲ個（Ｒは正の整数）の半−全域ヒストグラムを含むことを特徴とする請求項２１に記載の方法。
30. 前記全域エッジヒストグラムが、
    前記質疑ビデオシーケンス及び対象ビデオシーケンスの全体空間でのエッジ分布を示し、
    前記各半−全域エッジヒストグラムが、
    前記質疑ビデオシーケンス及び対象ビデオシーケンスの対応する副画像セットでのエッジ分布を示すことを特徴とする請求項２９に記載の縷縷方法。
31. 前記ＮとＲが、それぞれ４と１３であることを特徴とする請求項２９に記載の方法。
32. 前記１３個の半−全域エッジヒストグラムそれぞれが、４個の副画像の１３個のセットそれぞれに対して生成され、
    前記１３個のセットが、
    前記イメージの垂直方向に１番目の例ないし４番目の列それぞれの４個の副画像を各セットが含む４個の副画像の４個のセットと、
    前記イメージの水平方向に１番目の例ないし４番目の列それぞれの４個の副画像を各セットが含む４個の副画像の４個のセットと、
    １個の対応副画像−前記対応副画像は、それぞれ左側上段、右側上段、左側下段及び右側下段に位置する−及び前記対応副画像に隣接した３個の副画像を各セットが含む４個の副画像の４個のセットと、
    前記イメージ中心を囲んだ４個の副画像を含む１個のセットと
    を含むことを特徴とする請求項３１に記載の方法。
33. 前記第２ステップが、
    前記各対象ビデオシーケンスに対するＬｘ５個の量子化インデックス値を検索する第２１ステップと、
    ５個の非線形逆量子化テーブルを使用して前記Ｌｘ５個の量子化インデックス値それぞれを前記各対象ビデオシーケンスに対するＬｘ５個の代表エッジヒストグラムビンに変換させる第２２ステップと、
    前記Ｌｘ５個の正規化エッジヒストグラムビンによって、Ｌ個の代表エッジヒストグラムを生成する第２３ステップと
    を含むことを特徴とする請求項２１に記載の方法。
34. 前記第２ステップが、
    前記Ｌｘ５個の代表エッジヒストグラムビンによって、前記各対象ビデオシーケンスに対する全域エッジヒストグラム及びＲ個の半−全域ヒストグラムを生成する第２４ステップと
    をさらに含むことを特徴とする請求項３３に記載の方法。
35. 前記第２ステップが、
    前記各対象ビデオシーケンスに対するＬｘ５個の量子化インデックス値を検索する第２１ステップと、
    前記Ｌｘ５個の量子化インデックス値を正規化し、前記Ｌｘ５個の量子化インデックス値それぞれを前記各対象ビデオシーケンスに対するＬｘ５個の代表エッジヒストグラムビンに変換させる第２２ステップと、
    前記Ｌｘ５個代表エッジヒストグラムビンによって、Ｌ個の代表エッジヒストグラムを生成する第２３ステップと
    を含むことを特徴とする請求項２１に記載の方法。
36. 前記第２ステップが、
    前記Ｌｘ５個の正規化されたエッジヒストグラムビンによって、前記各対象イメージに対する全域エッジヒストグラム及びＲ個の半−全域ヒストグラムを生成する第２４ステップと
    をさらに含むことを特徴とする請求項３５に記載の方法。
37. 前記第３ステップが、次の数式によって前記質疑ビデオシーケンスと前記各対象ビデオシーケンス間の距離を測定するステップを含むことを特徴とする請求項３４に記載の方法。
    

    

    （ただ、Ｌｏｃａｌ＿Ａ［ｉ］とＬｏｃａｌ＿Ｂ［ｉ］は、それぞれ前記質疑ビデオシーケンスＡ及び対象ビデオシーケンスＢのＢｉｎＣｏｕｎｔ［ｉ］のエッジヒストグラムビンの、
    Ｇｌｏｂａｌ＿Ａ［］及びＧｌｏｂａｌ＿Ｂ［］は、それぞれ前記質疑イメージＡ及び対象イメージＢの全域エッジヒストグラムに対するエッジヒストグラムビンの、
    Ｓｅｍｉ＿Ｇｌｏｂａｌ＿Ａ［］及びＳｅｍｉ＿Ｇｌｏｂａｌ＿Ｂ［］は、それぞれ前記質疑ビデオシーケンスＡ及び対象ビデオシーケンスＢの半−全域エッジヒストグラムビンに対するヒストグラムビン値を意味する）
38. 前記第３ステップが、次の数式によって前記質疑ビデオシーケンスと前記各対象ビデオシーケンス間の距離を測定するステップとを含むことを特徴とする請求項３６に記載の方法。
    

    

    （ただ、Ｌｏｃａｌ＿Ａ［ｉ］とＬｏｃａｌ＿Ｂ［ｉ］は、それぞれ前記質疑ビデオシーケンスＡ及び対象ビデオシーケンスＢのＢｉｎＣｏｕｎｔ［ｉ］のエッジヒストグラムビンの、
    Ｇｌｏｂａｌ＿Ａ［］及びＧｌｏｂａｌ＿Ｂ［］は、それぞれ前記質疑ビデオシーケンスＡ及び対象ビデオシーケンスＢの全域エッジヒストグラムに対するエッジヒストグラムビンの、
    Ｓｅｍｉ＿Ｇｌｏｂａｌ＿Ａ［］及びＳｅｍｉ＿Ｇｌｏｂａｌ＿Ｂ［］は、それぞれ前記質疑ビデオシーケンスＡ及び対象ビデオシーケンスＢの半−全域エッジヒストグラムビンに対するヒストグラムビン値を意味する）
39. それぞれが複数のデジタルビデオデータイメージフレームを有するビデオシーケンスに対するイメージ記述子を抽出する方法において、
    対象イメージフレームとしてイメージフレームのうち何れか１つを選択する第１ステップと、
    前記対象イメージのＬ個のエッジヒストグラム−前記エッジヒストグラムそれぞれは、５個の正規化されたエッジヒストグラムビンを有して、副画像に５個の基準エッジの空間分布を示し、前記基準エッジは４個の方向性エッジ及び１個の無方向性エッジを含む−を生成するために、Ｌｘ５個（Ｌは正の整数）の正規化されたエッジヒストグラムビンを計算する第２ステップと、
    対象イメージとして、次のイメージフレームを選択する第３ステップと、
    全てのイメージフレームのＬ個のエッジヒストグラムが計算されるまで、前記第２ステップ及び第３ステップを繰り返す第４ステップと、
    前記各イメージフレームのＬ個のエッジヒストグラムに基づき、前記ビデオシーケンスに対するＬｘ５個の正規化されたエッジヒストグラムビンを有する代表エッジヒストグラムを計算する第５ステップと、
    前記ビデオシーケンスに対するイメージ記述子として、Ｌｘ５個の量子化インデックス値を生成するために前記代表エッジヒストグラムのＬｘ５個の正規化されたエッジヒストグラムビンを非線形的に量子化する第６ステップと、
    前記Ｌｘ５個の量子化インデックス値を前記データベースに格納する第７ステップと
    を含むことを特徴とする方法。
40. 前記各量子化インデックス値が、３ビットで表現されることを特徴とする請求項３９に記載の方法。
41. 前記方向性エッジが、
    垂直エッジ、水平エッジ、４５゜エッジ及び１３５゜エッジを含み、
    前記無方向性エッジが、
    前記４個の方向性エッジを除外した、決まった方向がないエッジを示すことを特徴とする請求項３９に記載の方法。
    

Images