JP2013051707A - データストリームにおけるビデオデータ及び関連するメタデータを送信する方法 - Google Patents

Abstract

【課題】ビデオ構造及びフィンガープリントの機能的サポートによるビデオ符号化のフレームワークを提供すること。
【解決手段】本願は、ビデオデータストリームにおけるビデオデータと、関連するビデオデータ構造を表すメタデータとを送信する方法に関する。本方法は、ビデオデータの構造を決定するステップと、構造をインクリメンタルな方法によりチャンクに分割するステップと、関連するビデオデータの前の時間インターバルにおいて前記データストリームにおいて前記チャンクを送信するステップとを有する。本願はまた、ビデオデータストリームにおけるビデオデータに係るフィンガープリント情報を送信する方法に関する。本方法は、ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定するステップと、フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入するステップとを有する。
【選択図】図１

Description

本発明は、データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法に関する。

本発明はまた、データストリームにおけるビデオデータとビデオデータ構造に係るフィンガープリント情報を表す関連するメタデータとを送信する方法に関する。

ビデオビットストリームに埋め込まれるビデオアノテーション情報は、潜在的にはかなり多くの用途に役立つかもしれない。
・インターネットビデオ検索
・編集マテリアル検索
・記憶媒体のインデックス化及び抽出
・ＶＯＤにおけるビデオブラウジング、チャネル選択、ＰＶＲなど
・ビデオコピー検出
・検索結果クラスタリング
これらの用途は、
・ビデオドキュメントへのテキストアノテーションの要求
・視覚的類似性検索のための視覚的特徴の要求
・ビデオナビゲーションのためのビデオ構造情報の要求
の３つのカテゴリに結論付けることが可能である。

圧縮されたビデオストリームにおいてより多くの機能をサポートする要求が大きくなるに従って、ＩＴＵ−Ｔ Ｈ．２６４規格とも呼ばれるＨ．２６４／ＡＶＣは、主として復号化に関連する処理に役立ちうるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを採用した。現在、上記規格は、各種アプリケーションをサポートするため約２０タイプのＳＥＩシンタックスを規定している。

本発明は、ビデオ構造及びフィンガープリントの機能的サポートによるビデオ符号化のフレームワークを提案する。

第１の態様によると、本発明は、ビデオデータストリームにおけるビデオデータに係るフィンガープリント情報を送信する方法に関する。本発明の本態様によると、本方法は、前記ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定するステップと、前記フィンガープリント情報を有するメッセージを前記ビデオストリームに少なくとも挿入するステップとを有する。

好適な実施例によると、前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。

好適な実施例によると、前記データ構造は、各ノードが複数のリーフを有する複数のノードを有し、各チャンクは、複数のノードと複数のリーフとを有する。

好適な実施例によると、前記ビデオデータは、符号化され、前記チャンクは、前記符号化されたビデオデータにおけるメッセージにカプセル化され、前記チャンクは、該チャンクにおいて構成されるノードの記述又は該記述が次のチャンクに構成されていることを示す情報を有する。

好適な実施例によると、前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠する符号化されたメタデータであり、前記メタデータは、少なくともＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにおいて送信される。

好適な実施例によると、前記記述に構成される情報は、ノード識別子、前記ノードが前記情報に記述されているか示す表示、並びに、前記ノードが現在の前記情報に記述されている場合、前記ノードが関連付けされる前記ビデオ情報を表す名前、前記ノードが関連付けされる前記ビデオ情報の時間を表すタイムコード、及びいくつかのサマリセグメント、及び各サマリセグメントについて、該サマリセグメントを表す名前、該サマリセグメントに係るセマンティック情報を表すカテゴリ及びキーフレーム、クリップ又はテキスト記述から選ばれたセグメントのタイプを示すキー記述から又は前記情報の何れかの組み合わせから選ばれる。

第２の態様によると、本発明は、データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法に関する。本発明の本態様によると、本方法は、前記ビデオデータの構造を決定するステップと、前記構造をインクリメンタルな方法によりチャンクに分割するステップと、関連する前記ビデオデータの前の時間インターバルにおいて前記データストリームにおいて前記チャンクを送信するステップとを有する。

第３の態様によると、本発明はまた、ビデオデータの構造を決定する手段と、前記構造をインクリメンタルな方法によりチャンクに分割する手段と、関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段とを有するビデオ符号化装置に関する。

第４の態様によると、本発明はまた、ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定する手段と、前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段とを有するビデオ符号化装置に関する。

好適な実施例によると、第４の態様によるビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記構造情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。

好適な実施例によると、当該ビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。

第５の態様によると、本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段とを有するパーソナルビデオレコーダに関する。

第６の態様によると、本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、受信した符号化されたビデオデータを格納する手段と、複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段とを有するパーソナルビデオレコーダに関する。

本発明の他の特徴及び効果は、付属の図面を用いて説明される本発明の非限定的な実施例の説明を介して明らかになるであろう。

図１は、本発明の好適な実施例によるビデオの構造情報を表す。 図２は、本発明の好適な実施例によるビデオのインクリメンタルな分解を表す。

ビデオ構造の説明は、任意のオーディオビジュアルドキュメントのセマティックな構成の説明からなる。本説明は、ドキュメントのトップダウンな分解を提供する階層構造である。

この情報は、ドキュメントのショートサマリを表示するため、又はドキュメントを迅速にナビゲートするため、使用されてもよい。

ビデオ構造は、階層的構成を記述する。ドキュメントのタイプに従って、ドキュメントの構造を取得するのに使用される方法は異なるかもしれない。ビデオがテニスゲームを表す場合、その構造はフットボールのゲームとは異なっており、ビデオがフィルムを表している場合もまた異なっている。ビデオの構造を取得する既知の方法が複数存在する。

図１は、ビデオの取得された構造を表す。この構造は、ノードとリーフとを有するツリーにより表されるビデオの階層的分解として表される。ノードとリーフの個数は、ビデオコンテンツとそれの長さに依存する。ツリーの深さは、典型的には、コンテンツに依存する。ツリーの最も低いレベルは、構造分解の最も高い粒度に対応する。例えば、テニスの試合では、最も低いレベルはポイントに対応しうる。

図１に示されるように、ツリーの最低レベルは、クリップ（小さなビデオ）又はキーフレームに直接対応しうる。より低い粒度によると、最低レベルはテニスに関してはゲームに対応しうると仮定できる。

放送の分野では、デコーダはストリームの任意のポイントにおいてストリームの受信を開始するかもしれない。デコーダがこの構造情報を利用するため、ツリー記述全体がストリームにおいて繰り返される必要がある。この手法による問題は、これは冗長さを表し、過大な帯域幅を使用する可能性があるということである。

このため、本発明は、図２に示されるように、構造情報をチャンクに分割することを提案する。

提案されたシンタックスは、ストリームが流れるときにインクリメンタルな方法によりグラフを送信することを可能にする。

そのアイデアは、連続する時点において送信される複数のチャンクを用いてツリー記述を分割するというものである。

すべてのチャンクは、ビデオコンテンツの対応部分の前に送信されることが想定される。

図２では、ツリーは３つのチャンクに分割される。ノード識別子は、デコーダのメモリにおいてツリー全体を再構成することを可能にする。

時点ｔ１において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク１において示される。

時点ｔ２において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク２において示される。

時点ｔ３において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク３において示される。

ＩＴＵ−Ｔ Ｈ．２６４に従ってデータが符号化されるとき、構造情報はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）にカプセル化される。

ＳＥＩメッセージの構造は、以下のテーブルに与えられる。

「Ｒｅｆｅｒｅｎｃｅ」フィールドは、所与のノードが現在のメッセージに記述されているか、又は以降のメッセージに記述されているかを示す。

本発明の他の実施例によると、すべてのチャンクはまた、放送されるビデオの始めに送信可能である。これは、全体構造がデコーダにおいて放送されたビデオの始めに利用可能になることを可能にする。

好適な実施例では、各チャンクは、ＳＥＩメッセージが適用されるビデオを有するＮＡＬの前にＳＥＩメッセージにおいて１度送信される。

各ＳＥＩメッセージは、スタート情報及びエンド情報として参照されるビデオ情報の絶対値を示すタイムコードを有する。ドキュメントへのナビゲートの際にユーザにとって意味のあるものとなるように、各セグメントは名前により表され、各セグメントはまた、ＳＨＯＴ、ＳＣＥＮＥ、ＥＶＥＮＴ、ＮＥＷＳ＿ＳＴＯＲＹなどの具体的な識別子により識別可能である。これは、セグメントの粒度を与える。各セグメントはまた、ビデオのコンテンツとＧＯＡＬ、ＭＡＴＣＨ、ＧＡＭＥ、ＳＥＴなどを表すセマンティック情報を用いて識別できる。この最後のメタデータは、ビデオインデックス化アプリケーションのための情報を与える。

「Ｋｅｙ Ｄｅｓｃｒｉｐｔｉｏｎ」のフィールドはまた、当該セグメントが各年代に知られた重要人物からの極めて重要な宣言などを含むセグメントのキーフレーム、ビデオクリップ又はテキスト記述である場合、セグメントの粒度を示す。

ＳＥＩメッセージのシンタックスは、ツリー構造が再帰的であるとき、再帰的なものとなる。

チャンクへの埋め込みコンポーネントの個数Ｎがまた与えられる。

このため、順次にチャンクを受信すると、各チャンクはその他のチャンクから独立していないが、テーブル１に記載されるシンタックスとノード識別子により完全にリンクされているため、ビデオデータの全体構造を再構成することができる。

ここで、ビデオと共にフィンガープリント情報を送信する方法を提案する本発明の第２の態様について説明する。

ビデオフィンガープリント処理は、２つのビデオドキュメントがおそらく同一のコンテンツ又はコンテンツの一部を含むことを検出可能にする技術である。それは、（意図的に又はそうでなく）変更されたコンテンツを処理することが可能である。これらの変更は、
・クロッピング（ｃｒｏｐｐｉｎｇ）
・圧縮
・回転
・画像変更（ｂｌｕｒ．．）
を含む。

ビデオフィンガープリント処理の周知な応用は、ドキュメントの不正コピーの検出である。しかしながら、ビデオフィンガープリント処理は２つの類似するドキュメントを識別する信頼できる方法を提供するため、それは、ビデオコレクションへの重複の検出又は編集されたドキュメント全体におけるクリップの抽出を含む他の多数のアプリケーションを有する。

これらのアプリケーションは、典型的には、“コンテンツによるクエリ（ｑｕｅｒｙ ｂｙ ｃｏｎｔｅｎｔ）”をサポートする純粋に視覚的な類似性に基づくアプリケーションとは異なる。それらは、ほとんど正確に一致した２つのコピーを抽出することを目的としている。

フィンガープリント処理技術は、特定の検索アプリケーションにより効率的に処理可能なコンテンツからの記述情報の抽出に依拠する。この記述情報は、ビデオコンテンツを伸張及び解析する必要なく検索するのに即座に利用可能となるように、メタデータに格納可能である。

好適な実施例によると、ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に従って符号化される。フィンガープリント情報は、次のテーブルに規定されるようなＳＥＩメッセージにカプセル化される。

フィンガープリントＳＥＩメッセージは、ストリームの任意の位置に出現しうる。このようなメッセージは任意数存在しうるものであり、フレーム毎に高々１つである。典型的には、ショット毎に１つのフィンガープリントメッセージが存在する。

フィンガープリントメッセージは、関連付けされ、テーブル２においてリファレンスフレームと呼ばれる正確なフレームを指定する（そこから抽出された）。これは、時間的な制約を考慮するのに必要なフィンガープリントチェック機構により要求される。

タイムコードは、埋め込みドキュメントについて時、分、秒、フレーム番号により記述される。３バイトと１ニブル、ｂ（８），ｂ（８），ｂ（８），ｎ（４）により表される。

ドキュメントが編集されている場合、このメタデータは再生成される必要があるであろう。

「フィンガープリントアルゴリズムインデックス（Ｆｉｎｇｅｒｐｒｉｎｔ Ａｌｇｏｒｉｔｈｍ Ｉｎｄｅｘ）」は、このフレームを記述するのに用いられるビデオフィンガープリントアルゴリズムのインデックスである。いくつかの異なるビデオフィンガープリントアルゴリズムが、フレーム、ショットを記述するのに利用可能である。

２つのビデオフィンガープリントが異なる２つのアルゴリズムにより抽出された場合、直接的なフィンガープリントの比較は不可能である。

シンタックスの定義の内部では、ｕ（ｎ）はｎビットを使用した符号のない整数を表し、ｂ（８）は何れかのビット文字列のパターンを有するバイト（８ビット）を表し、ｐａｙｌｏａｄＳｉｚｅは、ｖｉｄｅｏ＿ａｎｎｏｔａｔｉｏｎ＿ＳＥＩペイロード全体のバイトによるサイズである。ここでは、迅速なビットストリームパーシングを促進するため、可変長符号化は使用されない。

フィンガープリントとビデオ構造の双方の情報は、他のビデオアノテーション情報を有するハイレベルなＳＥＩメッセージに組み合わせ可能である。

例えば、次のテーブルは、ビデオアノテーションに関する複数タイプのメタデータを有するＳＥＩメッセージ構造を提案することができる。

本発明の範囲から逸脱することなく、本発明はまた、ビデオデータの構造を決定する手段と、前記構造をインクリメンタルな方法によりチャンクに分割する手段と、関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段とを有するビデオ符号化装置に関する。

好ましくは、このビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記構造情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。

本発明はまた、ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定する手段と、前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段とを有するビデオ符号化装置に関する。

好ましくは、このビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。

本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段とを有するパーソナルビデオレコーダに関する。

本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、受信した符号化されたビデオデータを格納する手段と、複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段とを有するパーソナルビデオレコーダに関する。

ＳＥＩ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ

Claims (8)

1. データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法であって、
   前記ビデオデータの構造を決定するステップと、
   前記構造をインクリメンタルな方法によりチャンクに分割するステップと、
   関連する前記ビデオデータの前の時間インターバルにおいて前記データストリームにおいて前記チャンクを送信するステップと、
   を有する方法。
2. 前記データ構造は、各ノードが複数のリーフを有する複数のノードを有し、
   各チャンクは、複数のノードと複数のリーフとを有する、請求項１記載の方法。
3. 前記ビデオデータは、符号化され、
   前記チャンクは、前記符号化されたビデオデータにおけるメッセージにカプセル化され、
   前記チャンクは、該チャンクにおいて構成される前記ノードの記述又は該記述が次のチャンクに構成されていることを示す情報を有する、請求項２記載の方法。
4. 前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠する符号化されたメタデータであり、
   前記メタデータは、少なくともＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにおいて送信される、請求項１記載の方法。
5. 前記記述に構成される情報は、
   ノード識別子、
   前記ノードが前記情報に記述されているか示す表示、並びに、
   前記ノードが現在の前記情報に記述されている場合、前記ノードが関連付けされる前記ビデオ情報を表す名前、前記ノードが関連付けされる前記ビデオ情報の時間を与えるタイムコード、及びいくつかのサマリセグメント、及び各サマリセグメントについて、該サマリセグメントを表す名前、該サマリセグメントに係るセマンティック情報を表すカテゴリ、及びキーフレーム、クリップ又はテキスト記述から選ばれたセグメントのタイプを示すキー記述、又は前記情報の何れかの組み合わせから選ばれる、請求項３記載の方法。
6. ビデオデータの構造を決定する手段と、
   前記構造をインクリメンタルな方法によりチャンクに分割する手段と、
   関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段と、
   を有するビデオ符号化装置。
7. 当該ビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、
   前記構造情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される、請求項６記載のビデオ符号化装置。
8. 符号化されたビデオ情報を復号化する手段と、
   前記符号化されたビデオデータに挿入された関連するビデオデータ構造をインクリメンタルな方法により復号化する手段と、
   無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段と、
   を有するパーソナルビデオレコーダ。
   

Images