JP2001507541A - スプライトベースによるビデオ符号化システム - Google Patents

Abstract

(57)【要約】 スプライトベースによる符号化システムは、スプライト作成が自動的であり、スプライトオブジェクトの分割は、自動的であると共に符号化処理と同様にスプライト作成に統合されている符号器と復号器を含む。スプライトオブジェクトは、その動きを基準としてビデオオブジェクトの残りから識別される。スプライトオブジェクトは、通常はカメラの動きやズームのせいによるシーンの動きの支配的成分に従って動く。従って、スプライトベースによる符号化システムは、前景イメージから背景イメージを識別するために、支配的動きを用いる。スプライトベースによる符号化システムは、個々のビデオオブジェクトの形状及びテクスチャが別々に符号化されるＭＰＥＧ−４のようなビデオオブジェクトベースによる符号化フレームワークに、簡単に統合される。スプライトベースによる符号化システムに統合された自動分割は、スプライトオブジェクトの形状及びテクスチャを識別する。

Description

【発明の詳細な説明】 スプライトベースによるビデオ符号化システム 技術分野 本発明は、ＭＰＥＧ−４のような形状／テクスチャ(shape/texture)を別々に 符号化する環境で作動する。スプライト（モザイクともいう）が自動的に符号器 及び復号器双方において作られる機構に関する。又、本技術を用いるアプリケー ションについても議論する。 発明の背景 モザイクイメージ（モザイク及びスプライトの用語を適宜用いる）は、いくつ かのビデオフレーム上のあるシーンオブジェクトのイメージから作られる。例え ば、パンニングカメラの場合、背景シーンのモザイクは、その背景のパノラマイ メージである。 ＭＰＥＧ−４標準化活動(activities)では、２つの主なタイプのスプライトと スプライトベースによる符号化が定義されている。第１のタイプは、オフライン 静的スプライトと呼ばれる。オフライン静的スプライトは例えば背景のような同 じビデオオブジェクトのスナップショットのシーケンスを作るために用いられる パノラマイメージである。各スナップショットは、単にモザイクコンテンツの部 分をワープすること及びモザイクコンテンツを現在のビデオフレームが再構築さ れつつあるビデオバッファにコピーすることにより生成される。静的スプライト は、オフラインで作られ、副情報として送信される。 モザイクの第２のタイプは、オンライン動的スプライトと呼ばれる。オンライ ン動的スプライトはビデオオブジェクトの予測符号化に用いられている。シーケ ンスにおけるビデオオブジェクトの各スナップショットの予測は、動的スプライ トの部分をワープすることによって得られる。残差信号は、符号化され、符号器 及び復号器の中のモザイクを同時更新するために用いられる。動的モザイクのコ ンテンツは、最新のビデオオブジェクト情報を含むことでコンスタントに更新さ れる。静的スプライトに対応して、動的スプライトは符号器と復号器中でオンラ インで同時に作られる。従って追加の情報を送信する必要がない。 発明の概要 オフライン静的スプライト及びオンライン動的スプライトベースによる符号化 のための統一(unified)シンタックス［２］を提供するＭＰＥＧ−４用シンタッ クスを記述した。我々のシンタックスは、「動的オフラインスプライトベースに よる符号化」と呼ぶ新たなモードを与えており、ここでは（オフライン静的スプ ライトの場合に、ワープしたスプライトを直接コピーするのに対して）、予測符 号化が、オフラインスプライトをもとにして実行される。又、「オンライン静的 スプライトベースによる符号化」と呼ぶ新たなモードも与えており、ここでは、 符号器と復号器はスプライトをさらに作るのをやめ、それを、完成度に依らず、 静的スプライトとして使用する。 オフライン静的，オンライン動的スプライトベースによる符号化は共に、スプ ライトを構築することを要求する。前者の場合、スプライトは送信前に作られる 。後者の場合、スプライトは送信中にオンラインで作られる。これまでＭＰＥＧ −４は、オブジェクトのアウトライン（分割）(このためにスプライトは作られ る)が全ての時刻で前もって知られていると仮定していた。これはあるアプリケ ーション、特にポストプロダクションやブルースクリーン技術を用いるコンテン ツ生成においては正しいが、一般に自動分割はスプライト作成の必須部分である べきである。従って、スプライト作成にシーン分割の知識を予め必要としないス プライトベースによる符号化システムが必要である。 本明細書において、スプライトベースによる符号化システム(符号器及び復号 器)を記述しているが、ここでは、スプライト作成は自動的であり、スプライト オブジェクトの分割は自動的であると共に符号化処理及びスプライト作成も統合 されている。 スプライトオブジェクトは、残りのビデオオブジェクトからその動きを基準と して識別され得ると仮定する。スプライトオブジェクトは、シーンの動きの支配 的成分に従って、動くと仮定する。このシーンの動きは、通常はカメラの動きや ズーミングに依存する。よって、本システムは、当業者には既知の支配的動きを 用いる。 本システムは、例えば、個々のビデオオブジェクトの形状とテクスチャが別個 に符号化されるＭＰＥＧ−４［３］のようなビデオオブジェクトベースによる符 号化に好適である。上記システムに統合された自動分割は、スプライトオブジェ クトの形状及びテクスチャを同定する。 本発明には幾つかのアプリケーションの可能性がある。極めて低いビットレー トのアプリケーションでは、ビデオオブジェクトを含むという見地から、ビデオ フレームの符号化が高コストとなる可能性がある。その理由としては、制限があ るビット量のかなりの部分を、このようなオブジェクトの形状が費やす可能性が あるからである。このような場合、本システムは、フレームベースによる符号化 に帰着することができ、ここでは自動分割が、後述の「オペレーション」において 記述するように、スプライト作成と支配的動き補償予測のためにより良い支配的 動き推定(estimation)を得るためにのみ使われる。 上記符号化システムには、これはカメラの視界が頻繁に変わり得る場所、例え ば複数台のカメラを使用するテレビ会議や、２つ以上のカメラで撮られるトーク ショーのような場所でのアプリケーションに好適であるという特徴がある。本シ ステムは、マルチプルスプライトの作成、必要に応じてそれらを使用することに 適用可能である。例えば、２つの異なる背景の前にいる２人の参加者の間で、カ メラが前後に移動したとき、２つの背景スプライトが作成され、適宜使用される 。より詳しくは、背景Ａが見えている時に、背景Ｂ用のスプライトの作成と符号 化におけるスプライトの使用は、背景Ｂが再度現れるまで中断される。同様にし て、マルチプルスプライトの使用は、ＭＰＥＧ−４技術において可能であり、「 オペレーション」の部分で後述する。 ここに開示されたシステムは、後述のように符号化処理中にスプライトを生成 する。しかしながら、生成されるスプライトは、符号化後、圧縮ビデオクリップ の代表イメージとして続けて使用してもよい。その特徴は、そのビデオクリップ の特徴を認識するのに使用してもよい。そのビデオクリップは特徴ベース(成い は、コンテンツベース)による記録とビデオクリップの検索に使用可能である。 よって、スプライトベースによる符号化は、符号化処理の間に生成されたスプラ イトイメージがビデオクリップの代表イメージとして作用するところのビットス トリームのビデオライブラリを構築に適している。実際、モザイクも、静止イメ ージ符号化方法を使用して、符号化することができる。このような、ビデオライ ブラリのシステムは図５に描かれている。 同様の方法で、１つ又は数個のイベントリストが背景スプライトと関連づけら れる。イベントリストのために選択される可能性のあるものは、各前景オブジェ クトに属する１つ又は数個の頂点の連続位置のセットである。このようなリスト は、スプライトにおける前景オブジェクトの位置の記号代表イメージを生成する ために用いられる。各頂点の連続位置は、直線でリンクされるか或いは明確な色 で区分けするかのいずれかである。頂点の連続位置は、静的（同一のスプライト にある全ての連続位置）又は動的（時刻的に連続的なモザイクに示された頂点の 位置）に示される。ここで頂点は、前景オブジェクトの明確な特徴の全てに対応 して選択される。このような特徴の例としては、オブジェクトの形状の重心成い は、突起点がある。後者の場合と、いくつかの頂点が同時に使われた場合には、 それら頂点はオブジェクト形状の階層的記述に従ってアレンジされる。この技術 を用いることにより、ユーザやプレゼンテーションインターフェースは、背景ス プライトの中の連続前景オブジェクト位置を示すために粗い精度から細かい精度 まで形状を自由に選べる。この概念は、ビデオライブラリのシステムにおいて前 景の動き特性に基づいたコンテンツを検索するために用いることができる。 上記システムの自動スプライト作成部は、送信前にオフラインスプライトが作 成されるテレビ会議アプリケーションにおいて、オフラインモードで使用するこ とができる。このようなシステムは、図６に示されている。上記システムは、オ リジナルのイメージよりも高い空間解像度を持つスプライトを生成することも出 来る。 図面の簡単な説明 図１は、本発明の方法を用いた時刻ｔ−１におけるステップを説明する図であ る。 図２は、本発明の方法を用いた時刻ｔからｔ＋１におけるステップを説明する 図である。 図３は、本発明の方法を用いた時刻ｔ＋１からｔ＋２におけるステップを説明 する図である。 図４は、本発明の方法のブロックダイアグラムである。 図５は、本発明のシステムのブロックダイアグラムである。 図６は、テレビ会議システムの例で本発明のシステム及び方法を説明する図で ある。 図７は、前景オブジェクトの連続部分が本発明によるモザイクでどのように表 現されるかを説明する図である。 実施形態の詳細な説明 上述の方法は、背景モザイクを作成する一方で、同時に背景から前景を切り離 すことを、順を追って学習できるようにデザインされたものである。ステップ１ から１０は、背景の構築が完了するまで、又は中止されるまで、繰り返される。 仮定 記号は以下のとおりである： Ｉ（ｓ，ｔ）は、空間位置s，時刻ｔにおけるビデオフレームのコンテンツを 表す。 Ｗ_{t ←(t-1)}（Ｉ（ｓ，ｔ−１））は、時刻（ｔ−１）から時刻ｔにおいてイメ ージをマッピングするワープ演算子を表す。時刻ｔにおいてビデオバッファ内で 画素位置s ₀が与えられると、このワープ演算は、フレーム（ｔ−１）において対 応する位置s に画素値をコピーすることによって実行される。位置s ₀と位置s と の間の対応は、特定でかつ十分に定義された変換例えばアフィン変換や透視変換 によって確立される。 １又は２ビットの深さになる。 Threshは、しきい値である。演算≦Threshと＞Threshは、シンボリック（記 号）であって、複雑なしきい値処理演算を表現することができる。 現在のイメージフレームＩ（ｓ，ｔ）の（色成分毎の）寸法は、Ｍ_t×Ｎ_tであ り、ワープＷ_{t ←(t-1)}（Ｃ^-1Ｃ｛Ｉ（ｓ，ｔ−１）｝）後に圧縮／伸張された前 フレームの寸法は、Ｍ_t-1×Ｎ_t-1画素の矩形配列に内接させることができる。 スプライトＭ（ｓ，ｔ）は、色成分毎のサイズＭ_m×Ｎ_mのイメージ（テクスチ ィールドである。 スプライトの生成は、時刻ｔで始まる。イメージＩ（ｓ，ｔ−１）は、すでに 圧縮及び伸張されており、符号器と復号器の双方で利用可能である。 下記ステップにおいて、イメージコンテンツは、背景部と前景部（或いはＶＯ ）を有するものと仮定され、背景のモザイクが作成される。 ステップ１：初期化 さて、図１乃至図３についてみると、上述の方法のステップの結果が、図示さ れている。図１は、時刻ｔ−１（モザイク作成が初期化された瞬間）から時刻ｔ （新たなビデオフレーム又はフィールドが得られた時）までのステップ０乃至１ １を示す。図２と図３は、ステップ２乃至１１で、それぞれ、時刻ｔからｔ＋１ と時刻ｔ＋１からｔ＋２を示す。各図の左上角（Ａ）には、新たに得られたビデ オフレームが示されており、このビデオフレームは、一度圧縮／伸張及びワープ された以前のビデオフレーム（右隣のイメージフィールド）（Ｂ）と比較される （ステップ２）。ステップ３は、各図第１行最右のイメージフィールド（Ｃ）で 示されている。このフィールドは、コンテンツの変化が検出された領域を示して いる。モザイクバッファの状態は、第２行最左のイメージフィールド（Ｄ）に示 されている。このバッファは、ステップ４で記述される新たな背景領域を認識す るために使われる。これらの領域は、背景が既知でなかった領域に対応する。前 景の認識は、第２行最右のイメージ（Ｆ）で示されている。このイメージと関連 する操作は、前景を定義するために変化マップ，モザイク及び新たな背景領域を 用いるステップ５に記述されている。本方法のステップ６と７は、第３行の最左 ２つのイメージフィールド（Ｇ，Ｈ）で説明される。ここで、背景情報は、前ス テップで得られた圧縮／伸張された前景情報から来る。最後に、最下行右のイメ ージフィールド（Ｉ）によりモザイク更新処理が図示されている。この処理は、 本方法のステップ８，９，１０，及び１１で起こる。 に初期化されており、これはモザイクのコンテンツがこれら位置では知られてい ないことを意味する。 モザイクバッファＭ（ｓ，ｔ）のコンテンツは、０に初期化される。 現在のビデオフレームＩ（ｓ，ｔ−１）からモザイクに至るまでのワープパラ メータは、初期化されてＷ_{t0 ←(t-1)}（）となる。ここでｔ₀は、任意の架空の時 刻である。この初期ワープは、モザイクを作成するために使われる解像度又は時 刻基準(time reference)を特定する方法を提供するものとして重要である。この 初期マッピングの適用は、本方法によりもたらされた歪みを最小化する最適時刻 ｔ₀の選択又は良好な空間的解像度を備えるモザイクを作成している。これらの 初期ワープパラメータは、復号器へ送信される。 ステップ２：取得 イメージＩ（ｓ，ｔ）が取得され、イメージＩ（ｓ，ｔ−１）からＩ（ｓ，ｔ ）へのマッピングのための順方向ワープパラメータが計算される。ワープパラメ ータの数は、これらのパラメータの予測方法と同じく、ここでは特定されない。 ［４］に示されるような、支配的動き推定アルゴリズムを用いることができる 。ワープパラメータは、現在のワープパラメータからなるもので、この結果がマ ッピングＷ_{t ←t0}（）である。これらのパラメータは、復号器へ送信される。 ステップ３：符号化／復号化された前フレームと現在のフレームとの間のコンテ ンツにおける変化検出をする ｉ）イメージよりも大きくてモザイクと同じ大きさの可能性があるサイズＭ_b× Ｎ_b（Ｍ_b＞Ｍ_t，Ｎ_b＞Ｎ_t）の大バッファを初期化する。 このバッファは、全ての位置で２ビットの深さである。このバッファは、既知 でない状態を表示するために、３に初期化される。 ii）共通にサポートされたイメージについての（動き補償された）シーン変化 を計算する。コンテンツにおいて変化が小さいとみなされる全ての位置にラベル ０を与える。変化が大きいと検出された位置にラベル１ａを与える。領域をより 均質にするために、追加操作（例えばモルフォロジカル操作(morphological ope ration)）を行う。この操作は、ラベルを１ａから０にリセットするか０から１ ａにセットするかのいずれかである。０ラベルの領域は典型的に背景ビデオオブ ジェクトの一部分として考慮され、符号化される。一方、１ａとラベル付けされ た領域は、典型的な前景ビデオオブジェクトの一部分として符号化される。 ここで、Thres_changeは、予め定義されたしきい値である。 iii）以下のように、新しいイメージ領域にタグを付ける。この領域は時刻ｔで サポートされるイメージが、時刻（ｔ−１）でサポートされたイメージとはオー バラップしない領域である。 ステップ４：新たな背景領域を認識する 最近の２つのビデオフレームでイメージコンテンツに何らかの変化がなかった ときは、新たな背景領域が検出される。モザイク内で対応する領域は、この位置 での背景が既知ではないことも示さなければならない。結果としての新背景領域 は、背景が既知である近くの領域に貼付けられる。後のステップでわかるように 、新背景データのモザイクへの取り込みは、符号器と復号器との間のドリフトを 避けるために、圧縮／伸張された背景形状情報に従ってなされなければならない 。 ここで、インジケータ値０は、背景が既知でないことを意味する。 ステップ５：前景／背景の領域分割を実行する 識別するために、しきい値処理を実行する（ケース（ｉ））。背景が知られてい ない領域の場合は、変化が発生した領域全て（ステップ３で定義されたラベル１ ａ，１ｂ）に前景としてタグを付ける（ケース(iii)及び(iv)）。 ケース(ii)は、前景の部分から除外された新たな背景領域を現している。 ここで、Thres_fgは、背景から前景を分割するために用いられる、予め定義さ れたしきい値である。 ケース(iii)及び(iv)では、領域１ａ又は１ｂに１をタグ付けした領域のサブ クラシフィケーションは、異なるマクロブロック選択ルールに従うようにフレキ シビリティをもった符号器を提供するという、単一の目的で使用される。例えば 、１ａとタグ付けされた領域は、これらの領域が共通にサポートされるイメージ にわたって発生するので、インターフレームマクロブロックで符号化されるのが 好ましい。一方、１ｂとタグ付けされた領域は、これらの領域が以前のフレーム とは共通にサポートされる領域を共有しないので、イントラフレームマクロブロ ックで符号化されるのが好ましい。 ステップ６：前景形状及びテクスチャを圧縮／伸張する １ａ及び１ｂとラベル付けされた前景領域を符号化するためには、通常（Ｉ， Ｐ或いはＢ−ＶＯＰ）の予測モードを使用する。Ｐ又はＢ−ＶＯＰｓの場合には 、個々のマクロブロックは、インターフレーム予測か又はイントラフレーム符号 化のいずれかを使用することができる。１ｂとラベル付けされた領域に対応する 画素(モザイク内に表現されていない新しく現れた背景)は、イントラマクロブロ ックとして符号化されるのが好ましい。前景の形状は、同様に圧縮され送信され る。一度、伸張がなされると、この形状は、符号器及び復号器によって、モザイ クのコンテンツを更新するために使用される。この処理は、ＭＰＥＧ−４ＶＭ５ ．０［３］を使って行うことができる。 ステップ７：背景形状を取得する 圧縮／伸張された前景形状から背景形状を取得する。 圧縮／伸張は、符号器及び復号器が同一の形状情報を共有するために必要であ る。 ここに、Ｃ^-1Ｃ｛｝は、形状の符号化／復号化を意味し、例えば上述の［３］ を使って実行することができる。 ステップ８：モザイクの新たな背景テクスチャを初期化する 新たな背景が発生した領域を認識し、前ビデオフレーム（時刻（ｔ−１））で 見つけられたコンテンツでモザイクを初期化する。参考までに、フィールド ステップ９：モザイク予測から背景テクスチャの残差を計算する 号を計算する。その結果のΔＩ（ｓ，ｔ）は、画素（ｓ，ｔ）がロケートする全 マクロブロックにわたって差信号を計算したものである。この差信号は、以前及 び次のビデオフレームからの予測（Ｐ又はＢ予測モード）を用いて作られた通常 の差信号と比較される。マクロブロックのタイプは、ベスト予測モードに従って 選ばれる。残差信号は、［２］で説明したような圧縮背景形状と共に復号器へ送 信される。 ΔＩ（ｓ，ｔ）＝Ｉ（ｓ，ｔ）−Ｗ_{t ←t0}（Ｍ’（ｓ，ｔ−１）） ステップ１０：モザイクの背景形状を更新する 新たな背景の形状を含むようにモザイクマップを更新する。 ステップ１１：モザイクの更新 フレームｔの新たな或いはカバーされていない背景に対応する領域のモザイク のコンテンツを更新する。 上記方程式中、混合パラメータα（０＜α＜１）の値の選択は、アプリケーシ ョンに依存している。 上述の方法は、過去、現在、又は未来のある時刻ｔ₀を参照したモザイクを作 成する。 モザイクが現時刻ｔまで連続的にワープされる場合、上記方程式を書き直すこ とは、簡単である。 さて、図４は、本発明のブロックダイアグラムが描かれている。本図の目的は 、本発明の方法で使用される色々な成分や量における従属関係を浮き立たせるこ とにある。又、連続するビデオフィールドを整列させるために必要な色々なワー プステージや非ワープステージを強調することも目的とする。 図５は、本発明の方法を用いるデジタルビデオデータベースシステムのブロッ クダイアグラムを示す。 図６は、送信中の動的スプライトとしてオフラインで作成された背景スプライ トを用いたテレビ会議システムのブロックダイアグラムを示す。 図７は、前景オブジェクト（ここでは自動車）の連続位置が、前景の形状に属 する１つ又は数個の突起点（Ｖ）の連続的な位置をプロットすることによって、 どのようにモザイク内に表現され得るかを例示している。頂点の色は、混乱を避 けるために、ｔ₀からｔ₀＋１及びｔ₀＋１からｔ₀＋２で変えられている。この例 では、頂点はモザイクに静的に示されており、形状記述(description)の１つの レベルのみを取得(capture)している。 各種実施形態のオペレーション モザイクベースによるテレビ会議及びテレビ電話システム 図５と図６を参照すると、通信プロトコルは、オンライン背景モザイクが作成 されている間、構成相（時刻調整可能）を包含することができる。この時刻中は 、各テレビ電話は、背景モザイクを作成するために頭と肩の小さな変位を用いる 。前景の変位は、自発的（システムがユーザを案内する）成いは、そうでないか （前景が動かなければ符号化効率にはゲインがない）、とすることが可能である 。この場合、上述の方法は、背景モザイクを作成するために用いられる。通常の ビデオ送信中は、モザイクは動的スプライトとして用いられ、混合因子は、いか なる更新もしないように０にセットされる。この場合、マクロブロックのタイプ は、動的でも静的でもあり得る。極端な場合、全てのマクロブロックが静的マク ロブロックであるということは、背景モザイクが静的スプライトとして用いられ ているということである。別の極端な場合として、全てのマクロブロックが動的 タイプであり、モザイクが動的（予測可能な）スプライトとして用いられている ということである。後者の場合は、高データ送信バンド幅が必要である。二者択 一的に、背景シーンのモザイクは、送信前に作成され、そして通常の送信中には 、静的又は動的スプライトとして用いられる。 モザイクベースによるビデオデータベース 上記方法は、ビデオビットストリームのデータベース即ち圧縮ビットストリー ムのデータベースを構築したり、検索したりする際に使用可能である。このよう なシステムでは、ビデオクリップは、上記方法を用いて圧縮される。その結果は 、圧縮ビットストリームと符号化処理中に生成されたモザイクとなる。このモザ イクイメージは、ビデオクリップビットストリームの代表イメージとして使用可 能で、その特徴は、そのビデオクリップに属するビットストリームの検索や索引 (作業)に利用することができる。 更に、前景の動き経路(trajectory)は、ユーザにシーケンスでの前景動きの粗 い記述を提供するために、モザイクの上に重ねることができる。前景オブジェ クトの経路は、点のセットとして表現することが可能で、それぞれの点は、与え られた時刻における前景オブジェクトの特定の特徴の位置を表現している。この 特徴点は、オブジェクト形状の突起点(salient vertices)であってよい。オブジ ェクト形状の階層的記述は、データベースインターフェースに、粗から細の形状 アウトラインをモザイク内に重ねさせるような、更なる利点をもたらすであろう 。連続頂点位置は、同じ背景モザイク中に共に示されるか、成いは、同じモザイ クのサポートに時刻的に連続して表示される。参考までに、この概念には、動き ベースによる検索を容易にする更なる利点がある。その理由は、前景の動きはモ ザイク参照空間に表現されているからである。 図７をみると、背景モザイクは、草、空、太陽及び木を有している。前景オブ ジェクトは、加速した動きで左から右へ移動する車である。この車の形状は、黒 で示されている。８つの頂点“Ｖ”は、この形状を表現するために選択された。 車の連続位置は、単に連続位置に頂点をプロットすることにより、モザイク中に 表現することができることを図７は示している。頂点の色は、混乱を避けるため に、ｔ₀からｔ₀＋１及びｔ₀＋１からｔ₀＋２で変えられている。この例では、頂 点はモザイク内で静的に示されており、形状記述の１つのレベルのみを取得して いる。最後に、モザイクはアイコンとして使用可能である。モザイクのアイコン をクリックすることによって、ユーザはシーケンスの再生のきっかけとすること ができるであろう。 頻繁にシーンが変化するアプリケーションにおけるマルチプルモザイクのサポー ト ビデオシーケンスが、テレビ会議アプリケーションでのように、あるシーンか ら別のシーンヘ急速かつ頻繁に変化する場合、２つ又はそれ以上（独立したシー ンの数がいくつあるかに依る）のモザイクを同時に作成するのが好ましい。１つ 以上のモザイクがあると、シーンのカットが発生する度に新たなモザイクの作成 を、システムにより強制的に再初期化する必要はない。このフレームワークでは 、符号化されるビデオフレームが同様なコンテンツを共有するときだけ、モザイ クが使用され、更新される。参考までに、モザイクは重ねることが許されている の で、一度に２つ以上のモザイクを更新することができる。 最適視点(optimal) 本方法の最初で用いられた任意のマッピングＷ_{(t-1) ←t0}（）は、歪みや人工 的疑似信号(artifacts)が最小になるモザイク用に最適空間表現領域を表現する ために用いる。この点では、これが我々の側においてより深い研究が必要な問題 である一方、曖昧さ(視差問題)及び／又は歪みが、予め定められた基準に従って 最小化される最適モザイク表現を見つける可能性があることは疑いのないことで ある。 改良された解像度 同様にして、任意のマッピングＷ_{(t-1) ←t0}（）は、ズーム因子を含むことが できる。この因子には、それを作成するのに用いたビデオフレームの解像度より 潜在的に２，３又はＮ倍以上の解像度をもつモザイクを作成する効果がある。任 意に固定されたズーム因子は、連続ビデオフレームにわたる小数点以下のワープ 変位が、モザイク中で整数変位として記録されるような機構を提供する。ズーム 因子が大きければ大きい程、長いシーケンスがモザイクの完成前になければなら ない(満たすためにはより多くの画素位置が必要)。ＭＰＥＧ−４フレームワーク は、このようなスキームの実現を可能にするものである。 この任意のマッピングＷ_res（）を示す。線形の場合には、この演算子は、１ より大きな一定スカラーを乗じた単位行列である。このスケール因子は、モザイ クに使われる拡大因子を定義するものである。ステップ１１に示されたモザイク 更新方程式は、以下のように書き直すことができる。 この方程式は、モザイクが固定時刻ｔ₀で作成されていることを示しており、 この固定時刻ｔ₀は、第１のビデオフレームに対応する時刻、最終フレームに対 応する時刻、又はこの間のどの時刻であってもよい。この場合、任意のマッピン グＷ_res（）は、常にワープ変換Ｗ_{t0 ←t}により構成されている。モザイクが、現 在のビデオフレームに向けて連続的にワープされている時は、更新方程式は以下 のように書き直さねばならない。 上記方程式は、任意のマッピングＷ_res（）がもはやフレームからフレームへ のワープ演算子Ｗ_{t ←(t-1)}で構成されず、代わりに圧縮／伸張した残差に適用さ れることを意味している。ＭＰＥＧ−４においては、任意のマッピング演算子Ｗ_res （）は、ワープパラメータの第１のセットとして、シンタックスを適宜拡張 したものを送信することが出来る。このセットは、現状では、変換シフトを経て モザイクバッファ中で第１のビデオフレームを位置決めするときのみをサポート している。 極めて低いビットレートにおけるビデオシーケンスの符号化 極めて低いビットレートのアプリケーションにおいては、形状情報の送信は、 望ましくない負荷(overhead)となる。上述の方法は、形状情報の送信が切断され たとき、依然として操作可能である。これは、全ての画素で背景形状を１にセッ トすること（ステップ７）、及び混合因子αを１にセットすること（ステップ１ １）により実施される。後者のセッティングは、モザイクが常に最新のビデオ情 報を表示することを保証するものである。前景がモザイクに含まれているので、 このビデオ情報はこの状況では必要である。この状況で、マクロブロックのタイ プは、イントラ、インター、静的スプライト、又は動的スプライトであり得る。 このスプライトは、全てのマクロブロックが静的であれば静的スプライトとして 用いられる。この場合、残差は送信されないので、極めて低いビットレートのア プリケーションではこれが最も可能性のある状況である。全てのマクロブロック が動的タイプであれば、このスプライトは動的スプライトとして用いられている 。

Claims (1)

1. 【特許請求の範囲】 １．スプライト作成が自動的であり、スプライトオブジェクトの分割が自動的で あって且つスプライト作成及び符号化・復号処理が統合されたスプライトベース によるビデオ予測符号化（符号化及び復号化）方法であって、 バッファの全ての位置でバイナリフィールドを０に初期化し、 マッピングのためにイメージと前記イメージの順方向ワープパラメータを取得 し、 以前に符号化／復号されたフレームと現在のフレームとの間のコンテンツの変 化を検出し、 新たな背景領域を認識し、 前景と背景を分割し、 対象となる形状を圧縮又は伸張することによって、前景の形状とテクスチャを 作成し、 前に作成された前景形状から背景形状を引き出し、 モザイク中の新たな背景テクスチャを初期化し、 前記モザイクの予測から背景テクスチャ残差を決定し、 前記背景形状のモザイクを更新し、 新たな又はカバーされていない背景に対応する全ての領域の前記モザイクを更 新することを特徴とするスプライトベースによるビデオ予測符号化方法。 ２．符号化中に作成されたスプライトが、入力ビデオクリップの代表イメージと して用いられ、前記ビデオクリップが記録及び検索の目的で解析され索引される 圧縮ビデオデータベースシステムであって、 ビデオクリップを受信し、ビデオビットストリームとモザイクを生成するため のスプライトベースによる符号器と、 前記モザイクから特徴を抽出し、代表的特徴を認識するための特徴抽出器と、 前記代表的特徴及び前記ビデオビットストリームからビデオデータベースを生 成するためのビデオデータベース生成器と、 選択された代表的特徴を用いて前記ビデオデータベースを検索するための検索 エンジンと を備えたことを特徴とする圧縮ビデオデータベースシステム。