JP2005295561A

JP2005295561A - 動画データを符号化および復号する方法、前記方法を用いて符号化された画像シーケンスの表現、前記方法を実施する装置、コンピュータプログラム、および記憶媒体

Info

Publication number: JP2005295561A
Application number: JP2005103252A
Authority: JP
Inventors: Andrew Secker; アンドリュー・セッカー
Original assignee: Mitsubishi Elecric Information Technology Centre Europe BV; Mitsubishi Electric Information Technology Corp; Mitsubishi Electric Information Technology Center Europe BV Nederlands
Current assignee: Mitsubishi Elecric Information Technology Centre Europe BV; Mitsubishi Electric Information Technology Corp; Mitsubishi Electric R&D Centre Europe BV Netherlands
Priority date: 2004-03-31
Filing date: 2005-03-31
Publication date: 2005-10-20
Also published as: US20050226323A1; CN1678073B; EP1583368A1; CN1678073A

Abstract

【課題】圧縮効率を大きくすることができ、それゆえ、スケーラブル動き情報に関連して性能に不利な条件がもたらされるのを減らす、動画データを符号化する方法を提供する。
【解決手段】特に動き補償された３Ｄサブバンドコーディングを用いて動画データを符号化する方法であって、動き補償からの動きベクトルの第１の成分が該動きベクトルの第２の成分とは別々にあるいは無関係にスケーラブルに符号化され、当該方法は、第１の動きベクトル成分および第２の動きベクトル成分のための個別のビットレート割当てを含む方法。
【選択図】図２

Description

本発明は、画像シーケンスの形で構成される動画(motion picture)データを符号化するための方法および装置に関する。本発明は特に、空間および時間フィルタリング、動き補償(motion compensation)、ならびに動きベクトルのコーディングを含む３Ｄサブバンドコーディングに関係する。

インターネットのような混成の通信ネットワークにおいて、効率的に映像を通信するには、多種多様な伝送上の制約およびビデオディスプレイパラメータを規定しなければならない。同じネットワーク上の種々のユーザの間で、チャネル帯域幅が数桁異なることも珍しくない。さらに、ネットワークの相互接続に向かう急速な進展は、それぞれ異なるディスプレイ解像度および処理能力を有する移動電話、手持ち式の個人情報端末およびデスクトップワークステーションのような装置が全て同じデジタルメディアコンテンツにアクセスする可能性があることを意味している。

スケーラブルビデオコーディングは、多数の異なるビットレートおよびディスプレイ解像度において同時に効率的な再構成がサポートされるように元のビデオコンテンツを圧縮することにより、映像通信ネットワークおよびエンドユーザの関心の多様性に対処することを目的とする。ビットレートスケーラビリティとは、圧縮効率を損なうことなく、様々なビットレートに細かく対応しながら、圧縮された映像を再構成する能力を指している。これにより、１つの圧縮されたビットストリームが、それぞれ自らが利用可能な帯域幅を全て利用する多数のユーザによってアクセスされるようになる。レートスケーラビリティがない場合、同じビデオデータのいくつかのバージョンをネットワーク上で利用できるようにしなければならないので、記憶装置および伝送にかかる負担が著しく大きくなるであろう。スケーラビリティの他の重要な形態は、空間分解能およびフレームレート（時間分解能）スケーラビリティを含む。これらによって、圧縮された映像が種々のディスプレイ解像度で効率的に再構成され、それにより種々の能力のあらゆる種類のエンドユーザ装置にサービスを提供できるようになる。スケーラブル映像圧縮に関する現在の欲求、過去の実績および今後の動向の概要は、D. Taubman著「Successive refinement of video: fundamental issues, past efforts and new directions」（Int Sym. Visual Comm. Image Proc., July 2003）において知ることができる。

近年に至って、スケーラブルビデオコーディングの研究は、いくつかの重要な発見を受けて、わずかの間に大きな関心を集めてきた。詳細には、効率的なフィードフォワード圧縮システムを構成するための新たなフレームワークは、これまでの方式に比べて大きな利点を提供するように思われる。実際には、スケーラブルビデオコーダは、既存の非スケーラブルコーディング方法に匹敵しながら、上記の所望のスケーラビリティ機能の全てを持つ圧縮性能をようやく達成し始めたところである。これらの新たな方式は、「動き補償リフティング」方式として知られており、最初にSeckerおよびTaubman（A. Secker and D. Taubman著「Lifting-based ivertible motion adaptive transform (LIMAT) framework for highly scalable video compression」(IEEE Trans. Image Proc., Dec 2003)によって、そして同時にPesquet-Popescu他（B. Pesquet-Popescu and V. Bottreau著「Three-dimensional lifting schemes for motion compensated video compression」（IEEE Int. Conf. Acoustics. Speech Signal Proc., pp 1793-1796, Dec 2001）によって提案された。

動き補償リフティング方式によって、圧縮システムを逆変換する能力を犠牲にすることなく、効率的なウェーブレット(wavelet)に基づく時間変換が、ビデオデータに適用されるようになる。ウェーブレット時間変換は、元のビデオフレームを、一群の時間「サブバンド」フレームに変換する。十分な帯域幅が利用できるなら、可逆変換によって映像が完全に再構成されるようになるので、可逆変換は特に重要である。時間サブバンドフレームは、スケーラブル画像圧縮の場合に用いられる技法と概ね同じ技法を用いて処理される。そのような技法は、現時点では概ね完成した状態に達しており（最近のＪＰＥＧ２０００画像圧縮標準規格において完結している）、J. Shapiro著「Embedded image coding using zerotrees of wavelet coefficients」（IEEE Trans. Signal Proc., vol 41, pp 3445-3462, Dec 1993）、D. Taubman and A. Zakhor著「Multi-rate 3-d subband coding of video」（IEEE Trans. Image Proc., vol.3, pp. 572-588, Sept 1994）、A. Said and W. Pearlman著「A new, fast and efficient image codec based on set partitioning in hierarchical trees」（IEEE Trans. Circ. Sys. Video Tech., pp 243-250, June 1996）、およびD. Taubman, E. Ordentlich, M. Weinberger and G. Seroussi著「Embedded Block Coding in JPEG2000」（Signal Processing - Image Communication, vol 17, no 1, pp. 49-72, Jan 2002）において確認することができる技法を含む。同一出願人による同時係属出願である欧州特許出願第０３２５５６２４．３号明細書（Ｐ０４７）も参照され、その内容は参照して本明細書に援用される。

動き補償リフティング変換の高い圧縮性能への鍵は、それが非常に効率的に動きを利用できること、および任意の動きモデルに対して容易に適合できることである。多数の動きモデルが文献において提案されており、これらのモデルのうちの任意のものがリフティング変換のフレームワークに都合良く組み込まれることができる。パラメータ化された動きモデルを用いることから生じる付随的な情報を表現し、コーディングするための種々の方法も提案されている。しかしながら、従来の方法によれば、付随的な情報の量がかなり多く、典型的にはロスレスに(losslessly)コーディング(されており、圧縮システム全体のレートスケーラビリティを大きく低下させる可能性がある。

非常に広い範囲のビットレート、すなわち数キロビット／秒（ｋｂｐｓ）から何メガビット／秒（Ｍｂｐｓ）にも及ぶ範囲のビットレートにわたってレートスケーラビリティを可能にするために、動き情報が表現される精度もスケーラブルでなければならない。動きのスケーラビリティがない場合、動きパラメータをコーディングする代償として、低ビットレートにおいて利用可能な帯域幅のうちの不当な割合を占有する可能性がある。逆に、高ビットレートにおいて最大のコーディング利得を達成するために、動きが十分な精度で表現されない場合がある。動き情報が処理される精度をスケーリングする能力は、時間スケーラビリティの当然の拡張であることにも留意されたい。これは、再構成される映像シーケンスの時間情報を精緻化することは、時間サンプリングレートだけでなく、これらの時間サンプル(temporal sample)が動き適応時間合成フィルタバンクによって補間される精度も精緻化することを含むことになるためである。

SeckerおよびTaubmanは最近、A. Secker and D. Taubman著「Highly scalable video compression with scalable motion coding」としてIEEE Trans. Image Procに掲載され、著者たちのウエブサイトwww.ee.unsw.edu.au/~taubman/にも開示される、スケーラブル動きコーディングに取り組んだ。この研究において、彼らは、動きパラメータおよびビデオサンプルを圧縮し、両方を一緒にスケーリングするための新規のフレームワークを提供する。彼らの方法は、時間サブバンドフレームをコーディングするために用いられる技法に類似のスケーラブル画像コーディング技法を用いて、動き補償リフティング変換に関連付けられる動きパラメータを圧縮することを含む。

SeckerおよびTaubmanの研究は２つの大きな貢献に関与する。第１に、彼らは動き情報のスケーラブル圧縮のための方法を記述しており、第２に、彼らはビデオフレームをコーディングする際に費やされるビットの数と、動きパラメータをコーディングする際に費やされるビットの数との間の最適なバランスをとるためのフレームワークを提供する。部分的には、スケーラブル動きコーディング手法は、スカラー画像サンプルが従来のスケーラブル画像コーディングシステムにおいて処理されるのと同じようにして、動きベクトルの個々の成分を処理することを含む。動き情報は典型的には、２次元ベクトルの２次元のアレイ（ビデオフレーム間の垂直方向および水平方向への動きに対応する）からなる。それらの情報は、垂直方向および水平方向の動き成分を抽出し、それらの成分を２次元のスカラー場に配列することにより、スカラー画像として圧縮されることができる。空間ウェーブレット変換はスカラーの動き成分に適用されるが、結果として変換された動き成分はベクトルに再結合され、一緒に埋め込み量子化およびコーディングにかけられる。これにより、埋め込みコーディングステージが、変換された動きベクトル成分間の冗長性を利用できるようになる。

SeckerおよびTaubmanのスケーラブル動きコーディング方式が注目されるが、動きビットレートとビデオサンプルビットレートとの間の最適なバランスをとるための彼らの方法も注目される。既存のスケーラブルビデオコーディング方式は、スケーラブルビデオサンプルビットストリームに加えて、非スケーラブル動きパラメータビットストリームを生成することを含むが、SeckerおよびTaubmanの方法は、図１に示されるように、２つのスケーラブルビットストリーム、すなわちビデオサンプルに対応するスケーラブルビットストリームと、動きパラメータに対応するスケーラブルビットストリームとを生成する。

元の動きパラメータを用いて、スケーラブルビデオサンプルビットストリームが生成される。圧縮した後に動き情報をスケーリングすることは、圧縮中に用いられるのとは異なる動きパラメータで再構成が実行されることを意味する。この相違の結果として、再構成されたビデオの歪みが余分に生成される。しかしながら、この余分な歪みは定量化され、ビデオサンプルビットストリームをスケーリングすることから生じる歪みとバランスがとられることができるので、動きビットレートとサンプルビットレートとの最適な組み合わせを見いだすことができる。

先に述べられたA. Secker and D. Taubman著「Highly scalable video compression with scalable motion coding」において、著者たちは、動き誤差と結果として生成されるビデオ歪みとの間の複雑な相互作用にもかかわらず、その挙動が線形な方法を用いて概ねモデル化されることができることを示している。動きビットレートおよびサンプルビットレートの最適な組み合わせを、ビデオフレームが圧縮された後に決定することができるので、この重要な報告は、スケーラブル動きビットストリームおよびビデオビットストリームの個別の構成を正当化する。SeckerおよびTaubmanによれば、再構成された映像シーケンス内の動き誤差に起因する、全２乗誤差Ｄ^（Ｍ）は、以下の線形モデルによって表されることができる。

ただし、Ｄ_Ｍは圧縮後スケーリングに起因する動きベクトルの平均２乗誤差を表す。スケーリングファクタΨ_Ｒ，Ｓは、ビデオ信号が再構成されることになる空間分解能Ｓと、ビデオサンプルが再構成される精度、すなわちビットレートＲとに依存する。

動き情報とサンプルデータとの間の最適なレート割当ては、サブバンドフレームのスケーラブルコーディング中に生成される埋め込み表現(embedded representation)の最初のＬ^（Ｓ）ビットに関連付けられる再構成されたビデオサンプル歪みＤ^（Ｓ）を知ることを含む。さらにレート割当ては、動きパラメータビットストリームを長さＬ^（Ｍ）に打ち切ることから生じる再構成されたビデオ歪みＤ^（Ｍ）を知ることも含む。ラグランジュ乗数(Lagrange multiplier)の方法に従って、ある全長Ｌ^ｍａｘの場合に、動きビットおよびサンプルビットの最適な割当ては、或る歪み−長さ勾配λ>０の場合に、以下の式が成り立つときに見いだされる。

Ｌ^（Ｓ）＋Ｌ^（Ｍ）は、Ｌ^ｍａｘを超えない範囲で最も大きな値である。ここで、ΔＤ^（Ｓ）／ΔＬ^（Ｓ）およびΔＤ^（Ｍ）／ΔＬ^（Ｍ）はそれぞれ、サンプルビットストリームおよび動きビットストリームの打ち切り点における歪み−長さ勾配に対する離散的な近似値である。実際には、任意のＬ^ｍａｘのための概ね最適なレート割当てを得るためには、通常、限られた１組の取り得るビットストリーム打ち切り点のためのＤ^（Ｓ）、Ｌ^（Ｓ）、Ｄ^（Ｍ）およびＬ^（Ｍ）を知ることだけで十分である。

式（１）によれば、Ｌ^（Ｍ）にわずかな変化があってもΨ_Ｒ，Ｓがほぼ一定である限り、レート割当ては以下の式に従って同じく実行されることができる。

先に述べられたSeckerおよびTaubmanによれば、Ｌ^（Ｍ）にわずかな変化があってもΨ_Ｒ，Ｓがほぼ一定であることは一般的に当てはまるので、コーディングされた動きデータのレート歪み最適性はサンプルデータとは概ね無関係であり、スケーラブル動きビットストリームは、スケーラブルサンプルビットストリームとは無関係に構成されることができる。動きデータとサンプルデータとの間の最適なレート割当ては、動き感度ファクタΨ_Ｒ，Ｓに従って、圧縮後に求めることができる。

このレート歪み最適化モデルは、スケーラブルビデオコーディングの任意の方法に都合良く適用されることができるが、ＪＰＥＧ２０００に採用されたＥＢＣＯＴアルゴリズムは、動きおよびサンプルの両方のビットストリームをコーディングし、一緒にスケーリングするための優れたフレームワークを提供する。ＥＢＣＯＴコーディングアルゴリズムの全体的な説明は、D. Taubman, E. Ordentlich, M. Weinberger and G. Seroussi著「Embedded Block Coding in JPEG2000」（Signal Processing - Image Communication, vol 17, no 1, pp. 49-72, Jan 2002）から入手することができる。ＥＢＣＯＴアルゴリズムは、埋め込まれた「品質層」に編成されるビットストリームを生成する。任意の層境界においてビットストリームを打ち切っても、上記のレート歪み最適化の目標を満たす、再構成された信号が生成される。さらに、部分品質層を含む再構成は、再構成された歪みを減少させるが、必ずしもレート歪みが最適にはならない。この最適ではない状態(sub-optimality)は、十分な数の品質層が用いられる限り、一般的に問題ではない。

動きパラメータをビデオデータとともにスケーリングするための現在の方法は、動きベクトルの歪みの大きさのみを考慮し、向きは考慮しない。しかしながら、ビデオシーケンスが異方性の電力スペクトルを示し、垂直方向および水平方向の動き誤差の影響が著しく異なるようになることは珍しくない。これが当てはまるとき、垂直方向および水平方向の動きベクトル成分間のビットの割当ては、既存の方式では最適ではない。

この問題を修正すれば、結果として圧縮効率を大きくすることができ、それゆえ、スケーラブル動き情報に関連して性能に不利な条件がもたらされるのを減らすことができる。

本発明の概念は、動きベクトル成分毎にレート割当てを個別に実行することにより、ビデオコーダ全体のレート歪み最適化を改善することである。基本的には、これは、再構成されたビデオデータが最も影響を受ける動き成分に、より多くのビットを費やすことを含む。たとえば、ビデオデータが垂直方向に支配的な高い周波数エネルギーを含む場合、垂直方向の動き成分をコーディングする際に多くのビットが費やされ、水平方向の動きベクトル成分をコーディングする際に少ないビットが費やされる。逆に、ビデオシーケンスが支配的な水平方向のテクスチャ情報を含むときには、動きビットの大部分が水平方向の動きベクトル成分をコーディングする際に費やされ、それゆえ水平方向の動き誤差に対してより感度が高くなる。

本発明は、従来技術の、動きによって引き起こされるビデオ歪みのモデルを改善することに基づく。ここで、変更されたモデルは、動きベクトルの大きさのＭＳＥに対応する単一の項ではなく、動きベクトル成分のＭＳＥ毎に項を含む。その改善されたモデルは以下の式によって記述される。

ただし、

および

は垂直方向の動きベクトル成分を指しており、

および

は水平方向の動きベクトル成分を指している。動き誤差およびサンプル誤差に相関がないものと仮定すると、以下の加法的な歪みモデルを用いて、再構成された全ビデオ歪みを個々の動き成分の歪みおよびフレームサンプル歪みの和として定量化することができる。

動き情報のコーディングおよびレート割当てのための既存の方法は、当然の結果として、改善されたモデルの適用を容易にするように拡張されることができる。これらの拡張が以下に説明される。

包括的には、本発明の１つの態様は、動き補償を用いて動画データを符号化する方法に関し、その方法は、水平方向および垂直方向の動きベクトル成分の影響を（たとえば、再構成／再構成誤差において）個別に考慮することを含む。これは、水平方向および垂直方向の動きベクトル成分を別々に符号化し、たとえば、再構成された画像／フレームの品質への寄与がより大きい成分を優先的に符号化することにより達成されることができる。優先的な符号化は、ビットプレーンにおけるビットプレーンシフトあるいは部分(fractional)ビットプレーンコーディングのような、シフトあるいはスケーリングを含むことができる。優先的な符号化は、ビットレート割当てに、すなわち、たとえば最適化技法、たとえば種々のビットレートおよび／または空間分解能の場合に再構成誤差を最小限に抑える技法を用いて、より多くのビットをより重要な動きベクトル成分に割り当てることに基づくことができる。本発明は、動きベクトルのスケーラブル符号化との関連で、特に３Ｄサブバンドコーディングに関して適用することができる。

本発明の別の態様によれば、動画データを符号化する方法、特に動き補償された３Ｄサブバンドコーディングが提供され、その方法では、動き補償からの動きベクトルの第１の成分が動きベクトルの第２の成分とは別々にあるいは無関係にスケーラブルに符号化され、その方法は動きベクトルの第１および第２の成分のための個別のビットレート割当てを含む。その動きベクトルは、動き推定技法から導出される。

本発明のこれらの態様および他の態様は添付の特許請求の範囲において詳述されるであろう。

この発明によれば、結果として圧縮効率を大きくすることができ、それゆえ、スケーラブル動き情報に関連して性能に不利な条件がもたらされるのを減らすことができる。

本発明の実施形態を、添付の図面を参照しながら説明する。

本発明と従来技術との間の主な相違は、垂直方向および水平方向の動きベクトル成分の歪みが個別に制御されることである。これは、図２に示されるように、最初に、動きベクトル場を各画像次元に対応するスカラー場に分離し、それぞれ個別にコーディングすることにより、２つのスケーラブル動き成分ビットストリームを生成することによって達成される。

各動き成分ビットストリームは、文献において確立されたスケーラブル画像圧縮技法のうちの任意のものを用いて、スケーラブルに符号化されることができる。詳細には、最近のＪＰＥＧ２０００画像圧縮標準規格から導出される方法を用いることが好ましく、その方法は、動きデータに対して有効に機能するために先に述べられたSeckerおよびTaubmanにおいて既に示されている。その最も簡単な形態では、本発明は、埋め込み量子化およびコーディングの前に、動きベクトル成分を再結合することを含まない。これは、ＪＰＥＧ２０００の部分ビットプレーンコーディング技法の１つの変形形態を用いて、各動きベクトルが埋め込み量子化およびコーディングに一緒にかけられる、従来技術とは異なることに留意されたい。

映像の効率的な再構成は、コーディングされたサンプル情報と、２つのコーディングされた動き成分の表現それぞれとの間で正確なレート割当てを必要とする。これは、補助レート割当て情報によって容易にされ、その情報は、空間分解能およびビットレートのような所望の再構成パラメータに応じて、動きデータおよびサンプルデータの最適な組み合わせを指定する。ビデオサーバによる再構成、あるいは圧縮されたファイルからの再構成のいずれの場合でも、そのために必要とされる補助レート情報は、従来技術として先に説明されたような１組のテーブルからなる。しかしながら、本発明では、レートテーブルは、必要とされる再構成ビットレートおよび空間分解能毎に、２つ（１つではない）の動きビットレート、およびビデオサンプルビットレートを決定する。

実際には、再構成ビットレートの選択に応じて、動き成分ビットレートとサンプルビットレートとを指定するだけで十分である。別法では、レートテーブルは、再構成されたビットレートおよび空間分解能を選択するために用いるための動き成分およびサンプル品質層の数を指定することができる。所望の再構成レートが、レートテーブルによって指定される合計ビットレートの範囲に入るなら、次に低い合計ビットレートに対応するレート割当てが用いられ、残りのビットはサンプルデータに割り当てられる。この取り決めは、動きビットストリームが常に動き成分品質層の全数に対応するビットレートで再構成されるという性質を持っており、それは、その動きビットストリームそのものによって、レート歪みが最適になることを確実にする。さらに、それは動き情報の堅実な割当てを促し、それは動きデータおよびサンプルデータのバランスが、わずかに少ない動き情報ではなく、わずかに多くの動き情報を送出するのを選ぶ傾向があることを意味する。別法では、Ｒ−Ｄ勾配を品質層間で線形に変化するものとして近似することができ、それにより品質層間の歪み−長さ曲線が２次の多項式としてモデル化される。この近似は、部分的な動きおよびサンプル品質層を用いてビットレートを割り当てるための手段を提供する。

再構成された各ビットレートを達成するために組み合わせることができる動き成分ビットレートおよびサンプルビットレートの全ての組み合わせを用いてビデオを一度再構成することによってレートテーブルを決定することができる。この手法を用いる場合、品質層の全数に対応する動き成分レートおよびサンプルレートのみを含むように探索を限定する必要がある。特定の合計ビットレートでそれぞれ再構成された後に、ＰＳＮＲが測定され、結果として最も高いＰＳＮＲを生成する組み合わせが最適なレート割当てとして選択される。

好ましくは、上記の手法は最初に、２つの動き成分ビットレートが強制的に同じにされる、粗い探索を実行することにより速度を速められる。これは、従来技術（上記のSeckerおよびTaubman）によって記述されるのと同じようにして、合計ビットレート毎にビットレートの対（動きビットレートおよびサンプルビットレート）のみをテストすることを含むであろう。最適な動き成分ビットレートは通常、同程度の桁数からなるので、この方法は良好な初期の推測をもたらすであろう。その初期の推測は、初期の推測によって特定されるものに近いいくつかの動き成分ビットレートを試すことにより精緻化される。再び、その探索は、全動き成分層に対応する動きビットレートのみに限定される。

さらに計算効率を高めるようにレートテーブルを決定するために、個々の打ち切り点において、各ビットストリームの歪み−長さ勾配が同じであるようにそれぞれ打ち切られるときに、３つのデータソースの組み合わせが最適であるという事実を利用することができる。すなわち、或る勾配λ>０の場合に、ラグランジュの最適化の目的が、以下の式が成り立つように３つのビットストリームを打ち切ることを含むという事実を利用する。

ただし、Ｌ^（Ｓ）＋Ｌ^{（Ｍ，１）}＋Ｌ^{（Ｍ，２）}は、Ｌ^ｍａｘを超えない範囲で最も大きな値である。この問題は上述の文献に記述されるものと同じであり、その解は「モデルに基づくレート割当て」と呼ばれる。本発明は、２つの動き成分ビットストリームおよび２つの動き感度ファクタを用いることを除いて、概ね同じレート割当て手順を含む。動き感度ファクタは、以下の積分を計算することにより求められる。ただし、Ｓ_Ｒ，Ｓ（ω_１，ω_２）は適当な電力スペクトル推定法を用いて決定される。

上記のSeckerおよびTaubmanにおいて報告され、それらの式によって示されるように、効率的なレート割当ては一般的に、空間分解能Ｓ毎に用いられ、かつ再構成ビットレートＲの選択のために用いられることになる異なる一対の動き感度ファクタを必要とする。

これまでの実施形態の制約は、動きベクトル成分を個別に符号化し、送信することが、１組の動きベクトルの全体が圧縮される効率を低下させる可能性があることである。これには２つの理由がある。第１の理由は、各動きビットストリームが、空間次元のような種々の再構成パラメータ、およびビットストリームの最適な打ち切りに関係する情報を指示するためのヘッダ情報を必要とすることである。後者は、コードブロックのための識別マーカ、品質層、時空間サブバンドなどを含む種々の形態において存在する。本発明の場合のように、２つの動き成分ビットストリームが、従来技術において用いられるような１つの動きベクトルビットストリームの代わりに用いられるときには、このオーバーヘッドは概ね２倍になる。２つの動き成分ビットストリームによって必要とされるシグナリングオーバーヘッドを削減するために、２つの成分ビットストリームを１つのビットストリームにまとめて、種々のマーカが動き成分間で共有されるようにすることが好ましい。これは一般的には、少なくとも、時空間サブバンドマーカ、次元情報、時空間分解および埋め込みコーディングパラメータを含むであろう。

動きベクトル成分を個別にコーディングすることが圧縮を低下させる可能性がある第２の理由は、これにより、２つの動き成分間の冗長性の利用が妨げられることである。この影響を抑えるために、本発明の別の実施態様は、埋め込み量子化およびコーディングの前に、２つの動きベクトル成分を再結合することを含む。これは、２つの動き成分ビットストリーム間で個別にビットを割り当てることができないので、レート割当てが最適ではないことを意味することに留意されたい。しかしながら、これは、２つのビットストリーム間の依存性を利用して、コーディング効率が高められることによって補償されることができる。詳細には、一方の動き成分が０であるときに、他方の動き成分も０である可能性が高いという事実を利用することが望ましい。これは、上記のSeckerおよびTaubmanによって提案される方法と同じようなコンテクストコーディング法を用いて果たされることができる。しかしながら、以前のやり方とは異なり、本発明は、再構成されたビデオ歪みへの２つの動き成分の相対的な有意性を利用することも含む。これは、SeckerおよびTaubmanにおいて記述されるものから、部分ビットプレーンコーディング操作をさらに変更することにより実行されることができる。たとえば、ビットプレーンコーディングの前に、１つの動きベクトル成分にスケーリング操作を適用することができる。これを果たすための簡単な方法は、全ての垂直方向の動きベクトル成分サンプルをビット数Ｎだけ左にシフトすることによる。ただし、Ｎ＝ｌｏｇ_２（Ψ_１／Ψ_２）である。

別法では、Ｎが負の数であるときに、水平方向の動きベクトル成分を−Ｎだけ左にシフトすることができる。この手法は、２つの動きベクトル成分間のビットプレーン走査順序を有効に変更するものであり、M. van der Schaar and Y-T Lin著「Content-based selective enhancement for streaming video」（IEEE Int. Conf. Image Proc. Vol. 2, pp. 977-980, Sept 2001）に記載されるような、ＭＰＥＧ−４細粒度スケーラビリティ（Fine Granularity Scalability）コーディング方式において、コンテンツに基づくスケーラビリティのために用いられるビットプレーンシフトの方法に概念的に類似している。正確な大きさが解凍中に再生されることができるように、ビットシフトパラメータがデコーダに送信されるが、これらのパラメータを送るために必要とされるビットの数は少なく、圧縮性能に著しい影響を及ぼさないことに留意されたい。

本発明は、たとえば、コンピュータを利用するシステムにおいて、あるいは適当なハードウエアおよび／またはソフトウエアを用いて、あるいは特定用途の装置またはチップのような特定用途のモジュールにおいて実装されることができる。図２にはコーダが示されており、対応するデコーダは、逆の復号操作を実行するために対応する構成要素を有する。

従来技術の符号化システムのブロック図である。本発明の一実施形態による符号化システムのブロック図である。

Claims

動き補償された３Ｄサブバンドコーディングを用いて動画データを符号化する方法であって、
動きベクトルの第１の成分が前記動きベクトルの第２の成分とは別々にあるいは無関係にスケーラブルに符号化される方法。
前記第１の動きベクトル成分および前記第２の動きベクトル成分のための個別のビットレート割当てを含む、請求項１に記載の方法。
動き補償を用いて動画データを符号化する方法であって、
動きベクトルの第１の成分が前記動きベクトルの第２の成分とは別々にあるいは無関係に符号化され、
前記第１の動きベクトル成分および前記第２の動きベクトル成分のための個別のビットレート割当てを含む方法。
前記動画データは動き補償３Ｄサブバンドコーディングを用いて符号化される、請求項３に記載の方法。
前記動きベクトルの前記符号化はスケーラブル符号化である、請求項３もしくは請求項４に記載の方法。
前記レート割当ては画像シーケンス内の垂直方向および水平方向のコンテンツの変化を考慮する、請求項２〜５のいずれか一項に記載の方法。
前記レート割当ては垂直方向および水平方向の動きに対する画像シーケンスの感度の変化を考慮する、請求項２〜６のいずれか一項に記載の方法。
前記レート割当ては、水平方向および垂直方向の動き誤差にそれぞれ起因する再構成誤差を反映する水平方向および垂直方向の動き感度あるいはスケーリングファクタを含む、請求項２〜７のいずれか一項に記載の方法。
前記レート割当ては、

および

を垂直方向の動きベクトル成分として、

および

を水平方向の動きベクトル成分とする場合に、

の形をとる、動きによって引き起こされるビデオ歪みのモデルを含むか、あるいはフレームサンプル歪みおよび動き成分歪みを結合して、

の形をとる、再構成された全ビデオ歪みのモデルを含む、請求項２〜８のいずれか一項に記載の方法。
複数の再構成ビットレートおよび／または空間分解能のためのレート割当てを決定することを含む、請求項２〜９のいずれか一項に記載の方法。
複数の再構成ビットレートおよび／または空間分解能のための動き成分ベクトルのレート割当て情報を含むレートテーブルを導出し、記憶することを含む、請求項１０に記載の方法。
動き補償された３Ｄサブバンドコーディングを用いて動画データを符号化する方法であって、
動きベクトルの成分はコンテクストコーディングを用いて一緒にスケーラブルに符号化され、
前記方法は一方の動きベクトル成分に対して他方をスケーリングあるいはシフトすることを含む方法。
ビットプレーンコーディングの前に、一方の成分の動きベクトルサンプルをＮあるいは−Ｎだけ左にシフトすることを含み、ただしＮ＝ｌｏｇ_２（Ψ_１／Ψ_２）である、請求項１２に記載の方法。
動き補償を用いて動画データを符号化する方法であって、
前記方法は水平方向および垂直方向の動きベクトル成分の影響を個別に考慮することを含む方法。
前記動きベクトル成分の影響は、再構成／再構成誤差における影響である、請求項１４に記載の方法。
前記動きベクトル成分のうちの一方の符号化を改善し、再構成誤差を減らすことを含む、請求項１４に記載の方法。
請求項１〜１６のいずれか一項に記載される方法を用いて符号化された動画データを復号する方法。
水平方向および垂直方向の動きベクトル成分に個別に割り当てられたビットを特定し、前記復号された水平方向および垂直方向の動きベクトル成分を用いて画像シーケンスを再構成することを含む、請求項１７に記載の方法。
請求項１〜１６のいずれか一項に記載の方法を用いて符号化された画像シーケンスの表現。
請求項１〜１８のいずれか一項に記載の方法を実施するように構成される装置。
第１の動きベクトル成分を符号化および／または復号するためのスケーラブル動きエンコーダおよび／またはデコーダと、
第２の動きベクトル成分を符号化および／または復号するためのスケーラブル動きエンコーダおよび／またはデコーダとを備える、請求項２０に記載の装置。
第１および第２の符号化された動きベクトル成分にビットを割り当てるための手段を備える、請求項２０もしくは請求項２１に記載の装置。
第１および第２の符号化された動きベクトル成分にビットを割り当てるためのレートテーブルを備える、請求項２２に記載の装置。
請求項１〜１８のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
請求項２４に記載のコンピュータプログラムを記憶するコンピュータ読取り可能記憶媒体。