JP2005510983A - ビデオ画像のグローバル動き補償 - Google Patents

Abstract

ビデオデータを符号化及び復号するシステム及び方法が考案されている。ビデオデータ圧縮のシステム及び方法において、ビデオフレーム（３２）は画像ブロック（３８）のシーケンスに分割され、いくつかの考えられるブロック符号化モードの１つは、予測された動きベクトルによって移動された前のフレーム（３２）から画素をコピーする野に使用される、インプリシット・グローバル動き補償（ＩＧＭＣ）モードである。ビデオデータ圧縮のシステム及び方法の本発明の別の実施形態では、ビデオフレーム（３２）はスライス（３６）のシーケンスに細分化され、各スライス（３６）はいくつかのマクロブロック（３）を含んでいる。それぞれのスライス（３６）は符号化され、符号化スライス（４０）のヘッダ（４４）には、そのスライス（４０）がＧＭＣ可能か、すなわち、その符号化スライスを再構成するのにグローバル動き補償を使用すべきか否かを示す信号が含まれる。もしそうであれば、動きベクトルのセット（４２ａ−４２ｄ）のようなＧＭＣ情報がスライスに含まれる。有用な実施形態では、フレーム（３２）の各スライス（３６）は、誤差に対する回復力を強化すべく、同じＧＭＣ情報を含んでいる。別の実施形態では、フレーム（３２）の異なるスライス（３６）は異なるＧＭＣ情報を含んでいる。いずれかの実施形態で、特定の符号化スライス（４０）の各画像についての動きベクトル（４２ａ−４２ｄ）は、特定の符号化スライス内にだけ含まれるＧＭＣ情報を用いて再構成され得る。

Description

本明細書において開示され特許請求の範囲が規定される本発明は、概してビデオ信号データの圧縮方法に関する。より詳細には、本発明はグローバル動き補償を用いる上記のタイプの方法に関する。より一層詳細には、本発明のいくつかの実施形態は、マクロブロックがスライスにブロック化され、グローバル動き補償情報が符号化されたスライスと共に送信される上記のタイプの方法に関する。

本発明の実施形態は、ビデオ会議システムの一部として、及びビデオを復号するＰＣ、ラップトップなどのコンピュータにおいて、標準（ＳＤＴＶ）及び高精細（ＨＤＴＶ）のデジタルテレビ信号のテレビ用デコーダに関連して使用されるであろう。実施形態は、移動電話及びＰＤＡのようなモバイル機器、デジタル映画プロジェクター、ビデオレコーダ、プレイヤー及びホームエンタテインメントシステムのデコーダの一部としても使用され得る。しかしながら、本発明をそのような実施形態に限定することを意図するものではない。

本願は、２００１年１１月３０日に出願した同時継続中の米国予備出願番号６０／３３４，９７９号の優先権を主張するものであり、該出願の明細書を参照により本明細書に組み込む。

非圧縮型のデジタルビデオ信号は、通常大きな量のデータを含んでいる。しかしながら、時間的及び空間的相関が高いので、実際に必要な情報の中身は比較的小さい。このため、ビデオ信号の格納やある位置から別の位置へのそれらの送信などの特定のタスクで実際に必要とされるデータの量を減少させるため、ビデオ圧縮あるいは符号化が用いられる。符号化工程では、いわゆる動き補償型予測を行うのに時間的冗長性が利用され得、そこではビデオフレームの領域が前のフレームの同様な領域から予測される。すなわち、前のフレームの対応する部分からほとんどあるいは全く変化していない部分があるかもしれない。従って、圧縮効率を最大とするため、そのような領域はスキップされるか符号化されない。一方、前のフレームとの良好な一致が見つからなければ、空間的冗長度を減少するために、フレーム内予測が使用され得る。予測方式がうまくゆけば、予測誤差は小さくなり、符号化すべき情報量は大いに減少される。その上、例えば、離散コサイン変換を用いて画素を周波数領域に変換することにより、空間的相関が更なる効率の上昇をもたらす。

ここで、「画素」及び「フレーム」という用語は、ビデオシーケンスにおける画像データのフレームについて言及するのに交換可能に使用される。

時間的相関が高いのはビデオの特徴である。このため、ビデオ圧縮の最適化におけるフレームの領域の時間的予測を正確にすることに多大な労力が集中されている。予測自体は、変換あるいは先に符号化された領域の拡大／縮小や回転の方法についての命令として符号化される。フレームの多くの領域が、パンやズームにおけるような同様な動きを有していれば、グローバルな動きを別途符号化し、フレームの全部又はいくつかの領域に適用することで、圧縮効率において更なる改良が得られる。この技術はしばしばグローバル動き補償（ＧＭＣ）と呼ばれる。

しかしながら、いくつかの理由で、グローバル動き補償が使用されるときに、フレーム全体を扱うべきではない。第１の理由は誤差の回復力である。画像の誤差の大きな部分からの誤差伝播を防止するために、予測はスライスと呼ばれる境界で分けられた部分内に制限されることが多い。そのためフレームの各スライスはまた、グローバルな動き情報を内蔵している必要がある。別の理由は、フレームの小さな部分が各部分に別個に適用されたグローバル動き補償によって恩恵を受けるかもしれないが、グローバル動き補償がフレーム全体と関連していないかもしれないことである。

静止画の符号化に対する動き補償
ＩＴＵ−Ｔ勧告Ｈ．２６１及びＨ．２６３、ＭＰＥＧ−１パート２、ＭＰＥＧ２パート２（Ｈ．２６２）、又はＭＰＥＧ４パート２のような一般的なビデオコーデックは、ビデオシーケンスをフレーム毎に順次符号化することで動作する。フレームは、左上の角から開始して右下の角で終わり、列ごとに順次符号化されるブロックに更に分割される。一般的なブロックのサイズは、１６×１６の輝度画素をカバーするマクロブロック（ＭＢ）のサイズである。

シーケンスにおける最初のフレームは静止画として符号化され、イントラフレームと呼ばれる。そのようなフレームは自己完結しており先に符号化されたフレームに左右されない。しかしながら、それらはシーケンスの開始だけで使用されるのではなく、シーンのカット、あるいはデコーダがビットストリームの前の部分を復号することなしに復号をそこから開始できる、ランダムアクセスポイントを設けるのが好ましい場所などの突然ビデオが変化する瞬間にも使用されるのが好適であろう。イントラ符号化されたマクロブロックの画素値は、通常は例えば、離散コサイン変換を用いて周波数領域に変換され、変換された係数は得られるビットストリームのサイズを減少するために量子化される。

対照的に、インターフレームは、先立つフレームに対して動き補償された差分画像として符号化される。既に符号化されたフレーム（再構成されたフレーム）を基準として用いることにより、ビデオコーダは各マクロブロックについて動きベクトル（ＭＶ）及び係数の組を送信することができる。動きベクトル（１つ又はいくつかはマクロブロックがどのように区切られるかに依存する）は、検討中のマクロブロックについての予測を行なうために、基準フレームの対応する領域をどのように空間的に変換するかをデコーダに通知する。これが動き補償と呼ばれる。予測と原画との差は変換係数という形で符号化される。しかしながら、インターフレームのマクロブロック全てが動き補償に必要なわけではない。基準マクロブロックから現在のマクロブロックへの変更がわずかであれば、そのマクロブロックはＣＯＰＹモードで符号化され得る、すなわち、それ自体は符号化されずコピーされるべき信号が送られる。ＣＯＰＹモードの実現例としては、ＩＴＵ−Ｔ勧告Ｈ．２６３のセクション５．３．１、「符号化マクロブロック表示（ＣＯＤ）（１ビット）」を参照せよ。一方、マクロブロックが実質的に異なっていれば、イントラマクロブロックとして符号化するのが良いだろう。

Ｈ．２６３のグローバル動き補償
ブロック基準の動き補償だけに対応する代わりに、フレームのグローバルな動きを別途抽出して各ブロックについてのグローバルの動きからの偏差を符号化するのが有利であるかもしれない。パッシングやズーミングのシーケンス、又は大きな物体がフレームを超えて移動するときには、そのような方式による全体の動き情報は最小値のままとなりやすい。周知の技術では、インターフレームが符号化される前に、符号化工程に付加的ステップが加えられる。Ｈ．２６３のアネックスＰ、「基準画像の再サンプリング」により、フレームの隅の画素の変位量を指定する４つの変位ベクトルｖ ⁰⁰，ｖ ^H0，ｖ ^0V，及びｖ ^HVにより、基準画像を「変形」させる方法が提供される。図１は基準フレームと、隅の画素８からそれぞれ延びるこれらのベクトルを示している。他の全ての画素の変位量はこれらのベクトルの双一次補間（bilinear interpolation）で以下の式によって求められる。

ここで、（ｘ，ｙ）は画素の初期位置であり、Ｈ及びＶは基準フレームにおける隅の画素の位置を表し、
ｒ ⁰＝ｖ ⁰⁰
ｒ ^x＝ｖ ^H0−ｖ ⁰⁰
ｒ ^v＝ｖ ^0V−ｖ ⁰⁰
ｒ ^xy＝ｖ ⁰⁰−ｖ ^H0−ｖ ^0V＋ｖ ^HV
である。

これらの式の実行の詳細な説明については、勧告Ｈ．２６３を参照されたい。このグローバル動き補償が後続のあるいはインターフレームに使用されるとき、基準フレームは上記の補間を用いて画素毎に再サンプルされる。再サンプリングが実行された後、コーダは再サンプルされた基準フレームに基づいてインターフレームの符号化を続けることができる。

ＭＰＥＧ−４パート２におけるグローバル動き補償
グローバル動き補償は、いわゆるＳ（ＧＭＣ）−ＶＯＰを使用するＭＰＥＧ−４ビジュアル規格にも明記されている。ここではグローバル動き補償は、Ｈ．２６３ アネックスＡに関する限りは画素毎に適用される。しかしながら、（補間された）グローバル動き補償された基準フレームを使用すべきか否かは、依然としてマクロブロックレベルで選択できる。

Ｈ．２６Ｌについて提案されたグローバル動き補償
ＩＴＵ−Ｔは現在、Ｈ．２６Ｌという新たなビデオ符号化規格を開発中であり、これもＩＳＯ／ＩＥＣによってＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）として一緒に発行されるであろう。現在のＨ．２６Ｌ規格は、上述のフレーム及びマクロブロックでの一般的ビデオ符号化設計に従っており、各画像はマクロブロックが続く画像ヘッダによって符号化される。この規格については図８及び９に関連して後で検討する。

グローバル動き補償をビデオフレームに対して使用することの大きな不利益は、フレーム全体を扱うことによって生じる誤差回復力及び柔軟性の損失である。このため、例えば、画像の開始時点で、グローバル動きベクトルが画像について１回だけ符号化され、ビットストリームのこの部分が送信の間に失われた場合、画像全体に悪影響が及びやすい。その結果、ブロックの動きベクトルは画像全体に渡り復号されず不明となるはずである。次の画像も同様にインター画像であり、そのため誤差の大きな画像を基準として用いることがあるので、このような誤差は時間においても伝播することがある。Ｈ．２６Ｌ規格について提案されたグローバル動きベクトル符号化（ＧＭＶＣ）設計に明確に関係する別の問題は、フレームの複数部分についての異なるグローバルの動きを指定できないことである。

発明が解決しようとする課題及び課題を解決するための手段

本発明はフレームに対するグローバル動き補償を用いて、スライスに区分けされたフレームにグローバル動き補償を適用することによって、上記の問題に対処するものである。各スライスは自己完結ユニットとして扱われ、予測にその外側のマクロブロックからの動きベクトルは使用しない。各スライスについての動きベクトルを符号化することにより、自己完結方式でスライス内の全ての動きベクトルが構成又は復号され得る。その上、グローバル動き補償を各スライスに別個に適用する、あるいはフレーム全体を基準としたグローバル動き補償を繰り返して適用することができる。各スライスについてのグローバル動き補償を信号化することにより、誤差回復力を無視せずにグローバル動き補償の利点が実現され得る。加えて、本発明はグローバルな動きをより小さな領域に適合させることができるので、圧縮効率が改善され得る。

更なる利点としては、本発明はインプリシット・グローバル動き補償（Implicit Global Motion Compensation：ＩＧＭＣ）と呼ばれる、新たなグローバル動き補償のモードを導入する。このモードは、動きベクトルが必要とする全ビット数を最小化するために、ＣＯＰＹモードよりも有効なＭＢモードを必要とする多くの符号化方式で使用することができる。ＣＯＰＹモードでは、動きベクトルは常にゼロである。対照的に、ＩＧＭＣは予測されたインプリシット・動きベクトルを使用する。

本発明は、ビデオフレームをブロックのシーケンスに分割することによって得られる画像ブロックと共にを用いられる、ビデオデータの圧縮方法に適用することができる。好適な実施形態では、ブロックは１６×１６の（輝度）画素を含むマクロブロックであり、予定されるマクロブロック符号化モードの１つはインプリシット・グローバル動き補償（ＩＧＭＣ）モードであるマクロブロックである。このモードは前のフレームの関連するブロックであって、現在のフレームの周りの画像ブロックから予測された動きベクトルによって移動させられたブロックから画素をコピーするのに使用される。

本発明の別の態様は、ビデオフレームを各スライスが複数の画像ブロックを含むスライスのシーケンスに区分けすることによって得られるスライスと共に用いられる、ビデオデータの圧縮方法に適用することができる。この方法は、それぞれのスライスのデータを符号化して対応する符号化スライスを生成するステップと、各符号化スライスに信号を印加して、その対応する元のスライスを再構成するのにグローバル動き補償（ＧＭＣ）を使用すべきか否かを指示するステップと、もし使用するのであれば、符号化スライスにＧＭＣ情報を含めるステップとを備えている。好ましくは、符号化スライスの各画像ブロックの動きベクトルは、そのスライスに含まれるＧＭＣ情報だけを用いて再構成され得る。ある実施形態では、符号化スライスの少なくとも２つは同じＧＭＣ情報を含んでいる。別の実施形態では、符号化スライスの少なくとも２つは異なるＧＭＣ情報を含んでいる。有効には、フレームのそれぞれのスライスに含まれるＧＭＣ情報は、それぞれがビデオフレーム基準としたグローバル動きベクトルを含んでいる。

好適な実施形態では、所与の符号化スライスに含まれるＧＭＣ情報は、符号化全体動き（ＧＭ）ベクトルのセットを含んでいるか又は表している。このＧＭベクトルのセットは、双一次補間と共に使用されて、所与の符号化スライスに含まれる各画素についてのグローバル動き補償が算出されても良い。代替的に、ＧＭベクトルが双一次補間と共に使用されて、所与の符号化スライスを含む４×４の画素ブロックのアレイ内の各ブロックについてのグローバル動き補償を計算しても良い。

更に別の実施形態では、特定のマクロブロックはマクロブロックコピーモードを有し、該モードは、ビデオフレームからグローバル動き補償された基準フレーム内に位置するそれぞれに対応する画像ブロックをコピーすることによって、特定の符号化スライスの画像ブロックの符号化信号を送信する。

図２を参照すると、ビデオカメラ等のビデオ情報のソース１０が示されている。その情報は連続したビデオフレームを含み、ビデオコーダ又は圧縮器１２に接続され、該圧縮器はデータの連続したフレームを以下に記載するような本発明の実施形態に従って圧縮する。圧縮データを表すビットストリームは、無線通信チャネルでも良い通信チャネル２２を通して、送信器１４から受信器１６に送信される。受信されたデータはビデオ情報を再生するためにデコーダ（復号器）１８に入力される。

図３を参照すると、図４に示されるような一連のビデオフレーム内のフレームを分割することで得られる、１６×１６の画素マクロブロック２０を圧縮する圧縮器の特定の一般的な部品が示されている。図３に示された部品は、離散コサイン変換のような変換モジュール２４、量子化器２６及び二値エンコーダ２８を含んでいる。

当該分野で知られているように、変換モジュール２４は、マクロブロック２０の画素それぞれのグレースケールレベル（輝度）及びカラーレベル（クロミナンス：色差）を含む、整数のアレイを受信する。モジュール２４は、画素レベルに変換を行い変換係数の出力アレイを生成する。よく知られているのと同様に、量子化器２６は二値エンコーダ２８に出力し、該二値エンコーダはチャネル２２を通した送信のために、対応するデジタルビットのストリーム３０を生成する。

ここで図４を参照すると、ビデオシーケンス３４内のフレームの１つを含むフレーム３２が示されている。更に図４は、いくつかのスライス３６ａ−ｄに区分けされたフレーム３２を示しており、ここで各スライス３６ａ−ｄはマクロブロック３８のシーケンスを含んでいる。各マクロブロックはフレーム３２からの画素のアレイを含んでいる。以下でより詳細に説明するように、本発明の実施形態によれば、スライス３６はそのマクロブロック３８及び／又はフレーム３２に関連するＧＭＣ情報を含んでいても良い。

図４はまた、スライス３６もより詳細に示しており、フレームがマクロブロックとなった後でもスライスの境界が分かることが強調されている。スライス３６ｂはフレームのいくつかの列３７内にあるマクロブロックを含むように示されている。その上、スライス３６ｂは、スライスの左のフレーム境界のいくつかのマクロブロックから始まり、スライスの最後の列の右のフレーム境界までのいくつかのマクロブロックで終わっている。このようにあるスライスは、１つの列３７を超える範囲を有し、スライス３６ｃ及び３６ｄを含んでいる最下の列のように、列３７は１つより多いスライスを含んでいても良い。

図５を参照すると、前のフレームの画素ブロック４０ａ’−４０ｄ’が、現在のフレームのブロック４０ａ−４０ｄを予測するのに使用される。動きベクトル４２ａ−４２ｄは、第１のフレームからの画素が現在のフレームのブロック４０ａ−４０ｄにコピーされるべき位置を表している。これは画素ブロック４０ａ−４０ｄが、先に復号されたフレームと動きベクトル４２ａ−４２ｄとを一緒に用いることにより、容易に求められる又は再構成されることを表している。

図６を参照すると、図４に示されたスライス３６ｂのようなスライスを符号化することにより生成された符号化スライス４０が示されている。符号化スライス４０は、マクロブロックあるいは画像ブロック４２を含み、ヘッダ４４が設けられている。本発明の１つの実施形態では、符号化スライス４０に、例えばヘッダ４４に信号を含めることによって、対応する元のスライス３６を再構成するのに、グローバル動き補償（ＧＭＣ）を用いるべきか否かを示す信号が加えられる。スライスの再構成にＧＭＣを用いるべきであれば、ヘッダ４４はＧＭＣ情報も含んでいる。そのようなＧＭＣ情報は、それからデコーダでスライス４０のブロック４２のそれぞれの動きベクトルを再構成できる、動きベクトル情報を含む又は表していると便利である。このため、スライス４０内の全ての動きベクトルは、スライス４０に含まれる情報のみから求められる。

別の便利な実施形態では、上記で参照したビデオフレーム３２の対応するスライス３６から符号化された全てのスライス４０は、同じＧＭＣ情報を含んでいる。例えば、そのＧＭＣ情報は、上記で図１に関連して説明したＧＭベクトルｒ ⁰，ｒ ^x，ｒ ^v，及びｒ ^xyの符号化されたセットを含んでいても良い。これらのベクトルは、図１に示したように変形されたビデオフレーム全体を参照しており、上記で説明した関係に従って、隅の画素の変位ベクトルから求められる。各符号化スライスでこの情報を繰り返すことにより回復力が極めて高められるが、それはスライスのいくつかが伝送チャネルで失われた場合においても、この情報がデコーダに到達するからである。上記で規定した式（１）に従って、符号化ＧＭベクトルが双一次補間と共に使用されて、スライス４０に含まれるか各画素のグローバル動き補償が算出されても良い。

更に別の実施形態では、各符号化スライス４０はグローバル動きベクトルｒ ⁰，ｒ ^x，ｒ ^v，及びｒ ^xyを含むＧＭＣ情報を有することがあり、ここでそのベクトルはフレーム全体ではなく、スライスを区切るボックスを基準としている。更に図６を参照すると、スライスを含み得る最小の矩形を含むスライス４０を区切るボックス４６が示されている。図６には、区切りボックス４６のそれぞれの隅にある隅画素４６ａ−ｄが、この場合はフレーム全体のではなく区切りボックスの隅画素それぞれの変位量を表している、ベクトルｖ ⁰⁰，ｖ ^H0，ｖ ^0V，及びｖ ^HVと共に示されている。４つのベクトルｒ ⁰，ｒ ^x，ｒ ^v，及びｒ ^xyは、フレーム全体の隅画素の変位量について上記でＨ．２６３に関して規定したのと同様な関係によって、隅画素のベクトルから求められる。区切り４６について符号化された４つのベクトルから、式（１）に従って双一次補間を用いて、スライス４０に含まれる各画素についてのグローバル動き補償が容易に算出されるであろう。本実施形態では、別個に符号化されたスライス４０が異なるＧＭＣ情報を含むことは容易に理解されよう。

図７を参照すると、区切りボックス４６と共に符号化スライス４０が再度示されている。しかしながら、スライス４０についてのＧＭＣ情報として符号化されるグローバル動きベクトルは、４８ａ及び４８ｂの２つが示されている。これらのベクトルは、区切りボックス４６の最も左にある画素及び最も右にある画素をそれぞれ参照している。スライス４０のそれぞれの画素についてのグローバル動き補償はそれらから求めることができる。垂直軸に沿った画素については、グローバル動きベクトルは同じであるが、水平軸に沿った画素についてのグローバル動きベクトルは、２つの符号化グローバル動きベクトル４８ａ及び４８ｂから一次補間で求められる。

更なる実施形態では、スライス内の全てのＧＭＣ情報は、フレーム３２のヘッダと同様に画像又はフレームレベルで繰り返されてもよい。

図８を参照すると、画像又はマクロブロックレベルでのＨ．２６Ｌ規格のビットストリーム構成が示されている。Ｈ．２６Ｌでは、インターフレームのマクロブロックはいくつかのモードの１つのモードであり、現在７つのインターモード（１６×１６，１６×８，８×１６，８×８，８×４，４×８及び４×４）、４×４について１つのイントラモード及び１６×１６について２３のイントラモードを含んでいる。ここでＮ×Ｍはマクロブロック内で区切られるブロックのサイズを表している。インターＭＢでは各ブロックはＭＶを有し、イントラＭＢでは各ブロックはユニットとして予測される。その上、１つのＣＯＰＹモードがあり、そこではＭＶ及び係数を全く使用しない。これは信号化が最も経済的なモードである。実際に、いくつかのコピーされた（スキップされた）マクロブロックの信号化には１つのコードワードでランレングス符号化が用いられる。

グローバル動き補償はＨ．２６Ｌ規格について提案されている。それはグローバル動きベクトルが定義される方法が、Ｈ．２６３のアネックスＰにおいて使用されるＧＭＣと似ている。しかしながら主な違いは、基準画像が再サンプルされず、補間された動きベクトルが画素に適用される代わりに画素のブロックに適用されることである。最上左の画素が（ｘ，ｙ）とすると、画像ブロックの動きベクトルは、以下の式で求められる。

ここで、ｒ ⁰，ｒ ^x，ｒ ^v，及びｒ ^xyは、Ｈ．２６３ アネックスＰと同様にｖ ⁰⁰，ｖ ^H0，ｖ ^0V，及びｖ ^HVに関連している。しかしながら、これらの動きベクトルは４×４の画素を含む画像ブロックに適用される。詳細には、ベクトルｖ ⁰⁰，ｖ ^H0，ｖ ^0V，及びｖ ^HVは、最上左の画素がそれぞれ（０，０），（Ｈ−４，０），（０，Ｖ−４）及び（Ｈ−４，Ｖ−４）にある隅のブロックに適用される。
Ｈ．２６３についてのグローバル動きベクトル符号化（ＧＭＶＣ）は、画像の特定のマクロブロックモードについてのみ適用するように提案されている。それが使用されるか否かは、各インターフレーム毎に画像ヘッダ内にフラグ（ＧＭＶＣフラグ）によって信号化される。ＧＭＶＣがオンとなっていれば、４つのＧＭＶｒ ⁰，ｒ ^x，ｒ ^v，及びｒ ^xyがフラグに続く。ＧＭＶＣを用いるモードがマクロブロック内で信号化されない限り、これらは現在の画像に用いられる。提案された構成を図９に示す。

フレーム内のマクロブロックについてのＧＭＶＣを用いるマクロブロックモードは、２つの新たなモードを有することを可能とする。ＣＯＰＹモードはＧＭＶＣ＿ＣＯＰＹで置き換えられ、ＧＭＶＣ＿１６と呼ばれる付加的モードが存在する。両方のモードはインター４×４モードであり、すなわち、マクロブロックは４×４画素の画像ブロックに区切られる。各ブロックについての動きベクトルは、上記の式によって得られるのと同様に補間したＧＭＶによって得られる。ＧＭＶＣ＿ＣＯＰＹについては、係数は全く符号化されない、すなわち、動き補償された基準画像はコピーされるが、ＧＭＶＣ＿１６については係数は同様に追加される。

図１０を参照すると、マクロブロック５２を含む符号化スライス５０が示されており、ここで各マクロブロック５２はＨ．２６Ｌ規格に従って４×４の画像ブロック５４に区切られている。図１０では、補間されたＧＭベクトルは画素ではなく４×４のブロックに適用される。更に図１０を参照すると、それぞれの変位量を表す関連するグローバル動きベクトル５６ａ−ｄを有する隅のブロック５４ａ−ｄが示されている。隅のブロック５４ａ−ｄは、スライス５０を含む矩形の区切りボックス５８の隅を定義している。動きベクトル５６ａ−ｄは、スライス５０のヘッダ６０に含まれるＧＭＣ情報によって表される。ＧＭベクトル５６ａ−ｄに関連する情報から、スライス５０の４×４のブロックそれぞれについてのグローバル動き補償が、上記の式（２）に従って一次補間によって算出され得る。

更なる実施形態では、画像ブロック５４それぞれについてのグローバル動き補償は、区切りボックス５８内に含まれる最も左にある４×４ブロック及び最も右にある４×４ブロックの変位量を表す２つの符号化ＧＭベクトル（不図示）から算出され得る。更に別の実施形態では、各ブロック５４についてのグローバル動き補償は、ヘッダ６０に含まれるＧＭＣ情報を含む単一の符号化ＧＭベクトルから求められる。

スライスがＧＭＣ可能、すなわち、ＧＭＣ情報を示す信号を含む別の実施形態では、該情報はＣＯＰＹモード信号を含む。スライスの特定のマクロブロックについてのこの信号に応じて、エンコーダはグローバル動き補償された基準画像、すなわち、図１に示したような変形されたフレームから、対応するマクロブロックをコピーする。この実施形態では、そのマクロブロックに関連する係数は同様に符号化されてもされなくても良い。

インプリシット・グローバル動き補償（ＩＧＭＣ）として述べた実施形態では、明示的な動きベクトルは全く符号化スライス４０に送信されない。その代わり、マクロブロックＣＯＰＹ（別名スキップ）モードが、係数なしのインターマクロブロックモードあるいは明示的な符号化動きベクトルとして再解釈される。マクロブロックの動き補償用の動きブロックは、周囲のブロックから予測される。より詳細には、現在のフレーム内の特定の画像ブロックにこの実施形態を適用することで、動きベクトルによって移動させられた前のフレーム内の関連するブロックが、前のフレームからコピーされる。動きベクトルは現在のフレームの周囲のブロック、すなわち、特定の画像ブロックに隣接するあるいは近くにあるブロックから予測される。ＩＧＭＣモードは画像ブロックの符号化においてＣＯＰＹモードを置き換えるのに使用されても良い。

ＩＧＭＣの実施形態の更なる特徴としては、符号化画像ブロックを表すビットストリームが、ＩＧＭＣモード又はＣＯＰＹモードのいずれかを示すと解釈され得る構文要素を含むことができる。ＩＧＭＣ及びＣＯＰＹモード間の切り換えは、他の符号要素によってインプリシット・に信号化される。代替的に、この切り換えがコードワードによって明示的に信号化されても良い。

この実施形態の変形では、スライスの最初のインターブロックを予測するのに使用される、追加の動きベクトル１つが各スライスについて送信される。

上記の教示に鑑みて本発明のには様々な修正や変形が可能であるのは明らかである。従って、開示した概念の範囲内において、本発明は詳細に説明した以外の態様でも実現され得るものと理解されたい。

Ｈ．２６３のビデオ圧縮規格によるフレームのグローバル動き補償を説明する概略図である。 本発明の実施形態によるビデオ情報の圧縮、送信及び復号を行なうシステムを単純化したブロック図である。 図２に示したシステムの圧縮器の特定の部品を示すブロック図である。 ビデオシーケンスからのフレームをそれぞれがマクロブロックを含むスライスに区分けするのを示す概略図である。 マクロブロックのそれぞれの画素ブロックに関連した動きベクトルを示す概略図である。 本発明の実施形態を説明するマクロブロックのシーケンスを含むスライスを示す図である。 本発明の実施形態を説明するマクロブロックのシーケンスを含むスライスを示す図である。 画素及びマクロブロックレベルについてＨ．２６Ｌの設計によるビットストリームの構成を示す概略図である。 画素及びマクロブロックレベルについてＨ．２６Ｌで提案されたグローバル動き補償を示す概略図である。 Ｈ．２６Ｌビデオ圧縮規格に関連する、４×４のマクロブロックを含むスライスについての本発明の実施形態を示す概略図である。

Claims (30)

1. 複数の画像ブロックを含むビデオフレームで使用されるビデオデータ圧縮の方法であって、各画像ブロックが複数の符号化モードの１つに従って復号される予定であり、現在のフレーム内の特定の画像ブロックの復号方法がインプリシット・グローバル動き補償（ＩＧＭＣ）モードに従い、
   前のフレームから動きベクトルによって移動させられた関連するブロックをコピーするステップと、
   前記動きベクトルを前記現在のフレームの周囲の画像ブロックから予測するステップと、を含むことを特徴とする方法。
2. 前記複数のモードの１つが、関連するブロックを変位量ゼロでコピーするのに使用されるＣＯＰＹモードを含み、
   前記ＩＧＭＣモードが前記特定の画像ブロックの復号において前記ＣＯＰＹモードを置き換えるのに使用されることを特徴とする請求項１に記載の方法。
3. 前記符号化された特定の画像ブロックを表すビットストリームが、前記ＩＧＭＣモード又は前記ＣＯＰＹモードのいずれかを示すと解釈される構文的要素を含むことを特徴とする請求項２に記載の方法。
4. 前記ＩＧＭＣ及びＣＯＰＹモードの切り換えが、コードワードによって明示的に送信されることを特徴とする請求項３に記載の方法。
5. 前記ＩＧＭＣ及びＣＯＰＹモードの切り換えが、先に復号されたコード要素によって暗示的に送信されることを特徴とする請求項３に記載の方法。
6. 前記動きベクトルが、周囲の動きベクトル３つの中央値として、各ベクトル成分について独立して算出されることを特徴とする請求項１に記載の方法。
   
7. 複数の符号化モードの１つに従って符号化された、現在のフレーム内の画像ブロックを復号するビデオデコーダであって、
   インプリシット・グローバル動き補償（ＩＧＭＣ）モードに従って、動きベクトルによって移動させられた関連するブロックを前のフレームからコピーする手段と、
   前記ＩＧＭＣモードに従って、前記動きベクトルを前記現在のフレームの周囲の画像ブロックから予測する手段と、を含むことを特徴とするビデオデコーダ。
8. ＣＯＰＹモードに従って、関連するブロックを変位量ゼロでコピーする手段と、
   特定の画像ブロックのデコードにおいて、前記ＣＯＰＹモードを前記ＩＧＭＣモードで置き換える手段と、を備えることを特徴とする請求項７に記載のビデオデコーダ。
9. 特定の画像ブロックのデコードにおいて、前記ＣＯＰＹモードを前記ＩＧＭＣモードに切り換える手段を備えることを特徴とする請求項８に記載のビデオデコーダ。
10. 画像ブロックが、１つの動きベクトルのみを有する１６×１６の画素を含むことを特徴とする請求項１に記載の方法。
11. 画像ブロックが、それぞれが１つの動きベクトルを有する４×４の画素ブロックに区切られた１６×１６の画素を含むことを特徴とする請求項１に記載の方法。
12. 画像ブロックが、それぞれが１つの動きベクトルを有する複数の画素ブロックに区切られた１６×１６の画素を含むことを特徴とする請求項１に記載の方法。
13. フレームがスライスに細分化され、各スライスが１つ以上の画像ブロックを含むことを特徴とする請求項１に記載の方法。
14. 前記特定のスライスの最初のブロックの動きベクトルを求めるのに使用される追加の動きベクトルが、前記特定のスライスと共に送信されることを特徴とする請求項１３に記載の方法。
15. ビデオフレームをスライスのシーケンスに細分化することによって得られるスライスと共に使用されるビデオデータの圧縮の方法であって、各スライスが１つ以上の画像ブロックを含んでおり、前記方法が、
    各符号化スライスにおいて、該スライスを再構成するのにグローバル動き補償（ＧＭＣ）を使用すべきか否かを示す信号を識別するステップと、
    前記スライスを再構成するのにＧＭＣを使用すべきである場合、符号化スライスにおけるＧＭＣ情報を識別するステップと、
    それぞれの符号化スライスのデータを復号して対応する復号スライスを生成するステップと、を備えることを特徴とする方法。
16. 特定の符号化スライスの各画像データの動きベクトルが、前記特定の符号化スライス内にだけ含まれるＧＭＣ情報を用いて再構成可能であることを特徴とする請求項１５に記載の方法。
17. 前記符号化スライスの少なくとも２つが同じＧＭＣ情報を含むことを特徴とする請求項１６に記載の方法。
18. 前記少なくとも２つの符号化スライスに含まれる前記ＧＭＣ情報が、前記ビデオフレームを基準とするグローバル動き（ＧＭ）ベクトルを含むことを特徴とする請求項１７に記載の方法。
19. 前記符号化スライスの少なくとも２つが異なるＧＭＣ情報を含むことを特徴とする請求項１５に記載の方法。
20. それぞれの符号化スライスに含まれるＧＭＣ情報全てが繰り返されている、フレームヘッダを構文解析するステップを含むことを特徴とする請求項１５に記載の方法。
21. 所与の符号化スライスに含まれている前記ＧＭＣ情報が符号化ＧＭベクトルのセットを含み、
    前記ＧＭベクトルのセットを双一次補間と共に使用して、前記所与の符号化スライスに含まれる各画素についてのグローバル動き補償を算出するステップを備えることを特徴とする請求項１５に記載の方法。
22. 前記セットの前記ＧＭベクトルが、前記所与のスライスを区切るボックスの各隅にある画素の変位量を指定することを特徴とする請求項２１に記載の方法。
23. 前記ベクトルのセットが、前記所与のスライスを区切るボックスの最も左及び最も右にある画素の変位量をそれぞれ指定する、２つの符号化ＧＭベクトルを含むことを特徴とする請求項２１に記載の方法。
24. 所与の符号化スライスに含まれている前記ＧＭＣ情報が符号化ＧＭベクトルのセットを含み、
    前記ＧＭベクトルのセットを双一次補間と共に使用して、前記所与の符号化スライスを含む４×４の画素ブロックのアレイ内の各画素についてのグローバル動き補償を算出するステップを備えることを特徴とする請求項１５に記載の方法。
25. 前記セットの前記ＧＭベクトルが、前記所与のスライスを区切るボックスの各隅に位置する４×４のブロックの変位量を指定することを特徴とする請求項２４に記載の方法。
26. 前記ベクトルのセットが、前記所与のスライスを区切るボックスの最も左及び最も右にある４×４ブロックの変位量をそれぞれ指定する、２つの符号化ＧＭベクトルを含むことを特徴とする請求項２４に記載の方法。
27. 前記ベクトルのセットが、前記所与のスライスの４×４ブロックそれぞれについてのグローバル動き補償を算出するのに使用する単一の符号化ＧＭベクトルを含むことを特徴とする請求項２４に記載の方法。
28. 特定の符号化スライスが、前記ビデオフレームから求められるグローバル動き補償された基準フレーム内に位置する対応する画像ブロックそれぞれをコピーすることによって、前記特定の符号化スライスの画像ブロックを符号化する信号を送信する、マクロブロックＣＯＰＹモードを有することを特徴とする請求項１５に記載の方法。
29. 動き補償を予測するのに使用する係数が前記特定の符号化スライスのそれぞれの画像ブロックについて符号化されないことを特徴とする請求項２８に記載の方法。
30. 動き補償を予測するのに使用する係数が前記特定の符号化スライスのそれぞれの画像ブロックについて符号化されることを特徴とする請求項２８に記載の方法。

Images