JP2008536393A

JP2008536393A - 少なくとも一のデジタル画像をエンコードする方法、エンコーダ、及びコンピュータプログラム製品

Info

Publication number: JP2008536393A
Application number: JP2008505271A
Authority: JP
Inventors: リ，ゼングオ; ヤオ，ウェイ; パンリム，ケン; リン，シャオ; ラハージャ，スサント
Original assignee: Agency for Science Technology and Research Singapore
Current assignee: Agency for Science Technology and Research Singapore
Priority date: 2005-04-08
Filing date: 2006-04-06
Publication date: 2008-09-04
Also published as: EP1867172A4; KR20080002936A; WO2006107281A1; US20090129467A1; CN101258754B; EP1867172A1; CN101258754A

Abstract

少なくとも一のデジタル画像をエンコードする方法が記載された。この方法では、前記画像の第１の表現を生成し、前記画像の第２の表現を生成し、前記画像の第１の表現及び前記画像の第２の表現を用いて前記画像の画素に割り当てられた符号化情報を予測することにより、前記画像の第１の表現及び前記画像の第２の表現から前記画像の第３の表現を生成する。

Description

本発明は、少なくとも一のデジタル画像をエンコードする方法、エンコーダ、及びコンピュータプログラム製品に関する。

ＭＰＥＧ（Moving Picture Expert Group）の作業標準化の過程で、スケーラブル（拡張可能）ビデオ符号化（ＳＶＣ）方法が提案された。これは、オープンループ動き推定／動き補償（ＭＥ／ＭＣ）に基づいており、ビデオ符号化標準ＡＶＣのスケーラブル拡張である。非特許文献１及び２を参照。

ＡＶＣ（非特許文献２）において利用可能なＭＥ／ＭＣスキームに加え、提案されたＳＶＣ方法の重要な部分は層間予測スキームである。

強化層の各スライス（slice）に対し、対応する「基層」（パラメータbase_id_plus1で特定。非特許文献１参照）を選択し、「基層」における動き情報及び残余情報間の冗長と強化層における冗長とを、それぞれ排除する。

強化層の各スライスには基層が一つしか存在しないので（非特許文献１参照）、符号化効率が低い場合もある。

図１は、先行技術に係る符号化層の例を示す図である。

図１に４つの層を例示する。即ち、（ＱＣＩＦ、低）で示される第１層、（ＱＣＩＦ、中）で示される第２層、（ＣＩＦ、低）で示される第３層、（ＣＩＦ、低）で示される第４層である。

「低」は、これに対応する層が、「中」に対応する層よりも低い精度で量子化された符号化情報からなることを示している。これは、第１軸１０５でも例示されており、図１においてより右側に示された層が、高ＳＮＲの符号化情報に相当することを示している。

「ＱＣＩＦ」（Quarter common intermediate format）は、これに対応する層が、「ＣＩＦ」（common intermediate format）に対応する層よりも低い空間分解能の符号化情報からなることを示している。これは、第２軸１０６でも例示されており、図１においてより上部に示された層が、高分解能の符号化情報に相当することを示している。

先行技術によれば、第１層１０１（ＱＣＩＦ、低）として総合的基層が選択される。これは、第３層１０３（ＣＩＦ、低）及び第２層１０２（ＱＣＩＦ、中）におけるすべてのスライスに対しても基層となる。

スケーラブルビットストリームを生成する場合、第３層１０３（ＣＩＦ、低）及び第１層１０１（ＱＣＩＦ、低）間の空間的冗長性と、第１層１０１（ＱＣＩＦ、低）及び第２層１０２（ＱＣＩＦ、中）間のＳＮＲ（信号対雑音）冗長性とは、非特許文献１の草案で提案された層間予測スキームにより排除できる。

しかしながら、第４層１０４（ＣＩＦ、中）を符号化する際には問題がある。各スライスには「基層」が一つしか存在しないため、第３層１０３（ＣＩＦ、低）及び第１層１０１（ＱＣＩＦ、中）のいずれか一方が「基層」として選択される。

一方、第１層１０１（ＣＩＦ、低）が「基層」として選択される場合、第１層１０１（ＣＩＦ、低）及び第２層１０２（ＣＩＦ、中）間のＳＮＲ冗長性は、効率的に排除できる。

しかしながら、第２層１０２（ＣＩＦ、中）及び第４層１０４（ＱＣＩＦ、中）間の空間的冗長性は排除できない。

他方、第２層１０２（ＱＣＩＦ、中）が「基層」として選択される場合、第２層１０２（ＱＣＩＦ、中）及び第４層１０４（ＣＩＦ、中）間の空間的冗長性は、効率的に排除できる。しかしながら、第４層１０４（ＣＩＦ、中）及び第３層１０３（ＣＩＦ、低）間のＳＮＲ冗長性は排除できない。

この問題に対応するための方法が二つある。即ち、
１）
−第１層１０１（ＱＣＩＦ、低）を、第２層１０２（ＱＣＩＦ、中）の「基層」として設定する。
−第１層１０１（ＱＣＩＦ、低）を、第３層１０３（ＣＩＦ、低）の「基層」として設定する。
−第３層１０３（ＣＩＦ、低）を、第４層１０４（ＣＩＦ、中）の「基層」として設定する。

この場合、上述したように、第４層１０４（ＣＩＦ、中）の符号化効率は保証できない。
２）
−第１層１０１（ＱＣＩＦ、低）を、第２層１０２（ＱＣＩＦ、中）の「基層」として設定する。
−第２層１０２（ＱＣＩＦ、中）を、第３層１０３（ＣＩＦ、低）の「基層」として設定する。
−第３層１０３（ＣＩＦ、低）を、第４層１０４（ＣＩＦ、中）の「基層」として設定する。

この場合、第４層１０４（ＣＩＦ、中）の符号化効率は保証できる。しかしながら、第２層１０２（ＱＣＩＦ、中）が第３層１０３（ＣＩＦ、低）の「基層」である場合の第３層１０３（ＣＩＦ、低）の符号化効率は、第１層１０１（ＱＣＩＦ、低）が第３層１０３（ＣＩＦ、低）の「基層」である場合よりも低い。「ＣＩＦ」で示された分解能における「低」で示された品質と、「ＱＣＩＦ」で示された分解能における「中」で示された品質との格差が大きい場合には、その格差は２ｄＢよりも大きくなるであろう。

本出願書類には、以下の文献が引用されている。

Julien Reichel, Heiko Schwarz and Mathias Wien. Working Draft 1.0 of 14496-10:200x/AMD 1 Scalable Video Coding, ISO/IEC JTC1/SC29 WG11 MPEG2005/N6901, Kong Hong, China. Jan. 2005. Information Technology-Coding of Audio-Visual Objects-Part 10: Advance Video Coding. ISO/IEC FDIS 14496-10. Z. G. Li, X. K. Yang, K. P. Lim, X. Lin, S. Rahardja and F. Pan. Customer Oriented Scalable Video Coding. ISO/IEC JTC1/SC29 WG11 MPEG2004/M111187, Spain, Oct 2004.

本発明の課題は、先行技術におけるエンコード方法と比較して改良強化されたデジタル画像のエンコード方法を提供することである。

上記の課題は、独立項に係る特徴を有する少なくとも一のデジタル画像をエンコードする方法、エンコーダ、並びにコンピュータプログラム製品により実現される。

少なくとも一のデジタル画像をエンコードする方法であって、前記画像の第１の表現を生成し、前記画像の第２の表現を生成し、前記画像の第１の表現及び前記画像の第２の表現を用いて前記画像の画素に割り当てられた符号化情報を予測することにより、前記画像の第１の表現及び前記画像の第２の表現から前記画像の第３の表現を生成することを特徴とする方法が提供される。

更に、上述した少なくとも一のデジタル画像をエンコードする方法に係るエンコーダ及びコンピュータプログラム製品が提供される。

本発明の例示的な実施例について、図面を参照して以下に説明する。

具体的に、二つの「基層」を有する予測スキームが用いられるが、この二層（一の実施例においては、上述のように、層（ＱＣＩＦ、中）及び層（ＣＩＦ、低）である）は、（ＣＩＦ、中）の各スライスに対する基層である。言い換えれば、（ＣＩＦ、中）の各スライスに対して二つの基層が存在する。このスキームについて以下に詳細に示す。

画素に割り当てられた符号化情報は、例えば、色情報や輝度情報である。

エンコードすべき画像は、複数の画像のうちの一画像、即ち、ビデオシークエンスのうちの一のフレームであってよく、第１の表現及び第２の表現は動き補償を用いて生成できる。

少なくとも一のデジタル画像をエンコードする方法に照らして記載された実施例は、エンコーダ及びコンピュータプログラム製品に対しても同様に有効である。

一の実施例では、前記画像の第２の表現は、前記第１の表現よりも低い信号対雑音比を有するように生成される。

一の実施例では、前記画像の第２の表現は、前記第１の表現よりも高い信号対雑音比を有するように生成される。

前記第２の表現は、ＣＩＦ（common intermediate format）に応じた分解能を有するように生成され、前記第１の表現は、ＱＣＩＦ（quarter common intermediate format）に応じた分解能を有するように生成され、前記第３の表現は、ＣＩＦに応じた分解能を有するように生成される。

図２は、本発明の実施例に係るエンコーダ２００を示す図である。

符号化すべき原ビデオ信号２０１は、基層生成器２０２に（スライス状で）供給される。基層生成器は、基層（即ち、基層符号化情報）を生成する。これは予測器２０３に供給される。予測器２０３は、基層に基づいて原ビデオ信号を予測する。原ビデオ信号２０１及び予測器２０３によって行われた予測から、強化層生成器２０４は、強化層（即ち、強化層符号化情報）を生成する。

次に、強化層及び基層は、原ビデオ信号２０１に対応する符号化ビデオ信号２０６を形成するように、エンコード／多重化部２０５によってエンコード及び多重化される。

エンコーダ２００に対応するデコーダを図３に示す。

図３は、本発明の実施例に係るデコーダ３００を示す図である。

エンコーダ２００によって生成された符号化ビデオ信号２０６に対応する符号化ビデオ信号３０１は、デコード／逆多重化部３０３に（スライス状で）供給される。デコード／逆多重化部３０３は、符号化ビデオ信号３０１から基層（即ち、基層符号化情報）及び強化層（即ち、強化層符号化情報）を抽出する。この基層は予測器３０２に供給され、予測器３０２は基層から予測を行う。

この予測及び強化層がポストプロセッサ３０４に供給され、原ビデオ信号２０１に対応する再構築ビデオ信号３０５が生成される。

エンコーダ２００及びデコーダ３００は、例えばＭＰＥＧ（Moving Pictures Expert Group）規格又はＨ．２６４規格（本発明に係る付加的特徴を除く）に従って機能するように構成される。

エンコーダ２００及びデコーダ３００について、強化層の各スライスに対して基層が一つしか存在しない場合を説明したが、エンコーダ２００を異なる形態で用いることができる。特に、予測器２０３が複数の基層を入力として受信し、これら複数の基層から予測を算出するような形態で用いることができる。簡単のため、以下の説明はエンコーダ２００について行う。デコーダ３００は、類似の機能性を有する。

「強化層」の各スライスに対して、例えば夫々base-layer-id1-plus1及びbase-layer-id2-plus1とラベルされた基層が二つ存在しうる。

以下の説明では、上述した（ＱＣＩＦ、低）、（ＱＣＩＦ、中）、（ＣＩＦ、低）、及び（ＣＩＦ、中）で示された複数の層を用いる。

上述のように、「低」は、これに対応する層が、「中」に対応する層よりも低い精度で量子化された符号化情報からなることを示している。「ＱＣＩＦ」（Quarter common intermediate format）は、これに対応する層が、「ＣＩＦ」（common intermediate format）に対応する層よりも低い空間分解能の符号化情報からなることを示している。

例えば（ＱＣＩＦ、低）のような現在の「強化層」に対して「基層」が存在しない場合、パラメータbase-layer-id1-plus1及びbase-layer-id2-plus1は、両方とも−１である。例えば（ＣＩＦ、低）や（ＱＣＩＦ、中）のような現在の「強化層」に対して「基層」が一つしか存在しない場合、パラメータbase-layer-id1-plus1は（ＱＣＩＦ、低）を参照し、base-layer-id2-plus1は−１である。例えば（ＣＩＦ、中）のような現在の「強化層」に対して「基層」が二つ存在する場合、パラメータbase-layer-id1-plus1は（ＱＣＩＦ、中）を参照し、base-layer-id2-plus1は（ＣＩＦ、低）を参照する。従って、予測器２０３により実行される（ＣＩＦ、中）の層間予測には三つの形態が存在しうる。

形態１：（ＣＩＦ、低）から予測（即ち、（ＣＩＦ、低）を基層として用いる）
形態２：（ＱＣＩＦ、中）から予測（即ち、（ＱＣＩＦ、中）を基層として用いる）
形態３：（ＣＩＦ、低）及び（ＱＣＩＦ、中）から予測（即ち、（ＣＩＦ、低）及び（ＱＣＩＦ、中）を基層として用いる）。

形態１及び２は、非特許文献１及び３に記載のように実行される。

形態３の数学的記述を以下に示す。

ＱＣＩＦ及びＣＩＦの分解能において、基準フレームが夫々

及び

であり、低品質及び中品質が夫々二つの量子化パラメータQP₁及びQP₂に対応すると仮定する。また(dx₀, dy₀)が（ＱＣＩＦ、中）に対して生成された動き情報を意味すると仮定する。簡単のため、D(1,1,2n,2n+1,x,y,dx₀,dy₀)及びD(1,2,2n,2n+1,x,y,dx₀,dy₀)が夫々（ＱＣＩＦ、低）及び（ＱＣＩＦ、中）で符号化された残余情報を意味すると仮定する。数学的には、これらは次式で与えられる。

但し、S_Dはダウンサンプリング動作を意味する（非特許文献１及び３を参照）。

形態３が用いられる際に（ＣＩＦ、中）で符号化される残余情報は、次式で与えられる。

但し、(dx,dy)はＣＩＦの分解能における動き情報であり、また次式が成り立つ。

但し、S_Dはアップサンプリング動作を意味する（非特許文献１及び３を参照）。Q_QPkは量子化パラメータQP_kの量子化動作を意味し、IQ_QPkは対応する逆量子化動作を意味する。

(i,j)の値は、高分解能における残りの残余情報を最小限にするように適宜選択される。

式（１）は、（ＱＣＩＦ、低）及び（ＱＣＩＦ、中）間のＳＮＲ（信号対雑音比）冗長性を排除するために採用される。式（２）は、（ＣＩＦ、低）及び（ＣＩＦ、中）間のＳＮＲ冗長性を排除するために用いられる。式（３）は、（ＣＩＦ、低）及び（ＱＣＩＦ、低）間のＳＮＲ冗長性と（ＣＩＦ、中）及び（ＱＣＩＦ、中）間のＳＮＲ冗長性とを排除するために適用される。

層１及び層２で示される連続する二層が用いられる場合を考える。ここで層１は、非特許文献３に記載のＳＮＲ切断スキームによって層２から切り取られる。層１におけるＭＢの分割時に、二つの異なるＳＮＲスキームを用いることができる。

一方のＳＮＲ切断スキームは、ＭＢの分割が非スケーラブル（拡張不可能）である。言い換えれば、層１におけるＭＢのＭＢタイプ(MB_type)及びサブＭＢタイプ(Sub_MB_type)は、層２における同じＭＢのＭＢタイプ(MB_type)及びサブＭＢタイプ(Sub_MB_type)と同じである。層１からの情報を用いるイントラテクスチャ予測は、層２におけるすべてのイントラＭＢに対して常に実行できる。MB_type及びSub_MB_typeは、層１では符号化されるが、層２では符号化される必要はない。

他方のＳＮＲ切断スキームは、ＭＢの分割が層２において粗い。層１におけるＭＢのMB_type及びSub_MB_typeと、層２において同一場所に配置されたＭＢのMB_type及びSub_MB_typeとの関係を夫々表１及び表２に記載する。

ここで、仮に層1及び層２が連続する二層であり、層１は非特許文献３に記載のＳＮＲ切断スキームによって層２から切り取られるとする。層１のいずれのマクロブロック（ＭＢ）に対しても、層２において同一場所に配置された４つのマクロブロックが識別される。層１におけるＭＢの分割時には、二つの異なる空間切断スキームを用いることができる。

マクロブロックは、動き補償が基づく画像における固定サイズの領域である。具体的には、複数の画素（例えば、８×８矩形画素）が一のマクロブロックにグループ分けされる。

一方の空間切断スキームは、層２における４つのＭＢのMB_typeが、層１において同一場所に配置されたＭＢのMB_type及びSub_MB_typeに完全に由来する。即ち、MB_type及びSub_MB_typeは層２で符号化される必要はない。層１からの情報を用いるイントラテクスチャ予測は、層２における全イントラＭＢに対して常に実行できる。層１におけるＭＢのMB_type及びSub_MB_typeは、次の二つの場合に応じて生じる。

場合１：同一場所に配置される４つのＭＢのうち、一のＭＢは、MB_typeが１６×１６ではない。MB_typeは８×８であり、Sub_MB_typeは層２の対応するＭＢのMB_typeによって決定される。Sub_MB_type及び初期ＭＶは、表３に示される。

場合２：層２における４つのＭＢのMB_typeは、１６×１６である。層２のMB_typeの初期値は、８×８として設定される。４つのＭＶは、層２において同一場所に配置されたＭＢのＭＶを２で分割することで得られる。最終MB_type及びＭＶは、ＭＶの切断に対する制約を受けてＲＤ０により決定される。

他方の空間切断スキームは、層２における４つのＭＢのMB_typeが、層１において同一場所に配置されたＭＢのMB_type及びSub_MB_typeによって決定できない。補助Sub_MB_typeは、層１のＭＢに対して８×８として設定される。また補助Sub_MB_typeは、層１の各サブＭＢに対して層２の対応するＭＢのMB_typeに応じて設定される。ＳＮＲスケーラビリティ（拡張可能性）と同様に、実際のMB_type及びSub_MB_typeと補助MB_type及びSub_MB_typeとの関係を、夫々表4及び表５に記載する。

ＭＰＥＧ−４ＡＶＣ（非特許文献２）に既に採用されているＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）も、現草案（非特許文献１）においてエントロピー符号化に用いられる。これらの唯一の違いは、現草案が、更なるシンタックス要素とＦＧＳ符号化に対する更なるコンテクストモデルを有していることである。符号化効率を向上させるために、ＣＡＢＡＣは、シンタックス要素毎に各種コンテクストモデルを用いる。コンテクストモデリングは、隣接ブロックにおいてシンタックス要素を用いることで、シンタックス要素のバイナリ記号に対してより正確な確率モデルの推定を可能にする。

一方、前者の場合には二つの独立した動きベクトルフィールド（ＭＶＦ）が存在する。他方、後者の場合には唯一つの動きベクトルフィールドが存在する。ＳＮＲ／空間改善スキーム及びＳＮＲ／空間切断スキームの統計量は、通常異なっており、本発明の一の実施例に係る異なるコンテクストモデルが用いられる。よって、層１についてはエンコーダからデコーダにビットが送信され、層１が層２から切断されるか否かが特定される。ビット１は、層１が層２から切断されることを意味し、ビット０は、層１が層２から切断されないことを意味する。このビットはスライスヘッダに含まれる。

現草案（WD 1.0、非特許文献１）においては、強化層の動きフィールドをエンコードするために、基層で利用可能な形態に加えて二つのマクロブロック（ＭＢ）形態が可能である。即ち、「BASE_LAYER_MODE」と「QPEL_REFINEMENT_MODE」である。「BASE_LAYER_MODE」が用いられる場合、それ以上の情報は対応するマクロブロックに送信されない。このＭＢ形態は、「基層」における対応ＭＢのＭＢ分割を含む動き／予測情報が用いられることを示す。基層が１／２の空間分解能を有する層を表す場合、ＭＢ分割を含む動きベクトルフィールドはそれ相応に見積もられる。「QPEL_REFINEMENT_MODE」は「BASE_LAYER_MODE」に類似している。基準指標及び動きベクトル（ＭＶ）と同様に、ＭＢ分割も「BASE_LAYER_MODE」に対して生じる。しかしながら、各ＭＶについては、１／４サンプルＭＶ改善(各ＭＶ成分に−１、０、又は＋１)が、生じたＭＶに更に送信及び追加される。

従って、一の実施例において、新たな形態「NEIGHBORHOOD_REFINEMENT_MODE」が用いられる。これは、その「基層」における対応ＭＢのＭＢ分割を含む動き／予測情報が用いられ、強化層におけるブロックのＭＶは、その「基層」における対応ブロックのＭＶの近隣にあることを意味する。「QPEL_REFINEMENT_MODE」と同様に、改善情報が更に送信される。我々の「NEIGHBORHOOD_REFINEMENT_MODE」は、ＳＮＲスケーラビリティ及び空間スケーラビリティの両方に利用可能である。

「基層」におけるブロックの動きベクトル（ＭＶ）が(dx₀,dy₀)であるとする。ＳＮＲスケーラビリティを考慮すると、その近隣の中心は(dx₀,dy₀)である。空間スケーラビリティを検討する場合、その近隣の中心は(2dx₀,2dy₀)である。「QPEL_REFINEMENT_MODE」と同様に、改善情報が更に送信される。「NEIGHBORHOOD_REFINEMENT_MODE」は、ＳＮＲスケーラビリティ及び空間スケーラビリティの両方に利用可能である。この新たな形態は、一の実施例において、非特許文献３に記載のＳＮＲ／空間切断スキームも考慮にいれて設計されている。

仮に、基層及び強化層における動きベクトルの生成に対する量子化パラメータが夫々QPb及びQPeであるとする。通常、近隣サイズはQPb及びQPeに適応でき、通常、単調非減少関数|QPb−QPe|である。改善情報は、近隣サイズに応じて選択される。以下に一例を示す。

|QPb−QPe|が閾値よりも大きい場合の、近隣サイズ並びにＳＮＲ切断スキーム及び空間切断スキームに対する改善情報の選択について夫々表６及び表７に記載する。

WD1.0（非特許文献１）に記載の「QPEL_REFINEMENT_MODE」と同様に、改善情報及び整数間のマッピングは予め規定される（表８参照）。

先行技術に係る符号化層の例を示す図である。本発明の実施例に係るエンコーダを示す図である。本発明の実施例に係るデコーダを示す図である。

符号の説明

２０１原ビデオ信号
２０２基層生成器
２０３予測器
２０４強化層生成器
２０５エンコード／多重化部
２０６符号化ビデオ信号

Claims

少なくとも一のデジタル画像をエンコードする方法であって、
前記画像の第１の表現を生成し、
前記画像の第２の表現を生成し、
前記画像の第１の表現及び前記画像の第２の表現を用いて前記画像の画素に割り当てられた符号化情報を予測することにより、前記画像の第１の表現及び前記画像の第２の表現から前記画像の第３の表現を生成することを特徴とするエンコード方法。
前記画像の第２の表現は、前記第１の表現よりも低い信号対雑音比を有するように生成されることを特徴とする請求項１に記載のエンコード方法。
前記画像の第２の表現は、前記第１の表現よりも高い分解能を有するように生成されることを特徴とする請求項２に記載のエンコード方法。
前記第２の表現は、ＣＩＦに応じた分解能を有するように生成されることを特徴とする請求項１に記載のエンコード方法。
前記第１の表現は、ＱＣＩＦに応じた分解能を有するように生成されることを特徴とする請求項１に記載のエンコード方法。
前記第３の表現は、ＣＩＦに応じた分解能を有するように生成されることを特徴とする請求項１に記載のエンコード方法。
少なくとも一のデジタル画像をエンコードするエンコーダであって、
前記画像の第１の表現を生成するように構成された第１生成部と、
前記画像の第２の表現を生成するように構成された第２生成部と、
前記画像の第１の表現及び前記画像の第２の表現を用いて前記画像の画素に割り当てられた符号化情報を予測することにより、前記画像の第１の表現及び前記画像の第２の表現から前記画像の第３の表現を生成するように構成された第３生成部と
を備えることを特徴とするエンコーダ。
少なくとも一のデジタル画像をエンコードする方法であって、
前記画像の第１の表現を生成し、
前記画像の第２の表現を生成し、
前記画像の第１の表現及び前記画像の第２の表現を用いて前記画像の画素に割り当てられた符号化情報を予測することにより、前記画像の第１の表現及び前記画像の第２の表現から前記画像の第３の表現を生成するエンコード方法を、コンピュータにより実行される際に、当該コンピュータに実行させるコンピュータプログラム製品。