JP2009531990A - 映像圧縮におけるリファインメント係数符号化のための方法及び装置 - Google Patents

Abstract

圧縮された映像系列のSNR（信号対雑音比）スケーラブルなエンハンスメントレイヤにおけるリファインメント係数を符号化する方法が開示される。映像系列が受信される。その映像系列から、現在のフレームにおける元の映像信号の予測が構成される。現在のフレームにおける元の映像信号から、元の信号の予測を減算することによって残差信号が生成される。残差信号に対してある変換が適用される。複数の変換係数は、量子化される。リファインメント係数は、三値のリファインメント記号にマップされる。リファインメント記号は、ある符号化順序でグループ分けされる。リファインメント記号グループは、可変長符号を使用して符号化される。
【選択図】 図３

Description

関連技術

[米国特許法（３５U.S.C.）第119条に基づく優先権主張]
本件特許出願は、本願の譲渡人にともに譲渡され、参照によって本明細書に組み込まれる、2006年3月27日の「Refinement Coefficient Coding for Fine Granularity Scalability」という名称の米国仮出願60/786,800及び2006年7月11日の「Methods and Systems for Refinement Coefficient Coding in Video Compression」という名称の米国仮出願60/839,199に基づいて優先権を主張するものである。

本件開示は、一般に映像処理に関連し、より詳細には、映像圧縮技法に関係する情報符号化及び復号のための方法及び装置に関する。

発明の背景

映像圧縮技法において、コンピュータ技術は進歩を続けてきた。映像圧縮とは、デジタル映像データの圧縮をいう。映像圧縮は、映像データを映像ファイルフォーマットに効率的に符号化し、及び映像フォーマットをストリーム化して放送することにとって、強く望まれる。圧縮とは、より少ないビット数を必要とするフォーマットへのデータ変換であって、通常はデータをより効率的に記憶又は伝送することができるようにするために行われる。伸張（圧縮の反対）とは、元のデータの複製を作ることをいう。

今日、多くの映像圧縮方法は、時間的予測技術又は空間的予測技術のいずれかによって生成される予測残差における残りの空間的冗長度を減らすために、離散コサイン変換のようなある種の離散変換を適用する。多くの映像圧縮技法はまた、量子化（スカラー量子化又はベクトル量子化のいずれか）を伴う。量子化後、量子化された係数は、エントロピー符号化され、圧縮映像ビットストリームに配置される。圧縮ビットストリームは次に復号器に送られ、復号器はビットストリームを復元して元のデータの近似を再生する。

映像圧縮技法は、多様な形式のメディアの消費者に利益をもたらす。例えば、放送エンジニアリングにおいては、映像圧縮によってデジタルテレビが実用的なものとされる。テレビ局はHDTVのみならず、同一の物理的チャネル上でのマルチプル仮想チャネルも放送することができる。デジタル映像放送は、MPEG-2規格の映像圧縮フォーマットを用いることができる。映像圧縮の新しい規格としてH.264/MPEG-４及びVC-1が登場しているところである。

残念なことに、映像情報を圧縮符号化する公知のシステム及び方法には様々な欠点がある。したがって、映像情報を圧縮符号化するためのシステム及び装置を改善することによって利益が実現される可能性がある。本明細書では、映像情報を圧縮符号化するためのいくつかのシステム及び方法が説明される。

発明の概要

圧縮された映像系列のSNR（信号対雑音比）スケーラブルなエンハンスメントレイヤ（enhancement layer）におけるリファインメント係数を符号化する方法が開示される。映像系列が受信される。その映像系列から、現在のフレームにおける元の映像信号の予測が構成される。現在のフレームにおける元の映像信号から、元の信号の予測を減算することによって残差信号が生成される。残差信号に対してある変換が適用される。複数の変換係数は、量子化される。リファインメント係数は、三値のリファインメント記号にマップされる。リファインメント記号は、ある符号化順序でグループ分けされる。リファインメント記号グループは、可変長符号を使用して符号化される。

異なるエンハンスメントレイヤについて可変長符号化テーブルが適応的に選択される。ある実施形態において、可変長符号化テーブルは、リファインメント記号の確率推定（probability estimation）に基づいて適応的に選択される。特定の可変長符号化テーブルの選択は、エンハンスメントレイヤのレベルに基づいて行われてよい。ある実施形態においては、特定の可変長符号化テーブルの選択は、係数が初めてリファインされているか、又はその係数が前のレイヤでリファインされたものであるかに基づいて行われる。

ある実施形態において、本方法は有意係数（significant coefficients）及びリファインメント係数（refinement coefficients）をインターリーブする。複数のブロックを含むスライスが識別される。複数のブロックは、リファインメント係数のグループ分けの前に走査されてよい。リファインメント係数が符号化される順序が決定される。リファインメント係数は、決定された順序にしたがって待ち行列（queue）に記憶されてよい。

ある実施形態では、固定された数のあらゆる連続的なリファインメント係数が可変長符号化テーブルを使用して一緒に符号化される。ある実施形態では、１つのスライスのリファインメント係数が一緒にグループ化される。フラッシュ（flush）オペレーションが行われてもよい。可変長符号化テーブルは、２７項目の可変長符号化テーブルを含み、ここにおいてグループ長（group length）は３である。エンハンスメントレイヤにおいてはサブバンドベースの符号化順序が用いられる。

圧縮された映像系列のSNRスケーラブルなエンハンスメントレイヤにおけるリファインメント係数を符号化する方法を実行する電子デバイスも開示される。この電子デバイスは、プロセッサ、及びそのプロセッサと電子的に通信するメモリを含む。メモリに記憶された命令も含まれる。映像系列が受信される。その映像系列から、現在のフレームにおける元の映像信号の予測が行われる。現在のフレームにおける元の映像信号から、元の信号の予測を減算することによって残差信号が形成される。残差信号に対して、ある変換が適用される。複数の変換係数は、量子化される。リファインメント係数は、三値のリファインメント記号にマップされる。リファインメント記号は、ある符号化順序でグループ化される。リファインメント記号グループは、可変長符号を用いて符号化される。

圧縮された映像系列のSNRスケーラブルなエンハンスメントレイヤにおけるリファインメント係数を符号化する方法を実行する命令を含むコンピュータ可読媒体も開示される。映像系列が受信される。その映像系列から、現在のフレームにおける元の映像信号の予測が行われる。現在のフレームにおける元の映像信号から、元の信号の予測を減算することによって残差信号が形成される。残差信号に対して、ある変換が適用される。複数の変換係数は、量子化される。リファインメント係数は、三値のリファインメント記号にマップされる。リファインメント記号は、ある符号化順序でグループ化される。リファインメント記号グループは、可変長符号を用いて符号化される。

符号化された映像系列におけるリファインメント係数を復号する方法も開示される。符号化された映像系列が受信される。可変長符号化テーブルを用いて、リファインメント記号が復号される。リファインメント記号を用いて、リファインメント係数が復号される。ここにおいて、リファインメント係数は、ある符号化順序でグループ化されたものである。複数の変換係数が逆量子化される。リファインメント信号に対して逆の変換が適用される。映像系列が構成される。

ある実施形態では、符号化された映像ストリームは、インターリーブされた有意記号及びリファインメント記号を含む。要求されているリファインメント係数の場所が記憶される。対応するベースレイヤ係数（base layer coefficients）のサインが記憶される。なされた要求の数に関係するカウンタが1増やされる。ある実施形態では、カウンタが所定の値に達するかどうかが決定される。読み出し操作が実施され、その結果、通常の可変長符号化テーブル復号が実行される。リファインメント記号のグループが得られる。

詳細な説明

以下において本件開示の様々な実施形態が図を参照しつつ説明される。本明細書では、同類の参照番号は同一又は機能的に類似の要素を表示するものとする。本明細書において一般的に説明及び図示されるような本件開示の実施形態は、様々な異なる構成において配置及び設計することができる。したがって、図において表現されているような本件開示のいくつかの実施形態についての下記のさらに詳しい説明は、開示の範囲を限定することを意図したものではなく、たんに本件開示の実施形態を代表するものにすぎない。

本明細書において開示される実施形態の多くの特徴は、コンピュータソフトウェア、電子的ハードウェア、又は両者の組み合わせとして実装することができる。ハードウェアとソフトウェアのこの交換可能性を明確に示すために、様々な構成要素は、その機能性に置き換えて一般的に説明される。そのような機能性をハードウェアで実装するかソフトウェアで実装するかは、特定のアプリケーション及びシステム全体に課されるデザイン上の制約によって決定することができる。当業者であれば、各々の特定のアプリケーションのために、本明細書において説明される機能性を種々の手段で実装することができよう。しかし、かかる実装は、本明細書の範囲からの離脱を引き起こすものと解されてはならない。

本明細書において説明される機能性がコンピュータソフトウェアとして実装される場合、そのようなソフトウェアは、メモリデバイスに記憶され、及び／又はシステムバス又はネットワーク上を電子信号として送信される任意の形式のコンピュータ命令又は機械実行可能なコードを含む。本明細書において説明される構成要素と関連づけられた機能性を実行するソフトウェアは、単一の命令又は多くの命令からなるものであってよく、またいくつかの異なるコードセグメントの上で、異なるプログラムの間で、及びいくつかのメモリデバイスにわたって分散されるものであってもよい。

予測、変換、及び量子化のような一般的映像圧縮技法の後、次なるステップは、ビットストリームを形成するために、シンタックス要素及び量子化された係数に基づいて、エントロピー符号化を行うことである。シンタックス要素及び量子化された係数は、ビットストリームから復号される。次に、逆量子化及び逆変換ステップが実行される。最後に、映像信号を再構成するために、再構成された残差が予測に加えられる。

合同映像チーム（JVT）とは、ISO/IECのMPEG 及びIUT-TのVCEGの専門家からなるチームである。このチームは、H.264/AVCの拡張であるSVC（Scalable Video Coding)に取り組んでいる。JSVM（Joint Scalable Video Model）と呼ばれる共通ソフトウェアが参加者によって用いられている。JSVMは様々なスケーラビリティ特徴をサポートしている。SVCビットストリームは、高精細粒度スケーラビリティ、空間的スケーラビリティ、時間的スケーラビリティ又はその３つの任意の組み合わせを有することができる。
高精細粒度スケーラビリティ（Fine Granularity Scalability）、以下ではFGSというが、これは映像符号化にとって重要でかつ非常に強く望まれる特徴である。この特徴は、圧縮されたビットストリームをほぼ随意に切って短くすることを可能にすると同時に、その一方で、復号された映像の品質の最低保証機能（graceful degradation）をエンドユーザーに提供する。映像符号器がより多くのビットをFGSレイヤで受信し復号するので、より良い映像品質が作り出される。JSVMにおけるFGSは、映像品質における改善が映像フレームの一部の空間領域だけに集中されるやり方とは反対に、映像フレーム全体にわたって等しく広がるやり方で設計されてきた。なぜなら、前者のやり方は、エンドユーザーにとって映像的に不愉快なことであるからである。

FGSはビットプレーン符号化を用いることによって見事な映像品質の改善を実現する。もし、ベース又は前のレイヤの映像フレームが量子化パラメータQPを用いて量子化されるのであれば、現在のエンハンスメントレイヤの映像は、典型的にはQP-6前後の量子化パラメータを用いて量子化される。QP-6は量子化ステップサイズを効果的に半減する。量子化ステップサイズがより小さくなることの結果として、より多くの変換係数がエンハンスメントレイヤにおいて非ゼロ（nonzero）になる。エンハンスメントレイヤにおける非ゼロの係数は、非有意係数、有意係数、及びリファインメント係数の３つのタイプに分けられる。「非有意」係数とは、エンハンスメントレイヤのレベルにおいてゼロである係数をさし、ベース又は前のレイヤにおける対応する係数はゼロである。「有意」係数とは、ベース又は前のレイヤにおいて対応する係数がゼロであって、エンハンスメントレイヤにおいて非ゼロになる係数をさす。「リファインメント」係数とは、ベース又は前のレイヤにおいてすでに非ゼロ（すなわち有意）である係数をさす。これらの係数の値は、現在のエンハンスメントレイヤにおいてリファインされるであろう。

リファインメント係数は、他の係数とは異なる生起統計を有するので、FGSレイヤでは別に符号化される。H.264/AVCと同じように、SVCの勧告草案もまた、２つのエントロピー符号化モード、すなわち、CABAC（Context-based Adaptive Binary Arithmetic Coding）モード及びCAVLC(Context-based Adaptive Variable Length Coding)モードをサポートする。CAVLCモードにおける改善されたリファインメント係数符号化スキームについての詳細が示すところによれば、符号化の効率を改善するだけでなく、符号器及び復号器の双方についての計算量を著しく減らすことができる。

FGSレイヤにおいて、リファインメント係数は２つのシンタックス要素―coeff_refinement_flag及びcoeff_refinement_direction_flagを使用して送信される。第一のシンタックス要素coeff_refinement_flagは、リファインメント係数のレベルがゼロに等しいかどうかを特定する。一般性を失うことなく、もしcoeff_refinement_flag＝０であれば、リファインメント係数レベルの値はゼロに等しく、一方、coeff_refinement_flag＝１は、リファインメント係数レベルの値が−１又は１のいずれかであることを特定する、と仮定する。第二の要素coeff_refinement_direction_flagは、変換係数リファインメントレベルのサイン（正負）がそのベース又は前のレイヤ表現のサインと同じか違うかを特定する。一般性を失うことなく、もしcoeff_refinement_direction_flag＝０であれば、変換係数リファインメントレベルのサインはベースレイヤにおいて対応する係数のサインに等しく、そうでなければ、リファインメントレベルは反対のサインを有する、と仮定する。

CAVLCモードでは、FGSレイヤにおけるリファインメント係数を符号化する１つの手段は、リファインメント係数をブロックごとに処理することである。いったん映像符号器がブロック内のリファインメント係数の符号化を始めると、現在のブロック内のすべてのリファインメント係数の符号化が終わるまで、他のブロックの係数の符号化は始まらない。かかるスキームは、かつてJSVMの１つのバージョンで採用された。

表１は、そのようなブロックベースのリファインメント符号化プロセスを擬似コードで要約したものである。

リファインメント復号プロセスは、シンタックスcoeff_refinement_flag及びcoeff_refinement_direction_flagを再生するために逆の順序で実行される。ベース又は前のレイヤ係数とともに、これらの２つのフラグを用いることによって、復号器はリファインメント係数を再構成することができる。復号器はまた、符号器との同期を保つため、同じようにバッファ内の生起統計情報を維持し更新する。

表１において、VLCTab(VLCTab1又はVLCTab2)は３つの値の１つをとることができる。この3つの値は、リファインメントフラグシンタックスによるVLC符号化を行うための異なる方法を示すものである。もしVLCTab=０であれば、リファインメントシンタックスは1ビット単位で送られる（フラグ符号化）。もしVLCTab=1であれば、リファインメントシンタックスは、3ビットのグループで送信される。もしVLCTab=２であれば、リファインメントシンタックスは、４ビットのグループで送信される。VLCTabの値は、現在の映像スライスにおけるリファインメント係数の累積された統計にしたがって適応的に決定される。また、符号器及び復号器の双方とも、最も出現頻度の高い記号（Most Probable Symbol, MPS）の値を追跡し、MPSが０から１に変わった場合又はその逆の場合、符号化されている実際の記号を切り替える。

現在のCAVLCリファインメント符号化方法は、計算量が相対的に大きい。例えば、現在の方法は、２つのリファインメントシンタックス（レベルシンタックスと方向シンタックス）の累積された統計を維持及び更新することを必要とする。現在の方法はまた、VLCTab及びMPSの値を更新する必要がある。現在の方法は、０及び１についての確率カウントを必要なとき元のサイズに戻すことによって、そのカウントがオーバーフローしないように確実にしておく必要がある。グループ長を適応的に変えることもまた、実行を複雑にする。

現在のリファインメント符号化方法は、相対的に計算量が大きいにもかかわらず、非効率である可能性がある。シミュレーションによれば、ある系列について、CAVLCリファインメント符号化は、CABACリファインメント符号化に比べて、2倍のビット数を必要とすることがある（１００％のペナルティ）。ところが、CABACの代わりにCAVLCモードを使うことの全体的ビットレートペナルティは、通常わずか１５％程度か又はそれ以下である。この非効率性は、CAVLCリファインメント符号化が各ブロックの終わりでビットフラッシュオペレーションを２回実行する（1回目はレベルシンタックスのため、2回目は方向シンタックスのため）という事実に主な原因がある。もし１つのブロックが非常に少ない数のリファインメント係数(例えば、わずか1つ又は２つの係数)しか含んでいないのであれば、頻繁なフラッシュオペレーションは３又は4ビットを一緒にグループ化することを不可能にするかもしれず、このゆえ、重いビットペナルティを招くことになる。なぜなら、可変長符号化はこのスキームにしたがって使用することができないからである。

本明細書において使用されるように、「ある実施形態」「実施形態」「実施形態(複数)」「その実施形態」「その実施形態(複数)」「1つ又はそれ以上の実施形態」「いくつかの実施形態」「ある特定の実施形態」「１つの実施形態」「他の実施形態」及び類似の語は、明示的に特定しないかぎり、「開示されている開示の1つ又はそれ以上の（必ずしも全部というわけではない）実施形態」を意味する。

「決定すること」（及びそれの文法上の変形）という語は非常に広い意味で使われる。「決定すること」という語は様々なアクションを広く含むものであって、それゆえ、「決定すること」は、計算すること、コンピューティングすること、処理すること、導き出すこと、調査すること、調べること（例えば、表、データベース又はその他のデータ構造を調べること）、確かめること、及びその類義語のものを含む。「決定すること」はまた、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）及びその類義語を含むことができる。「決定すること」はまた、解決すること、選択すること、選ぶこと、確立すること、及び同様の語をも含むことができる。

「に基づく」という語句は、明示的に特定しないかぎり、「のみに基づく」を意味するものではない。いいかえれば、「に基づく」という語句は、「のみに基づく」と「少なくとも〜に基づく」の双方をさす。

図1は、FGS（Fine Granularity Scalability）と呼ばれるスケーラブルな映像符号化ビットストリームの構造の１つの実施形態である。FGSにおいて、映像系列は少なくとも２つのレイヤ、すなわちベースレイヤ１０６及びエンハンスメントレイヤ１０４を用いて、単一のビットストリームに圧縮される。図示されているように、FGSはＮ個のエンハンスメントレイヤを含むことができる。

1つの実施形態において、ベースレイヤ１０６は、映像系列の非スケーラブルな符号化であって、典型的に、最も低い品質の映像系列を有するレイヤである。エンハンスメントレイヤ１０４乃至エンハンスメントレイヤN１０２は、ベースレイヤ１０６より上位の異なるレベルの品質を有する。ベースレイヤ１０６の後に符号化された追加的な各エンハンスメントレイヤを復号することによって、その結果として、高品質の映像系列を得ることができる。くわえて、FGSビットストリームは、符号化の最中又はその後、エンハンスメントレイヤ１０４乃至エンハンスメントレイヤN１０２に係るビットストリームをリアルタイムで適宜切って短くする（ビットレート及びそれゆえ復号ピクチャーの品質を削減する）ことができるという１つの意義ある利点をもっている。このことは、送信されるビットレートをフレキシブルに制御することを実現し、エンハンスメントレイヤ１０４乃至エンハンスメントレイヤN１０２を利用可能な送信ビットレートに適宜適応するよう調整することを可能にする。

図2は、ネットワークのブロック図２００である。この図は、符号器２０８からネットワーク２１０を通って復号器２１２へ送信されるベースレイヤ２０２及びＮ個のエンハンスメントレイヤ２０４を示す。復号器２１２は、ベースレイヤ２０２及び、1つ又はそれ以上のエンハンスメントレイヤ２０４のうちの全部又は部分を復号及び使用することができる。復号器２１２は、元の映像系列２０６の最適近似２１４を構成する。１つの実施形態において、最適近似２１４は、コンピュータモニタ、PDA、プロジェクタ等のようなディスプレイ２１６に表示される。映像系列２０６は、ベースレイヤ２０２及び1つ又はそれ以上のエンハンスメントレイヤ２０４として符号化される。品質の低いベースレイヤ２０２は最低限の品質標準を表し、エンハンスメントレイヤ２０４の各々はベースレイヤ２０２のピクチャーの品質に対する改善である。１つの実施形態において、映像系列２０６は、図1で説明されるようなFGS映像符号化フォーマットを用いて符号化される。利用可能な送信帯域が事前にわかっていない場合、FGS映像符号化フォーマットは、映像のストリーミングや放送へのアプリケーションのために特に有益である。符号化の最中又はその後に、エンハンスメントレイヤ２０４は、利用可能な送信ビットレートに適合するよう任意に切って短くされることができる。利用可能なビットレートが変わるにつれて、エンハンスメントレイヤ２０４は、それに応じてリアルタイムで切って短くされ、現在の帯域幅に関して、最適品質の符号化された映像系列を提供することができる。例えば、ネットワーク２００は、エンハンスメントレイヤ２０４を切って短くし、次に、異なった目的地に異なったビットレートでビットストリームを送信することができる。

図3は、情報を符号化する方法３００を示す。１つの実施形態において、符号化されるべき情報は映像系列を含む。本方法３００は映像符号器の中で実行されてよく、その方法３００の逆は映像復号器によって実行されてよい。符号器とは、信号又はデータを符号に変えるために使用されるデバイスである。復号器は次に、当該符号から元の信号又は元の信号の近似を生成することができる。符号器と復号器は、まとめて映像CODECと呼ばれることがある。映像CODECは、ソースの画像又は映像の系列を圧縮形式に符号化し、これを復号して、ソース系列の複写又は近似を生成する。

本方法３００は、はじめに（３０２）符号器が映像系列を受信する（３０４）。１つの実施形態において、映像系列は、圧縮されていない映像信号である。符号器は、近隣の映像フレームの間の類似度を活用して現在の映像信号の予測を構成する（３０６）ことによって、映像系列の圧縮を開始する。その予測は、1つ又はそれ以上の以前の又は以後のフレームから形成され、フレーム間の差の補償によってその予測は改善される。次に、現実の現在のフレームから予測フレームを減算することによって、残差信号が形成される（３０８）。符号器は、空間的冗長度を削減するために、予測残差の近隣のサンプルの間の類似度を利用する。

続いて本方法３００は、残りの空間的冗長度を削減するために、残差信号にある種の変換を適用する（３１０）。この変換は、予測残差信号を、変換係数によってそれが表現される他のドメインに変換する。変換係数は非有意な値を除去するために量子化され（３１２）、残差サンプルをよりコンパクトに表現してくれる少数の有意な係数が残される。１つの実施形態において、係数はＱＰ-６を用いて量子化される。これは量子化ステップサイズを効果的に半減する。量子化ステップサイズが小さくなる結果、より多くの量の変換係数が現在のフレームにおいて非ゼロになる。例えば、方法３００を用いて符号化されている予測残差は、あるエンハンスメントレイヤの中にあるかもしれない。もし、映像フレームの前のレイヤ又は映像フレームのベースレイヤが量子化パラメータＱＰを用いて量子化（３１２）されるのであれば、現在のエンハンスメントレイヤはＱＰ-６を用いて量子化(３１２)される。

１つの実施形態において、エンハンスメントレイヤにおける量子化された非ゼロの係数は、非有意係数、有意係数、又はリファインメント係数に分類することができる。「非有意」係数とは、ベース又は前のレイヤにおいてゼロであって、現在のエンハンスメントレイヤにおいてもゼロのままである係数をいう。「有意」係数とは、ベース又は前のレイヤにおいてゼロであって、現在のエンハンスメントレイヤにおいて非ゼロになる係数をいう。「リファインメント」係数とは、ベース又は前のレイヤにおいてすでに非ゼロである係数をいう。１つの実施形態において、各リファインメント係数は三値のリファインメント記号にマップされる（３１３）。三値のリファインメント記号とは、３つの値のうちの１つを有すものである。符号器は現在のエンハンスメントレイヤを走査して、リファインメント記号をある符号化順序でグループ分けする（３１４）。１つの実施形態において、符号器は、サブバンドベースの符号化順序において連続するリファインメント記号をグループ分けする（３１４）。リファインメント記号の各グループは、「リファインメント記号グループ」と呼ばれる。符号器は次に、リファインメント記号グループを符号化し（３１６）、これらの符号をビットストリームに加える。１つの実施形態において、符号器は可変長符号(VLC)テーブルの可変長符号を用いてリファインメント記号グループを符号化する（３１６）。他の実施形態においては、１つのリファインメント記号グループを符号化するために使用されるVLCテーブルは、リファインメント係数の統計分布の現在の推定に基づいて、VLCテーブルの集合からダイナミックに選択されることができる。

さらに他の実施形態では、符号器は、マルチプルエンハンスメントレイヤからリファインメント記号を符号化することができる。例えば、符号器は、FGS符号化フォーマットの下でマルチプルエンハンスメントレイヤを符号化することができる。１つの実施形態では、マルチプルFGSエンハンスメントレイヤからのリファインメント記号グループが、適応型VLCテーブル選択を使用して符号化される。他の実施形態では、VLCテーブルは、あるFGSレイヤについては固定されているが、他のFGSレイヤについては異なるVLCテーブルを利用することができる。

図４は、符号化された映像系列を復号するための方法４００の１つの実施形態である。本件復号方法は、図３の符号化方法３００と逆のものであってよい。復号方法４００は、はじめに（４０２）復号器が符号化された映像系列（４０４）を受信する。符号化された映像系列はビットストリームとも呼ばれる。復号器はVLCテーブルを使用してリファインメント記号グループを復号する（４０６)。リファインメント記号グループがリファインメント係数の統計分布に基づいて適応型VLCテーブルを使用して符号化される場合、適正なVLCテーブルを選択するために、復号器においても同一の統計情報が使用される。マルチプルエンハンスメントレイヤから符号化されたリファインメント記号が復号器によって受信される場合、復号器は、リファインメント記号の復号に使用するVLCテーブルを該記号のそれぞれのエンハンスメントレイヤにしたがって適応的に選択することができる。

本方法４００はさらに続き、復号器は、最近復号されたリファインメント記号を用いてリファインメント係数を復号する（４０８）。復号器は、次に進んで、復号されたリファインメント係数を逆量子化し（４１０）、その後、当該係数はベース又は前のレイヤの逆量子化された係数に加え戻される。方法４００はさらに進んで、逆量子化された係数に逆変換を適用する。ある実施形態においては、逆変換は逆離散コサイン変換を含むことができる。復号器がリファインメント係数に逆変換を適用した後（４１２）、復号器は、図３の符号化方法３００の前に存在していたような元の映像系列の近似を構成する（４１４）。

図５は、複数のマクロブロックに分割された映像フレーム５００の１つの実施形態である。マクロブロックとは、復号プロセスの基本のデータ単位である。図示されているように、映像フレーム５００は、マクロブロックの各々が映像フレーム５００の１つのサンプルを含むように、複数の固定サイズのマクロブロックに分割される。１つの実施形態において、各マクロブロックは、１６×１６画素の１つのサンプルを含む。他の実施形態においては、各マクロブロックは、１つの輝度成分と２つの色差成分を含む。輝度成分は、特定のサンプルの明るさに関係し、色差成分はそのサンプルの色の性質に関係する。１つの実施形態において、映像フレーム５００はさらに、複数のスライス、すなわちスライスA（５０２）、スライスB（５０４）、及びスライスC（５０６）に分割される。スライスとは、ある符号化順序で連続的に処理されるマクロブロックの系列である。例えば、スライスA（５０２）及びスライスA内に含まれるマクロブロックは、スライスB（５０４）及びスライスC（５０６）の前に符号化されて復号器に送信される。追加的な実施形態において、様々なスライス５０２、５０４及び５０６を符号化して復号器に送信する順序は任意でよい。例えば、スライスB（５０４）を他のスライスより前に符号化して復号器に送信してよい。同様に、スライスCを他の２つのスライスの前に符号化して復号器に送信してよい。N番目のエンハンスメントレイヤにおける各マクロブロックは、N-1番目のエンハンスメントレイヤ及びベースレイヤの各々におけるマクロブロックに対応する。

図６は、係数の分類のしかたの一例である。ベースレイヤ係数ブロック６０２及びエンハンスメントレイヤ係数ブロック６０４が与えられる。ベースレイヤ６０２及びエンハンスメントレイヤ６０４における空白のスペースはゼロの係数を表す。これらの係数は非有意係数と呼ばれる。残りのスペース６０６、６０８、６０８a、及び６０８ｂは各々、非ゼロ値を有する可能性のある係数を表す。１つの実施形態において、ベースレイヤ係数ブロック６０２は、FGS映像符号化フォーマットを用いる、前のエンハンスメントレイヤの中にある。前に説明したように、図３の符号化方法３００の中で変換係数が量子化される。量子化の後、ベースレイヤ係数ブロック６０２における対応する係数がゼロであるところのエンハンスメントレイヤ係数ブロック６０４における非ゼロの係数は、有意係数６０６と呼ばれる。ベースレイヤにおける対応する係数が非ゼロであるこれらの係数は、リファインメント係数６０８と呼ばれる。有意係数６０６及びリファインメント係数６０８は異なる統計を有するので、FGS符号化フォーマットの後、エンハンスメントレイヤ６０４において別々に符号化される。

１つの実施形態において、有意係数６０６は、ベース又は前のレイヤにおける対応する係数６０６ａ及び６０６ｂ（同じサブバンドを表す係数）がゼロである有意係数である。リファインメント係数６０８は、ベース又は前のレイヤにおける対応する係数６０８ａ及び６０８ｂが非ゼロのリファインメント係数である。

図７は、ブロックごとの符号化順序が用いられる現在のCAVLCリファインメント符号化スキームの欠点７００を示す。ブロックごとによる順序は、本質的に、映像フレーム７１０の内部に空間的に均一でない品質改善を生じさせる。図７に示されるように、ビットストリーム７０８が切って短くされるとき、切り捨て７０４の前のビットストリーム７０８において表されるすべての映像ブロック（ブロック０，１、・・・、ｎ−１）は、切り捨て７１４の最中にリファインメント係数が失われる映像ブロック７０６（ブロックn及びそれ以降）に比べて、より良い映像品質７１２を有するであろう。これらのリファインメント係数を符号化する比較的良い順序は、サブバンドベースの符号化順序を使うことである。これについては次の図面で詳述する。

図８は、サブバンドベースの符号化順序８００の１つの実施形態である。１つの実施形態において、第１のブロック８０２、第２のブロック８０４、及び第３のブロック８０４は、同じエンハンスメントレイヤにおける３つの係数ブロックである。１つの実施形態において、ブロック８０２、８０４、及び８０６は、サブバンドベースのFGS符号化順序８００が拡張されて第１のFGSレイヤの上で使用されるかもしれないような第１のFGSエンハンスメントレイヤにおける３つのブロックである。ブロックベースの順序に対比して、サブバンドベースの符号化順序８００は、リファインメント係数をそれらが属す変換ドメインサブバンドにしたがって送信する。１つの実施形態において、ブロック８０２、８０４及び８０６に図示される記法Bｘ,ｙは、サブバンドｙの中及びブロックｘの中の係数であることを表すことができる。例えば、B0,0は、第１のサブバンド（サブバンド０）の中及び第１のブロック８０２の中の係数であることを表す。

１つの実施形態において、符号器は最初、ポジションB0,0、B1,0及びB2,0に在る任意のリファインメント係数を符号化する。符号器は次に、ポジションB0,1、B1,1及びB2,1等々に在る任意のリファインメント係数を符号化する。サブバンド符号化順序８００は、リファインメント係数がそれらが属す変換ドメインサブバンドにしたがって符号化されて送信されるのを容易化する。サブバンド符号化順序８００を使用すると、受信されるリファインメントビット数が増えるために、結果として、空間的に比較的均一な品質改善がもたらされる。

図９は、リファインメント符号化において用いられる２つのシンタックス、coeff_refinement_flag９０２及びcoeff_refinement_dir_flag９０４に関連づけられるリファインメント記号（ref_symbol）の１つの実施形態９００である。前に説明したように、リファインメント係数が値ゼロを有するならば、シンタックス要素coeff_refinement_flag９０２は値ゼロが割り当てられる。したがって、ref_symbol９０６もまたゼロが割り当てられる。もしリファインメント係数が非ゼロを有するならば、coeff_refinement_flag９０２は値１が割り当てられる。もしリファインメント係数がベースレイヤ又は前のレイヤにおける対応するリファインメント係数と同じサインを有するのであれば、coeff_ref_dir_flag９０４は値ゼロが割り当てられる。もしベースレイヤ又は前のレイヤにおけるリファインメント係数のサインが、符号化されている現在のレイヤにおけるリファインメント係数のサインと反対であれば、coeff_ref_dir_flag９０４には値１が割り当てられる。他の実施形態においては、coeff_ref_dir_flag９０４の値を定義するパラメータは逆転させられる。

もしcoeff_ref_dir_flag９０４に値ゼロが割り当てられると、ref_symbol９０６には値１が割り当てられて、もしcoeff_ref_dir_flag９０４に値１が割り当てられると、ref_symbol９０６には値２が割り当てられる。ref_symbol９０６の値は、次に符号化されてビットストリームに含まれる。ref_symbol９０６の値の符号化の１つの実施形態が以下に与えられる。

図１０は、図９において説明されたような参照記号の値の符号化のために使用される可変長符号化（VLC）テーブルの１つの実施形態である。サブバンド符号化順序の下で、連続するリファインメント記号は一緒にグループ分けされ、リファインメント記号グループ１００２はVLCテーブル１０００を用いて符号化される。テーブル１０００は複数の項目（entries）を含む。各項目は、図９において説明したようなリファインメント記号グループ１００２の値、特定の値のリファインメント記号グループ１００２を符号化するための可変長符号の符号長１００４、及び特定の値のリファインメントグループ記号１００２を符号化するための可変長符号の符号語（code word）１００６を有する。符号語１００６は、次にビットストリームに含まれて復号器に送信される。

１つの実施形態において、テーブル１０００のような単一のVLCテーブルがリファインメント符号化において使用され、符号器及び復号器は必ずしもコンスタントにリファインメント記号統計を累積及び更新する必要が無く、かくして計算量を著しく減らすことができる。他の実施形態においては、VLCテーブルがリファインメント係数の統計分布の推定に基づいてマルチプルテーブルから選択され、確率推定とテーブル選択という計算量の追加によってパフォーマンスを改善することができる。

次に、図１１に関し、現在のSVC規格は、ディスクリートのベースレイヤ１１０２の上にマルチプルレイヤを可能ならしめる。第２のFGSレイヤ１１０６からスタートして上に行く１つ以上のFGSレイヤ１１０４及び１１０６があるとき、すべてのリファインメント係数は次の２つのクラスのうちの１つに属す。２つのクラスとは、１つは「古い」リファインメント係数であって、これは、前のFGSレイヤ１１０４においてすでにリファインメント係数を有するリファインメント係数のことである。他の１つは、「新しい」リファインメント係数であって、これは、前のFGSレイヤ１１０４においてはじめて有意になったものであって、現在のレイヤ１１０６においてまさにリファインメント段階に入ろうとしているリファインメント係数のことである。図１１は、２つのFGSレイヤ１１０４及び１１０６を有する一例を与える。第１のFGSレイヤ１１０４は、リファインメント係数１１１０はもちろんのこと、有意係数１１０８を含む。第２のFGSレイヤ１１０６は、「新しい」リファインメント係数はもちろんのこと、「古い」リファインメント係数１１１２を有する。係数１１１６は、第２のFGSレイヤ１１０６における新しい有意係数である。残りの空白のポジションは、非ゼロの値を持たない非有意係数である。

２つのタイプのリファインメント係数１１１２及び１１１４は、異なる記号確率分布を持っている。それゆえ、１つの実施形態においては、両者を符号化するには異なるVLCテーブルを使用するほうが好ましい。さらに、現在のFGSレイヤのレベルに応じて異なるVLC符号化テーブルを使用することができる。例えば、第１のFGSレイヤ１１０４に含まれるリファインメント係数を符号化するために使用されるものとは異なるVLCテーブルを第２のFGSレイヤ１１０６に含まれるリファインメント係数の符号化のために使用することができる。そのような確率分布にもっと適応させられた符号化テーブルは、パフォーマンスの改善のために使われるべきである。そのようなVLCテーブルの適応は、大きな計算量を必要としない。というのは、それは、記号統計の収集や更新に依存するものではなく、単にリファインメント係数クラス及びFGSレイヤレベルのみに基づくからである。他の実施形態においては、VLCテーブルは、現在のFGSレイヤについてのリファインメント係数の統計分布の推定に基づいてダイナミックに選択をすることができる。

図１２は、有意及びリファインメント符号化がインターリーブされるときリファインメント記号のグループ分けに起因して生じる問題に対する１つの解決の実施形態１２００である。FGS符号化において、異なるブロックに対する有意符号化パス及びリファインメント符号化パスは通常一緒にインターリーブされる。このことについての１つの理由は、あるブロックは他のブロックより少ない数の有意係数を含むかもしれないからである。ある１つのブロックの有意符号化パスが終わると、次にこのブロックについてのリファインメントパスが始まる。その間に、このブロックの次のブロックは、有意符号化パスを通過することになる。１つの実施形態において、ブロックA １２０２についての有意符号化（S0,0、及び次にEOB）は、２回のラウンド後に終わる。次に、R0,0（及び後にR0,1）のリファインメント符号化が始まる。しかし、同時に、ブロックB１２０４の有意符号化（係数S1,2及びEOB）はまだ続いている。

有意及びリファインメント符号化のインターリーブについてのもう１つの理由は、サブバンド符号化順序の使用である。図１３は、有意符号化及びリファインメント符号化がインターリーブされるもう１つの実施形態１３００を示すものである。１つの実施形態において、係数はサブバンドで走査される。例えば、０番目のサブバンド１３０６を走査するとき、ブロックＡ１３０２は有意係数Ｓ0,0を含む。このゆえ、Ｓ0,0の有意符号化が実行される。同様に、ブロックＢ１３０４の０番目のサブバンド１３０６が走査されるとき、リファインメント係数Ｒ1,0のリファインメント符号化が実行される。

インターリーブされた有意及びリファインメント符号化のこのふるまいは、リファインメント符号化がマルチプル(例えば、３つの)リファインメント係数のグループ分けによってなされる場合、問題を発生させる。符号器の側において、VLC符号語が送り出される前に、３つのリファインメント記号がバッファアップされる(一時記憶領域に移される)。しかし、復号器側では、リファインメント係数の復号に出くわすと必ず、復号器はビットストリームから、３つのリファインメント記号のグループを表すVLC符号語を読み取ろうとする。しかし、この符号語はまだ符号器の符号化バッファにバッファされていて、まだ送られていない。符号器と復号器の間のこの同期の損失は、そのような符号化スキーム（有意及びリファインメントパスがインターリーブされるときのリファインメント記号のグループ分け）が失敗することを意味する。この問題を解決するための２つの方法が下記に与えられる。

図１４は、符号器の側には何の変更も要しない復号器ベースの解決方法１４００を示す。符号器は、符号語を送出する前に、いつも３つのリファインメント記号ごとに一緒にグループ分けしようとするかもしれない。復号器の側では、リファインメント係数が要求されると、次の操作が実行される。本方法１４００は、カウンタをゼロに初期化する（１４０４）ことによって始まる。要求されているリファインメント係数の場所が記憶され（１４０４）、対応するベースレイヤ係数のサインが記憶され（１４０６）、いくつ要求がなされたかを追跡するためのカウンタ（スライス符号化の開始時においてゼロに初期化）が１増やされ（１４０８）、このカウンタが３になると（１４１０）、読み出し操作が実行されて（１４１２）通常のVLC符号化が実施される。１つのグループの３つのリファインメント記号が戻され、次にその３つの記号は、以前に記憶されていたような対応する係数場所に戻されて（１４１４）、カウンタはゼロにリセットされる（１４１６）。カウンタがまだ３でなければ（１４１０）、本方法１４００は、ステップ１４０２に戻って、さらに続く。

復号器サイドの解決方法が復号器により多くの負荷をかけるのに対し、符号器サイドの解決方法は復号器に与える計算量の影響が最小である。基本的なコンセプトは、符号器はつねに事前にマルチプル（例えば、３つの）リファインメント係数を送信し、復号器は、リファインメント係数が要求されるとき、十分なリファインメント記号をバッファ内に存在させることが保証されているということである。図１５は、符号器ベースの解決方法の１つのタイプの方法１５００を示すものである。符号器はスライスの中のある一定の数のブロックを予備走査し（１５０２）、実際の符号化段階においてすべてのリファインメント係数が送信される順序を決定する（１５０４）。このようにして、リファインメント係数は該符号化順序で待ち行列に記憶される（１５０６）。符号化の段階で、リファインメント係数が送信される必要があるとき、それはすでに前の係数と一緒にグループ分けされて送信済みであるかどうかが決定される（１５０８）。もしそうであれば、何のアクションもとられない（１５１０）。そうでない場合は、このリファインメント係数は、待ち行列の中のその係数の直後の２つの係数と一緒に送信される（１５１２）。本方法１５００は、符号化パスが終わるまで続く。

以上の符号器ベース及び復号器ベースの双方の解決方法は、ＳＶＣの勧告草案において現在サポートされている２つの符号化順序を含み、かつそれらに限られることなく、異なるブロックからの有意パス及びリファインメントパスの任意の形式のインターリーブに適合することに注意せよ。これらの２つの解決方法は、任意の数のリファインメント記号のグループ分けに適用可能であって、３つの記号のグループ分けに限定されるものではない。

復号器ベース及び符号器ベースの双方の解決方法は、ＳＶＣ共同勧告草案５（ＪＤ５）において定義されているようなブロックベースのリファインメント符号化にも適用可能であって、したがって、バッファ内に記憶されている残りのリファインメントビットを各ブロックの最後にフラッシュアウトする作業を不要にする、ということにも注意しておくべきである。復号器ベースの解決方法については、符号器におけるさらなる変更が符号器及び復号器の同期を保証することができる。ＪＤ５のブロックベースのリファインメント符号化のスキームはVLCテーブルに適応しているので、グループ分けされたリファインメント記号の数は、１、３、及び４の間で変化することができる。ブロックの最後において、符号器はVLCテーブルの適応を十分な数のリファインメント係数に出くわすまで中止するべきである（これはしばらくして符号器が後続のブロックのリファインメント符号化を実行するときに起きるであろう）。十分な数のリファイメント係数に出くわしてVLC符号語の書き込み操作が行われるとき、符号器は通常のVLCテーブルの適応を始めることができる。このスキームの下で、現在のリファインメント符号化において用いられるような頻繁なフラッシュオペレーション（ブロックごとに行われる）を最小化することができ、符号化パフォーマンスは非常に改善され得る。

ある数のリファインメント係数の符号化の最後に、もし残りのリファインメント係数の数が非ゼロで、かつ典型的な符号化プロセスにおいて用いられるグループサイズより小さい場合、フラッシュオペレーションが使用される可能性がある。フラッシュオペレーションをする１つの方法は、完全なグループを作るために最も出現頻度の高い記号（MPS）を加えて、最後のグループを他のグループとして符号化することである。例えば、典型的なグループサイズは３と仮定されていて、フラッシュオペレーションにおいて符号化されるべき残りの係数は１つで、その記号は２であると仮定せよ。三値の記号のセットの中で記号「０」が最も出現頻度の高い記号（MPS）であると仮定すると、グループ（２，０，０）が符号化される。復号器側では、パッドを入れられた記号は捨てられる。フラッシュオペレーションはまた、実行計算量を減らすために、もっと頻繁に行われる可能性がある。一緒に符号化される１つのグループのリファインメント係数は、異なる場所からのものである。同一のグループ内の係数の間の距離を限定することは、結果として、フラッシュオペレーションによって取り扱われる必要のある、いくつかのグループ分けされていない記号をもたらすことになる。他の実施形態では、復号器によって捨てられることになるMPS（最も出現頻度の高い記号）を加えることによって完全なグループを形成するかわりに、比較的小さなグループを符号化するために設計されたVLCテーブルが使われる。これはフラッシュされるべきリファインメント係数の数が復号器によって正確にわかっている場合に使うことができる。グループサイズは３で、ただ１つの係数「Ｒ」のみがフラッシュされるべきであると仮定せよ。３つの記号のグループの符号化のためにVLCテーブルを使ってグループ（Ｒ，０，０）を符号化するかわりに、ある特殊なVLCテーブルを使うほうがより効率的である。例えば、値「０」のリファインメント記号は「１」として符号化され、値「１」のリファインメント記号は「０１」として符号化され、そして、値「２」のリファインメント記号は「００」として符号化される。同様にして、グループサイズが２で、フラッシュされるべき係数として２つの係数「Ｒ１」及び「Ｒ２」がある場合、グループ（Ｒ１、Ｒ２、０）を符号化するかわりに、比較的小さいグループ（Ｒ１、Ｒ２）の符号化のために、異なるVLCテーブルが用いられる。１つの実施形態において、Ｒ１^＊３＋Ｒ２として計算されるグループのインデックスを符号化するために、指数ゴロム符号（Exponential-Golomb code）が使用される。符号化されたグループのインデックスはＲ１＋Ｒ２^＊３として等しく形成されることができるということに注意すべきである。

図１６は、デジタル画像及び／又はデジタル映像を処理するように構成されるデバイス１６００である。デバイス１６００は、デジタルテレビ、デジタル直接放送システム、無線通信デバイス、PDA（Personal Digital Apparatus）、ラップトップコンピュータ、デジタルカメラ、デジタル記録デバイス、ネットワーク可能型デジタルテレビ、セルラー電話又は衛星無線電話、又は映像電話能力のある任意の遠隔通信デバイスを表す、又はこれらの中で実施されることができる。

デバイス１６００は、画像及び／又は映像のデータを処理し、符号化し、復号し、送信し及び／又は受信することができる。映像データは、映像取り込み装置(又は画像センサ)１６１２のようなビデオカメラによって取り込まれ、ビデオアーカイブから検索され、又は他のやり方で入手されることができる。デバイス１６００の映像符号化部１６１０は、MPEG-4、ITU-TH.263、ITU-TH.264のような映像符号化規格、又はその他の任意の映像符号化規格を使うことができる。映像符号化部１６１０は、動き予測及び動き補償のようなインターフレーム符号化技術及び、空間予測及びイントラ予測符号化技術のようなイントラフレーム符号化技術をサポートする。

デバイス１６００は、画像又は映像の系列を取り込み、取り込まれた画像又は映像の系列をメモリ１６１４に記憶するための、カメラ又はビデオカメラのような、画像／映像取り込みデバイス１６１２を含んでよい。画像／映像処理部１６０２は、画像及び／又は映像の系列を処理する。メモリ１６０４は、そのような処理の前又は後に画像及び／又は映像の系列を記憶する。

トランシーバ１６１４は、符号化された映像系列を受信し及び／又は他のデバイスに送信する。トランシーバ１６１４は、符号分割多重アクセス（CDMA）のような無線通信規格を使用してもよい。CDMA規格の例は、ＣＤＡＭ1ｘEV-DO、WCDMA等を含む。

デバイス１６００の1つ又はそれ以上の要素は、通信バス１６１８を介して通信結合されてよい。図１６に示される要素に加えて又は替えて、その他の要素がデバイス１６００に含まれてよい。図１６に示されるアーキテクチュアは単なる一例である。本明細書において説明される技術は他の様々なアーキテクチュアを用いて実装することができる。

メモリ１６１４は、相対的に大きなメモリ空間を有してよい。メモリ１６１４は、例えば、ダイナミックランダムアクセスメモリ(DRAM)、又はフラッシュメモリで構成することができる。メモリ１６１４は、ＮＯＲゲート又はＮＡＮＤゲートによるメモリ技術又はその他の任意のデータ記憶技術を用いて構成することができる。他の実施形態において、メモリ１６１４は、不揮発性メモリ又はその他のデータ記憶部により構成することができる。

画像／映像処理部１６０２は、移動型無線電話のためのチップセットにより構成することができる。これは、ハードウェア、ソフトウェア、ファームウェア、及び／又は1つ又はそれ以上のマイクロプロセッサ、デジタル信号プロセッサ（DSPs）、用途特定型集積回路（ASICs）、フィールドプログラマブルゲートアレイ（FPGAs）又はこれらの任意の組み合わせを含むことができる。処理部１６０２は、フロントエンドの画像／映像処理部１６０８及び画像／映像符号化部１６１０に結合されるローカルメモリ１６０４を含むことができる。符号化部１６１０は、デジタル映像データを符号化（又は圧縮）し及び復号（又は伸張）するための符号器／復号器（CODEC）により構成することができる。

ローカルメモリ１６０４は、メモリ１６１４に比べて小規模で高速のメモリ空間により構成することができる。例えば、ローカルメモリ１６０４は、同期型DRAM（SDRAM）により構成することができる。ローカルメモリ１６０４はまた、プロセッサ集約型の符号化プロセスの際にデータへの高速アクセスを実現するために、処理部１６０２の他の構成要素とともに集積化された「オンチップ」のメモリで構成することができる。しかしながら、メモリ１６１４及び１６０４は、結合して単一のメモリとすることもできるし、数多くのその他の構成において実装することもできる。メモリコントローラ１６０６は、ローカルメモリ１６０４に対するメモリフェッチ及びライトバック（write-back）を制御することができる。

フロントエンドの画像／映像処理部１６０８は、画像品質を改善し、もって映像系列の品質を改善することを目的として、映像系列のフレームの上で1つ又はそれ以上の画像処理技術を実行することができる。例えば、フロントエンドの画像／映像処理部１６０８は、デモザイキング、レンズロールオフ補正、スケーリング、色彩補正、色彩変換、及び空間フィルタリングなどの技術を実行することができる。フロントエンドの画像／映像処理部１６０８はまた、その他の技術も実行することができる。一般に画像／映像処理部１６０８によって実行される技術は、「フロントンエンド」の画像処理技術と呼ばれる。それは、その技術が画像／映像符号化部１６１０による符号化に先行するからである。

画像／映像取り込み部１６１２は、センサの表面にアレンジされた色彩フィルターアレイ（CFAs）を含む画像センサから構成することができる。画像／映像処理部１６０８によって実行されたフロントエンドの画像処理は、取り込み部１６１２によって取り込まれた映像系列の品質を改善することができる。例えば、フロントエンドの処理部１６０８及び／又は符号化部１６１０は、取り込み部１６１２によって取り込まれた画像を処理するようにプログラムされたデジタル信号プロセッサ（DSP）から構成することができる。メモリ１６０４(又はメモリ１６１４)の同じ領域をフロントエンドの画像処理目的及び他の記憶目的の双方のために使用することができる。

画像／映像符号化部１６１０は、画像及び／又は映像の符号化を実行するインターフレーム圧縮及び／又はイントラフレーム圧縮のような1つ又はそれ以上の映像圧縮技法を含むことができる。例えば、符号化部１６１０は、インターフレーム圧縮を実現することを目的として、時間的又はインターフレームデータ相関を活用するために、動き予測及び動き補償を実行することができる。代替的又は追加的に、符号化部１６１０は、イントラフレーム圧縮を実現することを目的として、空間的又はイントラフレームのデータ相関を活用するため、空間予測及びイントラ予測技術を実行することができる。動き補償（又はイントラ予測）の出力は、残差（residual)と呼ばれる。これは、符号化されるべき現在の映像ブロックと、動き予測又は空間予測によって特定される予測ブロックとの間の差を表すデータのブロックから構成することができる。

符号化部１６１０が残差を生成するために動き補償（又はイントラ予測）を実行した後、残差をさらに符号化し、データをさらに圧縮するための一連の追加的ステップが実行されてよい。一連の追加的ステップは、使用されている符号化規格に依存するかもしれないが、一般に「残差の符号化」と呼ばれる。符号化部１６１０は、トランシーバ１６１６を介して１つの映像系列を他のデバイスに通信するために必要とされるデータの量を減らすために、これらの映像圧縮技法の1つ又はそれ以上を実行してもよい。

情報及び信号は、様々の異なる技術及び技法のいずれかを使用して表すことができる。例えば、上記の説明を通じて参照されるデータ、命令、指令、情報、信号、ビット、記号、及びチップは、電圧、電流、電磁波、磁気的場又は粒子、光学的場又は粒子、又はこれらの任意の組み合わせによって表すことができる。

本明細書において開示される実施形態に関して記述される様々な例示的な論理ブロック、モジュール、回路及びアルゴリズムのステップは、電子的ハードウェア、コンピュータソフトウェア又は両者の組み合わせとして実装することができる。このハードウェアとソフトウェアの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路及びステップが上記において一般にその機能の観点から説明された。そのような機能性がハードウェア又はソフトウェアとして実施されるかは、特定の用途及びシステム全体に課せられる設計上の制約に依存する。当業者であれば、説明された機能性を特定の適用について異なる手段で実装することができる。しかし、そのような実装の決定が本件開示の範囲からの逸脱を生じるものとして解してはならない。

本明細書において開示される実施形態に関して説明される様々な例示的な論理ブロック、モジュール、回路及びアルゴリズムのステップは、汎用目的プロセッサ、デジタル信号プロセッサ（DSP）、用途特定型集積回路（ASIC）、フィールドプログラマブルゲートアレイ信号（FPGA）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理回路、ディスクリートハードウェア素子、又は本明細書において説明される機能を達成するように設計されたこれらのものの任意の組み合わせを用いて実装されてよい。汎用目的のプロセッサはマイクロプロセッサであってもよいが、代替として、該プロセッサは、在来型のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械（ステートマシン）であってもよい。プロセッサは、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアとともに1つ又はそれ以上のマイクロプロセッサ、又は任意の他の同様の構成として、実装することもできる。

本明細書において開示される実施形態に関して説明される方法又はアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、又は両者の組み合わせにおいて直接的に実施することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、又は当業界において知られている他の任意の形式の記憶媒体に入れておくことができる。代替として、該記憶媒体はプロセッサと一体的であってもよい。プロセッサ及び記録媒体は、１つのASICに入れておくことができる。ASICはユーザー端末に入れておくことができる。代替として、プロセッサ及び記憶媒体をディスクリート素子としてユーザー端末に入れておくこともできる。

本明細書において開示される方法は、説明されている方法を実現するための1つ又はそれ以上のステップ又はアクションからなる。方法のステップ及び／又はアクションは、本件開示の範囲から逸脱することなく、互いに入れ替え可能である。いいかえれば、ステップ又はアクションの特定の順序が実施形態の適切な操作にとって必要とされるのでなければ、特定のステップ及び／又はアクションの順序及び／又は使用は、本件開示の範囲を逸脱することなく修正可能である。

以上において本件開示の特定の実施形態及び応用が例示され説明されてきたが、本件開示は本明細書において開示された厳密な配置及び要素に限られるものではないということが理解されるべきである。本明細書において開示された本件開示の方法及びシステムの配列、操作、及び詳細において、本件開示の範囲を逸脱することなく、当業者にとって明白である様々な修正、変化、及び変形がなされてもよい。

スケーラブルな映像符号化ビットストリーム構造の実施形態を示す図。 ネットワーク上で符号器から復号器へ送信されるベースレイヤ及び複数のエンハンスメントレイヤの実施形態を示す図。 情報の符号化方法を示す図。 符号化された映像系列を復号するための方法の１つの実施形態を示す図。 複数のマクロブロックに分割されたピクチャーフレームの実施形態を示す図。 有意係数及びリファインメント係数を分類するための実施形態を示す図。 可変長符号化のリファインメント符号化スキームの欠点を示す図。 サブバンドベースの符号化順序の実施形態を示す図。 リファインメント符号化において用いられるシンタックスに関連するリファインメント記号の実施形態を示す図。 可変長符号化（VLC）テーブルを示す図。 マルチプルFGS(Fine Granularity Scalability)レイヤの実施形態を示す図。 有意及びリファインメント符号化がインターリーブされるときリファインメント係数のグループ分けによって生じる問題に対する解決方法の実施形態を示す図。 有意符号化及びリファインメント符号化がインターリーブされてサブバンドFGS符号化順序が用いられる他の実施形態を示す図。 復号器ベースの解決の方法の実施形態を示す図。 符号器ベースの解決の方法の実施形態を示す図。 デジタル画像及び／又はデジタル映像を処理するために典型的に利用される主なハードウェアの構成要素を示すブロック図を示す図。

Claims (30)

1. 圧縮された映像系列のSNR(信号対雑音比)スケーラブルなエンハンスメントレイヤにおけるリファインメント係数を符号化する方法であって、
   映像系列を受信すること、
   前記映像系列から現在のフレームにおける元の映像信号の予測を構成すること、
   前記現在のフレームにおける前記元の映像信号から、前記元の映像信号の前記予測を減算することによって残差信号を生成すること、
   前記残差信号に対して変換を適用すること、
   複数の変換係数を量子化すること、
   リファインメント係数を三値のリファインメント記号にマップすること、
   リファインメント記号をある符号化順序でグループ分けすること、及び
   可変長符号を使用して前記リファインメント記号グループを符号化すること
   を備える方法。
2. 異なるエンハンスメントレイヤについて適応的に選択される可変長符号化テーブルを使用することをさらに備える、請求項１に記載の方法。
3. 前記リファインメント記号の確率推定に基づいて適応的に選択される可変長符号化テーブルを使用することをさらに備える、請求項１に記載の方法。
4. 特定の可変長符号化テーブルの前記選択はエンハンスメントレイヤのレベルに基づいて行われる、請求項２に記載の方法。
5. 前記特定の可変長符号化テーブルの前記選択は係数が初めてリファインされているか又はその係数が前のレイヤでリファインされたことがあるかに基づいて行われる、請求項４に記載の方法。
6. 前記方法は有意係数及びリファインメント係数をインターリーブする、請求項１に記載の方法であって、
   複数のブロックを含むスライスを特定すること、
   前記リファインメント係数の前記グループ分けの前に前記複数のブロックを走査すること、
   リファインメント係数が符号化される順序を決定すること、及び
   決定された前記順序にしたがってリファインメント係数を待ち行列に記憶すること
   をさらに備える方法。
7. 複数のブロックを含むスライスを特定することをさらに備える、請求項１に記載の方法。
8. 前記リファインメント係数の前記グループ分けの前に前記複数のブロックを走査することをさらに備える、請求項１に記載の方法。
9. 前記リファインメント係数が符号化される順序を決定することをさらに備える、請求項１に記載の方法。
10. 決定された前記順序にしたがって前記リファインメント係数を待ち行列に記憶することをさらに備える、請求項１に記載の方法。
11. 固定された数のあらゆる連続的リファインメント係数が前記可変長符号化テーブルを使用して一緒に符号化される、請求項１に記載の方法。
12. スライスのリファインメント係数を一緒にグループ分けすることをさらに備える、請求項１に記載の方法。
13. フラッシュオペレーションを行うことをさらに備える、請求項１に記載の方法。
14. 前記フラッシュオペレーションは完全なグループを作るために1つ又はそれ以上の最も出現頻度の高い記号を1つ又はそれ以上のリファインメント記号に加えることを含む、請求項１３に記載の方法。
15. 前記フラッシュオペレーションは該フラッシュオペレーションにおいて処理されるべきリファインメント係数の数に基づいて選択される可変長符号化テーブルを使用することを含む、請求項１３に記載の方法。
16. 前記可変長符号化テーブルは２７項目の可変長符号化テーブルを備え、グループ長は3である、請求項１に記載の方法。
17. 前記エンハンスメントレイヤの上でサブバンドベースの符号化順序を使用することをさらに備える、請求項１に記載に方法、
18. 圧縮された映像系列のSNR(信号対雑音比)スケーラブルなエンハンスメントレイヤにおけるリファインメント係数を符号化するように形成される電子デバイスであって、該デバイスは、
    プロセッサ、
    前記プロセッサと電子的に通信するメモリ、
    前記メモリに記憶される命令
    を備え、前記命令は、
    映像系列を受信し、
    前記映像系列から、現在のフレームにおける元の映像信号の予測を構成し、
    前記現在のフレームにおける前記元の映像信号から、前記元の映像信号の前記予測を減算することによって残差信号を生成し、
    前記残差信号に変換を適用し、
    複数の変換係数を量子化し、
    リファインメント係数を三値のリファインメント記号にマップし、
    リファインメント記号をある符号化順序でグループ分けし、及び
    可変長符号を使用して前記リファインメント記号グループを符号化する
    ことを実行可能とする電子デバイス。
19. 前記命令は異なるエンハンスメントレイヤについて適応的に選択される可変長符号化テーブルを使用することをさらに実行可能とする、請求項１８に記載の電子デバイス。
20. 前記電子デバイスは有意係数及びリファインメント係数をインターリーブするように形成される、請求項１８に記載の電子デバイスであって、かつ、前記命令は、
    複数のブロックを含むスライスを特定し、
    前記リファインメント係数の前記グループ分けの前に前記複数のブロックを走査し、
    前記リファインメント係数が符号化される順序を決定し、及び
    決定された前記順序にしたがってリファインメント係数を待ち行列に記憶する
    ことをさらに実行可能とする電子デバイス。
21. 圧縮された映像系列のSNR(信号対雑音比)スケーラブルなエンハンスメントレイヤにおけるリファインメント係数を符号化するための実行可能な命令を備えるコンピュータ可読記録媒体であって、前記命令は、
    映像系列を受信すること、
    前記映像系列から、現在のフレームにおける元の映像信号の予測を構成すること、
    前記現在のフレームにおける前記元の映像信号から、前記元の映像信号の前記予測を減算することによって残差信号を生成すること、
    前記残差信号に変換を適用すること、
    複数の変換係数を量子化すること、
    リファインメント係数を三値のリファインメント記号にマップすること、
    リファインメント記号をある符号化順序でグループ分けすること、及び
    可変長符号を使用して前記リファインメント記号のグループを符号化すること
    を備えるコンピュータ可読記録媒体。
22. 符号化された映像系列におけるリファインメント係数を復号する方法であって、
    符号化された映像系列を受信すること、
    可変長符号化テーブルを使用してリファインメント記号を復号すること、
    前記リファインメント記号を使用してリファインメント係数を復号すること、ここにおいて該リファインメント係数はある符号化順序でグループ分けされたものである、
    複数の変換係数を逆量子化すること、
    リファインメント信号に逆変換を適用すること、及び
    映像系列を構成すること
    を備える方法。
23. 異なるエンハンスメントレイヤについて適応的に選択される異なる可変長符号化テーブルを使用することをさらに備える、請求項２２に記載の方法。
24. 前記符号化された映像ストリームはインターリーブされた有意記号及びリファインメント記号を含む、請求項２２に記載の方法であって、
    要求されている前記リファインメント係数の場所を記憶すること、
    前記対応するベースレイヤ係数のサインを記憶すること、及び
    なされた要求の数に関係するカウンタを１進めること
    をさらに備える方法。
25. 前記カウンタが所定の値に達するかどうかを決定すること、
    リファインメント記号のグループを得るために読み出し操作を実行して通常の可変長符号化テーブル復号を行うこと、
    をさらに備える、請求項２４に記載の方法。
26. リファインメント記号の前記グループを以前に記憶されていたような前記対応する場所に記憶することをさらに備える、請求項２５に記載の方法。
27. フラッシュオペレーションを行うことをさらに備える、請求項２２に記載の方法。
28. 前記フラッシュオペレーションはパッドされた記号を捨てることを含む、請求項２７に記載の方法。
29. 前記フラッシュオペレーションは該フラッシュオペレーションにおいて処理されるべきリファインメント係数の数に基づいて選択される可変長符号化テーブルを使用することを含む、請求項２７に記載の方法。
30. 圧縮された映像系列のSNR(信号対雑音比)スケーラブルなエンハンスメントレイヤにおけるリファインメント係数を符号化するように形成される電子デバイスであって、
    映像系列を受信する手段、
    前記映像系列から、現在のフレームにおける元の映像信号の予測を構成する手段、
    前記現在のフレームにおける前記元の映像信号から、前記元の映像信号の前記予測を減算することによって残差信号を生成する手段、
    前記残差信号に変換を適用する手段、
    複数の変換係数を量子化する手段、
    リファインメント係数を三値のリファインメント記号にマップする手段、
    リファインメント記号をある符号化順序でグループ分けする手段、及び
    可変長符号を使用して前記リファインメント記号グループを符号化する手段
    を備える電子デバイス。

Images