JP2009531992A5 - - Google Patents

Download PDF

Info

Publication number
JP2009531992A5
JP2009531992A5 JP2009503198A JP2009503198A JP2009531992A5 JP 2009531992 A5 JP2009531992 A5 JP 2009531992A5 JP 2009503198 A JP2009503198 A JP 2009503198A JP 2009503198 A JP2009503198 A JP 2009503198A JP 2009531992 A5 JP2009531992 A5 JP 2009531992A5
Authority
JP
Japan
Prior art keywords
codebook
video
importance
encoding
selection table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009503198A
Other languages
English (en)
Other versions
JP5139416B2 (ja
JP2009531992A (ja
Filing date
Publication date
Priority claimed from US11/469,606 external-priority patent/US7778472B2/en
Application filed filed Critical
Publication of JP2009531992A publication Critical patent/JP2009531992A/ja
Publication of JP2009531992A5 publication Critical patent/JP2009531992A5/ja
Application granted granted Critical
Publication of JP5139416B2 publication Critical patent/JP5139416B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

ビデオ圧縮における重要度係数符号化のための方法およびシステム 関連出願
本件特許出願は、2006年3月27日に提出された「微細粒状度スケーラビリティー(Fine Granularity Scalability)を符号化する重要度係数(significance coefficient)」と題する、本願と共に同一人に譲渡された米国仮出願第60/786,798号の優先権を主張するものであり、これを本明細書の一部として本願に援用する。
本システムおよび方法は、一般にはビデオ処理に関する。より詳細に言えば、本システムおよび方法は、ビデオ圧縮技術に関する情報を符号化および複号することに関する。
背景
ビデオ圧縮とは、デジタルビデオデータの圧縮を意味する。ビデオ圧縮は、ビデオファイルフォーマット、並びにビデオフォーマットのストリーミングおよび放送において、ビデオデータの効率的符号化のために使用される。圧縮は、より少ないビットを有するフォーマットへのデータの変換であり、該フォーマットはより効率的に保存または送信され得るものである。圧縮の逆は圧縮解除であり、これは元のデータの複製(または近似)を生じる。
今日、幾つかのビデオ圧縮方法は、時間的または空間的な予測技術を使用して発生される予測残余に残留する空間的冗長性を低減するために、離散コサイン変換(DCT)のような一定のタイプの離散変換を適用する。また、幾つかのビデオ圧縮技術は量子化をも含んでいる。量子化は、スカラー量子化またはベクトル量子化の何れかであってよい。量子化の後、量子化された係数は、圧縮されたビデオビットストリームの中に符号化および配置されるエントロピーであってよい。次いで、圧縮されたビットストリームはデコーダに送られ、該デコーダは、該ビットストリームを圧縮解除して元のビデオデータの近似値を復元する。
ビデオ圧縮技術は、種々の形態の媒体の消費者に利益をもたらす可能性がある。例えば、放送エンジニアリングにおいて、デジタルテレビジョンはビデオ圧縮によって実用化され得る。テレビジョン(TV)局は、同じ物理的チャンネル上で高品位テレビジョン(HDTV)および多重仮想チャンネルを放送することができる。デジタルビデオ放送は、動画像符号化専門家会合(MPEG)標準、例えばMPEG−2標準ビデオ圧縮フォーマットを使用してよい。しかし、H.264/MPEG−4およびVC−1が、ビデオ圧縮における新しい標準として出現し始めている。
不幸にも、ビデオ圧縮において情報を符号化するための既知のシステムおよび方法は、種々の欠点を有する。従って、ビデオ圧縮において情報を符号化するための改善されたシステムおよび方法により、恩恵を実現することができる
詳細な説明
ビデオシーケンスにおける重要度係数(significance coefficient)を符号化する方法が記述される。ビデオシーケンスが受信される。現フレームにおける元のビデオ信号の予測が、前記ビデオシーケンスから構築される。この元のビデオ信号の予測を現フレームにおける元のビデオ信号から差し引くことによって、残余信号が形成される。該残余信号に対して変換が適用される。複数の変換係数が量子化される。重要度ランおよびブロック終結の少なくとも一つを符号化するために、コードブックが複数のコードブックから選択される。該重要度ランおよびブロック終結の少なくとも一つは、該選択されたコードブックを使用して符号化される。
電子装置もまた開示される。該電子装置は、プロセッサ、および該プロセッサと電子的に通信するメモリーを含んでいる。該メモリーの中には命令が保存される。ビデオシーケンスが受信される。現フレームにおける元のビデオ信号の予測が、当該ビデオシーケンスから構築される。残余信号が、元のビデオ信号の予測を前記現フレームにおける元のビデオ信号から差し引くことによって形成される。該残余信号に変換が適用される。複数の変換係数が量子化される。重要度ラン(significance run)およびブロック終結の少なくとも一つを符号化するために、コードブックが複数のコードブックから選択される。該重要度ランおよびブロック終結の少なくとも一つは、該選択されたコードブックを使用して符号化される。
符号化されたビデオシーケンスにおける重要度係数を複号するための方法が記載される。符号化されたビデオビットストリームが受信される。該ビットストリームからコードブック表情報が検索される。該検索されたコードブック表情報を使用して、重要度シンボルが複号される。複数の変換係数が逆量子化される。逆変換が残余信号に適用される。ビデオシーケンスが構築される。
ブロック終結は、選択されたコードブックを使用して符号化されてよい。該コードブック表情報は、ビデオスライス内に符号化されてよい。該コードブック表情報は、コードブック選択表を含んでよい。該コードブック選択表は、符号化サイクル数およびLEBL(ベース層における最後の符号化された係数)位置の各々の対に対応する各エントリーを含んでよい。一つの構成において、該コードブック選択表は、符号化サイクル数にのみ対応する各エントリーを含んでいる。該コードブック選択表は、コードブックセレクタの一次元アレイとして符号化されることができる。該コードブックセレクタは、可変長コードを使用して符号化される。
コードブック表情報は、表形状および表寸法を含んでいてよい。一つの側面において、表形状は矩形である。追加の側面において、表形状は三角形である。
該コードブック選択表は、統計的推定から動的に決定されてよい。一つの構成において、該コードブック選択表は隣接相関から動的に決定されてよい。該コードブックは、もう一つのコードブックのシフト版であってよい。
コードブック選択表は、剪定縮小された(pruned)コードブック選択表を提供するために剪定縮小されてよい。この剪定縮小されたコードブック選択表は、ビデオスライスと共に符号化されてよい。
電子装置もまた開示される。該電子装置は、プロセッサ、および該プロセッサと電子的に通信状態にあるメモリーを含んでいる。命令は該メモリーに保存される。符号化されたビデオビットストリームが受信される。該ビットストリームからコードブック表情報が検索される。該検索されたコードブック表情報を使用して、重要度シンボルが複号される。該重要度シンボルを使用して、重要度係数が複号される。複数の変換係数が逆量子化される。残余信号に対して逆変換が適用される。ビデオシーケンスが構築される。
一つの構成において、コードブック表情報はスライスから複号されてよい。該コードブック表情報は、コードブック選択表を含んでよい。該コードブック表情報は、サイクル数およびLEBL(ベース層における最後の符号化された係数)位置をマッピングするコードブック選択表含んでよい。コードブック表情報は、サイクル数をマッピングするコードブック選択表を含んでよい。
コードブック表情報は、表形状および表寸法を含んでよい。一つの構成において、表形状は矩形である。追加の構成において、表形状は三角形である。
コードブック選択表は、統計的推定から動的に決定されてよい。該コードブック選択表は、隣接相関から動的に決定されてよい。
ビデオシーケンスにおいて、重要度係数を符号化するように構成される電子装置もまた開示される。該電子装置は、ビデオシーケンスを処理するための手段およびビデオシーケンスを受信するための手段を含んでいる。ビデオシーケンスから現フレームにおける元のビデオシーケンスの予測を構築するための手段、および該元のビデオ信号の予測を現フレームにおけるもとのビデオ信号から差引くことによって残余信号を形成するための手段が開示される。該残余信号に変換を適用するための手段、および複数の変換係数を量子化するための手段が開示される。重要度ランおよびブロック終結の少なくとも一つを符号化するために、複数のコードブックからコードブックを選択するための手段、並びに選択されたコードブックを使用して、重要度ランおよびブロック終結の少なくとも一つを符号化するための手段が開示される。
次に、図面を参照して、システムおよび方法の種々の構成を説明するが、ここでは同じ番号は同一の、もしくは機能的に同じ要素を示す。本発明のシステムおよび方法の特徴は、ここで図面に一般的に記載され且つ説明されているように、広範な異なる構成で配置および設計することができる。従って、以下での詳細な説明は、当該システムおよび方法の範囲を制限しようとするものではなく、単に当該システムおよび方法の構成を代表するものに過ぎない。
ここに開示される構成の多くの特徴は、コンピュータソフトウエア、電子ハードウエア、または両者の組合せとして実施されてよい。ハードウエアおよびソフトウエアのこの互換性を明瞭に示すために、種々のコンポーネントについては、それらの機能に関して一般的に説明される。斯かる機能がハードウエアまたはソフトウエアの何れとして実施されるかは、全体のシステムに課される特定の応用および設計上の制限に依存する。当業者は、各特定の応用について説明された機能を種々の方法で実施してよいが、斯かる実施の決定は、本システムおよび方法の範囲からの逸脱を生じるものと解釈されるべきではない。
記述された機能がコンピュータソフトウエアとして実施される場合、斯かるソフトウエアは、メモリー装置内に位置し、および/またはシステムバスもしくはネットワーク上の電子信号として送信される何れかのタイプのコンピュータ命令、またはコンピュータ/機械で実行可能なコードを含んでよい。ここに記載されるコンポーネントに関連した機能を実施するソフトウエアは、単一の命令、または多くの命令を含んでなるものであってよく、また幾つかの異なるコード切片に上に、異なるプログラムの間に、また幾つかのメモリー装置に亘って分布されてよい。
ここで使用する「一つの構成」、「構成」、「複数の構成」、「前記構成」、「前記複数の構成」、「1以上の構成」、「幾つかの構成」、「一定の構成」、「一つの構成」、「もう一つの構成」等は、他に明示的に特定しない限り、「開示されたシステムおよび方法の1以上(しかし必ずしも全てではない)の構成」を意味する。
「決定する」(およびその文法的変形)の用語は、極めて広い意味で使用される。「決定する」の用語は広範な動作を包含し、従って、「決定する」は計算する、コンピュータ処理する、処理する、誘導する、調査する、照合する(例えば表、データベースまたはもう一つのデータ構造において)、および確認する等を含むことができる。また、「決定する」は、受信する(例えば情報を受信する)、アクセスする(例えばメモリー中のデータにアクセスする)等をも含むことができる。また、「決定する」は、解決する、選択する、選ぶ、樹立する等も含むことができる。
「に基づく」の語句は、他に明示的に特定しない限り、「…にのみ基づく」を意味しない。即ち、「…に基づく」は、「…にのみ基づく」および「少なくとも…に基づく」の両方を記述するものである。
現在のビデオ圧縮システムで行われる幾つかのステップが知られている。予測、変換および量子化のような幾つかのビデオ圧縮ステップの後の次のステップは、シンタックス要素および量子化された係数に対してエントロピー符号化を行って、ビットストリームを形成することである。ビデオデコーダにおいては、逆のプロセスが行われる。シンタックス要素および量子化された係数は、ビットストリームから複号される。次いで、逆量子化および逆変換ステップが行われる。最後に、ビデオ信号を再構築するために、再構築された残余が予測値に加えられる。
現在、ISO/IEC・MPEGおよびITU−T・VCEGからのビデオ符号化専門家からなる合同ビデオチーム(JVT)が、H.264/先進ビデオ符号化(AVC)へのスケーラブルビデオ符号化(SVC)拡張に関して作業をしている。合同スケーラブルビデオモデル(JSVM)と称する共通のソフトウエアが、参加者によって使用されている。JSVMは、種々のスケーラビリティーの特徴をサポートする。SVCビットストリームは、微細粒状度スケーラビリティー、空間スケーラビリティー、時間スケーラビリティー、またはこれら三つの何れかの組合せを有することができる。
ここではFGSと称する微細粒状度スケーラビリティーは、重要であり、且つビデオ符号化のための極めて望ましい特徴である。この特徴は、圧縮されたビデオビットストリームが殆ど任意に短縮されることを可能にしながら、同時に、末端ユーザには複号されたビデオ品質の上品な劣化を提供する。微細粒状度スケーラビリティーにおいて、エンハンスメント層ビットストリームは任意に短縮することができる。ビデオデコーダは、この層における更なるビットを受信および複号するので、より良好なビデオ品質を生じるであろう。更に、JSVMにおけるFGSは、ビデオ品質における改善が全体のビデオフレームに亘って均一に広がるように設計されており、これはフレームの一定の空間領域のみに集中するのとは逆である。何故なら、後者の場合には末端ユーザに対して視覚的な不快さを生じるからである。
FGSは、ビット−プレーン符号化を使用して、ビデオ品質の上品な改善を達成する。量子化パラメータQPを使用してベース相のまたは以前の層のビデオフレームが量子化されれば、現在のエンハンスメント層のビデオは、典型的にはQP−6を核とする量子化パラメータを使用して量子化されてよく、これは量子化ステップのサイズを効果的に半分にカットするものである。低い量子化ステップサイズの結果として、エンハンスメント層では、より多くの変換係数が非ゼロになるであろう。エンハンスメント層におけるゼロでない係数は三つのタイプに分類することができる:即ち、重要でない係数、重要な係数、および改善係数である。重要でない係数は、ベース層または以前の層においてゼロで、且つ現在のエンハンスメント層でもゼロのままの係数を意味する。重要な係数は、ベース層または以前の層ではゼロであるが、現在のエンハンスメント層においてはゼロでない係数になる係数を意味する。改善係数は、ベース層または以前の層において既にゼロでない(即ち、重要な)係数を意味する。それらの値は、現在のエンハンスメント層においては改善されるであろう。
改善係数は、他の係数とは異なる統計を有するので、それらはFGS層において別々に符号化される。H.264/AVCと同様に、SVCにおいて二つのエントロピー符号化モードが存在し得る:即ち、コンテキスト適応型二値算術符号化(CABAC)モード、およびコンテキスト適応型可変長符号化(CAVLC)モードである。より高い符号化特性を発揮する、CAVLCモードにおける改良された重要な係数符号化システムについての詳細が提供される。
図1は、ビデオ符号化ビットストリーム構造の一つの構成100を示すブロック図であり、該構造は通常、微細粒状度スケーラビリティーと称される。FGSにおいて、ビデオシーケンスは、少なくとも二つの層、即ちベース層106およびエンハンスメント層104を備えた単一のビデオストリームに圧縮される。図示のように、FGSは更にN−1のエンハンスメント層102を含んでよい。
一つの構成において、ベース層106は、ビデオシーケンスの非スケーラブルな符号化であり、典型的にはビデオシーケンスの最も低い品質を有する。エンハンスメント層104およびN−1のエンハンスメント層102は、ベース層106のそれよりも高い種々のレベルの品質を有する。ベース層106の後に符号化された各々の追加のエンハンスメント層の復号は、ビデオシーケンスの増大した品質をもたらす。加えて、FGSビットストリームは、符号化の際または後に、エンハンスメント層104およびN−1のエンハンスメント層102に属するビットがリアルタイムで短縮され得る(ビットレート、従って復号された映像品質を減少させる)という一つの顕著な利点を有する。これは、送信されるビットレートに対する融通性のある制御を提供し、またエンハンスメント層104およびN−1のエンハンスメント層102が、利用可能な送信ビットレートに適合するように調節されることを可能にする。
図2は、エンコーダ208からネットワーク210を横切ってデコーダ212へと送られるベース層202およびNのエンハンスメント層204を示す、ネットワークブロック図200である。デコーダ212は、ベース層202および1以上のエンハンスメント層204の全部または一部を復号し、使用してよい。デコーダ212は、元のビデオシーケンス206の最適近似を構築する。一つの構成において、この最適近似はコンピュータモニタ、テレビ、パーソナルデジタルアシスタント(PDA)、プロジェクタ等のようなディスプレー216上に表示される。ビデオシーケンス206は、ベース層202および1以上のエンハンスメント層204として符号化される。最も低い品質のベース層202は最小品質標準を表し、エンハンスメント層204の各々は該ベース層202の映像品質に対する改善である。
一つの構成において、ビデオシーケンス206は、図1で説明したFGSビデオ符号化フォーマットを使用して符号化される。該FGS符号化フォーマットは、利用可能な送信バンド幅が予め知られないかもしれないビデオストリーミングおよび放送のアプリケーションのために特に有用である。符号化の際または符号化の後に、エンハンスメント層204は利用可能な送信ビットレートに適合させるために任意に短縮されてよい。利用可能なビットレートが変化すると共に、それに応じてエンハンスメント層204がリアルタイムで短縮されて、現在の帯域幅に関して最適品質の復号されたビデオシーケンスを与える。例えば、ネットワーク200はエンハンスメント層204を短縮し、次いでビットストリームを異なるビットレートで異なる宛先へと送信する。
図3は、情報を符号化するための方法300を示すフローチャートである。一つの構成において、符号化すべき情報はビデオシーケンスを含んでなるものである。方法300はビデオエンコーダ内で実施されてよく、方法300の逆はビデオデコーダによって実行されてよい。エンコーダは、信号またはデータを符号に変えるために使用される装置である。デコーダは、次いでこの符号から、元の信号または元の信号の近似を生じる。エンコーダおよびデコーダは一緒にしてビデオCODECと称されてよく、これはソース画像またはビデオシーケンスを圧縮された形態に符号化し、またこれを復号して、ソースシーケンスのコピーもしくは近似を生じる。
方法300は302で開始され、エンコーダがビデオシーケンスを受信する304。一つの構成において、ビデオシーケンスは圧縮されていないビデオ信号である。該エンコーダは、隣接するビデオフレームの間の類似性を利用することによるビデオシーケンスの圧縮を開始し、現在の/元のビデオ信号の予測を構築する306。この予測は、1以上の以前フレームまたは将来のフレームから形成され、これらフレームの間の差を補償することによって改善される。次に、実際の現在/元のフレームから該予測フレームを差し引くことによって、残余信号が形成される308。エンコーダは、空間的冗長性を低減するために、該予測残余の隣接するサンプル間での類似性を使用する。
方法300は、残存する空間的冗長性を低減するために、残余信号に変換を適用することによって継続される310。該変換は、前記予測残余信号をもう一つのドメインに変換し、該ドメインにおいてはそれらが変換係数によって表される。該係数は、有意でない値を除去して小数の重要な係数を残すために量子化され、これは残余サンプルのよりコンパクトな表現を与える。一つの構成において、方法300を使用して符号化されるこの予測残余は、エンハンスメント層の中にあってよい。ビデオフレームの以前の層またはビデオフレームのベース層が量子化パラメータQPを使用して量子化されれば、現在のエンハンスメント層は、典型的には概ねQP6の量子化パラメータを使用して量子化され312、ここでのQPはベース層において使用される量子化パラメータである。これは、量子化ステップサイズを効果的に半分に低減する。低減された量子化ステップサイズの結果として、増大した量の変換係数が、現在のフレームにおいてゼロでなくなるであろう。
一つの構成において、エンハンスメント層におけるゼロでない量子化された係数は、重要でない係数、重要な係数、および改善係数に分類されてよい。
ここで述べるように、VLC(可変長符号化)コードブックは、少なくとも一つの重要なランおよびEOB(エンド・オブ・ブック)を符号化するように選択される。従って、重要なランおよびEOBが符号化され得る前に、コードブックが選択される314。一つの構成においては、以下で述べるように、コードブック選択表を使用してコードブックが選択される314。一つの構成において、コードブック表情報は、ビデオスライスの1部として符号化されてよい314。もう一つの構成において、コードブック表情報は、内部状態として、エンコーダおよびデコーダに保存されてよい。該コードブック表情報は、コードブック選択表および該表の寸法および形状を含んでよい。次いで、該選択されたコードブックを使用して、重要なランおよびEOBが符号化される318。
図4は、符号化されたビデオシーケンスを復号する方法400の一つの構成を示すフローチャートである。復号方法400は、図3の符号化方法300の逆であってよい。この復号方法400は、符号化されたビデオシーケンスを受信404するデコーダによって開始される402。該符号化されたビデオシーケンスは、ビットストリームと称されてもよい。デコーダは、コードブック表情報を復号する。一つの構成において、コードブック表情報は、該スライスの一部であるコードブック選択表を含んでよい。該デコーダは、選択されたコードブックを使用して重要なシンボルを復号する407。
方法400が継続され、デコーダは、最近復号された重要なシンボルを使用して重要な係数を復号する408。次いでデコーダは、復号された係数を逆量子化する410ように進行する。方法400は、逆量子化係数に逆変換を適用する412によって進行する。一つの構成において、この逆変換は、逆離散コサイン変換を含んでよい。デコーダが係数に逆変換を適用した後、該デコーダは、図3の符号化方法300の前に存在した元のビデオシーケンスの近似を構築する。
図5は、複数のマクロブロックに分割されたビデオフレーム500の一つの構成を示している。マクロブロックは、復号プロセスにおける基本的なデータ単位である。図示のように、ビデオフレーム500は、複数の固定された寸法のマクロブロックに分割区切られてよく、各々のブロックはビデオフレーム500のサンプルを含んでいる。一つの構成において、各マクロブロックは、16×16画素のサンプルを含んでいる。追加の側面において、各マクロブロックは輝度(luma)成分および二つのクロミナンス(chroma)成分を含んでいる。luma成分は特定成分の明度に関連しているのに対して、chroma成分は該サンプルの色特性に関連している。一つの構成において、ビデオフレーム500は更に複数のスライス、即ち、スライスA502、スライスB504、およびスライスC506に区切られる。一つのスライスは、マクロブロックのシーケンスであり、これらは一定の符号化順序で連続的に処理される。例えば、スライスA502および該スライスA502内に含まれるマクロブロックは、スライスB504およびスライスC506の前に、符号化されてデコーダに送られてよい。追加の特徴として、種々のスライス502、504および506を符号化し、これらをデコーダに送る順序は任意であってよい。例えば、スライスB504が他のスライスの前に符号化されて、デコーダに送られてよい。同様に、スライスC506が他の二つのスライスの前に符号化されて、デコーダに送られてよい。N番目のエンハンスメント層における各マクロブロックは、N−1番目のエンハンスメント層およびベース層の各々におけるマクロブロックに対応する。
図6は、係数を分類する方法の例を示している。ベース層係数ブロック602およびエンハンスメント層係数ブロック604が提供される。ベース層602およびエンハンスメント層604におけるブランクスペースは、ゼロの係数を表す。これらの係数は、重要でない係数と称される。残りのスペース606、608、608aおよび608bは各々、ゼロでない値を有し得る係数を表す。一つの構成において、ベース層係数ブロック602は、FGSビデオ符号化フォーマットを使用する先のエンハンスメント層におけるものである。先に説明したように、図3の符号化方法300の際に変換係数が量子化される。量子化の後に、エンハンスメント層係数ブロック604におけるゼロでない係数は、ゼロに等しいベース層係数ブロック602における対応する係数と共に、重要な係数606と称される。ベース層におけるその対応する係数がゼロでない係数は、改善係数608と称される。重要な係数606および改善係数608は異なる統計を有するから、それらはFGS符号化フォーマットに従い、エンハンスメント層604において別々に符号化される。
一つの構成において、重要な係数606c、606dは、ベース層または以前の層におけるそれらの対応する係数606aおよび606b(同じ副帯域を表す係数)がゼロである係数である。改善係数608は、ベース層または以前の層におけるそれらの対応する係数608aおよび608bがゼロでない係数である。
SVC・FGS層において、重要な係数はラン値として符号化される。エンコーダは、それが重要な係数を見出すまで、ジグザグの走査順序で改善層係数ブロック604を通っていく。次いで、エンコーダはラン値を符号化する。走査の過程で遭遇する改善係数は重要度ランには寄与しない。例えば、図6における最初の重要な係数606cは、二つの改善係数608がカウントされずに、ラン=3の変わりにラン=1を用いて符号化される。SVC・JD5におけるCAVLCモードにおいて、重要度ランは、開始−ステップ−停止またはS3コードを使用して符号化される。Thomas Wiegand, Gary Sullivan, Julien Raichel, Heiko Schwarz, and Mathias Wien, “Joint Draft 5: Scalable Video Coding”, JVT-R 201, January 2006, Bangkok, Thailandを参照のこと。次いで、この係数の記号が1−ビットフラッグとして符号化され、0は性の値を示し、1は負の値を示す。次いで、当該スライスにおける全てのブロックがカバーされるまで、エンコーダは次のブロックへと移動する。これにより、第一の重要度符号化サイクルを終了する
次の重要度符号化サイクルが開始すると、エンコーダは第一のブロックに戻って、当該ブロックの次の重要度係数について走査する。図6の例では、ラン=3が第二の重要度係数606dのために送られるであろう。次いで、これが正の値であることを示すためにビット0が送られる。次いで、第二のサイクルにおける全てのブロックが送られるまで、エンコーダは次のブロックへと移動する。
第三のサイクルにおいては、先に符号化された重要度係数が当該ブロックにおける最後のものであることを示すために、図6に示されたブロックについてEOB(エンド・オブ・ブロック)シンボルが送られる;このブロックについては、後続の符号化サイクルにおいて更なる情報は送られないであろう。CAVLCモードにおいては、EOBシンボルが全ての他のラン値と組み合わされてシンボル組が形成される。このシンボル組におけるEOBのインデックスには、「IEOB」が割当てられる。ラン値「R」のインデックスは「I」である。「I」は、R<IEOBであればI=R、さもなければI=R+1として、「R」および「IEOB」から分割することができる。より小さいインデックスを符号化する際に費やされるビット数は、より大きいインデックスを符号化する際に費やされるビット数以下である。EOBシンボルの確率は、符号化サイクル数と一定の相関を有しているので(EOBは後のサイクルにおいて類似するようになる)、各サイクルにおけるEOBシンボルのオフセットを特定するアレイは、スライスの一部として符号化されて、このシンボル組におけるEOBのインデックス「IEOB」が一つの符号化サイクルからもう一つの符号化サイクルへと変わることを可能にする。このアレイは、サイクル数の関数として、単調に非増大性であるように制限される。例えば、アレイ{4100…}は、EOBのインデックスが最初のサイクルでは4として符号化され、第二のサイクルでは1として符号化され、その後の全てのサイクルでは0(最も可能性が高いシンボル)として符号化されることを示している。
重要度符号化において使用されるS3コードは、パラメータ、即ち、カットオフ閾値mを有している。シンボルs<=mであれば、sは単項コードを使用して符号化される。シンボルs>mであれば、それは
Figure 2009531992
の1(「1」)のプレフィックス、および「00」、「01」または「10」のサフィックスを用いて符号化される。例えば、図7に示した表は、m=0に対応するS3コード語およびコード長を与える。各サイクル数(0,1…15)についての256のカットオフ閾値m、およびベース層における最後の符号化係数の位置(LEBL)の各位置(0,1…15)を含むコンテキスト表が、当該スライスの一部として送られる。
S3コードは、その確率分布が小さいシンボルについてバイアスされ、かつより大きなシンボルについてはフラットになるシンボルを符号化するために最も適している。しかし、重要度ランの実際の確率分布は、この仮定とは一致しないことが多い。従って、他のVLCコードを使用することにより、符号化特性を改善することができる。
ここでのシステムおよび方法において、五つのタイプのVLCコードブックのうちの一つは、重要度ランおよびEOBを符号化するために選択される。この五つのコードブックは、ここではコードブック0、コードブック1、コードブック2、コードブック3およびコードブック4と称する。これらコードブックの各々に着いて説明する。幾つかの構成では、五つよりも少ないコードブックを使用してもよい。加えて、他の構成では、五つより多いコードブックを使用してもよい。ここでの五つのコードブックの使用は例示に過ぎず、限定的することを意味しない。
図8は、コードブック0のための擬似コードを示している。コードブック0は、単項コードを使用する。該単項コードは、(s−1)の「1」、次いで一つの「0」を用いてシンボルsを符号化する。このコードブックはコード長{1,2,3…}を有する。それは、確率分布が非常にバイアスされた入力シンボルのために適している。図8の擬似コードは、単項コードを使用する符号化および復号を示している。
図9は、コードブック1のための擬似コードを示している。コードブック1は、s/2の「1」のプレフィックスを用い、次いで2ビットのサフィックスを用いて入力信号sを符号化し、残余mod(s,2)を符号化する。ここで、mod( )はモジュール演算を表す。このコードブックは、コード長{2,2,3,3,4,4,…}を有する。それは、単項コードに比較して、より均一な分布をもった入力信号のために適している。図9における擬似コードは、コードブック1を使用した符号化902および復号化904を示している。
図10は、コードブック2のための擬似コードを示している。コードブック2は、(s/3)2の「1」のプレフィックスを用い、次いで2ビットのサフィックスを用いて入力信号sを符号化し、残余mod(s,3)を符号化する。このコードブックは、コード長{2,2,2,4,4,4,6,6,6…}を有し、これはコードブック1に比較してより均一に分布した入力信号のために適している。図10における擬似コードは、このコードブックを使用した符号化1002および復号1004を示している。
コードブック3は、m=3(図7)で、コード長{1,3,3,3,5,5,5…}のS3コードを使用する。該コードブックは、コードブック2のシフト版であることに留意すべきである。それは、ビット0で入力シンボルs=0を符号化する。全ての他のシンボルsについて、それは入力シンボル(s+1)と共にコードブックを使用する。
コードブック4は、コードブック1(図9)のシフト版である。それはビット0で入力信号s=0を符号化する。全ての他のシンボルsについて、それは入力シンボル組(s+1)と共にコードブック1を使用する。
コードブック0〜4は全て組織化されたコードブックである。一定の実施のためには、ハフマンのコードによって通常必要とされるように、エンコーダおよびデコーダに照合表を保存することが必要である。
ここでも、全部で五つのコードブックが示され且つ議論されるが、コードブック3および4は、それぞれコードブック2および1の単純なシフト版であることに留意することは価値がある。これは、デコーダ実施を大きく単純化するために利用できる重要な特徴である。
最適なコードブック「c」は、重要度ランおよびEOBシンボルを用いて形成されたシンボル組の確率分布に依存し、これはシーケンスの間で変化するだけでなく、与えられたシーケンス内のフレーム間でも変化する。
一つの構成において、コードブック選択表は、当該スライスの一部として明示的に符号化される。この表における各エントリーは、次の重要度ランまたはEOBを一定の条件下で復号するために使用されるコードブックのインデックスである。該コードブック選択表は、他のパラメートに依存することなく、各符号化サイクル数「CCN」のためのエントリーを含んでよい。異なる実施において,該コードブック選択表は、符号化サイクル数「CCN」およびLEBL位置の各対についてのエントリーを含んでよい。4×4ブロックの符号化のために、「CCN」およびLEBL位置の両者は、両端を含む範囲[0,15]内にある。何れの場合にも、該エンコーダは、符号化特性を最適化するために、当該表における各エントリーの値を決定する。もう一つの側面において、次の重要度ランまたはEOBを符号化するための最適なコードブックの選択は、当該スライスの一部として明示的に符号化されない。最適なコードブックは、実行時間の間に評価される確立分布および隣接相関に基づいて選択される。
FGS層のための限定されたビットバジェットが存在し、コード選択表が明示的に当該スライスの中に符号化されるときは、ビットオーバーヘッドを最小化するために、該コードブック選択表自身が効率的に符号化される。コードブック選択表の非効率的な符号化は、FGS層のためのレート歪み(ピーク信号/ノイズ比 vs.ビットレート)曲線の上昇勾配を遅延させる可能性がある。コードブック選択表の効率的な符号化を達成するために、二つのスキームが導入される。
そこから選択するための合計五つのコードブックが存在するが、これらコードブックの「支持率(popularity)」は異なることが認められる。図11におけるVLC表1102は、コードブックエントリーを符号化して、表エントリーを符号化する際に費やされる平均ビットを低減するために使用されてよい。
一つの構成において、最適なコードブックの選択は符号化サイクル数「CCN」にのみ依存し、各符号化サイクル数はジグザグ走査順序における走査位置のインデックスに対応する。該表エントリーは次のようにして符号化される。最初に、ビットストリームの中に符号化されるコードブックセレクタの数を示すために、変数「num_sig_vlc_selectors」が符号化され続いて「num_sig_vlc_selectors」コードブックセレクタがコード化される。各コードブックセレクタは、VLC表1102において定義された可変長コードを使用して符号化される。各符号化サイクル数について一つのコードブックセレクタが存在する。復号化プロセスは、符号化プロセスの単純な逆である。当該スライスの中に符号化されないコードブックセレクタは、0のデフォルト値を有する。たとえば、4×4ブロックを符号化するためには、16のコードブックセレクタが必要とされる。「num_sig_vlc_selectors」が5であれば、それは、最初の5のコードブックセレクタが明示的に符号化されることを意味する。残りの11のコードブックセレクタはゼロである。
もう一つの側面において、コードブック選択表は、符号化サイクル数「CCN」およびLEBL位置の各対についてのエントリーを含んでよい。コードブック0(単項コード)が選ばれる確率は、大きなサイクル数およびLEBL位置について一般に非常に高くなる。従って、これらコンテキストのためのコードブックを送ることは不要になるかもしれない。表の寸法を減少させるために、表の形状および表の寸法が新たなシンタックス要素として追加され、当該スライスの中に送られる。以後、二つの表形状が定義される:即ち、矩形(図12参照)および三角形(図13参照)である。矩形の表については二つの寸法パラメータ、即ち幅および高さが送られ、三角形の表については、深さと呼ばれる一つの追加のパラメータが送られる。表の形状および寸法が決定されると、剪定縮小された(pruned)表1202,1302の範囲内に入る表エントリーだけが、表11のVLCコードを使用して送られる。全ての他の表エントリー1204、1304(該剪定縮小された表内に入らない表エントリー)は送られず、且つ0と仮定される。
表の形状および寸法を得るために、16×16のコードブック選択表は、レート歪み最適化方法において剪定縮小される。この剪定縮小は、最初に列方向で起こり、続いて行方向で起こり、その後に対角線方向で起きる(しかし、該エンコーダは剪定縮小のために如何なる順序も選択できることに留意されたい)。例えば列を取ってみよう。表エントリーの一つの列を剪定縮小するコストCを、最適コードブックの代りにコードブック0を用いることに起因して重要度符号化の際に後で受けるペナルティーとして決定する(例えば、この列の全てのエントリーが既にコードブック0を選択していれば、Cは0である)。次いで、表エントリーのこの列を剪定縮小するビット節減Sを、図11におけるVLC表当たりで、これら表エントリーを送信しないことに起因して節減されるビットとして定義する(例えば、この列における全てのエントリーがコードブック0を選択すれば、S=16ビットである)。S>Cであれば、この列の表エントリーは剪定縮小される。そうでなければこの列は維持され、列方向での剪定縮小は中止され、行方向での剪定縮小が開始される。この剪定縮小プロセスは、標的ビットレートに適合させる上で非常に効果的であることが証明される。非常に低いビットレートにおいては、僅かの重要度係数しか存在しないときに該表エントリーを送信するのに必要とされるビットは、最適コードブックを使用することにより節減される僅かなビットを正当化しない。そうであるときは、この該剪定縮小プロセスは全体の表を切り詰めてもよい。より高いビットレートでは、剪定縮小された表は、逆の理由でより大きな寸法を有する傾向がある。全ての表エントリーを剪定縮小するビットペナルティーは、コードブック選択表を形成しながら予め保存できるので、表を剪定縮小するプロセスの複雑さは非常に低い。図14における擬似コード1402は、剪定縮小された表を送信する方法を要約している。
図15は、デジタル画像および/またはデジタル映像を処理するように構成された装置1600を示している。該装置1600は、デジタルテレビジョン、デジタル直接放送システム、無線通信装置、PDA、ラップトップコンピュータ、デスクトップコンピュータ、デジタルカメラ、デジタル記録装置、ネットワークを可能にされたデジタルテレビジョン、携帯もしくはサテライト無線電話、またはビデオ電話(VT)能力を備えた何等かの遠隔通信装置を表し、またはこれらにおいて実施される。
装置1600は、画像および/またはビデオデータを処理し、符号化し、復号し、送信および/または受信してよい。ビデオデータは、ビデオ捕捉ユニット(または画像センサ)1612のようなビデオカメラによって捕捉されてよく、ビデオアーカイブから検索されてよく、または別の方法で入手されてもよい。当該装置1600におけるビデオ符号化ユニット1610は、MPEG−4、ITU−TH.263、ITU−TH.264、または他のビデオ符号化標準等の、ビデオ符号化標準を使用してよい。該ビデオ符号化ユニット1610は、動き推定および動き補償のようなフレーム間符号化技術、空間推定のようなフレーム内符号化技術、および予想内符号化技術をサポートしてよい。
当該装置1600は、画像またはビデオシーケンスを捕捉し、また該捕捉された画像またはシーケンスをメモリー1614に保存するために、カメラまたはビデオカメラのような画像/ビデオ捕捉装置1612を含んでよい。画像/ビデオ処理ユニット1602は、画像および/またはビデオシーケンスを処理してよい。メモリー1604は、このような処理の前後において、画像および/またはビデオシーケンスを保存してよい。
トランシーバ1616は、符号化されたビデオシーケンスを受信し、および/またはもう一つの装置へと送信してよい。該トランシーバ1616は、コード分割多重アクセス(CDMA)のような無線通信標準を使用してよい。CDMA標準の例には、CDMA1×EV−DO、広帯域コード分割多重アクセス(WCDMA)等が含まれる。
装置1600の1以上の要素は、通信バス1618を介して通信的に結合されてよい。図16に示した要素に加えて、またはその代りに、他の要素が装置1600に含まれてよい。図16に示されたアーキテクチャーは単なる一例に過ぎない。ここに記載された技術は、種々の他のアーキテクチャーと共に実施されてよい。
メモリー1614は、比較的大きなメモリー空間を有してよい。該メモリー1614は、ダイナミックランダムアクセスメモリー(DRAM)またはFLASHメモリーを含んでよい。該メモリー1614は、「NOR」または「NAND」ゲートメモリー技術、または何らかの他のデータ保存技術を含んでよい。他の例において、メモリー1614は不揮発性メモリーまたは何れかの他の型のデータ保存ユニットを含んでよい。
画像/ビデオ処理ユニット1602は、モバイル無線電話のためのチップ組を備えてよく、これはハードウエア、ソフトウエア、ファームウエア、および/または1以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、アプリケーション特異的集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはこれらの種々の組合せを含んでよい。処理ユニット1602は、フロントエンド画像/ビデオ処理ユニット1608および画像/ビデオ符号化ユニット1610に結合された、ローカルメモリー1604を含んでよい。符号化ユニット1610は、デジタルビデオデータを符号化(圧縮)および復号(復元)するためのエンコーダ/デコーダ(CODEC)を含んでよい。
ローカルメモリー1604は、メモリー1614に比較して、より小さく且つより迅速なメモリー空間を含んでよい。例えば、ローカルメモリー1604は、同期式ダイナミックランダムアクセスメモリー(SDRAM)を含んでよい。該ローカルメモリー1604は、プロセッサ集約的符号化プロセスの際のデータへの迅速なアクセスを提供するために、処理ユニット610の他のコンポーネントと集積化された「オンチップ」メモリーを含んでよい。しかし、メモリー1614および1604は一つのメモリーに合体されてよく、或いは他の多くの構成で実施されてよい。メモリーコントローラ1606は、メモリーフェッチを制御し、ローカルメモリー1604に書き戻してもよい。
フロントエンドの画像/ビデオ処理ユニット1608は、ビデオシーケンスのフレームに対して1以上の画像処理技術を実行して画像品質を改善し、それによってビデオシーケンスの品質を改善してよい。例えば、フロントエンド画像/ビデオ処理ユニット1608は、モザイク解除、レンズロールオフ補正、スケーリング、色補正、色変換、および空間フィルタリングのような技術を実行してよい。フロントエンド画像/ビデオ処理ユニット1608はまた、他の技術を実施してよい。一般に、ユニット1608によって実行される技術は、該技術が画像/ビデオ符号化ユニット1610によって符号化を進行させるので、「フロントエンド」画像処理技術と称される。
画像/ビデオ捕捉ユニット1612は画像センサを具備してよく、該センサはその表面に配置された色フィルタアレイを含んでいる。ユニット1608によって行われるフロントエンド画像処理は、捕捉ユニット1612によって捕捉されたビデオシーケンスの品質を改善することができる。例えば、フロントエンド処理ユニット1608および/または符号化ユニット1610は、捕捉ユニット1612によって捕捉された画像を処理するようにプログラムされたDSPを含んでいてよい。メモリー1604(またはメモリー1614)の同じ領域が、フロントエンド画像処理の目的および他の保存目的の両方のために使用されてよい。
画像/ビデオ符号化ユニット1610は、画像および/またはビデオ符号化を実行してよく、これにはフレーム間圧縮および/またはフレーム内圧縮のような1以上のビデオ圧縮技術が含まれてよい。例えば、符号化ユニット1610は、時間的またはフレーム間のデータ補正を利用してフレーム間圧縮を提供するために、動き予測および動き補償技術を実施してよい。その代りに、またはそれに加えて、符号化ユニット1610は、空間またはフレーム内データ補正を利用してフレーム内圧縮を提供するために、空間予測およびイントラ予測技術を実施してよい。動き補償(またはイントラ予測)の出力は、「残余」として参照され、また符号化すべき現在のビデオブロックと、動き予測または空間予測により同定される予測ブロックとの間の差を示すデータのブロックを含んでよい。
符号化ユニット1610が動き補償を行って残余を形成した後に、この残余を更に符号化し、データを更に圧縮するために、一連の追加のステップが実行されてよい。この追加のステップは、使用される符号化標準に依存してよいが、一般には「残余符号化」と称される。符号化ユニット1610は、トランシーバ1616を介してビデオシーケンスをもう一つの装置へ通信するために必要なデータの量を低減するために、1以上のこれらビデオ圧縮技術を実行してよい。
情報および信号は、種々の異なる技術および技法の何れかを使用して表されてよい。例えば、上記の説明の全体を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界もしくは磁気粒子、光学場もしくは光粒子、またはこれらの何れかの組合せによって表されてよい。
ここに開示した構成に関連して記載した種々の例示した論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウエア、コンピュータソフトウエア、または両者の組み合わせとして実施されてよい。このハードウエアおよびソフトウエアの互換性を明瞭に示すために、種々の例示的コンポーネント、ブロック、モジュール、回路、およびステップについては、それらの機能性に関して上記で一般的に説明してきた。このような機能が、ハードウエアまたはソフトウエアの何れとして実施されるかは、特定の用途および全体のシステムに課される設計上の制約に依存する。当業者は、記載された機能を、それぞれの特定の適用について種々の方法で実施してよいが、かかる実施の決定が本システムおよび方法の範囲からの逸脱を生じるものと解釈されるべきではない。
ここの開示した構成に関連して記述した種々の例示的論理ブロック、モジュール、および回路は、ここに記載した機能を実行するように設計された汎用プロセッサ、デジタル信号プロセッサ(DSP)、およびアプリケーション特異的集積回路(ASIC)、フィールドプログラマブルゲートアレイ信号(FPGA)もしくは他のプログラマブル論理装置、個別のゲートもしくはトランジスタ論理回路、個別のハードウエアコンポーネント、またはそれらの何れかの組合せを用いて実施または実行されてよい。汎用プロセッサはマイクロプロセッサであってよいが、或いは、該プロセッサは何れかの慣用のプロセッサ、コントローラ、マイクロコントローラ、または状態マシンであってよい。プロセッサはまた、計算装置の組合せ、例えばDSPおよびマイクロプロセッサ、複数のマイクロプロセッサの組合せ、DSPコアとの1以上のマイクロプロセッサの組合せ、または他の斯かる構成として実施されてよい。
ここに開示した構成に関連して記載した方法またはアルゴリズムのステップは、ハードウエア、プロセッサにより実行されるソフトウエアモジュール、またはこれら二つの組合せにおいて直接実現されてよい。ソフトウエアモジュールは、ランダムアクセスメモリー(RAM)、フラッシュメモリー、リードオンリーメモリー(MOM)、消去可能なプログラマブルリードオンリーメモリー(EPROM)、電気的に消去可能なプログラマブルリードオンリーメモリー(EEPROM)、レジスタ、ハードディスク、取外し可能なディスク、コンパクトディスクリードオンリーメモリー(CD−ROM)、または当該技術で知られた他の形態の保存媒体の中に常駐してよい。保存媒体は、保存媒体から情報を読み取り、且つ該媒体に情報を書き込むことができるように、プロセッサに結合されてよい。或いは、該保存媒体は前記プロセッサに組込まれてよい。プロセッサおよび保存媒体は、ASICの中に存在してよい。該ASICはユーザ端末の中に存在してよい。或いは、プロセッサおよび保存媒体は個別のコンポーネントとしてユーザ端末の中に存在してよい。
ここに開示された方法は、記載された方法を達成するための1以上のステップまたは動作を含んでなるものである。この方法ステップおよび/または動作は、本発明のシステムおよび方法の範囲を逸脱することなく、他のものと交換されてよい。換言すれば、当該構成の適正な動作のために特定のステップまたは動作が必要とされなければ、特定のステップおよび/または動作の順序および/または使用は、本発明のシステムおよび方法の範囲を逸脱することなく変更されてよい。
本発明によるシステムおよび方法の特定の構成および適用を例示して説明してきたが、本発明のシステムおよび方法は、ここに開示された正確な構成およびコンポーネントに限定されないことが理解されるべきである。本発明のシステムおよび方法の精神および範囲を逸脱することなく、ここに開示された方法およびシステムの構成、動作および詳細において、当業者に明らかな種々の修飾、改変および変更がなされ得るものである。
図1は、スケーラブルなビデオ符号化ビットストリームの一つの構成を示すブロック図である。 図2は、エンコーダからネットワークを横切ってデコーダへと送られる、ベース層および複数のエンハンスメント層の一つの構成を示すブロック図である。 図3は、情報を符号化するための方法の一つの構成を示すフローチャートである。 図4は、符号化されたビデオシーケンスを複号する方法の一つの構成を示すフローチャートである。 図5は、複数のマクロブロックに分割された画像フレームの一つの構成を示している。 図6は、重要度および改善係数を分類する一つの構成を示している。 図7は、コード語およびコード長の表の一つの構成を示している。 図8は、コードブック0を符号化および複号するための擬似コードを示している。 図9は、コードブック1を符号化および複号するための擬似コードを示している。 図10は、コードブック2を符号化および複号するための擬似コードを示している。 図11は、コードブック選択表エントリーを符号化するために使用される可変長符号化(VLC)表の一つの構成を示している。 図12は、矩形コードブック選択表の一つの構成である。 図13は、三角形コードブック選択表の一つの構成である。 図14は、剪定縮小されたコードブック選択表を符号化する擬似コードを示している。 図15は、デジタル画像および/またはデジタルビデオを処理するために典型的に利用される、主要なハードウエアコンポーネントを示すブロック図である。

Claims (32)

  1. ビデオシーケンスにおける重要度係数を符号化するための方法であって:
    ビデオシーケンスを受信することと;
    該ビデオシーケンスから、現在のフレームにおける元のビデオ信号の予測を構築することと;
    該元のビデオ信号の予測を、現フレームにおける元のビデオ信号から差し引くことによって、残余信号を形成することと;
    該残余信号に対して変換を適用することと;
    複数の変換係数を量子化することと;
    複数のコードブックからコードブックを選択することと、
    重要度ランおよびブロック終結の少なくとも一つを符号化するために、複数のコードブックから一つのコードブックを選択することと;
    該選択されたコードブックを使用して、重要度ランおよびブロック終結の少なくとも一つを符号化すること
    を含んでなる方法
  2. 請求項1に記載の方法であって、更に、前記選択されたコードブックを使用してブロック終結を符号化することを含んでなる方法。
  3. 請求項1に記載の方法であって、更に、ビデオスライスと共にコードブック表情報を符号化することを含んでなる方法。
  4. 請求項3に記載の方法であって、前記コードブック表情報はコードブック選択表を含んでなる方法。
  5. 請求項3に記載の方法であって、前記コードブック表情報は、符号化サイクル数およびLEBL(ベース層における最後に符号化された係数)位置の各対に対応する各エントリーを有するコードブック選択表を含んでな、方法。
  6. 請求項3に記載の方法であって、前記コードブック表情報は、符号化サイクル数のみに対応する各エントリーを有するコードブック選択表を含んでな、方法。
  7. 請求項6に記載の方法であって、更に、前記コードブック選択表を一次元のコードブック選択アレイとして符号化することを含んでなる方法。
  8. 請求項7に記載の方法であって、更に、明示的に符号化される前記コードブック選択表エントリーの数を特定する変数を符号化することを含んでなり、該変数の後にはコードブック選択子が続き、各コードブック選択子は可変長コードを使用して符号化される方法。
  9. 請求項3に記載の方法であって、前記コードブック表情報は、表形状および表寸法を含んでなる方法。
  10. 請求項9に記載の方法であって、前記表は矩形である方法。
  11. 請求項9に記載の方法であって、前記表は三角形である方法。
  12. 請求項1に記載の方法であって、前記コードブック選択表は統計的予測から動的に決定される方法。
  13. 請求項1に記載の方法であって、前記コードブック選択表は隣接相関から動的に決定される方法。
  14. 請求項1に記載の方法であって、前記複数のコードブックのうち、一つのコードブックはもう一つのコードブックのシフト版である方法。
  15. 請求項1に記載の方法であって、更に、
    コードブック選択表を剪定縮小して、剪定縮小されたコードブック選択表を提供することと;
    該剪定縮小されたコードブック選択表をビデオスライスと共に符号化すること
    を含んでなる方法。
  16. 電子装置であって:
    プロセッサと;
    該プロセッサと電子的通信状態にあるメモリーと;
    該メモリーに保存された命令と
    を具備してなり、
    前記命令が実行されて、
    ビデオシーケンスを受信し;
    該ビデオシーケンスから現在のフレームにおける元のビデオ信号の予測を構築し;
    該元のビデオ信号の予測を、現在のフレームにおける元のビデオ信号から差し引くことによって残余フレームを形成し;
    該残余信号に対して変換を適用し;
    複数の変換係数を量子化し;
    重要度ランおよびブロック終結の少なくとも一方を符号化するために、複数のコードブックから一つのコードブックを選択し;
    該選択されたコードブックを使用して、重要度ランおよびブロック終結の少なくとも一方を符号化するようになっている装置。
  17. 請求項16に記載の方法であって、前記命令は更に、コードブック表情報をビデオスライスと共に符号化するように実行可能である方法。
  18. 請求項17に記載の方法であって、前記コードブック表情報がコードブック選択表を含んでなる方法。
  19. 請求項17に記載の方法であって、前記コードブック表情報が表形状および表寸法を含んでなる方法。
  20. 請求項17に記載の方法であって、前記命令は更に、
    コードブック選択表を剪定縮小して、剪定縮小されたコードブック選択表を提供し、
    該剪定縮小されたコードブック選択表をビデオスライスと共に符号化するように実行可能である方法。
  21. 符号化されたビデオシーケンスにおける重要度係数を復号するための方法であって:
    符号化されたビデオビットストリームを尾受信することと;
    該ビットストリームからコードブック表意情報を検索することと;
    該検索されたコードブック表情報を使用して、重要度シンボルを復号することと;
    該重要度シンボルを使用して、重要度係数を復号することと;
    複数の変換係数を逆量子化することと;
    残余信号に対して逆変換を低起用することと;
    ビデオシーケンスを構築することと
    を含んでなる方法。
  22. 請求項21に記載の方法であって、更に、スライスからコードブック表情報を復号することを含んでなる方法。
  23. 請求項22に記載の方法であって、前記コードブック表情報がコードブック選択表を含んでなる方法。
  24. 請求項22に記載の方法であって、前記コードブック表情報が、サイクル数およびLEBL(ベース層における最後に符号化された係数)位置をマッピングするコードブック選択表を含んでなる方法。
  25. 請求項22に記載の方法であって、前記コードブック表情報が、サイクル数をマッピングするコードブック選択表を含んでなる方法。
  26. 請求項22に記載の方法であって、前記コードブック表情報が、表形状および表寸法を含んでなる方法。
  27. 請求項26に記載の方法であって、前記表形状が矩形である方法。
  28. 請求項26に記載の方法であって、前記表形状が三角形である方法。
  29. 請求項21に記載の方法であって、前記コードブック選択表が、統計学的推定から動的に決定される方法。
  30. 請求項21に記載の方法であって、前記コードブック選択表が、隣接相関から動的に決定される方法。
  31. 電子装置であって:
    プロセッサと;
    該プロセッサと電子的通信状態にあるメモリーと;
    該メモリーに保存された命令と
    を具備してなり、
    前記命令が実行されて、
    符号化されたビデオビットストリームを受信し;
    該ビットストリームからコードブック表情報を検索し;
    該検索されたコードブック表情報を使用して重要度シンボルを復号し;
    該重要度シンボルを使用して重要度係数を復号し;
    複数の変換係数を逆量子化し;
    残余信号に対して逆変換を適用し;
    ビデオシーケンスを構築するようになっている装置。
  32. ビデオシーケンスにおける重要度係数を符号化するように構成された電子装置であって:該装置は、
    処理するための手段と;
    ビデオシーケンスを受信するための手段と;
    該ビデオシーケンスから現在のフレームにおける元のビデオシーケンスの予測を構築するための手段と;
    該元のビデオ信号の予測を、前記現在のフレームにおける元のビデオ信号から差し引くことによって、残余フレームを形成するための手段と;
    該残余信号に対して変換を適用するための手段と;
    複数の変換係数を量子化するための手段と;
    重要度ランおよびブロック終結の少なくとも一方を符号化するために、複数のコードブックから一つのコードブックを選択するための手段と;
    選択されたコードブックを使用して、重要度ランおよびブロック終結の少なくとも一方を符号化するための手段
    を具備してなる装置。
JP2009503198A 2006-03-27 2007-03-26 ビデオ圧縮における重要度係数符号化のための方法およびシステム Expired - Fee Related JP5139416B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US78679806P 2006-03-27 2006-03-27
US60/786,798 2006-03-27
US11/469,606 2006-09-01
US11/469,606 US7778472B2 (en) 2006-03-27 2006-09-01 Methods and systems for significance coefficient coding in video compression
PCT/US2007/064914 WO2007112343A2 (en) 2006-03-27 2007-03-26 Methods and systems for significance coefficient coding in video compression

Publications (3)

Publication Number Publication Date
JP2009531992A JP2009531992A (ja) 2009-09-03
JP2009531992A5 true JP2009531992A5 (ja) 2012-02-23
JP5139416B2 JP5139416B2 (ja) 2013-02-06

Family

ID=38352542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009503198A Expired - Fee Related JP5139416B2 (ja) 2006-03-27 2007-03-26 ビデオ圧縮における重要度係数符号化のための方法およびシステム

Country Status (10)

Country Link
US (2) US7778472B2 (ja)
EP (1) EP1999972A2 (ja)
JP (1) JP5139416B2 (ja)
KR (1) KR100991410B1 (ja)
CN (1) CN101427584B (ja)
BR (1) BRPI0709280A2 (ja)
CA (1) CA2644912A1 (ja)
RU (1) RU2406256C2 (ja)
TW (1) TWI349486B (ja)
WO (1) WO2007112343A2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7778472B2 (en) * 2006-03-27 2010-08-17 Qualcomm Incorporated Methods and systems for significance coefficient coding in video compression
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
EP1921867B1 (en) * 2006-10-17 2016-05-25 Harman Becker Automotive Systems GmbH Sensor assisted video compression
CA2702488C (en) * 2007-10-15 2013-04-02 Qualcomm Incorporated Improved enhancement layer coding for scalable video coding
US8848787B2 (en) * 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
JP5004180B2 (ja) * 2007-11-07 2012-08-22 Kddi株式会社 動画像符号化装置および復号装置
KR101789845B1 (ko) 2010-01-22 2017-11-20 톰슨 라이센싱 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
JP5805665B2 (ja) 2010-01-22 2015-11-04 トムソン ライセンシングThomson Licensing Example−based超解像を用いたビデオ圧縮のためのデータプルーニング
KR20110112168A (ko) * 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
US20120008687A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Video coding using vector quantized deblocking filters
US20130170564A1 (en) 2010-09-10 2013-07-04 Thomson Licensing Encoding of a picture in a video sequence by example-based data pruning using intra-frame patch similarity
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
EP2661893B1 (en) * 2011-01-04 2020-11-25 BlackBerry Limited Coding of residual data in predictive compression
CA2822929C (en) 2011-01-04 2016-07-12 Research In Motion Limited Coding of residual data in predictive compression
US8913662B2 (en) * 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
JP5469127B2 (ja) * 2011-05-30 2014-04-09 富士フイルム株式会社 画像データ符号化装置ならびにその動作制御方法およびそのプログラム
ES2797423T3 (es) 2011-06-28 2020-12-02 Samsung Electronics Co Ltd Procedimiento de codificación y decodificación de vídeo usando codificación aritmética con una señalización bidimensional del último coeficiente significativo
US9445093B2 (en) * 2011-06-29 2016-09-13 Qualcomm Incorporated Multiple zone scanning order for video coding
US9392301B2 (en) * 2011-07-01 2016-07-12 Qualcomm Incorporated Context adaptive entropy coding for non-square blocks in video coding
CN103096049A (zh) * 2011-11-02 2013-05-08 华为技术有限公司 一种视频处理方法及系统、相关设备
US8615138B2 (en) * 2011-11-03 2013-12-24 Google Inc. Image compression using sub-resolution images
CN107087189B (zh) * 2011-11-07 2018-05-01 太格文-Ii有限责任公司 图像编码方法及图像编码装置
AU2012200319B2 (en) 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
US9596463B2 (en) 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
GB2513111A (en) * 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
GB2539239B (en) * 2015-06-10 2017-10-04 Gurulogic Microsystems Oy Encoders, decoders and methods utilizing mode symbols
CN106358040B (zh) * 2016-08-30 2020-07-14 上海交通大学 一种基于显著性的码率控制比特分配方法
US10484695B2 (en) 2017-10-23 2019-11-19 Google Llc Refined entropy coding for level maps
US11457211B2 (en) * 2018-04-30 2022-09-27 Interdigital Vc Holdings, Inc. Flexible implementations of multiple transforms
US10645381B2 (en) 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150209A (en) * 1990-05-11 1992-09-22 Picturetel Corporation Hierarchical entropy coded lattice threshold quantization encoding method and apparatus for image and video compression
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
US5822724A (en) 1995-06-14 1998-10-13 Nahumi; Dror Optimized pulse location in codebook searching techniques for speech processing
US6215910B1 (en) * 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US6571016B1 (en) * 1997-05-05 2003-05-27 Microsoft Corporation Intra compression of pixel blocks using predicted mean
US6072830A (en) * 1996-08-09 2000-06-06 U.S. Robotics Access Corp. Method for generating a compressed video signal
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP3189876B2 (ja) 1997-06-09 2001-07-16 日本電気株式会社 可変長符号復号化回路
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
US6731807B1 (en) * 1998-09-11 2004-05-04 Intel Corporation Method of compressing and/or decompressing a data set using significance mapping
US7483581B2 (en) * 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
ATE439704T1 (de) 2002-04-02 2009-08-15 Nokia Corp Codierung von transformationskoeffizienten in bild-/videocodierern- und/oder decodierern
WO2003092286A1 (en) 2002-04-26 2003-11-06 Nokia Corporation Adaptive method and system for mapping parameter values to codeword indexes
DE50305419D1 (de) 2002-05-02 2006-11-30 Fraunhofer Ges Forschung Kodierung und Dekodierung von Transformationskoeffizienten in Bild- oder Videokodierern
CN1214649C (zh) * 2003-09-18 2005-08-10 中国科学院计算技术研究所 用于视频预测残差系数编码的熵编码方法
CN1589023A (zh) * 2004-08-06 2005-03-02 联合信源数字音视频技术(北京)有限公司 一种基于上下文的多码表变长编解码方法及编解码装置
KR100736086B1 (ko) * 2005-09-06 2007-07-06 삼성전자주식회사 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치
US7778472B2 (en) * 2006-03-27 2010-08-17 Qualcomm Incorporated Methods and systems for significance coefficient coding in video compression

Similar Documents

Publication Publication Date Title
JP5139416B2 (ja) ビデオ圧縮における重要度係数符号化のための方法およびシステム
JP2009531992A5 (ja)
US8848789B2 (en) Method and system for coding and decoding information associated with video compression
CA2643705C (en) Methods and systems for refinement coefficient coding in video compression
RU2452128C2 (ru) Адаптивное кодирование информации заголовка видеоблока
TWI657692B (zh) 於視訊寫碼程序中用於係數層級寫碼之萊斯(rice)參數初始化
JP5080575B2 (ja) 適応可変長符号を用いた映像圧縮
KR101168843B1 (ko) 수평 및 수직 대칭에 기초한 필터 계수들의 비디오 코딩
US20110249754A1 (en) Variable length coding of coded block pattern (cbp) in video compression
US20130101033A1 (en) Coding non-symmetric distributions of data
Juurlink et al. Understanding the application: An overview of the h. 264 standard
US20100002946A1 (en) Method and apparatus for compressing for data relating to an image or video frame
RU2406259C2 (ru) Способы и системы для кодирования уточняющих коэффициентов при сжатии видеоданных