JP2013504934A - レート歪み最適化された量子化のための高速化技法 - Google Patents

Abstract

画像符号化プロセスのための符号化モードを選択する技法が記載される。符号化モードは符号化モード遷移状態機械、再量子化プロセス、最適変換サイズの選択を通じて、いくつかの量子化パラメータのスキップによって、あるいは動き探索の実行によって、選択できる。

Description

〈関連出願への相互参照〉
本願は、ここに参照によってその全体において組み込まれる、2009年9月10日に出願された、「レート歪み最適化された量子化のための高速化技法」と題する米国仮出願第61/241,130号の優先権を主張するものである。

〈分野〉
本開示はデジタル・ビデオ符号化に、詳細にはビデオ信号の量子化に関する。より詳細には、本願はレート歪み最適化された量子化および符号化モード決定のための高速化技法に関する。

ビデオ符号化システムは、デジタル・ビデオ信号を表現し、記憶し、伝送するために必要とされる帯域幅を減らすために広く展開されている。一般的に使われるビデオ符号化システムは、数ある中でも、ブロック・ベースのビデオ符号化システム、領域ベースのビデオ符号化システムおよびウェーブレット・ベースのビデオ符号化システムを含む。

ブロック・ベースのビデオ符号化システムは、デジタル・ビデオ信号を圧縮するために使われる、広く使われているビデオ符号化システムの一つの型である。そのような符号化システムの例としては、数ある中でも、MPEG1/2/4、H.264（非特許文献１参照）のような国際的なビデオ符号化規格、VC-1（非特許文献２参照）規格、VP-6、VP-7およびVP-8、ディラック（Dirac）・コーデックおよびセオラ（Theora）・ビデオ・コーデックのようなOn2技術からの符号化システムが含まれる。

図１は、一般的なブロック・ベースのビデオ符号化システムのブロック図である。入力ビデオ信号（１０２）はブロックごとに処理される。一般的に使われるビデオ・ブロック単位はN×Mピクセルからなる。通例、N＝M＝16である。（一般に「マクロブロック」とも称される。）各入力ビデオ・ブロックについて、空間的予測（１６０）および／または時間的予測（１６２）が実行されうる。空間的予測は、現在のビデオ・ブロックを予測するために、同じビデオ・フレーム／スライス内のすでに符号化された近隣ブロックを使う。空間的予測は一般に、「イントラ予測」とも称される。空間的予測は、さまざまな大きさのビデオ・ブロックまたは領域を使って実行されうる。たとえば、H.264/AVCは、ビデオ信号の輝度成分の空間的予測のために、4×4、8×8、16×16のブロック・サイズを許容する。他方、時間的予測は、現在のビデオ・ブロックを予測するために、前に符号化された、通例近隣のビデオ・フレーム／スライスからの情報を使う。時間的予測は一般に、「インター予測」および／または「動き予測」とも称される。空間的予測と同様に、時間的予測も、さまざまなサイズおよび形のビデオ・ブロックまたは領域に対して実行されることができる。たとえば、輝度成分については、H.264/AVCは、16×16、16×8、8×16、8×8、8×4、4×8および4×4のようなブロック・サイズを使ったブロック・ベースのインター予測を許容する。複数参照および複数仮説予測も考えることができる。その場合、予測のために複数の参照先が利用可能であり、該複数の参照先がさらに線形または非線形に組み合わされることができる。

予測後、予測ブロックは加算器（１１６）においてもとのビデオ・ブロックから減算される。残差ブロックは変換ユニット（１０４）において変換され、量子化ユニット（１０６）おいて量子化される。次いで量子化された残差変換係数はエントロピー符号化ユニット（１０８）に送られて、さらにビット・レートを下げるためにエントロピー符号化される。さまざまなエントロピー符号化方法またはモードが適用されうる。たとえば、H.264/AVCは二つのエントロピー符号化モードを許容する。コンテキスト適応可変長符号化（CAVLC: Context Adaptive Variable Length Coding）モードおよびコンテキスト適応二進算術符号化（CABAC: Context Adaptive Binary Arithmetic Coding）モードである。次いでエントロピー符号化された残差係数は、出力ビデオ・ビットストリーム（１２０）の部分をなすようパックされる。

量子化された変換係数は、逆量子化ユニット（１１０）において逆量子化され、逆変換ユニット（１１２）において逆変換されて、再構成された残差ブロックが得られる。次いで再構成された残差ブロックは、加算器（１２６）において予測ビデオ・ブロックに加えられて、再構成されたビデオ・ブロックを形成する。再構成されたビデオ・ブロックは、ある種の符号化アーチファクトを軽減するために、ループ・フィルタ・ユニット（１６６）において追加的なフィルタ処理を受けてもよい。たとえば、H.264/AVCにおけるようなループ内デブロッキング・フィルタは、視覚的に不快となりうるブロッキング・アーチファクトを除去および／または軽減する、ユニット（１６６）において実行されるループ・フィルタ処理の例である。ループ・フィルタ処理後、再構成されたビデオ・ブロックは参照画像記憶部（１６４）に記憶される。同じビデオ・フレーム／スライスおよび／または（符号化順の点で）将来のビデオ・フレーム／スライスにおける他のビデオ・ブロックの予測として使うためである。

図１に示したエンコーダは、モード決定および一般的エンコーダ制御論理ユニット（１８０）を使って、現在のビデオ・ブロックのための最良の符号化モードを選択する。これは通例、あるあらかじめ定義された基準、たとえばラグランジュ・レート歪み（rate distortion）コスト
J(λ)＝D(r)+λ・r (1)
に基づく。ここで、rはそのビデオ・ブロックを符号化するのに必要とされるレートまたはビット数、Dは再構成されたビデオ・ブロックトモとのビデオ・ブロックとの間の歪み（たとえばSSEすなわち平方誤差和［Sum of Squared Error］、SADすなわち差分絶対値和［Sum of Absolute Differences］など）、λはラグランジュのラムダ因子（非特許文献３参照）である。電力消費、実装の複雑さおよび／または実装コストといった、レートおよび歪み以外の他の複数のパラメータを使う合同最適化も考えられる。レートrは、エンコードするために必要とされる真のレートであってもよいが、推定であってもよい。歪みDは多様な歪みモデルに基づくことができる。モデルによっては、主観的な品質知覚および人間の視覚系に対する影響を考慮してもよい。モード決定後、符号化モード（イントラかインター符号化か）、予測情報（イントラ符号化される場合には空間的予測モードおよび変換の型、インター符号化される場合には動き分割（motion partitioning）、双方向または単方向動き補償予測、など）および他の動き情報（参照フレームのインデックス、動きベクトル、照明変化パラメータなど）がエントロピー符号化ユニット（１０８）に送られ、ビット・レートを減らすためにさらに圧縮される。エントロピー符号化されたモードおよび動き情報も、ビデオ・ビットストリーム（１２０）の部分をなすようパックされる。

変換および量子化は組み合わさって、予測残差ブロックの符号化に伴うビット・レートを軽減しうる。変換された残差係数の量子化はビデオ品質の損失を導入する。量子化の度合いは、量子化パラメータ（QP: quantization parameter）の値によって制御され、品質損失の度合いを直接的に反映する。すなわち、より大きなQPの値は通例、より積極的な量子化および結果として、より悪い再構成されたビデオ品質に対応し、より小さなQPの値は、それほど積極的でない量子化および結果として、通例、よりよい再構成されたビデオ品質に対応する。いくつかのビデオ符号化システム（たとえばH.264/AVCビデオ符号化規格）はマクロブロック・レベルのQP変動を許容する。そのようなシステムについては、入力ビデオ・ブロックの特性に依存して、エンコーダは、再構成されたビデオ信号のより高い圧縮またはよりよい視覚的品質を得るために、より多いまたはより少ない量子化を適用することを選ぶことができる。具体的には、所与の入力ビデオ・ブロックを量子化するために使われるQPの値は、式(1)に与えられるレート‐歪みコスト関数または他の任意の所定の基準を最適化するためにエンコーダによって選ばれてもよく、エンコーダによって選択された最適なQP値はビデオ・ストリーム（１２０）の一部としてデコーダに信号伝達されてもよい。

さらに、量子化ユニット（１０６）において、変換係数の量子化の際、よりよい符号化性能を達成するために、エンコーダは、単純なスカラー量子化プロセスの代わりに、より洗練された量子化プロセス（JPEG2000システム（非特許文献４および１１参照）において使用されるトレリス量子化プロセスのような）を適用してもよい。量子化プロセスの一環としてしばしば使用される他のツールとしては、量子化行列および量子化オフセットが含まれる。所与の量子化行列は、エンコーダおよびデコーダがブロック中の各係数に適用したい量子化スケーリング因子（量子化の度合い）を指定する。たとえば、4×4残差ブロックについて、対応する量子化行列は4×4行列となり、各行列要素はブロック中の対応する各係数についての量子化スケーリング因子を指定する。輝度成分のインター符号化された4×4残差ブロックに対して使用されうる例示的な量子化行列を下記に示す。

4×4クロマ残差ブロック、8×8ルーマ残差ブロック、8×8クロマ残差ブロックなどといった他の型の残差ブロックについては、これらの残差ブロックの特性は異なることがありうるので、異なる量子化行列が使用されてもよい。イントラ符号化されたブロックとインター符号化されたブロックも異なる量子化行列を使ってもよい。量子化行列に加え、異なる係数位置に対応する量子化オフセットを考えることもできる：それらはエンコード・プロセスだけの一部として考えることもできるし、および／または、情報をデコーダに信号伝達し、再構成の際にそうしたパラメータを考慮に入れることによって、デコード・プロセスの一部と考えることもできる。

JM H.264/AVC基準ソフトウェア（非特許文献７参照）および次世代ビデオ符号化規格の開発において使われる新しいJMKTAソフトウェア（非特許文献８参照）において現在利用可能なレート歪み最適化量子化（RDOQ: Rate Distortion Optimized Quantization）アルゴリズム（非特許文献５、６および１０参照）は二つの成分：１）マクロブロック・レベルのQP変動および２）残差係数のトレリス様量子化を含む。マクロブロックQP変動を使って、エンコーダは、レート‐歪みの最適化された基準を与えられて各マクロブロックについて最良のQP値を決定しようとし、H.264/AVCにおいてサポートされているデルタQP（delta QP）シンタックス要素を使ってその決定を信号伝達する。さらに、RDOQアルゴリズム（非特許文献５および６参照）は、量子化ユニット（１０６）における残差変換係数の量子化の際にも、レート歪み最適化された決定を適用する。具体的には、v≠0の値をもつ0でない各係数について、エンコーダは、レート‐歪み最適化された決定プロセスに基づいて、与えられた係数を、三つまでの可能な値ceiling(v)〔天井関数〕、floor(v)〔床関数〕および0のうちの一つに量子化する。

図２は、モード決定および一般的制御論理ユニット（１８０）においてビデオ・エンコーダが使用しうるRDOQアルゴリズムの例示的な符号化モードおよびQP決定プロセスのフローチャートを示している。モード決定を実行するためにエンコーダが使用しうる所定の基準の例は、式(1)のラグランジュ・レート‐歪みコストである。

図２によれば、エンコーダ・モード決定ユニット（１８０）は、現在のビデオ・ブロックをエンコードするレート歪みコストを最小化するために、各QP値（２０２）および有効な各符号化モード（２０４）を検査する。各QPおよび各符号化モードについて、予測ブロック（単数または複数）および残差ブロック（単数または複数）が形成される（２０６）。次いで残差ブロックが変換および量子化され（２０８）、現在のビデオ・ブロックに対応する、結果として得られるレート、歪みおよびラグランジュ・コストが計算される（２１０）。現在の符号化モードおよびQPパラメータは、もしレート歪みコストの低下をもたらすのであれば、マークされ、記憶される（２１４）。最終的に、現在のビデオ・ブロックについての最適な符号化パラメータ（符号化モードおよびQP）がエントロピー符号化ユニット（１０８）に出力され、エントロピー符号化されて、ビデオ・ビットストリーム（１２０）中にパックされる。

図２から見て取れるように、RDOQにおいて使用される追加的なQPループ（２０２）のため、全体的なエンコード・プロセスにかかる時間は長くなる。最適符号化モードおよび最適QPについての力ずくの探索（モード、動きベクトル、参照、QPおよび係数調整などのあらゆる可能な組み合わせを網羅的に試す探索）を使うとしたら、エンコード・プロセスは著しく遅くなることがありうる。全体として、RDOQを使わないおよびRDOQを使う場合についてのエンコード時間はそれぞれ式(2)および(3)によって近似されうる。

ここで、tは、各ブロックについて一つの符号化モードを評価するために使われる平均時間、Nは試験されるQP値の数、Mは符号化モードの数、δは、ボックス（２０８）における非トレリス・ベースのスカラー量子化プロセスの使用に比してトレリス様量子化プロセスを使うことによって被る追加的な符号化時間である。

式(2)および(3)を導出するためにはいくつかの近似および単純化が使われていることを注意しておくべきである。たとえば、各符号化モードを評価するために必要とされる時間は同じであると想定している（現実には、いくつかのモードは評価するのがより複雑であり、異なるエントロピー符号化プロセスも評価プロセスに対して非常に異なる影響をもつことがありうる）。また、量子化を実行するために必要とされる時間がQPの値に関わりなく同じであると想定されている（現実には、より小さなQPはより多くの0でない係数につながり、よってより長い量子化プロセスにつながる）。基本的なモード決定プロセス（たとえば網羅的なモード決定）が使われることも想定されている。よって、これらの想定および単純化を与えられれば、RDOQアルゴリズムの使用に起因するエンコード時間の増加は、ほぼ次式に等しくなる。

各マクロブロックについて5つのQP値（N＝5）が評価され、ステップ（２０８）でのより洗練された量子化プロセス（たとえばRDOQにおいて使われるトレリス様量子化）に起因する時間的オーバーヘッドはδ＝20%であると想定すると、RDOQアルゴリズムに起因する全体的なエンコード時間の増加は約6倍である。したがって、RDOQアルゴリズムは著しい符号化パフォーマンス利得をもたらしうるものの、著しく長くなるエンコード時間（力ずくの探索アプローチが使われる場合）のため、たいていのビデオ符号化用途には使用できなくなってしまうことがありうる。

QP決定のためのいくつかの高速化アルゴリズムがJMおよびJMKTAソフトウェアにおいてすでに存在している（非特許文献７および８参照）。それらは以下の技法を含む。

第一の技法によれば、最適なイントラおよびインター予測パラメータ（イントラ・モード、イントラ予測対双方向予測対単方向予測動き補償、動き区分（motion partition）サイズ、参照フレームのインデックス、動きベクトルなど）は、QP値に関わりなく、ほぼ同じままとなりうる。よって、動き探索およびイントラ区分探索（intra partition search）は、図２の符号化ループの間に、一度実行されるだけでよい。これは、そのような空間的予測ユニット（１６０）および動き予測ユニット（１６２）のようなユニットにおけるイントラ予測または動き推定に起因する計算量を著しく軽減する。

第二の技法によれば、QPループ（２０２）の間に、QPの値すべてが評価される必要はない。たとえば、図２のQPループ（２０２）の間に、近隣のビデオ・ブロックのQP値が、現在ブロックについてのQP値を予測するために使われてもよいし、近隣のQPに基づく、予測されるQPの狭い範囲内のQP値のみが評価されてもよい。非特許文献９も参照。これは、QPループ（２０２）の際に各ビデオ・ブロックについて評価されるQPの数を減らし、よってエンコード時間を短縮する。

最初のQP値について選ばれる最適符号化モードをbest_mode_firstと表す。第三の技法によれば、その後のQP値を評価するとき、best_mode_firstだけが符号化モード・ループ（２０４）内で評価され、一方、他のすべての符号化モードは禁止される（非特許文献７参照）。このようにして、完全なモード決定は、最初のQP値について一回実行されるのみとなる。その後のすべてのQP値については、予測、変換、量子化およびレート‐歪みコストの計算は、一つの符号化モード（best_mode_first）についてのみ実行される。しかしながら、全体的な最良の符号化モード（best_mode_overall）は最初のQP値において現れないことがありうるので、符号化パフォーマンスは著しくペナルティを受けることがありうる。

第四の技法によれば、ある種の条件が満たされたときにQPループ（２０２）の早期の打ち切りが喚起されうる。たとえば、これまでに見出された最良の符号化モードが0でない残差係数を含まない場合（coded_block_pattern＝0）、QPループは早期に打ち切られてもよい（非特許文献７参照）。

ITU-T Rec. H.264 and ISO/IEC 14496-10 AVC、Advanced video coding for generic audiovisual services、November 2007 SMPTE 421M、"VC-1 Compressed Video Bitstream Format and Decoding Process"、April 2006 G.J. Sullivan and T. Wiegand、"Rate-distortion optimization for video compression"、IEEE Signal Processing Magazine, vol.15, issue 6、November 1998 A. Bilgin, P. J. SementiUi, and M. W. Marcellin、"Progressive image coding using trellis coded quantization"、IEEE Transactions on Image Processing, vol.8, no.11, pp. 1638-1643、November 1999. M. Karczewicz, Y. Ye, and I. Chong、"Rate distortion optimized quantization," VCEG-AH21, Antalya, Turkey、January 2008 M. Karczewicz, Y. Ye, and P. Chen、"Rate distortion optimized quantization"、ITU-T/SG16/Q.6 document C.462, Geneva, Switzerland、April 2008. JVT reference software version JM14.2, http://iphome.hhi.de/suehring/tml/download/、December 2008. VCEG/KTA reference software JM11.0KTA2.3, http://iphome.hhi.de/suehring/tml/download/KTA/、April 2009. A. Leontaris and A. Tourapis、"Scene/Picture Complexity Classification using Spatio-Temporal (Motion-Compensated) Analysis"、US Pub. App. 2009/0086814 G. Sullivan、"Adaptive quantization encoding technique using an equal expected-value rule"、JVT-N011, Hongkong、January, 2005. Guobin Shen, Alexis M. Tourapis, Ming L. Liou、Syntax-constrained rate-distortion optimization for DCT-based image encoding methods、VCJP 2000: 86-94

シミュレーションによれば、これらの現在利用可能なRDOQ高速化技法は、符号化時間対符号化パフォーマンスの最善のトレードオフを常に提供するとは限らないことが示されている。たとえば、これらの高速化技法は不十分なエンコード時間短縮を提供することもあれば、および／またはあまりに多くの符号化パフォーマンス・ペナルティを被ることもある。

本願の課題は請求項記載の手段によって解決される。

一般的なブロック・ベースのビデオ符号化システムのブロック図である。 図１の論理ユニット（１８０）においてビデオ・エンコーダが使用しうる符号化モードおよび量子化パラメータ決定プロセスのフローチャートである。 H.264/AVCエンコーダについてのモード遷移状態機械の例を示す図である。 係数再量子化技法が適用されるフローチャートを示す図である。 サブマクロブロック・モード遷移状態機械の例を示す図である。 短縮された量子化パラメータ（QP)ループが適用されるフローチャートを示す図である。 Iフレーム／スライスについての例示的なモード遷移状態機械を示す図である。 Pフレーム／スライスについての例示的なモード遷移状態機械を示す図である。 Bフレーム／スライスについての例示的なモード遷移状態機械を示す図である。 （ａ）は、それほど重要でない領域についてのより制約された状態機械を、（ｂ）はより重要な領域についてのより緩和された状態機械を示す図である。 再エンコード・プロセスが実行されるフローチャートを示す図である。 再エンコード・プロセスが実行されるフローチャートを示す図である。

本開示の諸実施形態は、レート歪み最適化された量子化および符号化モードおよび量子化パラメータ決定のための方法およびシステムに関する。

ある実施形態では、画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：初期量子化パラメータおよび該初期量子化パラメータについての最良の符号化モードを選択する段階と；符号化モード状態および符号化モード状態間の遷移を有する符号化モード遷移状態機械に従ってその後の量子化パラメータについて諸符号化モードを評価する段階であって、前記符号化モード遷移状態機械の各状態は符号化モードに対応し、一対の符号化モード状態の間の遷移に対してモード遷移尤度スコアが割り当てられる、段階と；評価された符号化モードおよび量子化パラメータのうちから最適な符号化モードおよび最適な量子化パラメータを選択する段階とを含む、方法が提供される。

もう一つの実施形態によれば、画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：N個の可能な符号化モードの評価の際に第一の量子化プロセスを実行する段階と；前記第一の量子化プロセスに基づいて、N＞M≧1として、所定の符号化基準に従ってM個の最良の符号化モードを選択する段階と；前記M個の最良の符号化モードについて第二の量子化プロセスを実行する段階と；前記第一の量子化プロセスおよび前記第二の量子化プロセスの結果に基づいて最良の符号化モードを選択する段階とを含む、方法が提供される。

あるさらなる実施形態によれば、画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：初期量子化パラメータおよび該初期量子化パラメータについての最良の符号化モードを選択する段階と；その後の量子化パラメータについて諸符号化モードを評価する段階であって、量子化パラメータについて符号化モードを評価することは、画像符号化単位を符号化する複数の変換のうちで最適な変換を選択することを含む、方法が提供される。

もう一つの実施形態によれば、画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための、複数の符号化モードのうちからの符号化モードおよび複数の量子化パラメータのうちからの量子化パラメータを選択する方法であって：前記複数の量子化パラメータの部分集合の評価をスキップすることを含み、現在の量子化パラメータの評価がスキップされるのは、前に評価された量子化パラメータのうちの最適な量子化パラメータが、全部0の（all-zero）残差ブロックに関連付けられており、かつ現在の量子化パラメータの値が前記最適な量子化パラメータの値より大きい場合である、方法が提供される。

さらにもう一つの実施形態によれば、画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための、複数の符号化モードのうちからの符号化モードおよび複数の量子化パラメータのうちからの量子化パラメータを選択する方法であって：前記複数の量子化パラメータの部分集合の評価をスキップすることを含み、量子化パラメータの現在の集合の評価の際に、あらかじめ選択された符号化基準の単調によりよくなる値が得られる場合に、量子化パラメータの補集合の評価がスキップされる、方法が提供される。

あるさらなる実施形態によれば、画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：初期量子化パラメータおよび該初期量子化パラメータについての最良の符号化モードを選択する段階と；その後の量子化パラメータについて諸符号化モードを評価する段階とを有しており、量子化パラメータについて諸符号化モードを評価することは、動き探索（motion search）を実行することを含み、前記初期量子化パラメータについてはより包括的な動き探索が実行され、前記その後の量子化パラメータについては限られた動き探索が実行され、前記限られた動き探索は、前記初期量子化パラメータについての前記より包括的な動き探索の結果に基づく、方法が提供される。

もう一つの実施形態によれば、上述した方法のいずれか一つに基づいてビデオ信号をエンコードするエンコーダが提供される。

もう一つの実施形態によれば、上述した方法のいずれか一つに基づいてビデオ信号をエンコードする装置が提供される。

さらなる実施形態によれば、上述した方法のいずれか一つに基づいてビデオ信号をエンコードするシステムが提供される。

さらにもう一つの実施形態によれば、上述した方法のいずれか一つをコンピュータに実行させる命令の集合を含むコンピュータ可読媒体が提供される。

さらにもう一つの実施形態によれば、ビデオ信号をエンコードするための上述した方法のいずれか一つの使用が提供される。

本開示の実施形態は、RDOQ高速化技法であって、よりよい符号化時間とパフォーマンスのトレードオフを提供するものに向けられる。

１）モード遷移状態機械
上で論じたように、その後のQPループにおいて一つの符号化モード（best_mode_first）のみを許容することは、エンコード時間を、式(3)から下記のように著しく短縮する。

ここで、tは、各ブロックについて一つの符号化モードを評価するために使われる平均時間、Nは試験されるQP値の数、Mは符号化モードの数、δは、トレリス様量子化のようなより洗練された量子化プロセスを使うことによって被る追加的な符号化時間である。式(4)も、ある種の想定および単純化に基づく符号化時間の近似である。

しかしながら、統計的プロファイリングによれば、全体的な最良符号化モードbest_mode_overallは最初のQPループの間に現れない高い可能性がある、すなわち、best_mode_first（最初のQP値において選ばれる最良の符号化モード）とbest_mode_overall（すべてのQP値が評価されたのちに選ばれる全体的に最良の符号化モード）が異なる可能性がかなりあることが示されている。換言すれば、「モード遷移」（best_mode_first〔最初の最良モード〕とbest_mode_overall〔全体的な最良モード〕が異なることとして定義される）の確率が有意である。より興味深いことに、「モード遷移」イベントの確率は、best_mode_firstが何であるかに依存して有意に変化する。たとえば、H.264/AVCコーデック内のモード遷移に関して以下の観察がなされた。

・インター（inter）符号化モードとイントラ（intra）符号化モードの間のモード遷移は、インター・モード間およびイントラ・モード間のモード遷移に比べて可能性が低い。

・イントラ符号化モードからインター符号化モードへのモード遷移は、インター符号化モードからイントラ符号化モードへのモード遷移より可能性が高い。シミュレーションによれば、いくつかのシーケンスについて、イントラ・モードからインター・モードへのモード遷移の確率が無視できない（最大5〜10%）ことがありうる。

・16×8および8×16動き区分（motion partitions）の間のモード遷移の確率は低い。

・P_SKIPおよびB_DIRECTからのモード遷移の確率は低い；シミュレーションによれば、95%を超える時について、best_mode_first＝0（P_SKIPまたはB_DIRECT）であればbest_mode_overall＝0である。

・P_SKIPへのおよび0残差B_DIRECTへのモード遷移の確率はほとんど存在しない。すなわち、best_mode_firstがP_SKIPでも0残差B_DIRECTでもなければ、best_mode_overallもP_SKIPでも0残差B_DIRECTでもない可能性が非常に高い。

・0でない残差のB_DIRECTへのモード遷移の確率は無視できない。

・best_mode_overallが最初の2つのQP値の間に現れる累積確率は高い（90%超）。

・イントラ4×4とイントラ16×16の間のモード遷移の確率は低い。

上記の観察に鑑み、本開示のいくつかの実施形態によれば、best_mode_firstが選ばれた後にその後のQP値のために評価される符号化モードを選択するために、「モード遷移状態機械」が使用される。

具体的には、H.264/AVCエンコーダのためのモード遷移状態機械の例が図３に描かれている。各対の状態間で、モード遷移尤度スコア（mode transition likelihood score）が割り当てられる。modeAからmodeBへのモード遷移の可能性がより高いモード対（modeA、modeB）にはより高いスコアが与えられ、modeCからmodeDへのモード遷移の可能性がより低いモード対（modeC、modeD）にはより低いスコアが与えられる。たとえば、所与のモードの自己遷移は最高の尤度スコア「10」が与えられる。もう一つの例として、インター・モードからイントラ・モードへのモード遷移はより低いスコア「1」が与えられ、一方、イントラ・モードからインター・モードへのモード遷移はより高いスコア「2」が与えられる。

さらに、一層低い確率をもつモード遷移イベントは完全に無効にされてもよい。たとえば、図３に示されるように、インター16×8とインター8×16を結ぶ矢印はない。これは、図３のモード遷移状態機械はインター16×8のモードがインター8×16に遷移したり、その逆の遷移をしたりすることができないと規定していることを意味する。

より「知的な」ビデオ・エンコーダは、はいってくるビデオ信号の特性を解析する前置解析段を含んでいてもよい（非特許文献９参照）。前置解析プロセスから収集される統計は、モード遷移状態機械をさらに微調整するために使われてもよい。具体的には、上に挙げたモード遷移イベントに関する一般的な観察に加えて、またはその代わりに、モード遷移イベントに尤度スコアを割り当てる際に、入力されるビデオの特定の理解を使うことが有利であることがある。たとえば、前置解析プロセスは、ビデオ信号のある領域が、同じフレームおよび／または他のフレームの他のブロックの符号化のための有用な予測情報を提供するので、より「重要」であると判定してもよい。たとえば、微細なテクスチャをもつ静的な領域は重要と考えられることがある。というのも、最初のフレームにおいてこの領域が高品質で符号化されれば、その後のすべてのフレームにおける対応する領域はその高品質を受け継ぐことができることがありうるからである。前置解析段からの知見に基づいて、これらより重要またはそれほど重要でない領域を符号化するために異なるモード遷移状態機械が使用されうる。上述した例示的な領域については、RDOQが適用される際、この領域内では（計算量増大を代償として）より高い符号化品質を提供するために、より緩和されたモード遷移状態機械が使用されてもよい。そのようなシナリオの例は図１０の（ａ）および（ｂ）に与えられる。

図１０の（ａ）は、より少数のモード遷移イベントを含む、より制約されたモード遷移状態機械を示している。たとえば、図１０の（ａ）は、イントラ・モードとインター・モードの間の遷移を許容しないし、インター・モードについて、より大きな動き区分（motion partition）からより小さな動き区分へのモード遷移も許容しない。図１０の（ａ）の状態機械は、それほど重要でない領域の符号化のためにより好適となりうる。

図１０の（ｂ）は、より多数のモード遷移イベントを含む、より緩和されたモード遷移状態機械を示している。そのような状態機械は、より重要な領域の符号化のためにより好適となりうる。与えられた領域について（より高いエンコード計算量を代償として）よりよい圧縮およびよりよい符号化品質を提供するからである。

モード遷移イベントの尤度に従ってより多くのモード遷移が禁止されるにつれて、符号化時間のさらなる短縮が達成できる（符号化パフォーマンス損失はそれにつれて増加）。このようにして、「モード遷移状態機械」は、符号化パフォーマンスと符号化時間の間のトレードオフを適応的に調整するための非常に柔軟な基礎を提供する。各ビデオ・アプリケーションについて、そのエンコード時間予算に従って、ある尤度閾値が適用されてもよく、与えられた閾値より高い尤度スコアをもつモード遷移イベントのみが許容されてもよい。すなわち、リアルタイムでないおよび／または電力消費制約条件のないアプリケーションについてはより低い閾値が使われてもよく、一方、リアルタイムのおよび／または電力に制約のあるアプリケーション（たとえばモバイル・ビデオ・エンコード）にはより高い閾値が使われてもよい。

モード遷移状態機械の使用はさらに下記のパラメータを含んでいてもよい。

・フレーム／スライス型（たとえばIフレーム／スライス、Pフレーム／スライスまたはBフレーム／スライス）弁別：いくつかのモード遷移イベントは、あるフレーム／スライス型については許容されるが別のフレーム／スライス型については許容されないことがある。たとえば、Iフレーム／スライスはイントラ符号化されたブロックのみを許容する。したがって、モード遷移状態機械はIフレーム／スライスについてはずっと単純になる。図３に示されるように、影付きの領域に載る部分のみがIフレーム／スライスのモード遷移状態機械に対応する。また、図３の点線は、Bフレーム／スライスのみに存在し、Pフレーム／スライスには存在しないモード遷移イベントを示している。これは、Pフレーム／スライスについては、これら点線は他のインター・モードから事実上存在しないイベントであるP-SKIPモードへのモード遷移を表すからである。一層明確にするため、I、PおよびBフレーム／スライスについての例示的なモード遷移状態機械は図７、図８および図９にも別個に与えられている。

・フレーム／スライスが他のフレームを符号化するための参照先として使われるかどうか（たとえば、H.264/MPEG-4 AVCにおけるシンタックス要素nal_reference_idcの値が非0であるかどうか）：参照画像に属するビデオ・ブロックについてはより緩和された（より多くのモード遷移イベントを許容する）モード遷移状態機械が使用されてもよく、一方、非参照画像に属するビデオ・ブロックについてはより制約された（より少数のモード遷移イベントを許容する）モード遷移状態機械が使用されてもよい。代替的または追加的に、非参照画像についてはより高い尤度閾値が使用されてもよく、一方、参照画像についてはより低い閾値が使用されてもよい。

・ブロックまたはブロックのグループが現在のおよび／または将来のフレームにおける他のビデオ・ブロックの予測のために重要かどうか。上述したように、いくつかのビデオ・エンコーダは前置解析プロセスを含んでいてもよい。前置解析段の間に収集された統計が、ビデオ・ブロックまたはビデオ・ブロックのグループの重要性を決定するために使われてもよい。他のビデオ・ブロックの符号化のためにより重要であると見なされるビデオ・ブロックについては、より緩和されたモード遷移状態機械が使用されたもよい；また、該より重要なビデオ・ブロックを符号化するときにはより低い尤度閾値が使われてもよい。

本開示のいくつかの実施形態によれば、許容されるモード遷移イベントの数を制御するために尤度閾値を調整する代わりに、またはそれに加えて、モード遷移状態機械自身がエンコードの間に動的に調整されてもよい。たとえば、より多くのQP値が評価され終わるにつれて、状態機械内のより多くの尤度スコアを0または尤度閾値未満に設定することによって、許容されるモード遷移イベントの数が減らされてもよい。具体的には、モード遷移状態機械は、ある点後は自己遷移のみが許容されるよう調整されてもよい。すなわち、それまでに見出された最良のモードのみが残りのQP値について評価されることになる。（自己遷移のみを許容するという）そのような決定は、所与の数のQP（たとえば3つのQP）が評価され終わった後に、および／または最良符号化モードが「安定した」（最良の符号化モードがそれ以上変わらない）後になされてもよい。さらに、モード遷移状態機械は、すでに符号化された近隣ブロックに依存して動的に調整されてもよい。たとえば、近隣ブロックがより「変動的（volatile）」（最適符号化モードに落ち着くのにより長くかかる）であれば、現在ブロックについてのモード遷移状態機械はより多くのモード遷移イベントを許容するよう「緩和」されてもよい。

より一般には、近隣ブロック（たとえば、左ブロック、上ブロック、左上ブロック、右上ブロックおよび／または時間的な近隣ブロック）の現在ブロックとの類似性もQPおよび／またはモード決定の際に考慮に入れられることができる。このアプローチの有用性は、それらのブロックが類似であることが知られている場合にさらに高まる。ブロック類似性の知識は、たとえば、分散（variance）および／またはDC計算のようなセグメンテーション技法によって得られる。

前段の技法の適用は、複数の仕方でプロセスを高速化できる。たとえば、すべての近隣ブロックが現在ブロックと類似しており、これらすべての近隣ブロックについてあるQPが選択されていた場合、そのQP値が現在ブロックについての出発点として使用できる。現在ブロックのレート歪みパフォーマンスが近隣ブロックと同様であれば、打ち切ってもよいし、あるいは他の何らかのモードが何らかの助けを与えることができるかどうか簡単な（可能性としてはより低い計算量の符号化プロセスを用いる）試験を行ってもよい。たとえば、現在ブロックのラグランジュ・コストが近隣ブロックのラグランジュ・コストより小さいまたはそれに十分近い場合、ブロック間の類似性も想定すれば、さらなる計算を実行する必要はない。そのような選択が最適である可能性が高いことがありうる。しかしながら、近隣ブロックの選択されたQP値の間に差がある場合、考えられる解決策は、現在ブロックと最も高い類似性をもつと考えられる諸近隣ブロックにおいて使われるQP値のみを検査すること、あるいはまたそれらのQP値のまわりの近い範囲内のQP値のみを調べることでありうる。符号化する際、現在ブロックの符号化プロセスを、近隣ブロックがどのように符号化されたかに関係付け、そのような情報を与えられて状態機械（単数または複数）を再び適応させることも可能でありうる。

当業者は、図３、図７、図８および図９に示されるモード遷移状態機械が単に例示的であることを理解するであろう。多くの異なる修正が本開示の範囲内で適用されうる。たとえば、図３、図７、図８および図９に示されるモード遷移状態機械は、符号化モードの限られた部分集合のみを評価する「高速モード決定」方法と組み合わされることもでき、それによりQPおよびモード決定プロセスをさらにスピードアップできる。また、状態機械をVC-1規格（非特許文献２参照）のような他の符号化システムおよび符号化規格に適用するよう、与えられたモード遷移状態機械のある種のストレートな拡張および修正がなされてもよい。そのような拡張および修正も、本開示の範囲内にはいると考えられるべきである。

さらに、図３、図７、図８および図９の例示的なモード遷移状態機械はみな、H.264/AVCにおいて定義されたマクロブロック型を符号化モードとして使う。その代わり、符号化モードのより細かい定義を使ってもよい。たとえば、モード遷移状態機械は、単方向予測と双方向予測の二つのインター16×16モードの遷移尤度を、両者を二つの相異なるモードと考えることによって、指定してもよい。モード遷移状態機械において、符号化モードの他の拡張または縮小された集合が定義され、使用されてもよい。

２）モード決定後の係数再量子化
図２に示されるように、モード・ループ（２０４）内で変換および量子化（２０８）が実行される。ボックス（２０８）において、単純なスカラー量子化プロセスの代わりに、トレリス様量子化プロセスが使われる場合、量子化が適用されるたびに、追加的な符号化時間オーバーヘッドδが発生しうる。使用される量子化プロセスに関わりなく、モード決定の結果（選ばれた最良モード）はしばしば同じままであることが観察されている。したがって、M（M＞1）通りの可能な符号化モードのうちからのモード決定の際に、より安価で高速な量子化プロセスが使用されてもよい。次いで、モード決定が完了し、最良モード（またはM＞M₁＞1として最良のM₁個のモード）が選ばれたのち、レート歪みパフォーマンスをさらに改善するために、あるいは他の任意の所定の符号化基準をさらに最適化するために、最良モードまたは最良のM個の符号化モードについての係数が、より洗練された量子化プロセス（たとえばトレリス様量子化）を使って再量子化されてもよい。他の符号化基準はたとえば、レートおよび歪みのみならず電力消費、実装の複雑さおよび／または実装コストをも含めた合同最適化を考える符号化基準などである。

図４は、係数再量子化技法が適用される場合のフローチャートを示している。図４では、モード決定の間、ステップ４０８で単純なスカラー量子化プロセスが適用される。次いで、モード決定ループの終わりに、ステップ４３０においてトレリス様量子化プロセス（または先の量子化プロセスより洗練されている他の任意の量子化プロセス）が適用されて、選ばれた最適符号化モードの予測残差を再量子化し、それによりレート‐歪みコストをさらに低下させるまたは他の任意の所定の符号化基準を最適化する。ある代替的な実施形態では、最適符号化モードの予測残差を再量子化するだけではなく、モード決定後に選ばれた最良のM₁個のモード（M₁≧1）の予測残差も考慮される。そのような再量子化プロセス後に最良のパフォーマンスを与えるものが最終的な最適モードとして選択される。

再量子化プロセスが、モード決定後の最良モードのみに適用される（M₁＝1）とすると、図４のプロセスについてのエンコード時間は次式によって近似できる。

ここで、tは、各ブロックについて一つの符号化モードを評価するために使われる平均時間、Nは試験されるQP値の数、Mは符号化モードの数、δは、非トレリス・ベースのスカラー量子化プロセスの使用に比してトレリス様量子化プロセスを使うことによって被る追加的な符号化時間である。δ/M≪1（たとえば、δ＝20%、M＝8）とすると、式(5)は、係数再量子化に起因するオーバーヘッドが無視できるものとなりうることを示している。

４０８における「単純なスカラー量子化」の使用は単に例示的であり、他のより高速な量子化プロセス（たとえば適応丸め（adaptive rounding）を使う量子化）またはこれら異なる量子化プロセスの組み合わせが使用されてもよいことを注意しておくべきである。本開示において先に説明したように、エンコーダによっては、すべての係数について固定されたスケーリング因子をもつ単純なスカラー量子化を使う代わりに、量子化行列を使うことを選ぶこともありうる。本開示において論じられる諸技法は、量子化行列が使われるか否かに関わりなく当てはまることを注意しておくべきである。

図４では再量子化ブロック（４３０）はQPループ（４０２）内に描かれているが、再量子化プロセスはQPおよびモード決定プロセスの間の他の位置で行われてもよいことをさらに注意しておくべきである。たとえば、QPループ（４０２）の外側で実行されてもよい。図４の構成（再量子化ブロック（４３０）をQPループ（４０２）の内部に置く）が良好な符号化時間対符号化パフォーマンスのトレードオフを達成することが見出されている。これは主として、量子化プロセスがしばしば選ばれる最適なQP値に影響するからである。再量子化ブロック（４３０）をQPループ（４０２）の外に移すことはさらなる高速化につながることがあるが、より有意な符号化パフォーマンス損失を受けることがありうる。よって、図４は、単に例として受け止めるべきである。異なるビデオ・エンコーダは、所望される符号化計算量および符号化パフォーマンス要求を達成するために異なる仕方で再量子化プロセスを実行することを選ぶことがありうる。さらに、再量子化プロセスは、異なるビデオ・ブロック、異なるビデオ・スライス型および／または異なるビデオ領域について異なる仕方で適用されてもよい。たとえば、より重要なビデオ領域および／またはビデオ・スライス（たとえば、将来の参照先として使われるビデオ・スライス）については、再量子化プロセスはより頻繁に適用されてもよく、それほど重要でないビデオ領域および／またはビデオ・スライス（たとえば、将来の参照先として使われないビデオ・スライス）については、再量子化プロセスはより低頻度で適用されたり、あるいは全く適用されなかったりしてもよい。

注意しておくべきもう一つの点は、再量子化ステップ（４３０）において使われるトレリス様量子化プロセスは（アルゴリズム自身によって使われる近似および単純化のため）最適ではないことがありうるので、エンコーダが、再量子化された残差のレート‐歪みコストと、再量子化前の以前の残差とを比較して、より小さなレート‐歪みコストを与える残差を最終的な残差として選ぶ（図４のステップ４３２）ことが有益となりうるということである。

注意しておくべきさらなる点は、ステップ４１６後に選ばれた最適な符号化モードがイントラ4×4またはイントラ8×8である場合には、単に予測を再量子化する代わりに、ビデオ・ブロックの再エンコードが実行されるべきであるということである。これは、4×4／8×8ブロックの再量子化は再構成される残差ブロックを変え、それは今度は再構成されるブロックを変え、それは今度は近隣の4×4／8×8ブロックを予測するために使われる予測ピクセルを変えるからである。

図１１は、上記の実施形態に基づく再エンコード・プロセスを示す例として、イントラ4×4マクロブロックを使っている。選ばれた最適な符号化モードがイントラ4×4である場合、ステップ４３０において単に予測残差を再量子化するのではなく、ステップ４３０において代わりにこのフローチャートが実行されることになる。

あるいはまた、図１２に示されるようなより複雑な再エンコード・プロセスがステップ４３０で実行されてもよい。図１１のフローチャートと比較して、このより複雑な再エンコード・プロセスは、イントラ4×4マクロブロック内の各4×4ブロックについて、最適な諸予測モードを評価することを含む。この再エンコード・プロセスは、再生成されたブロックからの予測ピクセルの変化が最適な予測モードの変化に帰結しうるので、有益となりうる。イントラ4×4およびイントラ8×8マクロブロックは通例、PおよびBフレーム／スライス内のマクロブロックの一部をなすのみなので、図１２のプロセスに起因する追加的なエンコード時間のオーバーヘッドは、比較的小さい。さらに、エンコーダは、図１２において各ブロックについて評価される予測モードの数を減らすために、ステップ４１６後に、前に選ばれた最適予測モードを使ってもよい。たとえば、ステップ４１６後に選ばれた最適予測モードと類似したモードのみが、再エンコード・プロセスにおける予測モード・ループ（１２０４）において評価されてもよい。

図１１および図１２の両方がイントラ4×4マクロブロックを例として使っているが、イントラ8×8マクロブロックの再エンコードが同じ仕方で実行されうることを注意しておく。あるいはまた、ある型のマクロブロック（たとえばイントラ4×4）は図１１におけるより単純な再エンコード・プロセスを使ってもよく、他の型のマクロブロック（たとえばイントラ8×8）は図１２におけるより複雑な再エンコード・プロセスを使ってもよい。

QP値とトレリス様量子化プロセスとの間の密接な関係のため、一つまたは複数の前のQP値についてトレリス様量子化プロセスの際にすでに学習されたことが、現在のQP値についてトレリス様量子化プロセスを高速化するために使われてもよい。たとえば、デルタQP＝1についてのトレリス量子化プロセスがn番目の係数後、すべての係数を0に設定するならば、デルタQP＝2についてのトレリス量子化プロセスは最初の(n−1)個の係数に対してのみ適用されてもよく、残りの残差係数のすべてが0に設定されてもよい。二つ以上のQP値が評価された場合、これらのQP値についての量子化プロセスの結果が、現在のQPについて量子化プロセスを高速化するのを合同して助けるために使用されてもよい。

ある追加的な実施形態では、最初の(n−1)個の係数のうちですでに0に量子化された値と、その最初のパスにおいて最初の(n−1)個の係数のいくつかが0に変化する可能性とをも考えてもよい。たとえば、所与のQPについて、係数kが値vをもち、ceiling(v)＝1に量子化される場合、その与えられたQPより大きな任意のQP値については、係数kが0に量子化される高い可能性がある。したがって、量子化プロセスを高速化するために、与えられたQPより大きいいかなるQPについても、係数kの量子化された値は直接0に設定されてもよい。

本開示のあるさらなる実施形態によれば、いくつかの事例では部分的計算が使われることができる。N個の下位区分（subpartition）を検査した後の部分的ラグランジュ・コストがすでに異なるQPの全体的なラグランジュ・コストより大きいまたは大きくなると予想される場合、再量子化を進める理由はない。

３）サブマクロブロック・モード遷移状態機械
インター符号化されたブロックについて、H.264/AVCは入力16×16ビデオ・ブロックの四分木分解を許容する。すなわち、各16×16ブロック（マクロブロック）が4つの8×8ブロック（サブマクロブロックまたはサブMB）に区分されてもよく、サイズ8×8の各サブマクロブロックをさらに4×4ブロックにまでさらに分割する可能性もある。したがって、上記のセクション１において概説した遷移状態機械の使用と同様に、サブMBモード決定に費やされるエンコード時間を削減するために、サブMBモード遷移状態機械が実装されてもよい。

図５は、サブMBモード遷移状態機械を一例として与えている。図５では、インター4×8とインター8×4の間のモード遷移は禁止されている。また、図５の点線は、Bフレーム／スライスについてのみ許容されるサブMBモード遷移イベントを表す。あるいはまた、最も制約されたサブMBモード遷移状態機械が使用されてもよい。最も制約されたサブMBモード遷移状態機械は自己遷移のみを許容する。すなわち、サブMBモード決定の際、best_subMB_mode_first〔最初の最良サブマクロブロック・モード〕のみがその後のQP値のために許容されうる（これは、その後のQP値についてbest_mode_first〔最初の最良モード〕のみを許容するのと同様である）。

４）変換サイズ決定
H.264/MPEG-4 AVCハイ・プロファイルでは、8×8整数変換および4×4整数変換がいずれもサポートされる。これらの変換はいずれも、ハイ10（High 10）、ハイ4:2:2（High 4:2:2）および予測ハイ4:4:4（Predictive High 4:4:4）のようなこの規格の他の「プロフェッショナル」プロファイルにおいてもサポートされる。現在のビデオ・ブロックを符号化するために使われる最適な変換サイズは、レート歪みラグランジュ・コストを最小化するなど、所定の符号化基準を最適化することによって選択されてもよい。次いで、選択された最適な変換サイズが、エントロピー符号化され、図１に示した出力ビデオ・ビットストリーム（１２０）の一部として信号伝達される。シミュレーションによれば、最適な変換サイズは図２のQPループ（２０２）の間に大幅には変化しないことが示されている。よって、最初のQP値において選択された最適な変換サイズbest_transform_size_first〔最初の最良変換サイズ〕がその後のすべてのQP値について使用されて、最適変換サイズを再び選択するために必要とされるエンコード時間を回避してもよい。

本開示の追加的な実施形態として、最適変換サイズは、最初のQP値が評価された直後に決定されて保持されるのではなく、その代わり、若干数の追加的なQP値について両方の変換が引き続き評価されてもよく、そうした追加的なQP値が評価されたあとにはじめて最適な変換が選択され、保持されてもよい。一例として、合計5個のQP値が評価されるとすると、最適変換は、最初のQP値の後に決定されて最初のQP値後の4つQP値すべてについて保持されるのではなく、第三のQP値のあとに決定され、残り2つのQP値のために保持されてもよい。

さらに、この高速化技法は二つの変換をサポートするビデオ符号化システムに限定されるものではなく、複数の変換をサポートする任意のビデオ符号化システムに適用可能である。たとえば、JMKTAソフトウェア（非特許文献８参照）を使って開発中の潜在的な次世代のビデオ・コーデックは、4×4および8×8変換に加えて、16×16変換、16×8変換および8×16変換をサポートする。この高速化技法は、これらの変換のいずれかを選ぶために、簡単に拡張され、使用されることができる。一般に、ビデオ符号化システムがN個の変換をサポートする場合、最初のQP値が評価されたあとで最良のN₁個の変換が選択されてもよく（N₁≦N）、第二のQP値が評価されたあとで最良のN₂個の変換が選択されてもよく（N₂≦N₁）、与えられたQP値について唯一の最良の変換が選択されるまで同様にされ、該唯一の最良の変換はその後のQP値すべてについて保持される。ビデオ符号化システムがより多くの変換をサポートするほど（Nの値が大きいほど）、この高速化技法に起因する符号化時間の節約は重要になる。

4×4変換と8×8変換（または他の任意の変換）の量子化プロセスの間に密接な関係があることがありうることを注意しておく。たとえば、所与の符号化モードについて、一方の変換サイズ（たとえば8×8変換）において最後のn個の係数が0に量子化される場合、他方の変換サイズ（たとえば4×4変換）において最後のm個の係数が0に量子化される可能性が高い。異なる変換サイズの量子化プロセスの間のこの相関も、量子化プロセスおよび最適変換サイズの決定プロセスを高速化するために使用されうる。たとえば、量子化後に8×8変換についての最後のn個の係数が0に設定される場合、4×4変換についての量子化の際は、最初の(16−m)個の係数のみが考慮されるのでもよく（4×4変換についての最後のm個の係数は自動的に0に設定される）、それにより4×4変換について量子化に対して費やされる時間を節約する。たとえば、m＝n/4である。

マクロブロックが適応フレーム・フィールド符号化（adaptive frame field coding）（MBAFF）を使って符号化される場合にも同様の考察ができる。たとえば、フレーム・モードでは最後のn個の係数が0に量子化され、フィールド・モードでは（表（top）および／または裏（bottom）フィールドについて）最後のn個の係数が0でない係数を含む場合、エンコーダは、フィールド・モードのさらなる評価を打ち切ってもよい。フレーム・モードがよりよいレート歪みパフォーマンスを提供する可能性が高いからである。フィールド・マクロブロック符号化が最初に実行されてフレーム・マクロブロック符号化がそれに続く場合にも、同様の想定がなされてもよい。これらの関係は、表フィールドと裏フィールドの両方が同様の特性をもつおよび／または残差における0の係数の存在の点で類似性をもつ場合に強化される。さらに、フレーム・モードおよびフィールド・モードについての動き推定後の残差の特性を活用することもできる。たとえば、動き推定後に、表フィールド・ブロックの歪み、裏フィールド・ブロックの歪みおよびフレーム・マクロブロックの歪みがみな非常に似通っているならば、フレーム・モード符号化がよりよいレート歪みパフォーマンスを提供する可能性が高く、よって、フィールド・モード符号化についての考慮はスキップされてもよい。

５）縮小されたQPループ
QPループの早期の打ち切りおよびいくつかのQP値の評価のバイパスは、式(3)ないし式(5)におけるN（評価されるQP値の数）の値を小さくすることによってエンコード時間を節約する。

図６は、これらの高速化機構（ステップ６０４および６１８）をもつ修正された符号化のフローを示している。現在のQP値のバイパス（ステップ６０４）については、次の基準が使用されうる。
・これまでにすでに見出された最良のQP値が0の残差を有する（coded_block_pattern＝0）、たとえばすべて0の残差ブロックに関連付けられており、かつ、現在のQP値が前記最良のQP値より大きい場合、現在のQP値をバイパスする。

早期の打ち切り（ステップ６１８）のためには、次の基準が使用されうる。
・すべての正（または負）のデルタQP（delta QP）値のレート‐歪みコスト（rdcost）が単調に減少する場合、QPループは、残りの負（または正）のデルタQP値を調べることなく、早期に打ち切られてもよい。たとえば、全部で5個のデルタQP値（0,1,2,−1,−2）が試験される場合であって、rdcost(deltaQP＝0)＞rdcost(deltaQP＝1)＞rdcost(deltaQP＝2)であれば、deltaQP＝−1およびdeltaQP＝−2を調べる必要はないことがありうる。より一般的には、量子化パラメータの現在の集合の評価の際に、あらかじめ選択された符号化基準の単調によくなる諸値が得られるのであれば、量子化パラメータの補集合の評価はスキップされることができる。

開始QP値を調整することが有用でありうることを注意しておく。QPループが評価する最初のQPが最終的な結果に影響することがありうる。QPループを短縮するために早期打ち切りおよび／またはバイパス技法が使われる場合は特にそうである。具体的には、最初のQPが全体的な最良QPにより近ければ、QPループはより高速に収束し、早く終了しうる。したがって、常にフレーム・レベルQPから出発する代わりに、すでに符号化された近隣ブロックのQP値から予測されるQP値を使うことが有益でありうる。近隣ブロック間に存在する空間的な相関のため、近隣ブロックによって選ばれた最適QPが、現在ブロックについての最適QPの良好な指標のはたらきをすることがありうる。たとえば、近隣ブロックが高度なテクスチャを有し、より小さなQPを選択していた場合、現在ブロックも高度なテクスチャを有し、より小さなQPが符号化パフォーマンスのためにより有益であると見出しうる可能性が高くなる。したがって、図２、図４および図６においては、QPループは一般的な仕方で描かれている。QP値が評価される特定の順序および評価されることになる実際のQP値（一部のQP値はバイパスされうる）は非常に柔軟である。

６）動き探索洗練（motion search refinement）
モード情報（ブロック符号化モード、サブブロック符号化モード、変換サイズなど）と同様に、動き情報もその後のQPループにおいて限られた仕方で変更されてもよい。動き探索を一回だけ実行し、同じ動き情報をその後の諸QPループにおいて使う代わりに、動き探索時間の著しい増加なしに動きを洗練し、よりよいパフォーマンスを達成するために、制約された動き探索が実行されてもよい。たとえば、最初のQP値における動き探索が双方向予測動きベクトルを返す場合、その後の諸QPループにおいては、双方向予測動き探索のみが実行されうる。もう一つの例として、（最初のQP値において実行される）最初の動き探索からの最良の参照フレームをref_idx_firstと表すとすると、その後の諸QPループにおける動き探索は同じ参照フレームref_idx_firstについてのみ実行されうる。この場合、限られた動き探索を実行するために動き遷移状態機械を用いてもよい。若干の例として、以下の考察を含みうる。

・最初のQPからの動き探索からの動きベクトルmotion_firstが前方単方向予測／後方単方向予測／双方向予測の動き予測を示す場合、その後のQP値についての動き探索においては、前方単方向予測／後方単方向予測／双方向予測の動き予測のみが実行されうる。

・その後の動き探索は参照フレームref_idx_first、すなわち最初の動き探索後に同定された最良の参照フレームのみについて実行されうる。

・その後の動き探索は、直前の最良の動きベクトルのまわりで限られた探索範囲を使って実行されうる。さらに、前の符号化パスのパフォーマンス、たとえば歪みを与えられて、追加的な早期打ち切り基準を考慮することもできる。

・ある代替的な実施形態では、動きベクトル予測子（predictor）が（その後のQPループにおける近隣動きベクトルおよび／または近隣ブロック区間の変化のため）変化する場合、その後の動き探索は新しい動きベクトル予測子のまわりで実行されうる。

本発明のある実施形態は、以下に列挙する例示的実施形態の一つまたは複数に関しうる。
〔付番実施形態１〕
画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：
初期量子化パラメータおよび該初期量子化パラメータについての最良の符号化モードを選択する段階と；
符号化モード遷移状態機械に従ってその後の量子化パラメータについて諸符号化モードを評価する段階であって、前記符号化モード遷移状態機械は符号化モード状態および符号化モード状態間の遷移を有し、前記符号化モード遷移状態機械の各状態は符号化モードに対応し、一対の符号化モード状態の間の遷移に対してモード遷移尤度スコアが割り当てられている、段階と；
評価された符号化モードおよび量子化パラメータのうちから最適な符号化モードおよび最適な量子化パラメータを選択する段階とを含む、
方法。
〔付番実施形態２〕
符号化モード状態間の遷移の可能性が高いほど前記モード遷移尤度スコアが高く、符号化モード状態間の遷移の可能性が低いほど前記モード遷移尤度スコアが低い、付番実施形態１記載の方法。
〔付番実施形態３〕
前記モード遷移尤度スコアは前記画像符号化単位の特性に従って割り当てられる、付番実施形態１記載の方法。
〔付番実施形態４〕
前記画像の前記特性は、画像符号化に先立って画像前置解析によって解析され、決定される、付番実施形態３記載の方法。
〔付番実施形態５〕
前記モード遷移尤度スコアが符号化モード間の遷移の型に従って割り当てられる、付番実施形態１記載の方法。
〔付番実施形態６〕
符号化モード間の遷移の型が：ある符号化モードから同じ符号化モードへの遷移、イントラ符号化モードからイントラ符号化モードへの遷移、インター符号化モードからインター符号化モードへの遷移、イントラ符号化モードからインター符号化モードへの遷移およびインター符号化モードからイントラ符号化モードへの遷移を含む、付番実施形態５記載の方法。
〔付番実施形態７〕
符号化モード状態間の遷移の数が制御可能である、付番実施形態１記載の方法。
〔付番実施形態８〕
符号化モード状態間の遷移の数が、符号化されるべき画像符号化単位の重要性に従って選択され、より重要な画像符号化単位については大きな遷移数が選択される、付番実施形態７記載の方法。
〔付番実施形態９〕
符号化モード状態間の遷移の数が、遷移尤度閾値に従って選択され、前記遷移尤度閾値より高い遷移尤度スコアをもつ符号化モード間の遷移のみが許容される、付番実施形態７記載の方法。
〔付番実施形態１０〕
非参照画像符号化単位についての遷移尤度閾値は参照画像符号化単位についての尤度閾値より高い、付番実施形態９記載の方法。
〔付番実施形態１１〕
より低い重要度の画像符号化単位についての遷移尤度閾値はより重要な画像符号化単位についての遷移尤度閾値より高い、付番実施形態９記載の方法。
〔付番実施形態１２〕
符号化モード状態間の遷移の有無が、符号化される画像符号化単位の型に従って選択される、付番実施形態１記載の方法。
〔付番実施形態１３〕
前記符号化される画像符号化単位がフレームまたはスライスを含む、付番実施形態１２記載の方法。
〔付番実施形態１４〕
前記フレームまたはスライスがIフレームまたはスライス、PフレームまたはスライスおよびBフレームまたはスライスを含む、付番実施形態１３記載の方法。
〔付番実施形態１５〕
Iフレームまたはスライスについては、イントラ符号化状態およびイントラ符号化状態間の遷移のみが許容される、付番実施形態１４記載の方法。
〔付番実施形態１６〕
符号化モード状態間の遷移の有無が、画像符号化単位が参照画像符号化単位であるか非参照画像符号化単位であるかに従って選択される、付番実施形態１記載の方法。
〔付番実施形態１７〕
符号化モード状態間の遷移の有無が、画像符号化アプリケーションおよび該画像符号化アプリケーションに関連付けられている利用可能な複雑さ予算（complexity budget）に従って選択される、付番実施形態１記載の方法。
〔付番実施形態１８〕
前記モード遷移状態機械が動的に調整可能なモード遷移状態機械である、付番実施形態１記載の方法。
〔付番実施形態１９〕
前記符号化モード遷移状態機械において許容される遷移の数が評価される量子化パラメータの数に依存する、付番実施形態１８記載の方法。
〔付番実施形態２０〕
ある数の量子化パラメータが評価され終わったのちは自己遷移のみが許容される、付番実施形態１９記載の方法。
〔付番実施形態２１〕
ある決定された量子化パラメータについて、該決定された量子化パラメータより前のある数の量子化パラメータについて最良の符号化モードに変化がないあとでは、自己遷移のみが許容される、付番実施形態２０記載の方法。
〔付番実施形態２２〕
前記モード遷移状態機械の調整がすでに符号化された近隣の画像符号化単位に依存する、付番実施形態１８記載の方法。
〔付番実施形態２３〕
所与の画像符号化単位に対して、該所与の画像符号化単位のすでに符号化された近隣画像符号化単位がより緩和されたモード遷移状態機械を使う場合には、より緩和された符号化モード遷移状態機械が適用され、所与の画像符号化単位に対して、該所与の画像符号化単位のすでに符号化された近隣画像符号化単位がより緩和されていないモード遷移状態機械を使う場合には、より緩和されていない符号化モード遷移状態機械が適用される、付番実施形態２２記載の方法。
〔付番実施形態２４〕
所与の画像符号化単位に適用される特定のモード遷移状態機械がより緩和されているかより緩和されていないかが、すでに符号化された近隣画像符号化単位の間での類似性の度合いに依存する、付番実施形態２３記載の方法。
〔付番実施形態２５〕
前記画像符号化単位がビデオ・ブロック、ビデオ・ブロックのグループ、画像の領域または画像全体である、付番実施形態１記載の方法。
〔付番実施形態２６〕
前記符号化モード遷移状態機械がマクロブロック・モードまたはサブマクロブロック・モードの遷移状態機械である、付番実施形態１記載の方法。

〔付番実施形態２７〕
画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：
M個の可能な符号化モードの評価の際に第一の量子化プロセスを実行する段階と；
前記第一の量子化プロセスに基づいて、M＞M₁≧1として、所定の符号化基準に従ってM₁個の最良の符号化モードを選択する段階と；
前記M₁個の最良の符号化モードについて第二の量子化プロセスを実行する段階と；
前記第一の量子化プロセスおよび前記第二の量子化プロセスの結果に基づいて最良の符号化モードを選択する段階とを含む、
方法。
〔付番実施形態２８〕
前記第一の量子化プロセスがより高速な型の量子化であり、前記第二の量子化プロセスがより低速な型の量子化である、付番実施形態２７記載の方法。
〔付番実施形態２９〕
前記第一の量子化プロセスが単純なスカラー量子化であり、前記第二の量子化プロセスがトレリス量子化である、付番実施形態２７記載の方法。
〔付番実施形態３０〕
前記第一の量子化プロセスおよび前記第二の量子化プロセスが各量子化パラメータについて反復される、付番実施形態２７記載の方法。
〔付番実施形態３１〕
一つまたは複数の量子化パラメータの量子化された変換係数の位置および大きさについての情報が、その後の量子化パラメータの前記両量子化プロセスの間使用される、付番実施形態３０記載の方法。
〔付番実施形態３２〕
前記第二の量子化プロセスが、前記M個の可能な符号化モードのうち最良の符号化モード一つだけに適用される、すなわちM₁＝1である、付番実施形態２７記載の方法。
〔付番実施形態３３〕
付番実施形態２７記載の方法であって、
（ｉ）前記第一の量子化プロセスを用いて量子化された残差の前記所定の符号化基準の値を、（ｉｉ）前記第二の量子化プロセスを用いて量子化された残差の前記所定の符号化基準の値と比較し、
前記所定の符号化基準のよりよい値を提供する残差を選択することによって、
最良の結果が選択される、方法。
〔付番実施形態３４〕
初期エンコード・プロセス後に最適符号化モードが選択されたのちに、前記画像符号化単位を再エンコードする段階をさらに含む、付番実施形態２７記載の方法。
〔付番実施形態３５〕
前記第二の量子化プロセスが、前記画像符号化単位の再エンコードを実行している間に実行される、付番実施形態３４記載の方法。
〔付番実施形態３６〕
再エンコードすることが最適な予測モードを評価することを含む、付番実施形態３５記載の方法。
〔付番実施形態３７〕
前記再エンコード・プロセスの間に予測モードの部分集合が評価される、付番実施形態３６記載の方法。
〔付番実施形態３８〕
前記再エンコード・プロセスの間に評価される予測モードの前記部分集合が、初期エンコード・プロセス後に選ばれた最適予測モードに基づいて選択される、付番実施形態３７記載の方法。
〔付番実施形態３９〕
前記選択された最適符号化モードが、イントラ4×4またはイントラ8×8である、付番実施形態３４記載の方法。

〔付番実施形態４０〕
画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：
初期量子化パラメータおよび該初期量子化パラメータについての最良の符号化モードを選択する段階と；
その後の量子化パラメータについて諸符号化モードを評価する段階とを含み、
量子化パラメータについて諸符号化モードを評価することは、画像符号化単位を符号化する複数の変換のうちで最適な変換を選択することを含む、
方法。
〔付番実施形態４１〕
最適な変換を選択することが、各量子化パラメータについて所定の符号化基準に従って前記複数の変換のうち変換の増大しない部分集合を選択していくことを、ある決定された量子化パラメータについて唯一の最適な変換が選択されるまで続けることを含み、前記唯一の最適な変換が、前記決定された量子化パラメータ後のすべてのその後の量子化パラメータについて保持される、付番実施形態４０記載の方法。
〔付番実施形態４２〕
初期量子化パラメータについて唯一の最適な変換が選択され、その後の量子化パラメータすべてについて保持される、付番実施形態４１記載の方法。
〔付番実施形態４３〕
一つの変換の量子化された変換係数の位置および大きさについての情報が、前記複数の変換のうちの別の変換の量子化プロセスの間に使用される、付番実施形態４０記載の方法。
〔付番実施形態４４〕
前記画像符号化単位の前記符号化プロセスが適応フレーム・フィールド符号化（MBAFF）プロセスを含み、フレーム・モード符号化からの前記画像符号化単位についての情報がフィールド・モード符号化の間に使用される、またはフィールド・モード符号化からの前記画像符号化単位についての情報がフレーム・モード符号化の間に使用される、付番実施形態４０記載の方法。
〔付番実施形態４５〕
フレーム・モード符号化およびフィールド・モード符号化からの前記画像符号化単位についての前記情報が、予測残差ならびに量子化された変換係数の位置および大きさについての情報を含む、付番実施形態４４記載の方法。

〔付番実施形態４６〕
画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための、複数の符号化モードのうちからの符号化モードおよび複数の量子化パラメータのうちからの量子化パラメータを選択する方法であって：
前記複数の量子化パラメータの部分集合の評価をスキップすることを含み、
現在の量子化パラメータの評価がスキップされるのは、前に評価された量子化パラメータのうちの最適な量子化パラメータが、全部0の残差ブロックに関連付けられており、かつ現在の量子化パラメータの値が前記最適な量子化パラメータの値より大きい場合である、方法。
〔付番実施形態４７〕
画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための、複数の符号化モードのうちからの符号化モードおよび複数の量子化パラメータのうちからの量子化パラメータを選択する方法であって：
前記複数の量子化パラメータの部分集合の評価をスキップすることを含み、
量子化パラメータの現在の集合の評価の際に、あらかじめ選択された符号化基準の単調によりよくなる諸値が得られる場合に、量子化パラメータの補集合の評価がスキップされる、方法。
〔付番実施形態４８〕
現在の符号化単位の初期量子化パラメータの値が調整可能である、付番実施形態４６または４７記載の方法。
〔付番実施形態４９〕
現在の符号化単位の初期量子化パラメータの値が、すでに符号化された近隣画像符号化単位の量子化パラメータの値から予測される、付番実施形態４６または４７記載の方法。

〔付番実施形態５０〕
画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：
初期量子化パラメータおよび該初期量子化パラメータについての最良の符号化モードを選択する段階と；
その後の量子化パラメータについて諸符号化モードを評価する段階とを含み、
量子化パラメータについて諸符号化モードを評価することは、動き探索を実行することを含み、
前記初期量子化パラメータについてはより包括的な動き探索が実行され、前記その後の量子化パラメータについては限られた動き探索が実行され、前記限られた動き探索は、前記初期量子化パラメータについての前記より包括的な動き探索の結果に基づく、方法。

〔付番実施形態５１〕
付番実施形態１、２７、４０、４６、４７または５０の一つまたは複数に記載の方法に従ってビデオ信号をエンコードするエンコーダ。
〔付番実施形態５２〕
付番実施形態１、２７、４０、４６、４７または５０の一つまたは複数に記載の方法に従ってビデオ信号をエンコードする装置。
〔付番実施形態５３〕
付番実施形態１、２７、４０、４６、４７または５０の一つまたは複数に記載の方法に従ってビデオ信号をエンコードするシステム。
〔付番実施形態５４〕
付番実施形態１、２７、４０、４６、４７または５０の一つまたは複数に記載の方法をコンピュータに実行させる命令の集合を含むコンピュータ可読媒体。
〔付番実施形態５５〕
ビデオ信号をエンコードするための、付番実施形態１、２７、４０、４６、４７または５０の一つまたは複数に記載の方法の使用。

上記の例は、当業者に、本開示のレート歪み最適化された量子化のための高速化技法の実施形態をどのように作成および使用するかの十全な開示および説明を与えるために提供されているのであって、発明者がその開示であると見なすものの範囲を限定することは意図されていない。本開示を実行するための上記の諸態様の修正が、ビデオ分野の当業者によって使用されてもよく、付属の請求項の範囲内であることが意図されている。

本開示は、本稿に開示される新たな概念をどのようにして実現するかを例証するために、基礎となるビデオ符号化システムの例としてブロック・ベースのビデオ符号化システムを使って書かれているが、本開示においてカバーされる実施形態の多くが他の型のビデオ符号化システムにも適用されうることは注意しておくべきである。一般に、量子化プロセスを含むおよび／または画像符号化単位内で量子化パラメータの変動を許容する任意のビデオ符号化システム（ブロック・ベース、領域ベース、ウェーブレット・ベースなどのもの）であって、画像符号化単位はフレームのシーケンス、ビデオ・フレームまたはピクチャ、ビデオ・ブロック、ビデオ・ブロックのグループ、ビデオ・スライス、領域、画像全体などであるものが、本開示の教示から裨益しうる。量子化パラメータは各色成分について変化させることもできる。一方、量子化行列および／またはオフセットの使用を通じて、異なる周波数係数またはサンプル・レベルに変化が適用されることもできる。したがって、本開示の説明および例証は、ブロック・ベースの符号化システムを基礎になる符号化システムとして使って書かれているが、これは一例と解釈されるべきであって、本開示の範囲をブロック・ベースのビデオ符号化システムだけに限定することは意図されるべきではない。

レート歪みラグランジュ・コストは、この開示において単に例として使われている。他の符号化基準が使用されることができる。さらに、歪みメトリックはSSEまたはSADのような客観的な品質メトリックに限定されない。主観的な品質メトリックも使用できる。また、たとえば図４および図６において、QPループが符号化モード・ループの外の層として示されているのは例にすぎない。これらのループの順序は、本開示の範囲から外れることなく、交換されてもよい。

本開示に記載されるすべての技法が、量子化行列および量子化オフセットが使用されるか否かに関わりなく適用可能であることも注意しておくべきである。

当業者は、本開示に基づく方法がトレリス様量子化アルゴリズムの三つの値のみを使うことに制約される必要がなく、トレリス様決定プロセスを実行する際に、kはk＞0の整数として、1の値、floor(v)−kのような追加的な可能な値（または状態）を考えられることも理解するであろう。

本開示で記載した方法およびシステムは、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記載される諸特徴は一緒に実装されても（たとえば集積論理デバイスのような論理デバイスにおいて）、別個に実装されても（たとえば別個の接続された論理デバイスとして）よい。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記載される方法を実行する命令を含むコンピュータ可読媒体を含みうる。コンピュータ可読媒体はたとえば、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）を含みうる。命令はプロセッサ（たとえばデジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）またはフィールド・プログラム可能論理アレイ（FPGA））によって実行されてもよい。

本明細書において言及されるすべての特許および刊行物は、本開示が属する分野の当業者の技術レベルを示しうる。本開示において引用されるすべての文献は、各文献が個々にその全体において参照によって組み込まれた場合と同じ程度に、参照によって組み込まれる。

本開示は特定の方法またはシステムに限定されないことは理解しておくべきである。具体的な方法またはシステムはむろん変わりうるものである。本稿で使われる用語は個別的な実施形態を記述するためだけに使われているのであり、限定することは意図されていないことも理解しておくべきである。本明細書および付属の請求項の用法では、単数形は、内容がそうでないことを明確に示しているのでない限り、複数の被指示物を含む。用語「複数」は、内容がそうでないことを明確に示しているのでない限り、二つ以上の被指示物を含む。別途定義がされていない限り、本稿で使われるすべての科学技術用語は当業者によって普通に理解されるのと同じ意味をもつ。

本開示のいくつかの実施形態について説明してきたが、本開示の精神および範囲から外れることなく様々な修正がなされてもよいことは理解されるであろう。よって、他の実施形態も付属の請求項の範囲内にある。

Claims (45)

1. 画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：
   初期量子化パラメータおよび該初期量子化パラメータについての最良の符号化モードを選択する段階と；
   符号化モード遷移状態機械に従ってその後の量子化パラメータについて諸符号化モードを評価する段階であって、前記符号化モード遷移状態機械は符号化モード状態および符号化モード状態間の遷移を有し、前記符号化モード遷移状態機械の各状態は符号化モードに対応し、一対の符号化モード状態の間の遷移に対してモード遷移尤度スコアが割り当てられている、段階と；
   評価された符号化モードおよび量子化パラメータのうちから最適な符号化モードおよび最適な量子化パラメータを選択する段階とを含む、
   方法。
2. 符号化モード状態間の遷移の可能性が高いほど前記モード遷移尤度スコアが高く、符号化モード状態間の遷移の可能性が低いほど前記モード遷移尤度スコアが低い、請求項１記載の方法。
3. 前記モード遷移尤度スコアは前記画像符号化単位の特性に従って割り当てられる、請求項１記載の方法。
4. 前記画像の前記特性は、画像符号化に先立って画像前置解析によって解析され、決定される、請求項３記載の方法。
5. 前記モード遷移尤度スコアが符号化モード間の遷移の型に従って割り当てられる、請求項１記載の方法。
6. 符号化モード状態間の遷移の数が制御可能である、請求項１記載の方法。
7. 符号化モード状態間の遷移の数が、符号化されるべき画像符号化単位の重要性に従って選択され、より重要な画像符号化単位については大きな遷移数が選択される、請求項６記載の方法。
8. 符号化モード状態間の遷移の数が、遷移尤度閾値に従って選択され、前記遷移尤度閾値より高い遷移尤度スコアをもつ符号化モード間の遷移のみが許容される、請求項６記載の方法。
9. 非参照画像符号化単位についての遷移尤度閾値は参照画像符号化単位についての尤度閾値より高い、請求項８記載の方法。
10. より低い重要度の画像符号化単位についての遷移尤度閾値はより重要な画像符号化単位についての遷移尤度閾値より高い、請求項８記載の方法。
11. 符号化モード状態間の遷移の有無が、符号化される画像符号化単位の型に従って選択される、請求項１記載の方法。
12. 符号化モード状態間の遷移の有無が、画像符号化単位が参照画像符号化単位であるか非参照画像符号化単位であるかに従って選択される、請求項１記載の方法。
13. 符号化モード状態間の遷移の有無が、画像符号化アプリケーションおよび該画像符号化アプリケーションに関連付けられている利用可能な複雑さ予算に従って選択される、請求項１記載の方法。
14. 前記モード遷移状態機械が動的に調整可能なモード遷移状態機械である、請求項１記載の方法。
15. 前記符号化モード遷移状態機械において許容される遷移の数が評価される量子化パラメータの数に依存する、請求項１４記載の方法。
16. ある数の量子化パラメータが評価され終わったのちは自己遷移のみが許容される、請求項１５記載の方法。
17. ある決定された量子化パラメータについて、該決定された量子化パラメータより前のある数の量子化パラメータについて最良の符号化モードに変化がないあとでは、自己遷移のみが許容される、請求項１６記載の方法。
18. 前記モード遷移状態機械の調整がすでに符号化された近隣の画像符号化単位に依存する、請求項１４記載の方法。
19. 所与の画像符号化単位に対して、該所与の画像符号化単位のすでに符号化された近隣画像符号化単位がより緩和されたモード遷移状態機械を使う場合には、より緩和された符号化モード遷移状態機械が適用され、所与の画像符号化単位に対して、該所与の画像符号化単位のすでに符号化された近隣画像符号化単位がより緩和されていないモード遷移状態機械を使う場合には、より緩和されていない符号化モード遷移状態機械が適用される、請求項１８記載の方法。
20. 所与の画像符号化単位に適用される特定のモード遷移状態機械がより緩和されているかより緩和されていないかが、すでに符号化された近隣画像符号化単位の間での類似性の度合いに依存する、請求項１９記載の方法。
21. 画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：
    M個の可能な符号化モードの評価の際に第一の量子化プロセスを実行する段階と；
    前記第一の量子化プロセスに基づいて、M＞M₁≧1として、所定の符号化基準に従ってM₁個の最良の符号化モードを選択する段階と；
    前記M₁個の最良の符号化モードについて第二の量子化プロセスを実行する段階と；
    前記第一の量子化プロセスおよび前記第二の量子化プロセスの結果に基づいて最良の符号化モードを選択する段階とを含む、
    方法。
22. 前記第一の量子化プロセスがより高速な型の量子化であり、前記第二の量子化プロセスがより低速な型の量子化である、請求項２１記載の方法。
23. 前記第一の量子化プロセスおよび前記第二の量子化プロセスが各量子化パラメータについて反復される、請求項２１記載の方法。
24. 一つまたは複数の量子化パラメータの量子化された変換係数の位置および大きさについての情報が、その後の量子化パラメータの前記両量子化プロセスの間使用される、請求項２３記載の方法。
25. 前記第二の量子化プロセスが、前記M個の可能な符号化モードのうち最良の符号化モード一つだけに適用される、すなわちM₁＝1である、請求項２１記載の方法。
26. 請求項２１記載の方法であって、
    （ｉ）前記第一の量子化プロセスを用いて量子化された残差の前記所定の符号化基準の値を、（ｉｉ）前記第二の量子化プロセスを用いて量子化された残差の前記所定の符号化基準の値と比較し、
    前記所定の符号化基準のよりよい値を提供する残差を選択することによって、
    最良の結果が選択される、方法。
27. 初期エンコード・プロセス後に最適符号化モードが選択されたのちに、前記画像符号化単位を再エンコードする段階をさらに含む、請求項２１記載の方法。
28. 前記第二の量子化プロセスが、前記画像符号化単位の再エンコードを実行している間に実行される、請求項２７記載の方法。
29. 再エンコードすることが最適な予測モードを評価することを含む、請求項２８記載の方法。
30. 前記再エンコード・プロセスの間に予測モードの部分集合が評価される、請求項２９記載の方法。
31. 前記再エンコード・プロセスの間に評価される予測モードの前記部分集合が、初期エンコード・プロセス後に選ばれた最適予測モードに基づいて選択される、請求項３０記載の方法。
32. 画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：
    初期量子化パラメータおよび該初期量子化パラメータについての最良の符号化モードを選択する段階と；
    その後の量子化パラメータについて諸符号化モードを評価する段階とを含み、
    量子化パラメータについて諸符号化モードを評価することは、画像符号化単位を符号化する複数の変換のうちで最適な変換を選択することを含む、
    方法。
33. 最適な変換を選択することが、各量子化パラメータについて所定の符号化基準に従って前記複数の変換のうち変換の増大しない部分集合を選択していくことを、ある決定された量子化パラメータについて唯一の最適な変換が選択されるまで続けることを含み、前記唯一の最適な変換が、前記決定された量子化パラメータ後のすべてのその後の量子化パラメータについて保持される、請求項３２記載の方法。
34. 初期量子化パラメータについて唯一の最適な変換が選択され、その後の量子化パラメータすべてについて保持される、請求項３２記載の方法。
35. 一つの変換の量子化された変換係数の位置および大きさについての情報が、前記複数の変換のうちの別の変換の量子化プロセスの間に使用される、請求項３２記載の方法。
36. 画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための、複数の符号化モードのうちからの符号化モードおよび複数の量子化パラメータのうちからの量子化パラメータを選択する方法であって：
    前記複数の量子化パラメータの部分集合の評価をスキップすることを含み、
    現在の量子化パラメータの評価がスキップされるのは、前に評価された量子化パラメータのうちの最適な量子化パラメータが、全部0の残差ブロックに関連付けられており、かつ現在の量子化パラメータの値が前記最適な量子化パラメータの値より大きい場合である、方法。
37. 画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための、複数の符号化モードのうちからの符号化モードおよび複数の量子化パラメータのうちからの量子化パラメータを選択する方法であって：
    前記複数の量子化パラメータの部分集合の評価をスキップすることを含み、
    量子化パラメータの現在の集合の評価の際に、あらかじめ選択された符号化基準の単調によりよくなる諸値が得られる場合に、量子化パラメータの補集合の評価がスキップされる、方法。
38. 現在の符号化単位の初期量子化パラメータの値が調整可能である、請求項３６または３７記載の方法。
39. 現在の符号化単位の初期量子化パラメータの値が、すでに符号化された近隣画像符号化単位の量子化パラメータの値から予測される、請求項３６または３７記載の方法。
40. 画像符号化プロセスにおいて画像符号化単位が符号化および量子化されるための符号化モードおよび量子化パラメータを選択する方法であって：
    初期量子化パラメータおよび該初期量子化パラメータについての最良の符号化モードを選択する段階と；
    その後の量子化パラメータについて諸符号化モードを評価する段階とを含み、
    量子化パラメータについて諸符号化モードを評価することは、動き探索を実行することを含み、
    前記初期量子化パラメータについてはより包括的な動き探索が実行され、前記その後の量子化パラメータについては限られた動き探索が実行され、前記限られた動き探索は、前記初期量子化パラメータについての前記より包括的な動き探索の結果に基づく、方法。
41. 請求項１、２１、３２、３６、３７または４０の一つまたは複数に記載の方法に従ってビデオ信号をエンコードするエンコーダ。
42. 請求項１、２１、３２、３６、３７または４０の一つまたは複数に記載の方法に従ってビデオ信号をエンコードする装置。
43. 請求項１、２１、３２、３６、３７または４０の一つまたは複数に記載の方法に従ってビデオ信号をエンコードするシステム。
44. 請求項１、２１、３２、３６、３７または４０の一つまたは複数に記載の方法をコンピュータに実行させる命令の集合を含むコンピュータ可読媒体。
45. ビデオ信号をエンコードするための、請求項１、２１、３２、３６、３７または４０の一つまたは複数に記載の方法の使用。

Images