JP2013021690A - レート−又は歪み−量子化モデル関数のためのモデルパラメータ推定 - Google Patents

Abstract

【課題】レート−又は歪み−量子化モデル関数のためのモデルパラメータを正確に推定することで、効率的なビデオ符号化を可能にする。
【解決手段】フレームシーケンスの連続するフレームの間でモデルパラメータを推定するために時間離散カルマンフィルタを使用し、１回目のフィルタ修正ステップとして現フレームの複雑度の値に依存する測定値を用いて修正し、２回目として、現フレームを所定の量子化を使用して符号化するときのビデオ符号器の実際の符号化レート又は歪みに依存する測定値を用いて修正を行う。レート−量子化モデル関数はビデオ符号器の量子化とそのビデオ符号器の符号化レートとを関係付けるものであり、更に、細かい量子化区間においては二次関数を示し、粗い量子化区間においては指数関数を示すようなピース毎に定義されるレート−量子化モデル関数が供給される。
【選択図】図１

Description

本発明は、例えばリアルタイムビデオ符号化のためのフレームシーケンスについて、ビデオ符号器の実際のレート−量子化又は歪み−量子化の関数を近似するための、レート−量子化又は歪み−量子化のモデル関数のモデルパラメータ推定に関する。

ビデオ符号化におけるレート制御作業は、現フレームのレート−量子化特性Ｒ（ＱＰ）が既知であれば、即ちどの量子化手段がどのレートをもたらすのかが分かっていれば、格段に効率化できる。この点は、特に、与えられた目標ビットレートに非常に近くマッチすることが重要であるような低い遅延レート制御の場合に明らかである。しかし、リアルタイム・アプリケーションにおいては、Ｒ（ＱＰ）を正確に決定することは通常は不可能である。なぜなら、それは、可能性のある全ての量子化パラメータを用いてフレームを符号化することを必要とするからである。そのため、レートと量子化との関係を予測するよう試みるモデルが導入された。即ち、レート−量子化関数Ｒ（ＱＰ）が以下のようにモデル化された。

ここで、βはモデルのパラメータを含むべクトルである。

歪み−量子化関数のための十分に正確なモデルは既に使用可能となっている（非特許文献２１を参照）。

しかし、レート−量子化関係をモデル化する作業は格段に困難である。

Ｈ.２６４／ＡＶＣで符号化されたビデオフレームのＲ−Ｑ（レート−量子化）特性を表現することを目的とする、複数の異なるモデルが文献で示されて来た。最も一般的なモデル（例えば非特許文献１１で使用されている）は、非特許文献５により提案された二次モデル(quadratic model)である。そのモデルは２個の調整可能なパラメータを持ち、多くの場合はＭＡＤ（mean absolute difference：絶対平均差）を用いて新たなフレーム複雑度(complexity)を予測する（非特許文献２２を参照）。次式はこれを定義している。

ここで、量子化パラメータと量子化ステップサイズ（Ｑ_Step）との間の関係はＨ.２６４／ＡＶＣ標準において定義されている（非特許文献１４を参照）。異なる複雑度に関係する更なる提案として、線形モデル（非特許文献１２を参照）、指数モデル（非特許文献２４を参照）、非ゼロ係数の個数に基づくρ−ドメインモデル（非特許文献８を参照）、又は非特許文献７が示すピース毎に定義されるモデル等が挙げられる。

Ｒ−Ｑモデルの潜在的な正確性よりも更に重要な点は、そのパラメータの信頼できる推定（非特許文献６を参照）である。（例えば上述したＭＡＤのように）統計的な値を用いる方法の他に、これらのモデルのパラメータは、通常、例えば非特許文献５や非特許文献１０に示す線形回帰(linear regression)によって決定される。更に、例えば非特許文献２３や非特許文献４に示すようなカルマンフィルタ（Kalman filter）を用いる手法も幾つか存在する。

しかし、上述したモデルの全てが、モデルの正確性、複雑度、平滑性又は凸状性(convexity)に関して欠点を有する。同様に、モデルパラメータの決定に使用するために文献に示されたいずれのアルゴリズムも、十分に正確で且つ単純な推定を提供しているとは言えない。

Toby Berger. Rate Distortion Theory (Prentice-Hall series in information and system sciences). Prentice Hall, 1971 Jr. Arthur E. Bryson and Yu-Chi Ho. Applied Optimal Control: Optimization, Estimation and Control. Ginn and Company, 1969 Bryson, A. E., Jr. and Henrikson, L. J. Estimation using sampled-data containing sequentially correlated noise. Journal of Spacecraft and Rockets, 5(6):662-665, 1967 Din-Yuen Chan and Shou-Jen Lin and Chun-Yuan Chang. A rate control scheme using Kalman filtering for H.263. Journal of Visual Communication and Image Representation, 16(6):734-748, 2005 Tihao Chiang and Ya-Qin Zhang. A new rate control scheme using quadratic rate distortion model. IEEE Transactions on Circuits and Systems for Video Technology, 7(1):246-250, 1997 Jianpeng Dong and Nam Ling. On Model Parameter Estimation for H.264/AVC Rate Control. IEEE International Symposium on Circuits and Systems, :289 -292, 2007 Thomasz Grajek and Marek Domanski. New Model of MPEG-4 AVC/H.264 Video Encoders. International Conference on Image Processing, pages 961-964, Honk Kong, 2010 Zhihai He and Mitra, S.K. ρ-domain bit allocation and rate control for real time video coding. International Conference on Image Processing, 3:546-549, 2001 Do-Kyoung Kwon and Mei-Yin Shen and Kuo, C.-C.J. Rate Control for H.264 Video With Enhanced Rate and Distortion Models. IEEE Transactions on Circuits and Systems for Video Technology, 17(5):517-529, 2007 Hung-Ju Lee and Tihao Chiang and Ya-Qin Zhang. Scalable rate control for MPEG-4 video. IEEE Transactions on Circuits and Systems for Video Technology, 10(6):878 -894, 2000 Zhengguo Li and Feng Pan and Keng Pang Lim and Genan Feng and Xiao Lin and Susanto Rahardja. Adaptive Basic Unit Layer Rate Control for JVT. Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, 2003. JVT-G012 Ma, S. and Wen Gao and Yan Lu. Rate-distortion analysis for H.264/AVC video coding and its application to rate control. IEEE Transactions on Circuits and Systems for Video Technology, 15(12):1533-1544, 2005 Petovello, M. and OaKeefe, K. and Lachapelle, G. and Cannon, M. Consideration of time-correlated errors in a Kalman filter applicable to GNSS. Journal of Geodesy, 83:51-56, 2009 Rec. ITU-T H.264 and ISO/IEC 14496-10 (MPEG4-AVC). Advanced video coding for generic audiovisual services. 2010 Sermadevi, Y. and Hemami, S.S. and Masry, M. Convex Programming Formulations for Rate Allocation in Video Coding. IEEE Transactions on Circuits and Systems for Video Technology, 16(8):947-959, 2006 Simon, D. and Tien Li Chia. Kalman filtering with state equality constraints. IEEE Transactions on Aerospace and Electronic Systems, 38(1):128 -136, 2002 Dan Simon. Optimal State Estimation: Kalman, H Infinity, and Nonlinear Approaches. Wiley-Interscience, 2006 Devinderjit Sivia and John Skilling. Data Analysis: A Bayesian Tutorial. Oxford University Press, USA, 2 edition, 2006 H. W. Sorenson. Least-squares estimation from Gauss to Kalman. IEEE Spectrum, 7:63-68, 1970 Robert F. Stengel. Optimal Control and Estimation (Dover Books on Advanced Mathematics). Dover Publications, 1994 Koichi Takagi and Yasuhiro Takishima and Yasuyuki Nakajima. A study on rate distortion optimization scheme for JVT coder. Proc. SPIE, 5150:914-923, 2003 Vetro, A. and Huifang Sun and Yao Wang. MPEG-4 rate control for multiple video objects. IEEE Transactions on Circuits and Systems for Video Technology, 9(1):186-199, 1999 Webb, J.L.H. and Oehler, K. A simple rate-distortion model, parameter estimation, and application to real-time rate control for DCT-based coders. International Conference on Image Processing. Proceedings., 2:13-16, 1997 Yimin Zhou and Yu Sun and Zhidan Feng and Shixin Sun. New rate-distortion modeling and efficient rate control for H.264/AVC video coding. Signal Processing: Image Communication, 24(5):345 - 356, 2009

そこで、本発明の目的は、レート−又は歪み−量子化モデル関数のためのモデルパラメータ推定スキームであって、より正確な推定と、従ってより効率的なビデオ符号化とを可能にするスキームを提供することである。

この目的は独立請求項に記載の要旨によって達成される。

本発明の第１の態様に従えば、本発明は次のような知見に基づいている。即ち、もしフレームシーケンスの連続するフレームの間でモデルパラメータを離散的に推定するためにカルマンフィルタが使用され、更にもしその時間離散カルマンフィルタの修正ステップが各フレームについて２回実行された場合、即ち、１回目として、現フレームの（１つ又は複数の）複雑度の値に依存する測定値を用いて修正することで時間的カルマンフィルタの第１次の修正済み状態が取得され、２回目として、現フレームを所定の量子化を使用して符号化するときのビデオ符号器の実際の符号化レート又は歪みに依存する測定値を用いて修正が行われる場合であり、その所定の量子化が、第１次の修正済み状態に従う実際のレート−又は歪み−量子化関数の推定を用いて決定されたものである場合には、さらに正確なモデルパラメータ推定が達成できるという知見である。

本発明の他の態様によれば、本発明は次のような知見に基づいている。即ち、もしレート−量子化モデル関数であって、ビデオ符号器の量子化とそのビデオ符号器の符号化レートとを関係付けるものであり、更に、細かい量子化区間においては二次関数を示し、粗い量子化区間においては指数関数を示すようなピース毎に定義されるレート−量子化モデル関数が使用された場合には、不安定なモデルパラメータ推定をもたらす複雑過ぎるレート−量子化モデル関数と、安定的ではあるが不正確なレート−量子化関数近似をもたらす単純過ぎるレート−量子化モデル関数との間におけるより良好な妥協点が得られるという知見である。

上述した２つの態様の概念や利点については、個々に説明する。代替的に、本発明の実施形態は、両方の態様の利点を活用しても良い。

フレームシーケンスを符号化するビデオ符号器の実際のレート−量子化関数を近似するための、レート−量子化モデル関数のモデルパラメータを推定する装置のブロック図であり、更に本発明の実施形態に従うビデオ符号器を含むシステムに対するその装置の可能性のある統合を示すブロック図である。 モバイルシーケンスの１つのフレームについてのレート−量子化曲線の形状を示す図である。 Ｈ．２６４／ＡＶＣを用いて符号化されたビデオフレームのレート−量子化曲線を示す図であり、異なるシーケンスに対してはこのレート−量子化が大幅に異なることができるため、選択されたモデルが良好な適合性を持つことを示す図である。 本発明の一実施形態に従う二次およびピース毎に定義されたレート−量子化モデルの近似品質の比較を示す図である。 本発明の一実施形態に従う二次およびピース毎に定義されたレート−量子化モデルの絶対近似誤差を示す。 本発明の一実施形態に従うピース毎に定義されたレート−量子化モデルと近似技術を使用する、異なるシーケンスのフレームのＲ−Ｑ関係の近似を示す図であり、下方の図には対応する相対近似誤差が示される。 複雑度の値に基づく予測における誤差が通常はシーケンシャルに修正されるという事実を表す図である。 図１に示す装置で実行可能なカルマンフィルタに基づくアルゴリズムの一サイクルの設計を示し、Ｒ−Ｑモデルパラメータは各フレームｋについて反復される３つのステップによって推定される。 本発明の一実施形態に従って定義されたレート−量子化モデル及び近似技術の一サイクルを視覚化した図である。 一定のビットレート（各フレームに５００キロビット）の目標を持つある場面変化の場合におけるモデル推定の例を示す。 各フレームに５００キロビットという一定のビットレート（７２０ｐの場合には１画素あたり約０．５４ビット）を達成すべき場合の、２００フレームから成る一周期に亘るモデルベースのＱＰ及びレート選択を示す。

次に、本発明の好適な実施の形態を、添付の図面を参照して以下に説明する。

図１は、フレームシーケンス１４を符号化するビデオ符号器１２の実際のレート−量子化関数を近似するための、レート−量子化モデル関数のモデルパラメータを推定する装置１０を示す。符号器１２と装置１０とが一体となり、フレームシーケンス１４を符号化するシステムを形成している。任意ではあるが、このシステム１６はレート制御手段１８を更に備えても良い。この制御手段１８の機能については後段で詳細に説明する。

フレームシーケンス１４は、ある場面の任意のビデオ又は任意の他の空間−時間的サンプリングであっても良い。フレームシーケンス１４のフレームのサンプル値は、輝度若しくはルーマ値(luma values)、色の値、深度又はそれらに類似する値でも良く、更にそれらの値の組合せであっても良い。

ビデオ符号器１２は、任意のタイプであっても良く、例えばフレームブロック・ベースでモーションパラメータを選択する動き補償予測を用いた、時間的予測型の符号器であっても良い。特に、ビデオ符号器１２はハイブリッド符号器であっても良く、フレームシーケンス１４のフレームがサブ分割されていくブロックに関し、先に符号化されたフレームに基づく時間的予測を使用して予測すべきか、及び／又は先に符号化された現フレームの隣接ブロックに基づく空間的予測を使用して予測すべきかについて、ブロック毎のベースで決定しても良い。後段で詳細に説明する実施形態に従えば、符号器１２は例えばＨ．２６４順応型のデータストリームを生成するよう構成されたビデオ符号器である。しかし代替的に、符号器１２はＪＰＥＧ２０００標準に従って動作しても良く、又は来たるべきＨ．２６５ビデオ標準に従って動作しても良い。

ビデオ符号器１２は、例えばフレームシーケンス１４のようなフレームシーケンスを符号化するときに、所定の特性を有する。入来するフレームシーケンスを符号化するときにビデオ符号器１２が従うべきデータストリームの指示によって、そのフレームシーケンス１４を符号化するためにビデオ符号器１２が使用する量子化と、符号化レート即ちその符号化に必要とされるビット数との間に、ビデオ符号器１２は特徴的な関係を示す。このときその特徴的な曲線は、そのフレームシーケンス自身の複雑度に依存している。より詳しくは、ビデオ符号器１２は、符号化すべきフレームを表現するサンプル値及び／又は変換係数を量子化したり、その予測残余のサンプル値及び／又は変換係数を量子化するような量子化を使用することにより、損失が多い方法でフレームシーケンス１４を符号化するよう構成されている。当然ながら、量子化の量が増大するにつれて符号化品質は低下する。即ち、量子化が粗くなるほど符号化品質が低下する。しかし他方、ビデオ符号器１２は、低い符号化レートを使用する粗い量子化において低い符号化品質を生みだすことも可能であり、従ってこのとき、実際のレート−量子化関数Ｒ（ｑ）、即ち符号化レートＲを量子化ｑへと或いは量子化ｑを符号化レートＲへと関係付けるＲ（ｑ）は、通常は量子化ｑが増大するにつれて単調に減少する関数である。しかし、上述したように、この関係は符号化されるべき材料の複雑度にも依存する。言うまでもないが、１つのフレームシーケンス内のフレームの複雑度が一定でない場合が多い。従って、フレームシーケンス１４のための符号器１２のレート−量子化関数も、時間的変化を受ける。これを図示する目的で、図１には、フレームシーケンス１４のフレームｋのための符号器１２の例示的なレート−量子化関数を参照番号２０、即ちＲ_k（ｑ）で示し、同じグラフ２４内に、先行フレームｋ−１のためのレート−量子化関数Ｒ_k-1（ｑ）を参照番号２２で示す。このグラフ２４の横軸は量子化ｑの大きさ（span）を示し、縦軸は符号化レートＲの大きさを示す。細かい注意点ではあるが、量子化ｑの値は符号器１２により使用される量子化の量を示す任意の値であっても良い。このときｑ＝０は、符号器１２が量子化を全く使用していないか、又はビットレベルで動作するような最小の量子化しか使用していないことを意味する。更に、図１は、符号器１２が量子化ｑを継続的に変更できることを示しているが、他の可能性として、符号器１２は量子化ｑの離散的な設定を許可するだけでも良い。同じことが、符号化レートＲについても言える。この符号化レートＲを数値化するために、それぞれのフレームを符号化するために使用されたビット数など、任意の値を使用しても良い。

レート−量子化関数２０がフレームシーケンス１４のコンテンツに依存しているために、そのレート−量子化関数２０はアプリオリ（事前的）には知られていない。勿論、フレームシーケンス１４の各フレームのためのレート−量子化関数２０をサンプルする目的で、可能性のある符号化の選択肢（量子化の量を含む）を設定する際に符号器１２が多数の試行を行い、その結果、そこでサンプリングされたＲ−Ｑ曲線に基づく量子化の最適量を最終的に選択することも可能ではある。しかし、そのような方法は符号器１２にとっては面倒な作業となり、アプリケーションによっては、符号器１２がそのような作業をするために十分な時間がないこともある。現実には、例えばカムコーダー(camcorders)などの場合のように、符号器１２がフレームシーケンス１４をリアルタイムで符号化するようなリアルタイムアプリケーションの場合が当てはまる。そのような場合には、現フレームのための符号器１２のレート−量子化関数を予想できることが有利である。それにより、試行数を最小に減らすことができ、又は推定されたレート−量子化関数に基づいて、例えばレート制御手段１８により決定された最適な量子化を符号器１２が採用できる程度に、現フレームの符号器１２による符号化を整理できるからである。例えば、レート制御手段１８は、符号器１２により生成されたデータストリームが、システム１６に課せられた幾つかのレートの制約に従っていることを保証しなければならない。そのレートの制約とは、例えばある種の不揮発性メモリの記憶レートや、データストリームが伝送される無線若しくは有線の通信経路の伝送のような、データストリームが伝送される伝送能力に起因するものである。レート−量子化関数２０の推定が良好であればある程、所定の符号化レートに順応し推定されたレート−量子化関数に従う量子化が、実際に、その符号化レートの制約に順応する実際の符号化レートを持つデータストリームをもたらす可能性が高まる。

上述したように、装置１０の役割はレート−量子化モデル関数のモデルパラメータを推定することであり、その際、モデルパラメータがビデオ符号器１２の実際のレート−量子化関数２０をできるだけ近く近似するように推定することである。このとき、装置１０が実行する近似は、装置１０が持つレート−量子化モデル関数のパラメータ化可能な状態によって制限を受ける。後段で説明するより詳細な実施形態においては、このレート−量子化モデル関数はピース毎の関数であり、細かい量子化区間内では二次関数部分／ピースを有し、粗い量子化区間内では指数関数部分／ピースを有し、５次元、即ち独立して選択可能な５つのモデルパラメータを持つモデルパラメータのマニホールドを備えている。しかし、図１の実施形態はいずれかのレート−量子化モデル関数に制限されるものではなく、他のレート−量子化モデル関数との関係においても使用することができる。一般的に、装置１０によって使用されるレート−量子化モデル関数は、実際のレート−量子化関数２０を近似するモデル、即ち

であり、ここでＸはレート−量子化モデル関数ｆのモデルパラメータを表している。好適には、全単射関数(bijective function)がモデルパラメータＸを可能性のある／有効なレート−量子化モデル関数の具体化のセットへとマップし、その逆も可能である。これを図示する目的で、図１は、現フレームｋの実際のレート−量子化関数２０を近似するためのあるモデルパラメータのレート−量子化モデル関数２６を示す。装置１０が対応するモデルパラメータを決定又は推定する方法は、後段で説明する。

装置１０は、更新手段２８と第１修正手段３０と第２修正手段３２とを備える。後段でより詳細に説明するように、更新手段２８と第１修正手段３０と第２修正手段３２とは一体となって拡張型時間離散カルマンフィルタを形成し、そのため、１つのループへとシーケンシャルに接続されている。

装置１０はフレームシーケンス１４を受け取るための入力３４を備える。図１から分かるように、第１修正手段３０は、この入力３４に接続された入力を有する。更新手段２８及び第２修正手段３２も、任意ではあるが入力３４と接続される入力を有しても良い。さらに装置１０は、符号器１２に対し、直接的又は任意のレート制御手段１８を介して双方向形式で接続されており、符号器１２又はレート制御手段１８に対してモデルパラメータの推定を提供し、現フレームを実際に符号化することで得られた実際の符号化レートを符号器１２から受け取る。これについては後段で詳細に説明する。

特に、更新手段２８は、時間離散カルマンフィルタの予測ステップを実行するよう構成され、その初期状態は、フレームシーケンス１４の先行フレームｋ−１のための時間離散カルマンフィルタの状態

から、フレームシーケンス１４の現フレームｋのための時間離散カルマンフィルタの予測状態

を取得するための、モデルパラメータのパラメータ推定を定義する。つまり、更新手段２８は、現フレームｋについての時間離散カルマンフィルタの反復ステップにおける第１ステップを実行するのであり、その目的で、先行フレームｋ−１に関する先行する反復の終端における最終状態、即ち

を受け取る。

後段でより詳しく説明するが、更新手段２８は、前記時間離散カルマンフィルタの予測ステップを実行する際に、恒等行列を状態遷移行列(state transition matrix)として使用し、その結果、予測状態

は、先行フレームｋ−１の最終状態

により定義されたパラメータ推定を採用する。同時に、更新手段２８は、前記最終状態と比較して予測状態の不確実性（uncertainty）を増大させる。その不確実性の値として、共分散行列を使用しても良い。具体的には、更新手段２８は、現フレームｋと先行フレームｋ−１との間の類似度を決定し、予測状態

の不確実性をこの類似度に依存する量によって増大させる。例えば連続するフレームｋ−１とフレームｋとの間に突然の場面変化がある場合には、これらのフレームは類似性を殆ど持たないことになり、先行状態

から現在のカルマン状態

を予測することによる不確実性の増大量は最大限に高まる。反対に、静的な場面では、更新手段２８の予測に基づく不確実性の増大量は、ゼロに近くなる可能性が高い。更新手段２８は、連続的なフレーム間の類似度を測定するために、任意の記述統計学的方法を用いても良い。類似度は、現フレームｋと先行フレームｋ−１との間において、これらのフレーム間の動きがその類似度を増大させ、及び／又はこれらフレーム間のその動きの除去／無視が伴われる方法で、決定されても良い。例えば、更新手段２８は、先行フレームｋ−１から予測された予測フレームを、現フレームｋとその予測フレームとの間の類似度を決定するために使用することもできる。予測フレームは、図１において破線矢印３６で示すように、符号器１２からもたらされても良い。符号器１２は、動き補償予測を使用してその予測フレームを決定していても良いが、しかし、現フレームを符号化するために最終的に使用された動き解像度よりも低い動き解像度において決定されていても良い。つまり、この予測フレームの基底にある動きベクトルは、現フレームｋを符号化するために最終的に使用された動きべクトルよりも低い解像度において、符号器１２により決定されていても良く、量子化された予測残余と共に、データストリームの中にサイド情報として導入されても良い。代替的に、シーケンス１４の中のフレームｋ−１以外のフレームが、参照フレームとして使用されても良く、このとき、現在の時刻ｔにあるフレームｋに近いフレームが好ましい。追加的に、フレームｋとフレームｋ−１との間の類似度であってその間に動き補償がないものが、この類似度の値を得るために使用されても良い。

時間離散カルマンフィルタについて公知であるように、各反復ステップは、更新手段２８により実行される予測ステップに続いて修正ステップを持つ。装置１０の場合には、この修正ステップは各反復について２回実行される。第１修正手段３０は、現フレームｋに関する反復の途中で１回目の修正ステップを実行する。特に、第１修正手段３０は現フレームの複雑度の値を決定し、決定されたその複雑度の値に依存する測定値を使用して時間離散カルマンフィルタの修正ステップを実行するよう構成され、その結果、予測状態

から第１次の修正済み状態

を取得する。第１修正手段３０は、前記複雑度の値を決定する際に、動き補償予測により決定された暫定的予測フレームと現フレームとの間の偏差を示す値、及び／又は現フレームのその中心傾向(central tendency)の周りにおけるサンプル値の分布を示す分散値を決定するよう構成されても良い。従って、破線矢印３８で示すように、第１修正手段３０はビデオ符号器１２から暫定的な予測フレームを受け取っても良い。実際、この暫定的な予測フレームは、破線矢印３６通じて更新手段２８が任意に受け取るものと同じであっても良い。上述したそれぞれの値についての例を以下に詳細に説明する。原則的に、偏差の値とは、範囲、平均偏差、分散、又はそられに類似する値でも良い。現フレームについての分散値についても、同じことが言える。これら統計学的な値の全てはブロック毎のベースのように局所的に決定されても良く、このとき対象となる複雑度のための最終ヒントとして、中心傾向の平均又は他の値を取っても良い。

さらに詳細には、実際のレート−量子化関数２０をできるだけ近く近似するために、第１修正手段３０はレート−量子化モデル関数２６に関するモデルパラメータを粗く予測するよう構成されている。この予測は複雑度だけに基いており、即ち時間離散カルマンフィルタの先行する状態を何も使用せず、現在の状態

からも独立している。勿論、この予測は非常に粗いが、第１修正手段３０は時間離散カルマンフィルタの修正ステップを、このように粗く予測されたモデルパラメータと、そのモデルパラメータの予測の結果と、の間の差に等しいある測定値を使用して実行しても良い。その予測の結果とは、先行フレームｋ−１について決定され、ある相関行列に適用された複雑度に基づいて、その先行フレームｋ−１について第１修正手段３０によって得られたものである。換言すれば、第１修正手段３０は、先行フレームｋ−１についてのレート−量子化モデル関数のモデルパラメータの粗い予測を、この先行フレームｋ−１のために決定されたそれぞれの複雑度に基づいて、以前の反復ステップの中で既に実行していたのである。修正ステップのためのそのような測定値を得るために、第１修正手段３０は、先行フレームｋ−１のこれらの粗く予測されたモデルパラメータをある相関行列へと適用し、この適用の結果と現フレームｋの粗く予測されたモデルパラメータとの間の差を決定しても良い。このように、第１修正手段３０は粗い予測のノイズのシーケンシャルな相関関係を考慮し、その結果、より良好な測定値を得ることができる。このとき、第１修正手段３０は、使用された相関行列を恒等行列から差し引いたものに等しいある測定行列を使用しても良い。この相関行列は、あるスカラψ_kを掛けた恒等行列であっても良く、第１修正手段３０は、現フレームｋと先行フレームｋ−１との間の類似性に依存して、そのスカラをセットするよう構成されても良い。第１修正手段３０は、その類似度を、矢印３６に関して上述したように、更新手段２８と同調して決定しても良い。

最後に、第２修正手段３２は、所定の量子化を使用して現フレームｋを符号化する際のビデオ符号器１２の実際の符号化レートに依存するある測定値を使用して、時間離散カルマンフィルタの修正ステップの２回目を実行するよう構成されている。換言すれば、第２修正手段３２は、第１修正手段３０から出力された第１次の修正済み状態

に対して追加の修正を実行することになる。ビデオ符号器１２が、その出力４０で出力するデータストリームの中へ現フレームｋを符号化する際に必要とする実際の符号化レートを得るためには、第２修正手段３２は、データストリーム自身を精査するか、又は代替的に、図１に矢印４２で示すようにビデオ符号器１２から別に符号化レートを受け取っても良い。ビデオ符号器１２が実際の符号化レート４２で現フレームｋを符号化するために使用した所定の量子化は、第１次の修正済み状態

のモデルパラメータによって定義されるレート−量子化モデル関数を使用して決定されたものであっても良い。ビデオ符号器１２は、所定の量子化の決定を符号器自身で実行しても良い。代替的に、任意のレート制御手段１８が所定の量子化を決定し、更に、このように決定された所定の量子化４４を使用してビデオ符号器１２を外部的に制御しても良い。例えば、レート制御手段１８は幾つかの符号化レートの制約に従う必要があることも有るが、第１次の修正済み状態

のモデルパラメータによって決定されたレート−量子化モデル関数に基づいて、最適な所定の量子化４４を探求する。最適な量子化とは、符号化レート又は何らかのコスト関数を、符号化レート及び符号化品質の両方に依存して最小化することにより定義されても良い。第２修正手段３２は時間離散カルマンフィルタの修正ステップを実行するが、このとき第２修正手段３２は、実際の符号化レート４２に依存する測定値を使用し、更に、モデルパラメータＸと、所定の量子化４４のためのレート−量子化モデル関数に従うビデオ符号器１２の符号化レートと、の間の関係の線形化されたバージョンであって、第１次の修正済み状態

において線形化された関係に依存する測定行列を使用する。さらに換言すれば、現フレームを実際の符号化レート４２で

のモデルパラメータを用いて符号化する際に、第２修正手段３２は、符号器１２により使用された所定の量子化でｆ（ｑ，ｘ）を線形化し、この線形化された関係は、第２修正手段３２により、時間離散カルマンフィルタの修正ステップの中で測定行列として使用される。第２修正手段３２により実行される第２修正ステップの結果は、２回の修正を受けた時間離散カルマンフィルタの状態を表し、従って、現フレームの実際のレート−量子化関数２０のより良好な近似のためのより良好なモデルパラメータの推定を表す。また、第２修正手段３２はこの２回の修正を受けた状態を、更新手段２８が次のフレームｋ＋１に関して実行する予測ステップのための参照状態として伝送する。

上段では図１の実施形態を比較的大まかに説明したが、後段では、図１の実施形態の可能性のある構成について、レート−量子化モデル関数の明確な例を挙げながら詳細に説明する。当然ながら、後段の詳細な説明は他のレート−量子化モデル関数に対しても容易に転用可能である。従って、他のレート−量子化モデル関数に関係する限り、後段の詳細な説明が、上述した実施形態の詳細な構成を表すことにもなる。同様に、後段の説明の中ではビデオ符号器１２をＨ．２６４符号器と仮定しているが、後段の説明は符号器のそのタイプだけに限定されるものではない。事実、後段の説明が他のビデオ符号器に対しても転用可能であることは、その記述から容易に推定可能である。

後段の詳細な説明における数学的記述を容易にする目的で、まずＲ−Ｑモデルの具体的な実施例を紹介し、このＲ−Ｑモデルのモデルパラメータが如何にしてダイナミック・システムの状態として解釈できるかについて説明する。このダイナミック・システムとは、時間離散カルマンフィルタが作動するシステムである。次に、カルマンフィルタの基本を示す。その後、Ｒ−Ｑモデルを決定するために有効な情報を後続の章において説明する。第ＩＶ章においては、モデルパラメータの正確な推定を得るために、この情報が修正カルマンフィルタによってどのように処理されるかについて説明する。第Ｖ章では幾つかの重要な注意点を記載する。第ＶＩ章では、推定アルゴリズムとの組合せにおける提案モデルの品質を証明する結果を提供する。これらの詳細な説明の中に点在するように、図１への参照が求められるが、これは、図１に示し且つこれまで説明した項目に対する可能性のある構成の詳細として、上段の詳細を関連付けるためである。後段における詳細は、図１の要素に対して個別に関係することに注意されたい。

Ｉ．Ｒ−Ｑモデル
通常は、実際のＲ−Ｑ関数を得るために、可能性のある全ての量子化パラメータを用いて１つのフレームを符号化することは不可能である。その代わり、量子化パラメータとレート制御に対するビットレートとの間の関係についての近似知識を提供する、モデルが使用される。

動き補償ビデオ符号化における時間的予測に起因して、１つのフレームのレート−量子化特性は参照フレームに使用された量子化パラメータに強く依存する。しかしこのため、近似モデルを見つけることはより困難となる。なぜなら、Ｒ−Ｑ曲線はもっと変化し易いからである。このような複雑性を回避するため、モデルはある一定の(constant)量子化手段に対して有効であると推定されている。つまり、Ｒ_k（ＱＰ）はＱＰで量子化されたフレームｋのためのレートであり、このとき参照フレームは同じ量子化パラメータＱＰで符号化されたと仮定している。

多数のモデルがテクスチャ／ソースビットとヘッダビットとを区別している（例えば非特許文献９を参照）。テクスチャビットは実際の画像データをモデル化するために使用されるビットであり、ヘッダビットは動きべクトル、予測モード及び量子化パラメータのような必要なサイド情報を供給する。しかし、このような区別は通常必ずしも必要という訳ではなく、また、モデリングの問題を簡単にする訳でもない。従って、ここで提示するレート−量子化モデルは、全レート（テクスチャビット＋ヘッダビット）を考慮したものである。

Ｈ．２６４／ＡＶＣにおいては、選択可能な量子化パラメータは、選択されたビット深度(bit depth)に依存する。以下に示すモデルは、可能性のある全てのビット深度についてのＲ−Ｑ関数を近似できる。従って、量子化パラメータＱＰは次式により定義される。

ここで、ビット深度オフセット（ＢＤＯ）は、
ＢＤＯ＝6・(bit_depth_luma-8)
として定義される。

Ａ．Ｒ−Ｑモデル関数
Ｈ．２６４／ＡＶＣ符号化されたビデオフレームのレート−量子化曲線Ｒ（ＱＰ）は、異なるフレームについてはかなり異なる様子を示すことがある。これは、高いビット深度及び高い量子化ステップサイズにおいて特に当てはまる。これらの曲線の全てを十分に近似できるようにするためには、頻繁に使用される二次関数（数式（２））は満足できるものではない。そのため、非特許文献７に記載されたようなより複雑なモデルが提案された。

ここで導かれるモデルは、Ｒ（ＱＰ）曲線は低い量子化パラメータにおいて線形又は二次関数に似ているという見解に基づくものである。反対に、高いＱＰ値においては、Ｒ（ＱＰ）曲線は通常は指数的な形状を持つ。図２はこの様子を図示している。

従って、学習的に決定された以下のピース毎の関数を、図１内のモデル関数２６として使用しても良い。

ここで、第１の区間は次の二次関数でカバーされ、

第２の区間は次の指数関数でモデル化される。

パラメータべクトルβはβ＝［ａ₁，ｂ₁，ｃ₁，ｍ，ａ₂，ｂ₂，ｃ₂］及びＮ＝５１＋ＢＤＯとして定義される。表記法的に簡素化するために導入された、実際の量子化パラメータＱＰとモデルパラメータｑとの関係は、次式となる。

つまり、ｑはＢＤＯの分だけシフトされた実際の量子化パラメータＱＰを表すだけという意味になる。

モデルｆ(ｑ，β)は常に１画素当たりのビットのレートを表すことに注意されたい。期待されるビットの実際の個数を得るために、ｆ(ｑ，β)は単純にフレーム又はスライス内の画素数（ＮＰ）によって掛け算されなければならない。従って、Ｒ−Ｑ関数は次のようにモデル化される。

パラメータａ₁，ｂ₁，ｃ₁，ａ₂，ｂ₂，ｃ₂及びｍは、関数をレート−量子化曲線へとフィットさせるために使用される。第１区間が終了して第２区間が開始する位置ｍ（量子化パラメータ）は、それ自身が調整可能であることに注意されたい。この点は有利である。なぜなら、（遷移点が数式（１０）に記載の曲線フィッティングを使用して決定された）図３に示すように、二次モデルと指数モデルとの間の遷移点の位置は、異なるシーケンスにおいては非常に異なる可能性があるからである。

ｆ(ｑ，β)は平滑であるべきことから、それは連続的に微分可能であることが求められる。従って、βについては次式を満たす値だけが許可される。

これに従えば、ａ₁＝exp（ａ₂）及びｂ₁＝ｂ₂・ａ₁である。つまり、数式（４）により与えられた関数をフレームの実際のレート−量子化曲線へとフィットさせるために使用できる、自由に選択可能なパラメータは現実には５個しかないことになる。

図４では、二次モデルの近似品質が、モバイルシーケンスのフレームの例示的なＲ−Ｑ曲線について今回提案されたモデルと比較される。二次のモデル及びその今回提案されたモデルのパラメータは最小二乗法を用いて決定されたことに注意されたい。図から、今回提案されたモデルは、レート−量子化関係を非常に良好に近似できることが分かる。完全ではないが、二次モデルもまた合理的に見える。しかし、図５から分かるように、対応する絶対誤差はかなり大きい。今回提案されたモデルの潜在的な正確性には、それが多少複雑であるという欠点がある。これは、そのパラメータを高い信頼性で推定することはより困難であることも意味する。事実、単純なモデルのパラメータは急速かつ高い信頼性で予測できる（非特許文献６を参照）。しかし、モデルは量子化手段の領域の全体について有効でなければならない。しかも、後続の章で説明するように、高い品質でパラメータを推定することは依然として可能である。更に、そのようなモデルは通常、フレームの（及び恐らくスライスの）レイヤにおいてのみ意味を持つため、必要とされる追加的な演算は微々たるものである。

Ｂ．近似
数式（４）により与えられたモデルは、実際のＲ（ＱＰ）関係を適切に近似するであろう。ＱＰ領域の全体のための適切なモデルを得るために、本発明の発明者らは、小さな絶対近似誤差よりも、小さな相対近似誤差を持つことの方が重要であることを発見した。まず対数変換を行い、次に最小二乗法を使用することで、許容可能な相対誤差を達成することができた。従って、最適なパラメータべクトル

は次式により定義される。

ここでは、数式（９）に従って有効べクトルだけが考慮されると想定される。相対誤差の方がより重要であることを考慮に入れるため、ある対数変換が適用される。

確かに、

により与えられるモデルは、実際のＲ−Ｑ関数Ｒ（ＱＰ）の非常に正確な近似であることが発見された。この点は、モデルパラメータが前述した方法に従って決定された、図６に示す例によっても証明される。この図６は、相対誤差が全てのＱＰについて同様に保たれる、即ち、近似品質は全てのドメインにおいて良好であることを示している。

モデル

は実際のＲ−Ｑ関数を非常に良好に近似するが、しかし、いくらかの誤差が残っている。この点は次式で表現できる。

ここで、近似誤差

は、ゼロ平均及び分散

によって正規分布される。即ち次式となる。

Ｃ．状態の公式化
数式（１０）に従い、各フレームｋについて適切なパラメータべクトル

を見つけることができる。この

を使用して、モデル

は対応するフレームのレート−量子化特性Ｒ_k（ＱＰ）を近似的に記述する。ここで、

がべクトルｘ_kにより表現できると仮定すると、このべクトルｘ_kはフレームｋのＲ−Ｑモデルの状態として解釈することができる。ここで、以下に示すｘ_kの定義を選択する。

実際、その状態として

を選択することも可能である。しかし、このように選択した理由は、使用されたモデル関数が独立パラメータを５個しか持っていないために、ｘ_kのサイズが５×１に過ぎないからである。更に、この選択が粗い結果をもたらし、パラメータａ₁，ｂ₁，ｃ₁及びａ₂，ｂ₂，ｃ₂の相対的に容易な計算を可能にする。

の対数をとることで、モデル関数が正の領域ｆ(q,x)≧０を持つことが保証される。

表記上の簡素化のために、この章では時間に関する下付き文字ｋを以後省略する。即ち、ｘ₁はベクトルｘの第１要素である。関数パラメータは状態ベクトルｘから以下のように決定される。

従って、Ｒ−Ｑモデル２６は状態に関して以下のように書き換えることができる。

但し、

及び

である。

Ｄ．モデルの制約
自明であるが、レート−量子化モデルは量子化パラメータの全ての領域において正でなければならない。更に、ＱＰが増加するにつれて、単調に減少しなければならない。最後に、現実的には完璧に正しいとは言えないが、レート−歪み関数は凸状でなければならない。この制約は、ビデオ符号化の幾つかのアルゴリズムのために必要であり（非特許文献１５を参照）、更に、レート−歪み理論（非特許文献１）に従うものである。従って、ｘは次式を満たす必要がある。

数式（１６）、（１７）に含まれる指数により、及びｆ'(q,x)≦０の仮定により、ｆ(q,x)≧０が保証される。残りの制約は以下のように示すことができる。

ここで、最初の２つの不等式によりｆ'(q,x)≦０が保証され、後の２つの不等式によりｆ''(q,x)≧０が保証される。

II.カルマンフィルタ
後段でも説明するように、Ｒ−Ｑモデルのための最適なパラメータを発見するという問題は、ダイナミック・システムの状態を決定するという問題として考えることができる。線形ダイナミック・システムの最適な状態は、カルマンフィルタを使用して発見することができる。従って、カルマンフィルタは第ＩＶ章において提示するモデルパラメータ推定アルゴリズムの基礎でもある。そのため、この章の残りの段落においてカルマンフィルタの基礎について説明する。

線形離散時間システムは次式にて記述でき、

測定式は

であり、ここで、ｗ_kは処理ノイズ(process noise)であり、ｖ_kは測定ノイズ(measument noise)であり、これらの両方が白色、ゼロ平均、無相関であり、共分散

をそれぞれ持つ。べクトルｘ_kはシステムの状態を表し、Φ_k-1は状態遷移行列であり、Ｈ_kは状態を測定ｙ_kへと関連付ける。そのようなシステムのために、最適な状態

が離散時間カルマンフィルタ・アルゴリズムを適用することで見つけられる。

Ａ．離散時間カルマンフィルタ
上述した形式の線形離散時間システムを解くために、離散時間カルマンフィルタ（導出方法については非特許文献１７を参照）を使用することができる。それは各時間ステップ又は反復ｋについて以下の演算を含む。
１）予測（状態及び共分散伝播(Covariance Propagation)）

２）修正（状態及び共分散更新）

Ｂ．シーケンシャルなカルマンフィルタ処理
カルマンフィルタは、時間ｋにおいてｒ個の別々の測定が存在すると仮定している。つまり、ｒ×１測定べクトルｙ_kが存在し、これが数式（２５）における修正に使用される。しかし、全ての測定を一度に処理する必要はない。代わりに、一つずつ処理することも可能である。これが図１に示すシーケンシャルなカルマンフィルタの考え方である。つまり、最初にｙ_0kが処理され、次にｙ_1kが処理されるというような調子で、全てのｒ個の測定が考慮される。この方法はカルマンフィルタ修正式をｒ回演算することを必要とするが、しかし、この方法は非常に有用であると言える。なぜなら、数式（２４）における逆が単に割り算となるからである。即ち、行列反転(matrix inversion)が必要でないからである。

もし測定ノイズ共分散行列Ｖ_kが対角行列である場合には、シーケンシャルなカルマンフィルタは特に有益となり得る。Ｖ_kの他のタイプについては、追加的で時間が掛かる演算が必要となるかもしれない。そのような場合には、従来のバッチアルゴリズムの方が通常は適切である。シーケンシャルなカルマンフィルタのより詳細な説明は、非特許文献１７に開示されている。

Ｃ．有色測定ノイズ
時には、測定を損なわせるノイズがシーケンシャルに相関付けられる。即ち、

で示され、ここで、ζ_kは共分散

を持つゼロ平均白色ノイズである。

上述したように、標準カルマンフィルタはノイズｖ_kを白色と想定している。この問題を解く２つの一般的な方法がある。状態の増加(augmenting)による方法と測定差別化(measurement differencing)による手法である（非特許文献２、３を参照）。後段で説明するように、本発明で考慮するこの問題への好適な手法は、非特許文献１３においてペトヴェロ(Petovello)等が提案した測定差別化の手法を少し修正したバージョンである。

非特許文献３においてブリソン(Bryson)とヘンリクソン(Henrikson)が提示した測定差別化の手法は、新たな測定べクトルｙ'_kを次式で定義する。

数式（２１）を（２９）に代入すると、次式がもたらされる。

非特許文献１３に従って、数式（２０）を次式のように整理する。

これを数式（３０）に代入すると、次式となる。

数式（２７）を使用して、この式（３２）を

に置き換えることができ、ここで、

である。

補助の測定ベクトルｙ'_kのノイズｖ'_kは、もはやシーケンシャルに相関付けられない。即ち、

となり、ここで、δ_kjは次式で定義されるクロネッカー・デルタ関数(Kronecker-Delta)である。

及び

新たな測定ノイズｖ'_kと処理ノイズｗ_k-1との間に導入される相関関係は、次式となる。

この相関関係は、妨害入力(disturbance input)と測定ノイズとの間のクロスの相関関係を考慮する一般的な離散カルマンフィルタによって、取り扱うことができる（非特許文献１７、２０を参照）。

Ｄ．拡張カルマンフィルタ
拡張カルマンフィルタは、測定及び状態が非線形な様子で関係している場合、即ち、

の場合に使用できる。

拡張カルマンフィルタの考え方は、現時点の状態

の周囲の測定式を線形化することである。

次式を設定すれば、

次式が得られる。

この線形近似はカルマンフィルタによって取り扱うことができる形式である。

III. 測定
ここで、Ｒ−Ｑモデルのパラメータを決定するために次の章で使用される測定について説明する。１番目は、あるフレームを符号化することがどの程度複雑かを示すいわゆる複雑度の値である。これらは、修正手段３０によって決定され、使用される。２番目は、符号化後に得られるビットレートであって、現時点のモデルの推定誤差を示すものである。これらは修正手段３２によって決定され、使用される。

Ａ．複雑度の値
フレームを符号化する前に修正手段３０によって計算できる、様々な統計上の値が存在する。その中には、平均値、分散（σ²）、及び予測と実際のフレームとの間の平均二乗差(mean squared difference)（Δ）が含まれる。後者は、符号器１２などの中で少なくとも粗い動き検出が行われた場合にだけ有効となる。代替的に、複数のレート−歪みモデル推定の手法において使用されている、一般的なＭＡＤ（平均絶対差）を差の値として使用することも可能である。

更に、これらの値の変形、即ち平均対数分散（σ_log ²）及び平均対数差（Δ_log）を使用することもできる。後者２つの利点は、はずれ値（例えば適切に予測できないマクロブロック）が最終値に対してあまり大きな影響を与えないことである。

分散のような値とは異なり、予測差の値は明らかに最終フレームの符号化に依存する。つまり、もし最終フレームが非常にまずく符号化されていた場合には、たとえ元の２つのフレームの間に何の変化が無い場合でも予測誤差が発生してしまう。このような依存性を克服するために、参照フレームの歪みに起因する悪影響が、測定された予測差から除去されなければならない。これは、分散に加え、ＱＰ及び参照フレームの歪みをも考慮に入れることで、略可能となる。その結果は、元のフレームが参照フレームとして使用された場合に得られたであろう予測差の値の推定と丁度同じになる。

上述した複雑度の値は、対応するフレームの符号化特性を示すこともできる。つまり、これら複雑度の値とレート−量子化モデルのパラメータとの間にはある関係があるという意味である。従って、修正手段３０がレート−量子化モデルのパラメータ又は状態を推定することは可能であり、それぞれ次式で得られる。

関係ｈ_i，ｈ_pは、種々のシーケンスについてのレート−量子化関係を計算することで経験的に得られたものである。現フレームが新たな場面の１番目のフレームであるとき、即ち、Δ及びΔ_logが非常に大きいときに、ｈ_pは合理的な推定をもたらすことにも注意すべきである。

状態推定

を使用して、フレームｋについての以下のような測定式を公式化できる。

ここで、５×１のべクトルｖ_kは予測誤差又はノイズとして考慮することができる。数式（４４）に記載した経験的な導出に従えば、

が想定可能となる。

は状態の推定であるから、行列Ｈ_kは丁度恒等行列となる。即ち、

となる。

通常は、予測誤差ｖ_kは時間において高い相関関係がある。その理由は、複雑度の値は、レート−量子化特性と同様に、後続のフレームに対して類似的となるからである。つまり例えば、予測状態

がそのフレームｋの複雑度を過小評価している場合、フレームｋ＋１について予測された状態

もまたその複雑度を過小評価していることを意味する。従って、ｖ_kは実際に有色ノイズであり（第II−Ｃ章と比較されたい）、即ち

であり、ここでζ_kは時間的に無相関であり、ゼロ平均及び分散Ｚ_kで正規分布している。つまり、

であり、Ｚ_kは経験的に決定されたものである。簡素化するために、５×５の相関行列Ｙ_kを次式で定義した。

ここで、スカラは０≦ψ_k≦１である。つまり、全てのパラメータ

について同じ相関関係ψ_kが想定される。この点は合理的である。なぜなら、相関関係は最後及び現フレームとの間のＲ−Ｑ特性の変化の量（全てのパラメータについて同じである）に依存するからである。場面変換の場合には、例えばψ_k＝０となる。

図７には、パラメータｘ₁（状態べクトルｘの第１の要素）について、予測誤差のシーケンシャルな相関関係が図示されている。図から分かるように、予測

は常に実際値を過大評価している。そのため、誤差

はシーケンシャルな相関関係を持つ。数式（４７）を使用すれば、その相関関係を除去して残りの白色ノイズを抽出することが可能になる。

（全ての状態パラメータが同じ複雑度の値から予測されているために）完全に正しい訳ではないが、予測されたパラメータ同士の間にはクロスの相関関係がないと想定される。即ち、Ｚ_kは対角行列である。この点は、各測定をシーケンシャルに行うことで、カルマンフィルタの式を演算量から見て（行列反転を含まずに）効率的に計算できるという利点をもたらす。

Ｂ．符号化ビットレート
１つのビデオシーケンスの連続するフレームは、一般的に非常に似通ったものである。従って、近接するフレームのＲ−Ｑ特性には高い相関関係がある。つまり、フレームｋにおけるモデルがより正確であればあるほど、フレームｋ＋１についてのモデルもより正確に推定できることになる。従って、たとえフレームｋが既に符号化されていた場合でも、図１における第２修正手段がフレームｋのモデルを更新することには意味がある。

結果として、量子化パラメータＱＰ_kを用いてフレームｋを符号化した後で測定されたビットレートＢ_kは、Ｒ−Ｑモデルを修正するためのフィードバックとして使用される。もし参照フレームが異なる量子化パラメータを用いて符号化されていた場合には、このレートはＲ_k（ＱＰ_k）（もし参照フレームもＱＰ_kを用いて符号化されていた場合には測定されていたであろうレートのこと。第Ｉ章を参照）から逸脱するかもしれない。しかし、モデルは実際のＲ−Ｑ曲線Ｒ_k（ＱＰ）を近似しなければならないため、新たなビットレート

は以下のように定義される。

ここで、関数γ_kの目標は、実際に測定されたレートＢ_kからＲ_k（ＱＰ_k）をできるだけ良好に推定すること、即ち、γ_k（Ｂ_k,ＱＰ_k）≒Ｒ_k（ＱＰ_k）である。単純な選択としては、γ_k（Ｂ_k,ＱＰ_k）＝Ｂ_kである。即ち、時間的な依存性を無視し、且つ測定されたレートだけを使用することである。しかし、主な参照フレームの統計上の値と量子化パラメータに基づいて、

を計算することも可能であり、これはＲ_k（ＱＰ_k）により近いものである。このレート

は次にモデルを修正するために使用可能である。数式（１１）に従えば、以下のような関係がビットレートと状態の間に存在する。

この式は複数のフレームからなる１つのシーケンス（フレーム毎に１つの特定のＱＰ）についてのモデルと実際のＲ−Ｑ関数との間の誤差を考慮しており、他方、数式（１１）は様々なＱＰ（但し１つのフレームのみ）に関するモデルと実際のＲ−Ｑ関数との間の誤差を考慮していることに注意されたい。

上述したように、誤差ｕ_kはモデルがＲ−Ｑ曲線を完全に表現することができないことを示すものである。参照フレームとは異なる量子化に起因する誤差は、ｔ_kによってモデル化される。もし参照フレームもＱＰ_kによって符号化されていたならば、この誤差は明らかにゼロとなる。実質的に、ｕ_k及びｔ_kを

の中へと組み込んでしまい、それをゼロ平均及び分散

を持つランダム白色ノイズと考えることが適切である。即ち次式となる。

IV．モデルパラメータ推定
多くの文献の中では、二次のＲ−Ｑモデルのパラメータは線形最小二乗によって決定されるようである。しかしカルマンフィルタは、ある程度（再帰的）線形最小二乗に類似しているが（非特許文献１９を参照）、この特別な問題については幾つかの決定的な長所を有している。これらは、主に変形に対する固有の適応能力と、不確実性（ノイズ）の考慮と、複数の測定を合体させる可能性とである。

上述したように、ビデオフレームのレート−量子化特性は、場面変化を除き、時間において高い相関関係を持つ。つまり、１つのフレームのＲ−Ｑ関数は、次のフレームのＲ−Ｑ関数に通常は似ている。その結果、この相関関係を利用して、モデルの正確さを向上させることができる。しかし、当然ながら、ビデオ及びそのレート−量子化特性はダイナミックである。つまり、通常はゆっくりと、時間とともに変化する。当然ながら、モデルは変化したＲ−Ｑ関係に対して適応しなければならない。

従って、Ｒ−Ｑモデルの推定の問題は、以下のようなダイナミック離散時間システムの状態を推定するという問題として考えられる。

状態べクトルｘ_kは第Ｉ−Ｃ章で定義されたＲ−Ｑモデルのパラメータを表す。１つのフレームから次のフレームへのＲ−Ｑ特性の決定的な変化がないことから、状態遷移行列Φ_kは恒等行列である。即ち、

である。

処理ノイズｗ_kは次式で定義される。

ここで、妨害ノイズ共分散行列Ｑ_kは、最後の状態が現フレームに対しても影響を与える不確実性をモデル化している。

数式（５２）によって与えられ、数式（４５）及び（５０）の測定を備えるダイナミック・システムの状態の最適な推定を見つけるために、装置１０は離散カルマンフィルタの修正バージョンを構成している。この修正カルマンフィルタとそれに含まれたデータの原理的な働きが、フレームｋについて図８に図式化されている。個々のアルゴリズムステップの詳細な説明を以下に述べる。

つまり、図８は、後段で説明する具体的な構成に従って図１の要素が実行するステップを示している。この構成に従えば、要素２８、３０、３２が拡張カルマンフィルタを実現する。

Ａ．予測
図８に示す現フレームｋに関する一巡のアルゴリズムの第１のステップは、例えば更新手段２８によって実行される予測ステップ５０である。

予測ステップ５０において、最終フレームの修正済みの状態と共分散行列とは、時間上の現フレーム、即ち現フレームｋのためのそれらを予測するために使用される。数式（２２）と（２３）の中に数式（５３）を適用すれば、次式が得られる。

この式から分かるように、更なる情報がないときには現フレームｋについての状態の最適な推定は、ちょうど最終フレームｋ−１の事後的状態推定(posteriori state estimate)となる。しかし、状態の不確実性はＱ_k-1により増大している。

これらの演算式（５５）及び（５６）は、予測ステップ５０内の更新手段２８によって実行される。

Ｂ．修正
上述したように、図８の修正カルマンフィルタ・アルゴリズムの修正は２つの修正ステップ５２と５４とに分かれ、それぞれ第１修正手段３０と第２修正手段３２とにより実行される。

このステップ５２及び５４の段階で、状態を修正するために測定が使用される。第III章で説明したように、測定には２つのタイプがある。複雑度の値から予測された状態と、符号化の後で得られるビットレートである。通常は、全ての測定は測定べクトルの中に組み込まれ、状態を更新するために使用される。しかし、この場合には、複雑度の値から予測された状態は実際にフレームを符号化する前に有効であり、他方、ビットレートはその後にだけ有効である。しかし、符号化の前に良好なレート−量子化モデルを持つことは重要である。なぜならそのモデルは、量子化パラメータを決定するために、制御手段１８等のレート制御手段によって使用できるからである。明らかに、モデルとレート制御は、もし複雑度の値を符号化の後にだけ考慮した場合と同様には良好とはいえないであろう。そのため、従来のカルマンフィルタとは違い、この修正段階は２つのステップへと分割された訳である。第１のステップ５２では複雑度の値が、第２のステップ５４ではビットレートが、状態を更新するために使用される。

このような分割は第II−Ｂ章に説明したシーケンシャルなカルマンフィルタに従って実際に可能である。更に、２段階の修正は容易に利用することができる。なぜなら、予測状態ｖ_kの要素の誤差と測定されたビットレート

の誤差との間において、何も修正が想定されていないからである。即ち、

２つのタイプの誤差は完全に異なる欠点から発生しているため、このような想定は適格である。予測状態の誤差は複雑度の値の予測における限界に起因しており、他方、測定されたレートの誤差はモデルが実際のＲ−Ｑ関数へと完全にはマッチできないことに起因する。つまり、これら２つのタイプの測定の間における相関関係は殆ど無いという意味になる。確かに、実地試験では、予測状態と測定ビットレートとの間における有意な修正は見つかっていない。

１）修正ステップ１：修正手段３０により実行される第１の修正ステップ５２は、第１修正手段３０による複雑度の値

を決定するステップ５６を含む。上述したように、最適な決定には、符号器１２がフル・ペル動き推定(full pel motion estimation)を実行するなどして粗い時間的予測５８を実行し、先行フレームｋ−１から現フレームｋを予測することが含まれていても良い。符号器１２は必ずしも直前に符号化されたフレームを参照フレームとして使用する必要はないことに注意すべきである。参照フレームは、現在の時間シーケンスにおける直前のものに限られてはいない。符号器１２は参照インデックスを選択する自由を有している。即ち、先行するいずれの符号化済フレームを参照フレームとして指標化しても良い。次に、第１ステップ５２において、複雑度の値

から数式（４４）に定義されるように予測された状態が、現フレームに関するＲ−Ｑモデルの推定品質を向上させるために使用される。予測誤差のシーケンシャルな相関関係に対処するため、第II−Ｃ章で説明した測定差別化の手法が使用されても良い。数式（２９）に従い、補助的な測定ｙ'_kが以下のように定義される。

数式（５３）及び（４６）を数式（３４）へと挿入すれば、以下のような新たな測定行列Ｈ'_kができる。

このステップのためのカルマン・ゲインＫ'_kは次式となり、

ここで、

となる。

これは数式（４６）及び（５３）をそれぞれ数式（３８）及び（３９）内で使用することで得られたものである。数式（６０）は、非特許文献１７及び非特許文献２０に開示されたように、クロスの相関関係を持つ妨害及び測定入力の場合におけるカルマン・ゲインのための数式に過ぎないことに注意すべきである。このカルマン・ゲインＫ'_kを使用して、その状態を更新することで以下のような中間状態の推定

を得ることができる。

同様に、このステップのための処理ノイズ共分散の更新は次式となる。

つまり、第１修正手段３０は数式（５８）を演算して測定値ｙ'_kを取得し、更に、数式（５９）に従う測定行列を設定し、かつ数式（６０）及び数式（６１）に従うカルマン・ゲインを設定することで、数式（６２）に従うカルマン状態と数式（６３）に従う関連する不確実性とを一緒に修正しても良い。

２）修正ステップ２：第１の修正ステップ５２の結果は第１次の修正済み状態

であり、上述したように、このモデルパラメータの推定は、例えばレート制御手段１８又は符号器１２自身の何らかの内部的な要素（この代替案については図１内に図示していない）によって、符号器の符号化レートを制御するために使用されても良い。このレート制御ステップは図８内では参照符号６０で示される。特に、ステップ６０は、

によって決定されたレート−量子化モデル関数に基づいて現フレームｋを符号化するための所定の量子化ＱＰ_kを選択することを含む。実際の符号化は、この所定の量子化を使用して、ステップ６２において符号器１２によって実行される。その結果、選択された所定の量子化ＱＰ_kを使用することで得られた実際の符号化レートＢ_kが既知となり、第２の修正ステップ５４において使用することができる。このステップ５４では、符号化の後で得られたビットレートが、Ｒ−Ｑモデル２６のためのフィードバックとして使用される。つまり、その状態は関係（５０ｂ）に従って修正されるという意味になる。この関係は（log（ｆ（ｑ，ｘ））のために）非線形であることから、拡張カルマンフィルタ（第II−Ｄ章を参照）が使用され、それに従えば、現時点の状態

の周囲の測定の方程式は次式のように線形化される。

ここで、

を

における（ｆ（ｑ_k，ｘ））の勾配と定義する。

すると、数式（６４）は次式に書き換えることができる。

この式の左側を数式（２５）における測定として使用すれば、このステップのための測定更新は次式となる。

カルマン・ゲイン

と更新済みの共分散行列Ｐ_k ⁺とは、一般的な数式（２４）及び（２６）に従って計算される。即ち、

つまり、第２の修正手段３２は、数式（６５）に従い、使用された量子化ｑ_kにおけるレート−量子化モデル関数ｆとモデルパラメータの第１次的に予測された状態

とを線形化して測定行列を取得し、更に、数式（６７）を計算してカルマン状態を更新し、数式（６９）を計算して対応する不確実性を数式（６４），（６６）及び（６８）に従って更新する。

数式（５０ａ）及び（５０ｂ）に関して説明したように、第２修正手段３２は以下のように構成されても良い。即ち、測定値はビデオ符号器１２の測定された符号化レート４２に依存し、その依存方法は、現フレームｋを符号化するときに使用された所定の量子化ｑ_kと以前に符号化された参照フレームをビデオ符号器１２が符号化するときに使用された別の量子化との間の関係に依存するものである。この参照フレームとは、その再構成されたバージョンから、ビデオ符号器１２が動き補償予測によって現フレームを予測した元のフレームのことである。

図８についての上述の説明の中では、更新手段２８が何らかの方法で妨害ノイズ共分散行列Ｑ_kを予測しなければならず、更にその行列は第１修正手段３０に適用され、この第１修正手段３０は測定ノイズ共分散行列Ｚ_k及び

を追加的に選択する必要があるという点について、説明を省略して来た。次章Ｃでは、その可能性のある選択と、更に相関行列Ψ_kについての可能性のある選択について説明する。

Ｃ．推定の制御
異なる有効な情報の適切な融合は、Ｑ_k、Ｚ_k、

及びΨ_kによって制御される。これらの行列は、測定の中の不確実性と状態とをモデル化する。それらを適切に選択することで、状態の合理的な推定と、レート−量子化モデルの合理的な推定とを得ることができる。都合良いことに、ビデオフレームのＲ−Ｑ特性の可変性によって、それらは全てのフレームに対して適合できる。

行列Ｑ_k-1は、

もまたフレームｋについての良好な推定であるという不確実性を表す。この不確実性は１つのフレームから他のフレームへの符号化特性の変化に起因する。つまり、もし２つの連続するフレーム（及びそれらに対応する関数）が非常に異なっている場合、不確実性の増加が高くなる。反対にもし２つのフレームが略同一であれば、最終フレームの状態は現フレームに対しても適切である可能性が高い。同様に、パラメータ推定

との間の相関関係、及びΨ_kとＺ_kとの適切な選択もまた、１つのフレームから次のフレームへのＲ−Ｑ関係における変化量に依存すると考えることができる。

仮に、フレームｋ−１からフレームｋの間で場面変化が起こった場合を例として想定する。この場合、処理ノイズ共分散行列Ｑ_k-1の主対角要素は無限大となり、状態における不確実性はなくなってしまう。これは、場面変化を超えるフレーム間のレート−歪み特性が無相関であることから、必然的である。同様の理由によって、そのような場合における相関関係パラメータΨ_kはゼロとなり、Ｚ_k＝Ｖ_kとなることが結論付けられる。従って、もし場面変化がある場合には、全ての時間情報が無視され、複雑度の値から予測された状態

が可能性な限りの最適な状態となる。

の値はＲ−Ｑモデルの変化に直接的には依存していない。仮にそれがモデル関数と実際のＲ−Ｑとの間の誤差をモデル化するだけであるとすれば、関係

は一定に保持することができるであろう。しかし、それはまた、Ｒ_k（ＱＰ_k）からの

の可能性のある偏差をもモデル化しなければならないため、参照フレームが他のＱＰを用いて符号化された場合には、この

の値も都合良く増大することができる。

Ｖ．所見
図８に示すように、レート制御６０は、第１修正ステップ５２の後で得られた状態推定に基づくレート−量子化モデルを使用する。つまり、レート制御は、

が量子化パラメータとフレームｋのレートとの間の関係を表すと想定している。

連続するフレームの近似誤差において相関関係がないと想定することは（数式（５１）を参照）、現実に幾つかの顕著な結果をもたらす。もし常に同様なＱＰが符号化のために選択されている場合には、使用される量子化パラメータの領域内においてモデルはさらに正確性を増すであろう。つまり、モデルは全体のＱＰ領域に亘って最適とは言えないが、現時点で使用されているＱＰ値の周囲では良好である可能性が高いという意味になる。レート制御によって考慮されるＱＰ値の領域は狭い場合が多いため、このような特性は非常に有益である。反対に、もし可能性のある全ての領域［−ＢＤＯ，５１］からのＱＰが使用される場合には、モデルは数式（１０）の意味において包括的に最適となるであろう。即ち、モデルは全ての量子化パラメータについて同じ推定品質を持つことになる。つまり、モデルの正確性がＱＰ選択動作に対して自動的に適合することになる。

修正と予測との両方、及び推定されたモデルは、現フレームの符号化が先行フレームの符号化に依存していないと想定している。しかし、第Ｉ章で説明したように、これは真実ではない。実際に作動するレート−量子化曲線と推定されたレート−量子化モデルとの間の偏差もまた、モデル化できる。しかしこの点は、正確なビットレートを知る必要がある場合にのみ重要となる。もしビットレートが長期においてのみフィットする必要がある場合には、生のレート−量子化モデルが現実的には十分であるか、又はより良好な情報を与える。

第ＩＩ−Ｃ章で説明したものとは別に、シーケンシャルな相関関係がある測定を取り扱う他の方法、例えば状態付加(state augmentation)や従来の測定差別化法なども存在する。状態付加の手法は１０×１０の行列演算を含むために計算能力上不安定である一方で、従来の測定差別化の手法はシーケンシャルに適用することが困難である。第ＩＩ−Ｃ章で使用された手法の欠点は、通常は状態遷移行列Φの逆転を必要とするという点である。しかし、この場合には、Φ^-1＝Ｉ^-1＝Ｉとなるため、これは問題とならない。

同様に、拡張カルマンフィルタだけが非線形システムを取り扱う方法という訳ではない。例えば非特許文献１７を参照すれば、他の手法が開示されている。しかし、拡張カルマンフィルタは、本件で考慮した具体的な問題には適切であると考えられる。その理由は、演算上の簡易さであり、線形化の誤差にもかかわらず適切な結果をもたらすという事実である。

非常に稀ではあるが、カルマンフィルタによってリターンされた更新済みの状態が数式（１９）の１つ又は複数の制約を破る場合も起こり得る。その場合には、非特許文献１６に記載の制約付きカルマンフィルタ処理の手法の１つを使用して、有効な状態を得ることができる。

測定は行列の逆転を必要とせずにシーケンシャルに処理されることが可能であることに注意されたい。加えて、多くの行列がまばら及び又は対称的である。この点は処理時間を短縮させる目的で利用可能である。

Ｉピクチャのレート−歪み特性はＰ又はＢピクチャのそれとは異なる。そのため、Ｉピクチャについての測定が時間的に予測されたピクチャに関するレート−量子化モデルを更新するために使用されるべきではない。

フレームのレート−量子化特性は、ピクチャ・タイプと参照フレームまでの時間的距離とにも依存する。例えばもしフレーム予測構造ＩｂＢｂＰｂＢｂＰが使用された場合、ＰフレームのＲ−Ｑ関係はｂフレームのそれとはかなり異なる。そのような場合には、各ピクチャ・タイプについてアルゴリズムの一例（先述の例では４個）がなければならない。一例では状態推定

と対応する誤差共分散行列Ｐとを含む。当然ながら、この場合のインデックスｋ−１は同じタイプの先行して符号化されたフレームを指している。換言すれば、図１の装置１０は、それが操作しているフレームシーケンスが、特定の予測タイプのフレームだけを含み、ビデオシーケンス１４の異なる予測タイプのフレームを含まないという点で、ビデオシーケンス１４の適切なサブセットであるよう構成されている。複数の装置１０が並列に設けられ、それぞれが異なる予測タイプに対応していても良く、又は、１つの装置が異なるカルマン状態及び関連する不確実性を処理してもよい。即ち、各予測タイプについて１つのペア（カルマン状態及び不確実性）を処理しても良い。

ＶＩ．結果
提案モデルの潜在的な正確性を示す目的で、種々のシーケンスのフレームについて実際のレート−量子化曲線Ｒ（ＱＰ）を計算した。その後、二次モデル及び提案モデルを測定されたＲ−Ｑ関数に対してフィットさせた。比較できる値を得る目的で、このフィッティングは数式（１０）に従って両方のモデルについて行った。平均近似誤差は次式のように計算した。

ここで、Ｍは考慮されたフレームの個数を示す。二次モデル（二次モデルは通常は８ビットの場合のみについて定義されている。１２ビットの場合については単純な拡張であると考えられるものを使用した）（数式（１））と、提案モデル（数式（４））に関する種々のシーケンスについての結果をまとめると、表１になる。

この表から分かるように、特に１２ビットのサンプル深度において、提案モデルの方が二次モデルに比べて明らかに性能が優れている。

提案推定アルゴリズムの印象を得るために、例示的な特性を図９に示す。２つの連続したフレームのレート−量子化特性の間にこれ程大きな差異が存在することは、むしろ例外的であることに注意されたい。しかし、明示する目的においては、良い例と言える。図から分かるように、修正ステップ１は、現フレームが最終フレームよりも符号化が複雑であることを既に認識している。しかし、測定されたレートは、

が現実のレート−量子化特性を依然として過小評価していることを示している。従って、修正ステップ２では、モデル関数を更に高めに導く。修正済みのＲ−Ｑ曲線が修正に使用されたサンプルを正確に通過している訳ではないことに注目されたい。その理由は、（ビットレートはフレーム毎に振れることが多いため）モデルの振動を防ぐ

を使用しているからである。

図１０及び図１１は、他の観点から見た推定を示す。ここでは、低い遅延シナリオにおけるＲ−Ｑモデルを例示的に使用する。レート制御は与えられた目標レート（この場合では各フレームに５００キロビット）をもたらすＱＰを見つけるべく動作する。つまり、最適なＱＰは次式となる。

であるから、このレート制御では、

が最小化される量子化パラメータが使用される。これらの計算では、選択された最適なＱＰをＲ−Ｑモデルに従って選択されたＱＰと比較する。更に、複雑度の値から予測された状態だけを考慮する場合（第１修正のみ）に選択されるＱＰと、符号化の後で測定されるレートだけをモデルの修正に使用する場合（第２修正のみ）に選択されるＱＰとに対しても比較する。

図１０から、場面変化の場合においては、複雑度の値から得る状態予測だけが信頼できることが分かる。測定されたレートを使用する修正は、その予測された状態の歪みを除去するために重要である。この点は、選択されたＱＰと対応するレートとを長期間に亘って示す図１１に示されている。両方の修正を組み合わせることにより、最適により近い解決策が見つけられる（図１０及び図１１を参照）。

ＶＩＩ．結論
以上のように、上述したモデルは可能性のある種々のレート−量子化曲線を近似することができ、その結果、Ｈ．２６４／ＡＶＣを用いた符号化によって非常に高い正確性をもたらす。この正確性は量子化領域全体に及ぶ。一般的に使用されている二次モデルと比較しても、上述のモデルは顕著な高品質を示す。このモデル及び他のモデルのパラメータを推定するという問題は、カルマンフィルタの修正バージョンを使用することで解決できる。これにより、時間的相関関係と有効な複雑度の値とが考慮可能となる。その結果、ノイズ共分散行列と相関関係パラメータとを介して完璧に制御可能な、洗練され且つ簡素なアルゴリズムが得られた。このモデルの優れた品質とその推定は、様々なシミュレーション及び実験によって証明することができる。

換言すれば、上述の実施形態は、Ｈ．２６４／ＡＶＣのためのピース毎に定義されたレート−量子化モデルのカルマンフィルタに基づく推定形式を持つ両方の態様を結合したものである。一方では、Ｈ．２６４／ＡＶＣビデオ符号化標準のための有利なフレーム層レート−量子化（Ｒ−Ｑ）モデルが使用された。特に、上述した実施形態においては、有利なモデル関数とともに有利なパラメータ推定アルゴリズムが使用された。ピース毎に定義されたモデル関数は、レート−量子化曲線の種々の異なる形状を非常の良好に表現することができる。モデルパラメータ推定のために、カルマンフィルタの修正バージョンに基づくアルゴリズムが使用されている。そのため、連続するフレームの時間的相関関係を利用することが可能となり、同時に、複雑度の値と符号化から得られたビットレートとが考慮可能となる。上述したモデルとパラメータ推定アルゴリズムとを使用すれば、実際のレート−量子化曲線を高い正確性で予測できる。高品質Ｒ−Ｑモデルは、例えば低遅延レート制御のような種々のワンパスレート制御問題や、レート−歪み最適化問題に対して非常に有益となり得る。換言すれば、このモデルはＨ．２６４／ＡＶＣ符号化済みフレームのレート−量子化関係を正確に表現することができる。更に、上述したアルゴリズムはこのモデルのパラメータを適切に推定できる。他の多くの手法とは異なり、上述の実施形態はレート制御とＲ−Ｑモデルとの間を厳密に区別する。レート−量子化モデルとパラメータ推定とにより、レート制御がどの量子化手段を使用すべきかを決定できる。これは、異なるレート制御タイプが同じＲ−Ｑモデルを使用できるという長所を有することも明らかである。

しかし、両方の態様、即ちモデル関数とカルマンフィルタに基づくパラメータ推定とは、互いに分離した状態で利用された場合でも有益である。つまり、上述したようなピース毎のモデル関数は、上述の第１及び第２の修正手段を含むカルマン・ベースのパラメータ推定を使用又は構成していないモデルパラメータ推定装置の中で使用されても良い。上述の長所は、モデルパラメータ推定において安定性が危険にさらされる程の多過ぎる数のモデルパラメータと、近似が劣悪になる程の少な過ぎる数のモデルパラメータと、の間で良好に定義された妥協点からもたらされる。他方、上述したように第１及び第２の修正手段を含むカルマン・ベースのモデルパラメータ推定は、上述したようなピース毎のモデル関数ではなく、他のレート−量子化モデル関数との関連で使用されても良い。その場合、修正プロセスを２つのステップに分離し、各修正ステップにおいてできるだけ正確な測定値を利用することから、上述の長所が生まれる。カルマン・ベースのモデルパラメータは、ビデオ符号器の実際の歪み−量子化関数を近似するための、歪み−量子化モデル関数のモデルパラメータを推定するために使用されても良い。その場合には、例えば第一次の修正済みカルマンフィルタ状態から得られた所定の量子化における実際の符号化歪みが、第二次の修正ステップのために使用されても良い。しかし、レート制御は、歪み−量子化モデル関数を使用するか、又はレート−量子化と歪み−量子化との両方のモデル関数を使用して、符号化レートを制御できる。

上述したレート−量子化モデル関数は、Ｒ−Ｑ関係をピース毎に定義された関数形式で近似する。この関数は少なくとも２つのピースから成るか、若しくは２つのピースを含む。１番目、即ち細かい量子化ピースは二次の関数であり、量子化手段の低い領域をカバーする。２番目の粗い量子化ピースは指数関数であり、高いＱＰにおけるＲ−Ｑ関係を表現する。この関数は自己発見的に決定される。しかし、それは実際のＲ−Ｑ関係の特性によって影響を受けたものである。二次及び指数関数ピースの間の遷移点はそれ自身が可変である。そのため、モデルの適応性が非常に高い。実際のＲ−Ｑ関数の形状は多様になり得るため、この点は有利である。更に、モデル関数が例えば８，１０及び１２ビットのビット深度の場合に使用できるという事実からも有利である。パラメータに対して制約を課すことで、関数が連続的に微分可能（Ｃ¹）であることが保証される。残りの５個のパラメータはモデルを実際のＲ−Ｑ関数へと高い正確性を持ってフィットさせるために使用されても良い。

他方、上述したＲ−Ｑモデルパラメータ推定では、モデルパラメータ推定の問題を、ダイナミック離散時間システムの状態を推定する問題として認識している。この点は有効である。なぜなら、連続するフレームのＲ−Ｑ特性には高い相関関係があるが、僅かに変化する可能性もあるからである。

このように、システムの最適な状態及び各Ｒ−Ｑモデルの最適なパラメータを決定するために、修正カルマンフィルタが使用される。上述したカルマンフィルタ・ベースのアルゴリズムは、各フレームについて実行され以下に説明するような、３つの主たるステップを含む。

１）時間更新：１つのフレームから他のフレームへのＲ−Ｑ特性の決定的な変化は無い。従って、最終フレームの状態が現フレームの第１の推定として認識される。しかし、状態の不確実性は増大する。

２）第１の修正：複雑度の値は、例えば分散および予測誤差である。これらの値は符号化の前に有効であり、現フレームについてのモデルのパラメータを直接的に予測するために使用できる。残念ながら、（複雑度の値の制約により）この予測自身は非常に不正確である。従って、予測されたパラメータはカルマンフィルタ・アルゴリズム内の測定値として認識される。そこで、それらは現時点の状態を修正するために使用される。予測されたパラメータのノイズのシーケンシャルな相関関係により、測定差別化の手法が優位に使用される。

３）第２の修正：現フレームを符号化した後で、符号化に必要とされたビット数が状態の修正のために使用できる。測定値と状態との間の非線形的な関係により、現時点の状態の周辺の測定式は線形化（拡張カルマンフィルタの手法）される。フレームは既に符号化されてはいたが、この修正は有意義である。なぜなら、連続するフレームの間には高い相関関係があるからである。即ち、現フレームのためのモデルが良好であればあるほど、次のフレームのためのモデルが良好になる。当然ながら、（モデルパラメータにおいて線形である）線形Ｒ−Ｑモデルも上述の実施形態の関連で使用されても良い。その場合には、線形化は単に標準カルマンフィルタ・ベースのアルゴリズムをもたらす結果になり、その線形化は必要とされないであろうし、何も変化を生まないであろう。換言すれば、上述した実施形態は、拡張カルマンフィルタではなく、標準カルマンフィルタを用いて作動するように修正されても良い。その場合には、第２修正手段における線形化は実行されない。なぜなら、第１次の修正済み状態におけるテストされ又は選択された量子化についてのレート−又は歪み−量子化モデル関数２６に従うモデルパラメータと符号化レートとの間の関係は、既に線形となっているからである。

レート制御は、ステップ２の後で得られる状態に基づくモデルを使用する。このモデルをフレーム及びスライスレイヤに対して使用することは、通常は有意義である。正確なモデルは特に低い遅延シナリオにとって有益である。もしフレームＱＰが既に最適であるならば、マクロレベルにおいては殆ど変更を行う必要が無く、Ｒ−Ｄパーフォーマンスにおいて有意な低下を防止できる。これはまた、より単純なモデルと比較した演算のオーバーヘッドを正当化する。

通常、カルマンフィルタは２つのステップのみから構成される。しかし、ステップ１は符号化の前に行われ、ステップ２は符号化の後でしか行われないという事実に配慮して、レート制御のために可能な限り正確なモデルを提供するために、本発明では修正段階を２つのステップへと分割する。この方法はシーケンシャルなカルマンフィルタにより可能であり、ステップ１の測定とステップ２の測定との間にクロスの相関関係がないという事実により可能である。

状態の不確実性はカルマンフィルタのノイズ共分散行列によって正確にモデル化することができる。そのため、状態及びそのモデルを、変化するＲ−Ｑ特性へと適応させることができる。例えば、場面変化に対しては、現時点の状態の不確実性を増大させることだけで対処することができる。この場合、ステップ２で説明した予測パラメータだけが信頼できることに注意されたい。

絶対誤差を小さくすることよりも相対誤差を小さくすることの方が重要であることが分かって来た。この点は、対数変換を用いることでアルゴリズムの中で考慮されている。そのため、ＱＰ領域の全体に亘る正確なモデルがもたらされる。

ステップ３で使用されたビットレートは白色ノイズによって壊されているという想定から、モデルの正確性はレート制御のＱＰ選択の挙動に対して自動的に適合する。つまり、もし類似するＱＰが常に使用された場合にはモデルは局所的に正確となる一方で、ランダムなＱＰが使用された場合にはモデルは全体的に最適となる。

上述の概念のいくつかの態様を装置の文脈において説明したが、これらの態様は対応する方法の説明をも表すものであり、そこではブロック又は装置が、方法の各段階又は方法の各段階の特徴に相当することが明らかである。同様に、方法の各段階の文脈において説明した態様は、対応する装置の対応するブロック、項目又は特徴の説明をも表すものである。上述した方法ステップの幾つか又は全ての機能は、例えばマイクロプロセッサ、プログラム可能なコンピュータ又は電子的回路のような、ハードウエア装置（又はその使用）によって実行されても良い。幾つかの実施形態では、重要な方法ステップの１つ又は複数がそのような装置によって実行されても良い。

所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、デジタル記憶媒体、例えばフレキシブルディスク，ＤＶＤ，ブルーレイ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ，フラッシュメモリなどを使用して実行することができる。従って、そのデジタル記憶媒体はコンピュータ読み取り可能であっても良い

本発明に従う実施形態の幾つかは、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含んでも良い。

一般的に、本発明の実施例は、コンピュータプログラム製品として構成することができ、このプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の１つを実行するよう作動する。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されても良い。

本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリアに記憶されたコンピュータプログラムを含む。

換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有する、コンピュータプログラムである。

本発明の他の実施形態は、上述した方法の１つを実行するために記憶されたプログラムコードを含む、データキャリア（又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体）である。当該データキャリア、デジタル記憶媒体又は記録済みの媒体は、典型的には有体物であり、変化しない物である。

本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号シーケンスである。そのデータストリーム又は信号シーケンスは、例えばインターネットを介するデータ通信接続を介して伝送されるように構成されても良い。

他の実施形態は、上述した方法の１つを実行するように構成又は適用された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。

他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを受信器に対して（例えば電子的に又は光学的に）伝送するよう構成された、装置或いはシステムを含む。その受信器は、例えばコンピュータ、モバイル装置、メモリ装置又はその類似物であっても良い。その装置或いはシステムは、例えばコンピュータプログラムを受信器に対して伝送するためのファイルサーバーを含んでも良い。

幾つかの実施形態においては、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には、任意のハードウエア装置によって実行される

上述した実施の形態は、本発明の原理を単に例示的に示したにすぎない。本願明細書に記載した構成及び詳細について、修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本願明細書に実施形態の説明及び解説として提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。

通常は、予測誤差ｖ_kは時間において高い相関関係がある。その理由は、複雑度の値は、レート−量子化特性と同様に、後続のフレームに対して類似的となるからである。つまり例えば、予測状態

がそのフレームｋの複雑度を過小評価している場合、フレームｋ＋１について予測された状態

もまたその複雑度を過小評価していることを意味する。従って、ｖ_kは実際に有色ノイズであり（第II−Ｃ章と比較されたい）、即ち

であり、ここでζ_kは時間的に無相関であり、ゼロ平均及び分散Ｚ_kで正規分布している。つまり、

であり、Ｚ_kは経験的に決定されたものである。簡素化するために、５×５の相関行列Ψ _kを次式で定義した。

ここで、スカラは０≦ψ_k≦１である。つまり、全てのパラメータ

について同じ相関関係ψ_kが想定される。この点は合理的である。なぜなら、相関関係は最後及び現フレームとの間のＲ−Ｑ特性の変化の量（全てのパラメータについて同じである）に依存するからである。場面変換の場合には、例えばψ_k＝０となる。

Claims (22)

1. フレームシーケンス（１４）のためのビデオ符号器（１２）の実際のレート−又は歪み−量子化関数（２０）を近似するために、レート−又は歪み−量子化モデル関数（２６）のモデルパラメータを推定する装置であって、
   時間離散カルマンフィルタの予測ステップ（５０）を実行するよう構成された更新手段（２８）であって、前記時間離散カルマンフィルタの状態が前記モデルパラメータのパラメータ推定を表しており、前記フレームシーケンス（１４）の先行フレーム（ｋ−１）についての時間離散カルマンフィルタの状態から、前記フレームシーケンス（１４）の現フレーム（ｋ）についての時間離散カルマンフィルタの予測状態
   

   

   を得る、更新手段（２８）と、
   前記現フレームｋの複雑度の値を決定し、かつ決定されたその複雑度の値に依存する測定値を使用して前記時間離散カルマンフィルタの修正ステップ（５２）を実行するよう構成された第１修正手段（３０）であって、前記予測状態
   

   

   から前記時間離散カルマンフィルタの第１次の修正済み状態
   

   

   を得る、第１修正手段（３０）と、
   所定の量子化を使用して前記現フレーム（ｋ）を符号化する際の前記ビデオ符号器（１２）の実際の符号化レート又は歪み（４２）に依存する測定値を使用して、前記時間離散カルマンフィルタの修正ステップ（５４）を実行する、第２修正手段（３２）と、
   を備える装置。
2. 前記時間離散カルマンフィルタの前記予測ステップを実行する際に、前記更新手段（２８）は恒等行列を状態遷移行列として使用し、その結果、前記予測状態は前記先行フレームについての前記時間離散カルマンフィルタの状態によって定義される前記パラメータ推定を採用し、更に前記更新手段（２８）は、前記先行フレームについての前記時間離散カルマンフィルタの状態と比較して前記予測状態の不確実性を増大させることを特徴とする、請求項１に記載の装置。
3. 前記更新手段（２８）は、前記現フレーム（ｋ）と前記先行フレーム（ｋ−１）との間の類似度を決定し、更に、その類似度に依存する量によって前記予測状態の不確実性を増大させることを特徴とする、請求項２に記載の装置。
4. 前記第１修正手段（３０）は、前記複雑度の値を決定する際に、動き補償予測により決定された暫定的予測フレームと現フレームとの間の偏差を示す値、及び／又は現フレームの分布の中心傾向の周りにおけるサンプル値の分布を示す分散値、を決定することを特徴とする、請求項１乃至３のいずれか１項に記載の装置。
5. 前記第１修正手段（３０）は、決定された前記複雑度の値に基づいて前記現フレーム（ｋ）についてのレート−又は歪み−量子化モデル関数のモデルパラメータを予測し、更に、前記予測されたモデルパラメータと、前記先行フレームに関して決定され、ある相関行列に適用された複雑度の値に基づく前記先行フレームについてのモデルパラメータの予測の結果と、の間の差に依存する測定値を使用し、かつ前記恒等行列から前記相関行列を減算したもの等しい測定行列を使用して、前記修正ステップを実行することを特徴とする、請求項１乃至４のいずれか１項に記載の装置。
6. 前記第１修正手段（３０）は、前記現フレームと前記先行フレームとの間の類似度に依存して、前記相関行列を設定することを特徴とする、請求項５に記載の装置。
7. 前記第２修正手段は、前記モデルパラメータと、前記所定の量子化に関するレート−又は歪み−量子化モデル関数（２６）に従う符号化レート又は歪みと、の間の前記第１次の修正済み状態
   

   

   における線形的関係の線形バージョンに依存する測定行列を使用し、前記測定値を使用して前記時間離散カルマンフィルタの前記修正ステップを実行することを特徴とする、請求項１乃至６のいずれか１項に記載の装置。
8. 前記第２修正手段は、前記モデルパラメータと、前記所定の量子化に関するレート−又は歪み−量子化モデル関数（２６）に従う符号化レート又は歪みと、の間の関係の前記第１次の修正済み状態
   

   

   において線形化されたバージョンに依存する測定行列を使用し、前記測定値を使用して前記時間離散カルマンフィルタの前記修正ステップを実行することを特徴とする、請求項１乃至６のいずれか１項に記載の装置。
9. 前記レート−又は歪み−量子化モデル関数はレート−量子化モデル関数であり、
   前記第１修正手段は、前記現フレームｋについてのレート−量子化モデル関数のモデルパラメータを前記決定された複雑度の値に基づいて予測し、かつその予測されたモデルパラメータに依存して前記修正ステップにおける前記測定値を決定し、
   前記第２修正手段は、前記モデルパラメータと前記レート−量子化モデル関数に従う符号化レートとの間の関係の線形化されたバージョンに依存する測定行列を決定し、
   ビデオ符号器による量子化ｑをビデオ符号器の符号化レートへと関係付けるレート−量子化モデル関数ｆがピース毎の関数であり、細かい量子化区間内においては二次関数ピースを含み、粗い量子化区間内においては指数関数を含むことを特徴とする、請求項８に記載の装置。
10. 前記第１修正手段は、前記現フレームｋについてのレート−量子化モデル関数のモデルパラメータを前記決定された複雑度の値に基づいて予測し、かつその予測されたモデルパラメータに依存して前記修正ステップにおける前記測定値を決定し、
    前記第２修正手段は、前記モデルパラメータと前記レート−量子化モデル関数に従う符号化レートとの間の関係の線形化されたバージョンに依存する測定行列を決定し、
    ビデオ符号器による量子化ｑをビデオ符号器の符号化レートへと関係付けるレート−量子化モデル関数ｆが次式であり、
    

    

    ここで、β＝［ａ₁，ｂ₁，ｃ₁，ｍ，ａ₂，ｂ₂，ｃ₂］であり、Ｎは量子化ｑの領域を０≦ｑ≦Ｎとなるよう定義し、次式
    

    

    はモデルパラメータｘ₁，ｘ₂，ｘ₃，ｘ₄及びｘ₅を定義することを特徴とする、請求項８又は９に記載の装置。
11. 前記予測ステップを実行する際に前記更新手段が次式を計算し、
    

    

    ここで、
    

    

    は前記先行フレームｋ−１についての前記時間離散カルマンフィルタの状態であり、
    

    

    は前記現フレームについての前記時間離散カルマンフィルタの予測状態であり、
    Ｐ_k-1 ⁺は前記先行フレームｋ−１についての前記時間離散カルマンフィルタの状態の前記不確実性を測定する共分散行列であり、
    Ｐ_k ^-は前記現フレームについての前記時間離散カルマンフィルタの予測状態の前記不確実性を測定する共分散行列であり、
    Ｑ_k-1は妨害ノイズ共分散行列であり、
    前記第１修正手段は前記現フレームと前記先行フレームとの間の類似度に依存してＱ_k-1を設定し、
    更に前記第１修正手段は次式を計算し、
    

    

    ここで、
    

    

    であり、
    

    

    は前記現フレームについての前記時間離散カルマンフィルタの第１次の修正済み状態であり、
    Ｐ_k ⁰は前記第１次の修正済み状態の不確実性を測定する共分散行列であり、
    

    

    は前記現フレームｋの前記決定された複雑度の値から予測されるモデルパラメータを定義するものであり、
    

    

    は前記先行フレームｋ−１の前記決定された複雑度の値から予測されるモデルパラメータを定義するものであり、
    Ψ_kは前記現フレームと前記先行フレームとの間の類似度に依存して設定される相関関係行列であり、
    Ｉは恒等行列であり、
    Ｚ_kは測定ノイズ共分散行列であり、
    前記第２修正手段は次式を計算し、
    

    

    ここで、
    

    

    であり、
    ｆは前記モデルパラメータｘによってパラメータ化可能であり且つ符号化レート−又は歪み−量子化関数を表現しているレート−又は歪み−量子化モデル関数であり、
    

    

    は前記現フレームについての前記時間離散カルマンフィルタの２回の修正済みの状態であり、
    Ｐ_k ⁺は前記２回の修正済みの状態の前記不確実性を測定する共分散行列であり、
    ｑ_kは前記所定の量子化であり、
    

    

    は他の測定ノイズ共分散行列であり、
    

    

    は前記所定の量子化を使用して前記現フレームを符号化する際の前記ビデオ符号器の実際の符号化レート又は歪みを示す値であることを特徴とする、請求項１乃至１０のいずれか１項に記載の装置。
12. 前記第２修正手段は、前記測定値が前記ビデオ符号器（１２）の実際の符号化レート又は歪み（４２）に依存しており、その依存方法は、前記現フレーム（ｋ）を符号化するときに使用された前記所定の量子化と、先行して符号化された参照フレームを符号化するときに前記ビデオ符号器により使用された別の量子化との間の関係に依存する方法であり、その先行して符号化された参照フレームとは、そのフレームの再構成されたバージョンから、前記ビデオ符号器が前記現フレームを符号化するときに動き補償済の予測内で前記現フレームを予測したものであることを特徴とする、請求項１乃至１１のいずれか１項に記載の装置。
13. 前記フレームシーケンスが特定の予測タイプのフレームだけを含み、異なる予測タイプのフレームを含まないという点で、前記フレームシーケンスがビデオシーケンスの適切なサブセットであるように構成されていることを特徴とする、請求項１乃至１２のいずれか１項に記載の装置。
14. ビデオ符号器（１２）と、
    フレームシーケンス（１４）のためのビデオ符号器（１２）の実際のレート−又は歪み−量子化関数（２０）を近似するために、レート−又は歪み−量子化モデル関数（２６）のモデルパラメータを推定する、請求項１乃至１３のいずれか１項に記載の装置と、
    を備えるシステム。
15. 前記第１次の修正済み状態によって決定されたレート−又は歪み−量子化モデル関数を使用して前記所定の量子化を決定するレート制御手段（１８）を更に備え、
    前記ビデオ符号器は前記所定の量子化を使用して前記現フレームをデータストリーム内へと符号化することを特徴とする、請求項１４に記載のシステム。
16. 前記ビデオ符号器は動き補償予測を用いて第１の動き解像度における前記現フレームを予測して前記暫定的予測フレームを取得し、
    前記第１修正手段は前記暫定的予測フレームを使用して前記複雑度の値を決定し、
    前記ビデオ符号器は前記第１の動き解像度よりも高い第２の動き解像度における前記現フレームを予測することで最終的に予測されたフレームを取得し、かつ前記最終的に予測されたフレームを使用して前記現フレームを符号化することを特徴とする、請求項１５に記載のシステム。
17. フレームシーケンス（１４）のためのビデオ符号器（１２）の実際のレート−量子化関数（２０）を近似するために、レート−量子化モデル関数（２６）のモデルパラメータを推定する装置であって、
    前記レート−量子化モデル関数はピース毎の関数であり、細かい量子化区間内では二次関数のピースを含み、粗い量子化区間内では指数関数のピースを含むことを特徴とする装置。
18. 量子化軸に沿った前記二次関数のピースと前記指数関数のピースとの間の遷移点の位置が、前記モデルパラメータを用いて調整可能であることを特徴とする、請求項１７に記載の装置。
19. 前記モデルパラメータは拡張カルマンフィルタを使用して推定され、前記拡張カルマンフィルタの状態が前記モデルパラメータのパラメータ推定を定義することを特徴とする、請求項１７又は１８に記載の装置。
20. フレームシーケンス（１４）のためのビデオ符号器（１２）の実際のレート−又は歪み−量子化関数（２０）を近似するために、レート−又は歪み−量子化モデル関数（２６）のモデルパラメータを推定する方法であって、
    時間離散カルマンフィルタの予測ステップ（５０）を実行するステップであって、前記時間離散カルマンフィルタの状態が前記モデルパラメータのパラメータ推定を定義するものであり、前記フレームシーケンス（１４）の先行フレーム（ｋ−１）についての時間離散カルマンフィルタの状態から、前記フレームシーケンス（１４）の現フレーム（ｋ）についての時間離散カルマンフィルタの予測状態
    

    

    を得るステップと、
    前記現フレームｋの複雑度の値を決定し、かつ決定されたその複雑度の値に依存する測定値を使用して前記時間離散カルマンフィルタの修正ステップ（５２）を実行するステップであって、前記予測状態
    

    

    から前記時間離散カルマンフィルタの第１次の修正済み状態
    

    

    を得るステップと、
    所定の量子化を使用して前記現フレーム（ｋ）を符号化する際の前記ビデオ符号器（１２）の実際の符号化レート又は歪み（４２）に依存する測定値を使用し、かつ前記モデルパラメータと、前記所定の量子化に関するレート−又は歪み−量子化モデル関数（２６）に従う符号化レート又は歪みと、の間の関係の前記第１次の修正済み状態
    

    

    において線形化されたバージョンに依存する測定行列を使用して、前記時間離散カルマンフィルタの修正ステップ（５４）を実行するステップと、を含む方法。
21. フレームシーケンス（１４）のためのビデオ符号器（１２）の実際のレート−量子化関数（２０）を近似するために、レート−量子化モデル関数（２６）のモデルパラメータを推定する方法であって、
    前記レート−量子化モデル関数はピース毎の関数であり、細かい量子化区間内では二次関数のピースを含み、粗い量子化区間内では指数関数のピースを含むことを特徴とする方法。
22. コンピュータに請求項２０又は２１に記載の方法を実行させるプログラムコードを有するコンピュータプログラム。

Images