JP2015043524A

JP2015043524A - レート歪コスト推定装置及びプログラム

Info

Publication number: JP2015043524A
Application number: JP2013174745A
Authority: JP
Inventors: 敏後藤; Satoshi Goto; 哲盛; Zhe Sheng; 大江周; Dajiang Zhou
Original assignee: Waseda University
Current assignee: Waseda University
Priority date: 2013-08-26
Filing date: 2013-08-26
Publication date: 2015-03-05

Abstract

【課題】ＨＥＶＣイントラ予測に適応可能な計算複雑度の小さいレート歪コスト推定装置の提供。【解決手段】符号化画像のビットコストを推定演算するレート推定手段と、歪み量を量子化係数画像に基づき推定演算する歪み推定手段とを備え、レート推定手段は、符号化画像のヘッダ部を除く符号化係数部分のビット数の推定値Ｂｃｏｅｆを算出する係数レート演算手段を備え、該係数レート演算手段は、量子化係数画像の各量子化係数ｑｉ，ｊに対し、推定値Ｂｃｏｅｆを次式により演算する。【数１】【選択図】図２

Description

本発明は、映像圧縮において、主にイントラ予測の予測モードの選択を行う際の選定基準等として使用されるレート歪コストを推定する技術に関する。

高効率映像符号化（High Efficiency Video Coding :ＨＥＶＣ）は、ＪＣＴ−ＶＣにより制定された現在最新の映像符号化規格である（非特許文献１）。ＨＥＶＣでは、可変サイズの符号化ユニット（Coding Unit：ＣＵ）、予測ユニット（Prediction Unit：ＰＵ）、及び変換ユニット（Transform Unit：ＴＵ）を用いたフレキシブルな四分木符号化構造（quadra-tree coding structure）が新たに採用された。また、イントラ予測においても幾つかの新しい特徴がある。符号化ユニットのサイズは、６４×６４画素から８×８画素まで変化させることができ、また３３種類の方向性予測にＤＣ予測、Planer予測を加えた最大３５種類の予測モードが定義されている。レート歪最適化（rate-distortion optimization：ＲＤＯ）の結果であるレート歪Lagrangeコスト（以下「ＲＤコスト」という。）は、上記ＣＵ，ＰＵ，ＴＵの最適な予測モード及び最適なサイズを選ぶための選定基準となる。ＨＥＶＣは、１世代前の映像符号化規格であるＨ．２６４／ＡＶＣに比べて遥かに多くの予測モードがあるため、圧縮率のＲＤＯに対する依存性はより大きくなる。また、ＨＥＶＣでは、従来のRDO-offモードは、十分な圧縮性能が得られないという理由で、ＨＥＶＣテストモデル（ＨＭ）には含まれていない。従って、ＨＥＶＣエンコーダでは、計算複雑度の大きいＲＤＯの逐次処理を高速に実行するためのアルゴリズムとハードウェア実装が極めて重要である。特に、イントラ予測では、隣接するブロック間の相関が大きく、ＲＤコスト計算が頻繁に実行されるため、インター予測よりもＲＤＯが重要である。そこで、効率的にＲＤコストを計算するアルゴリズムとできるだけ簡略化されたＲＤＯ構造が不可欠となる。

従来のＨ．２６４／ＡＶＣにおいては、計算複雑度の小さいアルゴリズムを用いてレート及び歪みを推定することで、ＲＤＯ計算を簡素化するのを試みた研究が幾つか公開されている。非特許文献２では、符号化係数の分布モデルとして一般化されたGaussian分布を使用したレート推定器が開示されている。非特許文献３では、前記符号化係数の分布モデルとして、Cauchy密度関数を使用することが提案されている。非特許文献４では、レート制御のためにＳＡＴＤ（Sum of absolute transformed differences）モデルを採用した例が開示されている。非特許文献５では、係数のｌ_１ノルムと変換領域での歪みを使用した、効率的なＲＤコストの推定手法が開示されている。また、非特許文献６では、変換係数の非ゼロ係数の座標を、レート推定のモデル化に役立てる手法が開示されている。

特開２００６−５２３９１１公報特開２００７−１７４６４９公報特開２０１０−５３９７５０公報特開２０１１−５０９６４２公報

G. J. Sullivan, J.-R. Ohm, W.-J. Han, T. Wiegand, and T. Wiegand, "Overview of the high efficiency video coding (hevc) standard," Circuits and Systems for Video Technology, IEEE Transactions on, vol. 22, no. 12, pp. 1649 -1668, Dec. 2012. Xin Zhao, Jun Sun, Siwei Ma, and Wen Gao, "Novel statistical modeling, analysis and implementation of rate-distortion estimation for h.264/avc coders," Circuits and Systems for Video Technology, IEEE Transactions on, vol. 20, no. 5, pp. 647 -660, May 2010. N. Kamaci, Y. Altunbasak, and R.M. Mersereau, "Frame bit allocation for the h.264/avc video coder via cauchy-density-based rate and distortion models," Circuits and Systems for Video Technology, IEEE Transactions on, vol. 15, no. 8, pp. 994 - 1006, Aug. 2005. Do-Kyoung Kwon, Mei-Yin Shen, and C.-CJ. Kuo, "Rate control for h.264 video with enhanced rate and distortion models," Circuits and Systems for Video Technology, IEEE Transactions on, vol. 17, no. 5, pp. 517-529, May 2007. Yu-Kuang Tu, Jar-Ferr Yang, and Ming-Ting Sun, "Efficient rate-distortion estimation for h.264/avc coders," Circuits and Systems for Video Technology, IEEE Transactions on, vol. 16, no. 5, pp. 600 - 611, May 2006. Qiang Wang, D. Zhao, Wen Gao, and Siwei Ma, "Low complexity rdo mode decision based on a fast coding-bits estimation model for h.264/avc," in Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium on, May 2005, pp. 3467 - 3470 Vol. 4. JCT-VC, "High efficiency video coding (hevc) test model 8 encoder description," JCTVC-J1002, Jul. 2012. JCT-VC, "High efficiency video coding (hevc) text specification draft 8," JCTVC-J1003A7, Jul. 2012. D. Bardone, E.S.G. Carotti, and J.C. De Martin, "Adaptive golomb codes for level binarization in the h.264/avc frext lossless mode," in Signal Processing and Information Technology, 2008. ISSPIT 2008. IEEE International Symposium on, Dec. 2008, pp. 287 -291. JCT-VC, "Common test conditions and software reference configurations," JCTVC-E700, Jan. 2011. G.A.F. Seber and C.J. Wild, Nonlinear Regression, Wiley Series in Probability and Statistics. Wiley, 2003. G. BJONTEGARD, "Calculation of average psnr differences between rd-curves," ITU-T VCEG-M33, Apr. 2001.

しかしながら、上記従来公知の手法は、何れも、主として４×４画素サイズのＴＵを前提としているものである。それに対して、ＨＥＶＣでは、ＴＵのサイズは４×４画素から３２×３２画素まで採り得るため、上記従来の手法を直接ＨＥＶＣに適用することはできない。

そこで、本発明の目的は、ＨＥＶＣイントラ予測に適応可能な、計算複雑度の小さいレート歪コスト推定装置を提供することにある。

本発明に係るレート歪コスト推定装置の第１の構成は、オリジナルの入力画素ブロックの予測符号化によって得られる残差画素ブロックを変換符号化し量子化して得られた量子化変換係数からなる量子化係数画素ブロックに対し、レート歪コストを推定演算するレート歪コスト推定装置であって、
前記量子化係数画素ブロックを記憶する符号化画素記憶手段と、
前記符号化画素記憶手段に記憶された前記量子化係数画素ブロックをエントロピ符号化して得られる符号化画素ブロックのビットコストを、当該量子化係数画素ブロックに基づき推定演算するレート推定手段と、
前記量子化係数画素ブロックを逆量子化及び逆変換し前記予測画像を加算することで再構成して得られる再構成画素ブロックとオリジナルの前記入力画素ブロックとの間の歪み量を、前記符号化画素記憶手段から読み出される前記量子化係数画素ブロックに基づき推定演算する歪み推定手段と、
前記レート推定手段が算出するレート推定値に所定の定数を掛けた値と、前記歪み推定手段が算出する歪み量推定値との和であるレート歪コストを算出するレート歪コスト演算手段と、を備え、
前記レート推定手段は、
前記符号化画素ブロックのヘッダ部のビット数の推定値Ｂ_ｈｄｒを算出するヘッダレート演算手段と、
前記符号化画素ブロックのヘッダ部を除く符号化係数部分のビット数の推定値Ｂ_ｃｏｅｆを算出する係数レート演算手段と、
前記ヘッダレート演算手段が算出する前記推定値Ｂ_ｈｄｒ及び前記係数レート演算手段が算出する前記推定値Ｂ_ｃｏｅｆの和であるレート推定値Ｂ_ｍｏｄｅを算出する全レート演算手段と、を備え、
前記係数レート演算手段は、当該量子化係数画素ブロックの前記各量子化係数ｑ_ｉ，ｊに対し、前記推定値Ｂ_ｃｏｅｆを次式により演算することを特徴とする。

この構成によれば、符号化画像の符号化係数部分のレートの推定演算において、エントロピ符号化を行うことなくレートの推定値Ｂ_ｃｏｅｆを算出するため、ＲＤコスト計算の時間を大幅に削減することが可能となる。ハードウェア実装に不親和なエントロピ符号化を行わないため、ハードウェア実装におけるデータ依存性を軽減させることができる。

尚、本発明に係るレート歪コスト推定装置は、ＨＥＶＣに限らず、Ｈ．２６４／ＡＶＣや他の方式の映像シーケンスの符号化方式に対しても適用することが出来る。また、イントラ予測におけるレート歪コスト計算に限らす、インター予測や他のモードのフィルタに対しても適用することが出来る。

また、本発明に係るレート歪コスト推定装置の第２の構成は、前記第１の構成に於いて、前記歪み推定手段は、
前記残差画素ブロックを変換符号化して得られる各変換係数ｙ_ｉ，ｊをスケーリングしたスケーリング変換係数ｓ_ｉ，ｊを算出する変換係数スケーリング手段と、
前記スケーリング変換係数ｓ_ｉ，ｊ，前記量子化係数ｑ_ｉ，ｊ，及び所定の量子化パラメータ及び画素ブロックのサイズに対して予め定められているビットシフト数iQBitsに対し、（数２）によりスケーリングされた量子化歪みの推定値Ｄ_ｑｓを算出する量子化歪み推定手段と、
前記量子化歪みの推定値Ｄ_ｑｓから、（数３）により前記入力画素ブロックの全体の歪み量Ｄを算出する全歪み推定手段と、を備えたことを特徴とする。

この構成により、入力画素ブロックの全体の歪み量Ｄを算出する過程において、従来歪み量の計算に必要であった、量子化係数画像の逆量子化、逆変換、再構成といった処理を省略することができるため、ＲＤコスト計算の時間を大幅に削減することが可能となる。また、ハードウェア実装に不親和な再構成を含むモジュールを省略することができ、ハードウェア実装におけるデータ依存性を軽減させることができる。

また、本発明に係るプログラムは、コンピュータに読み込ませて実行することにより、当該コンピュータを前記第１又は２の構成のレート歪コスト推定装置として機能させることを特徴とする。

以上のように、本発明のレート歪コスト推定装置によれば、イントラ予測において、適切なレート推定モデルと歪み推定モデルに基づき、許容できる範囲内の画質劣化・ビットレート増加で、ＲＤコスト計算の時間を大幅に削減することが可能となる。

また、ハードウェア実装においては、本発明のレート歪コスト推定装置を用いることにより、ＲＤコスト計算においてハードウェア実装に不親和なエントロピ符号化及び再構成を含むモジュールを省略することができ、ハードウェア実装におけるデータ依存性を軽減させることができる。

尚、本発明のレート歪コスト推定装置は、インター予測に対しても適用することができ、他のモードのフィルタ・アルゴリズムとともに動作させることができる。

通常のＲＤＯに基づくレート歪コスト計算装置の構成を表すブロック図である。本発明に係るレート歪コスト推定装置の構成を表すブロック図である。図１のレート歪コスト計算装置１００で計算される実際の符号化ビットコストＢ_coefとθ＝１の場合の推定ビット消費量Ｅ_posとの関係を示す図である。実際の符号化ビットコストＢ_coefと推定符号化ビットコストＢ^_coefとの関係を示す図である。全体の歪みＤとスケーリングされた量子化歪みＤ_ｑｓとの関係を示す図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

（１）全体構成
まず、従来のレート歪コスト計算装置について説明する。図１に、通常のＲＤＯに基づくレート歪コスト計算装置の構成を示す。図１において、破線の領域はレート歪コスト計算部１００を示す。灰色の幅広線は、レート及び歪み計算により遅延する部分を示している。図１のレート歪コスト計算装置では、イントラ予測におけるレート歪コストの計算を行う。

イントラ予測器１０２は、フレームメモリ１０１に記憶されたオリジナル画素は、指定されたＰＵサイズ及び予測モードによりイントラ予測を行い、ＰＵ内の各画素に対する残差を計算し残差画素記憶部１０３に格納する。

レート歪コスト計算部１００において、まず、変換部１０４は、残差画素記憶部１０３に格納されたＰＵ内の残差に対し変換（ＤＣＴ等）を行い、変換係数ｙ_ｉｊを算出する。次に、量子化部１０５は変換係数ｙ_ｉｊを量子化し、量子化変換係数ｑ_ｉｊを算出し、符号化画素記憶部１０６に格納する。

レートの計算は、エントロピ符号化部１０７が符号化画素記憶部１０６に格納された量子化変換係数ｑ_ｉｊをエントロピ符号化し、得られた符号列のビットサイズ（符号化ビットコスト）Ｂ_modeをレート計算部１０８が計算することによって実行される。

一方、歪みの計算は、まず逆量子化部１０９が符号化画素記憶部１０６に格納された量子化変換係数ｑ_ｉｊを逆量子化し、変換係数ｙ~_ｉｊを算出する（ここで、記号「~」は直前の記号の上にティルド記号が付されることを表す。以下同じ）。変換係数ｙ~_ｉｊは量子化誤差による歪みを含んでいる。次いで、逆変換部１１０が変換係数ｙ~_ｉｊを逆変換して残差を算出し、再構成部１１１が当該残差に予測値を加算することにより再構成画素を算出して再構成画素記憶部１１２に格納する。そして、減算器１１３はそれぞれのオリジナル画素に対して、再構成画素記憶部１１２に格納された対応する再構成画素を減算し誤差を算出して歪み計算部１１４に出力する。歪み計算部１１４は、減算器１１３が出力する残差の二乗誤差を加算し、ＰＵ全体の歪みの二乗誤差和ＳＳＥが算出される。

最後に、レート歪計算部１１５は、符号化ビットコストＢ_modeに所定のLagrange係数λ_modeを掛けた値と歪みの二乗誤差和ＳＳＥとを加算してレート歪Ｊ_modeを算出する。

ＨＥＶＣのイントラ予測では、ＰＵのサイズは６４×６４画素から４×４画素まで変化し得る。各サイズのＰＵについて３５種類の予測モードについてレート歪Ｊ_modeを計算することで、レート歪が小さくなる幾つかの候補予測モードが選択される（非特許文献７参照）。そして、選択された候補予測モードの其々に対し次式で算出されるＲＤコストＪ_modeを算出し、ＲＤコストＪ_modeが最小となる予測モードを最適な予測モードとされる（非特許文献７参照）。

ここで、ＳＳＥはオリジナル画素と再構成画素との二乗差の和（sum of square error）、Ｂ_modeはＣＡＢＡＣによるすべてのブロックの符号化ビットコストである。このＲＤコストＪ_modeは、ＣＵサイズ、ＰＵサイズ、及びＴＵサイズを決定する際の基準でもある。

表１に、ＰＵの各サイズに対するフルＲＤＯの候補予測モードの数を示す。候補予測モードは、上側及び左側のブロックの予測モードから算出される場合もあるので、候補予測モードの数は変化する。表１の通り、ＲＤコストの計算を行う少数の候補予測モードのみが選出されるが、依然としてレート歪最適化プロセスは、大きな計算複雑度となる。

そこで、本発明では図１のレート歪コスト計算を簡略化し計算複雑度を減少させる。図１において、変換部１０４，量子化部１０５，逆量子化部１０９，及び逆変換部１１０を含む一連のモジュールは、強いデータ依存性を示すが、ハードウェア実装においては並列化及びパイプライン化は比較的容易である。一方、エントロピ符号化部１０７は、変換係数がシーケンシャルに処理されるため、ハードウェア実装には不利である。

図２に、本発明に係るレート歪コスト推定装置の構成を表すブロック図を示す。図２において、フレームメモリ１０１、イントラ予測器１０２、残差画素記憶部１０３、変換部１０４、量子化部１０５、及びレート歪計算部１１５は、図１の同符号の構成要素と同じものである。本発明に係るレート歪コスト推定装置１は、エントロピ符号化部１０７，レート計算部１０８に代えて簡易レート推定器２を備え、逆量子化部１０９，逆変換部１１０，再構成部１１１，再構成画素記憶部１１２，減算器１１３，歪み計算部１１４に代えて低複雑度歪み推定器３を備えた点が特徴である。簡易レート推定器２は、符号化画素のエントロピ符号化演算を行うことなく符号化ビットコストの推定演算を行うモジュールである。また、低複雑度歪み推定器３は、符号化画素の逆量子化・逆変換・再構成といった一連の復号演算を行うことなく歪み値の推定演算を行うモジュールである。レート歪計算部１１５は、簡易レート推定器２により算出される符号化ビットコストの推定値Ｂ^（ここで、記号「^」は直前の記号の上にハット記号が付されることを表す。以下同じ）と、低複雑度歪み推定器３により算出される歪みの二乗和の推定値Ｄ^とから、次式によってレート歪Ｊ^の推定値を算出する。

これによって、ＲＤＯの演算処理は簡易化され、ブロック間のデータ依存性が緩和され、ハードウェア実装において非常に大きな利便性がもたらされることになる。以下、簡易レート推定器２及び低複雑度歪み推定器３の詳細について説明する。

（２）簡易レート推定器２
（２．１）変換係数のレート
符号化ビットコストＢ_modeは、次式の通り、ヘッダのビット数Ｂ_hdrと係数のビット数Ｂ_coefに分割できる。

量子化変換係数ｑ_ｉｊ（ｉ，ｊ＝０，…，Ｎ−１）のｌ_ｐノルムＥは次式により定義される。ここで、ＮはＰＵの一辺の画素数である。

ＨＥＶＣの規格書である非特許文献８で規定されている残差符号化構文によれば、係数ビットは、非ゼロ・マップ（nonzero map），１以上マップ（greater-than-one map），サイン（sign），残余レベル（remaining lavel）などから符号化される。特に重要なのは、残余レベルの二値化の際にGolomb-Rice法を用いることであり、高周波側の係数から低周波側の係数までスキャンするときにRiceパラメータｃＲＰを増加させることができる。二値化のプレフィックス部分は、トランケーティド・ライス二値化処理（Truncated Rice binarization process）を実行することにより導出され、そのビン数は、

である。サフィックス部分はｋ次の指数ゴロム（Exponential Golomb：EGk）二値化処理を用いて導出され、そのビン数は

である（非特許文献９参照）。ここで、ｋ＝ｃＲＰ＋１である。

これらの方法に基づき、小さな残余レベルは、低い周波数位置において高い周波数位置よりも長いビンに符号化され、大きな残余レベルは、低い周波数位置において高い周波数位置よりも短いビンに符号化されるであろうと推定される。

そこで、まず、式（５）に非ゼロ係数の位置情報を追加することにより、ビット消費量Ｅ_posを次式のようにモデル化する。

ここで、θは位置情報に関するバランス・パラメータ（フィッティング・パラメータ）である。計算量を抑えるため、ここではｐ＝１を選択する。また、実際の画像では変換係数はＤＣ及び低周波側に集中しており、高周波側の係数の絶対値｜ｑ_ｉｊ｜の殆どが０又は１である。従って、式（８）の｜ｑ_ｉｊ｜は１で近似する。従って、ビット消費量Ｅ_posは次のように簡素化される。

図３は、図１のレート歪コスト計算装置１００で計算される実際の符号化ビットコストＢ_coefとθ＝１の場合の推定ビット消費量Ｅ_posとの関係を示す図である。実際の符号化ビットコストＢ_coefと推定ビット消費量Ｅ_pos（θ＝１）との間には強い相関があるが、両者は完全に線形な関係ではない。また、異なるＴＵサイズに対する符号化ビットコストをどのようにして推定するかが問題である。図３の観測結果に基づき、異なるＴＵサイズに対する変換係数の符号化ビットコストＢ^_coefの推定値を次式によって近似する。

ここで、α，β，θはモデル・パラメータ（フィッティング・パラメータ）であり、ＴＵサイズＮ及び量子化パラメータＱＰに依存して変化する。図２の簡易レート推定器２では、テスト・シーケンスを用いたトレーニングにより、予めモデル・パラメータα（ＱＰ，Ｎ），β（ＱＰ，Ｎ），θ（ＱＰ，Ｎ）を学習設定しておき、実際の映像では、これらのモデル・パラメータを用いて式（１０）を計算することにより、変換係数の符号化ビットコストＢ^_coefの推定を行う。

図４は、実際の符号化ビットコストＢ_coefと推定符号化ビットコストＢ^_coefとの関係を示す図である。図４から、実際の符号化ビットコストＢ_coefと推定符号化ビットコストＢ^_coefとはほぼ線形関係であることが分かり、式（１０）によるレート推定が比較的正確であることが実証されている。

図２の簡易レート推定器２を使用することにより、ＲＤコスト計算のためのエントロピ符号化部１０７は省略される。また、式（１０）による推定演算は、ルックアップテーブルを用いて演算することができるためハードウェア実装は容易にできる。また、各ブロックにおいて推定符号化ビットコストＢ^_coefを１回だけ計算するため、計算複雑度の増加は僅かである。

（２．２）ヘッダのレート
通常、イントラ予測においては、エントロピ符号化後のヘッダービットのビット数は符号化された量子化変換係数のビット数に比べて遥かに小さい。ＨＥＶＣ規格書である非特許文献８によれば、イントラ予測のヘッダービットは、主として、予測モード、パーティション・サイズ、変換ユニット分割等に関する情報を含んでいる。予測モードは、隣接するブロックから予測された予測モードに基づいて符号化される。ヘッダービットのビット数の計算はさほど複雑ではないため、ＨＥＶＣテストモデルで使用されている方法をそのまま使用することができる。

（２．３）全体のレート
簡易レート推定器２は、ＨＥＶＣテストモデルで使用されている方法により算出されるヘッダービットのビット数Ｂ_ｈｄｒと、上述の推定符号化ビットコストＢ^_coefとを加え（式（４）参照）、全体のレートの推定値Ｂ_mode^を算出する。

（３）低複雑度歪み推定器３
（３．１）歪みの原因
上記（１）項（式（２）参照）で説明したように、歪みはオリジナル画素と再構成画素との間のＳＳＥ（sum of square error）によって計測される。再構成画素の計算の元となるデータは、イントラ予測器１０２→残差画素記憶部１０３→変換部１０４→量子化部１０５→符号化画素記憶部１０６→逆量子化部１０９→逆変換部１１０→再構成部１１１の各モジュールを通って流れる（図１参照）。順方向変換において、Ｎ行Ｎ列（ＮはＴＵサイズ）の変換係数行列Ｙ＝（ｙ_ｉｊ）は、Ｎ行Ｎ列の残差サンプル行列Ｘ＝（ｘ_ｉｊ）から次式によって算出される。

ここで、Ｃ_ｆは変換行列（ＤＣＴ等）、Ｅ_ｆはスケーリング行列である。Ｈ．２６４／ＡＶＣやＨＥＶＣでは、変換行列Ｃ_ｆとして、ＤＣＴをベースにして規定変換を整数のみで構成した整数変換が採用されている。整数変換は、ＤＣＴと略同等の性能を持つが、直交性を持たないため逆変換において歪みを生じる。この、変換／逆変換によって生じる歪みを変換歪みＤ_Ｔと定義する。

一方、逆量子化部１０９においては、変換係数ｙ_ｉｊは、よりビット数の小さい量子化係数ｑ_ｉｊへとスケーリングされる。例えば、ＨＥＶＣでは、次式の整数演算とシフト演算によって量子化が行われる。

ここで、QPは量子化パラメータ、QStepは量子化ステップ、ＮはＴＵサイズ、BitDepthは画素階調、iQBitsは量子化パラメータQP及びＴＵサイズに関するビットシフト数である。また、ｍ_ｉｊは重み付け量子化係数、f(QP％6)は量子化ステップによる量子化を実現するための乗算係数（スケーリング・パラメータ）であり、それぞれテーブルにより与えられる。量子化においては、右ビットシフト操作による小数部の切り捨て（床関数演算）が行われるため、量子化による歪みが生じる。この量子化歪みをＤ_Ｑと定義する。

また、変換係数の値が所定のレンジを越えた場合には、各係数は所定の最大値にクリッピングされる。このクリッピングによって生じるクリッピング歪みをＤ_Ｃと定義する。

従って、全体の歪みＤは、Ｄ_Ｔ，Ｄ_Ｑ，Ｄ_Ｃが相互作用した結果であり、次式のように定式化される。

ここで、関数Ｇは相殺項も含むため、全体の歪みＤはＤ_Ｔ，Ｄ_Ｑ，Ｄ_Ｃの単純な和とはならない。非特許文献５によれば、変換ドメイン歪み（transform domain distortion）は、実空間ドメイン歪み（actual spatial-domain distortion）Ｄに近似する。即ち、量子化歪みＤ_Ｑが全体の歪みＤの大部分を占める。

（３．２）ブロックレベル歪み推定
式（１２ａ）より、量子化演算は、次式のように定式化できる。

ここで、ｓ_ｉｊはスケーリングされた変換係数である。「≫」は右ビットシフト演算子である。ＨＥＶＣにおいては、デフォルトの量子化モジュール（量子化部１０５）は、レート歪み最適化量子化（Rate Distortion Optimized Quantization：ＲＤＯＱ）である（非特許文献７）。ＲＤＯＱにおいて、量子化レベルは、計算される各コストにより３つの候補量子化値の中から選択される。３つの候補量子化値とは０，l_ij ^floor，l_ij ^ceilである。ここで、l_ij ^floor，l_ij ^ceilは次式で定義される。

従って、変換係数ｙ_ｉｊから量子化歪みＤ_Ｑを推定するのは妥当ではない。そこで、スケーリングされた変換係数ｓ_ｉｊと量子化係数ｑ_ｉｊとの差ｄ_ｑｓijを次式により計算する。

「≪」は左ビットシフト演算子である。これにより、全体のスケーリングされた量子化歪みＤ_ｑｓは次式のように算出できる。

図５は、全体の歪みＤとスケーリングされた量子化歪みＤ_ｑｓとの関係を示す図である。図５より、全体の歪みＤとスケーリングされた量子化歪みＤ_ｑｓとは強い線形性を有することが分かる。

一方、逆量子化は、次式のように定式化される。

ここで、scaleは量子化手順におけるスケーリング・パラメータf(QP％6)と相関のあるスケーリング・パラメータ、iAddはオフセット、iShiftはＴＵサイズと関係するビットシフト数である。そこで、量子化歪みＤ_Ｑの推定値Ｄ_Ｑ^を次式によりモデル化する。

ここで、ηはスケーリング・パラメータscaleに起因するパラメータ、ｋはビットシフト数iShiftに起因するパラメータ、ＮはＴＵサイズである。従って、最終的に全体の歪みＤの推定値Ｄ^は次式により近似される。

ここで、μ（ＱＰ）は量子化パラメータＱＰに依存するモデル・パラメータ（フィッティング・パラメータ）である。テスト・シーケンスを用いた学習によって適切なμ（ＱＰ）を予め設定しておくことにより、低複雑度歪み推定器３は、式（２０）を演算することによって全体の歪みＤを正確に推定することができる。

低複雑度歪み推定器３を用いることにより、ＲＤコスト計算において、図１の逆量子化部１０９、逆変換部１１０、再構成部１１１、再構成画素記憶部１１２、減算器１１３は省略することができる。従って、画素の再構成は、最適な予測モードに対してのみ行えばよいことになる。従って、ＲＤコスト計算における計算複雑度は大幅に低減される。また、ハードウェア実装においては、低複雑度歪み推定器３を用いることによりデータ依存性が隠遮される。

尚、以上に説明したレート歪コスト推定装置１は、映像処理用のＶＬＳＩなどに回路的に組み込んで使用するＩＰコアの形態として実現することを想定して説明したが、本発明はハードウェア構成によって実現したものに限らず、プログラムとしてソフトウェア的に構成し、コンピュータに読み込ませて実行し当該コンピュータを本発明のレート歪コスト推定装置１として機能させるように構成することもできる。また、ＦＰＧＡ等の再構成可能論理回路用の論理回路構成情報用プログラムとして構成し、当該プログラムによって当該再構成可能論理回路を本発明のレート歪コスト推定装置１として機能させるように構成することもできる。さらには、これらのプログラムを記録媒体に記憶させた形態として提供し、又はネットワークを介して提供することもできる。

（４）実験結果
最後に、本実施例に係るレート歪コスト推定装置１により、実際の映像シーケンスを使用してレート歪コスト計算を演算する実験を行った結果について説明する。

（４．１）モデル・パラメータのトレーニング
まず、テスト・シーケンス（非特許文献１０）を用いて、４つの量子化パラメータＱＰ（＝２２，２７，３２，３７）に対し、式（１０）及び式（２０）のモデル・パラメータα，β，θ，μを得る。式（１０）のレート推定におけるモデル・パラメータα（QP,N），β（QP,N），θ（QP,N）は、最小二乗法に基づく非線形回帰アルゴリズムであるLevenberg-Marquardtアルゴリズム（非特許文献１１）によってトレーニング（学習）した。また、式（２０）の歪み推定におけるモデル・パラメータμ（QP）は、通常の単純な線形回帰法によって計算した。

モデル・パラメータのトレーニング（学習）には、２つのテスト・シーケンスを使用した。表２，表３に示したクラスＡ，Ｂの高解像度シーケンスにおいて、無作為に選択されたシーケンスBQTerraceによって１組のモデル・パラメータを得た。また、クラスＣ，Ｄ，Ｅの低解像度シーケンスにおいて、無作為に選択されたシーケンスBasketballPassによって１組のモデル・パラメータを得た。

（４．２）本発明のレート歪コスト推定装置１の性能
本実施例のレート歪コスト推定装置１を、ＪＴＣ−ＶＣＨＭ−８．０（HEVC reference tool）に組み込んだ。本実験において、非特許文献１０にリストアップされたすべてのテスト・シーケンスについて、量子化パラメータＱＰを２２，２７，３２，３７として、オール・イントラのコンフィギュレーションによりエンコードした。符号化効率及び計算複雑度を、本実施例に係るレート歪コスト推定装置１とＨＭ−８．０とで比較した。符号化効率は、Bjonteegaard法（非特許文献１２）を用いて、ビットレート差及びＰＳＮＲ差により測定した。計算複雑度の減少は、次式で定義されるＲＤコスト計算の時間減少率ΔＴ_ＲＤＯにより測定した。

表２に、レート歪み最適化量子化（ＲＤＯＱ）を用いた場合の各テスト・シーケンスに対するＲＤコスト計算の実験結果を示す。この実験において、ＲＤＯＱのコンフィギュレーションはオンとされている。本実施例のレート歪コスト推定装置１は、平均の画質劣化（BD-psnr）が０．１０７ｄＢであるのに対し、平均のビットレート（BD-rate）が１．９３％増加した。これは、許容できる範囲であり、レート歪コスト推定装置１のＲＤコスト推定演算が比較的正確に行われたことが実証された。そして、ＲＤコスト計算の時間は、約３４％節約された。

表３に、従来型の量子化法を用いた場合の各テスト・シーケンスに対するＲＤコスト計算の実験結果を示す。この実験においては、ＲＤＯＱのコンフィギュレーションはオフとされている。本実施例のレート歪コスト推定装置１は、平均の画質劣化（BD-psnr）が０．１０９ｄＢであるのに対し、平均のビットレート（BD-rate）が１．９７％増加した。そして、ＲＤコスト計算時間は、約４４％節約された。このケースでは、表２のケースよりも多くのＲＤコスト計算時間を節約することができている。これは、従来型の量子化法の計算複雑度はＲＤＯＱよりも遥かに小さいためである。

本実施例のレート歪コスト推定装置１のハードウェア実装に対する寄与は、ＲＤコスト計算時間減少率ΔＴ_ＲＤＯに対する寄与よりも更に大きい。なぜなら、本実施例のレート歪コスト推定装置１において、パイプラインにおいて長い待ち時間を生じるエントロピ符号化及び再構成を含む、ハードウェア実装に不親和なモジュールが省略されるからである。

１レート歪コスト推定装置
２簡易レート推定器
３低複雑度歪み推定器
１００レート歪コスト計算部
１０１フレームメモリ
１０２イントラ予測器
１０３残差画素記憶部
１０４変換部
１０５量子化部
１０６符号化画素記憶部
１０７エントロピ符号化部
１０８レート計算部
１０９逆量子化部
１１０逆変換部
１１１再構成部
１１２再構成画素記憶部
１１３減算器
１１４歪み計算部
１１５レート歪計算部

Claims

オリジナルの入力画素ブロックの予測符号化によって得られる残差画素ブロックを変換符号化し量子化して得られた量子化変換係数からなる量子化係数画素ブロックに対し、レート歪コストを推定演算するレート歪コスト推定装置であって、
前記量子化係数画素ブロックを記憶する符号化画素記憶手段と、
前記符号化画素記憶手段に記憶された前記量子化係数画素ブロックをエントロピ符号化して得られる符号化画素ブロックのビットコストを、当該量子化係数画素ブロックに基づき推定演算するレート推定手段と、
前記量子化係数画素ブロックを逆量子化及び逆変換し前記予測画像を加算することで再構成して得られる再構成画素ブロックとオリジナルの前記入力画素ブロックとの間の歪み量を、前記符号化画素記憶手段から読み出される前記量子化係数画素ブロックに基づき推定演算する歪み推定手段と、
前記レート推定手段が算出するレート推定値に所定の定数を掛けた値と、前記歪み推定手段が算出する歪み量推定値との和であるレート歪コストを算出するレート歪コスト演算手段と、を備え、
前記レート推定手段は、
前記符号化画素ブロックのヘッダ部のビット数の推定値Ｂ_ｈｄｒを算出するヘッダレート演算手段と、
前記符号化画素ブロックのヘッダ部を除く符号化係数部分のビット数の推定値Ｂ_ｃｏｅｆを算出する係数レート演算手段と、
前記ヘッダレート演算手段が算出する前記推定値Ｂ_ｈｄｒ及び前記係数レート演算手段が算出する前記推定値Ｂ_ｃｏｅｆの和であるレート推定値Ｂ_ｍｏｄｅを算出する全レート演算手段と、を備え、
前記係数レート演算手段は、当該量子化係数画素ブロックの前記各量子化係数ｑ_ｉ，ｊに対し、前記推定値Ｂ_ｃｏｅｆを次式により演算することを特徴とするレート歪コスト推定装置。
前記歪み推定手段は、
前記残差画素ブロックを変換符号化して得られる各変換係数ｙ_ｉ，ｊをスケーリングしたスケーリング変換係数ｓ_ｉ，ｊを算出する変換係数スケーリング手段と、
前記スケーリング変換係数ｓ_ｉ，ｊ，前記量子化係数ｑ_ｉ，ｊ，及び所定の量子化パラメータ及び画素ブロックのサイズに対して予め定められているビットシフト数iQBitsに対し、（数２）によりスケーリングされた量子化歪みの推定値Ｄ_ｑｓを算出する量子化歪み推定手段と、
前記量子化歪みの推定値Ｄ_ｑｓから、（数３）により前記入力画素ブロックの全体の歪み量Ｄを算出する全歪み推定手段と、を備えたことを特徴とする請求項１記載のレート歪コスト推定装置。
コンピュータに読み込ませて実行することにより、当該コンピュータを請求項１又は２記載のレート歪コスト推定装置として機能させることを特徴とするプログラム。