JP2006319868A - 画像圧縮符号化装置 - Google Patents
画像圧縮符号化装置 Download PDFInfo
- Publication number
- JP2006319868A JP2006319868A JP2005142675A JP2005142675A JP2006319868A JP 2006319868 A JP2006319868 A JP 2006319868A JP 2005142675 A JP2005142675 A JP 2005142675A JP 2005142675 A JP2005142675 A JP 2005142675A JP 2006319868 A JP2006319868 A JP 2006319868A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- information amount
- buffer
- amount
- quantization parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006835 compression Effects 0.000 title claims abstract description 27
- 238000007906 compression Methods 0.000 title claims abstract description 27
- 239000000872 buffer Substances 0.000 claims abstract description 110
- 238000013139 quantization Methods 0.000 claims abstract description 70
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000007704 transition Effects 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 10
- 230000006872 improvement Effects 0.000 abstract description 7
- 230000006641 stabilisation Effects 0.000 abstract description 4
- 238000011105 stabilization Methods 0.000 abstract description 4
- 238000009825 accumulation Methods 0.000 abstract 1
- 230000006978 adaptation Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】 高品質・低遅延が要求される地上ディジタル１セグメント放送への適用を考慮し、バッファ制約の考慮による安定化と、画像性質の反映による画質の向上とを両立させる画像圧縮符号化装置を提供する。
【解決手段】 量子化パラメータに基づいて量子化する量子化部と、送信すべき符号化データを一時的に蓄積するバッファと、第１のＧＯＰのＩフレーム符号化後時点からみて、第２のＧＯＰの先頭フレーム蓄積時におけるバッファ占有量が、オーバフロー限界及びアンダーフロー限界の中心となるように、フレーム毎に必要とする基本発生情報を制限したフレーム目標発生情報量を出力するバッファ制約部と、フレーム目標発生情報量に基づいて算出されたマクロブロック目標発生情報量から量子化パラメータを導出し、該量子化パラメータを量子化部へ出力する量子化パラメータ制御部とを有する。
【選択図】 図５
【解決手段】 量子化パラメータに基づいて量子化する量子化部と、送信すべき符号化データを一時的に蓄積するバッファと、第１のＧＯＰのＩフレーム符号化後時点からみて、第２のＧＯＰの先頭フレーム蓄積時におけるバッファ占有量が、オーバフロー限界及びアンダーフロー限界の中心となるように、フレーム毎に必要とする基本発生情報を制限したフレーム目標発生情報量を出力するバッファ制約部と、フレーム目標発生情報量に基づいて算出されたマクロブロック目標発生情報量から量子化パラメータを導出し、該量子化パラメータを量子化部へ出力する量子化パラメータ制御部とを有する。
【選択図】 図５
Description
本発明は、画像圧縮符号化装置に関する。特に、動き予測ＤＣＴ(Discrete Cosine Transform：離散コサイン変換)符号化方式に基づく符号化装置に関する。
従来、マルチメディアアプリケーションに対する符号化方式として、Ｈ．２６３又はＭＰＥＧ−４がある。これら符号化方式は、アプリケーションの観点から、バッファ制約を厳密に規定する必要がなかった。なぜなら、ダウンロード配信又はＣＤ−ＲＯＭ蓄積というように伝送特性に影響されない用途、又は、伝送特性に影響されるインターネットストリーミングであっても品質保証に重点を置かない用途に、主に使用されるからである。例えばテレビ電話のように低遅延を要するアプリケーションに対しては、受信側の再生間隔のゆらぎを許容することにより、バッファ制約を厳密に規定しなくても実用上問題がなかった。
これに対し、低ビットレート（数百kbit/s以下）を対象とし、動画像の符号化効率が高いＨ．２６４の符号化方式がある。この符号化方式は、地上ディジタル放送の移動体向け放送（一般に「１セグメント放送」と称される）に採用されている。
Ｈ．２６４は、符号化制御の観点から、以下の特徴を有する。
（１）フレーム内符号化モードにおける予測方式の改善による圧縮効率の向上
（２）ブロックサイズ適応選択による予測効率の向上
（３）ＲＤ最適化又はそれに準じるモード選択方式を採用
ＲＤ最適化とは、情報量(Rate)及びひずみ(Distortion)の両方を共に最小するマクロブロックモードを選択することを指し、実際に仮符号化をしながら最適選択(Optimization)をする。
（１）フレーム内符号化モードにおける予測方式の改善による圧縮効率の向上
（２）ブロックサイズ適応選択による予測効率の向上
（３）ＲＤ最適化又はそれに準じるモード選択方式を採用
ＲＤ最適化とは、情報量(Rate)及びひずみ(Distortion)の両方を共に最小するマクロブロックモードを選択することを指し、実際に仮符号化をしながら最適選択(Optimization)をする。
この符号化方式は、「放送」に採用されているために、エンコーダに高品質が要求され、即時性及び遅延の一意性が要求される。従って、エンコーダは、ビットレート及び遅延に対する条件に厳密に準拠する必要がある。
Ｈ．２６４に基づくレート制御方法には、ＭＰＥＧ−２ＴＭ５における情報量割当方式に基づいたＨＲＤ(Hypothetical Reference Decoder:仮想参照デコーダ)バッファ制約方式がある（例えば非特許文献１参照）。ＨＲＤバッファは、ＭＰＥＧ−２のＶＢＶ(Video Buffer Verifier：ビデオバッファ検証器)に相当するものである。
非特許文献１を発展させたものとして、リファレンスエンコーダ（ＪＭ：Joint Model、参照ソフトウェア）で用いられる方式もある（例えば非特許文献２参照）。ＪＭは、符号化方式の性能検証又は正当性確認に用いられる。
これら従来技術は、ＧＯＰ(Group Of Pictures)単位での一定レートを前提とし、ピクチャタイプに応じた重み付けによって、各フレームに対して情報量を割り当てる。また、従来技術におけるレート制御は、レート−ひずみの二次方程式モデル（例えば非特許文献３参照）に基づくマクロブロックＱＰ(Quantization Parameter：量子化パラメータ)設定の組み合わせによって行われる。これら方式は、フレーム単位の画像性質を考慮していない。また、フレーム内ＱＰ決定の際の局所的ひずみ量を、前フレームの同位置のマクロブロックのものから流用しており、動きの大きい画像に対しては信頼性が低い。
その他の方法としては、フレーム内ＱＰ決定に際し、ゼロ係数の割合と発生情報量との関係に着目して量子化制御を行う方式もある（例えば非特許文献４参照）。更に、レートひずみ結合係数λを様々に変化させＲＤ最適化を行い、希望のレートとなるものを選択する方式もある（例えば非特許文献５参照）。
図１は、従来技術における画像圧縮符号化装置の機能構成図である。
画像圧縮符号化装置１は、画面データ（フレーム単位）を入力し、その符号化データを出力する。現フレームメモリ１０１は、入力された１フレームを蓄積する。動き予測部１０２は、現フレームの各マクロブロックについて、ブロックマッチング法などにより、ローカルデコードメモリ１０７内のフレーム（前ローカルデコードフレーム）に対する動きを予測し、動きベクトルを出力する。動き補償部１１１は、時間方向に流れるフレーム間で、前ローカルデコードフレームに対して、先に算出された動きベクトルをマクロブロックごとに適用し、被写体の動きを考慮した予測画面を出力する。ＤＣＴ部１１２は、イントラモードにおいては現フレームのマクロブロックを、インターモードにおいては現フレームのマクロブロックと動き補償を施された予測画面のマクロブロックとの差分に対して、さらにこれを４つに分割したブロック毎に直交変換し、周波数成分を示すＤＣＴ係数を出力する。量子化部１１３は、直交変換されたＤＣＴ係数を、所定の量子化パラメータに基づいて離散数値化する。可変長符号化部１１６は、動きベクトルやモード情報や量子化により発生する情報を、実際に伝送される符号に変換を行う。その際，これら情報の発生頻度などの統計的性質に基づき、符号長が短くなるよう符号語の割り当てを行い、符号化を行う。バッファ部１１７は、圧縮符号化データを送信するために一時的にバッファする。
従来技術による量子化部のレート制御は、バッファ部における蓄積データの占有量によって、量子化部１１３の量子化パラメータを制御するものである。
逆量子化部１１４は、量子化されたＤＣＴ係数データを元の値に変換する。逆ＤＣＴ部１１５は、ＤＣＴ係数から通常の画素情報に復元する。ローカルデコードメモリ１０７は、イントラモードの場合は復元された画素情報を、インターモードの場合は動き補償画像情報に対して加算をし、受信側で再生されるフレームと同じものを一時的に蓄積する。フレーム間予測誤差算出部１０３及びフレーム内予測誤差算出部１０４は、インター（フレーム間）／イントラ（フレーム内）モードそれぞれについて、予測時のブロックサイズなどの最適化を行い、予測誤差を出力する。モード判定部１０５は、予測誤差の大きさが小さくなるようインターモード又はイントラモードのいずれかを選択する。モード情報メモリ１０６は、選択されたモードを一時的に蓄積し、そのモードでスイッチを切り替える。
S.Ma、W.Gao、F.Wu及びYanLu、「Rate control for JVT video coding scheme with HRD considerations」、IEEE ICIP2003、Vol.III、pp.793-796、Sep. 2003.
Z.Li、W.Gao及びF.Pan、「Adaptive rate control with HRD consideration」、Joint Video Team of ISO/IEC MPEG and ITU-T VCEG、JVT-H014、May 2003.
T.Chiang及びY.Zhang、「A new rate controlscheme using quadratic rate distortion model」、IEEE Trans. Circuits Syst. Video Technol.、Vol.7、pp.287-331、Apr. 1997.
S.Milani、L.Celetto及びG.A.Mian、「A rate control algorithm for the H.264 encoder」、6th Baiona Workshop on Signal Processing in Communications、pp.390-396、Sep. 2003.
M.M.Mahdi及びM.Ghanbar、「A lagrangian optimized rate control algorithm for the H.264/AVC encoder」、IEEE ICIP2004、Vol.I、pp.123-126、2004.
G.Sullivan、T.Wiegand、K.P.Lim、「Joint Model Reference Encoding Methods and Decoding Concealment Methods」、Joint Video Team of ISO/IEC MPEG and ITU-T VCEG、JVT-I049、Sep. 2003.
ITU-T Recommendation H.264 + Cor1、「Advanced video coding for generic audiovisual services」、May 2004.
地上ディジタル放送では、１つのチャネルを１３のセグメントに分割し、必要な帯域に応じて、ＨＤＴＶを放送する場合は１２セグメント、又は、標準テレビでは４セグメント×３番組を使用し、残りの１セグメントを移動体向け放送に割り当てている。即ち、固定された帯域が割り当てられていることになる。
いずれの従来技術も、ビットレート制約に対して、ＧＯＰ単位に一定の情報量を割り当てることを目的としている。既に符号化されたフレーム発生情報量に対する割当量との差異は、ＧＯＰ内残りのフレームの符号化にて吸収されるよう制御される。更に、ＧＯＰ符号化後、当該ＧＯＰの発生情報量と割当量との差異は、次ＧＯＰの目標とする情報量に反映されることとなる。
このようなレート制御方法においては、全てのＧＯＰで発生情報量が均一となるように制御されているために、ＨＲＤバッファサイズは、ＧＯＰ内で発生量が最大となるフレームの情報量程度と暗示的に定まる。しかしながら、ＨＲＤバッファサイズ及び初期遅延を明確に意識した制御ではないために、伝送目的（テレビ電話用途：双方向超低遅延又はライブ放送用途：片方向低遅延など）に特化したバッファ制約を設定した上での符号化制御は難しい。
また、フレームの情報量割り当てに画像性質が考慮されていないため、発生情報量の多いシーンではひずみが増大し、少ないシーンでは必要以上に細かい量子化が行われる傾向となる。これは、フレーム間予測効率の低下を招くだけでなく、品質変動が視覚的に不快感を与えることとなる。
この場合、画像品質が低下するだけでなく、受信側のバッファ破綻による映像の乱れや、規定時刻にフレームが表示されないことによる動きのがたつき（ジャダー）などが発生し、特に放送用途ではこれらは厳密に回避されなければならない。
また、画像性質を考慮したいがために、画像性質に基づく発生情報量をそのまま目標値として符号化を仮に行った場合、各フレームの性質を反映させた符号化をすることはできるものの、ＨＲＤバッファの推移を考慮していない状態となっている。つまり、各フレームの要求する情報量をそのまま割り当てるということは、ＱＰ値固定として符号化を行っていることと等価である。これは、ＨＲＤバッファが無限に大きい場合には問題とならないが、バッファ制約下においては設定したバッファ条件を破綻させないようにしなければならない。
このように、前述されたいずれの従来技術においても、バッファサイズ又は遅延量を明確に規定した上での符号化制御、及び、個々のフレームの画像性質を考慮した符号化制御については何ら提案していない。
従って、本発明は、高品質・低遅延が要求される地上ディジタル１セグメント放送への適用を考慮し、バッファ制約の考慮による安定化と、画像性質の反映による画質の向上とを両立させる画像圧縮符号化装置を提供することを目的とする。
本発明における画像圧縮符号化装置は、
量子化パラメータに基づいて量子化する量子化手段と、
第１のＧＯＰの先頭フレーム符号化直後時点からみて、第２のＧＯＰの先頭フレーム符号化直前時点までの仮想受信バッファのバッファ占有遷移が、オーバフロー限界及びアンダーフロー限界の中心となるように、各フレームが必要とする基本発生情報量に対して補正を行ったフレーム目標発生情報量を出力するバッファ制約手段と、
フレーム目標発生情報量に基づいて算出されたマクロブロック目標発生情報量から量子化パラメータを導出し、該量子化パラメータを量子化手段へ出力する量子化パラメータ制御手段と
を有することを特徴とする。
量子化パラメータに基づいて量子化する量子化手段と、
第１のＧＯＰの先頭フレーム符号化直後時点からみて、第２のＧＯＰの先頭フレーム符号化直前時点までの仮想受信バッファのバッファ占有遷移が、オーバフロー限界及びアンダーフロー限界の中心となるように、各フレームが必要とする基本発生情報量に対して補正を行ったフレーム目標発生情報量を出力するバッファ制約手段と、
フレーム目標発生情報量に基づいて算出されたマクロブロック目標発生情報量から量子化パラメータを導出し、該量子化パラメータを量子化手段へ出力する量子化パラメータ制御手段と
を有することを特徴とする。
本発明の画像圧縮符号化装置における他の実施形態によれば、
マクロブロック毎に、インター／イントラモード判定後の予測誤差である差分絶対値和ＳＡＤを算出する差分絶対値和算出手段を更に有し、
バッファ制約手段は、
差分絶対値和ＳＡＤに基づいて、フレーム基本発生情報量を推定するフレーム基本発生情報量推定手段と、
第１のＧＯＰの先頭フレーム符号化直後時点からみて、第２のＧＯＰの先頭フレーム符号化直前時点までの仮想受信バッファのバッファ占有遷移が、オーバフロー限界及びアンダーフロー限界の中心となるように、ビットレートから得られるフレームあたりの平均発生情報量に対する、フレームの発生情報量の割合であるスケーリング係数を出力する情報量補正手段と、
推定された基本発生情報量にスケーリング係数を乗じてフレーム目標発生情報量を出力する乗算手段と
を有することも好ましい。
マクロブロック毎に、インター／イントラモード判定後の予測誤差である差分絶対値和ＳＡＤを算出する差分絶対値和算出手段を更に有し、
バッファ制約手段は、
差分絶対値和ＳＡＤに基づいて、フレーム基本発生情報量を推定するフレーム基本発生情報量推定手段と、
第１のＧＯＰの先頭フレーム符号化直後時点からみて、第２のＧＯＰの先頭フレーム符号化直前時点までの仮想受信バッファのバッファ占有遷移が、オーバフロー限界及びアンダーフロー限界の中心となるように、ビットレートから得られるフレームあたりの平均発生情報量に対する、フレームの発生情報量の割合であるスケーリング係数を出力する情報量補正手段と、
推定された基本発生情報量にスケーリング係数を乗じてフレーム目標発生情報量を出力する乗算手段と
を有することも好ましい。
また、本発明の画像圧縮符号化装置における他の実施形態によれば、
情報量補正手段は、ＧＯＰ単位で行うものであって、バッファにおける符号化データの占有量が低く遷移している場合、小さいの値のスケーリング係数を出力し、符号化データの占有量が高く遷移している場合、大きい値のスケーリング係数を出力するように動作することも好ましい。
情報量補正手段は、ＧＯＰ単位で行うものであって、バッファにおける符号化データの占有量が低く遷移している場合、小さいの値のスケーリング係数を出力し、符号化データの占有量が高く遷移している場合、大きい値のスケーリング係数を出力するように動作することも好ましい。
更に、本発明の画像圧縮符号化装置における他の実施形態によれば、
フレーム基本発生情報量推定手段は、差分絶対値和ＳＡＤ及び固定量子化パラメータＱＰに基づいて発生情報量を推定する関数ｆ又は推定値を予め蓄積していることも好ましい。
フレーム基本発生情報量推定手段は、差分絶対値和ＳＡＤ及び固定量子化パラメータＱＰに基づいて発生情報量を推定する関数ｆ又は推定値を予め蓄積していることも好ましい。
更に、本発明の画像圧縮符号化装置における他の実施形態によれば、
バッファ制約手段は、乗算手段から出力されたフレーム目標発生情報量に対して、バッファのオーバフロー限界又はアンダー限界に達しないようにクリップするクリップ手段を更に有することも好ましい。
バッファ制約手段は、乗算手段から出力されたフレーム目標発生情報量に対して、バッファのオーバフロー限界又はアンダー限界に達しないようにクリップするクリップ手段を更に有することも好ましい。
更に、本発明の画像圧縮符号化装置における他の実施形態によれば、
量子化パラメータ制御手段は、
フレーム目標発生情報量に基づいてマクロブロック目標発生情報量を出力するマクロブロック目標発生情報量決定手段と、
実発生情報量における当該マクロブロック直前までの情報量の和と、目標発生情報量における当該マクロブロック直前までの情報量の和と、当該マクロブロック直前までの量子化パラメータの平均値とから当該マクロブロックの量子化パラメータを算出し、量子化手段へ出力する量子化パラメータ算出手段と
を有することも好ましい。
量子化パラメータ制御手段は、
フレーム目標発生情報量に基づいてマクロブロック目標発生情報量を出力するマクロブロック目標発生情報量決定手段と、
実発生情報量における当該マクロブロック直前までの情報量の和と、目標発生情報量における当該マクロブロック直前までの情報量の和と、当該マクロブロック直前までの量子化パラメータの平均値とから当該マクロブロックの量子化パラメータを算出し、量子化手段へ出力する量子化パラメータ算出手段と
を有することも好ましい。
本発明における画像圧縮符号化装置によれば、高品質・低遅延が要求される地上ディジタル１セグメント放送への適用に際し、バッファ制約の考慮による安定化と、画像性質の反映による画質の向上とを両立させることができる。特に、従来技術におけるレート制御によれば、ＧＯＰ単位に一定量を割り当てており、バッファサイズ及び画像品質を用途に応じて厳密に設定できなかった。
本発明によれば、バッファ制約を考慮し、ＧＯＰのバッファ遷移状態から得られるスケーリング係数の概念を新たに導入し、予測された発生情報量に適用して割り当てるべき情報量を得る。また、画像性質の反映に関しては、フレーム毎の予測誤差を事前に算出し、それに基づき最適な発生情報量を予測する。このようにして割り当てられた情報量は、一定のバッファ制約の下で、各フレームの性質を相対的に反映させたものとなる。
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
図２は、本発明における画像圧縮符号化装置の機能構成図である。
画像圧縮符号化装置１は、図１と比較して、フレームメモリ１２１と、ＳＡＤ(Sum of Absolute Difference：差分絶対値和、フレーム間予測誤差)算出部１２２と、バッファ制約部１２３と、量子化パラメータ制御部１２４とを更に有する。フレームメモリ１２１は、インターモード又はイントラモードの予測誤差を入力する。ＳＡＤ算出部１２２は、予測誤差を入力し、マクロブロック単位のＳＡＤであるＳｊと、Ｓｊのフレーム内合計値ΣＳｊと、マクロブロック個数における平均値meanＳＡＤとを出力する。以下、ｉはフレーム番号であり、ｊはフレーム内マクロブロック番号である。
バッファ制約部１２３は、ＨＲＤ(Hypothetical Reference Decoder：仮想参照デコーダ)バッファ制約への準拠を目的とする。バッファ制約部１２３は、ＳＡＤ算出部１２２から出力されたmeanＳＡＤを入力し、フレーム目標発生情報量Ｔｉを出力する。尚、ＨＲＤバッファは固定ビットレートとする。
量子化パラメータ制御部１２４は、Ｈ．２６４の符号化特性に基づいて、目標発生情報量を達成するための情報量割り当てを目的とする。量子化パラメータ制御部１２４は、マクロブロック単位のＳＡＤであるＳｊと、Ｓｊのフレーム内合計値ΣＳｊと、フレーム目標発生情報量Ｔｉとを入力し、ＱＰ（量子化パラメータ）値を出力する。このＱＰ値に基づいて量子化部１１３が制御される。
以下では、各機能部について詳細に説明する。
［ＳＡＤ算出部］
ＳＡＤ算出部１２２は、フレームメモリからマクロブロック毎の予測誤差を入力する。従って、インターモードマクロブロックに対してはインター予測誤差が用いられ、イントラモードマクロブロックに対してはイントラ予測誤差が用いられる。そして、ＳＡＤ算出部１２２は、フレームのマクロブロック毎に、モード判定後の予測誤差のＳＡＤを算出する。
ＳＡＤ算出部１２２は、フレームメモリからマクロブロック毎の予測誤差を入力する。従って、インターモードマクロブロックに対してはインター予測誤差が用いられ、イントラモードマクロブロックに対してはイントラ予測誤差が用いられる。そして、ＳＡＤ算出部１２２は、フレームのマクロブロック毎に、モード判定後の予測誤差のＳＡＤを算出する。
本発明は、インター予測又はイントラ予測の後に得られる予測誤差の大きさと、実際の発生情報量との相関関係に着目し、フレームレベルで基本となる情報量割り当てを決定する。予測誤差の大きさの評価には差分絶対値和ＳＡＤを用いる。ＳＡＤ算出部１２２は、マクロブロック単位のＳＡＤであるＳｊと、Ｓｊのフレーム内合計値ΣＳｊと、マクロブロック個数における平均値meanＳＡＤとを出力する。
Ｈ．２６４によれば、イントラ予測におけるモード判定を効果的に行うために、従来の技術においては、既に符号化した隣接マクロブロックを用いてマクロブロック毎に符号化をしながらモード判定を行う。これに対し、本発明におけるＳＡＤ算出部１２２は、符号化前の予測誤差に対するＳＡＤ算出であるために、イントラモード判定の参照画像として原画像を用いる。符号化時には、ローカル復号画像を用いてイントラモード判定のみ再度行う。符号化時には、動きベクトル及びインターモードの予測誤差値は、ＳＡＤ算出時のものを用い、不必要な重複処理を避ける。
モード判定が行われた各マクロブロックｍに対し、各画素における予測誤差をｅｍ（ｐ、ｑ）として、ＳＡＤであるＳｍを、以下の式（１）によって算出する。
式（１）
式（１）
また、ＳＡＤのフレーム内平均値meanＳＡＤを、以下の式（２）によって算出する。尚、ｘ、ｙは、画像サイズである。
式（２）
式（２）
［バッファ制約部］
バッファ制約部１２３は、フレーム基本発生情報量推定部１２３１と、情報量補正部１２３２と、メモリ１２３３と、乗算部１２３４と、クリップ部１２３５とを有する。フレーム基本情報量推定部１２３１は、ＳＡＤ平均値meanＳＡＤを入力し、各ＱＰに基づいてフレーム基本発生情報量ＴＢを出力する。情報量補正部１２３２は、ビットレートから得られるフレーム当たりの発生情報量に対する、実際の発生情報量の割合を、スケーリング係数ＣＳｉとして出力する。乗算部１２３４は、スケーリング係数ＣＳｉとフレーム基本発生情報量ＴＢとを乗算し、フレーム目標発生情報量Ｔｉを出力する。クリップ部１２３５は、フレーム目標発生情報量Ｔｉが、実際に、バッファのオーバフロー限界又はアンダー限界に達しないようにクリップする。以下では、各機能部について詳細に説明する。
バッファ制約部１２３は、フレーム基本発生情報量推定部１２３１と、情報量補正部１２３２と、メモリ１２３３と、乗算部１２３４と、クリップ部１２３５とを有する。フレーム基本情報量推定部１２３１は、ＳＡＤ平均値meanＳＡＤを入力し、各ＱＰに基づいてフレーム基本発生情報量ＴＢを出力する。情報量補正部１２３２は、ビットレートから得られるフレーム当たりの発生情報量に対する、実際の発生情報量の割合を、スケーリング係数ＣＳｉとして出力する。乗算部１２３４は、スケーリング係数ＣＳｉとフレーム基本発生情報量ＴＢとを乗算し、フレーム目標発生情報量Ｔｉを出力する。クリップ部１２３５は、フレーム目標発生情報量Ｔｉが、実際に、バッファのオーバフロー限界又はアンダー限界に達しないようにクリップする。以下では、各機能部について詳細に説明する。
［フレーム基本発生情報量推定部］
フレーム基本発生情報量推定部１２３１は、マクロブロック個数におけるＳＡＤ平均値meanＳＡＤを入力する。meanＳＡＤと、各ＱＰ値とから、関数ｆにより、フレーム基本発生情報量ＴＢを算出する。フレーム基本発生情報量とは、バッファ制約を考慮する前段階において、純粋に各フレームが必要とする発生情報量をいう。
式（３）
ＴＢ＝ｆ（meanＳＡＤ，ＱＰ）
フレーム基本発生情報量推定部１２３１は、マクロブロック個数におけるＳＡＤ平均値meanＳＡＤを入力する。meanＳＡＤと、各ＱＰ値とから、関数ｆにより、フレーム基本発生情報量ＴＢを算出する。フレーム基本発生情報量とは、バッファ制約を考慮する前段階において、純粋に各フレームが必要とする発生情報量をいう。
式（３）
ＴＢ＝ｆ（meanＳＡＤ，ＱＰ）
図３は、ＳＡＤと発生情報量との関係を表すグラフである。図３のグラフは、事前実験によって得られたものである。
図３のグラフによれば、横軸は、ＳＡＤのフレーム内合計値Ｓｊにおけるマクロブロックあたりの平均値であり、縦軸は、発生情報量である。各ＱＰ値におけるプロットが、それぞれほぼ同一曲線上に存在している。この相関関係は、事前測定によって得られた結果であり、ＱＰ値に依存しないことが理解できる。これは、フレームＳＡＤによって、そのフレームが必要とする発生情報量を予測できることを意味する。
これらの関係について、各ＱＰに対してＳに関する以下の線形多項式による最小二乗近似をしたところ、各係数は表１に示す通りとなる。ｂｉｔｓはフレーム発生情報量であり、ＳはフレームＳＡＤのマクロブロックあたりの平均値である。
ｂｉｔｓ ＝ ａ・Ｓ３＋ｂ・Ｓ２＋ｃ・Ｓ＋ｄ
ｂｉｔｓ ＝ ａ・Ｓ３＋ｂ・Ｓ２＋ｃ・Ｓ＋ｄ
ここで、対象とするＱＰの範囲を５〜５０としているが、これは、従来の符号化方式が、量子化ステップサイズの定義に関して、ＱＰに対して線形とし、その最大値を３１としているのに対し、Ｈ．２６４では２の（ＱＰ／６）乗に比例させることでＱＰとひずみ量とが線形の関係になるよう定めており、かつＱＰの最大値を５１と規定していることによる。近似の結果、３次以上の係数が十分小さい値となったことから、以下に示す２次式を用いる。
ｂｉｔｓ ＝ ｂ・Ｓ２＋ｃ・Ｓ＋ｄ
ｂｉｔｓ ＝ ｂ・Ｓ２＋ｃ・Ｓ＋ｄ
図４は、図３のグラフの結果を近似したグラフである。
式（３）の関数ｆは、図４によって得られるＳＡＤと発生情報量との相関関係を意味する。これにより、予測誤差算出後にフレームの発生情報量を予測することができる。マクロブロック毎の予測誤差が既に求められているので、フレーム内における各マクロブロックの発生情報量も同時に予測できることから、各ＱＰ値決定の際にも、この予測誤差情報を利用することができる。
［情報量補正部］
情報量補正部１２３２は、ビットレートから得られるフレーム当たりの発生情報量に対する、実際の発生情報量の割合を、スケーリング係数ＣＳｉとして出力する。
情報量補正部１２３２は、ビットレートから得られるフレーム当たりの発生情報量に対する、実際の発生情報量の割合を、スケーリング係数ＣＳｉとして出力する。
図５は、本発明におけるＨＲＤバッファの遷移グラフである。
図５のグラフによれば、縦軸はバッファ占有量であり、横軸は経過時間である。現在時刻は、ＧＯＰ先頭のＩＤＲ(Instantaneous Decoding Refresh：瞬時復号リフレッシュ)フレームの符号化後とする。ＩＤＲフレームは、従来のＩフレームに相当する。一般に、ＨＲＤバッファは、情報量の多いＩＤＲフレームが符号化されるとバッファレベルが大きく下がり、その後、非ＩＤＲフレーム（Ｐフレーム又はＢフレーム）によってバッファレベルが回復するように遷移する。
ＩＤＲフレームとは、参照フレーム間距離を変更できるＨ．２６４において、ＩＤＲフレームをまたいだ、一切の参照関係が存在しないことを意味する。ディジタル放送においては、伝送途中のデータから受信復号を開始する必要があり、定期的なＩＤＲフレームの挿入が必要となる。
ここで、１つのＧＯＰの符号化を完了するまでに、ＨＲＤバッファの遷移が満足すべき条件について考える。
アンダーフロー防止の観点からは、各ＩＤＲフレームの符号化直後、アンダーフローを生じないようにするだけでなく、次ＧＯＰの先頭フレームの符号化直前に、ＩＤＲフレームによって発生する可能性のある情報量を確保しておく必要がある。
一方、オーバフロー防止の観点からは、各フレーム符号化直前のバッファレベルが、バッファ最大サイズを超えないようにすればよい。しかしながら、不必要なスタッフィングビットを発生させることなく、全ての発生情報量を画像の符号化に効率的に用いるためには、更に、次ＧＯＰの符号化直前まで一切のオーバフローを生じさせないことも条件となる。
これは、以下の理由による。一般に、情報量の少ないシーケンスにおいては、各Ｐフレームの発生情報量が平均より小さいため、Ｐフレーム区間でのバッファ遷移が単調増加となる。このとき、ＧＯＰ途中のフレームで発生した情報量が小さいために、次フレーム符号化直前においてオーバフローが発生すると判断された場合、これを回避するためにスタッフィングが行われることとなるが、次フレームも似たような画像性質を持つ可能性が高い。この場合、以後のフレームに対してもスタッフィングが継続して必要となる。これに対しては、スタッフィングが発生した直後のフレーム符号化に使用する量子化パラメータを十分に小さくするなどの特別な補正を行うことで回避できる。しかし、本発明が目的とする画像性質の均一化に反することとなるため、ＧＯＰの最後までオーバフローを生じないことを条件として設定する必要がある。
以上の点を考慮し、ＧＯＰ途中でのアンダーフロー限界及びオーバフロー限界を、図５のＢＯ(i)及びＢＵ(i)によって定義する。
図５のグラフによれば、両限界及びＧＯＰ境界線に囲まれた三角形（点Ａ、Ｃ及ぶＤを頂点とする）の中でバッファ推移することを理想とする。そのために、以下の手順に基づいて情報量を割り当てる。
ＧＯＰ先頭フレーム（ＩＤＲ）の符号化直後に、ＧＯＰ毎のバッファ遷移の傾きを決定する。これは、ＧＯＰに対する目標発生情報量を決定することに相当する。ＩＤＲフレームの最大情報量は、現在のバッファレベルからマージン（バッファサイズの１０％）を減じた値とする。個々のフレームＳＡＤから予測される発生情報量に、その傾きを考慮したものをフレーム目標発生情報量とする。マクロブロック毎のＳＡＤに基づいて、フレーム内の情報量を割り当てる。
バッファ状態は、前記した「傾き」すなわちＧＯＰごとの目標発生情報量（ただし増減方向は逆）に反映される。即ち、現在のバッファ状態がアンダーフローに近く、発生情報量を抑える必要がある場合は、傾きが大きい値となる。一方で、バッファ状態がオーバフローに近い場合は、その逆となる。本発明によれば、ＳＡＤから事前に予測される発生情報量に対し、バッファ遷移のとるべき「傾き」を適用したものを符号化時の発生情報量の目標値とすることにより、画像性質の反映とバッファ制約とを両立させることができる。
尚、従来、アンダーフロー限界に達することを回避するために、バッファ状態に応じたフレームスキップ（こま落とし）が行われる場合もあった。しかし、これは、フレームの情報量そのものを制御するものではない。これは、次フレーム符号化時のＨＲＤバッファ位置を、より高い位置にすることを意味する。従って、アンダーフロー限界に達することに対する予防的な効果は期待できるものの、本質的な回避にはなっていない。また、フレームスキップによるぎくしゃく感が主観的印象を悪くする場合もある。従って、本発明によれば、フレームスキップは行わない。
図５のグラフによれば、ＧＯＰ内ｉ番目のフレーム符号化直前におけるバッファ状態は、以下の式（４）が成立する。
式（４）
Ｂｈｉ＝Ｂｈｉ−１−ｂｉ−１＋ＢＲ／ＦＲ
Ｂｈｉ(bit):フレームｉ符号化直前のＨＲＤバッファレベル
ｂｉ(bit)：フレームｉの符号化による発生情報量
ＢＲ(bit/s)：符号化ビットレート
ＦＲ(frame/s)：符号化フレームレート
式（４）
Ｂｈｉ＝Ｂｈｉ−１−ｂｉ−１＋ＢＲ／ＦＲ
Ｂｈｉ(bit):フレームｉ符号化直前のＨＲＤバッファレベル
ｂｉ(bit)：フレームｉの符号化による発生情報量
ＢＲ(bit/s)：符号化ビットレート
ＦＲ(frame/s)：符号化フレームレート
次に、アンダーフロー限界、オーバフロー限界について、以下のように定義する。
アンダーフロー限界ＢＵ(i)は、ＧＯＰ先頭のＩＤＲフレーム符号化後のバッファ位置と、次ＧＯＰの先頭ＩＤＲフレームのために確保したバッファ位置とを結ぶ直線として、以下の式（５）のように定義する。
式（５）
ｂｅ(bit)：次ＧＯＰ先頭のフレームで許容する発生情報量
Ｎ(frame)：ＧＯＰ内フレーム数
式（５）
Ｎ(frame)：ＧＯＰ内フレーム数
また、オーバフロー限界ＢＯ(i)は、ＧＯＰ先頭から２番目のフレーム符号化前のバッファ位置と、次ＧＯＰ先頭ＩＤＲフレーム符号化前におけるバッファ最大値とを結ぶ直線として、以下の式（６）のように定義する。
式（６）
Ｂ：バッファサイズ
式（６）
実際のバッファ遷移は、図５に示すとおり、両限界で囲まれる四角形領域の中間で行われるのが、アンダーフロー／オーバフロー防止の観点から望ましい。四角形左側の２点Ａ（０、Ｂｈ０−ｂ０）、Ｂ（１、Ｂｈ０−ｂ０＋ＢＲ／ＦＲ）の中点（１／２、Ｂｈ０−ｂ０＋ＢＲ／２ＦＲ）と、四角形右側の２点Ｃ（Ｎ、ｂｅ）、Ｄ（Ｎ、Ｂ）の中点（Ｎ、（Ｂ＋ｂｅ）／２）とを結ぶ直線をＢＩ(i)として、以下の式（７）のように定義する。
式（７）
式（７）
バッファ破綻防止の観点からは、ＨＲＤバッファ遷移が直線ＢＩ(i)に近いことが理想である。即ち、直線ＢＩ(i)が、フレームｉの符号化直後のバッファ位置と、次フレーム符号化直前のバッファ位置との中間を貫くことを意味する。このとき、以下の式（８）が成立する。式（８）を満たすように、フレームｉの発生情報量ｂｉを制御する必要がある。
式（８）
Ｂｈｉ−ｂｉ＋ＢＲ／２ＦＲ＝ＢＩ(i)
式（８）
Ｂｈｉ−ｂｉ＋ＢＲ／２ＦＲ＝ＢＩ(i)
次に、ビットレートから得られるフレームあたりの発生情報量ｂｆ（＝ＢＲ／ＦＲ）に対するｂｉの割合をスケーリング係数ＣＳｉとして、以下の式（９）のように定義する。
式（９）
ＣＳｉ＝ｂｉ／ｂｆ
式（９）
ＣＳｉ＝ｂｉ／ｂｆ
式（８）及び式（９）より、以下の式（１０）が成立する。
式（１０）
ＣＳｉ＝Ｂｈｉ−ＢＩ(i)／（ＢＲ／ＦＲ）＋１／２
式（１０）
ＣＳｉ＝Ｂｈｉ−ＢＩ(i)／（ＢＲ／ＦＲ）＋１／２
このように算出されたスケーリング係数ＣＳｉが、情報補正部１２３２から出力される。
メモリ１２３３は、情報量補正部１２３２から、スケーリング係数ＣＳｉを受け取り、一時的に蓄積する。
［乗算部］
乗算部１２３４は、スケーリング係数ＣＳｉと基本発生情報量ＴＢとを乗算し、フレーム目標発生情報量Ｔｉを出力する。各フレームが必要とする発生情報量を反映し、かつ、ＨＲＤバッファのアンダーフロー／オーバフローを防止するために、先に算出された基本発生情報量に対し、スケーリング係数ＣＳｉを適用する。即ち、以下の式（１１）によって、目標発生情報量Ｔｉが算出される。
式（１１）
Ｔｉ＝ＴＢｉ・ＣＳｉ
乗算部１２３４は、スケーリング係数ＣＳｉと基本発生情報量ＴＢとを乗算し、フレーム目標発生情報量Ｔｉを出力する。各フレームが必要とする発生情報量を反映し、かつ、ＨＲＤバッファのアンダーフロー／オーバフローを防止するために、先に算出された基本発生情報量に対し、スケーリング係数ＣＳｉを適用する。即ち、以下の式（１１）によって、目標発生情報量Ｔｉが算出される。
式（１１）
Ｔｉ＝ＴＢｉ・ＣＳｉ
これにより、目標発生情報量Ｔｉは、次のように制御される。ＨＲＤバッファが低い位置で遷移している場合は、小さい値のスケーリング係数が基本発生情報量に適用され、発生情報量を抑え、バッファアンダーフローを回避する。ＨＲＤバッファが高い位置で遷移している場合は、大きい値のスケーリング係数が基本発生情報量に適用され、発生情報量を増やし、バッファオーバフローを回避する。
スケーリング係数は、基本発生情報量に対して補正をかけるものであるため、係数値を頻繁に更新することは望ましくなく、ある程度の範囲で一定の値をとることが望ましい。これは、次の理由による。式（１１）によれば、ＣＳｉの更新頻度が高いと、ＴＢに潜在的に反映されていたフレームごとの画像性質を無視することとなる。その結果、フレーム目標発生情報量Ｔｉと画像性質との相関を低下させる原因となる。このため、スケーリング係数をＧＯＰ単位で更新し、フレーム毎に適用することとする。更新は、ＧＯＰ先頭ＩＤＲフレーム符号化後であって、次のＰフレーム符号化直前で行い、これは式（１０）においてｉ＝１とした場合に相当する。この場合、スケーリング係数は、ＧＯＰに割り当てる情報量の、平均ビットレートに対する比率を示すこととなる。
［クリップ部］
クリップ部１２３５は、実際にフレーム目標発生情報量Ｔｉが、バッファのオーバフロー限界又はアンダー限界に達しないようにクリップする。式（１１）によれば、バッファ状態が考慮されたＧＯＰ単位での情報量割り当てが行われるため、バッファの破綻は原則として生じない。しかし、これを厳密に回避するため、以下のバッファ制約を適用する。
式（１２）
Ｂｈｉ−ｂｉ ≧ ｍｇｎ
式（１３）
Ｂｈｉ−ｂｉ＋ＢＲ／ＦＲ ≦ （Ｂ−ｍｇｎ）
但し、ｍｇｎは、バッファ上限・下限に対するマージンであり、以下のように規定する。
式（１４）
ｍｇｎ＝０．２・ＢＲ／ＦＲ
クリップ部１２３５は、実際にフレーム目標発生情報量Ｔｉが、バッファのオーバフロー限界又はアンダー限界に達しないようにクリップする。式（１１）によれば、バッファ状態が考慮されたＧＯＰ単位での情報量割り当てが行われるため、バッファの破綻は原則として生じない。しかし、これを厳密に回避するため、以下のバッファ制約を適用する。
式（１２）
Ｂｈｉ−ｂｉ ≧ ｍｇｎ
式（１３）
Ｂｈｉ−ｂｉ＋ＢＲ／ＦＲ ≦ （Ｂ−ｍｇｎ）
但し、ｍｇｎは、バッファ上限・下限に対するマージンであり、以下のように規定する。
式（１４）
ｍｇｎ＝０．２・ＢＲ／ＦＲ
［量子化パラメータ制御部］
量子化パラメータ制御部１２４は、マクロブロック目標発生情報量決定部１２４１と、目標発生情報量和部１２４２と、実発生情報量和部１２４３と、量子化パラメータ算出部１２４４と、量子化パラメータ平均化部１２４５とを有する。マクロブロック目標発生情報量決定部１２４１は、フレーム目標発生情報量Ｔｉと、マクロブロック毎のＳＡＤ（予測誤差）であるＳｊと、Ｓｊのフレーム内合計値ΣＳｊとから、マクロブロック毎の目標発生情報量ＴＢｊを決定する。目標発生情報量和部１２４２は、マクロブロック目標発生情報量ＴＢｊを加算し、目標発生情報量ＳＴＢを出力する。実発生情報量和部１２４３は、マクロブロック毎の実発生情報量ＢＭｊを加算し、実発生情報量ＳＢＭを出力する。量子化パラメータ算出部１２４４は、目標発生情報量ＳＴＢと、実発生情報量ＳＢＭと、ＱＰ値の平均値とから、ＱＰ値を決定し、そのＱＰ値を量子化部へ出力する。量子化パラメータ平均化部１２４５は、ＱＰ値の平均を算出し、平均ＱＰ値を量子化パラメータ算出部１２４４へ出力する。
量子化パラメータ制御部１２４は、マクロブロック目標発生情報量決定部１２４１と、目標発生情報量和部１２４２と、実発生情報量和部１２４３と、量子化パラメータ算出部１２４４と、量子化パラメータ平均化部１２４５とを有する。マクロブロック目標発生情報量決定部１２４１は、フレーム目標発生情報量Ｔｉと、マクロブロック毎のＳＡＤ（予測誤差）であるＳｊと、Ｓｊのフレーム内合計値ΣＳｊとから、マクロブロック毎の目標発生情報量ＴＢｊを決定する。目標発生情報量和部１２４２は、マクロブロック目標発生情報量ＴＢｊを加算し、目標発生情報量ＳＴＢを出力する。実発生情報量和部１２４３は、マクロブロック毎の実発生情報量ＢＭｊを加算し、実発生情報量ＳＢＭを出力する。量子化パラメータ算出部１２４４は、目標発生情報量ＳＴＢと、実発生情報量ＳＢＭと、ＱＰ値の平均値とから、ＱＰ値を決定し、そのＱＰ値を量子化部へ出力する。量子化パラメータ平均化部１２４５は、ＱＰ値の平均を算出し、平均ＱＰ値を量子化パラメータ算出部１２４４へ出力する。
［マクロブロック目標発生情報量決定部］
マクロブロック目標発生情報量決定部１２４１は、フレーム目標発生情報量Ｔｉと、マクロブロック毎の予測誤差Ｓｊと、Ｓｊのフレーム内合計値ΣＳｊとから、マクロブロック毎の目標発生情報量ＴＢｊを決定する。
マクロブロック目標発生情報量決定部１２４１は、フレーム目標発生情報量Ｔｉと、マクロブロック毎の予測誤差Ｓｊと、Ｓｊのフレーム内合計値ΣＳｊとから、マクロブロック毎の目標発生情報量ＴＢｊを決定する。
本発明は、マクロブロック単位の情報量割り当てについても、各部が必要とする情報量に対し、最大限その情報量を反映させるように情報量を割り当て、ＱＰの変動を最小限に抑え、且つ、画像品質を均一に保つことを目的とする。必要とする情報量は、ＳＡＤ算出部１２２から出力されたＳＡＤ値Ｓｊを利用することとし、次の式（１５）により、目標発生情報量ＴＢｊを決定する。
式（１５）
ＴＢｊ＝Ｓｊ／ΣＳｊ・Ｔｉ
式（１５）
ＴＢｊ＝Ｓｊ／ΣＳｊ・Ｔｉ
［量子化パラメータ算出部］
目標発生情報量と、実際の符号化後の発生情報量との差異を吸収するために、ＱＰ値の制御を以下のようにして行う。これまでに発生した情報量と目標発生情報量は、それぞれ以下のようになる。
ｍ：現在符号化しようとしているマクロブロック
ＢＭｊ：マクロブロックｊで実際に発生した情報量
式（１６）
式（１７）
目標発生情報量と、実際の符号化後の発生情報量との差異を吸収するために、ＱＰ値の制御を以下のようにして行う。これまでに発生した情報量と目標発生情報量は、それぞれ以下のようになる。
ｍ：現在符号化しようとしているマクロブロック
ＢＭｊ：マクロブロックｊで実際に発生した情報量
式（１６）
マクロブロックｍのためのＱＰ値ＱＰｍは、この差異を吸収するための値として設定する。Ｈ．２６４（デコーダ規格、例えば非特許文献７参照）によれば、量子化パラメータＱＰ値と量子化ステップとの関係が以下の指数関数となっており、且つ、量子化パラメータが６増えると、量子化ステップが２倍となるように定義されている。
式（１８）
従って、以下の式（１９）が成立する。
式（１９）
これにより、以下の式（２０）が成立する。
式（２０）
式（１８）
式（１９）
式（２０）
量子化パラメータ平均化部１２４５は、量子化パラメータ算出部１２４４から出力されるＱＰ値を平均化する。本発明は、マクロブロック単位の情報量割り当てについても、各部が必要とする情報量に対し、最大限その情報量を反映させるように情報量を割り当て、ＱＰの変動を最小限に抑え、且つ、画像品質を均一に保つことを目的とする。その観点から、前フレームの平均ＱＰ値をモード判定に有効利用できるものと考えて、これを利用する。ＱＰ０については、過去のＱＰの移動平均値とする。フレームに対して、かつ、マクロブロックに対して、必要度に応じた情報量割り当てを行っているため、ＱＰ値の変動は最小限のものとなり、過去のＱＰ平均値は、有効に利用することができる。
最後に、本発明の有効性を確認するため、地上ディジタル放送の移動体受信機向け（１セグメント）放送を想定して、ソフトウェアシミュレーション実験を行った。
図６は、各画像におけるフレーム毎のＳＮＲの推移を表すグラフである。
図６のグラフは、横軸がフレーム番号であり、縦軸がＰＳＮＲ（ｄＢ）である。本発明は、従来のＪＭ方式に比較して、ＧＯＰ境界での品質変動が抑えられていることが、図６のグラフからも明らかである。
表２は、本発明とＪＭ方式とにおけるＳＮＲ及びその標準偏差の比較を表す。表１によれば、本発明の平均ＳＮＲは、ＪＭ方式と比較して改善されており、その標準偏差が小さいことが理解できる。
平均ＳＮＲでは、０．３程度の改善であるが、局所的な部分においてＳＮＲの変動を半分以下に抑え、最大劣化を２ｄＢ程度改善できた。同時にバッファ制約にも準拠している。
表３は、本発明とＪＭ方式とにおける平均ＱＰ及びその標準偏差の比較を表す。表２によれば、本発明の平均ＱＰ値は、ＪＭ方式と比較して変動が抑えられており、その標準偏差が小さいことが理解できる。
このように、品質変動を小さくすることで符号化効率も改善し、平均ＱＰ値が減少し、結果として、平均ＳＮＲの改善となって現れている。
ＪＭ方式は、ＩＤＲリフレッシュやシーンチェンジ等の大きな発生情報量のフレームが存在すると、当該ＧＯＰ内の他のフレームへの情報量割り当てが削減され、品質低下を生じる。これに対し、本願発明によれば、各フレームの発生情報量の事前予測によりフレーム目標発生情報量を決定しているため、シーンが必要としている情報量に応じた情報量割り当てが行われ、局所的又は周期的な品質劣化の発生を防ぐ。
図７は、フレーム毎のＨＲＤバッファ遷移を表すグラフである。
図７のグラフは、横軸はフレーム番号であり、縦軸はＨＲＤバッファの占有量である。本発明は、画像性質を考慮しているのに対し、従来技術のＪＭ方式は、バッファ制約だけを考慮して（画像性質を考慮していない）符号化制御をする。従って、本願発明は、ＪＭ方式と比較して、画像性質を考慮するがためにバッファ占有量の変化が大きいにもかかわらず、アンダーフロー及びオーバフローを生じることがない。このように、バッファ遷移を考慮したスケーリングに基づくレート制御を行うことにより、画像性質に応じた情報量割り当てを行い、かつＨＲＤバッファ制約に準拠して制御することができる。
演算処理量について、本発明は、符号化前のＳＡＤに基づく発生情報量の事前予測を行っている。しかしながら、通常の符号化処理で行われる動き予測・イントラ予測を利用したものであって、本発明と従来方式との演算処理量は、ほぼ同等となる。
本発明によれば、Ｈ．２６４の符号化レート制御に関して、フレーム間予測誤差（ＳＡＤ）と発生情報量との相関関係に着目し、発生情報量の事前予測に基づくレート制御方法を提案した。本発明は、符号化前に予測される発生情報量をその画面が必要としている情報量とみなし、フレーム目標発生情報量を決定する。また、ＨＲＤバッファ制約を考慮するため、バッファ遷移傾向に基づくスケーリング係数を導入し、フレームが必要とする発生情報量の相対関係を維持しつつ、情報量を割り当てる。これにより、バッファ制約の考慮による安定化と、画像性質の反映による画質の向上とを両立させることができる。
前述した本発明における種々の実施形態によれば、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略を、当業者は容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 画像圧縮符号化装置
１０１ 現フレームメモリ
１０２ 動き予測部
１０３ インターモードのフレーム間予測コスト算出部
１０４ イントラモードのフレーム間予測コスト算出部
１０５ モード判定部
１０６ モード情報メモリ
１０７ ローカルデコードメモリ
１１１ 動き補償部
１１２ ＤＣＴ（離散コサイン変換）部
１１３ 量子化部
１１４ 逆量子化部
１１５ 逆ＤＣＴ部
１１６ 可変長符号化部
１１７ バッファ部
１２１ フレームメモリ
１２２ 差分絶対値和（ＳＡＤ）算出手段
１２３ バッファ制約部
１２３１ フレーム基本発生情報量推定部
１２３２ 情報量補正部
１２３３ メモリ
１２３４ 乗算部
１２３５ クリップ部
１２４ 量子化パラメータ制御部
１２４１ マクロブロック目標発生情報量決定部
１２４２ 目標発生情報量和部
１２４３ 実発生情報量和部
１２４４ 量子化パラメータ算出部
１２４５ 量子化パラメータ平均化部
１０１ 現フレームメモリ
１０２ 動き予測部
１０３ インターモードのフレーム間予測コスト算出部
１０４ イントラモードのフレーム間予測コスト算出部
１０５ モード判定部
１０６ モード情報メモリ
１０７ ローカルデコードメモリ
１１１ 動き補償部
１１２ ＤＣＴ（離散コサイン変換）部
１１３ 量子化部
１１４ 逆量子化部
１１５ 逆ＤＣＴ部
１１６ 可変長符号化部
１１７ バッファ部
１２１ フレームメモリ
１２２ 差分絶対値和（ＳＡＤ）算出手段
１２３ バッファ制約部
１２３１ フレーム基本発生情報量推定部
１２３２ 情報量補正部
１２３３ メモリ
１２３４ 乗算部
１２３５ クリップ部
１２４ 量子化パラメータ制御部
１２４１ マクロブロック目標発生情報量決定部
１２４２ 目標発生情報量和部
１２４３ 実発生情報量和部
１２４４ 量子化パラメータ算出部
１２４５ 量子化パラメータ平均化部
Claims (6)
- 量子化パラメータに基づいて量子化する量子化手段と、
第１のＧＯＰの先頭フレーム符号化直後時点からみて、第２のＧＯＰの先頭フレーム符号化直前時点までの仮想受信バッファのバッファ占有遷移が、オーバフロー限界及びアンダーフロー限界の中心となるように、各フレームが必要とする基本発生情報量に対して補正を行ったフレーム目標発生情報量を出力するバッファ制約手段と、
前記フレーム目標発生情報量に基づいて算出されたマクロブロック目標発生情報量から量子化パラメータを導出し、該量子化パラメータを前記量子化手段へ出力する量子化パラメータ制御手段と
を有することを特徴とする画像圧縮符号化装置。 - マクロブロック毎に、インター／イントラモード判定後の予測誤差である差分絶対値和ＳＡＤを算出する差分絶対値和算出手段を更に有し、
前記バッファ制約手段は、
前記差分絶対値和ＳＡＤに基づいて、フレーム基本発生情報量を推定するフレーム基本発生情報量推定手段と、
第１のＧＯＰの先頭フレーム符号化直後時点からみて、第２のＧＯＰの先頭フレーム符号化直前時点までの仮想受信バッファのバッファ占有遷移が、オーバフロー限界及びアンダーフロー限界の中心となるように、ビットレートから得られるフレームあたりの平均発生情報量に対する、フレームの発生情報量の割合であるスケーリング係数を出力する情報量補正手段と、
前記推定された基本発生情報量に前記スケーリング係数を乗じてフレーム目標発生情報量を出力する乗算手段と
を有することを特徴とする請求項１に記載の画像圧縮符号化装置。 - 前記情報量補正手段は、ＧＯＰ単位で行うものであって、前記バッファにおける前記符号化データの占有量が低く遷移している場合、小さいの値のスケーリング係数を出力し、前記符号化データの占有量が高く遷移している場合、大きい値のスケーリング係数を出力するように動作することを特徴とする請求項２又は３に記載の画像圧縮符号化装置。
- 前記フレーム基本発生情報量推定手段は、前記差分絶対値和ＳＡＤ及び固定量子化パラメータＱＰに基づいて発生情報量を推定する関数ｆ又は推定値を予め蓄積していることを特徴とする請求項２に記載の画像圧縮符号化装置。
- 前記バッファ制約手段は、前記乗算手段から出力された前記フレーム目標発生情報量に対して、前記バッファのオーバフロー限界又はアンダー限界に達しないようにクリップするクリップ手段を更に有することを特徴とする請求項２から４のいずれか１項に記載の画像圧縮符号化装置。
- 前記量子化パラメータ制御手段は、
前記フレーム目標発生情報量に基づいてマクロブロック目標発生情報量を出力するマクロブロック目標発生情報量決定手段と、
実発生情報量における当該マクロブロック直前までの情報量の和と、目標発生情報量における当該マクロブロック直前までの情報量の和と、当該マクロブロック直前までの量子化パラメータの平均値とから当該マクロブロックの量子化パラメータを算出し、前記量子化手段へ出力する量子化パラメータ算出手段と
を有することを特徴とする請求項１に記載の画像圧縮符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005142675A JP4720284B2 (ja) | 2005-05-16 | 2005-05-16 | 画像圧縮符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005142675A JP4720284B2 (ja) | 2005-05-16 | 2005-05-16 | 画像圧縮符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006319868A true JP2006319868A (ja) | 2006-11-24 |
| JP4720284B2 JP4720284B2 (ja) | 2011-07-13 |
Family
ID=37540085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005142675A Expired - Fee Related JP4720284B2 (ja) | 2005-05-16 | 2005-05-16 | 画像圧縮符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4720284B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011259408A (ja) * | 2010-05-10 | 2011-12-22 | Panasonic Corp | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム |
| JP2013251903A (ja) * | 2012-06-01 | 2013-12-12 | Samsung Electronics Co Ltd | 多階層ビデオコーディングのためのレート制御方法、これを用いるビデオエンコード装置及びビデオ信号処理システム |
| JP2016096398A (ja) * | 2014-11-12 | 2016-05-26 | 富士通株式会社 | 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法 |
| CN107426570A (zh) * | 2016-10-28 | 2017-12-01 | 福州大学 | 一种低延迟视频编码的自适应Qp级联方法 |
| CN110677654A (zh) * | 2019-10-16 | 2020-01-10 | 西安邮电大学 | 高效视频编码标准低时延编码结构的量化参数级联方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0514876A (ja) * | 1991-07-05 | 1993-01-22 | Hitachi Ltd | 動画像符号化方式 |
| JPH114444A (ja) * | 1997-06-11 | 1999-01-06 | Sony Corp | 画像符号化装置および方法 |
| JP2002176645A (ja) * | 1997-06-19 | 2002-06-21 | Victor Co Of Japan Ltd | バッファ管理装置 |
| JP2003153259A (ja) * | 2001-11-13 | 2003-05-23 | Kddi Corp | 動画像圧縮符号化レート制御装置 |
-
2005
- 2005-05-16 JP JP2005142675A patent/JP4720284B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0514876A (ja) * | 1991-07-05 | 1993-01-22 | Hitachi Ltd | 動画像符号化方式 |
| JPH114444A (ja) * | 1997-06-11 | 1999-01-06 | Sony Corp | 画像符号化装置および方法 |
| JP2002176645A (ja) * | 1997-06-19 | 2002-06-21 | Victor Co Of Japan Ltd | バッファ管理装置 |
| JP2003153259A (ja) * | 2001-11-13 | 2003-05-23 | Kddi Corp | 動画像圧縮符号化レート制御装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011259408A (ja) * | 2010-05-10 | 2011-12-22 | Panasonic Corp | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム |
| US9510003B2 (en) | 2010-05-10 | 2016-11-29 | Panasonic Intellectual Property Management Co., Ltd. | Moving picture coding device, moving picture coding method, and moving picture coding program |
| JP2013251903A (ja) * | 2012-06-01 | 2013-12-12 | Samsung Electronics Co Ltd | 多階層ビデオコーディングのためのレート制御方法、これを用いるビデオエンコード装置及びビデオ信号処理システム |
| JP2016096398A (ja) * | 2014-11-12 | 2016-05-26 | 富士通株式会社 | 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法 |
| CN107426570A (zh) * | 2016-10-28 | 2017-12-01 | 福州大学 | 一种低延迟视频编码的自适应Qp级联方法 |
| CN107426570B (zh) * | 2016-10-28 | 2020-11-03 | 福州大学 | 一种低延迟视频编码的自适应Qp级联方法 |
| CN110677654A (zh) * | 2019-10-16 | 2020-01-10 | 西安邮电大学 | 高效视频编码标准低时延编码结构的量化参数级联方法 |
| CN110677654B (zh) * | 2019-10-16 | 2020-09-29 | 西安邮电大学 | 高效视频编码标准低时延编码结构的量化参数级联方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4720284B2 (ja) | 2011-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220191493A1 (en) | Video compression and transmission techniques | |
| JP5676705B2 (ja) | 映像符号化規格に対応した映像レート制御の改善 | |
| EP1076885B1 (en) | Method and apparatus for reducing breathing artifacts in compressed video | |
| KR100942395B1 (ko) | 다층 비디오 설계를 위한 레이트 제어 | |
| Wang et al. | Rate-distortion optimization of rate control for H. 264 with adaptive initial quantization parameter determination | |
| KR101518358B1 (ko) | 비디오 코딩에서 프레임 복잡성, 버퍼 레벨 및 인트라 프레임들의 위치를 이용하는 버퍼 기반의 비율 제어 | |
| US8036270B2 (en) | Intra-frame flicker reduction in video coding | |
| US20070009039A1 (en) | Video encoding and decoding methods and apparatuses | |
| US20100166060A1 (en) | Video transcoder rate control | |
| US20100111163A1 (en) | Method for p-domain frame level bit allocation for effective rate control and enhanced video encoding quality | |
| JP2006521771A (ja) | ハイブリッドレートコントローラーを備えるデジタルストリームトランスコーダー | |
| KR20080096760A (ko) | 부호화 장치, 부호화 방법 및 프로그램 | |
| JP5640979B2 (ja) | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム | |
| JP4720284B2 (ja) | 画像圧縮符号化装置 | |
| KR20120096863A (ko) | 고효율 비디오 부호화의 계층적 부호화 구조를 위한 비트율 제어 기법 | |
| JP2007124580A (ja) | 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。 | |
| Miyaji et al. | A novel rate control method for H. 264 video coding | |
| Cai et al. | A high-performance and low-complexity video transcoding scheme for video streaming over wireless links | |
| Park | PSNR-based initial QP determination for low bit rate video coding | |
| Jiang | Adaptive rate control for advanced video coding | |
| JP4292658B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP2012060423A (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080304 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110321 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4720284 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |