JP2011029954A - 画像符号化装置と画像符号化方法 - Google Patents

画像符号化装置と画像符号化方法 Download PDF

Info

Publication number
JP2011029954A
JP2011029954A JP2009173908A JP2009173908A JP2011029954A JP 2011029954 A JP2011029954 A JP 2011029954A JP 2009173908 A JP2009173908 A JP 2009173908A JP 2009173908 A JP2009173908 A JP 2009173908A JP 2011029954 A JP2011029954 A JP 2011029954A
Authority
JP
Japan
Prior art keywords
code amount
generated code
quantization parameter
encoding
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009173908A
Other languages
English (en)
Inventor
Kyohei Koyabu
恭平 小藪
Takaaki Fuchie
孝明 渕江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009173908A priority Critical patent/JP2011029954A/ja
Priority to CN2010102339163A priority patent/CN101969555B/zh
Priority to US12/840,672 priority patent/US8861596B2/en
Publication of JP2011029954A publication Critical patent/JP2011029954A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】画質の変動が少なくなるように各ピクチャに対する符号量の配分を行う。
【解決手段】プレエンコード部２０は、固定の量子化パラメータを用いて画像データの符号化を行ったときの発生符号量の算出と、時間方向の予測を行うピクチャについて、マクロブロックが時間的な予測を行うブロックであるか空間的な予測を行うブロックであるかの判別を行う。符号量制御部４０では、プレエンコード部２０で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータを予測する。時間方向の予測を行うピクチャについては、時間的な予測を行うブロックと空間的な予測を行うブロックの比率に応じて、参照される画像を多く含むピクチャに符号量を多く割り当てるようにオフセット量を設定する。本エンコード部６０は、オフセットされた量子化パラメータを用いて画像データの符号化を行う。
【選択図】 図１

Description

この発明は、画像符号化装置および画像符号化方法に関する。詳しくは、画像の符号化を行う際に、画質の変動が少なくなるように各ピクチャに対する符号量の配分を行うことができるようにする。
従来、ＭＰＥＧ(Moving Picture Experts Group)２等の画像符号化方式において、符号量を理想的に配分することは、主観的な画質を維持するための大きな課題である。
例えば、静止画における理想的な符号量配分とは、歪を均一とした状態(固定的な量子化スケール)で符号化した状態である。この歪が大きくなるような符号量になると、高周波成分や複雑部に歪を偏らせることと併せて、主観的な画質を高めることができる。
ここで、例えば特許文献１では、いわゆるフィードフォワード方式の符号量制御を採用し画質信号の局所的性質に適応した制御を可能とすることによって、復号画像の画質を向上できる画質信号の符号化方法が開示されている。フィードフォワード方式とは、等長化単位において発生する符号量を、複数の量子化スケールについて予め計算し、発生符号量が目標発生符号量を超えない範囲で、適切な量子化スケールを決定するものである。
一方、ＭＰＥＧ２でテストモデルとして提案されているＴＭ５等の符号量制御では、仮想バッファの残量と以前エンコードした際の量子化インデックスと発生符号量の関係を用いてフィードバック制御することによって、符号量制御を行っている。
国際公開第ＷＯ９６／２８９３７号公報
ところで、画像符号化において、例えば１ＧＯＰ（Group of Picture）の符号量が所望の符号量となるように符号化を行う場合、１ＧＯＰ内の各ピクチャに対して符号量を理想的に配分することは、主観的な画質を維持するために重要である。特に、ダビングまで考慮して連続した画像に対する符号量の配分を行う場合、ピクチャ間の画質の変動をある程押さえる必要がある。シーンチェンジやフラッシュなどの画像において、それに応じた符号量の配分を行わないと画質がピクチャ毎に変動してしまい、その変動を原因とするフリッカ等がみえてしまう。例えばシーンチェンジ後の最初のピクチャに対して符号量を多く割り当てないと、シーンチェンジ後の最初のピクチャの画質がシーンチェンジ前に比べて大きく劣化してしまう。また、この画質の劣化によって、表示される画像はフリッカを生じた画像のようにみえてしまう。また、ダビングを繰り返すと、画質の変動が大きくなり画質が大きく劣化してしまうこともある。
そこで、画像符号化において、画質の変動が少なくなるように各ピクチャに対する符号量の配分を行うことができる画像符号化装置と画像符号化方法を提供する。
この発明の第１の側面は、固定の量子化パラメータを用いて画像データの符号化を行ったときの発生符号量の算出と、時間方向の予測を行うピクチャについて、マクロブロックが時間的な予測を行うブロックであるか空間的な予測を行うブロックであるかのブロック判別を行う第１の符号化部と、前記第１の符号化部におけるブロック判別結果に基づき、前記時間方向の予測を行うピクチャにおける前記時間的な予測を行うブロックと前記空間的な予測を行うブロックとの比率に応じて、参照される画像を多く含むピクチャに対して割り当てる符号量が多くなるように量子化パラメータのオフセット量を設定して、該オフセット量でオフセットされた量子化パラメータを用いて符号化を行ったときの発生符号量が目標発生符号量を実現するように、前記第１の符号化部で算出された発生符号量に基づいて量子化パラメータを決定する符号量制御部と、前記目標発生符号量を実現する前記オフセットされた量子化パラメータを用いて前記画像データの符号化を行う第２の符号化部とを有する画像符号化装置にある。
この発明においては、第１の符号化部によって、固定の量子化パラメータを用いて画像データの符号化を行ったときの発生符号量の算出と、時間方向の予測を行うピクチャについて、マクロブロックが時間的な予測を行うブロックであるか空間的な予測を行うブロックであるかの判別が行われる。符号量制御部では、時間的な予測を行うブロックの数に対して空間的な予測を行うブロックの数の割合が予め設定されている第１の閾値以下であるとき、このピクチャに割り当てる符号量が少なくなるようにオフセット量が設定される。また、時間的な予測を行うブロックの数に対して空間的な予測を行うブロックの数の割合が第１の閾値よりも大きい第２の閾値以上であるとき、第１の閾値以下であるときのオフセット量よりもオフセット量が少なく設定される。さらに、符号量制御部では、設定されたオフセット量でオフセットされた量子化パラメータを用いて符号化を行ったときの発生符号量が目標発生符号量を実現するように、前記第１の符号化部で算出された発生符号量に基づいて量子化パラメータが決定される。第２の符号化部では、目標発生符号量を実現するオフセットされた量子化パラメータを用いて画像データの符号化が行われる。また、複数の異なる量子化パラメータを用いて、画像データをイントラピクチャの画像データとして量子化パラメータ毎に符号化を行い発生符号量を算出する第３の符号化部が設けられて、符号量制御部は、第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータと該量子化パラメータを用いたときの発生符号量の予測を行い、該予測した発生符号量を前記第３の符号化部で算出された発生符号量に応じて補正して、該補正後の１ＧＯＰ（Group of Picture）分の発生符号量が目標発生符号量を実現するように量子化パラメータが決定される。また、オフセット量の上限は、目標発生符号量を実現する量子化パラメータに応じて設定される。
この発明の第２の側面は、第１の符号化部で、固定の量子化パラメータを用いて画像データの符号化を行ったときの発生符号量の算出を行うステップと、前記第１の符号化部で、時間方向の予測を行うピクチャについて、マクロブロックが時間的な予測を行うブロックであるか空間的な予測を行うブロックであるかの判別を行うステップと、符号量制御部で、前記第１の符号化部におけるブロック判別結果に基づき、前記時間方向の予測を行うピクチャにおける前記時間的な予測を行うブロックと前記空間的な予測を行うブロックとの比率に応じて、参照される画像を多く含むピクチャに対して割り当てる符号量が多くなるように量子化パラメータのオフセット量を設定するステップと、前記符号量制御部で、前記オフセット量でオフセットされた量子化パラメータを用いて符号化を行ったときの発生符号量が目標発生符号量を実現するように、前記第１の符号化部で算出された発生符号量に基づいて量子化パラメータを決定するステップと、第２の符号化部で、前記目標発生符号量を実現する前記オフセットされた量子化パラメータを用いて前記画像データの符号化を行うステップとを具備する画像符号化方法にある。
この発明によれば、第１の符号化部によって、固定の量子化パラメータを用いて画像データの符号化を行ったときの発生符号量の算出と、時間方向の予測を行うピクチャについて、マクロブロックが時間的な予測を行うブロックであるか空間的な予測を行うブロックであるかの判別が行われる。符号量制御部では、第１の符号化部におけるブロック判別結果に基づき、参照される画像を多く含むピクチャに対して割り当てる符号量が多くなるように量子化パラメータのオフセット量が設定されて、このオフセット量でオフセットされた量子化パラメータを用いて符号化を行ったときの発生符号量が目標発生符号量を実現するように、第１の符号化部で算出された発生符号量に基づいて量子化パラメータが決定される。第２の符号化部では、目標発生符号量を実現するオフセットされた量子化パラメータを用いて画像データの符号化が行われる。このため、画質の変動が少なくなるように各ピクチャに対する符号量の配分を行うことができる。
画像符号化装置の構成を示す図である。 量子化マトリクスを示す図である。 画像符号化装置の動作を示すフローチャートである。 基本量子化パラメータの決定処理を示すフローチャートである。 量子化パラメータと発生符号量の算出処理を説明するための図である。 量子化パラメータと発生符号量の算出処理を説明するための図である。 １ＧＯＰ分の発生符号量の算出処理を示すフローチャートである。 量子化パラメータのオフセット量設定処理を示すフローチャートである。 Ｉピクチャの発生符号量算出処理を示すフローチャートである。 第２の発生符号量の検出処理を示すフローチャートである。 高域成分コスト演算の動作を示すフローチャートである。 イントラプレエンコード処理の処理結果を示す図である。 非Ｉピクチャの発生符号量算出処理を示すフローチャートである。
以下、発明を実施するための形態について説明する。この発明では、第１の符号化部であるプレエンコード部によって、固定の量子化パラメータを用いて画像データのプレエンコード処理を行い発生符号量を算出する。また、プレエンコード部によって、時間方向の予測を行うピクチャについて、マクロブロックが時間的な予測を行うブロックであるか空間的な予測を行うブロックであるかのブロック判別を行う。符号量制御部は、プレエンコード部におけるブロック判別結果に基づき、時間方向の予測を行うピクチャにおける時間的な予測を行うブロックと空間的な予測を行うブロックとの比率を算出する。また、符号量制御部は、算出した比率に応じて参照される画像を多く含むピクチャに対して割り当てる符号量が多くなるように量子化パラメータのオフセット量を設定する。さらに、符号量制御部は、設定されたオフセット量でオフセットされた量子化パラメータを用いて符号化を行ったときの発生符号量が目標発生符号量を実現するように、プレエンコード部で算出された発生符号量に基づいて量子化パラメータを決定する。第２の符号化部である本エンコード部は、決定された量子化パラメータが設定されたオフセット量でオフセットされている量子化パラメータを用いて画像データの符号化を行う。このような動作を行うことで、発生符号量が目標発生符号量以下であって画像の変動の少ない符号化処理を行うことができるようにする。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．画像符号化装置の動作
＜１．符号化装置の構成＞
図１は、本発明の画像符号化装置の構成を示している。画像符号化装置１０は、画像並べ替え処理部１１、プレエンコード部２０とイントラプレエンコード部３０、符号量制御部４０、ディレイバッファ５０、本エンコード部６０を備えている。
プレエンコード部２０は、予測モード決定部２１、ＤＣＴ（Discrete Cosine Transform)部２２、量子化部２３、逆量子化部２４、ＩＤＣＴ（Inverse Discrete Cosine Transform)部２５、予測画生成部２６、符号長計算部２７を備えている。
イントラプレエンコード部３０は、画面内予測処理部３１、ＤＣＴ部３２、量子化部３３、逆量子化部３４、ＩＤＣＴ部３５、イントラ予測画生成部３６、符号長計算部３７を備えている。また、量子化部３３は複数段の量子化部３３-1〜３３-nで構成されており、符号長計算部３７は複数段の符号長計算部３７-1〜３７-nで構成されている。
本エンコード部６０は、予測処理部６１、ＤＣＴ部６２、量子化部６３、逆量子化部６４、ＩＤＣＴ部６５、予測画生成部６６、可変長符号化部６７を備えている。
このような構成において、画像並べ替え処理部１１は、例えばＧＯＰ（Group of Picture）構造にしたがって、入力画像の画像データを表示順から符号化順にピクチャの順序を並べ替える。そして、画像並べ替え処理部１１は、符号化順に並べ替えた画像データを、プレエンコード部２０とイントラプレエンコード部３０とディレイバッファ５０に出力する。
第１の符号化部であるプレエンコード部２０は、画像データを固定の量子化パラメータを用いて符号化を行ったときの発生符号量の算出を行い、算出した発生符号量を符号量制御部４０に出力する。プレエンコード部２０の予測モード決定部２１は、入力画像の画像データと後述する予測画生成部２６で生成された予測画像データを用いてマクロブロック毎に予測モードを決定する。また、予測モード決定部２１は、決定した予測モードの予測画像データを用いて、入力画像の画像データとの誤差を示す差分画像データをＤＣＴ部２２に出力する。
ＤＣＴ部２２は、差分画像データに対して離散コサイン変換を行い、ＤＣＴ係数を生成して量子化部２３に出力する。
量子化部２３は、固定されている量子化パラメータＱＰ(p)を用いてＤＣＴ係数の量子化を行い、生成した量子化データを逆量子化部２４と符号長計算部２７に出力する。
逆量子化部２４は量子化データに対して逆量子化を行い、ＤＣＴ係数を生成してＩＤＣＴ部２５に出力する。
ＩＤＣＴ部２５は、逆量子化部２４から供給されたＤＣＴ係数の逆離散コサイン変換を行い、差分画像データを生成して予測画生成部２６に出力する。
予測画生成部２６は、差分画像データを用いてローカルデコード画像の画像データを生成する。また、予測画生成部２６は、入力画像の画像データを用いてマクロブロック単位で現フレームと時間的に隣接する次フレームとの動き推定を行う。さらに 予測画生成部２６は、動き推定結果に基づいてローカルデコード画像の動き補償を行い、ローカルデコード画像の画像データから予測画像データを生成して予測モード決定部２１に出力する。
符号長計算部２７は、量子化データに対してコンテキスト適応型可変長符号化方式（CAVLC；Context-Adaptive Variable Length Coding)またはコンテキスト適応型２値算術符号化方式（CABAC；Context-Adaptive Binary Arithmetic Coding)のいずれかで符号化を行い、マクロブロック毎に発生符号量を算出して符号量制御部４０に出力する。
ＣＡＶＬＣ符号化方式は、ＣＡＢＡＣ方式よりも処理が簡単な方式であり、ＣＡＢＡＣ符号化方式は、ＣＡＶＬＣ方式よりもデータ量を少なくできる方式である。ここで、プレエンコード部２０では処理を簡単とするために可変長符号化方式を用い、本エンコード部６０ではデータ量を少なくするため算術符号化方式を用いる場合について説明する。可変長符号化はある特定の領域の情報を効率よく符号化しており、算術符号化は領域を特定することなく効率よく符号化できる。このため、可変長符号化から算術符号化の符号量を予測すると大きく誤差がでる場合がある。しかし、ＣＡＶＬＣはコンテキストを適用的に変更することにより、一般的な可変長符号化に比べて、あまり領域を特定せずに効率よく符号化することができる。このため、誤差が少なくなり、ＣＡＢＡＣ方式を用いたときの発生符号量をＣＡＶＬＣ方式の符号化によって推測することが可能となる。したがって、符号長計算部２７でＣＡＶＬＣ方式を用いても、ＣＡＢＡＣ方式を用いる本エンコード部６０における発生符号量を推測できる。なお、符号長計算部２７は、ＣＡＶＬＣ方式を用いることで回路規模を抑えることも可能となる。
第３の符号化部であるイントラプレエンコード部３０は、画像データを全てＩピクチャとして、複数の異なる量子化パラメータを用いて符号化を行い、量子化パラメータ毎に発生符号量を算出して符号量制御部４０に出力する。イントラプレエンコード部３０の画面内予測処理部３１は、入力画像の画像データと後述するイントラ予測画生成部３６で生成された予測画像データとの誤差を示す差分画像データを生成してＤＣＴ部３２に出力する。
ＤＣＴ部３２は、差分画像データに対して離散コサイン変換を行い、ＤＣＴ係数を生成して量子化部３３に出力する。
量子化部３３は、複数段例えば９段の量子化部３３-1〜３３-9で構成されている。量子化部３３-1〜３３-9は、異なる３つの量子化パラメータＱＰ(i0)，ＱＰ(i1)，ＱＰ(i2)と異なる３つの量子化マトリクスＱＭF，ＱＭN，ＱＭSを組み合わせて、９つの条件で量子化を行う。量子化部３３-1〜３３-9は、ＤＣＴ係数の量子化を行って得られた量子化データを符号長計算部３７に出力する。また、量子化部３３は量子化部３３-1〜３３-9で生成された量子化データの１つを選択して逆量子化部３４に出力する。
図２は、量子化マトリクスＱＭF，ＱＭN，ＱＭSを例示している。図２の（Ａ）は量子化マトリクスＱＭFを示している。量子化マトリクスＱＭFはマトリクス値が全て等しい値とされている。すなわち、量子化マトリクスＱＭFは、フラットな特性の量子化マトリクスである。図２の（Ｂ）は量子化マトリクスＱＭNを示している。量子化マトリクスＱＭNは高域成分のマトリクス値が低域成分のマトリクス値よりも大きくされている。すなわち、量子化マトリクスＱＭNは、高域成分の削減が行われる一般的な特性の量子化マトリクスである。図２の（Ｃ）は量子化マトリクスＱＭSを示している。量子化マトリクスＱＭSは、量子化マトリクスＱＭNに比べて高域成分のマトリクス値がさらに大きな値とされている。すなわち、量子化マトリクスＱＭSは、量子化マトリクスＱＭNに比べて高域成分の削減をさらに大きくした特性の量子化マトリクスである。
逆量子化部３４は、量子化部３３から供給された量子化データに対して逆量子化を行い、ＤＣＴ係数データを生成してＩＤＣＴ部３５に出力する。
ＩＤＣＴ部３５は、逆量子化部３４から供給されたＤＣＴ係数データの逆離散コサイン変換を行い、ローカルデコード画像の画像データを生成してイントラ予測画生成部３６に出力する。
イントラ予測画生成部３６は、差分画像データを用いてローカルデコード画像の画像データを生成する。また、イントラ予測画生成部３６は、ローカルデコード画像の画像データを予測画像データとして画面内予測処理部３１に出力する。
符号長計算部３７は、量子化部３３と対応させて複数段例えば９段の符号長計算部３７-1〜３７-9で構成されている。符号長計算部３７-1〜３７-9は、プレエンコード部２０の符号長計算部２７と等しい方式を用いて符号化を行い、マクロブロック毎に発生符号量を算出して符号量制御部４０に出力する。
符号量制御部４０は、ビットレートとＧＯＰ構造の関係から、１ＧＯＰに割り当てられる目標発生符号量を決定する。また、符号量制御部４０は、プレエンコード部２０で算出された発生符号量の１ＧＯＰ分に基づいて目標発生符号量を実現する量子化パラメータ、すなわち１ＧＯＰの発生符号量が目標発生符号量以下で最も目標発生符号量に近くなる量子化パラメータを予測する。また、符号量制御部４０は、予測した量子化パラメータでの発生符号量を、イントラプレエンコード部３０で算出された発生符号量に基づいて予測する。さらに、符号量制御部４０は、この予測した発生符号量から目標発生符号量を実現する量子化パラメータを決定して本エンコード部６０に出力する。なお、以下の説明では、目標発生符号量を実現する量子化パラメータを基本量子化パラメータという。
また、符号量制御部４０は、時間方向の予測を行うピクチャにおいて、時間方向の予測を行うマクロブロックと空間方向の予測を行うマクロブロックとの比率を算出する。符号量制御部４０は、算出した比率に応じて、参照される画像を多く含むピクチャに対して割り当てる符号量が多くなるよう量子化パラメータをオフセットさせる。具体的には、時間方向の予測を行うマクロブロックの割合が高いピクチャについては、このピクチャから参照されるピクチャに対する符号量の配分を多くすることで画質の劣化が少なくなるように量子化パラメータをオフセットさせる。また、空間方向の予測を行うマクロブロックの割合が高いピクチャについては、このピクチャに対する符号量の配分を多くすることで画質の劣化が少なくなるように量子化パラメータをオフセットさせる。さらに、符号量制御部４０は、オフセットされた量子化パラメータを用いて符号化を行ったときの発生符号量が目標発生符号量を実現するように量子化パラメータを決定する。この目標発生符号量を実現するオフセットされた量子化パラメータを基本量子化パラメータとして本エンコード部６０に出力する。
ディレイバッファ５０は、符号量制御部４０で基本量子化パラメータを決定する処理に要する時間だけ入力画像の画像データを遅延させて、遅延後の画像データを本エンコード部６０に出力する。
第２の符号化部である本エンコード部６０は、基本量子化パラメータを用いて画像データの符号化を行う。本エンコード部６０の予測処理部６１は、プレエンコード部２０の予測モード決定部２１で決定されたピクチャタイプに応じて予測画像データの選択を行う。また、予測処理部６１は、選択した予測画像データとディレイバッファ５０で遅延された入力画像の画像データとの誤差を示す差分画像を生成してＤＣＴ部６２に出力する。
ＤＣＴ部６２は、差分画像に対して離散コサイン変換を行い、ＤＣＴ係数を生成して量子化部６３に出力する。
量子化部６３は、符号量制御部４０で決定された量子化パラメータを用いてＤＣＴ係数の量子化を行い、量子化データを逆量子化部６４と可変長符号化部６７に出力する。
逆量子化部６４は、量子化データに対して逆量子化を行い、ＤＣＴ係数を生成してＩＤＣＴ部６５に出力する。
ＩＤＣＴ部６５は、逆量子化部６４から供給されたＤＣＴ係数の逆離散コサイン変換を行い、差分画像データを生成して予測画生成部６６に出力する。
予測画生成部６６は、差分画像データを用いてローカルデコード画像の画像データを生成する。また、予測画生成部６６は、ディレイバッファ５０からの画像データを用いてマクロブロック単位で現フレームと時間的に隣接する次フレームとの動き推定を行う。さらに 予測画生成部６６は、動き推定結果に基づいてローカルデコード画像の動き補償を行い、予測画像を生成して予測処理部６１に出力する。
可変長符号化部６７は、量子化データに対してＣＡＶＬＣ方式またはＣＡＢＡＣ方式で符号化を行い、符号化ストリームを生成して出力する。可変長符号化部６７は、例えばデータ量が少なくなるようにＣＡＢＡＣ方式を用いて量子化データの符号化を行い、符号化ストリームを生成する。
＜２．画像符号化装置の動作＞
次に、画像符号化装置の動作について説明する。図３は、画像符号化装置の動作を示すフローチャートである。
ステップＳＴ１で画像符号化装置１０は、ピクチャタイプの決定と画像並べ替えを行う。画像符号化装置１０は、例えばＧＯＰ（Group of Picture）構造にしたがって、入力画像に対してピクチャタイプを決定する。また、画像符号化装置１０は、入力画像の画像データを表示順から符号化順のピクチャ順序に画像並べ替え処理部１１で並べ替えてステップＳＴ２に進む。
ステップＳＴ２で画像符号化装置１０は、プレエンコード処理を行う。画像符号化装置１０は、決定されたピクチャタイプで入力画像の画像データをプレエンコード部２０で符号化して発生符号量の算出を行いステップＳＴ３に進む。
ステップＳＴ３で画像符号化装置１０は、発生符号量が１ＧＯＰ分となったか否か判別する。画像符号化装置１０は、プレエンコード部２０で算出された発生符号量が１ＧＯＰ分となったときステップＳＴ６に進む。また、画像符号化装置１０は、算出された発生符号量が１ＧＯＰ分となっていないときステップＳＴ２に戻る。
ステップＳＴ４で画像符号化装置１０は、イントラプレエンコード処理を行う。画像符号化装置１０は、Ｉピクチャとして入力画像の画像データをイントラプレエンコード部３０で符号化して発生符号量の算出を行いステップＳＴ５に進む。また、画像符号化装置１０は、イントラプレエンコード処理において、複数の異なる量子化パラメータや複数の異なる量子化マトリクスで符号化を並列に行って発生符号量を算出する。
ステップＳＴ５で画像符号化装置１０は、発生符号量が１ＧＯＰ分となったか否か判別する。画像符号化装置１０は、イントラプレエンコード部３０で算出された発生符号量が１ＧＯＰ分となったときステップＳＴ６に進む。また、画像符号化装置１０は、算出された発生符号量が１ＧＯＰ分となっていないときステップＳＴ４に戻る。
ステップＳＴ６で画像符号化装置１０は、本エンコード処理で用いる基本量子化パラメータの決定処理を行う。画像符号化装置１０は、プレエンコード処理を行うことにより得られた発生符号量と、イントラプレエンコード処理を行うことにより得られた発生符号量から、本エンコード処理で用いる基本量子化パラメータを符号量制御部４０で決定する。
ステップＳＴ７で画像符号化装置１０は、本エンコード処理を行う。画像符号化装置１０は、ステップＳＴ６で決定された基本量子化パラメータを用いて入力画像の画像データを本エンコード部６０で符号化する。
次に、本エンコード処理で用いる基本量子化パラメータの決定処理について説明する。基本量子化パラメータの決定処理では、プレエンコード部２０で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータとこの量子化パラメータを用いたときの発生符号量を予測する。また、この予測した発生符号量を、イントラプレエンコード部３０で算出された発生符号量に応じて補正する。補正した発生符号量の１ＧＯＰ分が、目標発生符号量を実現できないときは、予測した量子化パラメータのパラメータ値を変更して新たに発生符号量の予測や補正を行う。補正した発生符号量の１ＧＯＰ分が目標発生符号量を実現できるときは、このときの量子化パラメータを基本量子化パラメータとする。
図４は、本エンコード処理で用いる基本量子化パラメータの決定処理を示すフローチャートを例示している。ステップＳＴ１１で符号量制御部４０は、量子化パラメータの予測を行う。符号量制御部４０は、プレエンコード部２０で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータを予測してステップＳＴ１２に進む。
図５，６は量子化パラメータと後述する発生符号量の算出処理を説明するための図である。符号量制御部４０は、プレエンコード部２０において、固定されている量子化パラメータＱＰ(p)を用いて符号化を行ったときの発生符号量ＢＴ(p)に応じてマクロブロックをグループ分けする。また、図５に示すように、グループ毎に予め設けられている量子化パラメータと発生符号量の関係を示す複数の予測曲線から、該当するグループの予測曲線例えば予測曲線ＣＢを選択する。さらに、図６に示すように、選択した予測曲線ＣＢを用いて、発生符号量が目標発生符号量ＢＴ(t)以下で最も近い値となる量子化パラメータを予測する。
ステップＳＴ１２で符号量制御部４０は、１ＧＯＰ分の発生符号量の算出を行う。符号量制御部４０は、ステップＳＴ１１で予測した発生符号量を、イントラプレエンコード部３０で算出された発生符号量に応じて補正して、補正した発生符号量の１ＧＯＰ分を算出してステップＳＴ１３に進む。
ステップＳＴ１３で符号量制御部４０は、１ＧＯＰ分の発生符号量が目標発生符号量より大きいか否か判別する。符号量制御部４０は、発生符号量が目標発生符号量より大きくないときステップＳＴ１４に進み、発生符号量が目標発生符号量より大きいときステップＳＴ１５に進む。
ステップＳＴ１４で符号量制御部４０は、予測した量子化パラメータから基本量子化パラメータを決定する。符号量制御部４０は、発生符号量と目標発生符号量との差が小さいとき、例えば予測した量子化パラメータの値を「１」減少させたときの発生符号量の増加分よりも小さいとき、予測した量子化パラメータを基本量子化パラメータとして処理を終了する。また、符号量制御部４０は、発生符号量と目標発生符号量との差が大きいとき、差が小さくなるように予測した量子化パラメータの値を減少させて、基本量子化パラメータとする。
ステップＳＴ１５で符号量制御部４０は、予測した量子化パラメータの値を増加させる。符号量制御部４０は、発生符号量と目標発生符号量との差に応じて増加量を決定して、予測した量子化パラメータの値を増加させてステップＳＴ１６に進む。
ステップＳＴ１６で符号量制御部４０は、１ＧＯＰ分の発生符号量の算出を行う。符号量制御部４０は、ステップＳＴ１５で更新された量子化パラメータを用いて、ステップＳＴ１２と同様に１ＧＯＰ分の発生符号量の算出を行ってステップＳＴ１７に進む。
ステップＳＴ１７で符号量制御部４０は、目標発生符号量を実現できるか否か判別する。符号量制御部４０は、目標発生符号量を実現できるか否か判別する。符号量制御部４０は、目標発生符号量を実現できないと判別したときステップＳＴ１３に戻り、目標発生符号量を実現できると判別したとき、ステップＳＴ１５で更新した量子化パラメータを基本量子化パラメータとして処理を終了する。例えば、ステップＳＴ１５で更新した量子化パラメータを用いたときの発生符号量が目標発生符号量以下であり、ステップＳＴ１５で更新した量子化パラメータよりも「１」だけ小さい量子化パラメータを用いたときの発生符号量が目標発生符号量を超えるとき、符号量制御部４０は、目標発生符号量を実現できると判別して、更新した量子化パラメータを基本量子化パラメータとする。
このようにすれば、目標発生符号量を実現できる基本量子化パラメータを決定できる。なお、基本量子化パラメータの決定処理は、図４のフローチャートに示す処理に限られるものではない。例えば、発生符号量と目標発生符号量との差に応じて量子化パラメータの増加量や減少量を設定して再度発生符号量の算出を行う。また、発生符号量と目標発生符号量との差が少なくなったときは、量子化パラメータを「１」ずつ増加または減少させて、目標発生符号量を実現できる量子化パラメータを検索するようにしてもよい。
図７は、１ＧＯＰ分の発生符号量の算出処理を例示したフローチャートである。ステップＳＴ２０で符号量制御部４０は、量子化パラメータのオフセット量設定処理を行う。ここで、時間的な予測を行うインターマクロブロックが多いピクチャは他のピクチャを参照する場合が多く、空間的な予測を行うイントラマクロブロックが多いピクチャは、他のピクチャを参照する場合が少ない。他のピクチャを参照する場合には、参照される側のピクチャの画質が高くなるように発生符号量を多く割り当てれば、ピクチャを参照する側の発生符号量を増やす場合よりも効率よく画質を向上できる。したがって、符号量制御部４０は、非ＩピクチャであるＰピクチャやＢピクチャにおいて、参照される画像を多く含むピクチャに対して割り当てる符号量が多くなるよう量子化パラメータのオフセット量を設定する。
図８は、量子化パラメータのオフセット量設定処理を示すフローチャートである。ステップＳＴ３１で符号量制御部４０は、ピクチャがＩピクチャであるか否かについて判別する。符号量制御部４０は、ピクチャがＩピクチャでないときステップＳＴ３２に進む。符号量制御部４０は、ピクチャがＩピクチャであるときステップＳＴ３８に進む。
ステップＳＴ３２で符号量制御部４０は、マクロブロック比率ＭＢＲを算出する。符号量制御部４０は、ピクチャ内のイントラマクロブロック数ＭＢＮintraとインターマクロブロック数ＭＢＮinterを用いて、式（１）からマクロブロック比率ＭＢＲを算出してステップＳＴ３３に進む。
ＭＢＲ＝ＭＢＮintra／ＭＢＮinter ・・・（１）
ステップＳＴ３３で符号量制御部４０は、比率ＭＢＲが閾値ＴＨraより小さいか否か判別する。符号量制御部４０は、比率ＭＢＲが閾値ＴＨraより小さくないときステップＳＴ３４に進み、比率ＭＢＲが閾値ＴＨraよりも小さいときステップＳＴ３５に進む。
ステップＳＴ３４で符号量制御部４０は、比率ＭＢＲが閾値ＴＨrbよりも小さいか否か判別する。符号量制御部４０は、比率ＭＢＲが閾値ＴＨrb（ＴＨra＜ＴＨrb）よりも小さいときステップＳＴ３６に進み、比率ＭＢＲが閾値ＴＨrbより小さくないときステップＳＴ３７に進む。
ステップＳＴ３５で符号量制御部４０は、インターマクロブロック数の割合が多いことから、このピクチャの符号量を少なくして、参照されるピクチャに多くの符号量を割り当てることが可能となるように、量子化パラメータをオフセット量「Ｖa（例えば５）」だけオフセットさせて、オフセット処理を終了する。
ステップＳＴ３６で符号量制御部４０は、インターマクロブロック数の割合がステップＳＴ３５の場合に比べて少ないことから、ステップＳＴ３５のオフセット量よりも少ないオフセット量「Ｖb（＜Ｖa，例えば３））」を設定してオフセット量設定処理を終了する。
ステップＳＴ３７で符号量制御部４０は、インターマクロブロック数の割合がステップＳＴ３６の場合に比べて少ないことから、ステップＳＴ３６のオフセット量よりも少ないオフセット量「Ｖc（＜Ｖb，例えば１）」を設定してオフセット量設定処理を終了する。
ステップＳＴ３８で符号量制御部４０は、Ｉピクチャであることから、オフセット量を「０」としてオフセット量設定処理を終了する。
また、オフセット量は、適用する量子化パラメータに応じて上限を変更してもよい。図５から明らかなように、量子化パラメータが小さいときは量子化パラメータをオフセットさせたとき発生符号量の変化が大きく、量子化パラメータが大きいときは、量子化パラメータをオフセットさせたときの発生符号量の変化が小さい。したがって、例えば量子化パラメータが小さいときの発生符号量の変化に応じてオフセット量の上限を設定すると、量子化パラメータが大きいときは、量子化パラメータを上限までオフセットさせても発生符号量を大きく変化させることができない。そこで、量子化パラメータが大きいときには上限を大きくして、量子化パラメータが小さいときには上限を小さくする。例えば量子化パラメータが大きいときには上限を「８」として、量子化パラメータの値が小さいときには上限を「５」とする。このように、量子化パラメータに応じてオフセット量の上限を設定すれば、例えば量子化パラメータが大きいときでも、発生符号量を大きく変化させることが可能となる。
このように、時間方向の予測を行うピクチャにおいて、例えば時間的な予測を行うブロックの数に対して空間的な予測を行うブロックの数の割合が予め設定されている第１の閾値以下であるとき、このピクチャに割り当てる符号量が少なくなるようにオフセット量の設定を行う。また、時間的な予測を行うブロックの数に対して空間的な予測を行うブロックの数の割合が第１の閾値よりも大きい第２の閾値以上であるとき、第１の閾値以下であるときのオフセット量よりもオフセット量を少なく設定する。
ステップＳＴ２１で符号量制御部４０は、予測した量子化パラメータをオフセットさせて、オフセット後の量子化パラメータを用いてＩピクチャの発生符号量を算出してステップＳＴ２２に進む。なお、Ｉピクチャのオフセット量は「０」であることから、予測した量子化パラメータを用いてＩピクチャの発生符号量を算出することになる。
ステップＳＴ２２で符号量制御部４０は、次のピクチャがＩピクチャであるか否か判別する。符号量制御部４０は、次のピクチャがＩピクチャでないときステップＳＴ２３に進み、次のピクチャがＩピクチャであるとき、１ＧＯＰ分の発生符号量の算出処理を終了する。
ステップＳＴ２３で符号量制御部４０は、予測した量子化パラメータをオフセットさせて、オフセット後の量子化パラメータを用いて非Ｉピクチャ、すなわちＰピクチャまたはＢピクチャの発生符号量を算出してステップＳＴ２２に戻る。
次に、Ｉピクチャの発生符号量を算出する処理と、非Ｉピクチャの発生符号量を算出する処理について説明する。
図９は、Ｉピクチャの発生符号量算出処理を示すフローチャートである。ステップＳＴ４１で符号量制御部４０は、第１の発生符号量を予測する。符号量制御部４０は、予測した量子化パラメータを用いたときの発生符号量を予測して第１の発生符号量としてステップＳＴ４４に進む。例えば図６に示すように、選択した予測曲線ＣＢを用いて、発生符号量が目標発生符号量ＢＴ(t)以下で最も近い値となる量子化パラメータが予測されて、この予測された量子化パラメータを用いたときの発生符号量を予測する。すなわち、予測した量子化パラメータＱＰ(t)における発生符号量ＢＴ(pt)を第１の発生符号量としてステップＳＴ４４に進む。なお、量子化パラメータＱＰ(p)は、量子化パラメータＱＰ(p)を用いて符号化を行ったときの発生符号量が、目標発生符号量よりも大きくなるように予め小さな値に設定しておく。このように量子化パラメータＱＰ(p)を設定すれば、発生符号量を小さくして目標発生符号量以下で最も符号量が近くなる基本量子化パラメータを設定することができるようになる。
ステップＳＴ４４で符号量制御部４０は、第２の発生符号量を検出する。符号量制御部４０は、イントラプレエンコード部３０で量子化パラメータＱＰ(i0)〜ＱＰ(i2)を用いて符号化を行ったときの発生符号量ＢＴ(i0)，ＢＴ(i1)，ＢＴ(i2)から、量子化パラメータＱＰ(t)における発生符号量ＢＴ(it)を検出して第２の発生符号量とする。
図１０は、第２の発生符号量の検出処理を示すフローチャートである。ステップＳＴ８１で符号量制御部４０は、イントラプレエンコーダ処理で用いられている量子化パラメータから、予測した量子化パラメータと一番近い量子化パラメータを検出する。符号量制御部４０は、例えば量子化パラメータＱＰ(i0)〜ＱＰ(i2)のなかで量子化パラメータＱＰ(t)と一番近い量子化パラメータを検出して、量子化パラメータＱＰ(ia)としてステップＳＴ８２に進む。
ステップＳＴ８２で符号量制御部４０は、イントラプレエンコーダ処理で用いられている量子化パラメータから、予測した量子化パラメータと二番目に近い量子化パラメータを検出する。符号量制御部４０は、例えば量子化パラメータＱＰ(i0)〜ＱＰ(i2)のなかで量子化パラメータＱＰ(t)に二番目に近い量子化パラメータを検出して、量子化パラメータＱＰ(ib)としてステップＳＴ８３に進む。
ステップＳＴ８３で符号量制御部４０は、予測した量子化パラメータを用いたときの発生符号量を算出する。符号量制御部４０は、量子化パラメータＱＰ(ia)のときの発生符号量ＢＴ(ia)と量子化パラメータＱＰ(ib)のときの発生符号量ＢＴ(ib)を用いて補間処理を行う。符号量制御部４０は、補間処理として直線補間または曲線補間等を行い、予測した量子化パラメータＱＰ(t)の発生符号量ＢＴ(it)を算出する。
符号量制御部４０は、例えば図６に示すように、量子化パラメータＱＰ(t)と一番目に近い量子化パラメータＱＰ(i1)の発生符号量ＢＴ(i1)と、量子化パラメータＱＰ(t)と二番目に近い量子化パラメータＱＰ(i0)の発生符号量ＢＴ(i0)を用いて補間処理を行う。符号量制御部４０は、予測した量子化パラメータＱＰ(t)の発生符号量ＢＴ(it)を補間処理によって算出する。
符号量制御部４０は、このようにして量子化パラメータＱＰ(t)の発生符号量ＢＴ(it)を検出して、図９のステップＳＴ４４からステップＳＴ４５に進む。
ステップＳＴ４５で符号量制御部４０は、補正係数を算出する。符号量制御部４０は、プレエンコード処理結果から検出した第１の発生符号量ＢＴ(pt)と、イントラプリエンコード処理結果から検出した第２の発生符号量ＢＴ(it)を用いて式（２）の演算を行い、補正係数Ｃ(i)を算出してステップＳＴ４６に進む。
Ｃ(i)＝ＢＴ(it)／ＢＴ(pt) ・・・（２）
ステップＳＴ４６で符号量制御部４０は、高域成分コストを算出する。符号量制御部４０は、Ｉピクチャにおける高域成分の状態を示す高域成分コストＨ(i)を算出する。
図１１は、高域成分コスト演算の動作を示すフローチャートである。また、図１２はイントラプレエンコード処理の処理結果を示している。
図１１において、ステップＳＴ９１で符号量制御部４０は、イントラプレエンコード処理における量子化パラメータの最小値を選択する。例えば図１２に示すように、イントラプレエンコード処理で量子化パラメータＱＰ(i0)，ＱＰ(i1)，ＱＰ(i2)（ＱＰ(i0)＜ＱＰ(i1)＜ＱＰ(i2)）が用いられている場合、符号量制御部４０は、量子化パラメータＱＰ(i0)を選択してステップＳＴ９２に進む。
ステップＳＴ９２で符号量制御部４０は、最も小さい量子化パラメータと、低域から高域までの量子化ステップがフラットである量子化マトリクスを用いたときの発生符号量を選択する。例えば、量子化マトリクスＱＭFは、マトリクス値が一定値とされており低域から高域までの量子化ステップがフラットとなるマトリクスとする。量子化マトリクスＱＭNは、高域のマトリクス値が低域よりも大きな値とされており低域に比べて高域を粗く量子化するマトリクスとする。量子化マトリクスＱＭNは、高域のマトリクス値が低域よりも大きな値とされており低域に比べて高域を粗く量子化するマトリクスとする。量子化マトリクスＱＭSは、高域のマトリクス値が量子化マトリクスＱＭNに比べてさらに大きな値とされており、量子化マトリクスＱＭNよりも高域成分の削減がスティープな状態である量子化するマトリクスとする。この場合、符号量制御部４０は、最も小さい量子化パラメータとして量子化パラメータＱＰ(i0)が選択されていることから、量子化パラメータＱＰ(i0)と量子化マトリクスＱＭFを用いたときの発生符号量ＢＴ(i0F)を選択してステップＳＴ９３に進む。
ステップＳＴ９３で符号量制御部４０は、最も小さい量子化パラメータと、低域に比べて高域を粗く量子化する通常の量子化マトリクスを用いたときの発生符号量を選択する。例えば、符号量制御部４０は、量子化パラメータＱＰ(i0)と量子化マトリクスＱＭNを用いたときの発生符号量ＢＴ(i0N)を選択してステップＳＴ９４に進む。
ステップＳＴ９４で符号量制御部４０は、高域成分コストを算出する。符号量制御部４０は、式（３）の演算を行い、Ｉピクチャにおける高域成分コストＨ(i)を算出する。
Ｈ(i)＝ＢＴ(i0F)／ＢＴ(i0N) ・・・（３）
このようにして高域成分コストを算出すると、符号量制御部４０は、図９のステップＳＴ４６からステップＳＴ４８に進み、予測した第１の発生符号量の補正を行う。符号量制御部４０は、第１の発生符号量ＢＴ(pt)と補正係数Ｃ(i)を用いて式（４）の演算を行い、補正された発生符号量ＢＴ(itc)を算出する。
ＢＴ(itc)＝ＢＴ(pt)×Ｃ(i) ・・・（４）
このように図９の処理を行うと、固定の量子化パラメータを用いたプレエンコード処理結果から予測した発生符号量が、複数の異なる量子化パラメータや複数の異なる量子化マトリクスを用いたイントラプレエンコード処理の処理結果に応じて補正される。したがって、Ｉピクチャの発生符号量の予測精度を向上させることができる。
次に、予測した量子化パラメータを用いたときの非Ｉピクチャの発生符号量算出処理について、図１３に示すフローチャートを用いて説明する。ステップＳＴ１１１で符号量制御部４０は、第３の発生符号量を検出する。符号量制御部４０は、プレエンコード部２０において、固定されている量子化パラメータＱＰ(p)を用いて符号化を行ったときの発生符号量ＢＴ(p)に応じてマクロブロックをグループ分けする。また、グループ毎に予め設けられている量子化パラメータと発生符号量の関係を示す複数の予測曲線から、該当するグループの予測曲線を選択する。さらに、既に予測されている量子化パラメータＱＰ(t)を、設定されているオフセット量だけオフセットさせて、選択した予測曲線を用いて、オフセットさせた量子化パラメータを用いたときの発生符号量ＢＴ(ut)を、第３の発生符号量としてステップＳＴ１１２に進む。
ステップＳＴ１１２で符号量制御部４０は、非Ｉピクチャにおける高域成分コストを算出する。符号量制御部４０は、上述の図１１に示す高域成分コスト演算と同様な処理を行い、非Ｉピクチャにおける高域成分コストＨ(u)を算出する。この場合、高域成分コストＨ(u)の算出は式（５）を用いて行う。
Ｈ(u)＝ＢＴ(i0F)／ＢＴ(i0N) ・・・（５）
なお、式（５）において、発生符号量ＢＴ(i0Fu)，ＢＴ(i0Nu)は、高域成分コストを算出する非Ｉピクチャの画像データをＩピクチャとしてイントラプレエンコード処理したときの発生符号量である。
このようにして、図１３のステップＳＴ１１２で高域成分コストを算出するとステップＳＴ１１３に進み、符号量制御部４０は、補正係数の補正を行う。符号量制御部４０は、Ｉピクチャの処理において算出した補正係数Ｃ(i)と高域成分コストＨ(i)およびステップＳＴ１１２で算出した高域成分コストＨ(u)を用いて式（６）の演算を行い、非Ｉピクチャに対応する補正係数Ｃ(ic)を算出してステップＳＴ１１５に進む。
Ｃ(ic)＝Ｃ(i)×Ｈ(i)／Ｈ(u) ・・・（６）
ステップＳＴ１１５で符号量制御部４０は、第３の発生符号量の補正を行う。符号量制御部４０は、発生符号量ＢＴ(ut)と補正係数Ｃ(ic)とを用いて式（７）の演算を行い、補正された発生符号量ＢＴ(utc)を算出する。
ＢＴ(utc)＝ＢＴ(ut)×Ｃ(ic) ・・・（７）
このように図１３の処理を行うと、固定の量子化パラメータを用いたプレエンコード処理結果を用いて予測した発生符号量が、複数の異なる量子化パラメータや複数の異なる量子化マトリクスを用いたイントラプレエンコード処理の処理結果に応じて補正される。したがって、非Ｉピクチャの発生符号量の予測精度を向上させることができる。
以上のように、予測した量子化マトリクスのオフセット処理を行い、目標発生符号量を実現するオフセットされた量子化パラメータを基本量子化パラメータとして、本エンコード部６０で符号化を行う。このように符号化を行うと、参照される画像を多く含むピクチャに対して多くの符号量が割り当てられることになる。したがって、オフセット処理を行わない場合に比べて画質の変動を少なくすることが可能となり、１フレームの画像だけ画質が悪くなってしまうような現象を減少させたり、ダビング時の画質の劣化を軽減させることができる。
また、ピクチャ間で相関が強い連続した画に対して等しい量子化パラメータを適用すると、参照されるピクチャに対して多くの符号量を割り当てることができないので、時間方向での予測をすることにより得られる効果が少なくなる。すなわち、主観的な画質の劣化を招く場合がある。このような場合、量子化パラメータのオフセット処理を行い、参照されるピクチャに対する符号量の割り当てを多くすることで、等しい量子化パラメータを適用した場合に比べて参照されるピクチャの画質の劣化を少なくすることが可能となる。したがって、画質の劣化や変動を抑えながら符号化処理を行うことができるようになる。例えばシーンチェンジ後のピクチャで、イントラマクロブロックの割合が多いときには、イントラマクロブロックの比率が小さいピクチャに比べて符号量が多く割り当てられる。このため、シーンチェンジ後の画質がシーンチェンジ前に比べて大きく劣化してしまうことを防止できる。また、ダビング時における画質の劣化を軽減させることも可能となる。
さらに、符号量制御部４０では、プレエンコード部２０でプレエンコードを行うことにより算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータと、この量子化パラメータを用いたときの発生符号量が予測される。また、予測した発生符号量が、イントラプレエンコード部３０でプレエンコードを行うことにより算出された発生符号量に応じて補正される。さらに、符号量制御部４０では、補正後の発生符号量が目標発生符号量を実現するように量子化パラメータが決定される。このため、例えばマクロブロックの発生符号量と量子化パラメータの関係が画像に応じて変化する場合、この変化によって生じる発生符号量の予測誤差がイントラプレエンコード部３０でプレエンコードを行うことにより算出された発生符号量に応じて補正される。したがって、マクロブロックの発生符号量と量子化パラメータの関係が画像に応じて変化する場合でも、発生符号量の予測を精度よく行うことができる。
例えば、プレエンコード処理を行って発生符号量の予測を行い、予測結果から本エンコードの量子化パラメータを決定する場合、予測で誤差を生じる原因として、高域成分が想定よりも少ないと発生符号量の落ち方が変わり、実際の発生符号量が予測よりも大分少なくなってしまうことがある。特に、プレエンコード処理で固定されている量子化パラメータ(p)と目標発生符号量に対応する量子化パラメータＱＰ(t)の差が大きいと、誤差が大きくなる傾向がある。この誤差を補正するため、符号量制御部４０は、Ｉピクチャのイントラプレエンコード処理によって得られた発生符号量を利用する。イントラプレエンコード部３０は、複数の異なる量子化パラメータを適用しているため、プレエンコード部２０よりも予測する量子化パラメータに近い量子化パラメータの発生符号量を求めることができる。そのため、Ｉピクチャの予測では、予測した発生符号量をイントラプレエンコード部３０で算出された発生符号量に応じて補正する。
また、非Ｉピクチャに関しては誤差を求めることができない。しかし、この誤差はピクチャにおける高域成分の状態によって変動するため、高域成分の状態を各ピクチャから求め、各ピクチャはＩピクチャにおける高域成分の状態との違いに応じて非Ｉピクチャの発生符号量を補正する。
このようにすれば、高域成分の状態が予測曲線を求めたときと異なる場合でも、発生符号量をピクチャにおける高域成分の状態に応じて補正することが可能となり、より正しく発生符号量を推測できるようになる。したがって、例えば１ＧＯＰ分の発生符号量の予測を精度よく行うことができる。
また、本エンコード部６０は、符号量制御部４０で決定された基本量子化パラメータを用いて画像データの符号化を行えば、本エンコード部６０から、発生符号量が目標発生符号量以下であって画像の劣化の少ない符号化データを出力することができる。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータは、このようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
この発明の画像符号化装置と画像符号化方法では、第１の符号化部によって、固定の量子化パラメータを用いて画像データの符号化を行ったときの発生符号量の算出と、時間方向の予測を行うピクチャについて、マクロブロックが時間的な予測を行うブロックであるか空間的な予測を行うブロックであるかの判別が行われる。符号量制御部では、第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータが予測されて、時間方向の予測を行うピクチャについては、時間的な予測を行うブロックと空間的な予測を行うブロックの比率に応じて、参照される画像を多く含むピクチャに対して割り当てる符号量が多くなるよう量子化パラメータをオフセットされる。第２の符号化部では、オフセットされている量子化パラメータを用いて画像データの符号化が行われる。
このため、画質の変動が少なくなるように各ピクチャに対する符号量の配分を行うことができるので、画像データの記録装置や画像データの記録再生等を行う編集装置等に適している。
１０・・・画像符号化装置、１１・・・画像並べ替え部、２０・・・プレエンコード部、２１ 予測モード決定部、２２，３２，６２・・・ＤＣＴ部、２３，３３，３３-1〜３３-n，６３・・・量子化部、２４，３４，６４・・・逆量子化部、２５，３５，６５・・・ＩＤＣＴ部、２６，６６・・・予測画生成部、２７，３７、３７-1〜３７-n・・・符号長計算部、３０・・・イントラプレエンコード部、３１・・・画面内予測処理部、３６・・・イントラ予測画生成部、４０・・・符号量制御部、５０・・・ディレイバッファ、６０・・・本エンコード部、６１・・・予測処理部、６７・・・可変長符号化部

Claims (6)

  1. 固定の量子化パラメータを用いて画像データの符号化を行ったときの発生符号量の算出と、時間方向の予測を行うピクチャについて、マクロブロックが時間的な予測を行うブロックであるか空間的な予測を行うブロックであるかのブロック判別を行う第１の符号化部と、
    前記第１の符号化部におけるブロック判別結果に基づき、前記時間方向の予測を行うピクチャにおける前記時間的な予測を行うブロックと前記空間的な予測を行うブロックとの割合に応じて、参照される画像を多く含むピクチャに対して割り当てる符号量が多くなるように量子化パラメータのオフセット量を設定して、該オフセット量でオフセットされた量子化パラメータを用いて符号化を行ったときの発生符号量が目標発生符号量を実現するように、前記第１の符号化部で算出された発生符号量に基づいて量子化パラメータを決定する符号量制御部と、
    前記目標発生符号量を実現する前記オフセットされた量子化パラメータを用いて前記画像データの符号化を行う第２の符号化部と
    を有する画像符号化装置。
  2. 前記符号量制御部は、
    前記時間方向の予測を行うピクチャにおいて、前記時間的な予測を行うブロックの数に対して前記空間的な予測を行うブロックの数の割合が予め設定されている第１の閾値以下であるとき、該ピクチャに割り当てる符号量が少なくなるようにオフセット量の設定を行い、
    前記時間方向の予測を行うピクチャにおいて、前記時間的な予測を行うブロックの数に対して前記空間的な予測を行うブロックの数の割合が前記第１の閾値よりも大きい第２の閾値以上であるとき、第１の閾値以下であるときのオフセット量よりもオフセット量を少なく設定する
    請求項１記載の画像符号化装置。
  3. 複数の異なる量子化パラメータを用いて、前記画像データをイントラピクチャの画像データとして前記量子化パラメータ毎に符号化を行い発生符号量を算出する第３の符号化部をさらに備え、
    前記符号量制御部は、前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータと前記オフセットした量子化パラメータを用いたときの発生符号量の予測を行い、該予測した発生符号量を前記第３の符号化部で算出された発生符号量に応じて補正して、該補正後の発生符号量が前記目標発生符号量を実現するように量子化パラメータを決定する
    請求項２記載の画像符号化装置。
  4. 前記符号量制御部は、前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータに応じて前記オフセット量の上限の設定を行い、量子化パラメータをオフセットさせたときの発生符号量の変化が小さいときは前記オフセット量の上限を大きくして、発生符号量の変化が大きいときは前記オフセット量の上限を小さくする
    請求項３記載の画像符号化装置。
  5. 前記符号量制御部は、１ＧＯＰ（Group of Picture）の前記第１と第３の符号化部で算出された発生符号量から、該１ＧＯＰの量子化パラメータを決定する
    請求項３記載の画像符号化装置。
  6. 第１の符号化部で、固定の量子化パラメータを用いて画像データの符号化を行ったときの発生符号量の算出を行うステップと、
    前記第１の符号化部で、時間方向の予測を行うピクチャについて、マクロブロックが時間的な予測を行うブロックであるか空間的な予測を行うブロックであるかのブロック判別を行うステップと、
    符号量制御部で、前記第１の符号化部におけるブロック判別結果に基づき、前記時間方向の予測を行うピクチャにおける前記時間的な予測を行うブロックと前記空間的な予測を行うブロックとの比率に応じて、参照される画像を多く含むピクチャに対して割り当てる符号量が多くなるように量子化パラメータのオフセット量を設定するステップと、
    前記符号量制御部で、前記オフセット量でオフセットされた量子化パラメータを用いて符号化を行ったときの発生符号量が目標発生符号量を実現するように、前記第１の符号化部で算出された発生符号量に基づいて量子化パラメータを決定するステップと、
    第２の符号化部で、前記目標発生符号量を実現する前記オフセットされた量子化パラメータを用いて前記画像データの符号化を行うステップと
    を具備する画像符号化方法。
JP2009173908A 2009-07-27 2009-07-27 画像符号化装置と画像符号化方法 Pending JP2011029954A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009173908A JP2011029954A (ja) 2009-07-27 2009-07-27 画像符号化装置と画像符号化方法
CN2010102339163A CN101969555B (zh) 2009-07-27 2010-07-20 图像编码设备和图像编码方法
US12/840,672 US8861596B2 (en) 2009-07-27 2010-07-21 Image encoding device and image encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009173908A JP2011029954A (ja) 2009-07-27 2009-07-27 画像符号化装置と画像符号化方法

Publications (1)

Publication Number Publication Date
JP2011029954A true JP2011029954A (ja) 2011-02-10

Family

ID=43497317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009173908A Pending JP2011029954A (ja) 2009-07-27 2009-07-27 画像符号化装置と画像符号化方法

Country Status (3)

Country Link
US (1) US8861596B2 (ja)
JP (1) JP2011029954A (ja)
CN (1) CN101969555B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022006158A (ja) * 2020-08-04 2022-01-12 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオ符号化方法、ビデオ符号化装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101702822B1 (ko) 2010-04-01 2017-02-06 소니 주식회사 화상 처리 장치 및 방법
US10085024B2 (en) * 2012-04-13 2018-09-25 Qualcomm Incorporated Lookup table for rate distortion optimized quantization
US10298942B1 (en) * 2015-04-06 2019-05-21 Zpeg, Inc. Method and apparatus to process video sequences in transform space
US11013340B2 (en) 2018-05-23 2021-05-25 L&P Property Management Company Pocketed spring assembly having dimensionally stabilizing substrate
GB2575121B (en) 2018-06-29 2022-12-28 Imagination Tech Ltd Guaranteed data compression
CN112004088B (zh) * 2020-08-06 2024-04-16 杭州当虹科技股份有限公司 一种适用于avs2编码器的cu级qp分配算法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295449A (ja) * 2005-04-08 2006-10-26 Matsushita Electric Ind Co Ltd レート変換方法及びレート変換装置
WO2009035143A1 (ja) * 2007-09-12 2009-03-19 Sony Corporation 画像処理装置及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754235A (en) * 1994-03-25 1998-05-19 Sanyo Electric Co., Ltd. Bit-rate conversion circuit for a compressed motion video bitstream
JP3890606B2 (ja) 1995-03-09 2007-03-07 ソニー株式会社 画像信号符号化装置及び画像信号符号化方法
TW501022B (en) * 1998-03-16 2002-09-01 Mitsubishi Electric Corp Moving picture coding system
JP2001169281A (ja) * 1999-12-13 2001-06-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および動画像符号化方法
WO2002005214A2 (en) * 2000-07-11 2002-01-17 Eg Technology Adaptive edge detection and enhancement for image processing
US7751474B2 (en) * 2003-06-30 2010-07-06 Mitsubishi Denki Kabushiki Kaisha Image encoding device and image encoding method
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
US20060209954A1 (en) * 2005-03-16 2006-09-21 Limin Wang Method and apparatus for providing a rate control for interlace coding
JP4794987B2 (ja) * 2005-11-09 2011-10-19 キヤノン株式会社 映像信号処理装置
JP2008022405A (ja) * 2006-07-14 2008-01-31 Sony Corp 画像処理装置および方法、並びに、プログラム
CN101502122B (zh) * 2006-11-28 2011-06-01 松下电器产业株式会社 编码装置及编码方法
US8582652B2 (en) * 2007-10-30 2013-11-12 General Instrument Corporation Method and apparatus for selecting a coding mode
WO2010036772A2 (en) * 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
JP5282692B2 (ja) * 2009-07-27 2013-09-04 ソニー株式会社 画像符号化装置と画像符号化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295449A (ja) * 2005-04-08 2006-10-26 Matsushita Electric Ind Co Ltd レート変換方法及びレート変換装置
WO2009035143A1 (ja) * 2007-09-12 2009-03-19 Sony Corporation 画像処理装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022006158A (ja) * 2020-08-04 2022-01-12 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオ符号化方法、ビデオ符号化装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム

Also Published As

Publication number Publication date
CN101969555A (zh) 2011-02-09
CN101969555B (zh) 2013-03-06
US8861596B2 (en) 2014-10-14
US20110019736A1 (en) 2011-01-27

Similar Documents

Publication Publication Date Title
JP5282692B2 (ja) 画像符号化装置と画像符号化方法
JP5472105B2 (ja) 画像処理装置及び画像処理方法
US8238423B2 (en) Image processing apparatus and method
JP5152402B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP4513841B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2011029954A (ja) 画像符号化装置と画像符号化方法
JP2011029953A5 (ja)
JP5900163B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2001186517A (ja) 圧縮動画像再符号化装置および圧縮動画像再符号化方法
JP2001169281A (ja) 動画像符号化装置、および動画像符号化方法
JP5128389B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2006295535A (ja) 動画像符号化装置および方法
JP4795223B2 (ja) 画像処理装置
JP2011029956A (ja) 画像符号化装置および画像符号化方法
JP5251774B2 (ja) 画像符号化装置および画像符号化方法
KR100708182B1 (ko) 동영상 부호화기의 비트율 제어 장치 및 방법
JP2012253722A (ja) 画像符号化装置と画像復号装置およびその方法とプログラム
JP4788653B2 (ja) 画像データトランスコーディング装置及びトランスコーディング方法
KR100336497B1 (ko) 공간예측 오차 모델을 이용한 동영상 부호화기의 율제어장치 및 방법
JP3889552B2 (ja) 符号量割り当て装置および方法
JP3149673B2 (ja) 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク
JP2008153802A (ja) 動画像符号化装置及び動画像符号化プログラム
JP4186544B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
KR20060019801A (ko) 동영상 부호화기의 비트율 제어장치 및 방법
JP4379046B2 (ja) 動画像符号化装置及び符号量制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130604