JP2017216630A - 画像符号化装置及びその制御方法 - Google Patents
画像符号化装置及びその制御方法 Download PDFInfo
- Publication number
- JP2017216630A JP2017216630A JP2016110223A JP2016110223A JP2017216630A JP 2017216630 A JP2017216630 A JP 2017216630A JP 2016110223 A JP2016110223 A JP 2016110223A JP 2016110223 A JP2016110223 A JP 2016110223A JP 2017216630 A JP2017216630 A JP 2017216630A
- Authority
- JP
- Japan
- Prior art keywords
- plane
- subband
- cur
- code amount
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】ＲＡＷ動画像データから生成した各成分のプレーンを、個々のプレーンを互いに関連する量子化パラメータに従って量子化することで、高画質となる符号化データを生成する。
【解決手段】動画像データの１フレームから、単一成分で構成される複数のプレーンデータを生成するプレーン変換部と、各プレーンデータに対して周波数変換し、各プレーン毎に、複数のサブバンドの係数データを生成する周波数変換部と、各プレーンの着目サブバンド内の所定の領域の係数を量子化する量子化部と、量子化後の係数を符号化する符号化部と、符号化部で生成される各プレーンにおける所定の領域の符号量に基づき着目サブバンドにおける所定の領域で用いられる量子化パラメータを更新する制御部とを有する。各プレーン毎に設定された目標符号量と、各プレーン毎の所定の領域の符号量との差分の合算を累積し、当該累積した差分に基づいて量子化パラメータを更新する。
【選択図】図１
【解決手段】動画像データの１フレームから、単一成分で構成される複数のプレーンデータを生成するプレーン変換部と、各プレーンデータに対して周波数変換し、各プレーン毎に、複数のサブバンドの係数データを生成する周波数変換部と、各プレーンの着目サブバンド内の所定の領域の係数を量子化する量子化部と、量子化後の係数を符号化する符号化部と、符号化部で生成される各プレーンにおける所定の領域の符号量に基づき着目サブバンドにおける所定の領域で用いられる量子化パラメータを更新する制御部とを有する。各プレーン毎に設定された目標符号量と、各プレーン毎の所定の領域の符号量との差分の合算を累積し、当該累積した差分に基づいて量子化パラメータを更新する。
【選択図】図１
Description
本発明は、画像データの符号化技術に関するものである。
現在、デジタルビデオカメラ等、動画像を記録するデジタル機器が普及しており、近年では静止画にのみ適用されていたＲＡＷ画像記録が動画像の記録にも適用されている。上記のＲＡＷ画像は記録に必要なデータ量が膨大になるものの、オリジナル画像に対する補正や劣化を最低限に抑えられる点、撮影後の画像編集の自由度が高い点等から、撮像装置を使用する者の中でも上級者によって好んで使われている。
ＲＡＷ動画像をメモリカード等の記録媒体に記録するためには、その記録媒体の容量に応じた時間分の記録を可能とするため、或る程度の圧縮率でＲＡＷ動画像を圧縮符号化することが必要になる。
一般に、撮像素子はベイヤ配列を採用している。ベイヤ配列は、異なる色成分が交互に並んでいることから、隣接する画素間の相関が低く、そのまま符号化しても圧縮効率が悪い。そこで、ベイヤ配列の画像データから、Ｒ成分のみの画像プレーン、Ｇ１成分のみの画像プレーン、Ｇ２成分のみの画像プレーン、Ｂ成分のみの画像プレーンに分離し、プレーン毎に符号化を行うことで、符号化効率を向上させることが行われている。
また、従来の代表的な圧縮符号化方式として、Ｈ．２６４（H.264/ MPEG-4 Part10 : Advanced Video Coding）が知られている。かかる圧縮符号化方式では、１フレーム内で所定画素数から成るブロック毎に、動画像が有する時間冗長性と空間冗長性を利用してデータ量を圧縮する。
上記Ｈ．２６４では、時間冗長性に対する動き検出及び動き補償、空間冗長性に対する周波数変換として離散コサイン変換(Descrete Cosine Transform;DCT) 、更に量子化やエントロピー符号化といった技術を組み合わせている。ただし、ある程度以上圧縮率を上げると、ＤＣＴ変換特有のブロック歪みが顕著になり、主観的に画像劣化が目立つようになる。
そこで、周波数変換として、水平方向と垂直方向に低域フィルタリングと高域フィルタリングをそれぞれかけることで、サブバンドと呼ばれる周波数帯に分解する技術がＪＰＥＧ２０００で採用されている。ＪＰＥＧ２０００では、周波数帯へ周波数変換を行うために離散ウェーブレット変換(Discrete Wavelet Transform; 以下、ＤＷＴ)を用いている。サブバンド符号化は、ＤＣＴを用いた符号化技術に比べ、ブロック歪みが生じにくく、高圧縮時の圧縮特性が良いといった特徴を有する。
以上のような技術に加えて、所望の符号化レート（圧縮率）で符号化する符号量制御が行われる。一般的な符号量制御は、符号化が完了しているフレームの情報を元に、次に符号化するフレームの目標符号量を決定するものである。そして１フレームあたりの目標符号量へ発生符号量を収束させるため、符号量差分(発生符号量から目標符号量を減じることで算出される値)の絶対値が小さくなるように、量子化に利用する量子化パラメータＱｐの制御を行う。この量子化パラメータの制御は、画像の所定の領域毎に逐次行われる。なお、Ｑｐは、その値が大きい程符号量を削減することができるパラメータである一方、画質劣化の原因になる。そのため、この量子化パラメータＱｐは可能な限り小さく、かつ画面内で一定であることが望ましいパラメータであると言える。
上述のプレーン変換、サブバンド符号化を組み合わせた場合、入力画像をプレーン変換し、各プレーンに対してＤＷＴを施すことで、各サブバンド毎に符号量制御ができる。フレームの目標符号量を、各サブバンドへサブバンド目標符号量として分配し、サブバンド毎に量子化制御を行うことで、量子化制御を行うことができ、所望の符号量へ画像データを圧縮することが可能である。また、上述の各プレーンや、各サブバンド間のＱｐの比率を所定の関係にすることで画質を向上させることができる。例えば、プレーン変換により生成されたＲ，Ｇ（Ｇ１，Ｇ２），Ｂ各プレーンは、視覚的重要度が同等であるという観点から、同じＱｐであることが望ましい。更に、各サブバンド間のＱｐの関係は、高域サブバンドほど量子化パラメータを大きく設定することが望ましい。上述のサブバンド間のＱｐ設定の関係式は、ＪＰＥＧ２０００で暗示的な量子化としても規定されている。
しかしながら、プレーン毎やサブバンド毎に独立に量子化制御を行うと、各プレーンや各サブバンドで符号量制御した際に生じる符号量差分が、各プレーンや各サブバンドで融通できないため、符号量制御性が低下する場合がある。
また、初期設定値として各サブバンドに設定するＱｐは、プレーン間及びサブバンド間のＱｐの関係が所定の関係になるように設定することができる。しかし、プレーン毎やサブバンド毎に独立に量子化制御をすれば、当該フレームの符号化途中で量子化制御によりＱｐの関係が所定の関係から逸脱していく場合が生じる。
そこで、予め色差成分及び輝度成分の各々に発生符号量の上限値を定め、色差成分の符号化で余った符号量を輝度成分の発生符号量の上限値に加算することで、符号量制御性を向上させる技術が特許文献１に記載されている。
特許文献１によれば、画像を色差成分と輝度成分に変換すると共にブロック単位で分割し、ブロック毎に符号化を行う際に、色差成分の符号化を先に実施する。そして、色差成分に割り当てた目標符号量に対して、符号が余ったら輝度の符号量上限値を増加させることで、コンポーネント間で符号を融通した符号量制御を行うことができる。
しかしながら、特許文献１に記載された技術では、符号量制御性は向上するものの、画質が劣化する場合がある。符号量上限値を、所定ブロックの目標符号量と置き換えると、Ｒ，Ｇ，Ｂプレーン間で適応した場合、符号量が余ったから一方のプレーンのＱｐだけ変更するような制御が行われることで、プレーン間のＱｐの関係は所定の関係から逸脱するからである
例えばＲ，Ｇ，Ｂプレーンへ分解した各プレーンにおいて、Ｒプレーンの符号量が大きく、Ｂプレーンの符号量が小さい場合に、ＲプレーンのＱｐを大きく、ＢプレーンのＱｐを小さくするように符号量制御を行う。この場合、原画像に対して符号化後の赤成分の情報比率は減ってしまい、符号量の制御が出来ても、結果的に画質が劣化する。
例えばＲ，Ｇ，Ｂプレーンへ分解した各プレーンにおいて、Ｒプレーンの符号量が大きく、Ｂプレーンの符号量が小さい場合に、ＲプレーンのＱｐを大きく、ＢプレーンのＱｐを小さくするように符号量制御を行う。この場合、原画像に対して符号化後の赤成分の情報比率は減ってしまい、符号量の制御が出来ても、結果的に画質が劣化する。
それ故、画質の高い符号化を行うには、フレーム目標符号量にフレーム発生符号量が収束し、かつプレーン間のＱｐが同じになるように量子化制御を実施することが望ましいことが理解できよう。
本発明は上記の問題点に鑑みなされたものであり、ＲＡＷ動画像記録を、各色成分のプレーン間でアンバランスとならず、高い品位を維持して符号量制御を行う技術を提供しようとするものである。
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
撮像手段で撮像した動画像データを符号化する画像符号化装置であって、
前記動画像データの１フレームの画像データから、それぞれが単一成分で構成される複数のプレーンデータを生成するプレーン変換手段と、
生成した各プレーンデータに対して周波数変換し、各プレーン毎に、複数のサブバンドの係数データを生成する周波数変換手段と、
設定された量子化パラメータを用いて、各プレーンの着目サブバンド内の所定の領域の係数データを量子化する量子化手段と、
各プレーンの、量子化後の係数データを符号化し、符号化データを生成する符号化手段と、
前記符号化手段で生成される各プレーンにおける前記所定の領域の符号化データの符号量に基づき、前記着目サブバンドにおける後続して符号化される所定の領域で用いられる量子化パラメータを更新する制御手段とを有し、
前記制御手段は、
各プレーン毎に設定された目標符号量と、各プレーン毎の前記所定の領域の符号化データ量との差分の合算を累積し、当該累積した差分に基づいて前記量子化パラメータを更新することを特徴とする。
撮像手段で撮像した動画像データを符号化する画像符号化装置であって、
前記動画像データの１フレームの画像データから、それぞれが単一成分で構成される複数のプレーンデータを生成するプレーン変換手段と、
生成した各プレーンデータに対して周波数変換し、各プレーン毎に、複数のサブバンドの係数データを生成する周波数変換手段と、
設定された量子化パラメータを用いて、各プレーンの着目サブバンド内の所定の領域の係数データを量子化する量子化手段と、
各プレーンの、量子化後の係数データを符号化し、符号化データを生成する符号化手段と、
前記符号化手段で生成される各プレーンにおける前記所定の領域の符号化データの符号量に基づき、前記着目サブバンドにおける後続して符号化される所定の領域で用いられる量子化パラメータを更新する制御手段とを有し、
前記制御手段は、
各プレーン毎に設定された目標符号量と、各プレーン毎の前記所定の領域の符号化データ量との差分の合算を累積し、当該累積した差分に基づいて前記量子化パラメータを更新することを特徴とする。
本発明によれば、ＲＡＷ動画像データから生成した各成分のプレーンを符号化する際に、個々のプレーンを互いに関連する量子化パラメータに従って量子化することで、これまでよりも高画質となる符号化データを生成することが可能となる。
以下図面を参照しながら本発明の好適な実施の形態を説明する。
［第１の実施形態］
＜装置構成＞
図１は、第１の実施形態が適用する画像符号化装置のブロック構成図である。この画像符号化装置は、デジタルビデオカメラなどの撮像装置に適用されるものでもある。
＜装置構成＞
図１は、第１の実施形態が適用する画像符号化装置のブロック構成図である。この画像符号化装置は、デジタルビデオカメラなどの撮像装置に適用されるものでもある。
図示において符号１５０は、装置全体の制御を司る主制御部であり、以下の説明する各種処理部の制御を司る。
撮像部100は、光学レンズ、ベイヤ配列の撮像素子、Ａ／Ｄ変換器等を収容し、撮像したＲＡＷ形式の動画像データをフレーム単位にプレーン変換部101に供給する。ベイヤ配列では、その中の２×２画素が１個のＲ（レッド）画素、１個のＢ（ブルー）画素、２つのＧ（グリーン）画素で構成される。２つのＧ画素は、それぞれを区別するため、一般にＧ１，Ｇ２と表記されることが多い。また、実施形態における撮像部100は、例えば１秒当たり30枚のＲＡＷ画像データをプレーン変換部101に供給するものとする。
プレーン変換部101は、入力した１枚のＲＡＷ画像データから、それぞれが単一成分の４つのプレーンデータを生成する。ここでは、実施形態では、Ｒプレーン、Ｇ１プレーン、Ｇ２プレーン、Ｂプレーンの４プレーンに生成され、離散ウェーブレット変換部102に供給される。図２は、入力したＲＡＷ画像データ（ベイヤ配列）と、Ｒ，Ｇ１，Ｇ２，Ｂの４プレーンとの関係を示している。プレーン変換部101による４つのプレーンへ分離し、圧縮符号化を実施することで、ベイヤ配列の画像に比べ、プレーン内の画素間の相関を高め、圧縮効率を向上させることができる。
離散ウェーブレット変換部102は、入力した１つのプレーン（Ｒ，Ｇ１，Ｇ２，Ｂプレーンのいずれか）が示す画像データに対し離散ウェーブレット変換（以下、ＤＷＴ）を行う。この結果、複数のサブバンドの係数データ（周波数領域信号）が生成されるので、離散ウェーブレット変換部102はそれらを出力する（詳細後述）。
なお、実施形態におけるプレーン変換部101は１枚のＲＡＷ画像データから４つのプレーンが生成されている。ＤＷＴに係る時間の短縮のために離散ウェーブレット変換部102を４つ並列に配置して、ＤＷＴを並列実行しても良い。これは、後述する量子化部103、符号化部104でも同様である。
また、ＤＷＴは、一般に画像全体に対してフィルタリングを行うが、フィルタタップ数分の画素がメモリに溜まったタイミングで、垂直方向及び水平方向のフィルタリングを行うことが可能である。そのため、ＤＷＴを入力画像の１ライン単位に行い、更に生成された低域サブバンド（一般にＬＬサブバンド）に対して再帰的にＤＷＴを行うことで、各サブバンドをライン単位に並列に処理することが可能である。
離散ウェーブレット変換部102は、周波数変換で得られた各プレーンの各サブバンドの係数データをライン単位に順次量子化部103へ供給する。
量子化制御部105は、ライン単位で入力した係数データを、符号量制御部117より設定された量子化パラメータＱｐを量子化部103に設定する。符号量制御部117はライン単位に量子化パラメータＱｐを更新する。量子化部103はライン単位に更新される量子化パラメータＱｐに従って着目ラインを構成する各係数データを量子化しては、その量子化後の係数データを符号化部104に供給することになる。量子化パラメータＱｐは、その値が大きいほど符号量を削減することが可能であるが、その一方で、その値が大きいほど画質が劣化するパラメータである。
符号化部104は、量子化部103から供給された量子化後の係数データを符号化して符号化データを生成し、出力部119に供給する。出力部119は、符号化部104から供給された符号化データに、復号に必要な情報を含むヘッダを付加し、所定のフォーマットの符号化データを生成し、記憶媒体120に書き込む。
次に第１の実施形態にける符号量制御部117について説明する。
符号量制御部117は、制御感度設定部113、サブバンド量子化設定部114、サブバンド目標符号量設定部115、そしてサブバンド複雑度設定部116を含み、これらによりサブバンド毎の各種設定値を元にした符号量の制御を行う。なお、上記の各種設定値は、前のフレームの符号化情報を元にフィードバック制御で算出するものである。
量子化制御部105は、発生符号量が目標符号量に収束するように、サブバンド毎に予め設定された矩形ブロック単位にＱｐを制御する。実施形態における、この矩形ブロックはサブバンドの１ラインとする。
また、本実施形態では、各プレーン、各サブバンドのＱｐの関係が、後述する所定のＱｐの関係になるように量子化制御を実施することを目的としている。このため、量子化制御部105は、Ｒ，Ｇ１，Ｇ２，Ｂの各プレーンに対して、同一係数データの位置に相当する各サブバンドのラインを順次処理する。
発生符号量保持部106は、符号化部104から通知される符号化データである、発生符号量をサブバンド毎に保持する。
変数ｉを符号化対象ラインのライン番号とすると、矩形ブロック複雑度算出部107は、着目サブバンドにおける、後続して符号化される第ｉラインに備えて、１ライン前のラインの複雑度Ｘ［ｉ−１］を算出する（詳細後述）。
矩形ブロック複雑度算出部107で算出されたライン毎の複雑度は、サブバンド毎に積算（合算）され、サブバンド複雑度設定部116で保持される。矩形ブロック目標符号量算出部108は、サブバンド目標符号量設定部115で設定されるサブバンド目標符号量Ｔｓｂ、サブバンド複雑度設定部116で設定されるサブバンド複雑度Ｘｓｂ、矩形ブロック複雑度算出部107で算出されるライン複雑度Ｘ［ｉ−１］に従い、着目サブバンドのライン目標符号量Ｔ［ｉ−１］を算出する（詳細後述）。
差分算出部109は、着目サブバンドのライン毎に、発生符号量保持部106で保持された着目ラインからの発生符号量Ｓ［ｉ−１］と、矩形ブロック目標符号量算出部108から出力されるライン目標符号量Ｔ［ｉ−１］の差分値Ｅ［ｉ−１］を算出する。
差分保持部110は、この算出値Ｅ［ｉ−１］を積算した積算差分値ΣＥ［ｉ−１］をサブバンド毎に保持する。ここで、着目サブバンドの目標符号量Ｔtarget、着目サブバンドが含むライン数をＭとし、水平軸をライン数、垂直軸を符号量と定義する座標空間を定義したとする。積算差分値ΣＥ［ｉ−１］は、原点（０，０）と（Ｍ、Ｔtarget）とを結ぶ理想とする符号量推移線上から、どれだけずれているかを示していることになる。
差分再算出部118は、差分保持部110で保持しているサブバンド毎の積算差分値ΣＥ［ｉ−１］を用いて、量子化値算出部111でＱｐの決定に利用する再算出符号量差分値Ｅｒｅを算出する（詳細後述）。
量子化値算出部111は、差分再算出部118から通知された再算出符号量差分値Ｅｒｅと、サブバンド量子化設定部114で設定され、量子化パラメータ保持部112で保持されている初期ＱｐであるＱｐ[0]、そして、制御感度設定部113で設定される制御感度ｒを用いて、着目サブバンド内の次のラインの量子化パラメータＱｐ[i]を決定する。この量子化パラメータＱｐ[i]は、着目ラインまでの発生符号量積算量が、同目標符号量積算量へ近付くように算出される（詳細後述）。以上が実施形態における符号量制御部117の概ねの処理内容である。
＜離散ウェーブレット変換(DWT)＞
図３は、ＤＷＴの垂直、水平フィルタリング処理をそれぞれ三回施した、分解レベル３の場合のサブバンド形成図である。
図３は、ＤＷＴの垂直、水平フィルタリング処理をそれぞれ三回施した、分解レベル３の場合のサブバンド形成図である。
ＤＷＴは、垂直、水平にそれぞれフィルタをかけることでＨＨ，ＨＬ，ＬＨ，ＬＬの４つの周波数帯域（サブバンド）の係数データを生成する。そして、上記変換により生成された低域（ＬＬ）サブバンドに対して再帰的にＤＷＴを施すことで分解レベルを増加させ、図３のように周波数分解の粒度を細かくすることができる。なお、図３における“Ｌ”,“Ｈ”はそれぞれ低域、高域を示し、その順序は、前側が水平フィルタリングを行った結果の帯域、後側が垂直フィルタリングを行った結果の帯域を示し、“Lv”の後の数字はＤＷＴの分解レベルを示す。また、ＬＬは、最低域サブバンドを示す。
図１の符号量制御部１１７では、高域のサブバンドほど量子化パラメータを大きく、低域のサブバンドほど量子化パラメータを小さく設定し符号量制御を行う。これにより人間の視覚特性上視認しづらい、画像データの高域成分ほど発生符号量を圧縮し、符号化効率を向上させる。
＜複雑度の算出＞
複雑度は、画像の符号化の難易度を示す指標であり、画像が難しいほど大きく、易しいほど小さいパラメータである。難しい画像とは、あるＱｐで画像全面を符号化したときに、発生する符号量が多いことを示すものである。故に、複雑度Ｘは、量子化パラメータＱｐ、発生符号量Ｓを用いて、次式（１）のように表す。
Ｘ＝Ｑｐ×Ｓ …（１）
複雑度は、画像の符号化の難易度を示す指標であり、画像が難しいほど大きく、易しいほど小さいパラメータである。難しい画像とは、あるＱｐで画像全面を符号化したときに、発生する符号量が多いことを示すものである。故に、複雑度Ｘは、量子化パラメータＱｐ、発生符号量Ｓを用いて、次式（１）のように表す。
Ｘ＝Ｑｐ×Ｓ …（１）
矩形ブロック複雑度算出部1077は、矩形ブロック目標符号量を算出するために、次に符号化する着目ラインに対して、１ライン前のラインの複雑度Ｘを算出する。
１ライン前の符号化に利用した量子化パラメータをＱｐ[i-1]と表し、その際の発生符号量Ｓ[i-1]としたとき、１ライン前の複雑度Ｘ[i-1]は、式（１）に従って次式（２）のように表せる。
Ｘ[i-1]＝Ｑｐ[i-1]×Ｓ[i-1] …（２）
Ｘ[i-1]＝Ｑｐ[i-1]×Ｓ[i-1] …（２）
＜矩形ブロック目標符号量の算出＞
各サブバンドでは、画像の難しいラインほど目標符号量を多く割り当て、易しいラインほど目標符号量を小さく割り当てることで、Ｑｐの変動を、サブバンド内で極力小さくすることができる。
各サブバンドでは、画像の難しいラインほど目標符号量を多く割り当て、易しいラインほど目標符号量を小さく割り当てることで、Ｑｐの変動を、サブバンド内で極力小さくすることができる。
そこで、矩形ブロック目標符号量算出部108は、サブバンド目標符号量設定部115で設定されるサブバンド目標符号量Ｔｓｂ、サブバンド複雑度設定部116で設定されるサブバンド複雑度Ｘｓｂ及び、矩形ブロック複雑度X[i-1]に従い、着目サブバンド内の次に符号化するラインの目標符号量Ｔ[i-1]を次式（３）に基づき算出する。
Ｔ[i-1] = Ｔｓｂ × Ｘ[i-1] ／ Ｘｓｂ_{N-1} …（３）
式（１）で示したように、複雑度は発生符号量を利用し算出するため、符号化しなければ得られないフィードバック量である。そのため、Ｘｓｂには、着目フレームであるＮフレームに対して、１フレーム前のサブバンド複雑度Ｘｓｂ_{N-1}をフィードバックし用いる。ただし、Ｎは整数で有り、Ｎフレームは着目ＲＡＷ画像データを表す。
Ｔ[i-1] = Ｔｓｂ × Ｘ[i-1] ／ Ｘｓｂ_{N-1} …（３）
式（１）で示したように、複雑度は発生符号量を利用し算出するため、符号化しなければ得られないフィードバック量である。そのため、Ｘｓｂには、着目フレームであるＮフレームに対して、１フレーム前のサブバンド複雑度Ｘｓｂ_{N-1}をフィードバックし用いる。ただし、Ｎは整数で有り、Ｎフレームは着目ＲＡＷ画像データを表す。
式（３）の如く、サブバンド全体に対する着目ラインの複雑度の比率をＴｓｂに乗ずることで、難しいラインでは目標符号量を多く割り当て、易しいラインでは目標符号量を少なく割り当てることができる。この結果、サブバンド内でＱｐの変動を極力小さくすることができる。
＜量子化制御＞
量子化パラメータ算出方法の一つに、「ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５」に示された公知技術がある。この技術に従い、差分保持部110に保持された積算差分値ΣＥ[i-1]と量子化パラメータ保持部112に保持された初期量子化パラメータＱｐ[0]、制御感度設定部113で設定された制御感度ｒを用いて、着目サブバンド内の次のラインの量子化パラメータＱｐ[i]を次式（４）のように算出できる。
Ｑｐ[i]＝Ｑｐ[0] ＋ r ×ΣＥ[i-1] …（４）
なお、制御感度ｒは、大きいほど再算出符号量差分値に応じて急峻にＱｐ[i]を変動させる一方、符号量の制御性が良くなるパラメータである。
量子化パラメータ算出方法の一つに、「ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５」に示された公知技術がある。この技術に従い、差分保持部110に保持された積算差分値ΣＥ[i-1]と量子化パラメータ保持部112に保持された初期量子化パラメータＱｐ[0]、制御感度設定部113で設定された制御感度ｒを用いて、着目サブバンド内の次のラインの量子化パラメータＱｐ[i]を次式（４）のように算出できる。
Ｑｐ[i]＝Ｑｐ[0] ＋ r ×ΣＥ[i-1] …（４）
なお、制御感度ｒは、大きいほど再算出符号量差分値に応じて急峻にＱｐ[i]を変動させる一方、符号量の制御性が良くなるパラメータである。
本第１の実施形態では、積算差分値ΣＥ[i-1]の代わりに、差分再算出部118から通知された再算出符号量差分値Ｅｒｅを用いて、次式（５）のように算出することで、後述する所定のＱｐの関係を満たす制御を行う。
Ｑｐ[i]＝Ｑｐ[0] + ｒ ×Ｅｒｅ …（５）
「ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５」を利用することで、目標符号量に対して発生符号量が大きければ量子化パラメータを大きく、小さければ量子化パラメータを小さく設定し、符号量を制御することが可能である。
Ｑｐ[i]＝Ｑｐ[0] + ｒ ×Ｅｒｅ …（５）
「ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５」を利用することで、目標符号量に対して発生符号量が大きければ量子化パラメータを大きく、小さければ量子化パラメータを小さく設定し、符号量を制御することが可能である。
＜符号量制御：RGBプレーン間における量子化パラメータの所定の関係＞
図２で示すＲ，Ｇ１，Ｇ２，Ｂプレーンへの変換により生成された各プレーンは、人間の視覚特性上の重要度に差はなく、どのプレーンに優劣を付けることなく一律で重要なプレーンといえる。なお、Ｇ１，Ｇ２プレーンは同じ量子化パラメータによる符号化を行うので、以下ではＧ１プレーンを単にＧプレーンと表記することとする。
図２で示すＲ，Ｇ１，Ｇ２，Ｂプレーンへの変換により生成された各プレーンは、人間の視覚特性上の重要度に差はなく、どのプレーンに優劣を付けることなく一律で重要なプレーンといえる。なお、Ｇ１，Ｇ２プレーンは同じ量子化パラメータによる符号化を行うので、以下ではＧ１プレーンを単にＧプレーンと表記することとする。
量子化パラメータＱｐは、どのプレーンでも互いに等しいことが望ましいことは既に説明した。以降、プレーン間やサブバンド間で望ましいＱｐの関係を、所定のＱｐの関係と記す。
ここで、各サブバンドの積算差分値をそのまま用いて量子化制御を実施した場合の問題について説明する。
図４（ａ）は、或る着目サブバンドにおいて、Ｒプレーンでは目標符号量に対し発生符号量が多く、Ｇ１、Ｇ２プレーンでは目標符号量上を推移し、Ｂプレーンでは目標符号量に対して発生符号量が少ない場合の、従来の量子化制御の一例を示す図である。図４（ｂ）は、図４（ａ）における各プレーンの着目サブバンド内のＱｐの推移を示した図である。
従来の量子化制御は、各プレーンのサブバンドを独立して量子化制御を実施している。図１において、差分再算出部118で各色プレーン毎に、再算出する再算出符号量差分値Ｅｒｅ=ΣＥ[i-1]としたときの動作のことを示す。
サブバンド目標符号量は、フィードバック制御等を利用し予測した値であるため、必ずしも正しい設定値とは限らない。なお、ここで述べる正しい設定とは、積算差分値が発生せず、Ｑｐが全ラインを通して初期Ｑｐから変化しない設定をした場合を指す。
図４（ａ）に示すＲプレーンのように各ラインの目標符号量積算量に対して着目サブバンドのライン発生符号量積算量が大きければ、Ｑｐを大きくすることで発生符号量を抑え込もうと量子化制御が働く。また、ラインの目標符号量積算量に対して着目サブバンドのライン発生符号量積算量が小さければ、Ｑｐを小さくすることで発生符号量を増やそうと量子化制御が働く。このため、Ｑｐがプレーン間でばらばらになり、「所定のＱｐの関係」から逸脱する場合がある。この場合、符号量は予め設定したフレーム目標符号量に収束するものの、各プレーン間でばらばらなＱｐとなってしまい、「所定のＱｐの関係」を保つ制御を実施した場合と比較して画質の劣化が大きい。
本実施形態では、差分再算出部118は、各プレーンのＱｐが「所定のＱｐの関係」となるように、量子化値算出部111において式(5)で利用する再算出符号量差分値を算出する。
本実施形態では、再算出符号量差分値は、全プレーンで同一の値となるように算出される。
以降の説明では、プレーン、分解レベル、サブバンドで有する各パラメータを、それぞれ、plane,lv,subbandを用いて記載する。なお、本実施形態では、planeはＲ，Ｇ１，Ｇ２，Ｂのいずれかを指し、lvはLv1,Lv2,Lv3のいずれかを指し、subbandはHL,LH,HHのいずれかを指す。
上記plane,lv,subbandを用いて、前述の各サブバンドの再算出符号量差分値Ｅｒｅは、Ｅｒｅ[plane][lv][subband]と再定義し、各サブバンドの積算差分値ΣＥ[i-1]は、ΣＥ[plane][lv][subband][i-1]と再定義する。
また、着目プレーンをplane_cur,着目レベルをlv_cur, 着目サブバンドをsubband_curとする。後述の着目サブバンド合計差分量Ｅsbtotal[lv_cur][subband_cur][i-1]は、ΣＥ[plane][lv_cur][subband_cur][i-1]を全プレーン加算することで生成される値であり、着目ＲＡＷ画像（着目フレーム）の符号化開始時における初期値は0である。
図５は、差分再算出部118の処理手順を示すフローチャートである。以下、同図を参照して、実施形態の差分再算出部118の処理を説明する。なお、以下の説明は、符号化部104が、４つのプレーンの同一サブバンドの同一ラインの量子化係数データを並列に符号化しているものとする。なお、実質的に同時であればよいので、必ずしも並列でなくても構わない。また、以下の説明において、各種の値や量は、差分再算出部118が有するレジスタ（又はメモリでも良い）に保持されているものとして説明する。
S501で、差分再算出部118は、着目ラインの積算差分値を、着目サブバンド合計差分量へ加算する。S502にて、差分再算出部118は、着目サブバンドで全プレーンの同一画素位置ラインの積算差分値が、着目サブバンド合計差分量へ加算されていれば、S503へ、そうでなければ処理を終了する。
S503で、差分再算出部118は、着目サブバンド合計差分量をプレーン数「４」で除算することで、各プレーンのサブバンド再算出符号量差分値Ere[plane][lv_cur][subband_cur]を生成する。S504で、差分再算出部118は、量子化値算出部111へ、着目サブバンドのサブバンド再算出符号量差分値を全プレーン分通知する。そして、S505で、次のフレームの着目サブバンドの符号化の備え、着目サブバンド合計差分量を０にリセットする。
図５より、各プレーンの再算出符号量差分値Ｅｒｅ[plane][lv_cur][subband_cur]は、式（７）のように算出される。
Ｅsbtotal[lv_cur][subband_cur][i-1]
＝ ΣＥ[R][lv_cur][subband_cur][i-1]
＋ΣＥ[G1][lv_cur][subband_cur][i-1]
＋ΣＥ[G2][lv_cur][subband_cur][i-1]
＋ΣＥ[B][lv_cur][subband_cur][i-1] …（６）
Ｅｒｅ[plane][lv_cur][subband_cur]
＝ Ｅsbtotal[lv_cur][subband_cur][i-1] ／４ …（７）
以上の処理により、量子化値算出部111で利用する再算出符号量差分値は、着目サブバンドにおいて全プレーン共通の値となる。
Ｅsbtotal[lv_cur][subband_cur][i-1]
＝ ΣＥ[R][lv_cur][subband_cur][i-1]
＋ΣＥ[G1][lv_cur][subband_cur][i-1]
＋ΣＥ[G2][lv_cur][subband_cur][i-1]
＋ΣＥ[B][lv_cur][subband_cur][i-1] …（６）
Ｅｒｅ[plane][lv_cur][subband_cur]
＝ Ｅsbtotal[lv_cur][subband_cur][i-1] ／４ …（７）
以上の処理により、量子化値算出部111で利用する再算出符号量差分値は、着目サブバンドにおいて全プレーン共通の値となる。
図６は、本実施形態の量子化制御における、各プレーンにおける着目サブバンドにおけるＱｐ推移の一例を示す図である。なお、説明をわかりやすくするため、図６は、図４（ａ）の条件と同様に、Ｒプレーンでは目標符号量に対し発生符号量が多く、Ｇ１、Ｇ２プレーンは目標符号量上を推移し、Ｂプレーンでは目標符号量に対し発生符号量が少なくなった場合を示している。
図４で説明したように、Ｅｒｅ[plane_cur][lv_cur][subband_cur]＝ΣE[plane_cur][lv_cur][subband_cur] [i-1]としたまま量子化制御を行うと、各プレーンのＱｐの関係は所定のＱｐの関係から逸脱する場合がある。
これに対して、実施形態が適用する量子化処理では、再算出符号量差分値は全プレーンの着目サブバンドから算出するため、式（４）から、初期Ｑｐを全プレーン共通に設定しておけば、図６で示すように、Ｑｐは全プレーン同じになる。したがって、所定のＱｐの関係を満たして符号量制御を実施することができる。
また、着目サブバンドにおいて、各プレーンの積算差分値は、ライン毎にサブバンド符号量差分値として計上され、サブバンド符号量差分値の絶対値が小さくなるように符号量制御が実施されるため、符号量制御性の精度が落ちることは無い。
ここで実施形態における装置の符号化に係る全体の処理を図１３のフローチャートに従い説明する。同図は、図１に示す主制御部150の処理内容であって、或る分解レベルの或るサブバンドについての処理である。従って、図１に示す処理は、全分解レベル（全解像度）の全サブバンド（ただしＬＬサブバンドを除く）について実行されるものと理解されたい。なお、分解レベルがある程度進んだサブバンドについては量子化制御しないようにしても良い。本処理に先立ち、ＲＡＷ動画像を構成する１フレームの画像データからＲ，Ｇ１，Ｇ２，Ｂの各プレーンへの変換、並びに、各プレーンに対するＤＷＴ処理は完了しているものとする。また、説明を単純化するため、各プレーンの着目サブバンドの第ｉラインの係数データを、単に各プレーンの第ｉラインの係数データと表す。
まず、主制御部150は、S1301にて、各プレーンの着目サブバンドの処理を行うのに先立ち、量子化パラメータＱｐ（各プレーンで共通）を初期値に設定する。また、主制御部150は、着目ラインを特定するための変数ｉ、さらには、サブバンド合計差分量Ｅsubtotalも０クリアする。
次のS1302にて、主制御部150は、各プレーンの第ｉラインのデータを量子化部103に供給し、量子化を行わせる。量子化部103は、供給された各プレーンの第ｉラインデータを量子化パラメータＱｐに従い量子化することになる。
S1303にて、主制御部150は符号化部104を制御し、量子化後の各プレーンの第ｉラインの量子化後の係数データの符号化を行わせる。この結果、各プレーンの第ｉラインの符号化データが生成されるが、生成された符号化データは出力部119内に一時的に蓄積される。出力部119は、或る程度の符号化データが蓄積され、予め設定されたデータフォーマットの符号化データを構築した後、記録媒体120に着込むことになる。また。符号化部104は、生成した各プレーンの第ｉラインの符号化データ量を示す情報を発生符号量保持部106に供給する。
そして、主制御部150は、S1304にて、着目サブバンドに対する符号化が完了したか否かを判定する。完了したと判定した場合には、図１３の処理を終え、次のサブバンドに対する処理、或いは、次のフレームに対する処理へと移行することになる。
さて、着目サブバンドに対する符号化が未完であると判定した場合、S1305にて、主制御部150は、量子化制御部105を制御し、各プレーン毎に設定されたライン目標符号量と、各プレーンにおいて実際に生成した第ｉラインの符号化データ量との差をＥ（Ｒ），Ｅ（Ｇ１），Ｅ（Ｇ２）、Ｅ（Ｂ）を求める。
そして、主制御部150は、S1306にて、量子化制御部105を制御し、サブバンド合計差分量Ｅsubtotalに、Ｅ（Ｒ），Ｅ（Ｇ１），Ｅ（Ｇ２）、Ｅ（Ｂ）を累積加算する。つまり、着目サブバンドの先頭ラインから第ｉラインまでに発生した目標符号量に対ずるずれ量を算出させる。
そして、主制御部150は、S1307にて、式（７）に従って、サブバンド再算出符号量差分値Ｅreを算出し、各プレーンに共通な量子化パラメータＱｐを式（５）に従って更新する。そして、主制御部150は、S1308にて、変数ｉを“１”だけ増加させ、処理をＳ1302に戻す。
以上のように、プレーン毎の符号量差分をサブバンド毎に集約し、Ｑｐが各プレーンで等しくなるように、各プレーンへ均等に再配分し、再配分された符号量差分を用いて量子化制御を行うことで、画質劣化を抑制することが可能となる。
なお、ＤＷＴをかけず、プレーン変換した各プレーンを、一つの周波数帯とみなして積算差分値の集約単位とし、各プレーンへ符号量差分値を再配分しても構わない。また、ＤＷＴは、その分解（実行）の回数に制限は無く、例えば４回以上を行っても構わない。更に、本実施形態では１ライン毎に量子化制御を実施しているが、その限りではなく、１画素×１画素以上の矩形ブロック毎で量子化制御を実施しても構わない。そして、本実施形態では、符号量差分値を1:1の関係で再配分するため、再算出符号量差分値を各プレーンへ等分配しているが、正確に1:1でなくとも、1:1に近似できる割合で分配されている場合は本実施形態の範疇である。
［第２の実施形態］
以下、本発明に係る第２の実施形態を説明する。本第２の実施形態では、上記第１の実施形態と同様に図１を参照して説明する。本第２の実施形態における、第１の実施形態と異なる点は、各プレーンに再配分する再算出符号量差分値が等しくない点である。
以下、本発明に係る第２の実施形態を説明する。本第２の実施形態では、上記第１の実施形態と同様に図１を参照して説明する。本第２の実施形態における、第１の実施形態と異なる点は、各プレーンに再配分する再算出符号量差分値が等しくない点である。
＜符号量制御＞
図１において、プレーン変換部101は、ベイヤ配列の画像データから、輝度プレーンと色差プレーンから成る複数プレーンに分離してもよい。
図１において、プレーン変換部101は、ベイヤ配列の画像データから、輝度プレーンと色差プレーンから成る複数プレーンに分離してもよい。
人間の視覚特性上、画像の色差成分に対して輝度成分は視覚的重要度が高い。そのため、輝度成分に対してＱｐを小さくすることで、画質を向上させることが一般的である。そのため、輝度、色差から成る複数プレーンを符号化する場合、輝度プレーンはＱｐを小さくし、色差プレーンではＱｐを大きくする。
そこで、本第２の実施形態における差分再算出部118は、各プレーンのＱｐが所定のQpの関係となるように、量子化値算出部111で利用する符号量差分値を、再算出符号量差分値として再算出する。第１の実施形態と異なり、各プレーンに再配分する再算出符号量差分値は、輝度プレーンより色差プレーンに大きく設定する点である。
図７は、第２の実施形態における、差分再算出部118の処理フローを示したフローチャートである。なお、本第２の実施形態では、プレーン変換部101で輝度Ｙ,色差Ｃ１，Ｃ２，Ｃ３から成る４プレーンを生成し、planeは、Ｙ，Ｃ１，Ｃ２，Ｃ３のいずれかを指すものとする。なお、実際には、輝度色差としてＹｕｖやＹｃｂＣｒ等の３プレーンであっても構わなず、色空間の種類とプレーン数は特に問わない。
図７を参照して、本第２の実施形態における差分再算出部118の処理を説明する。
S701にて、差分再算出部118で、着目ラインの積算差分値を、着目サブバンド合計差分量へ加算する。そして、S702にて、差分再算出部118は、着目サブバンドで全プレーンの同一画素位置ラインの積算差分値が、サブバンド合計差分量へ加算されていれば、S703へ、そうでなければ処理を終了する。
S703にて、差分再算出部118は、着目サブバンド合計差分量を、輝度プレーンと色差プレーンへα[Y][lv_cur][subband_cur]:α[C1][lv_cur][subband_cur]:α[C2][lv_cur][subband_cur]:α[C3][lv_cur][subband_cur]の比率で分配するように、各プレーンのサブバンド再算出符号量差分値を生成する。
なお、α[plane][lv_cur][subband_cur]は各プレーンへ割り当てるEre[plane][lv_cur][subband_cur]の比率を表し、
着目サブバンド合計差分量が正であれば、α[Y][lv_cur][subband_cur]＜α[C1][lv_cur][subband_cur]=α[C2][lv_cur][subband_cur]=α[C3][lv_cur][subband_cur]である。また、着目サブバンド合計差分量が負であれば、α[Y][lv_cur][subband_cur]＞α[C1][lv_cur][subband_cur]=α[C2][lv_cur][subband_cur]=α[C3][lv_cur][subband_cur]である。
着目サブバンド合計差分量が正であれば、α[Y][lv_cur][subband_cur]＜α[C1][lv_cur][subband_cur]=α[C2][lv_cur][subband_cur]=α[C3][lv_cur][subband_cur]である。また、着目サブバンド合計差分量が負であれば、α[Y][lv_cur][subband_cur]＞α[C1][lv_cur][subband_cur]=α[C2][lv_cur][subband_cur]=α[C3][lv_cur][subband_cur]である。
上記のようにサブバンド合計差分量を分配することで、色差プレーンに対して輝度プレーンへ割り当てるサブバンド再算出符号量差分値を小さくすることができる。
S704で、差分再算出部118は、着目サブバンドのサブバンド再算出符号量差分値を全プレーン分通知する。そして、S705で、サブバンド合計差分量を0へリセットする。
図７の処理により、各プレーンのＥre[plane][lv_cur][subband_cur]は、式(9)のように算出される。なお、βは、各α[plane][lv_cur][subband_cur]により決定する、 Ｅsbtotal[lv_cur][subband_cur][i-1]が過不足なく分配されるようにＥre[plane][lv_cur][subband_cur]を正規化するパラメータ である。
Ｅsbtotal[lv_cur][subband_cur][i-1]
＝ ΣＥ[Y][lv_cur][subband_cur][i-1]
＋ΣＥ[C1][lv_cur][subband_cur][i-1]
＋ΣＥ[C2][lv_cur][subband_cur][i-1]
＋ΣＥ[C3][lv_cur][subband_cur][i-1] …（８）
Ｅre[plane][lv_cur][subband_cur]
＝ Ｅsbtotal[lv_cur][subband_cur][i-1]
×α[plane][lv_cur][subband_cur] ／ β …（９）
Ｅsbtotal[lv_cur][subband_cur][i-1]
＝ ΣＥ[Y][lv_cur][subband_cur][i-1]
＋ΣＥ[C1][lv_cur][subband_cur][i-1]
＋ΣＥ[C2][lv_cur][subband_cur][i-1]
＋ΣＥ[C3][lv_cur][subband_cur][i-1] …（８）
Ｅre[plane][lv_cur][subband_cur]
＝ Ｅsbtotal[lv_cur][subband_cur][i-1]
×α[plane][lv_cur][subband_cur] ／ β …（９）
以上の処理により、量子化値算出部111で利用する再算出符号量差分値は、輝度プレーンよりも色差プレーンが大きくなるように分配される。結果、輝度プレーンの量子化パラメータは、色差プレーンのそれよりも総じて小さく維持されるようになる。
初期Ｑｐを前述の輝度・色差プレーン間における量子化パラメータの所定のＱｐの関係を満たすよう設定しておけば、式（４）から、量子化制御を実行しても各ラインのＱｐは所定のＱｐの関係を満たして符号量制御をすることができる。
以上のように、プレーン毎の符号量差分をサブバンド毎に集約し、Ｑｐが各プレーン間で所定のＱｐの関係になるように各プレーンへ所定のＱｐの関係と同様の比率で再配分し、再配分された符号量差分を用いて量子化制御を行う。この結果、画質の劣化を抑えた符号化が可能となる。
［第３の実施形態］
以下、本第３の実施形態を説明する。第３の実施形態の構成例は、第２の実施形態と同様、図１の構成として説明する。
以下、本第３の実施形態を説明する。第３の実施形態の構成例は、第２の実施形態と同様、図１の構成として説明する。
そして、本第３の実施形態における第２の実施形態と異なる点は、所定のプレーンには、再算出符号量差分値を配分しない点である。
本第３の実施形態では、サブバンド量子化設定部114は、各プレーンの各サブバンド毎に任意の値としてmaxQpを更に設定可能である。ここで、maxQpは、量子化値算出部111から量子化部103に通知する、量子化パラメータのクリップ値（上限値）である。量子化値算出部111は、式(4)の右辺がmaxQpより大ききくなった場合、左辺をmaxQpにクリップするように動作する。
＜符号量制御＞
輝度・色差プレーンから成る複数プレーンの符号化では、輝度プレーンのＱｐを、色差プレーンのそれよりも小さくすることが望ましいことは、第２の実施形態にて既に説明した。本第３の実施形態では、輝度プレーンには符号量差分値を割り当てず、色差プレーンにのみ符号量差分値を再配分することで、視覚的重要度の高い輝度プレーンの情報量を保護するものである。
輝度・色差プレーンから成る複数プレーンの符号化では、輝度プレーンのＱｐを、色差プレーンのそれよりも小さくすることが望ましいことは、第２の実施形態にて既に説明した。本第３の実施形態では、輝度プレーンには符号量差分値を割り当てず、色差プレーンにのみ符号量差分値を再配分することで、視覚的重要度の高い輝度プレーンの情報量を保護するものである。
図８は、第３の実施形態における、差分再算出部118の処理フローを示したフローチャートである。以下、同図を参照して、本第３の実施形態における差分再算出部118の処理を説明する。なお、本第３の実施形態では、プレーン変換部101で輝度Ｙ，色差Ｃ１，Ｃ２，Ｃ３から成る４プレーンを生成するものとして説明する。
S801にて、差分再算出部118は、着目ラインの積算差分値を、着目サブバンド合計差分量へ加算する。S802にて、差分再算出部118は、着目サブバンドで全プレーンの同一画素位置ラインの積算差分値が、着目サブバンド合計差分量へ加算されたか否かを判定し、加算されていればＳ803に処理を進め、そうでなければ処理を終了する。
S803にて、差分再算出部118は、着目サブバンドの全プレーンのＱｐがmaxQpであれば、S805に、そうでなければS804へ分岐する。
S804にて、差分再算出部118は、着目サブバンド再算出符号量差分値を、maxQpとなったサブバンドでは、maxQpとなるときの符号量積算量とする。また、差分再算出部118は、それ以外のプレーンのサブバンドは、着目サブバンド合計差分量から、maxQpとなったサブバンドの符号量積算量を減じた値を、α[Y][lv_cur][subband_cur]:α[C1][lv_cur][subband_cur]:α[C2][lv_cur][subband_cur]:α[C3][lv_cur][subband_cur]の比率で分配し、各プレーンの着目サブバンド再算出符号量差分値を生成する。
ここで、本第３の実施形態では、輝度プレーンのmaxQpを、初期Ｑｐと同じ値に設定する。この結果、輝度プレーンには再算出符号量差分値が分配されないことになる。
S805にて、差分再算出部118は、着目サブバンド再算出符号量差分値を、各プレーンの着目サブバンドへα[Y][lv_cur][subband_cur]:α[C1][lv_cur][subband_cur]:α[C2][lv_cur][subband_cur]:α[C3][lv_cur][subband_cur]の比率で分配し、各プレーンの着目サブバンド再算出符号量差分値を生成する。
S806にて、差分再算出部118は、量子化値算出部111へ、着目サブバンドのサブバンド再算出符号量差分値を全プレーン分通知する。そして、S807にて、差分再算出部118は、着目サブバンド合計差分量を０へリセットする。
図８の処理により、Ｅre[plane][lv_cur][subband_cur]は、全てのplaneがmaxQpに到達していない、または全てのプレーンがmaxQpに到達している場合は式（９）、そうでない場合は式（１１）、（１２）のように算出される。
なお、Ere[plane][lv_cur][subband_cur] (maxQp)は、着目プレーンにおいてＱｐがmaxQpとなったときのEre[plane][lv_cur][subband_cur]を表す。
Ｅsbtotal[lv_cur][subband_cur][i-1]＝
ΣＥ[Y][lv_cur][subband_cur][i-1]
＋ΣＥ[C1][lv_cur][subband_cur][i-1]
＋ΣＥ[C2][lv_cur][subband_cur][i-1]
＋ΣＥ[C3][lv_cur][subband_cur][i-1] …（１０）
Ｅre[plane][lv_cur][subband_cur] ＝Ｅre[plane][lv_cur][subband_cur] (maxQp) (maxQpに到達したプレーン) …（１１）
Ｅre[plane][lv_cur][subband_cur] ＝
(Ｅsbtotal[lv_cur][subband_cur][i-1] − Ｅre[plane][lv_cur][subband_cur] (maxQp) )
×α[plane][lv_cur][subband_cur] / β (maxQpに到達していないプレーン) …（１２）
以上の処理により、量子化値算出部111で利用する再算出符号量差分値は、輝度プレーンよりも色差プレーンの方が大きく割り当てられる。
Ｅsbtotal[lv_cur][subband_cur][i-1]＝
ΣＥ[Y][lv_cur][subband_cur][i-1]
＋ΣＥ[C1][lv_cur][subband_cur][i-1]
＋ΣＥ[C2][lv_cur][subband_cur][i-1]
＋ΣＥ[C3][lv_cur][subband_cur][i-1] …（１０）
Ｅre[plane][lv_cur][subband_cur] ＝Ｅre[plane][lv_cur][subband_cur] (maxQp) (maxQpに到達したプレーン) …（１１）
Ｅre[plane][lv_cur][subband_cur] ＝
(Ｅsbtotal[lv_cur][subband_cur][i-1] − Ｅre[plane][lv_cur][subband_cur] (maxQp) )
×α[plane][lv_cur][subband_cur] / β (maxQpに到達していないプレーン) …（１２）
以上の処理により、量子化値算出部111で利用する再算出符号量差分値は、輝度プレーンよりも色差プレーンの方が大きく割り当てられる。
上記の如く、輝度を優遇するとはいえ、色差の符号量が小さくなりすぎると、色彩が弱い画像となり、画質の劣化が生じる。そこで、予め定めたサブバンドの色差プレーンのmaxQpに、色差プレーンのQpが達したら、輝度にも符号量差分値を割り当てることで、色差の符号量が小さくなりすぎることを防ぐことができる。また、全てのサブバンドで予め設定した当該サブバンドのmaxQpにQpが達したら、全プレーンへ符号量差分値を再度割り当てることで、符号量制御性を確保することができる。
以上のように、プレーン毎の符号量差分をサブバンド毎に集約し、Qpが各プレーン間で所定のQpの関係になるように、maxQpを利用しながら各プレーンの再算出符号量差分値を調整し、再配分された符号量差分を用いて量子化制御を行う。この結果、画質劣化を抑制した符号化を行うことが可能になる。
なお、maxQpの値に制限は無く、例えば、輝度プレーンのmaxQpを色差プレーンのmaxQpと同程度に設定することも、本実施形態の範疇である。
［第４の実施形態］
以下、第４の実施形態を説明する。本第４の実施形態の装置構成は、第１の実施形態の図１と同じであるので、同図を参照して説明する。本第４の実施形態では、各プレーンの複雑度の関係を元に、各プレーンへ再算出符号量差分値を配分する。
以下、第４の実施形態を説明する。本第４の実施形態の装置構成は、第１の実施形態の図１と同じであるので、同図を参照して説明する。本第４の実施形態では、各プレーンの複雑度の関係を元に、各プレーンへ再算出符号量差分値を配分する。
複雑度は、式（１）で示されるように、画像の難易度を示す指標である。そのため、難しいプレーン程符号量が発生し易く、その分積算差分値の絶対量も大きくなる。本第４の実施形態では、差分再算出部118は、サブバンド複雑度設定部116で設定された着目サブバンドにおけるプレーン間の複雑度比率を用いて、各プレーンに再算出符号量差分値を配分する。
＜符号量制御＞
図９は、第４の実施形態における、差分再算出部118の処理フローを示したフローチャートである。以下、同図を参照して、本第４の実施形態における差分再算出部118の処理を説明する。なお、図９は、プレーン変換部101でRGBプレーン分離を利用した場合を例とし、planeは、R,G1,G2,Bのいずれかを指すことになる。
図９は、第４の実施形態における、差分再算出部118の処理フローを示したフローチャートである。以下、同図を参照して、本第４の実施形態における差分再算出部118の処理を説明する。なお、図９は、プレーン変換部101でRGBプレーン分離を利用した場合を例とし、planeは、R,G1,G2,Bのいずれかを指すことになる。
S901にて、差分再算出部118は、着目ラインの積算差分値を、着目サブバンド合計差分量へ加算する。S902で、着目サブバンドで全プレーンの同一画素位置ラインの積算差分値が、サブバンド合計差分量へ加算されているか否かを判定し、加算されている場合にはS903へ、そうでなければ処理を終了する。
S903で、差分再算出部118は、着目サブバンド合計差分量から各プレーンの着目サブバンド再算出符号量差分値を、以下に示す各プレーンの分配比率に基づき算出する。
γ[R][lv_cur][subband_cur]:γ[G1][lv_cur][subband_cur]:γ[G2][lv_cur][subband_cur]:γ[B][lv_cur][subband_cur]
なお、γ[plane][lv_cur][subband_cur]は各プレーンへ割り当てるEre[plane][lv_cur][subband_cur]の比率を表す。着目サブバンドにおける各プレーンの複雑度X[plane][lv_cur][subband_cur]の比率を用いると、着目サブバンド合計差分量が正であれば、γ[R][lv_cur][subband_cur]:γ[G1][lv_cur][subband_cur]:γ[G2][lv_cur][subband_cur]:γ[B][lv_cur][subband_cur]= X[R][lv_cur][subband_cur]: X[G1][lv_cur][subband_cur]:X[G2][lv_cur][subband_cur]:X[B][lv_cur][subband_cur]である。
γ[R][lv_cur][subband_cur]:γ[G1][lv_cur][subband_cur]:γ[G2][lv_cur][subband_cur]:γ[B][lv_cur][subband_cur]
なお、γ[plane][lv_cur][subband_cur]は各プレーンへ割り当てるEre[plane][lv_cur][subband_cur]の比率を表す。着目サブバンドにおける各プレーンの複雑度X[plane][lv_cur][subband_cur]の比率を用いると、着目サブバンド合計差分量が正であれば、γ[R][lv_cur][subband_cur]:γ[G1][lv_cur][subband_cur]:γ[G2][lv_cur][subband_cur]:γ[B][lv_cur][subband_cur]= X[R][lv_cur][subband_cur]: X[G1][lv_cur][subband_cur]:X[G2][lv_cur][subband_cur]:X[B][lv_cur][subband_cur]である。
また、着目サブバンド合計差分量が負であれば、γ[R][lv_cur][subband_cur]:γ[G1][lv_cur][subband_cur]:γ[G2][lv_cur][subband_cur]:γ[B][lv_cur][subband_cur]=1/X[R][lv_cur][subband_cur]:1/X[G1][lv_cur][subband_cur]:1/X[G2][lv_cur][subband_cur]: 1/X[B][lv_cur][subband_cur]である。
S904で、差分再算出部118は、量子化値算出部111へ、着目サブバンドのサブバンド再算出符号量差分値を全プレーン分通知する。S905で、差分再算出部118は、次のフレームの符号化に備え、着目サブバンド合計差分量を０へリセットする。
図９の処理により、Ｅre[plane][lv_cur][subband_cur]は、式（１４）のように算出される。なお、εは、各γ[plane][lv_cur][subband_cur]により決定する、Ｅsbtotal[lv_cur][subband_cur][i-1]が過不足なく分配されるようにＥre[plane][lv_cur][subband_cur]を正規化するパラメータ である。
Ｅsbtotal[lv_cur][subband_cur][i-1] ＝
ΣＥ[R][lv_cur][subband_cur][i-1]
＋ΣＥ[G1][lv_cur][subband_cur][i-1]
＋ΣＥ[G2][lv_cur][subband_cur][i-1]
＋ΣＥ[B][lv_cur][subband_cur][i-1] …（１３）
Ｅre[plane][lv_cur][subband_cur] ＝Ｅsbtotal[lv_cur][subband_cur][i-1]
×γ[plane][lv_cur][subband_cur] / ε …（１４）
Ｅsbtotal[lv_cur][subband_cur][i-1] ＝
ΣＥ[R][lv_cur][subband_cur][i-1]
＋ΣＥ[G1][lv_cur][subband_cur][i-1]
＋ΣＥ[G2][lv_cur][subband_cur][i-1]
＋ΣＥ[B][lv_cur][subband_cur][i-1] …（１３）
Ｅre[plane][lv_cur][subband_cur] ＝Ｅsbtotal[lv_cur][subband_cur][i-1]
×γ[plane][lv_cur][subband_cur] / ε …（１４）
以上の処理により、量子化値算出部111で利用する再算出符号量差分値は、各プレーンの複雑度の比率を用いて、複雑度が大きいプレーンにより多く分配される。
複雑度の小さいプレーンは、発生する符号量も小さく、DWTをかけた後の係数値が、量子化後に０になり易い。一般に、係数値が０になると画質が極端に悪くなるため、易しい画像とはいえ量子化しすぎると画質劣化が顕著になる。本第４の実施形態のように、複雑度に応じて再算出符号量差分値を割り当てることで、複雑度が小さいプレーンのQpは、複雑度が大きいプレーンのQpよりも初期Qpに対する変化量が小さくなる。このため、上記のような係数値が０になることによる画質劣化を抑制することが可能である。以上のように、プレーン毎の符号量差分をサブバンド毎に集約し、複雑度の比率で再配分し、再配分された符号量差分を用いて量子化制御を行うことで、画質を向上することができる。
［第５の実施形態］
以下、第５の実施形態を説明する。本第５の実施形態の装置構成は、第１の実施形態における図１と同じである。第１の実施形態と異なる点は、サブバンド毎ではなく、ＤＷＴ分解レベル毎に積算差分値を集約し、各プレーン各サブバンドに再配分する再算出符号量差分値を計算する点である。
以下、第５の実施形態を説明する。本第５の実施形態の装置構成は、第１の実施形態における図１と同じである。第１の実施形態と異なる点は、サブバンド毎ではなく、ＤＷＴ分解レベル毎に積算差分値を集約し、各プレーン各サブバンドに再配分する再算出符号量差分値を計算する点である。
＜符号量制御＞
ＤＷＴにより生成されるサブバンドは、分解レベルによって周波数帯が異なり、図３において、レベル数が小さいほど高域成分となる。このため、レベルが小さいほど、Ｑｐを大きくすることが望ましい。また、同一分解レベル内のサブバンド間の所定のＱｐの関係は1:1の関係とする。
ＤＷＴにより生成されるサブバンドは、分解レベルによって周波数帯が異なり、図３において、レベル数が小さいほど高域成分となる。このため、レベルが小さいほど、Ｑｐを大きくすることが望ましい。また、同一分解レベル内のサブバンド間の所定のＱｐの関係は1:1の関係とする。
そこで、本第５の実施形態における差分再算出部118は、各プレーンのＱｐが所定のＱｐの関係となることに加えて、各サブバンド間でもＱｐが所定の関係になるように、量子化値算出部で利用する符号量差分値を、再算出符号量差分値として再算出する。
図１０は、第５の実施形態における差分再算出部118の処理フローを示したフローチャートである。以下、同図を参照して、本第５の実施形態における差分再算出部118の処理を説明する。なお、図１０において、プレーン変換部101は、ＲＡＷ画像データから、Ｒ，Ｇ１、Ｇ２，Ｂのプレーンへ分離を利用した場合を例とする。また、後述のレベル合計差分量Ｅlvtotal[lv_cur][i-1]は、着目レベルにおける各プレーン各サブバンドの積算差分値を加算することで生成される値であり、着目フレームの符号化開始時における初期値は０である。
S1001にて、差分再算出部118は、着目ラインが量子化するサブバンド内か否かを判定し、そうであればS1002へ、そうでなければ処理を終了する。着目レベルにおいて、画質保護の観点から量子化を行わないプレーンやサブバンドが有っても良い。本第５の実施形態では、このようなサブバンドの積算差分値は集約せず、量子化を行うサブバンドのみで集約し、同じく量子化を行うサブバンドに対して再算出符号量差分値を分配する。
S1002にて、差分再算出部118は、着目ラインの積算差分値を、着目レベル合計差分量へ加算する。S1003にて、差分再算出部118は、着目レベルの内、量子化を行う全プレーン全サブバンドの同一画素位置ラインの積算差分値が、着目レベル合計差分量へ加算されているか否かを判定し、そうであればS1004へ、そうでなければ処理を終了する。
S1004で、差分再算出部118は、着目レベル合計差分量を、着目レベル内の量子化を実施するサブバンド数（着目レベルのサブバンドが全て量子化を実施する場合、プレーン数×3(=プレーンあたりのサブバンド数)）で除算し、着目サブバンド再算出符号量差分値を算出する。
S1005にて、差分再算出部118は、量子化値算出部111へ、着目サブバンドのサブバンド再算出符号量差分値を、着目レベルの全プレーン全サブバンド分通知する。そして、差分再算出部118は、次のフレームの符号化に備えて、S1006にて、着目サブバンド合計差分量を０へリセットする。
図１０の処理より、各サブバンドの再算出符号量差分値Ｅre[plane][lv_cur][subband]は、式（１６）のように算出される。なお、着目レベルで全てのサブバンドが量子化されるサブバンドであるものとする。
Ｅlvtotal[lv_cur][i-1] ＝
ΣＥ[R][lv_cur][HL][i-1]+ΣＥ[R][lv_cur][LH][i-1]+ΣＥ[R][lv_cur][HH][i-1]
＋ΣＥ[G1][lv_cur][HL][i-1]+ΣＥ[G1][lv_cur][LH][i-1]+ΣＥ[G1][lv_cur][HH][i-1]
＋ΣＥ[G2][lv_cur][HL][i-1]+ΣＥ[G2][lv_cur][LH][i-1]+ΣＥ[G2][lv_cur][HH][i-1]
＋ΣＥ[B][lv_cur][HL][i-1]+ΣＥ[B][lv_cur][LH][i-1]+ΣＥ[B][lv_cur][HH][i-1]
…（１５）
Ｅre[plane][lv_cur][subband]＝ Ｅlvtotal[lv_cur][i-1] /12 …（１６）
Ｅlvtotal[lv_cur][i-1] ＝
ΣＥ[R][lv_cur][HL][i-1]+ΣＥ[R][lv_cur][LH][i-1]+ΣＥ[R][lv_cur][HH][i-1]
＋ΣＥ[G1][lv_cur][HL][i-1]+ΣＥ[G1][lv_cur][LH][i-1]+ΣＥ[G1][lv_cur][HH][i-1]
＋ΣＥ[G2][lv_cur][HL][i-1]+ΣＥ[G2][lv_cur][LH][i-1]+ΣＥ[G2][lv_cur][HH][i-1]
＋ΣＥ[B][lv_cur][HL][i-1]+ΣＥ[B][lv_cur][LH][i-1]+ΣＥ[B][lv_cur][HH][i-1]
…（１５）
Ｅre[plane][lv_cur][subband]＝ Ｅlvtotal[lv_cur][i-1] /12 …（１６）
以上の処理により、量子化値算出部111で利用する再算出符号量差分値は、着目レベル内で全プレーン全サブバンド共通の値となる。
各サブバンド毎に集約する第１の実施形態では、サブバンド間のQpの関係を調整することができないため、例えばHLサブバンドのＱｐは大きく、ＬＨサブバンドのＱｐは小さくなることで、縦線成分がぼやけてしまうような画質劣化が発生する可能性がある。これに対し、本第５の実施形態の場合、同一レベルのサブバンド間のＱｐの関係を１：１、つまり所定のＱｐの関係にすることができるので、上記のような劣化を回避することが可能となる。
以上のように、各分解レベルで全プレーン全サブバンドの符号量差分を集約し、レベル内のサブバンドに等分配する。これによりプレーン間だけでなく、同一レベルのサブバンド間も所定のＱｐの関係にすることができ、再配分された符号量差分を用いて量子化制御を行うことで、画質を向上することができる。
［第６の実施形態］
以下、第６の実施形態を説明する。本第６の実施形態の装置構成は、第１の実施形態の図１と同じである。第１の実施形態と異なる点は、サブバンド毎ではなく、量子化するサブバンド全ての積算差分値を集約し、各プレーン各サブバンドに再配分する再算出符号量を計算する点である。
以下、第６の実施形態を説明する。本第６の実施形態の装置構成は、第１の実施形態の図１と同じである。第１の実施形態と異なる点は、サブバンド毎ではなく、量子化するサブバンド全ての積算差分値を集約し、各プレーン各サブバンドに再配分する再算出符号量を計算する点である。
＜符号量制御＞
サブバンド間のＱｐの関係は、人間の視覚特性上鈍感であるとされる空間周波数の高いサブバンドの係数データに対してＱｐを大きくすることが有効とされている。そのため、サブバンド間のＱｐの関係は、同一分解レベル内のサブバンドＨＬ，ＬＨ，ＨＨのうち、サブバンドＨＬのＱｐ＝サブバンドＬＨのＱｐであり、サブバンドＨＨは更に高域である。この観点から、同一分解レベルのサブバンドＨＬ及びサブバンドＬＨのＱｐよりもサブバンドＨＨのそれは大きいことが望ましい。また、前述の通り、分解レベル間では、低レベルほどＱｐが大きいことが望ましい。更に、Lv3のサブバンドは、より低域周波数成分を意味しており、画質の観点から、どのような画像であったりどのような画像目標符号量であったとしても、量子化しないようにする。
サブバンド間のＱｐの関係は、人間の視覚特性上鈍感であるとされる空間周波数の高いサブバンドの係数データに対してＱｐを大きくすることが有効とされている。そのため、サブバンド間のＱｐの関係は、同一分解レベル内のサブバンドＨＬ，ＬＨ，ＨＨのうち、サブバンドＨＬのＱｐ＝サブバンドＬＨのＱｐであり、サブバンドＨＨは更に高域である。この観点から、同一分解レベルのサブバンドＨＬ及びサブバンドＬＨのＱｐよりもサブバンドＨＨのそれは大きいことが望ましい。また、前述の通り、分解レベル間では、低レベルほどＱｐが大きいことが望ましい。更に、Lv3のサブバンドは、より低域周波数成分を意味しており、画質の観点から、どのような画像であったりどのような画像目標符号量であったとしても、量子化しないようにする。
以上のようにサブバンド間のＱｐの比率を考慮して圧縮符号化を行うことで、低域周波数帯と高域周波数帯のＱｐを同じにして符号量制御を行う場合に比べて高画質を実現することができる。
そこで、本第６の実施形態における差分再算出部118は、各プレーンのＱｐが所定のＱｐの関係となることに加えて、各レベル内だけでなく、量子化を実施する全てのサブバンド間でＱｐが所定のＱｐの関係になるように、量子化値算出部111で利用する再算出符号量差分値を算出する。
図１１は、離散ウェーブレット変換（ＤＷＴ）の垂直、水平フィルタリングを、それぞれ３回実行した場合の各サブバンドの離散ウェーブレット変換前の画像に対する同一画素位置の関係を示した図である。
ＤＷＴでは変換前の画像の２画素ラインに対して１画素ライン分の変換係数が生成される。また、ＤＷＴ変換はＬＬサブバンドに対して再帰的に行われるため、分解レベル２は分解レベル１の２画素ラインに対して１画素ライン分の変換係数が生成される。以降分解レベルを増やしても同様の関係である。
上記の関係から、最高域であるLv1のＭ／２ラインに対して、Lv2のＭ／４ライン、Lv3のＭ／８ラインが同一画素位置に相当する。ＤＷＴの分解数が３の場合、図１１のように、同一画素位置と見なせる最小ライン数の関係は、Lv1の４ラインに対して、Lv2の２ライン、Lv3の１ラインである。ただし、Ｍは整数である。
本第５の実施形態では、同一画素位置のＱｐの関係を所定のＱｐの関係にする観点から、Lv1の４ライン、Lv2の２ライン、Lv3の１ライン毎に量子化処理を実施する。以降、同一画素位置ラインIは、Lv1でI=４ｉ、Lv2でI=２ｉ、Lv3でI=iを指す。
図１２は、本第６の実施形態における、差分再算出部118の処理フローを示したフローチャートである。以下、同図を参照して、本第６の実施形態における差分再算出部118の処理を説明する。なお、本第６の実施形態でも、プレーン変換部101はＲＡＷ画像データから、Ｒ，Ｇ１，Ｇ２，Ｂのプレーンに分離するものとする。また、後述のピクチャ合計差分量Ｅpictotal[I-1]は、各サブバンドの積算差分値ΣE[plane][lv][subband][I-1]を加算することで生成される値であり、着目画像（着目フレーム）の符号化開始時における初期値は0である。
S1201にて、差分再算出部118は、着目ラインが量子化するサブバンド内にあるか否かを判定し、そうであればS1202へ、そうでなければ処理を終了する。
S1202にて、差分再算出部は、着目ラインの積算差分値を、着目ピクチャ合計差分量へ加算する。S1203にて、差分再算出部118は、量子化を行う全プレーン全サブバンドの同一画素位置ラインの積算差分値が、ピクチャ合計差分量へ加算されているか否かを判定し、そうであればS1204へ、そうでなければ処理を終了する。
S1204にて、差分再算出部118は、ピクチャ合計差分量を、量子化を実施するサブバンドそれぞれにα[plane][lv][subband]の比率で分配し、着目サブバンド再算出符号量差分値を生成する。本第６の実施形態では、α[plane][lv][subband]の関係は、プレーン間において、α[R][lv][subband]= α[G1][lv][subband]= α[G2][lv][subband]= α[B][lv][subband]である。
また、レベル間において、着目サブバンド合計差分量が正であれば、
α[plane][lv+1][subband]＜ α[plane][lv][subband]であり、
負であれば、
α[plane][lv+1][subband]＞ α[plane][lv][subband]である。
α[plane][lv+1][subband]＜ α[plane][lv][subband]であり、
負であれば、
α[plane][lv+1][subband]＞ α[plane][lv][subband]である。
また、サブバンド間において、着目サブバンド合計差分量が正であれば、
α[plane][lv][HL]= α[plane][lv][LH] ＜α[plane][lv][HH]であり、
負であれば、
α[plane][lv][HL]= α[plane][lv][LH] ＞α[plane][lv][HH]である。
α[plane][lv][HL]= α[plane][lv][LH] ＜α[plane][lv][HH]であり、
負であれば、
α[plane][lv][HL]= α[plane][lv][LH] ＞α[plane][lv][HH]である。
S1205にて、差分再算出部118は、量子化値算出部111へ、着目サブバンドのサブバンド再算出符号量差分値を、全サブバンドに対して通知する。そして、S1206にて、差分再算出部118は、次のフレームの符号化に備えて、着目サブバンド合計差分量を０へリセットする。
図１２の処理により、各サブバンドの再算出符号量差分値Ｅre[plane][lv][subband]は、式（１８）のように算出される。なお、量子化されないサブバンドは式（１７）の積算には含めない。また、ηは、各α[plane][lv][subband]により決定する、Ｅpictotal[I-1]が過不足なく分配されるようにＥre[plane][lv][subband]を正規化するパラメータ である。
以上の処理により、量子化値算出部111で利用する再算出符号量差分値は、量子化を実施する全プレーン全サブバンド間で、予め定めた所定のQpの比率で分配される。
本第６の実施形態を適応することで、プレーン間はもちろんのこと、同一レベルだけでなく、全サブバンド間で任意のQpの関係で量子化制御をすることができる。以上のようにすることで、量子化を実施する全プレーン全サブバンドの符号量差分を集約し、Qpの関係を、全サブバンド間で所定のQpの関係にすることができ、再配分された符号量差分を用いて量子化制御を行うことで、画質を向上することができる。
なお、プレーン数に制限は無く、例えば入力画像を１プレーンとして、１プレーンに対してDWTをかけることも本第６の実施形態の範疇である。
また、所定のＱｐの関係で示したLv3を量子化しないという考えも、同様にその限りではなく、例えば、ＤＷＴ分解レベル３で、サブバンドＬＬのみ量子化しない場合等も本実施形態の範疇である。更に、全プレーン全サブバンドの符号量差分を集約し、第４の実施形態で説明した複雑度の比率を用いて、各サブバンドへ符号量差分を再配分することも、本実施形態の範疇である。
以上、各実施形態について詳述したが、本発明は特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施形態の構成要素を全部又は複数を組み合わせることも可能である。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００…撮像部、１０１…プレーン変換部、１０２…離散ウェーブレット変換部、１０３…量子化部、１０４…符号化部、１０５…量子化制御部、１０６…発生符号量保持部、１０７…矩形ブロック複雑度算出部、１０８…矩形ブロック目標符号量算出部、１０９…差分算出部、１１０…差分保持部、１１１…量子化値算出部、１１２…量子化パラメータ保持部、１１３…制御感度設定部、１１４…サブバンド量子化設定部、１１５…サブバンド目標符号量設定部、１１６…サブバンド複雑度設定部、１１７…符号量制御部、１１８…差分再算出部、１１９…出力部、１２０…記憶媒体
Claims (9)
- 撮像手段で撮像した動画像データを符号化する画像符号化装置であって、
前記動画像データの１フレームの画像データから、それぞれが単一成分で構成される複数のプレーンデータを生成するプレーン変換手段と、
生成した各プレーンデータに対して周波数変換し、各プレーン毎に、複数のサブバンドの係数データを生成する周波数変換手段と、
設定された量子化パラメータを用いて、各プレーンの着目サブバンド内の所定の領域の係数データを量子化する量子化手段と、
各プレーンの、量子化後の係数データを符号化し、符号化データを生成する符号化手段と、
前記符号化手段で生成される各プレーンにおける前記所定の領域の符号化データの符号量に基づき、前記着目サブバンドにおける後続して符号化される所定の領域で用いられる量子化パラメータを更新する制御手段とを有し、
前記制御手段は、
各プレーン毎に設定された目標符号量と、各プレーン毎の前記所定の領域の符号化データ量との差分の合算を累積し、当該累積した差分に基づいて前記量子化パラメータを更新する
ことを特徴とする画像符号化装置。 - 前記プレーン変換手段は、ＲＡＷ画像データから、ベイヤ配列のＲ，Ｇ１，Ｇ２，Ｂの各プレーンデータを生成し、
前記制御手段は、前記差分の合算を４で除算した値に基づき、各プレーンに共通な量子化パラメータを更新する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記プレーン変換手段は、ＲＡＷ画像データから、輝度プレーンと、複数の色差プレーンを生成し、
前記制御手段は、
前記差分の合算を予め設定した比率で各プレーンに分配することで、各プレーン毎の分配比率を決定し、
各プレーン毎に、決定した分配比率に基づいて量子化パラメータを更新する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記プレーン変換手段は、ＲＡＷ画像データから、輝度プレーンと、複数の色差プレーンを生成し、
前記制御手段は、
輝度プレーンを除く、前記複数の色差プレーンに、前記差分の合算を予め設定した比率で各プレーンに分配することで、前記複数の色差プレーンそれぞれの分配比率を決定し、
各色差プレーンに、決定した分配比率に基づいて量子化パラメータを更新する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記周波数変換手段は、離散ウェーブレット変換を行う手段であって、
前記制御手段は、前記周波数変換手段で得られたサブバンドの分解レベルに応じて前記量子化パラメータを更新する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。 - 前記量子化パラメータは、分解レベルが低いほど、大きくすることを特徴とする請求項５に記載の画像符号化装置。
- 前記量子化パラメータは、同一分解レベル内のサブバンドＨＬ，ＬＨ，ＨＨのうち、サブバンドＨＨの量子化パラメータを、サブバンドＨＬとＬＨの量子化パラメータより大きいことを特徴とする請求項６に記載の画像符号化装置。
- 撮像手段で撮像した動画像データを符号化する画像符号化装置の制御方法であって、
プレーン変換手段が、前記動画像データの１フレームの画像データから、それぞれが単一成分で構成される複数のプレーンデータを生成するプレーン変換工程と、
周波数変換手段が、生成した各プレーンデータに対して周波数変換し、各プレーン毎に、複数のサブバンドの係数データを生成する周波数変換工程と、
量子化手段が、設定された量子化パラメータを用いて、各プレーンの着目サブバンド内の所定の領域の係数データを量子化する量子化工程と、
符号化手段が、各プレーンの、量子化後の係数データを符号化し、符号化データを生成する符号化工程と、
制御手段が、前記符号化工程で生成される各プレーンにおける前記所定の領域の符号化データの符号量に基づき、前記着目サブバンドにおける後続して符号化される所定の領域で用いられる量子化パラメータを更新する制御工程とを有し、
前記制御工程では、
各プレーン毎に設定された目標符号量と、各プレーン毎の前記所定の領域の符号化データ量との差分の合算を累積し、当該累積した差分に基づいて前記量子化パラメータを更新する
ことを特徴とする画像符号化装置の制御方法。 - コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至７のいずれか１項に記載の画像符号化装置として機能させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016110223A JP6857970B2 (ja) | 2016-06-01 | 2016-06-01 | 画像符号化装置及びその制御方法 |
| US15/603,646 US10897615B2 (en) | 2016-06-01 | 2017-05-24 | Image encoding apparatus and control method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016110223A JP6857970B2 (ja) | 2016-06-01 | 2016-06-01 | 画像符号化装置及びその制御方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017216630A true JP2017216630A (ja) | 2017-12-07 |
| JP2017216630A5 JP2017216630A5 (ja) | 2019-06-27 |
| JP6857970B2 JP6857970B2 (ja) | 2021-04-14 |
Family
ID=60483972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016110223A Active JP6857970B2 (ja) | 2016-06-01 | 2016-06-01 | 画像符号化装置及びその制御方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10897615B2 (ja) |
| JP (1) | JP6857970B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7465073B2 (ja) | 2019-10-28 | 2024-04-10 | キヤノン株式会社 | 画像符号化装置及びその制御方法及びプログラム |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7016660B2 (ja) * | 2017-10-05 | 2022-02-07 | キヤノン株式会社 | 符号化装置、その制御方法、および制御プログラム、並びに撮像装置 |
| DE102018110383A1 (de) * | 2018-04-30 | 2019-10-31 | Basler Ag | Verfahren und Vorrichtung zum Kodieren von Bilddaten |
| CN111698505B (zh) * | 2020-06-23 | 2022-03-25 | 湖南国科微电子股份有限公司 | 视频帧编码方法、装置、编码设备及可读存储介质 |
| GB2614381A (en) * | 2021-11-04 | 2023-07-05 | Canon Kk | Image encoding apparatus and method for controlling the same and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6351491B1 (en) * | 1999-06-23 | 2002-02-26 | Sarnoff Corporation | Apparatus and method for optimizing the rate control for multiscale entropy encoding |
| US6438167B1 (en) * | 1993-03-29 | 2002-08-20 | Canon Kabushiki Kaisha | Code amount control device and encoding apparatus using the same |
| WO2007066710A1 (ja) * | 2005-12-07 | 2007-06-14 | Sony Corporation | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
| JP2010252083A (ja) * | 2009-04-16 | 2010-11-04 | Sony Corp | 画像符号化装置と画像符号化方法 |
| WO2012101708A1 (ja) * | 2011-01-28 | 2012-08-02 | 日本電気株式会社 | ２次元信号符号化装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004328406A (ja) | 2003-04-24 | 2004-11-18 | Matsushita Electric Ind Co Ltd | 符号量制御方法及び符号化装置 |
-
2016
- 2016-06-01 JP JP2016110223A patent/JP6857970B2/ja active Active
-
2017
- 2017-05-24 US US15/603,646 patent/US10897615B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6438167B1 (en) * | 1993-03-29 | 2002-08-20 | Canon Kabushiki Kaisha | Code amount control device and encoding apparatus using the same |
| US6351491B1 (en) * | 1999-06-23 | 2002-02-26 | Sarnoff Corporation | Apparatus and method for optimizing the rate control for multiscale entropy encoding |
| WO2007066710A1 (ja) * | 2005-12-07 | 2007-06-14 | Sony Corporation | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
| JP2010252083A (ja) * | 2009-04-16 | 2010-11-04 | Sony Corp | 画像符号化装置と画像符号化方法 |
| WO2012101708A1 (ja) * | 2011-01-28 | 2012-08-02 | 日本電気株式会社 | ２次元信号符号化装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7465073B2 (ja) | 2019-10-28 | 2024-04-10 | キヤノン株式会社 | 画像符号化装置及びその制御方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170353724A1 (en) | 2017-12-07 |
| US10897615B2 (en) | 2021-01-19 |
| JP6857970B2 (ja) | 2021-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10638162B2 (en) | Coding method and decoding processing method | |
| CN112913237A (zh) | 使用深度神经网络的人工智能编码和人工智能解码方法和设备 | |
| JP6857970B2 (ja) | 画像符号化装置及びその制御方法 | |
| US10602145B2 (en) | Image encoding apparatus and control method thereof | |
| US11012698B2 (en) | Image encoding apparatus and method for controlling the same | |
| CN112840650B (zh) | 人工智能（ai）编码装置及其操作方法和ai解码装置及其操作方法 | |
| US10776956B2 (en) | Image coding apparatus, image decoding apparatus, image coding method, image decoding method, and non-transitory computer-readable storage medium | |
| US11140392B2 (en) | Image encoding apparatus, image decoding apparatus, control methods thereof, and non- transitory computer-readable storage medium | |
| CN114631315A (zh) | 图像编码方法和设备以及图像解码方法和设备 | |
| JP7001383B2 (ja) | 符号化装置、符号化方法、及び、プログラム | |
| JP6806466B2 (ja) | 画像符号化装置及びその制御方法 | |
| US20230133895A1 (en) | Image encoding apparatus and method for controlling the same and non-transitory computer-readable storage medium | |
| US20170155902A1 (en) | Image encoding apparatus and method of controlling the same | |
| JP6966936B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| JP6465570B2 (ja) | 撮像装置、撮像装置の制御方法 | |
| JP6916618B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| JP2019068385A (ja) | 符号化装置、その制御方法、および制御プログラム、並びに撮像装置 | |
| US11785352B2 (en) | Image encoding apparatus, method for controlling the same, and non-transitory computer-readable storage medium | |
| JP7465073B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| JP2018033044A (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| JP2022043080A (ja) | 画像符号化装置、画像符号化方法、プログラム | |
| JP2017098898A (ja) | 画像符号化装置及びその制御方法及びプログラム並びに記憶媒体 | |
| JP2023070055A (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| JP2021069059A (ja) | 画像処理装置および画像処理方法 | |
| JP2016143898A (ja) | 符号化装置、符号化装置の制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190524 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201215 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210323 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6857970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |