JP2019004304A - 画像符号化装置、画像符号化方法、及び画像符号化プログラム - Google Patents

Abstract

【課題】映像を構成する広色域と高いダイナミックレンジを有する画像の符号化を行う際に、演算量の増加を抑えつつ、色成分の符号化劣化を低減すること。
【解決手段】符号化対象画像データをブロックに分割し、ブロックごとの画素値に基づいて、ブロックごとの視覚的劣化度であるブロック視覚的劣化度を取得し、ブロック視覚的劣化度に基づいて、符号化対象画像データの視覚的劣化度である符号化対象画像視覚的劣化度を取得し、ブロック視覚的劣化度と、当該ブロック視覚的劣化度に対応するブロックを含む符号化対象画像データの符号化対象画像視覚的劣化度との大小関係を判定し、判定結果に基づいて、符号化対象画像データの符号化に用いられる符号化パラメータの値を調整し、調整後の符号化パラメータの値に基づいて符号化対象画像データを符号化する。
【選択図】図２

Description

本発明は、画像符号化装置、画像符号化方法、及び画像符号化プログラムに関する。

映像符号化技術は、国際標準動画像符号化方式であるＭＰＥＧ(Moving Picture Expert Group)−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ(Advanced Video Coding)が広く用いられている。今後、次世代の映像符号化国際標準であるＨＥＶＣ(High Efficiency Video Coding)／Ｈ．２６５が広く普及していくと見込まれている。

また、近年、ＨＤ(High Definition)という１９２０画素×１０８０ラインの映像の４倍の３８４０画素×２１６０ラインの解像度を有する４Ｋ映像や、さらにその４倍の解像度である７６８０画素×４３２０ラインの解像度を有する８Ｋ映像などの超高精細映像が扱われるようになっている。さらに、また、カメラやディスプレイにおけるダイナミックレンジ表現能力が向上していることにあわせて、色再現領域とダイナミックレンジが拡大された高ダイナミックレンジ（以下「ＨＤＲ」(High Dynamic Range)という。）映像も扱われるようになってきている。

このような広い色域と高いダイナミックレンジを有するＨＤＲ映像の符号化を行う際には、色成分情報を正しく表現するように符号化処理を行わないと、従来のＳＤＲ(Standard Dynamic Range)映像信号に対する符号化と比較して、色相の符号化歪みがディスプレイ上で目立ちやすくなるという問題がある。

例えば、ＨＥＶＣ／Ｈ．２６５をはじめとする映像符号化規格では、符号化対象の符号化ブロック周辺の符号化済みブロック情報を用いながら符号化を行うため逐次処理が行われる。これらの映像符号化規格の手法をＨＤＲ映像に対して適用する場合、ＨＤＲ映像では、画像領域によって色情報やダイナミックレンジ情報の特徴が異なるため、この特徴の違いにより符号化における逐次処理の際に色相の局所的劣化が発生しやすい。この色相の局所的劣化により、上記のようなディスプレイ上で目立ちやすい色相の符号化歪みが生じることになる。

このような色相の局所的劣化を軽減するために、アクティビティと称される局所的な画像の複雑度に応じて量子化パラメータを調整し、主観品質の向上を図るＭＰＥＧ−２ ＴＭ５(Test Model 5)として知られる手法がある。

また、これまで、ＨＤＲの分野における技術開発は、ＪＰＥＧ(Joint Photographic Experts Group) ＸＴなどの静止画像において多数行われているが、動画に関する技術開発はまだそれほど多く行われていない。特に、符号化の枠組みが違うのもあって、静止画の技術をそのまま動画に適用することは通常は行われない。また、ＪＰＥＧ ＸＴで行われている技術開発についても、従来のＳＤＲのＪＰＥＧ画像との互換性を保ちながら、ＨＤＲ化した場合のデータ量の増加に備えるスケーラブル化に関することが主である。

そのような中、ＨＤＲの分野の標準化における議論において、上記のような色相の符号化歪みへの対策として、（１）符号化前の前処理、及び（２）符号化制御の２手法によるアプローチが提案されている。（１）符号化前の前処理の手法は、復号後、ディスプレイに表示される際に、再構成されるＲＧＢ信号において歪みが低減されるように、前処理において、輝度信号値を補正する手法である。これに対して、（２）符号化制御の手法は、映像信号の輝度信号や色差信号に対する量子化パラメータを補正する手法である（例えば、非特許文献１参照）。

ここで、「色差」の用語について定義する。本明細書では、２通りの意味で、「色差」の用語を用いている。例えば、映像符号化装置の映像符号化部への入力映像方式であるＹＣｂＣｒ信号のうち、Ｙ成分を輝度信号、Ｃｂ成分及びＣｒ成分を色差信号という。この色差信号における「色差」とは、２つの色信号Ｃｂ，Ｃｒと、輝度信号Ｙの差分を示している。Ｙ成分と、Ｃｂ成分と、Ｃｒ成分とに分解することで、人間の目が明るさに比べて色に対する分解能が低いという特性を利用して、色成分の情報を削減することが可能となる。以下、映像信号に関する文脈において用いる「色差」の用語は、上記のＣｂＣｒの色差信号における「色差」の意味である。

これに対して、知覚均等色空間であるＬａｂ色空間、またはＬ＊ａ＊ｂ＊色空間上での２つの色の違いを表す尺度についても「色差」という用語を用いている。この「色差」の用語は、ある基準色に対する対象色との色の視覚的な違いを数値化したものであり、一般に、色差ΔＥとして表される。以下、色の違い、劣化の尺度や劣化の度合いの文脈において用いる「色差」の用語は、色差ΔＥにおける「色差」の意味である。

Jonatan Samuelsson, Alexis Tourapis, Jacob Strom, and Chad Fogg, "Suggestion for new draft version of Conversion and Coding Practices for HDR/WCG Video", JCTVC-X0079, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 24th Meeting: Geneva CH, 26 May-1 June 2016.

しかしながら、上記のＭＰＥＧ−２ ＴＭ−５の手法を適用する場合、ＨＤＲ映像においては、従来のＳＤＲ映像の信号に比べて、映像信号と明るさのレベルの割り付け方が大きく異なっている。そのため、アクティビティを算出する際の絵柄の画素値によって、同じアクティビティ値に基づいて、量子化パラメータを調整しても、実際にディスプレイに表示される際、量子化誤差による符号化歪みがより強調されてしまうことがある。したがって、この手法を用いる場合、絵柄の特徴まで考慮した符号化制御や、更なる量子化誤差の低減が求められることになり、容易にＨＤＲ映像に適用できるようにはなっていないという問題がある。

また、上記のＨＤＲの分野の標準化の議論における（１）符号化前の前処理の手法は、輝度信号値を補正するに留まり、色相の符号化歪みを積極的に改善する手法ではない。

また、（２）符号化制御の手法に関しては、例えば、非特許文献１では、以下のようなことが示されている。すなわち、「色差ＱＰ(Quantization Parameter)オフセットというパラメータにより、低いＱＰでは小さくマイナスの補正を行い、高いＱＰでは大きくマイナスの補正を行って調整を行う。」ということ、また、「平均輝度が高いブロックでは、低いブロックよりも低いＱＰ値とする明暗での符号量配分の調整を行う。」ということである。しかしながら、非特許文献１に示される調整手法は、量子化幅や色差信号における色差の分布範囲を考慮した適切な量子化が必要ということが示されているだけであり、具体的な調整手法が示されているわけではない。

また、映像符号化の処理は、上記の逐次処理に加えて、リアルタイム、またはリアルタイムに近い時間、またはリアルタイムよりも早い時間で処理が行われなければならない。ＨＤＲ映像では、ＨＤＲ化によってＳＤＲと比べて広い色域・広いダイナミックレンジを扱っていることによる映像情報量の増大により、更に、膨大な演算量と高速性が求められ、ソフトウェア処理の場合には高速なＣＰＵ(Central Processing Unit)が、ハードウェア処理の場合には規模の大きな演算器が要求される。そのため、ＨＤＲ映像における符号化処理では、演算量の軽減を図ることも、解決が望まれている問題である。

上記事情に鑑み、本発明は、映像を構成する広色域と高いダイナミックレンジを有する画像の符号化を行う際に、演算量の増加を抑えつつ、色成分の符号化劣化を低減することができる技術の提供を目的としている。

本発明の一態様は、映像を構成する複数のフレームであって高ダイナミックレンジで広色域な画像を含むフレームの各々を符号化対象画像データとし、符号化対象画像の主観品質を平準化するように前記符号化対象画像データを符号化する画像符号化装置であって、前記符号化対象画像データをブロックに分割するブロック分割部と、前記ブロックごとの画素値に基づいて、前記ブロックごとの視覚的劣化度であるブロック視覚的劣化度を取得するブロック劣化度取得部と、前記ブロック視覚的劣化度に基づいて、前記符号化対象画像データの視覚的劣化度である符号化対象画像視覚的劣化度を取得する符号化対象画像劣化度取得部と、前記ブロック視覚的劣化度と、当該ブロック視覚的劣化度に対応する前記ブロックを含む前記符号化対象画像データの前記符号化対象画像視覚的劣化度との大小関係を判定する判定部と、前記判定部の判定結果に基づいて、前記符号化対象画像データの符号化に用いられる符号化パラメータの値を調整する調整部と、調整後の符号化パラメータの値に基づいて前記符号化対象画像データを符号化する符号化部と、を備える画像符号化装置である。

本発明の一態様は、上記の画像符号化装置であって、前記調整部は、判定された大小関係に基づき、前記ブロック視覚的劣化度を前記符号化対象画像視覚的劣化度に近づけるように前記符号化パラメータの値を調整する。

本発明の一態様は、上記の画像符号化装置であって、前記ブロック劣化度取得部は、前記ブロックごとの画素値を変換して得られる変換値であって前記画素値のばらつきが低彩度において強調される変換値を用いて、前記ブロックごとの視覚的劣化度であるブロック視覚的劣化度を取得する。

本発明の一態様は、上記の画像符号化装置であって、前記符号化パラメータは、量子化パラメータであり、前記調整部は、前記符号化対象画像データにおける前記ブロックの視覚的劣化を目立たなくさせる場合、前記ブロックに適用する前記量子化パラメータの値を減少させ、前記符号化対象画像データにおける前記ブロックの視覚的劣化が目立たせる場合、前記ブロックに適用する前記量子化パラメータの値を増加させる。

本発明の一態様は、上記の画像符号化装置であって、前記符号化対象画像データに予め定められている初期値としての量子化パラメータの値と、前記ブロックに含まれる前記画素値の輝度成分を平均して得られる平均輝度値とに関連付けられて量子化パラメータ調整オフセットを予め記憶する記憶部を備え、前記調整部は、前記符号化対象画像データの前記初期値としての量子化パラメータの値と、前記ブロックの前記平均輝度値とに対応する前記量子化パラメータ調整オフセットを前記記憶部から読み出し、読み出した前記量子化パラメータ調整オフセットにより当該ブロックに適用する前記量子化パラメータを増減させる。

本発明の一態様は、上記の画像符号化装置であって、前記符号化パラメータは、量子化パラメータであり、前記調整部は、前記判定結果と、前記符号化対象画像視覚的劣化度の値の大きさに対する、前記ブロック視覚的劣化度と前記符号化対象画像視覚的劣化度との差の値の大きさの割合とに応じて、前記符号化対象画像データの目標符号量を増減させ、前記符号化対象画像データの目標符号量にしたがって量子化パラメータを求める。

本発明の一態様は、映像を構成する複数のフレームであって高ダイナミックレンジで広色域な画像を含むフレームの各々を符号化対象画像データとし、符号化対象画像の主観品質を平準化するように前記符号化対象画像データを符号化する画像符号化方法であって、前記符号化対象画像データをブロックに分割するブロック分割ステップと、前記ブロックごとの画素値に基づいて、前記ブロックごとの視覚的劣化度であるブロック視覚的劣化度を取得するブロック劣化度取得ステップと、前記ブロック視覚的劣化度に基づいて、前記符号化対象画像データの視覚的劣化度である符号化対象画像視覚的劣化度を取得する符号化対象画像劣化度取得ステップと、前記ブロック視覚的劣化度と、当該ブロック視覚的劣化度に対応する前記ブロックを含む前記符号化対象画像データの前記符号化対象画像視覚的劣化度との大小関係を判定する判定ステップと、判定結果に基づいて、前記符号化対象画像データの符号化に用いられる符号化パラメータの値を調整する調整ステップと、調整後の符号化パラメータの値に基づいて前記符号化対象画像データを符号化する符号化ステップと、を有する画像符号化方法である。

本発明の一態様は、映像を構成する複数のフレームであって高ダイナミックレンジで広色域な画像を含むフレームの各々を符号化対象画像データとし、符号化対象画像の主観品質を平準化するように前記符号化対象画像データを符号化するコンピュータに、前記符号化対象画像データをブロックに分割するブロック分割ステップと、前記ブロックごとの画素値に基づいて、前記ブロックごとの視覚的劣化度であるブロック視覚的劣化度を取得するブロック劣化度取得ステップと、前記ブロック視覚的劣化度に基づいて、前記符号化対象画像データの視覚的劣化度である符号化対象画像視覚的劣化度を取得する符号化対象画像劣化度取得ステップと、前記ブロック視覚的劣化度と、当該ブロック視覚的劣化度に対応する前記ブロックを含む前記符号化対象画像データの前記符号化対象画像視覚的劣化度との大小関係を判定する判定ステップと、判定結果に基づいて、前記符号化対象画像データの符号化に用いられる符号化パラメータの値を調整する調整ステップと、調整後の符号化パラメータの値に基づいて前記符号化対象画像データを符号化する符号化ステップとを実行させるための画像符号化プログラムである。

本発明により、映像を構成する広色域と高いダイナミックレンジを有する画像の符号化を行う際に、演算量の増加を抑えつつ、色成分の符号化劣化を低減することが可能となる。

本発明の第１の実施形態における画像符号化装置の構成を示すブロック図である。 第１の実施形態の事前解析部と符号量制御部の構成を示すブロック図である。 第１の実施形態のΔＱＰテーブルの構成を示す図である。 第１の実施形態の事前解析部による処理の流れを示すフローチャートである。 第１の実施形態の符号量制御部による処理の流れを示すフローチャートである。 第１の実施形態における量子化パラメータの調整の一例を示す図（その１）である。 第１の実施形態における量子化パラメータの調整の一例を示す図（その２）である。 第１の実施形態における量子化パラメータの調整の一例を示す図（その３）である。 第１の実施形態の他の構成例によるΔＱＰテーブル（その１）の構成を示す図である。 第１の実施形態の他の構成例によるΔＱＰテーブル（その２）の構成を示す図である。 第１の実施形態の他の構成例による符号量制御部による処理の流れを示すフローチャート（その１）である。 第１の実施形態の他の構成例による符号量制御部による処理の流れを示すフローチャート（その２）である。 本発明の第２の実施形態における画像符号化装置の構成を示すブロック図である。 第２の実施形態の事前解析部と符号量制御部の構成を示すブロック図である。 第２の実施形態の符号量制御部による処理の流れを示すフローチャートである。

（第１の実施形態）
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の第１の実施形態における画像符号化装置１の構成を示すブロック図である。画像符号化装置１は、事前解析部１０１、符号量制御部１０２、画像分割部１０３、予測残差信号生成部１０４、変換・量子化処理部１０５、逆量子化・逆変換処理部１０６、復号画像信号生成部１０７、イントラ予測処理部１０８、ループフィルタ処理部１０９、インター予測処理部１１０、スイッチ部１１１、及びエントロピー符号化部１１２を備える。

画像符号化装置１において、画像分割部１０３、予測残差信号生成部１０４、変換・量子化処理部１０５、逆量子化・逆変換処理部１０６、復号画像信号生成部１０７、イントラ予測処理部１０８、ループフィルタ処理部１０９、インター予測処理部１１０、スイッチ部１１１、及びエントロピー符号化部１１２の機能部は、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣ等の画像符号化装置を構成する機能部である。

また、以下の説明おいて、「符号化ブロック」または「符号化対象ブロック」とは、ＭＰＥＧ−２やＨ．２６４／ＡＶＣでは、マクロブロックに相当し、Ｈ．２６５／ＨＥＶＣでは、符号化ツリーユニット（ＣＴＵ(Coding Tree Unit)に相当する。

画像符号化装置１において、入力映像信号は、例えば、ＨＤＲ映像信号であり、入力映像信号を構成する複数のフレームの各々は、高ダイナミックレンジで広色域な画像データである。なお、以下の説明においてフレームのことをピクチャともいう。

事前解析部１０１は、フレームの１枚ずつを符号化対象画像データとして取り込み、各々の符号化対象画像データをブロックに分割し、分割したブロックごとの画素値に基づいて、ブロックごとの視覚的劣化度（以下「ブロック視覚的劣化度」という。）を算出する。また、事前解析部１０１は、算出したブロック視覚的劣化度に基づいて、符号化対象画像データの視覚的劣化度（以下「符号化対象画像視覚的劣化度」という。）を算出する。

符号量制御部１０２は、事前解析部１０１が算出したブロック視覚的劣化度と、符号化対象画像視覚的劣化度とに基づいて、画像分割部１０３が出力する符号化対象ブロックの各々に対して変換・量子化処理部１０５が適用する量子化パラメータを算出し、算出した量子化パラメータを変換・量子化処理部１０５に出力する。

画像分割部１０３は、事前解析部１０１が出力する符号化対象画像データと分割情報とを取り込み、取り込んだ分割情報に基づいて、符号化対象画像データを単位矩形の符号化ブロックに分割する。また、画像分割部１０３は、分割した符号化ブロックの各々を符号化対象ブロックとして出力する。予測残差信号生成部１０４は、画像分割部１０３が出力する符号化対象ブロックと、イントラ予測処理部１０８またはインター予測処理部１１０が出力する予測信号との差分である予測残差信号を算出して出力する。

変換・量子化処理部１０５は、予測残差信号に対して離散コサイン変換等の直交変換を行い、直交変換により得られた変換係数を、符号量制御部１０２から与えられる量子化パラメータに基づいて量子化し、量子化した変換係数を出力する。エントロピー符号化部１１２は、量子化された変換係数をエントロピー符号化して符号化ストリームとして出力する。

逆量子化・逆変換処理部１０６は、変換・量子化処理部１０５が量子化した変換係数を取り込み、逆量子化と逆直交変換を行って予測残差信号を出力する。復号画像信号生成部１０７は、逆量子化・逆変換処理部１０６が出力する予測残差信号と、イントラ予測処理部１０８またはインター予測処理部１１０が出力する予測信号とを加算して符号化対象ブロックの復号画像信号を生成する。

イントラ予測処理部１０８は、復号画像信号に基づいてフレーム内の予測信号を生成して出力する。ループフィルタ処理部１０９は、復号画像信号に対して符号化歪みを低減させるフィルタリング処理を行い、フィルタリング処理後の復号画像信号をインター予測処理部１１０に出力する。インター予測処理部１１０は、ループフィルタ処理部１０９が出力するフィルタリング後の復号画像信号を参照画像データとし、画像分割部１０３が出力する符号化対象ブロックのフレーム間の予測信号を生成して出力する。スイッチ部１１１は、イントラ予測処理部１０８が出力する予測信号と、インター予測処理部１１０が出力する予測信号とを切り替えて出力する。

図２は、事前解析部１０１と符号量制御部１０２の内部構成、及び事前解析部１０１と符号量制御部１０２の接続関係を示すブロック図である。事前解析部１０１は、ブロック分割部１０、変換処理部１１、ブロック劣化度算出部１２、及び符号化対象画像劣化度算出部１３を備える。符号量制御部１０２は、判定部２０、調整部２１、及び記憶部２２を備える。

事前解析部１０１において、ブロック分割部１０は、入力データとして符号化対象画像データを取り込み、取り込んだ符号化対象画像データを予め定められる任意のサイズの矩形ブロックサイズに分割して変換処理部１１に出力する。

矩形ブロックのサイズは、マクロブロックやＣＴＵのような符号化ブロックのサイズでもよいし、更に小さなサイズのサブブロック単位であってもよい。後述する視覚的劣化の大きい局所領域を含む最小のブロックサイズとなるようにブロックサイズを定めておく方が、よりよい効果が得られることになる。また、ブロック分割部１０は、取り込んだ符号化対象画像データと、当該符号化対象画像データを分割した際のブロックサイズの情報である分割情報を画像分割部１０３に出力する。

変換処理部１１は、ブロック分割部１０が出力する矩形ブロック内のＹ成分、Ｃｂ成分、Ｃｒ成分として表される画素値の平均値を算出する。また、変換処理部１１は、矩形ブロック内の各画素の画素値と、矩形ブロック内の画素値の平均値とを知覚均等色空間であるＣＩＥ１９７６Ｌ＊ａ＊ｂ＊色空間上の座標に変換してブロック劣化度算出部１２に出力する。また、変換処理部１１は、算出した輝度平均値、すなわちＹ成分の画素値の平均値を符号量制御部１０２の調整部２１に出力する。

なお、Ｌ＊ａ＊ｂ＊色空間に変換するのは、ＳＤＲや各ＨＤＲ方式に依存しないで処理をさせるためである。前述のように、ＨＤＲでは、映像信号レベル（画素値）と明るさの割り付けが異なる。しかしながら、一括りにＨＤＲといっても、ＨＬＧ（Hybrid Log-gamma）やＰＱ（perceptual quantization）など方式によって映像信号レベル（画素値）と明るさの割り付け方法が異なる。つまり、画素値が同じ値だけ変化しても、また、低彩度で変化するか高彩度で変化するかによっても、人間の目が認識する色の違いが異なる。Ｌ＊ａ＊ｂ＊色空間は、知覚均等色空間（値が同じだけ変化したとき、人間がそれを見たときに感じる変化も等しい）なため、これらの違いを吸収して後の処理を統一的に扱うことができる。なお、本実施形態では、Ｌ＊ａ＊ｂ＊色空間を用いた例を示したが、これに限らず、人間が見た色の違いを定量的に表現できる空間であればどのような空間であってもよい。

ブロック劣化度算出部１２は、変換処理部１１が出力するＬ＊ａ＊ｂ＊色空間上の座標で表される矩形ブロック内の各画素の画素値及び矩形ブロック内の画素値の平均値に基づいて、矩形ブロック内における想定劣化度、すなわちブロック視覚的劣化度を示す色差ΔＥ＿ｂｌｋを算出する。

符号化対象画像劣化度算出部１３は、符号化対象画像データを構成する矩形ブロックに対して、ブロック劣化度算出部１２が算出したブロック視覚的劣化度、すなわち色差ΔＥ＿ｂｌｋの平均値である色差ΔＥ＿ｐｉｃを算出する。符号化対象画像劣化度算出部１３は、算出した色差ΔＥ＿ｐｉｃを符号化対象画像視覚的劣化度として出力する。

符号量制御部１０２において、判定部２０は、矩形ブロックごとに、ブロック視覚的劣化度と、当該ブロックを含む符号化対象画像データの符号化対象画像視覚的劣化度との大小関係を判定する。調整部２１は、判定部２０の判定結果、矩形ブロックの平均輝度値Ｙ、及び符号化対象画像データに予め定められているＢａｓｅＱＰと、に基づいて、記憶部２２に記憶されているΔＱＰテーブル２２０を参照し、矩形ブロックごとに適用する量子化パラメータ調整オフセット（以下「ΔＱＰ」という。）を選択する。

なお、ＢａｓｅＱＰは、例えば、ＭＰＥＧ−２ ＴＭ５のステップ１の符号化制御によってピクチャ単位に定められる値であり、値が大きくなるほど符号化後の符号量が少なくなるが、粗い量子化が行われることになる。ここでは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのピクチャタイプ、ビットレートによってピクチャ単位で予め定められている値とする。例えば、ＭＰＥＧ−２ ＴＭ５のステップ１の符号化制御によって定められた、ピクチャ単位ごと、すなわち符号化対象画像データごとのＢａｓｅＱＰの値が記憶部２２に記憶されており、調整部２１が、処理の対象とする符号化対象画像データに対応するＢａｓｅＱＰを記憶部２２から読み出すことによって取得する。このＢａｓｅＱＰが、量子化パラメータの初期値となる。

また、調整部２１は、ＢａｓｅＱＰと、選択したΔＱＰを用いて量子化パラメータを算出し、算出した量子化パラメータを変換・量子化処理部１０５に出力する。記憶部２２は、図３に示すデータ構成のΔＱＰテーブル２２０と、前述した符号化対象画像データごとのＢａｓｅＱＰの値とを記憶している。ΔＱＰテーブル２２０は、図３に示すように、「ＢａｓｅＱＰ」の項目と、平均輝度値Ｙの値の範囲が、予め定められる複数の閾値ＴＨ＿ｙ１，ＴＨ＿ｙ２，・・・，ＴＨ＿ｙｎで区切られた項目を有する。図３に示すように、ＢａｓｅＱＰと平均輝度値Ｙが定まると、それに対応したΔＱＰを選択することができることになる。

（事前解析部による処理）
次に、図４を参照しつつ事前解析部１０１による処理について説明する。事前解析部１０１のブロック分割部１０は、符号化対象画像データを入力データとして取り込み、取り込んだ符号化対象画像データを予め定められるサイズの矩形ブロックサイズに分割する。ここで、以下の説明において、符号化対象画像データのサイズをＦ＿ＷＩＤＴＨ×Ｆ＿ＨＥＩＧＨＴとし、矩形ブロックサイズをＢ＿ＷＩＤＴＨ×Ｂ＿ＨＥＩＧＨＴとする。ブロック分割部１０は、分割した矩形ブロックを変換処理部１１に出力する（ステップＳ１０１）。

変換処理部１１は、符号化対象画像データに含まれる全ての矩形ブロックに対してステップＳ１０２からステップＳ１０４の処理を繰り返す（ループＬａ１ｓ〜ループＬａ１ｅ）。ここで、符号化対象画像データに含まれる矩形ブロックは、Ｎ（Ｎは１以上の整数）個存在するものとし、各々の矩形ブロックについては、ｉをインデックスとして、ｉ（ｉ＝０〜Ｎ−１）番目の矩形ブロックとして表すものとする。また、矩形ブロック内の各画素の各々については、ｊをインデックスとして、ｊ番目の画素として表すものとする。ｊの値の範囲は、矩形ブロック内の画素数に依存し、例えば、矩形ブロックが１６×１６画素の場合、ｊ＝０〜２５５となる。

変換処理部１１は、ｉ番目の矩形ブロック内の各画素のＹ成分、Ｃｂ成分、Ｃｒ成分の画素値（Ｙ＿ｉ＿ｊ，Ｃｂ＿ｉ＿ｊ，Ｃｒ＿ｉ＿ｊ）に基づいて、各成分の平均画素値（Ｙ＿ｉ＿ａｖｅ，Ｃｂ＿ｉ＿ａｖｅ，Ｃｒ＿ｉ＿ａｖｅ）を算出する（ステップＳ１０２）。例えば、矩形ブロックが１６×１６画素のブロックである場合、画素値（Ｙ＿ｉ＿ｊ，Ｃｂ＿ｉ＿ｊ，Ｃｒ＿ｉ＿ｊ）（ただし、ｊ＝０〜２５５）は、２５６個の各画素について存在し、平均画素値（Ｙ＿ｉ＿ａｖｅ，Ｃｂ＿ｉ＿ａｖｅ，Ｃｒ＿ｉ＿ａｖｅ）（ただし、ｉ＝０〜Ｎ−１）は、２５６個の画素の画素値の平均値となる。なお、変換処理部１１は、Ｙ成分の平均画素値Ｙ＿ｉ＿ａｖｅを算出した際、算出したＹ成分の平均画素値Ｙ＿ｉ＿ａｖｅをｉ番目の矩形ブロックの平均輝度値Ｙとして符号量制御部１０２に出力する。

変換処理部１１は、ｉ番目の矩形ブロック内の各画素の画素値（Ｙ＿ｉ＿ｊ，Ｃｂ＿ｉ＿ｊ，Ｃｒ＿ｉ＿ｊ）と、矩形ブロック内の画素平均値（Ｙ＿ｉ＿ａｖｅ，Ｃｂ＿ｉ＿ａｖｅ，Ｃｒ＿ｉ＿ａｖｅ）を、知覚均等色空間であるＬ＊ａ＊ｂ＊色空間上の座標に変換する（ステップＳ１０３）。変換後の各画素の座標値を、（Ｌ＊＿ｉ＿ｊ，ａ＊＿ｉ＿ｊ，ｂ＊＿ｉ＿ｊ）とし、画素平均値に対応する座標値を（Ｌ＊＿ｉ＿ａｖｅ，ａ＊＿ｉ＿ａｖｅ，ｂ＊＿ｉ＿ａｖｅ）とする。

ブロック劣化度算出部１２は、変換処理部１１が出力するＬ＊ａ＊ｂ＊色空間上の座標値に基づいて、次式（１）により、ｉ番目の矩形ブロックのブロック視覚的劣化度を示す色差ΔＥ＿ｂｌｋ（ｉ）を算出する（ステップＳ１０４）。

なお、式（１）において、Σ_ｊは各矩形ブロックに含まれる全ての画素についての和を示しており、例えば、ｉ番目の矩形ブロックが１６×１６画素である場合、ｊ＝０〜２５５についての和を算出することになる。

ブロック劣化度算出部１２は、全ての矩形ブロックについて、ステップＳ１０２からステップＳ１０４の処理を繰り返し行い、全ての矩形ブロックについて色差ΔＥ＿ｂｌｋ（ｉ）を算出する。符号化対象画像劣化度算出部１３は、ブロック劣化度算出部１２が算出した各矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）に基づいて、次式（２）により、符号化対象画像視覚的劣化度である色差ΔＥ＿ｐｉｃを算出する（ステップＳ１０５）。

式（２）に示すように、色差ΔＥ＿ｐｉｃは、符号化対象画像データ、すなわちピクチャに含まれる各矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）を合計した値であり、以下、ピクチャの色差ΔＥ＿ｐｉｃという。なお、式（２）において、Ｎは、上述したようにピクチャ内の矩形ブロック数であり、次式（３）によって算出される。

変換処理部１１は、算出した矩形ブロックごとの平均輝度値Ｙを符号量制御部１０２の調整部２１に出力する。ブロック劣化度算出部１２は、算出した矩形ブロックごとの色差ΔＥ＿ｂｌｋ（ｉ）を符号量制御部１０２の判定部２０に出力し、符号化対象画像劣化度算出部１３は、算出したピクチャの色差ΔＥ＿ｐｉｃを符号量制御部１０２の判定部２０に出力する。

（符号量制御部による処理）
次に、図５を参照しつつ符号量制御部１０２の処理について説明する。符号量制御部１０２の判定部２０は、ブロック視覚的劣化度である矩形ブロックごとの色差ΔＥ＿ｂｌｋ（ｉ）と、符号化対象画像視覚的劣化度であるピクチャの色差ΔＥ＿ｐｉｃとを取り込む（ステップＳ２０１）。ここでは、判定部２０は、ｉ＝０番目の矩形ブロックから順に取り込み、ステップＳ２０２〜Ｓ２０８の処理を矩形ブロックごとに繰り返すものとする（ループＬｂ１ｓ〜ループＬｂ１ｅ）。

判定部２０は、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも大きいか否かを判定する（ステップＳ２０２）。判定部２０は、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも大きいと判定した場合（ステップＳ２０２−ＹＥＳ）、次に、ピクチャの色差ΔＥ＿ｐｉｃから矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）を減算した減算値を算出し、算出した減算値が、予め定められる閾値ＴＨＬよりも大きいか否かを判定する（ステップＳ２０３）。

判定部２０が、算出した減算値が、予め定められる閾値ＴＨＬ以下であると判定した場合（ステップＳ２０３−ＮＯ）、調整部２１は、ΔＱＰに０を代入する（ステップＳ２０５）。一方、判定部２０が、算出した減算値が、予め定められる閾値ＴＨＬより大きいと判定した場合（ステップＳ２０３−ＹＥＳ）、調整部２１は、記憶部２２から当該ピクチャに対応するＢａｓｅＱＰを読み出す。

調整部２１は、変換処理部１１から取り込んだ、当該矩形ブロックの平均輝度値Ｙと、当該ピクチャに対応するＢａｓｅＱＰとに基づいて、記憶部２２に記憶されている図３に示すΔＱＰテーブル２２０を参照する。調整部２１は、平均輝度値Ｙが含まれる項目をΔＱＰテーブル２２０から検出し、検出した項目のうちＢａｓｅＱＰの値に対応するΔＱＰの値にプラス符号をつけて読み出し、読み出した正の値をΔＱＰとする（ステップＳ２０４）。例えば、図３において、ＢａｓｅＱＰ＝４０で、平均輝度値Ｙが、ＴＨ＿ｙ１以上であり、ＴＨ＿ｙ２未満である場合、調整部２１は、「５」の値を読み出し、プラス符号を付加して、ΔＱＰ＝＋５とする。

ステップＳ２０３では、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも大きい場合に、例えば、閾値ＴＨＬに基づいて、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に大きいか否かを判定している。また、ステップＳ２０４では、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に大きい場合に、調整部２１が、矩形ブロックの平均輝度値Ｙと、ＢａｓｅＱＰとに応じて、ΔＥ＿ｂｌｋ（ｉ）の量子化パラメータ調整オフセットΔＱＰの値を大きくする方向に調整する。換言すると、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に大きいため、ピクチャ全体の平均的な劣化と比較して、当該矩形ブロックの局所的な視覚的劣化は目立ちにくいことから、当該矩形ブロックに対して粗い量子化を行って、視覚的劣化を目立たせる代わりに、当該矩形ブロックに割り当てる符号量を減少させて節約していることになる。

一方、判定部２０は、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）以下であると判定した場合（ステップＳ２０２−ＮＯ）、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）からピクチャの色差ΔＥ＿ｐｉｃを減算した減算値を算出し、算出した減算値が、予め定められる閾値ＴＨＳよりも大きいか否かを判定する（ステップＳ２０６）。

判定部２０が、算出した減算値が、予め定められる閾値ＴＨＳ以下であると判定した場合（ステップＳ２０６−ＮＯ）、調整部２１は、ΔＱＰに０を代入する（ステップＳ２０５）。一方、判定部２０が、算出した減算値が、予め定められる閾値ＴＨＳより大きいと判定した場合（ステップＳ２０６−ＹＥＳ）、調整部２１は、記憶部２２から当該ピクチャに対応するＢａｓｅＱＰを読み出す。

調整部２１は、変換処理部１１から取り込んだ、当該矩形ブロックの平均輝度値Ｙと、当該ピクチャに予め定められているＢａｓｅＱＰとに基づいて、記憶部２２に記憶されている図３に示すΔＱＰテーブル２２０を参照する。調整部２１は、平均輝度値Ｙが含まれる項目をΔＱＰテーブル２２０から検出し、検出した項目のうちＢａｓｅＱＰの値に対応するΔＱＰの値にマイナス符号をつけて読み出し、読み出した負の値をΔＱＰとする（ステップＳ２０７）。例えば、図３において、ＢａｓｅＱＰ＝４０で、平均輝度値Ｙが、ＴＨ＿ｙ２以上であり、ＴＨ＿ｙ３未満である場合、調整部２１は、「６」の値を読み出し、マイナス符号を付加して、ΔＱＰ＝−６とする。

ステップＳ２０６では、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）以下である場合に、例えば、閾値ＴＨＳに基づいて、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に小さいか否かを判定している。また、ステップＳ２０７では、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に小さい場合に、調整部２１が、矩形ブロックの平均輝度値Ｙと、ＢａｓｅＱＰとに応じて、ΔＥ＿ｂｌｋ（ｉ）の量子化パラメータ調整オフセットΔＱＰの値を小さくする方向に調整する。換言すると、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に小さいため、ピクチャ全体の平均的な劣化と比較して、当該矩形ブロックの局所的な視覚的劣化が目立ちやすいことから、当該矩形ブロックに対して細かい量子化を行って、当該矩形ブロックに割り当てる符号量を増加させる代わりに、視覚的劣化を目立たなくさせている。

調整部２１は、次式（４）により、ＱＰ＿ｎｅｗとして当該矩形ブロックに対する量子化パラメータを算出し、算出した量子化パラメータを変換・量子化処理部１０５に出力する（ステップＳ２０８）。

変換・量子化処理部１０５は、符号化対象ブロックに対して直交変換を行い、直交変換により得られた変換係数を、調整部２１から受けた量子化パラメータに基づいて量子化する。

上記の第１の実施形態の構成により、矩形ブロックごとに、ピクチャの色差ΔＥ＿ｐｉｃと、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）の差の大きさに応じてΔＱＰを適用して、量子化パラメータを調整した例を図６、図７に示す。図６（ａ）は、視覚的劣化度を示す凡例である。図６（ｂ）、（ｃ）、図７は、同一のピクチャの同一箇所を示しており、図６（ｂ）は、矩形ブロックが６４×６４画素の場合、図６（ｃ）は、矩形ブロックが３２×３２画素の場合、図７は、矩形ブロックが１６×１６画素の場合を示す。

図６（ｂ）、（ｃ）、図７において、ＢａｓｅＱＰに対してΔＱＰをプラス方向に調整したブロックをΔＱＰ↑またはΔＱＰ↑↑、ΔＱＰをマイナス方向に調整したブロックをΔＱＰ↓またはΔＱＰ↓↓、ΔＱＰの調整を行わなかったブロックをΔＱＰ→、と模式的に表している。ΔＱＰの値の大小関係は、ΔＱＰ↑＜ΔＱＰ↑↑であり、ΔＱＰ↓↓＜ΔＱＰ↓である。

上記の第１の実施形態の構成では、入力映像信号を構成する符号化対象画像データから矩形ブロックごとのブロック視覚的劣化度と、符号化対象画像データ全体の視覚的劣化度とに応じて符号化の際に発生しうる局所的な視覚的劣化を検出している。そのため、図６（ｂ）、（ｃ）、図７に示すように矩形ブロック単位に劣化の度合に応じて歪みを軽減するような局所的な量子化パラメータの調整を行うことができる。

これにより、例えば、図８（ａ）に示すような局所的な視覚的劣化を含むピクチャであっても、図８（ｂ）に示すように全体に平準化させることで、歪みを目立たなくさせるような効果をもたらすことが可能となる。また、図６（ｂ）と、図６（ｃ）と、図７との比較から分かるように、矩形ブロックのサイズを大きくしすぎると、必要のない領域までΔＱＰを増減させてしまうことになり、また、矩形ブロックのサイズを小さくしすぎると演算量の増加を招いてしまう。したがって、視覚的劣化が発生している局所部分に応じた、適切な矩形ブロックのサイズとすることで、演算量の増加を抑えつつ、歪みを目立たなくさせることが可能となる。

上記の第１の実施形態における画像符号化装置１において、事前解析部１０１のブロック分割部１０は、符号化対象画像データを矩形ブロックに分割し、変換処理部１１は、矩形ブロックごとに、矩形ブロックに含まれる画素値の平均画素値を算出し、矩形ブロックの各画素値と、矩形ブロックの平均画素値とをＬ＊ａ＊ｂ＊色空間上の座標に変換する。ブロック劣化度算出部１２は、矩形ブロックの各画素値及び平均画素値のＬ＊ａ＊ｂ＊色空間上の座標値に基づいて、矩形ブロックごとの視覚的劣化度であるブロック視覚的劣化度、すなわち色差ΔＥ＿ｂｌｋ（ｉ）を算出する。符号化対象画像劣化度算出部１３は、ブロック視覚的劣化度に基づいて、符号化対象画像データの視覚的劣化度である符号化対象画像視覚的劣化度、すなわち色差ΔＥ＿ｐｉｃを算出する。符号量制御部１０２の判定部２０は、色差ΔＥ＿ｂｌｋ（ｉ）と、色差ΔＥ＿ｐｉｃの大小関係を判定する。調整部２１は、判定部２０の判定結果に基づいて、符号化対象画像データに適用する量子化パラメータを算出する。これにより、事前解析部１０１が、符号化対象画像データ全体に対する視覚的な劣化が発生している箇所を符号化処理前に予め検出しておくことができる。そのため、符号化対象ブロック単位毎に以降の符号化処理を行う際、符号量制御部１０２が、局所的な視覚的な劣化を抑えた量子化パラメータを設定することができる。したがって、映像を構成する広色域と高いダイナミックレンジを有する画像の符号化を行う際に、演算量の増加を抑えつつ、色成分の符号化劣化を低減して主観品質の平準化を行うことができる。

画像符号化装置１では、映像信号がＨＤＲやＳＤＲであっても同一の尺度で解析が行えるように、映像信号形式であるＹＣｂＣｒ信号を、知覚均等色空間ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊色空間にマッピングし、Ｌ＊ａ＊ｂ＊色空間上で表現される尺度によって、劣化の算出、すなわち符号化歪みが目立ちやすい箇所の抽出を行っている。

上記の式（１）では、Ｙ成分、Ｃｂ成分、Ｃｒ成分の画素値の分散計算をするのではなく、Ｌ＊ａ＊ｂ＊色空間上の座標値の分散、すなわち色差ΔＥ＿ｂｌｋ（ｉ）を算出している。単なる画素値の分散計算では、低彩度でも高彩度でも、値は同じになるが、視覚的劣化度を示す色差ΔＥ＿ｂｌｋ（ｉ）は、同じ画素値のばらつきでも、低彩度では値が大きく、高彩度では値が小さくなる。本質的には、視覚的劣化度を示す色差ΔＥ＿ｂｌｋ（ｉ）は、視覚的劣化が目立ちやすい彩度となる画素値では値が大きくなる。したがって、矩形ブロック内の画素値が主に低彩度の画素値で構成されているとき、僅かな画素値の変化によっても色差ΔＥ＿ｂｌｋ（ｉ）の値は大きくなる。これに対して、矩形ブロック内の画素値が主に高彩度の画素値で構成されているとき、色差ΔＥ＿ｂｌｋ（ｉ）の値は小さくなる。そのため、低彩度における画素値のばらつきを強調して表すことができる。

また、色差ΔＥ＿ｂｌｋ（ｉ）は、値が大きいほど、矩形ブロック内の平均画素値に対する各画素値による色の違いが大きいことを示しており、色差ΔＥ＿ｂｌｋ（ｉ）が大きいということは、符号化による予測誤差や量子化誤差による視覚的劣化が大きくなることを示すことになる。したがって、ピクチャの色差ΔＥ＿ｐｉｃに対して矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）が大きくなる矩形ブロックは、ピクチャ内で符号化歪みによる視覚的劣化が局所的に目立ちやすい箇所を示すことになる。逆に、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）がピクチャの色差ΔＥ＿ｐｉｃに対して小さくなる矩形ブロックは、視覚的劣化が目立ちにくい箇所であることを示すことになる。

このような色差ΔＥの値が示す特性を利用し、事前解析部１０１では、符号化対象画像データを入力データとし、視覚的な劣化が発生している箇所、すなわち符号化歪みが目立ちやすい箇所を抽出している。符号量制御部１０２では、視覚的な劣化が発生している箇所について、当該箇所を目立たなくさせる量子化パラメータを適用するようにしている。これにより、映像信号レベルと明るさの対応付けが従来とは異なるＨＤＲ映像信号において、符号化歪みによって画素値に微小変化が生じた場合であっても、符号化歪みをディスプレイ上で目立たなくさせることができる。

また、画像符号化装置１は、符号化対象画像データ、及び矩形ブロックの画素値情報から得られる事前解析結果を用いて、矩形ブロックにおける量子化誤差を小さくするための量子化パラメータ調整を行い、局所的に目立つ視覚的劣化を軽減する構成を有している。つまり、入力映像信号を元に事前解析部１０１の処理により得られる結果を用いて符号量制御部１０２が量子化パラメータを調整する手法であることから、既存の画像符号化装置の枠組みを大きく変更することなく、リアルタイム処理に適した逐次的な処理を可能としている。

また、画像符号化装置１によれば、画面全体に対する局所的な視覚的劣化度合をもとに選択した量子化パラメータ調整オフセット値に応じて、量子化パラメータを調整しているので、演算量を抑えながら局所的に目立つ視覚的劣化を軽減し、画面全体の主観品質を向上させることができる。

また、図４に示した事前解析部１０１による処理では、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）を式（１）により、矩形ブロックに含まれる画素ごとに逐次算出するようにしているが、本発明の構成は、当該実施の形態に限られない。例えば、画素値（Ｙ，Ｃｂ，Ｃｒ）に対応する（Ｌ＊，ａ＊，ｂ＊）を、一定の刻みの画素値（Ｙ，Ｃｂ，Ｃｒ）において予め変換テーブルとして生成して内部の記憶領域に記憶させておく。この場合、変換処理部１１が、画素値（Ｙ，Ｃｂ，Ｃｒ）が与えられた際、与えられた画素値（Ｙ，Ｃｂ，Ｃｒ）の各々と、算出した平均画素値とに近い画素値（Ｙ，Ｃｂ，Ｃｒ）と（Ｌ＊，ａ＊，ｂ＊）の組み合わせを変換テーブルから検出してＬ＊ａ＊ｂ＊色空間上の座標値に置き換えるようにしてもよい。これにより、演算量の削減を行うことができる。

また、予め生成する（Ｙ，Ｃｂ，Ｃｒ）の画素値から（Ｌ＊，ａ＊，ｂ＊）の座標値への変換テーブルとして、伝達関数の異なる映像フォーマットごとの変換テーブルを予め生成して内部の記憶領域に記憶させておいてもよい。この場合、変換処理部１１は、入力データの映像信号に適用される伝達関数に応じた変換テーブルを参照して（Ｙ，Ｃｂ，Ｃｒ）の画素値から（Ｌ＊，ａ＊，ｂ＊）の座標値への変換を行うことになる。これにより、様々な映像フォーマットに適切な色差ΔＥ＿ｂｌｋ（ｉ）を算出することができるとともに、演算量の削減を行うことができる。ここで、伝達関数の異なる映像信号のフォーマットとしては、例えば、代表的なものとして、ＳＤＲ方式、ＨＬＧ(Hybrid Log Gamma)方式、ＰＱ(Perceptual Quantization)方式（なお、ＰＱ方式は、ＳＴ２０８４ともいう）があり、また、これらの方式以外の映像信号のフォーマットであってもよい。

また、ブロックサイズごとに、予め定められる特定色の複数の画像データ（Ｙ１，Ｃｂ１，Ｃｒ１），（Ｙ２，Ｃｂ２，Ｃｒ２），…，（Ｙｎ，Ｃｂｎ，Ｃｒｎ）（ただし、ｎは、２以上の自然数）を生成し、これらに対応する色差ΔＥを予め算出しておいてもよい。ここで、（Ｙ１，Ｃｂ１，Ｃｒ１）は、ブロックサイズに応じた画素数を含む画像データであり、これについての色差ΔＥ＿ｂｌｋを算出し、算出した色差ΔＥ＿ｂｌｋ＿１とする。このようにして、（Ｙ１，Ｃｂ１，Ｃｒ１），（Ｙ２，Ｃｂ２，Ｃｒ２），…，（Ｙｎ，Ｃｂｎ，Ｃｒｎ）のそれぞれに対応する色差ΔＥ＿ｂｌｋ＿１，ΔＥ＿ｂｌｋ＿２，…，ΔＥ＿ｂｌｋ＿ｎを予め算出しておく。

ただし、ΔＥ＿ｂｌｋ＿１＞閾値１，ΔＥ＿ｂｌｋ＿２＞閾値２＞閾値１，…を満たすような関係となるように画像データ（Ｙ１，Ｃｂ１，Ｃｒ１），（Ｙ２，Ｃｂ２，Ｃｒ２），…，（Ｙｎ，Ｃｂｎ，Ｃｒｎ）を生成させておく必要がある。（Ｙ１，Ｃｂ１，Ｃｒ１），（Ｙ２，Ｃｂ２，Ｃｒ２），…，（Ｙｎ，Ｃｂｎ，Ｃｒｎ）と色差ΔＥ＿ｂｌｋ＿１，ΔＥ＿ｂｌｋ＿２，…，ΔＥ＿ｂｌｋ＿ｎを関連付けたテーブルを生成し、生成したテーブルを内部の記憶領域に記憶させておく。

変換処理部１１は、矩形ブロックの画素値（Ｙ，Ｃｂ，Ｃｒ）が与えられた際に、当該テーブルを参照して（Ｙ１，Ｃｂ１，Ｃｒ１），（Ｙ２，Ｃｂ２，Ｃｒ２），…，（Ｙｎ，Ｃｂｎ，Ｃｒｎ）の中から矩形ブロックの画素値（Ｙ，Ｃｂ，Ｃｒ）に最も近い画素値の組み合わせを選択し、選択した組み合わせに対応する色差ΔＥ＿ｂｌｋを、矩形ブロックの画素値（Ｙ，Ｃｂ，Ｃｒ）の色差ΔＥ＿ｂｌｋとする。このようにすることで、更に演算量を削減することができる。

また、式（１）では、各画素の画素値のＬ＊ａ＊ｂ＊色空間上の座標値と、平均画素値のＬ＊ａ＊ｂ＊色空間上の座標値との間のユークリッド距離を算出するようにしているが、二乗や平方根計算が不要なマンハッタン距離を算出し、算出したマンハッタン距離を色差ΔＥ＿ｂｌｋ（ｉ）としてもよい。

また、上記の図４に示す処理では、矩形ブロック内の画素値の平均値（Ｙ＿ｉ＿ａｖｅ，Ｃｂ＿ｉ＿ａｖｅ，Ｃｒ＿ｉ＿ａｖｅ）を算出し、この平均値に基づいて、矩形ブロックごとの色差ΔＥ＿ｂｌｋ（ｉ）やピクチャの色差ΔＥ＿ｐｉｃを算出するようにしているが、本発明の構成は、当該実施の形態に限られない。例えば、平均値に替えて画素値の最大値、または最小値を用いてもよいし、ピクチャ全体の画素値の平均値を用いてもよいし、予め定められた位置の矩形ブロック内の代表画素値を用いるようにしてもよい。

また、上記の図４に示す処理では、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊色空間上での各画素値と、平均画素値の距離を示す色差ΔＥを算出するようにしているが、本発明の構成は、当該実施の形態に限られず、他の知覚均等な色空間での距離や他の特徴量を用いてもよい。
例えば、人間の目の特性を考慮した色差式ＣＩＥ２０００で得られる尺度ΔＥ００を用いても良いし、特定映像向け処理として、劣化を抑えたい肌色などの特定色が矩形ブロック内に含まれる画素数の割合に応じて視覚的劣化度を算出してもよい。

また、上記の第１の実施形態では、量子化パラメータ調整オフセットΔＱＰは、例えばＭＰＥＧ−２ ＴＭ５のステップ１の符号化制御における代表的な量子化パラメータであるＢａｓｅＱＰとしているが、ＭＰＥＧ−２ ＴＭ５のステップ２やステップ３で求められるＱＰ値を調整する値であってもよい。

また、上記の第１の実施形態では、ＢａｓｅＱＰは、ＭＰＥＧ−２ ＴＭ５のステップ１の符号化制御により定められ、例えば、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのピクチャタイプ、ビットレートによってピクチャ単位で予め定められている値としているが、ピクチャ単位に限られず、ＣＴＵライン単位に定められるようにしてもよい。

また、上記の第１の実施形態では、ＢａｓｅＱＰは、ピクチャ単位で、予め記憶部２２に記憶されているとしているが、本発明の構成は、当該実施の形態に限られない。例えば、符号化対象画像データに対して割り当てられたＢａｓｅＱＰの情報が、符号化対象画像データに付加されている場合、事前解析部１０１が、符号化対象画像データを取り込む際に符号化対象画像データに付加されているＢａｓｅＱＰの値を取り込んで、符号量制御部１０２に通知するようにしてもよい。

また、上記の第１の実施形態では、閾値ＴＨＬと閾値ＴＨＳは、異なる値であることを前提として示しているが、本発明の構成は、当該実施の形態に限られない。閾値ＴＨＬと閾値ＴＨＳは、同一の値であってもよい。また、図３に示すΔＱＰテーブル２２０は、ステップＳ２０４とステップＳ２０７の処理において共有するようにしているが、例えば、平均輝度値Ｙの範囲が異なっていたり、ΔＱＰの値の分布が異なっていたりする異なるテーブルをステップＳ２０４とステップＳ２０７の処理の各々に適用するようにしてもよい。なお、この場合、ステップＳ２０４で用いるテーブルのΔＱＰの値をプラス符号とし、ステップＳ２０７で用いるテーブルのΔＱＰの値をマイナス符号としておくことで、ステップＳ２０４とステップＳ２０７において符号を付与する処理を行う必要がなくなる。

（第１の実施形態の他の構成例）
上記の第１の実施形態の構成において、複数の段階のΔＱＰを選択できる構成にしてもよい。例えば、上記の第１の実施形態は、閾値ＴＨＬと閾値ＴＨＳを予め定められる固定値としていたが、複数の閾値を用いて、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）と、ピクチャの色差ΔＥ＿ｐｉｃの差の大きさを分類し、主観品質に与える影響の度合いによって、複数の段階のΔＱＰを選択する構成にすることができる。

具体的には、記憶部２２に記憶される図３に示すΔＱＰテーブル２２０を、図９に示すΔＱＰテーブル２２１と、図１０に示すΔＱＰテーブル２２２に置き換える。また、図５のステップＳ２０３を図１１に示すステップＳ２０３１〜Ｓ２０３５に置き換え、ステップＳ２０４をステップＳ２０４ａに置き換える。また、図５のステップＳ２０６を図１２に示すステップＳ２０６１〜Ｓ２０６５に置き換え、ステップＳ２０７をステップＳ２０７ａに置き換える。ステップＳ２０３の処理においては、複数の閾値ＴＨＬ_１，ＴＨＬ_２，…，ＴＨＬ_{p_max}を適用し、ステップＳ２０６の処理においては、複数の閾値ＴＨＳ_１，ＴＨＳ_２，…，ＴＨＳ_{ｑ_max}を適用する。なお、ＴＨＬ_１＜ＴＨＬ_２＜…＜ＴＨＬ_{p_max}及び、ＴＨＳ_１＜ＴＨＳ_２＜…＜ＴＨＳ_{ｑ_max}とする。

図９に示すΔＱＰテーブル２２１は、ＢａｓｅＱＰの項目と、平均輝度値Ｙの値の範囲が、予め定められる複数の閾値ＴＨ＿ｙ１，ＴＨ＿ｙ２，・・・，ＴＨ＿ｙｎによって区切られた項目を有している。さらに、また、平均輝度値Ｙの値の範囲を示す複数の項目の各々が、ピクチャの色差ΔＥ＿ｐｉｃからｉ番目の矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）を減算した減算値の範囲が、予め定められる複数の閾値ＴＨＬ_１，ＴＨＬ_２，…，ＴＨＬ_{p_max}によって区切られた項目となっている。ここで、ｐ＿ｍａｘは、予め定められるｐの最大値であり、図９のΔＱＰテーブル２２１のピクチャの色差ΔＥ＿ｐｉｃから矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）を減算した減算値の項目数は、ｐ＝１〜（ｐ＿ｍａｘ＋１）となる。つまり、図９に示すように、ＢａｓｅＱＰと平均輝度値Ｙと閾値ＴＨＬ_ｐを示すｐの値が定まると、それに対応したΔＱＰを選択することができることになる。

また、図１０に示すΔＱＰテーブル２２２は、ＢａｓｅＱＰの項目と、平均輝度値Ｙの値の範囲が、予め定められる複数の閾値ＴＨ＿ｙ１，ＴＨ＿ｙ２，・・・，ＴＨ＿ｙｎによって区切られた項目を有している。さらに、また、平均輝度値Ｙの値の範囲を示す複数の項目の各々が、ｉ番目の矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）からピクチャの色差ΔＥ＿ｐｉｃを減算した減算値の範囲が、予め定められる複数の閾値ＴＨＳ_１，ＴＨＳ_２，…，ＴＨＳ_{ｑ_max}によって区切られた項目となっている。ここで、ｑ＿ｍａｘは、予め定められるｑの最大値であり、図１０のΔＱＰテーブル２２２のピクチャの矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）から色差ΔＥ＿ｐｉｃを減算した減算値の項目数は、ｑ＝１〜（ｑ＿ｍａｘ＋１）となる。つまり、図１０に示すように、ＢａｓｅＱＰと平均輝度値Ｙと閾値ＴＨＳ_ｑを示すｑの値が定まると、それに対応したΔＱＰを選択することができることになる。

図１１に示す処理について説明する。ステップＳ２０２において判定部２０が、ＹＥＳの判定をした場合（ステップＳ２０２−ＹＥＳ）、判定部２０はｐに「１」を代入する（ステップＳ２０３１）。判定部２０は、ピクチャの色差ΔＥ＿ｐｉｃからｉ番目の矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）を減算した減算値を算出し、算出した減算値が、予め定められる閾値ＴＨＬ_ｐよりも大きいか否かを判定する（ステップＳ２０３２）。

判定部２０が、算出した減算値が、予め定められる閾値ＴＨＬ_ｐ以下であると判定した場合（ステップＳ２０３２−ＮＯ）、判定部２０は、ｐの値を調整部２１に出力する（ステップＳ２０３４）。一方、判定部２０が、算出した減算値が、予め定められる閾値ＴＨＬ_ｐより大きいと判定した場合（ステップＳ２０３２−ＹＥＳ）、判定部２０は、ｐに１を加えた値をｐに代入する（ステップＳ２０３３）。

判定部２０は、ｐの値が、予め定められるｐの最大値（ｐ＿ｍａｘ）より大きいか否かを判定する（ステップＳ２０３５）。判定部２０は、ｐ値が、予め定められるｐの最大値（ｐ＿ｍａｘ）以下であると判定した場合（ステップＳ２０３５−ＮＯ）、ステップＳ２０３２以降の処理を繰り返す。

判定部２０が、ｐの値が、予め定められるｐの最大値（ｐ＿ｍａｘ）より大きいと判定した場合（ステップＳ２０３５−ＹＥＳ）、判定部２０は、ｐの値を調整部２１に出力する（ステップＳ２０３４）。

ステップＳ２０４ａにおいて、調整部２１は、記憶部２２から当該ピクチャに対応するＢａｓｅＱＰを読み出す。調整部２１は、変換処理部１１から取り込んだ、当該矩形ブロックの平均輝度値Ｙと、当該ピクチャに対応するＢａｓｅＱＰと、判定部２０が出力したｐの値とに基づいて、記憶部２２に記憶されている図９に示すΔＱＰテーブル２２１を参照して、対応するΔＱＰを読み出す。なお、図９のテーブルでは、ΔＱＰに予め符号が付与されているため、第１の実施形態のステップＳ２０４の処理のように、プラスの符号を付与しない。

ステップＳ２０３１〜Ｓ２０３５の処理では、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも大きい場合に、複数の閾値ＴＨＬ_ｐに基づいて、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に大きいか否かを判定するとともに、その影響度合いを判定している。また、ステップＳ２０４ａでは、調整部２１が、矩形ブロックの平均輝度値Ｙと、符号化対象画像データのＢａｓｅＱＰと、ｐの値で示される閾値ＴＨＬ_ｐに応じて、ΔＥ＿ｂｌｋ（ｉ）の量子化パラメータ調整オフセットΔＱＰの値を大きくする方向に調整する。換言すると、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に大きいため、ピクチャ全体の平均的な劣化と比較して、当該矩形ブロックの局所的な視覚的劣化は目立ちにくいことから、当該矩形ブロックに対して主観品質への影響度合いに応じた粗い量子化を行って、視覚的劣化を目立たせる代わりに、当該矩形ブロックに割り当てる符号量を減少させて節約していることになる。

同様に、図１２に示す処理について説明する。ステップＳ２０２において判定部２０が、ＮＯの判定をした場合（ステップＳ２０２−ＮＯ）、判定部２０はｑに「１」を代入する（ステップＳ２０６１）。判定部２０は、ｉ番目の矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）からピクチャの色差ΔＥ＿ｐｉｃを減算した減算値を算出し、算出した減算値が、予め定められる閾値ＴＨＳ_ｑよりも大きいか否かを判定する（ステップＳ２０６２）。

判定部２０が、算出した減算値が、予め定められる閾値ＴＨＳ_ｑ以下であると判定した場合（ステップＳ２０６２−ＮＯ）、判定部２０は、ｑの値を調整部２１に出力する（ステップＳ２０６４）。一方、判定部２０が、算出した減算値が、予め定められる閾値ＴＨＳ_ｑより大きいと判定した場合（ステップＳ２０６２−ＹＥＳ）、判定部２０は、ｑに１を加えた値をｑに代入する（ステップＳ２０６３）。

判定部２０は、ｑの値が、予め定められるｑの最大値（ｑ＿ｍａｘ）より大きいか否かを判定する（ステップＳ２０６５）。判定部２０は、ｑ値が、予め定められるｑの最大値（ｑ＿ｍａｘ）以下であると判定した場合（ステップＳ２０６５−ＮＯ）、ステップＳ２０６２以降の処理を繰り返す。

判定部２０が、ｑの値が、予め定められるｑの最大値（ｑ＿ｍａｘ）より大きいと判定した場合（ステップＳ２０６５−ＹＥＳ）、判定部２０は、ｑの値を調整部２１に出力する（ステップＳ２０６４）。

ステップＳ２０７ａにおいて、調整部２１は、記憶部２２から当該ピクチャに対応するＢａｓｅＱＰを読み出す。調整部２１は、変換処理部１１から取り込んだ、当該矩形ブロックの平均輝度値Ｙと、当該ピクチャに対応するＢａｓｅＱＰと、判定部２０が出力したｑの値とに基づいて、記憶部２２に記憶されている図１０に示すΔＱＰテーブル２２２を参照して、対応するΔＱＰを読み出す。なお、図１０のテーブルでは、ΔＱＰに予め符号が付与されているため、第１の実施形態のステップＳ２０７の処理のように、マイナスの符号を付与しない。

ステップＳ２０６１〜Ｓ２０６５の処理では、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）以下である場合に、複数の閾値ＴＨＳ_ｑに基づいて、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に小さい否かを判定するとともに、その影響度合いを判定している。また、ステップＳ２０７ａでは、調整部２１が、矩形ブロックの平均輝度値Ｙと、符号化対象画像データのＢａｓｅＱＰ、ｑの値で示される閾値ＴＨＳ_ｑに応じて、ΔＥ＿ｂｌｋ（ｉ）の量子化パラメータ調整オフセットΔＱＰの値を小さくする方向に調整する。換言すると、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に小さいため、ピクチャ全体の平均的な劣化と比較して、当該矩形ブロックの局所的な視覚的劣化が目立ちやすいことから、当該矩形ブロックに対して主観品質への影響度合いに応じた細かい量子化を行って、当該矩形ブロックに割り当てる符号量を増加させる代わりに、視覚的劣化を目立たなくさせている。

なお、図１１及び図１２では、図５の処理と異なり、ステップＳ２０５のΔＱＰに「０」を代入する処理を経由する処理の流れを設けていないが、その代わりに、図９では、ｐ＝１の列、すなわちΔＥ＿ｐｉｃ−ΔＥ＿ｂｌｋ（ｉ）≦ＴＨＬ_１の列のΔＱＰの値を全て「０」としている。同様に、図１０では、ｑ＝１の列、すなわちΔＥ＿ｂｌｋ（ｉ）−ΔＥ＿ｐｉｃ≦ＴＨＳ_１の列のΔＱＰの値を全て「０」としている。これにより、最初の閾値であるＴＨＬ_１とＴＨＳ_１以下と判定された場合、ΔＱＰは、「０」となる。

また、上記の第１の実施形態の他の構成例において、閾値ＴＨＬ_ｐと閾値ＴＨＳ_ｑの各々の値は、異なる値であることを前提としているが、ｐ＝ｑの場合に、閾値ＴＨＬ_ｐと閾値ＴＨＳ_ｑとが同一の値であってもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図１３は、第２の実施形態における画像符号化装置１ａの構成を示すブロック図である。第１の実施形態の画像符号化装置１と同一の構成については同一の符号を付し、以下、異なる構成について説明する。第２の実施形態の画像符号化装置１ａは、事前解析部１０１ａ、符号量制御部１０２ａ、画像分割部１０３、予測残差信号生成部１０４、変換・量子化処理部１０５、逆量子化・逆変換処理部１０６、復号画像信号生成部１０７、イントラ予測処理部１０８、ループフィルタ処理部１０９、インター予測処理部１１０、スイッチ部１１１、及びエントロピー符号化部１１２ａを備える。

エントロピー符号化部１１２ａは、第１の実施形態のエントロピー符号化部１１２の構成に加えて、符号化対象画像データ内の符号化済みブロックの数と、符号化対象画像データ内の符号化済みブロックの発生符号量とを符号量制御部１０２ａの調整部２１ａに出力する。

事前解析部１０１ａ及び符号量制御部１０２ａの構成は、図１４に示す構成となる。事前解析部１０１ａは、ブロック分割部１０ａ、変換処理部１１ａ、ブロック劣化度算出部１２、及び符号化対象画像劣化度算出部１３を備える。ブロック分割部１０ａは、第１の実施形態のブロック分割部１０の構成に加えて、符号化対象画像データ内の矩形ブロックの数を符号量制御部１０２ａの調整部２１ａに出力する。変換処理部１１ａは、第１の実施形態の変換処理部１１では、算出した平均輝度値Ｙを調整部２１に出力する構成となっていたが、変換処理部１１ａは、平均輝度値Ｙを調整部２１ａに出力しない構成となる。

符号量制御部１０２ａは、判定部２０、調整部２１ａ及び記憶部２２ａを備える。記憶部２２ａは、予め定められる符号化対象画像データの目標符号量の値を予め記憶する。符号化対象画像データの目標符号量は、例えば、符号化対象画像データのピクチャタイプやビットレートごとに予め定められる。

調整部２１ａは、ブロック分割部１０ａが出力する符号化対象画像データに含まれる矩形ブロックの数と、エントロピー符号化部１１２ａが出力する符号化済みブロックの発生符号量及び符号化済みブロックの数と、記憶部２２ａに記憶されている符号化対象画像データの目標符号量とに基づいて、矩形ブロックの目標符号量を算出する。また、調整部２１ａは、判定部２０の判定結果、及び矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）とピクチャの色差ΔＥ＿ｐｉｃの値の大きさに応じて矩形ブロックの目標符号量を増減させて調整する。また、調整部２１ａは、調整後の矩形ブロックの目標符号量に基づいて、当該矩形ブロックに適用する量子化パラメータを算出する。

（符号量制御部による処理）
次に、第２の実施形態における処理について図１５に示すフローチャートを参照しつつ説明する。事前解析部１０１ａは、第１の実施形態の事前解析部１０１と同様に入力データとして取り込んだ符号化対象画像データに対して、図４に処理を行い、ブロック劣化度算出部１２が、矩形ブロックごとの色差ΔＥ＿ｂｌｋ（ｉ）を判定部２０に出力し、符号化対象画像劣化度算出部１３が、ピクチャの色差ΔＥ＿ｐｉｃを判定部２０に出力する。符号量制御部１０２ａの判定部２０は、ブロック視覚的劣化度である矩形ブロックごとの色差ΔＥ＿ｂｌｋ（ｉ）と、符号化対象画像視覚的劣化度であるピクチャの色差ΔＥ＿ｐｉｃとを取り込む（ステップＳ３０１）。ここでは、判定部２０は、ｉ＝０番目の矩形ブロックから順に取り込み、ステップＳ３０２〜Ｓ３１０の処理を矩形ブロックごとに繰り返すものとする（ループＬｃ１ｓ〜ループＬｃ１ｅ）。

判定部２０は、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも大きいか否かを判定する（ステップＳ３０２）。判定部２０は、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも大きいと判定した場合（ステップＳ３０２−ＹＥＳ）、次に、ピクチャの色差ΔＥ＿ｐｉｃから矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）を減算した減算値を算出し、算出した減算値が、予め定められる閾値ＴＨＬよりも大きいか否かを判定する（ステップＳ３０３）。

判定部２０が、ピクチャの色差ΔＥ＿ｐｉｃから矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）を減算した減算値が、予め定められる閾値ＴＨＬ以下であると判定した場合（ステップＳ３０３−ＮＯ）、調整部２１ａは、次式（５）に基づいて、ｉ番目の矩形ブロックの目標符号量ＴＢｉｔ＿ｉを算出し、算出したＴＢｉｔ＿ｉをｉ番目の矩形ブロックの調整後の目標符号量ＮＢｉｔ＿ｉとする（ステップＳ３０６）。

式（５）において、ＴＢｉｔ＿ｆｒａｍｅは、記憶部２２ａに予め記憶されている符号化対象画像データの目標符号量であり、調整部２１ａが記憶部２２ａから読み出して取得する。Ｎ＿ｆｒａｍｅは、ブロック分割部１０ａから与えられる符号化対象画像データに含まれる矩形ブロックの数である。Ｂｉｔ＿ｄｏｎｅは、符号化済みブロックの発生符号量であり、Ｎ＿ｄｏｎｅは、符号化済みブロックの数であり、Ｂｉｔ＿ｄｏｎｅとＮ＿ｄｏｎｅの値は、エントロピー符号化部１１２ａから与えられる。なお、通常動作時には、式（５）が、一定の符号化ブロック周期で演算されて、符号化対象画像データごとの目標符号量に近づける処理が行われる。

一方、判定部２０が、ピクチャの色差ΔＥ＿ｐｉｃから矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）を減算した減算値が、予め定められる閾値ＴＨＬよりも大きいと判定した場合（ステップＳ３０３−ＹＥＳ）、調整部２１ａは、式（５）に基づいて、ｉ番目の矩形ブロックの目標符号量ＴＢｉｔ＿ｉを算出する（ステップＳ３０４）。

調整部２１ａは、次式（６）により、調整後の矩形ブロックの目標符号量ＮＢｉｔ＿ｉを算出する（ステップＳ３０５）。

式（６）においてαは、次式（７）によって求められるオフセット符号量である。

式（７）においてａは、スケーリング係数であり、ｂは、オフセット定数である。なお、式（６）の意味するところは、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）より大きい場合であって、閾値ＴＨＬによる判定により、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に大きい場合、相対的に当該矩形ブロックの視覚的劣化が目立たないことから、当該矩形ブロックに対して、大きさに応じた粗い量子化を行って、視覚的劣化を目立たせる代わりに、当該矩形ブロックへの符号量の割り当てを少なくすることを意味している。

一方、判定部２０は、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）以下であると判定した場合（ステップＳ３０２−ＮＯ）、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）からピクチャの色差ΔＥ＿ｐｉｃを減算した減算値を算出し、算出した減算値が、予め定められる閾値ＴＨＳよりも大きいか否かを判定する（ステップＳ３０７）。

判定部２０が、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）からピクチャの色差ΔＥ＿ｐｉｃを減算した減算値が、予め定められる閾値ＴＨＳ以下であると判定した場合（ステップＳ３０７−ＮＯ）、調整部２１ａは、次式（５）に基づいて、ｉ番目の矩形ブロックの目標符号量ＴＢｉｔ＿ｉを算出し、算出したＴＢｉｔ＿ｉをｉ番目の矩形ブロックの調整後の目標符号量ＮＢｉｔ＿ｉとする（ステップＳ３０６）。

判定部２０が、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）からピクチャの色差ΔＥ＿ｐｉｃを減算した減算値が、予め定められる閾値ＴＨＳより大きいと判定した場合（ステップＳ３０７−ＹＥＳ）、調整部２１ａは、次式（５）に基づいて、ｉ番目の矩形ブロックの目標符号量ＴＢｉｔ＿ｉを算出する（ステップＳ３０８）。調整部２１ａは、次式（８）により、調整後の矩形ブロックの目標符号量ＮＢｉｔ＿ｉを算出する（ステップＳ３０９）。

式（８）においてβは、次式（９）によって求められるオフセット符号量である。

式（９）においてａは、スケーリング係数であり、ｂは、オフセット定数である。なお、式（８）の意味するところは、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの視覚的劣化度である色差ΔＥ＿ｂｌｋ（ｉ）以下である場合であって、ピクチャの色差ΔＥ＿ｐｉｃが、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）よりも主観品質に影響を与える程度に小さい場合、当該矩形ブロックでの視覚的劣化が大きくなると推定される。そのため、当該矩形ブロックに対して、小ささに応じた細かい量子化を行って、当該矩形ブロックに割り当てる符号量を増加させる代わりに、視覚的劣化を目立たなくさせている。

調整部２１ａは、調整後の矩形ブロックの目標符号量ＮＢｉｔ＿ｉに基づいて、ｉ番目の矩形ブロックに適用する量子化パラメータを算出する（ステップＳ３１０）。

上記の式（７）及び式（９）のスケーリング係数ａ及びオフセット定数ｂは、予め定められる固定値であり、式（７）と式（９）において、同じ値が予め定められていてもよいし、別の値が予め定められていてもよい。

前述したように、ある輝度値、すなわちＹ成分における色差ＣｂＣｒの微小変化に伴う視覚的劣化を、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊色空間上での距離による色差ΔＥで表す場合、色差ΔＥは低彩度領域で大きく、高彩度領域では小さくなる。つまり、矩形ブロック内の画素値が主に低彩度の画素値で構成されているとき、僅かな画素値の変化によっても色差ΔＥ＿ｂｌｋ（ｉ）の値は大きくなる。これに対して、矩形ブロック内の画素値が主に高彩度の画素値で構成されているとき、色差ΔＥ＿ｂｌｋ（ｉ）の値は小さくなる。

また、色差ΔＥは、低輝度では小さく、高輝度では大きくなる。式（７）及び式（９）のスケーリング係数ａ、オフセット定数ｂは、このような彩度や輝度の違いによる色差ΔＥの影響を調整するためのものであり、例えば、実験的に予め複数の映像により求めた値を固定値として設定する。また、当該固定値に限られず、過去の符号化済みピクチャから得られた符号量と色差ΔＥの比によりピクチャ単位に算出した値を用いてもよいし、過去の符号化済みピクチャの同位置の発生符号量と色差ΔＥの比により矩形ブロック単位に算出した値を用いてもよい。

なお、上記の第２の実施形態において、閾値ＴＨＬと閾値ＴＨＳは、異なる値であってもよいし、同一の値であってもよい。また、第２の実施形態の閾値ＴＨＬと、第１の実施形態の閾値ＴＨＬは、異なる値であってもよいし、同一の値であってもよいし、第２の実施形態の閾値ＴＨＳと、第１の実施形態の閾値ＴＨＳは、異なる値であってもよいし、同一の値であってもよい。また、閾値ＴＨＬと閾値ＴＨＳの各々を複数の異なる閾値とし、図１１及び図１２で示した第１の実施形態の他の構成例のように、ピクチャの色差ΔＥ＿ｐｉｃと、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）の差の値が、複数の異なる閾値によって区切られる範囲のいずれに属するかを判定するようにしてもよい。

例えば、複数の異なる閾値が、ＴＨＬ_１＜ＴＨＬ_２＜…及び、ＴＨＳ_１＜ＴＨＳ_２＜…となっている場合、これらの閾値によって区切られる範囲、例えば、「ΔＥ＿ｐｉｃ−ΔＥ＿ｂｌｋ（ｉ）≦ＴＨＬ_１」，「ＴＨＬ_１＜ΔＥ＿ｐｉｃ−ΔＥ＿ｂｌｋ（ｉ）≦ＴＨＬ_２」，…といった範囲の各々に異なるスケーリング係数ａ、オフセット定数ｂを対応付けておくことで、ピクチャの色差ΔＥ＿ｐｉｃと、矩形ブロックの色差ΔＥ＿ｂｌｋ（ｉ）の差の値の大きさに応じて、調整後の目標符号量ＮＢｉｔ＿ｉの値を増減させることができる。

なお、上記の第２の実施形態において、記憶部２２ａが、予め定められる符号化対象画像データの目標符号量の値を予め記憶するとしているが、本発明の構成は、当該実施の形態に限られない。例えば、ある符号化対象画像データの目標符号量を示す情報が、当該符号化対象画像データに付加されている場合、事前解析部１０１ａが符号化対象画像データを取り込む際に、符号化対象画像データに付加されている目標符号量を示す情報を取り込んで、符号量制御部１０２ａに通知するようにしてもよい。

上記の第２の実施形態の構成により、画像符号化装置１ａにおいて、事前解析部１０１ａのブロック分割部１０ａは、符号化対象画像データを矩形ブロックに分割し、変換処理部１１ａは、矩形ブロックごとに、矩形ブロックに含まれる画素値の平均画素値を算出し、矩形ブロックの各画素値と、矩形ブロックの平均画素値とをＬ＊ａ＊ｂ＊色空間上の座標に変換する。ブロック劣化度算出部１２は、矩形ブロックの各画素値及び平均画素値のＬ＊ａ＊ｂ＊色空間上の座標値に基づいて、矩形ブロックごとの視覚的劣化度であるブロック視覚的劣化度、すなわち色差ΔＥ＿ｂｌｋ（ｉ）を算出する。符号化対象画像劣化度算出部１３は、ブロック視覚的劣化度に基づいて、符号化対象画像データの視覚的劣化度である符号化対象画像視覚的劣化度、すなわち色差ΔＥ＿ｐｉｃを算出する。符号量制御部１０２ａの判定部２０は、色差ΔＥ＿ｂｌｋ（ｉ）と、色差ΔＥ＿ｐｉｃの大小関係を判定する。調整部２１ａは、判定部２０の判定結果と、色差ΔＥ＿ｐｉｃの大きさに対する、色差ΔＥ＿ｂｌｋ（ｉ）と色差ΔＥ＿ｐｉｃの差の値の大きさの割合とに応じて、符号化対象画像データの目標符号量を増減させ、符号化対象画像データの目標符号量にしたがって量子化パラメータを求めて設定する。これにより、事前解析部１０１ａが、符号化対象画像データ全体に対する視覚的な劣化が発生している箇所を符号化処理前に予め検出しておくことができる。そのため、符号化対象ブロック単位毎に以降の符号化処理を行う際、符号量制御部１０２ａが、局所的な視覚的な劣化を抑えるように目標符号量を増減させ、増減させた目標符号量に基づいて量子化パラメータを算出して設定することができる。したがって、映像を構成する広色域と高いダイナミックレンジを有する画像の符号化を行う際に、演算量の増加を抑えつつ、色成分の符号化劣化を低減して主観品質の平準化を行うことが可能となる。

なお、上記の第１及び第２の実施形態において、図５のステップＳ２０２，Ｓ２０３，Ｓ２０６、図１１のステップＳ２０３２，Ｓ２０３５、図１２のステップＳ２０６２，Ｓ２０６５、図１５のステップＳ３０２，Ｓ３０３，Ｓ３０７の判定処理は、いずれも、左辺の値が、右辺の値より大きいか否かを判定しているが、本発明の構成は、当該実施の形態に限られない。左辺の値が、右辺の値以上か否かを判定するようにしてもよい。

また、図５のステップＳ２０２、及び図１５のステップＳ３０２の処理において、ΔＥ＿ｐｉｃとΔＥ＿ｂｌｋ（ｉ）が同一値の場合について以下のような処理にしてもよい。図５及び図１５の処理では、ΔＥ＿ｐｉｃとΔＥ＿ｂｌｋ（ｉ）が同一値の場合、ステップＳ２０２及びステップＳ３０２において、ＮＯの判定となる。ＮＯの判定の場合、その後ステップＳ２０６、及びステップＳ３０７が行われる。

ステップＳ２０６の処理において、閾値ＴＨＳが、０以上の値である場合、ステップＳ２０５の処理により、ΔＱＰ＝０となり、当該矩形ブロックには、量子化パラメータとしてＢａｓｅＱＰが割り当てられることになる。ステップＳ３０７の処理において、閾値ＴＨＳが、０以上の値である場合、ステップＳ３０６の処理により、ＮＢｉｔ＝ＴＢｉｔ＿ｉとなる。

つまり、ΔＥ＿ｐｉｃとΔＥ＿ｂｌｋ（ｉ）が同一値の場合、視覚的な劣化が互いに視覚的劣化が目立つこともないため、図５の処理において、ステップＳ２０２の処理を、三分岐とし、ΔＥ＿ｐｉｃ＞ΔＥ＿ｂｌｋ（ｉ）の場合、ステップＳ２０３に進め、ΔＥ＿ｂｌｋ（ｉ）＞Ｅ＿ｐｉｃの場合、ステップＳ２０６に進め、ΔＥ＿ｐｉｃ＝ΔＥ＿ｂｌｋ（ｉ）の場合、ステップＳ２０５に進めるようにしてもよい。

同様に、図１５の処理においても、三分岐とし、ステップＳ３０２の処理を、ΔＥ＿ｐｉｃ＞ΔＥ＿ｂｌｋ（ｉ）の場合、ステップＳ３０３に進めて、ΔＥ＿ｂｌｋ（ｉ）＞Ｅ＿ｐｉｃの場合、ステップＳ３０７に進めて、ΔＥ＿ｐｉｃ＝ΔＥ＿ｂｌｋ（ｉ）の場合、ステップＳ３０６に進めるようにしてもよい。

上記の第１及び第２の実施形態において、調整部２１は、量子化パラメータ調整オフセットΔＱＰにより量子化パラメータを増減させ、調整部２１ａは、矩形ブロックの目標符号量に応じて量子化パラメータを増減させるようにしているが、本発明の構成は、当該実施の形態に限られない、量子化パラメータ以外の符号化パラメータであってよく、例えば、ＣＵサイズを符号化パラメータとし、判定部２０及び２０ａの判定結果に応じてＣＵサイズを増減させるようにしてもよい。また、第１及び第２の実施形態の量子化パラメータを増減させる構成に加えて、その他の局所的な量子化パラメータの調整を行う構成、量子化パラメータ調整オフセットΔＱＰの調整を行う構成、または目標符号量を調整する構成と組み合わせて利用してもよい。

また、上記の第１及び第２の実施形態では、映像信号を構成する各フレームに閉じた処理として、フレームをあるサイズの矩形ブロックに分割して、（Ａ）矩形ブロック単位にブロック視覚的劣化度を算出する。更に、当該矩形ブロック単位に算出したブロック視覚的劣化度から（Ｂ）フレーム全体、すなわち符号化対象画像データの符号化対象画像視覚的劣化度を算出し、ブロック視覚的劣化度と符号化対象画像視覚的劣化度とに応じて、量子化パラメータを増減させる調整を行っている。

前述したように、ＭＰＥＧ２ ＴＭ５の符号量制御手法は、「（Ｓｔｅｐ１）：Ｉ／Ｐ／Ｂピクチャ単位で目標符号量を決定、（Ｓｔｅｐ２）：実際にあるピクチャを符号化して得られた符号量を符号量制御のための仮想バッファにフィードバックして、当該符号化ブロックのの量子化パラメータを補正、（Ｓｔｅｐ３）：主観品質向上のために、画面内の複雑度（アクティビティ、分散）に応じて量子化パラメータを増減させる調整を行う。」という構成になっている。

しかし、あるピクチャにおいて、当該ピクチャの劣化度合いが大きいからといって、そのピクチャの大部分のブロックで量子化パラメータを減少させる処理を行ってしまうと、当該ピクチャにおける発生符号量が当初の目標符号量に比べて増大してしまう。発生符号量を増大させてしまうと、必然的に、他のピクチャに対して割り当てる符号量が減ってしまうことになり、以降のピクチャに対して十分な符号量を割り得ることができず、画質低下を招いてしまう可能性が高い。

これに対して、上記の第１及び第２の実施形態の構成では、あるピクチャに対して行う符号量を増減させる調整の影響が、残りのピクチャの符号量を定める際に伝播しないように、画面内、すなわち符号化対象画像データ内に閉じた量子化パラメータの調整を行っている。これにより、従来の目標符号量を割り当てる手法と組み合わせることができるというメリットがある。

また、上記の第１及び第２の実施形態の構成では、局所的に目立つ歪みは、全体としての主観品質も低下させてしまうことから、入力データである符号化対象画像データから得られた視覚的劣化度である色差ΔＥに基づいて、局所的に目立つ歪みを符号化対象画像データ全体、すなわちピクチャ全体を平準化する。この平準化により、各ブロックの局所劣化度をピクチャ全体劣化度に近づけさせることで、ピクチャ全体としての歪みの目立ちやすさを抑え、全体としての主観品質向上を行うことを可能としている。

また、上記の第１及び第２の実施形態の構成において、比較の対象とするピクチャの単位は、１枚ずつに限られず、複数枚であってもよく、例えば、ＧＯＰ(Group Of Picture：符号化における一般的なピクチャのグループ)といった単位に拡張してもよい。この場合、例えば、上記において、（Ｂ）フレーム全体、すなわち符号化対象画像データの符号化対象画像視覚的劣化度を定義していたのに加えて、（Ｃ）ピクチャグループ全体の劣化度というものを定義して、その中でピクチャ全体の劣化度を平準化させるようにしてもよい。すなわち、ピクチャグループ全体の劣化を平準化するように、１つのピクチャあたりの目標劣化度を調整して１つのピクチャあたりの劣化度を平準化させ、当該劣化度にあわせて局所ブロックの劣化度を平準化させるように量子化パラメータの調整を行うようにしてもよい。

上述した実施形態における画像符号化装置１，１ａをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０、１０ａ…ブロック分割部，１１、１１ａ…変換処理部，１２…ブロック劣化度算出部，１３…符号化対象画像劣化度算出部，１０１、１０１ａ…事前解析部，１０２、１０２ａ…符号量制御部，１０３…画像分割部，１０４…予測残差信号生成部，１０５…変換・量子化処理部，１０６…逆量子化・逆変換処理部，１０７…復号画像信号生成部，１０８…イントラ予測処理部，１０９…ループフィルタ処理部，１１０…インター予測処理部，１１１…スイッチ部，１１２、１１２ａ…エントロピー符号化部，２０…判定部，２１、２１ａ…調整部，２２、２２ａ…記憶部

Claims (8)

1. 映像を構成する複数のフレームであって高ダイナミックレンジで広色域な画像を含むフレームの各々を符号化対象画像データとし、符号化対象画像の主観品質を平準化するように前記符号化対象画像データを符号化する画像符号化装置であって、
   前記符号化対象画像データをブロックに分割するブロック分割部と、
   前記ブロックごとの画素値に基づいて、前記ブロックごとの視覚的劣化度であるブロック視覚的劣化度を取得するブロック劣化度取得部と、
   前記ブロック視覚的劣化度に基づいて、前記符号化対象画像データの視覚的劣化度である符号化対象画像視覚的劣化度を取得する符号化対象画像劣化度取得部と、
   前記ブロック視覚的劣化度と、当該ブロック視覚的劣化度に対応する前記ブロックを含む前記符号化対象画像データの前記符号化対象画像視覚的劣化度との大小関係を判定する判定部と、
   前記判定部の判定結果に基づいて、前記符号化対象画像データの符号化に用いられる符号化パラメータの値を調整する調整部と、
   調整後の符号化パラメータの値に基づいて前記符号化対象画像データを符号化する符号化部と、
   を備える画像符号化装置。
2. 前記調整部は、
   判定された大小関係に基づき、前記ブロック視覚的劣化度を前記符号化対象画像視覚的劣化度に近づけるように前記符号化パラメータの値を調整する、請求項１に記載の画像符号化装置。
3. 前記ブロック劣化度取得部は、
   前記ブロックごとの画素値を変換して得られる変換値であって前記画素値のばらつきが低彩度において強調される変換値を用いて、前記ブロックごとの視覚的劣化度であるブロック視覚的劣化度を取得する、請求項１又は２に記載の画像符号化装置。
4. 前記符号化パラメータは、量子化パラメータであり、
   前記調整部は、
   前記符号化対象画像データにおける前記ブロックの視覚的劣化を目立たなくさせる場合、前記ブロックに適用する前記量子化パラメータの値を減少させ、前記符号化対象画像データにおける前記ブロックの視覚的劣化が目立たせる場合、前記ブロックに適用する前記量子化パラメータの値を増加させる、請求項２又は３に記載の画像符号化装置。
5. 前記符号化対象画像データに予め定められている初期値としての量子化パラメータの値と、前記ブロックに含まれる前記画素値の輝度成分を平均して得られる平均輝度値とに関連付けられて量子化パラメータ調整オフセットを予め記憶する記憶部を備え、
   前記調整部は、
   前記符号化対象画像データの前記初期値としての量子化パラメータの値と、前記ブロックの前記平均輝度値とに対応する前記量子化パラメータ調整オフセットを前記記憶部から読み出し、読み出した前記量子化パラメータ調整オフセットにより当該ブロックに適用する前記量子化パラメータを増減させる、請求項４に記載の画像符号化装置。
6. 前記符号化パラメータは、量子化パラメータであり、
   前記調整部は、
   前記判定結果と、前記符号化対象画像視覚的劣化度の値の大きさに対する、前記ブロック視覚的劣化度と前記符号化対象画像視覚的劣化度との差の値の大きさの割合とに応じて、前記符号化対象画像データの目標符号量を増減させ、前記符号化対象画像データの目標符号量にしたがって量子化パラメータを求める、請求項１から４のいずれか一項に記載の画像符号化装置。
7. 映像を構成する複数のフレームであって高ダイナミックレンジで広色域な画像を含むフレームの各々を符号化対象画像データとし、符号化対象画像の主観品質を平準化するように前記符号化対象画像データを符号化する画像符号化方法であって、
   前記符号化対象画像データをブロックに分割するブロック分割ステップと、
   前記ブロックごとの画素値に基づいて、前記ブロックごとの視覚的劣化度であるブロック視覚的劣化度を取得するブロック劣化度取得ステップと、
   前記ブロック視覚的劣化度に基づいて、前記符号化対象画像データの視覚的劣化度である符号化対象画像視覚的劣化度を取得する符号化対象画像劣化度取得ステップと、
   前記ブロック視覚的劣化度と、当該ブロック視覚的劣化度に対応する前記ブロックを含む前記符号化対象画像データの前記符号化対象画像視覚的劣化度との大小関係を判定する判定ステップと、
   判定結果に基づいて、前記符号化対象画像データの符号化に用いられる符号化パラメータの値を調整する調整ステップと、
   調整後の符号化パラメータの値に基づいて前記符号化対象画像データを符号化する符号化ステップと、
   を有する画像符号化方法。
8. 映像を構成する複数のフレームであって高ダイナミックレンジで広色域な画像を含むフレームの各々を符号化対象画像データとし、符号化対象画像の主観品質を平準化するように前記符号化対象画像データを符号化するコンピュータに、
   前記符号化対象画像データをブロックに分割するブロック分割ステップと、
   前記ブロックごとの画素値に基づいて、前記ブロックごとの視覚的劣化度であるブロック視覚的劣化度を取得するブロック劣化度取得ステップと、
   前記ブロック視覚的劣化度に基づいて、前記符号化対象画像データの視覚的劣化度である符号化対象画像視覚的劣化度を取得する符号化対象画像劣化度取得ステップと、
   前記ブロック視覚的劣化度と、当該ブロック視覚的劣化度に対応する前記ブロックを含む前記符号化対象画像データの前記符号化対象画像視覚的劣化度との大小関係を判定する判定ステップと、
   判定結果に基づいて、前記符号化対象画像データの符号化に用いられる符号化パラメータの値を調整する調整ステップと、
   調整後の符号化パラメータの値に基づいて前記符号化対象画像データを符号化する符号化ステップと
   を実行させるための画像符号化プログラム。

Images