JP2021103875A - 画像符号化装置及び画像復号装置、並びにそれらの制御方法及びプログラム、及び、撮像装置 - Google Patents

Abstract

【課題】固定長の符号化データを生成しながら、画質劣化を抑制した符号化データを生成する。【解決手段】画像符号化装置は、ブロックの画像データを取得する取得部と、取得した画像データを符号化し、固定長を超えない符号量の符号化データを生成し、固定長となるための不足分のビットを付加して出力する画像符号化部を有する。画像符号化部２０は、着目ブロックの符号量が固定長以下となるように、着目ブロックに含まれる各画素を量子化し、可変長符号化する符号化部と、符号化部で得た着目ブロックの符号量と固定長との差から、固定長となるための空き領域のサイズを判定する判定部と、着目ブロックの各画素の量子化データを解析し、各画素の重要度を示す指標値を算出する解析部と、指標値が示す重要度が大きい画素ほど量子化で損失した多くのビットの値を空き領域に格納して、符号化データと量子化で損失したビットとを多重化する多重化部とを含む。【選択図】図２

Description

本発明は、画像の符号化、復号技術に関するものである。

近年、デジタルビデオカメラなどの撮像装置は、高解像度化、高フレームレート化に伴って、システムで扱う単位時間当たりの画像データ量が著しく増加している。このため、装置内の画像メモリやバスインタフェース回路の高速化が要求されている。これに対し、画像メモリやバスインタフェースの前後で画像の圧縮符号化を行うことが考えられる。すなわち、バスインタフェース上の単位時間当たりのデータ量を抑制することで、回路の高速化の要求度合いを緩和するものである。

この場合、圧縮符号化のための符号化方式は、回路規模及び符号化遅延の小さいことが望まれる。そのため、従来のＪＰＥＧやＭＰＥＧ２に代表されるＤＣＴベースの符号化方式は不向きである。そこで、ＤＰＣＭ（Differential Pulse Code Modulation:差分パルス符号変調）ベースの予測符号化方式での圧縮符号化が提案されている（例えば特許文献１）。

特開２０１６−２１３５２８号公報

ところで、符号化対象の画素ブロック内に急峻なエッジが存在し、そのエッジの存在を保持するためにはエッジ成分に大きな符号長を割り当てる必要がある。しかし、その画素ブロックの符号量を固定とするためには、その画素ブロック全体に対する量子化ステップを大きくする必要がある。その結果、エッジ成分は維持されるようになるものの、元の画素データのディテールが失われ、大きな画質劣化の原因となる。

本発明は上記課題に鑑みてなされたものであり、固定長の符号化データを生成しながらも、符号化ブロック内に急峻なエッジなど複雑な画像が存在した場合にこれまでよりも画質劣化を抑制した符号化データを生成する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
所定の画素数で構成されるブロックを単位として符号化し、予め設定された固定長の符号化データを生成し、出力する画像符号化装置であって、
画像発生源から、前記ブロックの画像データを取得する取得手段と、
該取得手段で取得した画像データを符号化し、前記固定長を超えない符号量の符号化データを生成し、前記固定長となるための不足分のビットを付加して出力する符号化処理手段とを有し、
前記符号化処理手段は、
着目ブロックの符号量が前記固定長以下となるように、当該着目ブロックに含まれる各画素を量子化し、当該量子化で得た量子化データを可変長符号化する可変長符号化手段と、
該可変長符号化手段で得た前記着目ブロックの符号量と前記固定長との差から、当該固定長となるための空き領域のサイズを判定する判定手段と、
前記着目ブロックの各画素の量子化データを解析し、各画素の重要度を示す指標値を算出する解析手段と、
前記指標値が示す重要度が大きい画素ほど前記量子化で損失した多くのビットの値を前記空き領域に格納することで、前記可変長符号化手段で得た符号化データと量子化で損失したビットとを多重化し、前記固定長のデータを生成する多重化手段とを含むことを特徴とする。

本発明によれば、固定長の符号化データを生成しながらも、符号化ブロック内に急峻なエッジなど複雑な画像が存在した場合であっても、これまでよりも画質劣化を抑制した符号化データを生成することが可能になる。

実施形態における画像処理装置のブロック構成図。 画像符号化部のブロック構成図。 画像復号化部のブロック構成図。 符号化部の詳細を示すブロック構成図。 符号化対象となる画像データの形式を示す図。 量子化データと損失ビットについての説明するための図。 符号化モード及び適用ＱＰの決定処理のフローチャート。 図７のＳ７０４の処理の詳細を示すフローチャート。 ブロック符号長と劣化度の関係の具体例を示す図。 特徴解析処理を示すフローチャート。 図１０のＳ１００４の特徴分類方法を示すフローチャート。 ＤＰＣＭモードにおける符号化データのフォーマットを示す図。 ＤＰＣＭモードにおいて損失ビットを格納する方法の説明図。 ＰＣＭモードにおける符号化データのフォーマットを示す図。 第２の実施形態における特徴解析部における特徴解析処理を示すフローチャート。 第２の実施形態における特徴解析処理で生成される各サブバンドの具体例を示す図。 第３の実施形態における符号化モード及び適用ＱＰの決定処理のフローチャート。 第３の実施形態におけるＰＣＭモードでの符号化データのフォーマットを示す図。 第３の実施形態におけるＰＣＭモードにおいて損失ビットを格納する方法の説明図。 第４の実施形態における画像処理装置のブロック構成図。 第４の実施形態における撮像部のブロック構成図。 第４の実施形態における画素部から水平転送回路までの信号の流れを示す図。 第４の実施形態における画素部の画素配列を示す図。 第４の実施形態における画素部の露光時間の設定を示す図。 第４の実施形態における撮像部が通常モードで動作する場合の画像の出力形式を示す図。 第４の実施形態における撮像部がＨＤＲモードで動作する場合の画像の出力形式を示す図。 第４の実施形態における画像合成部のブロック構成図。 第４の実施形態におけるゲイン補正部の行う補正の詳細を示す図。 第４の実施形態における合成部が行う低感度画像と高感度画像の合成方法の一例を示す図。 第４の実施形態における撮像部がＨＤＲモードで動作する場合の、特徴解析部における特徴解析処理の概要を示すフローチャート。 第４の実施形態における撮像部がＨＤＲモードで動作する場合の、特徴解析部における特徴解析処理の詳細を示すフローチャート。 第４の実施形態における撮像部がＨＤＲモードで動作する場合の、特徴解析部における特徴解析処理の詳細を示すフローチャート。 第４の実施形態における撮像部がＨＤＲモードで動作する場合の、特徴解析部における特徴解析処理の詳細を示すフローチャート。 第４の実施形態における撮像部がＨＤＲモードで動作する場合の、特徴解析部における特徴解析処理の詳細を示すフローチャート。 第５の実施形態における列アンプのうち、ある列だけを抜き出した回路の構成を示す図。 第６の実施形態における撮像部の動作タイミング例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
＜画像処理装置の全体の説明＞
図１は、画像符号化装置及び画像復号化装置の機能を持つ画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、取得部１０、画像符号化部２０、メモリ３０、画像復号部４０を有する。

画像処理装置１００の各ブロックの機能は、撮像素子やメモリ３０の記憶素子のような物理的デバイスを除き、ソフトウェア及びハードウェアのいずれによって実装されていてもよい。例えば、各ブロックの機能は、専用のデバイス、ロジック回路、及びメモリなどのハードウェアにより実装されてもよい。或いは、各ブロックの機能は、メモリ、メモリに記憶されている処理プログラム、及び処理プログラムを実行するＣＰＵ等のコンピュータにより実装されてもよい。画像処理装置１００は、例えばデジタルカメラとして実施することができるが、それ以外の装置として実施することもできる。例えば、画像処理装置１００は、パーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末又は撮像装置として実施することができる。

取得部１０は、画像発生源から画像データを取得する機能を有する。画像発生源は、例えば、撮像素子を備える撮像部であってもよいし、外部から伝送路を介して画像データを受信する通信部であってもよい。或いは、取得部１０は、記録媒体などから画像データを読み出すインタフェースを介して取得してもよい。また、取得される画像データは、静止画データであってもよいし、動画データであってもよい。取得部１０が取得する画像データが動画データの場合、複数のフレームが連続的に取得されてもよい。取得部１０は、取得した画像データを、画像符号化部２０に供給する。

画像符号化部２０は、取得部１０から供給される画像データを、後述する符号化方式に従って符号化し、情報量が圧縮された符号化データを出力する。出力された符号化データは、メモリ３０に記憶される。このメモリ３０は、バッファメモリとして機能し、画像符号化部２０から出力された符号化データを記憶するために必要な記憶容量を有する。

画像復号部４０は、メモリ３０に保持された符号化データを読み出し、後述する復号方式により画像データに復号し、復号化画像データを後段の処理部（不図示）に出力する。

なお、図１では、取得部１０、画像符号化部２０、メモリ３０、及び画像復号部４０の各々を独立して図示しているが、これらのブロックの一部又は全部が１チップに統合されていてもよい。

＜画像符号化部の説明＞
本実施形態の画像符号化部２０は、所定の画素数で構成される着目ブロックに含まれる各画素を符号化し、予め設定された固定長以下の符号量の符号化データを生成し、固定長となるための不足分のビット（後述する損失ビット）を付加して出力する。図２は、本実施形態の画像符号化部２０のブロック構成図である。以下、同図を参照してその構成と動作を説明する。

画像符号化部２０は、仮符号化系２１０及び本符号化系２２０を含む。仮符号化系２１０は、符号化部２１１Ａ〜２１１Ｄ及びＱＰ決定部２１５を含み、本符号化系２２０が本符号化を行う際に使用する符号化モード及び量子化パラメータ（ＱＰ）を決定するように動作する。本符号化系２２０は、遅延部２２１、符号化部２１１Ｅ、多重化部２２３、逆量子化部２２４、及び特徴解析部２２５を含む。そして、本符号化系２２０は、仮符号化系２１０で決定された符号化モード及びＱＰに従って、量子化処理を含む本符号化を実行するように動作する。なお、以下の説明においては、符号化部２１１Ａ〜２１１Ｅは、その内部構成が同じであるので、これらを総称して符号化部２１１と呼ぶ場合がある。

画像符号化部２０は、専用のデバイス、ロジック回路、及びメモリなどを含む一体的なハードウェアとして構成されてもよいし、複数のデバイス等で分散して構成されてもよい。或いは、画像符号化部２０は、メモリ、メモリに記憶されている処理プログラム、及び処理プログラムを実行するＣＰＵ等のコンピュータにより実装されてもよい。

画像符号化部２０は、取得部１０が取得した符号化対象となる画像データを、入力端子２０１を介して入力する。以下の説明においては、画像データの形式として、図５（ａ）に示すＲＧＢ形式を例として用いるものとする。また、画像データは、ラスタースキャン順に入力され、各カラー要素であるＲ（赤）、Ｇ（緑）、Ｂ（青）の各画素データは、時分割に多重されており順次入力されるものとする。また、本実施形態における各画素のビット深度は１０ビットであるものとする。なお、画像データの形式やビット深度は図５（ａ）に示すＲＧＢ形式に限定されない。なお、入力する画像データの形式は、図５（ｂ）に示すＹＣｂＣｒ４：２：２の形式であってもよいし、図５（ｃ）に示すベイヤー配列の形式であってもよい。さらに、画像データのビット深度は８ビットや１２ビットなどであってもよい。

＜符号化ブロックの説明＞
本実施形態において画像符号化部２０が実行する画像符号化処理では、符号化対象の画像データは、所定サイズ（画素数）を有するブロック（符号化ブロック）に分割され、符号化ブロック単位に符号化が行われるものとする。以下の説明においては、図５（ａ）に示すように、符号化ブロックは水平８画素×垂直１画素×３色成分＝２４個のデータにより構成されるものとする。図５（ａ）に示すように、符号化ブロックは、Ｒ、Ｇ、Ｂの各色成分を持つ計８画素で構成され、ラスタースキャン順にＲ０、Ｇ０、Ｂ０、Ｒ１、Ｇ１、Ｂ１、…の順に並んでいる。Ｒ０、Ｇ０，Ｂ０は１つの画素を構成する色成分を表すが、実施形態では、個々の色成分を便宜的に「画素」と言う。故に、図５（ａ）では、２４個のデータについても０乃至２３の画素番号を割り当てている。そして、符号化は、符号化ブロック内の画素番号が小さいものから順に処理されるものとする。

なお、符号化ブロックの構成は、図５（ａ）に示す構成に限定されない。例えば、前述したＹＣｂＣｒ４：２：２の形式の画像データの場合、図５（ｂ）に示すように、符号化ブロックは、Ｙが１６個、Ｃｂが８個、Ｃｒが８個の計３２個のデータから構成されてもよい。図５（ｂ）の場合、画素番号は０乃至３１が割り当てられることになる。

或いは、前述したベイヤー配列の形式の画像データの場合、図５（ｃ）に示すように、符号化ブロックは、Ｇｒが８個、Ｇｂが８個、Ｒが８個、Ｂが８個の計３２個から構成されてもよい。図５（ｃ）は、画素番号は０乃至３１が割り当てられることになる。なお、或いは、ベイヤー配列の場合、水平２４画素、垂直２画素のように２次元構造であってもよい。

本実施形態では、図５（ａ）に示す符号化ブロックに対する圧縮率は、６／１０として説明を行う。符号化前の画像データの情報量は、符号化ブロックあたり２４画素×１０ビット＝２４０ビットであるため、各符号化ブロックの目標符号量は１４４ビットとなる。また、画像符号化部２０は、各符号化ブロックについて、前述の目標符号量を上回らないように符号化モード及びＱＰを選択する。符号化モードには、量子化された画像データを符号データとして用いるＰＣＭモードと、画像データを量子化した後に予測値との差分値を符号化するＤＰＣＭモードとがある。なお、目標符号量の１４４ビットは、あくまで、理解を容易にするための例示であると理解されたい。

＜符号化部２１１の詳細＞
図３は、符号化部２１１（符号化部２１１Ａ乃至２１１Ｅ）の詳細な構成を示すブロック図である。図３に示すように、符号化部２１１は、量子化部３０１、予測部３０２、減算器３０３、可変長符号化部３０４、符号長算出部３０５、セレクタ３０７、及びセレクタ３０８を含む。

符号化部２１１には、符号化ブロック単位の画像データ、符号化モードフラグ、及び量子化パラメータＱＰが与えられる。仮符号化系２１０の場合、ＱＰは符号化部２１１Ａ〜２１１Ｄのそれぞれに対して固定値として予め割り当てられている。実施形態では、図２に示すように、符号化部２１１Ａから２１１Ｄの順に、ＱＰとして０、１、２、３がそれぞれ割り当てられている。仮符号化系２１０の場合、符号化部２１１Ａ〜２１１Ｄの各々が予めＱＰの値を保持していてもよい。また、仮符号化系２１０の場合、符号化モードフラグは、ＤＰＣＭモードを示す固定値として入力される。仮符号化系２１０で決定された符号化モードフラグ及びＱＰは、ＱＰ決定部２１５から、本符号化系２２０の符号化部２１１Ｅに、遅延部２２１を介して供給される。以下、符号化部２１１の具体的構成及びその動作について詳述する。

まず、符号化部２１１に入力された符号化ブロックの画像データ（実施形態では、図５（ａ）の２４個の画素データ）は、量子化部３０１に入力される。量子化部３０１は、与えられたＱＰに従って入力画像データの各画素データを量子化し、量子化データと、量子化によって損失したビットデータ（損失ビットと呼ぶ）を生成する。そして、量子化部３０１は、生成した量子化データを、予測部３０２、減算器３０３、及び、符号化部２１１の外部それぞれに出力する。また、量子化部３０１は、生成した損失ビットを、符号化部２１１の外部に出力する。

本実施形態では、ＱＰの値を、０を最小値とする整数値とし、０から３までの範囲で変更できるものとして説明を行う。しかしながら、より大きなＱＰの値を設定して更に大きな量子化ステップを使用してもよい。

本実施形態において、量子化部３０１は、ＱＰが小さいほど量子化ステップを小さく（細かく）し、ＱＰが大きいほど量子化ステップを大きく（粗く）する。具体的には、量子化データは式１で表される演算により生成され、損失ビットは式２で表される演算により生成される。
Ｑｕａｎｔ＝ Ｄａｔａ ＞＞ ＱＰ …（１）
Ｌｏｓｓ ＝ Ｄａｔａ − （Ｑuant ＜＜ ＱＰ） …（２）
ここで、Ｑuantは量子化データ、Ｌossは損失ビット、Ｄataは入力画像データ、ＱＰは量子化パラメータである。また、＞＞は右シフト算を示し、＜＜は左シフト算を示している。上記を別な言い方で表すとするなら、量子化データＱｕａｎｔは、画素データの値を２^QPで除算した際の商であり、その有効ビット数が１０ビットから１０−ＱＰビットに減じられることを示している。また、損失ビットＬｏｓｓはその除算にて切り捨てられる余りを表し、そのビット数はＱＰであることを示している。

ここで、図６（ａ）〜（ｄ）を参照して、量子化データと損失ビットについて説明する。図６（ａ）〜（ｄ）は、画像データの符号化ブロックの全ビットを示す図であって、水平方向に２４個の画素データの並びを表しており、垂直方向に１０ビットのビット深度（ｂｉｔ０〜ｂｉｔ９）を表している。

図６（ａ）は、ＱＰ＝０に対応する量子化データ（符号化部２１１Ａの量子化部３０１の出力）を表しており、入力データは量子化されずにそのまま出力されることを示している。この場合、損失ビットは存在しない。

図６（ｂ）は、ＱＰ＝１に対応する量子化データ及び損失ビット（符号化部２１１Ｂの量子化部３０１の出力）を表しており、上位９ビットが量子化データとして出力され、下位１ビットが損失ビットとして出力されることを示している。

図６（ｃ）は、ＱＰ＝２に対応する量子化データ及び損失ビット（符号化部２１１Ｃの量子化部３０１の出力）を表しており、上位８ビットが量子化データとして出力され、下位２ビットが損失ビットとして出力されることを示している。

図６（ｄ）は、ＱＰ＝３に対応する量子化データ及び損失ビット（符号化部２１１Ｄの量子化部３０１の出力）を表しており、上位７ビットが量子化データとして出力され、下位３ビットが損失ビットとして出力されることを示している。

本実施形態において、例えばＱＰを“Ａ”から“Ａ＋１”（実施形態ではＡは０，１，２のいずれか）に１つ増加させることを、量子化ステップを１段上げる、１段大きくする、もしくは、１段粗くする等と表現する。逆に、ＱＰを“Ｂ”から“Ｂ−１”（実施形態ではＢは、１，２，３のいずれか）に１つ減少させることを、量子化ステップを１段下げる、１段小さくする、もしくは１段細かくする等と表現する。

なお、本実施形態ではＱＰが１増える毎に、量子化データが１ビット減少するような量子化を行ったが、必ずしもこの方法に限定されない。例えば、量子化部３０１は、非線形量子化を行うこともできる。

符号長算出部３０５は、量子化部３０１から出力された１画素当たりの量子化データの符号長を、画像データのビット深度（本実施形態では１０ビット）とＱＰから、次式（３）を用いて決定する。
量子化データ長＝画像データのビット深度−ＱＰ …（３）
本実施形態では、ＱＰの値が１増える毎に、量子化データの符号長が１ビットずつ減少する。よって、ＱＰ＝０を初期値として、ＱＰが１増える毎に、量子化データの符号長は１０ビットから１ビットずつ短くなる。ここで、仮符号化系２１０では、ＱＰの値は符号化部２１１Ａ〜２１１Ｄのそれぞれについて固定的に割り当てられているので、量子化データ符号長も固定値となる。よって、符号長算出部３０５は、式３の演算により量子化データ符号長を算出するのではなく、割り当てられたＱＰの値に基づく量子化データ符号長の固定値を保持して出力する構成であってもよい。符号長算出部３０５は、決定した量子化データ符号長をセレクタ３０８に出力する。

次に、予測部３０２の動作を説明する。予測部３０２は、周辺の量子化データを用いて現在の量子化データの予測データ（現在の画素の量子化値の予測値）を生成する。簡易な方法としては、同じ色成分の前画素をそのまま予測データとする方法がある。例えば、本実施形態では、図５（ａ）に示すようにＲＧＢの各カラー要素の画像データが順に入力され、画像データＧ０の符号化後、次にＧ１を符号化するまでに、画像データＢ０、Ｒ１を先に符号化する。よって、予測部３０２は、量子化データを３画素分遅延させて予測データとして出力する。また、予測部３０２は、同じ色成分の複数の前画素を用いて、線形予測などの演算を行ってもよい。あるいは、符号化ブロックが２次元構造であれば、同じ色成分の周辺画素による平面予測や、ＪＰＥＧ−ＬＳで採用されているＭＥＤ予測などの演算を行ってもよい。なお、各色成分の符号化ブロックの最初の３画素（Ｒ０、Ｇ０、Ｂ０）については、前画素が存在しない。そのため、予測部３０２は、符号化ブロックの最初の３画素については、所定の値（たとえば０）を予測データとして減算器３０３に出力する。

減算器３０３は、量子化部３０１からの量子化データと、予測部３０２からの予測データとの差分を予測差分データとして、可変長符号化部３０４へ出力する。予測差分データは正負の値を持つデータであり、画像データの変動の小さい平坦な部分では０付近の値となり、変動の大きいエッジ部分などでは大きな値になる。予測差分データは、一般に０を中心としたラプラス分布の特性を持つ。

可変長符号化部３０４は、入力された予測差分データに対して所定の可変長符号化方式による符号化を行って、１画素毎に可変長符号データと可変長符号データ符号長を生成する。そして、可変長符号化部３０４は、生成した可変長符号データをセレクタ３０７へ出力し、可変長符号データ符号長をセレクタ３０８に出力する。可変長符号化方式としては、例えばハフマン符号、ゴロム符号などを使用することができる。可変長符号化部３０４が実行する可変長符号化方式では、入力値が０の場合に最も短い符号長の符号データが割り当てられており、入力値の絶対値が大きくなるほど、符号データの符号長は長くなる。

セレクタ３０７は、量子化データと可変長符号データを入力し、符号化モードフラグに従っていずれか一方を選択し、選択したデータを符号化データとして符号化部２１１の外部へ出力する。実施形態のセレクタ３０７は、符号化モードフラグの値が０の場合は可変長符号データを選択し、符号化モードフラグの値が１の場合は量子化データを選択する。

セレクタ３０８は、量子化データ符号長と可変長符号データ符号長を入力し、符号化モードフラグに従っていずれか一方を選択し、選択した符号長を符号化部２１１の外部へ出力する。実施形態のセレクタ３０８は、符号化モードフラグの値が０の場合は、可変長符号データ符号長を選択し、符号化モードフラグの値が１の場合は量子化データ符号長を選択する。

ここで、符号化モードについて説明する。符号化部２１１は、符号化モードを表す符号化モードフラグに応じて、ＤＰＣＭモードとＰＣＭモードを切り替えて動作する。ＤＰＣＭモードは、量子化部３０１で量子化された量子化データと予測部３０２で生成された予測データを用いて減算器３０３により予測差分データを生成し、可変長符号化部３０４により可変長符号化を行うモードである。ＤＰＣＭモードの場合、画像データやＱＰによって可変長符号データが生成される。ＤＰＣＭモードでは、符号化モードフラグは“０”となる。一方、ＰＣＭモードは、入力された画像データをそのまま量子化部３０１により量子化して量子化データとして出力するモードである。ＰＣＭモードの場合、ＱＰによって定まる固定長の符号データが生成される。ＤＰＣＭモードでは、符号化モードフラグは“１”となる。

なお、ＰＣＭモードにおいては、後述する符号データの多重化において、符号データがＰＣＭモードで生成されたものであることを示す１ビットのフラグを多重化する必要がある。そのため、符号化ブロックの画素のうち所定の１画素はＱＰを１段上げて量子化し、他の画素より１ビット少ない符号データ及び符号長を出力するように動作する。所定の１画素は、例えば符号化ブロックの左端（最初）に位置する画素とする。

＜仮符号化系の説明＞
ここで再び図２の画像符号化部２０を参照して、仮符号化系２１０における仮符号化処理について説明する。図２の仮符号化系２１０に入力された画像データは、複数の符号化部２１１Ａ〜２１１Ｄによって、符号化モードがＤＰＣＭで、且つ、ＱＰが０〜３でそれぞれ仮符号化が行われる。そして、符号化部２１１Ａ〜２１１Ｄは、符号化結果をＱＰ決定部２１５に出力する。符号化部２１１Ａ〜２１１Ｄから出力される信号には、図３に示すように、符号データ、符号長、量子化データ、及び損失ビットの出力信号が存在するが、この仮符号化系２１０では符号長（可変長符号データの符号長）のみを使用することとする。

なお、本実施形態では符号化に用いるＱＰの範囲として０〜３としたため、仮符号化系２１０は４つの符号化部２１１Ａ〜２１１Ｄを備えている。しかし、これは説明を具現化し、単純化するためであり、符号化に用いるＱＰの範囲に応じて、符号化部２１１の数を変更することができる。

ＱＰ決定部２１５は、前段の符号化部２１１Ａ〜２１１Ｄから入力されたＱＰ毎の、１符号化ブロック分の符号長の情報に基づき、本符号化系２２０における着目符号化ブロックのＱＰ（適用ＱＰと呼ぶ）を決定する。なお実施形態におけるＱＰ決定部２１５は、符号化部２１１Ａ〜２１１Ｄそれぞれから入力するデータを一時的に格納するバッファを内蔵しているものとする。以下、ＱＰ決定部２１５における適用ＱＰの決定方法の詳細を説明する。

図７を参照して、ＱＰ決定部２１５における適用ＱＰの決定処理の詳細を説明する。

まず、Ｓ７０１にて、ＱＰ決定部２１５は、符号化部２１１Ａ〜２１１Ｄから、各符号化部に割り当てられたＱＰ毎に算出された符号長の情報を、画素単位で取得する。

Ｓ７０２にて、ＱＰ決定部２１５は、取得した画素単位の符号長の合計を用いて、ＱＰ毎に、符号化ブロック全体の符号長（以下、ブロック符号長）を算出する。実施形態では、仮符号化系２１０には、４つの符号化部２１１Ａ〜２１１Ｄが存在するので、ＱＰ決定部２１５は、４つのブロック符号長を算出することになる。なおブロック符号長の算出に際しては、符号化データに多重するヘッダ情報の符号長を加味する必要がある。ヘッダ情報とは、復号時に必要な符号化ブロック毎の情報である。ヘッダ情報の符号長は、本実施形態ではＱＰ（０〜３）の表現のための２ビットと、符号化モードフラグのための１ビットの合計３ビットとなる。従って、Ｓ７０２にて、ＱＰ決定部２１５は、ヘッダ情報の符号長ｈｄ＿ｓｉｚｅ（＝３ビット）と、画素単位の符号長の合計とを加算することにより、ブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］の算出を行う（ここで、ｑｐは、ＱＰに対応する値である）。なお、ＱＰの表現のためのビット数は、符号化に用いるＱＰの範囲に応じて変更することができる。

Ｓ７０３にて、ＱＰ決定部２１５は、目標符号量ｔａｒｇｅｔ＿ｓｉｚｅ（実施形態では、１４４ビット）と、ＱＰ毎のブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］とを用いて、空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ］と、損失ビット数ｌｏｓｓ＿ｎｕｍ［ｑｐ］とをＱＰ毎に算出する。また、ＱＰ決定部２１５は、空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ］と、損失ビット数ｌｏｓｓ＿ｎｕｍ［ｑｐ］とを用いて、劣化度ｂｌ＿ｄｉｓｔ［ｑｐ］をＱＰ毎に算出する。

空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ］は、次式（４）により算出される。
free_num[qp] = target_size - bl_size[qp] …（４）
空きビット数は、式４に示されるように、目標符号量からブロック符号長を減算した値である。空きビット数が正の値の場合、対応するＱＰでのブロック符号長が目標符号量より小さいことを示している。空きビット数が負の値の場合、対応するＱＰでのブロック符号長が目標符号量より大きいことを示している。

損失ビット数ｌｏｓｓ＿ｎｕｍ［ｑｐ］は、次式（５）により算出される。
loss_num[qp] = qp × pix_num …（５）
ここで、ｐｉｘ＿ｎｕｍは、符号化ブロックの画素数（実施形態では“２４”）である。

損失ビット数ｌｏｓｓ＿ｎｕｍ［ｑｐ］は、量子化により損失するビット数を示しており、ＱＰと符号化ブロックの画素数とにより一意に定まる値である。ここで、本実施形態の符号化ブロックの画素数ｐｉｘ＿ｎｕｍ＝２４であるため、ＱＰ＝２の場合の損失ビット数ｌｏｓｓ＿ｎｕｍ［２］は４８となる。

劣化度ｂｌ＿ｄｉｓｔ［ｑｐ］は次式（６）により算出される。
bl_dist[qp] = loss_num[qp] - free_num[qp] …（６）
劣化度ｂｌ＿ｄｉｓｔ［ｑｐ］は、符号化劣化の度合いを示している。本実施形態では、ブロック符号長が目標符号量より小さい場合、量子化により損失したビットデータ（損失ビット）を空きビット領域にできるだけ格納するように符号化が行われる。復号時には、空きビット領域に格納された損失ビットを復元することによって量子化による劣化が低減される。そのため、最終的な劣化の度合いは、損失ビット数から空きビット数を減算した値となる。

Ｓ７０４で、ＱＰ決定部２１５は、Ｓ７０２で算出したｂｌ＿ｓｉｚｅ［ｑｐ］と、Ｓ７０３で算出したｂｌ＿ｄｉｓｔ［ｑｐ］とを用いて、符号化モード及び適用ＱＰを決定する。

ここで図８を参照して、Ｓ７０４の処理の詳細について説明する。

Ｓ８０１にて、ＱＰ決定部２１５は、いくつかの変数を初期化する。具体的には、ＱＰ決定部２１５は、ｑｐ（ＱＰの値）を０に初期化し、ｍｉｎ＿ｄｉｓｔ（最小劣化度の値）を予め設定されたＭＡＸ＿ＤＩＳＴに初期化する。また、ＱＰ決定部２１５は、ｓｅｌ＿ｑｐ（適用ＱＰ）をＭＡＸ＿ＱＰ＋１の値に初期化する。ここで、ＭＡＸ＿ＤＩＳＴは、符号化ブロックの劣化度として取りうる最大の値であり、符号化前の画像データの情報量から目標符号量を減じた値となる。本実施形態では、ＭＡＸ＿ＤＩＳＴ＝２４０−１４４＝９６である。また、ＭＡＸ＿ＱＰは、符号化に用いるＱＰの最大値である。本実施形態ではＭＡＸ＿ＱＰは３であるため、ｓｅｌ＿ｑｐは４に初期化される。ｓｅｌ＿ｑｐの初期値は、以下に説明する適用ＱＰを選定する条件がいずれのＱＰでも満たされない場合に適用されるＱＰとして初期化される。

Ｓ８０２で、ＱＰ決定部２１５は、現在のＱＰ（変数ｑｐ）における符号化ブロックの符号長ｂｌ＿ｓｉｚｅ［ｑｐ］が目標符号量ｔａｒｇｅｔ＿ｓｉｚｅ以下であって、かつ、符号化ブロックの劣化度ｂｌ＿ｄｉｓｔ［ｑｐ］がｍｉｎ＿ｄｉｓｔより小さいという条件が成立しているか否かを判定する。この条件が成立している場合、ＱＰ決定部２１５は処理をＳ８０３に進め、成立しない場合は処理をＳ８０４に進める。

Ｓ８０３で、ＱＰ決定部２１５は、選定すべきＱＰの候補として、ｑｐをｓｅｌ＿ｑｐに代入する。また、ＱＰ決定部２１５は、劣化度ｂｌ＿ｄｉｓｔ［ｑｐ］をｍｉｎ＿ｄｉｓｔに代入する。また、この時点で符号化モードとしてＤＰＣＭモードを使用することが決定するので、ＱＰ決定部２１５は、ｅｎｃ＿ｍｏｄｅをＤＰＣＭモードに設定する。

Ｓ８０４で、ＱＰ決定部２１５は、現在のＱＰ（変数ｑｐ）の値が最大値ＭＡＸ＿ＱＰよりも小さいか否かを判定する。ｑｐ＜ＭＡＸ＿ＱＰの場合、処理はＳ８０５に進み、そうでない場合、本フローチャートの処理は終了する。

Ｓ８０５で、ＱＰ決定部２１５は、ｑｐに１を加算する。その後、再びＳ８０２から、次のＱＰ値について同様の処理が行われる。

なお、Ｓ８０２において一度も「ＹＥＳ」と判定されずに、Ｓ８０４において「ＮＯ」と判定された場合、ＤＰＣＭモードでは目標符号量より小さいブロック符号長を持つＱＰが存在せず、ブロック符号長を目標符号量に収めることができないことを意味する。この場合、ｅｎｃ＿ｍｏｄｅ及びｓｅｌ＿ｑｐがそれぞれＳ８０１で初期化したＰＣＭモード及び４（＝ＭＡＸ＿ＱＰ＋１）のまま、図８の処理が終了する。

上記の結果、ブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］のいずれかが目標符号量以下であった場合、ＤＰＣＭモードが選択され、符号化ブロックの劣化度ｂｌ＿ｄｉｓｔ［ｑｐ］が最小となるＱＰが適用ＱＰとして選択されることになる。また、ブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］のいずれもが目標符号量を超えた場合はＰＣＭモードが選択され、ＱＰ値の最大値（ＭＡＸ＿ＱＰ）に１加算したｑｐ値“４”が適用ＱＰとして使用される。

図９は、ｂｌ＿ｓｉｚｅ［ｑｐ］とｂｌ＿ｄｉｓｔ［ｑｐ］との関係の具体例を示す図である。図９（ａ）の例は、ＱＰ＝３の場合に、ブロック符号長ｂｌ＿ｓｉｚｅ［３］＝９２ビットが目標符号量１４４ビット以下であり、劣化度ｂｌ＿ｄｉｓｔ［３］＝２０が最小である。そのため、図９（ａ）の場合、ＱＰ＝３が適用ＱＰとして選択され、符号化モードとしてＤＰＣＭモードが選択されることになる。図９（ｂ）の例では、いずれのＱＰについてもブロック符号長が目標符号量を超えている。そのため、適用ＱＰとして“４”が選択され、符号化モードとしてＰＣＭモードが選択される。

なお、式（６）を参照して説明した通り、劣化度ｂｌ＿ｄｉｓｔ［ｑｐ］は、損失ビット数ｌｏｓｓ＿ｎｕｍ［ｑｐ］から空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ］を引いた値である。ここで、式（６）の空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ］に式（４）の右辺を代入すると、下記の式（７）が得られる。
bl_dist[qp] = loss_num[qp] - (target_size - bl_size[qp])
= loss_num[qp] + bl_size[qp] - target_size …（７）
式（７）において、ｔａｒｇｅｔ＿ｓｉｚｅはＱＰの値に関わらず一定であり、ブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］のうちのヘッダ情報に対応する符号長もＱＰの値に関わらず一定である。そのため、ＱＰ間の劣化度の大小関係は、符号化部２１１が出力した符号長の合計（ブロック符号長）及び損失ビット数ｌｏｓｓ＿ｎｕｍ［ｑｐ］によって定まる。従って、ＱＰ決定部２１５は、劣化度を算出しなくても、符号長及び損失ビット数に基づいて適用ＱＰ及び符号化モードを決定することができる。図９（ａ）の例では、ＱＰ＝３の場合に符号長及び損失ビット数の和が最小値となるため、ＱＰ＝３が適用ＱＰとして決定される。また、図９（ｂ）の例では、各ＱＰに対応する符号長のいずれも目標符号量を超えている。従って、符号化ブロックの符号量が目標符号量以下となるよう、ＱＰ＝４が適用ＱＰとして決定される。

＜本符号化系２２０における符号化処理＞
ここで再び図２を参照して、本符号化系２２０における符号化処理について説明する。

本符号化系２２０には、仮符号化系２１０に入力された符号化ブロックの画像データと同一の画像データが入力される。しかしながら、本符号化系２２０の符号化処理は、仮符号化系２１０のＱＰ決定部２１５が符号化モード及び適用ＱＰを決定して出力するまで開始することができない。そこで、符号化ブロックの入力画像データは最初に遅延部２２１に入力され、仮符号化系２１０が符号化モード及び適用ＱＰを決定するために必要な処理サイクル分だけ遅延される。遅延した符号化ブロックの画像データは、遅延部２２１から符号化部２１１Ｅへ入力される。これにより、符号化部２１１Ｅは、仮符号化系２１０により決定された符号化モード及び適用ＱＰを用いて符号化を行うことができる。

符号化部２１１Ｅには、遅延した符号化ブロックの画像データ、ＱＰ決定部２１５が決定した符号化モードフラグ、及び適用ＱＰが供給される。そして、符号化部２１１Ｅは、入力された符号化モードフラグ、及び適用ＱＰに従って、遅延した画像データに対する本符号化を行う。これにより、ＱＰ決定部２１５が決定したブロック符号長と同じ符号長の符号データが生成される。符号化部２１１Ｅは、生成した符号データを、符号長及び損失ビットと共に多重化部２２３に出力する。また、符号化部２１１Ｅは、適用ＱＰに従って量子化された量子化データを逆量子化部２２４へ出力する。

逆量子化部２２４は、ＱＰ決定部２１５が出力した適用ＱＰを用いて、符号化部２１１Ｅからの量子化データを逆量子化することにより、逆量子化データを生成する。また、逆量子化部２２４は、逆量子化データを特徴解析部２２５へ出力する。

ここで、適用ＱＰを用いて逆量子化した逆量子化データのビット深度は、常に入力画像データと同じビット深度となる。よって、本実施形態における特徴解析部２２５は、常に入力画像データのビット深度と同じ１０ビットのデータに対して特徴解析を行う。しかしながら、特徴解析部２２５があらゆるビット深度の処理に対応している場合は、必ずしも本実施形態のように逆量子化部２２４を設ける必要はない。その場合、符号化部２１１Ｅから出力された量子化データを、そのまま特徴解析部２２５が解析する構成であってもよい。

特徴解析部２２５は、逆量子化部２２４から出力される複数の逆量子化データを解析し、符号化ブロック内で人間の視覚的に劣化が目立ちやすい箇所を検出する。本実施形態では、画像中の暗部、もしくは平坦部を劣化が目立ちやすい箇所として扱う。

具体例を示すのであれば、実施形態の場合、各画素はＲＧＢの明るさをベースにしている。そこで、特徴解析部２２５は、“逆量子化後のデータ＜暗部判定の閾値”を満たす画素数を計数し、この計数値が所定数以上ある場合に暗部と判定し、計数値が所定数に満たない場合には非暗部と判定する。

また、平坦部であるか否かの判定は、例えば、逆量子化データの最大値と最小値との差を求め、その差が平坦度判定の閾値以下であれば平坦と判定し、その差が閾値を超える場合は非平坦と判定する。また、多少時間を要するが、逆量子化データの分散を求め、閾値と比較することで平坦／非平坦を判定しても構わない。

なお、上記の特徴解析方法はあくまで一例であって、この方法に限定されない。例えば、画像中のエッジ（明暗の切り替わる部分）や、エッジに隣接する平坦部、符号化ブロックの境界部分等を、劣化が目立ちやすい箇所として扱うこともできる。また、符号化対象の画像や、符号化方式に依って劣化が目立ちやすい箇所が異なる場合は、それらに合わせて適応的に特徴解析方法を変更することも可能である。

以降、複数の逆量子化データから構成される所定のサイズ（画素数）を有するブロックを、逆量子化ブロックと呼ぶ。よって、特徴解析部２２５は、逆量子化ブロック単位で処理を行う。以下、特徴解析部２２５における特徴解析方法の詳細を、フローチャートを用いて説明する。なお、実施形態では、逆量子化ブロックのサイズ（その中に含まれる逆量子化データの個数）は、符号化ブロックのサイズ（その中に含まれる画素数）と同じとする。

＜特徴解析部２２５における特徴解析方法の説明＞
図１０は、実施形態における特徴解析部２２５における特徴解析処理の手順を示すフローチャートである。以下、同図を参照して、特徴解析部２２５の処理を説明する。

Ｓ１００１にて、特徴解析部２２５は、逆量子化部２２４から逆量子化データを画素単位で取得し、当該画素の明るさを算出する。

一般的に人間の視覚特性は暗い部分の変化に気づきやすく、明るい部分の変化に気づきにくいという性質を持つ。本実施形態ではこの性質を利用し、明るさが小さい画素ほど符号化による劣化が目立ちやすい画素になるものとし、当該画素に対する劣化を低減する施策を行う。

また、本実施形態では、逆量子化データのレベル値を、明るさを示す指標として用いる（レベル値が小さい＝暗い、レベル値が大きい＝明るい）。なお、本実施形態の明るさを示す指標としてはこの方法に限定されず、例えば、ＲＧＢ形式の逆量子化データをさらにＹＵＶ形式に色空間変換し、Ｙ成分のレベル値を用いてもよい。或いは、逆量子化ブロックを複数の領域に分割し、それぞれの分割領域における逆量子化データのレベル値の平均値を用いてもよい。

Ｓ１００２で、特徴解析部２２５は、逆量子化ブロックを複数の領域に分割し、それぞれの分割領域に対して平坦度を算出する。

一般的に人間の視覚特性は平坦な部分の変化に気づきやすく、複雑な部分の変化に気づきにくいという性質を持つ。本実施形態ではこの性質を利用し、平坦度が大きい画素ほど符号化による劣化が目立ちやすい画素になるものとし、当該画素に対する劣化を低減する施策を行う。

また、本実施形態では、前述した分割領域内の分散値（逆量子化データのレベル値のばらつき具合）を、平坦度を示す指標として用いる（分散が閾値より大きい＝平坦でない、分散が閾値以下＝平坦である）。なお、本実施形態の平坦度を示す指標としてはこの方法に限定されず、例えば、各分割領域内のダイナミックレンジ（逆量子化データのレベル値の最大値と最小値の差）を用いてもよい。

Ｓ１００３で、特徴解析部２２５は、逆量子化ブロック全体の特徴を示す複雑度判定処理を行う。本実施形態では、逆量子化ブロックに含まれるエッジ数を、複雑度を示す指標として用いる（エッジ数が閾値より多い＝複雑である、エッジ数が閾値以下＝複雑でない）。また、特徴解析部２２５は、同じ色成分の隣接する逆量子化データどうしの差分値が、所定の閾値より大きな値である場合に、エッジが１つ存在すると判断する。なお、本実施形態の複雑度を示す指標としてはこの方法に限定されず、例えば逆量子化ブロックの分散値を用いてもよい。

Ｓ１００４で、特徴解析部２２５は、Ｓ１００１〜Ｓ１００３で取得した特徴量を用いて、画素単位で特徴分類を行う。詳細は後述するが、特徴分類結果（ｒａｎｋ）は１〜４の値を持ち、値が大きい画素ほど、人間の視覚的に劣化の目立ちやすい画素であるものとする。つまり、特徴分類結果で得られるｒａｎｋは、劣化の目立ちやすさを示す指標値、もしくは重要度の度合いを示す指標値と言うことができる。

ここで、図１１を参照して、Ｓ１００４の各画素に対する特徴分類方法について説明する。

Ｓ１１０１にて、特徴解析部２２５は、いくつかの変数を初期化する。具体的には、特徴解析部２２５は、Ｓ１００１で取得した着目画素の明るさを変数ｂｒｉｇｈｔｎｅｓｓ、Ｓ１００２で取得した、着目画素が属する分割領域の平坦度を変数ｆｌａｔｎｅｓｓ、及びＳ１００３で取得した着目画素が属する逆量子化ブロックの複雑度を変数ｃｏｍｐｌｅｘｉｔｙにそれぞれ代入する。

Ｓ１１０２にて、特徴解析部２２５は、複雑度ｃｏｍｐｌｅｘｉｔｙが、予め設定された複雑度閾値ｔｈ＿ｃｏｍｐよりも大きいか否か判定する。特徴解析部２２５は、着目画素が属する逆量子化ブロックの複雑度が閾値ｔｈ＿ｃｏｍｐより大きいと判定した場合（Ｓ１１０２がＹｅｓの場合）、処理をＳ１１０３に進める。このＳ１１０３にて、特徴解析部２２５は、逆量子化ブロック内に存在する平坦部をより重視するため、着目画素が属する「平坦度」のみの特徴量を用いて特徴分類を行う。一方、特徴解析部２２５は、逆量子化ブロックの複雑度が閾値ｔｈ＿ｃｏｍｐ以下であると判定した場合（Ｓ１１０２がＮｏの場合）、Ｓ１１０６〜Ｓ１１０８にて、「明るさ」と「平坦度」の２つの特徴量を用いて特徴分類を行う。

なお、本実施形態では、特徴解析部２２５は複数の特徴量の中から当該画素に対して使用する特徴量を選択可能な構成としたが、必ず同一の特徴量を使用（例えば、明るさのみを使用）してもよい。

Ｓ１１０２の条件が成立している場合、特徴解析部２２５は、Ｓ１１０３で着目画素が属する分割領域の平坦度ｆｌａｔｎｅｓｓが、予め設定された平坦度閾値ｔｈ＿ｆｌａｔよりも大きいか否か判定する。Ｓ１１０３の条件が成立している場合、特徴解析部２２５は、Ｓ１１０４にて、着目画素の特徴分類結果ｒａｎｋに“４”を代入する。Ｓ１１０３の条件が成立していない場合、特徴解析部２２５は、Ｓ１１０５にて、着目画素の特徴分類結果ｒａｎｋに“１”を代入する。

一方、Ｓ１１０２の条件が成立していない場合、特徴解析部２２５は、Ｓ１１０６にて、着目画素の明るさｂｒｉｇｈｔｎｅｓｓが、予め設定された明るさ閾値ｔｈ＿ｂｒｉｇｈｔ以下であるか否か判定する。また、Ｓ１１０６の条件が成立している場合と、成立していない場合それぞれに対して、特徴解析部２２５は、Ｓ１１０７〜Ｓ１１０８で、着目画素が属する分割領域の平坦度ｆｌａｔｎｅｓｓが、予め設定された平坦度閾値ｔｈ＿ｆｌａｔよりも大きいか否か判定する。さらに、特徴解析部２２５は、Ｓ１１０７、もしくはＳ１１０８の判定結果に応じて、Ｓ１１０９〜Ｓ１１１２で着目画素の特徴分類結果ｒａｎｋに“１”〜“４”を代入する。

前述のとおり、特徴分類結果ｒａｎｋは、人間の視覚的な劣化の目立ちやすさを示すものである。例えば、逆量子化ブロックの「複雑度」が小さい場合（Ｓ１１０２がＮｏの場合）、ｒａｎｋ＝１の画素は明るく（ｂｒｉｇｈｔｎｅｓｓが大きい）、平坦でない（ｆｌａｔｎｅｓｓが小さい）ことから、劣化は目立ちにくい画素となる。一方、ｒａｎｋ＝４の画素は暗く（ｂｒｉｇｈｔｎｅｓｓが小さい）、平坦である（ｆｌａｔｎｅｓｓが大きい）ことから、劣化が目立ちやすい画素となる。

なお、本実施形態では、各色成分の画素に対して同一の閾値値（ｔｈ＿ｆｌａｔ、ｔｈ＿ｂｒｉｇｈｔ）を使用しているが、これらの閾値は色成分毎に別々の値を持つ構成であってもよい。また、本実施形態では、閾値処理により各画素に対して特徴分類を行う例を示したが、特徴分類方法は必ずしもこれに限定されず、パターンマッチングや機械学習等の手法を使って各画素に対して特徴分類を行うこともできる。

このようにして、特徴解析部２２５は各画素に対して特徴分類を行い、特徴分類結果を多重化部２２３へ出力する。

＜本符号化系２２０における多重化部の説明＞
ここで、再び図２を参照して、本符号化系２２０における多重化部２２３の説明を行う。多重化部２２３には、符号化部２１１Ｅからの符号データ、符号長、損失ビット、及びＱＰ決定部２１５からの符号化モードフラグと、適用ＱＰが入力される。さらに、多重化部２２３には、特徴解析部２２５からの特徴分類結果が入力される。そして、多重化部２２３は、符号化ブロック毎に所定のフォーマットでこれらのデータの多重化を行う。

ここで、図１２を参照して、ＤＰＣＭモードの場合の符号化フォーマットについて説明する。前述のとおり、本実施形態では符号化ブロックに対する圧縮率を６／１０としているため、図１２に示す符号化ブロック１２０１のサイズは、目標符号量１４４ビットと等しい。

符号化ブロック１２０１は、ヘッダ部１２０２（３ビット）と画素データ部１２０３（１４１ビット）とを含む。ヘッダ部１２０２は、符号化モードを示す符号化モードフラグ１２０４（１ビット）と、ＱＰを示すＱＰ値部１２０５（２ビット）とを含む。画素データ部１２０３は、可変長符号データ部１２０６、損失ビット部１２０７、及びスタッフィング部１２０８を含む。なお、スタッフィング部１２０８は存在しない場合もある。

ＱＰ決定部２１５から出力される符号化モードフラグ及びＱＰは、符号化モードフラグ１２０４（１ビット）と、ヘッダ部１２０２のＱＰ値部１２０５（２ビット）とにそれぞれ格納される。本実施形態において、ＤＰＣＭモードを表す符号化モードフラグの値は０であるものとする。符号化部２１１Ｅからの可変長符号データ（２４画素分）は、画素毎の符号長を用いてビット単位で順にパッキングされて可変長符号データ部１２０６に格納される。

符号化部２１１Ｅから出力される損失ビットは、符号化ブロック１２０１の損失ビット部１２０７に順に格納される。損失ビット部１２０７は、可変長符号データ部１２０６の直後に続く領域である。損失ビットの格納方法の詳細は後述する。

なお、可変長符号データ部１２０６の可変長符号データ量が画素データ部１２０３と同じサイズである場合は、符号化ブロック１２０１には損失ビットを格納する領域が残らない。この場合、損失ビットは符号化ブロック１２０１に格納されない。また、ヘッダ部１２０２、可変長符号データ部１２０６、損失ビット部１２０７を合計した領域のサイズが目標符号量に満たない場合、残った領域にはスタッフィング部１２０８（ダミービット）で埋められる。

ここで、図１３（ａ）〜（ｃ）を参照して、ＤＰＣＭモードにおいて損失ビットを格納する方法について説明する。簡単のため、図１３（ａ）〜（ｃ）は、ＱＰ＝３が選択された場合の符号化ブロックの画像データの全ビットを示す図であって、水平方向に２４個の画素データの並びを表しており、垂直方向に１０ビットのビット深度を表している。また、図１３（ａ）〜（ｃ）は、各画素の特徴分類結果、及び各画素における損失ビットの格納数を併せて示しており、ｒａｎｋ＝１が７画素、ｒａｎｋ＝２が６画素、ｒａｎｋ＝３が５画素、ｒａｎｋ＝４が６画素、であった場合の例を示している。

図１３（ａ）は、多重化部２２３が損失ビットを格納する前の符号化ブロックの全ビットを示しており、各画素の上位７ビットが量子化データ、下位３ビットが損失ビットである。

多重化部２２３は、各画素について特徴分類結果に応じた損失ビット格納数を決定し、図１３（ａ）に示した損失ビット領域に対して、損失ビットを格納する。本実施形態では、各画素の損失ビット格納数ｓｔｏｒｅ＿ｂｉｔｓ［ｐｉｘ］を、下記の式（８）により求める。
store_bits[pix] = free_num[qp] × weight[pix] …（８）
ここで、ｐｉｘは、符号化ブロック内の画素番号（実施形態では０乃至２３のいずれか）を示す。また、ｆｒｅｅ＿ｎｕｍ［ｑｐ］は選択されたＱＰにおける空きビット数を示す。また、ｗｅｉｇｈｔ［ｐｉｘ］は各画素の劣化の目立ちやすさの度合いを示す１以下の小数（重み係数と呼ぶ）である。つまり、式（８）は、重み係数ｗｅｉｇｈｔ［ｐｉｘ］に応じて、空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ］を各画素に割り当てていくことを意味している。

また、本実施形態では、重み係数ｗｅｉｇｈｔ［ｐｉｘ］を次式（９）により求める。
weight[pix] = rank[pix] ／ SUM(rank(pix)) …（９）
ここで、ｒａｎｋ［ｐｉｘ］は各画素の特徴分類結果であり、ＳＵＭ（ｒａｎｋ［ｐｉｘ］）は符号化ブロック内の全画素におけるｒａｎｋ［ｐｉｘ］の合計値である。

なお、多重化部２２３は、式（８）及び式（９）で算出した損失ビット格納数ｓｔｏｒｅ＿ｂｉｔｓ［ｐｉｘ］の値がＱＰの値を超える場合、ｓｔｏｒｅ＿ｂｉｔｓ［ｐｉｘ］の値をＱＰの値にクリップすることとする。これは、ＱＰの値以上（本具体例では３以上）に各画素に損失ビットを格納することはできないからである。

上記は、要するに、固定長に対する符号化データを格納した際の空きビット数はfree_num[qp]で得られる。この空きビット数を、ランクが高い画素ほど、その損失ビットを保持するために多くのビットを割り当てることを意味する。

前述した各画素の損失ビット格納数の算出方法や、重み係数の算出方法はあくまで一例であって、この方法に限定されるものではない。例えば、ｒａｎｋ＝１の画素は１ビットを格納、ｒａｎｋ＝３の画素は３ビット格納、というように、各画素の特徴分類結果に応じた損失ビット格納数を、予め定めておいてもよい。また、本実施形態では重み係数を各画素の特徴分類結果のみを用いて算出したが、符号化ブロックの境界部分で劣化が目立ちやすいことを考慮し、符号化ブロックの両端に近い画素ほど重み係数が大きくなるように調整することも可能である。

図１３（ｂ）は、多重化部２２３が損失ビットを格納した後の符号化ブロックの全ビットを示す図である。また、図１３（ｂ）は、空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ（＝３）］が“５２”であった場合の例を示している。ｒａｎｋ＝４の画素は３ビット、ｒａｎｋ＝３の画素は２ビット、ｒａｎｋ＝２の画素は１ビット、ｒａｎｋ＝１の画素は０ビット、というように、劣化が目立ちやすい画素ほど損失ビットが格納されていることがわかる。

ここで、図１３（ｂ）に示す符号化ブロック内の全画素における損失ビット格納数ｓｔｏｒｅ＿ｂｉｔｓ［ｐｉｘ］の合計値は、必ずしも空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ］と等しいわけではないことに留意する必要がある。これは、式（８）の右辺であるｓｔｏｒｅ＿ｂｉｔｓ［ｐｉｘ］が整数であるため、式（８）の左辺であるｆｒｅｅ＿ｎｕｍ［ｑｐ］×ｗｅｉｇｈｔ［ｐｉｘ］の小数点以下の値が切り捨てられてしまうからである。

よって、空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ］の全ビットを漏れなく符号化ブロックに格納するためには、式（８）の計算誤差により生じる余りビット（ｒｅｓｉｄｕａｌ＿ｌｏｓｓと呼ぶ）を、さらに損失ビット領域に格納する必要がある。本実施形態では、余りビットｒｅｓｉｄｕａｌ＿ｌｏｓｓを次式（１０）により求める。
residual_loss = free_num[qp] - SUM(store_bits[pix]) …（１０）
ここで、ＳＵＭ（ｒａｎｋ［ｐｉｘ］）は符号化ブロック内の全画素におけるｓｔｏｒｅ＿ｂｉｔｓ［ｐｉｘ］の合計値である。

多重化部２２３は、式（１０）により算出した余りビットｒｅｓｉｄｕａｌ＿ｌｏｓｓを、図１３（ｂ）に示す損失ビット領域にさらに格納していく。以下、損失ビット領域に対する、多重化部２２３の余りビットの格納方法を説明する。

図１３（ｃ）は、多重化部２２３が式（１０）により算出した余りビットを格納した後の符号化ブロックの全ビットを示す図である。図１３（ｃ）は、余りビットｒｅｓｉｄｕａｌ＿ｌｏｓｓ＝１８であった場合の例を示しており、損失ビット格納部分に記された番号（０〜１７）は、余りビットの格納優先度を示している。

多重化部２２３は、図１３（ｂ）で未だ損失ビットが格納されていない部分に対し、余りビットを格納する。このとき、画素番号０のｂｉｔ１、画素番号２３のｂｉｔ０、画素番号１のｂｉｔ０、というように、符号化ブロックの両端から中央に向かって、各画素の上位ビットほど余りビットが格納されるようにする。このようにすることで、符号化ブロックの境界部分における画像の劣化を低減することができる。

なお、余りビットの格納方法は前述した方法に限られない。例えば、符号化ブロックの中央から優先して余りビットを格納することも可能である。或いは、各画素の特徴分類結果に応じて、劣化が目立ちやすい画素を優先して余りビットを格納することも可能である。

このように、多重化部２２３は、図１２に示す損失ビット部１２０７に対して、画像の劣化が目立ちやすい画素の損失ビットを優先的に格納することで、人間の視覚的な劣化を低減させることができる。

次に、図１４を参照して、ＰＣＭモードの場合の符号化フォーマットについて説明する。本実施形態では、符号化ブロック１４０１のサイズはＤＰＣＭモードの場合と同様に、目標符号量である１４４ビットとなる。

符号化ブロック１４０１は、符号化モードを示す符号化モードフラグ１４０２（１ビット）と量子化データ部１４０３（１４３ビット）とを含む。ＱＰ決定部２１５からの符号化モードフラグは、符号化モードフラグ１４０２（１ビット）に格納される。本実施形態において、ＰＣＭモードを表す符号化モードフラグの値は１であるものとする。符号化部２１１Ｅからの量子化データ（２４画素分）は、画素毎の符号長を用いてビット単位で順にパッキングされた量子化データ部１４０３に格納される。本実施形態において、ＰＣＭモード時のＱＰは４であるが、前述したように符号化ブロックの画素のうち１画素はＱＰを１段上げてＱＰ＝５で量子化されている。そのため、２４画素中の２３画素は画素あたり６ビットに量子化され、１画素は５ビットに量子化されている。従って、合計２３×６＋５＝１４３ビットの量子化データが量子化データ部１４０３に格納される。

このようにして、符号化ブロックごとの符号化モードに応じて多重化された符号化データは、ストリームデータとして出力端子２０２に出力され、メモリ３０に入力される。

以上説明したように、実施形態における画像符号化部２０は、１符号化ブロックの画素単位の符号化で得た符号量が固定長に満たない場合は、符号化により劣化が目立ち易い画素ほど、量子化により損失したビットを、空き領域に格納する。この結果、これまでと比較して、画質劣化を抑制できるようになる。

＜画像復号部４０の詳細＞
図４を参照して、画像符号化部２０で生成された符号化データを復号する画像復号部４０の構成と動作を説明する。図４は、画像復号部４０の詳細な構成を示すブロック図である。画像復号部４０は、メモリ３０に保持された符号化データを復号することができる。

図４に示す画像復号部４０は、分離部４０３、可変長復号部４０４、加算器４０５、セレクタ４０６、逆量子化部４０７、予測部４０８、特徴解析部４０９、及び損失ビット付加部４１０を含む。画像復号部４０は、専用のデバイス、ロジック回路、及びメモリなどを含む一体的なハードウェアとして構成されてもよいし、複数のデバイス等で分散して構成されてもよい。或いは、画像復号部４０は、メモリ、メモリに記憶されている処理プログラム、及び処理プログラムを実行するＣＰＵ等のコンピュータにより実装されてもよい。

画像符号化部２０で生成されてメモリ３０に一時的に格納されたストリームデータ（符号化ブロック毎の符号化データ）は、入力端子４０１を介して分離部４０３に入力される。

分離部４０３は、入力されたストリームデータの先頭の符号化モードフラグ、ＱＰ、符号データ、及び損失ビットを分離し、処理サイクル毎に順次出力する。

分離部４０３は、符号データ（ＰＣＭの場合は量子化データとなる）を、可変長復号部４０４及びセレクタ４０６に出力する。可変長復号部４０４は、入力された符号データの可変長復号を行い、復号化されたデータを加算器４０５に出力すると共に、その際の符号の符号長を分離部４０３に出力する。分離部４０３は、可変長復号部４０４が、１符号化ブロックに含まれる２４画素分の可変長復号するまで、その符号長を累積加算する。そして、分離部４０３は、固定長から累積加算した値を減じることで、固定長データにおける損失ビット部の格納位置（正確には損失ビット部１２０７＋スタッフィング部１２０８の合計サイズ）を確定し、損失ビット部を含むデータを損失ビット付加部４１０に出力する。

加算器４０５は、後述の予測部４０８からの予測データと復号されたデータとを加算して復号値を得て、セレクタ４０６及び予測部４０８に出力する。

予測部４０８は、加算器４０５からの復号値を用いて現在の画像データの予測データを生成する。予測データの生成方法は、前述した符号化部２１１の予測部３０２における予測データの生成方法と同様である。

セレクタ４０６は、符号化モードフラグに応じて、ＰＣＭモード時は分離部４０３からの符号データを選択し、ＤＰＣＭモード時は加算器４０５から出力されたデータを選択し、量子化データとして逆量子化部４０７へ出力する。

逆量子化部４０７は、分離部４０３から入力されたＱＰを用いて、セレクタ４０６からの量子化データを逆量子化することにより逆量子化データを生成し、特徴解析部４０９、及び損失ビット付加部４１０へ出力する。なお、符号化モードがＰＣＭの場合、分離部４０３は、ＱＰを“４”として出力する。

特徴解析部４０９は、内部に１符号化ブロック分の逆量子化データを格納するバッファメモリを有する。そして、特徴解析部４０９は、本符号化系２２０の特徴解析部２２５と同様の方法で、バッファ内に格納されや逆量子化データに対して特徴解析を行い、各画素の特徴を分類する。また、特徴解析部４０９は、特徴分類結果を損失ビット付加部４１０へ出力する。

損失ビット付加部４１０も、内部に符号化ブロック分の逆量子化データ及び損失ビットを格納するバッファメモリを有する。そして、損失ビット付加部４１０は、逆量子化データに対して、分離部４０３から出力された損失ビットを付加し、復号化画像データを生成する。損失ビットの付加方法は、本符号化系２２０の多重化部２２３と同様の方法である（本実施形態では、図１３（ｃ）の非損失ビット部分が復号される）。

ここで、損失ビット付加部４１０の損失ビット付加処理の具体例を説明する。今、復号する画素が、図１３（ｃ）の最初の画素であるものとする。逆量子化により１０ビット中上位の７ビットが逆量子化により得られている。そこで、損失ビット付加部４１０は、特徴解析部４０９からの特徴分類結果に基づき該当する画素には２ビットを付加することを判定できる。損失ビット付加部４１０は、バッファから該当する２ビットを読み出し、着目画素の損失ビット数“３”に対して支配的な上位の２ビット（ｂｉｔ２、ｂｉ１）に補充する。また、損失ビット付加部４１０は、補充できない最下位ビットのｂｉｔ０には予め設定された値（例えば“０”）を付加する。これにより、損失ビット付加部４１０は、着目画素の１０ビットの画素データを復号することができる。損失ビット付加部４１０は、補充後の着目画素を表す１０ビットのデータを出力端子４０２に出力する。

以上説明したように、本実施形態によれば、符号化対象の画像データに急峻なエッジ等が存在し、当該エッジ成分に大きな符号長を割り当てる必要がある場合でも、画像の劣化が目立ちやすい画素に対して優先的に損失ビットを格納することで、人間の視覚的な劣化を低減させることができる。

なお、画像符号化部２０は、仮符号化系２１０による仮符号化を行わずに本符号化系２２０による本符号化を行ってもよい。この場合、本符号化系２２０の符号化部２１１Ｅは、例えば予め決められた量子化パラメータに従って量子化を行ってもよい。予め決められた量子化パラメータに従う量子化が行われる場合、画像復号部４０も同じ量子化パラメータに従って逆量子化を行えばよい。

また、上記実施形態では、仮符号化系２１０は４つの符号化部２１１Ａ乃至２１１Ｄを有し、それぞれがＱＰ＝０，１，２，３のＤＰＣＭモードで符号化を行うものとした。そして、ＱＰ＝３でも目標符号量を超える場合には、本符号化系２２０にて、ＱＰ＝４のＰＣＭモードで符号化を行うものとした。しかしＰＣＭ符号化は必ずしも必須ではない。例えば、１画素のビット深度をＭ，１符号化ブロックの目標符号量をＣtargetと定義する。また、ＤＰＣＭモードでの１符号化ブロック当たりの総符号量が最悪でも目標符号量以下となるためのＱＰの値が仮に“Ｎ”（Ｎ＜Ｍ−１）であるとする。そして、ＱＰ＝ＮのＤＰＣＭモードの符号化データを最終データとして許容するのであれば、仮符号化系２１０はＱＰ＝０〜ＮのＮ＋１個の符号化部を備えるようにする。そして、ＱＰ決定部２１５は、Ｎ＋１個の符号化部それぞれの符号量を判定し、１符号化ブロックの総符号量が目標符号量Ｃtarget以下で、最大のＱＰを適用ＱＰとして決定する。本符号化系２２０は、決定した適用ＱＰに従って、ＤＰＣＭモードに従って符号化を行えばよい。

また、上記実施形態では、劣化の目立ち易さを表す指標値（ｒａｎｋ）を、明るさ、平坦度、複雑度の３つから判定するものとしたが、処理を単純化するためいずれか１つでも良い。例えば明るさが低いほどｒａｎｋの値を大きくしても良い。また、平坦度の度合いが高いほどｒａｎｋの値を大きくしても良い。

また、上記実施形態をデジタルカメラやビデオカメラに代表される撮像装置に適用することが望ましい。例えば撮像部側に画像符号化部２０を含む制御回路を搭載し、撮像結果を受けて各種画像処理する側には画像復号部４０を含む制御回路を搭載する。この結果、撮像解像度が高くなったとしても、両制御回路間の通信帯域を逼迫することなく正常な通信を行うことができる。

［第２の実施形態］
第２の実施形態に係る特徴解析部２２５は、１回の処理で明るさ、及び平坦度を示す指標を得ることができる。具体的には、第２の実施形態に係る特徴解析部２２５は、複数の逆量子化データから構成される逆量子化ブロックに対して周波数変換を行い、周波数変換後の係数を用いて特徴分類を行う。

なお、本第２の実施形態についても第１の実施形態と同様に、画像の劣化が目立ちやすい画素に対して優先的に損失ビットを格納することで、人間の視覚的な劣化を低減させることができる。また、第２の実施形態は第１の実施形態との差分が生じている箇所について説明し、第１の実施形態と同様の箇所については説明を省略する。

図１５を参照して、本第２の実施形態における特徴解析部２２５における特徴解析の方法について説明する。

Ｓ１５０１で、特徴解析部２２５は、逆量子化部２２４から逆量子化データを取得し、複数の逆量子化データから構成される逆量子化ブロックを生成する。

Ｓ１５０２で、特徴解析部２２５は、Ｓ１５０１で生成した逆量子化ブロックに対し、水平方向に１回のウェーブレット変換を行い、逆量子化ブロックをＬバンド（Ｌは低周波成分を意味する）と、Ｈバンド（Ｈは高周波成分を意味する）に分割する。本実施形態では、実装が容易なＨａａｒウェーブレット変換を用いることとするが、ウェーブレット変換の回数や方向、方式等は前述の方法に限られない。例えば、水平方向に複数回ウェーブレット変換を行い、逆量子化ブロックをさらに細かいサブバンドに分解してもよい。また、符号化ブロックの形状が２次元である場合は、ＪＰＥＧ２０００に採用されている５×３タップフィルタを用いたＤＷＴ等を用いることもできる。

ここで、図１６を参照して、特徴解析部２２５が生成する各サブバンドの具体例について説明する。

図１６（ａ）は、本実施形態の符号化対象となる画像データ（符号化ブロック）を示した図であり、図５（ａ）で示した図と同様に、ラスタースキャン順にＲ０、Ｇ０、Ｂ０、Ｒ１、Ｇ１、Ｂ１・・・の順に、画素番号０から２３が割り当てられている。

図１６（ｂ）は、図１６（ａ）に示した符号化ブロックに対し、特徴解析部２２５によるウェーブレット変換を施した後の符号化ブロックを示す図である。このとき、特徴解析部２２５は、各サブバンドにおける係数を下記の式（１１）、及び式（１２）により求める。なお、本実施形態の場合、式（１１）、及び式（１２）のＣは、Ｒ、Ｇ、もしくはＢのいずれかの色成分を意味し、画素番号ｐｉｘは０から６の偶数である。
LC[pix] = (C[pix] + C[pix+1]) ／ 2 …（１１）
HC[pix] = (C[pix] - C[pix+1]) ／ 2 …（１２）
第２の実施形態に係る特徴解析部２２５は、図１６（ｂ）に示すＬバンドの係数（低周波成分）を各画素の明るさを示す指標として用い、Ｈバンドの係数（高周波成分）を各画素の平坦度を示す指標として用いる。なお、式（１１）、及び式（１２）は隣接する２画素に対して、Ｌバンドの係数、及びＨバンドの係数をそれぞれ１つずつ算出している。よって、第２の実施形態に係る特徴解析部２２５は、隣接する２画素に対して同じ値の特徴量（明るさ、及び平坦度）を持つ。

このように、Ｓ１５０２で、特徴解析部２２５は各画素の明るさ、及び平坦度の特徴量を算出する。

Ｓ１５０３で、特徴解析部２２５は、算出した特徴量を用いて特徴分類を行う。特徴分類方法は、図１１に示した方法と同様である。

本実施形態では、特徴解析部２２５が行う周波数変換方式としてウェーブレット変換を用いた例について説明したが、必ずしもこれに限定されない。例えば、特徴解析部２２５は、逆量子化ブロックに対してＤＣＴ（離散コサイン変換）や、ＫＬＴ変換等の直交変換を実行し、得られた係数を特徴量の一つとして用いることもできる。

［第３の実施形態］
先に説明した第１の実施形態では、符号化モードがＤＰＣＭの場合は、着目符号化ブロック（２４画素）ＱＰ＝０〜３のいずれかで量子化し、可変長符号化を行った。そして、得られた符号量が目標符号量（１４４ビット）よりも少なく、目標符号量に対して空き領域が存在する場合は、その空き領域に劣化が目立ち易い画素の量子化により損失したビットを優先的に格納した。また、符号化モードがＰＣＭの場合は、ＱＰ＝４として、量子化した。そして、符号化モードがＰＣＭであることを示す１ビット、２４画素中の１画素を５ビット、他の２３画素を６ビットの計１４４ビットの固定長データを生成した。つまり、符号化モードがＰＣＭの場合は、各画素の劣化の目立ち易さは考慮されていないことになる。

本第３の実施形態では、符号化モードがＰＣＭとなった場合においても、劣化の目立ち易さを考慮した固定長の符号データを生成する例を説明する。なお、装置構成は図２と同じであり、異なる点は、仮符号化系２１０のＱＰ決定部２１５、本符号化系２２０の符号化部２１３Ｅ及び多重化部２２３であり、それ以外は第１の実施形態と同じである。また、符号化モードがＤＰＣＭの場合の符号化内容も第１の実施形態と同じであり、且つ、その場合に生成される符号データのデータ構造も図１２と同じであるので、その説明については省略する。

図１７は、本第３の実施形態における、仮符号化系２１０内のＱＰ決定部２１５による符号化モード及びＱＰの決定処理のフローチャートを示している。第１の実施形態における図８との違いは、Ｓ８０１’のみであり、それ以外は同じである。第１の実施形態では、変数sel_qpにＭＡＸ＿ＱＰ＋１を代入したのに対し、本第３の実施形態では変数sel_qpにＭＡＸ＿ＱＰ＋３を代入した点が異なる。ＭＡＸ＿ＱＰは“３”であるので、変数sel_qpは“６”で初期化されることになる。なお、変数sel_qpを初期化する値は、ＭＡＸ＿ＱＰ＋１より大きく、画像データのビット深度である１０より小さければ良い。したがって、ここで示した“＋３”はあくまで例示であると理解されたい。

さて、ＱＰ決定部２１５が図１７の処理を行い、Ｓ８０３の処理を一度も実行しなかった場合、着目符号化ブロックに対する符号化モードはＰＣＭとなり、その際の適用ＱＰ＝６として決定されるのは、これまでの説明から理解できよう。

したがって、本符号化系２２０における符号化部２１１Ｅは、符号化ブロック内の各画素を２⁶で量子化し、量子化後のデータ（４ビット）を符号データとして多重化部２２３に出力する。また、符号化部２１１Ｅは、損失ビット（６ビット）を多重化部２２３に出力することになる。

本第３の実施形態における符号化ブロックに対する符号化モードがＰＣＭモードの場合の符号化データフォーマットは、図１８に示すような構造となる。以下、同図を参照して、ＰＣＭモードの場合の符号化フォーマットについて説明する。本第３の実施形態では、符号化ブロック１４０１のサイズはＤＰＣＭモードの場合と同様に、目標符号量である１４４ビットとなる。

符号化ブロック１４０１は、符号化モードを示す符号化モードフラグ１４０２（１ビット）と、画素データ部１４０４（１４３ビット）で構成される。ＱＰ決定部２１５から
の符号化モードフラグは、符号化モードフラグ１４０２（１ビット）に格納される。本実施形態において、ＰＣＭモードを表す符号化モードフラグの値は、第１の実施形態と同様に１である。符号化部２１１Ｅからの量子化データ（２４画素分）は、画素毎の符号長を用いてビット単位で順にパッキングされた量子化データ部１４０３に格納される。本第３の実施形態において、ＰＣＭモード時のＱＰは６であるが、前述したように符号化ブロックの画素ブロック内のうち１画素はＱＰを１段上げてＱＰ＝７で量子化される。そのため、２４画素中の１画素は３ビットに量子化され、残りの２３画素は４ビットに量子化されている。従って、合計３＋２３×４＝９５ビットの量子化データが量子化データ部１４０３に格納される。

ＤＰＣＭモードの場合と同様に、符号化部２１１Ｅから出力される損失ビットは、符号化ブロック１４０１の損失ビット部１４０５に順に格納される。ＰＣＭモードの場合、量子化データ部１４０３と同様に、損失ビット部１４０５のサイズはＱＰに応じて固定的に決まる。本第３の実施形態の場合、画素データ部１４０４（１４３ビット）から量子化データ部１４０３（９５ビット）を差し引いた４８ビットが、損失ビット部１４０５のサイズとなる。また、ＰＣＭモードの場合、目標符号量に対する空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ］は、損失ビット部１４０５のサイズと等しく、前述のとおり４８ビットとなる。

ここで、図１９（ａ）〜（ｃ）を参照して、本第３の実施形態におけるＰＣＭモードにおいて損失ビットを格納する方法について説明する。図１９（ａ）〜（ｃ）は、ＱＰ＝６が選択された場合の符号化ブロックの画像データの全ビットを示す図であって、前述のとおり符号化ブロックの左端に位置する１画素は、１段上げてＱＰ＝７として量子化されている。

図１９（ａ）〜（ｃ）は、図１３（ａ）〜（ｃ）と同様に、水平方向に２４個の画素データの並びを表しており、垂直方向に１０ビットのビット深度を表している。また、図１９（ａ）〜（ｃ）は、各画素の特徴分類結果、及び各画素における損失ビットの格納数を併せて示しており、複雑度を表す指標であるｒａｎｋ＝１が７画素、ｒａｎｋ＝２が６画素、ｒａｎｋ＝３が５画素、ｒａｎｋ＝４が６画素、であった場合の例を示している。

図１９（ａ）は、多重化部２２３が損失ビットを格納する前の符号化ブロックの全ビットを示しており、各画素の上位４ビットが量子化データ、下位６ビットが損失ビットである。なお、符号化ブロックの左端に位置する１画素は上位３ビットが量子化データ、下位７ビットが損失ビットである。

多重化部２２３は、ＤＰＣＭモードの場合と同様に、各画素について特徴分類結果に応じた損失ビット格納数を決定し、図１９（ａ）に示した損失ビット領域に対して、損失ビットを格納する。すなわち、多重化部２２３は、式（８）及び式（９）を用いて各画素の損失ビット格納数ｓｔｏｒｅ＿ｂｉｔｓ［ｐｉｘ］を決定する。

図１９（ｂ）は、多重化部２２３が損失ビットを格納した後の符号化ブロックの全ビットを示す図である。また、図１９（ｂ）は、空きビット数ｆｒｅｅ＿ｎｕｍ［ｑｐ（＝６）］が４８であった場合の例を示している。ｒａｎｋ＝４の画素は３ビット、ｒａｎｋ＝３の画素は２ビット、ｒａｎｋ＝２の画素は１ビット、ｒａｎｋ＝１の画素は０ビット、というように、劣化が目立ちやすい画素ほど損失ビットが格納されていることがわかる。

ＤＰＣＭモードの場合と同様に、多重化部２２３は、式（１０）により算出した余りビットｒｅｓｉｄｕａｌ＿ｌｏｓｓを、図１９（ｂ）に示す損失ビット領域にさらに加えていく。以下、損失ビット領域に対する、多重化部２２３の余りビットの格納方法を説明する。

図１９（ｃ）は、多重化部２２３が式（１０）により算出した余りビットを格納した後の符号化ブロックの全ビットを示す図である。図１９（ｃ）は、余りビットｒｅｓｉｄｕａｌ＿ｌｏｓｓ＝１４であった場合の例を示しており、損失ビット格納部分に記された番号（０〜１７）は、余りビットの格納優先度を示している。

多重化部２２３は、図１９（ｂ）で未だ損失ビットが格納されていない部分に対し、余りビットを格納する。このとき、画素番号０のｂｉｔ５、画素番号２３のｂｉｔ３、画素番号１のｂｉｔ５、というように、符号化ブロックの両端から中央に向かって、各画素の上位ビット位置に優先して余りビットを格納する。このようにすることで、符号化ブロックの境界部分における画像の劣化を低減することができる。

なお、余りビットの格納方法は前述した方法に限られない。例えば、符号化ブロックの中央から優先して余りビットを格納することも可能である。或いは、各画素の特徴分類結果に応じて、劣化が目立ちやすい画素を優先して余りビットを格納することも可能である。

このように、多重化部２２３は、図１４に示す損失ビット部１４０５に対して、画像の劣化が目立ちやすい画素の損失ビットを優先的に格納することで、人間の視覚的な劣化を低減させることができる。

以上、第３の実施形態における画像符号化部２０の処理を説明した。本第３の実施形態における符号化モードがＤＰＣＭの場合の画像復号部４０の復号処理は、第１の実施形態と同じである。また、符号化モードがＰＣＭの場合は、画像復号部４０は量子化データに対して、ＤＰＣＭのときと同様に損失ビットを付加する処理が追加されるだけであるので、その説明は省略する。

また、仮符号化系や本符号化系の予測部や可変長符号化部等のハード規模を削減するために、より簡易的にＰＣＭモードのみで符号化してもよい。

以上説明したように本第３の実施形態によれば、第１の実施形態と比較して、符号化モードがＰＣＭとなった場合の画質改善が期待できる。理由は、本第３の実施形態によれば、符号化モードがＰＣＭとなった場合でも、着目符号化ブロック内の各画素の劣化が目立ち易さを考慮して符号化されるからである。

なお、本第３の実施形態に対しても、先に説明した第２の実施形態を適用することができる。

［第４の実施形態］
近年、画素毎に露光時間の制御が可能であり、露光時間の長短に応じて複数の感度の異なる画像を出力可能な撮像デバイスが知られている。本撮像デバイスから得られる複数の感度毎の異なる画像を合成することにより、従来の撮像デバイスよりも広ダイナミックレンジの画像を１度の撮影で得ることができる。第４の実施形態では、このような撮像デバイスから得られる画像を符号化対象とした場合の説明を行う。

図２０は、上述の撮像デバイスを備える画像処理装置２００の構成を示すブロック図である。画像処理装置２００は、撮像部５０、画像符号化部２０、メモリ３０、画像復号部４０、画像合成部６０、現像処理部７０、記録処理部８０、記録媒体９０を有する。

画像処理装置２００の各ブロックの機能は、撮像部５０やメモリ３０、記録媒体９０のような物理的デバイスを除き、ソフトウェア及びハードウェアのいずれによって実装されていてもよい。例えば、各ブロックの機能は、専用のデバイス、ロジック回路、及びメモリなどのハードウェアにより実装されてもよい。或いは、各ブロックの機能は、メモリ、メモリに記憶されている処理プログラム、及び処理プログラムを実行するＣＰＵ等のコンピュータにより実装されてもよい。画像処理装置２００は、例えばデジタルカメラとして実施することができるが、それ以外の装置として実施することもできる。例えば、画像処理装置２００は、パーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末又は撮像装置として実施することができる。

撮像部５０は、例えばCCDやCMOSセンサ等のイメージセンサであり、光学系（図示せず）を介して撮像素子上に結像された光学像を光電変換し、得られたアナログ信号をＡ／Ｄ変換することでデジタル画像信号（すなわちＲＡＷデータ）を出力する。

撮像部５０は、各画素の露光時間が全て同じとなる動作モード（通常モード）と、露光時間が画素毎に異なる動作モード（HDRモード）の２つの動作モードを有する。撮像部５０が通常モードで動作する場合、撮像部５０は１度の撮影で所定の感度を有する１種類の画像を出力する。撮像部５０がHDRモードで動作する場合、撮像部５０は１度の撮影で複数の感度毎に異なる種類の画像を出力する。これらの感度や動作モードは、画像処理装置２００内に備えられているCPU（図示せず）等が制御可能である。また、画像処理装置２００を操作するユーザーは、画像処理装置２００内に備えられているCPU（図示せず）を介してこれらの感度や動作モードを変更可能である。

本実施形態では、撮像部５０がHDRモードで動作する場合、短時間露光がなされた低感度画像、及び長時間露光がなされた高感度画像の２種類の画像が、撮像部５０から出力されることとする。この場合、撮像部５０から出力されるデータ量が通常モード時の２倍となるため、後段の処理ブロック（画像符号化部２０等）に処理性能に応じて、これらの処理ブロックを複数有する構成であってもよい。また、撮像部５０は、低感度画像、中感度画像、高感度画像などといったように、３種類以上の画像を出力可能な構成であってもよい。

なお、本実施形態では、撮像部５０が、画像符号化部２０やメモリ３０等と分離されている構成を取っているが、例えば、撮像部５０が内部に有するロジック回路部等に、画像処理装置２００を構成するブロックの一部が搭載されている構成であってもよい。

画像符号化部２０は、撮像部５０が通常モードで動作する場合、第１〜第３の実施形態と同様に動作する。すなわち、画像符号化部２０は、入力画像データに対して特徴解析を行い、画像中の暗部や平坦部などに含まれる画素の損失を低減することで、圧縮符号化後の画像の視覚的な劣化を目立ちにくくすることができる。

一方、詳細については後述するが、画像符号化部２０は、撮像部５０がＨＤＲモードで動作する場合、撮像部５０から出力された低感度画像、及び高感度画像をそれぞれ圧縮符号化する。さらに、画像符号化部２０は、入力画像データの感度に応じた特徴解析を行うことで、第１〜第３の実施形態よりもさらに効果的に圧縮符号化後の画像の視覚的な劣化を目立ちにくくすることができる。

メモリ３０は、撮像部５０が通常モードで動作する場合、第１〜第３の実施形態と同様に画像符号化部２０から出力された符号化データを格納する。撮像部５０がＨＤＲモードで動作する場合、メモリ３０は、画像符号化部２０から出力された低感度画像の符号化データ、及び高感度画像の符号化データをそれぞれ格納する。

画像復号部４０は、撮像部５０が通常モードで動作する場合、第１〜第３の実施形態と同様にメモリ３０に保持された符号化データを読み出し、所定の復号方式により復号し、復号化画像データを後段へ出力する。撮像部５０がＨＤＲモードで動作する場合、画像復号部４０は、メモリ３０に保持された低感度画像の符号化データ、及び高感度画像の符号化データを読み出し、それぞれ低感度画像、高感度画像に復号して後段へ出力する。

画像合成部６０は、撮像部５０がＨＤＲモードで動作する場合、画像復号部４０から出力される低感度画像と、高感度画像を合成して広ダイナミックレンジ画像（ＨＤＲ画像と呼ぶ）を生成する。撮像部５０が通常モードで動作する場合、画像合成部６０は、画像復号部４０から出力された画像をそのまま後段へ出力する。

現像処理部７０は、画像合成部６０により出力された画像（ＲＡＷデータ）に対して現像処理を実行し、記録画像データを生成する。より具体的には、現像処理部７０は、デベイヤ（デモザイク）処理と呼ばれる色補間処理、色空間変換処理、ノイズ抑制処理、光学的な歪補正、拡大・縮小処理等を実行し、YCｂCr４：２：２等の輝度と色差で表される記録画像データを生成する。

なお、本実施形態では画像合成部６０は画像復号部４０から出力された画像に対して画像合成を行うが、例えば、画像合成部６０が現像処理部７０の後段に位置し、現像処理部７０から出力された現像処理後の画像に対して画像合成を行う構成であってもよい。

記録処理部８０は、現像処理部７０から出力される記録画像データに対して圧縮処理を行い、圧縮された記録画像データを記録媒体９０に格納する。例えば、記録画像データが静止画である場合、記録処理部８０はＪＰＥＧ圧縮やＨＥＩＦ圧縮等を用いて記録画像データを圧縮する。記録画像データが動画である場合、記録処理部８０はＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いて記録画像データを圧縮する。

図２１は、本実施形態における撮像部５０の構成例を示す図である。

画素部５００には、フォトダイオードなどの光電変換素子で形成されている複数の単位画素５０１が行列状に配置されている。本実施形態の画素部５００は、後述するタイミング制御部５０８によって露光時間が画素単位で制御され、露光時間が長い設定とされる長時間露光画素、及び露光時間が短い設定とされる短時間露光画素、これらの２種類の画素が存在する。

垂直走査回路５０２は画素部５００の画素信号を、１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、画素信号は１フレーム期間中に上部の行から下部の行にかけて、行単位で順次読み出される。

列アンプ５０３は、画素部５００の各列に対して構成された、複数の列アンプから成り、単位画素５０１から読み出された信号を電気的に増幅するために用いられる。列アンプ５０３で信号を増幅することにより、後段の列ＡＤＣ５０４で発生するノイズに対して、画素の信号レベルを増幅し、等価的にＳ／Ｎ比を改善させることができる。

列ＡＤＣ５０４は、画素部５００の各列に対して構成された、複数の回路から成り、列アンプ５０３により増幅された信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、水平転送回路５０５により順次読み出されて、信号処理部５０６に入力される。

信号処理部５０６はデジタル的に信号処理を行う回路であり、デジタル処理で一定のオフセット値を加える処理の他に、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。また、画素部５００が遮光された画素領域を有する構造の場合、これを利用したデジタルの黒レベルクランプ動作を行ってもよい。また、信号処理部５０６は、シリアライザー機能を有し、信号処理部５０６内の多ビットの入力パラレル信号を、シリアル信号に変換する。信号処理部５０６は、このシリアル信号をＬＶＤＳ信号等に変換し、外部デバイスへの画素情報として出力する。

メモリ５０７は、画素部５００から読み出され、列アンプ５０３、列ＡＤＣ５０４、信号処理部５０６により処理された、信号を一時的に保持しておく機能を持つ。

タイミング制御部５０８は、撮像部５０内の各ブロックに対する動作クロック信号やタイミング信号を供給して、撮像部５０の全体動作を制御する。また、タイミング制御部５０８は、後述する制御信号５１６、５１７を制御することで、各画素の露光時間を制御することができる。

次に、図２２を参照して、画素部５００から水平転送回路５０５までの信号の流れについて説明する。

光電変換部５１３は、光電変換を行って光を電荷に変換する。転送スイッチ５１５は、光電変換部５１３で発生した電荷を後段の回路に転送する。

制御信号５１６、５１７はそれぞれ各画素の露光時間を制御するための制御信号であり、それぞれ短時間露光用の制御信号、及び長時間露光用の制御信号である。単位画素５０１につきこれらの２本の制御信号が配線され、制御信号５１６、もしくは５１７のどちらか一方が各単位画素の転送スイッチ５１５に接続されるものとする。図２２に示した例では、転送スイッチ５１５に短時間露光用の制御信号５１６が接続されているため、図２２に示す単位画素５０１は短時間露光画素である。タイミング制御部５０８は、これらの２本の信号のＯＮ／ＯＦＦの間隔を制御することで、画素単位の露光時間を制御することができる。

電荷保持部５１８は、光電変換部５１３で発生した電荷を一時的に保持する。画素アンプ５１９は、電荷保持部５１８に保持された電荷を電圧信号に変換し、垂直線５２０を通して列アンプ５０３へ出力する。電流制御部５２１は、垂直線５２０の電流を制御する。

列ＡＤＣ５０４は、Ａ／Ｄ変換部５２２、メモリ５２３、５２４、及び減算器５２５を備える。Ａ／Ｄ変換部５２２は、列アンプ５０３の出力に対してＡ／Ｄ変換を行う。メモリ５２３、５２４は、Ａ／Ｄ変換部５２２により変換されたデジタル信号を一時的に保持する。メモリ５２３は、光電変換部５１３から読みだされた画素信号と、読み出し回路部（電荷保持部５１８からＡ／Ｄ変換部５２２までの回路）のノイズ信号とを保持する。メモリ５２４は、読み出し回路部のノイズ信号を保持する。減算器５２５は、メモリ５２３の出力からメモリ５２４の出力を減算し、減算結果を画素信号として水平転送回路５０５へ出力する。

次に、画素部５００の画素配列構造について図２３を参照して説明する。図２３に示す画素部５００の画素配列は、２ｘ２ごとにＲ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素となっており、同一の色が２ｘ２に配置されているのが特徴である。これらの計４ｘ４画素を最小単位として、この最小単位を繰り返し配置した構成を有する。

図２３に示す画素配列における露光時間の設定について、図２４を参照して説明する。図２４に示すように、水平方向をｘ、垂直方向をｙとして、列番号をｘ座標で表し、行番号をｙ座標で表している。括弧で示した数字は各画素の位置を示す座標を示している。また、図２４において、灰色の画素が短時間露光画素、白色の画素が長時間露光画素を表している。本実施形態においては、図２４に示すように列方向にジグザグ状に短時間露光画素と長時間露光画素が設定されている。

例えば、図２４の左上端の４つのＲ画素の座標設定は以下のとおりである。
Ｒ（１，１）：短時間露光画素
Ｒ（２，１）：長時間露光画素
Ｒ（１，２）：長時間露光画素
Ｒ（２，２）：短時間露光画素
このように各列において短時間露光画素と長時間露光画素が交互に設定され、各行に短時間露光画素と長時間露光画素が交互に設定された構造となっている。第１列と、第２列においてｙ方向に短時間露光画素のみを辿ると、上から、
第１行では第１列が短時間露光画素、
第２行では第２列が短時間露光画素、
第３行では第１列が短時間露光画素、
第４行では第２列が短時間露光画素
というようにジグザグ状に短時間露光画素が配列されている。同様に、第１列と、第２列においてｙ方向に長時間露光画素のみを辿ると、上から、
第１行では第２列が長時間露光画素、
第２行では第１列が長時間露光画素、
第３行では第２列が長時間露光画素、
第４行では第１列が長時間露光画素
というようにジグザグ状に長時間露光画素が配列されている。

以上のように、画素配列とその露光時間の設定は、同一色の画素が２ｘ２画素単位で設定され、この４画素中に２つの短時間露光画素と長時間露光画素が配置されている構造となっている。

次に、撮像部５０が通常モードで動作する場合の画像の出力形式について図２５を参照して説明する。

撮像部５０が通常モードで動作する場合、各画素の露光時間が全て同じとなる。このとき、撮像部５０は、図２５（ａ）内の灰色のひし形で示している同一色２ｘ２画素の平均値を出力する。より具体的には、図２５（ｂ）に示す撮像部５０の出力は、以下ように導出可能である。

図２５（ｂ）に示すように、撮像部５０から出力される画像の形式は、一般的なベイヤー配列型のイメージセンサから出力されるＲＡＷデータの形式と他ならない。よって、撮像部５０の後段の画像符号化部２０や画像復号部４０は、第１〜第３の実施形態と同様の動作を行うことで、ベイヤー配列型のＲＡＷデータの圧縮符号化時に生じる視覚的な劣化を低減することができる。

次に、撮像部５０がＨＤＲモードで動作する場合の画像の出力形式について図２６を参照して説明する。

撮像部５０がＨＤＲモードで動作する場合、撮像部５０は、図２６（ａ）内の同一色２ｘ２画素領域に含まれる、2画素の短時間露光画素の平均値、及び残りの２画素の長時間露光画素の平均値をそれぞれ出力する。本実施形態では、２画素の短時間露光画素の平均値を短時間露光のなされた低感度画像の画素とし、２画素の長時間露光画素の平均値を長時間露光画素のなされた高感度画像の画素とする。ここで、図２６（ｂ）に示す低感度画像の出力は以下のように導出可能である。

一方、図２６（ｂ）に示す高感度画像の出力は以下のように導出可能である。

撮像部５０から出力される低感度画像、高感度画像の２種類の画像は、画像符号化部２０でそれぞれ圧縮符号化され、メモリ３０に格納される。さらに、画像復号部４０で２種類の符号化データが復号され、復号された低感度画像、及び高感度画像が画像合成部６０で合成され、HDR画像が生成される。ここで、画像合成部６０におけるＨＤＲ画像の生成方法について、図２７を用いて説明する。

図２７は、画像合成部６０のブロック構成図である。画像合成部６０は低感度画像用のゲイン補正部６０１、高感度画像用のゲイン補正部６０２、セレクタ６０３、及び合成部６０４から構成される。

HDR画像の生成を行う際、一般的に低感度画像、高感度画像の２種類の画像のうち１つの画像は適正露出で撮影されたデータとなり、もう一方の画像がダイナミックレンジを拡張するための補助データとして用いられる。以降の説明では、高感度画像が適正露出で撮影された場合と、低感度画像が適正露出で撮影された場合の２つのケースに分けて説明する。

なお、画像処理装置２００を操作するユーザーは、画像処理装置２００内に備えられているCPU（図示せず）を介して、低感度画像と高感度画像のどちらの画像を適正露出とするか設定可能であるものとする。また、画像処理装置２００内に備えられているＣＰＵ（図示せず）が、自動的にどちらの画像を適正露出とするか判定可能な構成であってもよい。

ゲイン補正部６０１、及びゲイン補正部６０２は、低感度画像と高感度画像の露出を揃えるために用いられる。ここで、ゲイン補正部６０１、及びゲイン補正部６０２の行う補正の詳細を、図２８を用いて説明する。

図２８（ａ）は、高感度画像を適正露出で撮影した場合のゲイン補正の一例を示している。被写体の明るさ（入力光量）がある閾値ｔｈ＿ｗｈｉｔｅを超えると、高感度画像の出力は白とびが発生し諧調が失われる。一方、低感度画像では、閾値ｔｈ＿ｗｈｉｔｅを超える明るさにおいても、白とびが発生せず諧調が残っている。この低感度画像に対し、ゲイン補正部６０１においてゲインアップを行うことで、高感度画像の白とび発生部分の画素値を推定する。さらに、後段の合成部６０４において、ゲインアップされた低感度画像と高感度画像を合成することで、白とび部分が補償されたＨＤＲ画像を生成することができる。なお、高感度画像を適正露出で撮影した場合、ゲイン補正部６０２において高感度画像に対するゲイン補正は行わなくてもよい。

図２８（ｂ）は、低感度画像を適正露出で撮影した場合のゲイン補正の一例を示している。被写体の明るさ（入力光量）がある閾値ｔｈ＿ｄａｒｋを下回ると、低感度画像の出力は黒つぶれが発生し諧調が失われる。一方、高感度画像では、閾値ｔｈ＿ｄａｒｋを下回る明るさにおいても、黒つぶれが発生せず諧調が残っている領域が存在する。この高感度画像に対し、ゲイン補正部６０２においてゲインダウンを行うことで、低感度画像の黒つぶれ発生部分の画素値を推定する。さらに、後段の合成部６０４において、ゲインダウンされた高感度画像と低感度画像を合成することで、黒つぶれ部分が補償されたＨＤＲ画像を生成することができる。なお、低感度画像を適正露出で撮影した場合、ゲイン補正部６０１において低感度画像に対するゲイン補正は行わなくてもよい。

なお、ゲイン補正部６０１、及びゲイン補正部６０２が行うゲイン補正の度合い（ゲイン値）は、低感度画像と高感度画像の感度比や、低感度画像と高感度画像の露光時間の比などから求めればよい。例えば、高感度画像を適正露出で撮影し、低感度画像と高感度画像の感度比が１：４である場合、低感度画像の画素値を４倍にすれば、高感度画像の白とび発生部分の画素値を推定することができる。

セレクタ６０３は、低感度画像と高感度画像のうち、適正露出で撮影された画像の画素値を合成部６０４へ出力する。

合成部６０４は、ゲイン補正された低感度画像、及び高感度画像を合成し、ＨＤＲ画像を生成する。ここで、合成部６０４が行う低感度画像と高感度画像の合成方法の一例を、図２９を用いて説明する。

図２９の各グラフの横軸は、適正露出画像の明るさ（画素値）を示しており、セレクタ６０３から得られる画素値である。縦軸は低感度画像、もしくは高感度画像の合成割合を示している。

本実施形態では、画像の合成時に各画像の合成割合の合計が常に１００％となるように設定している。つまり、合成部６０４から出力されるＨＤＲ画像の画素値ｈｄｒ＿ｉｍｇ［ｐｉｘ］は以下の式で導出可能である。
hdr_img[pix]= α × main_img[pix] + (1-α) × sub_img[pix] …（２５）
ここで、αは適正露出の画像の合成割合、ｍａｉｎ＿ｉｍｇ［ｐｉｘ］は適正露出の画像の画素値、ｓｕｂ＿ｉｍｇ［ｐｉｘ］は適正露出でない画像の画素値を示している。

図２９（ａ）は、高感度画像を適正露出で撮影した場合の、各画像の合成割合の一例を示している。図２８で示したように閾値ｔｈ＿ｗｈｉｔｅを超える明るさにおいては、高感度画像の白とびが発生するため、本実施形態では、閾値ｔｈ＿ｐｒｅ＿ｗｈｉｔｅを境に、閾値ｔｈ＿ｗｈｉｔｅの時点で高感度画像の合成割合が０％まで減少するように推移させている。また、低感度画像の合成割合は、閾値ｔｈ＿ｐｒｅ＿ｗｈｉｔｅを境に、閾値ｔｈ＿ｗｈｉｔｅの時点で１００％まで増加するよう推移させている。このように合成割合を設定することで、白とび部分が補償された広ダイナミックレンジ画像を合成することができる。

図２９（ｂ）は、低感度画像を適正露出で撮影した場合の、各画像の合成割合の一例を示している。図２８で示したように閾値ｔｈ＿ｄａｒｋを下回る明るさにおいては、低感度画像の黒つぶれが発生するため、本実施形態では、閾値ｔｈ＿ｐｒｅ＿ｄａｒｋを境に、閾値ｔｈ＿ｄａｒｋの時点で低感度画像の合成割合が０％まで減少するように推移させている。また、高感度画像の合成割合は、閾値ｔｈ＿ｐｒｅ＿ｄａｒｋを境に、閾値ｔｈ＿ｄａｒｋの時点で１００％まで増加するよう推移させている。このように合成割合を設定することで、黒つぶれ部分が補償された広ダイナミックレンジ画像を合成することができる。

なお、本実施形態では説明の簡単化のため、合成割合がある閾値から変化する例を説明したが、合成処理のアルゴリズムはこれに限定されるものではない。

このように、画像合成部６０がＨＤＲ画像を生成する際、画像が適正露出であるか否か、あるいは画素値の大きさ（明るさ）に応じて、各画像の合成割合が変化する。合成割合の大きさは画質への影響度であり、合成割合が大きい領域は画質への影響が大きく、合成割合が小さい領域は画質への影響は少ない。このことを踏まえると、画像符号化部２０、及び画像復号部４０において、後段の画像合成部６０における合成割合が大きい領域ほど多くの符号量を割り当て、それ以外の領域は符号量を削減することで、より効果的に画像の視覚的な劣化を低減させることができる。このような符号量の柔軟な割り当てを、本実施形態では画像符号化部２０内の特徴解析部２２５で実現する。以下、本実施形態の特徴解析部２２５における特徴解析方法の詳細を、フローチャートを用いて説明する。

図３０は、本実施形態において撮像部５０がＨＤＲモードで動作する場合の、特徴解析部２２５における特徴解析処理の概要を示すフローチャートである。以下、同図を参照して、特徴解析部２２５の処理を説明する。

Ｓ３００１にて、特徴解析部２２５は、図２に示す逆量子化部２２４から逆量子化データを画素単位で取得し、当該画素の明るさを算出する。なお、本実施形態では、実施形態１と同様に、逆量子化データのレベル値を、明るさを示す指標として用いる（レベル値が小さい＝暗い、レベル値が大きい＝明るい）。なお、本実施形態の明るさを示す指標としてはこの方法に限定されず、例えば、ＲＧＢ形式の逆量子化データをさらにＹＵＶ形式に色空間変換し、Ｙ成分のレベル値を用いてもよい。或いは、逆量子化ブロックを複数の領域に分割し、それぞれの分割領域における逆量子化データのレベル値の平均値を用いてもよい。

Ｓ３００２〜Ｓ３００４において、特徴解析部２２５は、適正露出画像が高感度画像であるか否か、及び符号化対象画像が高感度画像であるか否かに基づいて、実行する処理Ｓ３００５〜Ｓ３００８を切り替える。例えば、適正露出が高感度画像であり、かつ、符号化対象画像が高感度である場合、特徴解析部２２５はＳ３００５を実行する。また、適正露出が低感度画像であり、かつ、符号化対象画像が低感度画像である場合、特徴解析部２２５はＳ３００７を実行する。ここで、図３１Ａ乃至３１Ｄを用いて特徴解析部２２５が実行するＳ３００５〜Ｓ３００８の詳細について説明する。

図３１Ａ乃至３１Ｄは、本実施形態において撮像部５０がＨＤＲモードで動作する場合の、特徴解析部２２５が実行する特徴解析処理の詳細示すフローチャートである。以下、同図を参照して、特徴解析部２２５の処理を説明する。

図３１Ａは、適正露出が高感度画像であり、かつ、符号化対象画像が高感度画像である場合の、特徴解析部２２５の処理（Ｓ３００５）を示すフローチャートである。

特徴解析部２２５は、Ｓ３１０１〜Ｓ３１０５の処理において、着目画素に対し特徴分類結果ｒａｎｋを算出する。実施形態１と同様に、ｒａｎｋは１〜４の値を持ち、値が大きい画素ほど、人間の視覚的に劣化の目立ちやすい画素、もしくは重要度の高い画素であるものとする。

Ｓ３１０１にて、特徴解析部２２５は着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｐｒｅ＿ｗｈｉｔｅ以下であるか否か判定する。図２９（ａ）に示すように、着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｐｒｅ＿ｗｈｉｔｅ以下である場合、当該画素のＨＤＲ画像に対する合成割合は１００％である。よって、当該画素のＨＤＲ画像における画質への影響は大きく、重要度が高い画素であるといえる。このような場合、Ｓ３１０２にて、特徴解析部２２５は着目画素の特徴分類結果ｒａｎｋに“４”を代入する。

着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｐｒｅ＿ｗｈｉｔｅより大きい場合、特徴解析部２２５は、着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｗｈｉｔｅ以下であるか否か判定する。図２９（ａ）に示すように、着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｐｒｅ＿ｗｈｉｔｅより大きく、閾値ｔｈ＿ｗｈｉｔｅ以下である場合、当該画素のＨＤＲ画像に対する合成割合は１００％〜０％の間の値を取る。よって、当該画素のＨＤＲ画像における画質への影響は必ずしも大きいとはいえないものの、本実施形態では当該画素を中程度の重要度として扱う。このような場合、Ｓ３１０４にて、特徴解析部２２５は着目画素の特徴分類結果ｒａｎｋに“３”を代入する。

一方、着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｗｈｉｔｅよりも大きい場合、図２９（ａ）に示すように、当該画素のＨＤＲ画像に対する合成割合は０％である。よって、当該画素のＨＤＲ画像における画質への影響は小さく、重要度の低い画素であるといえる。このような場合、Ｓ３１０５にて、特徴解析部２２５は着目画素の特徴分類結果ｒａｎｋに“１”を代入する。

図３１Ｂは、適正露出が高感度画像であり、かつ、符号化対象画像が低感度画像である場合の、特徴解析部２２５の処理（Ｓ３００６）を示すフローチャートである。図２８（ａ）で示した例と同様に、特徴解析部２２５は着目画素のＨＤＲ画像に対する合成割合に応じて、各画素に対してｒａｎｋを判定する。

図３１Ａと異なり、特徴解析部２２５は、図３１ＢではＳ３１０６、及びＳ３１０８における着目画素のｒａｎｋの判定において、低感度画像の明るさｂｒｉｇｈｔｎｅｓｓを用いている。ここで、画像符号化部２０はゲイン補正部６０１の前段に位置しているため、この時点では低感度画像のゲイン補正が実行されておらず、適正露出の高感度画像と露出が揃っていない。よって、Ｓ３１０６、及びＳ３１０８では、低感度画像用の閾値ｔｈ＿ｐｒｅ＿ｗｈｉｔｅ´、及びｔｈ＿ｗｈｉｔｅ´を用いて、後段の画像合成部６０における合成割合が変化する位置（明るさ）を判定することとする。ここで、閾値ｔｈ＿ｐｒｅ＿ｗｈｉｔｅ´、及びｔｈ＿ｗｈｉｔｅ´は、閾値ｔｈ＿ｐｒｅ＿ｗｈｉｔｅ、及びｔｈ＿ｗｈｉｔｅを基準に、低感度画像と高感度画像の感度比や、低感度画像と高感度画像の露光時間の比などから求めればよい。例えば、高感度画像を適正露出で撮影し、低感度画像と高感度画像の感度比が１：４である場合、低感度画像用の閾値を１／４倍にすれば、後段の画像合成部６０における閾値ｔｈ＿ｐｒｅ＿ｗｈｉｔｅ、及びｔｈ＿ｗｈｉｔｅ相当の位置（明るさ）を推定することができる。

図３１Ｃは、適正露出が低感度画像であり、かつ、符号化対象画像が低感度画像である場合の、特徴解析部２２５の処理（Ｓ３００７）を示すフローチャートである。

Ｓ３１１１にて、特徴解析部２２５は着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｐｒｅ＿ｄａｒｋより大きいか否か判定する。図２９（ｂ）に示すように、着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｐｒｅ＿ｄａｒｋより大きい場合、当該画素のＨＤＲ画像に対する合成割合は１００％である。よって、当該画素のＨＤＲ画像における画質への影響は大きく、重要度が高い画素であるといえる。このような場合、Ｓ３１１２にて、特徴解析部２２５は着目画素の特徴分類結果ｒａｎｋに“４”を代入する。

着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｐｒｅ＿ｄａｒｋ以下である場合、特徴解析部２２５は、着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｄａｒｋよりも大きいか否か判定する。図２９（ｂ）に示すように、着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｐｒｅ＿ｄａｒｋ以下であり、閾値ｔｈ＿ｄａｒｋよりも大きい場合、当該画素のＨＤＲ画像に対する合成割合は１００％〜０％の間の値を取る。よって、当該画素のＨＤＲ画像における画質への影響は必ずしも大きいとはいえないものの、本実施形態では当該画素を中程度の重要度として扱う。このような場合、Ｓ３１１４にて、特徴解析部２２５は着目画素の特徴分類結果ｒａｎｋに“３”を代入する。

一方、着目画素の明るさｂｒｉｇｈｔｎｅｓｓが閾値ｔｈ＿ｗｈｉｔｅよりも大きい場合、図２９（ｂ）に示すように、当該画素のＨＤＲ画像に対する合成割合は０％である。よって、当該画素のＨＤＲ画像における画質への影響は小さく、重要度の低い画素であるといえる。このような場合、Ｓ３１１５にて、特徴解析部２２５は着目画素の特徴分類結果ｒａｎｋに“１”を代入する。

図３１Ｄは、適正露出が低感度画像であり、かつ、符号化対象画像が高感度画像である場合の、特徴解析部２２５の処理（Ｓ３００８）を示すフローチャートである。図３１Ｃで示した例と同様に、特徴解析部２２５は着目画素のＨＤＲ画像に対する合成割合に応じて、各画素に対してｒａｎｋを判定する。

図３１Ｃと異なり、図３１ＤではＳ３１１６、及びＳ３１１８における着目画素のｒａｎｋの判定において、高感度画像の明るさｂｒｉｇｈｔｎｅｓｓを用いている。図３１Ｂと同様に、この時点では高感度画像のゲイン補正が実行されておらず、適正露出の低感度画像と露出が揃っていない。よって、Ｓ３１１６、及びＳ３１１８では、高感度画像用の閾値ｔｈ＿ｐｒｅ＿ｄａｒｋ´、及びｔｈ＿ｄａｒｋ´を用いて、後段の画像合成部６０における合成割合が変化する位置（明るさ）を判定することとする。

なお、ｒａｎｋの設定方法は上述した方法に限定されるものではない。例えば、低感度画像と高感度画像のうち、適正露出で撮影された画像は実施形態１〜３で説明した方法と同様のアルゴリズムでｒａｎｋを設定し、残りの露出アンダー、もしくは露出オーバーで撮影された画像に対し、図３０〜図３１Ｄで説明したアルゴリズムによりｒａｎｋを設定することも可能である。

以上、説明してきたように、特徴解析部２２５は、ＨＤＲ画像生成の際に合成割合が大きい画素に大きなｒａｎｋを設定し、合成割合が小さい画素に小さなｒａｎｋを設定する。また、第１の実施形態で既に説明したように、特徴解析部２２５の特徴分類結果ｒａｎｋは多重化部２２３に出力される。多重化部２２３は特徴解析部２２５から出力された特徴分類結果に基づき、重要度が高い画素ほど、量子化によって生じる損失ビットを符号化データに優先的に格納する。このようにすることで、ＨＤＲ画像生成の際に画質に影響する領域に対し符号量を大きく割り当て、それ以外の領域は符号量を削減することができる。よって、本実施形態を実施しない場合、すなわち、着目ブロックの全ての領域に均等に符号量を割り当てる場合に比べて、より効果的にＨＤＲ画像の視覚的な劣化を低減させることができる。

［第５の実施形態］
近年、撮像素子の列ごとに設けられた増幅回路の入力容量を切り替える機能を持ち、信号レベルに応じてゲインを切り替えることで、複数の感度の異なる画像を出力可能な撮像デバイスが知られている。第４の実施形態で説明した撮像デバイスと同様に、本撮像デバイスから得られる複数の感度毎の異なる画像を合成することにより、従来の撮像デバイスよりも広ダイナミックレンジの画像を１度の撮影で得ることができる。第５の実施形態では、このような撮像デバイスから得られる画像を符号化対象とした場合の説明を行う。

第５の実施形態では、撮像デバイスのみ第４の実施形態と異なるものの、基本的に図２０で示した第４の実施形態と同様の構成で実現可能であり、同様の効果を得ることができる。よって、第５の実施形態は、第４の実施形態との差分である撮像デバイスに関して主に説明を行い、第４の実施形態と同様の箇所については説明を省略する。

詳細は後述するが、本実施形態における列アンプ５０３は複数のゲインを用いて信号を増幅可能であり、異なるゲインで増幅された信号を合成することで、画像のダイナミックレンジを拡大することができる。また、本実施形態におけるタイミング制御部５０８は、列アンプ５０３に備えられている各スイッチを制御することで、列アンプ５０３のゲインを変更することができる。

なお、本実施形態では列アンプ５０３のゲインを切り替えることにより複数の異なる感度を有する画像を出力可能であるため、本実施形態における画素部５００は、第４の実施形態のように短時間露光用の画素と長時間露光用の画素の２種類の画素を有する必要ない。すなわち、本実施形態では単位画素５０１に対し、露光時間を制御するための２種類の制御信号５１６、５１７が配線されている必要はなく、単位画素５０１の転送スイッチ５１５を制御するための１種類の制御信号が配線されていればよい。

図３２は、本実施形態における列アンプ５０３のうち、ある列を一つだけ抜き出した回路の構成を示す図である。本回路は、オペアンプ５３１と、入力側コンデンサ５３６、５３７と、フィードバックコンデンサ５３９、５３０で構成された反転増幅回路となっている。オペアンプ５３１の正側入力端子（非反転入力端子）には、基準電源から所定の基準電圧が印可されている。また、タイミング制御部５０８は、各スイッチ５３４，５３５、５３８を操作することにより、コンデンサ５３６，５３７，５３９の接続を切り替えることができる。

フィードバックコンデンサ５３９、５３０は、オペアンプ５３１の反転入力端子と出力端子にそれぞれ接続され、互いに並列である。スイッチ５３８は、フィードバックコンデンサ５３９と直列に接続されており、フィードバックコンデンサ５３９の接続を制御する。オペアンプ５３１の増幅率は「入力側の容量／フィードバック容量」により決定される。

スイッチ５３４をＯＮとし、かつ、スイッチ５３５、５３８をＯＦＦとしたとき、オペアンプ５３１はコンデンサ５３６とコンデンサ５３０との静電容量比に対応する、第１のゲインで増幅した信号を列ＡＤＣ５０４に出力する。また、スイッチ５３４をＯＦＦとし、スイッチ５３５、５３８をＯＮしたとき、オペアンプ５３１はコンデンサ５３７とコンデンサ５３９、５３０の合成容量との比に対応する、第２のゲインで増幅した信号を列ＡＤＣ５０４に出力する。このように、各スイッチによりコンデンサの容量を切り替えることで、感度の異なる２種類の画像信号を出力することができる。

以上、説明してきたように、第５の実施形態の撮像部５０は、列アンプ５０３の回路構造を工夫することで、第４の実施形態の撮像部５０と同様に、低感度画像と高感度画像を出力することができる。また、これらの画像は、第４の実施形態と同様の方法で圧縮符号化され、画像合成部６０においてＨＤＲ画像が生成される。本実施形態の圧縮符号化においても、第４の実施形態と同様に、ＨＤＲ画像生成の際に画質に影響する領域に対し符号量を大きく割り当て、それ以外の領域は符号量を削減する。よって、本実施形態を実施しない場合、すなわち、着目ブロックの全ての領域に均等に符号量を割り当てる場合に比べて、より効果的にＨＤＲ画像の視覚的な劣化を低減させることができる。

［第６の実施形態］
第４の実施形態、及び第５の実施形態では、１度の撮影で複数の感度の異なる画像を出力可能な撮像デバイスを用いて、ＨＤＲ画像を生成する際の圧縮符号化方法について説明した。一方、一般的なCCDやCMOSセンサ等のイメージセンサを用いた場合において、露出量を変えながら複数毎の画像を時分割で撮影し、それらの画像を合成してＨＤＲ画像を生成するということは、デジタルカメラやスマートフォン等で既に実施されている。第６の実施形態では、このように露出量を変えながら時分割で撮影した複数毎の画像を符号化対象とした場合の説明を行う。

図３３は、被写体に対して露出量を変えながら時分割で撮影する場合の、撮像部５０の動作タイミング例を示す図である。

図３３において、撮像部５０によりｉ−１番目の画像が適正露光時間Ｔ１で撮影されている。また、ｉ−１番目の画像撮影から一定時間Ｔ２経過後、ｉ番目の画像がｉ−１番目の画像よりも短い露光時間Ｔ２（露出アンダー）で撮影されている。ここで、ｉ−１番目の画像は、ｉ番目の画像よりも相対的に露光時間の長い高感度画像となり、反対にｉ番目の画像は露光時間の短い低感度画像となる。このように、撮像部５０は露出量を変えながら複数毎の異なる感度を有する画像を時分割で撮影し、出力することができる。

なお、図３３に示す撮像部５０の動作タイミングや露光時間は、画像処理装置２００に備えられるＣＰＵ（図示せず）が、撮像部５０のタイミング制御部５０８等を操作することにより変更可能である。

このように、第６の実施形態の撮像部５０は、露出量を変えながら時分割で撮影を行うことにより、第４、第５の実施形態の撮像部５０と同様に、低感度画像と高感度画像を出力することができる。また、これらの画像は、第４、第５の実施形態と同様の方法で圧縮符号化され、画像合成部６０においてＨＤＲ画像が生成される。本実施形態の圧縮符号化においても、第４、第５の実施形態と同様に、ＨＤＲ画像生成の際に画質に影響する領域に対し符号量を大きく割り当て、それ以外の領域は符号量を削減する。よって、本実施形態を実施しない場合、すなわち、着目ブロックの全ての領域に均等に符号量を割り当てる場合に比べて、より効果的にＨＤＲ画像の視覚的な劣化を低減させることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０…取得部、２０…画像符号化部、３０…メモリ、４０…画像復号部、２１０…仮符号化系、２２０…本符号化系、２１１Ａ〜２１１Ｅ…符号化部、２１５…ＱＰ決定部、２２１…遅延部、２２３…多重化部、２２４…逆量子化部、２２５…特徴解析部

Claims (25)

1. 所定の画素数で構成されるブロックを単位として符号化し、予め設定された固定長の符号化データを生成し、出力する画像符号化装置であって、
   画像発生源から、前記ブロックの画像データを取得する取得手段と、
   該取得手段で取得した画像データを符号化し、前記固定長を超えない符号量の符号化データを生成し、前記固定長となるための不足分のビットを付加して出力する符号化処理手段とを有し、
   前記符号化処理手段は、
   着目ブロックの符号量が前記固定長以下となるように、当該着目ブロックに含まれる各画素を量子化し、当該量子化で得た量子化データを可変長符号化する可変長符号化手段と、
   該可変長符号化手段で得た前記着目ブロックの符号量と前記固定長との差から、当該固定長となるための空き領域のサイズを判定する判定手段と、
   前記着目ブロックの各画素の量子化データを解析し、各画素の重要度を示す指標値を算出する解析手段と、
   前記指標値が示す重要度が大きい画素ほど前記量子化で損失した多くのビットの値を前記空き領域に格納することで、前記可変長符号化手段で得た符号化データと量子化で損失したビットとを多重化し、前記固定長のデータを生成する多重化手段と
   を含むことを特徴とする画像符号化装置。
2. 前記解析手段は、前記着目ブロックの各画素の量子化データに基づき、着目画素が属する領域が暗いほど大きな値を持つ前記指標値を算出することを特徴とする請求項１に記載の画像符号化装置。
3. 前記解析手段は、前記着目ブロックの各画素の量子化データに基づき、着目画素が属する領域が平坦であるほど大きな値を持つ前記指標値を算出することを特徴とする請求項１に記載の画像符号化装置。
4. 前記解析手段は、
   前記着目ブロックの各画素の量子化データに基づき、着目画素の明るさが、予め設定された暗部判定の閾値以下であるか否かを判定する明るさ判定手段と、
   前記着目ブロックの各画素の量子化データに基づき、前記着目画素が、予め設定された平坦部に属するか否かを判定する平坦度判定手段と、
   前記着目ブロックにおける量子化データに基づいてエッジ数を求め、求めたエッジ数と予め設定した閾値とを比較することで、前記着目画素が属する領域の複雑度を判定する複雑度判定手段と、
   前記明るさ判定手段、前記平坦度判定手段、及び、前記複雑度判定手段の判定に基づき、前記着目画素の重要度の指標値を決定する決定手段と
   を含むことを特徴とする請求項１に記載の画像符号化装置。
5. 前記符号化処理手段は、
   前記可変長符号化手段により前記固定長以下の符号量の生成ができない場合、前記着目ブロックの各画素を、前記固定長以下となるように予め設定された量子化ステップを用いて量子化し、量子化データを生成する生成手段とを含む
   ことを特徴とする請求項１に記載の画像符号化装置。
6. 前記生成手段は、前記固定長に対して予め設定した空き領域が生じるように設定された量子化ステップを用いて量子化し、
   前記解析手段は、前記着目ブロックから得た、前記生成手段で生成された量子化データについても前記指標値を算出し、
   前記多重化手段は、
   前記指標値が示す重要度が大きい画素ほど前記生成手段による量子化で損失した多くのビットの値を前記空き領域に格納することで、前記生成手段が生成した量子化データと、当該量子化で損失したビットとを多重化し、前記固定長のデータを生成する
   ことを特徴とする請求項５に記載の画像符号化装置。
7. 前記画像発生源は、複数の異なる感度を有する画像データを出力し、
   前記取得手段は、前記画像発生源から出力された複数の異なる感度を有する画像データを取得し、
   前記符号化処理手段は、前記取得手段により取得した複数の感度を有する画像データをそれぞれ符号化し、
   前記解析手段は、
   着目画素の属する画像データの感度、及び当該画素の量子化データに基づく着目画素の明るさに応じて、前記指標値の算出方法を変更する、
   ことを特徴とする請求項１に記載の画像符号化装置。
8. 前記画像発生源は、
   適正露出を有する第１の画像データと、
   前記第１の画像データと比較して低感度、あるいは高感度を有する第２の画像データを出力する、
   ことを特徴とする請求項７に記載の画像符号化装置。
9. 前記第２の画像データが低感度を有する場合、
   前記解析手段は、
   前記第２の画像データの解析において、
   前記着目画素が明るいほど大きな値を持つ前記指標値を算出する
   ことを特徴とする請求項８に記載の画像符号化装置。
10. 前記第２の画像データが低感度を有する場合、
    前記解析手段は、
    前記第１の画像データの解析において、
    前記着目画素が暗いほど大きな値を持つ前記指標値を算出する
    ことを特徴とする請求項８に記載の画像符号化装置。
11. 前記第２の画像データが高感度を有する場合、
    前記解析手段は、
    前記第２の画像データの解析において、
    前記着目画素が暗いほど大きな値を持つ前記指標値を算出する
    ことを特徴とする請求項８に記載の画像符号化装置。
12. 前記第２の画像データが高感度を有する場合、
    前記解析手段は、
    前記第１の画像データの解析において、
    前記着目画素が明るいほど大きな値を持つ前記指標値を算出する
    ことを特徴とする請求項８に記載の画像符号化装置。
13. 前記画像発生源は、
    光電変換素子を備える複数の画素から構成される画素部と、
    画素単位で露光時間制御を実行する制御手段とを有し、
    前記制御手段の制御の下で複数の異なる露光時間を有する画素情報を出力可能なイメージセンサであって、
    前記画像データの感度は、前記制御手段による露光時間の長さに基づく、
    ことを特徴とする請求項７乃至請求項１２のいずれか１項に記載の画像符号化装置。
14. 前記画像発生源は、
    光電変換素子を備える複数の画素から構成される画素部と、
    前記画素部から出力される信号を複数の異なる増幅率で増幅する増幅手段とを有し、
    前記増幅手段により複数の異なる増幅率で増幅された画素情報を出力可能なイメージセンサであって、
    前記画像データの感度は、前記増幅手段による増幅率の大きさに基づく、
    ことを特徴とする請求項７乃至請求項１２のいずれか１項に記載の画像符号化装置。
15. 前記画像発生源はイメージセンサであって、
    前記画像データの感度は、
    前記画像データ毎に設定される撮影時の露出量に基づく、
    ことを特徴とする請求項７乃至請求項１２のいずれか１項に記載の画像符号化装置。
16. 請求項１に記載の画像符号化装置が生成した符号化データを復号する画像復号装置であって、
    所定数の画素で構成されるブロックの固定長の符号化データを取得する取得手段と、
    該取得手段で取得した符号化データを復号し、前記ブロックの画像を生成し、出力する復号処理手段とを有し、
    前記復号処理手段は、
    着目ブロックの符号化データにおける量子化データの符号データを復号することで、前記着目ブロックに含まれる各画素の量子化データを生成する復号手段と、
    該復号手段で得た着目ブロックの量子化データを逆量子化することで逆量子化データを生成する逆量子化手段と、
    該復号手段による復号の結果に基づき、前記着目ブロックの符号化データにおける、損失ビットの格納位置を判定する判定手段と、
    前記着目ブロックの各画素の逆量子化データを解析し、各画素の重要度を示す指標値を算出する解析手段と、
    前記着目ブロックの各画素の逆量子化データに、それぞれの画素の指標値に基づく損失ビットを、前記判定手段で判定した格納位置に基づいて補充し、補充後の逆量子化データを画素データとして出力する損失ビット付加手段とを備える
    ことを特徴とする画像復号装置。
17. 画像発生源として機能する撮像手段と、請求項１に記載の画像符号化装置と、請求項１６に記載の画像復号装置を有することを特徴とする撮像装置。
18. 前記撮像装置は、
    前記撮像手段から複数の異なる感度を有する画像データを取得する取得手段と、
    複数の異なる感度を有する画像データを画素ごとに加算する合成手段と、をさらに有し、
    前記画像符号化装置は、
    前記取得手段から得られた複数の異なる感度を有する画像データをそれぞれ符号化し、
    前記画像復号装置は、前記画像符号化装置が生成した複数の異なる感度を有する画像データの符号化データをそれぞれ復号することで、複数の異なる感度を有する復号化画像データを生成し、
    前記合成手段は、前記複数の異なる感度を有する復号化画像データを画素ごとに加算し、
    前記画像符号化装置における解析手段は、前記合成手段における着目画素の合成割合に応じて、前記指標値の算出方法を変更する、
    ことを特徴とする請求項１７に記載の撮像装置。
19. 前記解析手段は、
    前記合成手段における着目画素の合成割合が大きいほど、大きな値を持つ前記指標値を算出する
    ことを特徴とする請求項１８に記載の撮像装置。
20. 前記撮像装置は、
    光電変換素子を備える複数の画素から構成される画素部と、
    画素単位で露光時間制御を実行する制御手段と、
    前記制御手段の制御の下で複数の異なる露光時間を有する画素情報を出力可能なイメージセンサであって、
    前記画像データの感度は、前記制御手段による露光時間の長さに基づく、
    ことを特徴とする請求項１８又は請求項１９に記載の撮像装置。
21. 前記撮像装置は、
    光電変換素子を備える複数の画素から構成される画素部と、
    前記画素部から出力される信号を複数の異なる増幅率で増幅する増幅手段と、
    前記増幅手段により複数の異なる増幅率で増幅された画素情報を出力可能なイメージセンサであって、
    前記画像データの感度は、前記増幅手段による増幅率の大きさに基づく、
    ことを特徴とする請求項１８又は請求項１９に記載の撮像装置。
22. 前記撮像装置はイメージセンサであって、
    前記画像データの感度は、
    前記画像データの撮影時の露出量に基づく、
    ことを特徴とする請求項１８又は請求項１９に記載の撮像装置。
23. 所定の画素数で構成されるブロックを単位として符号化し、予め設定された固定長の符号化データを生成し、出力する画像符号化装置の制御方法であって、
    画像発生源から、前記ブロックの画像データを取得する取得工程と、
    該取得工程で取得した画像データを符号化し、前記固定長を超えない符号量の符号化データを生成し、前記固定長となるための不足分のビットを付加して出力する符号化処理工程とを有し、
    前記符号化処理工程は、
    着目ブロックの符号量が前記固定長以下となるように、当該着目ブロックに含まれる各画素を量子化し、当該量子化で得た量子化データを可変長符号化する可変長符号化工程と、
    該可変長符号化工程で得た前記着目ブロックの符号量と前記固定長との差から、当該固定長となるための空き領域のサイズを判定する判定工程と、
    前記着目ブロックの各画素の量子化データを解析し、各画素の重要度を示す指標値を算出する解析工程と、
    前記指標値が示す重要度が大きい画素ほど前記量子化で損失した多くのビットの値を前記空き領域に格納することで、前記可変長符号化工程で得た符号化データと量子化で損失したビットとを多重化し、前記固定長のデータを生成する多重化工程と
    を含むことを特徴とする画像符号化装置の制御方法。
24. 請求項１に記載の画像符号化装置が生成した符号化データを復号する画像復号装置の制御方法であって、
    所定数の画素で構成されるブロックの固定長の符号化データを取得する取得工程と、
    該取得工程で取得した符号化データを復号し、前記ブロックの画像を生成し、出力する復号処理工程とを有し、
    前記復号処理工程は、
    着目ブロックの符号化データにおける量子化データの符号データを復号することで、前記着目ブロックに含まれる各画素の量子化データを生成する復号工程と、
    該復号工程で得た着目ブロックの量子化データを逆量子化することで逆量子化データを生成する逆量子化工程と、
    該復号工程による復号の結果に基づき、前記着目ブロックの符号化データにおける、損失ビットの格納位置を判定する判定工程と、
    前記着目ブロックの各画素の逆量子化データを解析し、各画素の重要度を示す指標値を算出する特徴解析工程と、
    前記着目ブロックの各画素の逆量子化データに、それぞれの画素の指標値に基づく損失ビットを、前記判定工程で判定した格納位置に基づいて補充し、補充後の逆量子化データを画素データとして出力する損失ビット付加工程とを備える
    ことを特徴とする画像復号装置の制御方法。
25. コンピュータが読み込み実行することで、前記コンピュータに、請求項２３又は２４に記載の方法の各工程を実行させるためのプログラム。

Images