JP2019068385A - 符号化装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Abstract

【課題】符号化歪みであるＰＳＮＲを算出することなく符号化効率を向上させる。【解決手段】制御部１１８は画像データの画質モードに応じて、周波数帯を示すサブバンド毎に量子化パラメータの設定範囲を決定し、量子化ＣＬＩＰ部１０５および１０６の各々は量子化パラメータの設定範囲に応じて量子化パラメータをクリップ処理する。周波数変換部１１９は画像データを離散ウェーブレット変換して変換係数を得て、量子化部１０７は変換係数を、クリップ処理された量子化パラメータで量子化して量子化画像データを得る。符号化部１１６は量子化画像データをサブバンド毎に符号化処理して符号化データを得る。【選択図】図２

Description

本発明は、符号化装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、動画又は静止画のＲＡＷ画像を記録する技術に関する。

従来の撮像装置では、撮像センサーによって得られた生の画像（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）して輝度および色差からなる信号に変換する。その後、輝度信号および色差信号に対してノイズ除去、光学的な歪補正、画像の適正化処理などの所謂現像処理を行っている。そして、現像処理された輝度信号および色差信号を圧縮符号化して符号化データとして記録媒体に記録する。

一方、ＲＡＷ画像自体を記録可能な撮像装置がある。ＲＡＷ画像はそのデータ量が膨大であるので、ＲＡＷ画像を記録する際には、大きなメモリ容量を必要とする。一方で、ＲＡＷ画像はオリジナル画像に対する補正および劣化が最低限に抑えられ、撮影の後に編集できる利点があるので、上級のユーザによって好んで用いられている。

さらに、近年、ＲＡＷ画像の記録ついては、静止画のみならず動画にも適用されている。ＲＡＷ画像の動画を記録する際には、所定の記録媒体に一定時間の動画像が記録できるように、データ量を所望の符号量に圧縮する制御が必要となる。

ＲＡＷ画像を圧縮する際には、まず、従来の圧縮方式であるＪＰＥＧ２０００のように符号化によるブロック歪が生じないようにブロック単位にＤＣＴ処理を行う。その後、圧縮することなくウェーブレット変換などの周波数変換を用いて周波数帯であるサブバンドに分解してサブバンドの各々を圧縮する。例えば、ウェーブレット変換を用いた撮像装置が特許文献１に記載されている。

特開平６−１６４４０９号公報

ところで、動画を記録する際に用いられる圧縮処理には、例えば、量子化処理が用いられる。そして、人間の視覚特性上高域成分ほど視認し辛いことを利用して、高域成分を有するサブバンド程、量子化パラメータを大きく設定する。これによって、主観的な画質を損なうことなく、符号化量を削減することができる。例えば、ＪＰＥＧ２０００においては、高域サブバンド程量子化パラメータを大きく設定することが規定されている。

ところが、量子化処理をサブバンド毎に行うので、例えば、所定のサブバンドのみ量子化パラメータが小さい場合には、符号化量が多くなるばかりでなく主観的な画質が改善しない。一方、所定のサブバンドのみ量子化パラメータが大きい場合には、全体の画質が劣化してしまうことがある。このため、符号化効率を上げるためには、サブバンド毎の劣化度をある程度揃える必要がある。

特許文献１に記載の撮像装置では、サブバンド毎の伝送路上のバッファ残量と符号化歪みであるＰＳＮＲとを用いて量子化パラメータを求めている。符号化歪みであるＰＳＮＲを算出するためには、入力画像と復号した画像とを比較する必要があるので不可避的に復号器が必要となる。

従って、本発明の目的は、符号化歪みであるＰＳＮＲを算出することなく符号化効率を向上させることのできる符号化装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による符号化装置は、画像データを符号化処理して記録する符号化装置であって、前記画像データの画質モードに対応する、周波数帯を示すサブバンド毎の量子化パラメータの設定範囲に応じて量子化パラメータをクリップ処理するクリップ手段と、前記画像データを離散ウェーブレット変換して変換係数を得る変換手段と、前記変換係数を、前記クリップ手段でクリップ処理された量子化パラメータで量子化して量子化画像データを得る量子化手段と、前記量子化画像データを前記サブバンド毎に符号化処理する符号化手段と、を有することを特徴とする。

本発明によれば、符号化歪みであるＰＳＮＲを算出することなく符号化効率を向上させることができる。

本発明の第１の実施形態による符号化装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示すセンサーに配置されたカラーフィルターの一例を説明するための図である。 図１に示すカメラにおける画面内の目標符号量と発生符号量との関係を示す図である。 図１に示すカメラにおいて量子化パラメータと量子化ステップとの関係を示す図である。 図１に示すカメラにおける量子化パラメータ、主観画質の劣化、ＰＳＮＲ、および画質モードの量子化パラメータ範囲を説明するための図である。 図１に示す量子化ＣＬＩＰ部で行われるＣＬＩＰ処理の一例を説明するためのフローチャートである。 図１に示すカメラにおいてウェーブレット変換を行った際の各サブバンドを概念的に示す図である。 図１に示す量子化ＣＬＩＰ部によるＣＬＩＰ処理前後のサブバンドの量子化パラメータを説明するための図である。 本発明の第２の実施形態に係るカメラにおける量子化パラメータ、主観画質の劣化、ＰＳＮＲ、および画質モードの量子化パラメータ範囲を説明するための図である。 本発明の第２の実施形態に係るカメラに備えられた量子化ＣＬＩＰ部によるＣＬＩＰ処理前後のサブバンドの量子化パラメータを説明するための図である。 本発明の第３の実施形態に係るカメラにおいて、入力画像のビット深度が異なるサブバンドにおける量子化パラメータ、主観画質の劣化、および画質モードの量子化パラメータ範囲を示す図である。 本発明の第４の実施形態に係るカメラにおいて、許容発生符号量が設定された際の量子化パラメータ、主観画質の劣化、および画質モードの量子化パラメータ範囲を示す図である。

以下に、本発明の実施の形態による符号化装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による符号化装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置においては、入力画像を可変サイズの複数のブロックに分割して、ブロック毎に符号化処理を行って符号化ストリームを生成して、当該符号化ストリームを記録媒体などに記録する。

［符号化処理］
図１を参照して、図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、制御部１１８を有している。制御部１１８はＣＰＵおよび当該ＣＰＵで実行される制御プログラムを格納するメモリを備え、カメラ１００の全体の処理を制御する。

撮影動作の開始が指示されると、撮像対象である被写体の光学像が撮像光学部１０１を介して撮像センサー部（以下単にセンサーと呼ぶ１０２に結像する。センサー１０２は、画素毎に配置された赤、緑、および青（ＲＧＢ）のカラーフィルターを透過した光を電気信号（アナログ信号）に変換する。

図２は、図１に示すセンサーに配置されたカラーフィルターの一例を説明するための図である。そして、図２（ａ）はベイヤー配列の画素を示す図であり、図２（ｂ）は１フレームの画像を示す図である。また、図２（ｃ）は画素プレーンを示す図である。

図２（ａ）に示すように、センサー１０２においては、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のカラーフィルターが画素毎にモザイク状に配置されている。ここでは、２×２の４画素について赤１画素、青１画素、および緑２画素を１セットとして規則的に画素が規則的に配列されている。そして、このような画素配列は、一般にベイヤー―配列と呼ばれる。

センサー部１０２の出力である電気信号（センサー信号）は、センサー信号処理部１０３に与えられる。センサー信号処理部１０３はセンサー信号について画素値の修復処理を行う。

なお、修復処理には、センサー１０２における欠落画素および信頼性の低い画素（修復対象画素）に係る画素値に対して周辺の画素値を用いて修復対象画素を補間する補間処理がある。また、修復処理には、画素値に対して所定のオフセット値を減算する減算処理がある。

ここでは、センサー信号処理部１０３によって修復処理された画像情報を生（未現像）の画像を意味するＲＡＷ画像と呼ぶ。

ところで、図２（ｂ）のように、センサー信号処理部１０３には、ベイヤー配列のセンサー信号が１フレーム画像として入力され、前述のように、センサー信号処理部１０３は、修復処理によってＲＡＷ画像を生成する。そして、センサー信号処理部１０３は、図２（ｃ）に示すように、ＲＡＷ画像を画素に分離して、各画素で面（プレーン）を形成するようにしてＲＡＷ画像を入力画像バッファ１０４に出力する。

入力画像バッファ１０４には、複数画素ラインのＲＡＷ画像を入力可能である。入力画像バッファ１０４にＲＡＷ画像が入力されると、画像符号化部１１７は入力画像バッファ１０４に記録されたＲＡＷ画像を入力して、画素ライン単位に符号化処理を行う。

画像符号化部１１７において、周波数変換部１１９は、入力画像バッファ１０４に記録されたＲＡＷ画像を入力して、ＲＡＷ画像に対して離散ウェーブレット変換を行って周波数帯を示すサブバンドに変換する。そして、周波数変換部１１９は、サブバンドを量子化部１０７に出力する。

目標符号量設定部１１１は、制御部１１８の制御下で、画質優先の記録モードおよび記録時間優先の記録モードなどの各種記録モードによって規定される圧縮率に応じて、１ピクチャに割り当てる符号量を算出する。また、目標符号量設定部１１１は、ＲＡＷ画像が動画である場合には、記録される動画全体で所定の圧縮率となるようにする。

画素ライン目標符号量算出部１１２は、目標符号量設定部１１１から、１ピクチャに割り当てる符号量を受けて、画素ライン単位の符号量を算出する。例えば、画素ライン目標符号量算出部１１２は、１ピクチャに割り当てる符号量を画素ライン毎に均等に割り振るようよう、画素ライン単位の符号量を算出する。

画素ライン符号量保持部１１３は、画素ライン目標符号量算出部１１２によって求められた画素ライン単位の符号量を保持する。

量子化設定部１０９は、基準となる量子化ステップを決定して、当該量子化ステップを量子化ＣＬＩＰ部１０５に通知する。なお、画面間で量子化ステップを大きく切り替えると、画面間で符号化歪みが顕在化してしまうので、画面間において緩やかに量子化ステップが推移するようにする。

量子化ＣＬＩＰ（クリップ）部１０５は、制御部１１８から指示された記録モードに応じて、量子化設定部１０９で決定された量子化ステップに対して上限値および下限値を用いてＣＬＩＰ処理（クリップ処理）を行う。そして、量子化ＣＬＩＰ部１０５は、ＣＬＩＰ処理後の量子化ステップを量子化制御部１１０に通知する。

符号量比較部１１４は、１つ前の画素ラインの目標符号量を画素ライン目標符号量保持部１１３から入力するとともに、１つ前の画素ラインの発生符号量を発生符号量保持部１１５から入力する。そして、符号量比較部１１４は、１つ前の画素ラインの目標符号量と１つ前の画素ラインの発生符号量との差分を符号量差分情報として量子化制御部１１０に出力する。

量子化制御部１１０は、ピクチャ内の先頭画素ラインを処理する際には、量子化設定部１０９で設定された量子化ステップを量子化部１０７に出力する。一方、２画素ライン以後を処理する際には、量子化制御部１１０は１つ前の画素ラインの発生符号量を発生符号量保持部１１５から入力する。さらに、量子化制御部１１０は１つ前の画素ラインの量子化ステップを量子化値保持部１０８から入力する。

量子化制御部１１０は、符号量差分情報、１つ前の画素ラインの発生符号量、および１つ前の画素ラインの量子化ステップに応じて量子化ステップを算出し、当該量子化ステップを量子化ＣＬＩＰ部１０６に通知する。

量子化ＣＬＩＰ部１０６は、制御部１１８から指示された記録モードに応じて、量子化制御部１１０で求められた量子化ステップについて上限値および下限値を用いてＣＬＩＰ処理を行う。そして、量子化ＣＬＩＰ部１０６はＣＬＩＰ処理後の量子化ステップを量子化部１０７に通知する。

量子化部１０７は、量子化制御部１１０から通知された量子化ステップを用いて、入力画像バッファから入力されＲＡＷ画像についてベイヤー配列の画素毎に量子化して量子化画像データとして符号化部１１６に出力する。

符号化部１１６は、量子化部１０７の出力である量子化画像データを圧縮符号化処理して符号化ストリームとして出力する。例えば、圧縮符号化処理として、ゴロム符号化のようなエントロピー符号化が用いられる。そして、符号化部１１６は、符号化ストリームの発生符号量を発生符号量保持部１１５に出力する。

［量子化制御］
図３は、図１に示すカメラにおける１画面（ピクチャ）内の目標符号量と発生符号量との関係を示す図である。

総目標符号量３０１はラインに対する総目標符号量を示し、ここでは、先頭ラインから第４番目のラインまで４ライン分の符号量が示されている。総発生符号量３０２はラインに対する総発生符号量を示し、例えば、先頭ラインＴ（０）の総発生符号量はＳ（０）となる。ＥＲＲ３０３は、総目標符号量と総発生符号量との符号量差分を示し、符号量比較部１１４によって算出される。

図３においては、先頭ラインの目標符号量Ｔ（０）に対して、発生符号量Ｓ（０）が上回っていることが分かる。このような場合、２ライン目については、先頭ラインに比べて、量子化ステップ数を大きくして２ライン目の発生符号量を抑える。これによって、目標符号量Ｔ（１）と発生符号量Ｓ（１）とを近づけるために、次の式（１）を用いて量子化ステップを決定する。

但し、Ｑ（ｎ）はＮライン目の量子化ステップ数（Ｎは１以上の整数）、ＥＲＲ（ｎ）はＮライン目までの総符号量差分、Ｒは制御感度を示す。

まず、式（１）を用いて、仮の量子化ステップＱ´が算出される。式（１）は、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５に記載された画像符号化方式に代表されるものと同様であって、ピクチャに対する目標符号量と実際の発生符号量との差を得るために、量子化コードをフィードバック制御によって求める。

［量子化ＣＬＩＰ処理］
図１に示す量子化ＣＬＩＰ部１０５および１０６の各々は量子化ステップＱを変換した量子化パラメータＱＰを用いてＣＬＩＰ処理を行う。

量子化パラメータＱＰについては、Ｈ．２６４の規格で定義されており、「ＰＳＮＲ」と「量子化ステップの対数」とが比例関係にあることに着目して、「量子化ステップの対数」と比例関係の「ＱＰ」とを定義して画質の制御性を向上させる。

図４は、図１に示すカメラにおいて量子化パラメータＱＰと量子化ステップとの関係を示す図である。

図示のように、ここでは、量子化パラメータが６増加すると、量子化ステップが２倍となる関係となる。

図５は、図１に示すカメラにおける量子化パラメータＱＰ、主観画質の劣化具合を示す劣化Ｌｖ、ＰＳＮＲ、および画質モードの量子化パラメータ範囲を説明するための図である。そして、図５（ａ）は量子化パラメータＱＰ、主観画質の劣化具合を示す劣化Ｌｖ、およびＰＳＮＲの関係を示す図である。また、図５（ｂ）は、量子化パラメータＱＰ、主観画質の劣化Ｌｖ、および画質モードの量子化パラメータ範囲を示す図である。

曲線５０１は量子化パラメータＱＰと主観画質との関係を示しており、ＰＳＮＲが高い場合には、ＰＳＮＲが１ｄｂ低下すると主観画質は緩やかに劣化する。一方、ＰＳＮＲが低い場合には、ＰＳＮＲが１ｄｂ低下すると、主観画質は急激に劣化する。

曲線５０２は量子化パラメータＱＰとＰＳＮＲとの関係を示しており、量子化パラメータＱＰを大きくすると、量子化パラメータＱＰの大きさに比例してＰＳＮＲが低下する。

上述のように、量子化パラメータＱＰが小さい場合には、ＰＳＮＲが１ｄｂ低下すると主観画質は緩やかに劣化し、量子化パラメータＱＰが大きい場合には、ＰＳＮＲが１ｄｂ低下すると主観画質は急激に劣化する。

曲線６０１は量子化パラメータＱＰと主観画質との関係を示しており、線分６０２は、高画質モードに対応する量子化パラメータ範囲（量子化パラメータの設定範囲）を示す。また、線分６０３は、中画質モードに対応する量子化パラメータ範囲を示し、線分６０４は、低画質モードに対応する量子化パラメータ範囲を示す。

高画質モードにおいては、量子化パラメータ範囲における最大値と最小値との差分が大きくなるように量子化パラメータ範囲６２０が決定される。低画質モードにおいては、量子化パラメータの最大値と最小値との差分が小さくなるように量子化パラメータ範囲６０４が決定される。

図６は、図１に示す量子化ＣＬＩＰ部で行われるＣＬＩＰ処理の一例を説明するためのフローチャートである。なお、図示のＣＬＩＰ処理は量子化ＣＬＩＰ部１０５および１０６の各々で行われる処理であり、ここでは、量子化ＣＬＩＰ部１０５を例に挙げて説明する。

ＣＬＩＰ処理を開始すると、量子化ＣＬＩＰ部１０５は、制御部１１８より画質モードを取得する（ステップＳ７０１）。さらに、量子化ＣＬＩＰ部１０５は制御部１１８から各サブバンドの初期量子化パラメータの値を示すＩｎｉＱＰを取得する（ステップＳ７０２）。

続いて、量子化ＣＬＩＰ部１０５は、制御部１１８からＣＬＩＰ処理に必要な量子化パラメータの上限値であるＭａｘＱＰおよび下限値であるＭｉｎＱＰを取得する（ステップＳ７０３）。そして、量子化ＣＬＩＰ部１０５は、ＩｎｉＱＰに第１のオフセット値を加えてＭａｘＱＰとする。また、量子化ＣＬＩＰ部１０５は、ＩｎｉＱＰから第２のオフセット値を減算してＭｉｎＱＰとする。

なお、第１のオフセット値および第２のオフセット値は画質モードに応じて決定され、高画質モードの場合には、第１のオフセット値および第２のオフセット値は大きくなる。一方、低画質モードの場合には、第１のオフセット値および第２のオフセット値は小さくなる。

続いて、量子化ＣＬＩＰ部１０５は、入力された量子化パラメータＱＰがＭａｘＱＰよりも大きいか否かを判定する（ステップＳ７０４）。ＱＰ＞ＭａｘＱＰであると（ステップＳ７０４において、ＹＥＳ）、量子化ＣＬＩＰ部１０５は、入力された量子化パラメータＱＰをＭａｘＱＰに置き換える（ステップＳ７０５）。

一方、ＱＰ≦ＭａｘＱＰであると（ステップＳ７０４において、ＮＯ）、量子化ＣＬＩＰ部１０５は、入力された量子化パラメータＱＰがＭｉｎＱＰよりも小さいか否かを判定する（ステップＳ７０６）。ＱＰ＜ＭｉｎＱＰであると（ステップＳ７０６において、ＹＥＳ）、量子化ＣＬＩＰ部１０５は入力された量子化パラメータＱＰをＭｉｎＱＰに置き換える（ステップＳ７０７）。

ステップＳ７０５又はＳ７０７の処理の後、量子化ＣＬＩＰ部１０５は量子化パラメータを出力する（ステップＳ７０８）。そして、量子化ＣＬＩＰ部１０５はＣＬＩＰ処理を終了する。なお、ＱＰ≧ＭｉｎＱＰであると（ステップＳ７０６において、ＮＯ）、量子化ＣＬＩＰ部１０５はステップＳ７０８の処理に進んで、入力された量子化パラメータＱＰを出力する。

図７は、図１に示すカメラにおいてウェーブレット変換を行った際の各サブバンドを概念的に示す図である。

図７において、左上が最も低域のサブバンドであり、右下が最も高域のサブバンドである。ここでは、ウェーブレット変換（ＤＷＴ）を水平および垂直方向にそれぞれ所定の回数（例えば、２回）行った場合のサブバンドが示されており、分解Ｌｖが２までのサブバンドが存在する。

図示の２ＬＬ、２ＨＬ、２ＬＨ、および２ＨＨのサブバンドは分解Ｌｖが２であることを示しており、１ＨＬ、１ＬＨ、および１ＨＨのサブバンドは分解Ｌｖが１である。

図８は、図１に示す量子化ＣＬＩＰ部によるＣＬＩＰ処理前後のサブバンドの量子化パラメータを説明するための図である。そして、図８（ａ）はＣＬＩＰ処理前のサブバンドの量子化パラメータを示す図であり、図８（ｂ）はＣＬＩＰ処理後のサブバンドの量子化パラメータを示す図である。

ＣＩＬＰ処理前においては、サブバンドの量子化パラメータは大小バラバラであって、所定の範囲外のものが存在する。一方、ＣＬＩＰ処理を行うことによって、全サブバンドの量子化パラメータが所定の範囲に収まることが分かる。

なお、図８（ａ）および図８（ｂ）においては、各サブバンドにおいて１つの量子化パラメータのみが示されているが、ライン毎に量子化パラメータを変える（変更する）場合においても、ライン毎の量子化パラメータがＣＬＩＰ処理されると、各サブバンドは所定の範囲に収まる。

上述のようにして、量子化ＣＬＩＰ部１０５および１０６の各々は、所定の範囲外の量子化パラメータを、所定の範囲に収まるように書き換える。これによって、全サブバンドの量子化パラメータが所定の範囲内に収まるようにすることができるので、符号化効率を向上させることができる。

なお、量子化ＣＬＩＰ部１０５および１０６の各々は画質モードに応じて、全サブバンドの量子化パラメータの上限値および下限値を決定するようにした。一方、符号量制御部から指示される符号化ビットレート（設定ビットレート）の設定に応じて、量子化ＣＬＩＰ部１０５および１０６の各々は全サブバンドの量子化パラメータの上限値および下限値を決定するようにしてもよい。

このように、本発明の第１の実施形態では、符号化歪みであるＰＳＮＲを算出することなく符号化効率を向上させることができる。

［第２の実施形態］
続いて、本発明の第２の実施形態に係るカメラの一例について説明する。なお、第２の実施形態に係るカメラの構成は図１に示すカメラと同様である。

第２の実施形態に係るカメラでは、量子化ＣＬＩＰ部１０５および１０６の各々は、画質モードおよびサブバンドの分解レベル（Ｌｖ）に応じて、サブバンド毎の量子化パラメータの上限値および下限値を決定する。

［量子化ＣＬＩＰ処理］
図９は、本発明の第２の実施形態に係るカメラにおける量子化パラメータＱＰ、主観画質の劣化具合を示す劣化Ｌｖ、ＰＳＮＲ、および画質モードの量子化パラメータ範囲を説明するための図である。そして、図９（ａ）は量子化パラメータＱＰ、主観画質の劣化具合を示す劣化Ｌｖ、およびＰＳＮＲの関係を示す図である。また、図９（ｂ）は、量子化パラメータＱＰ、主観画質の劣化Ｌｖ、および画質モードの量子化パラメータ範囲を示す図である。なお、ここでは、分解Ｌｖが２までのＤＷＴを行った場合を例に挙げて説明する。

曲線１００１は、分解Ｌｖ＝１のサブバンドにおける量子化パラメータＱＰと主観画質との関係を示しており、ＰＳＮＲが高い場合には、ＰＳＮＲが１ｄｂ低下すると主観画質は緩やかに劣化する。一方、ＰＳＮＲが低い場合には、ＰＳＮＲが１ｄｂ低下すると、主観画質は急激に劣化する。

曲線１００２は、分解Ｌｖ＝２のサブバンドにおける量子化パラメータＱＰとＰＳＮＲとの関係を示しており、曲線１００１と同様の傾向であるが、低域の成分を多く含んでいるので、量子化パラメータが少なくてもＬｖ１のサブバンドと比較して主観画像が劣化することが分かる。

曲線１１０１は分解Ｌｖ＝１の量子化パラメータＱＰと主観画質との関係を示しており、曲線１１０２は分解Ｌｖ＝２の量子化パラメータＱＰと主観画質との関係を示している。

線分１１０３は、分解Ｌｖ＝１の際の高画質モードにおける量子化パラメータ範囲を示す。また、線分１１０４は、分解Ｌｖ＝１の際の中画質モードにおける量子化パラメータ範囲を示し、線分１１０５は、分解Ｌｖ＝１の際の低画質モードにおける量子化パラメータ範囲を示す。

線分１１０６は、分解Ｌｖ＝２の際の高画質モードにおける量子化パラメータ範囲を示す。また、線分１１０７は、分解Ｌｖ＝２の際の中画質モードにおける量子化パラメータ範囲を示し、線分１１０８は、分解Ｌｖ＝２の際の低画質モードにおける量子化パラメータ範囲を示す。

分解Ｌｖ＝２における量子化パラメータ範囲１１０６、１１０７、および１１０８は、分解Ｌｖ＝１における量子化パラメータ範囲１１０３、１１０４、および１１０５と比べてその範囲が小さい。そして、量子化ＣＬＩＰ部１０５および１０６の各々は、画質モードおよびサブバンドの分解Ｌｖに応じてサブバンド毎の量子化パラメータの上限値および下限値を決定する。

図１０は、本発明の第２の実施形態に係るカメラに備えられた量子化ＣＬＩＰ部によるＣＬＩＰ処理前後のサブバンドの量子化パラメータを説明するための図である。そして、図１０（ａ）はＣＬＩＰ処理前のサブバンドの量子化パラメータを示す図であり、図１０（ｂ）はＣＬＩＰ処理後のサブバンドの量子化パラメータを示す図である。

ＣＩＬＰ処理前においては、サブバンドの量子化パラメータは大小バラバラであって、所定の範囲外のものが存在する。一方、ＣＬＩＰ処理を行うことによって、全サブバンドの量子化パラメータが所定の範囲に収まることが分かる。

なお、サブバンドの分解Ｌｖに応じて上記の所定の範囲が異なるようにＣＬＩＰ処理が行われる。また、図１０においては、サブバンド毎に１つの量子化パラメータのみが示されている。一方、ライン毎に量子化パラメータを変える場合においても、各サブバンドのライン毎の量子化パラメータをＣＬＩＰ処理すれば、全サブバンドの量子化パラメータが所定の範囲に収まる。

上述のように、サブバンドの分解Ｌｖに応じて量子化の範囲を個別に指定することができるので、劣化を視認しにくい高域のサブバンドの量子化パラメータを大きく設定すれば符号化効率を一層高めることかができる。

このように、本発明の第２の実施形態では、符号化歪みであるＰＳＮＲを算出することなく符号化効率を向上させることができる。

［第３の実施形態］
続いて、本発明の第３の実施形態に係るカメラの一例について説明する。なお、第３の実施形態に係るカメラの構成は図１に示すカメラと同様である。

第３の実施形態に係るカメラでは、量子化ＣＬＩＰ部１０５および１０６の各々は、画質モードおよび入力画像のビット深度に応じてサブバンド毎の量子化パラメータの上限値および下限値を決定する。

［量子化ＣＬＩＰ処理］
図１１は、本発明の第３の実施形態に係るカメラにおいて、入力画像のビット深度が異なるサブバンドにおける量子化パラメータＱＰ、主観画質の劣化Ｌｖ、および画質モードの量子化パラメータ範囲を示す図である。なお、ここでは、ビット深度＝Ｎ（Ｎは１以上の整数）およびＮ＋αの場合の２通りのビット深度を例に挙げて説明する。

曲線１３０１は、ビット深度＝Ｎ＋αの量子化パラメータＱＰと主観画質との関係を示しており、曲線１３０２はビット深度＝Ｎの量子化パラメータＱＰと主観画質との関係を示している。線分１３０３は、ビット深度＝Ｎ＋αの際の高画質モードにおける量子化パラメータ範囲を示す。

また、線分１３０４は、ビット深度＝Ｎ＋αの際の中画質モードにおける量子化パラメータ範囲を示し、線分１３０５は、ビット深度＝Ｎ＋αの際の低画質モードにおける量子化パラメータ範囲を示す。

線分１３０６は、ビット深度＝Ｎの際の高画質モードにおける量子化パラメータ範囲を示す。また、線分１３０７は、ビット深度＝Ｎの際の中画質モードにおける量子化パラメータ範囲を示し、線分１３０８は、ビット深度＝Ｎの際の低画質モードにおける量子化パラメータ範囲を示す。

曲線１３０１においては、ＰＳＮＲが高い場合には、ＰＳＮＲが１ｄｂ低下すると主観画質がゆるやかに劣化する。一方、ＰＳＮＲの値が低い場合には、ＰＳＮＲが１ｄｂ低下すると主観画質は急激に劣化する。

曲線１３０２においては、曲線１３０１と同様の傾向であるものの、係数（変換係数）の振幅が小さいので、量子化パラメータが少なくてもビット深度＝Ｎ＋αのサブバンドに比べて、主観画像が劣化することが分かる。

量子化パラメータ範囲１３０６、１３０７、および１３０８は、量子化パラメータ範囲１３０３、１３０４、および１３０５と比べてその範囲が小さい。そして、量子化ＣＬＩＰ部１０５および１０６の各々は、画質モードおよび入力画像のビット深度に応じてサブバンド毎の量子化パラメータの上限値および下限値を決定する。

上述のように、入力画像のビット深度に応じて量子化の範囲を指定することができるので、画質モードとビット深度とを個々に切り替えて設定して記録する際においてもそれぞれの設定に適した量子化の範囲を指定することができる。この結果、符号化効率を高い量子化制御を行うことができる。

このように、本発明の第３の実施形態では、符号化歪みであるＰＳＮＲを算出することなく符号化効率を向上させることができる。

［第４の実施形態］
続いて、本発明の第４の実施形態に係るカメラの一例について説明する。なお、第４の実施形態に係るカメラの構成は図１に示すカメラと同様である。

第４の実施形態に係るカメラでは、量子化ＣＬＩＰ部１０５および１０６の各々は、画質モードおよび許容されるサブバンドの最大発生符号量である許容発生符号量Ｓに応じて、サブバンド毎の量子化パラメータの上限値および下限値を決定する。

［量子化ＣＬＩＰ処理］
図１２は、本発明の第４の実施形態に係るカメラにおいて、許容発生符号量が設定された際の量子化パラメータＱＰ、主観画質の劣化Ｌｖ、および画質モードの量子化パラメータ範囲を示す図である。なお、ここでは、制御部１１８が許容発生符号量を設定するものとする。

曲線１４０１は、量子化パラメータＱＰと主観画質との関係を示しており、線分１４０２は、許容発生符号量Ｓ≧所定の閾値Ｔの際の高画質モードにおける量子化パラメータ範囲を示す。また、線分１４０３は、許容発生符号量Ｓ≧所定の閾値Ｔの際の中画質モードにおける量子化パラメータ範囲を示し、線分１４０４は、許容発生符号量Ｓ≧所定の閾値Ｔの際の低画質モードにおける量子化パラメータ範囲を示す。

線分１４０５は、許容発生符号量Ｓ＜所定の閾値Ｔの際の高画質モードにおける量子化パラメータ範囲を示す。また、線分１４０６は、許容発生符号量Ｓ＜所定の閾値Ｔの際の中画質モードにおける量子化パラメータ範囲を示し、線分１４０７は、許容発生符号量Ｓ＜所定の閾値Ｔの際の低画質モードにおける量子化パラメータ範囲を示す。

許容発生符号量Ｓ＜閾値Ｔの場合には、画質モードの各々において、許容発生符号量Ｓ≧閾値Ｔの場合と比べて、量子化パラメータ範囲の最小値を大きく設定する。そして、量子化ＣＬＩＰ部１０５および１０６の各々は符号量の発生を抑えるように量子化ＣＬＩＰ処理を行う。

上述のようにして、許容発生符号量Ｓに応じて量子化の範囲を指定すれば、高画質モードであるにも拘わらず発生符号量を抑えたいような場合に、適切に量子化パラメータ範囲を設定することができる。この結果、符号化効率の高い量子化制御を行うことができる。

このように、本発明の第４の実施形態では、符号化歪みであるＰＳＮＲを算出することなく符号化効率を向上させることができる。

なお、上述のように、量子化ＣＬＩＰ部１０５および１０６は画質モードおよび許容されるサブバンドの最大発生符号量に応じて、サブバンドの量子化パラメータの上限値および下限値を決定する。

一方、ＭＰＥＧ−２又はＨ．２６４で規定される仮想バッファを定義した場合には、当該仮想バッファの空き具合に応じてサブバンドの量子化パラメータの上限値および下限値を決定するようにしてもよい。つまり、符号化ビットレート、フレームレート、発生符号量、およびバッファサイズに応じて仮想バッファを定義した場合には、仮想バッファの残量に応じてサブバンド毎の量子化パラメータの上限値および下限値が決定される。この場合、仮想バッファの空き具合が少ない場合には、量子化パラメータ範囲の最小値を大きくする。

さらに、許容されるピクチャの最大発生符号に応じて、量子化パラメータの上限値および下限値を決定するようにしてもよい。この場合、許容される（許容可能な）サブバンドの最大発生符号量が小さい場合には、量子化パラメータ範囲の最小値を大きくする。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を符号化装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを符号化装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０５，１０６ 量子化ＣＬＩＰ部
１０７ 量子化部
１０８ 量子化値保持部
１０９ 量子化設定部
１１０ 量子化制御部
１１１ 目標符号量設定部
１１４ 符号量比較部
１１５ 発生符号量保持部
１１６ 符号化部
１１８ 制御部

Claims (18)

1. 画像データを符号化処理して記録する符号化装置であって、
   前記画像データの画質モードに対応する、周波数帯を示すサブバンド毎の量子化パラメータの設定範囲に応じて量子化パラメータをクリップ処理するクリップ手段と、
   前記画像データを離散ウェーブレット変換して変換係数を得る変換手段と、
   前記変換係数を、前記クリップ手段でクリップ処理された量子化パラメータで量子化して量子化画像データを得る量子化手段と、
   前記量子化画像データを前記サブバンド毎に符号化処理する符号化手段と、
   を有することを特徴とする符号化装置。
2. 前記クリップ手段は、前記画像データの画質モードに応じて、周波数帯を示すサブバンド毎に量子化パラメータの設定範囲を決定し、当該決定された設定範囲に応じて量子化パラメータをクリップ処理することを特徴とする請求項１に記載の符号化装置。
3. 前記符号化手段は、前記量子化画像データを複数のブロックに分割して、前記サブバンド毎に前記ブロックの単位で符号化処理することを特徴とする請求項２に記載の符号化装置。
4. 前記量子化パラメータの設定範囲は前記量子化パラメータの最大値および最小値で規定されおり、
   前記画質モードが高画質モードの場合の前記量子化パラメータの設定範囲おける前記最大値と前記最小値との差分は前記画質モードが低画質モードの場合の前記量子化パラメータの設定範囲における前記最大値と前記最小値との差分よりも大きいことを特徴とする請求項３に記載の符号化装置。
5. 前記ブロックの単位は画素ラインの単位で設定されることを特徴とする請求項３又は４に記載の符号化装置。
6. 前記クリップ手段は、前記離散ウェーブレット変換を行った回数に応じて前記サブバンド毎の量子化パラメータの設定範囲を変更することを特徴とする請求項２乃至５のいずれか１項に記載の符号化装置。
7. 前記クリップ手段は、前記離散ウェーブレット変換を行った回数が多くなる程、前記量子化パラメータの設定範囲を規定する最大値と最小値との差分を大きくすることを特徴とする請求項６に記載の符号化装置。
8. 前記クリップ手段は、前記画像データのビット深度に応じて前記サブバンド毎の量子化パラメータの設定範囲を変更することを特徴とする請求項２乃至５のいずれか１項に記載の符号化装置。
9. 前記クリップ手段は、前記ビット深度が高い程、前記量子化パラメータの設定範囲を規定する最大値と最小値との差分を大きくすることを特徴とする請求項８に記載の符号化装置。
10. 前記クリップ手段は、設定ビットレートに応じて前記サブバンド毎の量子化パラメータの設定範囲を変更することを特徴とする請求項２乃至５のいずれか１項に記載の符号化装置。
11. 前記クリップ手段は、前記設定ビットレートが高い程、前記量子化パラメータの設定範囲を規定する最大値と最小値との差分を大きくすることを特徴とする請求項１０に記載の符号化装置。
12. 設定ビットレート、フレームレート、発生符号量、およびバッファサイズに応じてバッファが規定されており、
    前記クリップ手段は前記バッファの残量に応じて前記サブバンド毎の量子化パラメータの設定範囲を変更することを特徴とする請求項２乃至５のいずれか１項に記載の符号化装置。
13. 前記クリップ手段は、前記バッファの残量が少ないと、前記バッファの残量が多い場合に比べて前記量子化パラメータの設定範囲を規定する最小値を大きくすることを特徴とする請求項１２に記載の符号化装置。
14. 前記クリップ手段は、許容可能な最大発生符号量に応じて前記サブバンド毎の量子化パラメータの設定範囲を変更することを特徴とする請求項２乃至５のいずれか１項に記載の符号化装置。
15. 前記クリップ手段は、前記最大発生符号量が少ないと、前記最大発生符号量が多い場合に比べて前記量子化パラメータの設定範囲を規定する最小値を大きくすることを特徴とする請求項１４に記載の符号化装置。
16. 被写体を撮像して前記画像データを得る撮像手段と、
    請求項１乃至１５のいずれか１項に記載の符号化装置と、
    を有することを特徴とする撮像装置。
17. 画像データを符号化処理して記録する符号化装置の制御方法であって、
    前記画像データの画質モードに対応する、周波数帯を示すサブバンド毎の量子化パラメータの設定範囲に応じて量子化パラメータをクリップ処理するクリップステップと、
    前記画像データを離散ウェーブレット変換して変換係数を得る変換ステップと、
    前記変換係数を、前記クリップステップでクリップ処理された量子化パラメータで量子化して量子化画像データを得る量子化ステップと、
    前記量子化画像データを前記サブバンド毎に符号化処理する符号化ステップと、
    を有することを特徴とする制御方法。
18. 画像データを符号化処理して記録する符号化装置で用いられる制御プログラムであって、
    前記符号化装置が備えるコンピュータに、
    前記画像データの画質モードに対応する、周波数帯を示すサブバンド毎の量子化パラメータの設定範囲に応じて量子化パラメータをクリップ処理するクリップステップと、
    前記画像データを離散ウェーブレット変換して変換係数を得る変換ステップと、
    前記変換係数を、前記クリップステップでクリップ処理された量子化パラメータで量子化して量子化画像データを得る量子化ステップと、
    前記量子化画像データを前記サブバンド毎に符号化処理する符号化ステップと、
    を実行させることを特徴とする制御プログラム。