JP2008017247A - 電子カメラ、および画像処理プログラム - Google Patents

Abstract

【課題】 画像の圧縮伸長処理と並行して画像データの空間周波数特性を操作する。
【解決手段】 本発明の電子カメラは、次の構成を備える。撮像部は画像データを生成する。直交変換部は、この画像データを直交変換する。テーブル保持部は、異なる量子化テーブルＡ，Ｂを保持する。量子化部は、量子化テーブルＡに従って、直交変換係数を量子化する。符号化部は、量子化後の直交変換係数を符号化する。ファイル生成部は、符号化後のデータに、画像伸張処理用の量子化テーブルＢを付随させて画像圧縮ファイルを作成する。操作部は、画質調整パラメータの変更を受け付ける。テーブル保持部は、操作部からの画質調整パラメータに応じて量子化テーブルＡ，Ｂを相対的に変化させることで、画像伸長後の空間周波数特性を事前設定する。
【選択図】 図２

Description

本発明は、電子カメラ、および画像処理プログラムに関する。

従来、画像データを圧縮する方式として、ＪＰＥＧ方式などがよく知られている。
このＪＰＥＧ方式では、まず、画像データを８×８画素のブロック単位に分け、ブロック単位にＤＣＴ変換（離散コサイン変換）を施して８×８個のＤＣＴ係数を得る。このＤＣＴ係数は、量子化テーブルに定める量子化ステップに従って量子化される。このとき、高域空間周波数側の量子化ステップを粗く設定することにより、視覚的に目立たない周波数成分のビット精度を適宜に間引きつつ、量子化後のＤＣＴ係数の数値範囲を狭めることができる。この量子化後のＤＣＴ係数を、ハフマン符号化やランレングス符号化を経て符号圧縮することによりＪＰＥＧファイルが生成される。このＪＰＥＧファイル内のＤＱＴセグメントには、画像圧縮時の量子化に使用された量子化テーブルが格納される。

また、下記の特許文献１には、通常用の量子化テーブルと、ノイズ抑制用の量子化テーブル（高域成分の量子化ステップを大きくしたもの）とを、画像圧縮時に選択使用する技術が開示されている。

さらに、下記の特許文献２には、上述のＤＣＴ係数を増減することによって画像データの空間周波数分布を操作した後、量子化および符号化の過程を経てＪＰＥＧファイルを生成する技術が開示されている。

特開平６−６７４８号公報 特開平４−２９６１６８号公報

本発明者は、画像の圧縮伸長処理と並行して画像データの空間周波数特性を操作する技術を検討した。

上述した特許文献１では、高域ＤＣＴ係数の量子化ステップを大きくすることにより、高域ＤＣＴ係数に含まれるノイズ（微小振幅成分）を量子化誤差として間引くことができる。しかしながら、画像伸張時の逆量子化にも、画像圧縮時の量子化テーブルをそのまま使用するため、ＤＣＴ係数の振幅レベルは量子化前に近い値まで復元される。そのため、画像データそれ自体の空間周波数特性を有意に操作することは困難である。

一方、特許文献２では、量子化前のＤＣＴ係数を増減調整することにより、画像データの空間周波数特性を直に操作することができる。しかしながら、電子カメラ内での画像圧縮処理は専用ＩＣによって内部処理される場合が多く、量子化前のＤＣＴ係数を操作して増減調整することは、ハードウェア的に困難となる。

そこで、本発明は、上述した問題点に鑑みて、画像の圧縮伸長処理と共に、画像データの空間周波数特性を操作する新たな技術を提供することを目的とする。

《１》 本発明の電子カメラは、撮像部、直交変換部、テーブル保持部、量子化部、符号化部、およびファイル生成部を備える。
撮像部は、被写体を撮像して画像データを生成する。
直交変換部は、画像データに直交変換を施して、直交変換係数に変換する。
テーブル保持部は、直交変換係数の量子化ステップを定める量子化テーブルとして、異なる量子化テーブルＡ，Ｂを保持する。
量子化部は、量子化テーブルＡに定められる量子化ステップに従って、直交変換係数を量子化する。
符号化部は、量子化された直交変換係数を符号化して符号化データを生成する。
ファイル生成部は、符号化データに、画像伸張処理の逆量子化用として量子化テーブルＢを付随させて、画像圧縮ファイルを生成する。
《２》 なお好ましくは、本発明の電子カメラは、画質調整パラメータを変更する操作部を備える。テーブル保持部は、この画質調整パラメータに応じて、量子化テーブルＡ，Ｂを相対的に変化させる。これによって、画像圧縮ファイルの画像伸長後の空間周波数特性を画質調整パラメータに合わせて事前設定することができる。
《３》 また好ましくは、テーブル保持部は、撮像部の撮影パラメータに応じて、量子化テーブルＡ，Ｂを相対的に変化させる。これによって、画像圧縮ファイルの画像伸長後の空間周波数特性を撮影パラメータに合わせて事前設定することができる。
《４》 なお好ましくは、テーブル保持部は、直交変換係数のノイズ量を求める。テーブル保持部は、このノイズ量が多い直交変換係数について、［量子化テーブルＢの量子化ステップ／量子化テーブルＡの量子化ステップ］を下げる。
《５》 本発明の画像処理プログラムは、コンピュータを、画像入力部、直交変換部、テーブル保持部、量子化部、符号化部、およびファイル生成部として機能させるためのプログラムである。
画像入力部は、画像データを取り込む。
直交変換部は、画像データに直交変換を施して、直交変換係数に変換する。
テーブル保持部は、直交変換係数の量子化ステップを定める量子化テーブルとして、異なる量子化テーブルＡ，Ｂを保持する。
量子化部は、量子化テーブルＡに定められる量子化ステップに従って、直交変換係数を量子化する。
符号化部は、量子化された直交変換係数を符号化して符号化データを生成する。
ファイル生成部は、符号化データに、画像伸張処理の逆量子化用として量子化テーブルＢを付随させて、画像圧縮ファイルを生成する。

本発明では、画像圧縮に際して直交変換係数の量子化に使用する量子化テーブルＡと、画像圧縮ファイルに格納する逆量子化用の量子化テーブルＢとを異なるものとする。このとき、量子化テーブルＡ，Ｂに定める量子化ステップの比率を制御することによって、逆量子化後の直交変換係数を増減変化させることができる。その結果、画像圧縮時において、画像伸長後の画像データの空間周波数特性を事前設定することが可能になる。

《電子カメラの構成説明》
図１は、本実施形態の電子カメラ１１を説明する図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。この撮像素子１３は、タイミングジェネレータ１３ａによって駆動制御される。撮像素子１３から読み出された画像データは、アンプ１４においてゲイン調整された後、ＡＤ変換部１５を介してデジタル化される。デジタル化された画像データは、信号処理部１６を経て信号処理された後、バッファメモリ１７にバッファ記録される。このバッファメモリ１７は、バス１８を介して、マイクロプロセッサ１９、画像処理部２０、画像圧縮部２１に接続される。

ここでの画像圧縮部２１は、下記のような構成要件を備える。
(1)直交変換部３０
(2)量子化部３１
(3)符号化部３２
(4)ファイル生成部３３

この画像圧縮部２１で生成された画像圧縮ファイルは、カードインターフェース３４を介して、メモリカード３５に記録される。
また、電子カメラ１１には、被写界を分割測光するための測光部２２が設けられる。例えば、一眼レフタイプの電子カメラ１１では、測光部２２をファインダ光学系側に設けて、ＴＴＬ測光を行うことが好ましい。また例えば、コンパクトタイプの電子カメラ１１では、測光部２２が、撮像素子１３からモニタ画像を取得し、そのモニタ画像を解析して分割測光結果を得ることが好ましい。その他、外光式の測光部２２を設けてもよい。
さらに、電子カメラ１１には、レリーズ操作や、画質調整パラメータを設定操作するための操作部２３が設けられる。

《動作説明》
図２は、本実施形態における画像データの処理を示す流れ図である。以下、図２に示すステップ番号に沿って、この動作を説明する。

ステップＳ１： マイクロプロセッサ１９は、操作部２３を介して、画質調整に関するユーザ設定を受け付ける。このユーザ設定やデフォルト設定に従って、画質調整パラメータが設定される。例えば、電子カメラ１１では、下記項目の画質調整パラメータが設定可能である。
(1)輪郭強調の強弱
(2)ノイズ抑制の強弱
(3)階調特性（コントラストの強弱）
(4)記録画素サイズ
(5)部分階調補正（明部、暗部の階調補正設定）
(6)目標圧縮サイズ，圧縮モード
(7)彩度調整
(8)色差ノイズ抑制の強弱
(9)色空間の選択

ステップＳ２： マイクロプロセッサ１９は、操作部２３を介してレリーズ半押し操作を検知すると、ステップＳ３に動作を移行する。一方、レリーズ半押しを検知しない場合、マイクロプロセッサ１９はステップＳ１に動作を戻す。

ステップＳ３： マイクロプロセッサ１９は、レリーズ半押し状態において、測光部２２から被写界の分割測光結果を取り込む。マイクロプロセッサ１９は、この分割測光結果やユーザ操作などに基づいて、下記項目の撮影パラメータを設定する。
(1)撮像感度（アンプ１４のゲイン）
(2)撮影レンズ１２の絞り値
(3)撮像素子１３の電荷蓄積時間（機械シャッタであればシャッタ時間）
(4)閃光照明の有無
(5)測光部２２の測色結果に基づくホワイトバランス調整値

ステップＳ４： マイクロプロセッサ１９は、操作部２３を介してレリーズ全押し操作を検知すると、ステップＳ５に動作を移行する。一方、レリーズ全押しを検知しない場合、マイクロプロセッサ１９はステップＳ１に動作を戻す。

ステップＳ５： マイクロプロセッサ１９は、ステップＳ３で設定した撮影パラメータに従って、電子カメラ１１の撮影動作を制御する。撮像素子１３から出力された画像データは、アンプ１４、ＡＤ変換部１５、および信号処理部１６を経て処理された後、バッファメモリ１７に一時記録される。

ステップＳ６： 画像処理部２０は、バッファメモリ１７内の画像データに対して、色補間処理などの画像処理を施す。

ステップＳ７： マイクロプロセッサ１９は、画質調整パラメータおよび撮影パラメータに応じて、標準量子化テーブルを調整する。
例えば、画質調整パラメータから輪郭強調の強弱設定を読み出し、その強弱設定における強調の度合いを個々の空間周波数帯域ごとに判断する。このとき、強調の度合いの強い空間周波数帯域ほど、直交変換係数（後述）の量子化ステップが小さくなるように標準量子化テーブルを調整することが好ましい。この処理により、輪郭強調される空間周波数帯域について事前に圧縮歪みを抑えることが可能となる。その結果、輪郭強調によって圧縮歪みが強調されるといった不具合を予防することができる。

ステップＳ８： 直交変換部３０は、バッファメモリ１７内の画像データを８×８画素のブロック単位に分けて読み込み、直交変換（ＪＰＥＧ方式の場合はＤＣＴ変換）を実施し、直交変換係数を得る。
一方、量子化部３１は、ステップＳ７で決定した標準量子化テーブルにスケールファクタを乗じて、下式のような量子化テーブルＡを求める。

量子化部３１は、この量子化テーブルＡに定義される量子化ステップＡ１〜Ａ６４に従って、直交変換係数を量子化する。符号化部３２は、量子化後の直交変換係数を符号化して符号化データを求める。

ステップＳ９： 画像圧縮部２１は、ステップＳ８で求めた符号化データのデータ量（圧縮符号量）が、目標圧縮サイズと略一致するか否かを判断する。
ここで、目標圧縮サイズと略一致しなかった場合、画像圧縮部２１はステップＳ１０に動作を移行する。一方、目標圧縮サイズと略一致した場合、画像圧縮部２１はステップＳ１１に動作を移行する。

ステップＳ１０： 画像圧縮部２１は、圧縮符号量が目標圧縮サイズに近づく方向に、スケールファクタの値を調整する。その後、ステップＳ８に動作を戻して、画像圧縮を再実行する。

ステップＳ１１： マイクロプロセッサ１９は、画質調整パラメータおよび撮影パラメータに応じて、直交変換係数の空間周波数帯域ごとに補正係数ｋ１〜ｋ６４を決定する。

例えば、画質調整パラメータからノイズ抑制の強弱設定を読み出し、その強弱設定におけるノイズ抑制の度合いを直交変換係数の空間周波数帯域ごとに決定する。このノイズ抑制の度合いに応じて、図３［Ａ］に一例を示すように補正係数ｋ１〜ｋ６４を１〜０の数値範囲内で調整することが好ましい。
また例えば、画質調整パラメータから輪郭強調の強弱設定を読み出し、その強弱設定における周波数成分の増幅率を直交変換係数の空間周波数帯域ごとに判断する。この周波数成分の増幅率に応じて、図３［Ｂ］に一例を示すように補正係数ｋ１〜ｋ６４を１以上の数値範囲内で調整することが好ましい。
また例えば、撮影パラメータ（例えば撮像感度設定）に応じて、直交変換係数の空間周波数帯域ごとにノイズ量を推定し、ノイズ量が多い直交変換係数ほど、補正係数を下げてゼロに近づけることが好ましい。
また例えば、電子カメラ１１が同一の撮影パラメータで暗黒画像を撮影し、その暗黒画像を空間周波数解析により、直交変換係数ごとのノイズ量を求める。この解析結果に基づいて、ノイズ量が多い直交変換係数ほど、補正係数を下げてゼロに近づけることが好ましい。
また例えば、画像データの平坦領域（空部分など）を空間周波数解析して、直交変換係数ごとのノイズ量を求める。この解析結果に基づいて、ノイズ量が多い直交変換係数ほど、補正係数を下げてゼロに近づけることが好ましい。
また例えば、上述したノイズ抑制および輪郭強調の双方を考慮して、図３［Ｃ］に一例を示すように、補正係数ｋ１〜ｋ６４を調整することも好ましい。

ステップＳ１２： マイクロプロセッサ１９は、量子化テーブルＡと補正係数ｋ１〜ｋ６４とを、下式のように要素単位に乗じて、画像伸張処理の逆量子化に使用する量子化テーブルＢを決定する。

ステップＳ１３： マイクロプロセッサ１９は、量子化テーブルＢに定義される個々の量子化ステップＢ１〜Ｂ６４ごとに上限を制限する。このような上限設定により、過大な量子化ステップによって画像伸張時に生じる歪み（逆量子化時の飽和・飛びなど）を予防することができる。なお、これら量子化ステップＢ１〜Ｂ６４の上限値については、画質評価実験などに基づいて、予め決定しておくことが好ましい。

ステップＳ１４： マイクロプロセッサ１９は、画質優先の圧縮モードか、圧縮サイズ優先の圧縮モードかを判定する。
画質優先の圧縮モードの場合、マイクロプロセッサ１９はステップＳ１５に動作を移行する。
圧縮サイズ優先の圧縮モードの場合、マイクロプロセッサ１９はステップＳ１６に動作を移行する。

ステップＳ１５： マイクロプロセッサ１９は、上限の制限された量子化ステップＢ１〜Ｂ６４を、ステップＳ１１で決定した補正係数で割って、量子化テーブルＡを再定義する。画像圧縮部２１は、この量子化テーブルＡを用いて画像圧縮を再実行する。

ステップＳ１６： ファイル生成部３３は、ステップＳ８またはステップＳ１５で生成された符号化データを取り込み、画像圧縮ファイルを生成する。ファイル生成部３３は、この画像圧縮ファイルの所定のセグメント（ＪＰＥＧファイルの場合はＤＱＴセグメント）に量子化テーブルＢを格納する。
このようにして完成した画像圧縮ファイルは、カードインターフェース３４を介して、メモリカード３５に記録される。

《実施形態の効果など》
以上説明したように、本実施形態では、画像圧縮時の量子化テーブルＡと、画像伸長用としてファイル内に格納する量子化テーブルＢとを意図的に異なるものにする。この場合、量子化テーブルＡ、Ｂの差異に従って、画像伸長後における個々の直交変換係数を増減調整することができる。その結果、画像圧縮時において、画像伸長後の空間周波数特性を事前設定することが可能になる。

また、本実施形態では、量子化テーブルＡ，Ｂを異ならせる少ない処理負荷によって、画像データの空間周波数特性を調整することができる。その結果、画像データの空間周波数特性を別途調整するための画像処理を軽減または省略することが可能になる。

さらに、本実施形態では、電子カメラ１１に設定される画質調整パラメータに従って、量子化テーブルＡ，Ｂを相対的に変化させる。その結果、画像伸長後の空間周波数特性を、画質調整パラメータに合わせて事前設定することができる。

また、本実施形態では、画像データの撮影パラメータに従って、量子化テーブルＡ，Ｂを相対的に変化させる。その結果、画像伸長後の空間周波数特性を、画像データの撮影状況やカメラ内での処理状況に合わせて適切な特性にすることができる。

さらに、本実施形態では、平坦な画像（青空などの部分領域、同一条件で撮影した暗黒画像データなど）の空間周波数解析や、撮影パラメータの設定などに基づいて、直交変換係数に含まれるノイズ量を推定する。そして、ノイズ量が多い直交変換係数ほど、［量子化テーブルＢの量子化ステップ／量子化テーブルＡの量子化ステップ］を下げる。その結果、ノイズが多く含まれる空間周波数成分を低減し、ノイズによる画像の荒れ（粒状感など）を適度に抑えることが可能になる。

《実施形態の補足事項》
なお、上述した実施形態では、画質調整パラメータや撮影パラメータに従って、量子化テーブルＡ，Ｂを両方とも変化させている。その結果、量子化誤差の発生等を予測しながら、より高度に空間周波数特性を調整することができる。しかしながら、これに限定されるものではない。量子化テーブルＡ，Ｂの少なくとも一方を変化させればよい。

また、上述した実施形態では、固定長圧縮を前提として、量子化テーブルＡのスケールファクタを調整している。しかしながら、これに限定されるものではない。圧縮サイズの調整を前提とせずに、量子化テーブルＡを直に決定してもよい。

なお、上述した実施形態では、ＪＰＥＧ方式（ＤＣＴ変換）を前提として、画像圧縮動作を説明している。しかしながら、これに限定されるものではない。その他の直交変換を実施する画像圧縮方式に本発明を適用することも可能である。例えば、ウェーブレット変換によって画像をサブバンド分解する画像圧縮方式では、サブバンドごとに量子化処理（下位ビットの切り捨ても含む）を実施する。このサブバンドごとの量子化ステップが、量子化テーブルに該当する。

また、上述した実施形態では、電子カメラ１１において本発明を実施するケースについて説明した。しかしながら、これに限定されるものではない。図２に示す処理を、画像処理プログラムを用いてコンピュータに実行させてもよい。この場合、撮影パラメータについては、画像データの撮影データ領域（Exif情報など）から取得することが好ましい。また、電子カメラとコンピュータとの通信を介して、撮影パラメータを取得してもよい。また、画質調整パラメータについては、コンピュータが、通信媒体や記録媒体を介してカメラ側から設定入力を取り込むことが好ましい。また、コンピュータ側において、画質調整パラメータの設定入力を受け付けてもよい。

以上説明したように、本発明は、電子カメラや画像処理プログラムなどに利用可能な技術である。

本実施形態の電子カメラ１１を説明する図である。 本実施形態における画像データの処理を示す流れ図である。 量子化テーブルの補正係数の一例を示す図である。

符号の説明

１１…電子カメラ，１２…撮影レンズ，１３…撮像素子，１３ａ…タイミングジェネレータ，１４…アンプ，１５…ＡＤ変換部，１６…信号処理部，１７…バッファメモリ，１８…バス，１９…マイクロプロセッサ，２０…画像処理部，２１…画像圧縮部，２２…測光部，２３…操作部，３０…直交変換部，３１…量子化部，３２…符号化部，３３…ファイル生成部，３４…カードインターフェース，３５…メモリカード

Claims (4)

1. 被写体を撮像して画像データを生成する撮像部と、
   前記画像データに直交変換を施して、直交変換係数に変換する直交変換部と、
   前記直交変換係数の量子化ステップを定める量子化テーブルとして、異なる量子化テーブルＡ，Ｂを保持するテーブル保持部と、
   前記量子化テーブルＡに定められる前記量子化ステップに従って、前記直交変換係数を量子化する量子化部と、
   量子化された前記直交変換係数を符号化して符号化データを生成する符号化部と、
   前記符号化データに、画像伸張処理の逆量子化用として量子化テーブルＢを付随させて、画像圧縮ファイルを生成するファイル生成部と
   画質調整パラメータを変更する操作部とを備え、
   前記テーブル保持部は、
   前記画質調整パラメータに応じて、前記量子化テーブルＡ，Ｂを相対的に変化させることにより、前記画像圧縮ファイルの画像伸長後の空間周波数特性を前記画質調整パラメータに合わせて事前設定する
   ことを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記テーブル保持部は、
   前記撮像部の撮影パラメータに応じて、前記量子化テーブルＡ，Ｂを相対的に変化させることにより、前記画像圧縮ファイルの画像伸長後の空間周波数特性を前記撮影パラメータに合わせて事前設定する
   ことを特徴とする電子カメラ。
3. 請求項１または請求項２に記載の電子カメラにおいて、
   前記テーブル保持部は、
   前記直交変換係数のノイズ量に応じて、前記ノイズ量が多いと判定された前記直交変換係数について、［前記量子化テーブルＢの量子化ステップ／前記量子化テーブルＡの量子化ステップ］を下げる
   ことを特徴とする電子カメラ。
4. コンピュータを、
   画像データを取り込む画像入力部と、
   前記画像データに直交変換を施して、直交変換係数に変換する直交変換部と、
   前記直交変換係数の量子化ステップを定める量子化テーブルとして、異なる量子化テーブルＡ，Ｂを保持するテーブル保持部と、
   前記量子化テーブルＡに定められる前記量子化ステップに従って、前記直交変換係数を量子化する量子化部と、
   量子化された前記直交変換係数を符号化して符号化データを生成する符号化部と、
   前記符号化データに、画像伸張処理の逆量子化用として量子化テーブルＢを付随させて、画像圧縮ファイルを生成するファイル生成部と
   画質調整パラメータを変更する操作部として機能させ、
   前記テーブル保持部は、
   前記画質調整パラメータに応じて、前記量子化テーブルＡ，Ｂを相対的に変化させることにより、前記画像圧縮ファイルの画像伸長後の空間周波数特性を前記画質調整パラメータに合わせて事前設定する
   ことを特徴とする画像処理プログラム。
   

Images