JP2006166259A - デジタルカメラ並びにデジタルカメラシステム、画像圧縮方法、画像処理方法及びプログラム並びにそれらを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】所望の圧縮率で圧縮する場合、量子化のスケールファクタが大きすぎる場合に生じることがある過度の圧縮による画像の劣化を防止する。
【解決手段】一定符号量に到達した時点で、スケールファクタをチェックし、スケールファクタ、もしくは圧縮符号化が施された撮像画像のデータ量が所定の閾値以下であると判定されたときは、その圧縮結果をそのままデジタルカメラの記録部のメモリに記録する。一方、所定の閾値より大きいと判定されたときは、圧縮後符号量から所定の符号量を減算する。所定の符号量は、デジタルカメラの制御部にあらかじめ格納された値であり、画像処理の種類（階調補正やエッジ強調など）ごとに複数のテスト画像から統計的に定める値である。減算結果が所定閾値より小さいときは、当該画像処理を解除して、スケールファクタを更新し圧縮符号化をやり直すが、大きいときはそれ以上圧縮符号化を行わない。
【選択図】図６

Description

本発明は、デジタルカメラ並びにデジタルカメラシステム、画像圧縮方法、画像処理方法及びプログラム並びにそれらを記録したコンピュータ読み取り可能な記録媒体に関し、特に、撮像した画像に、階調補正やエッジ強調などの画像処理を施し、離散コサイン変換などの直交変換を施し、変換係数に量子化を施した後に圧縮符号化を施す際、撮像画像の画質の劣化を防止する技術に関する。

デジタルカメラでは、ＣＣＤ（電荷結合素子）などの撮像素子で撮像した画像をデジタル信号化して記録するが、画像１フレーム分に要するメモリ量は大きい一方、記録媒体（フラッシュメモリなどの半導体メモリ、光ディスク、超小型磁気ディスクなど）の記憶容量は限られているため、撮像画像の圧縮が行われており、静止画の場合は、離散コサイン変換によりデータ量を圧縮するＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などが用いられている。

このＪＰＥＧ圧縮方式は、カラー静止画像を任意の圧縮率で圧縮可能であり、そのため、まず、撮像画像を、例えば８×８画素の画素ブロックに分割し、これらの画素ブロックにＤＣＴ変換（離散コサイン変換）などの直交変換を施し、画像データを空間周波数成分に変換する。次に、８×８の空間周波数成分に対する量子化の刻みを定義した標準量子化テーブルを用意し、この標準量子化テーブルにスケールファクタを乗じて量子化テーブルを作成する。そして、この量子化テーブルを用いて、ＤＣＴ変換後の変換係数を量子化する。なお、引き続く画素ブロックについて、この変換係数の直流成分同士の差分を検出する差分ＰＣＭ（ＤＰＣＭ）を用いることも可能である。そして、最後に、量子化後の変換係数に、可変長符号化やランレングス符号化などの圧縮符号化を施し、圧縮符号化後の撮像画像が記録媒体に記録される。こうして記録された撮像画像は、ディスプレイ装置上で、又はプリンタに出力されて、鑑賞される。

ところで、ＪＰＥＧ圧縮方式に限らず、圧縮後のデータ量は、個々の撮像画像を撮像した条件に依存する。
撮像条件とは、例えば、明るさ、シャッタ速度、レンズの焦点距離、撮像感度、その他の撮像条件や、階調補正、エッジ強調などの圧縮符号化の前に行った画像処理の種類や、ポートレート、海・雪、打ち上げ花火、夕焼けなどの撮像シーンなどである。

特に、圧縮が足りないときは記録できる画像の枚数すなわちフレーム数が小さくなる一方、過剰に圧縮すると記録できるフレーム数は増加するが、画質が劣化するおそれがある。
そこで、圧縮に際し、撮像条件を利用して的確な圧縮符号化を実行することが考えられてきた。

例えば、特許文献１では、あらかじめ用意したテスト画像に基づいて、撮像条件ごとに、圧縮率と圧縮パラメータとの間の統計的関係を定める。ここに、圧縮率は圧縮前符号量に対する圧縮後符号量の比であり、１／４、１／８、１／１６などの任意の値とすることができる。また、圧縮パラメータとは、圧縮後符号量に影響を及ぼすスケールファクタなどをいう。

特許文献１に例示された撮像条件は非常に多く、例えば、撮像感度（撮像素子の信号ゲイン）、電子ズームの有無・倍率、シャッタ速度、ホワイトバランス調整、特殊撮影、モノクロ撮像、露出補正、ノイズ低減などである。また、別の観点からすると、撮像条件には、ストロボ、スローシンクロ、日中シンクロ、マルチパターン測光、カメラブレなどがある。さらに、他の観点からすると、撮像条件には、マクロ撮像、像倍率、被写界深度、絞り値、焦点距離、画角、被写体距離、合焦状況、コンバータレンズ、フィルタなどがある。

さらに、ポートレート、海・雪、打ち上げ花火、夕焼けなどのシーンモードは、ハードウエアとしてのデジタルカメラの設定条件が、それぞれのシーンに対応した撮像条件としてプログラムされており、各シーンモードも撮像条件の一種である。
さらには、階調補正、エッジ強調、ノイズ除去などの画像処理は、撮像後に行われる処理であるが、圧縮前に行われるため、やはり、撮像条件の一種である。

こうして、特許文献１では、圧縮率の所定の値を実現するスケールファクタが、多くのテスト画像に基づいて統計的に決定され、撮像条件ごとに、データテーブルとしてまとめられる。
そこで、撮像条件と圧縮率が与えられれば、上述したデータテーブルからスケールファクタを読み出して初期スケールファクタとし、撮像画像を試し圧縮符号化し、その後、所望の圧縮率が得られるまでスケールファクタを所定の方法で更新し、圧縮が繰り返され、所定のデータ量に到達すれば圧縮処理を終了する。
特開平２００１−６１１４８号公報（図７）

しかし、特許文献１では、圧縮率ごとに定めた一定の圧縮符号量が得られるまで圧縮符号化を繰り返す（固定符号量圧縮を行う）ため、撮像画像によっては、圧縮し過ぎてノイズが高くなるなどの画質劣化が生じることがある。その理由は、スケールファクタと圧縮率のデータテーブルが統計的に決定されており、特殊な撮像条件に対しては過剰な圧縮が行われることがあるためである。

また、特許文献１では、特殊な撮像条件の下では、上述した圧縮符号化の繰り返し回数が多くなり、極端な場合には、いつまで経っても圧縮符号化が終了せず、したがって、撮像データが確定しないため、次の撮像を行うことができない。
そこで、本発明は、固定符号量圧縮の場合でも、画質の劣化を生じさせない画像圧縮を行うことを目的とする。

一般に、圧縮符号化前にデジタルカメラ内で行われる画像処理（階調補正、エッジ強調、ノイズ除去、色補正など）を行えば、画像処理を行わなかった場合に比して、圧縮符号量（圧縮符号化後の撮像画像の符号量）は増加する。
そこで、本発明では、画像処理の種類ごとに、圧縮符号量の増分をあらかじめ統計的に定めてデジタルカメラに記憶させ、圧縮符号量が固定符号量に到達した時点で、スケールファクタが所定閾値より大きいか否かを判定する。そして、スケールファクタが所定閾値より大きいときには、過剰な圧縮が行われ画質劣化が生じるおそれがあるものとして、一旦施した画像処理を解除し、圧縮符号化をやり直し、これによって、画像劣化を防止する。

また、本発明では、解除された種類の画像処理については、画像処理前の撮像画像が半導体メモリなどの記録媒体に記録されているので、その画像処理前の撮像データを事後的に読み出して、デジタルカメラ外で当該画像処理を行う。
具体的には、請求項１に係るデジタルカメラは、撮像画像に１以上の種類の画像処理を施し、その結果の撮像画像を出力する画像処理手段と、上記画像処理手段の出力を、直交変換し、その変換係数を量子化し、圧縮符号化し、その結果の撮像画像を出力する圧縮符号化手段と、上記画像処理手段に画像処理の種類を指示するとともに、上記圧縮符号化手段に圧縮条件もしくは量子化条件を指示する制御手段と、上記圧縮符号化手段の出力を記録する記録手段とを備え、上記制御手段は、上記量子化のスケールファクタ、もしくは前記圧縮符号化が施された撮像画像のデータ量が所定閾値より大きいときは、上記圧縮符号化の前に施された上記画像処理の種類の内少なくともひとつを解除したうえで、上記圧縮符号化手段に圧縮符号化をやり直させることを特徴とする。

また、請求項２に係る発明は、請求項１記載のデジタルカメラにおいて、上記記録手段は、解除された上記画像処理の種類を記録することを特徴とする。
また、請求項３に係る発明は、請求項１記載のデジタルカメラにおいて、上記画像処理の種類は、階調圧縮及び又はエッジ強調であることを特徴とする。
また、請求項４に係る発明は、請求項１記載のデジタルカメラと、画像処理を解除した事実を表示する解除表示手段と、解除された種類の画像処理を施す事後画像処理手段とを備えることを特徴とする。

また、請求項５に係る発明は、請求項１記載のデジタルカメラを用いた画像圧縮方法において、上記制御部が、上記圧縮符号化の結果が一定符号量となったときの上記スケールファクタが所定閾値より大きいか否かを判定するステップと、上記記録部が、上記スケールファクタが上記所定閾値より大きくないときは上記圧縮符号化された撮像画像を上記記録部に記録するステップと、上記圧縮符号化部が、上記スケールファクタが上記所定閾値より大きいときは上記圧縮符号化の前に施した上記画像処理の種類のひとつを解除し、圧縮符号化をやり直すステップとを含むことを特徴とする。

また、請求項６に係る発明は、請求項４記載のカメラシステムを用いた画像処理方法において、上記解除表示手段が、画像処理を解除した事実を上記記録手段から読み出して表示させるステップと、上記事後画像処理手段が、画像処理を解除された上記撮像画像に対して、解除された画像処理を施させるステップとを含むことを特徴とする。
また、請求項７に係る発明は、請求項１記載のデジタルカメラに画像圧縮を実行させるプログラムにおいて、上記制御部に、圧縮符号量が一定符号量になったときの上記スケールファクタが所定閾値より大きいか否かを判定させる手順と、上記記録部に、上記スケールファクタが上記所定閾値より大きくないときは上記圧縮符号化された撮像画像を記録させる手順と、上記圧縮符号化部に、上記スケールファクタが上記所定閾値より大きいときは上記圧縮符号化の前に施した上記画像処理の種類のひとつを解除し、圧縮符号化をやり直させる手順とを含むことを特徴とする。

また、請求項８に係る発明は、請求項４記載のカメラシステムに画像処理を実行させるプログラムにおいて、上記解除表示手段に、画像処理を解除した事実を上記記録手段から読み出して表示させる手順と、上記事後画像処理手段に、画像圧縮を解除された上記撮像画像に対して、解除された種類の画像処理を施させる手順とを含むことを特徴とする。
また、請求項９に係るコンピュータ読み取り可能な記憶媒体は、請求項７記載のプログラムを記録したことを特徴とする。

また、請求項１０に係るコンピュータ読み取り可能な記憶媒体は、請求項８記載のプログラムを記録したことを特徴とする。

本発明によれば、撮像画像を量子化する際のスケールファクタ、もしくは前記圧縮符号化が施された撮像画像のデータ量が所定閾値より大きくなった場合には、圧縮符号化による画質劣化が生じるものとして、圧縮符号化以前に既に実行していた画像処理（階調補正、エッジ強調など）を解除し、画像処理を施す前の撮像画像に対して、スケールファクタを所定閾値以下にして圧縮符号化をやり直すため、圧縮符号化による画像劣化を防止することができる。

また、本発明によれば、解除の対象とされたためにデジタルカメラ内部で行えなかった画像処理については、デジタルカメラ外で事後的に行うため、画像劣化が生じていない撮像画像に対して階調補正やエッジ強調などの所望の画像処理を施こすことができる。

以下、図面を参照して本発明の実施の形態について説明する。
［デジタルカメラの構成］
図１は、デジタルカメラのブロック図である。
このデジタルカメラは、撮像画像に１以上の種類の画像処理を施し、その結果の撮像画像を出力する画像処理手段（画像処理部１７）と、上記画像処理手段の出力を、直交変換し、その変換係数を量子化し、圧縮符号化し、その結果の撮像画像を出力する圧縮符号化手段（圧縮符号化部１８）と、上記画像処理手段に画像処理の種類を指示するとともに、上記圧縮符号化手段に圧縮条件もしくは量子化条件を指示する制御手段（制御部２１）と、上記圧縮符号化手段の出力を記録する記録手段（記録部１９）とを備え、上記制御手段は、上記量子化のスケールファクタ、もしくは前記圧縮符号化が施された撮像画像のデータ量が所定閾値より大きいときは、上記圧縮符号化の前に施された上記画像処理の種類の内少なくともひとつを解除したうえで、上記圧縮符号化手段に圧縮符号化をやり直させる。

図１には、デジタルカメラの光学エンジンから液晶表示装置などの画像モニタまでが示されており、画像を撮像するための撮像レンズ１１と、撮像レンズ１１による撮像画像を受光する撮像素子１３と、撮像素子１３の出力信号を増幅し相関二重サンプリングするなどの信号処理を行う信号処理部１５と、信号処理部１５の出力をＡ／Ｄ変換するＡ／Ｄ変換部１６と、Ａ／Ｄ変換部１６の出力にエッジ強調や階調補正などの画像処理を施す画像処理部１７と、画像処理部１７の出力に圧縮符号化を施す圧縮符号化部１８と、圧縮符号化部１８の出力を記録する記録部１９を含む。

ここに、制御部２１は、下記の機能を有する。
まず、制御部２１は、上述した撮像レンズ１１、発光部１２，撮像素子１３、信号処理部１５、Ａ／Ｄ変換部１６、画像処理部１７との間で双方向にデータを交換しつつ、これらを制御する。
さらに、制御部２１は、圧縮符号化部１８に、圧縮率と撮像条件とを通知して、圧縮符号化を行わせる。

さらに、制御部２１は、記録部１９に記録された撮像画像や、撮像前の画像を、表示部に表示させる。
さらに、制御部２１は、測光部２２、測距部２３、操作ボタン群２４からの入力に基づいて、各部を制御する。
次に、上述した各部について説明する。

撮像レンズ１１は、マクロ撮像、像倍率、被写界深度、絞り値、焦点距離、画角、コンバータレンズ、フィルタなどのデータを制御部２１に入力し、制御部２１は、例えば、絞り優先でデジタルカメラを動作させるなどの制御を行う。
発光部１２は、ユーザのボタン操作などにより制御部２１を介してストロボ、スローシンクロ、日中シンクロなどを動作させる。

撮像素子１３は、２次元ＣＣＤ（電荷結合素子）などであり、ＣＣＤ上にＲＧＢ３色のフィルタが重ねられている。画素数は、数メガピクセルから数十メガピクセル又はそれ以上が好適である。
信号処理部１５は、ＣＣＤからの光電変換電圧を、所定の増幅率で増幅し、記録部１９や表示部２０に適合する信号とする。

Ａ／Ｄ変換部１６は、信号処理部１５のアナログ出力を、例えば８ビットのデジタル信号に変換する。なお、この場合、階調や彩度などは、２５６段階で表現することができる。
画像処理部１７は、Ａ／Ｄ変換部１６の出力画像に対して、デジタル演算により、ホワイトバランス調整や彩度補正などの色補正、階調補正、エッジ強調などを行う。

圧縮符号化部１８は、画像処理部１７の出力画像を、ＪＰＥＧ規格などにより，例えば圧縮率１／４、１／８、１／１６に圧縮する。
記録部１９は、フラッシュメモリなどの不揮発性半導体メモリ、光ディスク、超小型の磁気ディスク等が好適である。圧縮符号化後の撮像画像が１フレーム１メガバイト程度とすると、記録部１９の記録媒体に１ギガバイト程度の記憶容量があれば、１０００フレーム程度記録できることになる。

表示部２０は、液晶表示素子などが好適であり、光学ファインダとは別に、撮像前後の画像をモニタするために用いる。なお、表示部２０はモニタ機能があるため、光学ファインダを有さないデジタルカメラも考えられる。
制御部２１は、マイクロプロセッサであり、入出力回路、演算回路、メモリなどを配置したＬＳＩ（集積回路）である。

測光部２２は、測光データ（例えば、撮像素子１３の撮像領域を、例えば、２５６分割などして受光量分布を測定するマルチ測光モードのデータ、画面中央部周辺の広い領域を重点的に測光する中央部重点測光モードのデータ、画面中央部周辺の狭い領域又はフォーカスエリアを重点的に測光するスポット測光モードのデータなど）を、制御部２１に入力する。

測距部２３は、オートフォーカス機構であり、被写体の像のぼけが最小になるまでレンズを動かし被写体にピントを合わせる機構である。具体的には、被写体のエッジの照度分布などから誤差信号を生成し、誤差信号がゼロとなったときレンズを停止する。
操作ボタン部２４は、ユーザの操作により、シーンモード（ポートレート、パーティ、夜景ポートレート、海・雪、風景、夕焼け、夜景、ミュージアム、打ち上げ花火、クローズアップ、モノクロコピー、多重露出、パノラマアシスト、スポーツ、トワイライトなど）や、測光モード（マルチ測光、中央部重点測光、スポット、測光など）、ホワイトバランスモード（マニュアル、オートなど）を、制御部２１に入力する。

［デジタルカメラの動作］
デジタルカメラは、３段階の動作で撮像画像を圧縮符号化する。
まず、第１段階の動作は、制御部２１による動作であり、ユーザが所望の圧縮率を入力すると、制御部２１が撮像条件を判断し、圧縮率と撮像条件とに応じたスケールファクタをデータテーブルで検索し、検索結果のスケールファクタを圧縮符号化部１８へ通知する。

ここで、データテーブルは、撮像条件ごとに各圧縮率を実現できるスケールファクタを列記したものである。
撮像条件は、撮像レンズ１１、発光部１２、信号処理部１５、測光部２２、測距部２３、操作ボタン群２４から制御部２１に入力されるデータに基づいて、所定の方式で定められる。例えば、測光部２２からの入力（例えばストロボの使用の有無）や操作ボタン部２４からの入力（例えば、シーンモードの選択）に基づいて定められる。

なお、このデータテーブルは、制御部２１のＲＯＭ（読み出し専用メモリ）に書き込まれているものであり、撮像時に初めて作成するのではない。
ここまでが、第１段階の動作である。
続く第２段階の動作は、圧縮符号化部１８による動作であり、目標スケールファクタＮＳＦにより、圧縮率に対応した固定符号量が得られるまで、圧縮符号化が繰り返される。

具体的には、圧縮符号化部１８は、制御部２１から送られてきたスケールファクタを初期スケールファクタＩＳＦとして、量子化テーブルを設定する（直交変換係数を量子化しその最大値を決定する）。そして、試し圧縮符号化の結果に基づいて、所定の方法で、目標スケールファクタＮＳＦを算出し、圧縮符号化を行う。そして、目標スケールファクタＮＳＦにより、圧縮符号量が所定の固定符号量（目標符号量ＴＣＶ）に到達するまで、目標スケールファクタＮＳＦを所定の方法で更新しながら圧縮符号化を繰り返す。

ここまでが、第２段階の動作である。
しかし、特殊な撮像条件の下では、撮像情報を圧縮し過ぎる場合があり、過剰な圧縮による画像劣化を防止するため、第３段階の動作が行われる。
すなわち、続く第３段階の動作は、制御部２１による圧縮符号化の結果の判定に基づいた圧縮符号化のやり直しである。

具体的には、第２段階の動作において圧縮符号化が終了すると、圧縮符号化終了時点での目標スケールファクタＮＳＦが所定閾値より大きいか否かが制御部２１によって判定される。
そして、目標スケールファクタＮＳＦが所定閾値より大きくない場合は、過剰な圧縮符号化は行われず画質の劣化がないものとして、圧縮結果の撮像画像が記録部１９に記録される。

一方、目標スケールファクタＮＳＦが所定閾値より大きい場合は、過剰な圧縮符号化が行われ画質が劣化するおそれがあるものとして、既に施した画像処理の種類の１つが解除される。
ここに、画像処理も撮像条件であり、上述したデータテーブルは、画像処理の種類、圧縮率、スケールファクタについて設定されている。

したがって、画像処理の解除により、スケールファクタも変更され、変更されたスケールファクタが、制御部２１から圧縮符号化部１８に通知される。そこで、通知されたスケールファクタが初期スケールファクタＩＳＦとされ、それによって、目標スケールファクタＮＳＦが更新され、圧縮符号化がやり直される。
その結果、所定閾値以下の目標スケールファクタＮＳＦで圧縮符号化が終了すれば、そこで、圧縮符号化は完了となり、圧縮符号化済み撮像画像が記録部１９に記録される。

一方、画像処理を解除したにも拘わらず、所定閾値より大きい目標スケールファクタＮＳＦで圧縮符号化が終了すれば、それ以上の圧縮符号化は行わず、画像処理を解除したまま、元の撮像画像が記録部１９に記録される。
［デジタルカメラを使用する画像圧縮方法］
［第１段階の処理］
図２は、第１段階の処理（撮像条件・圧縮率・スケールファクタのデータテーブル（撮像条件ごとに各圧縮率を実現できるスケールファクタを列記したテーブル）の作成とデジタルカメラへの組み込み）について説明するためのフローチャートである。なお、データテーブルは一度作成してデジタルカメラに組み込むだけでよく、撮像するたびに第１段階の処理を行うことはない。また、第１段階の処理は公知であるが、第２及び第３段階の処理の説明に必要な限りにおいて説明する。

まず、Ｓ１１において、テスト画像を直交変換（離散コサイン変換など）する。
テスト画像は、適宜に構築された複数の撮像条件（条件１，２、３、．．．）ごとに、それぞれ１以上のシーンを用いる。例えば、条件１が感度であれば、ＩＳＯ１００、２００、４００，８００，１６００などに対して、それぞれ１以上のシーンをテスト画像とする。また、例えば、条件２がシーンモードであれば、各シーンモードに対して１以上のシーンを撮像したものをテスト画像とする。

次に、Ｓ１２において、スケールファクタを変更しながら量子化し、その後、可変長符号化やランレングス符号化などにより圧縮符号化を行う。
ここで、図３を参照して、スケールファクタＳＦと圧縮符号量ACVdataとの関係について説明する。図３のグラフは、ある撮像条件の下で、ある撮像画像を離散コサイン変換し、量子化し、その後圧縮符号化した結果の圧縮符号量を示している。図３によると、スケールファクタが小さいほど圧縮率は大きく、あまり圧縮されない一方、スケールファクタが大きい程、圧縮率は小さくなり、大幅に圧縮されることがわかる。そのため、あまりスケールファクタを大きくすると、過剰な圧縮符号化のために、画像劣化が引き起こされるおそれが生じることがわかる。

なお、図３では、１つの撮像画像に対して圧縮符号量ACVdataとスケールファクタＳＦの関係を示すグラフを例示したが、好適には、多数の撮像画像について、平均的な関係を求めるのがよい。
次に、Ｓ１３において、目標圧縮率ＡとスケールファクタＳＦの関係を決定する。目標圧縮率Ａは、圧縮前符号量に対する圧縮後符号量の比であり、例えば、１／４、１／８、１／１６などである。これらの関係を撮像条件ごとにまとめ、データテーブルとする。

次に、Ｓ１４において、圧縮符号量ACVdataとスケールファクタＳＦの関係を回帰分析する。すなわち、
logACVdata ＝ a・logＳＦ ＋ ｂ （１）
を満たすa、bを回帰分析により求める。
ここで、図４を参照して、回帰分析について説明する。図４に示すように、１つの撮像条件に対しては、未定係数ｂは未定係数ａとはリニアな関係にあることがわかる。図４のプロット上の点は、多数のテスト画像についてのものである。なお、経験上、回帰分析の安定のためには、スケールファクタＳＦをある程度、例えば０．１から１．０の範囲に制限するとよい。

回帰分析の結果は、
ｂ ＝ Ｃ１・ａ ＋ Ｃ２ （２）
のようにまとめることができる。
［第２段階の処理］
次に、第２段階の処理について説明する。なお、この処理は公知であるが、第３段階の処理の説明に必要な限りにおいて説明する。

図５は、第２段階（目標スケールファクタＮＳＦによる繰り返し圧縮符号化）の処理について説明するためのフローチャートである。
まず、Ｓ１５において、初期スケールファクタＩＳＦを決定する。初期スケールファクタＩＳＦは、データテーブルに列記された値を用いる。
次に、Ｓ１６において、撮像画像を初期スケールファクタＩＳＦで量子化後、可変長符号化やランレングス符号化などにより圧縮符号化（試し圧縮符号化）する。

次に、Ｓ１７において、初期スケールファクタＩＳＦと試し圧縮符号化の結果得られた圧縮符号量Ｚの関係を確立する。
式（１）と式（２）から係数ｂを消去し、圧縮符号量Ｙの替わりに試し圧縮符号量Ｚを代入し、スケールファクタＳＦの替わりにＩＳＦを代入する。これにより、係数ａが式（３）のとおりに確定する。
a ＝ （logＺ − Ｃ２)/（logＩＳＦ + Ｃ１) （３）
次に、Ｓ１８において、目標スケールファクタＮＳＦを算出する。

目標スケールファクタＮＳＦとは、圧縮符号化の結果を、あらかじめ定めた固定符号量（目標符号量ＴＣＶ）にさせるスケールファクタである。
ここに、目標符号量ＴＣＶは、記録部１９のメモリの総容量と、記録可能フレーム数に応じて適宜に定めるが、例えばメモり容量１ＧＢであるとして、目標符号量ＴＣＶを５００ＫＢなどとしてもよい。この場合は、記録部１９に、静止画像を２０００枚記録できることとなる。

そこで、式（１）に目標符号量ＴＣＶと、目標スケールファクタＮＳＦを代入して、式（４）を得る。
logＴＣＶ ＝ a・logＮＳＦ ＋ ｂ （４）
この式（４）から、目標スケールファクタＮＳＦを算出する。
ここに、未定係数ａ、ｂは、式（２）により既に求められている。

そこで、式（４）から未定係数ｂを消去し、式（３）で与えられた未定係数ａを代入すれば、目標スケールファクタＮＳＦが、回帰分析結果の係数Ｃ１、Ｃ２、Ｓ１６で得られた試し圧縮符号量Ｚ、目標符号量ＴＣＶ、初期スケールファクタＩＳＦの関数として、下式（５）にしたがって、算出される。
ＮＳＦ ＝ ＩＳＦ・（Ｚ／ＴＣＶ）^-α （５）
ここに、α＝（logＩＳＦ ＋ Ｃ１）／（logＺ − Ｃ２）である。

この目標スケールファクタＮＳＦを使用すれば、目標圧縮符号量ＴＣＶに近い値を得ることができることが期待できる。
そこで、Ｓ１９において、撮像画像を目標スケールファクタＮＳＦで量子化後、可変長符号化やランレングス符号化などで圧縮符号化する。
続いて、Ｓ２０において、Ｓ１９で得られた圧縮符号量Ｗが、目標範囲内にあるか否か（目標符号量ＴＣＶから所定誤差範囲内にあるか）を判定する。

Ｓ１９で得られた圧縮後符号量Ｗが、目標範囲内にあるときは、圧縮符号化を終了し、圧縮結果の撮像画像を記録部１９に記録する。
一方、Ｓ１９で得られた圧縮後符号量Ｗが、目標範囲内にないときは、Ｓ１８に戻り、目標スケールファクタを更新して圧縮符号化をやり直す。
スケールファクタＮＳＦを更新するには、式（５）中の試し圧縮符号量Ｚを、Ｓ１９で得られた圧縮符号量Ｗに置換すればよい。

以上により、目標符号量ＴＣＶ（固定符号量）に到達すれば、圧縮符号化処理が終了する。
なお、Ｓ１８からＳ２０までの繰り返しループは、Ｓ２０の判定結果が肯定的（ＹＥＳ）となるまで続けることが理想であるが、所定の回数繰り返し、ある程度圧縮が進んだと判断されれば、打ち切ってもよい。

また、圧縮符号化は必ずしもすべての撮像画像に対して行う必要はなく、ユーザの選択により行うこととしてもよい。
また、既に撮像したフレーム数分の記憶容量に基づいて残存記憶容量を表示し、圧縮符号化の可否を選択するなどしてもよい。
このように、第２段階の処理では、Ｓ２０において、一定圧縮符号量に到達するまで圧縮符号化を行うため、特殊な撮像条件の場合には、撮像情報を過剰に圧縮するおそれがある。

そこで、過剰な圧縮による画像劣化を防止するため、第３段階の処理を行う。
［第３段階の処理］
図６は、第３段階の処理（圧縮符号化結果に基づく画像処理の解除と圧縮符号化のやり直し）について説明するためのフローチャートである。
まず、既に施した画像処理（階調補正、エッジ強調など）を、必要な場合に解除する前提として、Ｓ２１において、圧縮符号化前（第２段階の処理開始前）に、画像処理が実行される。なお、仮に、Ｓ２１で画像処理が実行されなかったとするならば、圧縮符号化は第２段階で終了する。

続くＳ２２及びＳ２３は、図５のフローチャート中のＳ１５〜Ｓ１９を簡略化して図示したものである。しかし、Ｓ２２及びＳ２３は、Ｓ３０、Ｓ３１、Ｓ３２から戻って来てから実行するステップであるので、後述する。
そこで、次に、Ｓ２４（図５のＳ２０と同じ）において、Ｓ２３で得られた圧縮符号量は目標範囲内にあると判定されれば、Ｓ２５に進む。一方、Ｓ２３で得られた圧縮符号量は目標範囲内にはないと判定されれば、圧縮不足であるので、Ｓ２２に戻り、圧縮符号化をやり直す。これは、第２段階（図５のＳ１８）と同様である。

次に、Ｓ２５において、圧縮符号化により撮像画像に劣化が生じているか否かを判定する。そのため、目標スケールファクタＮＳＦは閾値より大きいか否かが判定される。ここで、目標スケールファクタＮＳＦが、閾値より大きいときは、圧縮符号化により画像劣化が生じる蓋然性が高い。なお、このような閾値は、経験則に基づいて定められる。
そこで、Ｓ２５において、目標スケールファクタＮＳＦが、当該閾値より大きくないと判定されれば、圧縮符号化により画像劣化が生じる蓋然性が低いため、圧縮符号化を終了して、圧縮結果の撮像画像を記録部１９に記録する。

一方、Ｓ２５において、目標スケールファクタＮＳＦが、当該閾値より大きいと判定されれば、圧縮符号化により画像劣化が生じる蓋然性が高く、画像劣化を防止するため、Ｓ２６に進む。
Ｓ２６では、画像処理の有無による圧縮符号量の変化を判定する。具体的には、Ｓ２３で得られた圧縮符号量から第１所定値を減算し、減算結果が所定閾値以下であるか否かが判定される。

ここに、第１所定値は、第１の画像処理（例えば階調補正）を施さなかったとしたら得られたであろう圧縮符号量である。
ここで、図７を参照して、第１の画像処理（例えば階調補正）を施さなかったとしたら得られたであろう圧縮符号量について説明する。図７には、１つの撮像画像に対して、第１所定値と第１の画像処理（例えば階調補正）との関係を示すグラフが例示されている。グラフに示すように、画像処理を何ら行わない場合の圧縮後符号量に対して、階調補正ありのときの圧縮後符号量は”ｘ”だけ増加している。このように、階調補正を施したときの圧縮符号量の増分”ｘ”が、第１所定値である。

さらに、図７を参照すると、階調補正も撮像条件の１つであるので、所定圧縮率に対して、その圧縮率を実現するスケールファクタは、階調補正の有無によって異なっていることがわかる。
同様に、エッジ強調（第２の画像処理）を施したときの圧縮後符号量の増分”ｙ”が、第２所定値である。また、階調補正（第１の画像処理）とエッジ強調（第２の画像処理）とを施したときの圧縮後符号量の増分が”（ｘ＋ｙ）”であり、所定圧縮率に対して、それを実現するスケールファクタが変化することも、第１の画像処理と同様である。

なお、図７では、簡単のため、１つの撮像画像のグラフだけを示したが、好適には、複数のテスト画像に対して、第１所定値”ｘ”、第２所定値”ｙ”を、撮像条件ごとに、統計的に定めておく。
ところで、図７では、簡単のために、２種類の画像処理を行ったとき、一方の画像処理を行っても他方の画像処理には影響を与えないものとしている。このような関係を満たす画像処理の種類は、経験則によって見いだすことができ、階調補正とエッジ強調だけに限定されるものではない。

また、図７は例示であり、増分が互いに影響し合う２種類の画像処理についても、その影響の度合いが統計的に把握されていれば、それを用いればよい。
また、図６のフローチャートは、３種類以上の画像処理が施されたときも、画像処理の種類が１つだけ（例えば、階調補正のみ）の場合も適用することができる。
さて、Ｓ２６において、（圧縮符号量−第１所定値）が、所定閾値以下であると判定されたときは、当該画像処理を解除して圧縮符号化をやり直せば画像劣化なく圧縮符号化できる可能性がある。そこで、Ｓ３０に進み、制御部２１が階調補正を解除し、Ｓ２２に戻る。なお、Ｓ２２に戻ったときの処理については後述する。

一方、Ｓ２６において、（圧縮符号量−第１所定値）が、所定閾値以下ではないと判定されたときは、第１の画像処理を解除して圧縮符号化をやり直しても目標符号加量ＴＣＶに到達しないと考えられるため、第１の画像処理を解除することなく、第２の画像処理により圧縮符号量の低減を図る。そこで、Ｓ２７に進む。
Ｓ２７において、（Ｓ２３で得られた圧縮符号量−第２所定値）が、所定閾値以下であると判定されたときは、第２の画像処理（例えばエッジ強調）を解除して圧縮符号化をやり直せば、画像劣化なく圧縮符号化できる可能性がある。そこで、Ｓ３１に進みエッジ強調を解除してＳ２２に戻る。なお、Ｓ２２に戻ったときの処理については後述する。なお、Ｓ２６の後にＳ２７を設定する前提として、第２所定値が第１所定値より大きいことが必要である。

一方、Ｓ２７において、（Ｓ２３で得られた圧縮符号量−第２所定値）が、所定閾値以下ではないと判定されたときは、Ｓ２８に進む。
Ｓ２８において、（Ｓ２３で得られた圧縮符号量−第１所定値−第２所定値）が、所定閾値以下であると判定されたときは、当該画像処理を解除して圧縮符号化をやり直せば、劣化なく圧縮符号化できる可能性がある。そこで、Ｓ３２に進み階調補正及びエッジ強調を解除してＳ２２に戻る。なお、Ｓ２２に戻ったときの処理については後述する。

一方、Ｓ２８において、（Ｓ２３で得られた圧縮符号量−第１所定値−第２所定値）が、所定閾値以下ではないと判定されたときは、画像劣化を生じることなく目標符号量ＴＣＶに到達する可能性がないため、すべての処理を終了する。
次に、Ｓ３０、Ｓ３１、Ｓ３２からＳ２２に戻った場合の処理について、図７を参照して説明する。

既に説明したように、画像処理は撮像条件の１つであり、画像処理（例えば、階調補正及び又はエッジ強調）のある場合とない場合それぞれについて、圧縮率と、これに対応するスケールファクタとがデータテーブルにまとめられており、Ｓ３０、Ｓ３１、Ｓ３２において画像処理を解除すれば、所定圧縮率の下で、スケールファクタは変化する。そこで、制御部２１は、変化後の新たなスケールファクタを圧縮符号化部１８に通知する。

そこで、Ｓ２２において、当該新たなスケールファクタを初期スケールファクタＩＳＦとし、画像処理を解除された撮像画像を試し圧縮する。この処理は、図５のＳ１６と同様である。そして、既に行った回帰分析の結果に基づき、式（５）から目標スケールファクタＮＳＦを算出する。
次に、Ｓ２３において、目標スケールファクタＮＳＦを用いて圧縮符号化が行われる。

次に、Ｓ２４において、Ｓ２３で得られた圧縮符号量Ｒが、目標符号量ＴＣＶを含む目標範囲内にあるか否かが判定される。
Ｓ２３で得られた圧縮符号量Ｒが、目標符号量ＴＣＶを含む目標範囲内にあるときは、Ｓ２５に進み上述した処理が行われる。
一方、Ｓ２３で得られた圧縮後符号量Ｒが、目標符号量ＴＣＶを含む目標範囲内にないときは、圧縮不足であるため、Ｓ２２に戻り（図５のＳ１８に戻り）、目標スケールファクタを更新する。なお、目標スケールファクタＮＳＦを更新するため、式（５）を用いるが、その際試し圧縮符号量Ｚの替わりにＳ２３で得られた圧縮後符号量Ｒを代入する。

そして、Ｓ２３へ進んだ後は上述したと同様の処理が行われる。
以上、デジタルカメラ及びこれを用いる画像圧縮方法について説明した。
なお、画像圧縮プログラムは、上記画像圧縮方法（第３段階の処理）を実行するためのプログラムであり、記録媒体は、そのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

次に、デジタルカメラシステムについて説明する。
［デジタルカメラシステムの構成］
図８は、デジタルカメラシステムのブロック図である。
このデジタルカメラシステムは、上述したデジタルカメラ１０と、解除表示手段１０１と、事後画像処理手段１０２とを備える。

解除表示手段１０１は、デジタルカメラ１０中の画像記録手段１９から撮像画像を読み出す際に画像処理が解除されてい場合にはその事実を表示する手段である。
また、事後画像処理手段１０２は、解除された画像処理の内容をデジタルカメラ外で実行する手段である。
具体的には、解除表示手段１０１と事後画像処理手段１０２は、画像処理を行うことができるコンピュータシステムとして構成され、デジタルカメラ１０と接続されてデジタルカメラシステムを構成する。

代替的には、解除表示手段１０１と事後画像処理手段１０２は、画像処理を行うことができるコンピュータシステムとして構成され、デジタルカメラ１０中の記録部１９から取り出したメモリ本体（フラッシュメモリなどの半導体メモリ又は光学メモり）の内容が当該コンピュータシステムによって読み取られる構成であってもよい。
また、解除表示手段１０１は、デジタルカメラ１０中の表示部２０を兼用してもよい。

なお、コンピュータシステムに格納される画像処理プログラムは、ユーザ所望のプログラムである。
［デジタルカメラシステムの動作］
図９は、画像処理解除表示手段１０１の表示画面の一例であり、圧縮符号化前に一旦施された画像処理が圧縮符号化後に解除された事実を文章により表示している。

また、図１０は、画像処理解除事実が記号により表示されている。
さらには、Ｅｘｉｆ（ファイル規格）のタグ情報に解除事実を記録して、専用の画像処理ソフトにてハイライト表示などがなされ、画像処理が解除されたことが表示されてもよい。
［デジタルカメラシステムを使用する画像処理方法］
この画像処理方法は、解除表示手段１０１を動作させて、画像処理を解除した事実を表示させるステップと、事後画像処理手段を動作させて、画像処理を解除された撮像画像に対して、解除された画像処理を施させるステップとを含む。

なお、画像処理プログラムは、上述した画像処理方法を実行するためのプログラムであり、記録媒体は、上述したプログラムを記録したコンピュータ読み取り可能な記録媒体である。
また、本実施の形態においては、量子化の際のスケールファクタと所定閾値とを比較することにより、圧縮処理前に施した画像処理の解除の要否を判定する例を示したが、圧縮符号化が施された撮像画像のデータ量と所定閾値とを比較することにより、画像処理解除の要否判定を行うようにしてもよい。

デジタルカメラのブロック図である。 テスト画像に基づいて圧縮符号量とスケールファクタの関係を定めるためのフローチャートである。 圧縮符号量とスケールファクタの関係を示すグラフの一例である。 テスト画像に基づいて圧縮符号量とスケールファクタの関係を回帰分析した結果の一例である。 撮像画像を固定圧縮符号量に圧縮符号化するためのフローチャートである。 圧縮符号化により撮像画像に劣化を生じる可能性がある場合に、既に施した画像処理を解除するためのフローチャートである。 画像処理の有無による撮像画像の圧縮符号量の増減の関係を示すグラフの一例である。 デジタルカメラシステムのブロック図である。 画像処理解除を表示する画面の一例である。 画像処理解除を表示する画面の他の例である。

符号の説明

１１ 撮像レンズ
１２ 発光部
１３ 撮像素子
１５ 信号処理部
１６ Ａ／Ｄ変換部
１７ 画像処理部
１８ 圧縮処理部
１９ 記録部
２０ 表示部
２１ 制御部
２２ 測光部
２３ 焦点検出部（測距部）
２４ 操作ボタン群
１０１ 解除表示手段
１０２ 事後画像処理手段

Claims (10)

1. 撮像画像に１以上の種類の画像処理を施し、その結果の撮像画像を出力する画像処理手段と、
   前記画像処理手段の出力を、直交変換し、その変換係数を量子化し、圧縮符号化し、その結果の撮像画像を出力する圧縮符号化手段と、
   前記画像処理手段に画像処理の種類を指示するとともに、前記圧縮符号化手段に圧縮条件もしくは量子化条件を指示する制御手段と、
   前記圧縮符号化手段の出力を記録する記録手段とを備え、
   前記制御手段は、前記量子化のスケールファクタ、もしくは前記圧縮符号化が施された撮像画像のデータ量が所定閾値より大きいときは、前記圧縮符号化の前に施された前記画像処理の種類の内少なくともひとつを解除したうえで、前記圧縮符号化手段に圧縮符号化をやり直させることを特徴とするデジタルカメラ。
2. 請求項１記載のデジタルカメラにおいて、
   前記記録手段は、解除された前記画像処理の種類を記録することを特徴とするデジタルカメラ。
3. 請求項１記載のデジタルカメラにおいて、
   前記画像処理の種類は、階調圧縮及び又はエッジ強調であることを特徴とするデジタルカメラ。
4. 請求項１記載のデジタルカメラと、
   画像処理を解除した事実を表示する解除表示手段と、
   解除された種類の画像処理を施す事後画像処理手段とを備えることを特徴とするデジタルカメラシステム。
5. 請求項１記載のデジタルカメラを用いた画像圧縮方法において、
   前記制御部が、前記圧縮符号化の結果が一定符号量となったときの前記スケールファクタが所定閾値より大きいか否かを判定するステップと、
   前記記録部が、前記スケールファクタが前記所定閾値より大きくないときは前記圧縮符号化された撮像画像を前記記録部に記録するステップと、
   前記圧縮符号化部が、前記スケールファクタが前記所定閾値より大きいときは前記圧縮符号化の前に施した前記画像処理の種類のひとつを解除し、圧縮符号化をやり直すステップとを含むことを特徴とする画像圧縮方法。
6. 請求項４記載のカメラシステムを用いた画像処理方法において、
   前記解除表示手段が、画像処理を解除した事実を前記記録手段から読み出して表示させるステップと、
   前記事後画像処理手段が、画像処理を解除された前記撮像画像に対して、解除された種類の画像処理を施させるステップとを含むことを特徴とする撮像画像圧縮方法。
7. 請求項１記載のデジタルカメラに画像圧縮を実行させるプログラムにおいて、
   前記制御部に、圧縮符号量が一定符号量になったときの前記スケールファクタが所定閾値より大きいか否かを判定させる手順と、
   前記記録部に、前記スケールファクタが前記所定閾値より大きくないときは前記圧縮符号化された撮像画像を記録させる手順と、
   前記圧縮符号化部に、前記スケールファクタが前記所定閾値より大きいときは前記圧縮符号化の前に施した前記画像処理の種類のひとつを解除し、圧縮符号化をやり直させる手順とを含むことを特徴とするプログラム。
8. 請求項４記載のカメラシステムに画像処理を実行させるプログラムにおいて、
   前記解除表示手段に、画像処理を解除した事実を前記記録手段から読み出して表示させる手順と、
   前記事後画像処理手段に、画像圧縮を解除された前記撮像画像に対して、解除された種類の画像処理を施させる手順とを含むことを特徴とするプログラム。
9. 請求項７記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記憶媒体。
10. 請求項８記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記憶媒体。
    

Images