JP2007067815A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】回路規模やメモリを増大させずに、高速に階調変換特性を導出できる画像処理装置及び画像処理方法を提供すること。
【解決手段】縮小画像生成部１は入力された画像データの縮小画像データを生成する。階調変換特性導出部２は、縮小画像生成部１において生成された縮小画像データから、階調変換特性を導出する。ＷＢ制御情報導出部３は、縮小画像生成部１において生成された縮小画像データから、入力された画像のホワイトバランス制御情報を導出する。ＷＢ制御部４は、ＷＢ制御情報導出部３で導出されたホワイトバランス制御情報から、入力された画像データのホワイトバランスを制御する。階調変換部５は、階調変換特性導出部２で導出された階調変換特性に基づいて、ＷＢ制御部４でホワイトバランスが制御された画像データの階調変換を行い、得られた画像データを外部に出力する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関し、特に画像に対して適応的に階調変換処理を施す画像処理装置及び画像処理方法に関する。

画像の階調表現は、画質を決定する重要な要因の１つである。通常、撮像素子から出力される信号は、撮像素子に入射した光の光量にほぼ比例している。ここで、撮像素子からの出力信号は、後の画像処理において、最終的な画像の観察環境（例えばモニタによる画像観察やプリンタ出力による画像観察など）に合わせて何らかの階調変換処理が施される。例えば、一般的なデジタルカメラの場合、画像ファイルフォーマットの標準色空間としてｓＲＧＢ色空間が採用されている。デジタルカメラの場合、撮影された画像の階調は、ｓＲＧＢの規定にあるガンマ特性（γ＝２．２）を持つモニタで表示された際に最適となるように設計されている。

通常、画像の階調変換特性は、デジタルカメラなどの入力装置ごとに一種類に固定されているか、或いは複数の階調変換特性の中からユーザ等により選択されるのが一般的である。また、近年は画像（若しくはシーン）の輝度分布に合わせて個々の画像に対して適応的に階調変換特性を最適化する技術が用いられつつある。これは、被写界のダイナミックレンジがシーンごとに異なるので、この違いを考慮せずに一律の階調変換特性で変換した場合に、被写界の輝度情報をモニタやプリンタ等の出力装置のダイナミックレンジに効率良く反映させることが難しいからである。

個々の画像に対して適応的に階調変換特性を最適化する技術の一つとして、ヒストグラム均等化法が挙げられる。これは、画像の輝度ヒストグラム（各輝度階調レベルの頻度数）を均一にするような階調変換を施すことで、画像の持つ輝度情報量を増やし、出力装置に対して効率良く階調を割り当てる技術である。

このような技術の一例として、特許文献１では、画像のヒストグラムから画像のハイライトに相当する階調値とシャドーに相当する階調値とを判断し、その差（即ちダイナミックレンジ）が所定値となるように濃度などを補正することで階調を最適化するようにしている。
特開２００４−２９７４３９号公報

画像のヒストグラムを生成する際に、すべての画素に対して頻度をカウントするようにすると、多くの時間が必要となり、また、メモリの使用量も大きくなる。したがって、特許文献１の手法では、画像のヒストグラムを生成する前に画像を縮小し、縮小した画像のヒストグラムを算出するようにしている。このように、ヒストグラムを生成するために画像を縮小する回路を専用に画像処理装置に持たせることは、回路規模やメモリの増大を招くことになる。

本発明は、上記の事情に鑑みてなされたもので、回路規模やメモリを増大させずに、高速に階調変換特性を導出できる画像処理装置及び画像処理方法を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による画像処理装置は、入力された画像データの縮小画像データを生成する縮小画像生成手段と、上記縮小画像生成手段にて生成された縮小画像データに基づき上記入力された画像データに階調変換処理を施す際の階調変換特性を導出する階調変換特性導出手段と、上記縮小画像生成手段にて生成された縮小画像データに基づき上記入力された画像データのホワイトバランスを制御するための情報を導出するホワイトバランス制御情報導出手段と、上記ホワイトバランス制御情報導出手段にて導出されたホワイトバランスを制御するための情報に基づき、上記入力された画像データのホワイトバランスを制御するホワイトバランス制御手段と、上記階調変換特性導出手段にて導出された階調変換特性に基づき、上記ホワイトバランス制御手段から出力された画像データに階調変換処理を施す階調変換手段とを具備することを特徴とする。

この第１の態様によれば、縮小画像データを階調変換特性の導出だけでなく、ホワイトバランスを制御するための情報を導出する際にも用いることができる。即ち、階調変換特性の導出のための縮小画像データの生成回路とホワイトバランス制御情報の導出のための縮小画像データの生成回路とを１つの回路で兼用できる。

また、上記の目的を達成するために、本発明の第２の態様による画像処理装置は、入力された画像データからサムネイル画像データを生成するサムネイル画像生成手段と、上記サムネイル画像生成手段にて生成されたサムネイル画像データに基づき上記入力された画像データに階調変換処理を施す際の階調変換特性を導出する階調変換特性導出手段と、上記階調変換特性導出手段にて導出された階調変換特性に基づき、上記入力された画像データに階調変換処理を施す階調変換手段とを具備することを特徴とする。

この第２の態様によれば、縮小画像データを階調変換特性の導出だけでなく、サムネイル画像の生成にも用いることができる。即ち、階調変換特性の導出のための縮小画像データの生成回路とサムネイル画像生成のための縮小画像データの生成回路とを１つの回路で兼用できる。

本発明によれば、回路規模やメモリを増大させずに、高速に階調変換特性を導出できる画像処理装置及び画像処理方法を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理装置の概念的な構成について示した図である。図１に示す画像処理装置は、縮小画像生成部１と、階調変換特性導出部２と、ホワイトバランス（ＷＢ）制御情報導出部３と、ＷＢ制御部４と、階調変換部５とから構成されている。

縮小画像生成部１は入力された画像データの縮小画像データを生成する。階調変換特性導出部２は、縮小画像生成部１において生成された縮小画像データから、入力された画像データを階調変換する際の階調変換特性（階調変換テーブル）を導出する。ＷＢ制御情報導出部３は、縮小画像生成部１において生成された縮小画像データから、入力された画像のホワイトバランスを制御するための情報を導出する。ＷＢ制御部４は、ＷＢ制御情報導出部３で導出されたホワイトバランスを制御するための情報から、入力された画像データのホワイトバランスを制御する。階調変換部５は、階調変換特性導出部２で導出された階調変換テーブルに基づいて、ＷＢ制御部４でホワイトバランスが制御された画像データの階調変換を行い、得られた画像データを外部に出力する。

このように、本一実施形態では、階調変換テーブルの導出とホワイトバランス制御情報の導出とを縮小画像データに基づいて行うことができるので、これらの処理を高速に行うことができ、また処理に必要なメモリの容量も少なくすることができる。更に、階調変換テーブルの導出に用いる縮小画像データの生成とホワイトバランス制御情報の導出に用いる縮小画像データの生成とを１つの縮小画像生成部１で行うことが可能である。

以下、図１の画像処理装置についてより具体的に説明する。図２は、本発明の一実施形態に係る画像処理装置を含むデジタルカメラ（以下、カメラと称する）の構成を示すブロック図である。

図２に示すように、本デジタルカメラは、マイクロコンピュータ（図ではマイコンと略記している）１１と、撮像部１２と、Ａ／Ｄ変換部（図ではＡ／Ｄと記している）１３と、ブロック積算部１４と、バス１５と、ＲＡＭ１６と、画像処理部１７と、ＲＯＭ１８と、記録媒体１９と、操作部２０とから構成されている。

マイクロコンピュータ１１は、本カメラの全体的な制御を行う制御部である。このマイクロコンピュータ１１は、撮像部１２内部の撮影光学系の焦点制御や撮像素子の露出制御、画像データを記録媒体１９に記録する際の記録制御などを行う。

撮像部１２は、撮影光学系や撮像素子、及びこれらの駆動部等から構成されている。この撮像部１２は、撮影光学系を介して入射した図示しない被写体からの光束を撮像素子において電気信号に変換する。Ａ／Ｄ変換部１３は撮像部１２で得られた電気信号をデジタルデータに変換して画像データを生成する。

図１の縮小画像生成部１に対応するブロック積算部１４は、Ａ／Ｄ変換部１３で得られた画像データを所定ブロック毎に積算し、階調変換テーブルの導出及びホワイトバランス（ＷＢ）制御情報の導出に用いる縮小画像データを生成する。

ここで、ブロック積算部１４における縮小画像データの生成処理について説明する。図３（ａ）は、撮像素子における画素配列をベイヤ配列とした場合のブロック分割の概念図である。図３（ａ）に示すように、ベイヤ配列の撮像素子は、赤（Ｒ）成分及び緑（Ｇ）成分を検出する画素が交互に配置されたラインとＧ成分と青（Ｂ）成分を検出する画素が交互に配置されたラインとが列方向に交互に配置されて構成されている。このような画素配置は画素の前面にベイヤ配列に対応したカラーフィルタを設けることにより構成する。

ここで、縮小画像データは、画像データを所定画素数毎のブロックに分割し、分割したブロック内の同色画素の画素値を積算することにより得られる。例えば、図３（ａ）の例では、画像データを８×８画素を１つのブロック（領域）とする４つのブロックＡ、Ｂ、Ｃ、Ｄに分割し、これらブロックＡ、Ｂ、Ｃ、Ｄ毎に同色画素の画素値を積算する。図３（ｂ）は積算後に得られるブロック積算値について示す図である。ブロック毎の積算によって、ブロックＡからはブロック積算値Ｒａ、Ｇａ、Ｂａが、ブロックＢからはブロック積算値Ｒｂ、Ｇｂ、Ｂｂが、ブロックＣからはブロック積算値Ｒｃ、Ｇｃ、Ｂｃが、ブロックＤからはブロック積算値Ｒｄ、Ｇｄ、Ｂｄがそれぞれ得られる。

ここで、ブロック積算の際のブロック分割の分割数は固定値でも良いが、シーンモードに応じて決定することがより好ましい。図４にシーンモードに応じた分割数を示す。なお、シーンモードとは、種々の設定で撮影を行うための撮影モードの１つであり、種々の撮影シーンに対応した設定が予めプログラムされているモードである。シーンモードを設定することにより、それぞれのシーンに適した露出制御がカメラ側で自動的に行われる。

図４に示す標準モードは、特定のシーンではなく標準的な設定で撮影を行うためのシーンモードである。図４に示すように、標準モードにおいては、例えば１６０×１２０のブロックに分割するようにしている。また、夜景モードは、夜景撮影に適した設定で撮影を行うためのシーンモードである。この夜景モードにおいても標準モードと同様の分割数の１６０×１２０ブロックにしている。また、風景モードは、風景撮影に適した設定で撮影を行うためのシーンモードである。この風景モードにおいては、標準モードや夜景モードよりも分割数を多くして標準モードや夜景モードよりも高精度に階調変換特性を求めることができるようにする。図４の例では風景モードの分割数を３２０×２４０ブロックにしている。更に、人物モードは、人物撮影に適した設定で撮影を行うためのシーンモードである。この人物モードにおいては、標準モードや夜景モードよりも分割数を少なくして標準モードや夜景モードよりも粗めの階調変換特性を求めるようにする。図４の例では人物モードの分割数を８０×６０ブロックにしている。なお、図４に示す分割数はあくまでも一例であり、図４に示すものに限るものではない。

バス１５はＡ／Ｄ変換部１３で得られた画像データや、ブロック積算部１４で得られた縮小画像データ、画像処理部１７における処理データ、マイクロコンピュータ１１における演算データなどの各種データを、本カメラの各回路に転送する転送路である。ＲＡＭ１６は、ブロック積算部１４で得られた縮小画像データや画像処理部１７における処理データなどの各種データを一時格納しておくためのメモリである。

画像処理部１７は、ホワイトバランス（ＷＢ）ゲイン算出部２１と、ＷＢ補正部２２と、同時化部２３と、Ｙ／Ｃ分離部２４と、色変換部２５と、ヒストグラム算出部２６と、ヒストグラム修正部２７と、ヒストグラム累積部２８と、階調変換テーブル算出部２９と、階調変換部３０と、リサイズ部３１と、ＪＰＥＧ圧縮部３２とから構成されている。ここで、ヒストグラム算出部２６と、ヒストグラム修正部２７と、ヒストグラム累積部２８と、階調変換テーブル算出部２９とは、図１の階調変換特性導出部２に対応する。また、ＷＢゲイン算出部２１は図１のＷＢ制御情報導出部３に、ＷＢ補正部２２は図１のＷＢ制御部４に、階調変換部３０は図１の階調変換部５にそれぞれ対応する。このような画像処理部１７における画像処理については後で詳しく説明する。

ＲＯＭ１８は、マイクロコンピュータ１１によって実行される各種制御プログラムや本カメラの各種設定値が格納されるメモリである。更に、ＲＯＭ１８には、デフォルト階調変換テーブル３３と、ノイズ特性情報３４と、階調合成比３５とが格納されている。これらは後述する階調変換テーブルの算出の際に用いられる。

デフォルト階調変換テーブル３３は、標準的な特性を有する階調変換テーブルであり、カメラ毎に固定的な特性としてＲＯＭ１８に格納されている。図５の実線でデフォルト階調変換テーブル３３の例を示す。ここで、図５の横軸は画像入力値、つまりブロック積算部１４から入力される縮小画像データの画素値を示す。また、図５の左側の縦軸は階調変換後の出力値（図の例は８ビット出力）を示す。ここで、ＲＯＭ１８に格納されるデフォルト階調変換テーブルは図５に示す１つに限るものではない。例えば、複数の異なるデフォルト階調変換テーブルを格納しておき、ユーザが任意にデフォルト階調変換テーブルを選択できるようにしても良い。或いは、撮影条件によって複数のデフォルト階調変換テーブルの中から最適なデフォルト階調変換テーブルを自動的に選択できるようにしても良い。

ノイズ特性情報３４はノイズ特性に関する情報である。つまり、ノイズ特性情報３４は、画像が撮影された際に、どの程度の量のノイズがどのような形で画像に重畳されるのかを示す情報である。このノイズ特性情報３４も、ＲＯＭ１８に固定値として格納されている情報である。図６の実線でノイズ特性情報３４を示す。ここで、図６の横軸も図５と同様にブロック積算部１４から入力された縮小画像データの画素値である。また、図６の左側の縦軸はノイズ量を示す。図６に示すように、入力値が増加するとそれに伴ってノイズ量も増加する。なお、図６では、入力値が０の場合にもノイズが重畳されるが、これは暗電流成分によるものである。

ここで、ノイズ特性情報３４は、撮影時の撮影感度や温度、露出時間などに従って変化する量であるので、撮影感度の変化や温度変化、露出時間の変化に対応した複数のノイズ特性情報をＲＯＭ１８に格納しておくようにしておいても良い。例えば、撮影感度が高い場合のノイズ特性情報は通常よりもノイズ量を多くしておく。画像データの撮影時には、そのときの撮影感度や温度、露出時間に対応したノイズ特性情報を読み出すようにする。

また、近年のカメラにおいては、撮影時における画像のノイズを低減するノイズ低減処理機能を有するカメラも提案されてきているので、これに対応してノイズ低減処理がなされた状態（つまり、通常時よりもノイズ量が少ない）のノイズ特性情報をＲＯＭ１８に記憶させておくようにしても良い。

階調合成比３５は、デフォルト階調変換テーブル３３と後で説明する累積ヒストグラムとを合成する際の合成比である。図７に階調合成比３５の例を示す。図７に示すように階調合成比３５はシーンモードに応じた値が格納される。なお、図７では、シーンモードに対応した階調合成比として、上記標準モード、風景モード、人物モード、及び夜景モードに対応した階調合成比を示しているが、これに限るものではない。また、図７に示している値も変更可能である。

記録媒体１９は、画像処理部１７において処理された画像データが記録される記録媒体であり、例えばメモリカードなどから構成される。

操作部２０は、ユーザによって操作される各種操作部材である。ユーザによって操作部２０が操作されると、その操作状態に応じてマイクロコンピュータ１１により種々の制御が行われる。ここで、操作部２０としては、例えば撮影実行指示を行うレリーズボタンやシーンモードを選択するための選択部材などが含まれる。

次に、図２のような構成を有するカメラにおける撮影制御について図８を参照して説明する。図８は、本発明の一実施形態に係る画像処理方法を含む撮影制御の手順について示すフローチャートである。ここで、図８のフローチャートは、ユーザによってレリーズボタンのＯＮ操作がなされることによって開始される。

ユーザによってレリーズボタンがＯＮされると、周知のＡＥ処理及びＡＦ処理が実行される（ステップＳ１）。このＡＥ処理及びＡＦ処理は、カメラの種類に応じて、例えばＡＥセンサやＡＦセンサの出力に基づいて行う手法や、撮像部１２で得られた画像（ここではブロック積算部１４の出力ではなく、Ａ／Ｄ変換部１３の出力）に基づいて行う手法がある。ＡＥ処理及びＡＦ処理の後、露出制御が行われる（ステップＳ２）。この露出制御においては、シーンモードの設定等に応じて図示しないシャッタの開放時間及び図示しない絞りの絞り量が制御されることにより、撮像部１２の撮像素子の露出が制御される。この露出制御により、撮像部１２において記録用の画像信号が得られる。その後、撮像部１２で得られた画像信号に対する撮像処理が行われる（ステップＳ３）。この撮像処理により、撮像部１２で得られた画像信号が読み出されてＡ／Ｄ変換部１３においてデジタルの画像データに変換される。Ａ／Ｄ変換部１３で得られた画像データは、ブロック積算部１４と画像処理部１７のＷＢ補正部２２とに入力される。

ブロック積算部１４では、Ａ／Ｄ変換部１３から入力された画像データから縮小画像データが生成される（ステップＳ４）。ここでの縮小画像データは、上述したように、図４で示したシーンモードに応じた所定ブロック毎に積算されることにより生成される。ブロック積算部１４で得られた縮小画像データは、ＷＢゲイン算出部２１とヒストグラム算出部２６とに入力される。ＷＢゲイン算出部２１では、入力された縮小画像データからＷＢ制御情報としてのホワイトバランス（ＷＢ）ゲインが算出される（ステップＳ５）。このＷＢゲインは、入力された縮小画像データの白色を予め定められた標準の白色とするようなＲゲインとＢゲインとが算出される。ＷＢ補正部２２では、Ａ／Ｄ変換部１３から入力された画像データのＷＢ補正が行われる（ステップＳ６）。このＷＢ補正においては、Ａ／Ｄ変換部１３から入力された画像データのＲ成分にＷＢゲイン算出部２１で算出されたＲゲインを乗じ、Ｂ成分にＢゲインを乗じることにより行われる。ＷＢ補正部２２においてＷＢ補正がなされた画像データは、同時化部２３に入力される。

同時化部２３では、入力された画像データに対する同時化処理が行われる（ステップＳ７）。同時化処理においては、同時化部２３に入力されたベイヤ配列の画像データから補間によってＲＧＢ３色を１画素成分とする画像データが生成される。同時化部２３において同時化処理がなされた画像データは、Ｙ／Ｃ分離部２４に入力される。

Ｙ／Ｃ分離部２４では、入力された画像データに対するＹ／Ｃ分離処理が行われる（ステップＳ８）。Ｙ／Ｃ分離処理においては、入力された画像データがＹ（輝度）信号とＣ（色）信号に分離される。分離された信号のうち、Ｙ信号は階調変換部３０に、Ｃ信号は色変換部２５にそれぞれ入力される。

色変換部２５では、入力されたＣ信号に対する色変換処理が行われる（ステップＳ９）。色変換処理においては、色変換部２５に入力されたＣ信号がｓＲＧＢ等の標準色信号に変換される。色変換部２５で色変換された信号は、リサイズ部３１に入力される。

また、ヒストグラム算出部２６では、ブロック積算部１４から入力された縮小画像データに基づいてヒストグラム算出処理が行われる（ステップＳ１０）。ヒストグラム算出処理においては、ヒストグラム算出部２６に入力された縮小画像データのうちのＧ成分の輝度ヒストグラムが算出される。図９の実線でヒストグラム算出部２６において算出されるヒストグラムの例を示す。ここで、図９の横軸は輝度入力値（即ちＧ成分の画素値）を示す。また、図９の左側の縦軸は輝度分布、即ち輝度入力の頻度値を示す。ヒストグラム算出部２６において算出されたヒストグラムは、ヒストグラム修正部２７に入力される。

ヒストグラム修正部２７では、入力されたヒストグラムを修正するヒストグラム修正処理が行われる（ステップＳ１１）。このヒストグラム修正処理については後述する。

ヒストグラム修正部２７におけるヒストグラム修正処理の後、修正されたヒストグラムは、ヒストグラム累積部２８に入力される。ヒストグラム累積部２８では、ヒストグラム累積処理が行われる（ステップＳ１２）。ヒストグラム累積処理においては、ヒストグラム累積部２８に入力されたヒストグラムが、低輝度成分側から順次累積される。ヒストグラム累積部２８で得られた累積ヒストグラムは階調変換テーブル算出部２９に入力される。階調変換テーブル算出部２９では、階調変換テーブル算出処理が行われる（ステップＳ１３）。この階調変換テーブル算出処理については後述する。

階調変換テーブル算出部２９で算出された階調変換テーブルは階調変換部３０に入力される。階調変換部３０では、階調変換処理が行われる（ステップＳ１４）。階調変換処理においては、Ｙ／Ｃ分離部２４から入力されたＹ信号が階調変換テーブル算出部２９から入力された階調変換テーブルに基づいて階調変換される。階調変換されたＹ信号はリサイズ部３１に入力される。リサイズ部３１では、階調変換されたＹ信号及び色変換されたＣ信号が補間演算等の手法により記録時の画像サイズに合わせてリサイズされる（ステップＳ１５）。ＪＰＥＧ圧縮部３２では、リサイズされたＹ信号及びＣ信号のＪＰＥＧ圧縮が行われる（ステップＳ１６）。ＪＰＥＧ圧縮処理の後、ＪＰＥＧ圧縮されたデータにシーンモードや露出条件などの撮影情報がヘッダ情報として付加されて画像ファイルが作成され（ステップＳ１７）、作成された画像ファイルが記録媒体１９に記録される（ステップＳ１８）。これによって撮影制御が終了する。

次に、図１０を参照して図８のステップＳ１１のヒストグラム修正処理について説明する。ヒストグラム修正処理においては、まず、ＲＯＭ１８に格納されているデフォルト階調変換テーブル３３が読み出される（ステップＳ２１）。次に、デフォルト階調変換テーブル３３の傾きが算出される（ステップＳ２２）。ここで、デフォルト階調変換テーブル３３の傾きは、デフォルト階調変換テーブル３３を微分することによって得られる。例えば、デフォルト階調変換テーブル３３が図５の実線で示すものである場合、その傾きは図５の破線で示すものになる。

デフォルト階調変換テーブル３３の傾きが算出された後、ＲＯＭ１８に格納されているノイズ特性情報３４が読み出される（ステップＳ２３）。次に、階調変換後のノイズ量が推定される（ステップＳ２４）。階調変換後のノイズ量は、ノイズ量と階調変換後のノイズの増幅率との積である。ここで、階調変換後のノイズの増幅率は、ステップＳ２２で算出されたデフォルト階調変換テーブル３３の傾きで表されるため、階調変換後のノイズ量は、図６の実線で示すノイズ量と図６の破線で示すデフォルト階調変換テーブルの傾きとの積となり、その結果、得られる階調変換後のノイズ量は、図７の破線で示すものとなる。図７の破線で示すように、階調変換後には、元の画像において暗い部分にノイズ量のピークがくるようになる。これは、階調変換によって元の画像の暗い部分が伸長され、明るい部分が圧縮されるためである。

階調変換後のノイズ量が推定された後、ヒストグラムの修正を行うために、ヒストグラムの頻度値制限レベルが決定される（ステップＳ２５）。ここでは、階調変換後のノイズが目立たなくなるようにヒストグラムの頻度値を制限する。このために、頻度値制限レベルとして、階調変換後のノイズ量の逆数が算出される。この頻度値制限レベルを図９の破線で示す。図９に示すように、階調変換後のノイズ量が大きくなる部分では頻度値の制限レベルが大きくなる。

ここで、ヒストグラムの頻度値制限レベルを階調変換後のノイズ量の逆数としているが、例えば逆数を算出した後に所定の演算を行って、より適切な頻度値制限レベルを求めるようにしても良い。

頻度値制限レベルが決定された後、ヒストグラムにおいて頻度値制限レベルを超えている部分が図１１のようにして制限される（ステップＳ２６）。このようにして修正されたヒストグラムを用いて階調変換を行うことにより、階調変換後のノイズが目立たなくなる。

図１２にヒストグラム累積処理後に得られる累積ヒストグラムの例を示す。なお、ヒストグラム修正部２７においてヒストグラムの修正を行う前の累積ヒストグラムを図１２の実線で示しており、図１２の破線でヒストグラム修正部２７においてヒストグラムの修正を行った後の累積ヒストグラムを示している。ただし、ヒストグラム修正後の累積ヒストグラムは、累積頻度の最大値（頻度の総数に相当する）がヒストグラム修正前の累積頻度の最大値と一致するように正規化されているものである。図１２に示すように、ヒストグラム修正後の累積ヒストグラムにおいては、階調変換後にノイズ量が大きくなる部分の傾きが、ヒストグラム修正前の累積ヒストグラムに比べてなだらかになる。

次に、図１３を参照して階調変換テーブル算出処理について説明する。階調変換テーブル算出処理においては、ヒストグラム累積部２８で得られた累積ヒストグラムとＲＯＭ１８に格納されたデフォルト階調変換テーブル３３とが所定の合成比で合成されて、階調変換テーブルが算出される。

図１３において、まず、撮影時のシーンモード情報がチェックされる（ステップＳ３１）。次に、ステップＳ３１でチェックされたシーンモード情報に応じてＲＯＭ１８に格納された階調合成比の何れの比を選択すべきであるかが判断される（ステップＳ３２）。次に、判断された階調合成比に従ってデフォルト階調変換テーブル３３と累積ヒストグラムとが合成される（ステップＳ３３）。

図１４に、デフォルト階調変換テーブル３３と累積ヒストグラムとの合成の例を示す。ここで、図１４の細い実線は、デフォルト階調変換テーブルを示し、図１４の破線は累積ヒストグラムを示し、図１４の太い実線は合成後に得られる最終的な階調変換テーブルを示す。また、図１４の例においてシーンモードは標準モード（図７に示す階調合成比０．５：０．５）である。即ち、図１４の例では、階調合成比が０．５：０．５であるので、合成後に得られる階調変換テーブルは、デフォルト階調変換テーブル３３と累積ヒストグラムの平均値となる。

また、図７に示す、風景のようにコントラストが高い被写体を撮影するような場合には、累積ヒストグラムのほうの比率を高くすることにより（図７では０．２：０．８）、より適切な階調表現を行えるようにする。逆に、人物の場合には、もともと被写体のコントラストが低く、必要以上にコントラストが上がることを避けるためデフォルト階調変換テーブルのほうを重視するようにする（図７では０．７：０．３）。更に、夜景の場合には、デフォルト階調変換テーブルのほうの比率を高くするようにして、もともと暗い画像が必要以上に明るくならないようにする（図７では０．８：０．２）。なお、夜景の場合にはデフォルト階調変換テーブルと累積ヒストグラムとの合成を行わないようにしても良い。

なお、階調合成比は、シーンモードに対応した値のみを格納しておくのに限るものではない。例えば図示しないストロボの発光の有無や露出を手動で行うか自動で行うかなどの設定に応じた階調合成比も同時に格納しておくようにしても良い。

図１５（ａ）は、カメラ側で自動的に露出を制御する自動露出モードにおける階調合成比の一例を示す図である。図１５（ａ）に示すように自動露出モードの場合には、撮影時の被写体輝度（ＢＶ）、撮影時における撮像部１２の撮影感度情報、ストロボの発光のＯＮ／ＯＦＦを示すストロボ情報に応じて階調合成比が決定される。

図１５（ａ）において、例えば、被写体が低輝度（ＢＶ低）かつ撮像部１２の撮影感度が低感度に設定されている状態でストロボがＯＮの場合には、画像のコントラストが高めになるので、累積ヒストグラムのほうの比率を高くして暗い部分の画像が黒くつぶれてしまわないようにする。一方、被写体が高輝度（ＢＶ高）かつ撮像部１２の撮影感度が低感度に設定されている状態でストロボがＯＮの場合には、ユーザが逆光の補正を行うためにストロボを発光させている可能性があるので、デフォルト階調テーブルと累積ヒストグラムの比率を同程度にしておく。

また、被写体が低輝度かつ撮像部１２の撮影感度が低感度に設定されている状態でストロボがＯＦＦの場合にはユーザが意図してストロボをＯＦＦしている可能性があるので、デフォルト階調テーブルと累積ヒストグラムの比率を同程度にしておく。更に、被写体が高輝度かつ撮像部１２の撮影感度が低感度に設定されている状態でストロボがＯＦＦの場合には累積ヒストグラムのほうの比率を高くして、より適切な階調表現を行えるようにする。

また、撮像部１２の撮影感度が高感度に設定されている場合には、画像が全体的に明るくなるので、累積ヒストグラムのほうの比率を低感度の場合よりも低くして、暗い部分が必要以上に明るくならないようにする。

図１５（ｂ）は、手動で露出を制御する手動露出モードにおける階調合成比の一例を示す図である。図１５（ｂ）に示すように、手動露出モードにおいては、ユーザの作画意図を充分に反映させるために、累積ヒストグラムを合成せず、デフォルト階調変換テーブルのみを使用するようにする。

以上説明したように、本一実施形態によれば、ブロック積算部で得られた縮小画像データを、ホワイトバランスゲインの算出と階調変換テーブルの算出とに利用することができる。これにより、回路規模やメモリを増大させずに、階調変換テーブルの導出とホワイトバランスゲインの算出とを高速に行うことができる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した一実施形態は画像撮影時のときのみについて説明しているが、画像再生時においても本発明の技術を適用可能である。

また、上記した一実施形態では縮小画像データをホワイトバランスゲインの算出と階調変換特性の導出とに利用するようにしているが、縮小画像データをサムネイル画像として利用するようにしても良い。ここで、一般にサムネイル画像は１６０×１２０という分割数で生成されるため、標準モードや夜景モード時にブロック積算部１４で得られた縮小画像データはそのままサムネイル画像として用いることができる。また、風景モードの場合にはブロック積算部１４で得られた縮小画像データのブロック数を補間演算やブロック積算などによって減らせば良く、また人物モードの場合にはブロック積算部１４で得られた縮小画像データのブロック数を補間演算などによって増やせば良い。これらの処理は、例えばリサイズ部３１において行うことができる。これらの場合、ブロック積算部１４及びリサイズ部３１はサムネイル画像生成手段ということもできる。

更に、上記した一実施形態ではヒストグラムを利用して階調変換テーブルを導出するようにしているが、階調変換テーブルの導出に必ずしもヒストグラムを利用する必要はない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る画像処理装置の概念的な構成について示した図である。 図２は、本発明の一実施形態に係る画像処理装置を含む画像記録装置の一例としての、デジタルカメラの構成を示すブロック図である。 図３（ａ）は画像データを複数のブロックに分割する際の概念図であり、図３（ｂ）はブロック積算値について示した図である。 シーンモードに対応したブロック分割数について示した図である。 デフォルト階調変換テーブルの例を示した図である。 ノイズ特性情報の例を示した図である。 階調合成比の例を示した図である。 本発明の一実施形態に係る画像処理方法を含む撮影制御について示したフローチャートである。 ヒストグラムの例を示す図である。 ヒストグラム修正処理について示すフローチャートである。 頻度値制限後のヒストグラムについて示す図である。 累積ヒストグラムの例について示す図である。 階調変換テーブル算出処理について示すフローチャートである。 デフォルト階調変換テーブルと累積ヒストグラムとの合成の例を示す図である。 図１５（ａ）は自動露出モードにおける階調合成比の一例を示す図であり、図１５（ｂ）は手動露出モードにおける階調合成比の一例を示す図である。

符号の説明

１…縮小画像生成部、２…階調変換特性導出部、３…ホワイトバランス（ＷＢ）制御情報導出部、４…ＷＢ制御部、５，３０…階調変換部、１１…マイクロコンピュータ、１２…撮像部、１３…Ａ／Ｄ変換部、１４…ブロック積算部、１５…バス、１６…ＲＡＭ、１７…画像処理部、１８…ＲＯＭ、１９…記録媒体、２０…操作部、２１…ホワイトバランス（ＷＢ）ゲイン算出部、２２…ＷＢ補正部、２３…同時化部、２４…Ｙ／Ｃ分離部、２５…色変換部、２６…ヒストグラム算出部、２７…ヒストグラム修正部、２８…ヒストグラム累積部、２９…階調変換テーブル算出部、３１…リサイズ部、３２…ＪＰＥＧ圧縮部

Claims (11)

1. 入力された画像データの縮小画像データを生成する縮小画像生成手段と、
   上記縮小画像生成手段にて生成された縮小画像データに基づき上記入力された画像データに階調変換処理を施す際の階調変換特性を導出する階調変換特性導出手段と、
   上記縮小画像生成手段にて生成された縮小画像データに基づき上記入力された画像データのホワイトバランスを制御するための情報を導出するホワイトバランス制御情報導出手段と、
   上記ホワイトバランス制御情報導出手段にて導出されたホワイトバランスを制御するための情報に基づき、上記入力された画像データのホワイトバランスを制御するホワイトバランス制御手段と、
   上記階調変換特性導出手段にて導出された階調変換特性に基づき、上記ホワイトバランス制御手段から出力された画像データに階調変換処理を施す階調変換手段と、
   を具備することを特徴とする画像処理装置。
2. 入力された画像データの縮小画像データを生成する縮小画像生成手段と、
   上記縮小画像生成手段にて生成された縮小画像データのヒストグラムを算出するヒストグラム算出手段と、
   上記ヒストグラム算出手段にて算出されたヒストグラムに基づき上記入力された画像データに階調変換処理を施す際の階調変換特性を導出する階調変換特性導出手段と、
   上記縮小画像生成手段にて生成された縮小画像データに基づき上記入力された画像データのホワイトバランスを制御するための情報を導出するホワイトバランス制御情報導出手段と、
   上記ホワイトバランス制御情報導出手段にて導出されたホワイトバランスを制御するための情報に基づき、上記入力された画像データのホワイトバランスを制御するホワイトバランス制御手段と、
   上記階調変換特性導出手段にて導出された階調変換特性に基づき、上記ホワイトバランス制御手段から出力された画像データに階調変換処理を施す階調変換手段と、
   を具備することを特徴とする画像処理装置。
3. 上記縮小画像生成手段は、上記入力された画像データを複数の領域に分割し、該分割した領域ごとに同色の画素値を積算することで、上記縮小画像データを生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 上記縮小画像生成手段は、上記縮小画像データを生成する際に、上記画像データの分割数を制御することにより、上記縮小画像データの大きさを制御することを特徴とする請求項３に記載の画像処理装置。
5. 上記縮小画像生成手段は、上記画像データが得られたときのシーンモードに応じて上記分割数を制御することを特徴とする請求項４に記載の画像処理装置。
6. 上記ヒストグラム算出手段は、上記縮小画像データの緑成分から上記ヒストグラムを算出し、
   上記ホワイトバランス制御情報導出手段は、上記縮小画像データの赤成分、緑成分、及び青成分の３成分から上記ホワイトバランスを制御するための情報を導出することを特徴とする請求項１又は２に記載の画像処理装置。
7. 上記縮小画像データ生成手段で生成された縮小画像データからサムネイル画像を生成するサムネイル画像生成手段を更に具備することを特徴とする請求項１又は２に記載の画像処理装置。
8. 入力された画像データからサムネイル画像データを生成するサムネイル画像生成手段と、
   上記サムネイル画像生成手段にて生成されたサムネイル画像データに基づき上記入力された画像データに階調変換処理を施す際の階調変換特性を導出する階調変換特性導出手段と、
   上記階調変換特性導出手段にて導出された階調変換特性に基づき、上記入力された画像データに階調変換処理を施す階調変換手段と、
   を具備することを特徴とする画像処理装置。
9. 入力された画像データからサムネイル画像データを生成するサムネイル画像生成手段と、
   上記サムネイル画像生成手段にて生成されたサムネイル画像データに基づいてヒストグラムを算出するヒストグラム算出手段と、
   上記ヒストグラム算出手段にて算出されたヒストグラムに基づき上記入力された画像データに階調変換処理を施す際の階調変換特性を導出する階調変換特性導出手段と、
   上記階調変換特性導出手段にて導出された階調変換特性に基づき、上記入力された画像データに階調変換処理を施す階調変換手段と、
   を具備することを特徴とする画像処理装置。
10. 入力された画像データの縮小画像データを生成し、
    上記生成された縮小画像データに基づき上記入力された画像データに階調変換処理を施す際の階調変換特性を導出し、
    上記生成された縮小画像データに基づき上記入力された画像データのホワイトバランスを制御するための情報を導出し、
    上記導出されたホワイトバランスを制御するための情報に基づき、上記入力された画像データのホワイトバランスを制御し、
    上記導出された階調変換特性に基づき、上記ホワイトバランスが制御された画像データに階調変換処理を施すことを特徴とする画像処理方法。
11. 入力された画像データの縮小画像を生成し、
    上記生成された縮小画像データのヒストグラムを算出し、
    上記算出されたヒストグラムに基づき上記入力された画像データに階調変換処理を施す際の階調変換特性を導出し、
    上記生成された縮小画像データに基づき上記入力された画像データのホワイトバランスを制御するための情報を導出し、
    上記導出されたホワイトバランスを制御するための情報に基づき、上記入力された画像データのホワイトバランスを制御し、
    上記導出された階調変換特性に基づき、上記ホワイトバランスが制御された画像データに階調変換処理を施すことを特徴とする画像処理方法。

Images