JP2009065691A - 画像処理装置、記録媒体及び画像処理プログラム - Google Patents

Abstract

【課題】最適な彩度の調整を行うことができる画像処理装置、記録媒体及び画像処理プログラムを提供する。
【解決手段】 測光評価部７の測光情報と合焦点検出部８の合焦情報とに基づき撮影状況を推定する撮影状況推定部１３と、入力画像を輝度信号と色差信号に分離するＹ／Ｃ分離部１２と、輝度信号からエッジを抽出して撮影状況に応じて重み付けして得られる階調変換曲線により輝度信号を補正する輝度補正部１７と、階調補正前後の輝度信号と色再現の理論限界特性とに基づき色差信号を補正する色差補正部１８と、上記撮影状況に応じて肌色補正等を行う肌色補正部４１と、補正後の輝度信号と色差信号を合成するＹ／Ｃ合成部１９と、を備えた画像処理装置。
【選択図】 図１３

Description

本発明は、画像処理装置、記録媒体及び画像処理プログラムに係り、より詳しくは、入力画像の階調幅を調整する画像処理装置、入力画像の階調幅を調整するための処理プログラムを記録した記録媒体、及び画像処理プログラムに関する。

従来より、異なる露光条件で撮像された複数の画像を合成して一の広ダイナミックレンジ画像を生成する画像処理装置においては、階調幅を調整する技術が用いられていて、例えば特願平１１−３３８５５１号（特開２０００−２２８７４７号公報）には、各画像を適正露光領域と不適正露光領域に分割して、各適正露光領域毎に階調補正を行い、階調補正された各画像毎の適正露光領域を合成して一の広ダイナミックレンジ画像を生成する画像処理装置が記載されている。

この画像処理装置における階調変換処理は、エッジ部のヒストグラム平坦化に基づいて行っており、このヒストグラム平坦化は、主要被写体はエッジが多く、背景などの非主要部はエッジが少ないことを前提とした技術である。

一方、従来のデジタルカメラでは、輝度信号を階調変換するときの係数に基づいて色差信号も変換するようになっている。すなわち、輝度Ｙorg が階調変換特性ＦによりＹtra ＝Ｆ（Ｙorg ）のように変換されるものとすると、従来においては、輝度信号の変換係数gainを、
gain＝Ｙtra ／Ｙorg
として求めて、この変換係数をそのまま用いて、
Ｃｂtra ＝gain・Ｃｂorg
Ｃｒtra ＝gain・Ｃｒorg
のように色差信号の変換を行っていた。

ところで、デジタルカメラにおいては、ＣＣＤからアナログ信号として出力される画像信号をデジタル信号に変換したときのビット数と、該画像信号を処理した後に例えば記録媒体に記録する際のビット数とが異なることは珍しくない。

このような場合には、情報量の変換、特に情報量の縮小が行われるために、単一の入力画像を取り扱う場合であっても、その階調幅を調整する必要が生じることがある。

こうした階調補正の技術は、上記デジタルカメラの例に限らず、プリンタ装置やモニタ装置など、画像を処理する各種の装置において広く取り扱われる技術であり、上述したような技術を単一の入力画像を取り扱う場合に適用することが可能である。
特開２０００−２２８７４７号公報

しかしながら、上述したような主要被写体にはエッジが多いという前提に基づくヒストグラム平坦化の技術は、比較的広い範囲の被写体に対応することができるものではあるが、対応しきれない場合もあり得る。こうした例外に該当する可能性のある例としては、複雑な形状や輪郭を有する背景の下で人物が比較的小さく写っている場合が挙げられる。このときには、背景部からエッジが多く検出されるために該背景が主要被写体であると判断されてしまい、人物に割り当てられる階調幅が少なくなってしまうことになる。

また、上述したような色差信号を輝度信号と同様の変換係数を用いて階調変換する技術では、高輝度部で不自然な色が生成されることがある。すなわち、色空間（例えばＹ，Ｃｂ，Ｃｒ空間）内における色再現には理論限界特性（本発明の実施形態を示す図１１参照）があり、この色再現の理論限界特性は、大筋において、輝度Ｙを増加させて行くに従い色再現可能な色差範囲が広がり、ある輝度Ｙを越えたところで今度は色再現可能な色差範囲が狭まるという特性となっている。つまり、輝度が低ければ全体が黒っぽくなるために色再現範囲が狭く、適宜の輝度では広い範囲の色を再現することができ、さらに輝度が高くなると全体に白っぽくなるために色再現範囲が再び狭くなるという特性である。

こうした色再現範囲を考慮することなく輝度と同様に階調変換をしてしまうと、色再現範囲の限界に近づいたりあるいは越えてしまったりして、階調変換後の色が白っぽくなることがあった。こうした課題に対応するために、従来においても高輝度部の彩度を抑制する処理を付加してはいたが、充分なものとはいえず、色再現性をより向上させる技術の実現が望まれている。

本発明は上記事情に鑑みてなされたものであり、色再現の理論限界特性を考慮したより最適な彩度の調整を行うことができる画像処理装置、記録媒体及び画像処理プログラムを提供することを目的としている。

上記の目的を達成するために、本発明の一態様による画像処理装置は、入力画像の階調幅を調整する画像処理装置であって、
上記入力画像を輝度信号と色差信号とに分離する輝度色差分離手段と、
上記輝度信号に関して階調補正を行い所定の階調幅に調整する階調補正手段と、
上記輝度色差分離手段から出力された階調補正前の輝度信号と、上記階調補正手段から出力された階調補正後の輝度信号と、色再現の理論限界特性と、に基づいて上記色差信号の補正を行う色差補正手段と、
上記階調補正後の輝度信号と上記補正後の色差信号とをもとの画像信号に合成する輝度色差合成手段と、
を具備している。

また、本発明の一態様による記録媒体は、入力画像を輝度信号と色差信号に分離する輝度色差分離ステップと、
上記輝度信号に関して階調補正を行い所定の階調幅に調整する階調補正ステップと、
上記階調補正ステップにより出力された階調補正前の輝度信号と、上記階調補正手段から出力された階調補正後の輝度信号と、色再現の理論限界特性と、に基づいて上記色差信号の補正を行う色差補正ステップと、
上記階調補正後の輝度信号と上記補正後の色差信号とをもとの画像信号に合成する輝度色差合成ステップと、
をコンピュータに実行させるための処理プログラムを記録している。

さらに、本発明の一態様による画像処理プログラムは、入力画像を輝度信号と色差信号に分離する輝度色差分離ステップと、
上記輝度信号に関して階調補正を行い所定の階調幅に調整する階調補正ステップと、
上記階調補正ステップにより出力された階調補正前の輝度信号と、上記階調補正手段から出力された階調補正後の輝度信号と、色再現の理論限界特性と、に基づいて上記色差信号の補正を行う色差補正ステップと、
上記階調補正後の輝度信号と上記補正後の色差信号とをもとの画像信号に合成する輝度色差合成ステップと、
をコンピュータに実行させる。

本発明による画像処理装置、記録媒体及び画像処理プログラムによれば、色再現の理論限界特性を考慮したより最適な彩度の調整を行うことができる。

以下、図面を参照して本発明の実施の形態を説明する。
図１から図７は本発明の第１の実施形態を示したものであり、図１は電子カメラの基本的な構成を示すブロック図である。

本実施形態は、本発明の階調幅を調整する画像処理装置を、電子カメラに適用したものである。

この電子カメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ等でなり、被写体像を光電変換して画像信号として出力するためのＣＣＤ４と、このＣＣＤ４上に被写体像を結像するためのレンズ系１と、このレンズ系１を通過した光束の通過範囲を制御するための絞り２と、この絞り２を通過した光束から不要な高周波成分を除去するための光学フィルタでなるローパスフィルタ３と、上記ＣＣＤ４から出力された後に図示しない相関二重サンプリング回路等でノイズ成分の除去が行われその後に増幅等がなされたアナログの画像信号をデジタル信号に変換するためのＡ／Ｄ変換器５と、このＡ／Ｄ変換器５によりデジタル化された一画面分の画像データを蓄積する画像用バッファ６と、この画像用バッファ６から画像データを読み出して輝度分布を求め撮像時に適正露光となるように上記絞り２の開口径や上記ＣＣＤ４の電子シャッタを制御する測光評価部７と、上記画像用バッファ６から画像データを読み出して合焦位置の検出を行いその検出結果に基づいて後述するＡＦモータ９を制御する合焦点検出部８と、この合焦点検出部８に制御されて上記レンズ系１のＡＦ用レンズを駆動し上記ＣＣＤ４上に被写体像を結像させるようにするＡＦモータ９と、上記画像用バッファ６から読み出された単板の画像データを補間して３板の画像データに変換する補間部１０と、補間後の画像データを蓄積する作業用バッファ１１と、この作業用バッファ１１から読み出した３板の画像データを輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに分離する輝度色差分離手段たるＹ／Ｃ分離部１２と、上記測光評価部７から出力される測光情報と上記合焦点検出部８から出力される合焦情報とに基づいて後で詳しく説明するように撮影状況を推定する撮影状況推定手段たる撮影状況推定部１３と、上記Ｙ／Ｃ分離部１２からまず輝度信号Ｙを読み出してエッジ成分を抽出し、上記撮影状況推定部１３による推定結果を参照して特徴量であるエッジのヒストグラムを算出するときの重み付けを行い変換特性を算出して上記Ｙ／Ｃ分離部１２から出力される輝度信号Ｙおよび色差信号Ｃｂ、Ｃｒの階調変換を行う階調補正手段たる階調補正部１４と、この階調補正部１４により階調幅を調整された画像をもとのＲＧＢ信号等に変換した後に例えば記録媒体や表示装置などに出力する出力部１５と、上記測光評価部７や合焦点検出部８の検出結果を受け取るとともに、上記補間部１０、撮影状況推定部１３、階調補正部１４を含むこの電子カメラ全体の制御を行う制御部１６と、を有して構成されている。

次に、図２は、上記撮影状況推定部１３の詳細な構成を示すブロック図である。

上記合焦点検出部８から出力され制御部１６を介して入力される合焦（ＡＦ）情報は、合焦位置推定手段たる合焦位置推定部２０に入力されて、その被写体距離に応じて例えば風景撮影（５ｍ〜∞）、人物撮影（１ｍ〜５ｍ）、接写撮影（１ｍ以下）の３種類（図５参照）の何れかに分類される。

また、上記測光評価部７から出力されて制御部１６を介して入力される測光（ＡＥ）情報は、被写体分布推定手段たる被写体分布推定部２１に入力されて、その輝度分布が幾つかに分類される。

具体的には、まず、上記測光評価部７は、ＣＣＤ４上の領域を例えば図４に示すように１３個に分類して、分割測光を行うようになっている。この図４は、評価測光用の分割パターンの一例を示す図である。

すなわち、最中央部の真ん中の領域をａ1 、その左隣をａ2 、右隣をａ3 とする。

さらに、この最中央部を取り巻く内周部の内の上記領域ａ1 の上下を各ａ4 、ａ5 とし、該領域ａ4 の左右を各ａ6 、ａ7とし、上記領域ａ5 の左右を各ａ8 、ａ9 とする。

そして、該内周部を取り巻く外周部の内の左上をａ10、右上をａ11、左下をａ12、右下をａ13とする。

このような領域による分割測光において、上記被写体分布推定部２１は、次の各評価用パラメータを計算する。
［数１］
Ｓ1 ＝|ａ2 −ａ3 |
［数２］
Ｓ2 ＝max(|ａ4 −ａ6 |，|ａ4 −ａ7 |)
［数３］
Ｓ3 ＝max(ａ10，ａ11)−Ａｖ
Ａｖ＝（Σａi ）／１３

すなわち、評価用パラメータＳ1 は、最中央部の左右の輝度差を示すもの、評価用パラメータＳ2 は、内周部の上側中央と上側左右の何れかとの輝度差の大きい方を示すもの、評価用パラメータＳ３は、外周部の上側左右何れか大きい方と画面全体の平均輝度との差を示すものとなっている。

このような評価用パラメータを被写体分布推定部２１から得るとともに、合焦位置の分類を上記合焦位置推定部２０から得て、統合手段たる統合部２２において図５に示すような統合的な分類を行う。この図５は、ＡＦ情報とＡＥ情報からのシーンの分類パターンを示す図表である。

図示のように、ＡＦ情報が５ｍ〜∞のときには、風景撮影であるとして、さらに上記評価用パラメータＳ3 を所定値Ｔｈ1 と比較する。このとき、評価用パラメータＳ3 が所定値Ｔｈ1 よりも大きければａ10またはａ11の何れか少なくとも一方は画面全体の平均輝度よりもある程度以上輝度が高いことになるために、上部に空のある風景であると判断する（Ｔｙｐｅ１）。一方、評価用パラメータＳ3 が所定値Ｔｈ1 よりも小さい場合には、これとは逆に上部に空がないかまたはあっても少ない風景であると判断する（Ｔｙｐｅ２）。

次に、ＡＦ情報が１ｍ〜５ｍのときには、人物撮影であるとして、さらに上記評価用パラメータＳ2 を所定値Ｔｈ2 と比較する。このとき、評価用パラメータＳ2 が所定値Ｔｈ2 よりも大きければ一人のポートレートであると判断し（Ｔｙｐｅ３）、一方、所定値Ｔｈ2 よりも小さければ複数人のポートレートであると判断する（Ｔｙｐｅ４）。

さらに、ＡＦ情報が１ｍ以下のときには、接写撮影であるとして、さらに上記評価用パラメータＳ1 を所定値Ｔｈ3 と比較する。このとき、評価用パラメータＳ1 が所定値Ｔｈ3 よりも大きければ単一の物体のクローズアップであると判断し（Ｔｙｐｅ５）、一方、所定値Ｔｈ3 よりも小さければ複数の物体のクローズアップであると判断する（Ｔｙｐｅ６）。

このようなタイプに分類した結果が、上記統合部２２から階調補正部１４に出力される。

続いて、図３はこの階調補正部１４の詳細な構成を示すブロック図である。

上記Ｙ／Ｃ分離部１２からの輝度信号Ｙが、特徴量算出手段たるエッジ抽出部２６に入力されると、このエッジ抽出部２６では上記制御部１６の制御に基づきエッジ検出を行う。具体的には、このエッジ抽出部２６は、例えばラプラシアンやＳｏｂｅｌ等の一般的なエッジ検出オペレータでなり、該エッジ検出オペレータによる強度が所定の閾値以上であれば、参照位置にはエッジが存在するとし、そうでない場合にはエッジではないとする２値情報を出力するものである。

一方、上記撮影状況推定部１３によりタイプ分類された結果が選択手段たる重みパターン選択部２４に入力されると、この重みパターン選択部２４では上記制御部１６の制御に基づき、図６に示すような複数の重みパターンが予め記憶されている重みパターン用ＲＯＭ２５からそのタイプに応じた重みパターンを選択する。この図６は、上記図５に示したような分類パターンに基づくヒストグラム算出時の重み係数を示す図であり、図６（Ａ）は上記Ｔｙｐｅ１に、図６（Ｂ）は上記Ｔｙｐｅ２に、図６（Ｃ）は上記Ｔｙｐｅ３に、図６（Ｄ）は上記Ｔｙｐｅ４に、図６（Ｅ）は上記Ｔｙｐｅ５に、図６（Ｆ）は上記Ｔｙｐｅ６にそれぞれ対応した重みパターンとなっている。

こうして、ヒストグラム作成手段たるヒストグラム作成部２７は、上記エッジ抽出部２６から出力された結果に基づき、エッジを構成する画素やその近傍画素について、輝度レベルに対する出現頻度を示すエッジヒストグラムを算出するが、このヒストグラムを作成する際に、上記図６に示したように画像中の画素位置に応じた重み付けを行って算出するようになっている。さらに、このヒストグラム作成部２７では、算出されたエッジヒストグラムを積分するなどにより、累積エッジヒストグラムに変換する。

階調変換曲線算出手段たる変換曲線算出部２８では、エッジヒストグラムをガウシアンカーネル等を用いてコンボリューションすることにより目標ヒストグラムを生成し、この目標ヒストグラムと上記ヒストグラム作成部２７から出力された累積エッジヒストグラムとを用いて階調補正特性となるトーンカーブを算出する。

変換手段たる変換部２９は、上記Ｙ／Ｃ分離部１２から入力される画像データに、この変換曲線算出部２８から得られるトーンカーブに基づいた階調補正を行い、階調補正後の画像データを上記出力部１５に出力する。この変換部２９では、まず輝度信号Ｙの階調補正を行い、次に色差信号Ｃｂ，Ｃｒの階調補正を順次行って出力部１５に出力する。

出力部１５では、階調補正後の輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを受け取って、もとの例えばＲＧＢ信号を生成し、出力するようになっている。

次に、図７は、画像変換の処理を示すフローチャートである。

単板でなる上記ＣＣＤ４に結像された被写体像は、撮像動作により画像信号に変換されて出力される。

この画像信号は、Ａ／Ｄ変換器５によってデジタル信号に変換された後に、画像用バッファ６に一旦記憶される。

上記測光評価部７と合焦点検出部８は、この画像用バッファ６に蓄積された画像データに基づいて、上述したように、ＡＥ情報とＡＦ情報を制御部１６に出力する（ステップＳ１）。

一方、上記画像用バッファ６に記憶されている画像データは、補間部１０に送られて、Ｒ画像データ、Ｇ画像データ、Ｂ画像データのそれぞれについて補間を行うことにより、３板の画像データに変換されて（ステップＳ２）、作業用バッファ１１に記憶される。

Ｙ／Ｃ分離部１２では、この作業用バッファ１１からＲＧＢ画像データを読み出して、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとを、次の数式４に示すように算出する（ステップＳ３）。
［数４］
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１４４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ

階調補正部１４は、エッジ抽出部２６において、これらの内の輝度信号Ｙにラプラシアン等の公知の２次微分フィルタをかけてエッジ成分を抽出し（ステップＳ４）、抽出したエッジ成分に標準偏差の例えば２倍程度の閾値を設けることで２値化処理を行う（ステップＳ５）。

一方で、上記撮影状況推定部１３において、ＡＦ情報とＡＥ情報とに基づいて上述したように撮影状況を推定し（ステップＳ６）、重みパターンがＴｙｐｅ１からＴｙｐｅ６の何れであるかを選択する（ステップＳ７）。そして、選択した重みパターンに対応する図６に示すような重み係数を重みパターン用ＲＯＭ２５から読み込む（ステップＳ８）。

こうして、上記ステップＳ５で２値化されたエッジ成分とステップＳ８で読み込まれた重みパターンとに基づいて上記ヒストグラム作成部２７が重み付けしたエッジヒストグラムを作成して（ステップＳ９）、このエッジヒストグラムからさらに累積エッジヒストグラムを生成する（ステップＳ１０）。
こうして得た累積エッジヒストグラムに基づいて、上記変換曲線算出部２８が階調変換曲線を算出する（ステップＳ１１）。

続く変換部２９では、上記Ｙ／Ｃ分離部１２から出力される輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを、上記変換曲線算出部２８から得られた階調変換曲線によって変換処理し（ステップＳ１２）、変換した画像データを出力するようになっている（ステップＳ１３）。

なお、上述では撮影状況を推定するのに測光情報と合焦情報の両方を用いているが、これらの内の一方のみを用いて推定し重み付けを変えることも可能である。また、測光情報と合焦情報に限らず、ズーム位置情報やマルチスポット測光情報、視線入力情報、ストロボの発光情報、電子カメラの縦横位置を検出する検出センサの情報、ホワイトバランス情報などの内の一以上を参照すれば、より詳細に撮影状況を推定することが可能となる。

さらに、上述したような撮影状況に応じた階調補正の技術は、カラー画像にのみ適用されるものではなく、白黒画像にも適用することが可能である。

そして、この第１の実施形態においては、電子カメラ内の回路として構成した画像処理装置により撮影状況に応じた階調補正を行っているが、このような処理を、コンピュータの処理プログラムにより行うことも可能である。この場合には、画像ファイルの例えばヘッダ部分に測光情報や合焦情報などの撮影情報を記録しておき、コンピュータにおいてこれらの撮影情報を基に撮影状況を推定して、その撮影状況に適した階調補正を行うようにすればよい。

また、この画像処理装置は、電子カメラに適用するに限るものではなく、例えばプリンタ装置などの画像を扱う機器にも広く適用することが可能である。

このような第１の実施形態によれば、合焦情報や測光情報などの撮影情報に基づいて撮影状況を判断し、エッジヒストグラムを作成する際にこの撮影状況に応じた重み付けを行うようにしたために、主要被写体を考慮し撮影シーンに最も適した階調補正を行うことが可能となる。

図８から図１２は本発明の第２の実施形態を示したものであり、図８は電子カメラの基本的な構成を示すブロック図、図９は輝度補正部の詳細な構成を示すブロック図、図１０は色差補正部の詳細な構成を示すブロック図、図１１は色再現の理論限界特性を考慮して色差補正を行う様子を示す線図、図１２は画像変換の処理を示すフローチャートである。

この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この第２の実施形態では、Ｙ／Ｃ分離部１２により分離された輝度信号Ｙと色差信号Ｃｂ，Ｃｒは、階調補正手段たる輝度補正部１７と色差補正手段たる色差補正部１８とにそれぞれ入力されるようになっている。

上記輝度補正部１７は、図９に示すように、上記Ｙ／Ｃ分離部１２から出力される輝度信号Ｙを受け取り、輝度についての階調補正を行うものであり、特徴量算出手段たるエッジ抽出部３０と、ヒストグラム作成手段たるヒストグラム作成部３１と、階調変換曲線算出手段たる変換曲線算出部３２と、輝度変換手段たる輝度変換部３３と、を有して構成されている。

この輝度補正部１７における処理を、図１２も参照して説明する。

輝度補正部１７は、上記Ｙ／Ｃ分離部１２から出力される輝度信号Ｙを読み込み（ステップＳ２１）、上記エッジ抽出部３０がラプラシアン等のフィルタをかけてエッジ成分を抽出し（ステップＳ２２）、画素毎に所定の閾値と比較してエッジであるか否かを決定する２値化処理を行う（ステップＳ２３）。

このエッジ抽出部３０から出力された情報に基づき、ヒストグラム作成部３１が、輝度に対するエッジの出現頻度を示すエッジヒストグラムを生成し（ステップＳ２４）、さらにこれを積分するなどにより累積エッジヒストグラムを作成する（ステップＳ２５）。

変換曲線算出部３２は、このヒストグラム作成部３１から出力された累積エッジヒストグラムなどを用いて上述したように階調補正特性となるトーンカーブを算出する（ステップＳ２６）。

輝度変換部３３は、この変換曲線に基づいて、上記制御部１６の制御により輝度信号Ｙを階調変換して（ステップＳ２７）、色差補正部１８に出力するとともに、輝度色差合成手段たるＹ／Ｃ合成部１９に出力する（ステップＳ２８）。

このように、Ｙ／Ｃ分離部１２から出力される階調補正前の輝度信号をＹorg とし、上記輝度変換部３３により階調補正された後の輝度信号をＹtra とすると、これらの輝度信号Ｙorg およびＹtra は、次に説明するように、色差補正部１８において色差の階調を補正する際に用いられる。

上記色差補正部１８は、図１０に示すように、上記Ｙ／Ｃ分離部１２から出力される色差信号Ｃｂ，Ｃｒを受け取り、色差についての階調補正を行うものであり、第１の算出手段たる第１補正係数算出部３７と、第２の算出手段たる第２補正係数算出部３５と、色再現限界特性用ＲＯＭ３６と、色差変換手段たる色差変換部３８とを有して構成されている。

この色差補正部１８においては、上記第１補正係数算出部３７が、上記Ｙ／Ｃ分離部１２から階調補正前の輝度信号Ｙorg を受け取って、この輝度信号Ｙorg に対応する色再現範囲ｂorg を次の数式５に示すように計算する（ステップＳ３１）。
［数５］
ｂorg ＝Ｂ（Ｙorg ）

ここに、関数Ｂ（Ｙ）は、色空間（Ｙ，Ｃｂ，Ｃｒ空間）内における色再現の理論限界特性を示す関数であり、例えば図１１に模式的に示すように、輝度Ｙを増加させて行くに従い色再現可能な色差範囲が広がり、ある輝度Ｙを越えたところで今度は色再現可能な色差範囲が狭まるという特性を持ったものである。

この数式５に示すような計算は、例えば、上記色再現限界特性用ＲＯＭ３６に記憶されているテーブルデータ等を参照して（ステップＳ３０）、輝度Ｙorg に対応する色再現範囲ｂorg を求めることにより行う。

上記色再現限界特性用ＲＯＭ３６は、色再現の理論限界特性を示す上記関数Ｂ（Ｙ）をテーブルデータとして予め記憶しているものであり、ここでは演算による負荷や処理速度等を考慮してＲＯＭ化したテーブルデータを用いるようにしているが、もちろん、実際に計算を行うようにしても構わない。

次に、上記第２補正係数算出部３５が、上記輝度補正部１７から階調補正後の輝度信号Ｙtra を受け取って、この輝度信号Ｙtra に対応する色再現範囲ｂtra を、上述した数式５と同様の次の数式６に示すように計算する（ステップＳ３２）。
［数６］
ｂtra ＝Ｂ（Ｙtra ）

この数式６に示すような計算も、同様に、上記色再現限界特性用ＲＯＭ３６に記憶されているテーブルデータ等を参照して（ステップＳ３０）、輝度Ｙtra に対応する色再現範囲ｂtra を求めることにより行う。

上記色差変換部３８は、第１の補正係数である上記ｂorg と、第２の補正係数である上記ｂtra に基づいて、色差信号に対する変換係数ｇａｉｎc を次の数式７に示すように計算する。
［数７］
ｇａｉｎc ＝ｂtra ／ｂorg

こうして、色差信号に対する変換係数ｇａｉｎc を、階調補正前の輝度信号Ｙorg での色再現の理論限界特性ｂorg と、階調補正後の輝度信号Ｙtra での色再現の理論限界特性ｂtra と、の比となるように定義することで、輝度と同じ変換係数を使った場合のような白とび等を発生させることなく、彩度を保った忠実な色再現を行うことができるようにしている。

この変換係数ｇａｉｎc が求められたところで、上記Ｙ／Ｃ分離部１２から補正前の色差信号Ｃｂorg とＣｒorg を順次受け取って（ステップＳ２９）、補正後の色差信号Ｃｂtra とＣｒtra を次の数式８に示すように計算する（ステップＳ３３）。
［数８］
Ｃｂtra ＝ｇａｉｎc ・Ｃｂorg
Ｃｒtra ＝ｇａｉｎc ・Ｃｒorg

このように変換された色差信号Ｃｂtra ，Ｃｒtra は、Ｙ／Ｃ合成部１９に出力される（ステップＳ３４）。

Ｙ／Ｃ合成部１９では、階調変換後の輝度信号Ｙtra と変換後の色差信号Ｃｂtra ，Ｃｒtra とをＹ／Ｃ合成して例えばＲＧＢ信号に変換し、上記制御部１６の制御の下に、上記出力部１５を介して出力するようになっている。

なお、この第２の実施形態においては、電子カメラ内の回路として構成した画像処理装置により色再現の理論限界特性を考慮した階調補正を行っているが、このような処理をコンピュータの処理プログラムにより行うことも可能である。

また、この画像処理装置は、電子カメラに適用するに限るものではなく、例えばプリンタ装置などの画像を扱う機器に広く適用することが可能である。

このような第２の実施形態によれば、色差信号については色再現の理論限界特性を考慮した階調補正を行うようにしたために、画像の階調補正を行っても適切な彩度を維持することができる。

図１３、図１４は本発明の第３の実施形態を示したものであり、図１３は電子カメラの基本的な構成を示すブロック図、図１４は画像変換の処理を示すフローチャートである。

この第３の実施形態において、上述の第１，第２の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この第３の実施形態は、上述した第１の実施形態と第２の実施形態の機能を兼ね合わせた機能を発現するものとして構成されていて、つまり、輝度信号の階調変換特性を算出する際に撮影状況に応じた重み付けを行うとともに、色差信号の変換特性を算出する際には色再現の理論限界特性を考慮し、さらに撮影状況に応じて色相や彩度の補正も行うようにしたものである。

すなわち、上記ＣＣＤ４から出力された画像信号は、Ａ／Ｄ変換器５によってデジタル信号に変換された後に、画像用バッファ６に一旦記憶される。

上記測光評価部７と合焦点検出部８は、この画像用バッファ６に蓄積された画像データに基づいて、上述したように、ＡＥ情報とＡＦ情報を制御部１６に出力する（ステップＳ４１）。

一方、上記画像用バッファ６に記憶されている画像データは、補間部１０に順次送られて、Ｒ画像データ、Ｇ画像データ、Ｂ画像データのそれぞれについて補間を行うことにより、３板の画像データに変換されて（ステップＳ４２）、作業用バッファ１１に記憶される。

Ｙ／Ｃ分離部１２では、この作業用バッファ１１からＲＧＢ画像データを読み出して、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとを、上述した数式４のように算出する（ステップＳ４３）。

輝度補正部１７は、上記エッジ抽出部３０において、これらの内の輝度信号Ｙからエッジ成分を抽出し（ステップＳ４４）、抽出したエッジ成分に２値化処理を行う（ステップＳ４５）。

一方で、上記撮影状況推定部１３において、ＡＦ情報とＡＥ情報とに基づいて上述したように撮影状況を推定し（ステップＳ４６）、重みパターンがＴｙｐｅ１からＴｙｐｅ６の何れであるかを選択する（ステップＳ４７）。そして、選択した重みパターンに対応する上記図６に示したような重み係数を重みパターン用ＲＯＭ２５から読み込む（ステップＳ４８）。

こうして、上記ステップＳ４５で２値化されたエッジ成分とステップＳ８で読み込まれた重みパターンとに基づいて上記ヒストグラム作成部３１が重み付けしたエッジヒストグラムを作成して（ステップＳ４９）、このエッジヒストグラムからさらに累積エッジヒストグラムを生成する（ステップＳ５０）。
こうして得た累積エッジヒストグラムに基づいて、上記変換曲線算出部３２が階調変換曲線を算出する（ステップＳ５１）。

続く輝度変換部３３では、上記Ｙ／Ｃ分離部１２から出力される輝度信号Ｙを、上記変換曲線算出部３２から得られた階調変換曲線によって変換処理し（ステップＳ５２）、色差補正部１８に出力するとともに、Ｙ／Ｃ合成部１９に出力する。

色差補正部１８では、この階調補正後の輝度信号Ｙ’と上記Ｙ／Ｃ分離部１２から出力される階調補正前の輝度信号Ｙと上記色再現限界特性用ＲＯＭ３６から読み出した色再現の理論限界特性とに基づいて、上述したように第１の補正係数と第２の補正係数を算出し、これらに基づいて色差信号に対する変換係数を計算し、上記Ｙ／Ｃ分離部１２から受け取った色差信号Ｃｂ，Ｃｒの変換を行う（ステップＳ５３）。

この色差補正部１８により補正された色差信号Ｃｂ’，Ｃｒ’は、さらに、第２の色差補正手段たる肌色補正部４１に入力されて、上記撮影状況推定部１３により推定された撮影状況を参照して、例えば肌色の補正等を行う（ステップＳ５４）。

ここでは例えば上記Ｔｙｐｅ３やＴｙｐｅ４のような一人または複数人の人物のポートレートである場合には、肌色がより好ましく見えるように色相や彩度を補正する処理を行う。例えば日本人の肌を例に挙げると、やや黄色の色相を持つ傾向があるために、これをやや赤色の色相方向に移動させるなどの処理を行うことになる。

また、上記Ｔｙｐｅ１のような上部に空のある風景である場合には、空がより青く見えるように色相や彩度を補正するなどの処理を行う。

さらには、上記Ｔｙｐｅ１やＴｙｐｅ２のような風景と推定される場合において、その他の情報に基づき風景内に植物が多いと推定される場合には、該植物の緑を好ましくするために色相や彩度を補正するなどの処理を行うことも考えられ、これらに限らず、各種の被写体に対する応用が可能である。

こうして肌色補正部４１により補正された色差信号Ｃｂ’，Ｃｒ’と、上記輝度補正部１７により階調補正された輝度信号Ｙ’とを、上記Ｙ／Ｃ合成部１９により合成して、もとのＲＧＢ信号に変換し（ステップＳ５５）、その後に上記出力部１５を介して出力する（ステップＳ５６）。

なお、この第３の実施形態においても、電子カメラ内の回路として階調補正を行っているが、このような処理を、コンピュータの処理プログラムにより行うことも可能である。

この場合には、上記画像用バッファ６内の画像データを格納するファイルのヘッダ部などに、測光評価部７からの測光情報および合焦点検出部８からの合焦情報を付加して、例えばメモリカード等の記録媒体に記録し、それをコンピュータ側で読み込んで、上記図１４に示したような処理の内の必要な部分を順次行わせればよい。

このような処理プログラムは、コンピュータ内のハードディスクや、可搬性のあるフロッピー（登録商標）ディスク、光磁気ディスクなどの各種の記録媒体に記録されることになる。

また、この画像処理装置は、電子カメラに適用するに限るものではなく、例えばプリンタ装置などの画像を扱う機器に広く適用することが可能である。

このような第３の実施形態によれば、上述した第１の実施形態の効果と、第２の実施形態の効果との双方を奏することができるとともに、撮影状況に応じた色相や彩度の補正を行うことができるために、例えば主要被写体である人物の肌を、より好ましい肌色に補正することなども可能となる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

なおまた、請求項１による本発明の画像処理装置によれば、階調補正前後の輝度信号と色再現の理論限界特性とに基づき色差信号の補正を行っているために、階調補正後に最適な彩度の画像を得ることができる。

請求項２による本発明の画像処理装置によれば、撮影状況を推定してそれに応じて輝度信号の階調補正を行い所定の階調幅に調整するようにしたために、主要被写体の階調幅を適応的に調整することが可能となり、さらに、階調補正前後の輝度信号と色再現の理論限界特性とに基づき色差信号の補正を行っているために、階調補正後に最適な彩度の画像を得ることができる。

請求項３による本発明の画像処理装置によれば、請求項２に記載の発明と同様の効果を奏するとともに、合焦情報と、測光情報と、ズーム位置情報と、マルチスポット測光情報と、視線入力情報と、ストロボ発光情報と、の内の少なくとも１つの情報を用いることにより、撮影状況を適切に推定することができる。

請求項４による本発明の画像処理装置によれば、請求項２に記載の発明と同様の効果を奏するとともに、合焦情報と測光情報とに基づいて、撮影状況を適切に推定することが可能となる。

請求項５による本発明の画像処理装置によれば、請求項２に記載の発明と同様の効果を奏するとともに、階調補正手段が、入力画像の特徴量に重み付けしてヒストグラムを作成し階調変換曲線を算出することにより、主要被写体を考慮した適切な階調変換を行うことができる。

請求項６による本発明の画像処理装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、階調補正手段が、輝度信号の特徴量からヒストグラムを作成して階調変換曲線を算出することにより、適切な階調変換を行うことができる。

請求項７による本発明の画像処理装置によれば、請求項２に記載の発明と同様の効果を奏するとともに、色差補正手段が、階調補正前の輝度信号と色再現の理論限界特性とから算出した第１の補正係数と、階調補正後の輝度信号と色再現の理論限界特性とから算出した第２の補正係数と、を用いることにより、色差信号の変換を適切に行うことができる。

請求項８による本発明の画像処理装置によれば、請求項２に記載の発明と同様の効果を奏するとともに、第２の色差補正手段が、撮影状況に基づき補正後の色差信号における特定色の色相と彩度との少なくとも一方を補正するようにしたために、撮影状況により適した色相や彩度に設定することができる。

請求項９による本発明の画像処理装置によれば、階調幅を縮小する調整を行うに際して、請求項１、請求項２に記載の発明と同様の効果を奏することができる。

請求項１０による本発明の記録媒体によれば、記録した処理プログラムをコンピュータに実行させることにより、撮影状況を推定してそれに応じて輝度信号の階調補正を行い所定の階調幅に調整するために、主要被写体の階調幅を適応的に調整することが可能となり、さらに、階調補正前後の輝度信号と色再現の理論限界特性とに基づき色差信号の補正を行うために、階調補正後に最適な彩度の画像を得ることも可能となる。

請求項１１による本発明の画像処理プログラムによれば、階調補正前後の輝度信号と色再現の理論限界特性とに基づき色差信号の補正を行っているために、階調補正後に最適な彩度の画像を得ることができる。

本発明の第１の実施形態の電子カメラの基本的な構成を示すブロック図。 上記第１の実施形態の撮影状況推定部の詳細な構成を示すブロック図。 上記第１の実施形態の階調補正部の詳細な構成を示すブロック図。 上記第１の実施形態における評価測光用の分割パターンの一例を示す図。 上記第１の実施形態において、ＡＦ情報とＡＥ情報からのシーンの分類パターンを示す図表。 上記第１の実施形態において、上記図５に示したような分類パターンに基づくエッジヒストグラム算出時の重み係数を示す図。 上記第１の実施形態における画像変換の処理を示すフローチャート。 本発明の第２の実施形態の電子カメラの基本的な構成を示すブロック図。 上記第２の実施形態の輝度補正部の詳細な構成を示すブロック図。 上記第２の実施形態の色差補正部の詳細な構成を示すブロック図。 上記第２の実施形態において、色再現の理論限界特性を考慮して色差補正を行う様子を示す線図。 上記第２の実施形態における画像変換の処理を示すフローチャート。 本発明の第３の実施形態の電子カメラの基本的な構成を示すブロック図。 上記第３の実施形態における画像変換の処理を示すフローチャート。

符号の説明

７…測光評価部
８…合焦点検出部
１２…Ｙ／Ｃ分離部（輝度色差分離手段）
１３…撮影状況推定部（撮影状況推定手段）
１４…階調補正部（階調補正手段）
１５…出力部
１６…制御部
１７…輝度補正部（階調補正手段）
１８…色差補正部（色差補正手段）
１９…Ｙ／Ｃ合成部（輝度色差合成手段）
２０…合焦位置推定部（合焦位置推定手段）
２１…被写体分布推定部（被写体分布推定手段）
２２…統合部（統合手段）
２４…重みパターン選択部（選択手段）
２５…重みパターン用ＲＯＭ
２６，３０…エッジ抽出部（特徴量算出手段）
２７，３１…ヒストグラム作成部（ヒストグラム作成手段）
２８，３２…変換曲線算出部（階調変換曲線算出手段）
２９…変換部（変換手段）
３３…輝度変換部（輝度変換手段）
３５…第２補正係数算出部（第２の算出手段）
３６…色再現限界特性用ＲＯＭ
３７…第１補正係数算出部（第１の算出手段）
３８…色差変換部（色差変換手段）
４１…肌色補正部（第２の色差補正手段）

Claims (11)

1. 入力画像の階調幅を調整する画像処理装置であって、
   上記入力画像を輝度信号と色差信号とに分離する輝度色差分離手段と、
   上記輝度信号に関して階調補正を行い所定の階調幅に調整する階調補正手段と、
   上記輝度色差分離手段から出力された階調補正前の輝度信号と、上記階調補正手段から出力された階調補正後の輝度信号と、色再現の理論限界特性と、に基づいて上記色差信号の補正を行う色差補正手段と、
   上記階調補正後の輝度信号と上記補正後の色差信号とをもとの画像信号に合成する輝度色差合成手段と、
   を具備したことを特徴とする画像処理装置。
2. 上記入力画像の撮影状況を推定する撮影状況推定手段をさらに具備し、
   上記階調補正手段は、上記推定された撮影状況に基づき上記輝度信号の階調補正を行い所定の階調幅に調整することを特徴とする請求項１に記載の画像処理装置。
3. 上記撮影状況推定手段は、合焦情報と、測光情報と、ズーム位置情報と、マルチスポット測光情報と、視線入力情報と、ストロボ発光情報と、の内の少なくとも１つの情報に基づいて、撮影状況を推定するものであることを特徴とする請求項２に記載の画像処理装置。
4. 上記撮影状況推定手段は、
   合焦情報から少なくとも風景撮影、人物撮影、接写撮影の３種類の合焦位置を推定する合焦位置推定手段と、
   測光情報から少なくとも画面全体、中央重点、中心部の３種類の被写体分布を推定する被写体分布推定手段と、
   上記合焦位置推定手段が推定した合焦位置と上記被写体分布推定手段が推定した被写体分布とを組み合わせて撮影状況を統合的に推定する統合手段と、
   を有してなるものであることを特徴とする請求項２に記載の画像処理装置。
5. 上記階調補正手段は、
   上記撮影状況に基づき重み係数の配置を選択する選択手段と、
   上記入力画像に関してエッジを算出する特徴量算出手段と、
   上記エッジを構成する画素やその近傍画素の輝度信号のレベルと、その輝度信号のレベルを有する画素の出現頻度との対応関係を示すエッジヒストグラムにおいて表現された画素の出現頻度に対して、上記画素の画素位置に割り当てられた上記選択された重み係数を重み付けることによって上記エッジに関する重み付きヒストグラムを作成するヒストグラム作成手段と、
   上記重み付きヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、
   上記階調変換曲線を用いて階調変換を行う変換手段と、
   を有してなるものであることを特徴とする請求項２に記載の画像処理装置。
6. 上記階調補正手段は、
   上記輝度信号に関してエッジを算出する特徴量算出手段と、
   上記エッジを構成する画素やその近傍画素の輝度信号のレベルと、その輝度信号のレベルを有する画素の出現頻度との対応関係を示すヒストグラムを作成するヒストグラム作成手段と、
   上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、
   上記階調変換曲線を用いて輝度信号の階調変換を行う輝度変換手段と、
   を有してなるものであることを特徴とする請求項１に記載の画像処理装置。
7. 上記色差補正手段は、
   上記階調補正前の輝度信号と、上記色再現の理論限界特性と、に基づいて第１の補正係数を算出する第１の算出手段と、
   上記階調補正後の輝度信号と、上記色再現の理論限界特性と、に基づいて第２の補正係数を算出する第２の算出手段と、
   上記第１の補正係数と第２の補正係数とを用いて色差信号の変換を行う色差変換手段と、
   を有してなるものであることを特徴とする請求項１または２に記載の画像処理装置。
8. 上記撮影状況に基づき、上記補正後の色差信号における特定色の色相と彩度との少なくとも一方を補正する第２の色差補正手段をさらに具備したことを特徴とする請求項２に記載の画像処理装置。
9. 上記階調補正手段は、階調幅を縮小することにより階調幅の調整を行うものであることを特徴とする請求項１または２に記載の画像処理装置。
10. 入力画像を輝度信号と色差信号に分離する輝度色差分離ステップと、
    上記輝度信号に関して階調補正を行い所定の階調幅に調整する階調補正ステップと、
    上記階調補正ステップにより出力された階調補正前の輝度信号と、上記階調補正手段から出力された階調補正後の輝度信号と、色再現の理論限界特性と、に基づいて上記色差信号の補正を行う色差補正ステップと、
    上記階調補正後の輝度信号と上記補正後の色差信号とをもとの画像信号に合成する輝度色差合成ステップと、
    をコンピュータに実行させるための処理プログラムを記録した記録媒体。
11. 入力画像を輝度信号と色差信号に分離する輝度色差分離ステップと、
    上記輝度信号に関して階調補正を行い所定の階調幅に調整する階調補正ステップと、
    上記階調補正ステップにより出力された階調補正前の輝度信号と、上記階調補正手段から出力された階調補正後の輝度信号と、色再現の理論限界特性と、に基づいて上記色差信号の補正を行う色差補正ステップと、
    上記階調補正後の輝度信号と上記補正後の色差信号とをもとの画像信号に合成する輝度色差合成ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images