JP2015156615A - 画像処理装置、画像処理方法、制御プログラム、および記録媒体 - Google Patents

Abstract

【課題】高輝度領域の諧調が失われることなく、色信号毎の飽和レベルを調整して現像を行う。【解決手段】現像部２は未現像の撮影データにおいて色信号の各々の飽和レベルを算出するとともに、撮影データの画素の各々における色信号値を画素情報として得て、飽和レベルおよび画素情報に応じて前記色信号の置換を行うか否かを判定する。そして、現像部は置換を行うと判定すると、飽和レベルが２番目に大きい色信号を飽和レベルが最大の色信号に応じて置換し、飽和レベルが最小の色信号を飽和レベルが最大の色信号と飽和レベルが２番目に大きい色信号とに応じて置換して、置換処理が施された撮影データに所定の処理を施して現像データとする。【選択図】図１

Description

本発明は、未現像の撮影データを現像するための画像処理技術に関し、特に、未現像の撮影データにおけるダイナミックレンジを現像後の画像データに反映することができる画像処理技術に関する。

従来、未現像の撮影データを現像する際には、撮影データを取得した撮像装置の特性および撮影条件を加味して色信号を調整する所謂ホワイトバランス調整が行われている。ホワイトバランス調整によって、例えば、グレーの被写体の現像結果は色信号毎のレベルが揃ったグレーとして出力される。

しかしながら、ホワイトバランス調整の後に色信号毎の飽和レベルが異なる場合には、ホワイトバランス調整を行うことができず、画像の高輝度領域に所謂色付きが起こることがある。

このため、ホワイトバランス調整前又は調整後のＲの色信号のレベルに応じてクリップレベルを設定して、当該クリップレベルにおいてホワイトバランス調整後のＧ、Ｂの色信号をクリップ処理するようにした手法がある（特許文献１参照）。

さらに、ホワイトバランス調整後において色信号毎に飽和状態であるか否かを判定して、飽和状態であると判定された色信号について当該色信号とは異なる他の色信号のレベルに応じた補正を行う手法がある（特許文献２参照）。

特開２０００−１３８０８号公報 特開２００４−３２８５６４号公報

ところが、上述の特許文献１に記載の手法では、クリップレベルを超える色信号に係る情報が失われてしまう結果、現像結果において高輝度領域の階調を表現することができない。

また、上述の特許文献２に記載の手法では、色信号のレベルに応じた補正が不十分である。つまり、色および輝度が徐々に変化するグラデーションを現像すると、非飽和状態と飽和状態との境界において色信号が大きく変化するトーンジャンプが生じることがある。そして、飽和レベルの異なる色信号によって補正が行われる結果、高輝度領域に色付きが残ってしまう。

そこで、本発明の目的は、高輝度領域の諧調が失われることなく、色信号毎の飽和レベルを調整して現像を行うことのできる画像処理装置、画像処理方法、制御プログラム、および記録媒体を提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、未現像の撮影データを現像して現像データを得る画像処理装置であって、前記撮影データにおいて色信号の各々の飽和レベルを算出する飽和レベル算出手段と、前記撮影データの画素の各々における色信号値を画素情報として得る画素情報取得手段と、前記飽和レベルおよび前記画素情報に応じて前記色信号の置換を行うか否かを判定する判定手段と、前記判定手段によって前記置換を行うと判定されると、前記飽和レベルが２番目に大きい色信号を前記飽和レベルが最大の色信号に応じて置換し、前記飽和レベルが最小の色信号を前記飽和レベルが最大の色信号と前記飽和レベルが２番目に大きい色信号とに応じて置換する置換処理手段と、前記置換処理手段によって置換処理が施された撮影データに所定の処理を施して前記現像データとする現像処理手段と、を有することを特徴とする。

本発明による画像処理方法は、未現像の撮影データを現像して現像データを得る画像処理方法であって、前記撮影データにおいて色信号の各々の飽和レベルを算出する飽和レベル算出ステップと、前記撮影データの画素の各々における色信号値を画素情報として得る画素情報取得ステップと、前記飽和レベルおよび前記画素情報に応じて前記色信号の置換を行うか否かを判定する判定ステップと、前記判定ステップで前記置換を行うと判定されると、前記飽和レベルが２番目に大きい色信号を前記飽和レベルが最大の色信号に応じて置換し、前記飽和レベルが最小の色信号を前記飽和レベルが最大の色信号と前記飽和レベルが２番目に大きい色信号とに応じて置換する置換処理ステップと、前記置換処理ステップで置換処理が施された撮影データに所定の処理を施して前記現像データとする現像処理ステップと、を有することを特徴とする。

本発明による制御プログラムは、未現像の撮影データを現像して現像データを得る画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記撮影データにおいて色信号の各々の飽和レベルを算出する飽和レベル算出ステップと、前記撮影データの画素の各々における色信号値を画素情報として得る画素情報取得ステップと、前記飽和レベルおよび前記画素情報に応じて前記色信号の置換を行うか否かを判定する判定ステップと、前記判定ステップで前記置換を行うと判定されると、前記飽和レベルが２番目に大きい色信号を前記飽和レベルが最大の色信号に応じて置換し、前記飽和レベルが最小の色信号を前記飽和レベルが最大の色信号と前記飽和レベルが２番目に大きい色信号とに応じて置換する置換処理ステップと、前記置換処理ステップで置換処理が施された撮影データに所定の処理を施して前記現像データとする現像処理ステップと、を実行させることを特徴とする。

本発明による記録媒体は、未現像の撮影データを現像して現像データを得る画像処理装置で用いられる制御プログラムを記録した記録媒体であって、前記画像処理装置が備えるコンピュータに、前記撮影データにおいて色信号の各々の飽和レベルを算出する飽和レベル算出ステップと、前記撮影データの画素の各々における色信号値を画素情報として得る画素情報取得ステップと、前記飽和レベルおよび前記画素情報に応じて前記色信号の置換を行うか否かを判定する判定ステップと、前記判定ステップで前記置換を行うと判定されると、前記飽和レベルが２番目に大きい色信号を前記飽和レベルが最大の色信号に応じて置換し、前記飽和レベルが最小の色信号を前記飽和レベルが最大の色信号と前記飽和レベルが２番目に大きい色信号とに応じて置換する置換処理ステップと、前記置換処理ステップで置換処理が施された撮影データに所定の処理を施して前記現像データとする現像処理ステップと、を実行させる制御プログラムを記録したコンピュータにより読み取り可能な記録媒体である。

本発明によれば、飽和レベルおよび画素情報に応じて置換処理を実行するようにしたので、高輝度領域の諧調が失われることなく、色信号毎の飽和レベルを調整して現像を行うことができる。

本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示すＷＢ調整部で行われるＷＢ調整処理の一例を示す図である。 図１に示す置換処理部で行われる置換処理の一例を説明するためのフローチャートである。 図３に示す置換処理によって生成された置換処理後のＲＡＷデータを説明するための図であり、（ａ）はＷＢ調整後において色信号の全てが飽和レベルに達している状態を示す図、（ｂ）はＷＢ調整後において色信号の一部が飽和レベルに達している状態の一例を示す図、（ｃ）はＷＢ調整後において色信号の一部が飽和レベルに達している状態の他の例を示す図、（ｄ）はＷＢ調整後において色信号の１つが飽和レベルに達している状態を示す図である。 図１に示すガンマ補正部で用いられるガンマカーブの一例を示す図である。 図１に示す色処理部で用いられる色抑圧テーブルの一例を示す図である。 本発明の第２の実施形態による画像処理装置において置換処理部１３で行われる置換処理の一例を説明するためのフローチャートである。 図７に示す置換処理によって生成された置換処理後のＲＡＷデータを説明するための図であり、（ａ）はＷＢ調整後において色信号の全てが飽和レベルに達している状態を示す図、（ｂ）はＷＢ調整後において色信号の一部が飽和レベルに達している状態の一例を示す図、（ｃ）はＷＢ調整後において色信号の一部が飽和レベルに達している状態の他の例を示す図、（ｄ）はＷＢ調整後において色信号の１つが飽和レベルに達している状態を示す図である。 本発明の第３の実施形態による画像処理装置において置換処理部１３で行われる置換処理の一例を説明するためのフローチャートである。 図９に示す置換処理において置換割合を調整した際の置換結果の一例を示す図である。 図１に示す現像部２で行われた置換処理による高輝度領域における階調の改善を説明するための図であり、（ａ）は従来の現像結果を示す図、（ｂ）は第２の実施形態による現像結果を示す図、（ｃ）は第３の実施形態による現像結果を示す図である。

以下に、本発明の実施の形態による画像処理装置の一例について、図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置である撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮像部１を備えている。撮像部１は撮影レンズユニット（以下単にレンズと呼ぶ）、撮像素子、および測光部を有しており、未現像の撮影データ（以下ＲＡＷデータと呼ぶ）を出力する。

現像部２は、撮像部１の出力であるＲＡＷデータを現像して現像データ（つまり、画像データ）を生成する。記録再生部３は撮像部１の出力であるＲＡＷデータおよび現像部２の出力である現像データを外部の記録装置（図示せず）に記録データとして記録するとともに、外部の記録装置に記録された記録データを読み出して現像部２に与える。

上述のように、図示のカメラは撮像部１、現像部２、および記録再生部３を備えているので、撮影とともに現像を行うことができる。そして、撮影の際には、現像データを外部の記録装置に記録して、任意のタイミングで外部の記録装置からＲＡＷデータを読み出して当該ＲＡＷデータを現像することができる。

なお、カメラが撮像部１および記録再生部３のみを備えて、現像部および記録再生部を備える外部の情報処理装置でＲＡＷデータを現像するようにしてもよい。

図示の現像部２は、ホワイトバランス（ＷＢ）調整部１０、光学補正部１１、色補間部１２、置換処理部１３、ノイズ除去部１４、ガンマ補正部１５、シャープネス処理部１６、および色処理部１７を有している。そして、これらは相互に接続されている。

ＷＢ調整部１０はＲＡＷデータにおいて色信号の各々の信号値にＷＢ係数（ホワイトバランス係数）を乗算する。これによって、ＷＢ調整部１０は色信号のレベルを調整して、グレーの被写体を、各色信号のレベルが揃ったグレーとして出力する。

ここでは、撮像部１がＲＡＷデータの一部領域から色信号の信号値を抽出してＷＢ係数を求め、撮像部１がＲＡＷデータとともにＷＢ係数を現像部２に送るものとする。なお、撮像部１が測光部の測光結果などその他の公知方法によってＷＢ係数を求めてもよい。

ＷＢ係数は、色信号毎に求められる、各色信号に対するゲイン量を示す値であって、色信号の信号値にＷＢ係数を乗算すると、グレーの被写体において各色信号が同一の信号値となる。ここでは、上述のように、撮像部１がＲＡＷデータとともにＷＢ係数を現像部２に送るものとしたが、標準的な光源下の撮影におけるＷＢ係数を予め現像部２に設定するようにしてもよい。さらには、ユーザーが入力した色温度に基づいて、ＷＢ調整部１０がＷＢ係数を算出するようにしてもよい。また、ＷＢ調整部１０は、ＲＡＷデータに付加されたＷＢ係数を用いることなく、現像の際にユーザーが指定した手法でＷＢ係数を算出するようにしてもよい。

図２は、図１に示すＷＢ調整部１０で行われるＷＢ調整処理の一例を示す図である。図２において、縦軸は、各色信号（Ｒ，Ｇ，Ｂ）の信号値の大きさを示す。図示のように、ＲＡＷデータは色信号Ｒ、Ｇ、およびＢを有しており、ここでは、撮像素子（イメージセンサー）のセンサー飽和値が参照番号２１で示されている。このセンサー飽和値２１は撮像素子の分光感度特性、撮像部１の処理精度、および所定の閾値によって定まる色信号の信号値の上限値である。なお、図示の例では、色信号の各々についてセンサー飽和値２１は同一であるが、センサー飽和値２１は色信号毎に異なるようにしてもよい。

図示のＲＡＷデータについて、ＷＢ調整部１０がＷＢ係数を乗算した結果がＷＢ調整後の信号値である。ＷＢ係数を乗算することによって、色信号毎の上限値が変わる。図示の例では、色信号Ｒに係るＷＢ係数が”２”、色信号Ｂに係るＷＢ係数が”１．５”、そして、色信号ＧのＷＢ係数が”１”とした。

ここで、色信号Ｒに係る飽和レベルは飽和レベル２３であり、当該飽和レベル２３はセンサー飽和値２１の２倍となる。色信号Ｂに係る飽和レベルは飽和レベル２４であり、当該飽和レベル２４はセンサー飽和値２１の１．５倍となる。色信号Ｇに係る飽和レベルは飽和レベル２５であり、当該飽和レベル２３はセンサー飽和値２１と等しい。

再び図１を参照して、光学補正部１１は、撮像部１に備えられたレンズに起因する周辺光量の減光、倍率色収差の補正、軸上色収差の除去、および歪曲の補正などを行う。色補間部１２は、単色の信号で構成された画素の各々をデベイヤー処理又はモザイク処理する。置換処理部１３は、各画素において飽和付近の色信号を他の色信号で置換する。ノイズ除去部１４は、フィルター処理又は階層処理などによって輝度ノイズおよび色ノイズを除去する。

ガンマ補正部１５は、ガンマカーブを用いて画像全体のコントラストおよびダイナミックレンジを調整する。シャープネス処理部１６は、画像におけるエッジを強調して画像全体のシャープネスを調整する。色処理部１７は、画像において色相の調整および高輝度領域の色曲がりを抑圧する。

上述の説明では、現像部２で行われる好ましい処理の順に各構成要素を説明したが、現像部２で行われる処理の順は上述の順序で行う必要はない。但し、上述の順で処理を行えば、画像におけるノイズを低減して、かつエッジ部の色付きを軽減することができるなどの効果がある。

ところで、光学補正部１１は、置換処理部１３による置換処理が行われないことを考慮して、レンズの機種、焦点距離、およびフォーカス位置毎に光学補正テーブルを保持している。よって、光学補正部１１による処理の前に、置換処理部１３によって色信号の置換処理が行われると、光学補正結果が過補正となる。

例えば、置換処理部１３による置換処理によってレンズの色収差による赤色付きが除去されてしまうと、光学補正部１１では同量の赤色付きを消去するように緑色を強調する補正を行う。このため、画像において緑色に色付いてしまうことになる。

置換処理部１３による置換処理を、光学補正部１１による補正処理よりも前に行う場合には、光学補正部１１は置換処理部１３による色付きの軽減効果を考慮した光学補正テーブルを備える必要がある。

なお、図１に示す現像部２の構成要素の一部を撮像部１が備えるようにしてもよく、さらには、現像部２は他の構成要素を備えるようにしてもよい。

図３は、図１に示す置換処理部１３で行われる置換処理の一例を説明するためのフローチャートである。

なお、図示のフローチャートに係る処理においては、ＷＢ調整後の信号値において、色信号Ｇの飽和レベルが最小であり、色信号Ｒの飽和レベルが最大又は２番目であるものとして説明を行う。このように、色信号における飽和レベルを規定すると、撮像部１の特性によって起こりえない処理を省いて処理を高速化することができる。

置換処理を開始すると、置換処理部１３はＲＡＷデータにおいて色信号毎の飽和レベルを求める（ステップＳ１）。例えば、置換処理部１３は、ＲＡＷデータに応じてセンサー飽和値２１を求める。そして、置換処理部１３は、ＷＢ調整部１０で用いられるＷＢ係数をセンサー飽和値２１に乗算して、色信号Ｒの飽和レベル２３をＭｒ、色信号Ｂの飽和レベル２４をＭｂ、色信号Ｇの飽和レベル２５をＭｇとして算出する。

続いて、置換処理部１３は、画像（つまり、ＲＡＷデータ）において第１番目の画素の信号値（色信号値）ｒ（赤）、ｇ（緑）、およびｂ（青）を取得する（ステップＳ２）。色補間部１２においてデベイヤー処理が事前に行われていない場合には、置換処理部１３は不足分の色信号値を周囲の画素を参照して求めることになる。

次に、置換処理部１３は、ＲＡＷデータの画素毎に次の処理を行う。まず、置換処理部１３は、色信号Ｒの飽和レベルＭｒと色信号Ｂの飽和レベルＭｂとを比較して、飽和レベルＭｂ＜飽和レベルＭｒであるか否かを判定する（ステップＳ３）。

飽和レベルＭｂ＜飽和レベルＭｒであると（ステップＳ３において、ＹＥＳ）、置換処理部１３は、色信号値ｂが飽和レベルＭｂに達し（つまり、Ｍｂ≦ｂ）、かつ色信号値ｒが色信号値ｂより大きい（つまり、ｂ＜ｒ）か否かを判定する（ステップＳ４）。

飽和レベルＭｂ≦色信号値ｂでかつ色信号値ｂ＜色信号値ｒであると（ステップＳ４において、ＹＥＳ）、置換処理部１３は、色信号値ｂ（置換対象）を色信号値ｒ（置換元）で置換する。つまり、置換処理部１３は、信号値ｂ＝信号値ｒとする（ステップＳ５）。

飽和レベルＭｂ≧飽和レベルＭｒであると（ステップＳ３において、ＮＯ）、置換処理部１３は、色信号値ｒが飽和レベルＭｒに達し（つまり、Ｍｒ≦ｒ）、かつ色信号値ｂが色信号値ｒより大きい（つまり、ｒ＜ｂ）か否かを判定する（ステップＳ６）。

飽和レベルＭｒ≦色信号値ｒでかつ色信号値ｒ＜色信号値ｂであると（ステップＳ６において、ＹＥＳ）、置換処理部１３は、色信号値ｒを色信号値ｂで置換する。つまり、置換処理部１３は、信号値ｒ＝信号値ｂとする（ステップＳ７）。

続いて、置換処理部１３は、色信号値ｇを置換する置換候補値ｍｉｘを求める。例えば、置換処理部１３は、色信号値ｒと色信号値ｂとの平均値を置換候補値ｍｉｘとする。つまり、置換処理部１３は、置換候補値ｍｉｘ＝（ｒ＋ｂ）／２とする（ステップＳ８）。

ステップＳ５において色信号値ｂの置換を行っている場合には、置換処理後の色信号値ｂを置換候補値ｍｉｘの算出に用いることになる。置換処理後の色信号値ｂを置換候補値ｍｉｘの算出に用いれば、置換処理後の色信号値ｇの飽和レベルを色信号値ｒおよび置換処理後の色信号値ｂの飽和レベルに統一することができる。

また、ステップＳ５において色信号値ｂの置換を行う前に色信号値ｂの飽和レベルＭｂが飽和レベルＭｒとなるよう正規化した上で、ステップＳ８において置換候補値ｍｉｘ＝（ｒ＋ｂ・Ｍｒ／Ｍｂ）／２としてもよい。飽和レベルＭｂを飽和レベルＭｒに正規化した色信号値ｂを置換候補値ｍｉｘの算出に用いれば、置換処理後の色信号値ｇの飽和レベルを色信号値ｒおよび置換処理後の色信号値ｂの飽和レベルに統一することができる。

同様にして、ステップＳ７において色信号値ｒの置換を行っている場合には、置換処理後の色信号値ｒを置換候補値ｍｉｘの算出に用いることになる。置換処理後の色信号値ｒを置換候補値ｍｉｘの算出に用いれば、置換処理後の色信号値ｇの飽和レベルを色信号値ｂおよび置換処理後の色信号値ｒの飽和レベルに統一することができる。この場合も、上述したのと同様に、ステップＳ７において色信号値ｒの置換を行う前に色信号値ｒの飽和レベルＭｒが飽和レベルＭｂとなるよう正規化した上で、ステップＳ８において置換候補値ｍｉｘ＝（ｂ＋ｒ・Ｍｒ／Ｍｂ）／２としてもよい。

なお、飽和レベルＭｂ＞色信号値ｂであるか又は色信号値ｂ≧色信号値ｒであると（ステップＳ４において、ＮＯ）、置換処理部１３はステップＳ８の処理に進む。同様にして、飽和レベルＭｒ＞色信号値ｒであるか又は色信号値ｒ≧色信号値ｂであると（ステップＳ６において、ＮＯ）、置換処理部１３はステップＳ８の処理に進む。

続いて、置換処理部１３は、色信号値ｇが飽和レベルＭｇに達し（つまり、Ｍｇ≦ｇ）、かつ置換候補値ｍｉｘが色信号値ｇより大きい（つまり、ｇ＜ｍｉｘ）か否かを判定する（ステップＳ９）。

飽和レベルＭｇ≦色信号値ｇでかつ色信号値ｇ＜置換候補値ｍｉｘであると（ステップＳ９において、ＹＥＳ）、置換処理部１３は色信号値ｇを置換候補値ｍｉｘで置換する。つまり、置換処理部１３は色信号値ｇ＝置換候補値ｍｉｘとする（ステップＳ１０）。そして、置換処理部１３は、ＲＡＷデータの全ての画素について置換処理が終了したか否かを判定する。つまり、置換処理部１３は、最終画素まで置換処理が終了したか否かを判定する（ステップＳ１１）。

最終画素まで置換処理が終了していないと（ステップＳ１１において、ＮＯ）、置換処理部１３は、ステップＳ２の処理に戻って、次の画素について色信号値ｒ、ｇ、およびｂを取得する。一方、最終画素まで置換処理が終了すると（ステップＳ１１において、ＹＥＳ）、置換処理部１３は、ＲＡＷデータに係る置換処理を終了する。

なお、飽和レベルＭｇ＞色信号値ｇであるか又は色信号値ｇ≧置換候補値ｍｉｘであると（ステップＳ９において、ＮＯ）、置換処理部１３はステップＳ１１の処理に進む。

ステップＳ８における置換候補値ｍｉｘの算出方法は、上記の方法（平均値）以外であってもよい。例えば、置換候補値ｍｉｘ＝ｒ・ｂ／（ｒ＋ｂ）とする手法や、色信号値ｒまたは色信号値ｂの大きい方を選択する大値選択によって求めてもよい。ただし、置換候補値ｍｉｘ≫色信号値ｒまたは置換候補値ｍｉｘ≫色信号値ｂとなりうる算出方法を採用する場合には、ステップＳ１０において色信号値ｒまたは色信号値ｂの小さい方に置換候補値ｍｉｘ−色信号値ｇに所定の係数を乗算した値を加算する。このように色信号値ｇに加算した値を他の信号値にも加算することで、置換による色比の変化を抑制することができる。

図４は、図３に示す置換処理によって生成された置換処理後のＲＡＷデータを説明するための図である。そして、図４（ａ）はＷＢ調整後において色信号Ｒ、Ｇ、およびＢの全てが飽和レベルに達している状態を示す図であり、図４（ｂ）はＷＢ調整後において色信号ＧおよびＢが飽和レベルに達している状態を示す図である。また、図４（ｃ）はＷＢ調整後において色信号ＲおよびＧが飽和レベルに達している状態を示す図であり、図４（ｄ）はＷＢ調整後において色信号Ｇのみが飽和レベルに達している状態を示す図である。

図４において、図４の縦軸は、信号値（つまり、色信号値）の大きさを示す。図４（ａ）に示す例では、ＷＢ調整後の色信号Ｒ、Ｇ、およびＢの信号値の全てがそれぞれ飽和レベル２３、２５、および２４に達している。これら色信号Ｒ、Ｇ、およびＢについて、図３で説明した置換処理を行うと、ステップＳ５において色信号Ｂが色信号Ｒで置換され、さらに、ステップＳ１０において色信号Ｇが置換候補値ｍｉｘで置換される。この結果、置換後の色信号Ｒ、Ｇ、およびＢの信号値は飽和レベル２３に達することになる。

図４（ｂ）に示す例では、ＷＢ調整後の色信号ＧおよびＢの信号値がそれぞれ飽和レベル２５および２４に達している。色信号Ｒ、Ｇ、およびＢについて、図３で説明した置換処理を行うと、ステップＳ４において、色信号Ｒが色信号Ｂより小さいので、色信号Ｂの置換は行われない。一方、ステップＳ１０において、色信号Ｇが置換候補値ｍｉｘで置換される。

この結果、置換後の色信号Ｒの信号値はＷＢ調整後の色信号Ｒの信号値と同一となり、置換後の色信号Ｇの信号値は、ＷＢ調整後の色信号ＲおよびＢの信号値の平均値となる。そして、置換後の色信号Ｂの信号値はＷＢ調整後の色信号Ｂの信号値と同一となる。

図４（ｃ）に示す例では、ＷＢ調整後の色信号ＲおよびＧの信号値がそれぞれ飽和レベル２３および２５に達している。色信号Ｒ、Ｇ、およびＢについて、図３で説明した置換処理を行うと、ステップＳ４において、色信号Ｂが飽和していないので、色信号Ｂの置換は行われない。一方、ステップＳ１０において、色信号Ｇが置換候補値ｍｉｘで置換される。

この結果、置換後の色信号Ｒの信号値はＷＢ調整後の色信号Ｒの信号値と同一となり、置換後の色信号Ｇの信号値は、ＷＢ調整後の色信号ＲおよびＢの信号値の平均値となる。そして、置換後の色信号Ｂの信号値はＷＢ調整後の色信号Ｂの信号値と同一となる。

図４（ｄ）に示す例では、ＷＢ調整後の色信号Ｇの信号値が飽和レベル２５に達している。色信号Ｒ、Ｇ、およびＢについて、図３で説明した置換処理を行うと、ステップＳ４において、色信号Ｂが飽和していないので、色信号Ｂの置換は行われない。一方、ステップＳ９において、置換候補値ｍｉｘが色信号Ｇの信号値よりも小さいので、色信号Ｇについても置換は行われない。この結果、置換後の色信号Ｒ、Ｇ、およびＢの信号値はＷＢ調整後の色信号Ｒ、Ｇ、およびＢの信号値と同一となる。

図５は、図１に示すガンマ補正部１５で用いられるガンマカーブの一例を示す図である。

図５において、横軸はガンマ補正前の信号値を示し、縦軸はガンマ補正後の信号値を示す。ガンマカーブ３０は飽和レベル２５を基準として設定された、ガンマ補正部１５で用いられるガンマカーブを示す。当該ガンマカーブ３０の入力上限値は参照番号３１で示されており、飽和レベル２５である。そして、ガンマ補正後の出力上限値は参照番号３２で示され、飽和レベル２５である。ガンマ補正精度を高めるため、出力上限値３２は飽和レベル２５より大きな値を用いても構わない。また、出力上限値３２を飽和レベル２５より小さくしても構わない。なお、出力上限値３２の変更は後段の処理に影響が出るため、後段の処理についても変更する必要がある。

ガンマカーブ３３は、置換処理部１３によって置換処理を行う場合に、ガンマ補正部１５で用いられるガンマカーブを示す。当該ガンマカーブ３３の入力上限値は参照番号３４で示され、最大の飽和レベルである。

ガンマカーブ３３は、ガンマカーブ３０の入力上限値３１を線型的に入力上限値３４まで延長することによって生成される。ガンマカーブ３３を用いてガンマ補正を行うと、入力上限値３１から入力上限値３４までの階調をガンマ補正部１５の出力上限値３２に反映することができる。

図６は、図１に示す色処理部１７で用いられる色抑圧テーブルの一例を示す図である。

図６において、横軸は輝度を示し、縦軸は彩度に対するゲインを示す。色処理部１７は、ＲＡＷデータの画素毎の信号値に基づいて色抑圧テーブルを参照して、各画素の彩度にゲインを乗算する。これによって、色処理部１７は画像の高輝度領域における色を抑圧する。

色抑圧テーブル４０は飽和レベル２５を基準として設定された、色処理部１７で用いられる色抑圧テーブルを示す。制御点４１は色抑圧の開始点を示す。制御点４２は色抑圧の終了点を示す。色抑圧テーブル４０においては制御点４１までは色抑圧が行われず、制御点４１から制御点４２までは徐々に色抑圧を強めて、制御点４２以降は完全に色を抑制する。

色抑圧テーブル４３は置換処理部１３によって置換処理が行われる場合に、色処理部１７で用いられる色抑圧テーブルを示す。制御点４４は色抑圧の開始点を示す。色抑圧テーブル４３は、色抑圧テーブル４０の制御点４１を線型的に制御点４４まで延長することによって生成される。ここでは、前述の入力上限値３４の入力上限値３１に対する延長倍率に所定の係数を乗算して、制御点４１を線型的に制御点４４まで延長する。色抑圧テーブル４３を用いることによって、制御点４１から制御点４２までの色抑圧を弱めることができる。

色抑圧テーブル４３は、色信号の各々が最小の飽和レベルに合わせてクリップされることを考慮して設定される。置換処理を行う場合にはクリップを行わず、色信号の各々は最大の飽和レベルに統一される。

従って、最小の飽和レベルに合わせた色抑圧テーブル４０を、最大の飽和レベルに合わせて延長した色抑圧テーブル４３とすれば、クリップと色抑圧とによって失われた彩度を再現することができる。

制御点４５は色抑圧の終了点を示す。制御点４４の制御点４１に対する延長倍率に所定の係数を乗算して、制御点４２を線型的に制御点４５まで延長する。これによって、色抑圧テーブル４６が得られる。色抑圧テーブル４６を用いると、さらに制御点４４から制御点４５において色抑圧で失われた彩度を再現することができる。

このようにして、本発明の第１の実施形態では、置換処理部１３による置換処理によって画像の高輝度領域における階調が改善されて、そして、色処理部１７において高輝度領域のゲインを高めれば高輝度領域における色を忠実に表現することができるという効果がある。

［第２の実施形態］
次に、本発明の第２の実施形態による画像処理装置であるカメラについて説明する。なお、第２の実施形態によるカメラの構成は、図１に示すカメラと同様であるので、ここでは説明を省略する。

図７は、本発明の第２の実施形態による画像処理装置において置換処理部１３で行われる置換処理の一例を説明するためのフローチャートである。

なお、図示のフローチャートにおいて、図３に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。

置換処理を開始すると、置換処理部１３は、図３で説明したステップＳ１およびＳ２の処理を行う。続いて、置換処理部１３は、ＲＡＷデータの画素毎に次の処理を行う。まず、置換処理部１３は、飽和レベルＭｒ、Ｍｇ、およびＭｂと色信号値ｒ、ｇ、ｂとを飽和レベルの降順に飽和レベルＭｘ、Ｍｙ、およびＭｚと色信号値ｘ、ｙ、およびｚに並び替える。つまり、置換処理部１３は飽和レベルの降順にソートを行うことになる（ステップＳ２２）。

なお、図２に示す飽和レベルにおいては、Ｍｘ＝Ｍｒ、Ｍｙ＝Ｍｂ、Ｍｚ＝Ｍｇ、ｘ＝ｒ、ｙ＝ｂ、ｚ＝ｇとなる。

続いて、置換処理部１３は、色信号値ｙが飽和レベルＭｙに達し（つまり、Ｍｙ≦ｙ）、かつ色信号値ｘが色信号値ｙより大きい（つまり、ｙ＜ｘ）か否かを判定する（ステップＳ２３）。

飽和レベルＭｙ≦色信号値ｙで、かつ色信号値ｙ＜色信号値ｘであると（ステップＳ２３において、ＹＥＳ）、置換処理部１３は色信号値ｙを色信号値ｘで置換する（ステップＳ２４）。つまり、置換処理部１３は、色信号値ｙ＝色信号値ｘとする。

続いて、置換処理部１３は、色信号値ｚを置換する置換候補値ｍｉｘを算出する（ステップＳ２５）。ここでは、置換処理部１３は色信号値ｘと色信号値ｙとの平均値（ｍｉｘ＝（ｘ＋ｙ）／２）を置換候補値ｍｉｘとする。

なお、飽和レベルＭｙ＞色信号値ｙであるか又は色信号値ｙ≧色信号値ｘであると（ステップＳ２３において、ＮＯ）、置換処理部１３は置換を行うことなく、ステップＳ２５の処理に進む。

ステップＳ２４の処理において、色信号値ｙの置換を行っている場合には、置換処理後の色信号値ｙが置換候補値ｍｉｘの算出に用いられる。置換処理後の色信号値ｙを置換候補値ｍｉｘの算出に用いると、置換処理後の色信号値ｚの飽和レベルを色信号値ｘおよび置換処理後の色信号値ｙの飽和レベルに統一することができる。

続いて、置換処理部１３は、色信号値ｚが飽和レベルＭｚに達し（つまり、Ｍｚ≦ｚ）、かつ置換候補値ｍｉｘが色信号値ｚよりも大きい（つまり、ｚ＜ｍｉｘ）か否かを判定する（ステップＳ２６）。

飽和レベルＭｚ≦色信号値ｚで、色信号値ｚ＜置換候補値ｍｉｘであると（ステップＳ２６において、ＹＥＳ）、置換処理部１３は色信号値ｚを置換候補値ｍｉｘで置換する（ステップＳ２７）。つまり、置換処理部１３は、色信号値ｚ＝置換候補値ｍｉｘとする。そして、置換処理部１３は、図３で説明したステップＳ１１の処理に進む。

なお、飽和レベルＭｚ＞色信号値ｚであるか又は色信号値ｚ≧置換候補値ｍｉｘであると（ステップＳ２６において、ＮＯ）、置換処理部１３はステップＳ１１の処理に進む。

図８は、図７に示す置換処理によって生成された置換処理後のＲＡＷデータを説明するための図である。そして、図８（ａ）はＷＢ調整後において色信号Ｘ、Ｙ、およびＺの全てが飽和レベルに達している状態を示す図であり、図８（ｂ）はＷＢ調整後において色信号ＹおよびＺが飽和レベルに達している状態を示す図である。また、図８（ｃ）はＷＢ調整後において色信号ＸおよびＺが飽和レベルに達している状態を示す図であり、図８（ｄ）はＷＢ調整後において色信号Ｚのみが飽和レベルに達している状態を示す図である。

図８において、縦軸は、信号値の大きさを示し、飽和レベル５０は色信号Ｘの飽和レベルＭｘである。また、飽和レベル５１は色信号Ｙの飽和レベルＭｙであり、飽和レベル５２は色信号Ｚの飽和レベルＭｚである。

図８（ａ）に示す例では、ＷＢ調整後の色信号Ｘ、Ｚ、およびＹの信号値の全てがそれぞれ飽和レベル５０、５２、および５１に達している。これら色信号Ｘ、Ｚ、およびＹについて、図７で説明した置換処理を行うと、ステップＳ２４において色信号Ｙが色信号Ｘで置換され、さらに、ステップＳ２７において色信号Ｚが置換候補値ｍｉｘで置換される。この結果、置換後の色信号Ｘ、Ｚ、およびＹの信号値は飽和レベル５０に達することになる。

図８（ｂ）に示す例では、ＷＢ調整後の色信号ＺおよびＹの信号値がそれぞれ飽和レベル５２および５１に達している。色信号Ｘ、Ｚ、およびＹについて、図７で説明した置換処理を行うと、ステップＳ２３において、色信号Ｘが色信号Ｙより小さいので、色信号Ｙの置換は行われない。一方、ステップＳ２７において、色信号Ｚが置換候補値ｍｉｘで置換される。

この結果、置換後の色信号Ｘの信号値はＷＢ調整後の色信号Ｘの信号値と同一となり、置換後の色信号Ｚの信号値は、ＷＢ調整後の色信号ＸおよびＹの信号値の平均値となる。そして、置換後の色信号Ｙの信号値はＷＢ調整後の色信号Ｙの信号値と同一となる。

図８（ｃ）に示す例では、ＷＢ調整後の色信号ＸおよびＺの信号値がそれぞれ飽和レベル５０および５２に達している。色信号Ｘ、Ｚ、およびＹについて、図７で説明した置換処理を行うと、ステップＳ２３において、色信号Ｙが飽和していないので、色信号Ｙの置換は行われない。一方、ステップＳ２７において、色信号Ｚが置換候補値ｍｉｘで置換される。

この結果、置換後の色信号Ｘの信号値はＷＢ調整後の色信号Ｘの信号値と同一となり、置換後の色信号Ｚの信号値は、ＷＢ調整後の色信号ＸおよびＹの信号値の平均値となる。そして、置換後の色信号Ｙの信号値はＷＢ調整後の色信号Ｙの信号値と同一となる。

図８（ｄ）に示す例では、ＷＢ調整後の色信号Ｚの信号値が飽和レベル５２に達している。色信号Ｘ、Ｚ、およびＹについて、図８で説明した置換処理を行うと、ステップＳ２３において、色信号Ｙが飽和していないので、色信号Ｙの置換は行われない。一方、ステップＳ２６において、置換候補値ｍｉｘが色信号Ｚの信号値よりも小さいので、色信号Ｚについても置換は行われない。この結果、置換後の色信号Ｘ、Ｚ、およびＹの信号値はＷＢ調整後の色信号Ｘ、Ｚ、およびＹの信号値と同一となる。

なお、第２の実施形態において、ガンマ補正部１５および色処理部１７における処理については、第１の実施形態における処理と同様であるので、ここでは、説明を省略する。

このように、本発明の第２の実施形態では、色信号を飽和レベルの順にソートして置換処理を行うようにしたので、色信号Ｇの飽和レベルが色信号ＲおよびＢの飽和レベルよりも大きくなったとしても、置換処理部１３による置換処理によって高輝度領域における階調が改善される。そして、色処理部１７による色抑圧テーブルを弱めることによって高輝度領域における色を忠実に表現することができる。

［第３の実施形態］
続いて、本発明の第３の実施形態による画像処理装置であるカメラについて説明する。なお、第３の実施形態によるカメラの構成は、図１に示すカメラと同様であるので、ここでは説明を省略する。

図９は、本発明の第３の実施形態による画像処理装置において置換処理部１３で行われる置換処理の一例を説明するためのフローチャートである。

なお、図示のフローチャートにおいて、図３に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。

置換処理を開始すると、置換処理部１３は、図３で説明したステップＳ１の処理を行う。続いて、置換処理部１３は、予め設定された所定の値ｐと飽和レベルＭｒ、Ｍｇ、およびＭｂとに基づいて置換開始を判定するための閾値ＴＨｒ、ＴＨｇ、およびＴＨｂを求める（ステップＳ３１）。

例えば、置換処理部１３は、飽和レベルＭｒ、Ｍｇ、およびＭｂに対する割合が所定の値（係数ともいう）ｐとして設定された際、閾値ＴＨｒ＝ｐ×Ｍｒ、閾値ＴＨｂ＝ｐ×Ｍｂ、そして、ＴＨｇ＝ｐ×Ｍｇを算出する。係数ｐはトーンジャンプ解消のため、色信号値に影響を与える範囲（影響範囲）を増減するためのものである。

係数ｐが小さい程、影響範囲は広がり、係数Ｐが０になると、全ての色信号値が置換の影響を受ける。一方、係数ｐが大きい程、影響範囲は狭まり、係数ｐが１になると、色信号値の飽和値のみが置換の対象となる。

係数ｐ＝０．７とすると、色信号値の各々の飽和レベルの７０％を超える色信号値が置換される。なお、飽和レベルＭｒ、Ｍｇ、およびＭｂから所定の値ｑを減算して閾値を求めるようにしてもよく、さらには、色信号ごとに所定の値ｐ又はｑを設定するようにしてもよい。

ステップＳ３１の処理の後、置換処理部１３は、図３で説明したステップＳ２の処理を行う。

続いて、置換処理部１３は、飽和レベルＭｒ、Ｍｇ、Ｍｂと、色信号値ｒ、ｇ、ｂと、閾値ＴＨｒ、ＴＨｇ、ＴＨｂを飽和レベルの降順に飽和レベルＭｘ、Ｍｙ、Ｍｚ、色信号値ｘ、ｙ、ｚと、閾値ＴＨｘ、Ｔｈｙ、ＴＨｚに並び替える。つまり、置換処理部１３は飽和レベルの降順にソートを行うことになる（ステップＳ３３）。

なお、図２に示す飽和レベルにおいては、Ｍｘ＝Ｍｒ、Ｍｙ＝Ｍｂ、Ｍｚ＝Ｍｇ、ｘ＝ｒ、ｙ＝ｂ、ｚ＝ｇ、ＴＨｘ＝ＴＨｒ、ＴＨｙ＝ＴＨｂ、ＴＨｚ＝ＴＨｇとなる。

続いて、置換処理部１３は、色信号値ｙが閾値ＴＨｙに達し（つまり、ＴＨｙ≦ｙ）、かつ色信号値ｘが色信号値ｙより大きい（つまり、ｙ＜ｘ）か否かを判定する（ステップＳ３４）。

閾値ＴＨｙ≦色信号値ｙで、かつ色信号値ｙ＜色信号値ｘであると（ステップＳ３４において、ＹＥＳ）、置換処理部１３は色信号値ｙを色信号値ｘで置換する（ステップＳ３５）。ここでは、置換処理部１３は、色信号値ｙが飽和レベルに近い程、色信号値ｘに対する置換割合が高まるようにする。例えば、置換処理部１３は色信号値ｘと色信号値ｙ信号との差分に、色信号値ｙと閾値ＴＨｙとの差分を飽和レベルＭｙと閾値ＴＨｙとの差分で除算した置換割合を乗算した後、当該乗算結果を色信号値ｙに加算する。つまり、置換処理部１３は、ｙ＋（ｘ−ｙ）×（ｙ−ＴＨｙ）／（Ｍｙ−ＴＨｙ）に色信号値ｙを置換処理する（ステップＳ３５）。

続いて、置換処理部１３は、色信号値ｚを置換する置換候補値ｍｉｘを算出する（ステップＳ３６）。ここでは、置換処理部１３は色信号値ｘと色信号値ｙとの平均値（ｍｉｘ＝（ｘ＋ｙ）／２）を置換候補値ｍｉｘとする。

なお、閾値ＴＨｙ＞色信号値ｙであるか又は色信号値ｙ≧色信号値ｘであると（ステップＳ３４において、ＮＯ）、置換処理部１３は置換を行うことなく、ステップＳ３６の処理に進む。

ステップＳ３５の処理において、色信号値ｙの置換を行っている場合には、置換処理後の色信号値ｙが置換候補値ｍｉｘの算出に用いられる。置換処理後の色信号値ｙを置換候補値ｍｉｘの算出に用いると、置換処理後の色信号値ｚの飽和レベルを色信号値ｘおよび置換処理後の色信号値ｙの飽和レベルに統一することができる。

次に、置換処理部１３は、色信号値ｚが閾値ＴＨｚに達し（つまり、ＴＨｚ≦ｚ）、かつ置換候補値ｍｉｘが色信号値ｚよりも大きい（つまり、ｚ＜ｍｉｘ）か否かを判定する（ステップＳ３７）。

閾値ＴＨｚ≦色信号値ｚで、かつ色信号値ｚ＜置換候補値ｍｉｘであると（ステップＳ３７において、ＹＥＳ）、置換処理部１３は色信号値ｚを置換候補値ｍｉｘで置換する。ここでは、置換処理部１３は、色信号値ｚ飽和レベルに近い程、置換候補値ｍｉｘに対する置換割合が高まるようにする。例えば、置換処理部１３は置換候補値ｍｉｘと色信号値ｚとの差分に、色信号値ｚと閾値ＴＨｚとの差分を飽和レベルＭｚと閾値ＴＨｚとの差分で除算した置換割合を乗算した後、色信号値ｚに加算する。つまり、置換処理部１３は、ｚ＋（ｍｉｘ−ｚ）×（ｚ−ＴＨｚ）／（Ｍｚ−ＴＨｚ）に色信号値ｚを置換処理する（ステップＳ３８）。そして、置換処理部１３は、図３で説明したステップＳ１１の処理に進む。

なお、閾値ＴＨｚ＞色信号値ｚであるか又は色信号値ｚ≧置換候補値ｍｉｘであると（ステップＳ３７において、ＮＯ）、置換処理部１３はステップＳ１１の処理に進む。

図１０は、図９に示す置換処理において置換割合を調整した際の置換結果の一例を示す図である。

図１０に示す例は、図９に示すステップＳ３５の処理を行った結果（置換結果）が示されており、図示の例では、ＲＡＷデータは、図中左から右にかけて徐々に輝度が高くなるグラデーションを有している。図１０において、横軸はＲＡＷデータの水平方向の座標を示し、縦軸は置換処理後の出力（置換結果、つまり、信号値）を示す。

置換前の色信号Ｙ信号が参照番号６０で示され、色信号Ｙ信号の飽和レベルＭｙが参照番号６１で示されている。また、色信号Ｘが参照番号６２で示され、図７のステップＳ２４で説明した色信号Ｙの置換結果が参照番号６３で示されている。

置換前の色信号Ｙ（６０）が飽和レベルＭｙ（６１）に到達すると、色信号Ｘによる置換によって信号値が大きく変化する。この変化が、所謂トーンジャンプとなって現像結果に現れることになる。

図９で説明した置換処理においては、置換前の色信号Ｙ６０が閾値ＴＨｙ６５に到達すると、色信号Ｘとの置換が開始されることになる。そして、ステップＳ３５による色信号Ｙの置換結果６４は、置換前の色信号Ｙ６０が飽和レベルＭｙに近づく程、色信号Ｘに対する置換割合が高まって、飽和の際には色信号Ｘに置換される（つまり、Ｙ＝Ｘ）。

なお、第３の実施形態において、ガンマ補正部１５および色処理部１７における処理については、第１の実施形態における処理と同様であるので、ここでは、説明を省略する。

また、図１０においては、ステップＳ３５の処理について説明したが、つまり、色信号Ｙを色信号Ｘで置換する場合について説明したが、ステップＳ３６で求めた置換候補値ｍｉｘを色信号Ｘ（６２）とし、色信号Ｙ（６０）を色信号Ｚとすれば、同様にして、ステップＳ３８の処理において色信号Ｚのトーンジャンプが解消される。

このように、本発明の第３の実施形態では、置換処理を開始する閾値を設定して、飽和レベルに向かって置換割合が増加するようにしたので、画素間で色信号値が連続的に変化することになって、トーンジャンプを解消することができる。

ここで、上述の置換処理によって得られたＲＡＷデータの一例について説明する。

図１１は、図１に示す現像部２で行われた置換処理による高輝度領域における階調の改善を説明するための図である。図１１（ａ）は従来の現像結果を示す図であり、図１１（ｂ）は第２の実施形態による現像結果を示す図である。そして、図１１（ｃ）は第３の実施形態による現像結果を示す図である。

図１１において、太陽７０の周辺にはフレア７１が生じており、さらに、太陽７０の光を反射する雲７２が存在する。少なくともこれら太陽７０、フレア７１、および雲７２は高輝度領域である。

ＷＢ調整の後に、最小の色信号に合わせてクリップを行う現像結果（図１１（ａ））においては、ダイナミックレンジが不足して雲７２が白く飛んでいる。一方、図１１（ｂ）に示す現像結果においては、ＲＡＷデータの階調を最大限に用いることができる結果、雲７３を解像する（雲７３の階調を表現する）ことができる。

さらに、図１１（ｃ）に示す現像結果においては、閾値を超えた色信号が徐々に置換処理されるので、トーンジャンプが生じることなく太陽７０の周辺に位置するフレア７４を的確に表現することができる。

上述の説明から明らかなように、図１に示す例においては、置換処理部１３が飽和レベル算出手段、画素情報取得手段、判定手段、および置換処理手段として機能する。そして、少なくともノイズ除去部１４、ガンマ補正部１５、シャープネス処理部１６、および色処理部１７が現像処理手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施形態では、画像処理装置の例として撮像装置（カメラ）を挙げたが、パソコン、タブレット端末、スマートフォン、、モニタ、スキャナ、プリンタなどであってもよい。

また、上記の実施の形態の機能を制御方法（画像処理方法）として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも飽和レベル算出ステップ、画素情報取得ステップ、判定ステップ、置換処理ステップ、および現像処理ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１ 撮像部
２ 現像部
３ 記録再生部
１０ ホワイトバランス（ＷＢ）調整部
１１ 光学補正部
１２ 色補間部
１３ 置換処理部
１４ ノイズ除去部
１５ ガンマ補正部
１６ シャープネス処理部
１７ 色処理部

Claims (14)

1. 未現像の撮影データを現像して現像データを得る画像処理装置であって、
   前記撮影データにおいて色信号の各々の飽和レベルを算出する飽和レベル算出手段と、
   前記撮影データの画素の各々における色信号値を画素情報として得る画素情報取得手段と、
   前記飽和レベルおよび前記画素情報に応じて前記色信号の置換を行うか否かを判定する判定手段と、
   前記判定手段によって前記置換を行うと判定されると、前記飽和レベルが２番目に大きい色信号を前記飽和レベルが最大の色信号に応じて置換し、前記飽和レベルが最小の色信号を前記飽和レベルが最大の色信号と前記飽和レベルが２番目に大きい色信号とに応じて置換する置換処理手段と、
   前記置換処理手段によって置換処理が施された撮影データに所定の処理を施して前記現像データとする現像処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記飽和レベル算出手段は、前記未現像の撮影データを得た撮像素子の飽和値と前記未現像の撮影データのホワイトバランスを調整する際のホワイトバランス係数とに基づいて前記飽和レベルを算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記現像処理手段は、画像のコントラストとダイナミックレンジとを補正するガンマ補正手段を備え、
   前記ガンマ補正手段は、最大の飽和レベルに応じてガンマカーブを線型的に延長して当該延長されたガンマカーブに応じて前記コントラストおよび前記ダイナミックレンジを補正することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記現像処理手段は、画像の色相の調整を行うとともに画像の高輝度領域における色曲がりを抑圧する色処理手段を備え、
   前記色処理手段は、最大の飽和レベルに応じて色抑圧テーブルを線型的に延長して、当該延長された色抑圧テーブルに応じて前記色相の調整を行うとともに前記高輝度領域における色曲がりを抑圧することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記判定手段は、前記飽和レベルに応じて前記色信号の各々に対する閾値を設定し、前記閾値および前記画素情報に応じて前記色信号の置換を行うか否かを判定することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記置換処理手段は、前記判定手段によって前記置換を行うと判定されると、前記色信号が前記閾値を超えると前記色信号が前記飽和レベルに近づくにつれて置換割合を大きくして、当該置換割合に応じて置換を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記置換処理手段は、置換対象の色信号と置換元の色信号との差分に前記置換割合を乗算して得られた乗算結果に応じて置換を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記未現像の撮影データを得るための撮像部に備えられたレンズに起因する周辺光量の減光を行うとともに、倍率色収差および色収差の除去と歪曲の補正とを行う光学補正手段を備えることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記置換処理手段は、前記光学補正手段によって補正された撮影データについて置換処理を行うことを特徴とする請求項８に記載の画像処理装置。
10. 前記光学補正手段は、前記置換処理手段によって置換処理が施された撮影データについて前記周辺光量の減光を行うとともに、前記倍率色収差および前記色収差の除去と前記歪曲の補正とを行うことを特徴とする請求項８に記載の画像処理装置。
11. 前記現像処理手段は、前記置換処理手段によって置換処理が施された撮影データについてフィルター処理又は階層処理を行って輝度ノイズおよび色ノイズを除去するノイズ除去手段を有することを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 未現像の撮影データを現像して現像データを得る画像処理方法であって、
    前記撮影データにおいて色信号の各々の飽和レベルを算出する飽和レベル算出ステップと、
    前記撮影データの画素の各々における色信号値を画素情報として得る画素情報取得ステップと、
    前記飽和レベルおよび前記画素情報に応じて前記色信号の置換を行うか否かを判定する判定ステップと、
    前記判定ステップで前記置換を行うと判定されると、前記飽和レベルが２番目に大きい色信号を前記飽和レベルが最大の色信号に応じて置換し、前記飽和レベルが最小の色信号を前記飽和レベルが最大の色信号と前記飽和レベルが２番目に大きい色信号とに応じて置換する置換処理ステップと、
    前記置換処理ステップで置換処理が施された撮影データに所定の処理を施して前記現像データとする現像処理ステップと、
    を有することを特徴とする画像処理方法。
13. 未現像の撮影データを現像して現像データを得る画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記撮影データにおいて色信号の各々の飽和レベルを算出する飽和レベル算出ステップと、
    前記撮影データの画素の各々における色信号値を画素情報として得る画素情報取得ステップと、
    前記飽和レベルおよび前記画素情報に応じて前記色信号の置換を行うか否かを判定する判定ステップと、
    前記判定ステップで前記置換を行うと判定されると、前記飽和レベルが２番目に大きい色信号を前記飽和レベルが最大の色信号に応じて置換し、前記飽和レベルが最小の色信号を前記飽和レベルが最大の色信号と前記飽和レベルが２番目に大きい色信号とに応じて置換する置換処理ステップと、
    前記置換処理ステップで置換処理が施された撮影データに所定の処理を施して前記現像データとする現像処理ステップと、
    を実行させることを特徴とする制御プログラム。
14. 未現像の撮影データを現像して現像データを得る画像処理装置で用いられる制御プログラムを記録した記録媒体であって、
    前記画像処理装置が備えるコンピュータに、
    前記撮影データにおいて色信号の各々の飽和レベルを算出する飽和レベル算出ステップと、
    前記撮影データの画素の各々における色信号値を画素情報として得る画素情報取得ステップと、
    前記飽和レベルおよび前記画素情報に応じて前記色信号の置換を行うか否かを判定する判定ステップと、
    前記判定ステップで前記置換を行うと判定されると、前記飽和レベルが２番目に大きい色信号を前記飽和レベルが最大の色信号に応じて置換し、前記飽和レベルが最小の色信号を前記飽和レベルが最大の色信号と前記飽和レベルが２番目に大きい色信号とに応じて置換する置換処理ステップと、
    前記置換処理ステップで置換処理が施された撮影データに所定の処理を施して前記現像データとする現像処理ステップと、
    を実行させる制御プログラムを記録したコンピュータにより読み取り可能な記録媒体。

Images