JP2012083848A - 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム - Google Patents

Abstract

【課題】画像中で注目領域に写る主要被写体がより際立って見える画像を生成可能とする。
【解決手段】画像処理装置１００は、処理対象の画像データである元画像データを取得する画像データ取得部１０２と、元画像データを解析し、元画像データ中の主要被写体を含む部分領域である主要部と、元画像データ中の主要部以外の部分領域である周辺部とを設定する領域設定部１０４と、主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、元画像データの補正の要否を判定する画像処理実行判定部１０６と、画像処理実行判定部１０６により元画像データの補正が必要であると判定された場合、主要部を含む領域の画像が他の領域の画像よりも際立つよう、所定の色空間で規定される元画像データ中の色座標値を補正した補正画像データを生成する補正画像データ生成部１０８とを備える。
【選択図】図１

Description

本発明は、撮影装置等の画像入力機器で生成された画像の見栄えを改善可能な技術に関する。

撮影して得られた画像の見栄えを改善する方法として、彩度やコントラストを補正して、鮮鋭感のある画像を得る方法がある。特許文献１には、画像をいくつかの領域に分割し、その中で彩度レベルが最も大きい領域の彩度レベルを基に彩度補正を行う技術が開示される。

特開２０００−２２４６０７号公報

一般的には、撮影して得られた画像を観察する際、主要被写体を含む注目領域が際立っていることが好まれる。つまり、注目領域と、注目領域以外の、非注目領域とを対比した場合に、注目領域の画像特徴が、非注目領域の画像特徴よりも強い印象を与える画像が得られることが望ましい。

特許文献１に開示される技術は、ビルディングの壁等、彩度が本来あまり高くはない被写体が写っている領域の彩度が過度に高められることが無いようにすることを目的としている。このため、必ずしも注目領域の画像特徴が非注目領域の画像特徴よりも強い印象を与えるようには補正されない場合がある。その結果、注目領域以外の領域が際立ってしまう場合がある。

本発明は、上記の課題に鑑みてなされたものであり、画像中で注目領域に写る主要被写体がより際立って見える画像を生成可能とする技術を提供することを目的とする。

本発明の第１の態様によれば、処理対象の画像データである元画像データを取得し、前記元画像データに補正処理を行う画像処理装置が、
前記元画像データを取得する画像データ取得部と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部を含む領域の画像が他の領域の画像よりも際立つよう、所定の色空間で規定される前記元画像データ中の色座標値を補正した補正画像データを生成する補正画像データ生成部と
を備える。

本発明の第２の態様によれば、処理対象の画像データである元画像データに補正処理を行う画像処理方法が、
前記元画像データを取得する画像データ取得手順と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定手順と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定手順と、
前記画像処理実行判定手順で前記元画像データの補正が必要であると判定された場合、前記主要部を含む領域の画像が他の領域の画像よりも際立つよう、所定の色空間で規定される前記元画像データ中の色座標値を補正した補正画像データを生成する補正画像データ生成手順と
を備える。

本発明の第３の態様によれば、
撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像素子を備える撮像装置が、
前記撮像素子から出力される前記画像信号から生成された画像データを元画像データとして取得する画像データ取得部と、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部を含む領域の画像が他の領域の画像よりも際立つよう、所定の色空間で規定される前記元画像データ中の色座標値を補正した補正画像データを生成する補正画像データ生成部と
を備える。

本発明の第４の態様によれば、処理対象の画像データである元画像データを補正する処理をコンピュータに実行させるための画像処理プログラムが、
前記元画像データを取得する画像データ取得ステップと、
前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定ステップと、
前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定ステップと、
前記画像処理実行判定ステップで前記元画像データの補正が必要であると判定された場合、前記主要部を含む領域の画像が他の領域の画像よりも際立つよう、所定の色空間で規定される前記元画像データ中の色座標値を補正した補正画像データを生成する補正画像データ生成ステップと
を備える

本発明によれば、画像中の主要部分が他の部分に比べて際立って見え、それにより全体として見栄えのする画像を得ることが可能となる。

画像処理装置の内部構成を概略的に説明するブロック図である。 様々なヒストグラムを有する画像に対して強調処理をする前、強調処理をした後のヒストグラムの変化を説明する図である。 画像処理装置が撮像装置に組み込まれる例を説明するブロック図である。 画像処理プログラムを実行するコンピュータによって画像処理装置が実現される例を説明するブロック図である。 処理対象の画像の一例を示す図であり、主要被写体の写る部分を含む主要部と、主要部以外の部分である周辺部とが設定される様子を概念的に示す図である。 第１の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。 図６のフローチャートで示される処理中で行われる画像処理実行判定の処理手順をより詳細に説明するフローチャートである。 空間周波数のヒストグラムを生成して画像を解析する方法を概念的に説明する図である。 画像処理を行う際の処理パラメータを、主要部の明るさ、あるいは主要部の周りの領域である近傍領域の明るさに基づいて設定する例を説明する図である。 周辺部の画像に対して、主要部からの距離に応じて主要度を設定する例を概念的に説明する図である。 周辺部の画像を解析した結果に基づいて主要度を増加させる例を説明する図である。 元画像データと処理後一時画像データとを合成する際の画像混合比率を主要度に基づいて変化させる例を説明する図である。 第１の実施の形態の画像処理装置により元画像データから補正後画像データが生成される際の手順を概念的に説明する図である。 第２の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。 図１４のフローチャートで示される処理中で行われる画像処理実行判定の処理手順をより詳細に説明するフローチャートである。 第２の実施の形態の画像処理装置により元画像データから補正後画像データが生成される際の手順を概念的に説明する図である。 第３の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。 第３の実施の形態の画像処理装置により元画像データから補正後画像データが生成される際の手順を概念的に説明する図である。 第４の実施の形態の画像処理装置により実行される画像処理の手順を説明するフローチャートである。 第４の実施の形態の画像処理装置により元画像データから補正後画像データが生成される際の手順を概念的に説明する図である。 周辺部の画像データを解析した結果に基づいて周辺部の画像データに対して低減処理を行う際の処理パラメータの設定例を説明する図である。

図１は、本発明の実施の形態に係る画像処理装置１００の概略的構成を説明するブロック図である。画像処理装置１００は、画像データ取得部１０２と、領域設定部１０４と、画像処理実行判定部１０６と、補正画像データ生成部１０８とを備える。

画像データ取得部１０２は、画像処理装置１００で処理される対象の画像データを取得する。この画像データは、静止画の画像データであっても、動画の画像データであってもよい。取得した画像データが静止画の画像データである場合、画像処理装置１００は取得した一つのフレームの画像データに対して処理を行う。取得する画像データが一連の複数フレームからなる動画像データである場合、画像処理装置１００は取得した一連の複数フレームの画像それぞれに対して処理を行う。

領域設定部１０４は、画像データ取得部１０２で取得した、処理対象の画像データ（以下ではこの画像データを元画像データと称する）を解析し、この元画像データ中で主要被写体が写っている部分を含む領域である主要部と、同じく元画像データ中の主要部以外の領域である周辺部とを設定する。

画像処理実行判定部１０６は、元画像データ中、主要部に対応する部分の画像データを解析し、この主要部に対応する部分の画像データの彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、元画像データの補正の要否を判定する。

補正画像データ生成部１０８は、画像処理実行判定部１０６において元画像データの補正が必要と判定された場合、元画像データ処理して補正画像データを生成する。このとき補正画像データ生成部１０８は、主要部を含む領域の画像が他の領域の画像よりも際立つように処理を行う。

補正画像データ生成部１０８での処理は、元画像データがどのような表色系のデータであるか等に応じて様々なものとすることが可能である。例えば、元画像データがＲＧＢの色空間で規定されるものである場合、Ｒ、Ｇ、Ｂの各色座標値を補正する処理を行うことが可能である。また、元画像データがＹＣｂＣｒの色空間で規定されるものである場合、輝度Ｙの色座標値のみを補正しても、色相および彩度を規定するＣｂおよびＣｒの色座標値のみを補正してもよい。元画像データがＬａｂの色空間で規定されるものである場合も同様で、明度Ｌの色座標値のみを補正しても、色相および彩度を規定するａおよびｂの色座標値のみを補正してもよい。

なお、画像データ中の各画素の明るさを定義するものとして輝度および明度がある。輝度は、人の比視感度を加味して（人の眼に知覚される明るさを尺度として）その値が定められる一方、明度は比視感度を加味しない、物理的強度を尺度としてその値が定められるのが一般的である。本明細書においては、これらの輝度および明度を区別する必要がない場合、「明るさ」、あるいは「輝度または明度」という表現を用いる。

主要部を含む領域の画像が他の領域の画像よりも際立つようにする処理（以下、この処理を強調処理と称する）の一つとしては、主要部を含む領域の画像のコントラストが増すように補正することが可能である。強調処理の別の例としては、主要部を含む領域の画像の明るさを増すように補正することも可能である。あるいは、主要部を含む領域の画像の彩度を増すように補正することも可能である。また、顔認識等の技術を用い、主要部に人が写っていることが検出された場合には、肌の色がより健康的に見えるように色相を変化させることも可能である。すなわち、強調処理をすることにより、主要部を含む領域の画像のコントラスト、明るさ、彩度、色相等が補正される。その結果、主要部を含む領域の画像が他の領域の画像よりも際立ったものとなり、全体として見栄えのする画像を得ることが可能となる。

図２は、様々な画像のヒストグラムの例を示す図であり、横軸には明るさが、縦軸には度数がとられている。図２（ａ）から図２（ｆ）のそれぞれにおいて、実線および破線のヒストグラムが示されているが、破線は強調処理をする前の画像のヒストグラムを、実線は強調処理をした後の画像のヒストグラムを示している。この図２を参照し、強調処理として明るさやコントラストを補正する処理が行われる場合の具体例について説明する。なお、図２に例示されるヒストグラムはいずれも、元画像全体の画像データから導出されたものではなく、主要部の画像データから導出されたものであるものとする。

図２（ａ）は、ヒストグラムが暗側へ極端に偏っている例を示す。例えば、室内で窓際に立っている人物を撮影し、窓の外は日中の晴天である場合等にこのようなヒストグラムとなる。つまり、背景が明るいために露出が切りつめられ、主要部に写る人物の像が黒くつぶれている状況である。このような場合、強調処理としては、明るさを増し、かつコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて最頻値（分布の山のピーク位置）はより明るい側に移動し、かつ分布の山の幅が増している。

図２（ｂ）は、ヒストグラムが暗側に偏り気味である例を示す。この例も、主要部に写る被写体が逆光気味の照明条件のもとで撮影されたものであるときに見られるものである。また、夜間や暗めの室内でフラッシュ撮影をしたときに、フラッシュの光量が不足気味であるときにも、このようなヒストグラムとなる。このような場合にも、強調処理として、明るさを増し、かつコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて最頻値はより明るい側に移動し、かつ分布の山の幅が増している。

図２（ｃ）は、図２（ｂ）に示されるのと同様、ヒストグラムが暗側に偏り気味である例を示す。図２（ｂ）を参照して説明したのと同様の撮影状況で見られるヒストグラムであるが、ここでは撮影者が意図的に露出を切り詰めてローキーの画像を得ようとしたものとする。例えば、主要部の画像だけでなく、周辺部の画像の明るさも暗めのときに、コントラストを増す一方で明るさは減じる処理が行われる場合もある。強調処理としてこのような処理が行われた結果、処理後のヒストグラムにおいて最頻値はより暗い側に移動し、かつ分布の山の幅が増している。

図２（ｄ）は、明るさの分布が中間域に集中している例を示す。この例は、輝度範囲の比較的広い（明るい部分も暗い部分も存在する）背景中に中庸の輝度を有する被写体が主要部に写っている状況で見られるものである。主要部の被写体に対する露出レベルそのものは適切ではあるものの、周辺部に低輝度から高輝度にわたる比較的広い輝度範囲の被写体が写っているため、主要部に写る中間輝度域の被写体の画像に割り当てられた階調の幅が比較的狭くなっている。結果として、主要部に写る被写体のコントラストは低めとなる。このような場合、強調処理としては、明るさを増すとともにコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて分布の山の幅が増している。また、主要部の平均的な明るさが増しているので、主要部の画像が周辺部の画像に対して際立つ。このとき、主要部の画像に対してのみ強調処理が行われるので、処理後の画像データにおいて周辺部の画像中の暗部が黒くつぶれてしまったり、明部が白く飛んでしまったりすることがない。

図２（ｅ）は、明るさの分布が暗部から明部にかけてほぼ満遍なく分布している例を示す。この例は、曇天等の比較的フラットな照明条件のもとで明部、暗部、中間部が適度に存在する被写体を撮影するような状況で見られるヒストグラムである。このようなヒストグラムが得られる画像は、そのままでも適度なメリハリのあるものである可能性は高い。しかし、主要部の画像がさらに際立つようにするために、以下のような処理を行う。すなわち、ヒストグラムを暗部、明部に分けて見たときに、処理後の分布の重心が、暗部ではより暗い側に移動し、明部ではより明るい側に移動するように補正をする。このようにすることにより、主要部の画像のコントラストを高めて際立たせることが可能となる。

図２（ｆ）は、ヒストグラムが明側に偏り気味である例を示す。ここでは撮影者が意図的に露出を過剰気味に設定し、ハイキーの画像を得ようとしたものとする。例えば、主要部の画像だけでなく、周辺部の画像の明るさも明るめのときに、コントラストを増しつつ、明るさを増す処理が行われる場合もある。強調処理としてこのような処理が行われた結果、処理後のヒストグラムにおいて最頻値はより明るい側に移動し、かつ分布の山の幅が増している。

図２（ｇ）もまた、図２（ｆ）の例と同様に、ヒストグラムが明側に偏り気味である例を示す。この例は、周辺部に写る被写体の反射率に比して主要部に写る被写体の反射率が高め（白っぽい）ときに見られるものである。このような場合、強調処理として、明るさを減少させ、かつコントラストを増す処理が行われる。その結果、処理後のヒストグラムにおいて最頻値はより暗い側に移動し、かつ分布の山の幅が増している。

図２（ｈ）は、ヒストグラムが明側へ極端に偏っている例を示す。この例は、主要部に写る被写体が、図２（ｇ）で説明したものよりもさらに反射率が高い場合に見られるものである。このような状態となるものとしては、主要被写体が順光条件下の雪山や白壁の建築物等で、主要被写体の周囲の比較的広い領域に比較的低輝度の被写体が写っているような状況がある。このような場合、強調処理としては、明るさを減じ、かつコントラストを増す処理が行うことが可能である。その結果、処理後のヒストグラムにおいて最頻値（分布の山のピーク位置）はより暗い側に移動し、かつ分布の山の幅が増している。このように補正をすることにより、被写体表面のテクスチャを再現することが可能となる。

図２に示されるもの以外のコントラスト増加の処理として、ヒストグラム平滑化の処理を行うことも可能である。ヒストグラム平滑化の処理は、画像データを解析した結果に基づいて導出された非線形の階調変換特性をその画像データに適用し、階調変換処理後の画像データのヒストグラムのプロファイルが、明るさによらずほぼフラットないしはより緩やかになるようにする処理である。ヒストグラム平滑化の処理手順としては、一例として以下に説明するものがある。

１．階調情報をソート：
画像データ中の階調情報（明るさを表す情報）をソートする処理を行う。画像データがＲＧＢ画像データである場合、画素ごとにＲ、Ｇ、Ｂ値を単純に加算した値、あるいは人の眼の視覚特性に合うように、Ｒ、Ｇ、Ｂの各値に重み付けをして加算した値を階調値として、この階調値に基づいてソートをする。このとき、上記のように加算した値から平均値（単純平均値または加重平均値）を求め、その平均値を階調値としてソートをしてもよい。画像データがＬａｂやＹＣｂＣｒ、あるいはＨＳＬ等の色空間で規定されるものである場合、Ｌチャンネル、Ｙチャンネルの値やＬチャンネルの値を階調値としてソートする。

２．累積頻度を導出：
階調値が整数値であるものとして、０から１までの値をとる画素の数、０から２までの値をとる画素の数、…、０から最大値までの値をとる画素の数を求める。すなわち、累積頻度特性を求める。このようにして求められた累積頻度特性をもとに、横軸に階調値、縦軸に累積頻度をとってグラフにプロットすると、階調値を変数とする累積頻度特性の曲線を描くことができる。

３．階調変換の処理：
上述した累積頻度特性の曲線のプロファイルをそのまま階調変換特性曲線のプロファイルとなるようにして階調変換特性を導出する。この階調変換特性を用いて画像データに階調変換の処理を施すことにより、ヒストグラムは平滑化される。例えば、階調変換前の画像データのヒストグラムが、狭い階調域に集中して分布しているような特性を有するものである場合、ヒストグラム中にピーク状のプロファイルが現れる。上記の階調変換の処理を行うことにより、いわば密集して分布していてピークの現れる階調域に対してより広い階調幅が与えられるようになる。逆に、頻度の比較的少ない階調域においては、上記の階調変換の処理を行うことにより、階調幅が狭められる。結果として階調変換処理後のヒストグラムは、より緩やかなものとなり、画像のコントラストを増すことが可能となる。

補正画像データ生成部１０８で行われる強調処理は、図２を参照して以上に説明した例およびヒストグラム平滑化の処理のうち、一部の方法に従って行われてもよいし、すべての方法に従って行われてもよい。また、上述したもの以外の方法で強調処理が行われてもよい。すなわち、以上では強調処理として画像データの明るさを調整する例のみを説明しているが、彩度や色相などを調整して強調処理が行われるものであってもよい。

再び図１を参照し、画像処理装置１００には、画像記録部１６０や画像表示部１５０等が接続されていてもよい。その場合、補正画像データ生成部１０８で生成された補正画像データは、必要に応じて画像記録部１６０に記録することが可能となる。あるいは、補正画像データに基づく画像を画像表示部１５０に表示することも可能である。

画像処理装置１００は、デジタルスチルカメラ、デジタルムービーカメラ等の画像入力装置内に備えられたものとすることが可能である。あるいは、記録媒体に記録された画像処理プログラムと、この画像処理プログラムを実行するコンピュータとによって画像処理装置１００としての機能を実装可能である。

図３は、デジタルスチルカメラ、デジタルムービーカメラ等のデジタルカメラ２００に画像処理装置１００が実装される例を示すブロック図である。デジタルカメラ２００は、撮影光学系２１０と、レンズ駆動部２１２と、撮像部２２０と、アナログ・フロントエンド（図２中では「ＡＦＥ」と表記される）２２２と、画像記録媒体２３０と、操作部２４０と、表示部２５０と、記憶部２６０と、ＣＰＵ２７０と、デジタル信号処理装置（以下、ＤＳＰと称する）２９０と、システムバス２８０とを備える。記憶部２６０は、ＲＯＭ２６２とＲＡＭ２６４とを備える。本実施の形態において、画像処理装置１００はＤＳＰ２９０に備えられる一つの機能として実装されるものとして説明をする。

レンズ駆動部２１２、撮像部２２０、アナログ・フロントエンド２２２、画像記録媒体２３０、操作部２４０、表示部２５０、記憶部２６０、ＣＰＵ２７０、画像処理装置１００は、システムバス２８０を介して電気的に接続される。ＲＡＭ２６４は、ＣＰＵ２７０およびＤＳＰ２９０の双方からアクセス可能に構成される。

撮影光学系２１０は、被写体像を撮像部２２０の受光エリア上に形成する。レンズ駆動部２１２は、撮影光学系２１０内の焦点調節用レンズを駆動する。また、撮影光学系２１０が可変焦点距離光学系である場合には、撮影光学系２１０内のレンズ（レンズ群）がレンズ駆動部２１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。

撮像部２２０は、受光エリア上に形成される被写体像を光電変換してアナログ画像信号を生成する。このアナログ画像信号はアナログ・フロントエンド２２２に入力される。アナログ・フロントエンド２２２は、撮像部２２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ２６４に一時的に記憶される。

ＤＳＰ２９０は、ＲＡＭ２６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施して画像データを生成する。この画像データは、必要に応じて画像記録媒体２３０に記録される。また、画像データに基づく画像が表示部２５０に表示される。画像処理装置１００は、上記のように生成された画像データを元画像データとして、先に概略的に説明した補正画像データを生成する処理を行う。

画像記録媒体２３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ２００に対して着脱可能に装着される。なお、画像記録媒体２３０はデジタルカメラ２００に内蔵されていてもよい。その場合、ＲＯＭ２６２内に画像データ記録のための領域を確保することが可能である。

操作部２４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうち、いずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部２５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部２５０は表示インターフェースを備えていて、ＲＡＭ２６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部２５０に表示されるものとする。

ＲＯＭ２６２は、フラッシュメモリ等で構成され、ＣＰＵ２７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ２００に電力が供給されない状態でも保持する必要のある情報等が記憶される。ＲＡＭ２６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ２７０は、ＲＯＭ２６２からＲＡＭ２６４に転送されたファームウェアを解釈・実行してデジタルカメラ２００の動作を統括的に制御する。

デジタルカメラ２００は静止画撮影モードで動作しても、動画像撮影モードで動作してもよい。デジタルカメラ２００が静止画撮像モードで動作する場合、一回の撮影動作に応じて生成される一つの静止画像データに対応して画像処理装置１００は補正画像データを生成する処理を行う。一方、デジタルカメラ２００が動画像撮影モードで動作する場合、撮影動作中に生成される一連の複数フレームの動画像データそれぞれに対応して画像処理装置１００は一連の複数フレームの補正画像データを生成する処理を行う。

図４は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理装置としての機能が実装される例を説明するブロック図である。コンピュータ３００は、ＣＰＵ３１０と、メモリ３２０と、補助記憶装置３３０とインターフェース３４０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とを備える。ＣＰＵ３１０と、メモリカードインターフェース３５０と、光ディスクドライブ３６０と、ネットワークインターフェース３７０と、表示装置３８０とはインターフェース３４０を介して電気的に接続される。

メモリ３２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置３３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を有する。

メモリカードインターフェース３５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース３５０を介してコンピュータ３００内に読み込むことができる。また、コンピュータ３００内の画像データをメモリカードＭＣに書き込むこともできる。

光ディスクドライブ３６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ３６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。

ネットワークインターフェース３７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ３００との間で情報を授受可能に構成される。

画像処理装置１００は、メモリ３２０上にロードされた画像処理プログラムをＣＰＵ３１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ３００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置から画像処理プログラムをダウンロードすることも可能である。この画像処理プログラムは、いわゆるフォトレタッチソフト中で呼び出される一つの機能として実現されてもよい。

コンピュータ３００上では静止画像データを処理するプログラムが実行されていても、動画像データを処理するプログラムが実行されていてもよい。上記のいずれのプログラムが実行されている場合であっても、メモリカードＭＣ、光ディスクＯＤ、補助記憶装置３３０のいずれかから読み出された静止画像データまたは一連の複数フレームの動画像データに対応して画像処理装置１００は一つの補正画像データまたは一連の複数フレームの補正画像データを生成する処理を行うことが可能である。

以下では、取得した元画像データに対応して図１に示される画像処理装置１００が補正画像データを生成する例について、いくつかの実施の形態で説明する。

− 第１の実施の形態 −
図５は、画像データ取得部１０２が取得した元画像データに基づく画像の一例を示す図である。領域設定部１０４は、元画像データを解析し、この元画像データ中で主要被写体が写っている部分を含む領域である主要部と、同じく元画像データ中の主要部以外の領域である周辺部とを設定する。図５に示される例では、画面左下部分に写っている木が主要被写体と判定されて、この木が写っている部分を含む領域が主要部として設定されるものとする。このとき、主要部以外の部分が周辺部として設定される。領域設定部１０４はまた、近傍領域を設定する。近傍領域は、主要部の近傍（所定の距離範囲内）に位置する領域であって、主要部を取り囲む周りの領域である。

図６は、画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。画像処理装置１００はＳ６００で画像データを取得する。この処理が画像データ取得部１０２での処理に相当する。取得した画像データは元画像データである。

Ｓ６０２において画像処理装置１００は、元画像データを解析して主要部、周辺部を設定する処理をする。この処理が領域設定部１０４での処理に相当する。領域設定部１０４による処理は、既によく知られている様々な方法を用いて行うことが可能である。例えば、元画像データ中の各画素の色と位置とを解析し、それらの類似度を基に、判定対象領域、すなわち主要部であるか否かの判定を行う対象の領域をいくつか抽出し、それらの判定対象領域の中から、判定対象領域の大きさや彩度の高さ等に基づいて主要部を選択することが可能である。

Ｓ６０４において画像処理装置１００は、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。この処理が画像処理実行判定部１０６での処理に相当する。画像処理実行判定部１０６による処理は、例えば以下のように行われる。すなわち、主要部の画像を解析して、画像特徴量を導出し、この画像特徴量をもとに、主要部の画像が補正処理の十分な効果を得ることのできるものであるかを判定する。例えば、画像処理装置１００は、画像特徴量として、主要部の色情報、空間周波数の情報、エッジ情報を抽出する。

色情報とは、主要部の画像の彩度を評価する情報である。例えば、ＲＧＢ画像データをＹＣｂＣｒ、あるいはＨＳＬ等の色空間の画像データに変換し、Ｃｂ、Ｃｒの値やＳの値から彩度の情報を抽出可能である。ところで、色情報としては、彩度以外に、主要部の明るさを評価する情報を含んでいてもよい。その場合、上記ＹＣｂＣｒ、あるいはＨＳＬ等の色空間の画像データからＹの値やＬの値を抽出することも可能である。このように、色情報としては彩度や明るさを評価する情報とすることが可能であるが、以下では彩度を評価する情報を色情報として扱うものとして説明をする。

空間周波数の情報とは、主要部の画像中に含まれる空間周波数成分に関連する情報である。つまり、主要部の画像が、どの程度細かいテクスチャを有しているかを評価する情報である。

図７は、画像処理装置１００により実行されるＳ６０４の処理を、より詳細に説明するフローチャートである。Ｓ７００において画像処理装置１００は、Ｓ６０２で設定された主要部の画像を抽出する。画像処理装置１００はＳ７０２において、Ｓ７００で抽出された画像を例えばＹＣｂＣｒの色空間の画像データに変換し、ＣｂおよびＣｒのデータ、すなわち彩度のデータを抽出する。そして、主要部の彩度が第１閾値未満であるか否かを判定する。Ｓ７０２の判定が肯定されるとＳ７０４に進む一方、否定されるとＳ７０６に進む。第１閾値は、デフォルト値として予め設定されていてもよいし、ユーザが適宜変更可能に構成されていてもよい。

Ｓ７０２での判定が否定された場合の分岐先であるＳ７０６において画像処理装置１００は、Ｓ７００で抽出された画像を解析して空間周波数評価値を導出する。この空間周波数評価値は、主要部の画像が全体としてどの程度細かいテクスチャを有しているかを評価するためのものである。図８は、主要部の画像を解析して、画像中に含まれる空間周波数成分をヒストグラム化した様子を概念的に示すグラフである。例えば、主要部の画像を比較的小さな矩形等の多角形でメッシュ分割し、分割された領域（分割領域）ごとに二次元フーリエ変換の処理を施すと、各分割領域に対応する空間周波数成分を求めることができる。求められたこれらの空間周波数成分をもとに、図８に例示されるようなヒストグラムを生成することができる。

上述した空間周波数のヒストグラムから、所定の空間周波数Ｕよりも高い空間周波数の領域Ｅｈの面積と、低い空間周波数の領域Ｅｌの面積とを求める。これらＥｈおよびＥｌの値を基に、（Ｅｈ／（Ｅｈ＋Ｅｌ））、あるいは（Ｅｈ／Ｅｌ）といった式を用いて空間周波数評価値を導出することが可能となる。主要部の画像中で、より細かいテクスチャの領域がより多く分布するほど、空間周波数評価値は大きくなる。画像処理装置１００は、このようにして導出された空間周波数評価値が第２閾値以上であるか否かをＳ７０６で判定し、肯定されるとＳ７０４に進む一方、否定されるとＳ７０８に進む。第２閾値は、第１閾値と同様に、デフォルト値として予め設定されていてもよいし、ユーザが適宜変更可能に構成されていてもよい。

Ｓ７０２またはＳ７０６での判定が肯定された場合の分岐先であるＳ７０４において画像処理装置１００は、画像処理を行う決定をし、リターンする。一方、Ｓ７０２およびＳ７０６での判定が共に否定された場合の分岐先であるＳ７０８において画像処理装置１００は、画像処理を行わない決定をしてリターンする。

再び図６を参照して説明すると、Ｓ６０４での上述した判定結果を受け、画像処理装置１００はＳ６０６において、画像処理を行うか行わないかの判定をする。Ｓ６０６の判定が、肯定されるとＳ６０８に進み、否定されると画像処理は行わずに図６の処理を終える。

Ｓ６０６での判定が肯定されると、画像処理装置１００はＳ６０８からＳ６１６までの処理を行う。第１の実施の形態において、これらＳ６０８からＳ６１６までの一連の処理が補正画像データ生成部１０８による処理に相当する。

画像処理装置１００はＳ６０８において、画像処理パラメータを設定する。この画像処理パラメータの設定方法について、図９を参照して説明する。図９は、先に図２を参照して説明した強調処理を行う際の画像処理パラメータとして明るさ増加量補正係数が用いられる場合の例を示す図である。画像処理装置１００は、強調処理をする際に、主要部の画像の明るさを増す処理（明るさ増加処理）を行って主要部の画像のコントラストを高める。このとき、主要部の画像の明るさを増す際の増加量は一定ではなく、図９に示される条件に従って変化する。すなわち、主要部の明るさ（輝度または明度）の平均値が第３閾値以上であるとき、明るさ（輝度または明度）増加量補正係数は０．５に設定される。主要部の明るさの平均値が第４閾値を上回り、かつ、第３閾値を下回る場合には明るさ増加量補正係数は１に設定される。主要部の明るさの平均値が第４閾値以下である場合、明るさ増加量補正係数は１．５に設定される。

ここで、第３閾値および第４閾値の大小関係について説明すると、第３閾値が第４閾値よりも大きいものとする。つまり、主要部の明るさの平均値が第３閾値以上である、ということは主要部が比較的明るいことを想定しており、その場合には明るさ増加量がデフォルトの値に対して５０％減とされ、主要部が過度に明るくならないように設定される。主要部の明るさの平均値が第４閾値を上回り、かつ第３閾値を下回る、ということは主要部が中庸の明るさであることを想定しており、その場合には明るさ増加量がデフォルトの値に設定される。そして、主要部の明るさの平均値が第４閾値以下である、ということは主要部が比較的暗いことを想定しており、その場合には明るさ増加量がデフォルトの値に対して５０％増に設定される。

さらに、主要部の近傍領域（図５参照）に第５閾値以上の明るさの領域が第６閾値以上の面積（画素数としてもよい）で存在する場合、明るさ増加量補正係数は１．５に設定される。つまり、主要部の近傍領域に比較的明るく、或る程度の面積を有する領域、すなわち目立つ領域が存在する場合には、その近傍領域の画像に埋もれてしまうことの無いように、主要部の明るさ増加量が５０％増に設定される。第５閾値は、デフォルト設定された固定値としてもよいが、主要部の明るさの平均値に所定の大きさの値を加えた値とし、第５閾値は主要部の明るさに応じて変化するものとすることが望ましい。

第５閾値だけでなく、第６閾値を設定することにより、以下の効果を得ることが可能となる。すなわち、画像中に輝点ノイズ等が存在する場合に、そのノイズに影響を受けて画像処理の内容が変化してしまうことは望ましいことではない。この点、上記のように第６閾値を設定することにより、近傍領域中に存在する明るい部分がノイズ等の影響で生じたものである場合、その明るい部分の存在を無視することが可能となる。何故なら、ノイズは離散的に生じるものなので、第６閾値を適切に設定することにより、ノイズの影響かそうでないかを弁別することが可能となるからである。

図９に示される条件およびそれに対応する明るさ増加量補正係数は一例であり、さらに細かい条件にしたがって明るさ増加量補正係数が決定されるようにしてもよいし、補正係数ではなく、補正量そのものが決定されるようにしてもよい。

Ｓ６１０において画像処理装置１００は、元画像データから一時画像データを生成する。一時画像データは、元画像データを単純に複製したものとしてもよいし、元画像データとは異なる色空間の画像データを生成してもよい。

Ｓ６１２において画像処理装置１００は、Ｓ６０８で設定された画像処理パラメータを一時画像データに対して一律に適用して画像処理（強調処理）を行い、処理後一時画像データを生成する。この画像処理によって、処理後一時画像データに基づく画像は、その全体、すなわち主要部に対応する部分および周辺部に対応する部分のコントラストが高められる。なお、強調処理としては、上述したコントラストを高める処理に限られるものではなく、彩度や色相などを調節する処理であっても、明るさを単に上げ下げする処理であってもよい。

Ｓ６１４において画像処理装置１００は、主要度設定の処理を行う。主要度設定の処理に際しては、元画像データの画素ごとに、あるいは複数画素からなる小領域ごとに対応して、以下に説明する方法に従って主要度を導出し、主要度マップを生成する。主要度マップは、図１３に概念図が示されるように、元画像データで形成される画像中における主要度の分布が記録されたデータテーブルである。この主要度マップのデータサイズ（主要度を規定するデータの数）は、元画像データの画素数と同じとしても、それよりも少なくしてもよい。つまり、主要度マップのデータサイズが元画像データの画素数と同じ場合、元画像データ中の各画素に対応して主要度の情報が付与される。主要度マップのデータサイズが元画像データの画素数よりも少ない場合、元画像データ中の複数画素、例えば縦・横に２画素×２画素、２画素×３画素、５画素×５画素といった小領域に対応して主要度が付与される。

また、主要度の高低に関しては、様々な表現形態が可能であるが、以下では、導出される主要度の値は０以上１以下の値をとり、主要度が最も高い場合に１と設定され、最も低い場合に０と設定されるものとして説明をするが、任意の範囲の値とすることが可能である。例えば０から２５５といった整数で表現することも可能であるし、正負の値が混在していてもよい。あるいはａ、ｂ、ｃといった符号で主要度がランク分けされるものであってもよい。

まず、主要部に対応する領域内の各画素あるいは各小領域の主要度が最も高い値、すなわち１に設定される。そして、周辺部に対応する領域内の各画素あるいは各小領域に対しては、主要部からの距離が増すのにつれて主要度が減じられる（１よりも小さい値に設定される）。この様子が図１０に示されている。図１０に例示される特性は、デフォルト特性として予め設定されるものであっても、例えばフォトレタッチソフトのトーンカーブの特性が変更可能であるのと同様に、ユーザの好みに応じて線形あるいは非線形に設定変更可能に構成されるものであってもよい。

主要度を、上記のように主要部からの距離に応じて設定するのに加えて、以下に説明する設定も行われる。図１１は、図１０に示される特性に基づいて導出される主要度に対して補正をする際の条件と補正量との関係の一例を示す図である。図１１に示される例では、周辺部内に第７閾値以上の太さを有するエッジ成分で囲われている領域があれば、その領域内の各画素あるいは各小領域の主要度は、上記図１０に示す条件で設定された主要度に０．７５の値を加える処理が行われる。ただし、主要度が１より大きくなることがないようにクリッピングする（導出された主要度が１を越すときには１にする）処理が行われる。

また、周辺部内に空間周波数が第８閾値以上の領域があれば、その領域内の各画素あるいは各小領域の主要度は高めに設定される。例えば、上記図１０に示す条件で設定された主要度に０．７５の値を加える処理が行われる。この場合も、主要度が１より大きくなることがないようにクリッピングする処理が行われる。

このように、周辺部内の各画素あるいは各小領域においても必要に応じて主要度を増す処理をすることにより、主要部から比較的遠くに離れている部分に写っている被写体であっても、主要度を増すことによる効果が期待できる部分については主要度を増すことが可能となる。図１１に例示される第７閾値、第８閾値および主要度の上昇量は、デフォルト値として予め設定されていてもよいし、ユーザが適宜変更可能に構成されていてもよい。以上に説明したＳ６１４の処理により、主要度マップが生成される。

Ｓ６１６において画像処理装置１００は、元画像データと、Ｓ６１２で生成された処理後一時画像データとを合成して補正画像データを生成する処理を行う。なお、処理後一時画像データおよび元画像データが互いに異なる色空間の画像データとなっている場合には、処理後一時画像データの色空間と同じ色空間の画像データに元画像データを変換する。処理後一時画像および元画像を合成して補正画像データを生成する処理を行う際には、以下のアルゴリズムに従う。

Ｓ６１４で生成された主要度マップを参照し、主要度の高い画素あるいは小領域に対応して処理後一時画像データの混合比率を増す。つまり、主要度が１に設定される画素あるいは小領域に対応して混合される処理後一時画像データと元画像データとの混合比率は、
［処理後一時画像データ］：［元画像データ］＝１：０に設定される。

また、主要度が０に設定される画素あるいは小領域に対応して混合される処理後一時画像データと元画像データとの混合比率は、
［処理後一時画像データ］：［元画像データ］＝０：１に設定される。

主要度が、０より大きく、１より小さい値に設定される画素あるいは小領域に対応して混合される処理後一時画像データと元画像データとの混合比率は、図１２のグラフに例示されるようなものとすることが可能である。図１２に例示される画像混合比率の特性もまた、ユーザが変更できるように構成されていてもよい。なお、図１２に例示されるグラフでは、
［処理後一時画像データ］：［元画像データ］＝１：０ に対応して混合比率が１００％として示されている。つまり、画像混合比率が高まるほど、処理後一時画像データの比率が高まるように処理後一時画像データと元画像データとが混合される様子が示されている。

処理後一時画像データと元画像データとを混合する処理に際しては、様々な方法を利用可能である。例えば、処理後一時画像データおよび元画像データの双方がＲＧＢ色空間で規定されるものである場合、Ｒ、Ｇ、Ｂの各色の成分ごとに、上記の混合比率で混合することが可能である。この場合、補正画像データは、ＲＧＢ色空間のＲ、Ｇ、Ｂ各色の色座標値が補正されたものとなる。

あるいは、処理後一時画像データおよび元画像データの双方がＬａｂ色空間やＹＣｂＣｒ色空間で規定されるものである場合、Ｌ、ａ、ｂあるいはＹ、Ｃｂ、Ｃｒそれぞれの成分ごとに上記の混合比率で混合可能なのはもちろんのこと、Ｌ成分あるいはＹ成分だけで混合、もしくはａ成分およびｂ成分あるいはＣｂ成分およびＣｒ成分をそれぞれの成分ごとに混合することも可能である。

Ｌ成分のみで混合した場合、明度情報のみの混合となる。すなわち、Ｌａｂ色空間のＬの色座標値が補正されたものとなる。Ｙ成分のみで混合した場合、輝度情報のみの混合となる。すなわち、ＹＣｂＣｒ色空間のＹの色座標値が補正されたものとなる。ａ成分およびｂ成分、あるいはＣｂ成分およびＣｒ成分をそれぞれの成分ごとに混合すると、彩度情報のみの混合となる。この場合、Ｌａｂ色空間のａおよびｂの色座標値、あるいはＹＣｂＣｒ色空間のＣｂおよびＣｒの色座標値が補正されたものとなる。

なお、Ｌ成分のみ、あるいはＹ成分のみでの混合が行われた場合はもちろんのこと、彩度情報のみの混合が行われた場合であっても、処理後一時画像データと元画像データとが混合されて生成された補正画像データ中、主要度が高めに設定される部分の画像のコントラストは高められる。

図１３は、図６のフローチャートを参照して以上に説明した処理を概念的に示す図である。第１の実施の形態によれば、図１３に示されるように、元画像データから生成された一時画像データに対して、Ｓ６０８で設定された画像処理パラメータが一律に適用されて処理後一時画像データが生成される。元画像データと処理後一時画像データとは、Ｓ６１４の主要度設定処理で生成された主要度マップに基づく混合比率で合成され、補正画像データが生成される。合成に際して、画素ごとあるいは小領域ごとに、主要度マップで規定される主要度に応じた混合比率で混合されて補正画像データが生成される。結果として、主要度のより高い領域に対応する画像が、他の領域の画像よりも際立ったものとなり、見栄えのする画像を得ることが可能となる。

− 第２の実施の形態 −
図１４は、画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。図１４のフローチャートにおいて、第１の実施の形態における図６のフローチャート中の処理と同じ内容の処理ステップには、図６のフローチャート中で付されているステップ符号と同じ符号を付し、説明を適宜簡略化して第１の実施の形態との差異を中心に説明する。

図１４のフローチャートにおいて、図６のフローチャート中におけるＳ６０２の主要部・周辺部を設定する処理およびＳ６０４の画像処理実行判定の処理がそれぞれＳ１４００、Ｓ１４０２の処理に置き換えられている。また、図６のフローチャート中におけるＳ６１４の主要度設定の処理およびＳ６１６の元画像データと処理後一時画像データとを混合して補正画像データを生成する処理がＳ１４０４の処理に置き換えられている。以上が第１の実施の形態との相違点である。

Ｓ１４００において画像処理装置１００は元画像データを解析し、１または複数の主要部と、周辺部とを設定する処理をする。この処理が領域設定部１０４での処理に相当する。Ｓ１４００で設定される主要部の数は、取得した元画像によって、一つだけではなく、複数となる場合がある。Ｓ１４００における主要部の設定に際しては、第１の実施の形態で説明したのと同様の方法が利用可能である。すなわち、元画像データ中の各画素の色と位置とを解析し、それらの類似度を基に、判定対象領域、すなわち主要部であるか否かの判定を行う対象の領域をいくつか抽出し、それらの判定対象領域の中から、判定対象領域の大きさや彩度の高さ等に基づいて主要部を選択することが可能である。画像処理装置１００はまた、以下の条件を満たす領域があれば、その領域を主要部として設定する。
条件１： 領域が比較的太いエッジ成分で囲われている。
条件２： 領域内の画像が、比較的高い空間周波数成分を含んでいる。

Ｓ１４０２において画像処理装置１００は、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。この処理が画像処理実行判定部１０６での処理に相当する。図１５は、画像処理装置１００により実行されるＳ１４０２の処理をより詳細に説明するフローチャートである。Ｓ１５００において画像処理装置１００は、Ｓ１４００で設定された１または複数の主要部の画像を抽出する。そして、抽出されたそれぞれの画像について、以下に説明するＳ１５０２からＳ１５１４の処理をする。

画像処理装置１００はＳ１５０２において、Ｓ１５００で抽出された画像を例えばＹＣｂＣｒの色空間の画像データに変換し、ＣｂおよびＣｒのデータ、すなわち彩度のデータを抽出する。そして、主要部の彩度が第９閾値未満であるか否かを判定する。Ｓ１５０２の判定が肯定されるとＳ１５０４に進む一方、否定されるとＳ１５１０に進む。第９閾値は、デフォルト値として予め設定されていてもよいし、ユーザが適宜変更可能に構成されていてもよい。

Ｓ１５０２での判定が肯定された場合の分岐先であるＳ１５０４において画像処理装置１００は、Ｓ１５００で抽出された画像を解析して空間周波数評価値を導出し、導出された空間周波数評価値が第１０閾値以上であるか否かを判定して、肯定されるとＳ１５０６に進む一方、否定されるとＳ１５０８に進む。この処理は、第１の実施の形態で図７および図８を参照して説明したＳ７０６での処理と同様であるので説明を省略する。

Ｓ１５０４での判定が肯定された場合の分岐先であるＳ１５０６において画像処理装置１００は、画像処理を行う決定をし、混合比率を１：０に設定する。この混合比率が１：０である、ということは、後で処理後一時画像データと元画像データとを合成する処理をする際の混合比率を、
［処理後画像データ］：［元画像データ］ ＝ １：０
にすることを意味する。一方、Ｓ１５０４での判定が否定された場合の分岐先であるＳ１５０８において画像処理装置１００は、画像処理を行う決定をし、混合比率を０．８：０．２、すなわち、
［処理後画像データ］：［元画像データ］ ＝ ０．８：０．２
に設定する。

Ｓ１５０２での判定が否定された場合の分岐先であるＳ１５１０において画像処理装置１００は、Ｓ１５０４での処理と同様の処理を行い、主要部の空間周波数評価値が第１１閾値以上であるか否かの判定をする。Ｓ１５１０での判定が肯定されると処理はＳ１５１２に進む一方、否定されるとＳ１５１４に進む。第１１閾値については、第１０閾値と同じ値に設定されるものであっても、異なる値に設定されるものであってもよい。

Ｓ１５１０での判定が肯定された場合の分岐先であるＳ１５１２において画像処理装置１００は、画像処理を行う決定をし、混合比率を０．５：０．５、すなわち、
［処理後画像データ］：［元画像データ］ ＝ ０．５：０．５
に設定する。Ｓ１５１０での判定が否定された場合の分岐先であるＳ１５１４において画像処理装置１００は、画像処理を行わない決定をする。

以上に説明したＳ１５０６、Ｓ１５０８、Ｓ１５１２、およびＳ１５１４の処理のうち、いずれかの処理が行われると図１５に示される一連の処理が完了する。

再び図１４を参照して説明すると、Ｓ１４０２での上述した判定結果を受け、画像処理装置１００はＳ６０６において、画像処理を行うか行わないかの判定をし、肯定されるとＳ６０８に進み、否定されると画像処理は行わずに図１４の処理を終える。

Ｓ６０６での判定が肯定されると、画像処理装置１００はＳ６０８、Ｓ６１０、Ｓ６１２、Ｓ１４０４の処理を行う。第２の実施の形態において、これらＳ６０８、Ｓ６１０、Ｓ６１２、Ｓ１４０４での一連の処理が補正画像データ生成部１０８による処理に相当する。ところで、Ｓ６０６での判定が肯定されるということは、Ｓ１４００で設定された一または複数の主要部のうちの少なくとも一つに対し、Ｓ１５０６、Ｓ１５０８、およびＳ１５１２のうちのいずれかの処理によって混合比率が設定されている、ということである。

Ｓ６０８では画像処理パラメータを設定する処理が行われ、Ｓ６１０では元画像データから一時画像データを生成する処理が行われる。そしてＳ６１２では、Ｓ６１０で生成された一時画像データに対し、Ｓ６０８で設定された画像処理パラメータに基づいて強調処理（ここでは高コントラスト化処理が行われるものとする）が行われて処理後一時画像データが生成される。以上、Ｓ６０８からＳ６１２までの処理は第１の実施の形態で説明したのと同様の処理とすることが可能である。

但し、Ｓ１４００で複数の主要部が設定された場合、図９を参照して説明した明るさ増加量補正係数を設定する際に、これら複数の主要部の明るさの平均値に基づいて処理をする。あるいは、複数の主要部それぞれで明るさの平均値を導出し、その平均値が最も高い主要部の明るさの平均値に基づいて処理をしてもよい。さらに別の方法として、図１５のフローチャートに示される処理をした結果、処理後画像データの元画像データに対する混合比率が最も高く設定された主要部の明るさの平均値に基づいて明るさ増加量補正係数を設定してもよい。

Ｓ１４０４において画像処理装置１００は、処理後一時画像データ中の部分画像データを、元画像データの対応する位置で合成して補正画像データを生成する処理を行う。この部分画像データは、処理後一時画像データ中、Ｓ１４００で設定された一または複数の主要部に対応する領域の画像データである。処理後一時画像データ中の部分画像データを元画像データの対応する位置で合成する場合、単純に、元画像データ中の１または複数の主要部に対応する画像データを部分画像データで置き換えることも可能であるが、第２の実施の形態では以下に説明するように部分画像データと元画像データ中の対応する画像データとを混合して合成する処理が行われるものとする。このとき、図１５のフローチャート中の、Ｓ１５０６、Ｓ１５０８、Ｓ１５１２のそれぞれで設定された混合比率で部分画像データと元画像データとが混合される。

Ｓ１５０６の処理が行われて混合比率が１：０と設定された場合、
［部分画像データ］：［元画像データ］＝１：０の比率で両画像データが混合される。
すなわち、図１５のＳ１５０２およびＳ１５０４での判定が肯定されるのは、主要部の彩度はさほど高くはないので、高コントラスト化処理の効果が見込め、なおかつ主要部に比較的細かいテクスチャが存在するので高コントラスト化の処理をすることにより見栄えのする画像が得られる可能性が高い、という状況に対応する。この場合、混合比は上記のように１：０と設定されるので、一時画像データに対して行われた高コントラスト化の処理が１００％反映されるように合成される。

Ｓ１５０８の処理が行われて混合比率が０．８：０．２と設定された場合、
［部分画像データ］：［元画像データ］＝０．８：０．２の比率で両画像データが混合される。
すなわち、図１５のＳ１５０２での判定が肯定され、Ｓ１５０４での判定が否定されるのは、主要部の彩度はさほど高くはないので、高コントラスト化処理の効果が見込めるものの、主要部に比較的細かいテクスチャが存在しないので高コントラスト化の処理の強度をやや弱めた方がより見栄えのする画像が得られる可能性が高い、という状況に対応する。この場合、混合比は上記のように０．８：０．２と設定されるので、一時画像データに対して行われた高コントラスト化の処理が８０％反映されるように合成される。

Ｓ１５１２の処理が行われて混合比率が０．５：０．５と設定された場合、
［部分画像データ］：［元画像データ］＝０．５：０．５に設定される。
すなわち、図１５のＳ１５０２での判定が否定され、Ｓ１５１０での判定が肯定されるのは、主要部の彩度はもともと高めであるので、高コントラスト化の処理の強度はあまり強くする必要はないものの、主要部に比較的細かいテクスチャが存在するので高コントラスト化を弱めに効かせることにより、より見栄えのする画像が得られる可能性が高い、という状況に対応する。この場合、混合比は上記のように０．５：０．５と設定されるので、一時画像データに対して行われた高コントラスト化の処理が５０％反映されるように合成される。

上記のように、ある混合比率で部分画像データと元画像データとを混合処理して合成する際には、第１の実施の形態で説明した複数の方法のうち、いずれかの方法を利用可能である。すなわち、ある混合比率で部分画像データと元画像データとを混合処理する際には、Ｒ、Ｇ、Ｂの各色の成分ごとに混合しても、輝度情報や明度の情報を用いて混合しても、あるいは彩度情報のみを用いて混合してもよい。また、第１の実施の形態で説明したのと同様に、処理後一時画像データおよび元画像データが互いに異なる色空間の画像データとなっている場合には、処理後一時画像データの色空間と同じ色空間の画像データに元画像データを変換する。あるいは、処理後一時画像データを変換して元画像データの色空間と同じ色空間になるようにしてもよい。

一方、画像処理を行う対象の主要部が一つも存在しない場合、図１４のフローチャートにおいてＳ６０６の判定が否定されるので、上記のＳ６０８、Ｓ６１０、Ｓ６１２、そしてＳ１４０４の処理はスキップされる。すなわち、図１５のＳ１５０２およびＳ１５１０での判定が否定されるのは、主要部の彩度はもともと高めであるので高コントラスト化はあまり強く効かせる必要がないのに加え、主要部に比較的細かいテクスチャが存在しないので、高コントラスト化の処理をしない方が自然な画像を得ることができる、という状況に対応する。この場合、高コントラスト化の処理がスキップされる。

図１６は、図１４のフローチャートを参照して以上に説明した処理を概念的に示す図である。第２の実施の形態によれば、元画像データから生成された一時画像データに対して、Ｓ６０８で設定された画像処理パラメータが一律に適用され、処理後一時画像データが生成される。そして処理後一時画像データ中、１または複数の主要部に対応する部分の画像データである部分画像データと、元画像データ中の対応する領域の画像データとが合成されて補正画像データが生成される。このとき、主要部が複数存在する場合にはそれぞれの主要部に対応して図１５のフローチャート中のＳ１５０６、Ｓ１５０８、Ｓ１５１２で設定された混合比率に基づき、画像が混合される。

補正画像データ中、主要度の高い領域に対応する画像のコントラストが高められるので、主要被写体の写る部分のコントラストが高められた、見栄えのする画像を得ることが可能となる。このとき、設定された１または複数の主要部の彩度や空間周波数の特性に基づいて上記の混合比率が設定されるので、元画像の状況に応じて適切な強度で高コントラスト化処理された画像を得ることが可能となる。

− 第３の実施の形態 −
図１７は、第３の実施の形態に係る画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。画像処理装置１００は、Ｓ１７００で画像データを取得する。この処理が画像データ取得部１０２での処理に相当する。取得した画像データは元画像データである。

画像処理装置１００はＳ１７０２において、元画像データを解析し、１または複数の主要部と、周辺部とを設定する処理をする。この処理が領域設定部１０４での処理に相当する。Ｓ１７０２での処理は、第２の実施の形態で図１４を参照して説明したＳ１４００での処理と同様であり、設定される主要部の数が、取得した元画像によっては、一つだけではなく、複数となる場合がある。Ｓ１７０２における主要部の設定に際しては、第２の実施の形態で説明したのと同様の方法が利用可能である。すなわち、元画像データ中の各画素の色と位置とを解析し、それらの類似度を基に、判定対象領域、すなわち主要部であるか否かの判定を行う対象の領域をいくつか抽出し、それらの判定対象領域の中から、判定対象領域の大きさや彩度の高さ等に基づいて主要部を選択することが可能である。画像処理装置１００はまた、以下の条件を満たす領域があれば、その領域を主要部として設定する。
条件１： 領域が比較的太いエッジ成分で囲われている。
条件２： 領域内の画像が、比較的高い空間周波数成分を含んでいる。

Ｓ１７０４において画像処理装置１００は、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。この処理が画像処理実行判定部１０６での処理に相当する。Ｓ１７０４で行われる処理は、第２の実施の形態で図１５を参照して説明したものと同様であるのでその説明を省略する。

Ｓ１７０４での画像処理実行判定の結果を受け、画像処理装置１００はＳ１７０６において、画像処理を行うか行わないかの判定をする。Ｓ１７０６での判定が、肯定されるとＳ１７０８に進み、否定されると画像処理を行うことなく、図１７の処理を終える。

Ｓ１７０６での判定が肯定されると、画像処理装置１００はＳ１７０８からＳ１７１４までの一連の処理を行う。第３の実施の形態において、これらＳ１７０８からＳ１７１４までの一連の処理が補正画像データ生成部１０８による処理に相当する。ところで、Ｓ１７０６での判定が肯定されるということは、Ｓ１７０２で設定された一または複数の主要部のうちの少なくとも一つに対し、Ｓ１５０６、Ｓ１５０８、およびＳ１５１２のうちのいずれかの処理によって混合比率が設定されている、ということである。

Ｓ１７０８では、各主要部に対応して画像処理パラメータを設定する処理が行われる。すなわち、Ｓ１７０２で設定された主要部が一つだけの場合には、その主要部に対応する画像処理パラメータを設定する。一方、Ｓ１７０２で設定された主要部が複数ある場合には、それらの主要部のそれぞれに対応して画像処理パラメータが設定される。画像処理パラメータ設定の処理は、第１の実施の形態で図９等を参照して説明したのと同様のものとすることが可能であるのでその説明を省略する。

続くＳ１７１０では、元画像データから一時画像データを生成する処理が行われる。Ｓ１７１２では、Ｓ１７１０で生成された一時画像データ中、一または複数の主要部に対応する領域の一または複数の部分の画像データである部分画像データが処理されて処理後一時画像データが生成される。Ｓ１７０８での画像処理パラメータの設定に際して、主要部が複数ある場合には各主要部に対応して処理パラメータが設定されることについては先に説明したとおりである。Ｓ１７１２での処理においても、主要部が複数ある場合、つまりそれら複数の主要部に対応するものとして部分画像データが複数ある場合、部分画像データのそれぞれは、Ｓ１７０８で各主要部に対応して設定された画像処理パラメータで処理される。

第２の実施の形態では、生成された一時画像データに対して一つの画像処理パラメータが一律に適用されて処理される例について説明した。これに対し、第３の実施の形態では、上述のように主要部が複数設定されている場合に、それら複数の主要部に対応する複数の部分画像データそれぞれに対して異なる画像処理パラメータで処理可能である点が第２の実施の形態と異なる。

Ｓ１７１４において画像処理装置１００は、Ｓ１７１２で生成された処理後一時画像データ中の部分画像データを、元画像データの対応する位置の画像と合成し、補正画像データを生成する。このとき、単純に、元画像データ中の１または複数の主要部に対応する画像データを部分画像データで置き換えることも可能であるが、第３の実施の形態では第２の実施の形態と同様に部分画像データと元画像データ中の対応する画像データとを混合して合成する処理が行われるものとする。両画像を混合して合成する際の混合比率は、図１５のフローチャート中の、Ｓ１５０６、Ｓ１５０８、Ｓ１５１２のそれぞれで設定された混合比率が適用される。

上記のように、ある混合比率で部分画像データと元画像データとを混合処理して合成する際には、第１の実施の形態で説明した複数の方法のうち、いずれかの方法を利用可能である。すなわち、ある混合比率で部分画像データと元画像データとを混合処理する際には、Ｒ、Ｇ、Ｂの各色の成分ごとに混合しても、輝度情報や明度の情報を用いて混合しても、あるいは彩度情報のみを用いて混合してもよい。また、第１の実施の形態で説明したのと同様に、処理後一時画像データおよび元画像データが互いに異なる色空間の画像データとなっている場合には、処理後一時画像データの色空間と同じ色空間の画像データに元画像データを変換する。あるいは、処理後一時画像データを変換して元画像データの色空間と同じ色空間になるようにしてもよい。

一方、画像処理を行う対象の主要部が一つも存在しない場合、図１７のフローチャートにおいてＳ１７０６の判定が否定されるので、上記のＳ１７０８からＳ１７１４の処理はスキップされる。

図１８は、図１７のフローチャートを参照して以上に説明した処理を概念的に示す図である。第３の実施の形態によれば、元画像データから生成された一時画像データ中の、一または複数の主要部それぞれに対応する一または複数の部分画像データが、一または複数の主要部それぞれに対応して設定された画像処理パラメータで処理されて処理後一時画像データが生成される。そして、処理後一時画像データ中の各部分画像データと、元画像データ中の対応する領域の画像データとが合成されて補正画像データが生成される。このとき、それぞれの主要部に対応して図１５のフローチャート中のＳ１５０６、Ｓ１５０８、Ｓ１５１２で設定された混合比率に基づき、画像が混合される。

上述のように、一または複数の主要部に対応する部分画像データは、各主要部に対応して設定された処理パラメータで処理される。従って、設定された主要部が複数存在する場合に、それぞれの主要部に対応して、より適切な処理パラメータを設定することが可能となる。

− 第４の実施の形態 −
図１９は、第４の実施の形態に係る画像処理装置１００で実行される画像処理の手順を説明するフローチャートである。画像処理装置１００はＳ１９００で画像データを取得する。この処理が画像データ取得部１０２での処理に相当する。取得した画像データは元画像データである。

Ｓ１９０２において画像処理装置１００は、元画像データを解析して主要部、周辺部を設定する処理をする。この処理が領域設定部１０４での処理に相当する。Ｓ１９０２での処理は、第１の実施の形態で図６を参照して説明したＳ６０２の処理と同様のものとすることが可能である。

Ｓ１９０４において画像処理装置１００は、主要部の画像を解析し、補正画像データを生成する処理を行うか否かを判定する処理を行う。この処理が画像処理実行判定部１０６での処理に相当する。Ｓ１９０４で行われる処理は、第１の実施の形態で図７を参照して説明したものと同様のものとすることが可能である。

Ｓ１９０４での判定結果を受け、画像処理装置１００はＳ１９０６において、画像処理を行うか行わないかの判定をする。Ｓ１９０６での判定が、肯定されるとＳ１９０８に進み、否定されると画像処理を行うことなく、図１９の処理を終える。

Ｓ１９０６での判定が肯定されると、画像処理装置１００はＳ１９０８からＳ１９１４までの一連の処理を行う。第４の実施の形態において、これらＳ１９０８からＳ１９１４までの一連の処理が補正画像データ生成部１０８による処理に相当する。

Ｓ１９０８において画像処理装置１００は、元画像データを解析して、画素ごと、あるいは複数画素ごとに主要度を導出し、主要度マップを生成する。主要度の導出方法については、第１の実施の形態で説明したものと同様とすることが可能である。主要度マップは、図２０に概念図が示されるように、元画像データで形成される画像中における主要度の分布が記録されたデータテーブルである。この主要度マップのデータサイズや値の定め方に関しても、第１の実施の形態で説明したのと同様のものとすることが可能である。

Ｓ１９１０において画像処理装置１００は、Ｓ１９０８で作成された主要度マップに基づいて、元画像を複数の領域に区画する。例えば、主要度マップ中で規定される主要度を解析して、主要度の値がある階級幅に収まる領域を一つの領域として画定することが可能である。例えば、主要度を最高から最低までの５段階に分類し、主要度が一番高い領域、二番目に高い領域、…、一番低い領域、というように領域を画定することが可能となる。

Ｓ１９１２において画像処理装置１００は、Ｓ１９１０の処理で画定された領域の主要度の高さに応じて処理パラメータを決定する。処理パラメータ決定に際しては、第１の実施の形態で図９、図１０等を参照して説明したのと同様の方法を用いることが可能である。

Ｓ１９１４において画像処理装置１００は、Ｓ１９１０で区画された領域ごとに、Ｓ１９１２で決定された処理パラメータを適用して強調処理を行う。なお、画像によっては、Ｓ１９１０での処理において、主要度の階級が同じ領域が複数画定される場合もある。そのような場合、図２０にも示されるように、これら複数の領域の画像に対して強調処理をすることが可能である。

図２０は、図１９のフローチャートを参照して以上に説明した処理を概念的に示す図である。第４の実施の形態においては、第１から第３の実施の形態と異なり、一時画像データが生成されない。そして、元画像データが解析されて生成された主要度マップに基づき、元画像データは複数の領域に区画され、各領域に対応して決定された処理パラメータで画像処理（強調処理）が行われる。

このとき、主要度の高い領域が複数存在する場合には、それぞれの領域に対応して決定された処理パラメータで強調処理が行われるので、それぞれの領域に対応して、より適切な処理パラメータを設定することが可能となる。

− 周辺部画像に対する低減処理 −
以上、第１〜第４の実施の形態では、主要度の高い領域の画像がより際立つようにする例について説明した。上述した第１から第４の実施の形態で説明した処理に加えて、周辺部の画像の明るさ、彩度、コントラストのうち、少なくともいずれかが減じられるようにすることも可能である。周辺部の画像の明るさ、彩度、コントラストのうち、少なくともいずれかが減じられるようにすることにより、主要部の画像をさらに際立たせることが可能となる。本明細書では、周辺部の画像の明るさ、彩度、コントラストのうち、少なくともいずれかが減じられるようにする処理を「低減処理」と称する。以下に低減処理の具体例について説明する。

図２１は、周辺部の画像データを解析した結果に基づいて周辺部の画像データに対して低減処理を行う際の処理パラメータの設定例を説明する図である。ここでは周辺部の画像データを解析するのに先立ち、画像データが例えばＬａｂ色空間の画像データに変換されているものとして説明する。

周辺部の画像データ中、ａおよびｂの色座標値が参照されて、周辺部の彩度の平均値が導出される。この、周辺部の彩度の平均値が第１２閾値以上である場合、彩度低減係数が１．０に設定される。つまり、周辺部の画像が比較的高い彩度を有している場合、主要部の画像が際立ちにくくなるので、周辺部の画像の彩度を低下させる。本例において、彩度低減係数を１．０に設定して低減処理を行うと、周辺部の画像の彩度はより大きく低下する。結果として主要部の画像は相対的に際立つようになる。

周辺部の彩度の平均値が第１２閾値を下回る場合には、彩度低減係数を例えば０．５などといった値に設定し、低減処理による周辺部の画像の彩度低下量が抑制される（彩度が過度に低下しないようにする）ようにすることが可能である。

周辺部の画像データ中、Ｌの色座標値が参照されて周辺部の明るさの平均値が導出される。この、周辺部の明るさの平均値が第１３閾値以上である場合、明るさ低減係数が０．３に設定される。つまり、周辺部の画像が比較的明るい場合、主要部の画像が際立ちにくくなるので、周辺部の画像の明るさを低下させる。本例において、明るさ低減係数を０．３に設定して低減処理を行うと、周辺部の画像の明るさはより大きく低下する。結果として主要部の画像が相対的に目立つようになる。

周辺部の明るさの平均値が第１３閾値を下回る場合には、明るさ低減係数を例えば０．２などといった値に設定し、低減処理による周辺部の画像の明るさ低下量が抑制される（明るさが過度に低下しないようにする）ようにすることが可能である。

周辺部の画像データ中、Ｌの色座標（Ｌ値と称する）が参照されて周辺部のコントラストが導出される。コントラストは、Ｌ値の最大値をＬｍａｘ、最小値をＬｍｉｎとすると、（Ｌｍａｘ−Ｌｍｉｎ）／（Ｌｍａｘ＋Ｌｍｉｎ）で導出することが可能である。このコントラスト値が第１４閾値以上である場合、コントラスト低減係数が０．５に設定される。つまり、周辺部の画像が比較的高いコントラストを有している場合、主要部の画像が際立ちにくくなるので、周辺部の画像のコントラストを低下させる。本例において、コントラスト低減係数を０．５に設定して低減処理を行うと、周辺部の画像のコントラストはより大きく低下する。結果として主要部の画像は相対的に際立つようになる。

周辺部のコントラストが第１４閾値を下回る場合には、コントラスト低減係数を例えば０．３などといった値に設定し、低減処理による周辺部の画像のコントラスト低下量が抑制される（コントラストが過度に低下しないようにする）ようにすることが可能である。

図２１に例示した処理パラメータに関しては、これらの彩度、明るさ、コントラストの低減に関するもののうち、いずれか一つが設定されてもよいし、任意の組み合わせの二つが設定されてもよい。あるいは、三つの組み合わせで設定されてもよい。

周辺部の画像に対する上記の低減処理が、先に説明した第１〜第４の実施の形態におけるそれぞれの処理と組み合わせて行われる例について以下に説明する。

図１３を参照して説明すると、第１の実施の形態においては、処理後一時画像データと元画像データとが、主要度マップを参照した結果に基づき、画素ごとあるいは複数画素ごとに合成処理されて補正画像データが生成される。低減処理は、周辺部、すなわち主要部以外の、主要度のより低い領域の画像を解析して導出された処理パラメータを適用して行われる。

第１の実施の形態とともに上記の低減処理を行う場合、補正画像データ中の周辺部に対応する領域の画像データに対して行うことも可能であるが、一時画像データに強調処理をして処理後一時画像データを生成する際に、周辺部の画像データに対して低減処理を行うことも可能である。あるいは、元画像データ中の周辺部に対応する領域の画像データに対して低減処理を行い、処理後一時画像データと、低減処理後の元画像データとを、主要度マップで特定される主要度に基づいて画素ごとあるいは複数画素ごとに合成して補正画像データを生成することも可能である。

図１６を参照して説明すると、第２の実施の形態においては、処理後一時画像データ中の部分画像データと元画像データ中の対応する部分とが、それぞれの部分に対応して予め設定された混合比率で混合されて合成され、補正画像データが生成される。

第２の実施の形態とともに上記の低減処理を行う場合、補正画像データ中の周辺部に対応する領域の画像データに対して行ってもよいし、一時画像データに強調処理をして処理後一時画像データを生成する際に、周辺部の画像データに対して低減処理を行うことも可能である。この場合、元画像データと合成する処理を行う際に、処理後一時画像データ中の部分画像データおよび残りの部分の画像データ（周辺部の画像データ）と、元画像データとを合成することが可能である。そして、部分画像データそれぞれに対応して混合比率が設定されるのと同様にして、周辺部の画像データに対応する部分についても混合比率が設定されるようにしてもよい。

あるいは、元画像データ中の周辺部に対応する領域の画像データに対して低減処理を行い、処理後一時画像データ中の部分画像データと、低減処理後の元画像データ中の対応する部分とを合成することも可能である。

図１８を参照して説明すると、第３の実施の形態においては、一時画像データ中の主要度が比較的高い部分に対応する一または複数の部分画像データに対し、それぞれの部分画像データの違いに対応して設定された異なる処理パラメータで強調処理が行われて処理後一時画像データが生成される。このようにして生成された処理後一時画像データ中の部分画像データと元画像データ中の対応する部分とが、それぞれの部分に対応して予め設定された混合比率で混合されて合成され、補正画像データが生成される。

第３の実施の形態とともに上記の低減処理を行う場合、補正画像データに対して行ってもよいし、一時画像データに強調処理をして処理後一時画像データを生成する際に、一時画像データ中における周辺部の画像データに対して低減処理を行うことも可能である。この場合、元画像データと合成する処理を行う際に、処理後一時画像データ中の部分画像データおよびそれ以外の部分の画像データ（周辺部の画像データ）と元画像データとを合成することが可能である。そして、部分画像データそれぞれに対応して混合比率が設定されるのと同様にして、周辺部の画像データに対応する部分についても混合比率が設定されるようにしてもよい。

あるいは、元画像データ中の周辺部に対応する領域の画像データに対して低減処理を行い、処理後一時画像データ中の部分画像データと、低減処理後の元画像データ中の対応する部分とを合成することも可能である。

図２０を参照して説明すると、第４の実施の形態においては、元画像データから導出された主要度マップに基づき、元画像データ中の主要度が比較的高い部分に強調処理が行われて補正画像データが生成される。

第４の実施の形態とともに上記の低減処理を行う場合、上述のようにして生成された補正画像データに対して行ってもよい。あるいは、補正画像データを生成する際、主要度マップを参照して元画像中の主要度が比較的高い部分に対して強調処理を行うのに加え、主要度が比較的低い部分に対して低減処理をしてもよい。

以上に説明した各実施の形態の画像処理装置は、冒頭にも説明したように、撮像装置に内蔵されるものであっても、画像処理プログラムが汎用コンピュータによって実行されることにより、上記の画像処理装置が実現されるものであってもよい。

本発明に係る画像処理の技術は、デジタルスチルカメラ、デジタルムービーカメラなどに適用することが可能である。さらには、ビデオレコーダやコンピュータなどに適用することが可能である。

１００ 画像処理装置
１０２ 画像データ取得部
１０４ 領域設定部
１０６ 画像処理実行判定部
１０８ 補正画像データ生成部
１５０ 画像表示部
１６０ 画像記録部
２００ デジタルカメラ
２１０ 撮影光学系
２１２ レンズ駆動部
２２０ 撮像部
２３０ 画像記録媒体
２４０ 操作部
２５０ 表示部
２６２ ＲＯＭ
２６４ ＲＡＭ
２７０、３１０ ＣＰＵ
３００ コンピュータ
３２０ メモリ
３３０ 補助記憶装置
３４０ インターフェース
３５０ メモリカードインターフェース
３６０ 光ディスクドライブ
３７０ ネットワークインターフェース
３８０ 表示装置

Claims (18)

1. 処理対象の画像データである元画像データを取得し、前記元画像データに補正処理を行う画像処理装置であって、
   前記元画像データを取得する画像データ取得部と、
   前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
   前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
   前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部を含む領域の画像が他の領域の画像よりも際立つよう、所定の色空間で規定される前記元画像データ中の色座標値を補正した補正画像データを生成する補正画像データ生成部と
   を備えることを特徴とする画像処理装置。
2. 前記補正画像データ生成部は、前記主要部に含まれる画素の輝度または明度を規定する情報である主要部明度情報を補正して前記補正画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記主要部明度情報の補正は、階調の補正を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記補正画像データ生成部は、前記主要部明度情報を補正する際の補正量を、前記主要部明度情報の高低に基づいて変化させることを特徴とする請求項２に記載の画像処理装置。
5. 前記補正画像データ生成部は、前記主要部明度情報を補正する際に、前記主要部明度情報を増すように補正し、補正前の前記主要部明度情報が所定の値以上であるときには、前記主要部明度情報を増す際の増加量を、前記主要部明度情報が前記所定の値よりも低いときの増加量に比して小さくなるように補正することを特徴とする請求項４に記載の画像処理装置。
6. 前記補正画像データ生成部は、前記主要部明度情報を補正する際に前記主要部明度情報を増すように補正し、前記主要部明度情報で特定される輝度または明度よりも高い輝度または明度を有する領域が前記主要部の近傍に存在する場合に、前記主要部明度情報を補正する際の増加量を増すことを特徴とする請求項２に記載の画像処理装置。
7. 前記補正画像データ生成部が、
   前記画像データから一時画像データを生成し、前記一時画像データに対して処理を施して、処理後一時画像データを生成する、処理後一時画像データ生成部であって、前記処理後一時画像データに基づく画像の明るさの分布を表すヒストグラムのプロファイルがより平滑化されるように階調変換処理をする、処理後一時画像データ生成部と、
   前記元画像データと前記処理後一時画像データとを画素単位または複数画素単位で合成する処理をする画像合成処理部と
   を備えることを特徴とする請求項３に記載の画像処理装置。
8. 前記補正画像データ生成部が、
   前記元画像データから一時画像データを生成し、前記一時画像データに対して処理を施して、処理後一時画像データを生成する、処理後一時画像データ生成部であって、前記処理後一時画像データに基づく画像のコントラストが高められるようにする、処理後一時画像データ生成部と、
   前記元画像データと前記処理後一時画像データとを画素単位または複数画素単位で合成する処理をする画像合成処理部と
   を備えることを特徴とする請求項３に記載の画像処理装置。
9. 前記画像合成処理部は、前記合成する処理をする際に、前記元画像データ、および前記処理後一時画像データの、明度情報もしくは輝度情報、画素値、彩度情報のいずれかの情報を合成処理することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記元画像データを解析した結果に基づき、前記元画像データの画素ごとまたは複数画素ごとに主要度を設定する主要度設定部であって、前記主要部内に存在する前記画素または前記複数画素の主要度が最大となるように前記主要度を設定する主要度設定部をさらに備え、
    前記画像合成処理部は、前記主要度設定部で前記画素ごとまたは複数画素ごとに設定された主要度の高さに応じて前記処理後一時画像データの混合比率を変えながら混合する処理をすることを特徴とする請求項７から９のいずれか一つに記載の画像処理装置。
11. 前記画像合成処理部が、前記主要度設定部で設定された主要度がより高い前記画素または複数画素に対応して前記処理後一時画像データの混合比率が高められるように混合処理をすることを特徴とする請求項１０に記載の画像処理装置。
12. 前記領域設定部は、前記主要部を一または複数設定可能に構成され、
    前記補正画像データ生成部が、
    前記元画像データから一時画像データを生成し、前記一時画像データに対して処理を施して、処理後一時画像データを生成する、処理後一時画像データ生成部と、
    前記処理後一時画像データ中、一または複数の前記主要部に対応する部分の画像データである部分画像データと、前記元画像データ中の対応する領域の画像データとを合成する処理をする、画像合成処理部とを備え、
    前記画像合成処理部は、前記元画像データ中の前記対応する領域の画像データを前記部分画像データで置き換える処理、または前記元画像データ中の前記対応する領域の画像データと前記部分画像データとを混合する処理を行う
    ことを特徴とする請求項２または３に記載の画像処理装置。
13. 前記領域設定部は、前記主要部を一または複数設定可能に構成され、
    前記元画像データを解析した結果に基づき、前記一または複数の主要部のそれぞれに対応して処理パラメータを設定する処理パラメータ設定部をさらに備え、
    前記補正画像データ生成部が、
    前記元画像データから一時画像データを生成し、前記一時画像データに対して処理を施して処理後一時画像データを生成する、処理後一時画像データ生成部であって、前記一時画像データ中、一または複数の前記主要部に対応する領域の一または複数の部分の画像データである部分画像データそれぞれに対し、前記処理パラメータ設定部で一または複数の前記主要部のそれぞれに対応して設定された処理パラメータで補正処理をして処理後一時画像データを生成する、処理後一時画像データ生成部と、
    前記処理後一時画像データ中の一または複数の前記部分画像データを、前記元画像データ中の対応する領域の画像データと合成する処理をする、画像合成処理部とを備え、
    前記画像合成処理部は、前記元画像データ中の前記対応する領域の画像データを前記部分画像データで置き換える処理または前記元画像データ中の前記対応する領域の画像データと前記部分画像データとを混合する処理を行う
    ことを特徴とする請求項２または３に記載の画像処理装置。
14. 前記元画像データを解析した結果に基づき、前記元画像データの画素ごとまたは複数画素ごとに主要度を設定する主要度設定部であって、前記主要部内に存在する前記画素または前記複数画素の主要度が最大となるように前記主要度を設定する主要度設定部をさらに備え、
    前記補正画像データ生成部は、前記主要度設定部で前記画素ごとまたは複数画素ごとに設定された主要度の高さに応じて前記色座標値を補正し、前記補正画像データを生成することを特徴とする請求項２または３に記載の画像処理装置。
15. 前記補正画像データ生成部はさらに、
    前記周辺部に対応する領域の画像の輝度または明度、彩度、コントラストのうち、少なくともいずれかが低下するように前記色座標値を補正することを特徴とする請求項１から１４のいずれか一つに記載の画像処理装置。
16. 処理対象の画像データである元画像データに補正処理を行う画像処理方法であって、
    前記元画像データを取得する画像データ取得手順と、
    前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定手順と、
    前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定手順と、
    前記画像処理実行判定手順で前記元画像データの補正が必要であると判定された場合、前記主要部を含む領域の画像が他の領域の画像よりも際立つよう、所定の色空間で規定される前記元画像データ中の色座標値を補正した補正画像データを生成する補正画像データ生成手順と
    を備えることを特徴とする画像処理方法。
17. 撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像素子を備える撮像装置であって、
    前記撮像素子から出力される前記画像信号から生成された画像データを元画像データとして取得する画像データ取得部と、
    前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定部と、
    前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定部と、
    前記画像処理実行判定部により前記元画像データの補正が必要であると判定された場合、前記主要部を含む領域の画像が他の領域の画像よりも際立つよう、所定の色空間で規定される前記元画像データ中の色座標値を補正した補正画像データを生成する補正画像データ生成部と
    を備えることを特徴とする撮像装置。
18. 処理対象の画像データである元画像データを補正する処理をコンピュータに実行させるための画像処理プログラムであって、
    前記元画像データを取得する画像データ取得ステップと、
    前記元画像データを解析し、前記元画像データ中の主要被写体を含む部分領域である主要部と、前記元画像データ中の前記主要部以外の部分領域である周辺部とを設定する領域設定ステップと、
    前記主要部における彩度の情報と空間周波数の情報のいずれか、または両方の情報に基づいて、前記元画像データの補正の要否を判定する画像処理実行判定ステップと、
    前記画像処理実行判定ステップで前記元画像データの補正が必要であると判定された場合、前記主要部を含む領域の画像が他の領域の画像よりも際立つよう、所定の色空間で規定される前記元画像データ中の色座標値を補正した補正画像データを生成する補正画像データ生成ステップと
    を備えることを特徴とする画像処理プログラム。