JP2015149612A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】ランダムではないが画像毎に異なる利便性の高い色変更を行い得る画像処理装置等を提供する。
【解決手段】画像の部分領域の画素値に基づき代表値を算出し、複数の部分領域に対して算出した複数の代表値と複数の部分領域の配置とに基づき代表値の配置を得る解析部４５と、代表値の配置に基づいて、代表値が最大となる部分領域以外の部分領域にゲイン値が最大となる領域が対応するゲインマップを得るゲインマップ生成部４６と、ゲインマップに基づいて画像の色相と彩度との少なくとも一方を変更する色変更処理部４７と、を備える画像処理装置。
【選択図】図２

Description

本発明は、画像の色相や彩度を変更する画像処理装置、画像処理方法、プログラムに関する。

近年市販されているデジタルカメラは、画像の色調や階調を変更したり、画像にノイズやボカシ等を加えたりすることにより、特殊効果を施した画像を得る機能を備えたものがある。こうした特殊効果は、デジタルカメラ以外の機器、例えば、スマートフォンやパーソナルコンピュータ（ＰＣ）においてソフトウェアを実行することによっても得ることが可能である。

特殊効果を得る技術の一例として、特開２０１３−１７５９６０号公報には、原画像データから輝度成分画像を抽出し、抽出した輝度成分画像をセピア色に着色加工してセピア調の画像を生成し、生成したセピア調画像を原画像と合成することにより、現実に印刷された写真と同様の風合い、つまり現実感を残した特殊効果を付与する技術が記載されている。

ところで、プリント写真は、経年変化により色あせする、あるいは日光により日焼けする等の色変化（以下では適宜、この色変化を代表して「日焼け」ということにする）が生じることがある。

特開２０１３−１７５９６０号公報

上述したような日焼けの効果をデジタルカメラで撮影された画像において実現しようとする場合に、上記特開２０１３−１７５９６０号公報に記載された技術を利用すれば、日焼けしたような風合いをある程度実現することができる。

しかし、実際のプリント写真の日焼けは、全体の色変化が均一ではない（例えば、一部のみが色変化する等のムラが生じた色変化となる）だけでなく、１枚の写真毎に生じる色変化が異なるものとなるのに対して、上記公報に記載された技術で得られる画像は、常に一定の効果が加えられた画像となるために、日焼け効果がどのように適用されるかをユーザーが容易に予想できてしまい、意外性がなくつまらないものになってしまうと考えられる。

そこで対策として、乱数を用いて写真毎に異なる日焼け効果を適用することも考えられるが、この場合には、例えば連写で得られた画像のような、互いに類似した、あるいは互いに関連性がある画像などに対して、それぞれ別個の効果が適用されてしまうことになるために、鑑賞する際に違和感を感じ、利便性が低い機能になってしまう可能性がある。

本発明は上記事情に鑑みてなされたものであり、結果を容易に予想することができず意外性を生じる余地がありながら、ランダムではなく利便性の高い画像の色変更を行うことができる画像処理装置、画像処理方法、プログラムを提供することを目的としている。

本発明のある態様による画像処理装置は、画像の部分領域を構成する画素の画素値に基づき該部分領域に対応する代表値を算出することを複数の部分領域に対して行い、算出した複数の代表値と複数の上記部分領域の配置とに基づき代表値の配置を得る解析部と、上記代表値の配置に基づいて、上記画像を構成する各画素に対応するゲイン値を与えるゲインマップであって、該ゲイン値が最大となる領域が上記代表値が最大となる部分領域以外の部分領域に対応するようなゲインマップを得るゲインマップ生成部と、上記ゲインマップに基づいて、上記画像の色相と彩度との少なくとも一方を変更する色変更処理部と、を具備する。

本発明のある態様による画像処理方法は、画像の部分領域を構成する画素の画素値に基づき該部分領域に対応する代表値を算出することを複数の部分領域に対して行い、算出した複数の代表値と複数の上記部分領域の配置とに基づき代表値の配置を得る解析ステップと、上記代表値の配置に基づいて、上記画像を構成する各画素に対応するゲイン値を与えるゲインマップであって、該ゲイン値が最大となる領域が上記代表値が最大となる部分領域以外の部分領域に対応するようなゲインマップを得るゲインマップ生成ステップと、上記ゲインマップに基づいて、上記画像の色相と彩度との少なくとも一方を変更する色変更処理ステップと、を有する。

本発明のある態様によるプログラムは、コンピュータに画像処理を行わせるためのプログラムであって、コンピュータに、画像の部分領域を構成する画素の画素値に基づき該部分領域に対応する代表値を算出することを複数の部分領域に対して行い、算出した複数の代表値と複数の上記部分領域の配置とに基づき代表値の配置を得る解析ステップと、上記代表値の配置に基づいて、上記画像を構成する各画素に対応するゲイン値を与えるゲインマップであって、該ゲイン値が最大となる領域が上記代表値が最大となる部分領域以外の部分領域に対応するようなゲインマップを得るゲインマップ生成ステップと、上記ゲインマップに基づいて、上記画像の色相と彩度との少なくとも一方を変更する色変更処理ステップと、を実行させるためのプログラムである。

本発明の画像処理装置、画像処理方法、プログラムによれば、結果を容易に予想することができず意外性を生じる余地がありながら、ランダムではなく利便性の高い画像の色変更を行うことが可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における特殊画像処理部の構成を示すブロック図。 上記実施形態１において、解析部による解析の対象となる、ＳＤＲＡＭに記憶されている画像データにより表される画像の一例を示す図。 上記実施形態１の画像において、代表値を算出する対象の第１〜第４部分領域を示す図。 上記実施形態１において、第１〜第４部分領域の配置と代表値とに基づき解析部により得られた代表値の配置を示す図。 上記実施形態１において、ゲインマップ生成部により図５の配置を異ならせて作られた代表値の配置を示す図。 上記実施形態１において、図６の配置に基づきゲインマップ生成部により算出されたゲインマップを示す図。 上記実施形態１の画像において、代表値を算出する対象の第１〜第６部分領域を示す図。 上記実施形態１において、第１〜第６部分領域の配置と代表値とに基づき解析部により得られた代表値の配置を示す図。 上記実施形態１において、ゲインマップ生成部により図９の配置を異ならせて作られた代表値の配置を示す図。 上記実施形態１において、図１０の配置に基づきゲインマップ生成部により算出されたゲインマップを示す図。 上記実施形態１の撮像装置におけるメイン処理の流れを示すフローチャート。 上記実施形態１の撮像装置の画像処理部により行われる画像処理の流れを示すフローチャート。 上記実施形態１の撮像装置の色変更処理部により行われる色変更処理を示すフローチャート。 本発明の実施形態２において、撮像装置が予め記憶している基本ゲインマップの例を示す図表。 上記実施形態２において、ゲインマップ生成部により選択された基本ゲインマップを示す図。 上記実施形態２において、図１６に示す基本ゲインマップを補間して作成されたゲインマップを示す図。 上記実施形態２において、撮像装置が予め記憶している基本ゲインマップの変形例を示す図。 本発明の実施形態３において、撮像装置が予め記憶している補正係数マップの例を示す図。 上記実施形態３において、ゲインマップを補正係数マップに基づき補正して得られた補正ゲインマップの例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１４は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

本実施形態は、画像処理装置を撮像装置に適用したものとなっていて、撮像装置は、具体例としてはデジタルカメラとして構成されたものとなっている。

すなわち、この撮像装置は、図１に示すように、交換式レンズ１と、カメラ本体２と、をインタフェース（Ｉ／Ｆ）３を介して通信可能に接続して構成されている。

次に、交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対し着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。こうして、交換式レンズ１は、インタフェース３を介してカメラ本体２と通信可能となっている。

交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、マイクロコンピュータ１４と、フラッシュメモリ１５と、を備えている。

レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２３上に結像するための撮影光学系である。

絞り１２は、レンズ１１を通過する光束の通過範囲を制御する光学絞りである。

ドライバ１３は、マイクロコンピュータ１４からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１３は、マイクロコンピュータ１４からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。

マイクロコンピュータ１４は、いわゆるレンズ側コンピュータであり、ドライバ１３、フラッシュメモリ１５、およびインタフェース３と接続されている。そして、マイクロコンピュータ１４は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ４１と通信し、マイクロコンピュータ４１からの指令を受けて、フラッシュメモリ１５に記憶されている情報の読込／書込を行い、ドライバ１３を制御する。さらに、マイクロコンピュータ１４は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ４１へ送信する。

フラッシュメモリ１５は、マイクロコンピュータ１４により実行される制御プログラムや、交換式レンズ１に関する各種の情報を不揮発に記憶する記憶媒体である。

インタフェース３は、交換式レンズ１のマイクロコンピュータ１４と、カメラ本体２のマイクロコンピュータ４１とを、双方向に通信可能に接続する。

続いて、カメラ本体２は、シャッタ２１と、撮像部２２と、ＲＡＷ縮小処理部２６と、画像処理部２７と、ＡＥ処理部３０と、ＡＦ処理部３１と、画像圧縮伸張部３２と、ＬＣＤドライバ３３と、ＬＣＤ３４と、メモリインタフェース（メモリＩ／Ｆ）３５と、記録媒体３６と、ＳＤＲＡＭ３７と、操作部３８と、フラッシュメモリ３９と、バス４０と、マイクロコンピュータ４１と、を備えている。

シャッタ２１は、レンズ１１からの光束が撮像素子２３へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカニカルシャッタとなっている。ただし、メカニカルシャッタに代えて素子シャッタを用いても構わないし、メカニカルシャッタと素子シャッタとを併用しても良い。このシャッタ２１は、マイクロコンピュータ４１の指令により駆動されて、撮像素子２３に光束が到達している時間、つまり撮像素子２３による被写体の露光時間を制御する。

撮像部２２は、被写体を撮影して画像データを取得するものであり、撮像素子２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、を備えている。

撮像素子２３は、レンズ１１および絞り１２を介して結像された被写体の光学像を光電変換してアナログ画像信号を生成するものである。この撮像素子２３は、例えば、垂直方向および水平方向に配列された複数の画素の前面にベイヤー配列のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子２３は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

アナログ処理部２４は、撮像素子２３から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。このＡ／Ｄ変換部２５から出力される画像データは、いわゆるＲＡＷ画像データである。

ＲＡＷ縮小処理部２６は、必要に応じてＲＡＷ画像データのサイズ（画素数）を縮小するものであり、ＲＡＷ画像データを例えば間引く、画素加算する、あるいは補間する等により縮小されたＲＡＷ画像データを生成する。なお、ＲＡＷ縮小処理部２６は、Ａ／Ｄ変換部２５から出力される画像データを縮小しても良いが、ＳＤＲＡＭ３７に一旦記憶されたＲＡＷ画像データを縮小しても構わない。

Ａ／Ｄ変換部２５から出力されたＲＡＷ画像データ（あるいはさらにＲＡＷ縮小処理部２６から出力された縮小ＲＡＷ画像データ）は、バス４０を介して転送され、ＳＤＲＡＭ３７に一旦記憶される。

画像処理部２７は、ＲＡＷ画像データ（あるいは縮小ＲＡＷ画像データ、以下、明示はしないが同様）に対して種々の画像処理を行うものであり、基本画像処理部２８と、特殊画像処理部２９と、を備えている。

基本画像処理部２８は、ＲＡＷ画像データに対して基本的な画像処理を行うものである。この基本画像処理部２８が行う画像処理としては、例えば、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）処理、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズリダクション処理などが挙げられる。この基本画像処理部２８によって各処理が行われた後の画像データは、ＳＤＲＡＭ３７に再び記憶される。

また、特殊画像処理部２９は、上述した基本的な画像処理に該当しない画像処理、例えば画像の加工に関する処理を行うものである。本実施形態における特殊画像処理部２９は、画像の色相と彩度との少なくとも一方を変更する色変更処理を含む処理を行うものとなっている。具体的に、本実施形態における特殊画像処理部２９は、色変更処理として、プリント写真が経年変化により色あせする、あるいは日光により日焼けする等の場合のような色の変更を画像データに対して与える処理を行う。この特殊画像処理部２９によって処理された画像データは、ＳＤＲＡＭ３７に記憶される。

ＡＥ処理部３０は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り１２の制御やシャッタ２１の制御、撮像素子２３の露光タイミング制御等に用いられる。なお、被写体輝度を算出するためのデータとして、ここではＲＡＷ画像データ等を利用したが、これに代えて、専用の測光センサを撮像装置に設けて、この測光センサから得られたデータを利用するようにしても構わない。

ＡＦ処理部３１は、ＲＡＷ画像データから高周波成分のデータを抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２３上のＡＦ用画素など）を用いて位相差ＡＦを行うようにしても構わない。

画像圧縮伸張部３２は、画像データを記録する際には、ＳＤＲＡＭ３７から画像データを読み出して、読み出した画像データを例えば静止画の場合にはＪＰＥＧ圧縮方式、動画の場合にはＪＰＥＧ圧縮方式またはＨ．２６４圧縮方式等の圧縮方式に従って圧縮し、圧縮した画像データをＳＤＲＡＭ３７に一旦記憶させる。こうしてＳＤＲＡＭ３７に記憶された圧縮された画像データは、マイクロコンピュータ４１により、ファイルを構成するために必要なヘッダが付加されて記録用のデータとして整えられる。そして、マイクロコンピュータ４１の制御に基づき、整えられた記録用のデータが、メモリＩ／Ｆ３５を介して記録媒体３６に記録される。なお、本実施形態の撮像装置は、記録媒体３６へ記録する画像の画素数を例えば複数の選択肢の中から選択して設定可能となっているものとする。

また、画像圧縮伸張部３２は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ４１の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ３５を介して記録媒体３６から読み出され、ＳＤＲＡＭ３７に一旦記憶される。画像圧縮伸張部３２は、ＳＤＲＡＭ３７に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ３７に記憶させる。

ＬＣＤドライバ３３は、ＳＤＲＡＭ３７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＬＣＤ３４を駆動制御して映像信号に基づく画像をＬＣＤ３４に表示させる。このＬＣＤドライバ３３により行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体３６に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示等における動画表示などが含まれる。なお、ライブビュー表示やレックビュー表示は、上述した縮小ＲＡＷ画像データを利用して行うと処理時間を短縮し処理負荷を軽減できて良い。

ＬＣＤ３４は液晶パネルや有機ＥＬパネル等の画像を表示可能なパネルであり、上述したようなＬＣＤドライバ３３の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。

メモリＩ／Ｆ３５は、上述したように、画像データ等の情報の記録媒体３６への書き込み、および記録媒体３６からの画像データ等の情報の読み出しを行う。

記録媒体３６は、画像データ等の情報を不揮発に記憶するものであり、例えばカメラ本体２に着脱可能なメモリカード等により構成されている。ただし、記録媒体３６は、メモリカードに限定されるものではなく、ディスク状の記録媒体、カメラ本体２に固定された記録媒体、あるいは通信回線を介して接続された離隔した位置にある記録媒体でも良いし、その他の適宜の記録媒体であっても構わない。こうして記録媒体３６は、撮像装置に固有の構成である必要はない。

ＳＤＲＡＭ３７は、上述したＲＡＷ画像データ、あるいは画像処理部２７、画像圧縮伸張部３２等において処理された画像データ等の各種データを一時的に記憶する記憶部である。

操作部３８は、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源をオン／オフするための電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、動画撮影を行うための動画ボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。この操作部３８に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ４１へ出力される。

フラッシュメモリ３９は、マイクロコンピュータ４１により実行される処理プログラムや、この撮像装置に係る各種の情報を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ３９が記憶する情報としては、例えば、ホワイトバランスモードに応じたホワイトバランスゲイン等の撮像装置の動作に必要な各種パラメータ、および撮像装置を特定するための型式番号や製造番号などが幾つかの例として挙げられる。このフラッシュメモリ３９が記憶する情報は、マイクロコンピュータ４１により読み取られる。

バス４０は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス４０は、Ａ／Ｄ変換部２５と、ＲＡＷ縮小処理部２６と、画像処理部２７と、ＡＥ処理部３０と、ＡＦ処理部３１と、画像圧縮伸張部３２と、ＬＣＤドライバ３３と、メモリＩ／Ｆ３５と、ＳＤＲＡＭ３７と、マイクロコンピュータ４１と、に接続されている。

マイクロコンピュータ４１は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ１４に指令を送信し交換式レンズ１を制御するものであり、この撮像装置を統括的に制御する制御部である。マイクロコンピュータ４１は、ユーザにより操作部３８から操作入力が行われると、フラッシュメモリ３９に記憶されている処理プログラムに従って、フラッシュメモリ３９から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

次に図２は、特殊画像処理部２９の構成を示すブロック図である。

特殊画像処理部２９は、解析部４５と、ゲインマップ生成部４６と、色変更処理部４７と、を備えている。

解析部４５は、画像の部分領域を構成する画素の画素値に基づき部分領域に対応する代表値を算出することを複数の部分領域に対して行い、算出した複数の代表値と複数の部分領域の配置とに基づき代表値の配置を得る。

ゲインマップ生成部４６は、解析部４５により得られた代表値の配置に基づいて、画像を構成する各画素に対応するゲイン値を与えるゲインマップであって、ゲイン値が最大となる領域が代表値が最大となる部分領域以外の部分領域に対応するようなゲインマップを得る。ここに、ゲインマップ生成部４６は、ゲイン値の空間分布が滑らかに変化するようなゲインマップを得るものとなっている。さらに、ゲインマップ生成部４６は、ゲインマップ上のゲイン値のヒストグラムが平坦化（ただし、完全に平坦であることを意味するわけではなく、偏りが比較的小さいという意味）された分布となるようなゲインマップ、つまり、小さいゲイン値の画素が多い偏り、あるいは大きいゲイン値の画素が多い偏り、等の偏りが比較的小さいゲインマップを得るものとなっていることが好ましい。

具体的に、本実施形態のゲインマップ生成部４６は、代表値の配置を異ならせるように、複数の代表値をゲインマップ上の複数の所定の画素位置に配置し、所定の画素位置から任意の画素位置までの距離に基づいて任意の画素位置のゲイン値を補間することによりゲインマップを算出するようになっている。ここでゲインマップ生成部４６により算出されたゲインマップは、ＳＤＲＡＭ３７に記憶される。

色変更処理部４７は、ゲインマップ生成部４６から出力されたゲインマップに基づいて、画像の色相と彩度との少なくとも一方を変更する。

具体的に、画像における画素位置を（ｘ，ｙ）とし、画像を表現する色空間の成分の内の、色相または彩度に係る成分の少なくとも１つをＣにより表すとすると、画素位置に依存しない所定の定数をＣ_cntとし、画素位置（ｘ，ｙ）における、色変更処理部４７による色変更前の成分をＣ_in（ｘ，ｙ）、色変更後の成分をＣ_out（ｘ，ｙ）、ゲインマップのゲイン値をＧ（ｘ，ｙ）とすれば、色変更処理部４７は、例えば、
Ｃ_out（ｘ，ｙ）＝Ｃ_in（ｘ，ｙ）＋Ｃ_cnt×Ｇ（ｘ，ｙ）
の演算を全ての画素位置（ｘ，ｙ）に対して行うことにより、画像の色変更を行うものとなっている。従って、ゲイン値Ｇ（ｘ，ｙ）が大きい程、色の変更量が大きくなる（一方、ゲイン値Ｇ（ｘ，ｙ）が０であれば、色は変更されない）。

この特殊画像処理部２９により行われるゲインマップ作成処理の一例について、図３〜図７を参照して説明する。

図３は、解析部４５による解析の対象となる、ＳＤＲＡＭ３７に記憶されている画像データにより表される画像Ｐの一例を示す図である。

ＳＤＲＡＭ３７に記憶されている画像データは、例えば、撮像部２２から出力または記録媒体３６から読み出されたＲＡＷ画像データ、ＲＡＷ縮小処理部２６により生成または記録媒体３６から読み出された縮小ＲＡＷ画像データ、基本画像処理部２８により基本画像処理がなされた画像データ、記録媒体３６から読み出されて画像圧縮伸張部３２により伸張された画像データ、等の内の何れかである。図３に示す画像Ｐの例えば中央部には、主要被写体ＯＢＪが写っており、主要被写体ＯＢＪの背景における左上側は輝度が低い部分、右下側は輝度が高い部分となっているものとする（ここに、図面上において滑らかな階調を表現することが難しいためにそのように見えないが、左上側の輝度が低い部分から右下側の輝度が高い部分へは滑らかに階調が変化しているものとする、以下同様）。

解析部４５は、図３に示すような画像Ｐの輝度信号（あるいは、近似的に輝度信号と見なし得るような輝度相当信号、以下同様）を抽出する。そして、解析部４５は、抽出した輝度信号に係る画像Ｐを例えば縦横それぞれ１／８に分割し、分割により得られる合計６４個の部分領域の内の、例えば左上角の第１部分領域Ｒ１、右上角の第２部分領域Ｒ２、左下角の第３部分領域Ｒ３、および右下角の第４部分領域Ｒ４を、代表値を算出する対象の部分領域とする。ここに、図４は、画像Ｐにおいて、代表値を算出する対象の第１〜第４部分領域Ｒ１〜Ｒ４を示す図である。

そして、解析部４５は、第１〜第４部分領域Ｒ１〜Ｒ４のそれぞれについて、部分領域内の画素値を積算して部分領域内の画素数で割ることにより平均画素値を算出し、算出した平均画素値を各部分領域Ｒ１〜Ｒ４それぞれの代表値Ｖ１〜Ｖ４とする。ここで得られた代表値Ｖ１〜Ｖ４の大きさが、例えば、Ｖ４＞Ｖ２＞Ｖ３＞Ｖ１となっているものとする。

なお、ここでは部分領域の平均画素値を代表値としたが、部分領域の画素値の中央値を代表値としても良いし、部分領域の画素値の例えば最大値を代表値とすることも考えられ、より一般には代表値の算出方法はこれらに限定されるものではない。

図５は、第１〜第４部分領域Ｒ１〜Ｒ４の配置と代表値Ｖ１〜Ｖ４とに基づき解析部４５により得られた代表値の配置を示す図である。

図５に示す代表値の２×２配置において、左上角の第１部分領域Ｒ１の代表値Ｖ１は左上に配置され、右上角の第２部分領域Ｒ２の代表値Ｖ２は右上に配置され、左下角の第３部分領域Ｒ３の代表値Ｖ３は左下に配置され、および右下角の第４部分領域Ｒ４の代表値Ｖ４は右下に配置されている。

ゲインマップ生成部４６は、解析部４５により得られた図５のような代表値の配置に基づいて、最大の代表値Ｖ４以外の代表値Ｖ１〜Ｖ３に対応する部分領域Ｒ１〜Ｒ３の何れかに、最大の代表値Ｖ４が割り当てられるように、代表値の配置を異ならせる。このような処理を行う理由は、より高い色変更効果を得るためである。つまり、最大の代表値Ｖ４が得られた第４部分領域Ｒ４は、輝度が高い領域であり、輝度が高いと白色（色飽和した状態）に近付いて色の表現範囲が狭くなるために、色変更処理を行っても得られる効果が低いからである。具体的に、ゲインマップ生成部４６は、例えば、図５に示す代表値の配置を、反時計回りに９０度回転する。ここに図６は、ゲインマップ生成部４６により図５の配置を異ならせて作られた代表値の配置を示す図である。

次に、ゲインマップ生成部４６は、図６に示す変更後の代表値の配置において、代表値が所定の範囲内の値になるよう正規化を行う。この正規化は、例えば、最大の代表値Ｖ４を１、最小の代表値Ｖ１を０とし、それ以外の代表値Ｖ２，Ｖ３がそれぞれの値に応じて０よりも大きく１未満の範囲の値となるようにする処理である。この正規化を行うと、生成されたゲインマップにおけるゲイン値のヒストグラムは、この正規化を行わずに生成したゲインマップにおけるゲイン値のヒストグラムに比べて、ゲイン値のダイナミックレンジがより広くなる可能性がある（例えば、画素値が取り得るダイナミックレンジが０〜１０２３であって、最小の代表値が１０、最大の代表値が１０００である場合に、０〜１０２３を単純に０〜１に変換すると、最小の代表値は約０．０１、最大の代表値は約０．９８となるが、本実施形態の正規化を用いれば最小の代表値は０．０、最大の代表値は１．０となるため）。ただし、色変更処理における変更量の大きさは、ゲイン値に対して乗算される定数値（上述した所定の定数Ｃ_cnt）の大きさを変えることによっても変更可能であるために、その場合にはこの正規化の処理を省略することも可能である。

続いて、ゲインマップ生成部４６は、変更後の（あるいはさらに正規化後の）代表値の配置に基づいて、画像を構成する各画素に対応するゲイン値を与えるゲインマップを作成する。このゲインマップは、例えば、基本画像処理部２８により基本処理が行われた画像に対して適用されるために、つまり基本処理が行われた画像の画素構成に一対一に対応する画素構成のマップを作成する。

具体的に、図６に示す、左上角の代表値Ｖ２をゲインマップの左上角の画素のゲイン値、右上角の代表値Ｖ４をゲインマップの右上角の画素のゲイン値、左下角の代表値Ｖ１をゲインマップの左下角の画素のゲイン値、右下角の代表値Ｖ３をゲインマップの右下角の画素のゲイン値として、これら４つの所定の画素位置から任意の画素位置までの距離に基づいて、任意の画素位置のゲイン値を補間（例えば、線形補間）することによりゲインマップを算出する。ここに、距離に基づいてゲインマップを算出しているのは、グラデーションが滑らかなゲインマップを作成することが好ましいためであるが、補間方法には種々の方法があるために、他の適宜の方法を用いても勿論構わない。そして、算出されたゲインマップは、例えばＳＤＲＡＭ３７に記憶される。

図７は、図６の配置に基づきゲインマップ生成部４６により算出されたゲインマップＧＭを示す図である。

この図７に示すゲインマップＧＭは、図６に示した変更後の代表値の配置に基づき算出されたものであるために、左下の部分のゲイン値が低く、右上の部分のゲイン値が高く、それ以外の部分は所定の画素位置である４つの角からの距離に応じた中間のゲイン値となっている。

また、特殊画像処理部２９により行われるゲインマップ作成処理の他の例について、図８〜図１１を参照して説明する。

図４に示した例では４つの角の第１〜第４部分領域Ｒ１〜Ｒ４に基づき図５に示した代表値の２×２配置を得たが、ここでは図８に示すように、さらに、矩形をなす画像Ｐの長辺方向に沿った中間位置の部分領域Ｒ５およびＲ６を用いて代表値の３×２配置を得るようにしている。このように、代表値を算出する対象の部分領域の数は４に限るものではなく、適宜の複数であれば良い。

図８は、画像Ｐにおいて、代表値を算出する対象の第１〜第６部分領域Ｒ１〜Ｒ６を示す図である。

第５部分領域Ｒ５は、第１部分領域Ｒ１と第２部分領域Ｒ２との中間に位置し、第６部分領域Ｒ６は、第３部分領域Ｒ３と第４部分領域Ｒ４との中間に位置している。解析部４５は、上述と同様に代表値Ｖ１〜Ｖ４を算出するだけでなく、さらに、第５部分領域Ｒ５から代表値Ｖ５を、第６部分領域Ｒ６から代表値Ｖ６を、それぞれ算出する。そして、解析部４５は、代表値の配置を図９に示すように取得する。

ここに、図９は、第１〜第６部分領域Ｒ１〜Ｒ６の配置と代表値Ｖ１〜Ｖ６とに基づき解析部４５により得られた代表値の配置を示す図である。

この図９に示す例では、代表値Ｖ５は例えば代表値Ｖ１と代表値Ｖ２との中間の値、代表値Ｖ６は例えば代表値Ｖ３と代表値Ｖ４との中間の値となっている。

ゲインマップ生成部４６は、例えば、図９に示す代表値の配置を、例えば時計回りに１３５度回転する。図１０は、ゲインマップ生成部４６により図９の配置を異ならせて作られた代表値の配置を示す図である。さらに、ゲインマップ生成部４６は、図１０に示す変更後の代表値の配置において、必要に応じて、代表値の正規化を上述したように行う。

このように、代表値の配置を異ならせる処理は、９０度単位の回転に限るものではなく、任意角度の回転により行っても良い。このときの回転方向や回転角度は、例えば、最大の代表値と、最大の代表値に隣接する代表値と、の位置関係や代表値同士の値の大きさの関係に基づいて決定するようにしても良い（後述する実施形態２も参照）。

さらに、代表値の変更を回転により行うに限るものではなく、鏡面対称に反転させることにより行っても良いし、１組の代表値同士を交換することを１回、もしくは異なる組み合わせに対して２回以上実行することにより行っても構わない。

続いて、ゲインマップ生成部４６は、変更後の（あるいはさらに正規化後の）代表値の配置に基づいて、図１１に示すように、ゲインマップＧＭを作成する。図１１は、図１０の配置に基づきゲインマップ生成部４６により算出されたゲインマップＧＭを示す図である。

この図１１に示すゲインマップＧＭは、図１０に示した変更後の代表値の配置に基づき算出されたものであるために、ゲイン値が、左側ほど高く、右側ほど低い分布となっている。

上述したように、代表値を算出する対象の部分領域の数は適宜の複数で良く、代表値の配置の変更方法も特定の方法に限定されるものではないが、作成されるゲインマップＧＭが、中央部に比べて周辺部における何れか部分のゲイン値が高くなるような分布であると良い。これは、中央部のゲイン値が高い（つまり、中央部の色変更が大きい）と画像全体の色合いが変色したかのような不自然な印象を受けることがあり、こうした画像となるのを防ぐためである。

なお、図７や図１１に示したようなゲインマップＧＭを作成するための画像データとして、例えば縮小ＲＡＷ画像データを利用する場合には、ＲＡＷ画像データに比べて画素数が少ないために処理を高速かつ低負荷で行うことができる。また、縮小ＲＡＷ画像データに設定する部分領域の大きさ（部分領域に含まれる画素数）を、縮小していないＲＡＷ画像データに設定する部分領域の大きさと同じにする場合には、画像に占める部分領域の大きさの割合が縮小していないＲＡＷ画像データの場合よりも大きくなるために、ノイズや僅かな画角変更の影響を受け難くなり、安定したゲインマップＧＭを作成することができる利点がある。

また、縮小ＲＡＷ画像データまたはＲＡＷ画像データを用いるときに、撮像素子２３のカラーフィルタにおいて最も感度の高いフィルタに対応する画素のデータを輝度相当信号として抽出して用いることにより、全ての色のカラーフィルタに対応する画素のデータから輝度信号を生成して用いる場合よりも、処理を低負荷に行うことができる。

上述したようにゲインマップＧＭが作成されたら、色変更処理部４７は、ゲインマップＧＭの各画素位置のゲイン値Ｇを用いて、基本画像処理が行われた画像の色相と彩度との少なくとも一方を変更する。

具体的に、基本画像処理が行われた画像がＲＧＢ画像、つまり画像を表現する色空間がＲＧＢ色空間であり、色相または彩度に係る成分Ｃが、Ｒ，Ｇ，Ｂである場合について説明する。

成分Ｃについて上述したのと同様に、画素位置を（ｘ，ｙ）とし、色変更処理部４７による色変更前の各色成分の画素値をＲ_in（ｘ，ｙ），Ｇ_in（ｘ，ｙ），Ｂ_in（ｘ，ｙ）、色変更後の各色成分の画素値をＲ_out（ｘ，ｙ），Ｇ_out（ｘ，ｙ），Ｂ_out（ｘ，ｙ）、各色成分に対する画素位置に依存しない所定の定数をＲ_cnt，Ｇ_cnt，Ｂ_cnt、ゲインマップＧＭにおける画素位置に応じたゲイン値をＧ（ｘ，ｙ）とすると、色変更処理部４７は、
Ｒ_out（ｘ，ｙ）＝Ｒ_in（ｘ，ｙ）＋Ｒ_cnt×Ｇ（ｘ，ｙ）
Ｇ_out（ｘ，ｙ）＝Ｇ_in（ｘ，ｙ）＋Ｇ_cnt×Ｇ（ｘ，ｙ）
Ｂ_out（ｘ，ｙ）＝Ｂ_in（ｘ，ｙ）＋Ｂ_cnt×Ｇ（ｘ，ｙ）
の演算を行うことにより、色変更処理を行う。

ここに、この色変更処理が色相と彩度との少なくとも一方を変更する処理となるためには、
Ｒ_cnt≠Ｇ_cnt
Ｇ_cnt≠Ｂ_cnt
Ｂ_cnt≠Ｒ_cnt
の内の少なくとも１つが成立していることが必要である。

このような所定の定数の値の一例は、
（Ｒ_cnt，Ｇ_cnt，Ｂ_cnt）＝（２５，−１５，−１０）
である。この定数値は、画像にマゼンタの色合いを加えるための値となっている。従って、元の画像に加えたい色合いに応じて、定数（Ｒ_cnt，Ｇ_cnt，Ｂ_cnt）を適切に選ぶと良い。この定数は、フレーム単位で変更しても良いし、撮影シーンに応じて変更しても構わない。

なお、ここでは画像を表現する色空間としてＲＧＢ色空間を例に挙げたが、ＹＣｂＣｒ色空間、ＹＵＶ色空間、ＹＰｂＰｒ色空間、Ｌ＊ａ＊ｂ＊色空間、ＨＳＶ色空間などの各種の色空間においても同様の色変更処理を行うことが可能である。例えば、ＹＣｂＣｒ色空間、ＹＵＶ色空間、ＹＰｂＰｒ色空間、あるいはＬ＊ａ＊ｂ＊色空間は、何れも輝度成分と色差成分とに分けられているために、少なくとも色差成分の１つに対して上述したような処理を行えば良い（輝度成分については行っても良いし、行わなくても構わない）。また、ＨＳＶ色空間の場合には、色相Ｈと彩度Ｓとの少なくとも一方に対して上述したような処理を行えば良い（明度Ｖについては行っても良いし、行わなくても構わない）。

次に、図１２〜図１４を参照して、撮像装置の処理を説明する。

まず、図１２は撮像装置におけるメイン処理の流れを示すフローチャートである。この図１２に示す処理は、マイクロコンピュータ４１の制御に基づき行われる。

操作部３８の電源ボタンがオン操作されて撮像装置の電源がオンになると、このメイン処理が開始され、まず撮像装置の初期化を行う（ステップＳ１１）。この初期化において、動画記録中であるか否かを示す記録中フラグもオフにリセットされる。

次に、マイクロコンピュータ４１は、操作部３８の再生ボタンが操作されたか否かを判定する（ステップＳ１２）。

ここで再生ボタンが操作された場合には、再生・編集処理を行う（ステップＳ１３）。この再生・編集処理は、記録媒体３６に記録されているファイルの一覧を表示して、ユーザーからの選択操作を待ち、選択決定されたファイルを再生し、または選択されている画像を編集する処理である。

ステップＳ１２において再生ボタンが操作されていないか、あるいはステップＳ１３の処理が行われた場合には、操作部３８のメニューボタンが操作されて、撮像装置に関するカメラ設定が選択されたか否かを判定する（ステップＳ１４）。

ここでカメラ設定が選択された場合には、カメラ設定を変更するメニューをＬＣＤ３４に表示して、カメラ設定を変更するユーザ操作が操作部３８からなされるのを待機する。ここに、カメラ設定の幾つかの例としては、
仕上がり：ナチュラル、ビビッド、フラット、モノトーン
エフェクト：日焼け効果
静止画記録モード：ＪＰＥＧ記録、ＴＩＦＦ記録、
ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録
動画記録モード：Ｍｏｔｉｏｎ ＪＰＥＧ、Ｈ．２６４
画質：ファイン、ノーマル
などが挙げられるが、これらに限るものではない。

そして、ユーザ操作がなされた場合には、操作内容に応じてカメラ設定を行う（ステップＳ１５）。このカメラ設定において、エフェクトとして、上述したようなプリント写真の経年変化や日光による退色を再現する色変更処理である日焼け効果をオンに設定する場合には、さらに、どの色合いの日焼け効果を得るようにするかをユーザが所望に選択設定することができるようにしても良い。

ステップＳ１４においてカメラ設定が選択されていないか、あるいはステップＳ１５の処理が行われた場合には、操作部３８の動画ボタンが操作されたか否かを判定する（ステップＳ１６）。

ここで、動画ボタンが操作された場合には、まず、記録中フラグを反転（つまり、オンであればオフに、オフであればオンに）して（ステップＳ１７）、記録中フラグがオンであるかオフであるかに基づき、動画記録中であるか否かを判定する（ステップＳ１８）。

ここで動画記録中である場合には記録開始されたことになるために動画像ファイルを生成し、画像データを記録できるように準備する（ステップＳ１９）。

また、動画記録中でない場合には、記録終了することになるために、動画像ファイルのヘッダにフレーム数を記録する等を行って動画像ファイルとして再生可能な状態にし、ファイル書き込みを終了して動画像ファイルを閉じる（ステップＳ２０）。

ステップＳ１６において動画ボタンが操作されていないか、あるいはステップＳ１９またはステップＳ２０の処理が行われた場合には、ステップＳ１８と同様に記録中フラグに基づき動画記録中であるか否かを判定する（ステップＳ２１）。

ここで動画記録中でない場合には、レリーズボタンがオフから１段階目の押圧状態（いわゆる半押状態）である１ｓｔレリーズオンの状態へ遷移したか否かを判定する（ステップＳ２２）。

ここで１ｓｔレリーズオンの状態へ遷移した場合には、この遷移したタイミングにおいて、静止画像を撮影するための自動露出（ＡＥ）制御をＡＥ処理部３０により行うと共に、自動焦点制御（ＡＦ）をＡＦ処理部３１により行う（ステップＳ２３）。これにより、１ｓｔレリーズボタンが押圧された以降は、いわゆるＡＥロックおよびＡＦロックが行われる。

一方、ステップＳ２２において１ｓｔレリーズオンの状態へ遷移していない場合には、レリーズボタンが２段階目の押圧状態である２ｎｄレリーズオンの状態（いわゆる全押状態）となっているか否かを判定する（ステップＳ２４）。

ここで２ｎｄレリーズオンの状態となっている場合には、絞り１２を駆動しシャッタ２１を開いて撮像素子２３により露光する一連の撮影処理を実行する（ステップＳ２５）。

続いて、撮影により得られた画像に対して、後で図１３を参照して説明するような画像処理を行う（ステップＳ２６）。

その後、画像処理された静止画像は、例えばレックビューとしてＬＣＤ３４に表示されると共に、カメラ設定されている型式で静止画像ファイルとして記録媒体３６に記録される（ステップＳ２７）。具体例を挙げれば、静止画記録モードとしてＪＰＥＧ記録が設定されている場合には、ＹＣ４２２形式でＪＰＥＧ圧縮してＪＰＥＧファイルを作成し記録を行う。また、静止画記録モードとしてＴＩＦＦ記録が設定されている場合には、ＲＧＢデータに変換してＲＧＢ形式でＴＩＦＦファイルを作成し記録を行う。さらに、ＲＡＷ記録を行うように設定されている場合には、ステップＳ２５で撮影して得たＲＡＷ画像をＲＡＷファイルとして記録する。

そして、ステップＳ２１において動画記録中である場合、またはステップＳ２４において２ｎｄレリーズオンの状態となっていない場合には、シャッタ２１を開放状態にして、動画撮影またはライブビュー用の自動露出（ＡＥ）制御をＡＥ処理部３０により行い（ステップＳ２８）、電子シャッタによる１フレーム（あるいは１フィールド等）の画像撮影を行う（ステップＳ２９）。

こうして撮影された画像に対して、後で図１３を参照して説明するような画像処理を行い（ステップＳ３０）、ＬＣＤ３４にライブビュー表示を行う（ステップＳ３１）。

次に、動画記録中であるか否かを判定して（ステップＳ３２）、動画記録中である場合には撮影して得られたフレーム画像を画像圧縮伸張部３２で圧縮して記録媒体３６へ記録（追記）する（ステップＳ３３）。

ステップＳ２３、ステップＳ２７、あるいはステップＳ３３の処理を行うか、またはステップＳ３２において動画記録中でない場合には、電源ボタンがオフ操作されたか否かを判定する（ステップＳ３４）。

ここで、電源ボタンがオフ操作されていない場合には、ステップＳ１２へ戻って上述したような処理を繰り返して行い、電源ボタンがオフ操作された場合には、このメイン処理を終了する。

次に図１３は、撮像装置の画像処理部２７により行われる画像処理の流れを示すフローチャートである。

この処理に入ると、ＯＢ減算処理を行い、画像データからオプティカルブラック値を減算する（ステップＳ４１）。

続いて、例えばベイヤー配列となっている画像データに対して、予めユーザーが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ３９から読み出して、読み出したＲゲインをＲ画素値に、ＢゲインをＢ画素値にそれぞれ乗算することによりホワイトバランス（ＷＢ）補正を行う（ステップＳ４２）。なお、ホワイトバランスモードとしてオートホワイトバランスが選択されている場合には、撮影した画像データを解析することによりＲゲインとＢゲインを算出し、算出したＲゲインとＢゲインを用いてホワイトバランス補正を行う。

そして、１画素につきＲＧＢ成分の内の１色成分のみが存在するベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補間して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換する同時化処理を行う（ステップＳ４３）。

さらに、設定されているホワイトバランスモードに応じたカラーマトリクス係数を本体のフラッシュメモリ３９から読み出して画像データに乗算すると共に、色相や彩度に応じて適切な色再現になるように色を補正することにより、色再現処理を行う（ステップＳ４４）。

次に、ＲＧＢデータをそれぞれガンマ変換してから、ＹＣｂＣｒデータに色変換した後に、輝度データＹに対してさらにガンマ変換することにより、輝度変更処理を行う（ステップＳ４５）。

続いて、バンドパスフィルタにより画像データからエッジ成分を抽出して、抽出したエッジ成分に、エッジ強調度に応じた係数を乗算して画像データに加算することにより、エッジ強調処理を行う（ステップＳ４６）。

加えて、画像データを周波数分解して、周波数に応じてコアリング処理などを行うことにより、ノイズを低減するノイズリダクション処理を行う（ステップＳ４７）。

上述したステップＳ４１〜Ｓ４７の処理が、基本画像処理部２８により行われる基本画像処理である。

続いて、操作部３８からの入力設定により、日焼け効果がオンに設定されているか否かを判定する（ステップＳ４８）。

ここで日焼け効果がオンに設定されている場合には、特殊画像処理部２９により以下に説明するステップＳ４９〜Ｓ５１の処理を行う。

すなわち、解析部４５が、図３に示すような画像Ｐから輝度信号（あるいは輝度相当信号）を抽出し、図４（または図８）に示したような部分領域を設定して、図５（または図９）に示したような代表値の配置を算出する（ステップＳ４９）。

次に、ゲインマップ生成部４６が、図５（または図９）に示したような代表値の配置に基づいて、図６（または図１０）に示したように配置を変更し、変更された代表値の配置に基づいて図７（または図１１）に示したようなゲインマップＧＭを作成する（ステップＳ５０）。

その後、色変更処理部４７が、後で図１４を参照してするような色変更処理を行う（ステップＳ５１）。

このステップＳ５１の処理を行うか、またはステップＳ４８において日焼け効果のエフェクトがオンでない場合には、この処理からリターンする。

続いて図１４は、撮像装置の色変更処理部４７により行われる色変更処理を示すフローチャートである。

この処理に入ると、色変更処理部４７は、基本画像処理が行われてＳＤＲＡＭ３７に記憶されている画像データから、例えば画素配列の順序に従った画素位置（ｘ，ｙ）における１画素の画素値を取得する（ステップＳ６１）。

次に、取得した画素がＲＧＢ色空間で表現されていない場合には、ＲＧＢ色空間の画素値（Ｒ_in（ｘ，ｙ），Ｇ_in（ｘ，ｙ），Ｂ_in（ｘ，ｙ））に変換する（ステップＳ６２）。

そして、ステップＳ６１において画素値を取得した画素と同一画素位置（ｘ，ｙ）のゲイン値Ｇ（ｘ，ｙ）を、ＳＤＲＡＭ３７に記憶されているゲインマップＧＭから取得する（ステップＳ６３）。

続いて、所定の定数Ｒ_cnt，Ｇ_cnt，Ｂ_cntにゲイン値Ｇ（ｘ，ｙ）を乗算することにより、画素値に対する色変更量であるオフセット（Ｒ_cnt×Ｇ（ｘ，ｙ），Ｇ_cnt×Ｇ（ｘ，ｙ），Ｂ_cnt×Ｇ（ｘ，ｙ））を算出する（ステップＳ６４）。

さらに、画素値（Ｒ_in（ｘ，ｙ），Ｇ_in（ｘ，ｙ），Ｂ_in（ｘ，ｙ））にオフセット（Ｒ_cnt×Ｇ（ｘ，ｙ），Ｇ_cnt×Ｇ（ｘ，ｙ），Ｂ_cnt×Ｇ（ｘ，ｙ））を加算することにより、色変更処理を行う（ステップＳ６５）。

加えて、ステップＳ６２と逆の色空間変換を必要に応じて行って、元の色空間の表現に戻す（ステップＳ６６）。

その後、全画素の処理が完了したか否かを判定して（ステップＳ６７）、まだ全画素の処理が完了していない場合にはステップＳ６１へ戻って次の画素位置について同様の処理を行い、全画素の処理が完了した場合にはこの処理からリターンする。

このような実施形態１によれば、画像の部分領域を構成する画素の画素値に基づきゲインマップを作成して画像の色相と彩度との少なくとも一方を変更しているために、ランダムではないのに画像毎に異なる色変更を行うことができ、結果を容易に予想することができず意外性を生じる余地がある色変更画像を得ることができる。そして、画像の画素値を利用しておりランダムな処理ではないために、連写や動画などにおけるフレーム間の相関性をある程度維持することができ、不自然な画像群となるのを避けることができる。従って、利便性の高い画像の色変更を行うことが可能となる。

また、ゲイン値が最大となる領域が、代表値が最大となる部分領域以外の部分領域に対応するようなゲインマップを作成しているために、大きな色変更を行う領域が色飽和した輝度の高い領域となるのを避けることができ、より効果的な色変更となる。

さらに、ゲイン値の空間分布が滑らかに変化するようなゲインマップを得るようにしているために、隣接する画素間で色が急激に変化することはない。また、ゲイン値のヒストグラムが平坦化された分布となるようなゲインマップを生成するようにしているために、画像全体がほぼ均一に強く色変更されたり、あるいは画像全体の色変更がほとんどなかったりするような処理を避けることができる。こうして、色変更が滑らかに生じ、色変更が比較的大きい部分と比較的小さい部分とが程良く分布した自然な風合いの色変更画像を得ることができる。

そして、配置を異ならせた複数の代表値をゲインマップ上の複数の所定の画素位置に配置し、所定の画素位置から任意の画素位置までの距離に基づいて任意の画素位置のゲイン値を補間するようにしたために、色合いの変化に不自然な段差等が生じることのない、自然なグラデーションで色合いが変化した色変更画像を得ることができる。

加えて、ゲイン値に所定の定数を乗算したオフセットを画像に加算することで色変更画像を算出しているために、コンピュータでの演算処理に適しており、高速な処理が可能となる。このとき、ゲイン値に乗算する定数を選択することにより、所望の色合いの色変更を行うことが可能となり、日焼けしたような画像を得る用途だけでなく、その他の様々な用途に対応することも可能となる。
［実施形態２］

図１５から図１８は本発明の実施形態２を示したものであり、図１５は撮像装置が予め記憶している基本ゲインマップの例を示す図表である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態においては、基本的なゲイン値の分布を示す基本ゲインマップが、例えばフラッシュメモリ３９に予め（例えば、撮像装置の製造工程において）記憶されている。

ここで上述したように、記録媒体３６へ記録する画像の画素数（画素構成）は、複数の選択肢の中から選択して設定可能である。しかし、記録可能な全ての画素構成に合わせて基本ゲインマップを予め多数用意しておくことは、フラッシュメモリ３９として大容量のものが必要となるために現実的でない。そこで、基本ゲインマップは、記録画像の最大画素数以下の画素構成、例えば記録画像の最小画素数と同程度かあるいはそれよりも小さい画素構成のデータとして構成されているものとする。このような構成により、フラッシュメモリ３９の記憶容量を削減することが可能となる。

図１５に示す例においては、右上角の高いゲイン値（例えばゲイン値１）から左下角の低いゲイン値（例えばゲイン値０）へ向けて滑らかなグラデーションをなす基本ゲインマップＢＧＭ１と、右下角の高いゲイン値（例：１）から左上角の低いゲイン値（例：０）へ向けて滑らかなグラデーションをなす基本ゲインマップＢＧＭ２と、左下角の高いゲイン値（例：１）から右上角の低いゲイン値（例：０）へ向けて滑らかなグラデーションをなす基本ゲインマップＢＧＭ３と、左上角の高いゲイン値（例：１）から右下角の低いゲイン値（例：０）へ向けて滑らかなグラデーションをなす基本ゲインマップＢＧＭ４と、がフラッシュメモリ３９に記憶されている。

これらの基本ゲインマップＢＧＭ１〜ＢＧＭ４は、ゲイン値の空間分布が滑らかに変化し、さらに、ゲイン値のヒストグラムが平坦化された分布となるような（つまり、高いゲイン値や低いゲイン値などの特定のゲイン値の画素数が偏って多かったり少なかったりすることのない）ゲインマップとなっている。

このような構成において、解析部４５が画像データを解析して例えば図５に示したような代表値の配置を得るのは上述した実施形態１と同様である。

ゲインマップ生成部４６は、解析部４５により得られた代表値の配置に基づき、フラッシュメモリ３９に記憶されている基本ゲインマップＢＧＭ１〜ＢＧＭ４の中から、使用する基本ゲインマップを選択する。このときの選択は、例えば以下のように行う。

上述したように、輝度が高い領域は白色（色飽和した状態）に近く色の表現範囲が狭い。一方、輝度が低い領域は黒色に近いために同様に色の表現範囲が狭い。一般に、色の表現範囲が広いのは、輝度が中庸の領域である。

そこでゲインマップ生成部４６は、例えば図５のように得られた代表値Ｖ１〜Ｖ４の内から、代表値のダイナミックレンジ（つまり、画素値のダイナミックレンジであり、例えば１０ビットである場合には０〜１０２３）の中央値（例えば５１２）に最も近い代表値を選択する。

図５に示す例において、ダイナミックレンジの中央値に最も近い代表値がＶ２であったものとする。

すると、ゲインマップ生成部４６は、代表値Ｖ２の配置である右上に高いゲイン値が配分されるように、図１６に示すような基本ゲインマップＢＧＭ１を選択する。ここに図１６は、ゲインマップ生成部４６により選択された基本ゲインマップＢＧＭ１を示す図である。

選択された基本ゲインマップＢＧＭ１は、上述したように、色変更処理の対象となる画像データよりも小さい画素構成である場合が多い。そこで、ゲインマップ生成部４６は、基本ゲインマップＢＧＭ１を補間（例えば線形補間）することにより、色変更処理の対象となる画像データと同一の画素構成のゲインマップＧＭを生成する。ここに図１７は、図１６に示す基本ゲインマップＢＧＭ１を補間して作成されたゲインマップＧＭを示す図である。

補間元の基本ゲインマップＢＧＭ１が、上述したようにゲイン値の空間分布が滑らかに変化し、ゲイン値のヒストグラムが平坦化された分布であるために、線形補間等により作成されたゲインマップＧＭもゲイン値の空間分布が滑らかに変化し、ゲイン値のヒストグラムが平坦化された分布となる。

また、図１８は、撮像装置が予め記憶している基本ゲインマップの変形例を示す図である。

図１５に示した例では基本ゲインマップＢＧＭ１〜ＢＧＭ４をフラッシュメモリ３９に記憶させたが、これらは９０度単位の回転対称性を備えている。従って、この図１８に示す例では、基本ゲインマップＢＧＭ１〜ＢＧＭ４の内の１つの基本ゲインマップ、ここでは例えば基本ゲインマップＢＧＭ４に相当する基本ゲインマップＢＧＭのみをフラッシュメモリ３９に記憶させて、その他の基本ゲインマップＢＧＭ１〜ＢＧＭ３が必要となった場合には基本ゲインマップＢＧＭを回転させることにより得るようにしている。

このような構成を採用すれば、フラッシュメモリ３９における基本ゲインマップの記憶容量を図１５に示した例よりも例えば１／４に低減することができる。また、行方向および列方向にゲイン値が配列された基本ゲインマップＢＧＭを９０度単位で回転させることは、基本ゲインマップＢＧＭの読出開始位置および読出順序を変更すれば容易に実行できるために、処理負荷がほとんど増加することがない利点もある。

なお、上述では基本的なゲイン値の分布を示す基本ゲインマップを予めフラッシュメモリ３９に記憶しておいたが、これに代えて、ゲインマップを作成可能な数式やアルゴリズム等をフラッシュメモリ３９に予め記憶しておき、代表値の配置に基づき使用する数式やアルゴリズムを選択してゲインマップを作成するようにしても構わない。ゲインマップは比較的単純な数式等により表現可能である場合が多いために、このような構成を採用すればフラッシュメモリ３９の記憶容量をより削減することが可能となる。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、ゲイン値の空間分布が滑らかに変化し、ゲイン値のヒストグラムが平坦化された分布となっている基本ゲインマップに基づいてゲインマップＧＭを生成するようにしたために、画像全体がほぼ均一に強く色変更されたり、あるいは画像全体の色変更がほとんどなかったりするような処理を避けることができる。こうして、色変更が滑らかに生じ、色変更が比較的大きい部分と比較的小さい部分とが程良く分布した自然な風合いの色変更画像を得ることができる。
［実施形態３］

図１９および図２０は本発明の実施形態３を示したものであり、図１９は撮像装置が予め記憶している補正係数マップの例を示す図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態においては、上述した実施形態１で説明したように作成されたゲインマップＧＭを補正するための補正係数の分布を示す補正係数マップＣＣＭが、例えばフラッシュメモリ３９に予め（例えば、撮像装置の製造工程において）記憶されている。この補正係数マップＣＣＭは、図１９に示すように、特定の画素位置（例えば画像中央部分）が最も小さな値となり、特定の画素位置から離隔するほど（例えば画像周辺に行くほど）大きな値となる補正係数の分布となっている。さらに、補正係数マップＣＣＭは、演算を簡単にするために、補正係数の取り得る範囲が０以上１以下となるように正規化されているものとする。

なお、補正係数マップＣＣＭは、被写体に応じて、一部を切り出すあるいは値を変更するようにしても良い。例えば、主要被写体を識別して、主要被写体部分は補正係数がより小さくなるような補正係数マップＣＣＭを、一部の切り出しあるいは値の変更により生成するようにしても良い。

この補正係数マップＣＣＭは、上述した実施形態２の基本ゲインマップと同様に、記録画像の最大画素数以下の画素構成、例えば記録画像の最小画素数と同程度かあるいはそれよりも小さい画素構成のデータとして構成し、色変更処理の対象となる画像データの画素構成に応じて補間等を行うようにすると良い。このような構成により、フラッシュメモリ３９の記憶容量を削減することが可能となるのは上述と同様である。

このような構成において、解析部４５が画像データを解析して例えば図５に示したような代表値の配置を得るのは上述した実施形態１と同様である。

さらに、ゲインマップ生成部４６が、解析部４５により得られた代表値の配置を例えば図６に示したように異ならせてから、補間処理することにより、例えば図７に示したようなゲインマップＧＭを算出する点も、上述した実施形態１と同様である。

本実施形態においてはさらに、ゲインマップ生成部４６は、例えば図７に示したように作成したゲインマップＧＭの補正を行う。

すなわち、ゲインマップ生成部４６は、フラッシュメモリ３９から図１９に示すような補正係数マップＣＣＭを読み出して、読み出した補正係数マップＣＣＭの画素構成が色変更処理の対象となる画像データの画素構成（ひいてはゲインマップＧＭの画素構成）と異なる場合には、補正係数マップＣＣＭを補間（例えば線形補間）することにより、ゲインマップＧＭの画素構成と同じ画素構成の補正係数マップＣＣＭを取得する。

次に、ゲインマップ生成部４６は、ゲインマップＧＭ上の各ゲイン値に対して、補正係数マップＣＣＭ上における同一画素位置の補正係数を乗算することにより、図２０に示すような補正ゲインマップＣＧＭを生成する。ここに、図２０はゲインマップＧＭを補正係数マップＣＣＭに基づき補正して得られた補正ゲインマップＣＧＭの例を示す図である。

そして、色変更処理部４７は、補正ゲインマップＣＧＭに基づいて、画像の色相と彩度との少なくとも一方を、上述したように変更する。

なお、上述した実施形態２の構成の場合には、図１９に示した補正係数マップＣＣＭにより補正された後の基本ゲインマップをフラッシュメモリ３９に予め記憶させておくようにすれば良いために、補正係数マップＣＣＭを別途に記憶させておく必要はない。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、色変更処理を、特定の画素位置が最も小さな値となり、特定の画素位置から離隔するほど大きな値となる補正係数により補正した補正ゲインマップＣＧＭに基づき行うようにしたために、例えば主要被写体ＯＢＪなどの色変更を抑制することができ、画像全体が色被りしてしまったような印象の画像となるのを防止して、好ましい色変更画像を得ることができる。

なお、上述では主として画像処理装置について説明したが、画像処理装置と同様の処理を行う画像処理方法であっても良いし、コンピュータを制御して画像処理装置と同様の処理を行うためのプログラム、該プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
１１…レンズ
１２…絞り
１３…ドライバ
１４…マイクロコンピュータ
１５…フラッシュメモリ
２１…シャッタ
２２…撮像部
２３…撮像素子
２４…アナログ処理部
２５…Ａ／Ｄ変換部
２６…ＲＡＷ縮小処理部
２７…画像処理部
２８…基本画像処理部
２９…特殊画像処理部
３０…ＡＥ処理部
３１…ＡＦ処理部
３２…画像圧縮伸張部
３３…ＬＣＤドライバ
３４…ＬＣＤ
３５…メモリインタフェース（メモリＩ／Ｆ）
３６…記録媒体
３７…ＳＤＲＡＭ
３８…操作部
３９…フラッシュメモリ
４０…バス
４１…マイクロコンピュータ（制御部）
４５…解析部
４６…ゲインマップ生成部
４７…色変更処理部

Claims (7)

1. 画像の部分領域を構成する画素の画素値に基づき該部分領域に対応する代表値を算出することを複数の部分領域に対して行い、算出した複数の代表値と複数の上記部分領域の配置とに基づき代表値の配置を得る解析部と、
   上記代表値の配置に基づいて、上記画像を構成する各画素に対応するゲイン値を与えるゲインマップであって、該ゲイン値が最大となる領域が上記代表値が最大となる部分領域以外の部分領域に対応するようなゲインマップを得るゲインマップ生成部と、
   上記ゲインマップに基づいて、上記画像の色相と彩度との少なくとも一方を変更する色変更処理部と、
   を具備することを特徴とする画像処理装置。
2. 上記ゲインマップ生成部は、上記ゲインマップ上のゲイン値の空間分布が滑らかに変化するような該ゲインマップを得ることを特徴とする請求項１に記載の画像処理装置。
3. 上記ゲインマップ生成部は、上記代表値の配置を異ならせるように、複数の上記代表値を上記ゲインマップ上の複数の所定の画素位置に配置し、該所定の画素位置から任意の画素位置までの距離に基づいて該任意の画素位置のゲイン値を補間することにより上記ゲインマップを算出することを特徴とする請求項２に記載の画像処理装置。
4. 上記ゲインマップ生成部は、上記ゲインマップ上の各ゲイン値に対して、特定の画素位置が最も小さな値となり、該特定の画素位置から離隔するほど大きな値となる補正係数を乗算することにより、補正されたゲインマップを生成し、
   上記色変更処理部は、上記補正されたゲインマップに基づいて、上記画像の色相と彩度との少なくとも一方を変更することを特徴とする請求項２に記載の画像処理装置。
5. 上記画像における画素位置を（ｘ，ｙ）とし、上記画像を表現する色空間の成分の内の、色相または彩度に係る成分の少なくとも１つをＣにより表すとすると、画素位置に依存しない所定の定数をＣ_cntとし、画素位置（ｘ，ｙ）における、上記色変更処理部による色変更前の成分をＣ_in（ｘ，ｙ）、色変更後の成分をＣ_out（ｘ，ｙ）、上記ゲインマップのゲイン値をＧ（ｘ，ｙ）とすれば、上記色変更処理部は、
   Ｃ_out（ｘ，ｙ）＝Ｃ_in（ｘ，ｙ）＋Ｃ_cnt×Ｇ（ｘ，ｙ）
   の演算を全ての画素位置（ｘ，ｙ）に対して行うことにより、上記画像の色変更を行うことを特徴とする請求項１に記載の画像処理装置。
6. 画像の部分領域を構成する画素の画素値に基づき該部分領域に対応する代表値を算出することを複数の部分領域に対して行い、算出した複数の代表値と複数の上記部分領域の配置とに基づき代表値の配置を得る解析ステップと、
   上記代表値の配置に基づいて、上記画像を構成する各画素に対応するゲイン値を与えるゲインマップであって、該ゲイン値が最大となる領域が上記代表値が最大となる部分領域以外の部分領域に対応するようなゲインマップを得るゲインマップ生成ステップと、
   上記ゲインマップに基づいて、上記画像の色相と彩度との少なくとも一方を変更する色変更処理ステップと、
   を有することを特徴とする画像処理方法。
7. コンピュータに画像処理を行わせるためのプログラムであって、
   コンピュータに、
   画像の部分領域を構成する画素の画素値に基づき該部分領域に対応する代表値を算出することを複数の部分領域に対して行い、算出した複数の代表値と複数の上記部分領域の配置とに基づき代表値の配置を得る解析ステップと、
   上記代表値の配置に基づいて、上記画像を構成する各画素に対応するゲイン値を与えるゲインマップであって、該ゲイン値が最大となる領域が上記代表値が最大となる部分領域以外の部分領域に対応するようなゲインマップを得るゲインマップ生成ステップと、
   上記ゲインマップに基づいて、上記画像の色相と彩度との少なくとも一方を変更する色変更処理ステップと、
   を実行させるためのプログラム。