JP2014022998A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】 撮影に使用されたレンズの色特性の相違に起因する撮影画像の色味の差異を補正する画像処理装置およびその制御方法を提供する。
【解決手段】 色特性の異なる複数の種類の交換レンズのうち、画像の撮影に用いられた交換レンズの種類を判定する（Ｓ１００）。そして、画像のホワイトバランス調整に用いるホワイトバランス係数および画像に適用する色空間変換処理の変換特性の少なくとも一方を、画像の撮影に用いられた交換レンズの種類に対応する（Ｓ１０１，Ｓ１０２）ものとすることにより、交換レンズの色特性の差が前記画像の色味に与える影響を軽減する。
【選択図】 図１

Description

本発明は、画像処理装置およびその制御方法に関し、特にレンズユニットの光学特性に起因する撮影画像の色味の差を低減させる技術に関する。

デジタルカメラにおいては、ＣＣＤなどのイメージセンサで取得したＲＡＷ画像に対し、ホワイトバランス調整や色処理などの画像処理を施すことで、記録や表示に用いられる画像が生成される。

ホワイトバランス調整は、イメージセンサから取得された赤（Ｒ）、緑（Ｇ）、青（Ｂ）それぞれの信号値のゲインを調整する処理であり、色処理は色の濃さおよび色合いの調整処理や、３次元ルックアップテーブル（３Ｄ−ＬＵＴ）を用いた色変換処理などである。

ホワイトバランス調整や色処理は、撮影画像の色かぶりや色再現性の低下を補正し、被写体の色味を適切に表現するために行われる。
撮影画像の色味が変化する要因としては、主に光源の色温度やイメージセンサの分光特性であるが、それ以外にも要因がある。特許文献１には、瞳位置や絞り値のような撮影条件によってＣＣＤのマイクロレンズへの光線入射角が変化することによる撮影画像の色かぶりを、撮影条件に基づくホワイトバランスを設定することで低減することが提案されている。

特許第４３３７１６１号公報

さらに、撮影画像の色味は、撮像レンズの分光透過率にも影響を受ける。特にレンズ交換が可能なカメラの場合、分光透過率は装着している交換レンズの機種によって異なる場合がある。
例えばフィルムカメラとデジタルカメラの両方に装着可能な交換レンズのように、複数種のカメラに装着可能な交換レンズがある。フィルムカメラはデジタルカメラと異なりホワイトバランス調整や色処理を任意に行なうことはできない。装着される交換レンズの種類によって撮影画像の色味が大きく変化することを防ぐため、フィルムカメラに装着可能な交換レンズは、分光透過率による色特性がある一定の範囲に収まるように光学部材の設計がされてきた。

一方で、デジタルカメラはホワイトバランス調整や色再現処理を任意に行なうことが可能であるため、デジタルカメラのみに装着可能な交換レンズは、分光透過率による色特性をフィルムカメラに装着可能な交換レンズと同等とする必要がない。分光透過率をある程度自由に設計可能にすることで、収差低減や小型化といった効果が得られる場合がある。

交換レンズの色特性の例を図２に示す。図２はある光源下における光源の分光分布とレンズの分光透過率から算出したレンズの色特性を示している。ここで、レンズタイプ１はフィルムカメラとデジタルカメラの両方に装着可能な交換レンズを、レンズタイプ２はデジタルカメラのみに装着可能な交換レンズを示している。レンズタイプ１に分類される交換レンズには様々な種類のレンズが存在するが、それぞれの色特性は図中の点ａを中心とした分布領域内に分布する。またレンズタイプ１と同様に、レンズタイプ２に分類される交換レンズにも様々なレンズの種類が存在し、それぞれの色特性は図中の点ｂを中心とした分布領域内に分布する。

レンズタイプ１とレンズタイプ２はいずれもデジタルカメラに装着可能であるため、両者を装着可能なデジタルカメラが存在する。実際にはレンズマウントの形状が適合する必要があるが、変換アダプターを用いることで装着可能となる場合もある。

しかし、このように色特性の異なる交換レンズを装着可能なカメラの場合、装着されるレンズによって撮影画像の色味が異なるという問題が生じる。特許文献１に開示された従来技術は、絞り値や瞳位置といった撮影条件の差異に起因する色味の変化を補正することについて開示しているが、撮像レンズの分光透過率に起因した色味の変化やその補正方法は開示および示唆されていない。

本発明はこのような従来技術の課題に鑑みなされたものであり、撮影に使用されたレンズの色特性の相違に起因する撮影画像の色味の差異を補正する画像処理装置およびその制御方法の提供を目的とする。

上述の目的は、色特性の異なる複数の種類の交換レンズのうち、画像の撮影に用いられた交換レンズの種類を判定する判定手段と、画像に対し、ホワイトバランス調整及び色空間変換処理を適用する画像処理手段と、を有し、画像処理手段は、ホワイトバランス調整に用いるホワイトバランス係数および色空間変換処理の変換特性の少なくとも一方を、画像の撮影に用いられた交換レンズの種類に対応するものとすることにより、交換レンズの色特性の差が画像の色味に与える影響を軽減することを特徴とする画像処理装置によって達成される。

本発明によれば、撮影に使用されたレンズの色特性の相違に起因する撮影画像の色味の差異を補正する画像処理装置およびその制御方法を提供することができる。

本発明の第１の実施形態に係る画像処理装置の一例としてのレンズ交換式デジタルカメラシステムの機能構成例を示すブロック図 交換レンズの色特性の例を示す図 本発明の第１の実施形態における、カメラ制御部とレンズ制御部との通信に係る構成の例を示すブロック図 本発明の第１の実施形態におけるレンズ制御部が有するレンズ種類被判定部の構成例を示す図 本発明の第１の実施形態に係るカメラ制御部が行う交換レンズ種別の判定処理を説明するためのフローチャート 本発明の第１の実施形態において画像処理部で行なわれる現像処理を説明するためのフローチャート 本発明の第１の実施形態において保持するホワイトバランス係数データのデータ構造の例を示す図 本発明の第１の実施形態における３Ｄ−ＬＵＴを色空間で模式的に示した図 ３次元補間演算の一例としての四面体補間法を説明するための図 本発明の第１の実施形態において画像処理部で行なわれる現像処理の別の例を説明するためのフローチャート 本発明の第１の実施形態における、レンズタイプに応じた３Ｄ−ＬＵＴのデータ構造の例を示す図 本発明の第１の実施形態において画像処理部で行なわれる現像処理のさらに別の例を説明するためのフローチャート 本発明の第１の実施形態における、レンズタイプに応じた白検出範囲の設定例を示す図 本発明の第１の実施形態において画像処理部で行なわれる手動ホワイトバランス係数の登録処理の例を説明するためのフローチャート 本発明の第１の実施形態における、レンズタイプをレンズの分光透過率に応じた色特性から分類する方法の例を示す図 本発明の第２の実施形態におけるＲＡＷ画像生成処理の特徴部分を説明するためのフローチャート 本発明の第２の実施形態において、ＲＡＷ画像ファイルのヘッダーに記録される情報の例を示す図 本発明の第２の実施形態における、手動ホワイトバランス係数の画像間コピー処理を説明するためのフローチャート

（第１の実施形態）
以下、本発明の例示的な実施形態について図面を参照して説明する。
図１は、本発明の第１の実施形態に係る画像処理装置の一例としてのレンズ交換式デジタルカメラシステムの機能構成例を示すブロック図である。カメラシステムはカメラ１０と、カメラ１０に着脱可能なレンズユニットである交換レンズ１００とから構成される。マウント１は、カメラ１０に対して交換レンズ１００を着脱可能に装着するための機構であり、カメラ１０から交換レンズ１００に電源を供給したり、カメラ１０と交換レンズ１００との間で相互に通信したりするための電気的接点を備える。マウント１は、カメラ１０が有する部分と交換レンズ１００が有する部分とに分かれるが、図１では便宜上まとめて記載している。

イメージセンサ（撮像素子）１１は複数の画素を有する光電変換デバイスである。イメージセンサ１１は、交換レンズ１００内の撮像レンズ１０１により形成された被写体像を各画素で光電変換して被写体像に対応したアナログ電気信号を出力する。また、Ａ／Ｄ変換部１２は、イメージセンサ１１から出力されたアナログ電気信号をデジタル信号に変換する。画像処理部１３は、Ａ／Ｄ変換部１２の出力するデジタル信号に対して各種の画像処理を適用し、画像データを生成する。画像処理部１３はホワイトバランス処理部１３０と、色処理部１３１と、その他画像処理部１３２から構成される。ホワイトバランス処理部１３０では画像処理部１３への入力画像を構成するＲ、Ｇ、Ｂの信号に対し、それぞれゲインをかけＲ、Ｇ、Ｂの色比を調整する処理を行なう。色処理部１３１は色の濃さや色合いの調整、３Ｄ−ＬＵＴなどの色変換処理を行なう。また、その他画像処理部１３２では画素補間処理や明度調整処理、ガンマ処理などの現像処理を行なう。画像処理部１３にて生成された画像データは表示部１４に表示されたり、メモリカードなどの記録媒体１５に記録されたりする。

メモリ１６は、画像処理部１３の処理バッファや、後述するカメラ制御部１８が実行するプログラムの記憶装置として利用される。メモリ１６は、ホワイトバランス処理部１３０や色処理部１３１が使用するホワイトバランス係数、変換係数、および３Ｄ−ＬＵＴの記憶装置や、カメラ１０が表示部１４に表示するメニュー画面などのＧＵＩデータの記憶装置としても用いられる。

操作入力部１７は、電源のオン／オフを行うための電源スイッチ、画像の記録を開始させる撮影スイッチおよび、各種メニューの設定を行うための選択／設定スイッチ等、ユーザがカメラ１０に指示を入力するための入力デバイス群である。カメラ制御部１８は、マイクロコンピュータを有し、メモリ１６に記憶されたプログラムを実行し、画像処理部１３の制御や交換レンズ１００との通信制御など、カメラシステム全体の動作制御を行う。

交換レンズ１００が有するレンズ駆動部１０２は、レンズ制御部１０３の制御に従い、撮像レンズ１０１のアクチュエータやモータを駆動する。撮像レンズ１０１のアクチュエータやモータは、撮像レンズ１０１が有するフォーカスレンズ、ズームレンズ、絞りおよび防振レンズなどを移動または動作させる。レンズ制御部１０３はマイクロコンピュータを有し、カメラ制御部１８からマウント１を通じて受信した制御信号に応じてレンズ駆動部１０２を制御する。メモリ１０４は、レンズ制御部１０３が用いる各種データの記憶装置として用いられる。なお、本実施形態の撮像装置に対して装着可能な交換レンズには、２種類のタイプがあるものとする。

図３は、図１における、カメラ制御部１８とレンズ制御部１０３との通信に係る構成の例を示すブロック図である。
まず、マウント１が有する端子について説明する。
ＬＣＬＫ端子 １−１は、カメラ１０から交換レンズ１００に出力される通信クロック信号用の端子である。ＤＣＬ端子 １−２は、カメラ１０から交換レンズ１００に出力される通信データ用の端子である。ＤＬＣ端子 １−３は、交換レンズ１００からカメラ１０に出力される通信データ用の端子である。
ＭＩＦ端子 １−４は、カメラ１０に交換レンズ１００が装着されたことを検出するための端子である。カメラ制御部１８内のマイクロコンピュータ（以下、カメラマイコンという）２０は、ＭＩＦ端子 １−４の電圧に基づいて、交換レンズ１００がカメラ１０に装着されたことを検出する。

ＤＴＥＦ端子 １−５は、カメラ１０に装着された交換レンズ１００の種類を検出するための端子である。カメラマイコン２０は、ＤＴＥＦ端子 １−５の電圧に基づいて、カメラ１０に装着された交換レンズ１００の種類を検出する。

ＶＢＡＴ端子 １−６は、カメラ１０から交換レンズ１００に、通信制御を除く各種動作に用いられる駆動用電源（ＶＭ）を供給するための端子である。ＶＤＤ端子 １−７は、カメラ１０から交換レンズ１００に、通信制御に用いられる通信制御用電源（ＶＤＤ）を供給する端子である。ＤＧＮＤ端子 １−８は、カメラ１０と交換レンズ１００の通信制御系をグランドに接続する端子である。ＰＧＮＤ端子 １−９は、カメラ１０と交換レンズ１００に設けられたアクチュエータやモータ等を含むメカニカル駆動系をグランドに接続するための端子である。

本実施形態のカメラ１０には、カメラ１０との通信電圧が異なる複数種類の交換レンズ１００が装着されうる。以下の説明では、説明及び理解を容易にするため、カメラ１０がＤＴＥＦ端子 １−５の電圧に基づいて識別する交換レンズ１００の種類が、第１の交換レンズ（レンズタイプ１）と、第２の交換レンズ（レンズタイプ２）の２種類であるものとする。第２の交換レンズは、第１の交換レンズと通信電圧が異なる

なお、ＤＴＥＦ端子 １−５の電圧で検出される「種類」は、レンズの分光透過率の差異による色特性によって分類される「種類」であり、いわゆる「機種」とは必ずしも対応しない。

カメラ制御部１８内に設けられたカメラ電源部２１は、カメラ１０に搭載されたバッテリから供給されたバッテリ電圧を各部の動作に必要な電圧に変換する。本実施形態においてカメラ電源部２１は、電圧Ｖ１，Ｖ２，Ｖ３，ＶＭを生成するものとする。

第１の電圧Ｖ１は、第１および第２の交換レンズの通信制御用電源（ＶＤＤ）としての電源電圧であるとともに、第１の交換レンズの通信電圧である。第２の電圧Ｖ２は、第２の交換レンズの通信電圧である。第３の電圧Ｖ３は、カメラマイコン２０の動作用電源としての電源電圧である。第４の電圧ＶＭは第１および第２の交換レンズの駆動用電源としての電源電圧である。

操作入力部１７の電源スイッチの操作により電源オンが指示されると、カメラマイコン２０は、ＣＮＴ＿ＶＤＤ＿ＯＵＴ端子からスイッチ２２をオンする信号を出力し、カメラ１０から交換レンズ１００へのＶＤＤとＶＭの供給を開始する。電源オフが指示されるとカメラマイコン２０は、ＣＮＴ＿ＶＤＤ＿ＯＵＴ端子からの信号出力を停止してスイッチ２２をオフとし、カメラ１０から交換レンズ１００へのＶＤＤとＶＭの供給を停止する。

カメラマイコン２０は、電圧変換部２３を介して交換レンズ１００との通信を行う。カメラマイコン２０は、通信用クロック信号を出力するＬＣＬＫ＿ＯＵＴ端子と、交換レンズへの通信データを出力するＤＣＬ＿ＯＵＴ端子と、交換レンズからの通信データの入力を受けるＤＬＣ＿ＩＮ端子とを有する。通信用クロック信号および通信データは、通信用信号である。

また、カメラマイコン２０は、交換レンズ１００の装着を検出するためのＭＩＦ＿ＩＮ端子と、交換レンズ１００の種類を識別するためのＤＴＥＦ＿ＩＮ端子と、電圧変換部２３への通信電圧切り替え信号を出力するＣＮＴ＿Ｖ＿ＯＵＴ端子とを有する。

さらに、カメラマイコン２０は、スイッチ２２をオン・オフさせる信号を出力するＣＮＴ＿ＶＤＤ＿ＯＵＴ端子と、画像処理部１３との接続端子と、操作入力部１７との接続端子とを有する。

レンズ制御部１０３内のマイクロコンピュータ（以下、レンズマイコンという）２１１は、カメラ制御部１８の電圧変換部２３を介してカメラマイコン２０と通信を行う。レンズマイコン２１１は、通信用クロック信号の入力を受けるＬＣＬＫ＿ＩＮ端子と、カメラ１０への通信データを出力するＤＬＣ＿ＯＵＴ端子と、カメラ１０からの通信データの入力を受けるＤＣＬ＿ＩＮ端子と、レンズ駆動部１０２との接続端子とを有する。また、レンズ制御部１０３はＶＤＤからレンズマイコン２１１の動作電圧を生成するレンズ電源部２１４を有する。

交換レンズ１００のカメラ１０への装着検出について説明する。カメラマイコン２０のＭＩＦ＿ＩＮ端子は、抵抗Ｒ２（１００ＫΩ）によって電源にプルアップされているので、レンズ未装着時にはその電圧値はＨ（Ｈｉｇｈ）となる。しかし、ＭＩＦ＿ＩＮ端子は、交換レンズ（第１および第２の交換レンズ）１００が装着されると交換レンズ１００においてＧＮＤに接続されるため、交換レンズ１００の種類にかかわらず交換レンズ１００が装着された時点でその電圧値はＬ（Ｌｏｗ）となる。

図４は、レンズ制御部１０３が有するレンズ種類被判定部２１３の構成例を示す図である。レンズ種類被判定部２１３は、マウント１に設けられたＤＴＥＦ端子とＧＮＤとの間に設けられたアクセサリ側抵抗ＲＬにより構成される。抵抗ＲＬの抵抗値は、交換レンズの種類に応じた値を予め設定しておく。例えば、図４（Ａ）に示す第１の交換レンズに設けられた抵抗ＲＬでは０Ωとし、図４（Ｂ）に示す第２の交換レンズに設けられた抵抗ＲＬでは３００ＫΩとする。

カメラ１０では、マウント１のＤＴＥＦ端子とカメラマイコン２０の動作用電源の電圧（Ｖ３）との間にカメラ側抵抗Ｒ１（例えば１００ＫΩとする）が接続され、さらにＤＴＥＦ端子がカメラマイコン２０のＤＴＥＦ＿ＩＮ端子に接続される。カメラマイコン２０のＤＴＥＦ＿ＩＮ端子は、ＡＤ変換機能（ここでは、０〜１．０Ｖを入力レンジとする１０ＢｉｔのＡＤ変換機能とする）を備えている。

カメラマイコン２０による交換レンズの種類判定の動作について説明する。カメラマイコン２０は、ＤＴＥＦ＿ＩＮ端子に入力される電圧値に応じて、装着された交換レンズの種類判定を行う。具体的には、カメラマイコン２０は、入力された電圧値をＡＤ変換し、そのＡＤ変換値とカメラマイコン２０が予め有するレンズ種類判定基準とを比較することでレンズ種類判定を行う。

例えば、第１の交換レンズが装着された場合は、ＤＴＥＦ＿ＩＮ端子に入力される電圧のＡＤ変換値は、Ｒ１の１００ＫΩとＲＬの０Ωとの抵抗比ＲＬ／（Ｒ１＋ＲＬ）で、およそ「０ｘ００００」と決まる。このため、カメラマイコン２０は、ＤＴＥＦ＿ＩＮ端子のＡＤ変換値が第１のレンズ種類判定基準である「０ｘ００００〜０ｘ００７Ｆ」の範囲内にあることを検出して、装着された交換レンズが第１の交換レンズであると判定する。

一方、第２の交換レンズが装着された場合は、ＤＴＥＦ＿ＩＮ端子に入力される電圧のＡＤ変換値はＲ１の１００ＫΩとＲＬの３００ＫΩとの抵抗比ＲＬ／（Ｒ１＋ＲＬ）で、およそ「０ｘ０２ＦＦ」と決まる。このため、カメラマイコン２０は、ＤＴＥＦ＿ＩＮ端子のＡＤ変換値が第２のレンズ種類判定基準である「０ｘ０２８０〜０ｘ０３７Ｆ」の範囲内にあることを検出して、装着された交換レンズが第２の交換レンズであると判定する。

前述したように、カメラマイコン２０は、装着された交換レンズ１００の種類を、ＤＴＥＦ＿ＩＮ端子に入力される電圧値に基づいて判定する。そして、交換レンズ１００の種類の判定結果に応じて、ＣＮＴ＿Ｖ＿ＯＵＴ端子から出力する信号の論理レベルを制御する。具体的には、ＤＴＥＦ＿ＩＮ端子の電圧値から、装着された交換レンズ１００が第１の交換レンズであると判定した場合、カメラマイコン２０は、ＣＮＴ＿Ｖ＿ＯＵＴ端子からＨレベルの信号を出力して通信電圧をＶ１に制御する。また、装着された交換レンズ１００が第２の交換レンズであると判定した場合、カメラマイコン２０は、ＣＮＴ＿Ｖ＿ＯＵＴ端子からＬレベルの信号を出力して通信電圧をＶ２に制御する。

ＤＴＥＦ＿ＩＮ端子の電圧値（ＡＤ変換値）として上述した第１および第２のレンズ種類判定基準外の範囲の電圧値を検出した場合、カメラマイコン２０は、カメラ１０が対応していない交換レンズである「非対応レンズ」が装着されたものと判定する。または、レンズ種類判定が正常に行えないとして判定を留保（Ｒｅｓｅｒｖｅｄ）する。これらの場合は、カメラマイコン２０は、交換レンズ１００との通信を行わない。

図５は、本実施形態においてカメラマイコン２０が行う交換レンズ種別の判定処理を説明するためのフローチャートである。図５に示す処理は、カメラマイコン２０が、メモリ１６内に格納されたプログラムを実行することにより実施される。

カメラマイコン２０は、Ｓ６０でＭＩＦ＿ＩＮ端子から電圧値Ｈ又はＬを、Ｓ６１でＤＴＥＦ＿ＩＮ端子から電圧値を読み込む。なお、Ｓ６０とＳ６１とを同時に実行してもよい。

ＭＩＦ＿ＩＮ端子の電圧値がＬであり、交換レンズ１００の装着が検出された場合、Ｓ６２でカメラマイコン２０は、ＤＴＥＦ＿ＩＮ端子の電圧値（のＡＤ変換結果）に基づいて、装着された交換レンズ１００の種類を判定する。カメラマイコン２０は、装着された交換レンズ１００が第１の交換レンズ（図にはレンズタイプ１と記す）であると判定した場合は、Ｓ６３にてＣＮＴ＿Ｖ＿ＯＵＴ端子からＨを出力して通信電圧をＶ１に設定し、処理をＳ６３Ａに進める。また、装着された交換レンズ１００が第２の交換レンズ（図にはレンズタイプ２と記す）であると判定した場合、カメラマイコン２０は、Ｓ６４にてＣＮＴ＿Ｖ＿ＯＵＴ端子からＬを出力して通信電圧をＶ２に設定し、処理をＳ６４Ａに進める。さらに、装着された交換レンズ１００が第１および第２の交換レンズのいずれでもなく、「非対応レンズ」又は留保（Ｒｅｓｅｒｖｅｄ）と判定した場合、カメラマイコン２０は処理をＳ６５Ａに進める。

Ｓ６３ＡおよびＳ６４Ａでカメラマイコン２０は、設定した通信電圧での交換レンズ１００との通信を開始する。Ｓ６５Ａでカメラマイコン２０は、装着された交換レンズ１００との通信を開始せず、ユーザに対する警告等の処理を行う。

Ｓ６６でカメラマイコン２０は、操作入力部１７の電源スイッチのＯＦＦ操作による電源ＯＦＦの割り込みが生じたか否かを判定し、電源ＯＦＦの割り込みが生じた場合はＳ６７にて電源ＯＦＦの処理を行う。一方、電源ＯＦＦの割り込みが生じていない場合、カメラマイコン２０はＳ６８で、ＭＩＦ＿ＩＮ端子の電圧がＨレベルか否か、すなわち交換レンズ１００がカメラ１０から取り外されたか否かを判定する。ＭＩＦ＿ＩＮ端子からＨレベルの電圧が入力された場合、カメラマイコン２０はＳ６９で交換レンズ１００との通信を停止し、処理をＳ６０に戻す。一方、ＭＩＦ＿ＩＮ端子からＨレベルの電圧が入力されていない場合、カメラマイコン２０は処理をＳ６６に戻す。
このような通信処理を行なうことで、カメラ制御部１８は装着された交換レンズ１００の種別を判定することが可能である。

なお、図５の例では装着された交換レンズ１００の種類をＤＴＥＦ＿ＩＮ端子に入力される電圧値に応じて判定する方法を説明したが、他の判定方法を用いてもよい。例えば、Ｓ６１およびＳ６２のレンズ種別判定と、Ｓ６３ＡおよびＳ６４Ａにおけるレンズタイプに応じた出力電圧の設定とを行わずに、Ｓ６３Ａの直後にレンズ種別に関する情報を交換レンズ１００から受信してレンズ種別を判定してもよい。

次に、画像処理部１３で行なわれる現像処理における、レンズの特性の差による撮影画像の色味の差を低減させるための処理を説明する。
図６は、画像処理部１３で行なわれる現像処理の概要を示すフローチャートである。
まずＳ１００で画像処理部１３のホワイトバランス処理部１３０は、装着されている交換レンズ１００のレンズタイプを判定する。レンズタイプの判定は、カメラ制御部１８における判定結果に基づいて行う。具体的には交換レンズ１００がレンズタイプ２であるか判定し、レンズタイプ１の場合、もしくはレンズタイプ１でもレンズタイプ２でもない非対応レンズの場合はＳ１０１に、レンズタイプ２の場合はＳ１０２に、それぞれ処理を進める。
ホワイトバランス処理部１３０は、Ｓ１０１ではレンズタイプ１用のホワイトバランス調整を、Ｓ１０２ではレンズタイプ２用のホワイトバランス調整を撮影画像に適用する。ホワイトバランス調整は、光源の種類に応じたホワイトバランス係数を、撮影画像の各画素のＲ，Ｇ，Ｂ値へ適用する処理である。光源の種類に応じたホワイトバランス係数は、予め、例えばメモリ１６に保持しておくことができ、光源の種類はユーザーにより選択されてもよいし、カメラが自動判定してもよい。本実施形態では、光源の種類に加え、レンズタイプごとにホワイトバランス係数を用意しておき、ホワイトバランス処理部１３０は、判定されたレンズタイプと光源の種類とに応じたホワイトバランス係数を選択する。

なお、ホワイトバランス係数とは画像を構成するＲ、Ｇ、Ｂの信号へ適用するゲイン値である。Ｒ、Ｇ、Ｂのホワイトバランス係数をそれぞれＷｂＧａｉｎＲ、ＷｂＧａｉｎＧ、ＷｂＧａｉｎＢとし、ホワイトバランス調整前のＲ、Ｇ、Ｂ値をＲ０、Ｇ０、Ｂ０、ホワイトバランス調整後のＲ、Ｇ、Ｂ値をそれぞれＲ１、Ｇ１、Ｂ１とする。この場合、ホワイトバランス調整処理は下記のように表すことができる。以下の式による演算を画像内の全画素に対して行うことでホワイトバランス調整を行う。
Ｒ１ ＝ＷｂＧａｉｎＲ × Ｒ０ ・・・（式１）
Ｇ１ ＝ＷｂＧａｉｎＧ × Ｇ０ ・・・（式２）
Ｂ１ ＝ＷｂＧａｉｎＢ × Ｂ０ ・・・（式３）

図７はメモリ１６に保持するホワイトバランス係数データのデータ構造の例を示す図である。図７に示すように、レンズタイプごとに、複数の光源（太陽光、日陰、くもりなど）に対応したホワイトバランス係数を保持している。つまり、レンズタイプ１の交換レンズ用のホワイトバランス調整を行なう場合は、図７においてレンズタイプ１用領域に格納されたホワイトバランス係数を光源に応じて使用する。また、レンズタイプ２用のホワイトバランス調整を行なう場合は、図７においてレンズタイプ２用領域に格納されたホワイトバランス係数を光源に応じて使用する。レンズタイプ１用のホワイトバランス係数と、レンズタイプ２用のホワイトバランス係数は、それぞれのレンズの色特性を考慮して最適な値を予め実験的にもとめておけば良い。

このように使用するホワイトバランス係数をレンズタイプによって切り替えることで、レンズタイプごとに異なる色特性の影響による画像の色かぶりを低減させることができる。

Ｓ１０３で色処理部１３１は、画像の色の濃さと色合いを調整する。Ｓ１０４で色処理部１３１は、３Ｄ−ＬＵＴ（３次元ルックアップテーブル）を用いた色空間変換処理を適用する。３Ｄ−ＬＵＴとは、３次元入力値（Ｒ，Ｇ，Ｂ）から３次元出力値（Ｒ，Ｇ，Ｂ）への変換特性を定義したテーブルであり、メモリ１６に記憶されている。

３Ｄ−ＬＵＴと、３次元補間演算を併用した色空間変換方法について説明する。入力デジタル画像信号（Ｒ，Ｇ，Ｂ）は、上位ビットと下位ビットとに分離される。上位ビットは、３Ｄ−ＬＵＴを用いて行なう補間演算に必要な複数の参照値の取得に使用される。また、下位ビットは、重み係数ｇとして補間演算に使用される。そして、重み係数ｇと３Ｄ−ＬＵＴから取得した参照値との積和演算により補間値を計算する。

図８は、３次元入力の色空間（ＲＧＢ空間）を、各軸方向に限定数（ここでは８）で分割して単位立体に分割した状態を示している。この単位立体の頂点に対応する入力値に対応する色空間変換後の出力値が、参照値として３Ｄ−ＬＵＴに記憶されている。
入力画素値のＲＧＢ各成分の上位ビットを色空間の座標として取扱い、補間演算に使用する単位立体を選択し（例えば、図８に示す単位立体１０００）、単位立体の頂点に対応する参照値を補間演算に使用する。

このときに使用される３次元補間演算の方法として四面体補間法がある。この補間法は、図９（ｂ）〜（ｇ）に示すように、単位立体（例えば、図８に示す単位立体１０００）を６つの四面体に分割して、入力座標がどの四面体に属するかによって、以下の式を用いて補間演算する。以下では、分割した６つの四面体をそれぞれType０〜Type５と称する。

なお、以下の式では、図９（ａ）に示す単位立体の頂点に対応する参照値を、それぞれＰ０〜Ｐ７とし、重み係数ｇのうち、Ｒの下位ビットをΔＲ、Ｇの下位ビットをΔＧ、Ｂの下位ビットをΔＢと表す。また、Type０からType５の四面体のうち、どの四面体を選択するかは、これら重み係数ΔＲ、ΔＧ、ΔＢの大小関係により決定される。
Type０のとき（ΔＲ＞ΔＧ＞ΔＢ）
Ｘ＝Ｐ０＋（Ｐ１−Ｐ０）×ΔＲ＋（Ｐ３−Ｐ０）×ΔＧ＋（Ｐ７−Ｐ０）×ΔＢ
・・・（式４）
Type１のとき（ΔＲ＞ΔＢ＞ΔＧ）
Ｘ＝Ｐ０＋（Ｐ１−Ｐ０）×ΔＲ＋（Ｐ７−Ｐ０）×ΔＧ＋（Ｐ５−Ｐ０）×ΔＢ
・・・（式５）
Type２のとき（ΔＧ＞ΔＲ＞ΔＢ）
Ｘ＝Ｐ０＋（Ｐ３−Ｐ０）×ΔＲ＋（Ｐ２−Ｐ０）×ΔＧ＋（Ｐ７−Ｐ０）×ΔＢ
・・・（式６）
Type３のとき（ΔＧ＞ΔＢ＞ΔＲ）
Ｘ＝Ｐ０＋（Ｐ７−Ｐ０）×ΔＲ＋（Ｐ２−Ｐ０）×ΔＧ＋（Ｐ６−Ｐ０）×ΔＢ
・・・（式７）
Type４のとき（ΔＢ＞ΔＲ＞ΔＧ）
Ｘ＝Ｐ０＋（Ｐ５−Ｐ０）×ΔＲ＋（Ｐ７−Ｐ０）×ΔＧ＋（Ｐ４−Ｐ０）×ΔＢ
・・・（式８）
Type５のとき（ΔＢ＞ΔＧ＞ΔＲ）
Ｘ＝Ｐ０＋（Ｐ７−Ｐ０）×ΔＲ＋（Ｐ６−Ｐ０）×ΔＧ＋（Ｐ４−Ｐ０）×ΔＢ
・・・（式９）

Ｓ１０４で色処理部１３１が、このような、３Ｄ−ＬＵＴを用いた色空間変換処理を行ない、画像処理部１３における現像処理を終了する。

また、画像処理部１３における現像処理の別の方法について、図１０を参照して説明する。図１０（ａ）は、３Ｄ−ＬＵＴをレンズタイプごとに保持し、撮影に使用された交換レンズのレンズタイプによって３Ｄ−ＬＵＴを切り替えるようにした現像処理を示すフローチャートである。

Ｓ１００からＳ１０３は図６の処理と同じである。色処理部１３１はＳ１１４で交換レンズ１００のレンズタイプを判定し、レンズタイプに応じた３Ｄ−ＬＵＴを用いた色空間変換処理をＳ１１５、Ｓ１１６で行なう。ここで使用する３Ｄ−ＬＵＴはレンズタイプによる色特性の違いを考慮して予め用意したものである。レンズタイプに応じて使用する３Ｄ−ＬＵＴを切り替えることで、色特性の異なる交換レンズを用いて撮影された画像の色味をより詳細に合わせることが可能になる。これは、３Ｄ−ＬＵＴを用いることで、色に応じて入出力特性を変更できるからである。

図１１は、レンズタイプに応じた３Ｄ−ＬＵＴのデータ構造の例を示す。このように、メモリ１６には、レンズタイプ１用の３Ｄ−ＬＵＴとレンズタイプ２用の３Ｄ−ＬＵＴを予め用意しておく。３Ｄ−ＬＵＴは、単位立体の各頂点または３Ｄ−ＬＵＴの各格子点（Ｒ０，Ｇ０，Ｂ０）〜（Ｒ７，Ｇ７，Ｂ７）のそれぞれに対応する変更後の値の集合として表すことができる。撮影に使用される交換レンズのレンズタイプに対応した３Ｄ−ＬＵＴを用いる。なお、図１１で示したデータ構造の１ブロックが、図８で示した単位立体の１つの頂点における色空間変換後の色データを示している。

さらに、図６および図１０（ａ）においては、レンズタイプによる色かぶりの差異を、Ｓ１０１およびＳ１０２においてレンズタイプに応じたホワイトバランス処理を実行することによって低減していた。しかし、この色かぶりの差異の補正を含めた色空間変換処理を行う３Ｄ−ＬＵＴを用意することで、レンズの色特性の違いを３Ｄ−ＬＵＴによる色空間変換処理だけで吸収することも可能である。

この場合の現像処理は、図１０（ｂ）に示すフローチャートのようになる。Ｓ１２０ではホワイトバランス処理部１３０により、レンズタイプに依存しないホワイトバランス調整を適用し、Ｓ１１４からＳ１１６で色処理部１３１により、レンズタイプに応じた３Ｄ−ＬＵＴを使用した色空間変換処理を行う。図１０（ａ）のＳ１１４〜Ｓ１１６と処理は同じであるが、用いる３Ｄ−ＬＵＴが異なる。
このように、ホワイトバランス処理や、３Ｄ−ＬＵＴをレンズタイプによって切り替えることで、レンズの色特性の違いによる画像の色味の差異を低減することができる。

ここでは、レンズタイプに応じたホワイトバランス処理として、レンズタイプに応じてホワイトバランス係数を切り替える構成について説明した。しかし、レンズの分光透過率から予め算出した換算係数を基に、共通のホワイトバランス係数を換算することによってレンズタイプに応じたホワイトバランス係数を求めることもできる。この場合のホワイトバランス処理について、図１２に示すフローチャートを用いて説明する。

ホワイトバランス調整を適用する前に、ホワイトバランス処理部１３０は、Ｓ１３０でレンズタイプに応じたホワイトバランス係数の換算処理を行う。例えば、メモリ１６に用意するホワイトバランス係数はレンズタイプ１に対応したものだけとし、レンズタイプ１のホワイトバランス係数からレンズタイプ２のホワイトバランス係数に換算するための調整値ＡｄｊＲ、ＡｄｊＧ、ＡｄｊＢをメモリ１６に保持する。換算は以下の式に従って行う。

ここで、ＷｂＧａｉｎＲ１、ＷｂＧａｉｎＧ１、ＷｂＧａｉｎＢ１はカメラが保持するレンズタイプ１に対応するホワイトバランス係数であり、ＷｂＧａｉｎＲ２、ＷｂＧａｉｎＧ２、ＷｂＧａｉｎＢ２は換算後のホワイトバランス係数である。
ＷｂＧａｉｎＲ２＝ ＡｄｊＲ × ＷｂＧａｉｎＲ１ ・・・（式１０）
ＷｂＧａｉｎＧ２＝ ＡｄｊＧ × ＷｂＧａｉｎＧ１ ・・・（式１１）
ＷｂＧａｉｎＢ２＝ ＡｄｊＢ × ＷｂＧａｉｎＢ１ ・・・（式１２）
この換算係数は、レンズの分光透過率による色特性を基に、ホワイトバランス適用後の画像の色味が一致するように、予め求めておくことができる。

このように、１つのレンズタイプに対するホワイトバランス係数から他のレンズタイプに対するホワイトバランス係数を求めるための換算係数を用いることにより、レンズタイプごとにホワイトバランス係数を保持する必要がなくなる。対象にするレンズタイプがいくつもある場合は、レンズタイプごとに換算係数を保持するだけでよい。

また、ここでは、撮影時の光源に応じたホワイトバランス調整について説明した。一方、撮影画像に基づいてホワイトバランス係数を決定するオートホワイトバランス処理（以下、ＡＷＢ）においても、同様にレンズタイプに応じたホワイトバランス調整を行うことが可能である。

ＡＷＢは画像中の白い被写体が白となる（ＲＧＢを一致させる）ようなホワイトバランス調整である。ＡＷＢには様々な手法が提案されているが、画像中から白色領域を検出し、その領域を白にするようにホワイトバランス係数を決定する方法が知られている。画像から白色領域を検出する場合、白として判定する色の範囲を色空間で規定する白検出領域を設け、白検出領域に含まれる色を有する画素からなる領域を白色領域として検出するのが一般的である。レンズの分光透過率が異なる場合、白い被写体を撮影した際の色空間上の分布範囲が異なるため、白検出領域をレンズタイプに応じて切り替えることで、分光透過率の異なりによる色味の差異を軽減するようなＡＷＢが実現できる。

図１３に、レンズタイプに応じた白検出範囲の設定例を示す。図１３（ａ）は、レンズタイプ１に対する白検出領域の例を示す。ホワイトバランス調整前の入力画像を構成する各画素の値（ＲＧＢ）をＹＵＶ色空間の値に変換し、色成分であるＵＶ値が図に示した領域Ａもしくは領域Ｂに含まれる画素を白画素として扱う。画像内からこの白検出領域に含まれる画素を全て検出し、検出された画素のＲＧＢ値それぞれの平均値からホワイトバランス係数を算出する。その際、領域Ａに含まれる画素と領域Ｂに含まれる画素とで、異なる重みを与えた重み付き平均値を用いる。

具体的には以下の式により算出する。以下の式で、ＷｂＧａｉｎＲ、ＷｂＧａｉｎＧ、ＷｂＧａｉｎＢは算出したＲＧＢそれぞれのホワイトバランス係数、Ｒａ、Ｇａ、Ｂａは白検出領域の領域Ａに属する画素のＲＧＢ値それぞれの平均値である。また、Ｒｂ、Ｇｂ、Ｂｂは白検出領域の領域Ｂに属する画素のＲＧＢ値をそれぞれの平均値、ｗＡ、ｗＢは領域Ａと領域Ｂに対する重みを示している。
ＷｂＧａｉｎＲ ＝（Ｇａ×ｗＡ＋Ｇｂ×ｗＢ）／（Ｒａ×ｗＡ＋Ｒｂ×ｗＢ）・・・（式１３）
ＷｂＧａｉｎＧ ＝ １ ・・・（式１４）
ＷｂＧａｉｎＢ ＝（Ｇａ×ｗＡ＋Ｇｂ×ｗＢ）／（Ｂａ×ｗＡ＋Ｂｂ×ｗＢ）・・・（式１５）

このようなＡＷＢ処理で用いる白検出領域として、レンズタイプ１の場合は例えば図１３（ａ）に示したものを、レンズタイプ２の場合は図１３（ｂ）に示したものを使用する。レンズの色特性に適した白検出領域は予めそのレンズを使用して撮影した画像から実験的に求めることができる。具体的には、レンズタイプ１の交換レンズで撮影した場合に白検出領域に含まれる被写体色の範囲と、レンズタイプ２の交換レンズで撮影した場合に白検出領域に含まれる被写体色の範囲とが一致するように白検出範囲を設定する。

このように白検出範囲を設定することで、白い被写体として扱われる被写体領域がレンズタイプ１とレンズタイプ２で同じになるため、ＡＷＢの算出結果が一致する。仮に白検出領域が上述の関係を満たさないと、ＡＷＢにおいて白画素と見なされる被写体領域が異なるため、ＡＷＢの算出結果は一致しない。そのため、色特性の異なるレンズで撮影された画像に対して白検出領域を用いてＡＷＢしても結果が一致しない。また、このような不一致のホワイトバランス係数に対して分光透過率に応じた換算をしても結果が一致しないことはＡＷＢの原理から明らかである。

レンズタイプに応じた白検出領域に関する情報は、レンズタイプごとにパラメータとして保持してもよいが、１つのレンズタイプに対する白検出領域だけをパラメータとして保持し、他のレンズタイプの白検出領域は前述の換算係数を用いて算出してもよい。

次に本実施形態における手動ホワイトバランス機能の実現方法について説明する。手動ホワイトバランス機能とは、ユーザーが白として再現させたい被写体を撮影した画像のデータから決定したホワイトバランス係数をカメラに登録し、ホワイトバランス調整に使用する機能である。

カメラに登録されたホワイトバランス係数はレンズを交換しても使用可能である。そのため、手動ホワイトバランス係数登録時の画像撮影に使用されたレンズと、その後手動ホワイトバランス係数を適用する画像の撮影に使用されたレンズが異なる場合、適切な白を再現できない場合がある。このような状況を回避するため、本実施形態の撮像装置では図１４に示すような処理を行って手動ホワイトバランス係数を登録する。

Ｓ１４０でホワイトバランス処理部１３０は、ホワイトバランス係数登録用に撮影された白色被写体の画像の中心付近の所定領域内の画素について、ＲＧＢ値のそれぞれの平均値Ｒ，Ｇ，Ｂを求める。そして、この平均値から、以下の式に従って手動ホワイトバランス係数ＷｂＧａｉｎＲ、ＷｂＧａｉｎＧ、ＷｂＧａｉｎＢをもとめる。
ＷｂＧａｉｎＲ ＝ Ｇ／Ｒ ・・・（式１６）
ＷｂＧａｉｎＧ ＝ １ ・・・（式１７）
ＷｂＧａｉｎＢ ＝ Ｇ／Ｂ ・・・（式１８）

このように、ホワイトバランス処理部１３０は、画像の中心付近の領域に含まれる画素のＲＧＢ値を用いて、ユーザーが白く再現したい被写体領域を白く再現するためのホワイトバランス係数を求める。

Ｓ１４１でホワイトバランス処理部１３０は、ホワイトバランス係数の登録に用いた画像の撮影に使用されたレンズタイプを判定し、レンズタイプ２の場合はＳ１４２に処理を進める。

Ｓ１４２でホワイトバランス処理部１３０は、算出した手動ホワイトバランス係数に対し、換算係数ＡｄｊＲ、ＡｄｊＧ、ＡｄｊＢを用いて以下の換算処理を行なう。ここで、ＷｂＧａｉｎＲ'、 ＷｂＧａｉｎＧ'、 ＷｂＧａｉｎＢ'は換算後のホワイトバランス係数である。
ＷｂＧａｉｎＲ' ＝ ＷｂＧａｉｎＲ／ＡｄｊＲ ・・・（式１９）
ＷｂＧａｉｎＧ' ＝ ＷｂＧａｉｎＧ／ＡｄｊＧ ・・・（式２０）
ＷｂＧａｉｎＢ' ＝ ＷｂＧａｉｎＢ／ＡｄｊＢ ・・・（式２１）

この換算係数は、レンズの分光透過率による色特性を基に、手動ホワイトバランス調整後の画像の色味が一致するような値として予め求めておくことができる。

そしてＳ１４３でホワイトバランス処理部１３０は、換算処理後のホワイトバランス係数をメモリ１６に格納することでカメラ１０に登録する。
つまり、手動ホワイトバランス係数には、レンズタイプ１に対応したホワイトバランス係数が常に登録されるようにする。

図１４（ｂ）は登録された手動ホワイトバランス係数使用したホワイトバランス調整処理動作を説明するためのフローチャートである。まずＳ１５０でホワイトバランス処理部１３０はメモリ１６に格納されている手動ホワイトバランス係数を読み出す。次にＳ１５１でホワイトバランス処理部１３０は、ホワイトバランス調整する画像の撮影に使用された交換レンズ１００のレンズタイプを判定し、レンズタイプ２の場合はＳ１５２でホワイトバランス係数の換算を行なう。ここで使用する換算係数ＡｄｊＲ、ＡｄｊＧ、ＡｄｊＢは、手動ホワイトバランス係数の登録時に、レンズタイプ２に対応するホワイトバランス係数をレンズタイプ１に対応するホワイトバランス係数に換算するために使用した換算係数と同じ値にする。すなわち、以下の式でレンズタイプ２に対応するホワイトバランス係数を求める。
ＷｂＧａｉｎＲ ＝ ＡｄｊＲ × ＷｂＧａｉｎＲ' ・・・（式２２）
ＷｂＧａｉｎＧ ＝ ＡｄｊＧ × ＷｂＧａｉｎＧ' ・・・（式２３）
ＷｂＧａｉｎＢ ＝ ＡｄｊＢ × ＷｂＧａｉｎＢ' ・・・（式２４）

つまり、レンズタイプ１に対応した手動ホワイトバランス係数が登録されているため、レンズタイプ２の交換レンズ１００で撮影された画像にホワイトバランス調整を適用するで場合は、ホワイトバランス係数をレンズタイプ２に対応する値に換算して用いる。Ｓ１５３でホワイトバランス処理部１３０は、レンズタイプに対応した手動ホワイトバランス係数を用いてホワイトバランス調整する。

このように手動ホワイトバランスの登録時と使用時にレンズタイプに応じたホワイトバランス係数の換算を行なうことで、レンズタイプによらず適切に白を再現させるための手動ホワイトバランス機能が実現できる。

なお、本実施形態では発明の理解及び説明を容易にするため、交換レンズ１００がレンズタイプ１またはレンズタイプ２の２種類である場合を説明したが、レンズタイプが３種類以上である場合にも同様に適用できる。本実施形態は使用するパラメータをレンズタイプに応じて切り替えたり換算する方法であるため、対象とするレンズタイプが増えても、そのレンズタイプに対応したパラメータそのものまたは他のパラメータから求めるための換算係数を保持すればよい。

レンズタイプをレンズの分光透過率に応じた色特性から分類する際に、例えば図１５に示したように、レンズの色特性（白色被写体を撮影した結果の色成分が、色平面のどの領域に含まれるか）に応じてレンズタイプ１から５に分類することも可能である。このようにすることで、様々な色特性を示すレンズによる画像の色味の差異を低減することが可能となる。また、レンズのマウント形状などによってさらに分類しても良い。

以上説明したように、本実施形態によれば、色味の異なる交換レンズの種類に応じたホワイトバランス調整や色空間変換処理を行うようにした。そのため、撮影に用いた交換レンズの色特性の差異が撮影画像の色味に与える影響を抑制できる。これにより、安定した色味の画像を得ることが可能なほか、交換レンズの色味の差異を意識することなく様々な交換レンズを用いることができるため、レンズ資産を有効に活用することも可能となる。

なお、本実施形態においては撮像装置でレンズ種別の判定や現像処理を行う場合について説明したが、レンズ種別の判定は例えば撮像画像ファイルのヘッダーに記録された情報から行ってもよい。また、現像処理も撮像装置内で行う必要はなく、パーソナルコンピュータ等の情報処理装置で稼動する現像アプリケーションで実行してもよい。従って、本実施形態は撮像機能を有さない装置においても実施可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態は、撮像装置と、撮像装置によって撮影されたＲＡＷ画像を現像処理するための現像アプリケーションの処理に関するものである。撮像装置は複数のレンズタイプの交換レンズの装着が可能であり、現像アプリケーションにおける現像処理ではホワイトバランス調整が行なわれる。現像アプリケーションはカメラ１０内部で実施されてもよいし、パーソナルコンピュータ等の、カメラ１０とは異なる外部機器で実施されてもよい。従って、現像アプリケーションの処理主体はカメラ制御部１８（カメラマイコン２０）または外部機器の制御部（ＣＰＵなど）である。また、現像アプリケーションの実行に必要なハードウェア（メモリなど）は公知の構成を利用可能であるため、説明を省略する。

本実施形態における撮像装置の基本構成は第１の実施形態で説明した撮像装置と同一であるため、説明を省略する。図１６は本実施形態の撮像装置におけるＲＡＷ画像生成処理のうち、本実施形態の特徴となる処理を説明するためのフローチャートである。ＲＡＷ画像生成処理であるため、ホワイトバランス調整は行なわないが、Ｓ１６０でカメラ制御部１８がレンズタイプの判定をし、Ｓ１６１とＳ１６２でホワイトバランス処理部１３０がレンズタイプに応じたホワイトバランス係数を取得する。

このレンズタイプの判定とレンズタイプに応じたホワイトバランス係数の取得は、第１の実施形態で説明した現像処理の場合と同じ仕組みを利用できる。すなわち、カメラ制御部１８におけるレンズ種別の判定方法や、メモリ１６におけるホワイトバランス係数データのデータ構造などは、現像時のものがそのまま適用可能である。そして、Ｓ１６３で画像処理部１３は、ホワイトバランス処理部１３０が取得したホワイトバランス係数をヘッダー部分に付加したＲＡＷ画像ファイルを記録媒体１５に保存する。

図１７はＲＡＷ画像ファイルのヘッダーに記録される情報の例を示し、図１７（ａ）はレンズタイプ１の交換レンズで撮影された場合の例を、図１７（ｂ）はレンズタイプ２の交換レンズで撮影された場合の例をそれぞれ示している。ヘッダーのホワイトバランス係数記録領域には、Ｓ１６１とＳ１６２でホワイトバランス処理部１３０が取得した、レンズタイプに応じたホワイトバランス係数がそのまま記録される。図に示すように、ホワイトバランス係数は、予め定められた複数種の光源について記録される。

本実施形態における現像アプリケーションは、現像処理時にホワイトバランス調整を行なう。この時、ＲＡＷ画像ファイルのヘッダー部には撮影に使用されたレンズのレンズタイプに応じたホワイトバランス係数が記録されているため、現像アプリケーションは記録されたホワイトバランス係数を用いたホワイトバランス調整を行えばよい。つまり、現像アプリケーションは画像の撮影に用いられたレンズタイプを意識する必要がない。なお、ヘッダー部には複数の光源に対するホワイトバランス係数が記録されているため、ユーザーから光源の変更が指示された場合、現像アプリケーションはヘッダーに記録されたホワイトバランス係数を用いることができる。

このように、ＲＡＷ画像ファイルにレンズタイプに応じたホワイトバランス係数を記録することで、撮像装置で特定したホワイトバランス係数を、現像処理にも利用することができる。また、現像アプリケーションは画像を撮影した交換レンズのレンズタイプを意識することなく、適切なホワイトバランス調整結果を得ることができる。

一般的な現像アプリケーションでは、画像内でユーザが指定した、白として再現すべき領域（画素）に基づいてホワイトバランス調整を行う色かぶり補正機能（手動ホワイトバランス調整機能）を有している。また、このような手動ホワイトバランス調整機能で算出したホワイトバランス係数を他の画像に対しても適用（コピー）する機能も有する。

しかし、手動ホワイトバランス係数の算出に用いた画像（画像Ａとする）と、この手動ホワイトバランス係数を適用しようとする他の画像（画像Ｂとする）とが、異なるレンズタイプのレンズで撮影されている場合、画像Ｂで適切な白再現ができない可能性がある。

そのために、本実施形態における撮像装置は、図１７（ａ）及び（ｂ）に示すように、ＲＡＷ画像ファイルのヘッダー部に、
・撮影に用いられたレンズのレンズタイプを示す情報、および
・ヘッダー部に記録したホワイトバランス係数から、撮影に用いられたレンズのレンズタイプに対応するホワイトバランス係数を求めるための換算係数
をさらに記録する。

図１８は、本実施形態の現像アプリケーションにおける、手動ホワイトバランス係数の画像間コピー処理を説明するためのフローチャートである。ここでは便宜上、カメラ１０で現像アプリケーションを実行しているものとする。

Ｓ１７０でカメラ制御部１８は、コピー元になる画像Ａを、画像Ａで白として再現すべき領域（画素）をユーザーが指定可能なユーザーインターフェースとともに表示する。そして、ホワイトバランス処理部１３０を用いて、上述の手動ホワイトバランス調整処理のと同様の処理により、指定された領域のＲＧＢ値のそれぞれの平均が一致するようなホワイトバランス係数を取得する。

次のＳ１７１でカメラ制御部１８はコピー元の画像Ａの撮影に使用されたレンズタイプとコピー先の画像Ｂの撮影に使用されたレンズタイプが一致するかの判定を行なう。この判定にはＲＡＷ画像ファイルのヘッダー部に記録された、撮影時レンズタイプ情報を用いる。一致する場合はＳ１７３で、画像Ａのヘッダー部に記録されているホワイトバランス係数を、ホワイトバランス処理部１３０によってそのまま画像Ｂに適用する。レンズタイプが一致しない場合、カメラ制御部１８はＳ１７２で、ＲＡＷ画像のヘッダー部に記録された換算係数を用いて以下の式のように行なう。

ここでコピー元の画像Ａの換算係数をＡｄｊＲ０、ＡｄｊＧ０、ＡｄｊＢ０、コピー先の画像Ｂの換算係数をＡｄｊＲ１、ＡｄｊＧ１、ＡｄｊＢ１とする。また、画像Ａで設定された手動ホワイトバランス係数をＷｂＧａｉｎＲ、ＷｂＧａｉｎＧ、ＷｂＧａｉｎＢ、換算後のホワイトバランス係数をＷｂＧａｉｎＲ'、ＷｂＧａｉｎＧ'、ＷｂＧａｉｎＢ'とする。
ＷｂＧａｉｎＲ' ＝ （ＡｄｊＲ１／ＡｄｊＲ０）× ＷｂＧａｉｎＲ ・・・（式２５）
ＷｂＧａｉｎＧ' ＝ （ＡｄｊＧ１／ＡｄｊＧ０）× ＷｂＧａｉｎＧ ・・・（式２６）
ＷｂＧａｉｎＢ' ＝ （ＡｄｊＢ１／ＡｄｊＢ０）× ＷｂＧａｉｎＢ ・・・（式２７）

そして、Ｓ１７３でカメラ制御部１８は、ホワイトバランス処理部１３０により、換算後のホワイトバランス係数を画像Ｂに適用してホワイトバランス調整する。

このように、本実施形態によれば、撮像装置が、ＲＡＷ画像ファイルを生成する際に、撮影に用いられた交換レンズのレンズタイプに応じたホワイトバランス係数を取得し、ＲＡＷ画像ファイルに記録する。そのため、現像時にレンズタイプを意識することなく、レンズタイプに依存しない色味の画像を得ることができる。

また、本実施形態の撮像装置は、ＲＡＷ画像ファイルに記録したホワイトバランス係数から、他のレンズタイプに対応するホワイトバランス係数を得るための変換係数を、併せてＲＡＷ画像ファイルに記録する。そのため、現像アプリケーションにおいて算出した手動ホワイトバランス係数を他の画像に適用する際に、両者の撮影に使用されたレンズタイプが一致しなくても、同様のホワイトバランス調整結果を得ることができる。

（その他の実施形態）
以上、本発明を特定の例示的な実施形態に関して説明したが、本発明は説明した実施形態に限定されず、発明の範囲内で様々な変形及び変更が可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 色特性の異なる複数の種類の交換レンズのうち、画像の撮影に用いられた交換レンズの種類を判定する判定手段と、
   前記画像に対し、ホワイトバランス調整及び色空間変換処理を適用する画像処理手段と、を有し、
   前記画像処理手段は、前記ホワイトバランス調整に用いるホワイトバランス係数および前記色空間変換処理の変換特性の少なくとも一方を、前記画像の撮影に用いられた交換レンズの種類に対応するものとすることにより、交換レンズの色特性の差が前記画像の色味に与える影響を軽減することを特徴とする画像処理装置。
2. 前記画像処理手段は、前記画像の撮影に用いられた交換レンズの種類に対応するホワイトバランス係数を用いて前記ホワイトバランス調整を行い、前記画像の撮影に用いられた交換レンズの種類によらない変換特性で前記色空間変換処理を行うことを特徴とする請求項１記載の画像処理装置。
3. 前記画像処理手段は、予め記憶された、前記複数の種類のそれぞれに対応するホワイトバランス係数のうち、前記画像の撮影に用いられた交換レンズの種類に対応するホワイトバランス係数を用いて前記ホワイトバランス調整を行うことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記画像処理手段は、前記ホワイトバランス調整に用いるホワイトバランス係数を、前記画像の撮影に用いられた交換レンズの種類に対応した白検出範囲を用いて前記画像から検出した白色領域に基づいて算出することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記画像処理装置には、白色被写体の画像もしくは画像中で指定された白色領域に基づいて算出したホワイトバランス係数が登録されており、
   前記画像処理手段は、
   前記ホワイトバランス係数の登録に用いられた画像の撮影に用いられた交換レンズの種類と前記ホワイトバランス調整を行う画像の撮影に用いられた交換レンズとの種類とが同じ場合には、前記登録されたホワイトバランス係数を用いて前記ホワイトバランス調整を行い、
   前記ホワイトバランス係数の登録に用いられた画像の撮影に用いられた交換レンズの種類と前記ホワイトバランス調整を行う画像の撮影に用いられた交換レンズとの種類とが異なる場合には、前記登録されたホワイトバランス係数に、交換レンズの種類による色特性の差異に基づく変換係数を適用したホワイトバランス係数を用いて前記ホワイトバランス調整を行う、
   ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
6. 前記画像処理手段は、予め記憶された、前記複数の種類の１つに対応するホワイトバランス係数と、前記画像の撮影に用いられた交換レンズの種類に対応する変換係数とから、前記画像の撮影に用いられた交換レンズの種類に対応するホワイトバランス係数を取得して、前記ホワイトバランス調整を行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
7. 前記画像処理手段は、前記画像の撮影に用いられた交換レンズの種類によらないホワイトバランス係数を用いて前記ホワイトバランス調整を行い、前記画像の撮影に用いられた交換レンズの種類に対応する変換特性で前記色空間変換処理を行うことを特徴とする請求項１記載の画像処理装置。
8. 前記画像処理手段は、前記画像を、前記画像の撮影に用いられた交換レンズの種類に応じたホワイトバランス係数とともに記録することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
9. 前記画像処理手段は、さらに、前記画像の撮影に用いられた交換レンズの種類を示す情報を前記画像とともに記録することを特徴とする請求項８記載の画像処理装置。
10. 前記画像処理装置は、色特性の異なる複数の種類の交換レンズを装着可能な撮像装置であって、
    前記判定手段は、装着された交換レンズの種類を判定することを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
11. 画像処理装置の制御方法であって、
    判定手段が、色特性の異なる複数の種類の交換レンズのうち、画像の撮影に用いられた交換レンズの種類を判定する判定工程と、
    画像処理手段が、前記画像に対し、ホワイトバランス調整及び色空間変換処理を適用する画像処理工程と、を有し、
    前記画像処理工程において前記画像処理手段は、前記ホワイトバランス調整に用いるホワイトバランス係数および前記色空間変換処理の変換特性の少なくとも一方を、前記画像の撮影に用いられた交換レンズの種類に対応するものとすることにより、交換レンズの色特性の差が前記画像の色味に与える影響を軽減することを特徴とする画像処理装置の制御方法。
12. コンピュータを、請求項１乃至請求項９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images