JP2015220532A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】本発明は、色温度フィルターを物理的に切り換える必要がなく、各色画素の各電荷蓄積時間を相違させる必要がなく、そして、広いダイナミックレンジで撮像できる撮像装置および撮像方法を提供する。【解決手段】本発明の撮像装置ＩＤは、互いに異なる色温度に最適化された複数のカラー撮像部１と、撮影シーンの色温度を測定する色温度測定処理部３３（色温度測定部２）と、複数のカラー撮像部１それぞれで生成された複数の原画像と色温度測定処理部３３（色温度測定部２）で測定された色温度に基づいてホワイトバランス処理の対象画像を決める対象画像決定処理を実行し、前記対象画像決定処理で決められた対象画像に対しホワイトバランス処理を実行して前記撮影シーンのカラー画像を形成する。【選択図】図１

Description

本発明は、物体（被写体）の光学像を撮像して撮影シーンのカラー画像を生成する撮像装置および撮像方法に関し、特に広い色のダイナミックレンジで撮像できる撮像装置および撮像方法に関する。

カラー撮像装置は、例えばＲＢＧ等の互いに透過スペクトル特性（遮光スペクトル特性）の異なる各色フィルターを例えばいわゆるベイヤー配列等で撮像素子の各画素ごとに配置し、各画素の各出力信号を画像処理することによってカラー画像を形成している。この色フィルターの特性は、一般に、或る所定の色温度（撮像装置の設計色温度、例えば５０００Ｋ等）で各画素の出力信号が良好にバランスするように設計されている。このため、このようなカラー撮像装置は、撮影時の光源の種類（色温度の違い）によって被写体の色が実際と異なって見えることがある。例えば、前記設計色温度より低い色温度（例えば、２８００Ｋ等）の照明下で撮影すると、相対的にＲの画素の出力信号が大きくなってＢの画素の出力信号が小さくなり、その結果、全体的に赤みを帯びた画像が生成される。一方、前記設計色温度より高い色温度（例えば、６５００Ｋ）の照明下で撮影すると、上述の逆となり、その結果、全体的に青みを帯びた画像が生成される。

また、１種類の色温度で設計されたカラー撮像装置で様々な色温度の撮影シーンを写す場合、搭載している色フィルターの特徴とアンマッチングな撮影シーンでは、同じ露光時間で各色の画素の電荷蓄積量に差が発生し、各色の出力信号のレベルが大きく異なる。このため、出力信号のレベルの大きい（高い）色が、飽和してしまうと、出力信号のレベルの低い色にその飽和レベルまでに余裕がある状態でも、それ以上露光しても正しいホワイトバランス値が算出できずに、適正なカラー画像が得られない。そのため、アンマッチングな撮影シーンでは、実質的に色のダイナミックレンジが狭くなってしまう。ここで、ホワイトバランス調整とは、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各波長別感度が一定になるように光学的または電気的なゲインを調節することによって、白色の被写体が画像上で白色で表現されるようにすることを言う。

このような問題を解決するために、ホワイトバランス処理が、例えば、特許文献１および特許文献２に開示されている。この特許文献１に開示されたホワイトバランス補正装置は、Ｒ、Ｇ、Ｂ各波長別に透過率を相違に設定した複数の色温度補正フィルターを備え、前記複数の色温度補正フィルターの中から色温度に応じて選択し、この選択した色温度補正フィルターが光電変換部の位置に位置するように、前記複数の色温度補正フィルタの中から前記選択した色温度補正フィルターに駆動部で切り換えるものである。

前記特許文献２に開示されたデジタルカメラのホワイトバランス調整手段は、撮像装置おける各分光色の電荷蓄積時間をそれぞれ独立して制御するものである。

特開平１０−１０８２０５号公報 特開２００６−１３５７０８号公報

ところで、前記特許文献１に開示された装置は、前記複数の色温度補正フィルターの中から適宜な色温度補正フィルターに駆動部で物理的に切り換えるものであるため、切り換え機構が必要であり、また、その切り換えに時間を要するため、撮影シーンに依っては、撮影が間に合わなくなる虞がある。

一方、前記特許文献２に開示された装置は、各色画素の電荷蓄積時間、すなわち、露光時間を可変とするため、例えば高速シャッター等で各画素の露光時間を同期させたい場合に対応できない。したがって、このような場合に、前記特許文献２に開示された装置は、適用できない。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、色温度フィルターを物理的に切り換える必要がなく、各色画素の各電荷蓄積時間を相違させる必要がなく、そして、広い色のダイナミックレンジで撮像できる撮像装置および撮像方法を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる撮像装置は、互いに異なる色温度に最適化された複数のカラー撮像部と、撮影シーンの色温度を測定する色温度測定部と、前記複数のカラー撮像部それぞれで生成された複数の原画像と前記色温度測定部で測定された色温度に基づいてホワイトバランス処理の対象画像を決める対象画像決定処理を実行し、前記対象画像決定処理で決められた対象画像に対しホワイトバランス処理を実行して前記撮影シーンのカラー画像を形成する画像形成部とを備えることを特徴とする。

このような撮像装置は、互いに異なる色温度に最適化された複数のカラー撮像部を備えるので、色温度フィルターを物理的に切り換える必要がなく、各色画素の各電荷蓄積時間を相違させる必要がない。そして、上記撮像装置は、複数のカラー撮像部それぞれで生成された複数の原画像と色温度測定部で測定された色温度に基づいてホワイトバランス処理の対象画像を決める対象画像決定処理を実行し、この対象画像決定処理で決められた対象画像に対しホワイトバランス処理を実行して撮影シーンのカラー画像を形成する。このため、撮影シーンの色温度を考慮した対象画像で撮影シーンのカラー画像が形成されるから、その際のホワイトバランス処理で各色のホワイトバランスゲイン（ＷＢゲイン）が１に近くなり、上記撮像装置は、広い色のダイナミックレンジで撮像できる。なお、「色のダイナミックレンジが広い」とは、色の飽和レベルに余裕があることを意味する。

また、他の一態様では、上述の撮像装置において、前記画像形成部は、前記複数の原画像の中から、前記色温度測定部で測定された色温度に最も近い色温度に最適化されているカラー撮像部で生成された原画像を選択する選択処理を、前記対象画像決定処理として実行することを特徴とする。

このような撮像装置では、複数の原画像の中から、色温度測定部で測定された色温度に最も近い色温度に最適化されているカラー撮像部で生成された原画像が、対象画像として選択される。したがって、上記撮像装置では、撮影シーンの色温度に最も近い色温度に最適化されているカラー撮像部で生成された原画像で、撮影シーンのカラー画像が形成されるから、上記撮像装置は、広い色のダイナミックレンジで撮像できる。

また、他の一態様では、上述の撮像装置において、前記画像形成部は、前記複数のカラー撮像部それぞれで生成された複数の原画像の全部または一部を、前記色温度測定部で測定された色温度に応じた合成比率で合成することで、合成画像を生成する画像合成処理を、前記対象画像決定処理として実行することを特徴とする。

複数の原画像の中から、色温度測定部で測定された色温度に最も近い色温度に最適化されているカラー撮像部で生成された原画像が選択されても、撮影シーンの色温度と、この選択された原画像を生成したカラー撮像部の色温度に差があると、ＲＧＢの各ＷＢゲイン間の差が比較的大きくなり、ＲＧＢの各ＷＢゲインは、比較的大きくアンバランスなものとなる。上記撮像装置では、複数の原画像の全部または一部が前記色温度測定部で測定された色温度に応じた合成比率で合成されることによって、合成画像が生成されるので、１枚の原画像では不足する色成分を他の原画像の色成分で補完できるから、合成画像におけるＲＧＢの各ＷＢゲイン間の差は、前記１枚の原画像におけるＲＧＢの各ＷＢゲイン間の差よりも小さくでき、合成画像におけるＲＧＢの各ＷＢゲインのバランスが改善できる。したがって、上記撮像装置は、広い色のダイナミックレンジで撮像できる。

また、他の一態様では、上述の撮像装置において、前記画像形成部は、前記複数のカラー撮像部それぞれで生成された複数の原画像を互いに同様に複数の領域に分割し、前記複数の領域ごとに前記対象画像決定処理を実行することを特徴とする。

撮影シーンによって、部分ごとに色温度が異なる場合がある。上記撮像装置は、原画像を複数の領域に分割するので、上述のような場合に対応できる。

また、他の一態様では、上述の撮像装置において、前記色温度測定部は、色温度計および前記複数のカラー撮像部それぞれで生成された複数の原画像のうちの少なくとも１つを用いて、撮影シーンの色温度を測定することを特徴とする。

このような撮像装置では、色温度計で撮影シーンの色温度を測定する場合では、撮影シーンの色温度を求める演算処理を撮像装置が実行する必要がない。一方、複数の原画像に基づいて撮影シーンの色温度を測定する場合では、撮像装置は、色温度計を備える必要がない。また、これら両方を併用する場合では、例えば、上述のように、撮影シーンが部分ごとに色温度が異なる場合、色温度計で測定された色温度計による色温度と、複数の原画像で測定された原画像による色温度とは、一致しないので、撮影シーンが部分ごとに色温度が異なるか否かが判定でき、原画像を複数の領域に分割すべきか否かが判定できる。

また、他の一態様では、上述の撮像装置において、前記複数のカラー撮像部は、所定の標準色温度の標準色温度フィルター、前記標準色温度より高い色温度の高温色温度フィルター、前記標準色温度より低い色温度の低温色温度フィルター、近赤外線波長帯を透過する近赤外線フィルターのうちの少なくとも２つを含むことを特徴とする。

この構成によれば、これら上述の標準色温度フィルター、高温色温度フィルター、低温色温度フィルターおよび近赤外線フィルターのうちの少なくとも２つを含む複数のカラー撮像部を備える撮像装置が提供できる。

そして、本発明の他の一態様にかかる撮像方法は、互いに異なる色温度に最適化された複数のカラー撮像部を用いて撮影シーンを撮像する撮像工程と、撮影シーンの色温度を測定する色温度測定工程と、前記撮像工程で前記複数のカラー撮像部それぞれで生成された複数の原画像と前記色温度測定工程で測定された色温度に基づいてホワイトバランス処理の対象画像を決める対象画像決定処理を実行し、前記対象画像決定処理で決められた対象画像に対しホワイトバランス処理を実行して前記撮影シーンのカラー画像を形成する画像形成工程とを備えることを特徴とする。

このような撮像方法は、互いに異なる色温度に最適化された複数のカラー撮像部を用いるので、色温度フィルターを物理的に切り換える必要がなく、各色画素の各電荷蓄積時間を相違させる必要がない。そして、上記撮像方法は、複数のカラー撮像部それぞれで生成された複数の原画像と色温度測定工程で測定された色温度に基づいてホワイトバランス処理の対象画像を決める対象画像決定処理を実行し、この対象画像決定処理で決められた対象画像に対しホワイトバランス処理を実行して撮影シーンのカラー画像を形成する。このため、撮影シーンの色温度を考慮した対象画像で撮影シーンのカラー画像が形成されるから、その際のホワイトバランス処理で各色のホワイトバランスゲイン（ＷＢゲイン）が１に近くなり、上記撮像方法は、広い色のダイナミックレンジで撮像できる。

本発明にかかる撮像装置および撮像方法は、広い色のダイナミックレンジで撮像できる。

実施形態における撮像装置の構成を示す図である。 図１に示す撮像装置における第１態様のカラー撮像部の構成を示す図である。 図１に示す撮像装置における第２態様のカラー撮像部の構成を示す図である。 図１に示す撮像装置における第３および第４態様のカラー撮像部の構成を示す図である。 撮影シーンの色温度と互いに異なる色温度に最適化された複数のカラー撮像部を備えた実施形態の撮像装置との関係を説明するための図である。 図１に示す撮像装置における第１態様の画像形成動作を示すフローチャートである。 図６に示すフローチャートによって形成される画像の一例を説明するための図である。 図１に示す撮像装置における第２態様の画像形成動作を示すフローチャートである。 図８に示すフローチャートによって形成される画像の一例を説明するための図である。 図１に示す撮像装置における第３態様の画像形成動作を示すフローチャートである。 図１０に示すフローチャートによって形成される画像の一例を説明するための図である。 領域分割に好適な画像の一例を示す図である。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。また、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

図１は、実施形態における撮像装置の構成を示す図である。図２は、図１に示す撮像装置における第１態様のカラー撮像部の構成を示す図である。図３は、図１に示す撮像装置における第２態様のカラー撮像部の構成を示す図である。図４は、図１に示す撮像装置における第３および第４態様のカラー撮像部の構成を示す図である。図４（Ａ）は、各個眼を説明するための図であり、図４（Ｂ）は、アレイカメラの構成を示す斜視図である。

実施形態における撮像装置は、物体（被写体）の光学像を撮像して撮影シーンのカラー画像を生成する装置であり、互いに異なる色温度に最適化された複数のカラー撮像部を備え、これら複数のカラー撮像部で生成された原画像の中から撮影シーンの色温度を考慮した原画像を選択して前記撮影シーンのカラー画像を生成する。これによって、本実施形態の撮像装置は、広い色のダイナミックレンジで撮像できる。

このような実施形態における撮像装置ＩＤは、例えば、図１に示すように、複数のカラー撮像部１と、制御処理部３とを備え、本実施形態の図１に示す例では、入力部４と、出力部５と、記憶部６とをさらに備えている。なお、これら入力部４、出力部５および記憶部６は、本実施形態における後述の色温度測定処理、対象画像決定処理およびホワイトバランス処理を実行する上では必ずしも必須ではない。

複数のカラー撮像部１は、互いに異なる色温度に最適化されている装置であり、それぞれのカラー撮像部１は、制御処理部３に接続され、物体（被写体）の光学像を撮像して撮影シーンのカラー画像を生成する装置である。すなわち、複数のカラー撮像部１は、互いに設計色温度の異なる装置である。複数のカラー撮像部１は、例えば、図１に示す例では、互いに異なる色温度に最適化された４個の第１ないし第４カラー撮像部１−１〜１−４を備えて構成される。一例では、第１カラー撮像部１−１は、被写体が色温度６５００Ｋの光源で照らされている環境色温度６５００Ｋの前記被写体を撮影すると、前記被写体の色を略忠実に再現した画像を得られるように最適化される。第２カラー撮像部１−２は、被写体が色温度５０００Ｋの光源で照らされている環境色温度５０００Ｋの前記被写体を撮影すると、前記被写体の色を略忠実に再現した画像を得られるように最適化される。第３カラー撮像部１−３は、被写体が色温度２８００Ｋの光源で照らされている環境色温度２８００Ｋの前記被写体を撮影すると、前記被写体の色を略忠実に再現した画像を得られるように最適化される。そして、第４カラー撮像部１−４は、被写体が蛍光灯で照らされている蛍光灯相当の環境色温度の前記被写体を撮影すると、前記被写体の色を略忠実に再現した画像を得られるように最適化される。この例では、第２カラー撮像部１−２は、標準色温度用であり、第１カラー撮像部１−１は、高温色温度用であり、第３カラー撮像部１−３は、低温色温度用であり、そして、第４カラー撮像部１−４は、室内環境用である。環境色温度は、所定の色温度を持つ光源によって照らされた被写体からの光の色温度であり、撮影シーンの色温度である。

このような複数のカラー撮像部１として、例えば、図２ないし図４それぞれに示す第１ないし第４態様のうちのいずれかの態様のカラー撮像部１Ａ〜１Ｄが用いられる。

第１態様の複数のカラー撮像部１Ａは、互いに略同構成のカラー撮像部１Ａを複数備えて成り、その１つのカラー撮像部１Ａは、図２に示すように、撮像光学系１１Ａと、色温度補正付き色フィルター１２Ａと、撮像素子１３とを備える。撮像光学系１１Ａは、被写体の光学像を所定の結像面に結像するものであり、その光軸に沿って１または複数の光学レンズを備えて構成される。撮像素子１３は、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備えるものであり、例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ等の固体撮像素子を備えて構成される。色温度補正付き色フィルター１２Ａは、互いに異なる複数の色フィルターを所定のパターンで配列した単位色フィルター配列を、複数、さらに２次元アレイ状に配列した光学フィルター素子である。色温度補正付き色フィルター１２Ａは、例えば、固体撮像素子における各画素の受光面上に配設されたオンチップフィルター等である。色温度補正付き色フィルター１２Ａの各色フィルターは、複数のカラー撮像部１それぞれで互いに異なる所定の色温度に対応するように設計され、入射した光のうち所定の波長範囲（透過波長帯域）の光を透過し、撮像素子１３の各光電変換素子に対応するように配置される。例えば、色温度補正付き色フィルター１２Ａは、所定の色温度の光源で照らされた被写体から入射された光のうち赤色光を透過する複数のＲ色フィルター、前記所定の色温度の光源で照らされた被写体から入射された光のうち緑色光を透過する複数のＧ色フィルター、および、前記所定の色温度の光源で照らされた被写体から入射された光のうち青色光を透過する複数のＢ色フィルターを、いわゆるベイヤー配列で２次元アレイ状に配列した光学フィルター素子である。例えば、上述の例では、第１カラー撮像部１−１では、色温度補正付き色フィルター１２ＡにおけるＲ色フィルター、Ｇ色フィルターおよびＢ色フィルターは、色温度６５００Ｋの光源用に最適化され、第１カラー撮像部１−１の設計色温度は、６５００Ｋである。第２カラー撮像部１−２では、色温度補正付き色フィルター１２ＡにおけるＲ色フィルター、Ｇ色フィルターおよびＢ色フィルターは、色温度５０００Ｋの光源用に最適化され、第２カラー撮像部１−２の設計色温度は、５０００Ｋである。第３カラー撮像部１−３では、色温度補正付き色フィルター１２ＡにおけるＲ色フィルター、Ｇ色フィルターおよびＢ色フィルターは、色温度２８００Ｋの光源用に最適化され、第３カラー撮像部１−３の設計色温度は、２８００Ｋである。そして、第４カラー撮像部１−４では、色温度補正付き色フィルター１２ＡにおけるＲ色フィルター、Ｇ色フィルターおよびＢ色フィルターは、蛍光灯用に最適化され、第４カラー撮像部１−４の設計色温度は、蛍光灯相当である。このような撮像光学系１１Ａ、色温度補正付き色フィルター１２Ａおよび撮像素子１３は、物体側から像側へ順に、被写体の光学像が撮像光学系１１Ａによって色温度補正付き色フィルター１２Ａを介して撮像素子１３の撮像面（受光面）で結像するように、配置される。そして、このカラー撮像部１Ａでは、被写体からの光束は、撮像光学系１１Ａによって色温度補正付き色フィルター１２Ａを介して撮像素子１３の撮像面で結像し、撮像素子１３の各光電変換素子は、それぞれ、色温度補正付き色フィルター１２Ａを介して受光した光の光量に応じて変換した電気信号を各画素のデータとして制御処理部３へ出力する。

第２態様の複数のカラー撮像部１Ｂは、互いに略同構成のカラー撮像部１Ｂを複数備えて成り、その１つのカラー撮像部１Ｂは、図３に示すように、色温度補正フィルター１４と、撮像光学系１１Ａと、所定色温度の色フィルター１２Ｂと、撮像素子１３とを備える。これら第２態様のカラー撮像部１Ｂにおける撮像光学系１１Ａおよび撮像素子１３は、それぞれ、第１態様のカラー撮像部１Ａにおける撮像光学系１１Ａおよび撮像素子１３と同様であるので、その説明を省略する。色フィルター１２Ｂは、互いに異なる複数の色フィルターを所定のパターンで配列した単位色フィルター配列を、複数、さらに２次元アレイ状に配列した光学フィルター素子である。この第２態様では、色フィルター１２Ｂの各色フィルターは、第１態様と異なり、複数のカラー撮像部１それぞれで互いに同一の所定の色温度に対応するように設計され、入射した光のうち所定の波長範囲（透過波長帯域）の光を透過し、撮像素子１３の各光電変換素子に対応するように配置される。このような撮像光学系１１Ａ、所定色温度の色フィルター１２Ｂおよび撮像素子１３は、物体側から像側へ順に、被写体の光学像が撮像光学系１１Ａによって所定色温度の色フィルター１２Ｂを介して撮像素子１３の撮像面（受光面）で結像するように、配置される。このような所定色温度に最適化されている撮像光学系１１Ａ、所定色温度の色フィルター１２Ｂおよび撮像素子１３に対し、色温度補正フィルター１４は、複数のカラー撮像部１それぞれで互いに異なる所定の色温度に対応するように、色温度を補正する光学フィルター素子である。例えば、上述の例では、第１ないし第４カラー撮像部１−１〜１−４で、所定色温度の色フィルター１２ＢにおけるＲ色フィルター、Ｇ色フィルターおよびＢ色フィルターは、色温度５０００Ｋの光源用に最適化され、さらに、第１カラー撮像部１−１における色温度補正フィルター１４−１は、第１カラー撮像部１−１全体として色温度６５００Ｋの光源用に最適化されるように設計され、第２カラー撮像部１−２における色温度補正フィルター１４−２は、省略され、第３カラー撮像部１−３における色温度補正フィルター１４−３は、第３カラー撮像部１−３全体として色温度２８００Ｋの光源用に最適化されるように設計され、そして、第４カラー撮像部１−４における色温度補正フィルター１４−４は、第４カラー撮像部１−４全体として蛍光灯用に最適化されるように設計される。そして、このカラー撮像部１Ｂでは、被写体からの光束は、色温度補正フィルター１４を介して撮像光学系１１Ａに入射され、この撮像光学系１１Ａによって所定色温度の色フィルター１２Ｂを介して撮像素子１３の撮像面で結像し、撮像素子１３の各光電変換素子は、それぞれ、この受光した光の光量に応じて変換した電気信号を各画素のデータとして制御処理部３へ出力する。

上述の第１および第２態様の複数のカラー撮像部１Ａ、１Ｂでは、いわゆる単眼のカメラを複数備えることで構成されたが、第３および第４態様のカラー撮像部１Ｃ、１Ｄでは、複眼のいわゆるアレイカメラを備えて構成される。より具体的には、第３および第４態様における複数のカラー撮像部１は、上述の例では、図４（Ａ）に示すように、１行１列に設計色温度６５００Ｋ用の個眼を配設し、２行１列に設計色温度５０００Ｋ用の個眼を配設し、１行２列に設計色温度２８００Ｋ用の個眼を配設し、２行２列に蛍光灯相当の設計色温度の個眼を配設したアレイカメラを備えて構成される。

このようなアレイカメラ１Ｃ、１Ｄは、図４（Ｂ）に示すように、複数の撮像光学系１１Ｂと、前記複数の撮像光学系１１Ｂに対応し、前記複数の撮像光学系１１Ｂそれぞれによって結像された被写体の光学像をそれぞれ撮像して複数組の各画素データを出力する撮像素子１３とを備える。１個の撮像光学系１１Ｂは、その光軸に沿って１または複数の光学レンズを備えて構成される。複数の撮像光学系１１Ｂは、図４（Ｂ）に示す例では、各光軸が互いに略平行となるように配列される。したがって、各個眼による各画像は、同じ被写体を写した略視差だけずれた画像となる。図４（Ｂ）に示す例では、複数の撮像光学系１１Ｂは、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図４（Ｂ）に示す例では、複数の撮像光学系１１Ｂは、２行２列に２次元マトリクス状に配列された４個の撮像光学系１１Ｂ−１１〜１１Ｂ−２２である。撮像素子１３は、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、その受光した光の光量に応じて変換した電気信号を各画素のデータとして出力する。撮像素子１３は、複数の撮像光学系１１Ｂそれぞれに対応して複数の前記固体撮像素子で構成されても良いが、図４（Ｂ）に示す例では、撮像素子１３は、１個の前記固体撮像素子を備えて構成され、この１個の前記固体撮像素子における有効画素領域が、複数の撮像光学系１１Ｂそれぞれに対応するように、２次元マトリクス状に配列された複数の領域に分割され、これら各領域が各撮像光学系１１Ｂによって結像された被写体の光学像を撮像する。

そして、第３態様の複数のカラー撮像部１Ｃとしてのアレイカメラ１Ｃでは、第１態様の複数のカラー撮像部１Ａのように、各個眼ごとに、撮像光学系１１Ｂと撮像素子１３の各光電変換素子との間に、図略の色温度補正付き色フィルター１２Ａをさらに備える。このようなアレイカメラ１Ｃでは、各個眼ごとに、被写体からの光束は、撮像光学系１１Ｂによって色温度補正付き色フィルター１２Ａを介して撮像素子１３の撮像面で結像し、撮像素子１３の各光電変換素子は、それぞれ、色温度補正付き色フィルター１２Ａを介して受光した光の光量に応じて変換した電気信号を各画素のデータとして制御処理部３へ出力する。

一方、第４態様の複数のカラー撮像部１Ｄとしてのアレイカメラ１Ｄでは、第２態様の複数のカラー撮像部１Ｂのように、各個眼ごとに、撮像光学系１１Ｂの物体側に配置された図略の色温度補正フィルター１４をさらに備え、そして、撮像光学系１１Ｂと撮像素子１３の各光電変換素子との間に、図略の所定色温度の色フィルター１２Ｂをさらに備える。このようなアレイカメラ１Ｄでは、各個眼ごとに、被写体からの光束は、色温度補正フィルター１４を介して撮像光学系１１Ｂに入射され、この撮像光学系１１Ｂによって所定色温度の色フィルター１２Ｂを介して撮像素子１３の撮像面で結像し、撮像素子１３の各光電変換素子は、それぞれ、この受光した光の光量に応じて変換した電気信号を各画素のデータとして制御処理部３へ出力する。

なお、上述では、第１ないし第４カラー撮像部１−１〜１−４は、設計色温度６５００Ｋ、５０００Ｋ、２８００Ｋおよび蛍光灯相当の色温度それぞれに設計されたが、これに限定されるものではなく、様々な設計色温度でよく、また、赤外線、例えば近赤外線用に設計されても良い。例えば、第４カラー撮像部１−４において、色温度補正付き色フィルター１２Ａ−４または色温度補正フィルター１４が近赤外線波長帯を透過する近赤外線フィルターで構成される。また、上述では、複数のカラー撮像部１は、４個であるが、これに限定されるものではなく、任意の個数であって良い。例えば、２個の場合には、第１カラー撮像部１−１は、所定の標準色温度（例えば５０００Ｋ）の標準色温度フィルターを備え、その設計色温度が標準色温度に最適化され、第２カラー撮像部１−２は、前記標準色温度より低い色温度の低温色温度フィルターを備え、その設計色温度が低温色温度に最適化される。また例えば、３個の場合には、第１カラー撮像部１−１は、所定の標準色温度（例えば５０００Ｋ）の標準色温度フィルターを備え、その設計色温度が標準色温度に最適化され、第２カラー撮像部１−２は、前記標準色温度より低い色温度の低温色温度フィルターを備え、その設計色温度が低温色温度に最適化され、第３カラー撮像部１−３は、前記標準色温度より高い色温度の高温色温度フィルターを備え、その設計色温度が高温色温度に最適化される。

入力部４は、制御処理部３に接続され、例えば、電源スイッチ、シャッターボタンおよび撮影モード設定ダイヤルスイッチ等の外部から操作指示等を撮像装置ＩＤに入力するための装置である。出力部５は、制御処理部３に接続され、入力部４から入力された操作指示や撮影された画像等を出力するための装置であり、例えばＬＣＤ（液晶ディスプレイ）や有機ＥＬディスプレイ等の表示装置である。

記憶部６は、制御処理部３に接続され、画像処理を実行する上で必要な各種プログラムや各種データを記憶する装置であり、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性記憶素子、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶素子およびその周辺回路等を備えて構成される。そして、記憶部２は、各画素データを記憶し、この各画像データに対し制御処理部３によって後述の画像処理を行うための作業領域（ワーキングメモリ）として用いられる。

制御処理部３は、所定の画像処理プログラムに基づき後述の画像処理を実行するべく、撮像装置ＩＤの各部を当該各部の機能に応じてそれぞれ制御するものである。制御処理部３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成され、所定の画像処理プログラムを実行することによって、機能的に、制御部３１、画像処理部３２、色温度測定処理部３３、対象画像決定処理部３４、ホワイトバランス処理部（ＷＢ処理部）３５および画像表示処理部３６が構成される。

制御部１１は、所定の画像処理を実行するために、撮像装置ＩＤの各部を当該各部の機能に応じてそれぞれ制御するものである。

画像処理部３２は、画像全体に対して適正な黒レベルの決定、デモザイク、輪郭補正および色ムラ補正等の周知の画像処理を、後述の色温度測定処理、対象画像決定処理およびホワイトバランス処理の前後で、必要に応じて適宜に行うものである。

色温度測定処理部３３は、原画像に基づいて撮影シーンの色温度（環境色温度）を測定するものである。

対象画像決定処理部３４は、複数のカラー撮像部１それぞれで生成された複数の原画像と、色温度測定処理部３３で測定された色温度に基づいてホワイトバランス処理の対象画像を決める対象画像決定処理を実行するものである。

このような対象画像決定処理部３４は、好ましくは、複数のカラー撮像部１それぞれで生成された複数の原画像の中から、色温度測定処理部３３で測定された色温度に最も近い色温度に最適化されているカラー撮像部１で生成された原画像を選択する選択処理を、前記対象画像決定処理として実行する。また、好ましくは、対象画像決定処理部３４は、複数のカラー撮像部１それぞれで生成された複数の原画像の全部または一部を、色温度測定処理部３３で測定された色温度に応じた合成比率で合成することで、合成画像を生成する画像合成処理を、前記対象画像決定処理として実行する。また、好ましくは、対象画像決定処理部３４は、複数のカラー撮像部１それぞれで生成された複数の原画像を互いに同様に複数の領域に分割し、前記複数の領域ごとに前記対象画像決定処理を実行する。

なお、色温度測定処理部３３に代えて、図１に破線で示すように、例えばいわゆるカラーメータ（色温度計）等の色温度を測定する色温度測定部２が備えられてもよく、この場合では、対象画像決定処理部３４は、色温度測定処理部３３で測定された色温度に代え、色温度測定部２で測定された色温度を用いる。また、色温度測定処理部３３と合わせてさらに色温度測定部２が備えられてもよく、この場合では、対象画像決定処理部３４は、色温度測定処理部３３で測定された色温度に加えて色温度測定部２で測定された色温度を用いる。この色温度測定部２は、制御処理部３に接続され、撮影シーンの色温度（環境色温度）を測定する。

ＷＢ処理部３５は、前記対象画像決定処理で決められた対象画像に対しホワイトバランス処理を実行して前記撮影シーンのカラー画像を形成するものである。

このような対象画像決定処理部３４およびＷＢ処理部３５は、複数のカラー撮像部１それぞれで生成された複数の原画像と前記測定された色温度に基づいてホワイトバランス処理の対象画像を決める対象画像決定処理を実行し、前記対象画像決定処理で決められた対象画像に対しホワイトバランス処理を実行して前記撮影シーンのカラー画像を形成する画像形成部の一例である。

画像表示処理部３６は、ＷＢ処理部３５で形成された撮影シーンのカラー画像を出力部５に表示するものである。ＷＢ処理部３５で形成された撮影シーンのカラー画像のダイナミックレンジと出力部５のダイナミックレンジとが一致しない場合には、画像表示処理部３６は、ＷＢ処理部３５で形成された撮影シーンのカラー画像のダイナミックレンジを出力部５のダイナミックレンジに合わせるダイナミックレンジ変換を実行する。

図５は、撮影シーンの色温度と互いに異なる色温度に最適化された複数のカラー撮像部を備えた実施形態の撮像装置との関係を説明するための図である。図５（Ａ）は、環境色温度（撮影シーンの色温度）を示し、図５（Ｂ）は、比較例としてカラー撮像部が１種類の色温度（例えば５０００Ｋ）にしか最適化されていない撮像装置の場合における各色の平均画素値を示し、図５（Ｃ）は、本実施形態における撮像装置ＩＤの場合における各色の平均画素値を示す。各色の平均画素値は、原画像データの各画素値をＲ、Ｇ、Ｂごとに積算し、それぞれの平均値である。

環境色温度が２８００Ｋである場合では、図５（Ａ）の上段に示すように、比較例では色温度５０００Ｋのみに最適化されているため、原画像において、赤色の平均画素値である平均Ｒ画素値が最も大きく、青色の平均画素値である平均Ｂ画素値が最も小さい。このため、ＷＢ処理では、赤色に対するホワイトバランスゲイン（ＲのＷＢゲイン）が相対的に小さくされ、青色に対するホワイトバランスゲイン（ＢのＷＢゲイン）が相対的に大きくされる。したがって、ＲＧＢの各ＷＢゲイン間の差が比較的大きくなり、ＲＧＢの各ＷＢゲインは、比較的大きくアンバランスなものとなり、飽和レベルまでの余裕も比較的大きくアンバランス（不均衡）なものとなる。一方、本実施形態における撮像装置ＩＤでは、互いに異なる色温度に最適化された複数のカラー撮像部１を備えるため、環境色温度に最も近い色温度に最適化されているカラー撮像部１で生成された原画像が得られる。上述の例では、第３カラー撮像部１−３が色温度２８００Ｋで最適化されているから、第３カラー撮像部１−３で得られた原画像における各色の平均画素値は、図５（Ｃ）の上段に示すように、互いに略一致する。したがって、ＲＧＢの各ＷＢゲインが１に近くなり、飽和レベルまでの余裕もバランス（均衡）したものとなり、撮像素子１３の各光電変換素子が持つ最大の色のダイナミックレンジ相当で露光できる。

一方、環境色温度が５０００Ｋである場合では、図５の中段に示すように、比較例でも本実施形態でも、色温度５０００Ｋに最適化されたカラー撮像部を持つので、このカラー撮像部で得られた原画像における各色の平均画素値は、互いに略一致する。したがって、ＲＧＢの各ＷＢゲインが１に近くなり、飽和レベルまでの余裕もバランス（均衡）したものとなり、撮像素子１３の各光電変換素子が持つ最大の色のダイナミックレンジ相当で露光できる。

また、環境色温度が６５００Ｋである場合では、図５（Ａ）の下段に示すように、比較例では色温度５０００Ｋのみに最適化されているため、原画像において、平均Ｒ画素値が最も小さく、平均Ｂ画素値が最も大きい。このため、ＷＢ処理では、ＲのＷＢゲインが相対的に大きくされ、ＢのＷＢゲインが相対的に小さくされる。したがって、ＲＧＢの各ＷＢゲイン間の差が比較的大きくなり、ＲＧＢの各ＷＢゲインは、比較的大きくアンバランスなものとなり、飽和レベルまでの余裕も比較的大きくアンバランス（不均衡）なものとなる。一方、本実施形態における撮像装置ＩＤでは、互いに異なる色温度に最適化された複数のカラー撮像部１を備えるため、環境色温度に最も近い色温度に最適化されているカラー撮像部１で生成された原画像が得られる。上述の例では、第１カラー撮像部１−１が色温度６５００Ｋで最適化されているから、第１カラー撮像部１−１で得られた原画像における各色の平均が素値は、図５（Ｃ）の下段に示すように、互いに略一致する。したがって、ＲＧＢの各ＷＢゲインが１に近くなり、飽和レベルまでの余裕もバランス（均衡）したものとなり、撮像素子１３の各光電変換素子が持つ最大のダ色のイナミックレンジ相当で露光できる。

このように本実施形態の撮像装置ＩＤは、広い色のダイナミックレンジで撮像でき、ノイズの少ない画像を得ることができる。より具体的には、対象画像決定処理部３４の各態様に応じて、次のように画像形成動作を実行することで、本実施形態における撮像装置ＩＤは、広い色のダイナミックレンジで撮像できるように、ホワイトバランスをより最適化している。

まず、第１態様の画像形成動作として、対象画像決定処理部３４が、複数のカラー撮像部１それぞれで生成された複数の原画像の中から、色温度測定処理部３３（または色温度測定部２）で測定された色温度に最も近い色温度に最適化されているカラー撮像部１で生成された原画像を選択する選択処理を、前記対象画像決定処理として実行するように、構成されている場合における画像形成動作について説明する。

図６は、図１に示す撮像装置における第１態様の画像形成動作を示すフローチャートである。図７は、図６に示すフローチャートによって形成される画像の一例を説明するための図である。環境色温度５０００Ｋの撮影シーンにおいて、図７（Ａ）は、設計色温度６５００Ｋの第１カラー撮像部１−１によって得られた原画像の一例を示し、図７（Ｂ）は、設計色温度５０００Ｋの第２カラー撮像部１−２によって得られた原画像の一例を示し、図７（Ｃ）は、設計色温度２８００Ｋの第３カラー撮像部１−３によって得られた原画像の一例を示し、そして、図７（Ｄ）は、設計色温度５０００Ｋの蛍光灯相当の第４カラー撮像部１−４によって得られた原画像の一例を示す。図７（Ｅ）は、対象画像にＷＢ処理を実行することによって形成された撮影シーンのカラー画像の一例を示す。

図６において、シャッター操作が実行されると、複数のカラー撮像部１の全てによって被写体が撮像され、原画像データが取得される（Ｓ１１）。より具体的には、本実施形態では、被写体の光学像が第１ないし第４カラー撮像部１−１〜１−４それぞれで撮像され、第１ないし第４カラー撮像部１−１〜１−４それぞれから、各画素のデータが制御処理部３へ出力される。なお、制御処理部３の画像処理部３２は、第１ないし第４カラー撮像部１−１〜１−４それぞれから入力された４組の各画素のデータに対し、例えば黒レベルの決定など適宜、必要な画像処理を実行して原画像データを生成しても良い。

次に、制御処理部３の色温度測定処理部３３は、各原画像に対し、Ｒ、Ｇ、Ｂごとに積算値を算出する（Ｓ１２）。より具体的には、色温度測定処理部３３は、原画像データにおける全てのＲ画素の各画素値を積算して積算Ｒ画素値を求める。色温度測定処理部３３は、原画像データにおける全てのＧ画素の各画素値を積算して積算Ｇ画素値を求める。そして、色温度測定処理部３３は、原画像データにおける全てのＢ画素の各画素値を積算して積算Ｂ画素値を求める。

次に、色温度測定処理部３３は、各原画像に対し、ＲＧＢの各積算値の中から最大の積算値を抽出する（Ｓ１３）。ここで、設計色温度と環境色温度（撮影シーンの色温度）とが互いに等しい場合では、積算Ｒ画素値、積算Ｇ画素値および積算Ｂ画素値は、互いに等しくなる。このため、この原画像における最大の積算値は、設計色温度と環境色温度との差に応じた値となり、撮影シーンの色温度に依存するから、色温度測定処理部３３は、これら処理Ｓ１２および処理Ｓ１３を実行して原画像における最大の積算値を求めることによって、実質的に、撮影シーンの色温度を測定したことになる。

次に、対象画像決定処理部３４は、処理Ｓ１３によって求められた各原画像の最大の積算値の中から、最小の積算値を求め、この求めた最小の積算値を持つ原画像を選択する（Ｓ１４）。このように処理することで、第１ないし第４カラー撮像部１−１〜１−４それぞれで生成された複数の第１ないし第４原画像の中から、色温度測定処理部３３で測定された色温度に最も近い色温度に最適化されている光学系を備えたカラー撮像部１で生成された原画像（すなわち、環境色温度に最も近い設計色温度のカラー撮像部１で生成された原画像）が対象画像決定処理部３４によって選択され、各色のダイナミックレンジが最も広い原画像が、選択される。

なお、上述では、積算Ｒ画素値、積算Ｇ画素値および積算Ｂ画素値が用いられたが、これらに代え、積算Ｒ画素値の平均値である平均Ｒ画素値、積算Ｇ画素値の平均値である平均Ｇ画素値および積算Ｂ画素値の平均値である平均Ｂ画素値が用いられてもよい。

また、上述のように撮像装置ＩＤは、色温度測定処理部３２２に代え、図１に破線で示す色温度測定部２をさらに備える場合において、対象画像決定処理部３４は、処理Ｓ１２および処理Ｓ１３では、上述の各処理に代え、色温度測定部２で測定された色温度を色温度測定部２から取得する取得処理を実行するように、構成され、処理Ｓ１４では、上述の処理に代え、第１ないし第４カラー撮像部１−１〜１−４それぞれで生成された複数の第１ないし第４原画像の中から、色温度測定部２で測定された色温度に最も近い色温度に最適化されている光学系を備えたカラー撮像部１で生成された原画像を選択するように、構成されてもよい。

次に、ＷＢ処理部３５は、対象画像決定処理部３４で決定された対象画像に対しホワイトバランス処理を実行して前記撮影シーンのカラー画像を形成する（Ｓ１５）。より具体的には、色温度測定処理部３３は、対象画像決定処理部３４で決定された対象画像に対し、ＲＧＢの各ＷＢゲインそれぞれを積算Ｒ画素値、積算Ｇ画素値および積算Ｂ画素値それぞれに乗算した結果が互いに等しくなるように、ＲＧＢの各ＷＢゲインそれぞれを求める。すなわち、色温度測定処理部３３は、（ＲのＷＢゲイン）×（積算Ｒ画素値）＝（ＧのＷＢゲイン）×（積算Ｇ画素値）＝（ＢのＷＢゲイン）×（積算Ｂ画素値）となるように、ＲのＷＢゲイン、ＧのＷＢゲインおよびＢのＷＢゲインそれぞれを求める。例えば、色温度測定処理部３３は、ＧのＷＢゲインを基準に、すなわち、ＧのＷＢゲインを１として、ＲのＷＢゲインおよびＢのＷＢゲインを求める。

なお、上述では、積算Ｒ画素値、積算Ｇ画素値および積算Ｂ画素値が用いられたが、これらに代え、積算Ｒ画素値の平均値である平均Ｒ画素値、積算Ｇ画素値の平均値である平均Ｇ画素値および積算Ｂ画素値の平均値である平均Ｂ画素値が用いられてもよい。

そして、画像表示処理部３６は、ＷＢ処理部３５で形成された撮影シーンのカラー画像を出力部５に表示し（Ｓ１６）、処理が終了される。

一例では、環境色温度５０００Ｋの撮影シーンを撮像した場合、処理Ｓ１１によって、第１カラー撮像部１−１の各画素データが処理されると、図７（Ａ）に示す赤みを帯びた原画像が生成され、第２カラー撮像部１−２の各画素データが処理されると、図７（Ｂ）に示す適切な色味の原画像が生成され、第３カラー撮像部１−３の各画素データが処理されると、図７（Ｃ）に示す青みを帯びた原画像が生成され、そして、第４カラー撮像部１−４の各画素データが処理されると、図７（Ｄ）に示す赤みおよび青みを帯びた、すなわち紫みを帯びた原画像が生成される。

第１カラー撮像部１−１による原画像に対し、処理Ｓ１２が実行されると、図７（Ａ）中に棒グラフで示すように、各色の積算値間に優位に差のある積算Ｒ画素値＞積算Ｇ画素値＞積算Ｂ画素値の関係で各色の積算値が求められ、処理Ｓ１３が実行されると、積算Ｒ画素値が抽出される。

第２カラー撮像部１−２による原画像に対し、処理Ｓ１２が実行されると、図７（Ｂ）中に棒グラフで示すように、各色の積算値間にあまり差のない積算Ｒ画素値＜積算Ｇ画素値＜積算Ｂ画素値の関係で各色の積算値が求められ、処理Ｓ１３が実行されると、積算Ｂ画素値が抽出される。

第３カラー撮像部１−３による原画像に対し、処理Ｓ１２が実行されると、図７（Ｃ）中に棒グラフで示すように、各色の積算値間に優位に差のある積算Ｒ画素値＜積算Ｇ画素値＜積算Ｂ画素値の関係で各色の平均画素値が求められ、処理Ｓ１３が実行されると、積算Ｂ画素値が抽出される。

第４カラー撮像部１−４による原画像に対し、処理Ｓ１２が実行されると、図７（Ｄ）中に棒グラフで示すように、各色の積算値間に優位に差のある積算Ｒ画素値＞積算Ｇ画素値および積算Ｇ画素値＜積算Ｂ画素値の関係で各色の積算値が求められ、処理Ｓ１３が実行されると、積算Ｒ画素値および積算Ｂ画素値が抽出される。

そして、処理Ｓ１４が実行されると、第１カラー撮像部１−１による原画像の積算Ｒ画素値、第２カラー撮像部１−２による原画像の積算Ｂ画素値、第３カラー撮像部１−３による原画像の積算Ｂ画素値、第４カラー撮像部１−４による原画像の積算Ｒ画素値および積算Ｂ画素値が相互に比較され、最も小さい第２カラー撮像部１−２による原画像の積算Ｂ画素値が選択され、第２カラー撮像部１−２による原画像が選択される。

そして、処理Ｓ１５が実行されると、このように選択された第２カラー撮像部１−２による原画像に対し、ＷＢ処理が実行され、図７（Ｅ）に示すように、撮影シーンのカラー画像が適切な色味で形成される。

このような第１態様の画像形成動作を行う撮像装置ＩＤでは、複数の原画像の中から、色温度測定処理部３３（または色温度測定部２）で測定された色温度に最も近い色温度に最適化されているカラー撮像部１で生成された原画像が、対象画像として選択される。したがって、上記撮像装置ＩＤでは、撮影シーンの色温度に最も近い色温度に最適化されているカラー撮像部１で生成された原画像で、撮影シーンのカラー画像が形成されるから、上記撮像装置ＩＤは、広い色のダイナミックレンジで撮像でき、ノイズの少ない画像を得ることができる。

次に、第２態様の画像形成動作として、対象画像決定処理部３４が、複数のカラー撮像部１それぞれで生成された複数の原画像の全部または一部を、色温度測定処理部３３（または色温度測定部２）で測定された色温度に応じた合成比率で合成することで、合成画像を生成する画像合成処理を、前記対象画像決定処理として実行するように、構成されている場合における画像形成動作について説明する。

図８は、図１に示す撮像装置における第２態様の画像形成動作を示すフローチャートである。図９は、図８に示すフローチャートによって形成される画像の一例を説明するための図である。環境色温度５０００Ｋの撮影シーンにおいて、図９（Ａ）は、設計色温度６５００Ｋの第１カラー撮像部１−１によって得られた原画像の一例を示し、図９（Ｂ）は、設計色温度５０００Ｋの第２カラー撮像部１−２によって得られた原画像の一例を示し、図９（Ｃ）は、設計色温度２８００Ｋの第３カラー撮像部１−３によって得られた原画像の一例を示し、そして、図９（Ｄ）は、設計色温度５０００Ｋの蛍光灯相当の第４カラー撮像部１−４によって得られた原画像の一例を示す。図９（Ｅ）は、対象画像にＷＢ処理を実行することによって形成された撮影シーンのカラー画像の一例を示す。

図８において、シャッター操作が実行されると、上述の処理Ｓ１１と同様に、複数のカラー撮像部１の全てによって被写体が撮像され、原画像データが取得される（Ｓ２１）。

次に、制御処理部３の色温度測定処理部３３は、上述の処理Ｓ１２と同様に、各原画像に対し、Ｒ、Ｇ、Ｂごとに積算値を算出する（Ｓ２２）。次に、色温度測定処理部３３は、上述の処理Ｓ１３と同様に、各原画像に対し、ＲＧＢの各積算値の中から最大の積算値を抽出する（Ｓ２３）。

次に、対象画像決定処理部３４は、処理Ｓ２３によって求められた各原画像の最大の積算値の中から、小さい順に所定数、例えば、２個の積算値を求め、この求めた２個の積算値を持つ原画像を選択する（Ｓ２４）。このように処理することで、第１ないし第４カラー撮像部１−１〜１−４それぞれで生成された複数の第１ないし第４原画像の中から、色温度測定処理部３３で測定された色温度に近い順に色温度の最適化されている光学系を備えたカラー撮像部１で生成された原画像（すなわち、環境色温度に近い順に設計色温度を持つカラー撮像部１で生成された原画像）が所定数（上述の例では２枚）だけ対象画像決定処理部３４によって選択され、各色のダイナミックレンジが広い順に原画像が、選択される。

なお、上述のように撮像装置ＩＤは、色温度測定処理部３２２に代え、図１に破線で示す色温度測定部２をさらに備える場合において、対象画像決定処理部３４は、処理Ｓ２２および処理Ｓ２３では、上述の各処理に代え、色温度測定部２で測定された色温度を色温度測定部２から取得する取得処理を実行するように、構成され、処理Ｓ２４では、上述の処理に代え、第１ないし第４カラー撮像部１−１〜１−４それぞれで生成された複数の第１ないし第４原画像の中から、色温度測定部２で測定された色温度に近い順に色温度の最適化されている光学系を備えたカラー撮像部１で生成された原画像を所定数だけ選択するように、構成されてもよい。

次に、対象画像決定処理部３４は、処理Ｓ２４で選択された複数の原画像を、色温度測定処理部３３（または色温度測定部２）で測定された色温度に応じた合成比率で合成することで、合成画像をＷＢ処理の対象画像として生成する（Ｓ２５）。より具体的には、対象画像決定処理部３４は、処理Ｓ２４で選択された複数の原画像に対し、各画素ごとに、かつ、色成分ごとに、前記合成比率を乗じてその和を求めることで、合成画像における各画素の各色成分を求める。すなわち、合成画像は、処理Ｓ２４で選択された複数の原画像を、色温度測定処理部３３（または色温度測定部２）で測定された色温度に応じた合成比率で重み付けすることによって求められる。例えば、色温度測定処理部３３（または色温度測定部２）で測定された色温度に最も近い色温度に最適化されている光学系を備えたカラー撮像部１で生成された原画像におけるＲＧＢの各色成分の画素値をＲ＿１、Ｇ＿１およびＢ＿１とし、色温度測定処理部３３（または色温度測定部２）で測定された色温度に次に近い色温度に最適化されている光学系を備えたカラー撮像部１で生成された原画像におけるＲＧＢの各色成分の画素値をＲ＿２、Ｇ＿２およびＢ＿２とし、それらの合成比率をａ、ｂとした場合、合成画像におけるＲＧＢの各色成分の画素値Ｒｃ、Ｇｃ、Ｂｃは、次式によって求められる。ここで、合成比率ａ、ｂは、例えば、Ｒｃ≒Ｇｃ≒Ｂｃになるための最適な値に設定される。
Ｒｃ＝（Ｒ＿１×ａ）＋（Ｒ＿２×ｂ）
Ｇｃ＝（Ｇ＿１×ａ）＋（Ｇ＿２×ｂ）
Ｂｃ＝（Ｂ＿１×ａ）＋（Ｂ＿２×ｂ）

次に、ＷＢ処理部３５は、対象画像決定処理部３４で決定された対象画像（すなわち、合成画像）に対し、上述の処理Ｓ１５と同様な処理によって、ＷＢゲインを算出する（Ｓ２６）。次に、ＷＢ処理部３５は、この処理Ｓ２６で算出したＷＢゲインを対象画像決定処理部３４で決定された対象画像に反映させ（Ｓ２７）、前記撮影シーンのカラー画像を形成する。ＷＢ処理部３５は、これら処理Ｓ２６および処理Ｓ２７を実行することによって、対象画像決定処理部３４で決定された対象画像（すなわち、合成画像）に対しホワイトバランス処理を実行して前記撮影シーンのカラー画像を形成したことになる。

ここで、処理Ｓ２５によって合成画像の各色のダイナミックレンジが２倍になっているので、処理Ｓ２７によってＷＢ処理部３５で形成された撮影シーンのカラー画像のダイナミックレンジと出力部５のダイナミックレンジとが一致しない。このため、次に、画像表示処理部３６は、処理Ｓ２７によってＷＢ処理部３５で形成された撮影シーンのカラー画像のダイナミックレンジを出力部５のダイナミックレンジに合わせるダイナミックレンジ変換を実行する（Ｓ２８）。上述の例では、画像表示処理部３６は、処理Ｓ２７によってＷＢ処理部３５で形成された撮影シーンのカラー画像のダイナミックレンジを半分に減らす。

そして、画像表示処理部３６は、このダイナミックレンジを変換した撮影シーンのカラー画像を出力部５に表示し（Ｓ２９）、処理が終了される。

一例では、環境色温度５０００Ｋの撮影シーンを撮像した場合、処理Ｓ２１によって、第１ないし第４カラー撮像部１−１それぞれの各画素データが処理されると、図７（Ａ）ないし図７（Ｄ）と同様な図９（Ａ）ないし図９（Ｄ）に示す各原画像が生成される。

これら各原画像に対し、処理Ｓ２２ないし処理Ｓ２４がそれぞれ実行されると、第１カラー撮像部１−１による原画像の積算Ｒ画素値、第２カラー撮像部１−２による原画像の積算Ｂ画素値、第３カラー撮像部１−３による原画像の積算Ｂ画素値、第４カラー撮像部１−４による原画像の積算Ｒ画素値および積算Ｂ画素値が相互に比較され、最も小さい方から順に２個の第２カラー撮像部１−２による原画像の積算Ｂ画素値および第１カラー撮像部１−１による原画像の積算Ｒ画素値が選択され、第２カラー撮像部１−２による原画像および第１カラー撮像部１−１による原画像が選択される。

そして、処理Ｓ２５が実行されると、このように選択された第２カラー撮像部１−２による原画像および第１カラー撮像部１−１による原画像が画像合成される。

次に、処理Ｓ２６および処理Ｓ２７が実行されると、この合成画像の新たな各色のＷＢゲインが算出され、この合成画像に対し新たに算出した各色のＷＢゲインを用いてＷＢ処理が実行され、図９（Ｅ）に示すように、撮影シーンのカラー画像が適切な色味で形成される。

複数の原画像の中から、色温度測定処理部３３（または色温度測定部２）で測定された色温度に最も近い色温度に最適化されているカラー撮像部１で生成された原画像が選択されても、撮影シーンの色温度（環境色温度）と、この選択された原画像を生成したカラー撮像部１の色温度（設計色温度）に比較的大きな差があると、ＲＧＢの各ＷＢゲイン間の差が比較的大きくなり、ＲＧＢの各ＷＢゲインは、比較的大きくアンバランスなものとなる。そこで、上記第２態様の画像形成動作を行う撮像装置ＩＤでは、複数の原画像の全部または一部が色温度測定処理部３３（または色温度測定部２）で測定された色温度に応じた合成比率で合成されることによって、合成画像が生成されるので、１枚の原画像では不足する色成分を他の原画像の色成分で補完できるから、合成画像におけるＲＧＢの各ＷＢゲイン間の差は、前記１枚の原画像におけるＲＧＢの各ＷＢゲイン間の差よりも小さくでき、合成画像におけるＲＧＢの各ＷＢゲインのバランスが改善できる。したがって、上記撮像装置ＩＤは、広い色のダイナミックレンジで撮像でき、ノイズの少ない画像を得ることができる。

次に、第３態様の画像形成動作として、対象画像決定処理部３４が、複数のカラー撮像部１それぞれで生成された複数の原画像を互いに同様に複数の領域に分割し、前記複数の領域ごとに前記対象画像決定処理を実行するように、構成されている場合における画像形成動作について説明する。

図１０は、図１に示す撮像装置における第３態様の画像形成動作を示すフローチャートである。図１１は、図１０に示すフローチャートによって形成される画像の一例を説明するための図である。環境色温度５０００Ｋの撮影シーンにおいて、図１１（Ａ）は、設計色温度６５００Ｋの第１カラー撮像部１−１によって得られた原画像の一例を示し、図１１（Ｂ）は、設計色温度５０００Ｋの第２カラー撮像部１−２によって得られた原画像の一例を示し、図１１（Ｃ）は、設計色温度２８００Ｋの第３カラー撮像部１−３によって得られた原画像の一例を示し、そして、図１１（Ｄ）は、設計色温度５０００Ｋの蛍光灯相当の第４カラー撮像部１−４によって得られた原画像の一例を示す。図１１（Ｅ）は、対象画像にＷＢ処理を実行することによって形成された撮影シーンのカラー画像の一例を示す。図１２は、領域分割に好適な画像の一例を示す図である。空（領域Ａ（Ａ１、Ａ２、Ａ３））の環境色温度５０００Ｋの撮影シーンにおいて、図１２（Ａ）は、設計色温度５０００Ｋの第２カラー撮像部１−２によって得られた原画像の一例を示し、図１２（Ｂ）は、設計色温度６５００Ｋの第１カラー撮像部１−１によって得られた原画像の一例を示し、図１２（Ｃ）は、設計色温度２８００Ｋの第３カラー撮像部１−３によって得られた原画像の一例を示す。

図１０において、シャッター操作が実行されると、上述の処理Ｓ１１と同様に、複数のカラー撮像部１の全てによって被写体が撮像され、原画像データが取得される（Ｓ３１）。

次に、制御処理部３の色温度測定処理部３３は、各原画像に対し互いに同様に予め設定された所定数の領域（エリア）に分割し、各原画像の各分割領域に対し、上述の処理Ｓ１２と同様に、Ｒ、Ｇ、Ｂごとに積算値を算出する（Ｓ３２）。すなわち、各原画像において、画像上同じ位置の領域は、同サイズで同形状である。なお、１枚の原画像における各領域は、サイズおよび形状のうちの少なくとも一方が異なっても良い。

次に、対象画像決定処理部３４は、各分割領域ごとに、対象画像決定処理を実行する。例えば、対象画像決定処理部３４は、各分割領域ごとに、対象画像決定処理として第１態様の画像形成動作における上述の処理Ｓ１３および処理Ｓ１４を実行する。また例えば、対象画像決定処理部３４は、各分割領域ごとに、対象画像決定処理として第２態様の画像形成動作における上述の処理Ｓ２３ないし処理Ｓ２５を実行する。

次に、ＷＢ処理部３５は、各分割領域ごとに、対象画像決定処理部３４で決定された対象画像に対し、上述の処理Ｓ２６と同様な処理によって、ＷＢゲインを算出する（Ｓ３４）。次に、ＷＢ処理部３５は、各分割領域ごとに、上述の処理Ｓ２７と同様な処理によって、この処理Ｓ３４で算出したＷＢゲインを対象画像決定処理部３４で決定された対象画像に反映させ（Ｓ３５）、各分割領域ごとに、前記撮影シーンのカラー画像を形成する。なお、処理Ｓ３３で対象画像決定処理として第１態様の画像形成動作における上述の処理Ｓ１３および処理Ｓ１４が実行された場合には、処理Ｓ３４の省略が可能である。

そして、画像表示処理部３６は、撮影シーンのカラー画像を出力部５に表示し（Ｓ３６）、処理が終了される。なお、必要に応じてダイナミックレンジの変換処理が実行されても良い。

一例では、環境色温度５０００Ｋの撮影シーンを撮像した場合、処理Ｓ３１によって、第１ないし第４カラー撮像部１−１それぞれの各画素データが処理されると、図７（Ａ）ないし図７（Ｄ）と同様な図１１（Ａ）ないし図１１（Ｄ）に示す各原画像が生成される。

これら各原画像に対し、処理Ｓ３２が実行されると、各原画像は、図１１（Ａ）ないし図１１（Ｄ）に示すように、例えば、５行５列の２５個の矩形領域に分割される。これら２５個の分割領域それぞれに対し、処理Ｓ３３が実行されると、これら２５個の分割領域それぞれについて対象画像がそれぞれ決定される。

次に、処理Ｓ３４および処理Ｓ３５が実行されると、これら２５個の分割領域それぞれの各対象画像それぞれについて、各色のＷＢゲインが算出され、この算出した各色のＷＢゲインを用いてＷＢ処理が実行され、図１１（Ｅ）に示すように、撮影シーンのカラー画像が適切な色味で形成される。

撮影シーンによって、部分ごとに色温度が異なる場合がある。そこで、上記第３態様の画像形成動作を行う撮像装置ＩＤでは、各原画像を互いに同様に複数の領域に分割するので、このような部分ごとに色温度が異なる場合に対応できる。

例えば、図１２に示す縁日の風景を写した画像では、空を写した部分Ａ（Ａ１、Ａ２、Ａ３）と、縁日の屋台を写した部分Ｂ（Ｂ１、Ｂ２、Ｂ３）とでは、その色温度が異なる。このような空を写した部分Ａは、環境色温度が５０００Ｋに近いため、設計色温度５０００Ｋの第２カラー撮像部１−２によって生成された原画像の部分Ａ１が色のダイナミックレンジが最も広く適している。また、このような屋台を写した部分Ｂは、環境色温度が２８００Ｋに近いため、設計色温度２８００Ｋの第３カラー撮像部１−３によって生成された原画像の部分Ｂ３が色のダイナミックレンジが最も広く適している。したがって、第３態様の画像形成動作を実行することによって、空を写した部分Ａでは、設計色温度５０００Ｋの第２カラー撮像部１−２によって生成された原画像の部分Ａ１が用いられ、屋台を写した部分Ｂでは、設計色温度２８００Ｋの第３カラー撮像部１−３によって生成された原画像の部分Ｂ３が用いられ、これによって撮影シーンのカラー画像が形成される。

なお、上述の画像形成動作において、カラー撮像部１によって生成された原画像を複数の領域に分割する必要があるか否かを判定し、その必要がないと判定された場合に、第１または第２態様の画像形成動作を実行し、その必要があると判定された場合に、第３態様の画像形成動作を実行するように、撮像装置ＩＤが構成されても良い。

部分ごとに色温度が異なる場合、色温度計によって測定された色温度と、複数のカラー撮像部１それぞれで生成された複数の原画像における同一位置の分割領域の積算Ｒ画素値、積算Ｇ画素値および積算Ｂ画素値から推定された色温度とは、通常、一致しない。このため、このような領域分割の要否は、撮像装置ＩＤが色温度測定処理部３３と色温度測定部２とを備え、複数のカラー撮像部１それぞれで生成された複数の原画像における同一位置の分割領域の積算Ｒ画素値、積算Ｇ画素値および積算Ｂ画素値と色温度との対応関係を予め記憶部６に記憶するように構成され、色温度測定処理部３３によって求められた色温度と、色温度測定部２によって求められた色温度とを比較することで、判定できる。両者が一致する場合には、領域分割が不要と判定され、両者が一致しない場合には、領域分割が必要と判定される。

以上、説明したように、本実施形態における撮像装置ＩＤおよびこれに実装された撮像方法は、互いに異なる色温度に最適化された複数のカラー撮像部１を備えるので、色温度フィルターを物理的に切り換える必要がなく、各色画素の各電荷蓄積時間を相違させる必要がない。そして、本実施形態における撮像装置ＩＤおよびこれに実装された撮像方法は、複数のカラー撮像部１それぞれで生成された複数の原画像と色温度測定処理部３３（または色温度測定部２）で測定された色温度に基づいてホワイトバランス処理の対象画像を決める対象画像決定処理を実行し、この対象画像決定処理で決められた対象画像に対しホワイトバランス処理を実行して撮影シーンのカラー画像を形成する。このため、撮影シーンの色温度を考慮した対象画像で撮影シーンのカラー画像が形成されるから、その際のホワイトバランス処理で各色のホワイトバランスゲイン（ＷＢゲイン）が１に近くなり、本実施形態における撮像装置ＩＤおよびこれに実装された撮像方法は、広い色のダイナミックレンジで撮像できる。

また、本実施形態における撮像装置ＩＤでは、色温度測定部２で撮影シーンの色温度を測定する場合では、撮影シーンの色温度を求める演算処理を撮像装置ＩＤが実行する必要がない。一方、色温度測定処理部３３で複数の原画像に基づいて撮影シーンの色温度を測定する場合では、撮像装置ＩＤは、色温度測定部２を備える必要がない。また、これら両方を併用する場合では、例えば、上述のように、撮影シーンが部分ごとに色温度が異なる場合、色温度測定部２による色温度と、色温度測定処理部３３による複数の原画像で測定された原画像による色温度とは、一致しないので、撮影シーンが部分ごとに色温度が異なるか否かが判定でき、原画像を複数の領域に分割すべきか否かが判定できる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

ＩＤ 撮像装置
１ カラー撮像部
２ 色温度測定部
３ 制御処理部
３３ 色温度測定処理部
３４ 対象画像決定処理部
３５ ホワイトバランス処理部

Claims (7)

1. 互いに異なる色温度に最適化された複数のカラー撮像部と、
   撮影シーンの色温度を測定する色温度測定部と、
   前記複数のカラー撮像部それぞれで生成された複数の原画像と前記色温度測定部で測定された色温度に基づいてホワイトバランス処理の対象画像を決める対象画像決定処理を実行し、前記対象画像決定処理で決められた対象画像に対しホワイトバランス処理を実行して前記撮影シーンのカラー画像を形成する画像形成部とを備えること
   を特徴とする撮像装置。
2. 前記画像形成部は、前記複数の原画像の中から、前記色温度測定部で測定された色温度に最も近い色温度に最適化されているカラー撮像部で生成された原画像を選択する選択処理を、前記対象画像決定処理として実行すること
   を特徴とする請求項１に記載の撮像装置。
3. 前記画像形成部は、前記複数のカラー撮像部それぞれで生成された複数の原画像の全部または一部を、前記色温度測定部で測定された色温度に応じた合成比率で合成することで、合成画像を生成する画像合成処理を、前記対象画像決定処理として実行すること
   を特徴とする請求項１に記載の撮像装置。
4. 前記画像形成部は、前記複数のカラー撮像部それぞれで生成された複数の原画像を互いに同様に複数の領域に分割し、前記複数の領域ごとに前記対象画像決定処理を実行すること
   を特徴とする請求項１ないし請求項３のいずれか１項に記載の撮像装置。
5. 前記色温度測定部は、色温度計、および、前記複数のカラー撮像部それぞれで生成された複数の原画像、のうちの少なくとも１つを用いて、撮影シーンの色温度を測定すること
   を特徴とする請求項１ないし請求項４のいずれか１項に記載の撮像装置。
6. 前記複数のカラー撮像部は、所定の標準色温度の標準色温度フィルター、前記標準色温度より高い色温度の高温色温度フィルター、前記標準色温度より低い色温度の低温色温度フィルター、近赤外線波長帯を透過する近赤外線フィルターのうちの少なくとも２つを含むこと
   を特徴とする請求項１ないし請求項５のいずれか１項に記載の撮像装置。
7. 互いに異なる色温度に最適化された複数のカラー撮像部を用いて撮影シーンを撮像する撮像工程と、
   撮影シーンの色温度を測定する色温度測定工程と、
   前記撮像工程で前記複数のカラー撮像部それぞれで生成された複数の原画像と前記色温度測定工程で測定された色温度に基づいてホワイトバランス処理の対象画像を決める対象画像決定処理を実行し、前記対象画像決定処理で決められた対象画像に対しホワイトバランス処理を実行して前記撮影シーンのカラー画像を形成する画像形成工程とを備えること
   を特徴とする撮像方法。