JP2011030091A - 複眼撮像装置及びそのホワイトバランス調整方法 - Google Patents

Abstract

【課題】複数の撮像素子の個体差と画角差による色のずれを光源の分光特性を含めて解消する。
【解決手段】Masterの撮像部において撮影を行ない、取得された画像データに基づいて入射光の光源を推定する（ステップＳ１４）。また、この画像データに基づいて、Masterのホワイトバランスゲイン（ＡＷＢゲイン）AWB_Gain_Masterが算出される（ステップＳ１５）。SlaveのＡＷＢゲインについては、まずステップＳ１４において推定した光源に対応する個体差吸収係数を記録部から読み出し（ステップＳ１８）、この読み出した個体差吸収係数とMasterのＡＷＢゲインとの積から、SlaveのＡＷＢゲインであるAWB_Gain_Slave(n)が算出される。これらのＡＷＢゲインを適用して、各撮像部で撮影された画像データのホワイトバランス調整を行う（ステップＳ２０）。
【選択図】 図１０

Description

本発明は複眼撮像装置及びそのホワイトバランス調整方法に係り、特に複数の撮像素子の個体差と画角差による色のずれを光源の分光特性を含めて解消する複眼撮像装置及びそのホワイトバランス調整方法に関する。

ＣＣＤ等の撮像素子を有する撮像装置では、画像の色味を調整するホワイトバランス調整機能が一般的な機能として備えられている。ホワイトバランス調整機能では、撮像素子に入射した光に基づいて現在の光源を判断し、判断した光源に基づいてホワイトバランスを調整するためのゲイン値を決定し、決定したゲイン値に基づいて撮像素子の出力信号の各色信号のゲイン調整を行うことにより、画像の色味を自動的に調整している。

また、複数の撮像手段を備えた複眼撮像装置が知られている。複眼撮像装置は、複数の撮像手段において撮影された画像を合成することで、パノラマ撮影やステレオ撮影のような高機能撮像を実現している。

このような複眼撮像装置では、各撮像手段で撮影された複数の画像の色合いが同じとなることが好ましい。特許文献１には、複眼撮像装置において、任意の主撮影装置からホワイトバランスゲインを決定し、残る副撮影装置のホワイトバランスゲインは、主撮影装置のホワイトバランスゲインに主撮影装置との差分係数をかけて算出する技術が記載されている。特許文献１の技術によれば、主撮影装置と副撮影装置のホワイトバランスを等価とすることができる。

特開２００９−１７４５７号公報

一般的なＡＷＢ処理を有する撮像装置Ａ、Ｂで全く同じ画角を撮影した場合に、撮像装置Ａ、Ｂのレンズや撮像受光素子の分光差等の個体差を吸収する仕組みさえ導入していれば、撮像装置Ａ、Ｂの画像を同じにすることは可能である。個体差を吸収する方法としては、特許文献１のように撮像装置毎にパラメータ調整すること等が考えられる。しかしながら、撮影光源の分光特性は様々であり、吸収する仕組み１通りで解決することが困難であるという問題点があった。特許文献１の技術では、１種類の分光特性しか考慮されておらず、撮影光源の分光特性によっては個体差を吸収できないという欠点がある。

本発明はこのような事情に鑑みてなされたもので、複数の撮像素子の個体差と画角差による色のずれを光源の分光特性を含めて解消する複眼撮像装置及びそのホワイトバランス調整方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の複眼撮像装置のホワイトバランス調整方法は、撮像素子の各画素に対応してそれぞれ分光成分を受光させるための各色のカラーフィルタが配設された複数の撮像手段を備えた複眼撮像装置のホワイトバランス調整方法であって、前記複数の撮像手段の中から１つの基準撮像手段を決定する基準決定工程と、前記基準撮像手段と該基準撮像手段以外の撮像手段との分光の個体差を吸収するための撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を取得する個体差吸収係数取得工程と、前記複数の撮像手段によって被写体を撮影して画像信号を取得する撮影工程と、前記基準撮像手段から得られた画像信号に基づいて該基準撮像手段のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出工程と、前記基準撮像手段から得られた画像信号に基づいて、前記撮影工程が画像信号を取得したときの前記基準撮像手段への入射光の光源を特定する光源特定工程と、前記特定した光源に対応する撮像手段毎の個体差吸収係数を選択する選択工程と、前記基準撮像手段のホワイトバランスゲインと前記選択した撮像手段毎の個体差吸収係数とに基づいて、前記基準撮像手段以外の撮像手段毎のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出工程と、前記算出したホワイトバランスゲインに基づいて前記取得した画像信号のホワイトバランスを調整するホワイトバランス調整工程とを備えたことを特徴とする。

請求項１に記載の発明によれば、基準撮像手段と基準撮像手段以外の撮像手段との分光の個体差を吸収するための撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を予め取得しておき、基準撮像手段から得られた画像信号に基づいて基準撮像手段のホワイトバランスゲインを算出し、入射光の光源を特定して対応する撮像手段毎の個体差吸収係数を選択し、基準撮像手段のホワイトバランスゲインと選択した撮像手段毎の個体差吸収係数とに基づいて、前記基準撮像手段以外の撮像手段毎のホワイトバランスゲインを算出し、算出したホワイトバランスゲインに基づいて画像信号のホワイトバランスを調整するようにしたので、複数の撮像素子の個体差と画角差による色のずれを光源の分光特性を含めて解消することができる。

請求項２に示すように請求項１に記載の複眼撮像装置のホワイトバランス調整方法において、前記複数の撮像手段において分光特性の異なる複数の光源下において撮影を行って画像信号を取得する光源撮影工程を備え、前記個体差吸収係数取得工程は、前記光源撮影工程において取得した画像信号に基づいて、撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を取得することを特徴とする。

これにより、適切な個体差吸収係数を取得することができる。

請求項３に示すように請求項２に記載の複眼撮像装置のホワイトバランス調整方法において、前記光源撮影工程は、前記複数の撮像手段の撮影条件を統一して分光特性の異なる複数の光源下において撮影を行うことを特徴とする。

これにより、適切に個体差吸収係数を取得することができる。

請求項４に示すように請求項２又は３に記載の複眼撮像装置のホワイトバランス調整方法において、前記光源撮影工程において取得した画像信号から各撮像手段の撮像素子の各色の感度比を算出する工程を備え、前記個体差吸収係数取得工程は、前記感度比に基づいて撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を取得することを特徴とする。

これにより、適切な個体差吸収係数を取得することができる。

請求項５に示すように請求項２から４のいずれかに記載の複眼撮像装置のホワイトバランス調整方法において、前記選択工程は、前記特定した光源に最も近い光源において取得された撮像手段毎の個体差吸収係数を選択することを特徴とする。

これにより、適切な個体差吸収係数を適用することができる。

請求項６に示すように請求項１から５のいずれかに記載の複眼撮像装置のホワイトバランス調整方法において、前記個体差吸収係数取得工程において取得した撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を記録手段に記録する工程を備え、前記選択工程は、前記記録手段から前記特定した光源に対応する撮像手段毎の個体差吸収係数を読み出すことを特徴とする。

これにより、個体差吸収係数を保持しておけるので、常に適切な個体差吸収係数を適用することができる。

請求項７に示すように請求項１から６のいずれかに記載の複眼撮像装置のホワイトバランス調整方法において、前記基準決定工程は、ユーザからの指示に応じて前記複数の撮像手段の中から１つの基準撮像手段を決定することを特徴とする。

これにより、ユーザが好みの撮像手段を基準撮像手段にすることができる。

請求項８に示すように請求項１から７のいずれかに記載の複眼撮像装置のホワイトバランス調整方法において、前記第２のホワイトバランスゲイン算出工程は、前記基準撮像手段のホワイトバランスゲインと前記選択した撮像手段毎の個体差吸収係数との積に基づいて、前記基準撮像手段以外の撮像手段毎のホワイトバランスゲインを算出することを特徴とする。

これにより、適切にホワイトバランスゲインを算出することができる。

前記目的を達成するために請求項９に記載の複眼撮像装置は、撮像素子の各画素に対応してそれぞれ分光成分を受光させるための各色のカラーフィルタが配設された複数の撮像手段と、前記複数の撮像手段のうちの１つの基準撮像手段と該基準撮像手段以外の撮像手段との分光の個体差を吸収するための撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を取得する個体差吸収係数取得手段と、前記複数の撮像手段によって被写体を撮影して画像信号を取得する撮像手段と、前記基準撮像手段から得られた画像信号に基づいて該基準撮像手段のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出手段と、前記基準撮像手段から得られた画像信号に基づいて前記撮像手段が画像信号を取得したときの前記基準撮像手段への入射光の光源を特定する光源特定手段と、前記特定した光源に対応する撮像手段毎の個体差吸収係数を選択する選択手段と、前記基準撮像手段のホワイトバランスゲインと前記選択した撮像手段毎の個体差吸収係数とに基づいて、前記基準撮像手段以外の撮像手段毎のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出手段と、前記算出したホワイトバランスに基づいて前記取得した画像信号のホワイトバランスを調整するホワイトバランス調整手段とを備えたことを特徴とする。

請求項９に記載の発明によれば、基準撮像手段と基準撮像手段以外の撮像手段との分光の個体差を吸収するための撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を予め取得しておき、基準撮像手段から得られた画像信号に基づいて基準撮像手段のホワイトバランスゲインを算出し、入射光の光源を特定して対応する撮像手段毎の個体差吸収係数を選択し、基準撮像手段のホワイトバランスゲインと選択した撮像手段毎の個体差吸収係数とに基づいて、前記基準撮像手段以外の撮像手段毎のホワイトバランスゲインを算出し、算出したホワイトバランスゲインに基づいて画像信号のホワイトバランスを調整するようにしたので、複数の撮像素子の個体差と画角差による色のずれを光源の分光特性を含めて解消することができる。

請求項１０に示すように請求項９に記載の複眼撮像装置において、前記撮像素子は、前記カラーフィルタの前面に赤外光をカットするためのＩＲカットフィルタを備えたことを特徴とする。

このように、ＩＲカットフィルタを備えた場合であっても、撮像素子の個体差を吸収することができる。

本発明によれば、複数の撮像素子の個体差と画角差による色のずれを光源の分光特性を含めて解消することができる。

調整光源とカラーフィルタの分光特性を示すグラフ MasterとSlaveのＲ、Ｇ、Ｂ毎の積算値の差を示すグラフ 調整光源とカラーフィルタの分光特性を示すグラフ MasterとSlaveのＲ、Ｇ、Ｂ毎の積算値の差を示すグラフ 撮影環境とカラーフィルタの分光特性を示すグラフ MasterとSlaveのＲ、Ｇ、Ｂ毎の積算値の差を示すグラフ 調整光源とカラーフィルタの分光特性を示すグラフ 各種光源の積算値比（感度比）情報を示すグラフ 撮影前の調整を示すフローチャート 撮影時のホワイトバランス調整の動作を示すフローチャート 複眼撮像装置の電気的構成を示す図

以下、添付図面に従って本発明を実施するための形態について説明する。

＜個体差吸収係数とその問題点＞
２つの撮像装置MasterとSlaveのそれぞれの撮影画像の色味を合わせるには、MasterとSlaveの個体差を吸収する必要がある。この個体差は、撮像素子のＲ、Ｇ、Ｂそれぞれの感度差に起因しており、これらの感度差を吸収するために、まず図１に示す調整光源Ａの環境下においてMasterとSlave共にグレースケールの撮影を行い、それぞれのＲ、Ｇ、Ｂ毎の積算値を取得する。このとき、MasterとSlaveとのＩＳＯ感度や画角等の撮影条件は統一しておく。

図２は、調整光源Ａの環境下で撮影を行い、Ｇのレベルを正規化した後のMasterとSlaveのＲ、Ｇ、Ｂ毎の積算値の差を表したグラフである。この結果から、Ｒの個体差吸収係数をα_R、Ｂの個体差吸収係数をα_Bとすると、
α_R＝Mult_Master_R／Mult_Slave_R …（式１）
α_B＝Mult_Master_B／Mult_Slave_B …（式２）
と表すことができる。ここで、Mult_Master_RはＧレベル正規化後のMasterのＲの積算値、Mult_Master_BはＧレベル正規化後のMasterのＢの積算値、Mult_Slave_RはＧレベル正規化後のSlaveのＲの積算値、Mult_Slave_BはＧレベル正規化後のSlaveのＢの積算値である。

したがって、通常撮影時に取得される撮像装置Masterのホワイトバランス調整用のＲゲインAWB_Master_R及びＢゲインAWB_Master_Bから、撮像装置Slaveのホワイトバランス調整用のＲゲインAWB_Slave_R及びＢゲインAWB_Slave_Bは、以下のように求めればよい。

AWB_Slave_R＝α_R×AWB_Master_R …（式３）
AWB_Slave_B＝α_B×AWB_Master_B …（式４）
なお、個体差吸収係数の算出式は一例であり、その他の公知の個体差吸収係数を用いてもよい。

ここで、一般的に撮像装置には赤外の影響を無くすためのＩＲカットフィルタが備えられているが、このＩＲカットフィルタに分光のばらつき（個体差）があることが問題となる。

図３は、撮像装置Master及びSlaveにＩＲカットフィルタが装着されている場合のそれぞれのＩＲカット特性を示す図であり、MasterのＩＲカットフィルタを破線で、SlaveのＩＲカットフィルタを点線で示している。同図に示すように、ＩＲカットフィルタにより図の右側（長波長側）のＲ分光成分がカットされる。ここでは、Slaveに装着されているＩＲカットフィルタが、Masterに装着されているものより短波長側にずれている例を示しており、Slaveの方がより多くのＲ分光成分がカットされている。

また、図４は、図３に示すＩＲカットフィルタ装着時に調整光源Ａの環境下で撮影を行い、Ｇのレベルを正規化した後のMasterとSlaveのＲ、Ｇ、Ｂ毎の積算値の差を表したグラフである。ここで、Ｒの破線部分は、ＩＲカットフィルタが装着されていない場合の積算値を理想値として表した部分である。同図に示すように、ＩＲカットフィルタにより積算値は理想値よりも減少する。また、図３に示したようにSlaveのＩＲカットフィルタの特性の方が短波長側にずれているため、理想値からの減少量はMasterよりSlaveの方が大きくなっている。

このように、ＩＲカットフィルタの特性に個体差がある場合であっても、図４に示すデータを用いて式１〜式４により個体差吸収係数αを算出し、ホワイトバランス調整に適用することにより、この調整光源ＡのようにＲの波長全体にかかる分光特性をもつ光源下で撮影した場合には、MasterとSlaveの色味の差を吸収することができる。

しかしながら、調整光源Ａで算出した個体差吸収係数αを、異なる分光特性を持つ環境で撮影した画像データに適用すると、撮像装置MasterとSlaveで色味の差が発生してしまう。

例えば、図５に示す環境Ｂで撮影した場合を考える。同図に示すように、環境Ｂの分光はＲ成分をほとんど含まない。したがって、MasterとSlaveのＩＲカットフィルタの分光の特性にばらつきがある場合であっても、Ｒ積算値における理想値からの減少量は、図６に示すようにMasterとSlaveでほとんど変わらない。即ち、この場合はMasterとSlaveとの感度差だけを補正すればよいことになる。しかし、調整光源Ａで算出した個体差吸収係数αは、感度差に加えて理想値からの減少量の差、即ちＩＲカットフィルタの個体差も含んでいるため、環境Ｂで撮影したSlaveの画像に個体差吸収係数αを適用すると、過補正（Ｒ味）になってしまう。

この環境Ｂのような、ＩＲカットフィルタばらつきの影響を受けない環境下での撮影において色味の差を無くすためには、図７に示す光源Ｃのような分光特性を持つ光源を用いて算出された個体差吸収係数βを適用すればよい。ただし、逆の理由によって、光源Ａの環境下で撮影された画像に個体差吸収係数βを適用すると色味がずれてしまう。したがって、分光特性に応じて個体差吸収係数α、βを切り替える必要がある。

例えば、図８は、各種光源の積算値比をプロットしたものであり、横軸がＲ／Ｇ、縦軸がＢ／Ｇとなっている。同図に示すブロード光源下グレー軌跡は、太陽光や電球といった、ブロードな分光特性を持つ光源の色温度を変えたときの積算値比の推移である。ブロード光源下グレー軌跡は、ＩＲカットばらつきを大きく受ける光源の軌跡であるので、撮影データの積算値比Ｒ／Ｇ、Ｂ／Ｇがこの軌跡付近にくる場合は、個体差吸収係数αを選択する。

また、撮影データの積算値比が昼白色蛍光灯、白色蛍光灯などの点付近にくる場合は、その点に対応する個体差吸収係数βを選択すればよい。図８においては４種類の光源を示しているが、光源の種類を増加させることにより、より精度を高めることができる。

なお、ここではＩＲカットフィルタの個体差を例に挙げたが、撮像素子の積算値がばらつく要因はＩＲカットフィルタに限られるわけではない。したがって、例えばＵＶカットを考慮した個体差吸収係数γ等、その他の分光を考慮した個体差吸収係数を追加することにより、より精度よくホワイトバランスを調整することができる。

以上のように、本願出願人は、１種類の個体差吸収係数だけでは、撮影される環境の分光特性によってはホワイトバランス調整の過不足が発生するという不具合が生じることを見出した。また、撮影時の分光特性に応じた個体差吸収係数を適用することにより、常に適切なホワイトバランス調整が行えることを見出した。

＜撮影前調整＞
図９は、本発明の一実施形態に係る複数の撮像素子（撮像部）を備えた撮像装置の、撮影前に行う調整について示すフローチャートである。この調整は、例えば、撮像装置の出荷前の調整工程において行う。なお、撮像装置は、複数の撮像部のうち予めMasterとなる１つの撮像部が決められており、その他の撮像部がSlaveとなっている。

まず、未調整の撮像光源があるか否かを判定する（ステップＳ１）。

撮像光源としては、太陽光、昼光色蛍光灯光、昼白色蛍光灯光、白色蛍光灯光、電球色蛍光灯光、ストロボ光等が考えられる。撮像装置は、撮影前に予め、これらの光源について全ての撮像部の感度比と個体差吸収係数を取得しておく。

未調整の撮像光源がある場合は、該当する撮影光源をセットし（ステップＳ２）、この光源で撮影（調整）していない撮像部の有無を判定する（ステップＳ３）。

調整していない撮像部がある場合には、該当する撮像部を規定の画角、撮影条件（絞り、シャッタースピード、ＩＳＯ感度等）に設定し、この光源の環境下でグレースケールの撮影を行わせる（ステップＳ４）。撮像装置は、ここで得られたＲ、Ｇ、Ｂの積算値データから、Ｒ、Ｇ、Ｂの感度比Ｒ／Ｇ、Ｂ／Ｇを取得し、撮像装置内の記録媒体へ保存する（ステップＳ６）。さらに、Masterの撮像部のＲ、Ｇ、Ｂの積算値データに基づいて、式１〜式４を適用してＲの個体差吸収係数及びＢの個体差吸収係数を取得し（ステップＳ７）、同様に撮像装置内の記録媒体へ保存する（ステップＳ８）。

１つの撮像部のデータ取得が終わったらステップＳ３に戻り、他にも未調整の撮像素子１３がある場合には、同様に撮像装置に撮影を行わせ、感度比と個体差吸収係数を取得させる。

全ての撮像素子の感度比の取得が終了したら、ステップＳ１に戻り、未調整の撮像光源があるか否かを判定し、未調整の撮像光源がある場合は、該当する撮影光源をセットし（ステップＳ２）、同様の処理を繰り返す。

以上のように、必要とする全ての撮像光源について、全ての撮像部の感度比と個体差吸収係数を撮像装置に取得させる。

＜撮影時のホワイトバランス調整＞
図１０は、撮像装置の出荷後における、ユーザによる通常の撮影時のホワイトバランス調整の動作を示すフローチャートである。撮像装置は、予め取得した複数の光源毎の各撮像部の感度比と個体差吸収係数を用いてホワイトバランス調整を行い、撮像部毎の画像の色味を同じにする。

まず、シャッターボタンが半押しされたか否かを判定する（ステップＳ１１）。撮像装置のシャッターボタンは、半押しと全押しの二段ストローク式で構成されており、半押し時にＡＥ及びＡＦ処理が行われ、全押し時に記録用の露光が行われる。

シャッターボタンが半押しされた場合には、複眼撮像モードに設定されているか否かを判定する（ステップＳ１２）。撮像装置は、Masterの撮像部又は１つのSlaveの撮像部だけで撮影を行う単眼撮像モードとMasterの撮像部とSlaveの撮像部とで撮影を行う複眼撮像モードを備えており、単眼撮像モードに設定されている場合には、ステップＳ１３へ移行し、通常の単眼撮影処理を行う。

複眼撮像モードに設定されている場合は、Masterの撮像部において撮影を行ない、取得された画像データに基づいて入射光の光源を推定する（ステップＳ１４）。光源推定は、図８に示す各種光源での積算値比（感度比）情報が用いられる。

ステップＳ１４においてMasterの撮像部で撮影された画像データから積算値比Ｒ／Ｇ、Ｂ／Ｇを算出し、算出した積算値比の点を図８に示すグラフ上にプロットをする。このプロットされた点の位置がいずれの光源の位置に近いかを判断し、最も近い位置にある光源を今回の光源であると推定する。

次に、Masterの撮像部において撮影された画像データに基づいて、Masterのホワイトバランスゲイン（ＡＷＢゲイン）AWB_Gain_Master（ＲのＡＷＢゲインAWB_Gain_R_Master及びＢのＡＷＢゲインAWB_Gain_B_Master）を算出する（ステップＳ１５）。このＡＷＢゲインの算出は、公知の手法を用いて行えばよい。

さらに、ステップＳ１７〜Ｓ１９において、全てのSlaveの撮像部のＡＷＢゲインを算出する。SlaveのＡＷＢゲインを算出するには、まず、ＡＷＢゲインを算出していない撮像部を選択し（ステップＳ１７）、この選択した撮像部の個体差吸収係数のうち、ステップＳ１４において推定した光源に対応する個体差吸収係数を記録部から読み出す（ステップＳ１８）。この読み出した個体差吸収係数とMasterのＡＷＢゲインとの積から、選択した撮像部のＡＷＢゲインであるAWB_Gain_Slave(n)（ＲのＡＷＢゲインAWB_Gain_R_Slave(n)及びＢのＡＷＢゲインAWB_Gain_B_Slave(n)）を算出する。なおｎは、複数のSlaveの撮像部のうちのｎ番目の撮像部であることを示している。

ステップＳ１６において、全てのSlaveのＡＷＢゲインを算出したと判断した場合には、ステップＳ２０へ移行し、Master及び全てのSlaveの撮像部において、算出したＡＷＢゲインを適用する。即ち、その後シャッターボタンが全押しされ、記録用の露光が行われた場合には、この記録用の画像データについて、上記のように算出したＡＷＢゲインによってホワイトバランスを調整する。

なお、本実施形態では、複数の撮像部のうち予めMasterとなる撮像部が決められていたが、ユーザが複数の撮像部の中から自由に選択できるように構成してもよい。この場合は、Masterとなる撮像部が切り替えられたときに、記録部から各撮像部の感度比を読み出し、各撮像部の個体差吸収係数を再演算して再び記録部に記録すればよい。このように構成することにより、ユーザが好みの撮像部をMasterとすることができ、より好みの画像を撮影することが可能となる。感度比から個体差吸収係数を算出するには、式１、２の積算値を感度比に置き換えればよい。

＜複眼撮像装置の構成＞
次に、前述した分光特性別に個体差吸収係数を持つ撮像装置の具体的な適用例としての複眼撮像装置１０について説明する。

図１１は、本発明の一実施形態に係る複眼撮像装置１０の電気的構成を示す図である。同図に示すように、複眼撮像装置１０は、複眼撮像部１１、画像入力コントローラ１５、ＣＰＵ１６、操作部１７、バス１８、メモリ制御部１９、メモリ２０、デジタル信号処理部２１、圧縮伸張処理部２２、記録媒体制御部２３、記録媒体２４、表示制御部２５及び表示部２６等から構成される。

各部はＣＰＵ１６に制御されて動作し、ＣＰＵ１６は、操作部１７からの入力に基づき所定の制御プログラムを実行することにより、複眼撮像装置１０の各部を制御する。

複眼撮像部１１は、第１の撮像部１１−１、第２の撮像部１１−２、第３の撮像部１１−３、…、第ｍの撮像部１１−ｍ、のｍ個の撮像部から構成されており、第１の撮像部１１−１がMaster、その他の撮像部１１−２〜１１−ｍがSlaveとなっている。

各撮像部１１−ｎは、撮像レンズ１２−ｎ及び撮像素子１３−ｎから構成される。

撮像レンズ１２は、ズームレンズ、フォーカスレンズを含み、各レンズ駆動部に駆動されて、ズーミング、フォーカシングを行う。

撮像素子１３は、撮像レンズ１２の後段に配置されており、レンズ１２を透過した被写体光を受光する。撮像素子１３の前面には、赤外域の光をカットするＩＲカットフィルタが設けられている。また、撮像素子１３の受光面には多数の受光素子が二次元的に配列されており、各受光素子に対応して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。受光面上に結像された被写体光は、各受光素子によって電気信号に変換され、蓄積される。

なお、撮像素子１３のカラーフィルタは、３原色カラーフィルタに限られるものではなく、その他の色を備えたカラーフィルタを用いてもよい。例えば、Ｒ、Ｇ、Ｂの他に、青緑を加えた４色カラーフィルタを用いてもよい。また、３原色のカラーフィルタに代えて、補色系のカラーフィルタを用いてもよい。

各受光素子に蓄積された電気信号は、垂直転送路に読み出される。垂直転送路は、この信号をタイミングジェネレータから供給されるクロックに同期して、１ラインずつ水平転送路に転送する。さらに水平転送路は、垂直転送路から転送された１ライン分の信号を、タイミングジェネレータから供給されるクロックに同期して信号処理部１４へ出力する。

信号処理部１４には、各撮像部１１−１〜１１−ｍから出力される画像信号がそれぞれ入力される信号処理部１４−１〜１４−ｍが設けられている。信号処理部１４は、画像信号に含まれるリセットノイズを除去するための相関２重サンプリング回路と、設定された撮影感度（ＩＳＯ感度）に応じた所定のゲインで画像信号をアナログ的に増幅するための可変ゲインアンプ回路とを含み、撮像素子１３から出力された画像信号のリセットノイズを除去して増幅する。さらに、信号処理部１４はＡ／Ｄ変換器を備えており、所要の信号処理が施されたアナログの画像信号は、Ａ／Ｄ変換部において所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるＲＡＷデータであり、画素毎にＲ、Ｇ、Ｂの濃度を示す階調値を有している。

信号処理部１４−１〜１４−ｍから出力されたＲＡＷデータは、画像入力コントローラ１５に入力される。画像入力コントローラ１５は、所定容量のラインバッファを内蔵しており、信号処理部１４から出力された画像信号を蓄積する。これらの画像信号は、バス１８、メモリ制御部１９を介してメモリ２０に格納される。

デジタル信号処理部２１は、ＡＷＢゲイン算出部、ＡＷＢ処理部、光源推定部、ＲＧＢ／ＹＣ変換部等を含んで構成されており、メモリ２０から点順次に取り込んだＲ、Ｇ、Ｂの各色の画像信号に対して所定の信号処理を施し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。

なお、ＡＷＢ処理部は、Ｒ、Ｇ、Ｂの色信号のレベルを増減するための可変ゲインアンプ回路を含み、ＡＷＢゲイン算出部において算出されたＡＷＢゲインに基づいて、ＲＡＷデータのゲイン調整を行う。

圧縮伸張処理部２２は、ＣＰＵ１６からの圧縮指令に従い、入力された輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）に所定形式（たとえば、ＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１６からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。

記録媒体制御部２３は、ＣＰＵ１６からの指令に従い、記録媒体２４に対してデータの読み／書きを制御する。なお、記録媒体２４は、メモリカードのようにカメラ本体に対して着脱自在なものでもよいし、また、カメラ本体に内蔵されたものでもよい。着脱自在とする場合は、カメラ本体にカードスロットを設け、このカードスロットに装填して使用する。

表示制御部２５は、ＣＰＵ１６からの指令に従い、表示部２６への表示を制御する。表示部２６は、各撮像部１１−１〜１１−ｍから出力される画像信号に基づいたいわゆるスルー画像を同時に、又は切り替えて表示することができる液晶モニタである。さらに、記録媒体２４に記録された撮影済み画像を、圧縮伸張処理部２２による伸張処理後に表示することもできる。表示部２６は、各撮像部１１−１〜１１−ｍにおいて撮影された画像信号に基づいた立体画像を表示することが可能なパララックスバリア方式やレンチキュラーレンズ方式の３Ｄモニタであってもよい。

操作部１７は、ユーザが複眼撮像装置１０に各種の指令を入力するための操作部材であり、シャッターボタン、ズームスイッチ、モード切換スイッチ等から構成される。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ１オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ２オンによって記録用の露光が行われる。また、モード切換スイッチは、複眼撮像モードと単眼撮像モードとを切り替えるための操作手段である。複眼撮像モードでは、ｍ個の撮像部１１において同時に露光が行われ、ｍ枚の画像が取得される。単眼撮像モードでは、撮像部１１−１〜１１−ｍのうち、いずれかの撮像部を用いて通常の撮影を行う。どの撮像部を用いて撮影を行うかは、予め決められていてもよいし、ユーザが自由に決定できるように構成してもよい。

また、操作部１７には、各撮像部１１−１〜１１−ｍのうち、いずれの撮像部をMasterとして使用するのかを選択可能なMaster選択部を設けてもよい。

以上のように構成することで、図９、図１０に示すフローチャートを実行可能な複眼撮像装置を実現することができる。

１０…複眼撮像装置、１１…複眼撮像部、１１−１〜１１−ｍ…撮像部、１２−１〜１２−ｍ…撮像レンズ、１３−１〜１３−ｍ…撮像素子、１４−１〜１４−ｍ…信号処理部、１５…画像入力コントローラ、１６…ＣＰＵ、１７…操作部、２１…デジタル信号処理部、２６…表示部

Claims (10)

1. 撮像素子の各画素に対応してそれぞれ分光成分を受光させるための各色のカラーフィルタが配設された複数の撮像手段を備えた複眼撮像装置のホワイトバランス調整方法であって、
   前記複数の撮像手段の中から１つの基準撮像手段を決定する基準決定工程と、
   前記基準撮像手段と該基準撮像手段以外の撮像手段との分光の個体差を吸収するための撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を取得する個体差吸収係数取得工程と、
   前記複数の撮像手段によって被写体を撮影して画像信号を取得する撮影工程と、
   前記基準撮像手段から得られた画像信号に基づいて該基準撮像手段のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出工程と、
   前記基準撮像手段から得られた画像信号に基づいて、前記撮影工程が画像信号を取得したときの前記基準撮像手段への入射光の光源を特定する光源特定工程と、
   前記特定した光源に対応する撮像手段毎の個体差吸収係数を選択する選択工程と、
   前記基準撮像手段のホワイトバランスゲインと前記選択した撮像手段毎の個体差吸収係数とに基づいて、前記基準撮像手段以外の撮像手段毎のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出工程と、
   前記算出したホワイトバランスゲインに基づいて前記取得した画像信号のホワイトバランスを調整するホワイトバランス調整工程と、
   を備えたことを特徴とする複眼撮像装置のホワイトバランス調整方法。
2. 前記複数の撮像手段において分光特性の異なる複数の光源下において撮影を行って画像信号を取得する光源撮影工程を備え、
   前記個体差吸収係数取得工程は、前記光源撮影工程において取得した画像信号に基づいて、撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を取得することを特徴とする請求項１に記載の複眼撮像装置のホワイトバランス調整方法。
3. 前記光源撮影工程は、前記複数の撮像手段の撮影条件を統一して分光特性の異なる複数の光源下において撮影を行うことを特徴とする請求項２に記載の複眼撮像装置のホワイトバランス調整方法。
4. 前記光源撮影工程において取得した画像信号から各撮像手段の撮像素子の各色の感度比を算出する工程を備え、
   前記個体差吸収係数取得工程は、前記感度比に基づいて撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を取得することを特徴とする請求項２又は３に記載の複眼撮像装置のホワイトバランス調整方法。
5. 前記選択工程は、前記特定した光源に最も近い光源において取得された撮像手段毎の個体差吸収係数を選択することを特徴とする請求項２から４のいずれかに記載の複眼撮像装置のホワイトバランス調整方法。
6. 前記個体差吸収係数取得工程において取得した撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を記録手段に記録する工程を備え、
   前記選択工程は、前記記録手段から前記特定した光源に対応する撮像手段毎の個体差吸収係数を読み出すことを特徴とする請求項１から５のいずれかに記載の複眼撮像装置のホワイトバランス調整方法。
7. 前記基準決定工程は、ユーザからの指示に応じて前記複数の撮像手段の中から１つの基準撮像手段を決定することを特徴とする請求項１から６のいずれかに記載の複眼撮像装置のホワイトバランス調整方法。
8. 前記第２のホワイトバランスゲイン算出工程は、前記基準撮像手段のホワイトバランスゲインと前記選択した撮像手段毎の個体差吸収係数との積に基づいて、前記基準撮像手段以外の撮像手段毎のホワイトバランスゲインを算出することを特徴とする請求項１から７のいずれかに記載の複眼撮像装置のホワイトバランス調整方法。
9. 撮像素子の各画素に対応してそれぞれ分光成分を受光させるための各色のカラーフィルタが配設された複数の撮像手段と、
   前記複数の撮像手段のうちの１つの基準撮像手段と該基準撮像手段以外の撮像手段との分光の個体差を吸収するための撮像手段毎の個体差吸収係数であって、分光特性の異なる複数の光源毎の個体差吸収係数を取得する個体差吸収係数取得手段と、
   前記複数の撮像手段によって被写体を撮影して画像信号を取得する撮像手段と、
   前記基準撮像手段から得られた画像信号に基づいて該基準撮像手段のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出手段と、
   前記基準撮像手段から得られた画像信号に基づいて前記撮像手段が画像信号を取得したときの前記基準撮像手段への入射光の光源を特定する光源特定手段と、
   前記特定した光源に対応する撮像手段毎の個体差吸収係数を選択する選択手段と、
   前記基準撮像手段のホワイトバランスゲインと前記選択した撮像手段毎の個体差吸収係数とに基づいて、前記基準撮像手段以外の撮像手段毎のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出手段と、
   前記算出したホワイトバランスに基づいて前記取得した画像信号のホワイトバランスを調整するホワイトバランス調整手段と、
   を備えたことを特徴とする複眼撮像装置。
10. 前記撮像素子は、前記カラーフィルタの前面に赤外光をカットするためのＩＲカットフィルタを備えたことを特徴とする請求項９に記載の複眼撮像装置。

Images