JP2020091328A - 撮像装置及びその制御方法、及び演算方法 - Google Patents

Abstract

【課題】 可視光及び赤外光による画像を撮影する場合に、環境光の照明波長及び被写体の分光反射率に対する合焦位置の依存性を低減すること。【解決手段】 結像光学系を介して入射する、第１および第２の波長帯域の光に感度を有する撮像素子と、結像光学系と撮像素子との間に設けられ、第１の波長帯域の光を選択的に透過する第１のフィルタ領域を有する光学フィルタと、撮像素子から得られた信号に基づいて、フォーカスレンズの合焦位置を演算する演算手段と、を有し、演算手段は、撮像素子の画素領域の内、第１のフィルタ領域を透過した光を受光する第１の画素領域から得られた第１の信号と、第１の画素領域を除く第２の画素領域から得られた第２の信号に基づいて、第２の画素領域が受光する光の第１および第２の波長帯域の成分を推測し、該推測した成分に基づいて、予め決められた撮影距離に対するフォーカスレンズの合焦位置を演算する。【選択図】 図２

Description

本発明は、撮像装置及びその制御方法、及び演算方法に関する。

監視用途などの撮像装置においては、夜間などの低照度時にも鮮明な被写体像を取得することが要求される。低照度時にも鮮明な被写体像を取得できる撮像装置として、可視光だけでなく、赤外光にも感度を有する撮像素子を使用し、可視光及び赤外光による撮影画像を取得可能な撮像装置が提案されている（特許文献１参照）。

特開２００１−４５５１２号公報

監視用途などの撮像装置においては、常に特定の撮影領域を監視し続けるために、合焦位置を固定して撮影し続けることが要求される場合がある。しかし、一般的な結像光学系は軸上色収差を有しているため、入射する光の波長によって結像位置が異なってしまう。図１２は、結像光学系に入射する光の波長と、結像位置との関係（軸上色収差）を示す図であり、光の波長を横軸、結像位置を縦軸に示している。図１２から分かるように、結像光学系の軸上色収差に起因して、結像光学系に入射する光の波長によって、結像位置が異なっている。一般に、波長が異なるほど、結像位置の相違も大きくなる。

結像光学系に入射する光の波長は、環境光の照明波長と被写体の分光反射率の積（以下、「環境光の波長」と呼ぶ。）によって決定される。そのため、フォーカスレンズの位置を固定したまま被写体を撮影した場合、環境光の波長が変化すると、合焦位置が変化してしまう。例えば、店舗や駐車場の出入口に設けられた監視用途の撮像装置では、特定の撮影領域（この場合は出入口）に合焦位置を合わせたまま撮影し続けることが要求される。また、例えば工場での組み立て工程に使用する産業用の撮像装置や、障害物検知用の車載用の撮像装置などにおいても、特定の撮影領域に合焦位置を合わせたまま撮影し続けることが要求される。

特許文献１に示すような従来の撮像装置のように、フォーカスレンズの位置を固定したまま撮影した場合、合焦位置ずれによって所望の画像が取得できないことがあった。特に、監視用途において、可視光及び赤外光による撮影画像を取得する場合、環境光の波長の差が大きいため、環境光の照明波長や、被写体の分光反射率によって合焦位置のずれが大きくなってしまう。

本発明は上記問題点を鑑みてなされたものであり、可視光及び赤外光による画像を撮影する場合に、環境光の照明波長及び被写体の分光反射率に対する合焦位置の依存性を低減することを目的とする。

上記目的を達成するために、本発明の撮像装置は、フォーカスレンズを含む結像光学系を介して入射する、第１の波長帯域の光と第２の波長帯域の光に感度を有する撮像素子と、前記結像光学系と前記撮像素子との間に設けられ、前記第１の波長帯域の光を選択的に透過する第１のフィルタ領域を有する光学フィルタと、前記撮像素子から得られた信号に基づいて、前記フォーカスレンズの合焦位置を演算する演算手段と、を有し、前記演算手段は、前記撮像素子の画素領域の内、前記第１のフィルタ領域を透過した光を受光する第１の画素領域から得られた第１の信号と、前記第１の画素領域を除く第２の画素領域から得られた第２の信号とに基づいて、前記第２の画素領域が受光する光の前記第１の波長帯域の第１の成分と、前記第２の波長帯域の第２の成分とを推測し、該推測した第１の成分と第２の成分とに基づいて、予め決められた撮影距離に対する前記フォーカスレンズの合焦位置を演算する。

本発明によれば、可視光及び赤外光による画像を撮影する場合に、環境光の照明波長及び被写体の分光反射率に対する合焦位置の依存性を低減することができる。

本発明の第１〜第３の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における光学フィルタの構成と、光学フィルタと撮像素子との位置関係を説明する概念図。 第１の実施形態におけるフォーカスレンズ制御テーブルの一例を示す図。 第１の実施形態及び変形例１及び２における信号レベルの算出に用いる画素領域の一例を説明するための概略図。 第２の実施形態及び変形例４における光学フィルタの構成と、光学フィルタと撮像素子との位置関係を説明する概念図。 変形例４におけるフォーカスレンズ制御テーブルの一例を示す図。 第３の実施形態における光学フィルタの構成と、光学フィルタと撮像素子との位置関係を説明する概念図。 第４及び第５の実施形態における撮像装置の概略構成を示すブロック図。 第４の実施形態における光学フィルタの構成と、光学フィルタと撮像素子との位置関係を説明する概念図。 第５の実施形態における光学フィルタの構成と、光学フィルタと撮像素子との位置関係を説明する概念図。 変形例５における撮像素子中の画素の分光感度特性を示す図。 結像光学系の軸上色収差の一例を示す図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
●撮像装置
本発明の第１の実施形態における撮像装置の概略構成を図１に示す。図１（ａ）において、撮像装置１００は、結像光学系１０１、撮像素子１０２、制御部１０３、及び撮像素子１０２よりも結像光学系１０１側（−Ｚ側）に配置された光学フィルタ１０４を含む。

撮像素子１０２は結像光学系１０１の光軸上に配置され、結像光学系１０１は撮像素子１０２上に被写体像を結像する。そして、撮像素子１０２は、可視光の少なくとも一部、及び、赤外光の少なくとも一部の波長帯域に吸収を有するＳｉ、ＩｎＧａＡｓ、金属酸化物などの無機半導体や、有機半導体などで形成されている。なお、可視光とは波長３８０ｎｍから７５０ｎｍまでの波長の光、赤外光とは７５０ｎｍから２５００ｎｍまでの波長の光のことを意味する。そして、吸収を有するとは、所望の波長帯域において、消衰係数が１×１０−３以上であることを意味する。Ｓｉを使用した場合、Ｓｉの吸収端は１１００ｎｍであるため、可視光の波長帯域全体の光、及び、波長７５０ｎｍ以上かつ１１００ｎｍ以下の赤外光に吸収を有する。

図１（ｂ）は、本実施形態における結像光学系１０１の構成を示す概略図である。結像光学系１０１は、焦点調整機構１０５と複数の結像レンズとを有する。そして、複数の結像レンズの一部を構成するフォーカスレンズ１０６の位置を、ステッピングモーターなどの駆動機構を有する焦点調整機構１０５を用いて光軸方向（Ｚ軸方向）に移動させることで、結像光学系１０１の合焦位置を調整している。

制御部１０３は、焦点調整機構１０５の制御、撮像素子１０２の駆動、撮像素子１０２からの信号読み出しと画像生成を行う。また、制御部１０３は、後述するフォーカスレンズ制御テーブル１１１を保持している。

図２は、上記構成を有する撮像装置１００で用いられる第１の実施形態における光学フィルタ１０４の構成と、光学フィルタ１０４と撮像素子１０２との位置関係を説明する図である。図２（ａ）は、光学フィルタ１０４と撮像素子１０２を＋Ｙ軸方向から見た図、図２（ｂ）は、撮像素子１０２を−Ｚ軸方向から見た図である。

光学フィルタ１０４は、所定の波長帯域に含まれる可視光（第１の波長）を選択的に透過し、可視光とは少なくとも一部が異なる所定の波長帯域に含まれる赤外光（第２の波長）を選択的に吸収する第１のフィルタ領域１０７と、可視光及び赤外光の双方を透過させる第２のフィルタ領域１０８を有している。そして、撮像素子１０２の一部を覆うように、第１のフィルタ領域１０７を配置する。ここで、撮像素子１０２の画素領域１１３の内、第１のフィルタ領域１０７で覆われた画素領域を第１の画素領域１０９、第２のフィルタ領域１０８で覆われた画素領域を第２の画素領域１１０と呼ぶ。即ち、第２の画素領域１１０の画素は、可視光と赤外光の双方を受光するのに対し、第１の画素領域１０９の画素は、第１のフィルタ領域１０７によって赤外光が吸収されるため、可視光のみを受光する。

第１の実施形態では、制御部１０３において、第１の画素領域１０９の画素から読み出される信号レベルと、第２の画素領域１１０の画素から読み出される信号レベルとの差から、環境光の照明波長と被写体の分光反射率の積（環境光の波長）を推定する。そして、その推定結果と、フォーカスレンズ制御テーブル１１１とを用いて、焦点調整機構１０５の制御を行う。以下に、具体的な説明を行う。

図３は、フォーカスレンズ制御テーブル１１１の一例を示す図である。本実施形態では、ピントを合わせたい距離（撮影距離）と、環境光の波長に応じたフォーカスレンズ１０６の位置との関係を示したフォーカスレンズ制御テーブル１１１を制御部１０３が保持している。具体的には、撮影距離Ｌに対して、結像光学系１０１に可視光が入射した際のフォーカスレンズ１０６の位置ＰＶＩと、赤外光が入射した際のフォーカスレンズ１０６の位置ＰＩＲを有している。

なお、フォーカスレンズ制御テーブル１１１に記載されている距離Ｌの間の距離にピントを合わせたい場合、フォーカスレンズ制御テーブル１１１における所望の距離前後の距離Ｌに対応する位置ＰＶＩと位置ＰＩＲとの間を、線形補間などで補間すればよい。また、図３では、撮影距離Ｌと、位置ＰＶＩ及びＰＩＲとの関係をテーブルの形で保持する場合を示したが、多項式などの式の形で持っていても良い。

次に、環境光の波長を推定する方法について説明する。前述したように、第１の画素領域１０９の画素は可視光のみを受光し、第２の画素領域１１０の画素は可視光及び赤外光の双方を受光する。従って、第１の画素領域１０９の画素から読み出される第１の信号レベルをＳ１、第２の画素領域１１０の画素から読み出される第２の信号レベルをＳ２とした場合、環境光の波長を以下の式（１）及び式（２）を用いて推定することができる。
ＳＶＩ＝Ｓ１ …（１）
ＳＩＲ＝Ｓ２−Ｓ１ …（２）
ここで、ＳＶＩは環境光の波長中の可視光成分、ＳＩＲは環境光の波長中の赤外光成分である。即ち、式（１）と式（２）を用いることで、環境光の波長中に含まれる可視光成分（第１の成分）と赤外光成分（第２の成分）を推測することができる。第１の信号レベルＳ１、第２の信号レベルＳ２としては、第１の画素領域１０９と第２の画素領域１１０内の特定の画素の信号レベルを用いても良いし、複数の画素の信号レベルの平均値や中央値を用いても良い。なお、複数の画素の信号レベルの平均値や中央値を用いると、推定精度が向上する。

図４（ａ）は、第１の実施形態における信号レベルの算出に用いる複数の画素を含む画素領域の一例を説明するための概略図である。結像光学系は一般的に、光軸に対して回転対称な結像性能を有する。従って、光軸からの距離（像高）に応じて画素が受光する光の量が異なる、所謂シェーディングが発生する。そのため、第１の信号レベルＳ１を求めるための第１の波長推定領域１０９ａと、第２の信号レベルＳ２を求めるための第２の波長推定領域１１０ａの像高が等しい方が、環境光の波長中の可視光成分と赤外光成分をより精度よく推定することができる。なお、ここでは、第１の波長推定領域１０９ａと第２の波長推定領域１１０ａの像高は、それぞれの重心の像高とする。また、これらの領域の像高は、１０％程度の誤差があっても良い。

また、ローリングシャッターモードで駆動される撮像素子では、垂直走査回路と、垂直走査回路に接続された水平制御線を用いて、上の行から下の行へ順次、画素の電荷蓄積と、周辺回路への信号読み出しを行う。このように、異なる行に位置する画素間（Ｙ座標が異なる画素間）では、露光タイミングが異なっている。特に、例えば環境光の照明に蛍光灯が使用されており、フリッカが生じている場合などでは、異なる行に位置する画素間では、画素が受光する光の量が異なってしまう。従って、図４（ａ）に示すように、第１の波長推定領域１０９ａと第２の波長推定領域１１０ａの、画素信号を読み出す方向の座標（Ｙ座標）が等しい方が、環境光の波長中の可視光成分と赤外光成分をより精度よく推定することができる。なお、ここでは、第１の波長推定領域１０９ａ及び第２の波長推定領域１１０ａのＹ座標は、それぞれの重心のＹ座標とする。

また、第１の波長推定領域１０９ａと第２の波長推定領域１１０ａの、環境光の波長の相違が小さい方が、環境光の波長をより精度よく推定することができる。そのため、第１の波長推定領域１０９ａと第２の波長推定領域１１０ａとして、主被写体ではないと推定される部分を使用することが考えられる。具体的には、第１の画素領域１０９と、第２の画素領域１１０において、画素間の信号レベルのコントラスト比が小さい領域を、波長推定領域として使用する。

続いて、上述した式（１）及び（２）により推測した、環境光の波長中に含まれる可視光成分ＳＶＩと赤外光成分ＳＩＲを用いて、フォーカスレンズ１０６の位置を制御する方法について説明する。前述したように、フォーカスレンズ制御テーブル１１１は、可視光が入射した際に合焦位置を合わせるためのフォーカスレンズの位置ＰＶＩと、赤外光が入射した際に合焦位置を合わせるためのフォーカスレンズの位置ＰＩＲを有している。本実施形態では、式（３）に示すように、撮影距離Ｌの位置ＰＶＩと位置ＰＩＲに対して、環境光の波長中の可視光成分ＳＶＩと赤外光成分ＳＩＲに基づいて重み付け平均を行う。そして、求めたＰＭＩＸの位置までフォーカスレンズ１０６を移動させることで、合焦位置の環境光の波長依存性を低減することができる。
ＰＭＩＸ＝（ＰＶＩ×ＳＶＩ＋ＰＩＲ×ＳＩＲ）／（ＳＶＩ＋ＳＩＲ） …（３）

上記の通り本第１の実施形態によれば、環境光の波長中の可視光成分と赤外光成分を推定し、その結果を用いてフォーカスレンズの位置を制御することで、環境光の照明波長及び被写体の分光反射率に対する合焦位置の依存性を低減することができる。これにより、画像の品質を向上させることができる。

＜変形例１＞
図２では、第１の画素領域１０９が、撮像素子１０２の＋Ｘ方向の一辺に沿って設けられている場合を示したが、第１の画素領域１０９及び第２の画素領域１１０の配置は図２に示す配置に限られるものでは無い。但し、第１のフィルタ領域が、光学フィルタのいずれか一辺に沿って設けられている方が、光学フィルタの製造が容易であるため、好ましい。
また、撮像素子１０２の画素領域１１３の内、画像を生成するために用いる有効画素領域１１２において、第２の画素領域１１０の割合が大きい方が好ましい。以下にその理由について説明する。

前述したように、第２の画素領域１１０の画素は、可視光と赤外光の双方を受光するのに対し、第１の画素領域１０９の画素は、可視光のみを受光する。従って、第１の画素領域１０９の画素が受光する光の量は、第２の画素領域１１０の画素が受光する光の量よりも少ない。一般に、画素信号のＳＮ比は、画素が受光する光量が多いほど高くなるため、第２の画素領域１１０の画素信号の方が、第１の画素領域１０９の画素信号よりもＳＮ比が高い。従って、第２の画素領域１１０の画素信号から生成した画像の品質の方が、第１の画素領域１０９の画素信号から生成した画像の品質よりも高くなる。そのため、有効画素領域１１２の第２の画素領域１１０の割合が大きい方がより好ましい。特に、有効画素領域１１２が全て第２の画素領域１１０であると、更に好ましい。

言い換えると、撮像素子１０２の有効画素領域１１２のうち、光学フィルタ１０４の第１のフィルタ領域１０７で覆われる面積の割合が小さい方が好ましく、更に有効画素領域１１２が、第１のフィルタ領域１０７で覆われていない場合が、更に好ましい。

撮像装置１００が、有効画素領域１１２外の画素領域を持つ例として、撮像素子１０２の画素領域１１３の面積の方が、結像光学系１０１の像円１０１ｂの面積よりも大きい場合がある。例えば、全方位カメラでは、撮像素子１０２の矩形の画素領域１１３のうち、結像光学系１０１の像円１０１ｂで決まる領域が、円形の有効画素領域１１２となり、それ以外の領域が、有効画素領域１１２外の画素領域となっている。従って、このような撮像装置１００では、光学フィルタ１０４の第１のフィルタ領域１０７が、画素領域１１３の四隅を含む領域を覆い、且つ、中心の有効画素領域１１２を覆わないように配置するとよい。

図４（ｂ）は、中心の有効画素領域１１２を除く、画素領域１１３の四隅を含む領域を第１のフィルタ領域１０７で覆った例を示している。このような構成とすることで、画像生成に使用しない第１の画素領域１０９からの画素信号と、有効画素領域１１２である第２の画素領域１１０からの画素信号を利用して、環境光の波長中に含まれる可視光成分（第１の成分）及び赤外光成分（第２の成分）を推測することができる。また、有効画素領域１１２では、可視光と赤外光の双方からなる画素信号を用いて、画像を生成することができる。その結果、環境光の照明波長及び被写体の分光反射率に対する合焦位置の依存性を低減することができ、画像の品質を向上させることができる。

＜変形例２＞
第１の画素領域１０９と第２の画素領域１１０の撮影条件は同じであっても良いし、異なっていても良い。式（２）における第１の信号レベルＳ１とＳ２の差分演算の演算負荷を軽減するためには、第１の画素領域１０９と第２の画素領域１１０の撮影条件は同じであるほうが好ましい。

一方、環境光の波長中の可視成分と赤外成分の推定精度を向上させるためには、第１の画素領域１０９と第２の画素領域１１０の撮影条件を変えた方が好ましい。以下にその理由について説明する。

前述したように、第１の画素領域１０９内の画素が受光する光の量は、第２の画素領域１１０内の画素が受光する光の量よりも少ない。従って、第１の画素領域１０９の露出レベルを、第２の画素領域１１０の露出レベルよりも高くした方が好ましい。具体的には、第１の画素領域１０９中の画素の蓄積時間やアナログゲインを、第２の画素領域１１０中の画素領域の蓄積時間やアナログゲインよりも高くした方が好ましい。

特に、第１の画素領域１０９内の画素の蓄積時間を、第２の画素領域１１０中の画素の蓄積時間に対して変える場合、図４（ｃ）のような配置とした方が好ましい。即ち、第１の画素領域１０９と第２の画素領域１１０の境界（Ｘ方向）が、撮像素子１０２の、画素信号を読み出す方向（Ｙ方向）に垂直である方が好ましい。以下にその理由について説明する。

前述したように、ローリングシャッターモードの場合、垂直走査回路に接続された水平制御線を用いて上の行から下の行へ順次、画素への電荷蓄積と水平走査回路への信号読み出しを行う。従って、同じ行に位置する画素間（Ｙ座標が同じ画素間）で蓄積時間を変える場合には、各々の画素に対して電荷蓄積と信号読み出しのタイミングを制御するための水平制御線が必要となる。その結果、回路規模の増大を招き、製造コストの増大や歩留まりの劣化を招いてしまう。一方、異なる行に位置する画素間（Ｙ座標が異なる画素間）では、接続される水平制御線が異なっているため、行毎に蓄積時間を変えることは容易である。以上の理由により、光学フィルタ１０４の第１の画素領域１０９と第２の画素領域１１０の境界（Ｘ方向）が、撮像素子１０２の、画素信号を読み出す方向（Ｙ方向）に垂直である方が、蓄積時間の制御が容易となる。

＜変形例３＞
図２では、光学フィルタ１０４が第１のフィルタ領域１０７と第２のフィルタ領域１０８を有している場合を示したが、光学フィルタ１０４が第１のフィルタ領域１０７のみを有しており、撮像素子１０２の一部を覆うように、第１のフィルタ領域１０７が配置されていてもよい。言い換えると、光学フィルタが可視光を選択的に透過し、赤外光を選択的に吸収する材料から構成されており、光学フィルタ１０４が撮像素子１０２の一部を覆うように配置されていても良い。

このような構成とした場合、光学フィルタで覆われた第１の画素領域１０９の画素には可視光のみが入射し、光学フィルタで覆われていない第２の画素領域１１０の画素は、可視光と赤外光の双方を受光する。従って、図２の場合と同様に、第１の画素領域１０９からの信号レベルと、第２の画素領域１１０からの信号レベルを比較することで、環境光の波長を推定することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態における撮像装置１００の構成は、第１の実施形態において図１を参照して説明したものと同様であるため、ここでは説明を省略する。図５（ａ）は、第２の実施形態における光学フィルタ１０４の構成と、光学フィルタ１０４と撮像素子１０２との位置関係を説明する図であり、光学フィルタ１０４と撮像素子１０２を＋Ｙ軸方向から見た図である。

図５（ａ）に示すように、第２の実施形態における光学フィルタ１０４は、赤外光を選択的に透過し、可視光を選択的に吸収する第１のフィルタ領域２０７と、赤外光及び可視光の双方を透過させる第２のフィルタ領域２０８を有している。そして、第１の実施形態における図２（ｂ）と同様に、撮像素子１０２の一部を覆うように、第１のフィルタ領域２０７を配置する。以下、第１のフィルタ領域２０７で覆われた画素領域を第１の画素領域２０９、第２のフィルタ領域２０８で覆われた画素領域を第２の画素領域２１０と呼ぶ。即ち、第２の画素領域２１０の画素は、可視光と赤外光の双方を受光するのに対し、第１の画素領域２０９の画素は、第１のフィルタ領域２０７によって可視光が吸収されるために、赤外光のみを受光する。

第２の実施形態においても、第１の画素領域２０９中の画素から読み出される信号レベルと、第２の画素領域２１０中の画素から読み出される信号レベルとの差から、環境光の波長を推定する。そして、その推定結果及び、フォーカスレンズ制御テーブル１１１を用いて、ピント調整機構の制御を行う。但し、第２の実施形態の光学フィルタ１０４の構成は第１の実施形態のものと異なっているため、環境光の波長の推定方法が異なる。第１の画素領域２０９の画素から読み出される信号レベルをＳ３、第２の画素領域１１０の画素から読み出される信号レベルをＳ４とした場合、環境光の波長を以下の式（４）及び式（５）を用いて推定することができる。
ＳＩＲ＝Ｓ３ …（４）
ＳＶＩ＝Ｓ４−Ｓ３ …（５）
ここで、上述した式（１）及び（２）と同様に、ＳＶＩは環境光の波長中の可視光成分（第１の成分）、ＳＩＲは環境光の波長中の赤外光成分（第２の成分）である。そして、式（４）及び（５）により推測した可視光成分ＳＶＩ及び赤外光成分ＳＩＲを用いて、上述した第１の実施形態と同様に式（３）により得られた位置に、フォーカスレンズ１０６を駆動する。

上記の通り本第２の実施形態によれば、第１の実施形態と同様に、環境光の照明波長及び被写体の分光反射率に対する合焦位置の依存性を低減することができ、画像の品質を向上させることができる。

なお、第１のフィルタ領域２０７及び第２のフィルタ領域２０８の配置は、図５（ａ）に示すものに限られるものでは無い。例えば、上述した変形例１〜３で説明した第１の画素領域１０９及び第２の画素領域１１０のような配置となるように、第１のフィルタ領域２０７及び第２のフィルタ領域２０８を配置してもよい。

＜変形例４＞
図１２に示すように、可視光と赤外光の間だけではなく、赤外光帯域の中でも波長によって合焦位置が異なっている。従って、環境光の波長中の可視光成分（第１の成分）と赤外光成分（第２の成分）だけではなく、赤外光成分中の波長分布も推定し、それに応じてフォーカスレンズ１０６の位置を制御することで、合焦位置の環境光の波長依存性を低減することができる。

図５（ｂ）は、図５（ａ）で説明した第１のフィルタ領域２０７を、近赤外光（１１００ｎｍ未満）を選択的に透過させる第３のフィルタ領域と、短波赤外光（１１００ｎｍ以上）を選択的に透過させる第４のフィルタ領域に分けた場合を示している。なお、撮像素子１０２の画素領域１１３の内、第２のフィルタ領域２０８で覆われた画素領域を第２の画素領域２１０、第３のフィルタ領域で覆われた画素領域を第３の画素領域２１４、第４のフィルタ領域で覆われた画素領域を第４の画素領域２１５と呼ぶ。

ここで、第３の画素領域２１４の画素から読み出される第１の信号レベルをＳ５、第４の画素領域２１５中の画素から読み出される第３の信号レベルをＳ６とする。この場合、以下の式（６）、（７）、（８）を用いて、環境光の波長中の可視光成分ＳＶＩ（第２の成分）に加えて、赤外光の波長帯域中の、近赤外光成分ＳＮＩＲ（第１の成分）と、短波赤外光成分ＳＳＷＩＲ（第３の成分）を推定することができる。
ＳＮＩＲ＝Ｓ５ …（６）
ＳＳＷＩＲ＝Ｓ６ …（７）
ＳＶＩ＝Ｓ４−Ｓ５−Ｓ６ …（８）

図６は、変形例４におけるフォーカスレンズ制御テーブル１１１の一例を示す図である。図６では、撮影距離Ｌに対して、結像光学系１０１に可視光が入射した際のフォーカスレンズ１０６の位置ＰＶＩと、近赤外光が入射した時の位置ＰＮＩＲと、短波赤外光が入射した時の位置ＰＳＷＩＲを有する。

そして、推定した近赤外光成分ＳＮＩＲ、短波赤外光成分ＳＳＷＩＲ、可視光成分ＳＶＩと、フォーカスレンズ制御テーブル１１１とを用いて、以下の式（９）によりＰＭＩＸを計算する。そして、算出したＰＭＩＸの位置までフォーカスレンズ１０６の移動させることで、合焦位置の環境光の波長依存性を低減することができる。
ＰＭＩＸ＝（ＰＶＩ×ＳＶＩ＋ＰＮＩＲ×ＳＮＩＲ＋ＰＳＷＩＲ×ＳＳＷＩＲ）
÷（ＳＶＩ＋ＳＮＩＲ＋ＳＳＷＩＲ） …（９）

なお、図５（ｂ）に示す例では、赤外光を透過させる領域を、近赤外光を選択的に透過させる領域と、短波赤外光を選択的に透過させる領域の２つの領域を有している場合を示したが、３つ以上の領域を有していても良い。また、赤外帯域における透過スペクトルの形が異なる複数の領域を有していても良い。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、第２の実施形態における撮像装置１００の構成は、第１の実施形態において図１を参照して説明したものと同様であるため、ここでは説明を省略する。図７は、第３の実施形態における光学フィルタ１０４の構成と、光学フィルタ１０４と撮像素子１０２との位置関係を説明する図である。図７（ａ）は、光学フィルタ１０４と撮像素子１０２を＋Ｙ軸方向から見た図、図７（ｂ）は、撮像素子１０２を−Ｚ軸方向から見た図である。

図７に示すように、第３の実施形態における光学フィルタ１０４は、赤外光を選択的に吸収し可視光を選択的に透過させる第１のフィルタ領域３１６と、可視光を選択的に吸収し赤外光を選択的に透過させる第２のフィルタ領域３１７と、可視光及び赤外光を透過させる第３のフィルタ領域３１８とを有している。また、撮像素子１０２の画素領域１１３の内、第１のフィルタ領域３１６で覆われた画素領域を第１の画素領域３１９、第２のフィルタ領域３１７で覆われた画素領域を第２の画素領域３２０、第３のフィルタ領域３１８で覆われた画素領域を第３の画素領域３２１と呼ぶ。

第３の実施形態における撮像装置１００も、第１及び第２の実施形態の撮像装置１００と同様に、第１〜第３の画素領域３１９〜３２１の画素から読み出される信号レベルの差から、環境光の波長を推定する。そして、その推定結果及び、フォーカスレンズ制御テーブル１１１を用いて、第１の実施形態と同様にして焦点調整機構１０５の制御を行う。但し、第３の実施形態の光学フィルタ１０４の構成は、第１及び第２の実施形態のものと異なっているため、第３の実施形態では、以下の通り環境光の波長を推定することができる。即ち、第１の画素領域３１９は可視光のみを、第２の画素領域３２０は赤外光のみを受光する。従って、第１の画素領域３１９の画素から読み出される信号レベルをＳ７、第２の画素領域３２０中の画素から読み出される信号レベルをＳ８とした場合、以下の式（１０）及び式（１１）を用いて推定することができる。
ＳＶＩ＝Ｓ７ …（１０）
ＳＩＲ＝Ｓ８ …（１１）

このように、第３の実施形態に示す撮像装置１００では、複数の画素領域間の信号レベルの差分を求めることなく、環境光の波長中の可視光成分と赤外光成分を推定することができる。そのため、第１及び第２の実施形態と同様の効果に加えて、差分演算の演算負荷が軽減することができる。

なお、撮像素子１０２と光学フィルタ１０４の配置は、図７に示す配置に限るものではない。但し、前述したように、結像光学系のシェーディングの観点から、第１の画素領域３１９と、第２の画素領域３２０の、結像光学系の光軸からの距離が一致しているほうが好ましい。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。

●撮像装置
図８は、第４の実施形態における撮像装置４００の概略構成を示すブロック図である。なお、図８において、図１と同様の構成には同じ参照番号を付して説明を省略する。撮像装置４００は、図１に示す撮像装置１００と比較して、制御部４０３による制御に基づいて、光学フィルタ１０４を結像光学系１０１の光軸と垂直な平面上で移動させるフィルタ駆動機構４０１を有する点が異なる。

図９は、第４の実施形態における光学フィルタ１０４の構成と、光学フィルタ１０４と撮像素子１０２との位置関係を説明する図であり、光学フィルタ１０４と撮像素子１０２を＋Ｙ軸方向から見た図である。第４の実施形態における光学フィルタ１０４は、可視光を選択的に透過し、赤外光を選択的に吸収する第１のフィルタ領域４０７と、可視光及び赤外光の双方を透過させる第２のフィルタ領域４０８とを有している。

更に、第４の実施形態における撮像素子１０２は、画素内に複数種類のカラーフィルタを有しており、カラー画像を取得可能となっている。具体的には、所謂ＲＧＢベイヤー配列の画素を有している。第４の実施形態では、光学フィルタ１０４を駆動させることで、カラー画像を取得する撮影モード（デイモード）と、色情報を失うものの、低照度でも鮮明な画像を取得可能な撮影モード（ナイトモード）とを切り替える。

●デイモード（第１のモード）
撮像装置４００をデイモードで使用する場合、可視光のみを受光する画素から画像を生成する方が、カラー画像の色再現性が向上するため、好ましい。具体的には、図９（ａ）に示すように、撮像素子１０２の画素領域１１３全体を覆うように、フィルタ駆動機構４０１により光学フィルタ１０４の第１のフィルタ領域４０７を配置すればよい。このような構成とした場合、撮像素子１０２が受光する光を可視光のみに制限することができるため、環境光の波長中の可視光成分（第１の成分）と赤外光成分（第２の成分）の推定を行う必要はない。従って、図３に示すフォーカスレンズ制御テーブル１１１の可視光入射時のフォーカスレンズ位置情報を用いて、撮影距離にフォーカスレンズ１０６の位置を制御すれば良い。

なお、可視光帯域の中でも波長によって合焦位置が異なる。従って、環境光の波長中の可視光成分中の波長分布を推定し、それに応じてフォーカスレンズの位置を制御することで、合焦位置の環境光の波長依存性を低減してもよい。具体的には、Ｒ画素、Ｇ画素、Ｂ画素の信号レベルから、可視光成分中の波長分布を推定し、フォーカスレンズ１０６の位置を制御すればよい。その場合、ピントを合わせたい位置と、Ｒ、Ｇ、Ｂの波長との関係を示すフォーカスレンズ制御テーブルや多項式などの情報を準備し、重み付け平均すればよい。

●ナイトモード（第２のモード）
一方、撮像装置４００をナイトモードとして使用する場合、可視光と赤外光の双方を受光する画素から画像を生成する方が好ましい。可視光と赤外光の双方を受光する画素から画像を生成する場合、合焦位置ズレの環境光の照明波長及び被写体の分光反射率依存性が大きいため、環境光の波長中の可視光成分と赤外光成分の推定を行う。

具体的には、図９（ｂ）に示すように、フィルタ駆動機構４０１により、撮像素子１０２の画素領域１１３の一部を覆うように、第１のフィルタ領域４０７及び、第２のフィルタ領域４０８を配置する。そして、第１のフィルタ領域４０７で覆われた第１の画素領域４０９の画素の第１の信号レベルＳ１と、第２のフィルタ領域４０８で覆われた第２の画素領域４１０の画素の第２の信号レベルＳ２とを用いて、上述した式（１）及び（２）により、環境光の波長中の可視光成分と赤外光成分を推定する。そして、その推定結果及びフォーカスレンズ制御テーブル１１１を用いて、第１の実施形態と同様にして焦点調整機構１０５の制御を行う。

なお、図９（ａ）及び（ｂ）の配置とするためには、様々な第１のフィルタ領域４０７と第２のフィルタ領域４０８の配置方法、及び、フィルタ１０４の駆動方法が可能である。その中でも、第１のフィルタ領域４０７及び第２のフィルタ領域４０８を、光学フィルタ１０４が駆動される方向（図９に示す例ではＸ方向）に沿って配置し、フィルタ駆動機構４０１は、第１のフィルタ領域４０７及び第２のフィルタ領域４０８を配置した方向（図９に示す例ではＸ方向）に駆動するように構成することが好ましい。このような構成とすることで、光学フィルタを駆動する機構を簡便にしつつ、可視光のみを取得するデイモードと、環境光の波長中の可視光成分と赤外光成分を推定するナイトモードの切り替えを行うことができる。

上記の通り第４の実施形態によれば、第１の実施形態と同様の効果に加えて、デイモードでは、よりカラー再現性の高い画像を得ることが可能になる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。なお、第５の実施形態における撮像装置４００の概略構成は、第４の実施形態で図８を参照して説明したものと同様であるため、ここでは説明を省略する。

図１０は、第５の実施形態における光学フィルタ１０４の構成と、光学フィルタ１０４と撮像素子１０２の配置を説明する図であり、光学フィルタ１０４と撮像素子１０２を＋Ｙ軸方向から見た図である。第５の実施形態における光学フィルタ１０４は、赤外光を選択的に吸収し可視光を選択的に透過させる第１のフィルタ領域５１６と、可視光を選択的に吸収し赤外光を選択的に透過させる第２のフィルタ領域３１７、可視光及び赤外光を透過させる第３のフィルタ領域５１８を有している。

また、第５の実施形態における撮像装置４００は、図１０に示す光学フィルタ１０４を駆動させることで、デイモードとナイトモードに加え、遠くの被写体の鮮明な画像を取得可能な撮影モード（赤外モード）を切り替え可能となっている。

●デイモード（第１のモード）
撮像装置４００をデイモードで使用する場合、図１０（ａ）に示すように、撮像素子１０２の画素領域１１３全体を第１のフィルタ領域５１６で覆うように、光学フィルタ１０４を配置する。この場合、第４の実施形態におけるデイモードの場合と同様にしてフォーカスレンズ１０６の位置を制御する。

●赤外モード（第３のモード）
撮像装置４００を赤外モードで使用する場合、図１０（ｂ）に示すように、撮像素子１０２の画素領域１１３全体を第２のフィルタ領域５１７で覆うように、光学フィルタ１０４を配置する。このような配置とすることで、撮像素子１０２が受光する光を赤外光のみに制限することができる。従って、図３に示すフォーカスレンズ制御テーブル１１１の赤外光入射時のフォーカスレンズ位置情報を用いて、撮影距離にフォーカスレンズ１０６の位置を制御すれば良い。

一般に、可視光よりも、波長の長い赤外光の方が大気中の煙や霧による散乱が小さいため、赤外光のみによる撮影画像の方が、可視光のみによる撮影画像よりも遠くの被写体を鮮明に撮影することができる。従って、赤外モードを用いて撮像素子が受光する光を赤外光のみに制限することで、遠くの被写体の鮮明な画像を取得することができる。

●ナイトモード（第２のモード）
撮像装置１００をナイトモードで使用する場合、図１０（ｃ）に示すように、撮像素子１０２の画素領域１１３を覆うように、第１のフィルタ領域５１６、第２のフィルタ領域５１７、第３のフィルタ領域５１８を配置する。そして、第３の実施形態と同様にして第１のフィルタ領域５１６で覆われた第１の画素領域５１９、第２のフィルタ領域３１７で覆われた第２の画素領域５２０の各々からの画素信号を用いて、環境光の波長中の可視光成分（第１の成分）と赤外光成分（第２の成分）を推定する。そして、第３の実施形態で説明したようにしてフォーカスレンズ１０６に位置を正誤する。

上記の通り第５の実施形態によれば、第４の実施形態と同様の効果に加え、更に、赤外光のみを選択的に受光することにより、遠くの被写体の鮮明な画像を取得することができる。

＜変形例５＞
更に、撮像装置４００は、ナイトモードにおいて、撮像素子１０２中のＲ画素、Ｇ画素、Ｂ画素の赤外光の波長帯域での分光感度特性の相違を利用して、赤外光成分中の波長分布も推定してもよい。

図１１は、変形例５における撮像素子１０２のＲＧＢ各々の画素の分光感度を示したものである。図１１よりわかるように、赤外光の波長帯域の内、波長が短い赤外光ＩＲ１に対してはＲ画素の感度が最も高く、波長が長い赤外光ＩＲ３に対してはＢ画素の感度が最も高い。また、赤外光ＩＲ１と赤外光ＩＲ３の間の波長の赤外光ＩＲ２に対しては全ての画素の感度が同程度である。

図１１に示す分光感度は、撮像素子１０２の光電変換部の材料及び構成と、ＲＧＢ各々の画素に用いられるカラーフィルタ材料の物性値によって決定される。なお、赤外光のうち、特定の波長帯域に吸収を有する色素をカラーフィルタに混合することによって、赤外光の波長帯域における画素の分光感度をより精密に制御することもできる。

変形例４でも述べたように、赤外光の波長帯域における分光感度が異なる複数の画素からの信号を用いることで、環境光の波長中の赤外光成分中の波長分布も推定することができる。更に、推定結果に応じてフォーカスレンズの位置を制御することで、合焦位置の環境光の波長依存性を低減することができる。

図１０（ｃ）の第２の画素領域５２０のＲ画素、Ｇ画素、Ｂ画素からの信号レベルを各々ＳｖＲ、ＳｖＧ、ＳｖＢとする。そして、図１１に示す波長帯域ＩＲ１におけるＲＧＢ各々の画素感度をＲir1、Ｇir1、Ｂir1、波長帯域ＩＲ２におけるＲＧＢ各々の画素感度をＲir2、Ｇir2、Ｂir2、波長帯域ＩＲ３におけるＲＧＢ各々の画素感度をＲir3、Ｇir3、Ｂir3とする。この時、環境光の波長中の赤外光の内、波長帯域ＩＲ１、ＩＲ２、ＩＲ３の各々の成分Ｓir1、Ｓir2、Ｓir3は、以下の式（１２）を用いて推定することができる。

なお、上記説明では、ナイトモードにおいて赤外光成分中の波長分布を推定することで、ナイトモードにおける、合焦位置の環境光の波長依存性を低減する例を示したが、赤外モードにおいて同様の方法を使用しても良い。赤外モードで使用する場合でも、第２のフィルタ領域５１７で覆われた領域のＲＧＢ画素の信号レベルから、式（１２）を用いて環境光の波長中の赤外光の内、波長帯域ＩＲ１、ＩＲ２、ＩＲ３の各々の波長帯域の成分Ｓir1、Ｓir2、Ｓir3を推定することができる。その結果、赤外モードにおいても、合焦位置の環境光の波長依存性を低減することができる。

＜変形例６＞
第１〜第３の実施形態においては、環境光の波長を推定する際に取得した画像の内、有効画素領域の画像を、撮影画像としても使用していた。しかしながら、第４の実施形態や第５の実施形態のように、光学フィルタ１０４の駆動機構を有している場合、波長を推定するフレームと、撮影画像を取得するフレームで、光学フィルタの位置を変えても良い。

例えば、第４の実施形態においては、環境光の波長を推定するフレームでは撮像素子１０２の画素領域１１３の一部を覆うように、第１のフィルタ領域４０７及び、第２のフィルタ領域４０８を配置する。一方で、ナイトモードにおいて撮影画像を取得するフレームでは、撮像素子１０２の有効画素領域の全てが第１のフィルタ領域４０７で覆われていないように配置する。このような構成とすることで、ナイトモードにおいて環境光の波長を推定しつつ、撮影画像のＳＮ比を向上することができる。

同様に、第５の実施形態においては、環境光の波長を推定するフレームでは、撮像素子１０２の画素領域１１３を覆うように、第１のフィルタ領域５１６、第２のフィルタ領域５１７、第３のフィルタ領域５１８が配置されるようにする。一方で、ナイトモードにおいて撮影画像を取得するフレームでは、撮像素子１０２の有効画素領域の全てが、光学フィルタの第１のフィルタ領域３１６及び第２のフィルタ領域３１７で覆われていないように配置する。このような構成とすることで、ナイトモードにおいて環境光の波長を推定しつつ、撮影画像のＳＮ比を向上することができるため、好ましい。

このように、環境光の波長を推定するフレームと、撮影画像を取得するフレームを分ける場合、フレームによって、撮像素子１０２の駆動モードを変えることもできる。例えば、撮影画像を取得するフレームでは高解像度な撮影画像を取得するために撮像素子１０２の全ての画素からの信号を読み出す。一方、環境光の波長を推定するモードでは解像度は必要ないため、間引き読みを行って消費電力の低減やフレームレートの向上を図ることができる。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，４００：撮像装置、１０１：結像光学系、１０２：撮像素子、１０３：制御部、１０４：光学フィルタ、１０５：焦点調整機構、１０６：フォーカスレンズ、１０７，２０７，３１６，４０７，５１６：第１のフィルタ領域、１０８、２０８、３１７，４０８，５１７：第２のフィルタ領域、１０９，２０９，３１９，４０９，５１９：第１の画素領域、１１０，２１０，３２０，４１０，５２０：第２の画素領域、１１１：フォーカスレンズ制御テーブル、１１２：有効画素領域、１１３：画素領域、２１４，３２１，５２１：第３の画素領域、２１５：第４の画素領域、３１８，５１８：第３のフィルタ領域

Claims (29)

1. フォーカスレンズを含む結像光学系を介して入射する、第１の波長帯域の光と第２の波長帯域の光に感度を有する撮像素子と、
   前記結像光学系と前記撮像素子との間に設けられ、前記第１の波長帯域の光を選択的に透過する第１のフィルタ領域を有する光学フィルタと、
   前記撮像素子から得られた信号に基づいて、前記フォーカスレンズの合焦位置を演算する演算手段と、を有し、
   前記演算手段は、前記撮像素子の画素領域の内、前記第１のフィルタ領域を透過した光を受光する第１の画素領域から得られた第１の信号と、前記第１の画素領域を除く第２の画素領域から得られた第２の信号とに基づいて、前記第２の画素領域が受光する光の前記第１の波長帯域の第１の成分と、前記第２の波長帯域の第２の成分とを推測し、該推測した第１の成分と第２の成分とに基づいて、予め決められた撮影距離に対する前記フォーカスレンズの合焦位置を演算することを特徴とする撮像装置。
2. 前記演算手段は、複数の撮影距離と、各撮影距離に対する前記第１の波長帯域および前記第２の波長帯域のそれぞれの光による前記フォーカスレンズの合焦位置との関係を示す情報を有し、前記予め決められた撮影距離に対する前記第１の波長帯域および前記第２の波長帯域のそれぞれの光による前記フォーカスレンズの合焦位置を、前記第１の成分と、前記第２の成分とにより重み付け平均することで、前記フォーカスレンズの合焦位置を演算することを特徴とする請求項１に記載の撮像装置。
3. 前記演算手段は、前記第１の信号を前記第１の成分とし、前記第２の信号から前記第１の信号を引くことにより、前記第２の成分を推測することを特徴とする請求項１または２に記載の撮像装置。
4. 前記光学フィルタは、更に、前記第１の波長帯域の光および前記第２の波長帯域の光を透過する第２のフィルタ領域を有し、前記第２の画素領域は、前記第２のフィルタ領域を透過した光を受光することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１の波長帯域は可視光の波長帯域、前記第２の波長帯域は赤外光の波長帯域であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の波長帯域は赤外光の波長帯域、前記第２の波長帯域は可視光の波長帯域であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 前記演算手段は、前記第１の画素領域および前記第２の画素領域のうち、前記第１の信号と前記第２の信号とを、同じ像高にある画素領域の画素から取得することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記光学フィルタは矩形であって、前記第１のフィルタ領域は、前記光学フィルタのいずれか一辺に沿って設けられていることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記第１の画素領域と前記第２の画素領域とで、露出をそれぞれ制御する制御手段を更に有し、
   前記制御手段は、前記第１の画素領域の露出を、前記第２の画素領域の露出よりも高くしたことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記画素領域の内、画像の生成に用いる有効画素領域を除く領域を覆うように、前記第１のフィルタを配置したことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
11. 前記有効画素領域は、前記結像光学系の像円で決まる領域であることを特徴とする請求項１０に記載の撮像装置。
    
12. 前記光学フィルタは、更に、前記第２の波長帯域の光を選択的に透過する第２のフィルタ領域と、前記第１の波長帯域の光および前記第２の波長帯域の光を透過する第３のフィルタ領域とを有し、
    前記第２の画素領域は、前記第２のフィルタ領域を透過した光を受光することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
13. 前記撮像素子は、更に、第３の波長帯域の光に感度を有し、
    前記第１の波長帯域は近赤外光の波長帯域、前記第２の波長帯域の光は可視光の波長帯域、前記第３の波長帯域は短波赤外光の波長帯域であって、
    前記光学フィルタは、更に、前記第３の波長帯域の光を選択的に透過する第２のフィルタ領域を有し、
    前記演算手段は、前記第１の画素領域と、前記第２のフィルタ領域を透過した光を受光する第３の画素領域と、を除く前記第２の画素領域から前記第２の信号を得ると共に、更に、前記第３の画素領域から得られた第３の信号に基づいて、前記第２の画素領域が受光する光の前記第１の波長帯域の第１の成分と、前記第２の波長帯域の第２の成分と、前記第３の波長帯域の第３の成分とを推測し、該推測した第１の成分、第２の成分および第３の成分に基づいて、予め決められた撮影距離に対する前記フォーカスレンズの合焦位置を演算することを特徴とする請求項１に記載の撮像装置。
14. 前記演算手段は、複数の撮影距離と、各撮影距離に対する前記第１の波長帯域、前記第２の波長帯域、および前記第３の波長帯域のそれぞれの光による前記フォーカスレンズの合焦位置との関係を示す情報を有し、前記予め決められた撮影距離に対する前記第１の波長帯域、前記第２の波長帯域、および前記第３の波長帯域のそれぞれの光による前記フォーカスレンズの合焦位置を、前記第１の成分と、前記第２の成分と、前記第３の成分とにより重み付け平均することで、前記フォーカスレンズの合焦位置を演算することを特徴とする請求項１３に記載の撮像装置。
15. 前記光学フィルタを、前記結像光学系の光軸に垂直な平面上で移動する駆動手段を更に有し、
    前記第１の波長帯域は可視光の波長帯域、前記第２の波長帯域は赤外光の波長帯域であって、
    前記駆動手段は、第１のモードにおいて、前記第１のフィルタ領域が前記画素領域全体を覆う位置に駆動し、第２のモードにおいて前記第１のフィルタ領域が前記画素領域の一部を覆う位置に駆動し、
    前記演算手段は、前記第２のモードにおいて、前記フォーカスレンズの合焦位置を演算することを特徴とする請求項５に記載の撮像装置。
16. 前記光学フィルタを、前記結像光学系の光軸に垂直な平面上で移動する駆動手段を更に有し、
    前記第１の波長帯域は可視光の波長帯域、前記第２の波長帯域は赤外光の波長帯域であって、
    前記駆動手段は、第１のモードにおいて、前記第１のフィルタ領域が前記画素領域全体を覆う位置に駆動し、第２のモードにおいて、前記第１および第２のフィルタ領域が前記画素領域の一部を覆う位置に駆動し、
    前記演算手段は、前記第２のモードにおいて、前記フォーカスレンズの合焦位置を演算することを特徴とする請求項１２に記載の撮像装置。
17. 前記駆動手段は、第３のモードにおいて、前記第２のフィルタ領域が前記画素領域全体を覆う位置に駆動することを特徴とする請求項１６に記載の撮像装置。
18. 前記駆動手段は、前記第２のモードにおける、予め決められた第1のフレームと当該第1のフレームとは異なる第２のフレームとで、前記光学フィルタの位置が異なるように前記光学フィルタを駆動することを特徴とする請求項１５に記載の撮像装置。
19. 前記駆動手段は、前記第２のモードにおける、予め決められた第1のフレームと当該第1のフレームとは異なる第２のフレームとで、前記光学フィルタの位置が異なるように前記光学フィルタを駆動することを特徴とすることを特徴とする請求項１６または１７に記載の撮像装置。
20. 前記演算手段は、前記第１の画素領域および前記第２の画素領域のうち、前記第１の信号と前記第２の信号とを、同じ像高にある画素領域の画素から取得することを特徴とする請求項１２乃至１９のいずれか１項に記載の撮像装置。
21. 前記光学フィルタは矩形であって、前記第１のフィルタ領域は、前記光学フィルタのいずれか一辺に沿って設けられていることを特徴とする請求項１２乃至２０のいずれか１項に記載の撮像装置。
22. 前記第１の画素領域と前記第２の画素領域とで、露出をそれぞれ制御する制御手段を更に有し、
    前記制御手段は、前記第１の画素領域の露出を、前記第２の画素領域の露出よりも高くしたことを特徴とする請求項１２乃至２１のいずれか１項に記載の撮像装置。
23. 前記画素領域の内、画像の生成に用いる有効画素領域を除く領域を覆うように、前記第１のフィルタを配置したことを特徴とする請求項１２乃至２２のいずれか１項に記載の撮像装置。
24. フォーカスレンズを含む結像光学系を介して入射する、第１の波長帯域の光と第２の波長帯域の光に感度を有する撮像素子と、前記結像光学系と前記撮像素子との間に設けられ、前記第１の波長帯域の光を選択的に透過する第１のフィルタ領域を有する光学フィルタと、を有する撮像装置の前記撮像素子から得られる信号に基づいて、前記フォーカスレンズの合焦位置を演算する演算方法であって、
    前記撮像素子の画素領域の内、前記第１のフィルタ領域を透過した光を受光する第１の画素領域から得られた第１の信号と、前記第１の画素領域を除く第２の画素領域から得られた第２の信号とに基づいて、前記第２の画素領域が受光する光の前記第１の波長帯域の第１の成分と、前記第２の波長帯域の第２の成分とを推測する工程と、
    前記第１の成分と前記第２の成分とに基づいて、予め決められた撮影距離に対する前記フォーカスレンズの合焦位置を演算する工程と
    を有することを特徴とする演算方法。
25. フォーカスレンズを含む結像光学系を介して入射する、第１の波長帯域の光と第２の波長帯域の光に感度を有する撮像素子と、前記結像光学系と前記撮像素子との間に設けられ、前記第１の波長帯域の光を選択的に透過する第１のフィルタ領域を有する光学フィルタと、前記光学フィルタを、前記結像光学系の光軸に垂直な平面上で移動する駆動手段と、を有する撮像装置の制御方法であって、
    前記駆動手段が、第１のモードにおいて、前記第１のフィルタ領域が前記撮像素子の画素領域全体を覆う位置に駆動し、第２のモードにおいて前記第１のフィルタ領域が前記画素領域の一部を覆う位置に駆動する工程と、
    演算手段が、前記第２のモードにおいて、前記画素領域の内、前記第１のフィルタ領域を透過した光を受光する第１の画素領域から得られた第１の信号と、前記第１の画素領域を除く第２の画素領域から得られた第２の信号とに基づいて、前記第２の画素領域が受光する光の前記第１の波長帯域の第１の成分と、前記第２の波長帯域の第２の成分とを推測し、該推測した第１の成分と第２の成分とに基づいて、予め決められた撮影距離に対する前記フォーカスレンズの合焦位置を演算する工程と
    を有することを特徴とする撮像装置の制御方法。
26. フォーカスレンズを含む結像光学系を介して入射する、第１の波長帯域の光と第２の波長帯域の光に感度を有する撮像素子と、前記結像光学系と前記撮像素子との間に設けられ、前記第１の波長帯域の光を選択的に透過する第１のフィルタ領域と、前記第２の波長帯域の光を選択的に透過する第２のフィルタ領域と、前記第１の波長帯域の光および前記第２の波長帯域の光を透過する第３のフィルタ領域とを有する光学フィルタと、前記光学フィルタを、前記結像光学系の光軸に垂直な平面上で移動する駆動手段と、を有する撮像装置の制御方法であって、
    前記駆動手段が、第１のモードにおいて、前記第１のフィルタ領域が前記撮像素子の画素領域全体を覆う位置に駆動し、第２のモードにおいて、前記第１および第２のフィルタ領域が前記画素領域の一部を覆う位置に駆動する工程と、
    演算手段が、前記第２のモードにおいて、前記画素領域の内、前記第１のフィルタ領域を透過した光を受光する第１の画素領域から得られた第１の信号と、前記第２のフィルタ領域を透過した光を受光する第２の画素領域から得られた第２の信号とに基づいて、前記第３のフィルタ領域を透過した光を受光する第３の画素領域が受光する光の前記第１の波長帯域の第１の成分と、前記第２の波長帯域の第２の成分とを推測し、該推測した第１の成分および第２の成分とに基づいて、予め決められた撮影距離に対する前記フォーカスレンズの合焦位置を演算する工程と
    を有することを特徴とする撮像装置の制御方法。
27. コンピュータに、請求項２４に記載の演算方法の各工程を実行させるためのプログラム。
28. コンピュータに、請求項２５または２６に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
29. 請求項２７または２８に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images