JP2023093855A - 撮像装置及び撮像装置の制御方法、プログラム - Google Patents

Abstract

【課題】 解像度とバンド数のどちらかを犠牲にすることなくマルチスペクトル撮像が可能な撮像装置を提供する。【解決手段】 撮像光学系を介して被写体像を撮像素子に結像させる撮像手段と、前記撮像手段により取得される複数の画像の前記被写体像の位置を合わせる位置合わせ手段と、を有し、前記撮像光学系と前記撮像素子の間の光路中で、結像面とは異なる位置に、複数の分光透過特性の異なるフィルタがモザイク状に配置されていることを特徴とする撮像装置。【選択図】 図２

Description

本発明は、被写体の分光情報を取得するための撮像装置、制御方法、プログラムに関するものである。

画像から得られる情報の中で、物体の反射光の分光情報は、組成している物質の化学構造を反映している。そのため、分光情報をそなえた画像は、特に化学、生物学分野で有用とされている。

被写体の分光情報をそなえた画像を取得する（以下、マルチスペクトル撮像と記す）方法として、特許文献１に示すような、撮像素子に複数の異なる帯域のバンドバスフィルタを備え、各バンドの出力を取得する方法がある。

特開２００８－１３６２５１号公報

撮像素子の画素に、分光透過特性の異なるカラーフィルタをそなえたマルチスペクトル撮像装置が用いられる場合、得られるマルチスペクトル画像のバンド数は、透過特性の異なるカラーフィルタを何種備えるのかによって決まる。そのため、バンド数を増やすほど、１バンドあたりの画素数が低下する。つまり、バンド数と画像の空間解像度がトレードオフの関係にある。

また、複数のバンドが可視域にあるマルチスペクトル撮像において、それぞれのバンドに重みづけをして加算することで、通常のカラー画像のＲ、Ｇ、Ｂそれぞれの色に類似した出力を得ることができるが、各バンドの出力から通常のカラー画像を得るための処理が煩雑である。

本発明の実施形態の撮像装置は上記課題に鑑み、撮像光学系を介して被写体像を撮像素子に結像させる撮像手段と、前記撮像手段により取得される複数の画像の前記被写体像の位置を合わせる位置合わせ手段と、を有し、前記撮像光学系と前記撮像素子の間の光路中で、結像面とは異なる位置に、複数の分光透過特性の異なるフィルタがモザイク状に配置されていることを特徴とする。

本発明によれば、バンド数と画像解像度のどちらかを犠牲にすることなくマルチスペクトル撮像が可能になり、簡便に通常のカラー画像を得ることができる。

本発明のカラーフィルタアレイの説明図である。 絞りが絞られた状態での撮像素子の画素に入射する光束の説明図である。 本発明の構成の説明図である。 シフト光学系の移動による像の移動の説明図である。 撮像装置の保持状態の変化による像の移動の説明図である。 撮影された複数枚の画像の説明図である。 撮影された複数枚の画像の並べ替えの説明図である。 一部が透明となるカラーフィルタアレイの説明図である。 絞りが開いた状態での撮像素子の画素に入射する光束の説明図である。 絞りが開いた状態でのカラーフィルタアレイの透過特性の説明図である。 マルチスペクトル撮像の有効領域の説明図である。 第２実施例のフロー図である。 第２実施例の撮影順序の説明図である。 第２実施例における座標の位置を求める方法の説明図である。 第３、４実施例の説明図である。 第５実施例の説明図である。

以下、添付図面を参照して実施形態を詳しく説明する、尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わされてもよい。

［第１の実施形態］
以下に、本発明の第１の実施形態について図面に基づいて詳細に説明する。

第１の実施形態では図１に示すような、複数の異なる透過帯域（バンド）（λ１～１６）のカラーフィルタを繰り返し単位として、複数の異なるバンドのカラーフィルタを配置したカラーフィルタアレイ２０１を、図２に示すような、撮像素子２０２と撮像光学系２０３の間の光路中に配置する。ここで図１のカラーフィルタアレイ２０１は４×４のフィルタで構成されているが、カラーフィルタの繰り返し単位はこれに限らない。また、繰り返し単位を構成せずに、複数の異なるバンドのカラーフィルタを任意に配置してカラーフィルタアレイ２０１を構成してもよい。また、フィルタの形状についても図１では正方格子で表現をしているが、ハニカム構造（三角格子）などで構成されていても構わない。

図２ではカラーフィルタアレイ２０１を真横から見た状態を示している。また、撮像光学系２０３は複数のレンズによって所定の光学条件を満たすよう構成されていてもよい。

カラーフィルタアレイ２０１に用いられるカラーフィルタの構造は、顔料などの分子による吸収を利用したものや、多層膜による選択反射を利用したものでもよい。

各バンドに対応したカラーフィルタの大きさは、画素サイズの数十～数百倍とし、画素サイズよりも充分大きいものとする。撮像光学系とカラーフィルタを透過して画素２０４に入射する光束２０５は、一定数の画素において、特定のバンドのカラーフィルタを透過した光だけとなるように、絞られた光束となっている。

図３は本発明の構成図である。筐体部３０１（カメラユニット）は、カメラの各部に動作を指示するシステム制御部３０３や撮像素子２０２などが備わっている。レンズ部３０２（レンズユニット）には、駆動部３０９と撮像光学系２０２が備わっている。カラーフィルタアレイ２０１は、撮像光学系から撮像素子へ入射する光線の途上に配置されている。各部の詳細な説明については後述する。

図４、５を用いて本発明によって撮影される画像について説明する。図４はシフト光学系４０１を用いた場合、図５は撮像装置の姿勢や位置の変化（保持状態の変化）によって撮像素子上で結像される被写体像の位置の変化が起こる場合を示している。

図４において、撮像光学系２０３の一部はシフト光学系４０１である。シフト光学系４０１は、撮像光学系２０３の他のレンズとは異なる方向に動くことが可能な自由度を有している。システム制御部３０３は複数枚の画像の撮影ごとに、駆動部３０９にシフト光学系４０１を動かすように指示する。シフト光学系４０１は光軸に対して垂直な面内において駆動制御することが可能である。例えば、被写体４０２に対して、ｎ枚目の画像を撮影した際のシフト光学系４０１の位置を実線で表し、ｎ＋１枚目の画像を撮影した際のシフト光学系４０１の位置を破線で示す。シフト光学系４０１の移動によって、撮像素子上の被写体の像４０３は移動する。この像の移動によって、ｎ枚目では被写体の眼の像を形成する光線が４０４であったものが、ｎ＋１枚目では４０５へと変化する。光線４０４と光線４０５は各バンドに対応した（分光透過特性が異なる）カラーフィルタ４０６、４０７をそれぞれ通過する。そのため、撮像素子に記録される眼の部分の画像出力は異なるバンドの情報をもつことになる。

図５（ａ）において、図３の筐体部３０１とレンズ部３０２を含んだ撮像装置がｎ枚目を撮影する際に実線の部分であったものが、ｎ＋１枚目を撮影する際に破線の位置に移動したとする。

この変化を、撮像装置を基準とした座標で表したものが図５（ｂ）である。撮像装置が基準であるので、撮像素子は常に原点で静止していて、相対的に被写体５０２が移動した状態だと表すことができる。被写体が移動したことによって、撮像素子上の被写体の像５０３は撮像素子上で移動する。この像の移動によって、ｎ枚目では被写体の眼の像を形成する光線が５０４であったものが、ｎ＋１枚目では５０５へと変化する。光線５０４と光線５０５は各バンドに対応した（分光透過特性の異なる）カラーフィルタ５０６、５０７をそれぞれ通過する。そのため、撮像素子に記録される被写体６０２の眼の部分の画像出力は異なるバンドの情報をもつことになる。

このように連続撮影をすることで、図６の（ａ）～（ｄ）のような、被写体の像の各位置において、透過したフィルタのバンドが異なる画像を得ることができる。

これらの複数の画像を、ベクトル検出などの方法によって、画像位置合わせを行う。この状態を図７（ａ）に示す。それぞれの画像の被写体像の位置はそろっているが、被写体像の各位置の透過バンド（波長）は異なっている。この状態から、図７（ｂ）に示すように波長ごとに並べ替えを行うことで、フィルタアレイの各バンドに対応した帯域の画像が、撮像素子のもつ解像度から大きく低下させることなく得ることができる。

画像の移動を撮像装置の保持状態を変化させることで行う場合、撮像装置の角度（チルト）方向の変化によって画像が台形変形する場合もありうる。この場合には、複数点のベクトル検出量から台形変形の量を求め、射影変換によって台形変形を補正した上で並べ替えを行ってもよい。また、撮像装置に同一の被写体を対象として撮影された複数の画像からなる画像群の、撮影開始と終了の指示を受け付ける部材を備えてもよい。これにより、撮像装置の保持状態を変化させて画像を移動させたのか、もしくは、別の構図で新たにマルチスペクトル撮像を開始したのかを区別することができる。指示を受け付ける部材は、図３の操作検出部３０８が兼ねても良い。

図２、４等に示すように、本発明において、カラーフィルタアレイ２０１は撮像素子の結像面とは異なる位置に配置されている。そのため、カラーフィルタの境界においてわずかなボケが生じ、そのボケ領域に相当する画素においては、複数のカラーフィルタを透過した光が入射することで、正確なマルチスペクトル撮像ができなくなる。しかし、複数撮影する画像のずれ量がフィルタの配列ピッチの整数倍以外の条件で撮影されていれば、フィルタ境界のボケ領域は被写体の画像上で固定されないので、情報の欠落を防ぐことができる。なお、複数枚撮影する場合に、ぴったりフィルタの配列分だけずれて撮影される可能性はほとんどないため、実際上は問題とならない。また、シフト光学系４０１についてカラーフィルタアレイ２０１でのフィルタの配列ピッチや対応するバンドの数に応じて駆動量を調整することで画像のずれ量を調整することが可能である。

分光透過帯域が異なるフィルタを通して得た画像は、各色の出力値が変化するため、同じものであっても異なった形状として画像出力されることがある。ベクトル検出を正確に行うためには、取得した画像における同一の被写体の形状が変化しないことが好ましい。したがってカラーフィルタアレイ２０１におけるフィルタの配列について、波長帯域が近いものが近傍になるように配置してもよいし、図８（ａ）にＣｒとして示すように、透明なカラーフィルタ（可視光は透過する）を配置して、輝度情報を取得するようにしてもよい。透明なカラーフィルタを通して得た画像は、特定の色のカラーフィルタを通して得た画像に比べて出力値の変化が小さくなるため、画像における被写体の形状の変化が小さくなり、ベクトル検出の精度が向上する。さらに、ベクトル検出の精度を上げるために、図８（ｂ）、図８（ｃ）のように、透明なカラーフィルタの領域を増やしてもよい。この場合においても、各バンドの画像解像度は√（１／バンド数）よりも高い解像度を得ることができる。

以上の説明は、撮像素子自身にはカラーフィルタを持たないモノクロセンサを例に説明したが、撮像素子内部にＲＧＢのカラーフィルタを備えた撮像素子を使用した場合にも、同様の機能を実現することができる。この場合の透過帯域は、新たに設置したカラーフィルタアレイの各バンドの透過特性と、撮像素子の持つカラーフィルタの透過特性が掛け算されたものが撮像素子の出力となる。本発明においては、撮像素子とカラーフィルタアレイの相対位置は変わらず、また、撮像素子に備わったＲＧＢカラーフィルタの位置も変化しない。そのため、画素ごとにカラーフィルタアレイの対応する領域と、撮像素子に備わったＲＧＢカラーフィルタの対応する色はそれぞれ事前に分かっていて変化しない。したがって、それぞれのカラーフィルタを掛けた場合の出力変化を見積もることができる。つまり、ＲＧＢカラーフィルタを備えた撮像素子を使用した場合でも、画素ごとにＲＧＢカラーフィルタの影響を割り戻すことによって、モノクロセンサをした場合と同様な各波長の画像情報を得ることができる。

本発明では、システム制御部３０３の指示に基づいてマルチスペクトル撮像を行う。詳細は後述するが、スステム制御部３０３の指示によって駆動部３０９が撮像光学系２０３、図２に示すようにある程度絞られた細い光束、つまり撮像光学系２０３のＦナンバーを大きくして（瞳径を小さくして）撮影する。本発明において、撮像光学系２０３のＦナンバーを小さくして（瞳径を大きくして）撮影した場合を図９に示す、この場合、光束９０１は、カラーフィルタアレイ２０１のうち、複数のバンドのフィルタを通過した光線が同一の画素２０４に入射することになる。

この場合の透過特性について図１０を用いて説明する。光束が絞られている場合の、フィルタ境界に該当しないある画素の分光感度は、図１０（ａ）のようであったが、撮像光学系から光束が絞られていない場合には、複数のカラーフィルタを透過した光が混じって画素に入射するため、例えば、分光感度は図１０（ｂ）のように複数の波長帯域に感度をもつことになる。この複数の帯域の分光感度を足し合わせると図１０（ｃ）の破線に示すような分光感度となり、あたかも全波長の光を受光する、すなわち透明なフィルタが存在しているものと同等な画像が得られる。つまり、本発明において、光束を絞って撮影することでマルチスペクトル撮像が可能であり、絞らないで撮影した場合には通常のカラー撮像が可能になる。すなわち、絞らないで撮影した場合は、通常のカラー撮像と同等であり、この場合はシフト光学系４０１の駆動を行う必要はない。

実際にこのような構造で所望の動作が可能であるのか、数値的に見積もった結果を図１１に示す。図１１（ａ）に示すように、撮像素子２０２と４×４の１６波長の異なるバンドパスフィルタを備えたカラーフィルタアレイ２０１が５ｍｍ隔てて配置されている。撮像素子２０２から５ｍｍ離れた場所における、撮像素子２０２に入射するＦナンバーに応じた光束の幅は、Ｆナンバー＝焦点距離／開口径の定義より、Ｆ２２の場合は直径が０．２３ｍｍ、Ｆ１．４の場合は直径が３．５７ｍｍとなる。

いま、光束を絞らないＦ１．４の条件において、フィルタアレイの分光の差異分布が画像に影響しないためには、（ｂ）に示すようにＦ１．４の光束内１１０１に１６種類のフィルタ全てが収まっている必要があり、その条件を、より厳しい条件となるフィルタアレイの対角方向で考えると、
フィルタの水平、垂直配列ピッチ＜３．５７／（４・√２）
＜０．６４［ｍｍ］ （式１）
の関係になる、つまり、フィルタの水平、垂直方向の配列ピッチが０．６４ｍｍ以下であれば良いことがわかる。

一方、光束を絞ってマルチスペクトル撮像を行う場合に、隣接するカラーフィルタの光が同じ画素に交じって入射する、すなわちフィルタ境界のボケ幅が大きい場合は、本来所望したマルチスペクトル撮像ができなくなる恐れがある。Ｆ２２に絞った場合の光束１１０１の直径は０．２３ｍｍであり、撮像素子上でのフィルタ境界のボケ量は、片側が０．１２ｍｍとなる。結局、先ほど求めたフィルタの配列ピッチが０．６４ｍｍ以下に対し、ボケ幅が両側で０．２３ｍｍであるので、単一のフィルタを透過した光束が混じらずに画素に入射する、有効な領域の幅は
０．６４－０．２３＝０．４１［ｍｍ］ （式２）
と得られる。したがって、図１１（ｃ）に示すように、境界のボケ領域に対して有効なデータを取得できる領域が充分得られることが確認できた。以上は４×４の１６バンドで説明したが、それ以下のバンド数のカラーフィルタアレイを使用する場合や、フィルタアレイの各フィルタが多角形形状である場合には、さらに条件は緩和される。

以上で説明してきたように、本発明においてはマルチスペクトル撮像のためのカラーフィルタアレイ２０１と撮像素子２０２は一体化している必要がない。そのため、撮像素子２０２を交換することなく、カラーフィルタアレイ２０１のみを交換することが可能であり、１つの撮像装置でさまざまな用途でのマルチスペクトル撮像に対応することができる。

一般的なレンズ交換式のカメラにおいて、撮像光学系が内蔵されたレンズと、撮像素子が内蔵されたカメラボディは分離可能な構造となっている。本発明の形態として、例えば、当該レンズ（レンズユニット）後部に保持部材を備え、カラーフィルタアレイを固定する構造とすることもできる。また、レンズユニットとカメラユニットの間に存在するマウントアダプタ（レンズユニットをカメラユニットに着脱可能とする）にカラーフィルタアレイを固定する構造とすることもできる。どちらの場合でも、カラーフィルタアレイを着脱可能な構成にできる。また、カラーフィルタアレイを撮像素子の前面に保持部材によって保持するような構造としてもよい。この場合、カメラユニット側のマウントの開口部側においてカラーフィルタアレイを着脱可能な構成としてもよい。

本発明の撮像装置の各部の構成について図３に戻り説明する。まずカメラ筐体部３０１の構成を説明する。被写体からの光束は、レンズ部３０２の撮像光学系２０３を介して、撮像素子２０２上に結像され受光される。撮像光学系２０３はシフト光学系４０１を含み、駆動部３０９にはシフト光学系を光軸と異なる方向（例えば垂直な方向）へのシフトや、絞り（瞳径）を制御するための駆動部３０９も含まれる。

なお、撮像装置の保持状態の変化によって撮像素子２０２上の像を動かす場合には、シフト光学系４０１の駆動は不要である。シフト光学系４０１そのものをもたない撮像光学系２０３を使用してもよいし、シフト光学系４０１を備えているが駆動部３０９による動作の指示がなされない構成でもよい。

撮像素子２０２の表面にはマイクロレンズが格子状に配置されている。多数のマイクロレンズはマイクロレンズアレイ３１３を構成しており、瞳分割手段として機能する。撮像素子２０２において各マイクロレンズに対応する複数の光電変換部による信号を取得し、信号間の相関演算を行うことによって被写体の距離に関連する情報（距離情報）が得られる。例えば、撮像画像内の被写体の距離情報の分布を表す距離画像がある。距離画像の情報は、各画素の示す値が当該画素に対応する撮像画像の領域に存在する被写体の距離情報を表す２次元の情報である。また被写体の奥行き方向の深さを表す深度情報の例として像ずれ量マップ、デフォーカス量マップがある。像ずれ量マップは視点の異なる複数の視点画像から算出され、デフォーカス量マップは像ずれ量に所定の変換係数を乗算して算出される。デフォーカス量を被写体の距離情報に換算した距離マップは撮像装置から被写体までの距離分布を表す。

本実施例では撮像面位相差検出方式に基づく被写体距離の計測例を示すが、位相差検出用ＡＦ（自動焦点調節）センサを用いる方式やＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式等によって被写体の距離情報を取得することができる。

また撮像素子２０２の出力からは、焦点調節用の評価量や露光量を表す信号が得られるので、これらの信号に基づいて撮像光学系３０３のＡＦ制御およびＡＥ（自動露出）制御が可能である。

画像処理部３０５は、その内部にＡ（アナログ）／Ｄ（デジタル）変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像データを生成可能である。本発明ではこの画像処理部によって、前述の図７（ａ）から（ｂ）への並べ替えを行ってもよいし、いったん画像データを外部の処理装置に読み出して並び替えを行っても良い。

メモリ部３０５は記憶部と、画像データ等の記憶に必要な処理回路を備える。メモリ部３０５は予め定められた方法で画像、動画、音声等のデータの圧縮処理や伸長処理を行う。メモリ部３０５に記憶された画像データは読み出されて、表示部３０６または記録再生部３１０へ出力される。表示部３０６はＬＣＤ（液晶表示装置）等を備え、システム制御部３０３の制御指令にしたがって画像表示を行う。また、表示部３０６は画面上に所定のメッセージを表示してユーザに報知する。

記録再生部３０７は、システム制御部３０３の制御指令にしたがって画像データ等を所定の記録媒体に記録し、または記録媒体からデータを読出して再生する処理を行う。所定の記録媒体は、例えばカメラ本体部に装着して使用可能な半導体メモリデバイス等である。

システム制御部３０３はＣＰＵ（中央演算処理装置）を備え、撮像システムの各構成部を制御する中枢部である。システム制御部３０３は撮像の際のタイミング信号等を生成して各部へ出力し、また、操作指示信号に応動して撮像系、画像処理系、記録再生系の各構成部をそれぞれ制御する。システム制御部３０３は画像処理部３０４によって処理された画像データを表示または記録する処理や、出力デバイスを用いて外部装置への送信する処理等を行う。

操作検出部３０８は、操作スイッチやタッチパネル等を用いて行われるユーザの操作を検出し、操作指示信号をシステム制御部３０３に出力する。例えば、操作検出部３０８はユーザの撮像操作指示を検出してシステム制御部３０５に通知する。システム制御部３０３は、撮像素子２０２の駆動、画像処理部３０４の動作、メモリ部３０５による圧縮処理等を制御し、表示部３０６の画面に画像や情報を表示する制御を行う。

次にレンズ部３０２の構成を説明する。レンズ部３０２は、撮像光学系２０３と駆動部３０９を備える。撮像光学系３０３はレンズ群や絞り等の光学部材からなり、図３には光軸３１２を１点鎖線で示している。

駆動部３０９は、システム制御部３０３からの制御信号にしたがって撮像光学系を移動させる。撮像光学系の全部または一部を焦点合わせのために光軸方向に移動させ、シフト光学系を光軸とは異なる方向に移動させ、絞り羽根を開閉する。

本実施例によって、バンド数と画像解像度のどちらかを犠牲にすることなくマルチスペクトル撮像が可能になり、撮像光学系の絞り値を変化させることで、簡便に通常のカラー画像を得ることができる。また、簡便に帯域の特性を変更することが可能になる。

［第２の実施形態］
第１の実施形態においては、隣接するカラーフィルタの分光感度の帯域を近い帯域にすることで、被写体の像が移動した場合の見え方が大きく変化しないようにする例や、図８に示すような、カラーフィルタアレイに透明領域を入れることで、複数画像間の位置合わせの精度が高まるようにする例を説明した。

第２の実施形態では、本発明の特徴のひとつである、撮像光学系のマルチスペクトル撮像とカラー撮像を簡便に切り替えられる機能を用いて複数の画像の位置合わせを行う方法を示す。

第２の実施形態の動作例のフローを図１２に示す。本フローはシステム制御部３０３が撮像装置の各部に指示をすることによって実行される。まずＳ１２０１において撮影開始動作がなされたとシステム制御部３０３が判断した場合、Ｓ１２０２へとフローが進む。Ｓ１２０２では駆動部３０９によって撮像光学系２０３の絞りがＦ１．４に設定される（瞳径の調整）。Ｓ１２０３において、記録再生部３０７によって撮影と画像の保存が行われる。次に、Ｓ１２０４において駆動部３０９によって撮像光学系２０３の絞りがＦ２２に設定される。Ｓ１２０５において、記録再生部３０７にて撮影と画像の保存が行われる。Ｓ１２０６において、撮影枚数が所定数に到達したとシステム制御部３０３が判断した場合、Ｓ１２０７において、Ｆ１．４で撮影された画像を用いて、Ｆ２２で撮影された画像の位置を画像処理部３０４が推定する。Ｓ１２０８において、画像処理部３０４によってＦ２２で撮影された画像の位置合わせが行われる。そして、Ｓ１２０９において、画像処理部３０４によって前述の図７の（ａ）から（ｂ）への並べ替えを行うことで、マルチスペクトル画像が生成される。

図１３に、図１２のＳ１２０２～１２０５の過程において撮影された画像を時間の経過順に示した模式図である。（ａ）（ｃ）は例えばＦ１．４のように絞りを開けて撮影した場合の画像であり、（ｂ）（ｄ）は例えばＦ２２のような絞りを閉じて撮影した場合の画像である。

絞りを開けた（ａ）（ｃ）の状態では、一つの画素にはさまざまなバンドのカラーフィルタを透過した光が混じって入射しており、画面内での各画素の分光感度差がほとんどないため、画面内で均一なフィルタで撮影したかのような画像が得らえる。そのため、画像の正確な移動量を求めることができる。

一方、絞りを絞った（ｂ）（ｄ）の状態では、一つの画素に特定のバンドのカラーフィルタを透過した光のみが入射している画素が多数あり、マルチスペクトル撮像が可能になる。本実施例では、マルチスペクトル画像（ｂ）（ｄ）の位置合わせのために、絞りを開けてカラーフィルタアレイの影響を画面内で均一に近づけた（ａ）（ｃ）の画像を利用する。このように、時間的に絞り（瞳径）を変更した画像を取得することで、マルチスペクトル画像の取得と位置合わせを正確に行うことが可能となる。

図１２のＳ１２０７において、Ｆ２２の画像の移動量を推定する方法を図１４に示す。図１４においては、画像のｘ方向の移動量を例として説明する。（ａ）（ｃ）の画像は、画面内で画素の分光特性がほぼ均一であるので、被写体の位置を正確に検出できる。撮影間隔が等間隔であるならば、（ａ）（ｂ）（ｃ）の画像でのベクトル検出点のｘ座標をｘ（ａ）、ｘ（ｂ）、ｘ（ｃ）として、
ｘ（ｂ）＝（ｘ（ａ）＋ｘ（ｃ））／２ （式３）
のように、直線近似して算出することができる。ｙ座標も同様である。

撮影間隔が不均等である場合は、その時刻の差を考慮して図１４の直線から移動量を算出すればよいし、画像の移動が等速運動から外れている場合には、多項式近似をしてもよいし、その画像を位置合わせの対象から除外してもよいし、角速度センサ等の出力から補正してもよい。

第２の実施形態によって、第１の実施形態の特徴（効果）に加え、より有効なバンド数を増加させたマルチスペクトル撮像を行うことが可能になる。

［第３の実施形態］
本発明の第３の実施形態を、図１５（ａ）（ｂ）（ｃ）を用いて説明する。

図１５（ａ）は撮像素子の断面図の模式図である。本実施例では、断面１５０２の位置に開口を設けることを特徴とする。

撮像面での焦点検出のために、（ａ）に示すような、一つのマイクロレンズ１５１０下の光電変換部が、光電変換部Ａ（１５０４）、光電変換部Ｂ（１５０５）のように複数に分割された撮像素子が用いられている。（ｂ）は（ａ）の断面１５０１を上から見た状態を示している。

この撮像素子の撮像光学系１５１１の瞳の結像位置の近傍に、遮光膜１５０６を設ける。一般的な撮像素子は断面１５０２の位置には配線層を備えており、配線層を遮光幕としてもよい。

遮光膜には、光電変換部Ａの上に位置する開口１５０７（第１の領域）と、光電変換部Ｂの上に位置する開口１５０８（第２の領域）が形成されている。この開口によって、光電変換部Ａには撮像光学系の瞳の一部分の光のみが到達する。一方で、光電変換部Ｂには、光電変換部Ａよりも瞳の広い領域を通過した光が到達する。

つまり、光電変換部Ａには絞りが絞られた状態の光が到達し、光電変換部Ｂには絞りが開けられた状態の光が到達する。すなわち、すなわち開口（瞳）の異なる領域を透過した光が光電変換部Ａおよび光電変化部Ｂにそれぞれ入射することになる。そのため、光電変換部Ａの出力を全画面配列させた画像は、絞られた、カラーフィルタアレイ１５１２の境界が明瞭な画像が得られる。光電変換部Ｂの出力を全画面配列させた画像は、絞りが開いた、カラーファイルタアレイの境界がボケた、面内でほぼ均一な分光特性の画像が得られる。

本実施例では、光電変換部Ｂの画像によって撮影された画像についてベクトル検出と位置合わせを行い、その結果を、同じ時刻に光電変換部Ａで撮影された画像に適用してマルチスペクトル画像を得る。第２の実施形態の場合と異なり、ベクトル検出に用いる画像とマルチスペクトル画像が同時に撮影されているので、より正確な位置合わせが可能になる。

以上で説明した第３の実施形態によって、第２の実施形態の効果に加え、より正確な位置合わせを行うことができる。これにより、精度の高いマルチスペクトル画像を得ることができる。

［第４の実施形態］
本発明の第４の実施形態を、図１５の（ａ）（ｄ）を用いて説明する。

図１５（ａ）は撮像素子の断面図の模式図である。本実施例では、断面１５０３の位置に絞り１５１１を設けることを特徴とする。

絞り１５１１の方位角方向の配置は、図１５の（ｂ）の光電変換部Ａ（１５０４）と光電変換部Ｂ（１５０５）の分割方向と、図１５の（ｄ）に示した絞りの開口１５１２と１５１３の位置が対応する角度である。

このような絞りを配置した場合、光電変換部Ａには絞りの開口１５１２を透過した光が到達し、光電変換部Ｂには絞りの開口１５１３を透過した光が到達する。つまり、光電変換部Ａには絞りが絞られた状態の光が到達し、光電変換部Ｂには絞りが開けられた状態の光が到達する。そのため、光電変換部Ａの出力を全画面配列させた画像は、絞られた、カラーフィルタアレイ２０１の境界が明瞭な画像が得られる。光電変換部Ｂの出力を全画面配列させた画像は、絞りが開いた、カラーファイルタアレイ２０１の境界がボケた、面内でほぼ均一な分光特性の画像が得られる。

本実施形態では、光電変換部Ｂの画像によって撮影された画像についてベクトル検出と位置合わせを行い、その結果を、同じ時刻に光電変換部Ａで撮影された画像に適用して、マルチスペクトル画像を得る。第２の実施形態の場合と異なり、ベクトル検出に用いる画像とマルチスペクトル画像が同時に撮影されているので、より正確な位置合わせが可能になる。

以上で説明した第４の実施形態によって、第２の実施形態に加え、より正確な位置合わせを行うことができる。これにより、精度の高いマルチスペクトル画像を得ることができる。

［第５の実施形態］
本発明の第５の実施形態を、図１６を用いて説明する。図１６（ａ）は画素の断面図、図１６（ｂ）は画素を上から見た図である。

本実施形態では、撮像面での焦点検出方向を増やすことや、種々の撮像特性を改善するために、マイクロレンズ１６０５下の画素の光電変換部を３画素以上とした撮像素子が用いられている。（ｂ）に、光電変換部Ｓ１：１６０１～光電変換部Ｓ４：１６０４の２×２の例を示す。これらの光電変換部に入射した光の信号は、システム制御部３０３がそれぞれ独立に読み出すことが可能な構造となっている。Ｓ１の光電変換部の信号だけを読みだした場合、撮像光学系の瞳の一部分を透過した光による画像が得られる。一方、Ｓ１～Ｓ４の光電変換部の信号を加算して読み出した場合、撮像光学系のもつ瞳の全領域を透過した光による画像が得られる。そのため、光電変換部Ｓ１の出力を全画面配列させた画像は、絞られた、カラーフィルタアレイの境界が明瞭な画像が得られる。光電変換部Ｓ１～Ｓ４を加算した出力を全画面配列させた画像は、絞りが開いた、カラーファイルタアレイの境界がボケた、面内でほぼ均一な分光特性の画像が得られる。

本実施例では、光電変換部Ｓ１～Ｓ４の出力を加算して撮影された画像についてベクトル検出と位置合わせを行い、その結果を、同じ時刻に撮影された光電変換部Ｓ１で撮影された画像に適用して、マルチスペクトル画像を得る。実施例２の場合と異なり、ベクトル検出に用いる画像とマルチスペクトル画像が同時に撮影されているので、より正確な位置合わせが可能になる。また、実施例３～４と異なり、追加の部材を必要としない。

図１６においては、１つのマイクロレンズ下に２×２の４つの光電変換部をもつ例を説明したが、３×３、４×４などのさらに分割数が多い撮像素子を用いることで、本実施例の特徴をさらに高めることができる。

以上で説明した第５の実施形態によって、第２の実施形態に加え、追加の部材を必要とすることなしに、より正確な位置合わせを行うことができる。これにより、精度の高いマルチスペクトル画像を得ることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は前記実施形態に限定されず、各実施例に示された構成の組み合わせや、種々の変形および変更が可能である。

２０１ カラーフィルタアレイ
２０２ 撮像素子
２０３ 撮像光学系
２０４ 画素
２０５、９０１ 画素に入射する光束
４０１ シフト光学系
４０２、５０２ 被写体
４０３、５０３ 被写体の像
４０４、４０５、５０４、５０５ 光線
４０６、４０７、５０６、５０７ カラーフィルタ
１１０１ 光束の通過領域
１５０４、１５０５、１６０１～１６０４ 光電変換部
１５０６ 遮光幕
１５０７、１５０８、１５１２、１５１３ 開口
１５１０、１６０５ マイクロレンズ
１５１１ 絞り

Claims (15)

1. 撮像光学系と撮像素子の間の光路中で、結像面とは異なる位置に、複数の分光透過特性の異なるフィルタが配置されている撮像装置であって、
   前記撮像光学系を介して被写体像を撮像素子に結像させる撮像手段と、
   前記撮像手段により取得される複数の画像の前記被写体像の位置を合わせる位置合わせ手段と、
   前記位置合わせ手段によって得られた位置合わせ後の複数の画像に対して波長ごとに並べ替えを行うことで各波長に対応した画像を生成する生成手段と、
   を有することを特徴とする撮像装置。
2. 前記撮像光学系の瞳径の大きさを変更する瞳径変更手段を有し、
   前記瞳径変更手段は前記複数の画像の撮影を行う間、前記複数の分光透過特性の異なるフィルタの形状、配列ピッチ、対応するバンド数の少なくとも１つに応じて前記瞳径の大きさを調整することを特徴とする請求項１に記載の撮像装置。
3. 前記瞳径の大きさを時間的に変化させて撮影する制御手段を有することを特徴とする請求項２に記載の撮像装置。
4. 前記複数の画像の撮影を行う間、前記撮像光学系の一部を光軸に対して垂直な方向に駆動する駆動手段を有し、
   前記駆動手段は前記複数の分光透過特性の異なるフィルタの配列ピッチ、対応するバンド数の少なくとも一方に応じて駆動量を調整することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記駆動手段は、前記瞳径の大きさに応じて前記撮像光学系の一部の駆動方法を変更することを特徴とする請求項４に記載の撮像装置。
6. 前記撮像素子は、前記撮像光学系の異なる瞳の領域を透過した光をそれぞれ受光し、前記異なる瞳の領域にはそれぞれ異なる大きさの開口が設けられていることを特徴とする、請求項１または２に記載の撮像装置。
7. 前記異なる瞳の領域のうちの一部の領域を透過した光と、前記一部の領域より大きい部分の領域を透過した光に対応する信号をそれぞれ出力することを特徴とする、請求項６に記載の撮像装置。
8. 前記複数の分光特性の異なるフィルタのうち、１つ以上が透明なフィルタであることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記複数の分光透過特性の異なるフィルタは前記撮像素子の前面に保持部材により保持されており、前記撮像光学系を着脱可能なマウントの開口部側に着脱可能であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記複数の分光透過特性の異なるフィルタが、前記撮像光学系を内蔵したレンズユニットの保持部材により保持されており、前記レンズユニットにて着脱可能であることを特徴とする、請求項１乃至８のいずれか１項に記載の撮像装置。
11. 前記複数の分光透過特性の異なるフィルタが、前記撮像光学系を内蔵したレンズユニットに固定されていることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
12. 前記複数の分光透過特性の異なるフィルタが、前記撮像光学系を内蔵したレンズユニットと前記撮像装置を構成するカメラユニットの間に着脱可能なマウントアダプタに固定されていることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
13. 撮像光学系と撮像素子の間の光路中で、結像面とは異なる位置に、複数の分光透過特性の異なるフィルタが配置されている撮像装置の制御方法であって、
    前記撮像光学系を介して被写体像を撮像素子に結像させる撮像ステップと、
    前記撮像手段により取得される複数の画像の前記被写体像の位置を合わせる位置合わせステップと、
    前記位置合わせ手段によって得られた位置合わせ後の複数の画像に対して波長ごとに並べ替えを行うことで各波長に対応した画像を生成する生成ステップと、
    を有することを特徴とする撮像装置の制御方法。
14. 請求項１３に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
15. 請求項１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読取り可能な記憶媒体。

Images