JP2012107956A - 距離情報取得装置、撮像装置および構造化開口ユニット - Google Patents

Abstract

【課題】構造化開口の一定の形状に固定されていると、シーンに対する測定可能な奥行き範囲なども固定されてしまう。
【解決手段】距離情報取得装置は、入射する被写体光束を複数の波長帯に分離して検出する受光素子と、被写体光束を受光素子に導く光学系と、光学系に配され、少なくとも３つのフィルタ領域を光学系の光軸に交差する平面内に有する構造化開口とを備え、少なくとも３つのフィルタ領域は、複数の波長帯のうちの一つに含まれる互いに異なる波長帯をそれぞれ透過させ、少なくとも３つのフィルタ領域のうち選択される少なくとも２つのフィルタ領域の重心位置からそれぞれの中心までの距離は、選択される少なくとも２つのフィルタ領域ごとに互いに異なる。
【選択図】図６

Description

本発明は、距離情報取得装置、撮像装置および構造化開口ユニットに関する。

レンズ光学系の絞り位置にＲＧＢ三色のカラーフィルタからなる構造化開口を配置したカメラでシーンを撮影することにより、一枚の画像データからシーンの奥行き情報を取得する技術が知られている（例えば非特許文献１）。
［先行技術文献］
［非特許文献１］カメラの絞りに色フィルタを用いた奥行き推定と前景マット抽出（Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ／グラフィクスとＣＡＤ合同シンポジウム２００８）

構造化開口の一定の形状に固定されていると、シーンに対する最適ピント位置、測定可能な奥行き範囲なども固定されてしまう。つまり、許容される主要被写体の存在位置、絞り値などの撮影条件が制限されてしまう。

上記課題を解決するために、本発明の第１の態様における距離情報取得装置は、入射する被写体光束を複数の波長帯に分離して検出する受光素子と、被写体光束を受光素子に導く光学系と、光学系に配され、少なくとも３つのフィルタ領域を光学系の光軸に交差する平面内に有する構造化開口とを備え、少なくとも３つのフィルタ領域は、複数の波長帯のうちの一つに含まれる互いに異なる波長帯をそれぞれ透過させ、少なくとも３つのフィルタ領域のうち選択される少なくとも２つのフィルタ領域の重心位置からそれぞれの中心までの距離は、選択される少なくとも２つのフィルタ領域ごとに互いに異なる。

上記課題を解決するために、本発明の第２の態様における撮像装置は、上記の距離情報取得装置を含む撮像装置であって、構造化開口を被写体光束に対して挿抜する挿抜機構と、挿抜機構により構造化開口を抜出して実行する本画像撮影と、挿抜機構により構造化開口を挿入して実行する補助画像撮影を制御する撮影制御部とを備え、撮影制御部は、本画像撮影と補助画像撮影で撮影条件を変更する。

上記課題を解決するために、本発明の第３の態様における構造化開口ユニットは、少なくとも３つのフィルタ領域を平面内に有し、少なくとも３つのフィルタ領域のうち選択される少なくとも２つのフィルタ領域の重心位置からそれぞれの中心までの距離が、選択される少なくとも２つのフィルタ領域ごとに互いに異なる構造化開口を備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る一眼レフカメラの要部断面図である。 本実施形態に係る構造化開口ユニットの外観図である。 構造化開口ユニットをレンズユニットに装着する様子を示す図である。 撮像素子の画素上に配置されたカラーフィルタの説明図である。 撮像素子の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。 フィルタ部の組み合わせによる基線長の変化を説明する図である。 異なる基線長に対する、被写体距離とシフト量の関係を示す図である。 異なる基線長により取得されるシフト画像の様子と、奥行き推定エラーを説明する図である。 一眼レフカメラのシステム構成を概略的に示すブロック図である。 補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。 他の構造化開口の例と、そのフィルタ部の組み合わせによる基線長の変化を説明する図である。 更に他の構造化開口の例と、そのフィルタ部の組み合わせによる基線長の変化を説明する図である。 本撮影画像および補助撮影画像の取得フローを示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

まず、シーンの奥行き情報の取得原理について説明する。ここで、シーンの奥行き情報とは、シーンを構成する被写体としての各オブジェクト間の相対的な前後関係を示す距離情報である。距離情報取得装置は、距離情報として例えば、シーンの奥行き方向における合焦面を基準として、当該基準からそれぞれのオブジェクトの距離を取得する。したがって、距離情報は、カメラから各オブジェクトまでの絶対距離でなくても良い。カメラから各オブジェクトまでの絶対距離を取得したい場合は、例えばフォーカスレンズ位置を検出することにより合焦面の絶対距離を算出し、この合焦面の絶対距離を加味して、それぞれのオブジェクトの距離を計算すれば良い。

本実施形態においては、被写体光束をＣＣＤ、ＣＭＯＳ等によって構成される受光素子に導く光学系に、構造化開口を挿入することにより距離情報を取得する。構造化開口は、光学系に挿入されたときに、Ｒ（赤）Ｇ（緑）Ｂ（青）の各カラーフィルタが、光学系の光軸に対してそれぞれ偏心した位置となるように設けられて構成されている。

ここでは、光軸中心からそれぞれ等距離であって同じ大きさの円形状に、左方向にずれた位置に設けられたＧフィルタ領域、上方向にずれた位置に設けられたＲフィルタ領域および右方向にずれた位置に設けられたＢフィルタ領域のようにカラーフィルタパターンが形成されている場合について、まず説明する。また、受光素子は、ＲＧＢのいずれかのカラーフィルタが各画素上に配置されており、例えば４画素を１組とするベイヤー配列が採用される。なお、本実施形態に適用する具体的な構造化開口の構成、および受光素子の構成は、後に詳述する。

上述の例によるカラーフィルタパターンが形成された構造化開口を通過した被写体光束を、上述の受光素子で撮影した場合、焦点の合った奥行きより近い点はＲが下、Ｇが右、Ｂが左方向にそれぞれずれて観測される。焦点の合った奥行きより遠い点ではずれ方向が逆になる。焦点の合っている奥行きでは画像はずれない。つまり、焦点の合っていない奥行きでは、シーンの同じ点が色ごとにずれて観察される。

別言すれば、撮影した画像のＲＧＢ成分であるＩ_ｒ、Ｉ_ｇ、Ｉ_ｂは、三視点のステレオ画像となる。仮想的な中央の視点をリファレンス座標に取れば、リファレンス座標（ｘ，ｙ）における視差をｄ画素とすると、Ｉ_ｒ（ｘ，ｙ−ｄ）、Ｉ_ｇ（ｘ＋ｄ，ｙ）、Ｉ_ｂ（ｘ−ｄ，ｙ）が対応するから、これらが最も良く一致するｄを視差の推定値とすることができる。しかし、観測波長帯が異なるため対応点の輝度レベルは位置しないので、単純な輝度の差分をマッチング指標にすることはできない。

そこで、ここでは自然画像の色成分は局所的に線形関係を示す傾向が高いことを利用する。（ｘ，ｙ）の周りに局所ウィンドウｗ（ｘ，ｙ）を考え、そこに含まれる画素色の集合をＳ（ｘ，ｙ；ｄ）＝｛（Ｉ_ｒ（ｓ，ｔ−ｄ）、Ｉ_ｇ（ｓ＋ｄ，ｔ）、Ｉ_ｂ（ｓ−ｄ，ｔ））｜（ｓ，ｔ）∈ｗ（ｘ，ｙ）｝とすると、真のｄのときに分布が最も直線に近くなると考えられる。

ここではＲＧＢ間の線形関係を計る指標として以下を用いる。
Ｌ（ｘ，ｙ；ｄ）＝λ_０λ_１λ_２／σ_ｒ ^２σ_ｇ ^２σ_ｂ ^２ （１）
ただしλ_０、λ_１、λ_２（λ_０≧λ_１≧λ_２≧０）は色分布Ｓ（ｘ，ｙ；ｄ）の主成分軸に沿った分散（すなわちＳ（ｘ，ｙ；ｄ）の共分散行列Σの固有値）、σ_ｒ ^２、σ_ｇ ^２、σ_ｂ ^２は色分布のＲ、Ｇ、Ｂ軸に沿った分散である。ここでは表記の簡単のため右辺のｘ、ｙ、ｄへの依存については省略した。

行列の性質からλ_０＋λ_１＋λ_２＝σ_ｒ ^２＋σ_ｇ ^２＋σ_ｂ ^２ （＝ｔｒａｃｅ（Σ））であるので、固有値間の大小に差があるほど式（１）は小さくなる。直線的な分布（λ_０＞＞λ_１、λ_２）であればＬは０に近く、完全無相関（固有値がＲ、Ｇ、Ｂ軸に沿った分散に等しい）のとき最大値Ｌ＝１をとる。

画像の各点、および取りうる範囲の各視差ｄについてＬ（ｘ，ｙ；ｄ）を計算する必要があるが、Ｓｕｍｍｅｄ Ａｒｅａ Ｔａｂｌｅを用いてＩ_ｒ、Ｉ_ｇ、Ｉ_ｂとそれらの二乗と積の表を計算しておけば、局所ウィンドウのサイズに依存せずに共分散行列Σの各要素を計算することができる。また、式（１）の分子は行列の性質からλ_０λ_１λ_２＝ｄｅｔ（Σ）であるので固有値を実際に計算する必要はない。

上述のように計算される各オブジェクト単位の視差ｄにより、シーンの奥行き情報を推定することができる。本実施形態に係る距離情報取得装置としての一眼レフカメラは、このような取得原理を原則として採用する。ただし、上述の手法によれば、仮想的な中央の視点をリファレンス座標として固定し、リファレンス座標（ｘ，ｙ）における視差ｄを規定するので、シーンに対する最適ピント位置、測定可能な奥行き範囲などは一義的に固定される。そこで、本実施形態の一眼レフカメラでは、このような問題に対処すべく、構造化開口のカラーフィルタパターンの配列を改良して、奥行き情報の推定精度を向上させる。以下に本実施形態について説明する。

図１は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。

レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。また、光軸２０１に沿って、絞り２１４および構造化開口ユニット３００も配列される。構造化開口ユニット３００は、被写体光束に対して挿抜することができる。

レンズユニット２１０は、フォーカスレンズ２１２、絞り２１４の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。

また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。なお、以後の説明においては図示するように、光軸２０１に沿って被写体光束が入射する方向にｚ軸を定める。

カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。

ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。

斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。

斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの受光素子であり、受光面で結像した被写体像を電気信号に変換する。

撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。

カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。

また、ペンタプリズム２３５の近傍には使用状態と収納状態を取り得るフラッシュ２４９を備えており、使用状態においてカメラシステム制御部２４５の制御により被写体を照射する。フラッシュ２４９の近傍には、被写体を照射するパターン投光部２５０を備えており、被写体に対して幾何的模様等であるパターンを投光する。

図２は、本実施形態に係る構造化開口ユニット３００の外観図である。図２（ａ）は被写体側から見た正面図であり、図２（ｂ）は側面図である。

構造化開口ユニット３００は、フィルタ３０２、ベース部３０７、外周部３０８および把持部３０９を主な構成要素とする。ベース部３０７は、被写体光束範囲に円筒状の中空部分を有し、フィルタ３０２は、ベース部３０７の中空部分に張設されて固定されている。

ベース部３０７の端部には外周部３０８と把持部３０９が一体的に形成されている。ユーザは、把持部３０９を掴んで構造化開口ユニット３００をレンズユニット２１０に対して挿抜する。

フィルタ３０２は、被写体光束を遮断する遮断フィルタ部３０３、赤色の波長帯を透過させるＲフィルタ部３０４、緑色の波長帯を透過させるＧフィルタ部３０５および青色の波長帯を透過させるＢフィルタ部３０６から構成される。図示するようにＲフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６は、フィルタ３０２の中心を通る光軸２０１に対して非対称に、光軸２０１から偏心した位置に設けられている。更に具体的な配列については後述する。

図３は、構造化開口ユニット３００をレンズユニット２１０に装着する様子を示す図である。図３（ａ）は、構造化開口ユニット３００をレンズユニット２１０に挿し込む直前の様子を示し、図３（ｂ）は、装着された様子を示す。

ユーザは、把持部３０９を把持して、構造化開口ユニット３００をレンズ鏡筒２１７に設けられた装着スリット２１９へ挿し込む。すると、構造化開口ユニット３００は、ベース部３０７の側面がレンズ鏡筒２１７の内部に設けられた挿抜ガイド２２０に案内されて、フィルタ３０２の中心が光軸２０１と一致する位置に到達する。フィルタ３０２の中心が光軸２０１と一致する位置に到達すると、外周部３０８が装着スリット２１９に嵌合し、外周部３０８の外面がレンズ鏡筒２１７の外観面と一致する。

図４は、撮像素子２４３の画素上に配置されたカラーフィルタの説明図である。本実施例におけるカラーフィルタの配列は、いわゆるベイヤー配列であり、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタが設けられている。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。例えば、Ｒ画素フィルタが設けられた画素は、赤色の波長帯に対して感度を持つ。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢの３つの波長帯に分離して光電変換する。

図５は、撮像素子２４３の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。

Ｂ曲線７０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線７０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線７０３はＲ画素フィルタが設けられた画素の感度を示す。図示されるように、隣り合う波長帯であるＢ曲線７０１とＧ曲線７０２、および、Ｇ曲線７０２とＲ曲線７０３は若干の重なり部分を有しており、一方、互いに離れた波長帯であるＢ曲線７０１とＲ曲線７０３は互いに交わることが無い。すなわち、Ｂ画素フィルタが設けられた画素は、青色波長帯と共に若干の緑色波長帯にも感度を有するが、赤色波長帯には感度を有さない。同様に、Ｒ画素フィルタが設けられた画素は、赤色波長帯と共に若干の緑色波長帯にも感度を有するが、青色波長帯には感度を有さない。一方、Ｇ画素フィルタが設けられた画素は、緑色波長帯と共に若干の赤色波長帯にも青色波長帯にも感度を有する。

構造化開口のＢフィルタ部３０６は、矢印７１１の波長帯を透過させる。同様に、Ｇフィルタ部３０５は、矢印７１２の波長帯を透過させ、Ｒフィルタ部３０４は、矢印７１３の波長帯を透過させる。したがって、Ｂ画素フィルタが設けられた画素は、構造化開口のＢフィルタ部３０６を透過した被写体光束に対して感度を持ち、Ｇ画素フィルタが設けられた画素は、構造化開口のＧフィルタ部３０５を透過した被写体光束に対して感度を持ち、Ｒ画素フィルタが設けられた画素は、構造化開口のＲフィルタ部３０４を透過した被写体光束に対して感度を持つと言える。

すると、Ｒフィルタ部３０４を開口とする赤色波長帯の被写体画像、Ｇフィルタ部３０５を開口とする緑色波長帯の被写体画像、およびＢフィルタ部３０６を開口とする青色波長帯の被写体画像を、一度の撮影により取得することができる。これらの被写体画像は、それぞれ上述のＩ_ｒ、Ｉ_ｇ、Ｉ_ｂに相当し、互いに三視点のステレオ画像を構成する。

なお、このように撮影される赤色波長帯の被写体画像、緑色波長帯の被写体画像および青色波長帯の被写体画像は、それぞれＲ画素フィルタが設けられた画素の出力のみ、Ｇ画素フィルタが設けられた画素の出力のみ、または、Ｂ画素フィルタが設けられた画素の出力のみを集めて互いに分離されるので、通常の撮影における画像処理とは異なる画像処理により形成される。したがって、ここでは通常の撮影により取得される撮影画像を本撮影画像と呼び、構造化開口を用いて取得される撮影画像を補助撮影画像と呼ぶ。本撮影画像は構造化開口ユニット３００をレンズユニット２１０から抜出して撮影された画像であり、補助撮影画像は構造化開口ユニット３００をレンズユニット２１０へ装着して撮影された画像である。

また、図に示すように、矢印７１１で示されるＢフィルタ部３０６の透過波長帯域は、Ｂ曲線７０１で示されるＢ画素フィルタが設けられた画素の感度波長帯域よりも狭い。同様に、矢印７１２で示されるＧフィルタ部３０５の透過波長帯域は、Ｇ曲線７０２で示されるＧ画素フィルタが設けられた画素の感度波長帯域よりも狭い。更に、矢印７１３で示されるＲフィルタ部３０４の透過波長帯域は、Ｒ曲線７０３で示されるＲ画素フィルタが設けられた画素の感度波長帯域よりも狭い。つまり、３つのフィルタ部がそれぞれ透過させる透過波長帯域は、対応する各画素の感度波長帯域に対して狭くなるように設定されている。このように設定することにより、クロストークを軽減した鮮明なＩ_ｒ、Ｉ_ｇ、Ｉ_ｂ画像を取得することができる。

更に好ましくは、Ｂフィルタ部３０６の透過波長帯域、Ｇフィルタ部３０５の透過波長帯域およびＲフィルタ部３０４の透過波長帯域が、互いに分離され、重なり合う波長帯域が無いように設定される。このとき、それぞれの透過波長帯域は、対応する感度波長帯に対して隣接する感度波長帯域に重ならないように留意する。例えば、矢印７１２で示されるＧフィルタ部３０５の透過波長帯域は、Ｂ曲線７０１で示されるＢ画素フィルタが設けられた画素の感度波長帯域、およびＲ曲線７０３で示されるＲ画素フィルタが設けられた画素の感度波長帯域と重ならない。

次に、このような構造化開口ユニット３００を用いた奥行き情報の取得原理についてさらに説明する。図６は、フィルタ３０２と、フィルタ部の組み合わせによる基線長の変化を説明する図である。なお、図においては、遮断フィルタ部３０３の塗り潰しを省略している。

上述したように、Ｒフィルタ部３０４、Ｇフィルタ部３０５およびＢフィルタ部３０６は、フィルタ３０２の中心を通る光軸２０１に対して非対称に、光軸２０１からは偏心した位置に設けられている。図の例では、光軸中心からＧフィルタ部３０５の中心までの距離が最も短く、Ｒフィルタ部３０４の中心までの距離が最も長く設定されている。また、それぞれの中心位置は、Ｒフィルタ部３０４については光軸中心から上方向に、Ｇフィルタ部３０５については右下方向に、Ｂフィルタ部３０６については左上方向に定められている。そして、それぞれのフィルタ部は、同一の直径を有する円形を成す。また、図示するように、それぞれのフィルタ部は互いに重なり合う領域を有さない。

このように、光軸に対して偏心した位置に非対称に配列された各フィルタ部を透過した被写体光束は、それぞれの波長帯に分離され、透過したフィルタ部の位置に応じて合焦位置に無い非合焦オブジェクトの像がずれて、撮像素子２４３の結像面に到達する。このとき、同一の非合焦オブジェクトに対するずれ量およびずれの方向は、いずれのフィルタ部を透過したかによって異なる。つまり、出力される３つの画像であるＩ_ｒ、Ｉ_ｇ、Ｉ_ｂ画像において、合焦オブジェクトの像に対する非合焦オブジェクトの像のずれ量およびずれの方向は、各フィルタ部の配列に起因してそれぞれ互いに異なる。

更にずれ量とずれの方向に関して、具体的に説明する。一度の撮影動作によって得られる補助撮影画像からは、Ｉ_ｒ、Ｉ_ｇ、Ｉ_ｂの各画像が抽出される。このうち、Ｉ_ｒ画像とＩ_ｂ画像の２つの画像から奥行き情報を算出する場合を考える。図中右上に「Ｒ−Ｂの組み合わせ」として示すように、Ｒフィルタ部３０４の中心をｃ_Ｒ、Ｂフィルタ部３０６の中心をｃ_Ｂとすると、この２つのフィルタ部の重心は図中星印で示されるｇ_ＲＢの位置となる。Ｉ_ｒ画像とＩ_ｂ画像のみに着目すれば、合焦オブジェクトにおけるＩ_ｒ画像およびＩ_ｂ画像上の中心位置は、この重心ｇ_ＲＢに対応する像点となる。そして、Ｉ_ｒ画像における非合焦オブジェクトの像は、この重心ｇ_ＲＢから中心ｃ_Ｒへの距離および方向に応じてずれて観察され、同様に、Ｉ_ｂ画像における非合焦オブジェクトの像は、この重心ｇ_ＲＢから中心ｃ_Ｂへの距離および方向に応じてずれて観察される。重心ｇ_ＲＢから中心ｃ_Ｒへの距離および重心ｇ_ＲＢから中心ｃ_Ｂへの距離は当然ながら互いに等しく、この距離をＤ_ＲＢとする。

すなわち、抽出されるＩ_ｒ画像とＩ_ｂ画像においては、Ｄ_ＲＢに対応する撮像素子２４３上の距離を実効的な基線長として、互いのずれ量を定義づけることができる。そして、上述において説明した仮想的な中央の視点として重心ｇ_ＲＢに対応する像点を採用すれば、Ｉ_ｒ画像とＩ_ｂ画像に対してリファレンス座標を定義づけることができる。また、構造化開口ユニット３００はレンズユニット２１０の瞳近傍に装着され、各フィルタ部の撮像素子２４３に対する相対的な位置関係は一義的であるので、重心ｇ_ＲＢに対応する像点の位置は予め定めることができる。さらに、各オブジェクト距離に対する像のずれ量およびずれの方向は、実験的またはシミュレーション的に既知である。したがって、Ｉ_ｒ画像とＩ_ｂ画像間で上述の局所ウィンドウを適用することにより、ずれ量に対する波長依存量を吸収しつつ、それぞれのオブジェクトの距離を算出することができる。つまり、Ｄ_ＲＢに対応する実効的基線長により、それぞれのオブジェクトの距離を算出することができる。

次に、Ｉ_ｇ画像とＩ_ｂ画像の２つの画像から奥行き情報を算出する場合を考える。図中右中に「Ｇ−Ｂの組み合わせ」として示すように、Ｇフィルタ部３０５の中心をｃ_Ｇ、Ｂフィルタ部３０６の中心をｃ_Ｂとすると、この２つのフィルタ部の重心は図中星印で示されるｇ_ＧＢの位置となる。Ｉ_ｇ画像とＩ_ｂ画像のみに着目すれば、合焦オブジェクトにおけるＩ_ｇ画像およびＩ_ｂ画像上の中心位置は、この重心ｇ_ＧＢに対応する像点となる。そして、Ｉ_ｇ画像における非合焦オブジェクトの像は、この重心ｇ_ＧＢから中心ｃ_Ｇへの距離および方向に応じてずれて観察され、同様に、Ｉ_ｂ画像における非合焦オブジェクトの像は、この重心ｇ_ＧＢから中心ｃ_Ｂへの距離および方向に応じてずれて観察される。重心ｇ_ＧＢから中心ｃ_Ｇへの距離（＝重心ｇ_ＧＢから中心ｃ_Ｂへの距離）をＤ_ＧＢとする。

すなわち、抽出されるＩ_ｇ画像とＩ_ｂ画像においては、Ｄ_ＧＢに対応する撮像素子２４３上の距離を実効的な基線長として、互いのずれ量を定義づけることができる。そして、Ｉ_ｒ画像とＩ_ｂ画像の組み合わせの場合と同様に、Ｄ_ＧＢに対応する実効的基線長により、それぞれのオブジェクトの距離を算出することができる。

Ｉ_ｒ画像とＩ_ｇ画像の２つの画像から奥行き情報を算出する場合も同様である。図中右下に「Ｒ−Ｇの組み合わせ」として示すように、Ｒフィルタ部３０４の中心をｃ_Ｒ、Ｇフィルタ部３０５の中心をｃ_Ｇとすると、この２つのフィルタ部の重心は図中星印で示されるｇ_ＲＧの位置となる。Ｉ_ｒ画像とＩ_ｇ画像のみに着目すれば、合焦オブジェクトにおけるＩ_ｒ画像およびＩ_ｇ画像上の中心位置は、この重心ｇ_ＲＧに対応する像点となる。そして、Ｉ_ｒ画像における非合焦オブジェクトの像は、この重心ｇ_ＲＧから中心ｃ_Ｒへの距離および方向に応じてずれて観察され、同様に、Ｉ_ｇ画像における非合焦オブジェクトの像は、この重心ｇ_ＲＧから中心ｃ_Ｇへの距離および方向に応じてずれて観察される。重心ｇ_ＲＧから中心ｃ_Ｒへの距離（＝重心ｇ_ＲＧから中心ｃ_Ｇへの距離）をＤ_ＲＧとする。

すなわち、抽出されるＩ_ｒ画像とＩ_ｇ画像においては、Ｄ_ＲＧに対応する撮像素子２４３上の距離を実効的な基線長として、互いのずれ量を定義づけることができる。そして、Ｉ_ｒ画像とＩ_ｂ画像の組み合わせの場合と同様に、Ｄ_ＲＧに対応する実効的基線長により、それぞれのオブジェクトの距離を算出することができる。

ここで、それぞれＤ_ＲＢ、Ｄ_ＧＢ、Ｄ_ＲＧに対応する実効的基線長は異なる。つまり、一度の撮影動作によって得られる補助撮影画像から抽出されるＩ_ｒ、Ｉ_ｇ、Ｉ_ｂの各画像の組み合わせにより、異なる実効的基線長をもって、三度の奥行き情報取得演算を実行することができる。実効的な基線長が異なれば、重心に対応する像点からの像のずれ量も異なって観察される。

図７は、異なる基線長に対する、被写体距離とシフト量の関係を示す図である。図では基線長の長い場合と短い場合の相対的な関係を模式的に示している。シフト量は、同一のオブジェクトに対応する各抽出画像上でのずれ量である。

奥行き方向における合焦面では、基線長が長い場合も短い場合もシフト量は０となる。つまり合焦面に存在するオブジェクトを捉えたＩ_ｒ、Ｉ_ｇ、Ｉ_ｂは、互いにずれない。図７は、この点を原点として、横軸にオブジェクト距離を、縦軸にシフト量を表す。

合焦面から一定の距離に存在するオブジェクトについては、基線長が短い場合におけるシフト量よりも基線長が長い場合におけるシフト量の方が大きくなる。

図８は、異なる基線長に対応して取得されるシフト画像の様子と、奥行き推定エラーを説明する図である。被写体として９点の円形オブジェクトが合焦面からずれた位置に整列されている場合を想定する。シフト画像Ａは基線長が長い場合として、図６のＲ−Ｇの組み合わせで取得されたＩ_ｒ、Ｉ_ｇを重ねた様子を表す。シフト画像Ｂは基線長が短い場合として、図６のＲ−Ｂの組み合わせで取得されたＩ_ｒ、Ｉ_ｂを重ねた様子を表す。

シフト画像Ａにおいては、１点の円形オブジェクトがｉ_Ｒ、ｉ_Ｇとして大きくシフトしているが、シフト画像Ｂにおいてはｉ_Ｒ、ｉ_Ｂ間の距離が小さいことがわかる。ただし、この場合のＩ_ｒ画像は、シフト画像Ａにおいてもシフト画像Ｂにおいても同一の画像であるので、ｉ_Ｒの位置は互いに同じである。つまり、Ｉ_ｒ画像のｉ_Ｒに対して、Ｉ_ｇ画像のｉ_ＧとＩ_ｂ画像のｉ_Ｂが互いに異なるシフト量を示していると言える。

被写体に周期性が無い場合には、推定エラーが極小値となる点を推定距離として採用することができるが、図の被写体の例のように被写体に周期性を有する場合には、算出される上述のｄに複数の候補が存在することになり、推定エラーの極小値も複数存在することになる。推定エラーの極小値が複数存在する関係は、図示するように、シフト画像Ａから取得される推定距離と推定エラーのグラフにおいても、シフト画像Ｂから取得される推定距離と推定エラーのグラフにおいても、同様に見て取れる。

しかしながら、シフト画像Ａによる演算結果とシフト画像Ｂによる演算結果をさらに足し合わせると、推定エラーの極小値は一つとなり、推定距離を一つに定めることができる。つまり、Ｉ_ｒ、Ｉ_ｇ、Ｉ_ｂの組み合わせを変えて奥行き情報取得の演算を複数回行えば、より確からしい奥行き情報を定めることができることがわかる。つまり、本実施形態においては、一度の撮影により取得することができる補助撮影画像から抽出されるＩ_ｒ、Ｉ_ｇ、Ｉ_ｂ画像により、精度の高い奥行き情報を取得することができる。

次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図９は、一眼レフカメラ２００のシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。

カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換された撮像信号を画像データに処理する。本撮影画像において処理された画像データは、表示部２４７へ送られて、例えば撮影後の一定時間の間表示される。これに並行して、処理された画像データは、所定の画像フォーマットに加工され、外部接続ＩＦ２５４を介して外部メモリに記録される。画像処理部２４６は、補助撮影画像として撮影された撮像信号から、波長帯ごとに分離された被写体画像を生成する。生成された被写体画像は距離情報算出部２５１へ引き渡され、距離情報算出部２５１は、上述の手法により距離情報を算出する。算出された距離情報は、カメラメモリ２５２へ記録される。

カメラメモリ２５２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された撮影画像の一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２５３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。

レリーズスイッチ２５５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ２４０から位相差情報を取得する。そして、レンズシステム制御部２１６へフォーカスレンズ２１２の駆動情報を送信する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、予め定められた処理フローに従って本撮影画像の取得、または、補助撮影画像の取得を実行する。本撮影画像の取得と補助撮影画像の取得についての処理フローについては後述する。

フラッシュ２４９は、カメラシステム制御部２４５の制御に従って被写体を照射する。また、同様にパターン投光部２５０は、カメラシステム制御部２４５の制御に従って投光パターンを被写体に投光する。特に、暗いシーン、被写体が無模様のシーンなどの場合には、補助撮影画像の取得時においてもパターン投光部２５０が利用される。

レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。絞り駆動回路２２１は、レンズシステム制御部２１６の制御に従って絞り羽根を駆動する。

図１０は、補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。本フローにおける一連の処理は、カメラシステム制御部２４５が操作部材を介してユーザから指示を受け付けたとき、または、予め定められた制御プログラムに距離算出処理が組み込まれているとき等に開始される。

ステップＳ８０１では、画像処理部２４６が処理対象となる補助撮影画像を取得する。画像処理部２４６は、処理対象の補助撮影画像として、撮像素子２４３から出力された画像信号をそのまま取得しても良いし、撮影後に距離情報を算出しないまま記録部に記録されている補助撮影画像を読み出して取得しても良い。したがって、本実施形態においてはカメラユニット２３０を距離情報取得装置として距離情報の算出を実行するが、距離情報の算出は、カメラとは別個の独立した距離情報取得装置で実行することもできる。例えば、ＰＣを例にすれば、カメラとの間に記録媒体を介在させ、記録媒体に記録された補助撮影画像を読み出して処理することもできるし、有線、無線によりカメラと接続した状態を確立すれば、補助撮影画像の撮影と連動して処理することもできる。

画像処理部２４６は、ステップＳ８０２で、補助撮影画像から、Ｒフィルタ部３０４を通過して形成された赤色画像、すなわち、Ｒ画素フィルタが設けられた画素の出力から形成される画像Ｉ_ｒを抽出する。同様に、Ｇフィルタ部３０５を通過して形成された緑色画像Ｉ_ｇとＢフィルタ部３０６を通過して形成された青色画像Ｉ_ｂを抽出する。画像処理部２４６は、このように波長帯別画像を抽出すると、これらの画像を距離情報算出部２５１へ引き渡す。

距離情報算出部２５１は、ステップＳ８０３で、上述の手法を用いて距離情報を算出する。なお、ここでは上述のように、３つの抽出画像のうちの２つを組み合わせて演算される推定エラー情報を足し合わせて、推定距離を一つに定める。算出された距離情報は、距離画像データとして別途独立したファイルを生成しても良いし、補助撮影画像に付帯して記録しても良い。別途独立したファイルを生成する場合には、補助撮影画像に対してリンク情報を記録する。算出された距離情報は、例えば、同一距離と判断された被写体が存在する画素領域情報と当該距離をセットとして、距離ごとに複数セット分リスト化されたテーブル形式のデータ構造を有する。以上により一連の処理フローを終了する。

以上の実施形態においては、赤色の波長帯、緑色の波長帯および青色の波長帯にそれぞれ感度を持つ画素により３つの波長帯に被写体光束を分離して検出する撮像素子２４３に対応して、構造化開口も３つの波長帯をそれぞれ透過させるフィルタ部を有する構成とした。しかし、撮像素子の構成と構造化開口の構成は、他にもさまざまなバリエーションが存在する。以下にその例を説明する。

図１１は、他の構造化開口の例と、そのフィルタ部の組み合わせによる基線長の変化を説明する図である。フィルタ５０２は、被写体光束を遮断する遮断フィルタ部５０３、赤色の波長帯を透過させるＲフィルタ部５０４、緑色の波長帯を透過させるＧフィルタ部５０５、青色の波長帯を透過させるＢフィルタ部５０６および黄色の波長帯を透過させるＹフィルタ部５０７から構成される。図示するようにＲフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６、Ｙフィルタ部５０７は、フィルタ５０２の中心を通る光軸２０１に対して非対称に、光軸２０１から偏心した位置に設けられている。なお、図においては、遮断フィルタ部５０３の塗り潰しを省略している。

これに対応して撮像素子のカラーフィルタ配列も、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタに加えてＹ画素フィルタが設けられている。例えば、ベイヤー配列の２つのＧ画素フィルタのうちの１つが、Ｙ画素フィルタに置き換えられた配列を採用する。したがって、撮像素子は、受光面に結像する被写体像をＲＧＢＹの４つの波長帯に分離して光電変換する。また、ＲＧＢの３色フィルタの場合と同様に、４つのフィルタ部がそれぞれ透過させる透過波長帯域は、対応する各画素の感度波長帯域に対して狭くなるように設定されている。このように設定することにより、クロストークを軽減した鮮明なＩ_ｒ、Ｉ_ｇ、Ｉ_ｂ、Ｉ_ｙ画像を取得することができる。もちろん、Ｂフィルタ部５０６の透過波長帯域、Ｇフィルタ部５０５の透過波長帯域、Ｙフィルタ部５０７の波長帯域およびＲフィルタ部３０４の透過波長帯域が、互いに分離され、重なり合う波長帯域が無いように設定されても良い。

一度の撮影動作によって得られる補助撮影画像からは、Ｉ_ｒ、Ｉ_ｇ、Ｉ_ｂ、Ｉ_ｙの各画像が抽出される。このうち、Ｉ_ｇ、Ｉ_ｂ、Ｉ_ｙの３つの画像から奥行き情報を算出する場合を考える。図中右上に「Ｇ−Ｂ−Ｙの組み合わせ」として示すように、Ｇフィルタ部５０５の中心をｃ_Ｇ、Ｂフィルタ部５０６の中心をｃ_Ｂ、Ｙフィルタ部５０７の中心をｃ_Ｙとすると、この３つのフィルタ部の重心は図中星印で示されるｇ_ＧＢＹの位置となる。Ｉ_ｇ、Ｉ_ｂ、Ｉ_ｙのみに着目すれば、合焦オブジェクトにおけるＩ_ｇ画像、Ｉ_ｂ画像およびＩ_ｙ画像上の中心位置は、この重心ｇ_ＧＢＹに対応する像点となる。そして、Ｉ_ｇ画像における非合焦オブジェクトの像は、この重心ｇ_ＧＢＹから中心ｃ_Ｇへの距離および方向に応じてずれて観察される。同様に、Ｉ_ｂ画像における非合焦オブジェクトの像は、この重心ｇ_ＧＢＹから中心ｃ_Ｂへの距離および方向に応じてずれて観察され、Ｉ_ｙ画像における非合焦オブジェクトの像は、この重心ｇ_ＧＢＹから中心ｃ_Ｙへの距離および方向に応じてずれて観察される。重心ｇ_ＧＢＹから中心ｃ_Ｇへの距離（＝重心ｇ_ＧＢＹから中心ｃ_Ｂへの距離、＝重心ｇ_ＧＢＹから中心ｃ_Ｙへの距離）をＤ_ＧＢＹとする。

すなわち、抽出されるＩ_ｇ画像、Ｉ_ｂ画像およびＩ_ｙ画像においては、Ｄ_ＧＢＹに対応する撮像素子上の距離を実効的な基線長として、互いのずれ量を定義づけることができる。そして、上述において説明した仮想的な中央の視点として重心ｇ_ＧＢＹに対応する像点を採用すれば、Ｉ_ｇ、Ｉ_ｂ、Ｉ_ｙの各画像に対してリファレンス座標を定義づけることができる。また、構造化開口ユニットはレンズ群２１１の瞳近傍に装着され、各フィルタ部の撮像素子に対する相対的な位置関係は一義的であるので、重心ｇ_ＧＢＹに対応する像点の位置は予め定めることができる。さらに、各オブジェクト距離に対する像のずれ量およびずれの方向は、実験的またはシミュレーション的に既知である。したがって、Ｉ_ｇ、Ｉ_ｂ、Ｉ_ｙの各画像間で上述の局所ウィンドウを適用することにより、ずれ量に対する波長依存量を吸収しつつ、それぞれのオブジェクトの距離を算出することができる。つまり、Ｄ_ＧＢＹに対応する実効的基線長により、それぞれのオブジェクトの距離を算出することができる。

これに続く「Ｒ−Ｇ−Ｂの組み合わせ」、「Ｒ−Ｂ−Ｙの組み合わせ」、「Ｒ−Ｇ−Ｙの組み合わせ」についても同様に、それぞれ、Ｄ_ＲＧＢ、Ｄ_ＲＢＹ、Ｄ_ＲＧＹ、に対応する実効的基線長により、オブジェクトの距離を算出することができる。それぞれＤ_ＧＢＹ、Ｄ_ＲＧＢ、Ｄ_ＲＢＹ、Ｄ_ＲＧＹに対応する実効的基線長は異なるので、一度の撮影動作によって得られる補助撮影画像から抽出されるＩ_ｒ、Ｉ_ｇ、Ｉ_ｂ、Ｉ_ｙの各画像の組み合わせにより、異なる実効的基線長をもって、四度の奥行き情報取得演算を実行することができる。実効的な基線長が異なれば、重心に対応する像点からの像のずれ量も異なって観察されるので、より精度の高い奥行き情報を取得できる。

図１２は、更に他の構造化開口の例と、そのフィルタ部の組み合わせによる基線長の変化を説明する図である。フィルタ６０２は、被写体光束を遮断する遮断フィルタ部６０３、赤色の波長帯を透過させるＲフィルタ部６０４、緑色の波長帯を透過させるＧフィルタ部６０５、青色の波長帯を透過させるＢフィルタ部６０６および黄色の波長帯を透過させるＹフィルタ部６０７から構成される。図示するようにＲフィルタ部６０４、Ｇフィルタ部６０５、Ｂフィルタ部６０６、Ｙフィルタ部６０７は、フィルタ６０２の中心を通る光軸２０１に対して非対称に、光軸２０１から偏心した位置に設けられている。なお、図においては、遮断フィルタ部６０３の塗り潰しを省略している。図示するように、本例は、図１１で示した例に対して各フィルタ部の配列が若干異なる。したがって、具体的な説明は省略する。

以上説明したように、構造化開口の各フィルタ部は、光軸中心に対して非対称に、かつ光軸中心から偏心した位置に設けられている。さらに具体的に言えば、ｎを３以上の整数として、レンズユニット２１０の光軸に交差する平面内に配置されたｎ個のフィルタ部のうち、選択された（ｎ−１）個の組み合わせにおける重心位置からそれぞれのフィルタ部の中心までの距離は、その組み合わせごとに互いに異なるように配置されている。選択される個数は、２つ以上であれば、（ｎ−２）個でも（ｎ−３）個でも良い。

さらには、ｎ個のフィルタ部のうち、（ｎ−１）個の組み合わせと、（ｎ−２）個の組み合わせのように、異なる個数の組み合わせを適用しても良い。例えば、上記の例において、ＲＧＢＹの４つのフィルタ部を備える場合、ＲＧＢの組み合わせと、ＢＹの組み合わせのように、互いの実効的な基線長が異なれば、３つによる組み合わせと２つによる組み合わせを混在させることもできる。つまり、３つ以上のフィルタ部から選択した２つ以上の任意の組み合わせにおいて、重心−フィルタ部中心間の距離が互いに異なれば良い。また、組み合わせによっては、重心−フィルタ部中心間の距離が同じになる場合を含んでいても、他の組み合わせにおいて重心−フィルタ部中心間の距離が互いに異なっていれば良い。

また、上述の実施形態においては図１で示すように、構造化開口をレンズユニット２１０の瞳位置近傍に配設した。しかし、構造化開口の配設位置はレンズユニット２１０の瞳位置近傍に限らない。例えば、光学系を二次結像系とすることにより、構造化開口を、レンズユニットの瞳位置に共役な位置またはその近傍に配設することができる。特に、一眼レフカメラのようにレンズ交換式カメラの場合、カメラユニット側に構造化開口を設ければ、レンズユニットごとに構造化開口を配設しなくても良い。さらには、ＡＦ光学系２３９、ＡＦセンサ２４０等から構成されるＡＦユニットを上記実施形態に係る距離情報取得装置に置き換えて、オートフォーカスについても上述の奥行き推定から実行するように構成することもできる。この場合、本撮影画像を取得する撮像素子２４３とは別に、距離情報算出用の受光素子が設けられることになる。

以上の実施形態においては、一眼レフカメラを例に説明したが、光学ファインダを持たないレンズ交換式カメラ、レンズユニットが一体化されたコンパクトカメラ、動画撮影を行うこともできるビデオカメラといった撮像装置に対しても適用することができる。

また、カラーフィルタを持たず、フォトダイオードの奥行き方向に異なる感応波長帯を有する撮像素子に対しても適用できる。この場合、構造化開口のフィルタ部は、フォトダイオードの奥行き方向で分離される波長帯に応じて透過波長帯が選択される。さらには、単板の撮像素子を備えるカメラに限らず、例えばＲＧＢのそれぞれに分けられた三板式カメラのような、入射する被写体光束を複数の波長帯に分離してそれぞれの波長帯を独立して受光する複数の撮像素子を備えるカメラに対しても適用することができる。

次に、図１等を用いて説明した、構造化開口ユニット３００を適用した一眼レフカメラ２００による撮影シーケンスの例を説明する。図１３は、本撮影画像および補助撮影画像の取得フローを示す図である。撮影シーケンスが開始されると、カメラシステム制御部２４５は、ステップＳ１３０１で、これから行う撮影動作が本撮影画像の撮影動作か、補助撮影画像の撮影動作かを判断する。本撮影画像の撮影動作であると判断したときは、ステップＳ１３０２へ進む。

ステップＳ１３０２でカメラシステム制御部２４５は、ユーザにより構造化開口ユニット３００が被写体光束から抜出されているか否かを判断する。抜出さているか否かは、例えば、フォトインタラプタなどのセンサを設けて判断することができる。

カメラシステム制御部２４５は、構造化開口ユニット３００が抜出されたと判断したらステップＳ１３０３へ進む。抜出されるまではステップＳ１３０２で待機する。

ステップＳ１３０３では、カメラシステム制御部２４５は、レリーズスイッチ２５５のＳＷ１がＯＮにされるのを待って、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像の輝度分布を取得する。カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ１３０４に進み、露出値を算出する。ここで、露出値とは、撮像素子２４３を被写体光束に露光する露光時間、被写体光束を制限する絞り２１４の絞り値、および撮像素子２４３の読み出しゲインに対応するＩＳＯ感度の３つの数値である。

露出値は、カメラメモリに予め記録されたプログラム線図によって決定される。例えば、ユーザにより絞り優先モードに設定されている場合は、カメラシステム制御部２４５は、ユーザが設定した絞り値はそのままにして、露光時間と撮像感度を一定のルールに即して設定されているプログラム線図上の値により決定する。

また、カメラシステム制御部２４５は、ＳＷ１がＯＮにされると、測光処理の他にも合焦動作などの撮影準備処理を実行する。合焦動作は、ＡＦセンサ２４０から取得された位相差情報に基づいて、レンズシステム制御部２１６がフォーカスレンズ２１２を駆動することにより実現される。

撮影準備処理が終了すると、カメラシステム制御部２４５は、ステップＳ１３０５へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、本撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。さらに、フォーカルプレーンシャッタ２４１が開放されている間に撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に予め設定されたフォーマットに従って画像ファイルを生成させ、当該画像ファイルを記録部に記録する。

カメラシステム制御部２４５は、一連の本撮影画像の撮影動作が終了したらステップＳ１３０６へ進み、引き続き補助撮影画像の撮影動作が指示されているか否かを判断する。補助撮影画像の撮影動作が指示されていなければ、一連の処理を終了する。

カメラシステム制御部２４５は、ステップＳ１３０１またはステップＳ１３０６で補助撮影画像の撮影動作が指示されていると判断したら、ステップＳ１３０７へ進み、ユーザにより構造化開口ユニット３００が被写体光束中に装着されているか否かを判断する。カメラシステム制御部２４５は、構造化開口ユニット３００が装着されるまでステップＳ１３０７で待機する。

カメラシステム制御部２４５は、構造化開口ユニット３００が装着されたと判断したらステップＳ１３０８へ進む。補助撮影画像の撮影動作は、被写体光束中に構造化開口を介在させて実行するので、撮像素子２４３に到達する被写体光束の光学的条件が、本撮影画像の撮影動作時とは大きく異なる。簡単には、撮像素子２４３に到達する被写体光束が構造化開口によって制限されるので、本撮影画像の撮影条件と同じ条件では暗い画像が取得されることになる。そこで、カメラシステム制御部２４５は、補助撮影画像の撮影条件を、本撮影画像の撮影条件とは異ならせる。

そこで、本実施形態においては、カメラシステム制御部２４５は、補助撮影画像の撮影動作時にフラッシュ２４９を動作させて被写体を照射する。カメラシステム制御部２４５は、ステップＳ１３０８へ進むと、ＳＷ１がＯＮにされるのを待って、フラッシュ２４９の事前照射動作であるプリ発光を行い、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像のプリ発光時における輝度分布を取得する。

カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ１３０９へ進み、露出値を算出する。このときの露出値はフラッシュ２４９の発光を前提とした値であり、したがって、カメラシステム制御部２４５は、ステップＳ１３１０へ進み、撮影動作時におけるフラッシュ２４９の照射量を決定する。なお、照射量の算出は、ＡＥセンサ２３７から得られる輝度分布情報から行っても良いが、本撮影画像の撮影動作時にもフラッシュ２４９を照射させたのであれば、当該撮影動作時における照射量から、補助撮影画像の撮影動作における照射量を算出しても良い。具体的には、構造化開口を被写体光束中に介在させることによりカットされる光量は事前の実験等により把握されるので、これに応じて低下する露出段数分に相当する光量を本撮影画像の撮影動作時における照射量に足して算出する。

なお、ステップＳ１３０９における露出値の算出は、ステップＳ１３１０のフラッシュ２４９の照射量の決定とセットで実行されるが、露出値のうちＩＳＯ感度については、ステップＳ１３０４で算出されるＩＳＯ感度よりも大きく設定すると良い。すなわち、補助撮影画像における被写体のぶれは、距離情報の算出に悪影響を及ぼし精度の低下を招くので、撮像素子２４３に対する露光時間は短いことが好ましい。そこで、露光時間を短くすべく、ＩＳＯ感度を大きく設定する。補助撮影画像はユーザの鑑賞画像ではないので、距離情報の算出に影響しない限りにおいてＩＳＯ感度が大きく設定されても良い。したがって、カメラシステム制御部２４５が設定し得るＩＳＯ感度の上限は、本撮影画像の撮影動作時の値と補助撮影画像の撮影動作時の値で異なり、補助撮影画像の撮影動作時の値の方が大きい。

このように撮影動作時における露出値と照射量が決定されると、カメラシステム制御部２４５は、ステップＳ１３１１へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、補助撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。このとき、決定された照射量に従ってフラッシュ２４９を動作させ被写体を照射する。さらに、撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に赤色画像、緑色画像および青色画像を含む補助撮影画像ファイルを生成させ、当該画像ファイルを記録部に記録する。以上により一連の処理を終了する。

また、本フローにおいては、補助撮影画像の撮影動作時にフラッシュ２４９を照射させて構造化開口による光量低下を補った。しかし、被写体環境によってはフラッシュ２４９を照射させずに他の撮影条件を変更することにより光量低下を補っても良い。例えば、上述のように、ＩＳＯ感度を大きな値に設定する。または、予め定められた露光時間を下限として、露光時間を長めに設定しても良い。つまり、カメラシステム制御部２４５は、本撮影画像の撮影条件に比較して、補助撮影画像の撮影条件を、被写体光束をより取り込む、取り込んだ光をより増幅する方向に変更すればよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

２００ 一眼レフカメラ、２０１ 光軸、２１０ レンズユニット、２１１ レンズ群、２１２ フォーカスレンズ、２１３ ズームレンズ、２１４ 絞り、２１６ レンズシステム制御部、２１７ レンズ鏡筒、２１８ レンズマウント、２１９ 装着スリット、２２０ 挿抜ガイド、２２１ 絞り駆動回路、２３０ カメラユニット、２３１ カメラマウント、２３２ メインミラー、２３３ 回転軸、２３４ ピント板、２３５ ペンタプリズム、２３６ 接眼光学系、２３７ ＡＥセンサ、２３８ サブミラー、２３９ ＡＦ光学系、２４０ ＡＦセンサ、２４１ フォーカルプレーンシャッタ、２４２ 光学ローパスフィルタ、２４３ 撮像素子、２４４ メイン基板、２４５ カメラシステム制御部、２４６ 画像処理部、２４７ 表示部、２４８ 二次電池、２４９ フラッシュ、２５０ パターン投光部、２５１ 距離情報算出部、２５２ カメラメモリ、２５３ ワークメモリ、２５４ 外部接続ＩＦ、２５５ レリーズスイッチ、３００ 構造化開口ユニット、３０２ フィルタ、３０３ 遮断フィルタ部、３０４ Ｒフィルタ部、３０５ Ｇフィルタ部、３０６ Ｂフィルタ部、３０７ ベース部、３０８ 外周部、３０９ 把持部、５０２ フィルタ、５０３ 遮断フィルタ部、５０４ Ｒフィルタ部、５０５ Ｇフィルタ部、５０６ Ｂフィルタ部、５０７ Ｙフィルタ部、６０２ フィルタ、６０３ 遮断フィルタ部、６０４ Ｒフィルタ部、６０５ Ｇフィルタ部、６０６ Ｂフィルタ部、６０７ Ｙフィルタ部、７０１ Ｂ曲線、７０２ Ｇ曲線、７０３ Ｒ曲線、７１１、７１２、７１３ 矢印

Claims (9)

1. 入射する被写体光束を複数の波長帯に分離して検出する受光素子と、
   前記被写体光束を前記受光素子に導く光学系と、
   前記光学系に配され、少なくとも３つのフィルタ領域を前記光学系の光軸に交差する平面内に有する構造化開口と
   を備え、
   前記少なくとも３つのフィルタ領域は、前記複数の波長帯のうちの一つに含まれる互いに異なる波長帯をそれぞれ透過させ、
   前記少なくとも３つのフィルタ領域のうち選択される少なくとも２つのフィルタ領域の重心位置からそれぞれの中心までの距離は、選択される前記少なくとも２つのフィルタ領域ごとに互いに異なる距離情報取得装置。
2. 前記複数の波長帯は、赤色波長帯、緑色波長帯および青色波長帯であり、前記構造化開口は、前記赤色波長帯、前記緑色波長帯および前記青色波長帯をそれぞれ透過させる３つのフィルタ領域を有する請求項１に記載の距離情報取得装置。
3. 前記複数の波長帯は、赤色波長帯、緑色波長帯、青色波長帯および黄色波長帯であり、前記構造化開口は、前記赤色波長帯、前記緑色波長帯、青色波長帯および黄色波長帯をそれぞれ透過させる４つのフィルタ領域を有する請求項１に記載の距離情報取得装置。
4. 前記少なくとも３つのフィルタ領域がそれぞれ透過させる波長帯域は、対応する前記複数の波長帯のいずれかの波長帯域に対して狭い請求項１から３のいずれか１項に記載の距離情報取得装置。
5. 前記少なくとも３つのフィルタ領域がそれぞれ透過させる波長帯域は、互いに分離された波長帯域である請求項１から４のいずれか１項に記載の距離情報取得装置。
6. 請求項１から５のいずれか１項に記載の距離情報取得装置を含む撮像装置であって、
   前記構造化開口を前記被写体光束に対して挿抜する挿抜機構と、
   前記挿抜機構により前記構造化開口を抜出して実行する本画像撮影および前記挿抜機構により前記構造化開口を挿入して実行する補助画像撮影を制御する撮影制御部と
   を備え、
   前記撮影制御部は、前記本画像撮影と前記補助画像撮影で撮影条件を変更する撮像装置。
7. 前記撮影制御部は、前記構造化開口を挿入することにより低下する光量に基づいて、前記本画像撮影と前記補助画像撮影の露出値を変更する請求項６に記載の撮像装置。
8. 前記補助画像撮影を実行する場合に用いる前記受光素子は、前記本画像撮影を実行する場合に用いる撮像素子とは別に設けられている請求項７に記載の撮像装置。
9. 少なくとも３つのフィルタ領域を平面内に有し、前記少なくとも３つのフィルタ領域のうち選択される少なくとも２つのフィルタ領域の重心位置からそれぞれの中心までの距離が、選択される前記少なくとも２つのフィルタ領域ごとに互いに異なる構造化開口を備える構造化開口ユニット。

Images