JP2012004640A

JP2012004640A - 画像処理装置および画像処理プログラム

Info

Publication number: JP2012004640A
Application number: JP2010135030A
Authority: JP
Inventors: Shinichi Nakajima; 伸一中島
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-06-14
Filing date: 2010-06-14
Publication date: 2012-01-05
Anticipated expiration: 2030-06-14
Also published as: JP5510094B2

Abstract

【課題】観賞用等として撮影された通常の撮影画像と、距離情報を取得するために特殊なマスクを光学系に配して撮影された撮影画像の間には、撮影時にタイムラグがあり、本来距離情報を取得したい観賞用等の撮影画像に対してずれが生じていた。
【解決手段】上記課題を解決するために、画像処理装置は、連続的に撮影された、被写体画像としての本撮影画像と本撮影画像に写る被写体の距離情報を算出するための補助撮影画像を取得する画像取得部と、本撮影画像に写る被写体と、補助撮影画像に写る被写体の間に生じた移動ベクトルを算出するベクトル算出部と、補助撮影画像から、補助撮影画像に写る被写体の距離情報を生成する距離情報生成部と、移動ベクトルに基づいて距離情報を補正する距離情報補正部とを備える。
【選択図】図１４

Description

本発明は、画像処理装置および画像処理プログラムに関する。

レンズ光学系の一部に複雑な開口形状を有するマスクを設けた撮影レンズを介して撮影されたデジタル画像データから、被写体の距離情報を算出して、任意の深さに焦点を合わせた画像データを再構成する技術が知られている（例えば非特許文献１）。

また、それぞれ異なる開口形状を有するマスクを入れ替えて複数枚のデジタル画像を取得することで、距離情報の高精度化を図る技術が知られている（例えば非特許文献２）。
［先行技術文献］
［特許文献］
［非特許文献１］A. Levin, R. Fergus, F. Durand and W. Freeman "Image and Depth from a conventional Camera with a Coded Aperture", SIGGRAPH 2007
［非特許文献２］C. Zhou, S. Lin and S. Nayar "Coded Aperture Pairs for Depth from Defocus", ICCV 2009

上述のように、距離情報を取得するには少なくとも特殊な開口形状を有するマスクである構造化開口を光学系に配置する。したがって、距離情報を取得するために撮影された撮影画像は、観賞用としては質が劣る。一方で、観賞用等として撮影された通常の撮影画像と、距離情報を取得するために撮影された撮影画像の間には、撮影時にタイムラグがあり、本来距離情報を取得したい観賞用等の撮影画像に対してずれが生じていた。

上記課題を解決するために、本発明の第１の態様における画像処理装置は、連続的に撮影された、被写体画像としての本撮影画像と本撮影画像に写る被写体の距離情報を算出するための補助撮影画像を取得する画像取得部と、本撮影画像に写る被写体と、補助撮影画像に写る被写体の間に生じた移動ベクトルを算出するベクトル算出部と、補助撮影画像から、補助撮影画像に写る被写体の距離情報を生成する距離情報生成部と、移動ベクトルに基づいて距離情報を補正する距離情報補正部とを備える。

上記課題を解決するために、本発明の第２の態様における画像処理装置は、連続的に撮影された、被写体画像としての少なくとも２枚の本撮影画像と本撮影画像に写る被写体の距離情報を算出するための補助撮影画像を取得する画像取得部と、少なくとも２枚の本撮影画像に写る被写体の間に生じた移動ベクトルを算出するベクトル算出部と、補助撮影画像から、補助撮影画像に写る被写体の距離情報を生成する距離情報生成部と、移動ベクトル、および、本撮影画像と補助撮影画像の撮影時における時間差に基づいて距離情報を補正する距離情報補正部とを備える。

上記課題を解決するために、本発明の第３の態様における画像処理プログラムは、連続的に撮影された、被写体画像としての本撮影画像と、本撮影画像に写る被写体の距離情報を算出するための補助撮影画像を取得する画像取得ステップと、本撮影画像に写る被写体と、補助撮影画像に写る被写体の間に生じた移動ベクトルを算出するベクトル算出ステップと、補助撮影画像から、補助撮影画像に写る被写体の距離情報を生成する距離情報生成ステップと、移動ベクトルにより距離情報を補正する距離情報補正ステップとをコンピュータに実行させる。

上記課題を解決するために、本発明の第４の態様における画像処理プログラムは、連続的に撮影された、被写体画像としての少なくとも２枚の本撮影画像と本撮影画像に写る被写体の距離情報を算出するための補助撮影画像を取得する画像取得ステップと、少なくとも２枚の本撮影画像に写る被写体の間に生じた移動ベクトルを算出するベクトル算出ステップと、補助撮影画像から、補助撮影画像に写る被写体の距離情報を生成する距離情報生成ステップと、移動ベクトル、および、本撮影画像と補助撮影画像の撮影時における時間差に基づいて距離情報を補正する距離情報補正ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

従来の構造化開口を説明する説明図である。本実施形態に係る一眼レフカメラの要部断面図である。本実施形態に係る構造化開口ユニットの外観図である。構造化開口ユニットをレンズユニットに装着する様子を示す図である。撮像素子の画素上に配置されたカラーフィルタの説明図である。撮像素子の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。一眼レフカメラのシステム構成を概略的に示すブロック図である。補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。他の構造化開口の構成を示す図である。更に他の構造化開口の構成を示す図である。更に他の構造化開口の構成を示す図である。構造化開口の他の配置位置を説明する説明図である。本撮影画像および補助撮影画像の取得フローを示す図である。補助撮影画像から本撮影画像の距離情報を算出する算出処理の説明図である。本撮影画像と補助撮影画像の撮影シーケンスについて説明する図である。本撮影画像と補助撮影画像の他の撮影シーケンスについて説明する図である。本撮影画像と補助撮影画像の他の撮影シーケンスについて説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、従来の構造化開口を説明する説明図である。図１の（ａ）は、複雑な開口形状を有する構造化開口の正面図である。構造化開口は、保持枠１０１にフィルタ１０２が支持されて構成されている。フィルタ１０２は、被写体光束を遮断する遮断フィルタ部１０３と、被写体光束を透過させる透過フィルタ部１０４を有する。図示するように、透過フィルタ部１０４は２次元的に複雑な形状を有しており、これにより、被写体空間において深さ方向に異なる位置から入射する点像を、撮像素子の受光面上で特徴的な形状をもって結像させる。すなわち、このような開口形状を有する構造化開口を撮影レンズの瞳近傍に配置すれば、深さ方向である各距離に応じた点像分布関数（ＰＳＦ）を大きく異ならせることができる。各距離に応じた点像分布関数を大きく異ならせることができれば、被写体画像の各領域における被写体までの距離を精度良く算出することができる。なおここでは、ひとつの開口形状に対応して各距離に応じたＰＳＦが１セット用意される場合の構造化開口を、シングルコーデッドアパーチャと呼ぶ。

シングルコーデッドアパーチャを用いた被写体画像から距離情報を算出する具体的な手法について説明する。被写体画像の距離情報は、被写体画像に写る各々の被写体に対するカメラからの距離を含む。算出によって得られる推定画像は、いわゆる距離画像に類する。

シングルコーデッドアパーチャを介して撮影された撮影画像をｙ、オリジナルの被写体画像をｘ、ＰＳＦをｆ_ｄとすると、結像方程式は式（１）として表される。

するとＰＳＦであるｆｄが既知であれば、撮影画像ｙを利用して式（１）を満たすようなオリジナル被写体画像ｘを推定することができる。

そして、ＰＳＦの構造は、被写体の深さである基準ピント位置からのずれによって変化する。したがって、被写体の深さと、推定に使用するＰＳＦの深さが一致しているときに、最も良好なオリジナル被写体画像を推定できる。推定プロセスは、式（２）で表現することができる。

以上のプロセスを各深さのＰＳＦに対して全て行い、エラーが最小となるＰＳＦを見つけ、そのＰＳＦに対応した深さをマップにすれば距離情報が得られる。

しかし、ステップＳ２の解である、デコンボリュージョンエラーを最小にする推定被写体画像はひとつではないという問題がある。したがって、デコンボリュージョンエラーを最小にする推定被写体画像が、真の被写体と近似する画像とはならない場合がある。また、被写体の深さとＰＳＦの深さが一致していなくとも、そのような特殊解を見つけてデコンボリュージョンエラーを最小にしてしまう場合がある。

このような問題を解決すべく、推定被写体画像に「画像らしさ」を評価する制約項を加える。この場合、式（２）は以下の式（３）のように表現される。

関数ｇ（ｘ）が制約項である。λは制約項の重み係数である。例えば、一般的に画像は滑らかな構図を持つので、その微分値はゼロに近い。したがって、制約項に画像の微分値を示す関数を設定することにより、デコンボリュージョンエラーを最小にし、かつその微分値も小さいという「画像らしさ」を有するオリジナル被写体画像のみが推定され、深さを精度良く推定することができる。微分値を示す関数の例としては、式（４）が挙げられる。

以上の処理手順により深さ測定を行うことができる。

図１の（ｂ−１）は、楕円形の開口形状を有する構造化開口の正面図である。構造化開口は、保持枠１１１にフィルタ１１２が支持されて構成されている。フィルタ１１２は、被写体光束を遮断する遮断フィルタ部１１３と、被写体光束を透過させる透過フィルタ部１１４を有する。保持枠１１１は円形枠であり、その中心は撮影レンズの光軸と一致するが、円形を成す透過フィルタ部１１４は、光軸に対して偏心している。

このように単純な円形開口を持つ構造化開口では、深さの変化に対するＰＳＦの変化が小さいので、シングルコーデッドアパーチャとして深さを算出すると推定誤差が大きくなる。図１の（ａ）では、複雑な開口形状とすることにより推定誤差の低減を図ったが、ここでは、（ｂ−１）の状態で第１の撮影画像を取得し、（ｂ−１）の構造化開口を反転させた（ｂ−２）の状態で第２の撮影画像を取得することにより、推定誤差の低減を図る。つまり、（ｂ−１）の開口形状に対応して各距離に応じたＰＳＦを１セットと、（ｂ−２）の開口形状に対応して各距離に応じたＰＳＦを１セット用意する。このような場合の構造化開口を、コーデッドアパーチャペアと呼ぶ。

コーデッドアパーチャペアを用いた被写体画像から距離情報を算出する具体的な手法について、説明する。コーデッドアパーチャペアの場合、開口形状が単純であるので、シングルコーデッドアパーチャにおける処理を空間周波数領域において展開することができる。

異なる２つの開口によりそれぞれ撮影された第１画像と第２画像のフーリエ変換をＦ_１、Ｆ_２、各深さｄについて取得したＰＳＦのフーリエ変換をＫ_１ ^ｄ、Ｋ_２ ^ｄ、オリジナル被写体画像ｘのフーリエ変換をＦ_０とすると、結像方程式は式（５）として表される。

式（５）によれば、式（１）と比較して、畳み込み積分が単純な掛け算となることがわかる。このとき、式（３）に対応するデコンボリュージョンエラーを記述すると式（６）のようになる。

深さマップの構築プロセスは以下の処理による。

この手法では、シングルコーデッドアパーチャの場合とは異なり、推定プロセスを繰り返す必要がなく、かつ単純な計算式によって導き出されるので、計算速度が非常に速い。なお、シングルコーデッドアパーチャにおいてこのような手法を適用できない理由は、シングルコーデッドアパーチャのＰＳＦは非常に複雑な形状をしているので、そのフーリエ変換もエラーが大きいからである。

以上の従来の手法においては、それぞれに問題点を抱えている。シングルコーデッドアパーチャの場合、コーデッドアパーチャペアに比べて計算速度が非常に遅く、また、複雑な開口形状を通過した被写体画像は特定の周波数成分が抜け落ちるという問題があった。一方、コーデッドアパーチャペアの場合、同一被写体に対して開口位置を変えて少なくとも二枚の撮影画像を取得するので、画像間に被写体のずれが生じる。画像間で被写体がずれると、被写体領域ごとの深さを正確に推定することができない。画像間で被写体にずれを生じさせないためには、カメラを三脚に固定すること、被写体が動かないことなどの制約が課され、広範な被写体に対応できなくなる。

そこで、本実施形態においては、このような問題に対処すべく、コーデッドアパーチャペアに改良を加えて一眼レフカメラに適用する。以下に本実施形態について説明する。

図２は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。

レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。また、光軸２０１に沿って、絞り２１４および構造化開口ユニット３００も配列される。構造化開口ユニット３００は、被写体光束に対して挿抜することができる。構造化開口ユニット３００が被写体光束に対して挿入されると、構造化開口は、光軸２０１に交差して配設される。アクチュエータ２１５は、構造化開口ユニット３００が被写体光束に対して挿入されたときに構造化開口を回転させる。

レンズユニット２１０は、フォーカスレンズ２１２、絞り２１４およびアクチュエータ２１５の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。

また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。

カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。

ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。

斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。

斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの光電変換素子であり、受光面で結像した被写体像を電気信号に変換する。

撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。

カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。

また、ペンタプリズム２３５の近傍には使用状態と収納状態を取り得るフラッシュ２４９を備えており、使用状態においてカメラシステム制御部２４５の制御により被写体を照射する。フラッシュ２４９の近傍には、被写体を照射するパターン投光部２５０を備えており、被写体に対して幾何的模様等であるパターンを投光する。

図３は、本実施形態に係る構造化開口ユニット３００の外観図である。図３（ａ）は光軸２０１方向から見た正面図であり、図３（ｂ）は側面図である。

構造化開口ユニット３００は、保持枠３０１、フィルタ３０２、ベース部３０７、外周部３０８および把持部３０９を主な構成要素とする。保持枠３０１は、中心部分が中空の円筒形を成し、フィルタ３０２は、保持枠３０１の中空部分に張設されて固定されている。保持枠３０１の外周部にはギア３０６が全周にわたって設けられている。保持枠３０１は、ベース部３０７に回転機構を介して連結され、図示する矢印方向へ回転自在に支持されている。ベース部３０７は、保持枠３０１の中空部分と同様に、被写体光束範囲に中空部分を有する。したがって、保持枠３０１にフィルタ３０２が張設されていなければ、構造化開口ユニット３００をレンズユニット２１０へ装着しても、被写体光束に何ら影響を与えない。

ベース部３０７の端部には外周部３０８と把持部３０９が一体的に形成されている。ユーザは、把持部３０９を掴んで構造化開口ユニット３００をレンズユニット２１０に対して挿抜する。

フィルタ３０２は、被写体光束を遮断する遮断フィルタ部３０３、赤色の波長帯を透過させるＲフィルタ部３０４および青色の波長帯を透過させるＢフィルタ部３０５から構成される。図示するようにＲフィルタ部３０４とＢフィルタ部３０５は、フィルタ３０２の中心を通る光軸２０１に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられている。別言すれば、遮断フィルタ部３０３の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられた２つの開口に、赤色の波長帯を透過させるＲフィルタ部３０４と青色の波長帯を透過させるＢフィルタ部３０５が形成されている。

フィルタ３０２を固定する保持枠３０１は、上述のように矢印方向へ回転するので、Ｒフィルタ部３０４とＢフィルタ部３０５の光軸２０１に対する相対的な位置関係は、保持枠３０１の回転に伴って変化する。例えば、保持枠３０１が１８０度回転されると、図示するＲフィルタ部３０４とＢフィルタ部３０５の位置関係が逆転して、左側にＲフィルタ部３０４が、右側にＢフィルタ部３０５が配置されることになる。つまり、構造化開口ユニット３００は、光軸２０１を中心に回転させてＲフィルタ部３０４とＢフィルタ部３０５の位置関係を変更させる自転機構を備える。

図４は、構造化開口ユニット３００をレンズユニット２１０に装着する様子を示す図である。図４（ａ）は、構造化開口ユニット３００をレンズユニット２１０に挿し込む直前の様子を示し、図４（ｂ）は、装着された様子を示す。

ユーザは、把持部３０９を把持して、構造化開口ユニット３００をレンズ鏡筒２１７に設けられた装着スリット２１９へ挿し込む。すると、構造化開口ユニット３００は、ベース部３０７の側面がレンズ鏡筒２１７の内部に設けられた挿抜ガイド２２０に案内されて、フィルタ３０２の中心が光軸２０１と一致する位置に到達する。フィルタ３０２の中心が光軸２０１と一致する位置に到達すると、外周部３０８が装着スリット２１９に嵌合し、外周部３０８の外面がレンズ鏡筒２１７の外観面と一致する。同時に、ギア３０６は、アクチュエータ２１５の駆動ギアと噛合する。このように、構造化開口ユニット３００がレンズユニット２１０と一体化されると、レンズシステム制御部２１６は、アクチュエータ２１５により保持枠３０１を回転させることができ、光軸２０１周りにＲフィルタ部３０４とＢフィルタ部３０５の位置関係を変更することができる。

図５は、撮像素子２４３の画素上に配置されたカラーフィルタの説明図である。本実施例におけるカラーフィルタの配列は、いわゆるベイヤー配列であり、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタが設けられている。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。例えば、Ｒ画素フィルタが設けられた画素は、赤色の波長帯に対して感度を持つ。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢの３つの波長帯に分離して光電変換する。

図６は、撮像素子２４３の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。

Ｂ曲線６０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線６０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線６０３はＲ画素フィルタが設けられた画素の感度を示す。図示されるように、隣り合う波長帯であるＢ曲線６０１とＧ曲線６０２、および、Ｇ曲線６０２とＲ曲線６０３は若干の重なり部分を有しており、一方、互いに離れた波長帯であるＢ曲線６０１とＲ曲線６０３は互いに交わることが無い。すなわち、Ｂ画素フィルタが設けられた画素は、青色波長帯と共に若干の緑色波長帯にも感度を有するが、赤色波長帯には感度を有さない。同様に、Ｒ画素フィルタが設けられた画素は、赤色波長帯と共に若干の緑色波長帯にも感度を有するが、青色波長帯には感度を有さない。一方、Ｇ画素フィルタが設けられた画素は、緑色波長帯と共に若干の赤色波長帯にも青色波長帯にも感度を有する。

構造化開口のＢフィルタ部３０５は、矢印６１１の波長帯を透過させる。同様に、Ｒフィルタ部３０４は、矢印６１３の波長帯を透過させる。したがって、Ｂ画素フィルタが設けられた画素は、構造化開口のＢフィルタ部３０５を透過した被写体光束に対して感度を持ち、Ｒ画素フィルタが設けられた画素は、構造化開口のＲフィルタ部３０４を透過した被写体光束に対して感度を持つと言える。上述のように、Ｂ画素フィルタが設けられた画素は赤色波長帯には感度を有さず、Ｒ画素フィルタが設けられた画素は青色波長帯には感度を有さない。したがって、別言すれば、Ｂ画素フィルタが設けられた画素は、構造化開口のＲフィルタ部３０４を透過した被写体光束に対して感応せず、Ｒ画素フィルタが設けられた画素は、構造化開口のＢフィルタ部３０５を透過した被写体光束に対して感応しない。

すると、Ｒフィルタ部３０４を開口とする赤色波長帯の被写体画像と、Ｂフィルタ部３０５を開口とする青色波長帯の被写体画像を、一度の撮影により取得することができる。すなわち、波長帯分離を利用することにより、図１（ｂ−１）と（ｂ−２）を用いて説明したコーデッドアパーチャペアにおける二度の撮影動作を、一度の撮影動作で済ますことができる。それぞれの開口位置および透過波長帯に対応した各深さのＰＳＦを予め用意しておけば、図１を用いて説明したコーデッドアパーチャペアによる距離算出の手法をこれらの画像に適用することができる。一度の撮影により異なる２つの開口を通過する被写体画像をそれぞれ取得することができるので、画像間に生じる被写体の動き、撮影者の手振れの影響を受けることが無く、距離情報を精度良く算出することができる。

なお、このように撮影される赤色波長帯の被写体画像と青色波長帯の被写体画像は、それぞれＲ画素フィルタが設けられた画素の出力のみ、または、Ｂ画素フィルタが設けられた画素の出力のみを集めて互いに分離されるので、通常の撮影における画像処理とは異なる画像処理により形成される。したがって、ここでは通常の撮影により取得される撮影画像を本撮影画像と呼び、構造化開口を用いて取得される撮影画像を補助撮影画像と呼ぶ。本撮影画像は構造化開口ユニット３００をレンズユニット２１０から抜出して撮影された画像であり、補助撮影画像は構造化開口ユニット３００をレンズユニット２１０へ装着して撮影された画像である。

このように、撮像素子２４３が入射する被写体光束を複数の波長帯に分離して検出する性質を利用して補助撮影画像を取得すると、次に、被写体の色依存が問題となる。すなわち、上述の構造化開口の場合、Ｒフィルタ部３０４を開口とする赤色波長帯の被写体画像は、Ｒフィルタ部３０４が透過する色成分を持つ被写体のみが像として現れ、遮断する色成分しか持たない被写体は像として現れない。同じく、Ｂフィルタ部３０５を開口とする青色波長帯の被写体画像は、Ｂフィルタ部３０５が透過する色成分を持つ被写体のみが像として現れ、遮断する色成分しか持たない被写体は像として現れない。このような被写体に対しては、精度の良い距離情報を算出することができない。

そこで、一度の撮影により取得できる距離情報を更に精度を高めたいときには、Ｒフィルタ部３０４とＢフィルタ部３０５を反転させてもう一度補助撮影画像を取得する。つまり、アクチュエータ２１５を駆動して保持枠３０１を１８０度回転させて、同一被写体に対して再度撮影を行う。このとき、反転されたそれぞれのフィルタ部に対応した各深さのＰＳＦを予め用意しておけば、同様にコーデッドアパーチャペアの手法を適用することができる。このように補助撮影画像を二度取得すると、一度目の撮影において一方の開口位置から得られた被写体画像に像が現れない領域が存在しても、二度目の撮影においては同一の開口位置から得られる被写体画像の当該領域に像が現れることが期待できる。したがって、距離情報の精度を高めることができる。

次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図７は、一眼レフカメラ２００のシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。

カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換された撮像信号を画像データに処理する。本撮影画像において処理された画像データは、表示部２４７へ送られて、例えば撮影後の一定時間の間表示される。これに並行して、処理された画像データは、所定の画像フォーマットに加工され、外部接続ＩＦ２５４を介して外部メモリに記録される。画像処理部２４６は、補助撮影画像として撮影された撮像信号から、波長帯ごとに分離された被写体画像を生成する。生成された被写体画像は距離情報算出部２５１へ引き渡され、距離情報算出部２５１は、上述の手法により距離情報を算出する。算出された距離情報は、カメラメモリ２５２へ記録される。

カメラメモリ２５２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された撮影画像の一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２５３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。

レリーズスイッチ２５５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ３９から位相差情報を取得する。そして、レンズシステム制御部２１６へフォーカスレンズ２１２の駆動情報を送信する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、予め定められた処理フローに従って本撮影画像の取得、または、補助撮影画像の取得を実行する。本撮影画像の取得と補助撮影画像の取得についての処理フローについては後述する。

フラッシュ２４９は、カメラシステム制御部２４５の制御に従って被写体を照射する。また、同様にパターン投光部２５０は、カメラシステム制御部２４５の制御に従って投光パターンを被写体に投光する。

レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。レンズメモリ２２１は、レンズユニット２１０に固有であるＰＳＦを保管している。距離情報算出部２５１は、カメラシステム制御部２４５およびレンズシステム制御部２１６を介して、レンズメモリ２２１からＰＳＦを取得する。また、構造化開口駆動部２２２は、レンズシステム制御部２１６の指示に従ってアクチュエータ２１５を駆動する。

図８は、補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。本フローにおける一連の処理は、カメラシステム制御部２４５が操作部材を介してユーザから指示を受け付けたとき、または、予め定められた制御プログラムに距離算出処理が組み込まれているとき等に開始される。

ステップＳ８０１では、画像処理部２４６が処理対象となる補助撮影画像を取得する。画像処理部２４６は、処理対象の補助撮影画像として、撮像素子２４３から出力された画像信号をそのまま取得しても良いし、撮影後に距離情報を算出しないまま記録部に記録されている補助撮影画像を読み出して取得しても良い。したがって、本実施形態においてはカメラユニット２３０を画像処理装置として距離情報の算出を実行するが、距離情報の算出は、カメラとは別個の独立した画像処理装置で実行することもできる。例えば、ＰＣを例にすれば、カメラとの間に記録媒体を介在させ、記録媒体に記録された補助撮影画像を読み出して処理することもできるし、有線、無線によりカメラと接続した状態を確立すれば、補助撮影画像の撮影と連動して処理することもできる。

画像処理部２４６は、ステップＳ８０２で、補助撮影画像から、Ｒフィルタ部３０４を通過して形成された赤色画像、すなわち、Ｒ画素フィルタが設けられた画素の出力から形成される画像を抽出する。同様に、Ｂフィルタ部３０５を通過して形成された青色画像を抽出する。画像処理部２４６は、このように波長帯別画像を抽出すると、これらの画像を距離情報算出部２５１へ引き渡す。

距離情報算出部２５１は、波長帯別画像を受け取ると、ステップＳ８０３で、レンズメモリ２２１に保管されているレンズユニット２１０のＰＳＦを取得する。なお、距離情報の算出処理が補助撮影画像の撮影動作と連続しない場合には、レンズユニット２１０が他のレンズユニット２１０に交換されている場合もあるので、距離情報算出部２５１は、他の保管場所からＰＳＦを取得するように構成しても良い。

例えば、補助画像データは、撮影処理時にレンズメモリ２２１に記録されているＰＳＦをＥＸＩＦ情報などの付帯情報として取り込むこともできるし、カメラメモリ２５２は、レンズユニット２１０が装着されるタイミングでレンズメモリ２２１からＰＳＦを取り込むこともできる。したがって、距離情報算出部２５１は、補助撮影画像の付帯情報、カメラメモリ２５２などからＰＳＦを取得することもできる。なお、距離情報算出部２５１は、補助撮影画像の付帯情報として記録されているレンズユニット情報と開口位置情報から、カメラメモリ２５２などの記録部に記録されているＰＳＦから使用すべきＰＳＦを特定することもできる。このような場合は、補助撮影画像の撮影時に用いられたレンズユニットの情報を取得するステップと、当該レンズユニットに対応するそれぞれのＰＳＦを取得するステップとを分けて処理すると良い。

距離情報算出部２５１は、このように取得した波長帯別画像とこれに対応したＰＳＦを用いて、ステップＳ８０４で、距離情報を算出する。距離情報は、上述のようにコーデッドアパーチャペアの手法を用いて算出される。なお、算出された距離情報は、距離画像データとして別途独立したファイルを生成しても良いし、補助撮影画像に付帯して記録しても良い。別途独立したファイルを生成する場合には、補助撮影画像に対してリンク情報を記録する。算出された距離情報は、例えば、同一距離と判断された被写体が存在する画素領域情報と当該距離をセットとして、距離ごとに複数セット分リスト化されたテーブル形式のデータ構造を有する。算出できる距離の分解能は、ＰＳＦがどれだけの距離ピッチごとに用意されているかに依存するので、高い分解能を得たい場合には、細かい距離ピッチで刻んだＰＳＦを予め用意すれば良い。以上により一連の処理フローを終了する。

構造化開口を回転させて二度の補助撮影画像を行った場合には、それぞれの補助撮影画像に対して上述のフローを繰り返す。ただし、一枚目の補助撮影画像を用いて算出した結果、距離情報が抜け落ちた領域が無ければ、二枚目の補助撮影画像の処理を実行することなくそのまま終了しても良い。なお、二枚目の補助撮影画像の処理により、一枚目の補助撮影画像の処理で距離情報が抜け落ちた領域を修正するのみならず、互いに算出された距離情報を比較することによりエラーチェックを行うこともできる。

以上の説明においては、構造化開口としてＲフィルタ部３０４とＢフィルタ部３０５の２つの開口を有する構造化開口ユニット３００を例に説明したが、構造化開口には他にもさまざまバリエーションが存在する。その例を以下に説明する。

図９は、他の構造化開口４００の構成を示す図である。図３のフィルタ３０２がＲフィルタ部３０４およびＢフィルタ部３０５の２つのフィルタ部を有するのに対して、構造化開口４００のフィルタ４０２は、Ｒフィルタ部４０４およびＢフィルタ部４０５に加え、緑色の波長帯を透過させるＧフィルタ部４０６を有する。

具体的な構造として、保持枠４０１は、中心部分が中空の円筒形を成し、フィルタ４０２は、保持枠４０１の中空部分に張設されて固定されている。保持枠４０１の外周部にはギア４０７が全周にわたって設けられている。したがって、保持枠３０１に代えて保持枠４０１を構造化開口ユニット３００に適用すれば、上述の使用形態と同様の使用形態を実現させることができる。

図示するように、Ｒフィルタ部４０４、Ｇフィルタ部４０６およびＢフィルタ部４０５は、フィルタ４０２の中心を通る光軸２０１に対して、それぞれ偏心した位置であって互いに１２０度の間隔を成す対称位置に設けられている。別言すれば、遮断フィルタ部４０３の中心に対して、それぞれ偏心した位置であって互いに１２０度の間隔を成す対称位置に設けられた３つの開口に、赤色の波長帯を透過させるＲフィルタ部４０４、緑色の波長帯を透過させるＧフィルタ部４０６および青色の波長帯を透過させるＢフィルタ部４０５が形成されている。

Ｇフィルタ部４０６を加えることにより、撮像素子２４３におけるＧ画素フィルタが設けられた画素の出力である緑色画像を補助撮影画像として利用することができる。このように構造化開口を設定すれば、撮像素子２４３が分離する波長帯を余すことなく利用でき、距離情報の精度向上に寄与する。具体的には、それぞれの開口位置および透過波長帯に対応した各深さのＰＳＦを予め用意しておけば、図１を用いて説明したコーデッドアパーチャペアによる距離算出の手法をこれらの画像に適用することができる。ただし、各計算式において、ｉ＝１、２、３とする。さらに、自転機構を利用して各フィルタ部の相対的な位置関係を変更して補助撮影画像を取得すれば、より精度の高い距離情報を算出することができる。

なお、上述のように、Ｇ画素フィルタが設けられた画素は、緑色波長帯と共に若干の赤色波長帯にも青色波長帯にも感度を有するので、緑色画像は、Ｒフィルタ部４０４およびＢフィルタ部４０５を通過した被写体光束の影響を受けている。したがって、緑色画像は純粋にＧフィルタ部４０６の開口を通過した被写体光束による画像とは言えないので、距離情報を算出する処理においては、緑色画像を補助的に利用することが好ましい。この意味において、開口を２つに設定する場合には、互いの被写体光束の影響を受けにくいように、撮像素子が分離する複数の波長帯において互いに最も離れた波長帯に対応するフィルタをそれぞれ用いることが好ましいと言える。

また、補助撮影画像から、赤色画像、緑色画像および青色画像が抽出できれば、被写体画像としてカラー画像を形成できる。したがって、構造化開口を介しながらも一定画質の視認用画像を取得することができる。

図１０は、更に他の構造化開口５００の構成を示す図である。図３を用いて説明した構造化開口ユニット３００は、自転機構を利用してＲフィルタ部３０４とＢフィルタ部３０５の相対位置を反転させた。また、本撮影画像を撮影するときは構造化開口ユニット３００をレンズユニット２１０から抜出し、補助撮影画像を撮影するときは構造化開口ユニット３００をレンズユニット２１０へ装着した。これに対し、構造化開口５００は、公転機構を利用してＲフィルタ部とＢフィルタ部の相対位置を反転させ、本撮影画像を撮影するときもレンズユニット２１０から抜出することを要しない。

レンズ鏡筒５１７は、少なくとも構造化開口５００を内包する部位において断面が広く設定されている。なお、図４を用いて説明したレンズ鏡筒２１７に相当する外形は、点線５１１に相当する。構造化開口５００は、３つの開口を有する保持枠５０１と、そのうちの２つの開口に張設されたフィルタ５２２，５３２を主な構成要素とする。保持枠５０１の中心には回転軸５１０が設けられており、保持枠５０１はレンズ鏡筒５１７に対して回転自在に軸支されている。保持枠５０１は全体として円形を成し、その外周部分には全集にわたって内向きにギア５０６が設けられている。ギア５０６は、レンズ鏡筒５１７内に支持されたアクチュエータ５１５と直接またはギアトレインを介して連結されており、保持枠５０１は、アクチュエータ５１５の駆動により回転軸５１０回りに回転する。

保持枠５０１は、回転軸５１０を中心として互いに１２０度の間隔を成す対称位置に、被写体光束と略同じ大きさ開口を３つ備えている。そのうちの一つにフィルタ５２２が、他の一つにフィルタ５３２が張設され、残り一つは被写体光束の全部を通過させる全開口５４２である。そして、レンズシステム制御部２１６は、アクチュエータ５１５の駆動により、フィルタ５２２、５３２および全開口５４２のうちのいずれか一つを、光軸２０１を中心とする被写体光束中に配設することができる。つまり、被写体光束にフィルタ５２２、５３２および全開口５４２のいずれかを挿抜することができる。

フィルタ５２２は、フィルタ３０２と同様に、被写体光束を遮断する遮断フィルタ部５２３、赤色の波長帯を透過させるＲフィルタ部５２４および青色の波長帯を透過させるＢフィルタ部５２５から構成される。赤色の波長帯を透過させるＲフィルタ部５２４と青色の波長帯を透過させるＢフィルタ部５２５は、遮断フィルタ部５２３の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられたペアとなる２つの開口にそれぞれ形成されている。

同様に、フィルタ５３２も、被写体光束を遮断する遮断フィルタ部５３３、赤色の波長帯を透過させるＲフィルタ部５３４および青色の波長帯を透過させるＢフィルタ部５３５から構成される。赤色の波長帯を透過させるＲフィルタ部５３４と青色の波長帯を透過させるＢフィルタ部５３５は、遮断フィルタ部５３３の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられたペアとなる２つの開口にそれぞれ形成されている。

そして、フィルタ５２２の開口のペアとフィルタ５３２の開口のペアは、保持枠５０１が１２０度回転されたときに一致するように配置されている。また、Ｒフィルタ部５２４とＢフィルタ部５２５の相対位置関係は、Ｒフィルタ部５３４とＢフィルタ部５３５の相対位置関係と逆転して形成されている。したがって、被写体光束にフィルタ５２２を配設したときとフィルタ５３２を配設したときで、ちょうどＲフィルタ部とＢフィルタ部の関係が入れ替わった状態を実現する。

なお、保持枠５０１のうち、３つの開口を形成するプレート部分は非透過部材で形成することが好ましい。さらには、植毛紙等の遮光部材で表面を処理することが好ましい。このような対策により、鏡筒内の迷光を遮断することが期待できる。

以上のように構造化開口５００を構成すれば、ユーザによる構造化開口ユニットの挿抜動作を省くことができる。すなわち、レンズシステム制御部２１６がアクチュエータ５１５を駆動して自動的に、本撮影画像を撮影するときには全開口５４２を被写体光束に配置させ、補助撮影画像を撮影するときにはフィルタ５２２，５３２を被写体光束に配置させることができる。なお、保持枠５０１にフィルタを張設する開口をさらに追加して、構造化開口４００の３つのフィルタ部が順次相対的な位置関係を変えながら被写体光束に挿抜されるように構成しても良い。

図１１は、更に他の構造化開口７００の構成を示す図である。これまでに説明した構造化開口は、遮断フィルタ部に設けられた開口にＲフィルタ部、Ｇフィルタ部、Ｂフィルタ部のいずれかを配して構成されていた。このような構成は、撮像素子２４３を構成する画素に設けられた画素フィルタのいずれかの波長帯に一致させることを目的としている。これに対し、構造化開口７００のフィルタ構成は、フィルタ３０２と補色の関係にある。

保持枠７０１は、中心部分が中空の円筒形を成し、フィルタ７０２は、保持枠７０１の中空部分に張設されて固定されている。保持枠７０１の外周部にはギア７０６が全周にわたって設けられている。したがって、保持枠３０１に代えて保持枠７０１を構造化開口ユニット３００に適用すれば、構造化開口ユニット３００の使用形態と同様の使用形態を実現させることができる。

フィルタ７０２は、被写体光束を透過する透過フィルタ部７０３、シアンの波長帯を透過させるＣフィルタ部７０４およびイエローの波長帯を透過させるＹフィルタ部７０５から構成される。図示するようにＣフィルタ部７０４とＹフィルタ部７０５は、フィルタ７０２の中心を通る光軸２０１に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられている。別言すれば、透過フィルタ部７０３の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられた２つの開口に、シアンの波長帯を透過させるＣフィルタ部７０４とイエローの波長帯を透過させるＹフィルタ部７０５が形成されている。

シアンは赤色の補色であり、Ｃフィルタ部７０４は、被写体光束のうち赤色の波長帯を遮断するが青色と緑色の波長帯を通過させる。イエローは青色の補色であり、Ｙフィルタ部７０５は、被写体光束のうち青色の波長帯を遮断するが赤色と緑色の波長帯を通過させる。したがって、Ｒ画素フィルタが設けられた画素の出力を集めて生成される赤色画像は、Ｃフィルタ部７０４に入射する赤色の被写体光束が遮断された被写体画像であり、Ｃフィルタ部７０４の偏心位置に基づいた偏りを持った被写体画像である。同様に、Ｂ画素フィルタが設けられた画素の出力を集めて生成される青色画像は、Ｙフィルタ部７０５に入射する青色の被写体光束が遮断された被写体画像であり、Ｙフィルタ部７０５の偏心位置に基づいた偏りを持った被写体画像である。

したがって、それぞれの開口位置および遮断波長帯に対応した各深さのＰＳＦを予め用意しておけば、図１を用いて説明したコーデッドアパーチャペアによる距離算出の手法をこれらの画像に適用することができる。一度の撮影により異なる２つの開口を通過する被写体画像をそれぞれ取得することができることは構造化開口ユニット３００と同様であり、画像間に生じる被写体の動き、撮影者の手振れの影響を受けることが無く、距離情報を精度良く算出することができる。

また、緑色の波長帯は、フィルタ７０２のいずれの部分によっても遮断されないので、Ｇ画素フィルタが設けられた画素の出力は、本撮影画像の撮影における出力とほぼ同様である。したがって、赤色画像と青色画像と共に緑色画像も取得できるので、被写体画像としてカラー画像を形成できる。これにより、構造化開口を介しながらも一定画質の視認用画像を取得することができる。なお、緑色の補色であるマゼンタの波長帯を透過させるＭフィルタ部も含めれば、構造化開口４００、５００の形態にもこのような補色関係にあるフィルタ部を適用することができる。

次に、構造化開口を配設する位置について説明する。上述の実施形態においては図２で示すように、構造化開口をレンズユニット２１０の瞳位置またはその近傍に配設した。しかし、構造化開口の配設位置はレンズユニット２１０の瞳位置近傍に限らない。図１２は、構造化開口の他の配設位置を説明する説明図である。

一眼レフカメラ８００は、レンズユニット８１０とカメラユニット８３０とから構成される。レンズユニット８１０の瞳位置８０１を通過した被写体光束は一次結像面８３１に結像する。一次結像面８３１で一旦結像した被写体光束は、さらに光学系を介して撮像素子８４３の受光面である二次結像面に結像する。構造化開口８０２は、一次結像面８３１と二次結像面である撮像素子８４３の受光面の間に位置する、瞳位置８０１と共役な位置に配設される。すなわち、構造化開口は、レンズユニットの瞳位置またはその近傍に限らず、これに共役な位置またはその近傍に配設しても良い。特に、一眼レフカメラのようにレンズ交換式カメラの場合、カメラユニット側に構造化開口を設ければ、レンズユニットごとに構造化開口を配設しなくても良い。

以上の実施形態においては、一眼レフカメラを例に説明したが、光学ファインダを持たないレンズ交換式カメラ、レンズユニットが一体化されたコンパクトカメラ、動画撮影を行うこともできるビデオカメラといった撮像装置に対しても適用することができる。

また、以上の実施形態においては、撮像素子としてベイヤー配列のカラーフィルタを有する単板式撮像素子を例に説明したが、他のカラーフィルタ配列であっても良く、さらには、ＲＧＢに限らず他の波長帯を透過させるフィルタが配列されていても良い。この場合、構造化開口のフィルタ部は、撮像素子のカラーフィルタの波長帯に応じて透過および遮断波長帯が選択される。また、カラーフィルタを持たず、フォトダイオードの奥行き方向に異なる感応波長帯を有する撮像素子に対しても適用できる。この場合、構造化開口のフィルタ部は、フォトダイオードの奥行き方向で分離される波長帯に応じて透過および遮断波長帯が選択される。さらには、単板の撮像素子を備えるカメラに限らず、例えばＲＧＢのそれぞれに分けられた三板式カメラのような、入射する被写体光束を複数の波長帯に分離してそれぞれの波長帯を独立して受光する複数の撮像素子を備えるカメラに対しても適用することができる。

次に、図２等を用いて説明した、構造化開口ユニット３００を適用した一眼レフカメラ２００による撮影シーケンスの例を説明する。ただし、バリエーションとして説明した他の構成の構造化開口、構造化開口の配設位置、撮像素子の種類、数等についても、適宜組み合わせて適用し得る。

図１３は、本撮影画像および補助撮影画像の取得フローを示す図である。撮影シーケンスが開始されると、カメラシステム制御部２４５は、ステップＳ１３０１で、これから行う撮影動作が本撮影画像の撮影動作か、補助撮影画像の撮影動作かを判断する。本撮影画像の撮影動作であると判断したときは、ステップＳ１３０２へ進む。

ステップＳ１３０２でカメラシステム制御部２４５は、ユーザにより構造化開口ユニット３００が被写体光束から抜出されているか否かを判断する。抜出さているか否かは、例えば、アクチュエータ２１５を回転させたときに検出される負荷の大小により判断できる。または、フォトインタラプタなどのセンサを設けて判断しても良い。なお、図１０を用いて説明した構造化開口５００のような公転機構を採用する場合は、ステップＳ１３０２の判断処理に代えて、アクチュエータ５１５により全開口５４２を被写体光束に挿入する動作処理を実行する。

カメラシステム制御部２４５は、構造化開口ユニット３００が抜出されたと判断したらステップＳ１３０３へ進む。抜出されるまではステップＳ１３０２で待機する。

ステップＳ１３０３では、カメラシステム制御部２４５は、レリーズスイッチ２５５のＳＷ１がＯＮにされるのを待って、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像の輝度分布を取得する。カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ１３０４に進み、露出値を算出する。ここで、露出値とは、撮像素子２４３を被写体光束に露光する露光時間、被写体光束を制限する絞り２１４の絞り値、および撮像素子２４３の読み出しゲインに対応するＩＳＯ感度の３つの数値である。

露出値は、カメラメモリに予め記録されたプログラム線図によって決定される。例えば、ユーザにより絞り優先モードに設定されている場合は、カメラシステム制御部２４５は、ユーザが設定した絞り値はそのままにして、露光時間と撮像感度を一定のルールに即して設定されているプログラム線図上の値により決定する。

また、カメラシステム制御部２４５は、ＳＷ１がＯＮにされると、測光処理の他にも合焦動作などの撮影準備処理を実行する。合焦動作は、ＡＦセンサ２４０から取得された位相差情報に基づいて、レンズシステム制御部２１６がフォーカスレンズ２１２を駆動することにより実現される。

撮影準備処理が終了すると、カメラシステム制御部２４５は、ステップＳ１３０５へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、本撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。さらに、フォーカルプレーンシャッタ２４１が開放されている間に撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に予め設定されたフォーマットに従って画像ファイルを生成させ、当該画像ファイルを記録部に記録する。

カメラシステム制御部２４５は、一連の本撮影画像の撮影動作が終了したらステップＳ１３０６へ進み、引き続き補助撮影画像の撮影動作が指示されているか否かを判断する。補助撮影画像の撮影動作が指示されていなければ、一連の処理を終了する。

カメラシステム制御部２４５は、ステップＳ１３０１またはステップＳ１３０６で補助撮影画像の撮影動作が指示されていると判断したら、ステップＳ１３０７へ進み、ユーザにより構造化開口ユニット３００が被写体光束中に装着されているか否かを判断する。カメラシステム制御部２４５は、構造化開口ユニット３００が装着されるまでステップＳ１３０７で待機する。なお、図１０を用いて説明した構造化開口５００のような公転機構を採用する場合は、ステップＳ１３０７の判断処理に代えて、アクチュエータ５１５によりフィルタ５２２またはフィルタ５３２を被写体光束に挿入する動作処理を実行する。

カメラシステム制御部２４５は、構造化開口ユニット３００が装着されたと判断したらステップＳ１３０８へ進む。補助撮影画像の撮影動作は、被写体光束中に構造化開口を介在させて実行するので、撮像素子２４３に到達する被写体光束の光学的条件が、本撮影画像の撮影動作時とは大きく異なる。簡単には、撮像素子２４３に到達する被写体光束が構造化開口によって制限されるので、本撮影画像の撮影条件と同じ条件では暗い画像が取得されることになる。そこで、カメラシステム制御部２４５は、補助撮影画像の撮影条件を、本撮影画像の撮影条件とは異ならせる。

そこで、本実施形態においては、カメラシステム制御部２４５は、補助撮影画像の撮影動作時にフラッシュ２４９を動作させて被写体を照射する。カメラシステム制御部２４５は、ステップＳ１３０８へ進むと、ＳＷ１がＯＮにされるのを待って、フラッシュ２４９の事前照射動作であるプリ発光を行い、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像のプリ発光時における輝度分布を取得する。

カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ１３０９へ進み、露出値を算出する。このときの露出値はフラッシュ２４９の発光を前提とした値であり、したがって、カメラシステム制御部２４５は、ステップＳ１３１０へ進み、撮影動作時におけるフラッシュ２４９の照射量を決定する。なお、照射量の算出は、ＡＥセンサ２３７から得られる輝度分布情報から行っても良いが、本撮影画像の撮影動作時にもフラッシュ２４９を照射させたのであれば、当該撮影動作時における照射量から、補助撮影画像の撮影動作における照射量を算出しても良い。具体的には、構造化開口を被写体光束中に介在させることによりカットされる光量は事前の実験等により把握されるので、これに応じて低下する露出段数分に相当する光量を本撮影画像の撮影動作時における照射量に足して算出する。

なお、ステップＳ１３０９における露出値の算出は、ステップＳ１３１０のフラッシュ２４９の照射量の決定とセットで実行されるが、露出値のうちＩＳＯ感度については、ステップＳ１３０４で算出されるＩＳＯ感度よりも大きく設定すると良い。すなわち、補助撮影画像における被写体のぶれは、距離情報の算出に悪影響を及ぼし精度の低下を招くので、撮像素子２４３に対する露光時間は短いことが好ましい。そこで、露光時間を短くすべく、ＩＳＯ感度を大きく設定する。補助撮影画像はユーザの鑑賞画像ではないので、距離情報の算出に影響しない限りにおいてＩＳＯ感度が大きく設定されても良い。したがって、カメラシステム制御部２４５が設定し得るＩＳＯ感度の上限は、本撮影画像の撮影動作時の値と補助撮影画像の撮影動作時の値で異なり、補助撮影画像の撮影動作時の値の方が大きい。

このように撮影動作時における露出値と照射量が決定されると、カメラシステム制御部２４５は、ステップＳ１３１１へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、第１補助撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。このとき、決定された照射量に従ってフラッシュ２４９を動作させ被写体を照射する。さらに、フォーカルプレーンシャッタ２４１が開放されている間に撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に赤色画像および青色画像を含む補助撮影画像ファイルを生成させ、当該画像ファイルを記録部に記録する。

さらにカメラシステム制御部２４５は、ステップＳ１３１２へ進み、レンズシステム制御部２１６およびアクチュエータ２１５を介して構造化開口ユニット３００の保持枠３０１を回転させ、Ｒフィルタ部３０４とＢフィルタ部３０５の相対的な位置関係を反転させる。

そして、ステップＳ１３１３へ進み、同じ露出値と照射量で第２補助撮影画像の取得動作を実行する。具体的な処理は第１補助撮影画像の取得動作と同様である。以上により一連の処理を終了する。

なお、本フローにおいては、補助撮影画像として、Ｒフィルタ部３０４とＢフィルタ部３０５を反転させて二度撮影動作を行った。しかし、上述のように一枚の補助撮影画像からも距離情報は算出できるので、特に精度を求めないのであれば第２補助撮影画像の取得を省いても構わない。または、第１補助撮影画像を解析して、被写体領域中に距離を算出できない領域があると判断されたときに、第２補助撮影画像の取得を実行しても良い。また、構造化開口４００のように緑色画像も利用する場合には、３つのフィルタ部の相対的な位置関係を変えつつ三度の撮影動作を実行しても良い。

また、本フローにおいては、補助撮影画像の撮影動作時にフラッシュ２４９を照射させて構造化開口による光量低下を補った。しかし、被写体環境によってはフラッシュ２４９を照射させずに他の撮影条件を変更することにより光量低下を補っても良い。例えば、上述のように、ＩＳＯ感度を大きな値に設定する。または、予め定められた露光時間を下限として、露光時間を長めに設定しても良い。つまり、カメラシステム制御部２４５は、本撮影画像の撮影条件に比較して、補助撮影画像の撮影条件を、被写体光束をより取り込む、取り込んだ光をより増幅する方向に変更すればよい。

また、本フローにおいては構造化開口ユニット３００を利用することを前提に説明したが、図１を用いて説明した従来のシングルコーデッドアパーチャ、コーデッドアパーチャペアを利用する場合であっても、撮像素子２４３に到達する被写体光束が構造化開口によって制限されることに変わりはない。したがって、いずれの構造化開口を利用する場合であっても、カメラシステム制御部２４５は、補助撮影画像の撮影条件と本撮影画像の撮影条件を異ならせることが好ましい。

また、従来のシングルコーデッドアパーチャ、コーデッドアパーチャペアを利用する場合であれば、被写体を照射する照射光に赤外光を利用しても良い。赤外光を利用すれば、被写体が人物であるような場合に、まぶしいと感じさせることなく補助撮影画像を取得することができる。

次に、補助撮影画像から算出された距離情報を本撮影画像に適用する手法について説明する。上述のように補助撮影画像は構造化開口を介して取得されるので、たとえＲＧＢのそれぞれの像を得たとしても、本撮影画像に対しては画質が劣化する。つまり、補助撮影画像は、観賞用の画像としては好ましくない。

一方で、被写体領域の距離情報として有効に利用されるのは、本撮影画像に写る被写体に対する距離情報である。したがって、本撮影画像と補助撮影画像を連続的に取得して、補助撮影画像から得られた被写体の距離情報を本撮影画像に適用することが好ましい。しかしながら、連続的に撮影する場合であっても、被写体が動いていたり、カメラを持つユーザの手が揺れていると、それぞれに写る被写体には相互にずれが生じることになる。すると、算出した距離情報をそのまま本撮影画像に適用できない。そこで、本実施形態においては、それぞれに写る被写体に生じた相互のずれを移動ベクトルとして算出し、この移動ベクトルを用いて距離情報を補正する。

図１４は、補助撮影画像から本撮影画像の距離情報を算出する算出処理の説明図である。ここでは、連続撮影により取得された一枚目の第１本撮影画像、補助撮影画像、二枚目の第２本撮影画像を取り込んで、補助撮影画像から算出された距離情報を第１本撮影画像および第２本撮影画像へ適用する場合について説明する。また、ここでは、それぞれの撮影画像を取得してシーケンシャルに距離情報を算出する場合について説明する。したがって、本実施形態では具体的な算出処理は一眼レフカメラ２００の距離情報算出部２５１が実行するが、上述のように、算出処理は、カメラ内で実行しなくても、例えばＰＣなどの独立した画像処理装置で実行することもできる。

連続的に撮影された第１本撮影画像、補助撮影画像、第２本撮影画像は、それぞれ時刻ｔ１、ｔ２、ｔ３に撮影された撮影画像である。それぞれの撮影時刻は、ワークメモリ２５３でそれぞれの撮影画像に対応させて記憶されている。あるいは、それぞれの画像ファイルのタグ情報に記録されていても良い。

時刻ｔ１に撮影された第１本撮影画像には、図示するように、移動体９０１と静止体９０２が写っている。そして、時刻ｔ３に撮影された第２本撮影画像にも、移動体９０１と静止体９０２が写っているが、これらの相対位置は第１本撮影画像における相対位置と異なっている。そこで、それぞれの画像領域に対して小領域を設定し、互いの画像間で２次元的に走査してマッチングを行う。マッチングの高い小領域間を囲んで同一被写体と推定される被写体領域を分類すると、移動体９０１と静止体９０２を分離することができる。

移動体９０１として分離されたそれぞれの領域を、移動体枠９１０、９１１として示す。すると、例えば、第１本撮影画像における移動体枠９１０の重心位置と、第２本撮影画像における移動体枠９１１の重心位置の差分を計算することにより、時刻ｔ１から時刻ｔ３の間に移動体９０１が移動した移動量を取得することができる。つまり、それぞれの画像の２次元方向を座標系とする画像座標系における移動ベクトル９２０を算出することができる。

距離情報算出部２５１は、補助撮影画像からは各領域における距離情報を算出しているので、補助撮影画像における移動体９０１と静止体９０２のそれぞれの距離情報を把握している。また、補助撮影画像は時刻ｔ２に撮影された画像であるから、時刻ｔ１と時刻ｔ２に対する時刻ｔ３の内分比に応じて移動ベクトル９２０を分割すれば、時刻ｔ１から時刻ｔ２に対する移動ベクトル９２１と、時刻ｔ２から時刻ｔ３に対する移動ベクトル９２２を算出することができる。

移動ベクトル９２１と移動体枠９１０が算出できれば、補助撮影画像に移動ベクトル９２１の分だけ移動された移動体枠９１０を当てはめて当該領域の距離情報を取得できる。この距離情報が第１本撮影画像の移動体枠９１０における距離情報となる。また、静止体９０２に対応する領域はそのまま共通の距離情報として採用できる。なお、補助撮影画像の静止体９０２のうち移動体９０１に隠れている領域は、第１本撮影画像に対して距離情報を直接持ち得ないが、例えば周りの距離情報から補間処理を施すことにより補うことができる。

同様に、補助撮影画像から第２本撮影画像に対する移動体９０１の移動ベクトル９２２と移動体枠９１１を用いて、第２本撮影画像の移動体９０１の距離情報を算出することができる。また、静止体９０２に対応する領域、移動体９０１に隠れる領域も同様に処理できる。

なお、上述の例においては、二枚の本撮影画像の間に補助撮影画像が挟まれた場合を説明したが、例えば二枚の本撮影画像の後に補助撮影画像が取得されても良い。その場合、二枚の本撮影画像から取得された移動ベクトルを撮影時刻に応じて外分すれば良い。

以上の手順により、補助撮影画像と共に連続して撮影される本撮影画像の距離情報を取得することができる。なお、補助撮影画像は、距離情報の精度を高めたい場合には、例えばＲフィルタ部３０４とＢフィルタ部３０５を反転させた二枚を取得するが、その場合は、第１本撮影画像と第２本撮影画像の間に二枚の補助撮影画像が介在することになる。二枚の補助撮影画像を介在させる場合には、それぞれの撮影時刻を考慮して移動ベクトルを算出すれば良い。

ただし、被写体中に移動体が存在する場合には、本撮影画像間の時間差が大きくなるので、間に撮影される補助撮影画像を一枚にすることが好ましい。その意味において、ユーザの手作業を介する構造化開口ユニット３００のような挿抜機構ではなく、フィルタ部と開口部を自動的に切り替えることのできる、例えば図１０を用いて説明した構造化開口５００のような構成を採用することが好ましい。

また、本フローにおいては構造化開口としていずれの構成も採用できる。すなわち、図１を用いて説明した従来のシングルコーデッドアパーチャ、コーデッドアパーチャペアを利用する場合であっても、連続して本撮影画像と補助撮影画像を取得すれば、上述のフローを再現することができる。

上述の説明においては、第１本撮影画像と第２本撮影画像の間で移動ベクトルを算出した。すなわち、構造化開口の影響を受けない画像どうしで移動ベクトルを算出することにより、移動ベクトルの精度を高めた。しかし、構造化開口の影響を無視し得れば、本撮影画像と補助撮影画像の二枚に対して同様の手法を採用できる。つまり、補助撮影画像にも移動体９０１は写っているので、本撮影画像との間でマッチング処理を行えば、両者間の移動ベクトルを算出することができる。算出された移動ベクトルと移動体枠を適用して、補助撮影画像の距離情報を本撮影画像の距離情報として補正できるのは、上述の処理と同様である。このように、本撮影画像と補助撮影画像間で直接的に距離情報の補正処理を実行する場合、撮影時刻による内分処理を伴わないので、それぞれの撮影時刻が記録されていなくても良い。また、当然ながら二枚の本撮影画像が取得されていなくても良い。

次に、本撮影画像と補助撮影画像の撮影シーケンスのバリエーションについて説明する。図１５は、本撮影画像と補助撮影画像の撮影シーケンスについて説明する図である。カメラシステム制御部２４５は、ステップＳ１５０１で本撮影画像の撮影を実行すると、ＳＷ２のＯＮ、ＯＦＦに関わらず、続けて補助撮影画像の撮影を実行する。補助撮影画像の撮影の後、ステップＳ１５０３でＳＷ２のＯＮが継続されていれば、ステップＳ１５０４で再び本撮影画像の撮影を実行し、これを繰り返す。カメラシステム制御部２４５は、ステップＳ１５０３でＳＷ２がＯＦＦであることを検知して一連の撮影シーケンスを終了する。つまり、最初の本撮影画像の撮影後に一枚の補助撮影画像を撮影する。これにより、連続して取得される本撮影画像の距離情報を算出することができる。

図１６は、本画撮影像と補助撮影画像の他の撮影シーケンスについて説明する図である。カメラシステム制御部２４５は、ステップＳ１６０１で本撮影画像の撮影を実行し、ステップＳ１６０２で、続けてＳＷ２のＯＮが検出されれば、本撮影画像の撮影を繰り返す。ＯＦＦであることが検知されればステップＳ１６０３へ進んで、ＳＷ２のＯＮ、ＯＦＦに関わらず続けて補助撮影画像の撮影を実行し、一連の撮影シーケンスを終了する。つまり、連続する本撮影画像の撮影後に一枚の補助撮影画像を撮影する。これにより、連続して取得される本撮影画像の距離情報を算出することができる。

図１７は、本画撮影像と補助撮影画像の他の撮影シーケンスについて説明する図である。カメラシステム制御部２４５は、ＳＷ２のＯＮが検出されると、ステップＳ１７０１でフラグｍに０を代入する。そして、ステップＳ１７０２でＳＷ２のＯＮが継続して検出されれば、ステップＳ１７０３へ進み、まずフラグｍをカウントアップする。続けてステップＳ１７０４へ進み本撮影画像を撮影する。カメラシステム制御部２４５は、ステップＳ１７０５へ進み、フラグｍが予め定められたｍ_０と等しいか否かを判断する。等しくなければステップＳ１７０２へ戻って本撮影画像の撮影を繰り返す。等しければステップＳ１７０６へ進み、補助撮影画像を撮影して、再びステップＳ１７０１へ戻る。ステップＳ１７０２でＳＷ２のＯＦＦが検出されると、カメラシステム制御部２４５は一連の撮影シーケンスを終了する。つまり、予め定められたｍ_０枚の本撮影画像の撮影ごとに一枚の補助撮影画像を撮影する。これにより、連続して取得される本撮影画像の距離情報を算出することができる。

以上の撮影シーケンスは互いに組み合わせても良い。また、前回実行された補助撮影画像の撮影との間に実行された本撮影画像の撮影の回数を考慮して補助撮影を実行するか否かを決定しても良い。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０１、１１１保持枠、１０２、１１２フィルタ、１０３、１１３遮断フィルタ部、１０４、１１４透過フィルタ部、２００一眼レフカメラ、２０１光軸、２１０レンズユニット、２１１レンズ群、２１２フォーカスレンズ、２１３ズームレンズ、２１４絞り、２１５アクチュエータ、２１６レンズシステム制御部、２１７レンズ鏡筒、２１８レンズマウント、２１９装着スリット、２２０挿抜ガイド、２２１レンズメモリ、２２２構造化開口駆動部、２３０カメラユニット、２３１カメラマウント、２３２メインミラー、２３３回転軸、２３４ピント板、２３５ペンタプリズム、２３６接眼光学系、２３７ＡＥセンサ、２３８サブミラー、２３９ＡＦ光学系、２４０ＡＦセンサ、２４１フォーカルプレーンシャッタ、２４２光学ローパスフィルタ、２４３撮像素子、２４４メイン基板、２４５カメラシステム制御部、２４６画像処理部、２４７表示部、２４８二次電池、２４９フラッシュ、２５０パターン投光部、２５１距離情報算出部、２５２カメラメモリ、２５３ワークメモリ、２５４外部接続ＩＦ、２５５レリーズスイッチ、３００構造化開口ユニット、３０１保持枠、３０２フィルタ、３０３遮断フィルタ部、３０４Ｒフィルタ部、３０５Ｂフィルタ部、３０６ギア、３０７ベース部、３０８外周部、３０９把持部、４００構造化開口、４０１保持枠、４０２フィルタ、４０４Ｒフィルタ部、４０５Ｂフィルタ部、４０６Ｇフィルタ部、４０７ギア、５００構造化開口、５０１保持枠、５０６ギア、５１０回転軸、５１１点線、５１５アクチュエータ、５１７レンズ鏡筒、５２２，５３２フィルタ、５２３遮断フィルタ部、５２４Ｒフィルタ部、５２５Ｂフィルタ部、５４２全開口、５３３遮断フィルタ部、５３４Ｒフィルタ部、５３５Ｂフィルタ部、６０１Ｂ曲線、６０２Ｇ曲線、６０３Ｒ曲線、６１１、６１３矢印、７００構造化開口、７０１保持枠、７０２フィルタ、７０３透過フィルタ部、７０４Ｃフィルタ部、７０５Ｙフィルタ部、７０６ギア、８００一眼レフカメラ、８０１瞳位置、８０２構造化開口、８１０レンズユニット、８３０カメラユニット、８３１一次結像面、８４３撮像素子、９０１移動体、９０２静止体、９１０、９１１移動体枠、９２０、９２１、９２２移動ベクトル

Claims

連続的に撮影された、被写体画像としての本撮影画像と前記本撮影画像に写る被写体の距離情報を算出するための補助撮影画像を取得する画像取得部と、
前記本撮影画像に写る前記被写体と、前記補助撮影画像に写る前記被写体の間に生じた移動ベクトルを算出するベクトル算出部と、
前記補助撮影画像から、前記補助撮影画像に写る前記被写体の距離情報を生成する距離情報生成部と、
前記移動ベクトルに基づいて前記距離情報を補正する距離情報補正部と
を備える画像処理装置。
連続的に撮影された、被写体画像としての少なくとも２枚の本撮影画像と前記本撮影画像に写る被写体の距離情報を算出するための補助撮影画像を取得する画像取得部と、
前記少なくとも２枚の本撮影画像に写る前記被写体の間に生じた移動ベクトルを算出するベクトル算出部と、
前記補助撮影画像から、前記補助撮影画像に写る前記被写体の距離情報を生成する距離情報生成部と、
前記移動ベクトル、および、前記本撮影画像と前記補助撮影画像の撮影時における時間差に基づいて前記距離情報を補正する距離情報補正部と
を備える画像処理装置。
前記本撮影画像を取得する本画像撮影と前記補助撮影画像を取得する補助画像撮影を制御する撮影制御部を備える請求項１または２に記載の画像処理装置。
前記撮影制御部は、前記本画像撮影を連続して実行する連続撮影モードが設定されている場合は、一枚目の前記本画像撮影が終了した後に前記補助画像撮影を実行する請求項３に記載の画像処理装置。
前記撮影制御部は、前記本画像撮影を連続して実行する連続撮影モードが設定されている場合は、連続して実行する前記本画像撮影が終了した後に前記補助画像撮影を実行する請求項３または４に記載の画像処理装置。
前記撮影制御部は、前記本画像撮影を連続して実行する連続撮影モードが設定されている場合は、予め定められた枚数分の前記本画像撮影が終了するごとに前記補助画像撮影を実行する請求項３から５のいずれか１項に記載の画像処理装置。
前記撮影制御部は、前記本画像撮影を連続して実行する連続撮影モードが設定されている場合は、前回実行された前記補助画像撮影との間に実行された前記本画像撮影の回数を考慮して前記補助画像撮影を実行するか否かを決定する請求項３から６のいずれか１項に記載の画像処理装置。
連続的に撮影された、被写体画像としての本撮影画像と、前記本撮影画像に写る被写体の距離情報を算出するための補助撮影画像を取得する画像取得ステップと、
前記本撮影画像に写る前記被写体と、前記補助撮影画像に写る前記被写体の間に生じた移動ベクトルを算出するベクトル算出ステップと、
前記補助撮影画像から、前記補助撮影画像に写る前記被写体の距離情報を生成する距離情報生成ステップと、
前記移動ベクトルにより前記距離情報を補正する距離情報補正ステップと
をコンピュータに実行させる画像処理プログラム。
連続的に撮影された、被写体画像としての少なくとも２枚の本撮影画像と前記本撮影画像に写る被写体の距離情報を算出するための補助撮影画像を取得する画像取得ステップと、
前記少なくとも２枚の本撮影画像に写る前記被写体の間に生じた移動ベクトルを算出するベクトル算出ステップと、
前記補助撮影画像から、前記補助撮影画像に写る前記被写体の距離情報を生成する距離情報生成ステップと、
前記移動ベクトル、および、前記本撮影画像と前記補助撮影画像の撮影時における時間差に基づいて前記距離情報を補正する距離情報補正ステップと
をコンピュータに実行させる画像処理プログラム。