JP2012002859A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2012002859A JP2012002859A JP2010135071A JP2010135071A JP2012002859A JP 2012002859 A JP2012002859 A JP 2012002859A JP 2010135071 A JP2010135071 A JP 2010135071A JP 2010135071 A JP2010135071 A JP 2010135071A JP 2012002859 A JP2012002859 A JP 2012002859A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- filter
- subject
- structured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
レンズ光学系の一部に複雑な開口形状を有するマスクを設けた撮影レンズを介して撮影されたデジタル画像データから、被写体の距離情報を算出して、任意の深さに焦点を合わせた画像データを再構成する技術が知られている（例えば非特許文献１）。 Image data focused on an arbitrary depth by calculating distance information of the subject from digital image data taken through a taking lens provided with a mask having a complex aperture shape in a part of the lens optical system Is known (for example, Non-Patent Document 1).
また、それぞれ異なる開口形状を有するマスクを入れ替えて複数枚のデジタル画像を取得することで、距離情報の高精度化を図る技術が知られている（例えば非特許文献２）。
［先行技術文献］
［特許文献］
［非特許文献１］A. Levin, R. Fergus, F. Durand and W. Freeman "Image and Depth from a conventional Camera with a Coded Aperture", SIGGRAPH 2007
［非特許文献２］C. Zhou, S. Lin and S. Nayar "Coded Aperture Pairs for Depth from Defocus", ICCV 2009
In addition, there is known a technique for improving the accuracy of distance information by replacing a plurality of masks having different opening shapes and acquiring a plurality of digital images (for example, Non-Patent Document 2).
[Prior art documents]
[Patent Literature]
[Non-Patent Document 1] A. Levin, R. Fergus, F. Durand and W. Freeman "Image and Depth from a conventional Camera with a Coded Aperture", SIGGRAPH 2007
[Non-Patent Document 2] C. Zhou, S. Lin and S. Nayar "Coded Aperture Pairs for Depth from Defocus", ICCV 2009
上述のように、距離情報を取得するには少なくとも特殊な開口形状を有するマスクである構造化開口を光学系に配置する。したがって、距離情報を取得するための撮影画像を、観賞用としての通常の撮影画像を撮影するときの撮影条件で撮影すると、露光量が足りずに暗い画像となり、距離情報の算出に支障をきたしていた。 As described above, in order to obtain distance information, a structured aperture that is a mask having at least a special aperture shape is arranged in the optical system. Therefore, if a photographed image for obtaining distance information is photographed under photographing conditions for photographing a normal photographed image for viewing, the exposure amount is insufficient and the image becomes dark, which hinders calculation of distance information. It was.
上記課題を解決するために、本発明の態様における撮像装置は、光学系を介して入射する被写体光束を複数の波長帯に分離して検出する撮像素子と、光学系の光軸に交差して配設される構造化開口と、構造化開口を被写体光束に対して挿抜する挿抜機構と、挿抜機構により構造化開口を抜出して実行する本画像撮影と、挿抜機構により構造化開口を挿入して実行する補助画像撮影を制御する撮影制御部とを備え、撮影制御部は、本画像撮影と補助画像撮影で撮影条件を変更する。 In order to solve the above-described problems, an imaging apparatus according to an aspect of the present invention intersects an optical element of an optical system, an imaging element that separates and detects a subject light beam incident via the optical system into a plurality of wavelength bands. A structured aperture to be disposed, an insertion / extraction mechanism for inserting / extracting the structured aperture with respect to the subject light beam, a main image photographing performed by extracting the structured aperture by the insertion / extraction mechanism, and a structured aperture being inserted by the insertion / extraction mechanism A shooting control unit that controls auxiliary image shooting to be executed, and the shooting control unit changes shooting conditions for main image shooting and auxiliary image shooting.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、従来の構造化開口を説明する説明図である。図１の（ａ）は、複雑な開口形状を有する構造化開口の正面図である。構造化開口は、保持枠１０１にフィルタ１０２が支持されて構成されている。フィルタ１０２は、被写体光束を遮断する遮断フィルタ部１０３と、被写体光束を透過させる透過フィルタ部１０４を有する。図示するように、透過フィルタ部１０４は２次元的に複雑な形状を有しており、これにより、被写体空間において深さ方向に異なる位置から入射する点像を、撮像素子の受光面上で特徴的な形状をもって結像させる。すなわち、このような開口形状を有する構造化開口を撮影レンズの瞳近傍に配置すれば、深さ方向である各距離に応じた点像分布関数（ＰＳＦ）を大きく異ならせることができる。各距離に応じた点像分布関数を大きく異ならせることができれば、被写体画像の各領域における被写体までの距離を精度良く算出することができる。なおここでは、ひとつの開口形状に対応して各距離に応じたＰＳＦが１セット用意される場合の構造化開口を、シングルコーデッドアパーチャと呼ぶ。
FIG. 1 is an explanatory view for explaining a conventional structured opening. FIG. 1A is a front view of a structured opening having a complicated opening shape. The structured opening is configured with a
シングルコーデッドアパーチャを用いた被写体画像から距離情報を算出する具体的な手法について説明する。被写体画像の距離情報は、被写体画像に写る各々の被写体に対するカメラからの距離を含む。算出によって得られる推定画像は、いわゆる距離画像に類する。 A specific method for calculating distance information from a subject image using a single coded aperture will be described. The distance information of the subject image includes the distance from the camera to each subject appearing in the subject image. The estimated image obtained by the calculation is similar to a so-called distance image.
シングルコーデッドアパーチャを介して撮影された撮影画像をｙ、オリジナルの被写体画像をｘ、ＰＳＦをｆｄとすると、結像方程式は式（１）として表される。
するとＰＳＦであるｆｄが既知であれば、撮影画像ｙを利用して式（１）を満たすようなオリジナル被写体画像ｘを推定することができる。 Then, if the PSF fd is known, the original subject image x satisfying the expression (1) can be estimated using the captured image y.
そして、ＰＳＦの構造は、被写体の深さである基準ピント位置からのずれによって変化する。したがって、被写体の深さと、推定に使用するＰＳＦの深さが一致しているときに、最も良好なオリジナル被写体画像を推定できる。推定プロセスは、式（２）で表現することができる。
以上のプロセスを各深さのＰＳＦに対して全て行い、エラーが最小となるＰＳＦを見つけ、そのＰＳＦに対応した深さをマップにすれば距離情報が得られる。 The above process is performed for all the depth PSFs to find the PSF with the smallest error, and the depth corresponding to the PSF is mapped to obtain the distance information.
しかし、ステップＳ２の解である、デコンボリュージョンエラーを最小にする推定被写体画像はひとつではないという問題がある。したがって、デコンボリュージョンエラーを最小にする推定被写体画像が、真の被写体と近似する画像とはならない場合がある。また、被写体の深さとＰＳＦの深さが一致していなくとも、そのような特殊解を見つけてデコンボリュージョンエラーを最小にしてしまう場合がある。 However, there is a problem that there is not one estimated subject image that minimizes the deconvolution error, which is the solution of step S2. Therefore, the estimated subject image that minimizes the deconvolution error may not be an image that approximates the true subject. Even if the depth of the subject does not match the depth of the PSF, such a special solution may be found and the deconvolution error may be minimized.
このような問題を解決すべく、推定被写体画像に「画像らしさ」を評価する制約項を加える。この場合、式（２）は以下の式（３）のように表現される。
関数ｇ（ｘ）が制約項である。λは制約項の重み係数である。例えば、一般的に画像は滑らかな構図を持つので、その微分値はゼロに近い。したがって、制約項に画像の微分値を示す関数を設定することにより、デコンボリュージョンエラーを最小にし、かつその微分値も小さいという「画像らしさ」を有するオリジナル被写体画像のみが推定され、深さを精度良く推定することができる。微分値を示す関数の例としては、式（４）が挙げられる。
図１の（ｂ−１）は、楕円形の開口形状を有する構造化開口の正面図である。構造化開口は、保持枠１１１にフィルタ１１２が支持されて構成されている。フィルタ１１２は、被写体光束を遮断する遮断フィルタ部１１３と、被写体光束を透過させる透過フィルタ部１１４を有する。保持枠１１１は円形枠であり、その中心は撮影レンズの光軸と一致するが、円形を成す透過フィルタ部１１４は、光軸に対して偏心している。
FIG. 1B-1 is a front view of a structured opening having an elliptical opening shape. The structured opening is configured with a
このように単純な円形開口を持つ構造化開口では、深さの変化に対するＰＳＦの変化が小さいので、シングルコーデッドアパーチャとして深さを算出すると推定誤差が大きくなる。図１の（ａ）では、複雑な開口形状とすることにより推定誤差の低減を図ったが、ここでは、（ｂ−１）の状態で第１の撮影画像を取得し、（ｂ−１）の構造化開口を反転させた（ｂ−２）の状態で第２の撮影画像を取得することにより、推定誤差の低減を図る。つまり、（ｂ−１）の開口形状に対応して各距離に応じたＰＳＦを１セットと、（ｂ−２）の開口形状に対応して各距離に応じたＰＳＦを１セット用意する。このような場合の構造化開口を、コーデッドアパーチャペアと呼ぶ。 In such a structured opening having a simple circular opening, the change in PSF with respect to the change in depth is small. Therefore, if the depth is calculated as a single coded aperture, the estimation error increases. In FIG. 1A, the estimation error is reduced by using a complicated aperture shape, but here, the first captured image is acquired in the state of (b-1), and (b-1) By obtaining the second photographed image in the state of (b-2) with the structured aperture inverted, the estimation error is reduced. That is, one set of PSF corresponding to each distance corresponding to the opening shape of (b-1) and one set of PSF corresponding to each distance corresponding to the opening shape of (b-2) are prepared. A structured aperture in such a case is called a coded aperture pair.
コーデッドアパーチャペアを用いた被写体画像から距離情報を算出する具体的な手法について、説明する。コーデッドアパーチャペアの場合、開口形状が単純であるので、シングルコーデッドアパーチャにおける処理を空間周波数領域において展開することができる。 A specific method for calculating distance information from a subject image using a coded aperture pair will be described. In the case of a coded aperture pair, since the aperture shape is simple, processing in a single coded aperture can be developed in the spatial frequency domain.
異なる２つの開口によりそれぞれ撮影された第１画像と第２画像のフーリエ変換をＦ１、Ｆ２、各深さｄについて取得したＰＳＦのフーリエ変換をＫ１ ｄ、ｋ２ ｄ、オリジナル被写体画像ｘのフーリエ変換をＦ０とすると、結像方程式は式（５）として表される。
式（５）によれば、式（１）と比較して、畳み込み積分が単純な掛け算となることがわかる。このとき、式（３）に対応するデコンボリュージョンエラーを記述すると式（６）のようになる。
深さマップの構築プロセスは以下の処理による。 The depth map construction process is as follows.
この手法では、シングルコーデッドアパーチャの場合とは異なり、推定プロセスを繰り返す必要がなく、かつ単純な計算式によって導き出されるので、計算速度が非常に速い。なお、シングルコーデッドアパーチャにおいてこのような手法を適用できない理由は、シングルコーデッドアパーチャのＰＳＦは非常に複雑な形状をしているので、そのフーリエ変換もエラーが大きいからである。 In this method, unlike the case of the single coded aperture, it is not necessary to repeat the estimation process, and the calculation speed is very fast because it is derived by a simple calculation formula. The reason why such a method cannot be applied to the single coded aperture is that the PSF of the single coded aperture has a very complicated shape, and the Fourier transform has a large error.
以上の従来の手法においては、それぞれに問題点を抱えている。シングルコーデッドアパーチャの場合、コーデッドアパーチャペアに比べて計算速度が非常に遅く、また、複雑な開口形状を通過した被写体画像は特定の周波数成分が抜け落ちるという問題があった。一方、コーデッドアパーチャペアの場合、同一被写体に対して開口位置を変えて少なくとも二枚の撮影画像を取得するので、画像間に被写体のずれが生じる。画像間で被写体がずれると、被写体領域ごとの深さを正確に推定することができない。画像間で被写体にずれを生じさせないためには、カメラを三脚に固定すること、被写体が動かないことなどの制約が課され、広範な被写体に対応できなくなる。 Each of the above conventional methods has problems. In the case of a single coded aperture, there is a problem that the calculation speed is much slower than that of a coded aperture pair, and a specific frequency component is lost in a subject image that has passed through a complicated aperture shape. On the other hand, in the case of a coded aperture pair, since the aperture position is changed with respect to the same subject and at least two shot images are acquired, the subject is displaced between the images. If the subject shifts between images, the depth for each subject region cannot be estimated accurately. In order to prevent the subject from shifting between images, restrictions such as fixing the camera on a tripod and preventing the subject from moving are imposed, making it impossible to handle a wide range of subjects.
そこで、本実施形態においては、このような問題に対処すべく、コーデッドアパーチャペアに改良を加えて一眼レフカメラに適用する。以下に本実施形態について説明する。 Therefore, in the present embodiment, in order to cope with such a problem, the coded aperture pair is improved and applied to a single-lens reflex camera. This embodiment will be described below.
図２は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。
FIG. 2 is a cross-sectional view of a main part of the single-
レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。また、光軸２０１に沿って、絞り２１４および構造化開口ユニット３００も配列される。構造化開口ユニット３００は、被写体光束に対して挿抜することができる。構造化開口ユニット３００が被写体光束に対して挿入されると、構造化開口は、光軸２０１に交差して配設される。アクチュエータ２１５は、構造化開口ユニット３００が被写体光束に対して挿入されたときに構造化開口を回転させる。
The
レンズユニット２１０は、フォーカスレンズ２１２、絞り２１４およびアクチュエータ２１５の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。
The
また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。
The
カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。
The
ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。
The subject image formed on the focusing
斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。
The region near the
斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの光電変換素子であり、受光面で結像した被写体像を電気信号に変換する。
A
撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。
The electrical signal photoelectrically converted by the
カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。
A
また、ペンタプリズム２３５の近傍には使用状態と収納状態を取り得るフラッシュ２４９を備えており、使用状態においてカメラシステム制御部２４５の制御により被写体を照射する。フラッシュ２４９の近傍には、被写体を照射するパターン投光部２５０を備えており、被写体に対して幾何的模様等であるパターンを投光する。
A
図３は、本実施形態に係る構造化開口ユニット３００の外観図である。図３（ａ）は光軸２０１方向から見た正面図であり、図３（ｂ）は側面図である。
FIG. 3 is an external view of the
構造化開口ユニット３００は、保持枠３０１、フィルタ３０２、ベース部３０７、外周部３０８および把持部３０９を主な構成要素とする。保持枠３０１は、中心部分が中空の円筒形を成し、フィルタ３０２は、保持枠３０１の中空部分に張設されて固定されている。保持枠３０１の外周部にはギア３０６が全周にわたって設けられている。保持枠３０１は、ベース部３０７に回転機構を介して連結され、図示する矢印方向へ回転自在に支持されている。ベース部３０７は、保持枠３０１の中空部分と同様に、被写体光束範囲に中空部分を有する。したがって、保持枠３０１にフィルタ３０２が張設されていなければ、構造化開口ユニット３００をレンズユニット２１０へ装着しても、被写体光束に何ら影響を与えない。
The
ベース部３０７の端部には外周部３０８と把持部３０９が一体的に形成されている。ユーザは、把持部３０９を掴んで構造化開口ユニット３００をレンズユニット２１０に対して挿抜する。
An outer
フィルタ３０２は、被写体光束を遮断する遮断フィルタ部３０３、赤色の波長帯を透過させるＲフィルタ部３０４および青色の波長帯を透過させるＢフィルタ部３０５から構成される。図示するようにＲフィルタ部３０４とＢフィルタ部３０５は、フィルタ３０２の中心を通る光軸２０１に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられている。別言すれば、遮断フィルタ部３０３の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられた２つの開口に、赤色の波長帯を透過させるＲフィルタ部３０４と青色の波長帯を透過させるＢフィルタ部３０５が形成されている。
The
フィルタ３０２を固定する保持枠３０１は、上述のように矢印方向へ回転するので、Ｒフィルタ部３０４とＢフィルタ部３０５の光軸２０１に対する相対的な位置関係は、保持枠３０１の回転に伴って変化する。例えば、保持枠３０１が１８０度回転されると、図示するＲフィルタ部３０４とＢフィルタ部３０５の位置関係が逆転して、左側にＲフィルタ部３０４が、右側にＢフィルタ部３０５が配置されることになる。つまり、構造化開口ユニット３００は、光軸２０１を中心に回転させてＲフィルタ部３０４とＢフィルタ部３０５の位置関係を変更させる自転機構を備える。
Since the holding
図４は、構造化開口ユニット３００をレンズユニット２１０に装着する様子を示す図である。図４（ａ）は、構造化開口ユニット３００をレンズユニット２１０に挿し込む直前の様子を示し、図４（ｂ）は、装着された様子を示す。
FIG. 4 is a diagram illustrating a state in which the structured
ユーザは、把持部３０９を把持して、構造化開口ユニット３００をレンズ鏡筒２１７に設けられた装着スリット２１９へ挿し込む。すると、構造化開口ユニット３００は、ベース部３０７の側面がレンズ鏡筒２１７の内部に設けられた挿抜ガイド２２０に案内されて、フィルタ３０２の中心が光軸２０１と一致する位置に到達する。フィルタ３０２の中心が光軸２０１と一致する位置に到達すると、外周部３０８が装着スリット２１９に嵌合し、外周部３０８の外面がレンズ鏡筒２１７の外観面と一致する。同時に、ギア３０６は、アクチュエータ２１５の駆動ギアと噛合する。このように、構造化開口ユニット３００がレンズユニット２１０と一体化されると、レンズシステム制御部２１６は、アクチュエータ２１５により保持枠３０１を回転させることができ、光軸２０１周りにＲフィルタ部３０４とＢフィルタ部３０５の位置関係を変更することができる。
The user grips the
図５は、撮像素子２４３の画素上に配置されたカラーフィルタの説明図である。本実施例におけるカラーフィルタの配列は、いわゆるベイヤー配列であり、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタが設けられている。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。例えば、Ｒ画素フィルタが設けられた画素は、赤色の波長帯に対して感度を持つ。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢの３つの波長帯に分離して光電変換する。
FIG. 5 is an explanatory diagram of color filters arranged on the pixels of the
図６は、撮像素子２４３の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。
FIG. 6 is a diagram illustrating a relationship between a wavelength band in which a pixel of the
Ｂ曲線６０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線６０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線６０３はＲ画素フィルタが設けられた画素の感度を示す。図示されるように、隣り合う波長帯であるＢ曲線６０１とＧ曲線６０２、および、Ｇ曲線６０２とＲ曲線６０３は若干の重なり部分を有しており、一方、互いに離れた波長帯であるＢ曲線６０１とＲ曲線６０３は互いに交わることが無い。すなわち、Ｂ画素フィルタが設けられた画素は、青色波長帯と共に若干の緑色波長帯にも感度を有するが、赤色波長帯には感度を有さない。同様に、Ｒ画素フィルタが設けられた画素は、赤色波長帯と共に若干の緑色波長帯にも感度を有するが、青色波長帯には感度を有さない。一方、Ｇ画素フィルタが設けられた画素は、緑色波長帯と共に若干の赤色波長帯にも青色波長帯にも感度を有する。
The
構造化開口のＢフィルタ部３０５は、矢印６１１の波長帯を透過させる。同様に、Ｒフィルタ部３０４は、矢印６１３の波長帯を透過させる。したがって、Ｂ画素フィルタが設けられた画素は、構造化開口のＢフィルタ部３０５を透過した被写体光束に対して感度を持ち、Ｒ画素フィルタが設けられた画素は、構造化開口のＲフィルタ部３０４を透過した被写体光束に対して感度を持つと言える。上述のように、Ｂ画素フィルタが設けられた画素は赤色波長帯には感度を有さず、Ｒ画素フィルタが設けられた画素は青色波長帯には感度を有さない。したがって、別言すれば、Ｂ画素フィルタが設けられた画素は、構造化開口のＲフィルタ部３０４を透過した被写体光束に対して感応せず、Ｒ画素フィルタが設けられた画素は、構造化開口のＢフィルタ部３０５を透過した被写体光束に対して感応しない。
The structured
すると、Ｒフィルタ部３０４を開口とする赤色波長帯の被写体画像と、Ｂフィルタ部３０５を開口とする青色波長帯の被写体画像を、一度の撮影により取得することができる。すなわち、波長帯分離を利用することにより、図１（ｂ−１）と（ｂ−２）を用いて説明したコーデッドアパーチャペアにおける二度の撮影動作を、一度の撮影動作で済ますことができる。それぞれの開口位置および透過波長帯に対応した各深さのＰＳＦを予め用意しておけば、図１を用いて説明したコーデッドアパーチャペアによる距離算出の手法をこれらの画像に適用することができる。一度の撮影により異なる２つの開口を通過する被写体画像をそれぞれ取得することができるので、画像間に生じる被写体の動き、撮影者の手振れの影響を受けることが無く、距離情報を精度良く算出することができる。
Then, a subject image in the red wavelength band with the
なお、このように撮影される赤色波長帯の被写体画像と青色波長帯の被写体画像は、それぞれＲ画素フィルタが設けられた画素の出力のみ、または、Ｂ画素フィルタが設けられた画素の出力のみを集めて互いに分離されるので、通常の撮影における画像処理とは異なる画像処理により形成される。したがって、ここでは通常の撮影により取得される撮影画像を本撮影画像と呼び、構造化開口を用いて取得される撮影画像を補助撮影画像と呼ぶ。本撮影画像は構造化開口ユニット３００をレンズユニット２１０から抜出して撮影された画像であり、補助撮影画像は構造化開口ユニット３００をレンズユニット２１０へ装着して撮影された画像である。
In addition, the subject image of the red wavelength band and the subject image of the blue wavelength band photographed in this way are only the output of the pixel provided with the R pixel filter or the output of the pixel provided with the B pixel filter, respectively. Since they are collected and separated from each other, they are formed by image processing different from image processing in normal photographing. Therefore, here, a captured image acquired by normal imaging is referred to as a main captured image, and a captured image acquired using the structured aperture is referred to as an auxiliary captured image. The actual captured image is an image captured by extracting the structured
このように、撮像素子２４３が入射する被写体光束を複数の波長帯に分離して検出する性質を利用して補助撮影画像を取得すると、次に、被写体の色依存が問題となる。すなわち、上述の構造化開口の場合、Ｒフィルタ部３０４を開口とする赤色波長帯の被写体画像は、Ｒフィルタ部３０４が透過する色成分を持つ被写体のみが像として現れ、遮断する色成分しか持たない被写体は像として現れない。同じく、Ｂフィルタ部３０５を開口とする青色波長帯の被写体画像は、Ｂフィルタ部３０５が透過する色成分を持つ被写体のみが像として現れ、遮断する色成分しか持たない被写体は像として現れない。このような被写体に対しては、精度の良い距離情報を算出することができない。
As described above, when an auxiliary captured image is acquired by using the property of detecting and separating the subject luminous flux incident on the
そこで、一度の撮影により取得できる距離情報を更に精度を高めたいときには、Ｒフィルタ部３０４とＢフィルタ部３０５を反転させてもう一度補助撮影画像を取得する。つまり、アクチュエータ２１５を駆動して保持枠３０１を１８０度回転させて、同一被写体に対して再度撮影を行う。このとき、反転されたそれぞれのフィルタ部に対応した各深さのＰＳＦを予め用意しておけば、同様にコーデッドアパーチャペアの手法を適用することができる。このように補助撮影画像を二度取得すると、一度目の撮影において一方の開口位置から得られた被写体画像に像が現れない領域が存在しても、二度目の撮影においては同一の開口位置から得られる被写体画像の当該領域に像が現れることが期待できる。したがって、距離情報の精度を高めることができる。
Therefore, when it is desired to further improve the accuracy of the distance information that can be acquired by one imaging, the
次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図７は、一眼レフカメラ２００のシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。
Next, the system configuration of the single-
カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換された撮像信号を画像データに処理する。本撮影画像において処理された画像データは、表示部２４７へ送られて、例えば撮影後の一定時間の間表示される。これに並行して、処理された画像データは、所定の画像フォーマットに加工され、外部接続ＩＦ２５４を介して外部メモリに記録される。画像処理部２４６は、補助撮影画像として撮影された撮像信号から、波長帯ごとに分離された被写体画像を生成する。生成された被写体画像は距離情報算出部２５１へ引き渡され、距離情報算出部２５１は、上述の手法により距離情報を算出する。算出された距離情報は、カメラメモリ２５２へ記録される。
An
カメラメモリ２５２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された撮影画像の一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２５３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。
The
レリーズスイッチ２５５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ３９から位相差情報を取得する。そして、レンズシステム制御部２１６へフォーカスレンズ２１２の駆動情報を送信する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、予め定められた処理フローに従って本撮影画像の取得、または、補助撮影画像の取得を実行する。本撮影画像の取得と補助撮影画像の取得についての処理フローについては後述する。
The
フラッシュ２４９は、カメラシステム制御部２４５の制御に従って被写体を照射する。また、同様にパターン投光部２５０は、カメラシステム制御部２４５の制御に従って投光パターンを被写体に投光する。
The
レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。レンズメモリ２２１は、レンズユニット２１０に固有であるＰＳＦを保管している。距離情報算出部２５１は、カメラシステム制御部２４５およびレンズシステム制御部２１６を介して、レンズメモリ２２１からＰＳＦを取得する。また、構造化開口駆動部２２２は、レンズシステム制御部２１６の指示に従ってアクチュエータ２１５を駆動する。
The lens
図８は、補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。本フローにおける一連の処理は、カメラシステム制御部２４５が操作部材を介してユーザから指示を受け付けたとき、または、予め定められた制御プログラムに距離算出処理が組み込まれているとき等に開始される。
FIG. 8 is a diagram illustrating a processing flow from acquisition of an auxiliary captured image to calculation of distance information. A series of processes in this flow is started when the camera
ステップＳ８０１では、画像処理部２４６が処理対象となる補助撮影画像を取得する。画像処理部２４６は、処理対象の補助撮影画像として、撮像素子２４３から出力された画像信号をそのまま取得しても良いし、撮影後に距離情報を算出しないまま記録部に記録されている補助撮影画像を読み出して取得しても良い。したがって、本実施形態においてはカメラユニット２３０を画像処理装置として距離情報の算出を実行するが、距離情報の算出は、カメラとは別個の独立した画像処理装置で実行することもできる。例えば、ＰＣを例にすれば、カメラとの間に記録媒体を介在させ、記録媒体に記録された補助撮影画像を読み出して処理することもできるし、有線、無線によりカメラと接続した状態を確立すれば、補助撮影画像の撮影と連動して処理することもできる。
In step S801, the
画像処理部２４６は、ステップＳ８０２で、補助撮影画像から、Ｒフィルタ部３０４を通過して形成された赤色画像、すなわち、Ｒ画素フィルタが設けられた画素の出力から形成される画像を抽出する。同様に、Ｂフィルタ部３０５を通過して形成された青色画像を抽出する。画像処理部２４６は、このように波長帯別画像を抽出すると、これらの画像を距離情報算出部２５１へ引き渡す。
In step S802, the
距離情報算出部２５１は、波長帯別画像を受け取ると、ステップＳ８０３で、レンズメモリ２２１に保管されているレンズユニット２１０のＰＳＦを取得する。なお、距離情報の算出処理が補助撮影画像の撮影動作と連続しない場合には、レンズユニット２１０が他のレンズユニット２１０に交換されている場合もあるので、距離情報算出部２５１は、他の保管場所からＰＳＦを取得するように構成しても良い。
When the distance
例えば、補助画像データは、撮影処理時にレンズメモリ２２１に記録されているＰＳＦをＥＸＩＦ情報などの付帯情報として取り込むこともできるし、カメラメモリ２５２は、レンズユニット２１０が装着されるタイミングでレンズメモリ２２１からＰＳＦを取り込むこともできる。したがって、距離情報算出部２５１は、補助撮影画像の付帯情報、カメラメモリ２５２などからＰＳＦを取得することもできる。なお、距離情報算出部２５１は、補助撮影画像の付帯情報として記録されているレンズユニット情報と開口位置情報から、カメラメモリ２５２などの記録部に記録されているＰＳＦから使用すべきＰＳＦを特定することもできる。このような場合は、補助撮影画像の撮影時に用いられたレンズユニットの情報を取得するステップと、当該レンズユニットに対応するそれぞれのＰＳＦを取得するステップとを分けて処理すると良い。
For example, the auxiliary image data can be taken in PSF recorded in the
距離情報算出部２５１は、このように取得した波長帯別画像とこれに対応したＰＳＦを用いて、ステップＳ８０４で、距離情報を算出する。距離情報は、上述のようにコーデッドアパーチャペアの手法を用いて算出される。なお、算出された距離情報は、距離画像データとして別途独立したファイルを生成しても良いし、補助撮影画像に付帯して記録しても良い。別途独立したファイルを生成する場合には、補助撮影画像に対してリンク情報を記録する。算出された距離情報は、例えば、同一距離と判断された被写体が存在する画素領域情報と当該距離をセットとして、距離ごとに複数セット分リスト化されたテーブル形式のデータ構造を有する。算出できる距離の分解能は、ＰＳＦがどれだけの距離ピッチごとに用意されているかに依存するので、高い分解能を得たい場合には、細かい距離ピッチで刻んだＰＳＦを予め用意すれば良い。以上により一連の処理フローを終了する。
In step S804, the distance
構造化開口を回転させて二度の補助撮影画像を行った場合には、それぞれの補助撮影画像に対して上述のフローを繰り返す。ただし、一枚目の補助撮影画像を用いて算出した結果、距離情報が抜け落ちた領域が無ければ、二枚目の補助撮影画像の処理を実行することなくそのまま終了しても良い。なお、二枚目の補助撮影画像の処理により、一枚目の補助撮影画像の処理で距離情報が抜け落ちた領域を修正するのみならず、互いに算出された距離情報を比較することによりエラーチェックを行うこともできる。 When the auxiliary opening image is performed twice by rotating the structured opening, the above-described flow is repeated for each auxiliary shooting image. However, as a result of calculation using the first auxiliary captured image, if there is no area where the distance information is missing, the processing may be terminated without executing the processing of the second auxiliary captured image. It should be noted that the processing of the second auxiliary captured image not only corrects the area where the distance information has been lost in the processing of the first auxiliary captured image, but also checks the error by comparing the distance information calculated with each other. It can also be done.
以上の説明においては、構造化開口としてＲフィルタ部３０４とＢフィルタ部３０５の２つの開口を有する構造化開口ユニット３００を例に説明したが、構造化開口には他にもさまざまバリエーションが存在する。その例を以下に説明する。
In the above description, the
図９は、他の構造化開口４００の構成を示す図である。図３のフィルタ３０２がＲフィルタ部３０４およびＢフィルタ部３０５の２つのフィルタ部を有するのに対して、構造化開口４００のフィルタ４０２は、Ｒフィルタ部４０４およびＢフィルタ部４０５に加え、緑色の波長帯を透過させるＧフィルタ部４０６を有する。
FIG. 9 is a diagram showing a configuration of another
具体的な構造として、保持枠４０１は、中心部分が中空の円筒形を成し、フィルタ４０２は、保持枠４０１の中空部分に張設されて固定されている。保持枠４０１の外周部にはギア４０７が全周にわたって設けられている。したがって、保持枠３０１に代えて保持枠４０１を構造化開口ユニット３００に適用すれば、上述の使用形態と同様の使用形態を実現させることができる。
As a specific structure, the holding
図示するように、Ｒフィルタ部４０４、Ｇフィルタ部４０６およびＢフィルタ部４０５は、フィルタ４０２の中心を通る光軸２０１に対して、それぞれ偏心した位置であって互いに１２０度の間隔を成す対称位置に設けられている。別言すれば、遮断フィルタ部４０３の中心に対して、それぞれ偏心した位置であって互いに１２０度の間隔を成す対称位置に設けられた３つの開口に、赤色の波長帯を透過させるＲフィルタ部４０４、緑色の波長帯を透過させるＧフィルタ部４０６および青色の波長帯を透過させるＢフィルタ部４０５が形成されている。
As shown in the figure, the
Ｇフィルタ部４０６を加えることにより、撮像素子２４３におけるＧ画素フィルタが設けられた画素の出力である緑色画像を補助撮影画像として利用することができる。このように構造化開口を設定すれば、撮像素子２４３が分離する波長帯を余すことなく利用でき、距離情報の精度向上に寄与する。具体的には、それぞれの開口位置および透過波長帯に対応した各深さのＰＳＦを予め用意しておけば、図１を用いて説明したコーデッドアパーチャペアによる距離算出の手法をこれらの画像に適用することができる。ただし、各計算式において、ｉ＝１、２、３とする。さらに、自転機構を利用して各フィルタ部の相対的な位置関係を変更して補助撮影画像を取得すれば、より精度の高い距離情報を算出することができる。
By adding the
なお、上述のように、Ｇ画素フィルタが設けられた画素は、緑色波長帯と共に若干の赤色波長帯にも青色波長帯にも感度を有するので、緑色画像は、Ｒフィルタ部４０４およびＢフィルタ部４０５を通過した被写体光束の影響を受けている。したがって、緑色画像は純粋にＧフィルタ部４０６の開口を通過した被写体光束による画像とは言えないので、距離情報を算出する処理においては、緑色画像を補助的に利用することが好ましい。この意味において、開口を２つに設定する場合には、互いの被写体光束の影響を受けにくいように、撮像素子が分離する複数の波長帯において互いに最も離れた波長帯に対応するフィルタをそれぞれ用いることが好ましいと言える。
Note that, as described above, the pixel provided with the G pixel filter has sensitivity in the red wavelength band and the blue wavelength band as well as the green wavelength band. It is influenced by the subject luminous flux that has passed through 405. Therefore, since the green image cannot be said to be an image of the subject light flux that has passed through the opening of the
また、補助撮影画像から、赤色画像、緑色画像および青色画像が抽出できれば、被写体画像としてカラー画像を形成できる。したがって、構造化開口を介しながらも一定画質の視認用画像を取得することができる。 If a red image, a green image, and a blue image can be extracted from the auxiliary captured image, a color image can be formed as the subject image. Therefore, it is possible to obtain a visual image with constant image quality through the structured opening.
図１０は、更に他の構造化開口５００の構成を示す図である。図３を用いて説明した構造化開口ユニット３００は、自転機構を利用してＲフィルタ部３０４とＢフィルタ部３０５の相対位置を反転させた。また、本撮影画像を撮影するときは構造化開口ユニット３００をレンズユニット２１０から抜出し、補助撮影画像を撮影するときは構造化開口ユニット３００をレンズユニット２１０へ装着した。これに対し、構造化開口５００は、公転機構を利用してＲフィルタ部とＢフィルタ部の相対位置を反転させ、本撮影画像を撮影するときもレンズユニット２１０から抜出することを要しない。
FIG. 10 is a diagram showing a configuration of still another
レンズ鏡筒５１７は、少なくとも構造化開口５００を内包する部位において断面が広く設定されている。なお、図４を用いて説明したレンズ鏡筒２１７に相当する外形は、点線５１１に相当する。構造化開口５００は、３つの開口を有する保持枠５０１と、そのうちの２つの開口に張設されたフィルタ５２２，５３２を主な構成要素とする。保持枠５０１の中心には回転軸５１０が設けられており、保持枠５０１はレンズ鏡筒５１７に対して回転自在に軸支されている。保持枠５０１は全体として円形を成し、その外周部分には全集にわたって内向きにギア５０６が設けられている。ギア５０６は、レンズ鏡筒５１７内に支持されたアクチュエータ５１５と直接またはギアトレインを介して連結されており、保持枠５０１は、アクチュエータ５１５の駆動により回転軸５１０回りに回転する。
The
保持枠５０１は、回転軸５１０を中心として互いに１２０度の間隔を成す対称位置に、被写体光束と略同じ大きさ開口を３つ備えている。そのうちの一つにフィルタ５２２が、他の一つにフィルタ５３２が張設され、残り一つは被写体光束の全部を通過させる全開口５４２である。そして、レンズシステム制御部２１６は、アクチュエータ５１５の駆動により、フィルタ５２２、５３２および全開口５４２のうちのいずれか一つを、光軸２０１を中心とする被写体光束中に配設することができる。つまり、被写体光束にフィルタ５２２、５３２および全開口５４２のいずれかを挿抜することができる。
The holding
フィルタ５２２は、フィルタ３０２と同様に、被写体光束を遮断する遮断フィルタ部５２３、赤色の波長帯を透過させるＲフィルタ部５２４および青色の波長帯を透過させるＢフィルタ部５２５から構成される。赤色の波長帯を透過させるＲフィルタ部５２４と青色の波長帯を透過させるＢフィルタ部５２５は、遮断フィルタ部５２３の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられたペアとなる２つの開口にそれぞれ形成されている。
Similar to the
同様に、フィルタ５３２も、被写体光束を遮断する遮断フィルタ部５３３、赤色の波長帯を透過させるＲフィルタ部５３４および青色の波長帯を透過させるＢフィルタ部５３５から構成される。赤色の波長帯を透過させるＲフィルタ部５３４と青色の波長帯を透過させるＢフィルタ部５３５は、遮断フィルタ部５３３の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられたペアとなる２つの開口にそれぞれ形成されている。
Similarly, the
そして、フィルタ５２２の開口のペアとフィルタ５３２の開口のペアは、保持枠５０１が１２０度回転されたときに一致するように配置されている。また、Ｒフィルタ部５２４とＢフィルタ部５２５の相対位置関係は、Ｒフィルタ部５３４とＢフィルタ部５３５の相対位置関係と逆転して形成されている。したがって、被写体光束にフィルタ５２２を配設したときとフィルタ５３２を配設したときで、ちょうどＲフィルタ部とＢフィルタ部の関係が入れ替わった状態を実現する。
The pair of openings of the
なお、保持枠５０１のうち、３つの開口を形成するプレート部分は非透過部材で形成することが好ましい。さらには、植毛紙等の遮光部材で表面を処理することが好ましい。このような対策により、鏡筒内の迷光を遮断することが期待できる。
In addition, it is preferable to form the plate part which forms three openings among the holding
以上のように構造化開口５００を構成すれば、ユーザによる構造化開口ユニットの挿抜動作を省くことができる。すなわち、レンズシステム制御部２１６がアクチュエータ５１５を駆動して自動的に、本撮影画像を撮影するときには全開口５４２を被写体光束に配置させ、補助撮影画像を撮影するときにはフィルタ５２２，５３２を被写体光束に配置させることができる。なお、保持枠５０１にフィルタを張設する開口をさらに追加して、構造化開口４００の３つのフィルタ部が順次相対的な位置関係を変えながら被写体光束に挿抜されるように構成しても良い。
If the
図１１は、更に他の構造化開口７００の構成を示す図である。これまでに説明した構造化開口は、遮断フィルタ部に設けられた開口にＲフィルタ部、Ｇフィルタ部、Ｂフィルタ部のいずれかを配して構成されていた。このような構成は、撮像素子２４３を構成する画素に設けられた画素フィルタのいずれかの波長帯に一致させることを目的としている。これに対し、構造化開口７００のフィルタ構成は、フィルタ３０２と補色の関係にある。
FIG. 11 is a diagram showing a configuration of still another
保持枠７０１は、中心部分が中空の円筒形を成し、フィルタ７０２は、保持枠７０１の中空部分に張設されて固定されている。保持枠７０１の外周部にはギア７０６が全周にわたって設けられている。したがって、保持枠３０１に代えて保持枠７０１を構造化開口ユニット３００に適用すれば、構造化開口ユニット３００の使用形態と同様の使用形態を実現させることができる。
The holding
フィルタ７０２は、被写体光束を透過する透過フィルタ部７０３、シアンの波長帯を透過させるＣフィルタ部７０４およびイエローの波長帯を透過させるＹフィルタ部７０５から構成される。図示するようにＣフィルタ部７０４とＹフィルタ部７０５は、フィルタ７０２の中心を通る光軸２０１に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられている。別言すれば、透過フィルタ部７０３の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられた２つの開口に、シアンの波長帯を透過させるＣフィルタ部７０４とイエローの波長帯を透過させるＹフィルタ部７０５が形成されている。
The
シアンは赤色の補色であり、Ｃフィルタ部７０４は、被写体光束のうち赤色の波長帯を遮断するが青色と緑色の波長帯を通過させる。イエローは青色の補色であり、Ｙフィルタ部７０５は、被写体光束のうち青色の波長帯を遮断するが赤色と緑色の波長帯を通過させる。したがって、Ｒ画素フィルタが設けられた画素の出力を集めて生成される赤色画像は、Ｃフィルタ部７０４に入射する赤色の被写体光束が遮断された被写体画像であり、Ｃフィルタ部７０４の偏心位置に基づいた偏りを持った被写体画像である。同様に、Ｂ画素フィルタが設けられた画素の出力を集めて生成される青色画像は、Ｙフィルタ部７０５に入射する青色の被写体光束が遮断された被写体画像であり、Ｙフィルタ部７０５の偏心位置に基づいた偏りを持った被写体画像である。
Cyan is a complementary color of red, and the
したがって、それぞれの開口位置および遮断波長帯に対応した各深さのＰＳＦを予め用意しておけば、図１を用いて説明したコーデッドアパーチャペアによる距離算出の手法をこれらの画像に適用することができる。一度の撮影により異なる２つの開口を通過する被写体画像をそれぞれ取得することができることは構造化開口ユニット３００と同様であり、画像間に生じる被写体の動き、撮影者の手振れの影響を受けることが無く、距離情報を精度良く算出することができる。
Therefore, if PSFs having respective depths corresponding to the respective aperture positions and cut-off wavelength bands are prepared in advance, the distance calculation method using the coded aperture pair described with reference to FIG. 1 can be applied to these images. it can. Similar to the structured
また、緑色の波長帯は、フィルタ７０２のいずれの部分によっても遮断されないので、Ｇ画素フィルタが設けられた画素の出力は、本撮影画像の撮影における出力とほぼ同様である。したがって、赤色画像と青色画像と共に緑色画像も取得できるので、被写体画像としてカラー画像を形成できる。これにより、構造化開口を介しながらも一定画質の視認用画像を取得することができる。なお、緑色の補色であるマゼンタの波長帯を透過させるＭフィルタ部も含めれば、構造化開口４００、５００の形態にもこのような補色関係にあるフィルタ部を適用することができる。
Further, since the green wavelength band is not blocked by any part of the
次に、構造化開口を配設する位置について説明する。上述の実施形態においては図２で示すように、構造化開口をレンズユニット２１０の瞳位置またはその近傍に配設した。しかし、構造化開口の配設位置はレンズユニット２１０の瞳位置近傍に限らない。図１２は、構造化開口の他の配設位置を説明する説明図である。
Next, the position where the structured opening is disposed will be described. In the above-described embodiment, as shown in FIG. 2, the structured aperture is disposed at or near the pupil position of the
一眼レフカメラ８００は、レンズユニット８１０とカメラユニット８３０とから構成される。レンズユニット８１０の瞳位置８０１を通過した被写体光束は一次結像面８３１に結像する。一次結像面８３１で一旦結像した被写体光束は、さらに光学系を介して撮像素子８４３の受光面である二次結像面に結像する。構造化開口８０２は、一次結像面８３１と二次結像面である撮像素子８４３の受光面の間に位置する、瞳位置８０１と共役な位置に配設される。すなわち、構造化開口は、レンズユニットの瞳位置またはその近傍に限らず、これに共役な位置またはその近傍に配設しても良い。特に、一眼レフカメラのようにレンズ交換式カメラの場合、カメラユニット側に構造化開口を設ければ、レンズユニットごとに構造化開口を配設しなくても良い。
The single
以上の実施形態においては、一眼レフカメラを例に説明したが、光学ファインダを持たないレンズ交換式カメラ、レンズユニットが一体化されたコンパクトカメラ、動画撮影を行うこともできるビデオカメラといった撮像装置に対しても適用することができる。 In the above embodiments, a single-lens reflex camera has been described as an example. However, in an imaging apparatus such as an interchangeable lens camera that does not have an optical finder, a compact camera in which a lens unit is integrated, and a video camera that can also perform moving image shooting. It can also be applied to.
また、以上の実施形態においては、撮像素子としてベイヤー配列のカラーフィルタを有する単板式撮像素子を例に説明したが、他のカラーフィルタ配列であっても良く、さらには、ＲＧＢに限らず他の波長帯を透過させるフィルタが配列されていても良い。この場合、構造化開口のフィルタ部は、撮像素子のカラーフィルタの波長帯に応じて透過および遮断波長帯が選択される。また、カラーフィルタを持たず、フォトダイオードの奥行き方向に異なる感応波長帯を有する撮像素子に対しても適用できる。この場合、構造化開口のフィルタ部は、フォトダイオードの奥行き方向で分離される波長帯に応じて透過および遮断波長帯が選択される。さらには、単板の撮像素子を備えるカメラに限らず、例えばＲＧＢのそれぞれに分けられた三板式カメラのような、入射する被写体光束を複数の波長帯に分離してそれぞれの波長帯を独立して受光する複数の撮像素子を備えるカメラに対しても適用することができる。 In the above embodiment, a single-plate image sensor having a Bayer array color filter as an image sensor has been described as an example. However, other color filter arrays may be used, and not limited to RGB. A filter that transmits the wavelength band may be arranged. In this case, for the filter portion of the structured aperture, transmission and cutoff wavelength bands are selected according to the wavelength band of the color filter of the image sensor. Further, the present invention can be applied to an image pickup element that does not have a color filter and has different sensitive wavelength bands in the depth direction of the photodiode. In this case, the transmission and cut-off wavelength bands are selected for the filter portion of the structured aperture according to the wavelength bands separated in the depth direction of the photodiode. Furthermore, the present invention is not limited to a camera having a single-plate image sensor, but separates the incident light flux into a plurality of wavelength bands, such as a three-plate camera divided into RGB, for example, to make each wavelength band independent. The present invention can also be applied to a camera including a plurality of image sensors that receive light.
次に、図２等を用いて説明した、構造化開口ユニット３００を適用した一眼レフカメラ２００による撮影シーケンスの例を説明する。ただし、バリエーションとして説明した他の構成の構造化開口、構造化開口の配設位置、撮像素子の種類、数等についても、適宜組み合わせて適用し得る。
Next, an example of an imaging sequence by the single-
図１３は、本撮影画像および補助撮影画像の取得フローを示す図である。撮影シーケンスが開始されると、カメラシステム制御部２４５は、ステップＳ１３０１で、これから行う撮影動作が本撮影画像の撮影動作か、補助撮影画像の撮影動作かを判断する。本撮影画像の撮影動作であると判断したときは、ステップＳ１３０２へ進む。
FIG. 13 is a diagram illustrating a flow of acquiring a main captured image and an auxiliary captured image. When the shooting sequence is started, the camera
ステップＳ１３０２でカメラシステム制御部２４５は、ユーザにより構造化開口ユニット３００が被写体光束から抜出されているか否かを判断する。抜出さているか否かは、例えば、アクチュエータ２１５を回転させたときに検出される負荷の大小により判断できる。または、フォトインタラプタなどのセンサを設けて判断しても良い。なお、図１０を用いて説明した構造化開口５００のような公転機構を採用する場合は、ステップＳ１３０２の判断処理に代えて、アクチュエータ５１５により全開口５４２を被写体光束に挿入する動作処理を実行する。
In step S1302, the camera
カメラシステム制御部２４５は、構造化開口ユニット３００が抜出されたと判断したらステップＳ１３０３へ進む。抜出されるまではステップＳ１３０２で待機する。
If the camera
ステップＳ１３０３では、カメラシステム制御部２４５は、レリーズスイッチ２５５のＳＷ１がＯＮにされるのを待って、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像の輝度分布を取得する。カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ１３０４に進み、露出値を算出する。ここで、露出値とは、撮像素子２４３を被写体光束に露光する露光時間、被写体光束を制限する絞り２１４の絞り値、および撮像素子２４３の読み出しゲインに対応するＩＳＯ感度の３つの数値である。
In step S1303, the camera
露出値は、カメラメモリに予め記録されたプログラム線図によって決定される。例えば、ユーザにより絞り優先モードに設定されている場合は、カメラシステム制御部２４５は、ユーザが設定した絞り値はそのままにして、露光時間と撮像感度を一定のルールに即して設定されているプログラム線図上の値により決定する。
The exposure value is determined by a program diagram recorded in advance in the camera memory. For example, when the aperture priority mode is set by the user, the camera
また、カメラシステム制御部２４５は、ＳＷ１がＯＮにされると、測光処理の他にも合焦動作などの撮影準備処理を実行する。合焦動作は、ＡＦセンサ２４０から取得された位相差情報に基づいて、レンズシステム制御部２１６がフォーカスレンズ２１２を駆動することにより実現される。
Further, when SW1 is turned on, the camera
撮影準備処理が終了すると、カメラシステム制御部２４５は、ステップＳ１３０５へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、本撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。さらに、フォーカルプレーンシャッタ２４１が開放されている間に撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に予め設定されたフォーマットに従って画像ファイルを生成させ、当該画像ファイルを記録部に記録する。
When the shooting preparation process is completed, the camera
カメラシステム制御部２４５は、一連の本撮影画像の撮影動作が終了したらステップＳ１３０６へ進み、引き続き補助撮影画像の撮影動作が指示されているか否かを判断する。補助撮影画像の撮影動作が指示されていなければ、一連の処理を終了する。
The camera
カメラシステム制御部２４５は、ステップＳ１３０１またはステップＳ１３０６で補助撮影画像の撮影動作が指示されていると判断したら、ステップＳ１３０７へ進み、ユーザにより構造化開口ユニット３００が被写体光束中に装着されているか否かを判断する。カメラシステム制御部２４５は、構造化開口ユニット３００が装着されるまでステップＳ１３０７で待機する。なお、図１０を用いて説明した構造化開口５００のような公転機構を採用する場合は、ステップＳ１３０７の判断処理に代えて、アクチュエータ５１５によりフィルタ５２２またはフィルタ５３２を被写体光束に挿入する動作処理を実行する。
If the camera
カメラシステム制御部２４５は、構造化開口ユニット３００が装着されたと判断したらステップＳ１３０８へ進む。補助撮影画像の撮影動作は、被写体光束中に構造化開口を介在させて実行するので、撮像素子２４３に到達する被写体光束の光学的条件が、本撮影画像の撮影動作時とは大きく異なる。簡単には、撮像素子２４３に到達する被写体光束が構造化開口によって制限されるので、本撮影画像の撮影条件と同じ条件では暗い画像が取得されることになる。そこで、カメラシステム制御部２４５は、補助撮影画像の撮影条件を、本撮影画像の撮影条件とは異ならせる。
If the camera
そこで、本実施形態においては、カメラシステム制御部２４５は、補助撮影画像の撮影動作時にフラッシュ２４９を動作させて被写体を照射する。カメラシステム制御部２４５は、ステップＳ１３０８へ進むと、ＳＷ１がＯＮにされるのを待って、フラッシュ２４９の事前照射動作であるプリ発光を行い、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像のプリ発光時における輝度分布を取得する。
Therefore, in the present embodiment, the camera
カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ１３０９へ進み、露出値を算出する。このときの露出値はフラッシュ２４９の発光を前提とした値であり、したがって、カメラシステム制御部２４５は、ステップＳ１３１０へ進み、撮影動作時におけるフラッシュ２４９の照射量を決定する。なお、照射量の算出は、ＡＥセンサ２３７から得られる輝度分布情報から行っても良いが、本撮影画像の撮影動作時にもフラッシュ２４９を照射させたのであれば、当該撮影動作時における照射量から、補助撮影画像の撮影動作における照射量を算出しても良い。具体的には、構造化開口を被写体光束中に介在させることによりカットされる光量は事前の実験等により把握されるので、これに応じて低下する露出段数分に相当する光量を本撮影画像の撮影動作時における照射量に足して算出する。
After acquiring the luminance distribution of the subject image, the camera
なお、ステップＳ１３０９における露出値の算出は、ステップＳ１３１０のフラッシュ２４９の照射量の決定とセットで実行されるが、露出値のうちＩＳＯ感度については、ステップＳ１３０４で算出されるＩＳＯ感度よりも大きく設定すると良い。すなわち、補助撮影画像における被写体のぶれは、距離情報の算出に悪影響を及ぼし精度の低下を招くので、撮像素子２４３に対する露光時間は短いことが好ましい。そこで、露光時間を短くすべく、ＩＳＯ感度を大きく設定する。補助撮影画像はユーザの鑑賞画像ではないので、距離情報の算出に影響しない限りにおいてＩＳＯ感度が大きく設定されても良い。したがって、カメラシステム制御部２４５が設定し得るＩＳＯ感度の上限は、本撮影画像の撮影動作時の値と補助撮影画像の撮影動作時の値で異なり、補助撮影画像の撮影動作時の値の方が大きい。
Note that the calculation of the exposure value in step S1309 is executed in combination with the determination of the irradiation amount of the
このように撮影動作時における露出値と照射量が決定されると、カメラシステム制御部２４５は、ステップＳ１３１１へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、第１補助撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。このとき、決定された照射量に従ってフラッシュ２４９を動作させ被写体を照射する。さらに、フォーカルプレーンシャッタ２４１が開放されている間に撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に赤色画像および青色画像を含む補助撮影画像ファイルを生成させ、当該画像ファイルを記録部に記録する。
When the exposure value and the irradiation amount during the shooting operation are determined in this way, the camera
さらにカメラシステム制御部２４５は、ステップＳ１３１２へ進み、レンズシステム制御部２１６およびアクチュエータ２１５を介して構造化開口ユニット３００の保持枠３０１を回転させ、Ｒフィルタ部３０４とＢフィルタ部３０５の相対的な位置関係を反転させる。
Further, the camera
そして、ステップＳ１３１３へ進み、同じ露出値と照射量で第２補助撮影画像の取得動作を実行する。具体的な処理は第１補助撮影画像の取得動作と同様である。以上により一連の処理を終了する。 Then, the process proceeds to step S1313, and the second auxiliary captured image acquisition operation is executed with the same exposure value and irradiation amount. The specific process is the same as the operation for acquiring the first auxiliary captured image. Thus, a series of processing ends.
なお、本フローにおいては、補助撮影画像として、Ｒフィルタ部３０４とＢフィルタ部３０５を反転させて二度撮影動作を行った。しかし、上述のように一枚の補助撮影画像からも距離情報は算出できるので、特に精度を求めないのであれば第２補助撮影画像の取得を省いても構わない。または、第１補助撮影画像を解析して、被写体領域中に距離を算出できない領域があると判断されたときに、第２補助撮影画像の取得を実行しても良い。また、構造化開口４００のように緑色画像も利用する場合には、３つのフィルタ部の相対的な位置関係を変えつつ三度の撮影動作を実行しても良い。
In this flow, as the auxiliary captured image, the
また、本フローにおいては、補助撮影画像の撮影動作時にフラッシュ２４９を照射させて構造化開口による光量低下を補った。しかし、被写体環境によってはフラッシュ２４９を照射させずに他の撮影条件を変更することにより光量低下を補っても良い。例えば、上述のように、ＩＳＯ感度を大きな値に設定する。または、予め定められた露光時間を下限として、露光時間を長めに設定しても良い。つまり、カメラシステム制御部２４５は、本撮影画像の撮影条件に比較して、補助撮影画像の撮影条件を、被写体光束をより取り込む、取り込んだ光をより増幅する方向に変更すればよい。
Further, in this flow, the
また、本フローにおいては構造化開口ユニット３００を利用することを前提に説明したが、図１を用いて説明した従来のシングルコーデッドアパーチャ、コーデッドアパーチャペアを利用する場合であっても、撮像素子２４３に到達する被写体光束が構造化開口によって制限されることに変わりはない。したがって、いずれの構造化開口を利用する場合であっても、カメラシステム制御部２４５は、補助撮影画像の撮影条件と本撮影画像の撮影条件を異ならせることが好ましい。
Further, in this flow, the description has been made on the assumption that the structured
また、従来のシングルコーデッドアパーチャ、コーデッドアパーチャペアを利用する場合であれば、被写体を照射する照射光に赤外光を利用しても良い。赤外光を利用すれば、被写体が人物であるような場合に、まぶしいと感じさせることなく補助撮影画像を取得することができる。 Further, in the case of using a conventional single coded aperture or coded aperture pair, infrared light may be used as irradiation light for irradiating the subject. If infrared light is used, an auxiliary captured image can be acquired without feeling dazzling when the subject is a person.
次に、補助撮影画像から算出された距離情報を本撮影画像に適用する手法について説明する。上述のように補助撮影画像は構造化開口を介して取得されるので、たとえＲＧＢのそれぞれの像を得たとしても、本撮影画像に対しては画質が劣化する。つまり、補助撮影画像は、観賞用の画像としては好ましくない。 Next, a method for applying the distance information calculated from the auxiliary captured image to the actual captured image will be described. As described above, since the auxiliary captured image is acquired through the structured aperture, even if RGB images are obtained, the image quality is deteriorated with respect to the actual captured image. That is, the auxiliary captured image is not preferable as an ornamental image.
一方で、被写体領域の距離情報として有効に利用されるのは、本撮影画像に写る被写体に対する距離情報である。したがって、本撮影画像と補助撮影画像を連続的に取得して、補助撮影画像から得られた被写体の距離情報を本撮影画像に適用することが好ましい。しかしながら、連続的に撮影する場合であっても、被写体が動いていたり、カメラを持つユーザの手が揺れていると、それぞれに写る被写体には相互にずれが生じることになる。すると、算出した距離情報をそのまま本撮影画像に適用できない。そこで、本実施形態においては、それぞれに写る被写体に生じた相互のずれを移動ベクトルとして算出し、この移動ベクトルを用いて距離情報を補正する。 On the other hand, what is effectively used as the distance information of the subject area is distance information with respect to the subject in the captured image. Therefore, it is preferable to acquire the main captured image and the auxiliary captured image continuously and apply the subject distance information obtained from the auxiliary captured image to the main captured image. However, even in the case of continuous shooting, if the subject is moving or the hand of the user holding the camera is shaking, there will be a shift between the subjects shown in each. Then, the calculated distance information cannot be applied to the actual captured image as it is. Therefore, in the present embodiment, a mutual shift generated in each of the captured subjects is calculated as a movement vector, and distance information is corrected using this movement vector.
図１４は、補助撮影画像から本撮影画像の距離情報を算出する算出処理の説明図である。ここでは、連続撮影により取得された一枚目の第１本撮影画像、補助撮影画像、二枚目の第２本撮影画像を取り込んで、補助撮影画像から算出された距離情報を第１本撮影画像および第２本撮影画像へ適用する場合について説明する。また、ここでは、それぞれの撮影画像を取得してシーケンシャルに距離情報を算出する場合について説明する。したがって、本実施形態では具体的な算出処理は一眼レフカメラ２００の距離情報算出部２５１が実行するが、上述のように、算出処理は、カメラ内で実行しなくても、例えばＰＣなどの独立した画像処理装置で実行することもできる。
FIG. 14 is an explanatory diagram of a calculation process for calculating distance information of the main captured image from the auxiliary captured image. Here, the first first captured image, the auxiliary captured image, and the second second captured image acquired by continuous shooting are captured, and the distance information calculated from the auxiliary captured image is used for the first actual captured image. A case of applying to an image and a second actual captured image will be described. Here, a case will be described in which each captured image is acquired and distance information is calculated sequentially. Therefore, in the present embodiment, the specific calculation process is executed by the distance
連続的に撮影された第１本撮影画像、補助撮影画像、第２本撮影画像は、それぞれ時刻ｔ１、ｔ２、ｔ３に撮影された撮影画像である。それぞれの撮影時刻は、ワークメモリ２５３でそれぞれの撮影画像に対応させて記憶されている。あるいは、それぞれの画像ファイルのタグ情報に記録されていても良い。
The first actual captured image, the auxiliary captured image, and the second actual captured image continuously captured are captured images captured at times t1, t2, and t3, respectively. Each photographing time is stored in the
時刻ｔ１に撮影された第１本撮影画像には、図示するように、移動体９０１と静止体９０２が写っている。そして、時刻ｔ３に撮影された第２本撮影画像にも、移動体９０１と静止体９０２が写っているが、これらの相対位置は第１本撮影画像における相対位置と異なっている。そこで、それぞれの画像領域に対して小領域を設定し、互いの画像間で２次元的に走査してマッチングを行う。マッチングの高い小領域間を囲んで同一被写体と推定される被写体領域を分類すると、移動体９０１と静止体９０２を分離することができる。
As shown in the drawing, a moving
移動体９０１として分離されたそれぞれの領域を、移動体枠９１０、９１１として示す。すると、例えば、第１本撮影画像における移動体枠９１０の重心位置と、第２本撮影画像における移動体枠９１１の重心位置の差分を計算することにより、時刻ｔ１から時刻ｔ３の間に移動体９０１が移動した移動量を取得することができる。つまり、それぞれの画像の２次元方向を座標系とする画像座標系における移動ベクトル９２０を算出することができる。
Respective areas separated as the moving
距離情報算出部２５１は、補助撮影画像からは各領域における距離情報を算出しているので、補助撮影画像における移動体９０１と静止体９０２のそれぞれの距離情報を把握している。また、補助撮影画像は時刻ｔ２に撮影された画像であるから、時刻ｔ１と時刻ｔ２に対する時刻ｔ３の内分比に応じて移動ベクトル９２０を分割すれば、時刻ｔ１から時刻ｔ２に対する移動ベクトル９２１と、時刻ｔ２から時刻ｔ３に対する移動ベクトル９２２を算出することができる。
Since the distance
移動ベクトル９２１と移動体枠９１０が算出できれば、補助撮影画像に移動ベクトル９２１の分だけ移動された移動体枠９１０を当てはめて当該領域の距離情報を取得できる。この距離情報が第１本撮影画像の移動体枠９１０における距離情報となる。また、静止体９０２に対応する領域はそのまま共通の距離情報として採用できる。なお、補助撮影画像の静止体９０２のうち移動体９０１に隠れている領域は、第１本撮影画像に対して距離情報を直接持ち得ないが、例えば周りの距離情報から補間処理を施すことにより補うことができる。
If the movement vector 921 and the moving
同様に、補助撮影画像から第２本撮影画像に対する移動体９０１の移動ベクトル９２２と移動体枠９１１を用いて、第２本撮影画像の移動体９０１の距離情報を算出することができる。また、静止体９０２に対応する領域、移動体９０１に隠れる領域も同様に処理できる。
Similarly, distance information of the moving
なお、上述の例においては、二枚の本撮影画像の間に補助撮影画像が挟まれた場合を説明したが、例えば二枚の本撮影画像の後に補助撮影画像が取得されても良い。その場合、二枚の本撮影画像から取得された移動ベクトルを撮影時刻に応じて外分すれば良い。 In the above example, the case where the auxiliary captured image is sandwiched between the two main captured images has been described. However, for example, the auxiliary captured image may be acquired after the two main captured images. In that case, the movement vector acquired from the two main photographed images may be divided in accordance with the photographing time.
以上の手順により、補助撮影画像と共に連続して撮影される本撮影画像の距離情報を取得することができる。なお、補助撮影画像は、距離情報の精度を高めたい場合には、例えばＲフィルタ部３０４とＢフィルタ部３０５を反転させた二枚を取得するが、その場合は、第１本撮影画像と第２本撮影画像の間に二枚の補助撮影画像が介在することになる。二枚の補助撮影画像を介在させる場合には、それぞれの撮影時刻を考慮して移動ベクトルを算出すれば良い。
According to the above procedure, distance information of the main captured image continuously captured together with the auxiliary captured image can be acquired. In addition, when the accuracy of distance information is to be improved, for example, two auxiliary captured images obtained by inverting the
ただし、被写体中に移動体が存在する場合には、本撮影画像間の時間差が大きくなるので、間に撮影される補助撮影画像を一枚にすることが好ましい。その意味において、ユーザの手作業を介する構造化開口ユニット３００のような挿抜機構ではなく、フィルタ部と開口部を自動的に切り替えることのできる、例えば図１０を用いて説明した構造化開口５００のような構成を採用することが好ましい。
However, when there is a moving body in the subject, the time difference between the main captured images becomes large, so it is preferable to use one auxiliary captured image captured in the meantime. In that sense, instead of the insertion / extraction mechanism such as the
また、本フローにおいては構造化開口としていずれの構成も採用できる。すなわち、図１を用いて説明した従来のシングルコーデッドアパーチャ、コーデッドアパーチャペアを利用する場合であっても、連続して本撮影画像と補助撮影画像を取得すれば、上述のフローを再現することができる。 In this flow, any structure can be adopted as the structured opening. That is, even when the conventional single coded aperture and the coded aperture pair described with reference to FIG. 1 are used, the above-described flow can be reproduced if the main captured image and the auxiliary captured image are continuously acquired. it can.
上述の説明においては、第１本撮影画像と第２本撮影画像の間で移動ベクトルを算出した。すなわち、構造化開口の影響を受けない画像どうしで移動ベクトルを算出することにより、移動ベクトルの精度を高めた。しかし、構造化開口の影響を無視し得れば、本撮影画像と補助撮影画像の二枚に対して同様の手法を採用できる。つまり、補助撮影画像にも移動体９０１は写っているので、本撮影画像との間でマッチング処理を行えば、両者間の移動ベクトルを算出することができる。算出された移動ベクトルと移動体枠を適用して、補助撮影画像の距離情報を本撮影画像の距離情報として補正できるのは、上述の処理と同様である。このように、本撮影画像と補助撮影画像間で直接的に距離情報の補正処理を実行する場合、撮影時刻による内分処理を伴わないので、それぞれの撮影時刻が記録されていなくても良い。また、当然ながら二枚の本撮影画像が取得されていなくても良い。
In the above description, the movement vector is calculated between the first actual captured image and the second actual captured image. That is, the accuracy of the movement vector is improved by calculating the movement vector between images that are not affected by the structured aperture. However, if the influence of the structured aperture can be ignored, the same technique can be adopted for the two images of the main image and the auxiliary image. That is, since the moving
次に、本撮影画像と補助撮影画像の撮影シーケンスのバリエーションについて説明する。図１５は、本撮影画像と補助撮影画像の撮影シーケンスについて説明する図である。カメラシステム制御部２４５は、ステップＳ１５０１で本撮影画像の撮影を実行すると、ＳＷ２のＯＮ、ＯＦＦに関わらず、続けて補助撮影画像の撮影を実行する。補助撮影画像の撮影の後、ステップＳ１５０３でＳＷ２のＯＮが継続されていれば、ステップＳ１５０４で再び本撮影画像の撮影を実行し、これを繰り返す。カメラシステム制御部２４５は、ステップＳ１５０３でＳＷ２がＯＦＦであることを検知して一連の撮影シーケンスを終了する。つまり、最初の本撮影画像の撮影後に一枚の補助撮影画像を撮影する。これにより、連続して取得される本撮影画像の距離情報を算出することができる。
Next, variations of the shooting sequence of the main shooting image and the auxiliary shooting image will be described. FIG. 15 is a diagram for explaining a shooting sequence of the main shooting image and the auxiliary shooting image. When the camera
図１６は、本画撮影像と補助撮影画像の他の撮影シーケンスについて説明する図である。カメラシステム制御部２４５は、ステップＳ１６０１で本撮影画像の撮影を実行し、ステップＳ１６０２で、続けてＳＷ２のＯＮが検出されれば、本撮影画像の撮影を繰り返す。ＯＦＦであることが検知されればステップＳ１６０３へ進んで、ＳＷ２のＯＮ、ＯＦＦに関わらず続けて補助撮影画像の撮影を実行し、一連の撮影シーケンスを終了する。つまり、連続する本撮影画像の撮影後に一枚の補助撮影画像を撮影する。これにより、連続して取得される本撮影画像の距離情報を算出することができる。
FIG. 16 is a diagram for explaining another shooting sequence of the main image and the auxiliary shooting image. In step S1601, the camera
図１７は、本画撮影像と補助撮影画像の他の撮影シーケンスについて説明する図である。カメラシステム制御部２４５は、ＳＷ２のＯＮが検出されると、ステップＳ１７０１でフラグｍに０を代入する。そして、ステップＳ１７０２でＳＷ２のＯＮが継続して検出されれば、ステップＳ１７０３へ進み、まずフラグｍをカウントアップする。続けてステップＳ１７０４へ進み本撮影画像を撮影する。カメラシステム制御部２４５は、ステップＳ１７０５へ進み、フラグｍが予め定められたｍ０と等しいか否かを判断する。等しくなければステップＳ１７０２へ戻って本撮影画像の撮影を繰り返す。等しければステップＳ１７０６へ進み、補助撮影画像を撮影して、再びステップＳ１７０１へ戻る。ステップＳ１７０２でＳＷ２のＯＦＦが検出されると、カメラシステム制御部２４５は一連の撮影シーケンスを終了する。つまり、予め定められたｍ０枚の本撮影画像の撮影ごとに一枚の補助撮影画像を撮影する。これにより、連続して取得される本撮影画像の距離情報を算出することができる。
FIG. 17 is a diagram for explaining another shooting sequence of the main image shooting image and the auxiliary shooting image. When the ON of SW2 is detected, the camera
以上の撮影シーケンスは互いに組み合わせても良い。また、前回実行された補助撮影画像の撮影との間に実行された本撮影画像の撮影の回数を考慮して補助撮影を実行するか否かを決定しても良い。 The above imaging sequences may be combined with each other. In addition, it may be determined whether or not to perform auxiliary shooting in consideration of the number of times of shooting of the main shooting image executed before the shooting of the auxiliary shooting image executed last time.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１０１、１１１ 保持枠、１０２、１１２ フィルタ、１０３、１１３ 遮断フィルタ部、１０４、１１４ 透過フィルタ部、２００ 一眼レフカメラ、２０１ 光軸、２１０ レンズユニット、２１１ レンズ群、２１２ フォーカスレンズ、２１３ ズームレンズ、２１４ 絞り、２１５ アクチュエータ、２１６ レンズシステム制御部、２１７ レンズ鏡筒、２１８ レンズマウント、２１９ 装着スリット、２２０ 挿抜ガイド、２２１ レンズメモリ、２２２ 構造化開口駆動部、２３０ カメラユニット、２３１ カメラマウント、２３２ メインミラー、２３３ 回転軸、２３４ ピント板、２３５ ペンタプリズム、２３６ 接眼光学系、２３７ ＡＥセンサ、２３８ サブミラー、２３９ ＡＦ光学系、２４０ ＡＦセンサ、２４１ フォーカルプレーンシャッタ、２４２ 光学ローパスフィルタ、２４３ 撮像素子、２４４ メイン基板、２４５ カメラシステム制御部、２４６ 画像処理部、２４７ 表示部、２４８ 二次電池、２４９ フラッシュ、２５０ パターン投光部、２５１ 距離情報算出部、２５２ カメラメモリ、２５３ ワークメモリ、２５４ 外部接続ＩＦ、２５５ レリーズスイッチ、３００ 構造化開口ユニット、３０１ 保持枠、３０２ フィルタ、３０３ 遮断フィルタ部、３０４ Ｒフィルタ部、３０５ Ｂフィルタ部、３０６ ギア、３０７ ベース部、３０８ 外周部、３０９ 把持部、４００ 構造化開口、４０１ 保持枠、４０２ フィルタ、４０４ Ｒフィルタ部、４０５ Ｂフィルタ部、４０６ Ｇフィルタ部、４０７ ギア、５００ 構造化開口、５０１ 保持枠、５０６ ギア、５１０ 回転軸、５１１ 点線、５１５ アクチュエータ、５１７ レンズ鏡筒、５２２，５３２ フィルタ、５２３ 遮断フィルタ部、５２４ Ｒフィルタ部、５２５ Ｂフィルタ部、５４２ 全開口、５３３ 遮断フィルタ部、５３４ Ｒフィルタ部、５３５ Ｂフィルタ部、６０１ Ｂ曲線、６０２ Ｇ曲線、６０３ Ｒ曲線、６１１、６１３ 矢印、７００ 構造化開口、７０１ 保持枠、７０２ フィルタ、７０３ 透過フィルタ部、７０４ Ｃフィルタ部、７０５ Ｙフィルタ部、７０６ ギア、８００ 一眼レフカメラ、８０１ 瞳位置、８０２ 構造化開口、８１０ レンズユニット、８３０ カメラユニット、８３１ 一次結像面、８４３ 撮像素子、９０１ 移動体、９０２ 静止体、９１０、９１１ 移動体枠、９２０、９２１、９２２ 移動ベクトル 101, 111 holding frame, 102, 112 filter, 103, 113 blocking filter unit, 104, 114 transmission filter unit, 200 single-lens reflex camera, 201 optical axis, 210 lens unit, 211 lens group, 212 focus lens, 213 zoom lens, 214 Aperture, 215 Actuator, 216 Lens system control unit, 217 Lens barrel, 218 Lens mount, 219 Mounting slit, 220 Insertion / extraction guide, 221 Lens memory, 222 Structured aperture drive unit, 230 Camera unit, 231 Camera mount, 232 Main Mirror, 233 Rotating shaft, 234 Focus plate, 235 Penta prism, 236 Eyepiece optical system, 237 AE sensor, 238 Sub mirror, 239 AF optical system, 240 AF sensor, 241 Four Ruplane shutter, 242 Optical low-pass filter, 243 Image sensor, 244 Main board, 245 Camera system control unit, 246 Image processing unit, 247 Display unit, 248 Secondary battery, 249 Flash, 250 pattern light projecting unit, 251 Distance information calculation , 252 Camera memory, 253 Work memory, 254 External connection IF, 255 Release switch, 300 Structured opening unit, 301 Holding frame, 302 Filter, 303 Blocking filter, 304 R filter, 305 B filter, 306 Gear, 307 base part, 308 outer periphery part, 309 grip part, 400 structured opening, 401 holding frame, 402 filter, 404 R filter part, 405 B filter part, 406 G filter part, 407 gear, 500 structured opening, 501 Holding frame, 506 gear, 510 rotating shaft, 511 dotted line, 515 actuator, 517 lens barrel, 522, 532 filter, 523 blocking filter section, 524 R filter section, 525 B filter section, 542 full opening, 533 blocking filter section, 534 R filter section, 535 B filter section, 601 B curve, 602 G curve, 603 R curve, 611, 613 arrow, 700 structured aperture, 701 holding frame, 702 filter, 703 transmission filter section, 704 C filter section, 705 Y filter section, 706 gear, 800 single-lens reflex camera, 801 pupil position, 802 structured aperture, 810 lens unit, 830 camera unit, 831 primary imaging plane, 843 image sensor, 901 moving body, 902 stationary body, 910, 911 Moving body frame, 92 , 921 and 922 movement vector
Claims (8)
前記光学系の光軸に交差して配設される構造化開口と、
前記構造化開口を前記被写体光束に対して挿抜する挿抜機構と、
前記挿抜機構により前記構造化開口を抜出して実行する本画像撮影と、前記挿抜機構により前記構造化開口を挿入して実行する補助画像撮影を制御する撮影制御部と
を備え、
前記撮影制御部は、前記本画像撮影と前記補助画像撮影で撮影条件を変更する撮像装置。 An image sensor that separates and detects a subject luminous flux incident through an optical system into a plurality of wavelength bands;
A structured aperture disposed across the optical axis of the optical system;
An insertion / extraction mechanism for inserting / extracting the structured aperture with respect to the subject luminous flux;
A main image capturing unit that extracts and executes the structured opening by the insertion / extraction mechanism; and an imaging control unit that controls auxiliary image capturing that is performed by inserting the structured opening by the insertion / extraction mechanism;
The imaging control unit is an imaging apparatus that changes imaging conditions between the main image shooting and the auxiliary image shooting.
前記撮影制御部は、前記補助画像撮影を実行するときは、前記照射部により前記被写体を照射する請求項１または２に記載の撮像装置。 An irradiation unit for irradiating the subject,
The imaging apparatus according to claim 1, wherein the imaging control unit irradiates the subject with the irradiation unit when performing the auxiliary image capturing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010135071A JP2012002859A (en) | 2010-06-14 | 2010-06-14 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010135071A JP2012002859A (en) | 2010-06-14 | 2010-06-14 | Imaging device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012002859A true JP2012002859A (en) | 2012-01-05 |
Family
ID=45534958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010135071A Withdrawn JP2012002859A (en) | 2010-06-14 | 2010-06-14 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012002859A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016061609A (en) * | 2014-09-16 | 2016-04-25 | キヤノン株式会社 | Distance measuring device, imaging apparatus, and distance measuring method |
| US10841493B2 (en) | 2018-09-13 | 2020-11-17 | Kabushiki Kaisha Toshiba | Optical filter, imaging device, and ranging device |
-
2010
- 2010-06-14 JP JP2010135071A patent/JP2012002859A/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016061609A (en) * | 2014-09-16 | 2016-04-25 | キヤノン株式会社 | Distance measuring device, imaging apparatus, and distance measuring method |
| US10841493B2 (en) | 2018-09-13 | 2020-11-17 | Kabushiki Kaisha Toshiba | Optical filter, imaging device, and ranging device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5517514B2 (en) | Imaging apparatus and control method thereof | |
| JP6062656B2 (en) | Imaging apparatus, control method, and program | |
| JP5947601B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE | |
| JP2012022308A (en) | Imaging device | |
| JP5898481B2 (en) | Imaging apparatus and focus detection method | |
| JP5644468B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM | |
| JP2013013050A (en) | Imaging apparatus and display method using imaging apparatus | |
| US10986262B2 (en) | Imaging apparatus, control method, and non-transitory storage medium | |
| JP5482799B2 (en) | Electronic camera | |
| JP2007323030A (en) | Imaging device, control method thereof, image processing apparatus, image processing method, imaging system and program | |
| JP2007053427A (en) | Imaging apparatus, image processing method and program | |
| JP5714931B2 (en) | Imaging device | |
| US9591203B2 (en) | Image processing apparatus, image processing method, recording medium, and image pickup apparatus | |
| JP5241347B2 (en) | Imaging device | |
| JP5510094B2 (en) | Image processing apparatus and image processing program | |
| JP2008242185A (en) | Digital camera and autofocus device | |
| JP2015207851A (en) | image processing method, image processing apparatus, imaging apparatus, image processing program, and storage medium | |
| JP2012002859A (en) | Imaging device | |
| JP2012002870A (en) | Imaging device, photographic lens, and image processing program | |
| JP2012022309A (en) | Imaging device | |
| JP2012088169A (en) | Distance information acquisition device and imaging apparatus | |
| JP2012107956A (en) | Device for acquiring distance information, imaging divice, and structured aperture unit | |
| JP6997544B2 (en) | Imaging device and its control method, program, storage medium | |
| JP5144469B2 (en) | Imaging apparatus and control method thereof | |
| US11736658B2 (en) | Image pickup apparatus, image pickup method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130903 |