JP2012022309A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2012022309A JP2012022309A JP2011130327A JP2011130327A JP2012022309A JP 2012022309 A JP2012022309 A JP 2012022309A JP 2011130327 A JP2011130327 A JP 2011130327A JP 2011130327 A JP2011130327 A JP 2011130327A JP 2012022309 A JP2012022309 A JP 2012022309A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- unit
- structured
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
レンズ光学系の一部に複雑な開口形状を有するマスクを設けた撮影レンズを介して撮影されたデジタル画像データから、被写体の距離情報を算出して、任意の深さに焦点を合わせた画像データを再構成する技術が知られている（例えば非特許文献１）。 Image data focused on an arbitrary depth by calculating distance information of the subject from digital image data taken through a taking lens provided with a mask having a complex aperture shape in a part of the lens optical system Is known (for example, Non-Patent Document 1).
また、それぞれ異なる開口形状を有するマスクを入れ替えて複数枚のデジタル画像を取得することで、距離情報の高精度化を図る技術が知られている（例えば非特許文献２）。
［先行技術文献］
［特許文献］
［非特許文献１］A. Levin, R. Fergus, F. Durand and W. Freeman "Image and Depth from a conventional Camera with a Coded Aperture", SIGGRAPH 2007
［非特許文献２］C. Zhou, S. Lin and S. Nayar "Coded Aperture Pairs for Depth from Defocus", ICCV 2009
In addition, there is known a technique for improving the accuracy of distance information by replacing a plurality of masks having different opening shapes and acquiring a plurality of digital images (for example, Non-Patent Document 2).
[Prior art documents]
[Patent Literature]
[Non-Patent Document 1] A. Levin, R. Fergus, F. Durand and W. Freeman "Image and Depth from a conventional Camera with a Coded Aperture", SIGGRAPH 2007
[Non-Patent Document 2] C. Zhou, S. Lin and S. Nayar "Coded Aperture Pairs for Depth from Defocus", ICCV 2009
上述の手法を用いる場合、距離情報を取得したい被写体の表面にコントラストが存在しないと精度良く距離を算出することができない。例えば、単一色の平滑な壁面などについては距離算出が困難であった。 When the above-described method is used, the distance cannot be accurately calculated unless there is contrast on the surface of the subject for which distance information is to be acquired. For example, it has been difficult to calculate the distance for a smooth wall surface of a single color.
上記課題を解決するために、本発明の態様における撮像装置は、光学系に配設され、被写体光束の少なくとも一部の波長帯に振幅変調を与える構造化開口と、被写体に対してパターン光を投光するパターン投光部と、パターン光を投影された被写体からの被写体光束を、構造化開口を介して受光する撮像素子とを備える。 In order to solve the above-described problems, an imaging apparatus according to an aspect of the present invention is provided in an optical system, and has a structured aperture that applies amplitude modulation to at least a part of a wavelength band of a subject luminous flux, and pattern light to the subject. A pattern light projecting unit that projects light and an image sensor that receives a subject light flux from a subject onto which the pattern light is projected via a structured aperture.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、従来の構造化開口を説明する説明図である。図１の（ａ）は、複雑な開口形状を有する構造化開口の正面図である。構造化開口は、保持枠１０１にフィルタ１０２が支持されて構成されている。フィルタ１０２は、被写体光束を遮断する遮断フィルタ部１０３と、被写体光束を透過させる透過フィルタ部１０４を有する。図示するように、透過フィルタ部１０４は２次元的に複雑な形状を有しており、これにより、被写体空間において深さ方向に異なる位置から入射する点像を、撮像素子の受光面上で特徴的な形状をもって結像させる。すなわち、このような開口形状を有する構造化開口を撮影レンズの瞳近傍に配置すれば、深さ方向である各距離に応じた点像分布関数（ＰＳＦ）を大きく異ならせることができる。各距離に応じた点像分布関数を大きく異ならせることができれば、被写体画像の各領域における被写体までの距離を精度良く算出することができる。なおここでは、ひとつの開口形状に対応して各距離に応じたＰＳＦが１セット用意される場合の構造化開口を、シングルコーデッドアパーチャと呼ぶ。
FIG. 1 is an explanatory view for explaining a conventional structured opening. FIG. 1A is a front view of a structured opening having a complicated opening shape. The structured opening is configured with a
シングルコーデッドアパーチャを用いた被写体画像から距離情報を算出する具体的な手法について説明する。被写体画像の距離情報は、被写体画像に写る各々の被写体に対するカメラからの距離を含む。算出によって得られる推定画像は、いわゆる距離画像に類する。 A specific method for calculating distance information from a subject image using a single coded aperture will be described. The distance information of the subject image includes the distance from the camera to each subject appearing in the subject image. The estimated image obtained by the calculation is similar to a so-called distance image.
シングルコーデッドアパーチャを介して撮影された撮影画像をｙ、オリジナルの被写体画像をｘ、ＰＳＦをｆｄとすると、結像方程式は式（１）として表される。
するとＰＳＦであるｆｄが既知であれば、撮影画像ｙを利用して式（１）を満たすようなオリジナル被写体画像ｘを推定することができる。 Then, if the PSF fd is known, the original subject image x satisfying the expression (1) can be estimated using the captured image y.
そして、ＰＳＦの構造は、被写体の深さである基準ピント位置からのずれによって変化する。したがって、被写体の深さと、推定に使用するＰＳＦの深さが一致しているときに、最も良好なオリジナル被写体画像を推定できる。推定プロセスは、式（２）で表現することができる。
以上のプロセスを各深さのＰＳＦに対して全て行い、エラーが最小となるＰＳＦを見つけ、そのＰＳＦに対応した深さをマップにすれば距離情報が得られる。 The above process is performed for all the depth PSFs to find the PSF with the smallest error, and the depth corresponding to the PSF is mapped to obtain the distance information.
しかし、ステップＳ２の解である、デコンボリュージョンエラーを最小にする推定被写体画像はひとつではないという問題がある。したがって、デコンボリュージョンエラーを最小にする推定被写体画像が、真の被写体と近似する画像とはならない場合がある。また、被写体の深さとＰＳＦの深さが一致していなくとも、そのような特殊解を見つけてデコンボリュージョンエラーを最小にしてしまう場合がある。 However, there is a problem that there is not one estimated subject image that minimizes the deconvolution error, which is the solution of step S2. Therefore, the estimated subject image that minimizes the deconvolution error may not be an image that approximates the true subject. Even if the depth of the subject does not match the depth of the PSF, such a special solution may be found and the deconvolution error may be minimized.
このような問題を解決すべく、推定被写体画像に「画像らしさ」を評価する制約項を加える。この場合、式（２）は以下の式（３）のように表現される。
関数ｇ（ｘ）が制約項である。λは制約項の重み係数である。例えば、一般的に画像は滑らかな構図を持つので、その微分値はゼロに近い。したがって、制約項に画像の微分値を示す関数を設定することにより、デコンボリュージョンエラーを最小にし、かつその微分値も小さいという「画像らしさ」を有するオリジナル被写体画像のみが推定され、深さを精度良く推定することができる。微分値を示す関数の例としては、式（４）が挙げられる。
図１の（ｂ−１）は、円形の開口形状を有する構造化開口の正面図である。構造化開口は、保持枠１１１にフィルタ１１２が支持されて構成されている。フィルタ１１２は、被写体光束を遮断する遮断フィルタ部１１３と、被写体光束を透過させる透過フィルタ部１１４を有する。保持枠１１１は円形枠であり、その中心は撮影レンズの光軸と一致するが、円形を成す透過フィルタ部１１４は、光軸に対して偏心している。
FIG. 1B-1 is a front view of a structured opening having a circular opening shape. The structured opening is configured with a
このように単純な円形開口を持つ構造化開口では、深さの変化に対するＰＳＦの変化が小さいので、シングルコーデッドアパーチャとして深さを算出すると推定誤差が大きくなる。図１の（ａ）では、複雑な開口形状とすることにより推定誤差の低減を図ったが、ここでは、（ｂ−１）の状態で第１の撮影画像を取得し、（ｂ−１）の構造化開口を反転させた（ｂ−２）の状態で第２の撮影画像を取得することにより、推定誤差の低減を図る。つまり、（ｂ−１）の開口形状に対応して各距離に応じたＰＳＦを１セットと、（ｂ−２）の開口形状に対応して各距離に応じたＰＳＦを１セット用意する。このような場合の構造化開口を、コーデッドアパーチャペアと呼ぶ。 In such a structured opening having a simple circular opening, the change in PSF with respect to the change in depth is small. Therefore, if the depth is calculated as a single coded aperture, the estimation error increases. In FIG. 1A, the estimation error is reduced by using a complicated aperture shape, but here, the first captured image is acquired in the state of (b-1), and (b-1) By obtaining the second photographed image in the state of (b-2) with the structured aperture inverted, the estimation error is reduced. That is, one set of PSF corresponding to each distance corresponding to the opening shape of (b-1) and one set of PSF corresponding to each distance corresponding to the opening shape of (b-2) are prepared. A structured aperture in such a case is called a coded aperture pair.
コーデッドアパーチャペアを用いた被写体画像から距離情報を算出する具体的な手法について、説明する。コーデッドアパーチャペアの場合、開口形状が単純であるので、シングルコーデッドアパーチャにおける処理を空間周波数領域において展開することができる。 A specific method for calculating distance information from a subject image using a coded aperture pair will be described. In the case of a coded aperture pair, since the aperture shape is simple, processing in a single coded aperture can be developed in the spatial frequency domain.
異なる２つの開口によりそれぞれ撮影された第１画像と第２画像のフーリエ変換をＦ１、Ｆ２、各深さｄについて取得したＰＳＦのフーリエ変換をＫ１ ｄ、Ｋ２ ｄ、オリジナル被写体画像ｘのフーリエ変換をＦ０とすると、結像方程式は式（５）として表される。
式（５）によれば、式（１）と比較して、畳み込み積分が単純な掛け算となることがわかる。このとき、式（３）に対応するデコンボリュージョンエラーを記述すると式（６）のようになる。
深さマップの構築プロセスは以下の処理による。 The depth map construction process is as follows.
この手法では、シングルコーデッドアパーチャの場合とは異なり、推定プロセスを繰り返す必要がなく、かつ単純な計算式によって導き出されるので、計算速度が非常に速い。なお、シングルコーデッドアパーチャにおいてこのような手法を適用できない理由は、シングルコーデッドアパーチャのＰＳＦは非常に複雑な形状をしているので、そのフーリエ変換もエラーが大きいからである。 In this method, unlike the case of the single coded aperture, it is not necessary to repeat the estimation process, and the calculation speed is very fast because it is derived by a simple calculation formula. The reason why such a method cannot be applied to the single coded aperture is that the PSF of the single coded aperture has a very complicated shape, and the Fourier transform has a large error.
以上の従来の手法においては、いずれにおいても遮断フィルタ部を有する構造化開口介して撮影画像を取得するので、観賞用等としての通常の撮影画像に対しては画質が低下する。そこで、距離情報を取得するために構造化開口を介して撮影する補助撮影画像の撮影と、構造化開口を介さずに撮影する通常の撮影画像の撮影を分けて行わなければならなかった。すなわち、補助撮影画像の撮影時と通常の撮影画像の撮影時で、構造化開口を挿抜する作業を要していた。すると、両画像を取得するタイムラグにより、被写体にずれが生じる。したがって、構造化開口を挿抜して撮影動作を二度繰り返す手間に加え、本来距離情報を取得したい観賞用等の撮影画像に対して正確な距離情報が得られないという問題を抱えていた。 In any of the conventional methods described above, since the photographed image is acquired through the structured opening having the cutoff filter portion, the image quality is deteriorated with respect to a normal photographed image for viewing. Therefore, in order to acquire distance information, it has been necessary to separately perform shooting of an auxiliary shooting image shot through the structured aperture and shooting of a normal shot image shot without passing through the structured aperture. In other words, it is necessary to insert and remove the structured opening when the auxiliary captured image is captured and when the normal captured image is captured. Then, the subject is displaced due to the time lag for acquiring both images. Therefore, there is a problem that accurate distance information cannot be obtained for an ornamental image or the like for which distance information is originally intended to be acquired, by adding the trouble of repeating the photographing operation twice by inserting and removing the structured aperture.
そこで、本実施形態においては、このような問題に対処すべく、構造化開口と撮像素子に改良を加えて一眼レフカメラに適用する。以下に本実施形態について説明する。 Therefore, in the present embodiment, in order to cope with such a problem, the structured aperture and the image sensor are improved and applied to a single-lens reflex camera. This embodiment will be described below.
図２は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。
FIG. 2 is a cross-sectional view of a main part of the single-
レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。また、光軸２０１に沿って、絞り２１４および構造化開口ユニット３００も配列される。構造化開口ユニット３００は、被写体光束に対して挿抜することができる。構造化開口ユニット３００が被写体光束に対して挿入されると、構造化開口は、光軸２０１に交差して配設される。アクチュエータ２１５は、構造化開口ユニット３００が被写体光束に対して挿入されたときに構造化開口を回転させる。
The
レンズユニット２１０は、フォーカスレンズ２１２、絞り２１４およびアクチュエータ２１５の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。
The
また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。
The
カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。
The
ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。
The subject image formed on the focusing
斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。
The region near the
斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの光電変換素子であり、受光面で結像した被写体像を電気信号に変換する。
A
撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。
The electrical signal photoelectrically converted by the
カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。
A
また、ペンタプリズム２３５の近傍には使用状態と収納状態を取り得るフラッシュ２４９を備えており、使用状態においてカメラシステム制御部２４５の制御により被写体を照射する。フラッシュ２４９の近傍には、被写体を照射するパターン投光部２５０を備えており、被写体に対して幾何的模様等であるパターンを投光する。
A
図３は、本実施形態に係る構造化開口を説明する説明図である。図３（ａ）は、図１（ａ）に示したシングルコーデッドアパーチャの構造化開口に対応する構造化開口３６０の正面図である。構造化開口３６０は、保持枠３５１にフィルタ３５２が支持されて構成されている。具体的には、保持枠３５１は、中心部分が中空の円筒形を成し、フィルタ３５２は、保持枠３５１の中空部分に張設されて固定されている。フィルタ３５２は、被写体光束のうち可視光を透過させ赤外光を遮断する赤外遮断フィルタ部３５３と、被写体光束のうち可視光および赤外光を透過させる透過フィルタ部３５４を有する。透過フィルタ部３５４は、図示するような複雑な開口形状を有する。
FIG. 3 is an explanatory diagram for explaining the structured opening according to the present embodiment. FIG. 3 (a) is a front view of the
図３（ｂ−１）は、図１（ｂ−１）に示したコーデッドアパーチャペアの構造化開口に対応する構造化開口３１０の正面図である。構造化開口３１０は、保持枠３０１にフィルタ３０２が支持されて構成されている。具体的には、保持枠３０１は、中心部分が中空の円筒形を成し、フィルタ３０２は、保持枠３０１の中空部分に張設されて固定されている。フィルタ３０２は、被写体光束のうち可視光を透過させ赤外光を遮断する赤外遮断フィルタ部３０３と、被写体光束のうち可視光および赤外光を透過させる透過フィルタ部３０４を有する。保持枠３０１の中心は撮影レンズの光軸と一致するが、円形を成す透過フィルタ部３０４は、光軸に対して偏心している。（ｂ−１）の状態で第１の撮影画像を取得し、（ｂ−１）の構造化開口３１０を反転させた（ｂ−２）の状態で第２の撮影画像を取得することにより、推定誤差の低減を図ることができる。
FIG. 3 (b-1) is a front view of the
本実施形態においては、構造化開口３６０を構造化開口ユニット３００としてレンズユニット２１０に配設することができる。または、構造化開口３１０を構造化開口ユニット３００としてレンズユニット２１０に配設することもできる。そこで、ここではまず構造化開口３１０を構造化開口ユニット３００としてレンズユニット２１０に配設する場合について説明する。図４は、構造化開口３１０を組み込んだ構造化開口ユニット３００の外観図である。図４（ａ）は光軸２０１方向から見た正面図であり、図４（ｂ）は側面図である。
In the present embodiment, the
構造化開口ユニット３００は、構造化開口３１０、ベース部３０７、外周部３０８および把持部３０９を主な構成要素とする。保持枠３０１の外周部にはギア３０６が全周にわたって設けられている。保持枠３０１は、ベース部３０７に回転機構を介して連結され、図示する矢印方向へ回転自在に支持されている。ベース部３０７は、保持枠３０１の中空部分と同様に、被写体光束範囲に中空部分を有する。したがって、保持枠３０１にフィルタ３０２が張設されていなければ、構造化開口ユニット３００をレンズユニット２１０へ装着しても、被写体光束に何ら影響を与えない。
The
ベース部３０７の端部には外周部３０８と把持部３０９が一体的に形成されている。ユーザは、把持部３０９を掴んで構造化開口ユニット３００をレンズユニット２１０に対して挿抜する。なお、ここでは構造化開口ユニット３００を挿抜できるように構成したが、後述するように、本実施形態においては構造化開口３１０が被写体光束の可視光に対しては作用しないので、挿抜機構を省いてレンズユニット２１０に内蔵されるように構成しても良い。構造化開口ユニット３００は、例えば天体写真撮影など、後述の赤外光受光画素を用いて通常の撮影画像を取得したい場合などに挿抜機構を利用して抜出され得る。
An outer
フィルタ３０２を固定する保持枠３０１は、上述のように矢印方向へ回転するので、透過フィルタ部３０４の光軸２０１に対する相対的な位置関係は、保持枠３０１の回転に伴って変化する。例えば、保持枠３０１が１８０度回転されると、図示する透過フィルタ部３０４と光軸２０１の位置関係が逆転する。
Since the holding
図５は、構造化開口ユニット３００をレンズユニット２１０に装着する様子を示す図である。図５（ａ）は、構造化開口ユニット３００をレンズユニット２１０に挿し込む直前の様子を示し、図５（ｂ）は、装着された様子を示す。
FIG. 5 is a diagram illustrating a state in which the structured
ユーザは、把持部３０９を把持して、構造化開口ユニット３００をレンズ鏡筒２１７に設けられた装着スリット２１９へ挿し込む。すると、構造化開口ユニット３００は、ベース部３０７の側面がレンズ鏡筒２１７の内部に設けられた挿抜ガイド２２０に案内されて、フィルタ３０２の中心が光軸２０１と一致する位置に到達する。フィルタ３０２の中心が光軸２０１と一致する位置に到達すると、外周部３０８が装着スリット２１９に嵌合し、外周部３０８の外面がレンズ鏡筒２１７の外観面と一致する。同時に、ギア３０６は、アクチュエータ２１５の駆動ギアと噛合する。このように、構造化開口ユニット３００がレンズユニット２１０と一体化されると、レンズシステム制御部２１６は、アクチュエータ２１５により保持枠３０１を回転させることができ、光軸２０１周りに透過フィルタ部３０４と光軸２０１の位置関係を変更することができる。
The user grips the
なお、シングルコーデッドアパーチャを採用する構造化開口３６０を構造化開口ユニット３００としてレンズユニット２１０に配設する場合は、開口位置を光軸２０１に対して変更することを要しないので、アクチュエータ２１５を省略して、構造化開口ユニット３００をレンズ鏡筒内に固定配置すれば良い。もちろん、赤外光撮影に対応すべく挿抜機構を採用して、被写体光束から抜出できるように構成しても良い。
In the case where the
図６は、撮像素子２４３の画素上に配置された画素フィルタの説明図である。本実施例における画素フィルタの配列は、図示するように、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタが設けられている。ＩＲ画素フィルタは、赤外光の波長帯を透過するフィルタである。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢ＋ＩＲの４つの波長帯に分離して光電変換する。
FIG. 6 is an explanatory diagram of pixel filters arranged on the pixels of the
なお、撮像素子２４３の画素の画素ピッチは、ＩＲ画素フィルタが設けられた赤外光受光画素の画素ピッチを基準に決定される。赤外光受光画素の画素ピッチは、合焦を表現するＰＳＦを再現できるサンプリングピッチにより決定される。具体的には、レンズ群２１１を含む撮影光学系により合焦した点像を赤外光受光画素が受光したときに出力される像が、許容錯乱円によって規定される合焦との判定に対応するＰＳＦの波形を表現できるように、赤外光受光画素の画素ピッチが決定される。
Note that the pixel pitch of the pixels of the
図７は、撮像素子２４３の画素が感度を有する波長帯と、構造化開口の赤外遮断フィルタ部３０３、３５３が遮断する波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。
FIG. 7 is a diagram illustrating the relationship between the wavelength band in which the pixel of the
Ｂ曲線６０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線６０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線６０３はＲ画素フィルタが設けられた画素の感度を、ＩＲ曲線６０４はＩＲ画素フィルタが設けられた画素の感度を示す。また、構造化開口３１０、３６０の赤外遮断フィルタ部３０３、３５３は、矢印６１１の波長帯を遮断する。一方、構造化開口３１０、３６０の透過フィルタ部３０４、３５４は、図示する波長帯のいずれも遮断することなく被写体光束を透過させる。
The
すなわち、ＩＲ画素フィルタが設けられた赤外光受光画素は、構造化開口３１０、３６０の開口部としての透過フィルタ部３０４、３５４を通過した被写体光束のみを受光する。一方で、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられた画素は、透過フィルタ部３０４、３５４および赤外遮断フィルタ部３０３、３５３のいずれにも遮断されない被写体光束の可視光波長帯を受光する。
That is, the infrared light receiving pixel provided with the IR pixel filter receives only the subject luminous flux that has passed through the
すると、赤外受光画素の出力のみを集めれば、構造化開口３１０、３６０を通過することにより振幅変調を受けた被写体画像を形成することができ、これを画像処理することによって補助撮影画像を取得することができる。構造化開口３６０を用いる場合は、この補助撮影画像からシングルコーデッドアパーチャの手法を採用して距離情報を算出できる。
構造化開口３１０を用いる場合は、透過フィルタ部３０４を光軸２０１に対して反転させ、もう一つの振幅変調を受けた被写体画像を形成し、二枚目の補助撮影画像を取得する。これらの補助撮影画像からコーデッドアパーチャペアの手法を採用してより精度の高い距離情報を算出できる。
Then, if only the outputs of the infrared light receiving pixels are collected, a subject image subjected to amplitude modulation can be formed by passing through the
When the structured
同時に、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられた画素の出力を集めれば、構造化開口３１０、３６０によっては何ら振幅変調を受けていない被写体画像を形成することができ、これを画像処理することによってカラーの被写体画像を形成することができる。つまり、観賞用等に耐え得る通常の被写体画像としての本撮影画像を取得することができる。
At the same time, by collecting the outputs of the pixels provided with the R pixel filter, the G pixel filter, and the B pixel filter, it is possible to form a subject image that is not subjected to any amplitude modulation by the
したがって、シングルコーデッドアパーチャの手法を採用する構造化開口３６０を用いた場合であれば、一度の撮影動作により補助撮影画像と本撮影画像を共に取得することができる。コーデッドアパーチャペアの手法を採用する構造化開口３１０を用いた場合であれば、透過フィルタ部３０４を反転させて行う二度の撮影動作により異なる振幅変調を受けた二枚の補助撮影画像と、二枚の本撮影画像を共に取得することができる。
Therefore, if the
次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図８は、一眼レフカメラ２００のシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。
Next, the system configuration of the single-
カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換された撮像信号を画像データに処理する。本撮影画像として処理された画像データは、表示部２４７へ送られて、例えば撮影後の一定時間の間表示される。これに並行して、処理された画像データは、所定の画像フォーマットに加工され、外部接続ＩＦ２５４を介して外部メモリに記録される。また、画像処理部２４６は、赤外光受光素子の出力からなる撮像信号を処理して補助撮影画像を生成する。生成された補助撮影画像は距離情報算出部２５１へ引き渡され、距離情報算出部２５１は、上述の手法により距離情報を算出する。算出された距離情報は、カメラメモリ２５２へ記録される。
An
カメラメモリ２５２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された撮影画像の一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２５３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。
The
レリーズスイッチ２５５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ２４０から位相差情報を取得する。そして、レンズシステム制御部２１６へフォーカスレンズ２１２の駆動情報を送信する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、予め定められた処理フローに従って撮影動作を実行する。
The
フラッシュ２４９は、カメラシステム制御部２４５の制御に従って被写体を照射する。また、同様にパターン投光部２５０は、カメラシステム制御部２４５の制御に従って投光パターンを被写体に投光する。
The
レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。レンズメモリ２２１は、レンズユニット２１０に固有であるＰＳＦを保管している。距離情報算出部２５１は、カメラシステム制御部２４５およびレンズシステム制御部２１６を介して、レンズメモリ２２１からＰＳＦを取得する。また、構造化開口駆動部２２２は、構造化開口３１０を用いる場合に、レンズシステム制御部２１６の指示に従ってアクチュエータ２１５を駆動する。
The lens
図９は、補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。本フローにおける一連の処理は、カメラシステム制御部２４５が操作部材を介してユーザから指示を受け付けたとき、または、予め定められた制御プログラムに距離算出処理が組み込まれているとき等に開始される。
FIG. 9 is a diagram illustrating a processing flow from acquisition of an auxiliary captured image to calculation of distance information. A series of processes in this flow is started when the camera
ステップＳ８０１では、画像処理部２４６が処理対象となる補助撮影画像を取得する。画像処理部２４６は、処理対象の補助撮影画像として、撮像素子２４３から出力された画像信号をそのまま取得しても良いし、撮影後に距離情報を算出しないまま記録部に記録されている補助撮影画像を読み出して取得しても良い。したがって、本実施形態においてはカメラユニット２３０を画像処理装置として距離情報の算出を実行するが、距離情報の算出は、カメラとは別個の独立した画像処理装置で実行することもできる。例えば、ＰＣを例にすれば、カメラとの間に記録媒体を介在させ、記録媒体に記録された補助撮影画像を読み出して処理することもできるし、有線、無線によりカメラと接続した状態を確立すれば、補助撮影画像の撮影と連動して処理することもできる。そして、補助撮影画像を生成すると距離情報算出部２５１へ引き渡す。
In step S801, the
距離情報算出部２５１は、補助撮影画像を受け取ると、ステップＳ８０２で、レンズメモリ２２１に保管されているレンズユニット２１０のＰＳＦを取得する。なお、距離情報の算出処理が補助撮影画像の撮影動作と連続しない場合には、レンズユニット２１０が他のレンズユニット２１０に交換されている場合もあるので、距離情報算出部２５１は、他の保管場所からＰＳＦを取得するように構成しても良い。
When receiving the auxiliary captured image, the distance
例えば、補助画像データは、撮影処理時にレンズメモリ２２１に記録されているＰＳＦをＥＸＩＦ情報などの付帯情報として取り込むこともできるし、カメラメモリ２５２は、レンズユニット２１０が装着されるタイミングでレンズメモリ２２１からＰＳＦを取り込むこともできる。したがって、距離情報算出部２５１は、補助撮影画像の付帯情報、カメラメモリ２５２などからＰＳＦを取得することもできる。なお、距離情報算出部２５１は、補助撮影画像の付帯情報として記録されているレンズユニット情報と構造化開口情報から、カメラメモリ２５２などの記録部に記録されているＰＳＦから使用すべきＰＳＦを特定することもできる。このような場合は、補助撮影画像の撮影時に用いられたレンズユニットの情報を取得するステップと、当該レンズユニットに対応するそれぞれのＰＳＦを取得するステップとを分けて処理すると良い。
For example, the auxiliary image data can be taken in PSF recorded in the
距離情報算出部２５１は、このように取得した補助撮影画像とこれに対応したＰＳＦを用いて、ステップＳ８０３で、距離情報を算出する。距離情報は、上述のようにシングルコーデッドアパーチャまたはコーデッドアパーチャペアの手法を用いて算出される。なお、算出された距離情報は、距離画像データとして別途独立したファイルを生成しても良いし、補助撮影画像に付帯して記録しても良い。別途独立したファイルを生成する場合には、補助撮影画像に対してリンク情報を記録する。算出された距離情報は、例えば、同一距離と判断された被写体が存在する画素領域情報と当該距離をセットとして、距離ごとに複数セット分リスト化されたテーブル形式のデータ構造を有する。算出できる距離の分解能は、ＰＳＦがどれだけの距離ピッチごとに用意されているかに依存するので、高い分解能を得たい場合には、細かい距離ピッチで刻んだＰＳＦを予め用意すれば良い。以上により一連の処理フローを終了する。
In step S803, the distance
次に、赤外光受光素子の配置についてのバリエーションを説明する。図１０は、ファインダから観察される被写体像５０１および焦点検出領域５０２を示す図である。被写体像５０１の領域は撮像素子の有効画素領域にほぼ対応する。焦点検出領域５０２は二次元的に複数設けられており、ユーザの設定により、または、カメラシステム制御部２４５がシーンを判別して特定の一つの焦点検出領域５０２が選択されて、その領域でオートフォーカスが行われる。カメラシステム制御部２４５がシーンを判別する場合、例えば近点優先、顔検出優先等のアルゴリズムにより一つの焦点検出領域５０２が選択される。
Next, variations on the arrangement of the infrared light receiving elements will be described. FIG. 10 is a diagram showing a
図１１は、焦点検出領域５０２の配置と赤外光受光素子の配置の関係を示す図である。図６を用いて説明した撮像素子２４３においては、赤外光受光素子を全面に離散的に配置した。しかし、撮像素子６４３においては、焦点検出領域に対応する対応領域６３２を包含する焦点検出対応領域６３３を設定して、この領域内に赤外光受光素子を離散的に配置する。
FIG. 11 is a diagram showing the relationship between the arrangement of the
具体的には、図示するように、焦点検出対応領域６３３内では、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタを設ける。また、焦点検出対応領域６３３外では、４画素を１組として、いわゆるベイヤー配列に倣い各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタを設ける。
Specifically, as shown in the figure, in the focus
つまり、距離情報を取得したい領域は、焦点検出領域と一致する場合が多く、したがって、赤外光受光画素を限定的に配置すれば良い。これにより、距離情報を算出する領域を限定することができるので、算出時間を短縮できる。 That is, the region where distance information is desired to be acquired often coincides with the focus detection region, and therefore, infrared light receiving pixels may be arranged in a limited manner. Thereby, since the area | region which calculates distance information can be limited, calculation time can be shortened.
次に、撮像素子の配置についてのバリエーションを説明する。図１２は、赤外光用撮像素子８４４と可視光用撮像素子８４３を配置したレンズ交換式カメラ８００の断面図である。図示するように、赤外光波長帯を受光する専用の赤外光用撮像素子８４４と可視光波長帯を受光する可視光用撮像素子８４３を、被写体光束の赤外光波長帯と可視光波長帯を分割するダイクロイックミラー８３２を介して、それぞれ共役となる位置に独立に配置する。赤外光波長帯と可視光波長帯を分割する光学素子は、ダイクロイックミラー８３２に限らず、ダイクロイックプリズムなどの素子でも良い。なお、構造化開口８０１は撮影光学系の瞳位置またはその近傍に配置される。
Next, variations on the arrangement of the image sensor will be described. FIG. 12 is a cross-sectional view of an
また、撮影光学系によっては、赤外光波長帯の焦点面と可視光波長帯の焦点面がずれることがあるが、この場合、赤外光用撮像素子８４４は、可視光用撮像素子の焦点面と共役な位置にこのずれ量を加味した修正位置に配置すると良い。あるいは、このずれ量を打ち消すように、例えば赤外光用撮像素子８４４の近傍に補正レンズ８３３を配設しても良い。
In addition, depending on the photographing optical system, the focal plane of the infrared light wavelength band and the focal plane of the visible light wavelength band may be shifted. In this case, the infrared
次に、補助撮影画像の取得に対する支援動作について説明する。上述のようにシングルコーデッドアパーチャの手法であれ、コーデッドアパーチャの手法であれ、距離情報の算出はＰＳＦを用いるので、被写体像として合焦状態と非合焦状態で差異がない領域が存在すると、当該領域において距離情報を取得することが困難となる。例えば、単一色の平滑な壁面など、被写体の表面にコントラストがない領域がこれに該当する。そこで、本実施形態においては、パターン投光部２５０を利用して、補助撮影画像の取得時に、被写体に格子状のパターンを投光する。
Next, a support operation for acquiring an auxiliary captured image will be described. As described above, whether the single coded aperture method or the coded aperture method is used, the PSF is used to calculate the distance information. Therefore, if there is a region where there is no difference between the focused state and the out-of-focus state as a subject image, It becomes difficult to acquire distance information in a region. For example, a region where there is no contrast on the surface of the subject such as a smooth wall surface of a single color corresponds to this. Therefore, in the present embodiment, the pattern
図１３は、パターン投光の様子を示す説明図である。図１３（ａ）は、パターン投光する前の被写体の様子を示す。図示するように、物が置かれたテーブル９０１と、後方の壁面９０２および壁面９０２に設けられた窓を覆うブラインド９０３が被写体として存在する。このとき、特に、壁面９０２の表面にコントラストが存在せず、この領域の距離情報が抜け落ちる可能性がある。
FIG. 13 is an explanatory diagram showing the pattern projection. FIG. 13A shows the state of the subject before pattern projection. As illustrated, a table 901 on which an object is placed, a
図１３（ｂ）は、パターン投光部２５０によりパターン光が被写体に投光された様子を示す。投光パターン９１０はパターン投光部２５０から投光されたパターン光が被写体表面に形成するパターンを表す。パターン投光部２５０は、フラッシュ２４９の近傍に設けられており、例えば高輝度ＬＥＤ、パターンマスクおよびフレネルレンズが組み合わされて構成されている。なお、パターン投光部２５０は、ＡＦセンサ２４０により位相差検出を行う場合など、オートフォーカス動作時のＡＦ補助光投光部として利用することもできる。
FIG. 13B shows a state in which the pattern light is projected onto the subject by the pattern
パターン投光部２５０は、カメラシステム制御部２４５の制御により、高輝度ＬＥＤが発光されて、パターンマスクに規定されるパターンを被写体に投光する。図においては、格子状のパターンが被写体に投光されており、壁面９０２等の表面に投光パターン９１０としてコントラストを生じさせている。特に、複数の水平方向のラインが垂直方向に連続するブラインド９０３の表面に、垂直方向のコントラストも生じさせている。
The pattern
このように水平方向および垂直方向共に成分を持つようなパターンを投光すれば、より精度の良い距離情報を算出できる。コーデッドアパーチャペアの手法を用いる場合は、光軸に対して偏心した位置に設けられた開口を移動させて二枚の補助撮影画像を取得するが、このとき、被写体表面に、移動する前後の位置における開口の中心を結ぶ線分に平行なコントラストしか存在しないと、算出される距離の精度が非常に悪くなる。例えば、ブラインド９０３がこのような条件を満たしやすい。このとき、パターン投光により被写体表面に対してこの線分に直交する方向にコントラストを与えれば、精度良く距離を算出することができる。投光パターン９１０として示す格子状パターンは、二次元的なパターンの一例であり、このような条件下においても精度の良い距離算出に資する。
By projecting a pattern having components in both the horizontal direction and the vertical direction in this way, more accurate distance information can be calculated. When using the coded aperture pair method, two auxiliary shot images are acquired by moving the aperture provided at a position eccentric to the optical axis, but at this time, the position before and after moving to the subject surface If there is only a contrast parallel to the line segment that connects the centers of the openings, the accuracy of the calculated distance becomes very poor. For example, the blind 903 tends to satisfy such a condition. At this time, if the contrast is given to the subject surface in the direction orthogonal to the line segment by pattern projection, the distance can be calculated with high accuracy. The lattice pattern shown as the
また、パターン投光部２５０の光源は、投光する光の波長帯に、構造化開口の開口に設けられたフィルタを透過する波長帯を含む。すなわち、構造化開口の開口に、撮像素子のうち補助撮影画像を生成する画素の受光波長帯を透過するフィルタが設けられる場合、投光する光の波長帯は、この受光波長帯の少なくとも一部を含む。特に、図６を用いて説明した撮像素子２４３、図１１を用いて説明した撮像素子６４３の場合、構造化開口３１０、３６０と組み合わせて、パターン投光部２５０に赤外光波長帯を発光する光源を採用する。
In addition, the light source of the
特に、可視光波長帯を含まない赤外光波長帯のみを発光する光源を採用すれば、被写体として含まれる人物に、可視光波長帯であれば不愉快と感じさせるパターン光を認識させることが無い。さらに、図７に示すように、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられた画素が、赤外光波長帯に対して感度を持たなければ、上述のように、本撮影画像と補助撮影画像を同時に取得する場合であっても、本撮影画像に対してパターン光の影響を与えることが無い。 In particular, if a light source that emits only an infrared light wavelength band that does not include a visible light wavelength band is employed, a person included as a subject does not recognize pattern light that makes the person feel uncomfortable in the visible light wavelength band. . Furthermore, as shown in FIG. 7, if the pixel provided with the R pixel filter, the G pixel filter, and the B pixel filter is not sensitive to the infrared light wavelength band, as described above, Even when the auxiliary captured image is acquired simultaneously, there is no influence of the pattern light on the actual captured image.
上記の実施形態においては、距離情報算出部２５１は、ＰＳＦを取得してシングルコーデッドアパーチャの手法またはコーデッドアパーチャペアの手法により距離情報を算出した。しかし、距離情報算出部２５１は、これらの手法によらず、本撮影画像と補助撮影画像の間に生じる視差を利用して距離情報を算出することもできる。
In the above embodiment, the distance
図３（ｂ−１）を用いて説明した構造化開口３１０は、フィルタ３０２が保持枠３０１の中空部分に張設されて固定されている。フィルタ３０２は、被写体光束のうち可視光を透過させ赤外光を遮断する赤外遮断フィルタ部３０３と、被写体光束のうち可視光および赤外光を透過させる透過フィルタ部３０４を有する。特に、赤外遮断フィルタ部３０３と透過フィルタ部３０４は互いに隣接しており、入射する被写体光束が赤外遮断フィルタ部３０３か透過フィルタ部３０４のいずれかを透過するように構成されている。保持枠３０１の中心は撮影レンズの光軸と一致し、かつ保持枠３０１の中空部分は通過する被写体光束の断面範囲よりも大きい。また、円形を成す透過フィルタ部３０４は、光軸に対して偏心している。
In the
したがって、フィルタ３０２は、全体として、可視光波長帯における被写体光束の全部を透過させる。一方で、赤外光波長帯における被写体光束については、赤外遮断フィルタ部３０３で遮断し、偏心して設けられた透過フィルタ部３０４でのみ透過させる。すると、撮像素子２４３のうちＩＲ画素フィルタが設けられた赤外受光画素上に結像する赤外光波長帯の被写体像と、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられた可視光受光画素上に結像する可視光波長帯の被写体像は、互いに視差を有することになる。
Therefore, the
つまり、赤外受光画素の出力のみを集めて形成された補助撮影画像と、可視光受光画素の出力のみを集めて形成された本撮影画像とは、互いに視差を有する画像となる。距離情報算出部２５１は、これらの画像に写り込む同一被写体間のマッチングを行うことにより、そのずれ量から当該被写体の深さを算出する。以下に、距離画像を取得するまでの処理について説明する。
That is, the auxiliary captured image formed by collecting only the outputs of the infrared light receiving pixels and the actual captured image formed by collecting only the outputs of the visible light receiving pixels are images having parallax. The distance
図１４は、本撮影画像と補助撮影画像の取得から、距離画像を算出するまでの処理の概念を示す図である。上述のように、本撮影画像は、フィルタ３０２の全体を透過する可視光波長帯の被写体光束が撮像素子２４３の受光面に結像して光電変換され、出力された画像信号が画像処理部２４６によって処理されて、生成される。同様に、補助撮影画像は、フィルタ３０２の透過フィルタ部３０４を透過する赤外光波長帯の被写体光束が撮像素子２４３の受光面に結像して光電変換され、出力された画像信号が画像処理部２４６によって処理されて、生成される。
FIG. 14 is a diagram illustrating a concept of processing from acquisition of a main captured image and an auxiliary captured image to calculation of a distance image. As described above, in the actual captured image, the subject light flux in the visible light wavelength band that passes through the
生成された本撮影画像と補助撮影画像は距離情報算出部２５１に引渡され、距離情報算出部２５１は、両画像のマッチング処理を実行する。ここで、マッチング処理について説明する。
The generated main captured image and auxiliary captured image are delivered to the distance
補助撮影画像において、焦点の合っている奥行きでは本撮影画像に対してずれない。一方、焦点の合っていない奥行きでは本撮影画像に対してずれる。特に、焦点の合った奥行きより遠いか近いかにより、ずれの方向が逆転する。別言すれば、本撮影画像ＩＲＧＢと補助撮影画像ＩＩＲは、ステレオ画像となる。本撮影画像の中央の視点をリファレンス座標に取れば、リファレンス座標（ｘ，ｙ）における視差をｄ画素とすると、ＩＲＧＢ（ｘ，ｙ）、ＩＩＲ（ｘ−ｄ，ｙ）が対応するから、これらが最も良く一致するｄを視差の推定値とすることができる。しかし、観測波長帯が異なるため対応点の輝度レベルは一致しないので、単純な輝度の差分をマッチング指標にすることはできない。 In the auxiliary captured image, there is no deviation from the actual captured image at the depth of focus. On the other hand, when the depth is not in focus, the actual captured image is deviated. In particular, the direction of the shift is reversed depending on whether it is farther or closer than the focused depth. In other words, the main captured image I RGB and the auxiliary captured image I IR are stereo images. If the central viewpoint of the captured image is taken as the reference coordinate, I RGB (x, y) and I IR (x-d, y) correspond to the parallax at the reference coordinate (x, y) as d pixels. D that best matches them can be used as an estimated value of parallax. However, since the observation wavelength bands are different, the luminance levels of the corresponding points do not match, so a simple luminance difference cannot be used as a matching index.
そこで、ここでは自然画像の色成分は局所的に線形関係を示す傾向が高いことを利用する。（ｘ，ｙ）の周りに局所ウィンドウｗ（ｘ，ｙ）を考え、そこに含まれる画素色の集合をＳ（ｘ，ｙ；ｄ）＝｛（ＩＲＧＢ（ｓ，ｔ）、ＩＩＲ（ｓ−ｄ，ｔ））｜（ｓ，ｔ）∈ｗ（ｘ，ｙ）｝とすると、真のｄのときに分布が最も直線に近くなると考えられる。ここではＲＧＢ−ＩＲ間の線形関係を計る指標として以下を用いる。
ただしλ０、λ１（λ０≧λ１≧０）は色分布Ｓ（ｘ，ｙ；ｄ）の主成分軸に沿った分散（すなわちＳ（ｘ，ｙ；ｄ）の共分散行列Σの固有値）、σＲＧＢ ２、σＩＲ ２は色分布のＲＧＢ、ＩＲ軸に沿った分散である。ここでは表記の簡単のため右辺のｘ、ｙ、ｄへの依存については省略した。 However, λ 0 , λ 1 (λ 0 ≧ λ 1 ≧ 0) is the variance of the color distribution S (x, y; d) along the principal component axis (that is, the covariance matrix Σ of S (x, y; d)) Eigenvalue), σ RGB 2 , and σ IR 2 are dispersions along the RGB and IR axes of the color distribution. Here, the dependency on the right side x, y, d is omitted for the sake of simplicity.
行列の性質からλ０＋λ１＝σＲＧＢ ２＋σＩＲ ２（＝ｔｒａｃｅ（Σ））であるので、固有値間の大小に差があるほど式（１）は小さくなる。直線的な分布（λ０＞＞λ１）であればＬは０に近く、完全無相関（固有値がＲＧＢ、ＩＲ軸に沿った分散に等しい）のとき最大値Ｌ＝１をとる。 Since λ 0 + λ 1 = σ RGB 2 + σ IR 2 (= trace (Σ)) due to the nature of the matrix, equation (1) becomes smaller as there is a difference in magnitude between eigenvalues. If the distribution is linear (λ 0 >> λ 1 ), L is close to 0, and the maximum value L = 1 is assumed when the correlation is completely uncorrelated (the eigenvalues are equal to RGB and dispersion along the IR axis).
画像の各点、おおび取りうる範囲の各視差ｄについてＬ（ｘ，ｙ；ｄ）を計算する必要があるが、Ｓｕｍｍｅｄ Ａｒｅａ Ｔａｂｌｅを用いてＩＲＧＢ、ＩＩＲとそれらの二乗と積の表を計算しておけば、局所ウィンドウのサイズに依存せずに共分散行列Σの各要素を計算することができる。また、式（１）の分子は行列の性質からλ０λ１＝ｄｅｔ（Σ）であるので固有値を実際に計算する必要はない。このように計算される各被写体単位の視差ｄにより、シーンの奥行き情報を推定することができる。さらに具体的に説明する。 Although it is necessary to calculate L (x, y; d) for each point of the image, and for each disparity d that can be captured, a table of I RGB , I IR and their squares and products using the Summed Area Table , Each element of the covariance matrix Σ can be calculated without depending on the size of the local window. In addition, since the numerator of Equation (1) is λ 0 λ 1 = det (Σ) due to the nature of the matrix, it is not necessary to actually calculate the eigenvalue. The depth information of the scene can be estimated from the parallax d of each subject calculated in this way. This will be described more specifically.
距離情報算出部２５１は、本撮影画像の対象画素４８１に対して局所ウィンドウ４８２を定め、補助撮影画像との間でマッチング処理を行い、対象画素４８１における視差量を決定する。具体的には、距離情報算出部２５１は、本撮影画像上の局所ウィンドウ４８２に対応して補助撮影画像上に局所ウィンドウ４８４を設定して、局所ウィンドウ４８４を局所ウィンドウ４８２に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。そして、マッチングが良いと判断される局所ウィンドウ４８４の位置を定め、その中心座標である探索画素４８３の座標値を算出する。視差量は、対象画素４８１の座標値と探索画素４８３の座標値の差として決定される。つまり、距離情報算出部２５１は、被写体の同一点を捉えている対象画素４８１と探索画素４８３が、互いに何ピクセルずれているかを視差量として決定する。
The distance
対象画素４８１が合焦領域に含まれる場合は、視差量が０となる。また、対象画素４８１が合焦領域に対して奥行き方向に遠い被写体の領域に含まれる場合は、視差量が大きくなる。つまり、ピクセル単位で決定される視差量は、被写体の奥行き方向の距離と比例関係にある。また、レンズ情報および合焦被写体の絶対距離から、単位ピクセルあたりの奥行き方向の距離が算出される。したがって、距離情報算出部２５１は、算出した単位ピクセルあたりの距離に決定した視差量を乗じて合焦被写体の絶対距離を加算することにより、対象画素４８１における奥行き方向の距離を決定することができる。距離情報算出部２５１は、本撮影画像上において対象画素４８１を左上から右下まで順次走査しながら上記のマッチング処理を逐次実行して、本撮影画像のそれぞれの画素における奥行き方向の距離を算出する。
When the
距離情報算出部２５１は、以上の処理により、本撮影画像の各画素に対する奥行き情報を取得する。つまり、距離画像を完成させる。距離情報算出部２５１はさらに、各画素の距離が如何なる区分帯に属するかにより、各画素をグループ化することができる。距離情報算出部２５１がグループごとに輪郭を抽出すると、それぞれの輪郭は、図１４の下図のように表される。距離情報算出部２５１は、このように輪郭で囲まれたそれぞれの領域を、被写体像の輪郭を規定する領域として確定する。なお、ここでは各区分帯に対応して、４つの領域Ａ〜領域Ｄを確定する。
The distance
以上のようなマッチング手法は、シングルコーデッドアパーチャの手法またはコーデッドアパーチャペアの手法に比較してシンプルな計算処理なので、距離情報算出部２５１の負荷が軽くて済む。
Since the matching method as described above is a simple calculation process compared to the single coded aperture method or the coded aperture pair method, the load on the distance
なお、いずれの手法により距離情報を算出する場合であっても、本撮影画像と補助撮影画像を一度の撮影動作により取得するときには、カメラシステム制御部２４５は、絞り２１４の絞り込む範囲を制限する。具体的には、被写体光束が、制限範囲３０５よりも小さくならないように、絞りを開放側に設定して撮影動作を実行する。このように絞りが開放側となるように、予め定められた絞り値以下に設定して撮影動作を実行すれば、透過フィルタ部３０４の一部の領域のみを被写体光束が透過する状況を回避できる。換言すれば、透過フィルタ部３０４の全体が被写体光束に包含される絞り値を制限値として設定すれば、良好な補助撮影画像を取得することができる。
Regardless of which method is used to calculate the distance information, the camera
上述の構造化開口３１０は、被写体光束のうち可視光波長帯がフィルタ３０２に遮断されることなく透過する構成であった。しかし、本撮影画像と補助撮影画像の間により大きな視差量が生じるように構造化開口を変更することができる。図１５は、構造化開口の他の例である。
The
構造化開口４１０は、保持枠４０１の中空部分に張設されたフィルタ４０２を有する。フィルタ４０２は、被写体光束のうち可視光を遮断して赤外光を透過させるＩＲフィルタ部４０３、可視光を透過させ赤外光を遮断するＲＧＢフィルタ部４０４および被写体光束を遮断する遮断フィルタ部４０５を有する。図示するようにＩＲフィルタ部４０３とＲＧＢフィルタ部４０４は、フィルタ４０２の中心を通る光軸に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられている。別言すれば、遮断フィルタ部４０５の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられた２つの開口に、赤外光波長帯を透過させるＩＲフィルタ部４０３と可視光波長帯を透過させるＲＧＢフィルタ部４０４が形成されている。
The structured opening 410 has a
このように構成された構造化開口４１０を利用すれば、互いの開口中心に対応する基線長が長くなり、本撮影画像と補助撮影画像の間の視差量が増加する。したがって、距離情報算出部２５１は、より精確な距離情報を算出することができる。また、ＩＲフィルタ部４０３とＲＧＢフィルタ部４０４の開口径を同じ大きさにすれば、本撮影画像と補助撮影画像のぼけ量をほぼ一致させることができるので、距離情報算出部２５１は、さらに精確な距離情報を算出することができる。
If the structured opening 410 configured as described above is used, the baseline length corresponding to the center of each opening is increased, and the amount of parallax between the main captured image and the auxiliary captured image is increased. Therefore, the distance
以上の実施形態においては、一眼レフカメラを例に説明したが、光学ファインダを持たないレンズ交換式カメラ、レンズユニットが一体化されたコンパクトカメラ、動画撮影を行うこともできるビデオカメラといった撮像装置に対しても適用することができる。 In the above embodiments, a single-lens reflex camera has been described as an example. However, in an imaging apparatus such as an interchangeable lens camera that does not have an optical finder, a compact camera in which a lens unit is integrated, and a video camera that can also perform moving image shooting. It can also be applied to.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１０１、１１１ 保持枠、１０２、１１２ フィルタ、１０３、１１３ 遮断フィルタ部、１０４、１１４ 透過フィルタ部、２００ 一眼レフカメラ、２０１ 光軸、２１０ レンズユニット、２１１ レンズ群、２１２ フォーカスレンズ、２１３ ズームレンズ、２１４ 絞り、２１５ アクチュエータ、２１６ レンズシステム制御部、２１７ レンズ鏡筒、２１８ レンズマウント、２１９ 装着スリット、２２０ 挿抜ガイド、２２１ レンズメモリ、２２２ 構造化開口駆動部、２３０ カメラユニット、２３１ カメラマウント、２３２ メインミラー、２３３ 回転軸、２３４ ピント板、２３５ ペンタプリズム、２３６ 接眼光学系、２３７ ＡＥセンサ、２３８ サブミラー、２３９ ＡＦ光学系、２４０ ＡＦセンサ、２４１ フォーカルプレーンシャッタ、２４２ 光学ローパスフィルタ、２４３ 撮像素子、２４４ メイン基板、２４５ カメラシステム制御部、２４６ 画像処理部、２４７ 表示部、２４８ 二次電池、２４９ フラッシュ、２５０ パターン投光部、２５１ 距離情報算出部、２５２ カメラメモリ、２５３ ワークメモリ、２５４ 外部接続ＩＦ、２５５ レリーズスイッチ、３００ 構造化開口ユニット、３０１ 保持枠、３０２ フィルタ、３０３ 赤外遮断フィルタ部、３０４ 透過フィルタ部、３０５ 制限範囲、３０６ ギア、３０７ ベース部、３０８ 外周部、３０９ 把持部、３１０ 構造化開口、３５１ 保持枠、３５２ フィルタ、３５３ 赤外遮断フィルタ部、３５４ 透過フィルタ部、３６０ 構造化開口、４０１ 保持枠、４０２ フィルタ、４０３ ＩＲフィルタ部、４０４ ＲＧＢフィルタ部、４０５ 遮断フィルタ部、４１０ 構造化開口、４８１ 対象画素、４８２、４８４ 局所ウィンドウ、４８３ 探索画素、５０１ 被写体像、５０２ 焦点検出領域、６０１ Ｂ曲線、６０２ Ｇ曲線、６０３ Ｒ曲線、６０４ ＩＲ曲線、６１１ 矢印、６４３ 撮像素子、６３２ 対応領域、６３３ 焦点検出対応領域、８００ レンズ交換式カメラ、８０１ 構造化開口、８３２ ダイクロイックミラー、８３３ 補正レンズ、８４３ 可視光用撮像素子、８４４ 赤外光用撮像素子、９０１ テーブル、９０２ 壁面、９０３ ブラインド、９１０ 投光パターン 101, 111 holding frame, 102, 112 filter, 103, 113 blocking filter unit, 104, 114 transmission filter unit, 200 single-lens reflex camera, 201 optical axis, 210 lens unit, 211 lens group, 212 focus lens, 213 zoom lens, 214 Aperture, 215 Actuator, 216 Lens system control unit, 217 Lens barrel, 218 Lens mount, 219 Mounting slit, 220 Insertion / extraction guide, 221 Lens memory, 222 Structured aperture drive unit, 230 Camera unit, 231 Camera mount, 232 Main Mirror, 233 Rotating shaft, 234 Focus plate, 235 Penta prism, 236 Eyepiece optical system, 237 AE sensor, 238 Sub mirror, 239 AF optical system, 240 AF sensor, 241 Four Ruplane shutter, 242 Optical low-pass filter, 243 Image sensor, 244 Main board, 245 Camera system control unit, 246 Image processing unit, 247 Display unit, 248 Secondary battery, 249 Flash, 250 pattern light projecting unit, 251 Distance information calculation , 252 Camera memory, 253 Work memory, 254 External connection IF, 255 Release switch, 300 Structured aperture unit, 301 Holding frame, 302 Filter, 303 Infrared cutoff filter, 304 Transmission filter, 305 Limiting range, 306 Gear 307 Base part 308 Peripheral part 309 Grasping part 310 Structured opening 351 Holding frame 352 Filter 353 Infrared blocking filter part 354 Transmission filter part 360 Structured opening 401 Holding frame 402 filter 403 IR filter unit, 404 RGB filter unit, 405 cutoff filter unit, 410 structured aperture, 481 target pixel, 482, 484 local window, 483 search pixel, 501 subject image, 502 focus detection region, 601 B curve, 602 G curve , 603 R curve, 604 IR curve, 611 arrow, 643 imaging device, 632 compatible area, 633 focus detection compatible area, 800 lens interchangeable camera, 801 structured aperture, 832 dichroic mirror, 833 correction lens, 843 imaging for visible light Element, 844 Infrared light imaging device, 901 table, 902 wall surface, 903 blind, 910 light projection pattern
Claims (5)
被写体に対してパターン光を投光するパターン投光部と、
前記パターン光を投影された前記被写体からの前記被写体光束を、前記構造化開口を介して受光する撮像素子と
を備える撮像装置。 A structured aperture disposed in the optical system for applying amplitude modulation to at least a portion of the wavelength band of the subject luminous flux;
A pattern projector for projecting pattern light onto the subject;
An imaging device comprising: an imaging element that receives the subject light flux from the subject onto which the pattern light has been projected through the structured aperture.
前記パターン光は、前記開口が第１位置にあるときと第２位置にあるときのそれぞれの中心を結ぶ線分に直交する方向にコントラストを有する請求項１から４のいずれか１項に記載の撮像装置。 The structured opening has an opening provided at a position eccentric to the optical axis of the optical system,
5. The pattern light according to claim 1, wherein the pattern light has a contrast in a direction orthogonal to a line segment that connects the centers when the opening is at the first position and the second position. 6. Imaging device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011130327A JP2012022309A (en) | 2010-06-14 | 2011-06-10 | Imaging device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010135069 | 2010-06-14 | ||
| JP2010135069 | 2010-06-14 | ||
| JP2011130327A JP2012022309A (en) | 2010-06-14 | 2011-06-10 | Imaging device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012022309A true JP2012022309A (en) | 2012-02-02 |
Family
ID=45776599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011130327A Withdrawn JP2012022309A (en) | 2010-06-14 | 2011-06-10 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012022309A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013093754A (en) * | 2011-10-26 | 2013-05-16 | Olympus Corp | Imaging apparatus |
| US9784577B2 (en) | 2012-03-16 | 2017-10-10 | Lg Innotek Co., Ltd. | Measuring distance from object by using size of pattern projected onto object |
| US11184522B2 (en) | 2017-03-13 | 2021-11-23 | Lumileds Llc | Imaging device with an improved autofocusing performance |
-
2011
- 2011-06-10 JP JP2011130327A patent/JP2012022309A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013093754A (en) * | 2011-10-26 | 2013-05-16 | Olympus Corp | Imaging apparatus |
| US9344614B2 (en) | 2011-10-26 | 2016-05-17 | Olympus Corporation | Imaging apparatus |
| US9784577B2 (en) | 2012-03-16 | 2017-10-10 | Lg Innotek Co., Ltd. | Measuring distance from object by using size of pattern projected onto object |
| US11184522B2 (en) | 2017-03-13 | 2021-11-23 | Lumileds Llc | Imaging device with an improved autofocusing performance |
| US11895400B2 (en) | 2017-03-13 | 2024-02-06 | Lumileds Llc | Imaging device with an improved autofocusing performance |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012022308A (en) | Imaging device | |
| JP6341736B2 (en) | Imaging apparatus, control method, program, storage medium | |
| JP5947601B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE | |
| JP5644468B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM | |
| JP2009200560A (en) | Imaging apparatus, imaging method, and program | |
| JP5263310B2 (en) | Image generation apparatus, imaging apparatus, and image generation method | |
| JP5896763B2 (en) | Optical instrument and method for autofocusing | |
| JP6175748B2 (en) | Imaging device | |
| US9591203B2 (en) | Image processing apparatus, image processing method, recording medium, and image pickup apparatus | |
| JP2019208170A (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP2011119874A (en) | Camera unit, and lens unit | |
| WO2019181622A1 (en) | Distance measurement camera | |
| JP6529387B2 (en) | Imaging device, control method therefor, program, storage medium | |
| WO2013035427A1 (en) | Stereoscopic image capture device and method | |
| JP2010177860A (en) | Image composition apparatus, imaging apparatus, and image composition method | |
| JP2012022309A (en) | Imaging device | |
| JP5510094B2 (en) | Image processing apparatus and image processing program | |
| JP2012088169A (en) | Distance information acquisition device and imaging apparatus | |
| JP7014248B2 (en) | Imaging device | |
| JP2012002870A (en) | Imaging device, photographic lens, and image processing program | |
| JP2012002859A (en) | Imaging device | |
| JP5590850B2 (en) | Imaging device and focus control method of imaging device | |
| JP2012107956A (en) | Device for acquiring distance information, imaging divice, and structured aperture unit | |
| JP6223502B2 (en) | Image processing apparatus, image processing method, program, and storage medium storing the same | |
| JP2015087494A (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |