JP2013175812A - Image sensor and image pickup device - Google Patents
Image sensor and image pickup device Download PDFInfo
- Publication number
- JP2013175812A JP2013175812A JP2012037512A JP2012037512A JP2013175812A JP 2013175812 A JP2013175812 A JP 2013175812A JP 2012037512 A JP2012037512 A JP 2012037512A JP 2012037512 A JP2012037512 A JP 2012037512A JP 2013175812 A JP2013175812 A JP 2013175812A
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- parallax
- pixel
- pixels
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 149
- 238000003384 imaging method Methods 0.000 claims description 25
- 210000001747 pupil Anatomy 0.000 claims description 20
- 230000003252 repetitive effect Effects 0.000 description 63
- 238000010586 diagram Methods 0.000 description 43
- 230000004907 flux Effects 0.000 description 36
- 230000003287 optical effect Effects 0.000 description 21
- 238000006073 displacement reaction Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000003491 array Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Structure And Mechanism Of Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像素子および撮像装置に関する。 The present invention relates to an imaging element and an imaging apparatus.
単一の撮影光学系を用いて、視点の異なる複数の画像を一度の撮影で生成する撮像装置が知られている。
[先行技術文献]
[特許文献]
[特許文献1]特開2009−290268号公報
2. Description of the Related Art An imaging device that generates a plurality of images with different viewpoints by one shooting using a single shooting optical system is known.
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP 2009-290268 A
しかしながら、上述の撮像装置がレンズ交換式である場合に、当該撮像装置は、取り付けられたレンズの特性によっては、視点の異なる複数の画像を適切に生成することができない場合があった。 However, when the above-described imaging device is an interchangeable lens type, the imaging device may not be able to appropriately generate a plurality of images with different viewpoints depending on the characteristics of the attached lens.
本発明の第1の態様における撮像素子は、入射光を電気信号に光電変換する、二次元的に複数配列された光電変換素子と、光電変換素子のそれぞれに一対一に対応して設けられたマイクロレンズと、光電変換素子のそれぞれに一対一に対応して設けられる開口マスクと、マイクロレンズおよび開口マスクの少なくとも一方を光電変換素子が配列された平面に直交する成分を含むように移動させる移動部とを備え、隣接するn個(nは3以上の整数)の光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの開口マスクの開口が、入射光の断面領域内の互いに異なる部分領域からの入射光を通過させるように位置づけられ、n個の光電変換素子を一組とする光電変換素子群が周期的に配列されている。 The imaging device according to the first aspect of the present invention is provided in a one-to-one correspondence with each of the two-dimensionally arranged photoelectric conversion devices that photoelectrically convert incident light into electric signals and the photoelectric conversion devices. Movement that moves at least one of the microlens and the aperture mask provided in a one-to-one correspondence with each of the photoelectric conversion elements and a component orthogonal to the plane on which the photoelectric conversion elements are arranged. Each of the opening masks provided corresponding to at least three of n (n is an integer of 3 or more) photoelectric conversion elements adjacent to each other in the cross-sectional area of the incident light. The photoelectric conversion element group which is positioned so as to pass incident light from different partial regions and includes a set of n photoelectric conversion elements is periodically arranged.
本発明の第2の態様における撮像装置は、上述の撮像素子と、装着される交換レンズのレンズ情報を取得する取得部と、取得部により取得されたレンズ情報に基づいて、移動部の移動量を制御する移動制御部を備える。 The imaging device according to the second aspect of the present invention includes the above-described imaging device, an acquisition unit that acquires lens information of the interchangeable lens to be mounted, and a moving amount of the moving unit based on the lens information acquired by the acquisition unit. The movement control part which controls is provided.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
本実施形態に係る撮像素子を含んで構成される撮像装置は、例えばデジタルカメラであり、1つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。 An image pickup apparatus including the image pickup device according to the present embodiment is, for example, a digital camera, and is configured to be able to generate images with a plurality of viewpoints for one scene by one shooting. Each image having a different viewpoint is called a parallax image.
図1は、本実施形態に係るデジタルカメラ10の構成を説明する図である。デジタルカメラ10は、交換レンズ300がカメラ本体200に装着されて構成される。カメラ本体200は、カメラマウント213を備え、交換レンズ300は、レンズマウント303を備える。カメラマウント213とレンズマウント303が係合すると、カメラ本体200側の通信端子と交換レンズ300側の通信端子の接続が確立され、互いに制御信号等の通信を行うことができる。カメラ本体制御部201およびレンズシステム制御部301は、相互に通信を実行しつつ協働してカメラ本体200と交換レンズ300を制御する。
FIG. 1 is a diagram illustrating the configuration of a
交換レンズ300には、焦点距離等が異なる複数の種類がある。ユーザは、撮影目的に応じて任意のひとつをカメラ本体200へ装着することができる。交換レンズ300は、撮影光学系として撮影レンズ20を備え、光軸21に沿って入射する被写体光束をカメラ本体200内に配置された撮像素子100へ導く。図1に示すように、撮像素子100へ向かう光軸21に平行な方向をz軸プラス方向と定め、z軸と直交する平面において紙面奥へ向かう方向をx軸プラス方向、紙面上方向をy軸プラス方向と定める。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
There are a plurality of types of
交換レンズ300は、撮影レンズ20、レンズシステム制御部301、レンズ情報記憶部302、およびレンズ駆動部304を備える。撮影レンズ20は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図1では撮影レンズ20を説明の都合上、瞳近傍に配置された仮想的な1枚のレンズで代表して表している。レンズシステム制御部301は、レンズ駆動部304を介して撮影レンズ20を移動させる。また、レンズシステム制御部301は、撮影レンズ20のレンズ情報を記憶しているレンズ情報記憶部302から当該レンズ情報を読み出し、カメラ本体制御部201に送信する。レンズ情報記憶部302は、撮影レンズ20のレンズ情報として瞳位置情報、焦点距離情報、開放絞り値情報、レンズ瞳径情報等を記憶している。
The
カメラ本体200は、撮像素子100、カメラ本体制御部201、A/D変換回路202、メモリ203、駆動部204、メモリカードIF207、操作部208、表示部209、および表示制御部210を備える。
The
撮像素子100は、撮影レンズ20の焦点面近傍に配置されている。撮像素子100は、CCD、CMOSセンサ等のイメージセンサである。撮像素子100は、入射光を電気信号に変換する、二次元的に複数配列された光電変換素子と、光電変換素子のそれぞれに一対一に対応して設けられたマイクロレンズとを含む。ここでは、複数のマイクロレンズは、一体的にマイクロレンズアレイとして形成されている。撮像素子100は、駆動部204によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してA/D変換回路202へ出力する。
The
A/D変換回路202は、撮像素子100が出力する画像信号をデジタル画像信号に変換してメモリ203へ出力する。カメラ本体制御部201の一部である画像処理部205は、メモリ203をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部205は、例えば、JPEGファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。表示制御部210は、画像処理部205によって生成された画像データを表示信号に変換し、表示部209に表示させる。また、画像処理部205によって生成された画像データは、メモリカードIF207に装着されているメモリカード220に記録される。
The A /
一連の撮影シーケンスは、操作部208がユーザの操作を受け付けて、カメラ本体制御部201へ操作信号を出力することにより開始される。撮影シーケンスに付随するAF,AE等の各種動作は、演算部206の演算結果に応じて実行される。
A series of shooting sequences is started when the
デジタルカメラ10は、通常の撮影モードの他に視差画像撮影モードを備える。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部209を視認しながら、操作部208を操作することにより選択することができる。
The
カメラ本体制御部201の一部である移動制御部212は、交換レンズ300がカメラ本体200に装着されると、レンズシステム制御部301を介して撮影レンズ20のレンズ情報を取得する。移動制御部212は、撮影レンズ20のレンズ情報に応じて、後述するマイクロレンズアレイ移動部によるマイクロレンズアレイの移動量を制御する。移動制御部212による具体的な制御内容は後述する。カメラ本体制御部201の一部であるカメラメモリ214は、例えばフラッシュメモリなどの不揮発性メモリであり、デジタルカメラ10を制御するプログラム、各種パラメータなどを記憶する役割を担う。カメラメモリ214は、例えば、デジタルカメラ10に装着可能な交換レンズ毎に、焦点距離情報とマイクロレンズアレイ移動部の変位量が対応付けられたルックアップテーブルを記憶している。マイクロレンズアレイ移動部の変位量は、実験値あるいはシミュレーションデータに基づいて決定されている。
When the
次に、撮像素子100の構成について詳細に説明する。図2は、撮像素子100の断面を表す概略図である。撮像素子100は、被写体側から順に、マイクロレンズアレイ101、マイクロレンズアレイ移動部112、カラーフィルタ102、開口マスク103、配線層105および光電変換素子アレイ115が配列されて構成されている。
Next, the configuration of the
光電変換素子アレイ115は、複数の光電変換素子108が基板109の表面に二次元的に配列されてなる。光電変換素子108は、入射する光を電気信号に変換するフォトダイオードにより構成される。
The photoelectric
光電変換素子108により変換された画像信号、光電変換素子108を制御する制御信号等は、配線層105に設けられた配線106を介して送受信される。また、各光電変換素子108に一対一に対応して設けられた、開口部104を有する開口マスク103が、配線層105に接して設けられている。ここでは、複数の開口マスク103は、一体的に開口マスクアレイ114として形成されている。開口部104は、後述するように、対応する光電変換素子108ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部104を備える開口マスク103の作用により、光電変換素子108が受光する被写体光束に視差が生じる。
An image signal converted by the
一方、視差を生じさせない光電変換素子108上には、開口マスク103が存在しない。別言すれば、対応する光電変換素子108に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部104を有する開口マスク103が設けられているとも言える。したがって、開口マスクアレイ114は、視差を生じさせる開口部104と視差を生じさせない開口部104を含んで構成される。開口マスクアレイ114は、視差を生じさせる開口部104だけで構成されてもよい。
On the other hand, the
また、視差を生じさせることはないが、実質的には配線106によって形成される開口107が入射する被写体光束を規定するので、配線106を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク103は、各光電変換素子108に対応して別個独立に配列しても良いし、カラーフィルタ102の製造プロセスと同様に複数の光電変換素子108に対して一括して形成しても良い。
In addition, although no parallax is generated, the
カラーフィルタ102は、開口マスクアレイ114上に設けられている。カラーフィルタ102は、各光電変換素子108に対して特定の波長帯域を透過させるように着色された、光電変換素子108のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも2種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには3種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。
The
マイクロレンズアレイ移動部112は、例えば圧電素子としてのピエゾ素子である。マイクロレンズアレイ移動部112は、光電変換素子108が配列された平面に直交する成分を含むようにマイクロレンズアレイ101を移動させる。ここでは、マイクロレンズアレイ移動部112は、一端がカラーフィルタ102に、他端がマイクロレンズアレイ101に接した状態で配置され、移動制御部212から入力される駆動電圧に応じて伸縮することによってマイクロレンズアレイ101をz軸方向に移動させる。
The microlens
マイクロレンズアレイ101は、例えば樹脂材料からなる。マイクロレンズアレイ101は、マイクロレンズアレイ移動部112を介してカラーフィルタ102上に設けられている。マイクロレンズアレイ101は、光電変換素子108の各々に一対一に対応して設けられたマイクロレンズ111からなる。マイクロレンズ111は、入射する被写体光束のより多くを光電変換素子108へ導くための集光レンズである。マイクロレンズ111は、撮影レンズ20の瞳中心と光電変換素子108の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子108に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク103の開口部104の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
The
このように、各々の光電変換素子108に対応して一対一に設けられる開口マスク103、カラーフィルタ102およびマイクロレンズ111の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク103が設けられた画素を視差画素、視差を生じさせる開口マスク103が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子100の有効画素領域が24mm×16mm程度の場合、画素数は1200万程度に及ぶ。
As described above, one unit of the
なお、白黒画像信号を出力すれば良い場合にはカラーフィルタ102は設けない。また、裏面照射型イメージセンサの場合は、配線層105が光電変換素子108とは反対側に設けられる。また、開口マスク103の開口部104に色成分を持たせれば、カラーフィルタ102と開口マスク103を一体的に形成することもできる。
Note that the
次に、開口マスク103の開口部104と、生じる視差の関係について説明する。図3は、撮像素子100の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ102の配色については後に言及を再開するまで考慮しない。撮像素子100がカラーフィルタ102を備えない場合は、モノクロイメージセンサとしてモノクロの視差画像を生成することができる。また、カラーフィルタ102の配色に言及しない以下の説明においては、同色のカラーフィルタ102を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ102における隣接画素として考えても良い。
Next, the relationship between the opening 104 of the
図3に示すように、開口マスク103の開口部104は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部104は互いに変位した位置に設けられている。
As shown in FIG. 3, the
図の例においては、それぞれの画素に対する開口部104の位置として、互いに左右方向にシフトした6種類の開口マスク103が用意されている。そして、撮像素子100の全体は、紙面左側から右側へ徐々にシフトする開口マスク103をそれぞれ有する6つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子100は、一組の光電変換素子群を含む繰り返しパターン110が、周期的かつ連続的に敷き詰められて構成されていると言える。
In the example shown in the drawing, six types of opening
しかしながら、繰り返しパターン110は、2次元方向の少なくとも一方向に連続的に敷き詰められていればよく、他方向に非連続であってもよい。また、撮像素子100は、実質的に視差画像を生成できる範囲内において、一部に繰り返しパターン110が省かれた部分を有してもよい。実質的に視差画像を生成できる範囲とは、例えば、像としての齟齬が生じないよう補間できる範囲である。また、繰り返しパターン110が省かれた部分が、視覚的に影響を与えない周辺領域である場合も、実質的に視差画像を生成できる。
However, the
図4は、視差画素と被写体の関係を説明する概念図である。特に図4(a)は撮像素子100のうち撮影光軸21と直交する中心に配列されている繰り返しパターン110tの光電変換素子群を示し、図4(b)は周辺部分に配列されている繰り返しパターン110uの光電変換素子群を模式的に示している。図4(a)、(b)における被写体30は、撮影レンズ20に対して合焦位置に存在する。図4(c)は、図4(a)に対応して、撮影レンズ20に対して非合焦位置に存在する被写体31を捉えた場合の関係を模式的に示している。なお、ここでは、説明を簡単にすべく、マイクロレンズアレイ101については後に言及を再開するまで考慮しない。
FIG. 4 is a conceptual diagram illustrating the relationship between the parallax pixels and the subject. In particular, FIG. 4A shows a photoelectric conversion element group of a repetitive pattern 110t arranged in the center orthogonal to the photographing
まず、撮影レンズ20が合焦状態に存在する被写体30を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ20の瞳を通過して撮像素子100へ導かれるが、被写体光束が通過する全体の断面領域に対して、6つの部分領域Pa〜Pfが規定されている。そして、例えば繰り返しパターン110t、110uを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Pfから射出された被写体光束のみが光電変換素子108へ到達するように、開口マスク103の開口部104fの位置が定められている。同様に、右端の画素に向かって、部分領域Peに対応して開口部104eの位置が、部分領域Pdに対応して開口部104dの位置が、部分領域Pcに対応して開口部104cの位置が、部分領域Pbに対応して開口部104bの位置が、部分領域Paに対応して開口部104aの位置がそれぞれ定められている。
First, the relationship between the parallax pixels and the subject when the photographing
別言すれば、例えば部分領域Pfと左端画素の相対的な位置関係によって定義される、部分領域Pfから射出される被写体光束の主光線Rfの傾きにより、開口部104fの位置が定められていると言っても良い。そして、合焦位置に存在する被写体30からの被写体光束を、開口部104fを介して光電変換素子108が受光する場合、その被写体光束は、点線で図示するように、光電変換素子108上で結像する。同様に、右端の画素に向かって、主光線Reの傾きにより開口部104eの位置が、主光線Rdの傾きにより開口部104dの位置が、主光線Rcの傾きにより開口部104cの位置が、主光線Rbの傾きにより開口部104bの位置が、主光線Raの傾きにより開口部104aの位置がそれぞれ定められていると言える。
In other words, the position of the
図4(a)で示すように、合焦位置に存在する被写体30のうち、光軸21と交差する被写体30上の微小領域Otから放射される光束は、撮影レンズ20の瞳を通過して、繰り返しパターン110tを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン110tを構成する光電変換素子群の各画素は、それぞれ6つの部分領域Pa〜Pfを介して、一つの微小領域Otから放射される光束を受光している。微小領域Otは、繰り返しパターン110tを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図4(b)で示すように、合焦位置に存在する被写体30のうち、光軸21から離間した被写体30上の微小領域Ouから放射される光束は、撮影レンズ20の瞳を通過して、繰り返しパターン110uを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン110uを構成する光電変換素子群の各画素は、それぞれ6つの部分領域Pa〜Pfを介して、一つの微小領域Ouから放射される光束を受光している。微小領域Ouも、微小領域Otと同様に、繰り返しパターン110uを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
As shown in FIG. 4A, the light beam emitted from the minute region Ot on the subject 30 that intersects the
つまり、被写体30が合焦位置に存在する限りは、撮像素子100上における繰り返しパターン110の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン110において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン110t、110uのそれぞれの左端の画素は、同じ部分領域Pfからの被写体光束を受光している。
In other words, as long as the subject 30 exists at the in-focus position, the minute area captured by the photoelectric conversion element group differs according to the position of the
撮影光軸21と直交する中心に配列されている繰り返しパターン110tにおいて左端画素が部分領域Pfからの被写体光束を受光する開口部104fの位置と、周辺部分に配列されている繰り返しパターン110uにおいて左端画素が部分領域Pfからの被写体光束を受光する開口部104fの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Pfからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図4の例では、撮像素子100上に配列される視差画素のそれぞれは、6種類の開口マスクの一つを備えると言える。
In the repetitive pattern 110t arranged in the center orthogonal to the photographing
次に、撮影レンズ20が非合焦状態に存在する被写体31を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体31からの被写体光束は、撮影レンズ20の瞳の6つの部分領域Pa〜Pfを通過して、撮像素子100へ到達する。ただし、非合焦位置に存在する被写体31からの被写体光束は、光電変換素子108上ではなく他の位置で結像する。例えば、図4(c)に示すように、被写体31が被写体30よりも撮像素子100に対して遠い位置に存在すると、被写体光束は、光電変換素子108よりも被写体31側で結像する。逆に、被写体31が被写体30よりも撮像素子100に対して近い位置に存在すると、被写体光束は、光電変換素子108よりも被写体31とは反対側で結像する。
Next, the relationship between the parallax pixels and the subject when the photographing
したがって、非合焦位置に存在する被写体31のうち、微小領域Ot'から放射される被写体光束は、6つの部分領域Pa〜Pfのいずれを通過するかにより、異なる組の繰り返しパターン110における対応画素に到達する。例えば、部分領域Pdを通過した被写体光束は、図4(c)の拡大図に示すように、主光線Rd'として、繰り返しパターン110t'に含まれる、開口部104dを有する光電変換素子108へ入射する。そして、微小領域Ot'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン110t'に含まれる光電変換素子108へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子108へ入射する。換言すると、繰り返しパターン110t'を構成する各光電変換素子108へ到達する被写体光束は、被写体31の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部104dに対応する108へは主光線をRd'とする被写体光束が入射し、他の開口部に対応する光電変換素子108へは主光線をRa+、Rb+、Rc+、Re+、Rf+とする被写体光束が入射するが、これらの被写体光束は、被写体31の互いに異なる微小領域から放射された被写体光束である。このような関係は、図4(b)における周辺部分に配列されている繰り返しパターン110uにおいても同様である。
Therefore, the subject luminous flux emitted from the minute region Ot ′ among the
すると、撮像素子100の全体で見た場合、例えば、開口部104aに対応する光電変換素子108で捉えた被写体像Aと、開口部104dに対応する光電変換素子108で捉えた被写体像Dは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Paと部分領域Pdの距離により、方向と量が定まる。つまり、被写体像Aと被写体像Dは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部104aから104fに対応して、6つの視差像が形成されることになる。
Then, when viewed as a whole of the
したがって、このように構成されたそれぞれの繰り返しパターン110において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、6つの部分領域Pa〜Pfうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
Therefore, when the outputs of the pixels corresponding to each other in each of the
図5は、視差画像を生成する処理を説明する概念図である。図5は、左列から順に、開口部104fに対応する視差画素の出力を集めて生成される視差画像データIm_fの生成の様子、開口部104eの出力による視差画像データIm_eの生成の様子、開口部104dの出力による視差画像データIm_dの生成の様子、開口部104cの出力による視差画像データIm_cの生成の様子、開口部104bの出力による視差画像データIm_bの生成の様子、開口部104aの出力による視差画像データIm_aの生成の様子を表す。まず開口部104fの出力による視差画像データIm_fの生成の様子について説明する。
FIG. 5 is a conceptual diagram illustrating processing for generating a parallax image. FIG. 5 illustrates the generation of the parallax image data Im_f generated by collecting the outputs of the parallax pixels corresponding to the
6つの視差画素を一組とする光電変換素子群から成る繰り返しパターン110は、横一列に配列されている。したがって、開口部104fを有する視差画素は、撮像素子100上において、左右方向に6画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
A repeating
しかし、本実施形態における撮像素子100の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が1/6に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に6倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データIm_fを生成する。ただし、そもそも補間処理前の視差画像データが横方向に1/6に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
However, since each pixel of the
同様にして、視差画像データIm_e〜視差画像データIm_aが得られる。すなわち、デジタルカメラ10は、横方向に視差を有する6視点の視差画像を生成することができる。
Similarly, parallax image data Im_e to parallax image data Im_a are obtained. That is, the
続いて、図6は、マイクロレンズアレイ101を考慮した場合の部分領域、開口部、および光電変換素子の位置関係を説明する概念図である。図6(a)は、撮影レンズ20の各部分領域Pa1〜Pf1からの光束が、繰り返しパターン110に含まれる、対応する光電変換素子108a〜108fにどのようにして到達するかを説明するための図である。図6(b)は、図6(a)に対応する繰り返しパターン110を示す図である。図6(b)は、図3で説明した繰り返しパターン110と同一であるので、説明を省略する。
Next, FIG. 6 is a conceptual diagram illustrating the positional relationship between the partial region, the opening, and the photoelectric conversion element when the
マイクロレンズアレイ101を考慮した場合であっても、部分領域Pa1〜Pf1、開口部104a〜104f、および光電変換素子108a〜108fの位置関係の考え方の骨子は、図4を用いて説明した内容と変わらない。つまり、部分領域Pa1、開口部104a、光電変換素子108aの位置関係について例示すると、部分領域Pa1から射出された被写体光束のみが光電変換素子108aへ到達するように、開口マスク103aの開口部104aの位置が定められる。
Even when the
ただし、部分領域Pa1から射出された被写体光束の主光線Ra1は、マイクロレンズ111aに対し入射角θ1で入射すると、マイクロレンズ111aから屈折角θ2で主光線Ra1'として射出される。したがって、開口部104aの位置は、主光線Ra1がマイクロレンズ111aに入射角θ1で入射した場合に、屈折角θ2で射出される主光線Ra1'が対応する光電変換素子108aに到達するように定められている。つまり、マイクロレンズ111aを考慮する場合には、マイクロレンズ111aから射出される主光線Ra1'の傾きにより開口部104aの位置が定められていると言える。ここで、マイクロレンズ111aを構成する樹脂材料は、空気よりも屈折率が大きいので、入射角θ1>屈折角θ2となる。また、図中の破線31は、主光線Ra1が入射する点における法線を示す。
However, the principal ray Ra1 of the subject light flux emitted from the partial area Pa1 is incident at the incident angle theta 1 with respect to the
同様に、開口部104b〜104fの位置は、マイクロレンズの曲率を考慮した上で、部分領域Pb1〜Pf1から射出された主光線Rb1〜Rf1のそれぞれが、対応する光電変換素子108b〜108fに到達するよう定められている。
Similarly, the positions of the
ところで、上述のように、ユーザは、撮影目的に応じて任意の交換レンズをカメラ本体200へ装着することができる。そうすると、カメラ本体200に装着された交換レンズによっては、当該交換レンズ内の撮影レンズの各部分領域から射出された被写体光束が、対応する光電変換素子へ到達しない場合が考えられる。
By the way, as described above, the user can attach an arbitrary interchangeable lens to the
図7は、交換レンズが取り替えられた場合の問題点を説明するための図である。図7(a)は、交換レンズ300内の撮影レンズ20、交換レンズ400内の撮影レンズ40、および撮像素子100の位置関係を示す図である。ここでは、ユーザによって交換レンズ300から交換レンズ400に取り替えられることによって、各部分領域が光軸方向に平行移動する場合を想定している。また、図7は、撮像素子100のうち撮影光軸21と直交する中心に配列されている繰り返しパターン110tの光電変換素子群を示し、被写体30は、撮影レンズ20に対して合焦位置に存在する。撮影レンズ20の焦点距離をf1、撮影レンズ20の焦点距離をf2、撮影レンズ20および撮影レンズ40のレンズ瞳径をDとする。図7(a)に示すように、交換レンズ300から交換レンズ400に取り替えられることによって、焦点距離がf1からf2に変わる。ここで、f2>f1である。
FIG. 7 is a diagram for explaining a problem when the interchangeable lens is replaced. FIG. 7A is a diagram illustrating a positional relationship between the photographing
図7(b)は、撮像面近傍の拡大図である。図7(b)は、マイクロレンズアレイ移動部112が変位していない状態を示している。マイクロレンズアレイ移動部112が変位していない状態を基準状態という。マイクロレンズアレイ移動部112は、例えば非通電時に基準状態となる。基準状態でのマイクロレンズアレイ移動部112の厚みを基準値h0とする。なお、図7(a)、図7(b)において、撮影レンズ20の各部分領域Pa1〜Pf1からの光束を実線で、撮影レンズ40の各部分領域Pa2〜Pf2からの光束を破線で示す。図7(c)は、図7(b)に対応する繰り返しパターン110を示す図である。
FIG. 7B is an enlarged view of the vicinity of the imaging surface. FIG. 7B shows a state where the microlens
図7(b)に示すように、撮影レンズ20の各部分領域Pa1〜Pf1から射出された被写体光束の主光線Ra1〜Rf1は、対応する開口部104a〜104fを通過してそれぞれ光電変換素子108a〜108fに到達する。一方、撮影レンズ40の各部分領域Pa2〜Pf2から射出された被写体光束の主光線Ra2〜Rf2の少なくとも一部は、対応する光電変換素子108a〜108fに到達しない。例えば、主光線Ra2は、マイクロレンズ111aに対し入射角θ3で入射し、マイクロレンズ111aから屈折角θ4で主光線Ra2'として射出されるが、主光線Ra2'は、光電変換素子108aに到達しない。主光線Ra2が光電変換素子108aに到達しない理由は、次の通りである。
As shown in FIG. 7B, the principal rays Ra1 to Rf1 of the subject luminous flux emitted from the partial areas Pa1 to Pf1 of the photographing
光電変換素子108aと開口部104aの位置関係は、交換レンズ300が装着された場合を前提にして、撮影レンズ20の部分領域Pa1に対応して定められている。したがって、図7(a)に示すように、交換レンズ400が装着されることによって焦点距離が変化すると、光軸21と交差する被写体30上の微小領域Otから放射される光束は、部分領域Pa2に、交換レンズ300における対応する部分領域Pa1に対する角度と異なる角度で入射する。そうすると、各部分領域Pa1、Pa2で屈折した光束の主光線Ra1、Ra2は、それぞれ異なる角度で撮像素子100に向かうことになる。その結果、主光線Ra2は、交換レンズ300の部分領域Pa1に対して定められた開口部104aからずれた位置に到達してしまう。ここでは、主光線Ra2は、対応するマイクロレンズ111aに入射するものの、マイクロレンズ111aから射出される光束の主光線Ra2'の傾きは、主光線Ra1'とは異なっている。つまり、光電変換素子108aと開口部104aの位置関係が固定された状態は変わらずに、主光線Ra2のマイクロレンズ111aへの入射角が変わり、その結果、マイクロレンズ111aから射出される光束の主光線Ra2'の傾きも、主光線Ra1'とは異なっている。
The positional relationship between the
上述のように、マイクロレンズ111aから射出される主光線Ra1'の傾きにより開口部104aの位置が定められているので、主光線Ra1'の傾きとは異なる主光線Ra2'は、対応する光電変換素子108aに到達しないのである。同様の理由によって、主光線Rb2、Re2、Rf2は、対応する光電変換素子108b、108e、108fに到達しない。なお、ここでは、主光線Rc2、Rd2は、マイクロレンズへの入射角が主光線Rc1、Rd1の場合と変わっていないので、対応する光電変換素子108c、108dに到達している。
As described above, since the position of the
本実施形態では、交換レンズ300が交換レンズ400に取り替えられた場合に、移動制御部212は、交換レンズ400内の撮影レンズ40のレンズ情報に応じて、マイクロレンズアレイ移動部112を制御してマイクロレンズアレイ101を光軸方向に移動させる。マイクロレンズアレイ101が移動することによって、撮影レンズ40の各部分領域Pa2〜Pf2からの主光線Ra2〜Rf2の、マイクロレンズへの入射角が変化する。主光線Ra2〜Rf2の、マイクロレンズへの入射角が変化することによって、マイクロレンズから射出される主光線の屈折角が変化する。したがって、撮影レンズ40のレンズ情報に応じてマイクロレンズアレイ101が移動されることによって、各主光線Ra2〜Rf2を対応する光電変換部108a〜108fに導くことができる。よって、本実施形態のデジタルカメラ10は、光電変換素子108a〜108fと開口部104a〜104fの位置関係が固定された状態において、装着されるレンズに関わらず、適切な視差画像を生成することができる。交換レンズが取り替えられた場合の移動制御部212の制御内容について、図8を用いて詳細に説明する。
In this embodiment, when the
図8は、撮影レンズ40の各部分領域Pa2〜Pf2からの主光線Ra2〜Rf2の進路を説明するための図である。図8(a)は、マイクロレンズアレイ移動部112が基準状態にある状態、すなわちマイクロレンズアレイ101が移動される前の状態を示す図である。図8(c)は、マイクロレンズアレイ101が移動された後の状態を示す図である。図8(a)は、図7(b)と同一であるので説明を省略する。図8(b)、図8(d)は、図8(a)、図8(c)に対応する繰り返しパターン110を示す図である。
FIG. 8 is a diagram for explaining the paths of the principal rays Ra2 to Rf2 from the partial areas Pa2 to Pf2 of the photographing
図8(c)に示すように、マイクロレンズアレイ101は、マイクロレンズアレイ移動部112によって、変位量hだけz軸のマイナス方向へ移動している。その結果、例えば主光線Ra2は、マイクロレンズ111aに入射角θ5で入射し、マイクロレンズ111aから屈折角θ6で主光線Ra2''として射出される。なお、図中の破線32は、主光線Ra2が入射する点における法線を示す。
As shown in FIG. 8C, the
ここで、主光線Ra2''と光軸に平行な線22がなす角θ56は、図8(a)に示す、主光線Ra1'と光軸に平行な線22がなす角θ12と同一の角度である。上述のように、開口部104aは、主光線Ra1がマイクロレンズ111aに入射角θ1で入射した場合に、屈折角θ2で射出される主光線Ra1'が対応する光電変換素子108aに到達するように定められている。主光線Ra1'と光軸に平行な線22とのなす角θ12、すなわち光電変換素子108aに入射可能な主光線の角度は、光電変換素子108aと開口マスク103aにおける開口部104aの位置関係によって一意に定まる。つまり、マイクロレンズ111aから射出される主光線と光軸に平行な線22とのなす角が、開口部104aの位置に対して一意に定められた角度になれば、当該主光線は、対応する光電変換素子108aに到達することになる。
Same Here, the principal ray Ra2 '' and the angle is a line parallel 22 to the optical axis theta 56 is shown in FIG. 8 (a), the principal ray Ra1 'and the angle theta 12 line 22 parallel to the optical axis Is the angle. As described above, the
そこで、移動制御部212は、マイクロレンズ111aから射出される主光線が、角度θ12に一致するよう、部分領域Pa2から射出される主光線の、マイクロレンズ111aへの入射角を、マイクロレンズアレイ101を移動させることによって調整する。別言すると、マイクロレンズ111aから角度θ12で射出される主光線が、部分領域Pa2から射出される主光線となるようマイクロレンズアレイ101を移動させる。交換レンズ400が装着されてからマイクロレンズアレイ101が移動されるまでの移動制御部212の詳細な処理は、次の通りである。
Therefore, the
移動制御部212は、交換レンズ400が装着されたことを検知すると、交換レンズ400のレンズシステム制御部を介して、撮影レンズ40のレンズ情報を取得する。移動制御部212は、例えば、カメラ本体制御部201とレンズシステム制御部301の通信の接続が確立されたことを検知することによって、交換レンズが装着されたことを検知することができる。
When the
交換レンズ400内のメモリには、撮影レンズ40のレンズ情報として瞳位置情報、焦点距離情報、開放絞り値情報、レンズ瞳径情報等が記憶されている。ここでは、各部分領域が平行移動する場合を想定しているので、移動制御部212は、交換レンズ400のレンズシステム制御部を介して焦点距離情報を取得する。そして、移動制御部212は、カメラメモリ214に記憶されたルックアップテーブルを参照し、取得した焦点距離情報に対応する変位量hを決定する。移動制御部212は、変位量hに応じた駆動電圧をマイクロレンズアレイ移動部112に与えることによって、マイクロレンズアレイ101を移動させる。以上、説明したように、移動制御部212は、マイクロレンズアレイ101を移動させることによって、各部分領域Pa2〜Pf2からの主光線を対応する光電変換素子108a〜108fに導くことができる。
The memory in the interchangeable lens 400 stores pupil position information, focal length information, full aperture value information, lens pupil diameter information, and the like as lens information of the photographing
なお、繰り返しパターン110における右端の視差画素について、部分領域Pa2からの主光線が対応する光電変換素子108aに入射するよう調整してもよい。繰り返しパターン110の端部の視差画素は、部分領域から射出される主光線のズレ量がもっとも大きいので、当該視差画素について部分領域Pa2からの主光線が対応する光電変換素子108aに入射するよう調整されれば、繰り返しパターン110の他の視差画素に対しても同様の結果が期待される。
Note that the rightmost parallax pixel in the
以上、本実施形態のデジタルカメラ10によれば、装着される交換レンズに応じて、撮影レンズの各部分領域から射出される主光線の入射角が調整される。したがって、デジタルカメラ10は、装着される交換レンズに依存することなく、視差画像を生成することができる。
As described above, according to the
次に、デジタルカメラ10におけるマイクロレンズアレイ101を移動させる構成を、開口マスク103を移動させる構成に替えた一変形例について説明する。図9は、開口マスク103を移動させる構成を説明するための図である。図9(a)は、開口マスク103が移動される前の状態を示す図である。図9(a)では、撮影レンズ20、撮影レンズ40の図示を省略しているが、図7(a)と同様、主光線Ra1〜Rf1および主光線Ra2〜Rf2はそれぞれ、撮影レンズ20の部分領域Pa1〜Pf1、撮影レンズ40の部分領域Pa2〜Pf2から射出される。また、ユーザによって交換レンズ300から交換レンズ400に取り替えられることによって、各部分領域が光軸方向に平行移動するものとする。図9(c)は、開口マスク103が移動された後の状態を示す図である。図9(b)、図9(d)は、図9(a)、図9(c)に対応する繰り返しパターン110を示す図である。ここでは、繰り返しパターン110は、紙面の右側に向かって、紙面右側から左側へ徐々にシフトする開口マスク103をそれぞれ有する6つの視差画素を一組とする光電変換素子群である。
Next, a modification in which the configuration for moving the
図9(a)、図9(b)に示すように、本変形例に係る撮像素子100では、被写体側から順に、開口マスクアレイ114、開口マスクアレイ移動部113、マイクロレンズアレイ101、光電変換素子アレイ115が配置されている。開口マスクアレイ移動部113は、マイクロレンズアレイ移動部112と同様、例えば圧電素子である。開口マスクアレイ移動部113は、光電変換素子108が配列された平面に直交する成分を含むように開口マスクアレイ114を移動させる。ここでは、開口マスクアレイ移動部113は、開口マスクアレイ114の裏面に配置され、移動制御部212から入力される駆動電圧に応じて伸縮することによって開口マスクアレイ114をz軸方向に移動させる。
As shown in FIGS. 9A and 9B, in the
図9(a)に示すように、主光線Ra1〜Rf1がそれぞれ対応する光電変換素子108a〜108fに入射するのに対し、主光線Ra2〜Rf2の少なくとも一部は、対応する光電変換素子108a〜108fに入射しない。光電変換素子108aと開口部104aを例に挙げて説明すると、光電変換素子108aと開口マスク103aにおける開口部104aの位置関係によって定まる、入射可能な光線角は、撮影レンズ20に対して定められているからである。他の光電変換素子108b〜108fと開口部104b〜104fについても同様のことが言える。
As shown in FIG. 9A, the principal rays Ra1 to Rf1 are incident on the corresponding
本変形例では、移動制御部212が開口マスクアレイ移動部113を制御して開口マスクアレイ114を光軸方向に移動させることによって、光電変換素子に入射可能な光線角を、撮影レンズ40のレンズ情報に応じて調節する。本変形例では、カメラメモリ214は、開口マスク103aの開口部104aの位置を示す位置情報を記憶している。移動制御部212は、撮影レンズ40のレンズ情報としての焦点距離情報と位置情報を取得し、焦点距離情報と位置情報に応じて、部分領域Pa2から射出された主光線が開口部104aを通過するよう、開口マスクアレイ114の変位量hを算出する。そして、開口マスクアレイ114が開口マスクアレイ移動部113によって変位量hだけ移動されることによって、図9(c)に示すように、例えば主光線Ra2は、開口部104aを通過し、マイクロレンズ111aを透過して光電変換素子108aに到達することができる。
In this modification, the
なお、ここでは、繰り返しパターン110における右端の視差画素のみに言及したが、上述のように、各部分領域Pa2〜Pf2から射出される主光線Ra2〜Rf2の、対応する開口部からのズレ量は、繰り返しパターン110の両端部の視差画素で最も大きくなる。したがって、開口マスクアレイ114を移動させることにより、他の視差画素についても同様のことが起こる。つまり、撮影レンズ40の各部分領域Pb2〜Pf2からの主光線Rb2〜Rf2の、対応する開口部への入射角を変化させることによって、各主光線Rb2〜Rf2を対応する光電変換部108b〜108fに導くことができる。
Here, only the parallax pixel at the right end in the
なお、本変形例では、開口マスクアレイ114がマイクロレンズアレイ101の上方に形成されたが、開口マスクアレイ114は、マイクロレンズアレイ101と光電変換素子アレイ115の間に配置されてもよい。この場合、マイクロレンズアレイ101と開口マスクアレイ114の間には、空間が存在することになる。
In this modification, the
以上の説明においては、横一列を繰り返しパターン110として周期的に配列される例を説明したが、繰り返しパターン110はこれに限らない。図10は、繰り返しパターン110の他の例を示す図である。
In the above description, an example in which a horizontal row is periodically arranged as a repeating
図10(a)は、縦6画素を繰り返しパターン110とした例である。ただし、それぞれの開口部104は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン110によっても、横方向に視差を与える6視点の視差画像を生成することができる。この場合は、図3の繰り返しパターン110に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。
FIG. 10A shows an example in which a vertical pattern of 6 pixels is used as a repeating
図10(b)は、斜め方向に隣接する6画素を繰り返しパターン110とした例である。それぞれの開口部104は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン110によっても、横方向に視差を与える6視点の視差画像を生成することができる。この場合は、図3の繰り返しパターン110に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。
FIG. 10B is an example in which six pixels adjacent in the oblique direction are used as the repeated
図3の繰り返しパターン110、および図10(a)(b)の繰り返しパターン110をそれぞれ比較すると、いずれも6視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図3の繰り返しパターン110の場合は、横方向の解像度を1/6とする構成である。図10(a)の繰り返しパターン110の場合は、縦方向の解像度を1/6とする構成である。また、図10(b)の繰り返しパターン110の場合は、縦方向を1/3、横方向を1/2とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部104a〜104fが一つずつ設けられており、それぞれが対応する部分領域Pa〜Pfのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン110であっても視差量は同等である。
When the
また、デジタルカメラ10は、左右方向に視差を与える視差画像を生成するだけではなく、上下方向に視差を与える視差画像を生成することもできるし、上下左右の二次元方向に視差を与える視差画像を生成することもできる。図11は、二次元的な繰り返しパターン110の例を示す図である。
Further, the
図11の例によれば、縦6画素横6画素の36画素を一組の光電変換素子群として繰り返しパターン110を形成する。それぞれの画素に対する開口部104の位置として、互いに上下左右方向にシフトした36種類の開口マスク103が用意されている。具体的には、各開口部104は、繰り返しパターン110の上端画素から下端画素に向かって、上側から下側へ徐々にシフトすると同時に、左端画素から右端画素に向かって、左側から右側へ徐々にシフトするように位置決めされている。
According to the example of FIG. 11, the
このような繰り返しパターン110を有する撮像素子100は、上下方向および左右方向に視差を与える、36視点の視差画像を出力することができる。もちろん図11の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン110を定めることができる。
The
以上の説明においては、開口部104の形状として矩形を採用した。特に、横方向に視差を与える配列においては、シフトさせる方向である左右方向の幅よりも、シフトさせない上下方向の幅を広くすることにより、光電変換素子108へ導く光量を確保している。しかし、開口部104の形状は矩形に限定されない。
In the above description, a rectangle is adopted as the shape of the
図12は、開口部104の他の形状を説明する図である。図12においては、開口部104の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ111との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子108へ入射することを防ぐことができる。
FIG. 12 is a diagram for explaining another shape of the
次に、カラーフィルタ102と視差画像について説明する。図13は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の2画素に、赤フィルタが左下の1画素に、青フィルタが右上の1画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をGb画素と、同じく緑色フィルタが割り当てられた右下の画素をGr画素とする。また、赤色フィルタが割り当てられた画素をR画素と、青色が割り当てられた画素をB画素とする。そして、Gb画素およびB画素が並ぶ横方向をGb行とし、R画素およびGr画素が並ぶ横方向をGr行とする。また、Gb画素およびR画素が並ぶ縦方向をGb列とし、B画素およびGr画素が並ぶ縦方向をGr列とする。
Next, the
このようなカラーフィルタ102の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン110が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い2D画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる3D画像としては画質が低下する。逆に、視差画素の割合を増やせば、3D画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い2D画像が出力される。
With respect to such an arrangement of the
このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン110が設定される。図14は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が2つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部104が中心よりも左側に偏心した視差L画素と、同じく右側に偏心した視差R画素を想定している。つまり、このような視差画素から出力される2視点の視差画像は、いわゆる立体視を実現する。
In such a trade-off relationship, a
それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の2D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の2D画像データとなる。視差画素の出力も利用して2D画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のR画素が視差画素であったとしても2D画像を生成することはできるものの、その画質は自ずと低下する。 The description of the features for each repetitive pattern is as shown in the figure. For example, if many non-parallax pixels are allocated, high-resolution 2D image data is obtained, and if all pixels of RGB are equally allocated, high-quality 2D image data with little color shift is obtained. When 2D image data is generated using the output of the parallax pixels, the shifted subject image is corrected with reference to the output of the peripheral pixels. Therefore, for example, even if all R pixels are parallax pixels, a 2D image can be generated, but the image quality is naturally lowered.
一方、視差画素が多く割り振られていれば高解像度の3D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、3D画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して3D画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のR画素が視差なし画素であったとしてもカラーの3D画像を生成することはできるものの、やはりその品質は低下する。 On the other hand, if a large number of parallax pixels are allocated, high-resolution 3D image data is obtained, and if all the RGB pixels are allocated equally, a high-quality image with good color reproducibility can be obtained while being a 3D image. Color image data. When 3D image data is generated using the output of pixels without parallax, a subject image shifted from a subject image without parallax is generated with reference to the output of peripheral parallax pixels. Therefore, for example, even if all the R pixels are non-parallax pixels, a color 3D image can be generated, but the quality is still deteriorated.
以下にいくつかのバリエーションについて説明する。図15は、バリエーションの一例を示す図である。図15のバリエーションは、図14における繰り返しパターン分類A−1に相当する。 Some variations are described below. FIG. 15 is a diagram illustrating an example of a variation. The variation in FIG. 15 corresponds to the repeated pattern classification A-1 in FIG.
図の例においては、ベイヤー配列と同じ4画素を繰り返しパターン110とする。R画素とG画素は視差なし画素であり、Gb画素を視差L画素に、Gr画素を視差R画素に割り当てる。この場合、同一の繰り返しパターン110に含まれる視差L画素と視差R画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部104を定めることもできるし、異なる微小領域から放射される光束を受光するように開口部104を定めることもできる。異なる微小領域から放射される光束を受光するように開口部104を定めた場合、位相ずらし配列として、例えば、左右に隣接する2つの繰り返しパターン110において、左側の繰り返しパターン110のGb画素に割り当てられた視差L画素と、右側の繰り返しパターン110のGr画素に割り当てられた視差R画素とが、同一の微小領域から放射される光束を受光するように構成することができる。
In the example of the figure, the same four pixels as the Bayer array are used as the repeated
図の例においては、視感度の高い緑画素であるGb画素およびGr画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるGb画素およびGr画素を視差画素として用いるので、これら2つの出力から視差のない出力に変換演算がし易く、視差なし画素であるR画素およびB画素の出力と共に、高画質の2D画像データを生成できる。 In the example of the figure, Gb pixels and Gr pixels, which are green pixels with high visibility, are used as parallax pixels, so that it is expected to obtain a parallax image with high contrast. In addition, since the Gb pixel and the Gr pixel which are the same green pixels are used as the parallax pixels, it is easy to perform a conversion operation from these two outputs to an output having no parallax, and the output of the R pixel and the B pixel which are non-parallax pixels is high. High-quality 2D image data can be generated.
図16は、他のバリエーションの一例を示す図である。図16のバリエーションは、図14における繰り返しパターン分類B−1に相当する。 FIG. 16 is a diagram illustrating an example of another variation. The variation in FIG. 16 corresponds to the repeated pattern classification B-1 in FIG.
図の例においては、ベイヤー配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のGb画素に視差L画素を、右側のGb画素に視差R画素を割り当てる。このような配列においては、Gr画素を視差なし画素としたことにより、図14の例よりも、更に2D画像の高画質化が望める。
In the example shown in the figure, the repeated
図17は、更に他のバリエーションの一例を示す図である。図17のバリエーションは、図14における繰り返しパターン分類C−1に相当する。 FIG. 17 is a diagram illustrating an example of still another variation. The variation in FIG. 17 corresponds to the repeated pattern classification C-1 in FIG.
図の例においては、ベイヤー配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のGb画素に視差L画素を、右側のGb画素に視差R画素を割り当てる。さらに、左側のGr画素にも視差L画素を、右側のGr画素にも視差R画素を割り当てる。2つのGb画素に割り当てられた視差L画素と視差R画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光し、2つのGr画素に割り当てられた視差L画素と視差R画素は、Gb画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図16の例に比較して、3D画像としての解像度が縦方向に2倍となる。
In the example shown in the figure, the repeated
図18は、更に他のバリエーションの一例を示す図である。図18のバリエーションは、図14における繰り返しパターン分類D−1に相当する。 FIG. 18 is a diagram illustrating an example of still another variation. The variation in FIG. 18 corresponds to the repeated pattern classification D-1 in FIG.
図の例においては、ベイヤー配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のGb画素に視差L画素を、右側のGb画素に視差R画素を割り当てる。さらに、左側のR画素に視差L画素を、右側のR画素に視差R画素を割り当てる。さらに、左側のB画素に視差L画素を、右側のB画素に視差R画素を割り当てる。2つのGr画素には視差なし画素を割り当てる。
In the example shown in the figure, the repeated
2つのGb画素に割り当てられた視差L画素と視差R画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、2つのR画素に割り当てられた視差L画素と視差R画素は、Gb画素のそれとは異なる一つの微小領域から放射される光束を受光し、2つのB画素に割り当てられた視差L画素と視差R画素は、Gb画素およびR画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図16の例に比較して、3D画像としての解像度が縦方向に3倍となる。しかも、RGBの3色の出力が得られるので、カラー画像としての3D画像として高品質である。 The parallax L pixel and the parallax R pixel assigned to the two Gb pixels receive the light beam emitted from one minute region when the subject is in the in-focus position. In addition, the parallax L pixel and the parallax R pixel assigned to the two R pixels receive a light beam emitted from one minute region different from that of the Gb pixel, and the parallax L pixel assigned to the two B pixels The parallax R pixel receives a light beam emitted from one minute region different from that of the Gb pixel and the R pixel. Therefore, compared with the example of FIG. 16, the resolution as a 3D image is tripled in the vertical direction. Moreover, since RGB three-color output can be obtained, it is a high-quality 3D image as a color image.
図19は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が3つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部104が中心よりも左側に偏心した視差L画素、偏心のない視差C画素および右側に偏心した視差R画素を想定している。偏心のない視差C画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子108へ導く点で視差画像を出力する視差画素であり、光電変換素子108に対して入射する被写体光束を制限しない視差なし画素とは異なる。したがって、これら3種類の視差画素により、3視点の視差画像が出力される。
FIG. 19 is a diagram illustrating a variation in the case where there are three types of parallax pixels with respect to the allocation of parallax pixels to the Bayer array. The parallax pixels in this case are assumed to be a parallax L pixel decentered to the left of the
それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。2視点における2D画像と3D画像のトレードオフの関係は、3視点においても同様である。 The description of the features for each repetitive pattern is as shown in the figure. The trade-off relationship between 2D images and 3D images at two viewpoints is the same at three viewpoints.
3視点におけるバリエーションの一例を説明する。図20は、バリエーションの一例として、図19における繰り返しパターン分類Bt−2に相当する図である。 An example of variations in three viewpoints will be described. FIG. 20 is a diagram corresponding to the repeated pattern classification Bt-2 in FIG. 19 as an example of a variation.
図の例においては、ベイヤー配列の4画素が左右方向に3組続く12画素を繰り返しパターン110とする。12画素のうち、3つのGb画素にそれぞれ左右方向に対応させて視差L画素、視差C画素および視差R画素を割り当てる。他の画素には、全て視差なし画素を割り当てる。
In the example shown in the figure, the repeating
このような繰り返しパターン110によれば、2D画像としての解像度、カラー品質を高いレベルで維持しつつ、3視点の視差画像も同時に取得することができる。
According to such a
図21は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が4つ以上である場合のバリエーションの一例を説明する図である。このように、視点数が増えていっても、さまざまな繰り返しパターン110を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン110を選択することができる。
FIG. 21 is a diagram illustrating an example of a variation in the case where there are four or more types of parallax pixels with respect to the allocation of parallax pixels to the Bayer array. Thus, even if the number of viewpoints is increased, various
上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。図3等を用いて説明したように、カラーフィルタ配列を構成するある1色に着目して寄せ集めた場合に、隣接する複数の画素を一組の光電変換素子群とする繰り返しパターンを形成し、視差画像を出力するように視差画素が割り当てられていれば良い。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部104を有する開口マスク103を備えると良い。
In the above-described example, the case where the Bayer array is adopted as the color filter array has been described. Of course, other color filter arrays may be used. As described with reference to FIG. 3 and the like, a repetitive pattern in which a plurality of adjacent pixels are set as a set of photoelectric conversion elements is formed when focusing on one color constituting the color filter array. The parallax pixels need only be assigned so as to output a parallax image. At this time, each of the parallax pixels constituting the set of photoelectric conversion element groups may include an
図22は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、緑フィルタが左上および右上の2画素に、赤フィルタが左下の1画素に、青フィルタが右下の1画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をGr画素と、同じく緑色フィルタが割り当てられた右上の画素をGb画素とする。また、赤色フィルタが割り当てられた画素をR画素と、青色が割り当てられた画素をB画素とする。そして、Gr画素およびGb画素が並ぶ横方向をG行とし、R画素およびB画素が並ぶ横方向をRB行とする。また、Gr画素およびR画素が並ぶ縦方向をGr列とし、Gb画素およびB画素が並ぶ縦方向をGb列とする。 FIG. 22 is a diagram for explaining another color filter arrangement. As shown in the drawing, the other color filter array is an array in which the green filter is assigned to the upper left and upper right two pixels, the red filter is assigned to the lower left pixel, and the blue filter is assigned to the lower right pixel. Here, the upper left pixel to which the green filter is assigned is the Gr pixel, and the upper right pixel to which the green filter is assigned is the Gb pixel. In addition, a pixel to which a red filter is assigned is an R pixel, and a pixel to which blue is assigned is a B pixel. The horizontal direction in which Gr pixels and Gb pixels are arranged is defined as G row, and the horizontal direction in which R pixels and B pixels are aligned is defined as RB row. The vertical direction in which Gr pixels and R pixels are arranged is referred to as Gr column, and the vertical direction in which Gb pixels and B pixels are arranged is referred to as Gb column.
ベイヤー配列の場合と同じく、このような他のカラーフィルタ配列の場合であっても、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン110が設定され得る。また、相対的に視差なし画素の割合を増やせば、解像度の高い2D画像を出力させることができ、視差画素の割合を増やせば、3D画像の画質を向上させることができる関係も同様である。
As in the case of the Bayer array, even in the case of such other color filter arrays, an enormous number of pixels may be used depending on how many colors of pixels the disparity pixels and non-parallax pixels are allocated. A repeating
図23は、他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が2つである場合のバリエーションを説明する図である。それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の2D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の2D画像データとなる。視差画素の出力も利用して2D画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のR画素が視差画素であったとしても2D画像を生成することはできるものの、その画質は自ずと低下する。 FIG. 23 is a diagram illustrating a variation in the case where there are two types of parallax pixels with respect to allocation of parallax pixels to other color filter arrays. The description of the features for each repetitive pattern is as shown in the figure. For example, if many non-parallax pixels are allocated, high-resolution 2D image data is obtained, and if all pixels of RGB are equally allocated, high-quality 2D image data with little color shift is obtained. When 2D image data is generated using the output of the parallax pixels, the shifted subject image is corrected with reference to the output of the peripheral pixels. Therefore, for example, even if all R pixels are parallax pixels, a 2D image can be generated, but the image quality is naturally lowered.
一方、視差画素が多く割り振られていれば高解像度の3D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、3D画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して3D画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のR画素が視差なし画素であったとしてもカラーの3D画像を生成することはできるものの、やはりその品質は低下する。 On the other hand, if a large number of parallax pixels are allocated, high-resolution 3D image data is obtained, and if all the RGB pixels are allocated equally, a high-quality image with good color reproducibility can be obtained while being a 3D image. Color image data. When 3D image data is generated using the output of pixels without parallax, a subject image shifted from a subject image without parallax is generated with reference to the output of peripheral parallax pixels. Therefore, for example, even if all the R pixels are non-parallax pixels, a color 3D image can be generated, but the quality is still deteriorated.
図24は、他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が3つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部104が中心よりも左側に偏心した視差L画素、偏心のない視差C画素および右側に偏心した視差R画素を想定している。
FIG. 24 is a diagram illustrating a variation in the case where there are three types of parallax pixels with respect to allocation of parallax pixels to other color filter arrays. The parallax pixels in this case are assumed to be a parallax L pixel decentered to the left of the
それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。2視点における2D画像と3D画像のトレードオフの関係は、3視点においても同様である。 The description of the features for each repetitive pattern is as shown in the figure. The trade-off relationship between 2D images and 3D images at two viewpoints is the same at three viewpoints.
図示は省くが、視差画素の種類が4つ以上であっても、さまざまな繰り返しパターン110を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン110を選択することができる。
Although illustration is omitted, various
図25は、本発明の実施形態に係る他の撮像素子の断面を表す概略図である。図2では、カラーフィルタ102と開口マスク103が別体で構成される撮像素子100の断面概略図を示したが、図25では、撮像素子100の変形例として、カラーフィルタ部122と開口マスク部123が一体的に構成されたスクリーンフィルタ121を備える撮像素子120の断面外略図を示す。
FIG. 25 is a schematic diagram illustrating a cross section of another image sensor according to the embodiment of the present invention. FIG. 2 shows a schematic cross-sectional view of the
輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図25で示す撮像素子120の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部122と、開口部104を有する開口マスク部123とが一体的に構成されたスクリーンフィルタ121を、マイクロレンズ111と配線層105の間に配設することができる。
When the pixel for obtaining the luminance information is a parallax pixel, that is, when the parallax image is output as a monochrome image, the configuration of the
スクリーンフィルタ121は、カラーフィルタ部122において例えば青緑赤の着色が施され、開口マスク部123において開口部104以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ121を採用する撮像素子120は、撮像素子100に比較して、マイクロレンズ111から光電変換素子108までの距離が短いので、被写体光束の集光効率が高い。
The
図26は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図12で示したベイヤー配列のGr画素を緑フィルタが割り当てられるG画素として維持する一方、Gb画素をカラーフィルタが割り当てられないW画素に変更した配列である。なお、W画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。 FIG. 26 is a diagram for explaining another color filter arrangement. As shown in the figure, the other color filter array maintains the Gr pixels in the Bayer array shown in FIG. 12 as G pixels to which the green filter is assigned, while changing the Gb pixels to W pixels to which no color filter is assigned. It is. Note that, as described above, the W pixel may be arranged with a transparent filter that is not colored so as to transmit substantially all the wavelength band of visible light.
このようなW画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、W画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。W画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。 If such a color filter array including W pixels is adopted, the accuracy of the color information output from the image sensor is slightly reduced, but the amount of light received by the W pixels is larger than that when a color filter is provided. Therefore, highly accurate luminance information can be acquired. A monochrome image can also be formed by gathering the outputs of W pixels.
W画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン110は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してW画素から出力された画像であれば、被写体像のコントラストが高い。そこで、W画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、2D画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン110が設定される。
In the case of a color filter array including W pixels, there are further variations in the
図27は、図26の他のカラーフィルタ配列を採用する場合の、W画素と視差画素の配列の一例を示す図である。図27のバリエーションは、ベイヤー配列における図16の繰り返しパターン分類B−1に類似するので、ここではB'−1とする。図の例においては、他のカラーフィルタ配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のW画素に視差L画素を、右側のW画素に視差R画素を割り当てる。このような配列において撮像素子100は、視差画像をモノクロ画像として出力し、2D画像をカラー画像として出力する。
FIG. 27 is a diagram illustrating an example of an array of W pixels and parallax pixels when another color filter array of FIG. 26 is employed. The variation in FIG. 27 is similar to the repeated pattern classification B-1 in FIG. In the example shown in the figure, the repeated
この場合、撮像素子100は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子108と、光電変換素子108の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク103と、光電変換素子108の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ102とを有し、隣接するn個(nは4以上の整数)の光電変換素子108のうち、少なくとも2つに対応して設けられたそれぞれの開口マスク103の開口部104は、互いに異なる波長帯域を透過させる少なくとも2種類のカラーフィルタ102から構成されるカラーフィルタパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、n個の光電変換素子108を一組とする光電変換素子群が周期的に配列されていれば良い。
In this case, the
ここで、モノクロ画像としての視差画像の生成と、カラー画像としての2D画像の生成について説明する。 Here, generation of a parallax image as a monochrome image and generation of a 2D image as a color image will be described.
図28は、視差画像と2D画像の生成過程を示す概念図である。図示するように、視差L画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、L画像データが生成される。一つの繰り返しパターン110に含まれる視差L画素は一つであるので、L画像データを形成する各視差L画素は、それぞれ異なる繰り返しパターン110から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの視差L画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、L画像データは、特定の視点(L視点)から被写体を捉えた一つの視差画像データとなる。そして、視差L画素は、W画素に割り振られているので、L画像データは、カラー情報を持たず、モノクロ画像として生成される。
FIG. 28 is a conceptual diagram illustrating a process of generating a parallax image and a 2D image. As shown in the figure, the outputs of the parallax L pixels are gathered together while maintaining the relative positional relationship on the
同様に、視差R画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、R画像データが生成される。寄せ集められたそれぞれの視差R画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、R画像データは、特定の視点(R視点)から被写体を捉えた一つの視差画像データとなる。そして、視差R画素は、W画素に割り振られているので、R画像データは、カラー情報を持たず、モノクロ画像として生成される。
Similarly, the outputs of the parallax R pixels are gathered together while maintaining the relative positional relationship on the
被写体が合焦位置に存在するときに、一つの繰り返しパターン110において、L画素とR画素は、被写体の同一の微小領域から放射される光束を受光する。また、被写体が非合焦位置に存在するときに、一つの繰り返しパターン110において、L画素とR画素は、被写体の互いにずれた微小領域から放射される光束を受光する。そのずれは、被写体位置の合焦位置に対する相対関係と瞳の部分領域の関係とから、方向と量が定まる。したがって、L画像データとR画像データのそれぞれにおいて、視差L画素と視差R画素が撮像素子100上の相対的な位置関係を維持しながら寄せ集められていれば、それぞれが視差画像を形成する。
When the subject exists at the in-focus position, in one
また、視差なし画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、2D画像データが生成される。このとき、W画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、Gb画素の出力に相当する出力が欠落する。そこで、例えば、この欠落した出力の値として、G画素の出力値を代入する。つまり、G画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して2D画像データを生成することができる。
Further, the outputs of pixels without parallax are gathered together while maintaining the relative positional relationship on the
なお、以上の画像処理は、画像処理部205によって実行される。画像処理部205は、カメラ本体制御部201を介して撮像素子100から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配してL画像データ、R画像データおよび2D画像データを生成する。
Note that the above image processing is executed by the
以上の説明においては、開口マスクを設けることにより被写体光束に視差を生じさせたが、配線層に設けられた配線を開口マスクと同形状に形成することで、配線を実質的に開口マスクとして機能させることができる。配線層に配線が多層設けられている場合には、被写体光束の入射方向から複数の層を投影した形状が、開口マスクと同形状になるよう各層を形成することで、複数の層を全体として開口マスクとして機能させることもできる。また、多層配線のうちの一層によって開口マスクの機能を実現する場合、多層配線のうち最下層の配線、つまり、光電変換素子に最も近い位置に形成された配線を開口マスクと同形状に形成することが好ましい。この場合、最下層の配線と光電変換素子とを近接させるのが好ましい。 In the above description, the opening mask is provided to cause parallax in the subject light beam. However, by forming the wiring provided in the wiring layer in the same shape as the opening mask, the wiring substantially functions as the opening mask. Can be made. When wiring is provided in multiple layers in the wiring layer, each layer is formed as a whole by forming each layer so that the projected shape of the plurality of layers from the incident direction of the subject luminous flux is the same shape as the aperture mask. It can also function as an opening mask. When the function of the opening mask is realized by one layer of the multilayer wiring, the lowermost wiring among the multilayer wirings, that is, the wiring formed at the position closest to the photoelectric conversion element is formed in the same shape as the opening mask. It is preferable. In this case, it is preferable that the lowermost layer wiring and the photoelectric conversion element are brought close to each other.
以上の説明においては、マイクロレンズアレイ101が備える各マイクロレンズは、共通の厚みであったが、繰り返しパターン110を構成する各光電変換素子に対応する開口部104の位置に応じて厚みをかえてもよい。例えば、繰り返しパターン110における端部の光電変換素子に対応する開口部104のズレ量が大きい場合、当該光電変換素子に対応するマイクロレンズの厚みを、中央の光電変換素子に対応するマイクロレンズの厚みより厚くしてもよい。こうすることで、繰り返しパターン110における、端部の光電変換素子と中央の光電変換素子の受光量の均一化を図ることができる。
In the above description, each microlens included in the
以上の説明においては、交換レンズが取り替えられた場合について説明したが、ズームによって焦点距離が変更される場合がある。この場合においても、移動制御部212は、ズーム後の焦点距離に応じてマイクロレンズアレイ101及び開口マスクアレイ114の一方を移動させることによって各部分領域から射出される主光線の入射角を調整することができる。
In the above description, the case where the interchangeable lens is replaced has been described, but the focal length may be changed by zooming. Even in this case, the
以上の説明においては、マイクロレンズアレイ移動部112は、マイクロレンズアレイ101を全体として移動させたが、個々のマイクロレンズ111を個別に移動させてもよい。この場合、マイクロレンズを移動させる移動部としてマイクロレンズ毎にMEMSアクチュエータが配置されてもよい。マイクロレンズ単位で移動させることによって、各部分領域からの入射光をより精確に対応する光電変換素子108に導くことができる。
In the above description, the microlens
以上の説明においては、移動制御部212は、レンズ交換後の焦点距離情報に応じてマイクロレンズアレイ101及び開口マスクアレイ114の一方の移動量を制御したが、瞳位置情報に応じて移動量を制御してもよい。この場合、レンズシステム制御部301は、現在の状況に応じた瞳位置を算出し、移動制御部212に送信する。具体的には、レンズシステム制御部301は、現在の撮影レンズの焦点距離、現在のフォーカスレンズ位置、現在のズームレンズ位置等から瞳位置を算出する。移動制御部212は、瞳位置情報と変位量とが対応付けられたルックアップテーブルを参照し、取得した瞳位置情報に対応する変位量を決定する。そして、移動制御部212は、決定した変位量に応じた駆動電圧をマイクロレンズアレイ移動部112または開口マスクアレイ移動部113に与えることによって移動量を制御する。
In the above description, the
また、以上の説明においては、移動制御部212は、ルックアップテーブルを参照してマイクロレンズアレイ移動部の変位量hを決定した。上述のように、マイクロレンズアレイ移動部の変位量hは、実験値あるいはシミュレーションデータに基づいて決定されている。ところで、マイクロレンズアレイ101を移動させたとしても、移動の前後において焦点の光軸方向のずれの影響が大きくない場合がある。この場合、焦点は、焦点深度内にあると考えられる。したがって、マイクロレンズアレイ移動部の変位量hは、以下の近似式(1)を用いて算出されてもよい。
h=p(f1+Zi)/D−h0 ・・・(1)
In the above description, the
h = p (f1 + Zi) / D−h 0 (1)
ただし、pは、繰り返しパターンの左端の画素における開口部の、当該画素の中心からのズレ量と、右端の画素における開口部の、当該画素の中心からのズレ量の和である。f1は、撮影レンズ20の焦点距離である。Ziは、焦点距離の変異量であり、図7で説明したf2−f1に相当する。Dは、図7で説明したように、レンズ瞳径であり、h0は、基準状態でのマイクロレンズアレイ移動部112の厚みである。
However, p is the sum of the amount of deviation from the center of the pixel at the leftmost pixel of the repetitive pattern and the amount of deviation from the center of the pixel at the rightmost pixel. f1 is the focal length of the taking
また、ルックアップテーブルとして焦点距離情報とマイクロレンズアレイ移動部の変位量を保持しておくのではなく、移動制御部212がレンズ交換後の焦点距離情報に応じた変位量hを、上記(1)式を用いて直接算出してもよい。なお、開口マスクアレイ移動部の変位量についても同様に、上記(1)式を用いて算出できる。
In addition, the focal length information and the displacement amount of the micro lens array moving unit are not held as a look-up table, but the
また、設定される開放絞り値によっては、レンズ瞳径が両端の部分領域間の距離よりも短くなることがあり得る。そこで、カメラ本体制御部201は、レンズシステム制御部301からレンズ情報として開放絞り値情報を取得してもよい。これにより、カメラ本体制御部201は、移動量を制御する処理を行うかを判断することができる。
Further, depending on the set open aperture value, the lens pupil diameter may be shorter than the distance between the partial regions at both ends. Therefore, the camera main
以上の説明においては、マイクロレンズアレイ101および開口マスクアレイ114の一方を移動させたが、両方を移動させてもよい。例えば、開口マスクアレイ114上にマイクロレンズアレイ101が配置されている場合には、これらを一体的に移動させることができる。もちろんマイクロレンズアレイ101と開口マスクアレイ114を個別に移動させてもよい。この場合には、マイクロレンズアレイ101と開口マスクアレイ114のそれぞれの移動量を適宜調整することによって、各部分領域からの入射光をより精確に対応する光電変換素子108に導くことができる。
In the above description, one of the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
10 デジタルカメラ、200 カメラ本体、100 撮像素子、101 マイクロレンズアレイ、102 カラーフィルタ、103 開口マスク、104 開口部、105 配線層、106 配線、107 開口、108 光電変換素子、109 基板、110 繰り返しパターン、111 マイクロレンズ、112 マイクロレンズアレイ移動部、113 開口マスクアレイ移動部、114 開口マスクアレイ、115 光電変換素子アレイ、201 カメラ本体制御部、202 A/D変換回路、203 メモリ、204 駆動部、207 メモリカードIF、208 操作部、209 表示部、210 表示制御部、212 移動制御部、213 カメラマウント、214 カメラメモリ、220 メモリカード、300 交換レンズ、20 撮影レンズ、301 レンズシステム制御部、302 レンズ情報記憶部、303 レンズマウント、304 レンズ駆動部、400 交換レンズ、40 撮影レンズ、120 撮像素子
DESCRIPTION OF
Claims (10)
前記光電変換素子のそれぞれに一対一に対応して設けられたマイクロレンズと、
前記光電変換素子のそれぞれに一対一に対応して設けられる開口マスクと、
前記マイクロレンズおよび前記開口マスクの少なくとも一方を前記光電変換素子が配列された平面に直交する成分を含むように移動させる移動部とを備え、
隣接するn個(nは3以上の整数)の前記光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの前記開口マスクの開口が、前記入射光の断面領域内の互いに異なる部分領域からの前記入射光を通過させるように位置づけられ、前記n個の前記光電変換素子を一組とする光電変換素子群が周期的に配列された撮像素子。 Two-dimensionally arranged photoelectric conversion elements that photoelectrically convert incident light into electrical signals;
A microlens provided in one-to-one correspondence with each of the photoelectric conversion elements;
An opening mask provided in one-to-one correspondence with each of the photoelectric conversion elements;
A moving unit that moves at least one of the microlens and the aperture mask so as to include a component orthogonal to a plane in which the photoelectric conversion elements are arranged;
Of the adjacent n (n is an integer of 3 or more) photoelectric conversion elements, the openings of the respective opening masks provided corresponding to at least three are different portions in the cross-sectional area of the incident light. An imaging device that is positioned so as to pass the incident light from a region and in which photoelectric conversion element groups each including the n photoelectric conversion elements are periodically arranged.
複数の前記開口マスクは、一体的に開口マスクアレイとして形成され、
前記移動部は、前記マイクロレンズアレイおよび前記開口マスクアレイの少なくとも一方を移動させる請求項1に記載の撮像素子。 The plurality of microlenses are integrally formed as a microlens array,
The plurality of aperture masks are integrally formed as an aperture mask array,
The imaging device according to claim 1, wherein the moving unit moves at least one of the microlens array and the aperture mask array.
前記圧電素子は、前記マイクロレンズアレイを移動させる請求項3に記載の撮像素子。 From the side on which the incident light enters, the microlens array, the aperture mask array, and the photoelectric conversion element are arranged in this order.
The imaging element according to claim 3, wherein the piezoelectric element moves the microlens array.
前記圧電素子は、前記開口マスクアレイを移動させる請求項3に記載の撮像素子。 From the side on which the incident light enters, the microlens array, the aperture mask array, and the photoelectric conversion element are arranged in this order.
The imaging element according to claim 3, wherein the piezoelectric element moves the aperture mask array.
前記圧電素子は、前記開口マスクアレイを移動させる請求項3に記載の撮像素子。 From the side on which the incident light enters, the aperture mask array, the microlens array, and the photoelectric conversion element are arranged in this order.
The imaging element according to claim 3, wherein the piezoelectric element moves the aperture mask array.
装着される交換レンズのレンズ情報に基づいて、前記移動部の移動量を制御する移動制御部と
を備える撮像装置。 The imaging device according to any one of claims 1 to 6,
An imaging apparatus comprising: a movement control unit that controls a movement amount of the moving unit based on lens information of an attached interchangeable lens.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037512A JP2013175812A (en) | 2012-02-23 | 2012-02-23 | Image sensor and image pickup device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037512A JP2013175812A (en) | 2012-02-23 | 2012-02-23 | Image sensor and image pickup device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013175812A true JP2013175812A (en) | 2013-09-05 |
Family
ID=49268378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012037512A Pending JP2013175812A (en) | 2012-02-23 | 2012-02-23 | Image sensor and image pickup device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013175812A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017200157A (en) * | 2016-05-01 | 2017-11-02 | 株式会社コンフォートビジョン研究所 | High resolution stereoscopic imaging apparatus |
CN113542638A (en) * | 2020-04-13 | 2021-10-22 | 爱思开海力士有限公司 | Image sensing device |
CN113596285A (en) * | 2020-04-30 | 2021-11-02 | 北京小米移动软件有限公司 | Camera module, electronic equipment and 3D image generation method |
EP3910385A1 (en) * | 2020-05-11 | 2021-11-17 | Samsung Electronics Co., Ltd. | Image sensor |
-
2012
- 2012-02-23 JP JP2012037512A patent/JP2013175812A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017200157A (en) * | 2016-05-01 | 2017-11-02 | 株式会社コンフォートビジョン研究所 | High resolution stereoscopic imaging apparatus |
CN113542638A (en) * | 2020-04-13 | 2021-10-22 | 爱思开海力士有限公司 | Image sensing device |
CN113596285A (en) * | 2020-04-30 | 2021-11-02 | 北京小米移动软件有限公司 | Camera module, electronic equipment and 3D image generation method |
CN113596285B (en) * | 2020-04-30 | 2023-07-04 | 北京小米移动软件有限公司 | Imaging module, electronic device and 3D image generation method |
EP3910385A1 (en) * | 2020-05-11 | 2021-11-17 | Samsung Electronics Co., Ltd. | Image sensor |
US11595575B2 (en) | 2020-05-11 | 2023-02-28 | Samsung Electronics Co., Ltd. | Image sensor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5915537B2 (en) | IMAGING ELEMENT AND IMAGING DEVICE | |
JP5804055B2 (en) | Image processing apparatus, image processing method, and program | |
WO2013114895A1 (en) | Imaging device | |
JP5979134B2 (en) | Image processing apparatus and image processing program | |
JP5942984B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP2014003116A (en) | Image pickup device | |
WO2013057859A1 (en) | Image capture element | |
JP2016111678A (en) | Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method thereof | |
JP2013175812A (en) | Image sensor and image pickup device | |
JP5874729B2 (en) | Imaging device | |
JP5979137B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL PROGRAM | |
JP5874334B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and imaging apparatus control program | |
JP6476630B2 (en) | Imaging device | |
JP6019611B2 (en) | Imaging device | |
JP5978737B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP2013090265A (en) | Image processing apparatus and image processing program | |
JP5991461B2 (en) | Imaging apparatus and imaging program thereof | |
JP2013150055A (en) | Image processing device, image processing method, and program | |
JP6051568B2 (en) | Imaging device and imaging apparatus | |
JP2013162362A (en) | Image pickup device and image pickup program | |
JP5978735B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP2013219180A (en) | Image sensor and image pick-up device | |
JP2013168879A (en) | Imaging unit and imaging apparatus |