JP2019125808A

JP2019125808A - Imaging element and imaging apparatus

Info

Publication number: JP2019125808A
Application number: JP2019072311A
Authority: JP
Inventors: 史郎綱井; Shiro Tsunai
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2019-04-04
Filing date: 2019-04-04
Publication date: 2019-07-25

Abstract

To make a surface, on which a micro lens for imaging is disposed, flat.SOLUTION: An imaging element comprises: a photoelectric element layer formed with a plurality of photoelectric elements; a transmission substrate disposed on an incident plane side of the photoelectric element layer and transmitting light; and a lens array formed on the transmission substrate and including each lens formed one-by-one for each of the predetermined number of photoelectric elements.SELECTED DRAWING: Figure 1

Description

本発明は、撮像素子および撮像装置に関する。 The present invention relates to an imaging device and an imaging device.

結像用のマイクロレンズアレイにおける各レンズに対して複数設けられた光電素子を用いて撮像データを取得し、当該撮像データに基づいて任意の焦点面において再結像させた画像を合成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特表２００８−５１５１１０号公報 An imaging device that acquires imaging data using a plurality of photoelectric elements provided for each lens in a microlens array for imaging, and combines an image refocused on an arbitrary focal plane based on the imaging data It has been known.
[Prior art document]
[Patent Document]
[Patent Document 1] Japanese Patent Application Publication No. 2008-515110

多数のレンズを有するマイクロレンズアレイを用いて撮像データを取得する場合、各マイクロレンズから対応する光電素子までの距離をできるだけ均一にすることが求められる。 When acquiring imaging data using a microlens array having a large number of lenses, it is required to make the distance from each microlens to the corresponding photoelectric element as uniform as possible.

本発明の第１の態様における撮像素子は、複数のレンズのうち一つのレンズを透過した光が入射する複数の受光部と、複数のレンズと複数の受光部との間に受光部毎に設けられた開口を有する遮光部と、を備え、遮光部の開口は、一つのレンズの光軸から受光部までの距離に基づいて、それぞれの受光部の中央からずれた位置に設けられている。 The imaging device according to the first aspect of the present invention is provided for each light receiving unit between a plurality of light receiving units to which light transmitted through one of a plurality of lenses is incident, a plurality of lenses and a plurality of light receiving units. And a light shielding portion having an opening, wherein the opening of the light shielding portion is provided at a position shifted from the center of each light receiving portion based on the distance from the optical axis of one lens to the light receiving portion.

本発明の第２の態様における撮像装置は、上記の撮像素子を備える。 An imaging device according to a second aspect of the present invention includes the imaging element described above.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 Note that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a subcombination of these feature groups can also be an invention.

本実施形態に係る裏面照射型の撮像素子１００の断面図である。FIG. 2 is a cross-sectional view of the backside illumination type imaging device 100 according to the present embodiment. 複数のＰＤ１０４およびマイクロレンズ１０１の関係の一例を示す図である。FIG. 6 is a view showing an example of the relationship between a plurality of PDs 104 and microlenses 101. 本実施形態に係る撮像装置５００の構成を示すブロック図である。It is a block diagram showing the composition of imaging device 500 concerning this embodiment. 撮影レンズ５２０における複数の射出瞳５２２の一例を示す図である。FIG. 6 is a diagram showing an example of a plurality of exit pupils 522 in the imaging lens 520. それぞれの射出瞳５２２に対応する視差画像５２４の一例を示す図である。It is a figure which shows an example of the parallax image 524 corresponding to each exit pupil 522. As shown in FIG. 図５に示した複数の視差画像５２４を合成した合成画像５３２を示す図である。It is a figure which shows the synthetic | combination image 532 which synthesize | combined the several parallax image 524 shown in FIG. 図５に示した複数の視差画像５２４から、被写体５３０に焦点があった合成画像５３２を生成する例を示す図である。It is a figure which shows the example which produces | generates the synthetic | combination image 532 which focused on the to-be-photographed object 530 from the several parallax image 524 shown in FIG. 任意焦点の合成画像５３２を生成する場合の、画像処理部５１１の動作例を示す図である。FIG. 18 is a diagram illustrating an operation example of the image processing unit 511 in the case of generating a composite image 532 of an arbitrary focus.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through the embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Moreover, not all combinations of features described in the embodiments are essential to the solution of the invention.

図１は、本実施形態に係る裏面照射型の撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２はこの順番で積層されており、Ｃｕ等の導電性を有するバンプ１０９により、隣接するチップどうしが互いに電気的に接続される。 FIG. 1 is a cross-sectional view of a backside illumination type imaging device 100 according to the present embodiment. The imaging device 100 includes an imaging chip 113 which outputs a pixel signal corresponding to incident light, a signal processing chip 111 which processes the pixel signal, and a memory chip 112 which stores the pixel signal. The imaging chip 113, the signal processing chip 111, and the memory chip 112 are stacked in this order, and adjacent chips are electrically connected to each other by the bump 109 having conductivity such as Cu.

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、撮像チップ１１３の各層において入射光が入射する側の面を入射面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面右方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。 As illustrated, incident light is mainly incident in the Z-axis plus direction indicated by the outlined arrow. In addition, the surface on the side on which incident light is incident in each layer of the imaging chip 113 is referred to as an incident surface. Further, as indicated by the coordinate axes, the right direction in the drawing, which is orthogonal to the Z axis, is taken as the positive direction of the X axis, and the near direction in the drawing, which is orthogonal to the Z axis and the X axis, is taken as the positive direction. In the following several figures, coordinate axes are displayed so that the orientation of each figure can be known with reference to the coordinate axes in FIG.

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。撮像チップ１１３は、配線層１０８、光電素子層１０６、接着層１２２および透過基板１２０を有する。光電素子層１０６には、複数のＰＤ（フォトダイオード）１０４および複数のトランジスタ１０５が形成される。ＰＤ１０４は、入射面からの入射光に応じた画素信号を出力する光電素子の一例である。 An example of the imaging chip 113 is a backside illumination type MOS image sensor. The imaging chip 113 includes the wiring layer 108, the photoelectric device layer 106, the adhesive layer 122, and the transmission substrate 120. In the photoelectric element layer 106, a plurality of PDs (photodiodes) 104 and a plurality of transistors 105 are formed. The PD 104 is an example of a photoelectric element that outputs a pixel signal according to incident light from the incident surface.

複数のＰＤ１０４は、ＸＹ平面に二次元的に配置される。また、トランジスタ１０５は、それぞれのＰＤ１０４に対応して設けられる。トランジスタ１０５は、ＰＤ１０４が出力する画素信号を、配線層１０８に出力するか否かを切り替える。ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。 The plurality of PDs 104 are two-dimensionally arranged in the XY plane. Further, the transistor 105 is provided corresponding to each PD 104. The transistor 105 switches whether to output the pixel signal output from the PD 104 to the wiring layer 108. The combination of the PD 104 and the transistor 105 forms one pixel.

光電素子層１０６は、パッシベーション層１０３を更に有してよい。パッシベーション層１０３は、複数のＰＤ１０４を覆って設けられる。パッシベーション層１０３は、入射光に対して透明な材料で形成され、複数のＰＤ１０４を保護する。なお、光電素子層１０６は、パッシベーション層１０３上に、カラーフィルタ１０２を更に有してよい。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応してベイヤー配列等の特定の配列を有している。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。 The photovoltaic layer 106 may further include a passivation layer 103. The passivation layer 103 is provided to cover the plurality of PDs 104. The passivation layer 103 is formed of a material transparent to incident light and protects the plurality of PDs 104. The photoelectric element layer 106 may further include a color filter 102 on the passivation layer 103. The color filter 102 has a plurality of types that transmit different wavelength regions, and has a specific arrangement such as a Bayer arrangement corresponding to each of the PDs 104. A combination of the color filter 102, the PD 104, and the transistor 105 forms one pixel.

配線層１０８は、光電素子層１０６の入射面とは逆側の面に接して設けられる。配線層１０８には、複数のＰＤ１０４と電気的に接続される配線群１０７が形成される。配線群１０７は、光電素子層１０６からの画素信号を信号処理チップ１１１に伝送する。配線群１０７は多層配線であってよい。また、配線層１０８には、受動素子および能動素子が設けられてもよい。信号処理チップ１１１は、配線層１０８から受け取った画素信号を処理する。例えば信号処理チップ１１１は、ガンマ補正等の信号補正を行ってよい。メモリチップ１１２は、信号処理チップ１１１が出力する画素信号を記憶する。 The wiring layer 108 is provided in contact with the surface of the photoelectric element layer 106 opposite to the incident surface. In the wiring layer 108, a wiring group 107 electrically connected to the plurality of PDs 104 is formed. The wiring group 107 transmits the pixel signal from the photoelectric element layer 106 to the signal processing chip 111. The wiring group 107 may be a multilayer wiring. Also, passive elements and active elements may be provided in the wiring layer 108. The signal processing chip 111 processes the pixel signal received from the wiring layer 108. For example, the signal processing chip 111 may perform signal correction such as gamma correction. The memory chip 112 stores pixel signals output by the signal processing chip 111.

透過基板１２０は、光電素子層１０６の入射面側に設けられ、光を透過する。透過基板１２０は、例えばガラス基板、プラスチック基板またはシリカ基板等である。接着層１２２は、透過基板１２０と光電素子層１０６とを接着する。接着層１２２は、透過基板１２０と略同一の屈折率を有することが好ましい。透過基板１２０は、光電素子層１０６の平坦面に接着される。光電素子層１０６に含まれるカラーフィルタ１０２、遮光部１２３およびパッシベーション層１０３が積層される順番は、図１に示した順番に限定されない。透過基板１２０は、カラーフィルタ１０２、遮光部１２３およびパッシベーション層１０３のうち、Ｚ軸方向において最もマイナス側に設けられた層に貼りあわされてよい。また、透過基板１２０および光電素子層１０６の間には、エアギャップが無いことが好ましい。 The transmission substrate 120 is provided on the incident surface side of the photoelectric element layer 106, and transmits light. The transmissive substrate 120 is, for example, a glass substrate, a plastic substrate or a silica substrate. The adhesive layer 122 bonds the transmissive substrate 120 and the photoelectric element layer 106. The adhesive layer 122 preferably has substantially the same refractive index as the transmissive substrate 120. The transmissive substrate 120 is bonded to the flat surface of the photoelectric device layer 106. The order in which the color filter 102, the light shielding portion 123, and the passivation layer 103 included in the photoelectric element layer 106 are stacked is not limited to the order shown in FIG. The transmissive substrate 120 may be bonded to a layer provided on the most negative side in the Z-axis direction among the color filter 102, the light shielding portion 123, and the passivation layer 103. In addition, it is preferable that there is no air gap between the transmissive substrate 120 and the photoelectric element layer 106.

透過基板１２０には、複数のＰＤ１０４に対向する位置にレンズアレイ１２１が形成される。なお図１の例では、レンズアレイ１２１は、透過基板１２０の入射面に形成されているが、レンズアレイ１２１は、透過基板１２０の内部に形成されてよい。例えば、透過基板１２０とは屈折率の異なる領域が、透過基板１２０の内部にレンズ状に形成される。レンズアレイ１２１は、予め定められた個数のＰＤ１０４ごとに一つずつ形成されたマイクロレンズ１０１を含む。マイクロレンズ１０１は、結像性能を有するレンズである。本例のマイクロレンズ１０１は、ｍ×ｎ個のＰＤ１０４（ｍはｘ軸方向のＰＤ１０４の個数、ｎはｙ軸方向のＰＤ１０４の個数）ごとに一つずつ形成され、それぞれのＰＤ１０４に対して像を結像させる。一つのマイクロレンズ１０１に対して複数のＰＤ１０４が配置されるので、マイクロレンズ１０１の中心に対する各ＰＤ１０４の相対位置はそれぞれ異なる。このため、それぞれのＰＤ１０４が受光する光は視差を有する。これにより、一つのマイクロレンズ１０１に対応するＰＤ１０４の個数に応じた射出瞳を形成することができ、後述するように、ＰＤ１０４の当該個数に応じた視差画像を撮像することができる。 A lens array 121 is formed on the transmissive substrate 120 at a position facing the plurality of PDs 104. Although the lens array 121 is formed on the incident surface of the transmission substrate 120 in the example of FIG. 1, the lens array 121 may be formed inside the transmission substrate 120. For example, a region having a refractive index different from that of the transmissive substrate 120 is formed in a lens shape inside the transmissive substrate 120. The lens array 121 includes micro lenses 101 formed one by one for each of a predetermined number of PDs 104. The microlens 101 is a lens having imaging performance. The microlenses 101 of this example are formed one by one for each of m × n PDs 104 (m is the number of PDs 104 in the x-axis direction and n is the number of PDs 104 in the y-axis direction). Image. Since a plurality of PDs 104 are arranged for one microlens 101, the relative position of each PD 104 with respect to the center of the microlens 101 is different. For this reason, the light received by each PD 104 has a parallax. Thus, exit pupils can be formed according to the number of PDs 104 corresponding to one microlens 101, and as described later, parallax images according to the number of PDs 104 can be captured.

遮光部１２３は、レンズアレイ１２１および複数のＰＤ１０４の間に設けられる。図１に示した例では遮光部１２３は光電素子層１０６に形成されるが、遮光部１２３は光電素子層１０６と透過基板１２０との間に形成されてよく、また、透過基板１２０に形成されてもよい。本例において光電素子層１０６はシリコン等の半導体を含む層であり、遮光部１２３は光電素子層１０６の内部または入射面に形成される。遮光部１２３は、タングステン、アルミ等の金属薄膜、有機物薄膜、または、カラーフィルタの２色以上を重ね合わせたものであってよい。 The light shielding unit 123 is provided between the lens array 121 and the plurality of PDs 104. In the example shown in FIG. 1, the light shielding portion 123 is formed in the photoelectric element layer 106, but the light shielding portion 123 may be formed between the photoelectric element layer 106 and the transmission substrate 120, and is formed in the transmission substrate 120. May be In the present example, the photoelectric element layer 106 is a layer containing a semiconductor such as silicon, and the light shielding portion 123 is formed inside or on the incident surface of the photoelectric element layer 106. The light shielding portion 123 may be a metal thin film of tungsten, aluminum or the like, an organic thin film, or a combination of two or more colors of a color filter.

遮光部１２３は、一つのマイクロレンズ１０１に対応する複数のＰＤ１０４の間で、それぞれのＰＤ１０４の受光面に対する相対位置が互いに異なる開口が形成される。それぞれの開口は、それぞれのＰＤ１０４に対応する射出瞳を通過した光だけを通過させるように、一つのマイクロレンズ１０１に対応する複数のＰＤ１０４の間で互いに位置が偏位している。本例において射出瞳は、マイクロレンズ１０１よりもＺ軸マイナス方向に設けられるべき撮影レンズにおける瞳を指す。 In the light shielding portion 123, openings having mutually different relative positions with respect to the light receiving surface of each PD 104 are formed among the plurality of PDs 104 corresponding to one microlens 101. The respective apertures are offset in position among the plurality of PDs 104 corresponding to one microlens 101 so that only the light having passed through the exit pupil corresponding to the respective PDs 104 passes. In this example, the exit pupil refers to the pupil in the imaging lens that is to be provided in the Z-axis minus direction more than the microlens 101.

本例の撮像素子１００は、配線層１０８が形成された面の裏面側から入射光が入射する裏面照射型の素子なので、それぞれのＰＤ１０４毎に集光レンズを設けなくとも、それぞれのＰＤ１０４に対して十分な強度の光を入射できる。従って、レンズアレイ１２１からＰＤ１０４までの間に他のレンズを有さない構成にすることができる。このため、透過基板１２０を貼り合わせる面を平坦にすることができ、レンズアレイ１２１が設けられた透過基板１２０を容易に接着することができる。 The imaging device 100 of this example is a back-illuminated element in which incident light is incident from the back side of the surface on which the wiring layer 108 is formed. Therefore, even if a condensing lens is not provided for each PD 104 Light of sufficient intensity can be incident. Therefore, the lens array 121 to the PD 104 can be configured without any other lens. Therefore, the surface to which the transmissive substrate 120 is bonded can be made flat, and the transmissive substrate 120 provided with the lens array 121 can be easily bonded.

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。 A plurality of bumps 109 are disposed on the surface of the wiring layer 108. The plurality of bumps 109 are aligned with the plurality of bumps 109 provided on the facing surface of the signal processing chip 111, and the imaging chip 113 and the signal processing chip 111 are aligned by pressure or the like. The bumps 109 are joined to be electrically connected.

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。 Similarly, a plurality of bumps 109 are disposed on the surfaces facing each other of the signal processing chip 111 and the memory chip 112. These bumps 109 are aligned with each other, and the signal processing chip 111 and the memory chip 112 are pressurized or the like, whereby the aligned bumps 109 are joined and electrically connected.

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、後述する一つの画素グループに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。 The bonding between the bumps 109 is not limited to Cu bump bonding by solid phase diffusion, and micro bump bonding by solder melting may be employed. Further, about one bump 109 may be provided for one pixel group described later. Therefore, the size of the bumps 109 may be larger than the pitch of the PDs 104. Further, in the peripheral area other than the pixel area in which the pixels are arranged, bumps larger than the bumps 109 corresponding to the pixel area may be provided.

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。 The signal processing chip 111 has TSVs (silicon through electrodes) 110 which mutually connect circuits respectively provided on the front and back surfaces. The TSVs 110 are preferably provided in the peripheral area. The TSV 110 may also be provided in the peripheral area of the imaging chip 113 and the memory chip 112.

本例においてレンズアレイ１２１は、透過基板１２０と一体に形成される。例えばレンズアレイ１２１は、透過基板１２０を射出成形、加圧成形等で形成される。また、レンズアレイ１２１は、透過基板１２０とは別体で形成されてもよい。また、撮像チップ１１３に信号処理チップ１１１を接続する前に、透過基板１２０を撮像チップ１１３に接着してよい。これにより、透過基板１２０を、撮像チップ１１３のハンドリング時における補強部材として機能させることができる。また、レンズアレイ１２１と透過基板１２０が別体で形成される場合、レンズアレイ１２１は、撮像チップ１１３に信号処理チップ１１１およびメモリチップ１１２を接続した後に、透過基板１２０に固定されてよい。 In the present example, the lens array 121 is integrally formed with the transmission substrate 120. For example, the lens array 121 is formed by injection molding, pressure molding or the like of the transmission substrate 120. Also, the lens array 121 may be formed separately from the transmission substrate 120. In addition, before the signal processing chip 111 is connected to the imaging chip 113, the transmissive substrate 120 may be bonded to the imaging chip 113. Thereby, the transmissive substrate 120 can function as a reinforcing member at the time of handling of the imaging chip 113. When the lens array 121 and the transmission substrate 120 are separately formed, the lens array 121 may be fixed to the transmission substrate 120 after the signal processing chip 111 and the memory chip 112 are connected to the imaging chip 113.

また、透過基板１２０およびレンズアレイ１２１は、撮像素子１００のパッケージとして機能してよい。つまり、撮像素子１００は、透過基板１２０およびレンズアレイ１２１よりもＺ軸マイナス方向側に、ガラスまたは樹脂等の更なるパッケージ部材を有さなくてよい。 In addition, the transmissive substrate 120 and the lens array 121 may function as a package of the imaging device 100. That is, the imaging device 100 may not have a further package member such as glass or resin on the side of the transmissive substrate 120 and the lens array 121 in the negative Z-axis direction.

また、それぞれのマイクロレンズ１０１は、焦点面が遮光部１２３の面の近傍となるような焦点距離を有してよい。透過基板１２０は、当該焦点距離に応じた厚さを有する。一例として透過基板１２０の厚さは、０．３ｍｍから数ｍｍ程度である。 In addition, each of the micro lenses 101 may have a focal length such that the focal plane is in the vicinity of the plane of the light shielding portion 123. The transmissive substrate 120 has a thickness corresponding to the focal length. As an example, the thickness of the transmissive substrate 120 is about 0.3 mm to several mm.

なお、図１においては、いわゆる裏面照射型の撮像素子１００を用いて説明したが、撮像素子１００は、表面照射型であってもよい。この場合、配線層１０８は、光電素子層１０６の入射面側に設けられ、透過基板１２０は、配線層１０８の入射面側に設けられる。 In addition, in FIG. 1, although demonstrated using the so-called back irradiation type imaging element 100, the surface irradiation type may be sufficient as the imaging element 100. FIG. In this case, the wiring layer 108 is provided on the light incident surface side of the photoelectric element layer 106, and the transmission substrate 120 is provided on the light incident surface side of the wiring layer 108.

遮光部１２３においては、各ＰＤ１０４に対応する射出瞳の位置が、一つのマイクロレンズ１０１に対応する複数のＰＤ１０４の間で互いに偏位しており、当該偏位に応じてそれぞれの開口１２４の位置が決定される。例えば、一つのマイクロレンズ１０１の下にｍ×ｎのマトリクス状に配置された開口１２４は、当該マトリクスの中央の開口１２４に対応する射出瞳が、撮影レンズの中央に位置し、当該マトリクスの端部の開口１２４に対応する射出瞳が、撮影レンズの端部に位置するように形成されてよい。また、それぞれの開口１２４の、標準位置からの偏位量は、マトリクスの中央から離れるほど大きくなってよい。開口１２４の標準位置とは、例えば各ＰＤ１０４の受光面の中央に対向する位置である。なお、一つのマイクロレンズ１０１に対応する複数の射出瞳は、それぞれ一部の領域が重なってよい。また、それぞれの開口１２４の形状および面積は同一であることが好ましい。 In the light shielding portion 123, the positions of the exit pupils corresponding to the respective PDs 104 are mutually offset among the plurality of PDs 104 corresponding to one microlens 101, and the positions of the respective openings 124 according to the offsets. Is determined. For example, the apertures 124 arranged in a matrix of m × n under one microlens 101 have an exit pupil corresponding to the central aperture 124 of the matrix located at the center of the photographing lens, and the edge of the matrix An exit pupil corresponding to the aperture 124 of the part may be formed to be located at the end of the photographing lens. In addition, the amount of deviation of each opening 124 from the standard position may be larger as it goes away from the center of the matrix. The standard position of the opening 124 is, for example, a position facing the center of the light receiving surface of each PD 104. A part of the plurality of exit pupils corresponding to one microlens 101 may overlap each other. Moreover, it is preferable that the shape and area of each opening 124 are the same.

また、それぞれのマイクロレンズ１０１に対する複数の開口１２４の位置のパターンは、同一であることが好ましい。つまり、第１のマイクロレンズ１０１に対応する複数の開口１２４の、第１のマイクロレンズ１０１に対する相対位置のパターンは、第２のマイクロレンズ１０１に対応する複数の開口１２４の、第２のマイクロレンズ１０１に対する相対位置のパターンと同一であることが好ましい。ただし、レンズアレイ１２１の周辺近傍におけるマイクロレンズ１０１に対しては、複数の開口１２４の位置のパターンが微調整されていてもよい。 Moreover, it is preferable that the pattern of the position of several opening 124 with respect to each micro lens 101 is the same. That is, the pattern of the relative positions of the plurality of openings 124 corresponding to the first microlens 101 with respect to the first microlens 101 is the second microlens of the plurality of openings 124 corresponding to the second microlens 101. Preferably, it is identical to the pattern of relative position to 101. However, for the microlenses 101 in the vicinity of the periphery of the lens array 121, the pattern of the positions of the plurality of openings 124 may be finely adjusted.

このように、それぞれの開口１２４を偏位させることで、異なる位置における射出瞳を介した入射光を、一つのマイクロレンズ１０１に対して配置したそれぞれのＰＤ１０４で受光することができる。このため、それぞれの射出瞳を介して受光した光は、それぞれ視差を有する。従って、各マイクロレンズ１０１に対応する複数のＰＤ１０４のうち、同一の相対位置にあるＰＤ１０４が出力する画素信号を、対応するマイクロレンズ１０１の位置に応じて画像領域内にマッピングすることで、それぞれの射出瞳に対応する視差画像データを取得できる。これらの視差画像を画像処理して適宜合成することで、任意焦点の画像を生成することができる。 In this manner, by deflecting the respective apertures 124, incident light passing through the exit pupil at different positions can be received by the respective PDs 104 arranged for one microlens 101. For this reason, the lights received through the respective exit pupils have parallax. Therefore, among the plurality of PDs 104 corresponding to the respective micro lenses 101, the pixel signals output by the PDs 104 at the same relative position are mapped in the image area according to the position of the corresponding micro lens 101. It is possible to obtain parallax image data corresponding to the exit pupil. An image of an arbitrary focus can be generated by performing image processing on these parallax images and combining them appropriately.

図２は、複数のＰＤ１０４およびマイクロレンズ１０１の関係の一例を示す図である。なお、図２においてはＰＤ１０４の間が一部離間しているが、それぞれのＰＤ１０４は離間せずに設けられてよい。本図では、ＰＤ１０４およびマイクロレンズ１０１以外の構成を省略している。上述したように、マイクロレンズ１０１は、ｍ×ｎ個のＰＤ１０４毎に設けられる。ｍおよびｎは同一の数であってよい。一例として、ＰＤ１０４の総数は２０００万個以上であり、ｍおよびｎは２０程度であってよい。 FIG. 2 is a view showing an example of the relationship between the plurality of PDs 104 and the microlenses 101. Although the PDs 104 are partially separated in FIG. 2, the PDs 104 may be provided without separation. In the figure, configurations other than the PD 104 and the microlens 101 are omitted. As described above, the microlenses 101 are provided for each of m × n PDs 104. m and n may be the same number. As an example, the total number of PDs 104 may be twenty million or more, and m and n may be about twenty.

上述したように、各マイクロレンズ１０１に対する複数のＰＤ１０４のうち、同一の相対位置のＰＤ１０４が検出する各画素（例えば画素ａ１からａ４）を、対応するマイクロレンズ１０１の位置に応じて画像領域３００にマッピングすることで、視差画像データを取得することができる。 As described above, each pixel (for example, the pixels a1 to a4) detected by the PD 104 at the same relative position among the plurality of PDs 104 for each microlens 101 is placed in the image area 300 according to the position of the corresponding microlens 101. By mapping, parallax image data can be acquired.

図３は、本実施形態に係る撮像装置５００の構成を示すブロック図である。撮像装置５００は、撮影レンズ５２０、撮像素子１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、表示部５０６および入力部５０７を備える。撮影レンズ５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。 FIG. 3 is a block diagram showing a configuration of the imaging device 500 according to the present embodiment. The imaging apparatus 500 includes a photographing lens 520, an imaging element 100, a system control unit 501, a drive unit 502, a photometry unit 503, a work memory 504, a recording unit 505, a display unit 506, and an input unit 507. The imaging lens 520 guides the subject light flux incident along the optical axis OA to the imaging element 100. The imaging lens 520 may be an interchangeable lens that can be attached to and detached from the imaging device 500.

撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図３では瞳近傍に配置された仮想的な１枚のレンズで代表して表している。駆動部５０２は、システム制御部５０１からの指示に従って撮像素子１００のトランジスタ１０５等を制御して、電荷蓄積制御、電荷電圧の変換タイミング制御、画素信号の伝送タイミング制御等の制御を実行する。駆動部５０２は、撮像素子１００と組み合わされて撮像ユニットを形成する。駆動部５０２を形成する制御回路は、チップ化されて、撮像素子１００に積層されてもよい。 The photographing lens 520 is composed of a plurality of optical lens groups, and focuses a subject light flux from a scene in the vicinity of its focal plane. In FIG. 3, it is represented by a single virtual lens disposed in the vicinity of the pupil. The drive unit 502 controls the transistor 105 and the like of the imaging device 100 according to an instruction from the system control unit 501, and executes control such as charge storage control, charge voltage conversion timing control, and pixel signal transmission timing control. The drive unit 502 is combined with the imaging element 100 to form an imaging unit. The control circuit forming the drive unit 502 may be chipped and stacked on the imaging device 100.

撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。画像処理部５１１が生成した画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。 The imaging element 100 delivers the pixel signal to the image processing unit 511 of the system control unit 501. The image processing unit 511 performs various image processing with the work memory 504 as a work space, and generates image data. For example, in the case of generating image data in the JPEG file format, compression processing is performed after white balance processing, gamma processing, and the like are performed. The image data generated by the image processing unit 511 is recorded in the recording unit 505, and is converted into a display signal and displayed on the display unit 506 for a preset time.

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。 The photometry unit 503 detects a luminance distribution of a scene prior to a series of imaging sequences for generating image data. The photometry unit 503 includes, for example, an AE sensor of about one million pixels. The calculation unit 512 of the system control unit 501 receives the output of the photometry unit 503 and calculates the luminance for each area of the scene. The computing unit 512 determines the shutter speed, the aperture value, and the ISO sensitivity in accordance with the calculated luminance distribution. The calculation unit 512 also executes various calculations for operating the imaging device 500.

また、画像処理部５１１は、指定される焦点位置に基づいて、当該焦点位置で結像した画像データを合成する。当該焦点位置は、入力部５０７を介してユーザが入力してよい。例えばユーザは、表示部５０６に表示されている画像中の任意の点を指定する。画像処理部５１１は、指定された点における被写体深度を、指定された焦点位置としてよい。つまり、画像処理部５１１は、ユーザが指定した画像中の被写体に焦点が合った任意焦点画像データを生成する。以下では、複数の視差画像から任意焦点画像データを生成する方法を説明する。 Further, the image processing unit 511 combines the image data formed at the focal position based on the designated focal position. The focus position may be input by the user via the input unit 507. For example, the user designates an arbitrary point in the image displayed on the display unit 506. The image processing unit 511 may set the depth of field at the designated point as the designated focus position. That is, the image processing unit 511 generates arbitrary focus image data in which the subject in the image designated by the user is in focus. Below, the method to produce | generate arbitrary focus image data from several parallax images is demonstrated.

図４は、撮影レンズ５２０における複数の射出瞳５２２の一例を示す図である。以下においては、説明を簡略化するべく、５つの射出瞳５２２−Ａ、５２２−Ｂ、５２２−Ｃ、５２２−Ｄおよび５２２−Ｅを用いて説明するが、異なる数の射出瞳５２２が形成されてもよい。 FIG. 4 is a view showing an example of a plurality of exit pupils 522 in the photographing lens 520. As shown in FIG. Although the following description is made using five exit pupils 522-A, 522-B, 522-C, 522-D, and 522-E to simplify the description, different numbers of exit pupils 522 are formed. May be

図５は、それぞれの射出瞳５２２に対応する視差画像５２４の一例を示す図である。視差画像５２４−Ａ、５２４−Ｂ、５２４−Ｃ、５２４−Ｄおよび５２４−Ｅが、射出瞳５２２−Ａ、５２２−Ｂ、５２２−Ｃ、５２２−Ｄおよび５２２−Ｅにそれぞれ対応する。なお、それぞれの視差画像５２４には、同一の被写体５２６、５２８および５３０が撮像されている。被写体５２６、５２８および５３０の被写体深度はそれぞれ異なる。また、被写体５２６が、撮像装置５００の焦点面に存在する。 FIG. 5 is a view showing an example of the parallax image 524 corresponding to each exit pupil 522. As shown in FIG. The parallax images 524-A, 524-B, 524-C, 524-D, and 524-E correspond to the exit pupils 522-A, 522-B, 522-C, 522-D, and 522-E, respectively. In each parallax image 524, the same objects 526, 528, and 530 are captured. The subject depths of the subjects 526, 528 and 530 are different. A subject 526 is also present at the focal plane of the imaging device 500.

この場合、それぞれの視差画像５２４において、焦点面にある被写体５２６の位置は同一である。しかし、焦点面に存在しない被写体５２８および５３０には、それぞれの被写体深度およびそれぞれの射出瞳５２２の位置に応じて視差が生じる。 In this case, in each parallax image 524, the position of the object 526 in the focal plane is the same. However, in the objects 528 and 530 not present in the focal plane, parallax occurs depending on the respective object depths and the positions of the respective exit pupils 522.

図６は、図５に示した複数の視差画像５２４を合成した合成画像５３２を示す図である。上述したように、焦点面にある被写体５２６の位置は、それぞれの視差画像５２４で同一であるので、これらの視差画像５２４を重ね合わせても、被写体５２６の画像はぼやけない。これに対して、被写体５２８および５３０の位置は、それぞれの視差画像５２４において各被写体深度に応じてずれている。このため、これらの視差画像５２４を重ね合わせると、被写体５２８および５３０の画像は、その被写体深度に応じてぼやける。この結果、被写体５２６に焦点があった合成画像５３２を生成できる。なお、複数の視差画像５２４から合成画像５３２を合成する場合に、それぞれの視差画像５２４に対して、射出瞳５２２の位置等に応じた重み付けを行ってもよい。 FIG. 6 is a view showing a combined image 532 obtained by combining the plurality of parallax images 524 shown in FIG. As described above, since the position of the object 526 in the focal plane is the same in each parallax image 524, the image of the object 526 is not blurred even if these parallax images 524 are superimposed. On the other hand, the positions of the objects 528 and 530 are shifted in each parallax image 524 according to each object depth. Therefore, when these parallax images 524 are superimposed, the images of the objects 528 and 530 are blurred according to the object depth. As a result, a composite image 532 in which the subject 526 is in focus can be generated. When combining the composite image 532 from a plurality of parallax images 524, weighting may be performed on each parallax image 524 according to the position of the exit pupil 522 or the like.

図７は、被写体５３０に焦点があった合成画像５３２を示す図である。画像処理部５１１は、被写体５３０の位置が同一となるように、それぞれの視差画像５２４の位置を変位させた画像データを生成する。これにより、それぞれの視差画像５２４における被写体５２６および５２８の位置も変化する。画像処理部５１１は、変位させたそれぞれの視差画像５２４の画像データを重ね合わせることで、被写体５３０に焦点があった合成画像５３２の画像データを生成する。なお、視差画像５２４を変位させるときの、各画素の変位量は、当該画素に対応する被写体の被写体深度等に基づいて、画素毎に定めてもよい。 FIG. 7 is a view showing a composite image 532 in which the subject 530 is in focus. The image processing unit 511 generates image data in which the positions of the parallax images 524 are displaced so that the position of the subject 530 is the same. Thereby, the positions of the objects 526 and 528 in the respective parallax images 524 also change. The image processing unit 511 generates the image data of the composite image 532 in which the subject 530 is focused by superimposing the image data of the displaced parallax images 524. The amount of displacement of each pixel when displacing the parallax image 524 may be determined for each pixel based on the subject depth of the subject corresponding to the pixel.

このような処理により、複数の視差画像５２４から、任意の焦点面に結像した合成画像５３２を生成することができる。また、画像処理部５１１は、複数の視差画像５２４から、任意の視点位置に対する右眼用画像および左眼用画像を選択または生成して、任意の視点位置に対する３次元画像の画像データを生成することもできる。また、画像処理部５１１は、複数の視差画像５２４から、任意の視点位置に対する２次元画像の画像データを選択または生成することもできる。なお、画像処理部５１１は、特許文献１等に開示された公知の方法によって、複数の視差画像５２４から合成画像５３２を合成してよい。 By such processing, it is possible to generate a composite image 532 imaged on an arbitrary focal plane from the plurality of parallax images 524. Further, the image processing unit 511 selects or generates an image for the right eye and an image for the left eye at an arbitrary viewpoint position from the plurality of parallax images 524 to generate image data of a three-dimensional image at an arbitrary viewpoint position. It can also be done. The image processing unit 511 can also select or generate image data of a two-dimensional image for an arbitrary viewpoint position from the plurality of parallax images 524. The image processing unit 511 may combine the composite image 532 from the plurality of parallax images 524 by a known method disclosed in Patent Document 1 or the like.

図８は、任意焦点の合成画像５３２を生成する場合の、画像処理部５１１の動作例を示す図である。まず、画像処理部５１１は、撮像素子１００からの画素信号に基づいて、複数の視差画像の画像データを生成する（Ｓ８０２）。視差画像の画像データは、記録部５０５に記録されてよい。次に、入力部５０７に対する入力により、焦点位置が決定される（Ｓ８０４）。画像処理部５１１は、当該焦点位置に基づいて、それぞれの視差画像を変位させた画像データを生成する（Ｓ８０６）。そして、画像処理部５１１は、変位させた視差画像の画像データを合成した合成画像データを生成する（Ｓ８０８）。なお、上述した動作のうちの一部は、信号処理チップ１１１において実行されてよい。例えば信号処理チップ１１１は、撮像チップ１１３からの画素信号に基づいて、複数の視差画像の画像データを生成してよい。 FIG. 8 is a diagram showing an operation example of the image processing unit 511 in the case of generating a composite image 532 of an arbitrary focus. First, the image processing unit 511 generates image data of a plurality of parallax images based on the pixel signal from the imaging element 100 (S802). The image data of the parallax image may be recorded in the recording unit 505. Next, the focal position is determined by the input to the input unit 507 (S804). The image processing unit 511 generates image data in which each parallax image is displaced based on the focal position (S806). Then, the image processing unit 511 generates composite image data by combining the image data of the displaced parallax image (S808). Note that some of the operations described above may be performed in the signal processing chip 111. For example, the signal processing chip 111 may generate image data of a plurality of parallax images based on the pixel signal from the imaging chip 113.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It is apparent to those skilled in the art that various changes or modifications can be added to the above embodiment. It is also apparent from the scope of the claims that the embodiments added with such alterations or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as operations, procedures, steps, and steps in the apparatuses, systems, programs, and methods shown in the claims, the specification, and the drawings is particularly “before”, “preceding” It is to be noted that “it is not explicitly stated as“ etc. ”and can be realized in any order as long as the output of the previous process is not used in the later process. With regard to the flow of operations in the claims, the specification and the drawings, even if it is described using “first,” “next,” etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

１００撮像素子、１０１マイクロレンズ、１０２カラーフィルタ、１０３パッシベーション層、１０４ＰＤ、１０５トランジスタ、１０６光電素子層、１０７配線群、１０８配線層、１０９バンプ、１１０ＴＳＶ、１１１信号処理チップ、１１２メモリチップ、１１３撮像チップ、１２０透過基板、１２１レンズアレイ、１２２接着層、１２３遮光部、１２４開口、３００画像領域、５００撮像装置、５０１システム制御部、５０２駆動部、５０３測光部、５０４ワークメモリ、５０５記録部、５０６表示部、５０７入力部、５１１画像処理部、５１２演算部、５２０撮影レンズ、５２２射出瞳、５２４視差画像、５２６被写体、５２８被写体、５３０被写体、５３２合成画像 Reference Signs List 100 imaging device, 101 microlens, 102 color filter, 103 passivation layer, 104 PD, 105 transistor, 106 photoelectric element layer, 107 wiring group, 108 wiring layer, 109 bump, 110 TSV, 111 signal processing chip, 112 memory chip, 113 imaging chip, 120 transmission substrate, 121 lens array, 122 adhesive layer, 123 light shielding unit, 124 aperture, 300 image area, 500 imaging device, 501 system control unit, 502 driving unit, 503 photometry unit, 504 work memory, 505 recording 5, 506 display unit, 507 input unit, 511 image processing unit, 512 operation unit, 520 taking lens, 522 exit pupil, 524 parallax image, 526 object, 528 object, 530 object, 532 composite image

Claims

A substrate having a first microlens on which light is incident and a second microlens on which light is incident;
A semiconductor layer having a plurality of first photoelectric conversion units for converting light from the first microlens into electric charge, and a plurality of second photoelectric conversion units for converting light from the second microlens into electric charge;
An adhesion layer disposed between the substrate and the semiconductor layer, for adhering the substrate and the semiconductor layer;
An imaging device comprising:

In the imaging device according to claim 1,
The plurality of first photoelectric conversion units are disposed in the semiconductor layer in a first direction and a second direction intersecting the first direction.
The image pickup element in which the plurality of second photoelectric conversion units are disposed in the first direction and the second direction in the semiconductor layer.

In the imaging device according to claim 1 or 2,
A wiring layer having a plurality of wirings electrically connected to the semiconductor layer;
The image pickup device in which the semiconductor layer is disposed between the substrate and the wiring layer.

In the imaging device according to any one of claims 1 to 3,
An imaging element in which the first microlens and the second microlens are formed inside the substrate;

The imaging device according to any one of claims 1 to 4.
A member disposed between the substrate and the semiconductor layer and having a plurality of first openings through which light from the first microlens passes and a plurality of second openings through which light from the second microlens passes. An imaging device comprising:

In the imaging device according to claim 5,
The member is an imaging device including tungsten as a material.

The imaging device according to any one of claims 1 to 6,
An image pickup device comprising a signal processing unit that performs signal processing on a signal based on the charge converted by the first photoelectric conversion unit and a signal based on the charge converted by the second photoelectric conversion unit.

In the imaging device according to claim 7,
The semiconductor layer is disposed on an imaging chip.
The signal processing unit is an imaging device disposed on a signal processing chip different from the imaging chip.

In the imaging device according to claim 8,
The imaging chip is an imaging element stacked by the signal processing chip.