JP2018046563A

JP2018046563A - Imaging element

Info

Publication number: JP2018046563A
Application number: JP2017195067A
Authority: JP
Inventors: 聖生中島; Masao Nakajima
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2017-10-05
Filing date: 2017-10-05
Publication date: 2018-03-22

Abstract

PROBLEM TO BE SOLVED: To perform both creation of photographed images and focus detection by a phase difference detection method by using one single imaging element.SOLUTION: An imaging element 12 includes: a plurality of first photoelectric conversion parts 32 arranged in a two-dimensional state; a plurality of micro-lenses 34 arranged beside the first photoelectric conversion parts 32 when seen from an incident direction of light; and a plurality of second photoelectric conversion parts 35 arranged in a two-dimensional state to receive the light transmitted through the micro-lenses 34.SELECTED DRAWING: Figure 2

Description

本発明は、撮像素子に関する。 The present invention relates to an image sensor.

位相差検出方式による焦点検出を行うカメラが知られている（特許文献１参照）。このカメラでは、画像用撮像素子とは、別に配置された焦点検出専用の撮像素子を用いて、焦点検出を行う。 A camera that performs focus detection by a phase difference detection method is known (see Patent Document 1). In this camera, focus detection is performed using an image sensor dedicated to focus detection arranged separately from the image sensor for image.

特開２００７−１１０７０号公報JP 2007-11070 A

従来技術のように、画像用撮像素子と焦点検出専用の撮像素子とを別々に設ける場合、それぞれの位置調整が必要になってしまう。したがって、１つの撮像素子を用いて、撮像画像の生成および位相差検出方式による焦点検出の両方を行えることが求められている。 When the image pickup device for image and the image pickup device dedicated for focus detection are separately provided as in the prior art, the respective positions need to be adjusted. Therefore, it is required to perform both generation of a captured image and focus detection by a phase difference detection method using one image sensor.

発明の一態様による撮像素子は、複数の第１光電変換素子を備える第１光電変換部と、前記第１光電変換部を透過した光を受光する複数の第２光電変換素子を備える第２光電変換部と、を有する。 An imaging device according to an aspect of the invention includes a first photoelectric conversion unit including a plurality of first photoelectric conversion elements, and a second photoelectric conversion unit including a plurality of second photoelectric conversion elements that receive light transmitted through the first photoelectric conversion unit. And a conversion unit.

本発明によれば、１つの撮像素子を用いて、撮像画像の生成および位相差検出方式による焦点検出の両方を行うことができる。 According to the present invention, it is possible to perform both generation of a captured image and focus detection by a phase difference detection method using a single image sensor.

本発明の実施の形態によるデジタルカメラの構成を例示する図である。It is a figure which illustrates the structure of the digital camera by embodiment of this invention. 撮像素子の断面の構成を例示する図である。It is a figure which illustrates the composition of the section of an image sensor. 撮像素子の上面の構成を例示する図である。It is a figure which illustrates the composition of the upper surface of an image sensor. 撮像素子の下面の構成を例示する図である。It is a figure which illustrates the composition of the undersurface of an image sensor. 第２の画像生成処理を説明するための図である。It is a figure for demonstrating a 2nd image generation process. 変形例１における撮像素子の上面の構成を例示する図である。FIG. 10 is a diagram illustrating the configuration of the upper surface of an image sensor in Modification 1;

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラの構成を例示する図である。デジタルカメラ１は、交換レンズ２とカメラボディ３から構成される。交換レンズ２は、マウント部４を介してカメラボディ３に装着される。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating the configuration of a digital camera according to an embodiment of the present invention. The digital camera 1 includes an interchangeable lens 2 and a camera body 3. The interchangeable lens 2 is attached to the camera body 3 via the mount portion 4.

交換レンズ２は、レンズ制御部５、主レンズ９、ズームレンズ８、フォーカシングレンズ７、および絞り６を含む。主レンズ９、ズームレンズ８、およびフォーカシングレンズ７は、結像光学系を構成する。レンズ制御部５は、マイクロコンピュータとメモリなどで構成され、フォーカシングレンズ７と絞り６の駆動制御、絞り６の開口状態の検出、ズームレンズ８およびフォーカシングレンズ７の位置検出、後述するカメラボディ３側のボディ制御部１４に対するレンズ情報の送信、ボディ制御部１４からのカメラ情報の受信などを行う。 The interchangeable lens 2 includes a lens control unit 5, a main lens 9, a zoom lens 8, a focusing lens 7, and a diaphragm 6. The main lens 9, the zoom lens 8, and the focusing lens 7 constitute an imaging optical system. The lens control unit 5 includes a microcomputer and a memory, and controls the driving of the focusing lens 7 and the diaphragm 6, detects the opening state of the diaphragm 6, detects the positions of the zoom lens 8 and the focusing lens 7, and the camera body 3 side described later. Lens information is transmitted to the body control unit 14 and camera information is received from the body control unit 14.

カメラボディ３は、撮像素子１２、撮像素子駆動制御部１９、ボディ制御部１４、液晶表示素子駆動回路１５、液晶表示素子１６、接眼レンズ１７、および操作部材１８などを含み、着脱可能なメモリカード２０が装着されている。撮像素子１２は、交換レンズ２の予定焦点面に配置されて交換レンズ２により結像される被写体像を撮像する。 The camera body 3 includes an image pickup device 12, an image pickup device drive control unit 19, a body control unit 14, a liquid crystal display device drive circuit 15, a liquid crystal display device 16, an eyepiece lens 17, an operation member 18, and the like, and is a removable memory card. 20 is attached. The image sensor 12 is arranged on the planned focal plane of the interchangeable lens 2 and captures a subject image formed by the interchangeable lens 2.

ボディ制御部１４は、マイクロコンピュータとメモリなどで構成される。ボディ制御部１４は、デジタルカメラ全体の動作制御を行う。ボディ制御部１４とレンズ制御部５は、マウント部４の電気接点部１３を介して通信を行うように構成される。 The body control unit 14 includes a microcomputer and a memory. The body control unit 14 controls the operation of the entire digital camera. The body control unit 14 and the lens control unit 5 are configured to perform communication via the electrical contact unit 13 of the mount unit 4.

撮像素子駆動制御部１９は、ボディ制御部１４からの指示に応じて撮像素子１２で必要な制御信号を生成する。液晶表示素子駆動回路１５は、ボディ制御部１４からの指示に応じて液晶ビューファインダー（ＥＶＦ：電子ビューファインダー）を構成する液晶表示素子１６を駆動する。撮影者は、接眼レンズ１７を介して液晶表示素子１６に表示された像を観察する。メモリカード２０は、画像データなどを格納記憶する記憶媒体である。 The image sensor drive control unit 19 generates a control signal necessary for the image sensor 12 in response to an instruction from the body control unit 14. The liquid crystal display element driving circuit 15 drives the liquid crystal display element 16 constituting a liquid crystal viewfinder (EVF: electronic viewfinder) in response to an instruction from the body control unit 14. The photographer observes an image displayed on the liquid crystal display element 16 through the eyepiece 17. The memory card 20 is a storage medium that stores image data and the like.

交換レンズ２によって撮像素子１２上に結像された被写体像は、撮像素子１２によって光電変換される。撮像素子１２は、撮像素子駆動制御部１９からの制御信号によって光電変換信号の蓄積および信号読出しのタイミング（フレームレート）が制御される。撮像素子１２からの出力信号は、不図示のＡ／Ｄ変換部でデジタルデータに変換され、ボディ制御部１４へ送られる。 The subject image formed on the image sensor 12 by the interchangeable lens 2 is photoelectrically converted by the image sensor 12. In the image sensor 12, the photoelectric conversion signal accumulation and signal readout timing (frame rate) are controlled by a control signal from the image sensor drive control unit 19. An output signal from the image sensor 12 is converted into digital data by an A / D converter (not shown) and sent to the body controller 14.

ボディ制御部１４は、撮像素子１２からの所定の焦点検出エリアに対応する出力信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ制御部５へ送る。レンズ制御部５は、ボディ制御部１４から受信したデフォーカス量に基づいてフォーカシングレンズ駆動量を算出し、このレンズ駆動量に基づいてフォーカシングレンズ７を不図示のモーター等で駆動して合焦位置へ移動させる。 The body control unit 14 calculates a defocus amount based on an output signal corresponding to a predetermined focus detection area from the image sensor 12, and sends the defocus amount to the lens control unit 5. The lens control unit 5 calculates a focusing lens drive amount based on the defocus amount received from the body control unit 14, and drives the focusing lens 7 with a motor or the like (not shown) based on the lens drive amount to achieve a focus position. Move to.

また、ボディ制御部１４は、撮影指示後に撮像素子１２から出力された信号に基づいて記録用の画像データを生成する。ボディ制御部１４は、生成した画像データをメモリカード２０に格納するとともに液晶表示素子駆動回路１５へ送り、液晶表示素子１６に再生表示させる。 In addition, the body control unit 14 generates image data for recording based on a signal output from the image sensor 12 after a shooting instruction. The body control unit 14 stores the generated image data in the memory card 20 and sends it to the liquid crystal display element driving circuit 15 to reproduce and display it on the liquid crystal display element 16.

なお、カメラボディ３にはシャッターボタン、焦点検出エリアの設定部材などを含む操作部材１８が設けられている。ボディ制御部１４は、これらの操作部材１８からの操作信号を検出し、検出結果に応じた動作（撮影処理、焦点検出エリアの設定など）の制御を行う。 The camera body 3 is provided with an operation member 18 including a shutter button, a focus detection area setting member, and the like. The body control unit 14 detects operation signals from these operation members 18 and controls operations (such as photographing processing and setting of a focus detection area) according to the detection results.

＜撮像素子の説明＞
本実施形態は、撮像素子１２に特徴を有するので、以降は撮像素子１２を中心に説明する。図２は、撮像素子１２の断面の構成を例示する図である。なお、図２では、撮像素子１２の光入射側を上側とした状態を示している。このため、以下の説明では、撮像素子１２の光入射側の方向を「上方」又は「上」とし、光入射側に対して反対側の方向を「下方」又は「下」とする。撮像素子１２は、透明基板（ＳｉＯ_２基板）３１を有し、透明基板３１の上面が交換レンズ２の予定焦点面に位置するように配置されている。 <Description of image sensor>
Since the present embodiment is characterized by the image sensor 12, the following description will focus on the image sensor 12. FIG. 2 is a diagram illustrating a cross-sectional configuration of the image sensor 12. FIG. 2 shows a state where the light incident side of the image sensor 12 is the upper side. For this reason, in the following description, the direction on the light incident side of the image sensor 12 is “upper” or “upper”, and the direction opposite to the light incident side is “lower” or “lower”. The image pickup device 12 has a transparent substrate (SiO ₂ substrate) 31 and is arranged so that the upper surface of the transparent substrate 31 is located on the planned focal plane of the interchangeable lens 2.

透明基板３１の上面には、複数の光電変換部（フォトダイオード）３２が配置されている。以下、透明基板３１の上面に配置された光電変換部３２を、上側光電変換部３２と呼ぶ。各上側光電変換部３２の下側には配線層３３が配置され、各上側光電変換部３２の上側にはカラーフィルタ（不図示）が配置されている。 A plurality of photoelectric conversion units (photodiodes) 32 are arranged on the upper surface of the transparent substrate 31. Hereinafter, the photoelectric conversion unit 32 disposed on the upper surface of the transparent substrate 31 is referred to as an upper photoelectric conversion unit 32. A wiring layer 33 is disposed below each upper photoelectric conversion unit 32, and a color filter (not shown) is disposed above each upper photoelectric conversion unit 32.

また、透明基板３１の上面には、複数のマイクロレンズ３４が配置されている。マイクロレンズ３４は、例えば凸レンズでなり、複数の上側光電変換部３２の間に挟まれるようにして配置されている。すなわち、マイクロレンズ３４は、光の入射方向から見て、上側光電変換部３２の横に配置されており、マイクロレンズ３４と上側光電変換部３２とは、光の入射方向から見て、互いに重ならないように配置されている。また、透明基板３１の厚さは、マイクロレンズ３４の焦点距離と略同一の厚さで構成されている。したがって、透明基板３１の下面がマイクロレンズ３４の焦点面と略一致している。 A plurality of microlenses 34 are disposed on the upper surface of the transparent substrate 31. The microlens 34 is, for example, a convex lens, and is disposed so as to be sandwiched between the plurality of upper photoelectric conversion units 32. That is, the microlens 34 is disposed beside the upper photoelectric conversion unit 32 when viewed from the light incident direction, and the microlens 34 and the upper photoelectric conversion unit 32 overlap each other when viewed from the light incident direction. It is arranged not to become. The thickness of the transparent substrate 31 is substantially the same as the focal length of the microlens 34. Therefore, the lower surface of the transparent substrate 31 substantially coincides with the focal plane of the microlens 34.

透明基板３１の下面には、複数の光電変換部（フォトダイオード）３５が配置されている。以下、透明基板３１の下面に配置された光電変換部３５を、下側光電変換部３５と呼ぶ。各下側光電変換部３５の下側には配線層３６が配置されている。各マイクロレンズ３４の間に入射した光束は、透明基板３１の上面の上側光電変換部３２および配線層３３によって遮られるため、下側光電変換部３５には入射しないようになっている。そのため、下側光電変換部３５は、マイクロレンズ３４を透過した光束のみを受光できるようになっている。また、下側光電変換部３５は、透明基板３１の下面上において、マイクロレンズ３４を垂直に投影した範囲だけでなく、上側光電変換部３２を垂直に投影した範囲にも配置することができるので、受光面積を広くすることができる。また、複数の上側光電変換部３２に挟まれている分、各マイクロレンズ３４同士の間隔が空いているので、透明基板３１の下面において、交換レンズ２からの光束がマイクロレンズ３４の口径よりも大きく広がる場合にも、隣接するマイクロレンズ３４同士における透過光束の重複（クロストーク）を防止することができる。 A plurality of photoelectric conversion units (photodiodes) 35 are arranged on the lower surface of the transparent substrate 31. Hereinafter, the photoelectric conversion unit 35 disposed on the lower surface of the transparent substrate 31 is referred to as a lower photoelectric conversion unit 35. A wiring layer 36 is disposed below each lower photoelectric conversion unit 35. The light beam incident between the microlenses 34 is blocked by the upper photoelectric conversion unit 32 and the wiring layer 33 on the upper surface of the transparent substrate 31, so that it does not enter the lower photoelectric conversion unit 35. Therefore, the lower photoelectric conversion unit 35 can receive only the light beam transmitted through the microlens 34. Further, the lower photoelectric conversion unit 35 can be arranged on the lower surface of the transparent substrate 31 not only in the range where the microlenses 34 are projected vertically but also in the range where the upper photoelectric conversion units 32 are projected vertically. The light receiving area can be widened. Further, since the space between the microlenses 34 is increased by the amount sandwiched between the plurality of upper photoelectric conversion units 32, the light flux from the interchangeable lens 2 is smaller than the diameter of the microlens 34 on the lower surface of the transparent substrate 31. Even in the case of a large spread, overlapping (crosstalk) of transmitted light beams between adjacent microlenses 34 can be prevented.

図３は、撮像素子１２における透明基板３１の上面の構成を例示する平面図である。ここでは、代表して８×８画素分を抜き出して図示している。透明基板３１の上面における画素は、上側光電変換部３２とカラーフィルタとで構成されている。具体的に、透明基板３１の上面には、赤（Ｒ）成分の光を光電変換する画素（Ｒ画素）、緑（Ｇ）成分の光を光電変換する画素（Ｇ画素）、青（Ｂ）成分の光を光電変換する画素（Ｂ画素）の３種類が設けられている。Ｒ画素は、赤色成分の光のみを透過させるカラーフィルタと、該カラーフィルタの背後に配置された上側光電変換部３２とから構成されている。Ｇ画素は、緑色成分の光のみを透過させるカラーフィルタと、該カラーフィルタの背後に配置された上側光電変換部３２とから構成されている。Ｂ画素は、青色成分の光のみを透過させるカラーフィルタと、該カラーフィルタの背後に配置された上側光電変換部３２とから構成されている。これらのＲ画素、Ｇ画素、およびＢ画素は、ベイヤー配列で配置されている。 FIG. 3 is a plan view illustrating the configuration of the upper surface of the transparent substrate 31 in the image sensor 12. Here, as an example, 8 × 8 pixels are extracted and shown. A pixel on the upper surface of the transparent substrate 31 is composed of an upper photoelectric conversion unit 32 and a color filter. Specifically, on the upper surface of the transparent substrate 31, a pixel (R pixel) that photoelectrically converts red (R) component light, a pixel (G pixel) that photoelectrically converts green (G) component light, and blue (B) Three types of pixels (B pixels) that photoelectrically convert component light are provided. The R pixel includes a color filter that transmits only red component light, and an upper photoelectric conversion unit 32 disposed behind the color filter. The G pixel includes a color filter that transmits only the green component light and an upper photoelectric conversion unit 32 disposed behind the color filter. The B pixel includes a color filter that transmits only blue component light, and an upper photoelectric conversion unit 32 disposed behind the color filter. These R pixel, G pixel, and B pixel are arranged in a Bayer array.

また、各画素は、略正方形状の一角が四分円形状に切りかかれた形状にレイアウトされている。左上がＢ画素、右上および左下がＧ画素、右下がＲ画素である４画素を１組とすると、これら１組の画素群の中央が円形に繰り抜かれた形状となっており、上述したマイクロレンズ３４が配置されている。すなわち、マイクロレンズ３４は、上がＢ画素、右上および左下がＧ画素、右下がＲ画素である４画素から構成される１組に対して、１つずつ設けられている。なお、マイクロレンズ３４の開口部の大きさを調整することで、透明基板３１の上面における各画素の受光面積を適宜調節することができる。 Each pixel is laid out in a shape in which a substantially square corner is cut into a quadrant. Assuming that one set of four pixels is the B pixel at the upper left, the G pixel at the upper right and the lower left, and the R pixel at the lower right, the center of the set of these pixel groups is a circular shape. A lens 34 is arranged. That is, one microlens 34 is provided for each set of four pixels, which are B pixels on the top, G pixels on the top right and bottom left, and R pixels on the bottom right. In addition, by adjusting the size of the opening of the microlens 34, the light receiving area of each pixel on the upper surface of the transparent substrate 31 can be adjusted as appropriate.

図４は、撮像素子１２における透明基板３１の下面の構成を例示する平面図である。ここでは、代表して４０×４０個の下側光電変換部３５を抜き出して図示している。各下側光電変換部３５は、略正方形状にレイアウトされ、２次元状に配列されている。また、図４には、透明基板３１の上面に配置されているマイクロレンズ３４を透明基板３１の下面に垂直に投影した範囲を点線で示している。図４に示すように、各マイクロレンズ３４の背後には、複数の下側光電変換部３５が配置されており、１つのマイクロレンズ３４に対して１０×１０個の下側光電変換部３５が設けられている。なお、１つのマイクロレンズ３４に対して設けられる下側光電変換部３５の数は、この本実施の形態の数に限定されない。また、本実施形態では、マイクロレンズ３４と下側光電変換部３５との間にはカラーフィルタが設けられていない。 FIG. 4 is a plan view illustrating the configuration of the lower surface of the transparent substrate 31 in the image sensor 12. Here, representatively, 40 × 40 lower photoelectric conversion units 35 are extracted and illustrated. Each lower photoelectric conversion unit 35 is laid out in a substantially square shape and arranged in a two-dimensional manner. Further, in FIG. 4, a range in which the micro lens 34 disposed on the upper surface of the transparent substrate 31 is vertically projected on the lower surface of the transparent substrate 31 is indicated by a dotted line. As shown in FIG. 4, a plurality of lower photoelectric conversion units 35 are arranged behind each micro lens 34, and 10 × 10 lower photoelectric conversion units 35 are provided for one micro lens 34. Is provided. The number of lower photoelectric conversion units 35 provided for one microlens 34 is not limited to the number of the present embodiment. In the present embodiment, no color filter is provided between the microlens 34 and the lower photoelectric conversion unit 35.

ところで、本実施形態のデジタルカメラ１では、撮像素子１２を用いて、通常のカメラとしての機能を実現することもできるし、１回の撮影で得られたデータから撮影後に任意の距離にピントの合った画像を生成できるライトフィールドカメラとしての機能を実現することもできる。以下、これらの機能について説明する。 By the way, in the digital camera 1 of the present embodiment, it is possible to realize a function as a normal camera using the image sensor 12 and to focus on an arbitrary distance after shooting from data obtained by one shooting. It is also possible to realize a function as a light field camera that can generate a matched image. Hereinafter, these functions will be described.

＜通常のカメラ機能＞
まず、撮像素子１２を用いて、通常のカメラ機能を実現する場合について説明する。この場合、ボディ制御部１４は、撮像素子１２の下側光電変換部３５からの出力信号を用いて、交換レンズ２の焦点調節状態を検出する焦点検出処理を行い、交換レンズ２のピントを合わせる。そして、ボディ制御部１４は、撮像素子１２の上側光電変換部３２からの出力信号を用いて通常の撮影画像データを生成する第１の画像生成処理を行う。 <Normal camera function>
First, a case where a normal camera function is realized using the image sensor 12 will be described. In this case, the body control unit 14 performs focus detection processing for detecting the focus adjustment state of the interchangeable lens 2 using the output signal from the lower photoelectric conversion unit 35 of the image sensor 12, and focuses the interchangeable lens 2. . Then, the body control unit 14 performs a first image generation process that generates normal captured image data using an output signal from the upper photoelectric conversion unit 32 of the image sensor 12.

まず、焦点検出処理について説明する。本実施形態の焦点検出処理は、撮像素子１２の下側光電変換部３５からの出力信号を用いて、瞳分割型位相差検出方式により行われる。 First, focus detection processing will be described. The focus detection process of the present embodiment is performed by a pupil division type phase difference detection method using an output signal from the lower photoelectric conversion unit 35 of the image sensor 12.

上述したように、撮像素子１２では、各マイクロレンズ３４の焦点面に、複数の下側光電変換部３５が設けられている。各マイクロレンズ３４に対応する下側光電変換部３５は、各マイクロレンズ３４によって交換レンズ２の射出瞳上に投影される。交換レンズ２の射出瞳面の異なる領域を通過した光束は、各マイクロレンズ３４を介して異なる下側光電変換部３５へそれぞれ導かれる。例えば、交換レンズ２の射出瞳面の縦方向の一対の領域を通過した光束は、一対の縦方向の下側光電変換部３５の列に導かれる。したがって、この一対の縦方向の下側光電変換部３５の列からの出力に基づいて、この一対の光束による被写体像の位置ずれ量を検出し、この位置ずれ量に基づいて交換レンズ２のデフォーカス量を検出できる。なお、瞳分割型位相差検出方式によるデフォーカス量の演算方法は、周知であるため、詳細の説明は省略する。 As described above, in the imaging device 12, a plurality of lower photoelectric conversion units 35 are provided on the focal plane of each microlens 34. The lower photoelectric conversion unit 35 corresponding to each microlens 34 is projected onto the exit pupil of the interchangeable lens 2 by each microlens 34. The light beams that have passed through different regions of the exit pupil surface of the interchangeable lens 2 are guided to different lower photoelectric conversion units 35 through the respective micro lenses 34. For example, the light beam that has passed through a pair of vertical regions on the exit pupil surface of the interchangeable lens 2 is guided to a column of the pair of lower photoelectric conversion units 35 in the vertical direction. Therefore, based on the output from the column of the pair of lower vertical photoelectric conversion units 35, the amount of displacement of the subject image due to the pair of light fluxes is detected, and based on the amount of displacement, the displacement of the interchangeable lens 2 is detected. The focus amount can be detected. Note that the defocus amount calculation method by the pupil division type phase difference detection method is well known, and thus detailed description thereof is omitted.

また、各マイクロレンズ３４では、複数の下側光電変換部３５が２次元マトリクス状に配置されているため、横方向および斜め方向についても一対の光束による被写体像の位置ずれ量を検出してデフォーカス量を検出できる。 In each microlens 34, since a plurality of lower photoelectric conversion sections 35 are arranged in a two-dimensional matrix, the amount of displacement of the subject image due to a pair of light beams is detected in the horizontal direction and the oblique direction as well. The focus amount can be detected.

さらに、マイクロレンズ３４は、撮像素子１２における透明基板３１の上面全体に散らばって配置されているため、撮影画面の全体に亘ってデフォーカス量を検出することができる。 Furthermore, since the microlenses 34 are arranged over the entire upper surface of the transparent substrate 31 in the image sensor 12, it is possible to detect the defocus amount over the entire photographing screen.

次に、第１の画像生成処理について説明する。上述したように、透明基板３１の上面は、交換レンズ２の予定焦点面に配置されており、透明基板３１の上面には、交換レンズ２による被写体像が結像される。透明基板３１の上面に配置された上側光電変換部３２は、この交換レンズ２により結像された被写体像を撮像する。また、透明基板３１の上面の画素（上側光電変換部３２により構成される画素）は、ベイヤー配列で配置されている。したがって、第１の画像生成処理において、ボディ制御部１４は、撮像素子１２における上側光電変換部３２の出力信号からベイヤー配列の画像信号を取得する。 Next, the first image generation process will be described. As described above, the upper surface of the transparent substrate 31 is disposed on the planned focal plane of the interchangeable lens 2, and a subject image by the interchangeable lens 2 is formed on the upper surface of the transparent substrate 31. The upper photoelectric conversion unit 32 disposed on the upper surface of the transparent substrate 31 captures the subject image formed by the interchangeable lens 2. Further, the pixels on the upper surface of the transparent substrate 31 (pixels configured by the upper photoelectric conversion unit 32) are arranged in a Bayer array. Therefore, in the first image generation process, the body control unit 14 acquires an image signal of the Bayer array from the output signal of the upper photoelectric conversion unit 32 in the image sensor 12.

ボディ制御部１４は、取得したベイヤー配列の画像信号において、各画素で不足する色成分を隣接する画素からの信号を用いて補間処理によって生成する。たとえば、Ｇ画素の場合、Ｒ画像信号およびＢ画像信号が存在しないので、周辺の画素の信号を用いて色補間処理を行う。このようなベイヤー配列における色補間処理は周知であるので、詳細な説明は省略する。ボディ制御部１４は、この色補間処理によって、透明基板３１の上面に配置された画素数でなるカラー画像データ（ＲＧＢ）を生成する。ボディ制御部１４は、このようにして得られたカラー画像データを用いて、例えば、記録用画像のファイルを生成し、メモリカード２０に記録する。 In the acquired Bayer array image signal, the body control unit 14 generates an insufficient color component in each pixel by interpolation processing using a signal from an adjacent pixel. For example, in the case of G pixels, there is no R image signal and B image signal, so color interpolation processing is performed using the signals of surrounding pixels. Since the color interpolation processing in such a Bayer array is well known, detailed description thereof is omitted. The body control unit 14 generates color image data (RGB) having the number of pixels arranged on the upper surface of the transparent substrate 31 by this color interpolation processing. The body control unit 14 generates, for example, a recording image file by using the color image data obtained in this manner, and records it on the memory card 20.

本実施形態の撮像素子１２は、撮像面の一部に焦点検出専用の画素を配置した撮像素子とは異なり、撮像用の画素（上側光電変換部３２で構成される画素）の抜けがない。そのため、第１の画像生成処理において、撮像用の画素の抜けを補間する補間処理を行う必要がないので、補間処理による画質の低下がなく、且つ簡易な処理で撮像画像を生成することができる。 Unlike the image sensor in which the focus detection pixels are arranged on a part of the imaging surface, the image sensor 12 of the present embodiment has no missing pixels for imaging (pixels configured by the upper photoelectric conversion unit 32). For this reason, in the first image generation process, there is no need to perform an interpolation process for interpolating missing pixels for imaging, so that a captured image can be generated by a simple process without any deterioration in image quality due to the interpolation process. .

＜ライトフィールドカメラ機能＞
次に、撮像素子１２を用いて、ライトフィールドカメラ機能を実現する場合について説明する。この場合、ボディ制御部１４は、撮像素子１２の下側光電変換部３５からの出力信号を用いて、任意の距離にピントの合った画像を生成する第２の画像生成処理を行う。本実施形態のデジタルカメラ１では、ユーザは、操作部材１８を介して、どの被写体位置（距離）にピントの合った画像を生成するのかを指定することができるようになっている。このような画像の生成方法としては、例えば、特開２００７−４４７１号公報に記載されている方法を用いる。 <Light field camera function>
Next, a case where the light field camera function is realized using the image sensor 12 will be described. In this case, the body control unit 14 uses the output signal from the lower photoelectric conversion unit 35 of the image sensor 12 to perform a second image generation process that generates an image in focus at an arbitrary distance. In the digital camera 1 of the present embodiment, the user can specify which subject position (distance) to generate an in-focus image via the operation member 18. As a method for generating such an image, for example, a method described in Japanese Patent Application Laid-Open No. 2007-4471 is used.

具体的に、第２の画像生成処理の原理を、図５を用いて説明する。ここでは、一例として、１つの画素が、１つのマイクロレンズ３４に対応するものとして説明する。なお、本実施形態の撮像素子１２では、上述したように１つのマイクロレンズ３４に対して１０×１０個の下側光電変換部３５が設けられているが、図５では、図示の都合上、１つのマイクロレンズ３４に対応する下側光電変換部３５の数を５個として記載している。 Specifically, the principle of the second image generation process will be described with reference to FIG. Here, as an example, it is assumed that one pixel corresponds to one microlens 34. In the imaging device 12 of the present embodiment, 10 × 10 lower photoelectric conversion units 35 are provided for one microlens 34 as described above. However, in FIG. The number of lower photoelectric conversion units 35 corresponding to one microlens 34 is described as five.

図５（ａ）は、交換レンズ２による結像面からの距離（像面のずれ量）がｈである像面ｐａにピントが合った撮像画像を生成する原理を説明する図である。図５（ａ）において、像面ｐａの像位置５０に対応する交換レンズ２からの入射光束５１〜５５は、それぞれマイクロレンズ３４を通過した後、画素７１ａ〜７１ｅの下側光電変換部ａ１，ｂ２，ｃ３，ｄ４，ｅ５においてそれぞれ受光される。したがって、下側光電変換部ａ１，ｂ２，ｃ３，ｄ４およびｅ５の出力信号を合成することで、像面ｐａの像位置５０に対応する画素７１ｃの画像信号を生成することができる。他の像位置についても同様にして出力信号を合成し、対応する画素の画像信号を生成することで、像面ｐａにピントが合った撮像画像を生成することができる。 FIG. 5A is a diagram for explaining the principle of generating a captured image focused on an image plane pa whose distance (image plane deviation amount) from the image plane by the interchangeable lens 2 is h. In FIG. 5A, incident light beams 51 to 55 from the interchangeable lens 2 corresponding to the image position 50 on the image plane pa pass through the microlens 34, respectively, and then the lower photoelectric conversion unit a1 of the pixels 71a to 71e. Light is received at b2, c3, d4, and e5, respectively. Therefore, the image signal of the pixel 71c corresponding to the image position 50 on the image plane pa can be generated by combining the output signals of the lower photoelectric conversion units a1, b2, c3, d4 and e5. Similarly, by synthesizing output signals for other image positions and generating image signals of corresponding pixels, a captured image in focus on the image plane pa can be generated.

また、図５（ｂ）は、交換レンズ２による結像面からの距離（像面のずれ量）が０である像面ｐｂにピントが合った撮像画像、すなわち結像面の撮像画像を生成する原理を説明する図である。図５（ｂ）において、像面ｐｂの像位置６０に対応する交換レンズ２からの入射光束６１〜６５は、それぞれマイクロレンズ３４を通過した後、画素７１ｃの下側光電変換部ｃ１，ｃ２，ｃ３，ｃ４，ｃ５においてそれぞれ受光される。したがって、下側光電変換部ｃ１，ｃ２，ｃ３，ｃ４およびｃ５の出力信号を合成することで、像面ｐｂの像位置６０に対応する画素６１ｃの画像信号を生成することができる。他の像位置についても同様にして出力信号を合成し、対応する画素の画像信号を生成することで、像面ｐｂにピントが合った撮像画像を生成することができる。 FIG. 5B generates a captured image focused on the image plane pb where the distance (image plane deviation) from the imaging plane by the interchangeable lens 2 is 0, that is, a captured image of the imaging plane. It is a figure explaining the principle to do. In FIG. 5B, incident light beams 61 to 65 from the interchangeable lens 2 corresponding to the image position 60 on the image plane pb pass through the microlens 34, and then the lower photoelectric conversion units c1, c2, and c2 of the pixel 71c. Light is received at c3, c4, and c5, respectively. Therefore, the image signal of the pixel 61c corresponding to the image position 60 on the image plane pb can be generated by combining the output signals of the lower photoelectric conversion units c1, c2, c3, c4, and c5. Similarly, by synthesizing output signals for other image positions and generating image signals of corresponding pixels, it is possible to generate a captured image focused on the image plane pb.

このようにして、ボディ制御部１４は、結像面からの距離（像面のずれ量）に応じて、下側光電変換部３５からの出力信号を適宜選択して合成し、各画素の画像信号を生成することで、任意の距離の像面にピントの合った撮像画像を生成する。 In this way, the body control unit 14 appropriately selects and synthesizes the output signals from the lower photoelectric conversion unit 35 according to the distance from the image plane (image plane shift amount), and the image of each pixel. By generating the signal, a captured image focused on an image plane at an arbitrary distance is generated.

なお、図５（ａ），（ｂ）では、ユーザにより指定された像面の位置が結像面よりも前側（交換レンズ２に近い位置）にある場合の撮像画像の生成方法を説明したが、指定像面の位置が結像面よりも後側（交換レンズ２から遠い位置）にある場合にも、同様にして撮像画像を生成することができる。 In FIGS. 5A and 5B, the method of generating a captured image when the position of the image plane specified by the user is in front of the imaging plane (position close to the interchangeable lens 2) has been described. Even when the position of the designated image plane is on the rear side (position far from the interchangeable lens 2) of the imaging plane, the captured image can be generated in the same manner.

以上説明した実施の形態によれば、次の作用効果が得られる。
（１）撮像素子１２は、二次元状に配置された複数の上側光電変換部３２と、光の入射方向から見て、上側光電変換部３２の横に配置された複数のマイクロレンズ３４と、二次元状に配置され、マイクロレンズ３４を透過した光を受光する複数の下側光電変換部３５と、を備える。これにより、デジタルカメラ１のボディ制御部１４は、上側光電変換部３２からの出力信号に基づいて画像データを生成することができ、下側光電変換部３５からの出力信号に基づいて、交換レンズ２の焦点調節状態を位相差検出方式により検出することができる。したがって、画像生成用の撮像素子と焦点検出用の撮像素子とを別々に設ける場合のような製造時の高度な位置合わせを必要とせず、１つの撮像素子１２の出力信号を用いて、撮像画像の生成と位相差検出方式による焦点検出とを両方行うことができる。また、デジタルカメラ１のボディ制御部１４は、下側光電変換部３５からの出力信号に基づいて、交換レンズ２の任意の像面における像の画像データを生成することもできる。したがって、１つの撮像素子１２を用いて、通常のカメラ機能を実現することもできるし、ライトフィールドカメラ機能を実現することもできる。また、従来のライトフィールドカメラで通常の撮像画像を生成する場合には、計算量が多くなってしまう。これに対して、本実施形態の撮像素子１２では、通常の撮像画像については、上側光電変換部３２からの出力信号に基づいて生成することができるので、計算量は従来の方法と同等である。 According to the embodiment described above, the following operational effects can be obtained.
(1) The imaging device 12 includes a plurality of upper photoelectric conversion units 32 arranged in a two-dimensional manner, a plurality of microlenses 34 arranged beside the upper photoelectric conversion unit 32 as viewed from the incident direction of light, A plurality of lower photoelectric converters 35 that are two-dimensionally arranged and receive light transmitted through the microlenses 34. Accordingly, the body control unit 14 of the digital camera 1 can generate image data based on the output signal from the upper photoelectric conversion unit 32, and based on the output signal from the lower photoelectric conversion unit 35, the interchangeable lens The two focus adjustment states can be detected by the phase difference detection method. Therefore, it is not necessary to perform advanced positioning at the time of manufacture as in the case where the image sensor for image generation and the image sensor for focus detection are separately provided, and the captured image is output using the output signal of one image sensor 12. Generation and focus detection by the phase difference detection method can be performed. The body control unit 14 of the digital camera 1 can also generate image data of an image on an arbitrary image plane of the interchangeable lens 2 based on an output signal from the lower photoelectric conversion unit 35. Therefore, a normal camera function can be realized by using one image pickup device 12, and a light field camera function can also be realized. In addition, when a normal captured image is generated by a conventional light field camera, the amount of calculation increases. On the other hand, in the imaging device 12 of the present embodiment, a normal captured image can be generated based on the output signal from the upper photoelectric conversion unit 32, so that the amount of calculation is equivalent to the conventional method. .

（２）上記（１）の撮像素子１２において、マイクロレンズ３４と下側光電変換部３５との間にはカラーフィルタが設けられていないように構成した。この場合、第２の画像生成処理により生成される撮像画像は、モノクロの画像となるが、カラーフィルタで吸収されない分、下側光電変換部３５で受光する光量が多くなるので、焦点検出処理における焦点検出精度を高めることができる。 (2) The imaging device 12 of (1) is configured such that no color filter is provided between the microlens 34 and the lower photoelectric conversion unit 35. In this case, the captured image generated by the second image generation process is a monochrome image, but the amount of light received by the lower photoelectric conversion unit 35 is increased by the amount not absorbed by the color filter. Focus detection accuracy can be increased.

（変形例１）
上述した実施の形態では、透明基板３１の上面の画素（上側光電変換部３２）が正方格子状に配置されている例について説明したが、これに限らなくてよく、例えば、ハニカム構造で配置されていてもよい。図６は、この場合の撮像素子１２における透明基板３１の上面の一例を示す図である。図６に示す撮像素子１２において、各画素（上側光電変換部３２）は、略正六角形形状を３等分した形状にレイアウトされており、１つの略正六角形は、Ｒ画素、Ｇ画素およびＢ画素がそれぞれ１個ずつの３画素で構成されている。この略正六角形を構成する３画素の組が、ハニカム構造で配置されている。また、Ｒ画素、Ｇ画素およびＢ画素は、同色の画素同士が隣接しないように配置されている。 (Modification 1)
In the above-described embodiment, the example in which the pixels (upper photoelectric conversion units 32) on the upper surface of the transparent substrate 31 are arranged in a square lattice shape has been described. However, the present invention is not limited to this. It may be. FIG. 6 is a diagram illustrating an example of the upper surface of the transparent substrate 31 in the imaging element 12 in this case. In the imaging device 12 shown in FIG. 6, each pixel (upper photoelectric conversion unit 32) is laid out in a shape obtained by dividing a substantially regular hexagonal shape into three equal parts. Each pixel is composed of three pixels. A set of three pixels constituting the substantially regular hexagon is arranged in a honeycomb structure. Further, the R pixel, the G pixel, and the B pixel are arranged so that pixels of the same color are not adjacent to each other.

各マイクロレンズ３４は、略正六角形を構成する画素の組６つに囲まれるようにして配置されている。なお、マイクロレンズ３４は、画素数に対する割合としては、６個の画素に対して、１つずつ設けられている。また、マイクロレンズ３４のみに着目すると、マイクロレンズ３４は、一列ごとに半ピッチずれて配置されている。 Each microlens 34 is arranged so as to be surrounded by six sets of pixels constituting a substantially regular hexagon. Note that one micro lens 34 is provided for each of six pixels as a ratio to the number of pixels. Focusing only on the microlenses 34, the microlenses 34 are arranged with a half-pitch shift for each row.

変形例１の撮像素子１２において、ボディ制御部１４は、上述した実施の形態と同様に、上側光電変換部３２からの出力信号に基づいて第１の画像生成処理を行い、カラー画像データを生成する。なお、各画素において、不足する色成分の信号については、適宜補間処理を行えばよい。 In the image sensor 12 of Modification 1, the body control unit 14 performs the first image generation process based on the output signal from the upper photoelectric conversion unit 32 to generate color image data, as in the above-described embodiment. To do. Note that, in each pixel, interpolation processing may be appropriately performed for signals of insufficient color components.

（変形例２）
上述した実施の形態では、マイクロレンズ３４と上側光電変換部３２とが同一面（透明基板３１の上面）に配置されている例について説明した。しかしながら、必ずしもマイクロレンズ３４と上側光電変換部３２とが同一面に配置されていなくてもよく、多少ずれていてもよい。少なくとも、マイクロレンズ３４は、光の入射方向から見て、上側光電変換部３２の横に配置されていればよい。換言すれば、マイクロレンズ３４と上側光電変換部３２とは、光の入射方向から見て互いに重ならないように配置されていればよい。 (Modification 2)
In the above-described embodiment, the example in which the microlens 34 and the upper photoelectric conversion unit 32 are arranged on the same surface (the upper surface of the transparent substrate 31) has been described. However, the microlens 34 and the upper photoelectric conversion unit 32 do not necessarily have to be arranged on the same plane, and may be slightly shifted. At least the microlens 34 only needs to be disposed beside the upper photoelectric conversion unit 32 when viewed from the incident direction of light. In other words, the microlens 34 and the upper photoelectric conversion unit 32 may be disposed so as not to overlap each other when viewed from the light incident direction.

（変形例３）
上述した実施の形態では、マイクロレンズ３４と下側光電変換部３５との間にはカラーフィルタが設けられていない例について説明した。しかしながら、マイクロレンズ３４と下側光電変換部３５との間にカラーフィルタを配置するようにしてもよい。例えば、１つのマイクロレンズ３４に対して、一つのカラーフィルタを設けるようにしてもよい。カラーフィルタの種類としては、例えばＲＧＢ３色であるとする。この場合、ボディ制御部１４は、焦点検出処理において、ＲＧＢ各色のデフォーカス量を算出する。これにより、ＲＧＢ各色の色収差を検出することができる。また、この場合、ボディ制御部１４は、第２の画像生成処理において、カラー画像データを生成することができる。また例えば、１つの下側光電変換部３５に対して、一つのカラーフィルタを設けるようにしてもよい。 (Modification 3)
In the above-described embodiment, an example in which no color filter is provided between the microlens 34 and the lower photoelectric conversion unit 35 has been described. However, a color filter may be disposed between the microlens 34 and the lower photoelectric conversion unit 35. For example, one color filter may be provided for one microlens 34. As color filter types, for example, RGB three colors are assumed. In this case, the body control unit 14 calculates the defocus amounts of the RGB colors in the focus detection process. Thereby, the chromatic aberration of each color of RGB can be detected. In this case, the body control unit 14 can generate color image data in the second image generation process. Further, for example, one color filter may be provided for one lower photoelectric conversion unit 35.

（変形例４）
上述した実施の形態では、マイクロレンズ３４が凸レンズである例について説明したが、これに限らなくてよく、マイクロレンズ３４が凹レンズであってもよい。凹レンズのマイクロレンズ３４については、透明基板３１に対してエッチングを施すことにより形成することができるため、簡易に製造することができる。また、マイクロレンズ３４は、回折レンズであってもよい。 (Modification 4)
In the embodiment described above, an example in which the microlens 34 is a convex lens has been described. However, the present invention is not limited to this, and the microlens 34 may be a concave lens. The concave microlens 34 can be easily manufactured because it can be formed by etching the transparent substrate 31. The microlens 34 may be a diffractive lens.

（変形例５）
デジタルカメラ１において、上記第２の画像生成処理を行わないように構成してもよい。この場合、下側光電変換部３５からの出力信号を用いて焦点検出処理を行うことができればよい。すなわち、複数の下側光電変換部３５において、交換レンズ２の射出瞳の異なる領域を透過した光束が、異なる下側光電変換部３５で受光されるようにすればよいので、各マイクロレンズ３４に対して、複数の下側光電変換部３５が必ずしも２次元マトリクス状に配置されていなくてもよい。例えば、各マイクロレンズ３４に対して複数の下側光電変換部３５が偏って配置されていてもよいし、各マイクロレンズ３４に対して１つの下側光電変換部３５のみを設け、この下側光電変換部３５の半分を遮光するようにしてもよい。 (Modification 5)
The digital camera 1 may be configured not to perform the second image generation process. In this case, it is only necessary that the focus detection process can be performed using the output signal from the lower photoelectric conversion unit 35. That is, in the plurality of lower photoelectric conversion units 35, the light beams that have passed through different regions of the exit pupil of the interchangeable lens 2 may be received by the different lower photoelectric conversion units 35. On the other hand, the plurality of lower photoelectric conversion units 35 are not necessarily arranged in a two-dimensional matrix. For example, a plurality of lower photoelectric conversion units 35 may be arranged so as to be biased with respect to each microlens 34, or only one lower photoelectric conversion unit 35 is provided for each microlens 34. Half of the photoelectric conversion unit 35 may be shielded from light.

また、変形例５において、撮影画面の全範囲においてデフォーカス量を検出する必要がなく、必要な位置でのみデフォーカス量を検出すればよい場合には、その位置に対応する位置にのみマイクロレンズ３４を設けるようにしてもよい。 Further, in the fifth modification, when it is not necessary to detect the defocus amount in the entire range of the shooting screen and the defocus amount only needs to be detected at a necessary position, the microlens only at the position corresponding to the position. 34 may be provided.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。 The above description is merely an example, and is not limited to the configuration of the above embodiment. Moreover, you may combine the structure of each modification suitably with the said embodiment.

１…デジタルカメラ、２…交換レンズ、１２…撮像素子、１４…ボディ制御部、３１…透明基板、３２…上側光電変換部、３４…マイクロレンズ、３５…下側光電変換部 DESCRIPTION OF SYMBOLS 1 ... Digital camera, 2 ... Interchangeable lens, 12 ... Image sensor, 14 ... Body control part, 31 ... Transparent substrate, 32 ... Upper photoelectric conversion part, 34 ... Micro lens, 35 ... Lower photoelectric conversion part

Claims

A first photoelectric conversion unit including a plurality of first photoelectric conversion elements;
A second photoelectric conversion unit comprising a plurality of second photoelectric conversion elements that receive light transmitted through the first photoelectric conversion unit;
An imaging device having

The imaging device according to claim 1,
The first photoelectric conversion unit is an imaging device having a transparent substrate.

The image sensor according to claim 1 or 2,
An imaging device in which the pitch interval at which the first photoelectric conversion elements are arranged is wider than the pitch interval at which the second photoelectric conversion elements are arranged.

The imaging device according to any one of claims 1 to 3,
The first photoelectric conversion unit includes an image sensor provided with a color filter that limits a wavelength of transmitted light.

The imaging device according to claim 1, wherein the first photoelectric conversion unit includes a microlens disposed at a position that does not overlap the first photoelectric conversion device.

The imaging device according to claim 5,
An imaging device in which the microlens is a concave lens.

The imaging device according to claim 1,
An imaging device provided with a color filter that limits a wavelength of light transmitted between the first photoelectric conversion unit and the second photoelectric conversion unit.