JP2012168246A - Imaging element and imaging device - Google Patents
Imaging element and imaging device Download PDFInfo
- Publication number
- JP2012168246A JP2012168246A JP2011027103A JP2011027103A JP2012168246A JP 2012168246 A JP2012168246 A JP 2012168246A JP 2011027103 A JP2011027103 A JP 2011027103A JP 2011027103 A JP2011027103 A JP 2011027103A JP 2012168246 A JP2012168246 A JP 2012168246A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- imaging
- ranging
- pixels
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Focusing (AREA)
Abstract
Description
本発明は、焦点検出機能を有する撮像素子および撮像装置に関する。 The present invention relates to an image pickup device and an image pickup apparatus having a focus detection function.
近年、瞳分割位相差ＡＦを採用し、焦点検出素子としても兼用できるように構成された撮像素子が提案されている（例えば、特許文献１参照）。以下、図１５を用いて、特許文献１に記載された従来技術による瞳分割位相差ＡＦの動作について説明する。図１５は、特許文献１に記載された撮像素子の画素配列を示している。 In recent years, there has been proposed an image sensor that employs pupil division phase difference AF and is configured to be used as a focus detection element (see, for example, Patent Document 1). Hereinafter, the operation of the pupil division phase difference AF according to the prior art described in Patent Document 1 will be described with reference to FIG. FIG. 15 shows a pixel array of the image sensor described in Patent Document 1.
図１５（ａ）に示す通り、特許文献１に開示された撮像素子では、被写体像を示す画像信号を形成するための撮像用信号を出力する撮像用画素とは別に、焦点調節状態を示すＡＦ信号を生成する測距用画素の列（焦点検出部２００Ａ、２００Ｂ）が複数配置されている。また、図１５ （ｂ）に示す通り、この撮像素子において、測距用画素は測距受光素子対（フォトダイオード２０１ａ、２０１ｂ）を有しており、測距受光素子対ごとに１つのマイクロレンズ２０６が設けられている。
As shown in FIG. 15A, in the imaging device disclosed in Patent Document 1, AF indicating a focus adjustment state is provided separately from imaging pixels that output imaging signals for forming an image signal indicating a subject image. A plurality of ranging pixel columns (
測距受光素子対を構成する２つの測距受光素子の一方部分と他方部分に結像される像のずれ量（シフト量）は、撮像レンズのピントのずれ量（デフォーカス量）に応じて変化する。このシフト量を複数の測距用画素からの出力により検出して、撮像レンズを合焦にするためのレンズ駆動量を決定することが可能となる。 The deviation amount (shift amount) of the image formed on one part and the other part of the two distance measurement light receiving elements constituting the distance measurement light receiving element pair depends on the focus deviation amount (defocus amount) of the imaging lens. Change. This shift amount is detected by outputs from a plurality of distance measuring pixels, and a lens drive amount for focusing the imaging lens can be determined.
しかしながら、特許文献１に開示された撮像素子では、測距用画素が並んだ部分では撮像用信号を得ることができないために、最終的に得られる画像の画質が劣化する。また、測距用画素が一列に配置されているため、測距用画素数を増やした場合、画質の劣化がさらに顕著となるという課題がある。 However, in the image sensor disclosed in Patent Document 1, an image pickup signal cannot be obtained at a portion where the ranging pixels are arranged, so that the image quality of the finally obtained image deteriorates. Further, since the ranging pixels are arranged in a row, there is a problem that when the number of ranging pixels is increased, the deterioration of the image quality becomes more remarkable.
上記の課題を解決するため、測距用画素の位置に相当する撮像用信号を、撮像用画素からの撮像用信号を用いて補間することが考えられる。しかし、特許文献１に開示された撮像素子では、測距用画素が一列に配置されているため、それぞれの測距用画素に隣接する撮像用画素の数（測距用画素列の端の画素で３個、それ以外の画素で２個）が少なく、測距用画素の位置に相当する撮像用信号の補間を高精度に行うことができないという課題がある。 In order to solve the above-described problem, it is conceivable to interpolate an imaging signal corresponding to the position of the ranging pixel using the imaging signal from the imaging pixel. However, in the imaging device disclosed in Patent Document 1, since the ranging pixels are arranged in a line, the number of imaging pixels adjacent to each ranging pixel (the pixel at the end of the ranging pixel column). 3 and 2 for the other pixels), and there is a problem that interpolation of the imaging signal corresponding to the position of the ranging pixel cannot be performed with high accuracy.
本発明は、上述した課題に鑑みてなされたものであって、測距用画素の位置に相当する撮像用信号の補間をより高精度に行うのに適した撮像用信号を取得することができる撮像素子および撮像装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and can acquire an imaging signal suitable for performing interpolation of an imaging signal corresponding to the position of a ranging pixel with higher accuracy. An object is to provide an imaging device and an imaging apparatus.
本発明は、上記の課題を解決するためになされたもので、撮影レンズを通過する被写体像の光を受光する第１のマイクロレンズと、所定の分光透過特性を有する第１のカラーフィルタと、前記第１のマイクロレンズにより集光された光束を前記第１のカラーフィルタを通して受光する撮像受光素子と、を各々備え、撮像素子面内に配列された複数の撮像用画素を有するとともに、前記撮影レンズを通過する被写体像の光束を瞳分割する第２のマイクロレンズと、可視光を構成する波長領域にわたって所定の値以上の透過率を有し、前記波長領域における分光透過率の積分が、複数の前記撮像用画素のいずれの前記第１のカラーフィルタにおける前記積分よりも大きくなるような分光透過特性を有する第２のカラーフィルタと、前記第２のマイクロレンズにより瞳分割された光束対をそれぞれ前記第２のカラーフィルタを通して受光する２つの測距受光素子が前記撮像素子面内の所定の方向に配列された測距受光素子対と、を各々備え、前記撮像素子面内に配列された複数の測距用画素を有し、前記複数の測距用画素は、前記撮像素子面内において、前記所定の方向と略同一方向に所定の周期で配列されており、前記複数の測距用画素の各々の周囲に少なくとも４つの前記撮像用画素が配置され、かつ、前記複数の測距用画素の各々の間に少なくとも１つの前記撮像用画素が配置されていることを特徴とする撮像素子である。 The present invention has been made to solve the above-described problem, and includes a first microlens that receives light of a subject image that passes through a photographing lens, a first color filter having a predetermined spectral transmission characteristic, An imaging light-receiving element that receives the light beam collected by the first microlens through the first color filter, and includes a plurality of imaging pixels arranged in the imaging element plane, and the imaging A second microlens that divides the luminous flux of the subject image passing through the lens into pupils, and has a transmittance greater than or equal to a predetermined value over a wavelength region constituting visible light, and a plurality of integrals of spectral transmittances in the wavelength region A second color filter having a spectral transmission characteristic that is greater than the integral of any of the first color filters of the imaging pixels; A pair of distance-measuring light-receiving elements that each receive a pair of luminous fluxes divided by pupils through the second color filter and arranged in a predetermined direction within the surface of the image sensor; A plurality of ranging pixels arranged in the surface of the imaging device, wherein the plurality of ranging pixels are arranged in a predetermined cycle substantially in the same direction as the predetermined direction in the imaging device surface; And at least four imaging pixels are arranged around each of the plurality of ranging pixels, and at least one imaging pixel is arranged between each of the plurality of ranging pixels. It is an image pick-up element characterized by having.
また、本発明の撮像素子において、前記複数の撮像用画素は、赤色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の赤色撮像用画素と、緑色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の緑色撮像用画素と、青色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の青色撮像用画素と、を有し、前記複数の赤色撮像用画素、前記複数の緑色撮像用画素、前記複数の青色撮像用画素、および前記複数の測距用画素が構成する配列は、ベイヤー配列を構成する単位配列内の一対の前記緑色撮像用画素のうち一方を前記測距用画素で置き換えた配列であることを特徴とする。 In the imaging device of the present invention, the plurality of imaging pixels include a plurality of red imaging pixels each including the first color filter having a spectral transmission characteristic peak in a wavelength region of red light, and green light. A plurality of green imaging pixels each having the first color filter having a spectral transmission characteristic peak in the wavelength region of the blue light, and the first color filter having a spectral transmission characteristic peak in the wavelength region of the blue light. A plurality of blue imaging pixels, the plurality of red imaging pixels, the plurality of green imaging pixels, the plurality of blue imaging pixels, and the plurality of ranging pixels Is an array in which one of the pair of green imaging pixels in the unit array constituting the Bayer array is replaced with the ranging pixel.
また、本発明の撮像素子において、２つの前記測距受光素子の各々の受光面積の和が、前記撮像受光素子の受光面積の１/３倍よりも大きく、１倍よりも小さいことを特徴とする。 In the imaging device of the present invention, the sum of the light receiving areas of the two ranging light receiving elements is greater than 1/3 times and less than 1 times the light receiving area of the imaging light receiving element. To do.
また、本発明の撮像素子において、前記複数の赤色撮像用画素、前記複数の緑色撮像用画素、前記複数の青色撮像用画素、および前記複数の測距用画素が構成する配列は、ベイヤー配列を構成する単位配列内の一対の前記緑色撮像用画素のうち一方を前記測距用画素で置き換えた第１の配列と、前記ベイヤー配列を構成する単位配列内の一対の前記緑色撮像用画素のうち一方を高感度撮像用画素で置き換えた第２の配列とで構成され、前記高感度撮像用画素の分光感度は前記測距用画素の分光感度と略同一であり、前記高感度撮像用画素に含まれる前記撮像受光素子の受光面積は、２つの前記測距受光素子の各々の受光面積の和と略同一であることを特徴とする。 Further, in the imaging device of the present invention, the array formed by the plurality of red imaging pixels, the plurality of green imaging pixels, the plurality of blue imaging pixels, and the plurality of ranging pixels is a Bayer array. A first array in which one of the pair of green imaging pixels in the unit array constituting the first pixel is replaced with the ranging pixel, and a pair of green imaging pixels in the unit array constituting the Bayer array And a second array in which one is replaced with a high-sensitivity imaging pixel, and the spectral sensitivity of the high-sensitivity imaging pixel is substantially the same as the spectral sensitivity of the ranging pixel. The light receiving area of the imaging light receiving element included is substantially the same as the sum of the light receiving areas of the two distance measuring light receiving elements.
また、本発明は、上記の撮像素子と、前記測距用画素からの画素出力に基づき、被写体までの距離に応じた前記撮影レンズの焦点ずれ量を演算する測距演算部と、前記測距用画素を前記撮像用画素で置き換えた場合の画素出力を、前記測距用画素の周囲に配列された前記撮像用画素からの画素出力を用いて補間し、補間した画素出力および前記撮像用画素からの画素出力を用いて前記被写体像の撮影画像を生成する画像生成部と、を有することを特徴とする撮像装置である。 In addition, the present invention provides the image sensor, a distance calculation unit that calculates a defocus amount of the photographing lens according to a distance to a subject based on a pixel output from the distance measurement pixel, and the distance measurement The pixel output when the pixel for imaging is replaced with the pixel for imaging is interpolated using the pixel output from the pixel for imaging arranged around the pixel for distance measurement, and the interpolated pixel output and the pixel for imaging And an image generation unit that generates a captured image of the subject image using a pixel output from the image pickup apparatus.
また、本発明は、上記の撮像素子と、前記測距用画素からの画素出力に基づき、被写体までの距離に応じた前記撮影レンズの焦点ずれ量を演算する測距演算部と、前記測距用画素を前記撮像用画素で置き換えた場合の画素出力を、前記測距用画素の周囲に配列された前記撮像用画素からの画素出力を用いて補間し、補間した画素出力および前記撮像用画素からの画素出力を用いて前記被写体像の撮影画像を生成する画像生成部と、を有し、前記画像生成部は、前記測距用画素からの画素出力が所定のレベルよりも低い場合には、前記赤色撮像用画素、前記緑色撮像用画素、および前記青色撮像用画素からの画素出力と、前記補間した画素出力と、前記測距用画素からの画素出力とを用いて撮影画像を生成し、前記測距用画素からの画素出力が所定のレベルよりも高い場合には、前記赤色撮像用画素、前記緑色撮像用画素、および前記青色撮像用画素からの画素出力と、前記補間した画素出力とのみを用いて撮影画像を生成することを特徴とする撮像装置である。 In addition, the present invention provides the image sensor, a distance calculation unit that calculates a defocus amount of the photographing lens according to a distance to a subject based on a pixel output from the distance measurement pixel, and the distance measurement The pixel output when the pixel for imaging is replaced with the pixel for imaging is interpolated using the pixel output from the pixel for imaging arranged around the pixel for distance measurement, and the interpolated pixel output and the pixel for imaging An image generation unit that generates a captured image of the subject image using a pixel output from the image output unit, and the image generation unit is configured to output a pixel output from the distance measurement pixel when the pixel output is lower than a predetermined level. A captured image is generated using the pixel output from the red imaging pixel, the green imaging pixel, and the blue imaging pixel, the interpolated pixel output, and the pixel output from the ranging pixel. The pixel output from the ranging pixel is When the level is higher than a predetermined level, a captured image is generated using only the pixel output from the red imaging pixel, the green imaging pixel, and the blue imaging pixel and the interpolated pixel output. An imaging device characterized by the above.
本発明によれば、複数の測距用画素の各々の周囲に少なくとも４つの撮像用画素が配置され、かつ、複数の測距用画素の各々の間に少なくとも１つの撮像用画素が配列されているため、各測距用画素の周囲に配置された撮像用画素から取得した撮像用信号を、各測距用画素の位置に相当する撮像用信号の補間に使用することが可能となる。したがって、測距用画素の位置に相当する撮像用信号の補間をより高精度に行うのに適した撮像用信号を取得することができる。 According to the present invention, at least four imaging pixels are arranged around each of the plurality of ranging pixels, and at least one imaging pixel is arranged between each of the plurality of ranging pixels. Therefore, the imaging signal acquired from the imaging pixels arranged around each distance measurement pixel can be used for interpolation of the imaging signal corresponding to the position of each distance measurement pixel. Therefore, it is possible to obtain an imaging signal suitable for performing interpolation of the imaging signal corresponding to the position of the ranging pixel with higher accuracy.
以下、図面を参照し、本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。
＜撮像装置の構成＞
図１は、本実施形態による撮像装置の構成を示している。図１に示す撮像装置ＣＡＭは、撮像光学系ＭＯと、信号処理装置ＣＰＵと、光学系駆動部ＯＤと、設定ボタンＳＢと、シャッターボタンＳＴと、表示装置ＤＤとで構成されている。
(First embodiment)
First, a first embodiment of the present invention will be described.
<Configuration of imaging device>
FIG. 1 shows the configuration of the imaging apparatus according to the present embodiment. The imaging device CAM shown in FIG. 1 includes an imaging optical system MO, a signal processing device CPU, an optical system driving unit OD, a setting button SB, a shutter button ST, and a display device DD.
撮像光学系ＭＯは、被写体像を結像し、結像された被写体像を撮影する。この撮像光学系ＭＯは、交換が可能な撮影レンズＯＬと、撮像素子ＩＭＧとを有する。撮影レンズＯＬは、被写体に関する光束を撮像素子ＩＭＧに結像するための光学系である。この撮影レンズＯＬは、光学系駆動部ＯＤによって光軸方向に自在に駆動される。撮影レンズＯＬが光軸方向に移動することにより、撮影レンズＯＬの焦点位置が移動する。 The imaging optical system MO forms a subject image and photographs the formed subject image. The imaging optical system MO includes a replaceable photographic lens OL and an imaging element IMG. The photographing lens OL is an optical system for forming an image of a light beam related to the subject on the image sensor IMG. The photographing lens OL is driven freely in the optical axis direction by the optical system driving unit OD. When the photographing lens OL moves in the optical axis direction, the focal position of the photographing lens OL moves.
撮像素子ＩＭＧは、フォトダイオードを有して構成される複数の画素がマトリクス状に２次元配置されたカラーエリアセンサである。撮像素子ＩＭＧは、撮影レンズＯＬを通って結像された被写体像に関する電気信号を、撮像素子ＩＭＧ上に設けられた撮像用画素により生成し、画像出力Ｖｏｕｔ（撮像用信号）として出力する。また、撮像素子ＩＭＧは、その撮像素子面において、位相差検出のための測距用画素を有しており、位相差検出による測距に必要な被写体像に関する電気信号を測距用画素により生成し、画像出力Ｖｏｕｔとして出力する。なお、撮像用画素ＳＰおよび測距用画素ＡＰならびに撮像素子ＩＭＧにおける詳細な説明は後述する。 The image sensor IMG is a color area sensor in which a plurality of pixels configured with photodiodes are two-dimensionally arranged in a matrix. The imaging element IMG generates an electrical signal related to the subject image formed through the imaging lens OL by imaging pixels provided on the imaging element IMG, and outputs it as an image output Vout (imaging signal). In addition, the image sensor IMG has distance measurement pixels for phase difference detection on the image sensor surface, and generates electric signals related to the subject image necessary for distance measurement by the phase difference detection. And output as an image output Vout. A detailed description of the imaging pixel SP, the ranging pixel AP, and the imaging element IMG will be described later.
信号処理装置ＣＰＵは、測距演算部ＡＦＵと、画像生成部ＰＧＵと、記録装置ＭＥＭとで構成されている。画像生成部ＰＧＵは、内部に補正部ＡＤＤを有する。 The signal processing device CPU is composed of a distance measurement calculation unit AFU, an image generation unit PGU, and a recording device MEM. The image generation unit PGU includes a correction unit ADD inside.
信号処理装置ＣＰＵには、設定ボタンＳＢと、シャッターボタンＳＴと、表示装置ＤＤと、撮像素子ＩＭＧと、光学系駆動部ＯＤとが接続されている。信号処理装置ＣＰＵは、設定ボタンＳＢおよびシャッターボタンＳＴから入力された信号と、撮像素子ＩＭＧから得られる画素出力Ｖｏｕｔとに基づき、撮像装置ＣＡＭの制御や信号処理等を行う。また、信号処理装置ＣＰＵは、光学系駆動部ＯＤに対する制御信号、および撮像素子ＩＭＧに対するコマンドＣＭＤを出力する。また、信号処理装置ＣＰＵは、信号処理を行った画像信号を表示装置ＤＤへ出力する。 A setting button SB, a shutter button ST, a display device DD, an image sensor IMG, and an optical system driving unit OD are connected to the signal processing device CPU. The signal processing device CPU performs control of the imaging device CAM, signal processing, and the like based on the signals input from the setting button SB and the shutter button ST and the pixel output Vout obtained from the imaging device IMG. Further, the signal processing device CPU outputs a control signal for the optical system driving unit OD and a command CMD for the image sensor IMG. Further, the signal processing device CPU outputs the image signal subjected to the signal processing to the display device DD.
信号処理のうち、測距演算に相当する処理は測距演算部ＡＦＵによって行われ、撮影画像の生成および表示用の画像処理は画像生成部ＰＧＵによって行われる。信号処理が行われた画像信号は必要に応じて記録装置ＭＥＭに保存される。また、撮影画像の生成において、測距用画素の位置における撮像用信号の補間やダイナミックレンジ拡大のための信号処理は補正部ＡＤＤによって行われる。 Of the signal processing, processing corresponding to ranging calculation is performed by the ranging calculation unit AFU, and image processing for generating and displaying a captured image is performed by the image generation unit PGU. The image signal subjected to the signal processing is stored in the recording device MEM as necessary. Further, in the generation of the captured image, the correction unit ADD performs signal processing for interpolation of the imaging signal at the position of the distance measurement pixel and expansion of the dynamic range.
光学系駆動部ＯＤは、撮影レンズＯＬを光軸方向に自在に移動させる。具体的には、光学系駆動部ＯＤは、信号処理装置ＣＰＵで演算された結果に基づいて、撮影レンズＯＬの焦点を合焦とするために図示しないレンズ駆動モータを制御して、撮影レンズＯＬを光軸方向に移動させる。これによって、撮影レンズＯＬの結像位置が調節される。 The optical system drive unit OD moves the photographing lens OL freely in the optical axis direction. Specifically, the optical system driving unit OD controls a lens driving motor (not shown) to focus the photographing lens OL based on the result calculated by the signal processing device CPU, and thereby the photographing lens OL. Is moved in the optical axis direction. As a result, the imaging position of the photographic lens OL is adjusted.
シャッターボタンＳＴは、撮影者が撮影のタイミングを決定するために用いるボタンである。設定ボタンＳＢは、撮影者が撮像装置ＣＡＭの動作モードを決定するために用いるボタンである。表示装置ＤＤは、信号処理装置ＣＰＵで処理された画像信号に基づく画像を表示する。 The shutter button ST is a button used by the photographer to determine the shooting timing. The setting button SB is a button used by the photographer to determine the operation mode of the imaging device CAM. The display device DD displays an image based on the image signal processed by the signal processing device CPU.
＜撮影シーケンス＞
撮像装置ＣＡＭを用いた撮影のシーケンスについて、図２を用いて説明する。図２は、撮像装置ＣＡＭの撮影のシーケンスを示している。
<Shooting sequence>
A shooting sequence using the imaging device CAM will be described with reference to FIG. FIG. 2 shows a shooting sequence of the imaging device CAM.
撮影者が設定ボタンＳＢを用いて撮影開始を選択することにより、撮影モード（ステップＳ１）が開始される。撮影モードが開始された後、表示画像生成期間（ステップＳ２）が開始される。表示画像生成期間中、撮影レンズＯＬにより導かれた被写体像に関する光束は、撮像素子ＩＭＧに導かれる。被写体像に関する光束から得られる電気信号は撮像素子ＩＭＧから画素出力Ｖｏｕｔとして連続的に読み出され、信号処理装置ＣＰＵによって処理がなされた後、表示装置ＤＤで連続的に画像（動画像）が表示される。撮影者は、表示装置ＤＤに表示された画像を観察することにより、被写体の構図等を決定（フレーミング）することができる。 When the photographer selects shooting start using the setting button SB, the shooting mode (step S1) is started. After the shooting mode is started, a display image generation period (step S2) is started. During the display image generation period, the light flux related to the subject image guided by the photographing lens OL is guided to the image sensor IMG. The electrical signal obtained from the light flux relating to the subject image is continuously read out as the pixel output Vout from the image sensor IMG, processed by the signal processing device CPU, and then continuously displayed on the display device DD (moving image). Is done. The photographer can determine (framing) the composition of the subject by observing the image displayed on the display device DD.
表示画像生成期間が終了すると、被写体選択期間（ステップＳ３）が開始される。撮影者が被写体選択期間にシャッターボタンＳＴを半分押すことにより、信号処理装置ＣＰＵは、被写体の特定部分（例えば、表示装置ＤＤの中央に表示された被写体の部分）に最適化した合焦動作および露光量（露出量）の調整を行う。被写体選択期間中にシャッターボタンＳＴが押されない場合、信号処理装置ＣＰＵは、自動的に被写体の特定部分（例えば、最も近くにある被写体の部分）に最適化した合焦動作および露光量の調整を行う。 When the display image generation period ends, the subject selection period (step S3) is started. When the photographer presses the shutter button ST halfway during the subject selection period, the signal processing device CPU performs the focusing operation optimized for a specific portion of the subject (for example, the portion of the subject displayed in the center of the display device DD) and Adjust the exposure amount (exposure amount). When the shutter button ST is not pressed during the subject selection period, the signal processing device CPU automatically adjusts the focusing operation and the exposure amount optimized for a specific portion of the subject (for example, the nearest subject portion). Do.
被写体選択期間が終了すると、露光量調整期間（ステップＳ４）が開始される。露光量調整期間中、信号処理装置ＣＰＵは、画素出力Ｖｏｕｔを用いて被写体の明るさを計算し、この計算結果を、撮像素子ＩＭＧの露光量の制御のために用いる。露光量変更の指示は、信号処理装置ＣＰＵがコマンドＣＭＤを撮像素子ＩＭＧに出力することにより行われる。 When the subject selection period ends, an exposure adjustment period (step S4) is started. During the exposure amount adjustment period, the signal processing device CPU calculates the brightness of the subject using the pixel output Vout, and uses the calculation result for controlling the exposure amount of the image sensor IMG. The instruction to change the exposure amount is given by the signal processing device CPU outputting a command CMD to the image sensor IMG.
露光量調整期間が終了すると、ＡＦ期間（ステップＳ５）が開始される。ＡＦ期間中、測距演算部ＡＦＵは、画素出力Ｖｏｕｔを用いて、被写体までの距離に応じた撮影レンズＯＬの焦点ずれ量を計算する。ＡＦ期間における光学系の状態と焦点ずれ量の計算方法については後で詳細に説明する。 When the exposure adjustment period ends, the AF period (step S5) starts. During the AF period, the distance measurement calculation unit AFU uses the pixel output Vout to calculate the defocus amount of the photographing lens OL according to the distance to the subject. A method for calculating the state of the optical system and the defocus amount during the AF period will be described in detail later.
ＡＦ期間が終了すると、レンズ駆動期間（ステップＳ６）が開始される。レンズ駆動期間中、信号処理装置ＣＰＵは、ＡＦ期間中に計算した焦点ずれ量に基づく信号を光学系駆動部ＯＤに出力する。光学系駆動部ＯＤは、入力された信号に基づいて、撮影レンズＯＬを合焦する位置に移動させる。 When the AF period ends, the lens driving period (step S6) is started. During the lens driving period, the signal processing device CPU outputs a signal based on the defocus amount calculated during the AF period to the optical system driving unit OD. The optical system driving unit OD moves the photographing lens OL to a position for focusing based on the input signal.
レンズ駆動期間が終了すると、判定期間（ステップＳ７）が開始される。判定期間においてシャッターボタンＳＴが完全に押されると、撮影期間（ステップＳ８）が開始される。判定期間中にシャッターボタンＳＴが半分押された状態が解除されると、シーケンスは表示画像生成期間（ステップＳ２）に戻る。 When the lens driving period ends, the determination period (step S7) is started. When the shutter button ST is completely pressed during the determination period, the shooting period (step S8) is started. When the state where the shutter button ST is half-pressed during the determination period is released, the sequence returns to the display image generation period (step S2).
判定期間（ステップＳ７）が終了すると、撮影期間（ステップＳ８）が開始される。撮影期間において、撮像装置ＣＡＭは撮影を行う。撮影を行うため、撮像素子ＩＭＧに蓄積された電荷はリセットされ、所定の時間だけ露光したことにより得られる画素出力Ｖｏｕｔが信号処理装置ＣＰＵ内の画像生成部ＰＧＵで処理され、記録装置ＭＥＭに保存される。画像生成部ＰＧＵにおける画像処理動作については後で詳細に説明する。 When the determination period (step S7) ends, the shooting period (step S8) starts. In the shooting period, the imaging device CAM performs shooting. In order to perform photographing, the electric charge accumulated in the image sensor IMG is reset, and the pixel output Vout obtained by exposure for a predetermined time is processed by the image generation unit PGU in the signal processing device CPU and stored in the recording device MEM. Is done. The image processing operation in the image generation unit PGU will be described in detail later.
撮影期間が終了すると、第２判定期間（ステップＳ９）が開始される。第２判定期間において撮影者が設定ボタンＳＢを用いて撮影終了を選択することにより、撮影モードは終了する。設定ボタンＳＢを用いて撮影終了が選択されない場合、シーケンスは表示画像生成期間（ステップＳ２）に戻る。設定ボタンＳＢを用いて撮影終了が選択され、撮像装置ＣＡＭ内部を構成する各ブロックの終了動作が完了すると、撮影モードは終了する（ステップＳ１０）。 When the shooting period ends, the second determination period (step S9) is started. When the photographer uses the setting button SB to select the photographing end in the second determination period, the photographing mode ends. When the photographing end is not selected using the setting button SB, the sequence returns to the display image generation period (step S2). When the shooting end is selected using the setting button SB and the end operation of each block configuring the imaging device CAM is completed, the shooting mode ends (step S10).
＜撮像素子ＩＭＧの構成＞
第１の実施形態による撮像素子ＩＭＧについて説明する。撮像素子ＩＭＧは、図３〜図５に示す撮像用画素ＳＰと測距用画素ＡＰとが撮像素子面内に所定の周期で配列されることにより構成される。以下では、撮像用画素ＳＰ、測距用画素ＡＰの順に構成を説明する。
<Configuration of Image Sensor IMG>
The image sensor IMG according to the first embodiment will be described. The image pickup device IMG is configured by arranging the image pickup pixels SP and the distance measurement pixels AP shown in FIGS. 3 to 5 in a predetermined cycle in the image pickup device plane. Hereinafter, the configuration will be described in the order of the imaging pixel SP and the ranging pixel AP.
先ず、図３を用いて撮像用画素ＳＰの断面構造について説明する。図３は撮像用画素ＳＰの断面図である。撮像用画素ＳＰは、第１のマイクロレンズＭＬ１と、第１のカラーフィルタＣＦ１と、透明平坦化層ＴＦＬと、Ｘ−Ｙ平面上に正方形状の開口部ＯＰを有する遮光層ＬＣＬと、被写体光を受光して当該被写体光の強度に応じた電気信号を生成する撮像受光素子ＰＤと、半導体基板ＳＳとで構成されている。 First, the cross-sectional structure of the imaging pixel SP will be described with reference to FIG. FIG. 3 is a cross-sectional view of the imaging pixel SP. The imaging pixel SP includes a first microlens ML1, a first color filter CF1, a transparent flattening layer TFL, a light shielding layer LCL having a square opening OP on the XY plane, and subject light. And an imaging light receiving element PD that generates an electrical signal corresponding to the intensity of the subject light, and a semiconductor substrate SS.
第１のマイクロレンズＭＬ１は所定の曲率および焦点距離を有しており、撮影レンズＯＬを通過した被写体光（被写体像の光束）を集光して、第１のカラーフィルタＣＦ１、透明平坦化層ＴＦＬ、撮像受光素子ＰＤに被写体光を導く働きをする。第１のカラーフィルタＣＦ１は第１のマイクロレンズＭＬ１の下層に設けられ、所定の分光透過特性を有しており、特定の波長領域の光を透過させる働きをする。本実施形態において、第１のカラーフィルタＣＦ１は、Ｒ、Ｇ、Ｂの何れかに相当する波長領域の光を透過させる働きをする。 The first microlens ML1 has a predetermined curvature and focal length, and condenses the subject light (light flux of the subject image) that has passed through the photographing lens OL, and the first color filter CF1, transparent flattening layer TFL, serves to guide subject light to the imaging light receiving element PD. The first color filter CF1 is provided below the first microlens ML1, has a predetermined spectral transmission characteristic, and functions to transmit light in a specific wavelength region. In the present embodiment, the first color filter CF1 functions to transmit light in a wavelength region corresponding to any of R, G, and B.
第１のカラーフィルタＣＦ１を透過した光は、全波長領域の可視光を透過させる働きをする透明平坦化層ＴＦＬを経由して、撮像受光素子ＰＤに導かれる。撮像受光素子ＰＤは、ｐ型半導体の特性を有する半導体基板ＳＳ上に形成されるｎ型半導体拡散層であり、これらの特性の異なる半導体の接合面は、受光された光を電気信号に変換するフォトダイオードとして動作する。なお、撮像受光素子ＰＤのうち、光が入射する受光面以外の部分は遮光層ＬＣＬにより覆われている。遮光層ＬＣＬは、正方形状の開口部ＯＰが設けられており、開口部ＯＰ以外の部分に照射された光を遮る働きをする。なお、開口部ＯＰの中心は第１のマイクロレンズＭＬ１の中心ＣＰ１と重なるように配置されている。開口部ＯＰを通過した光が撮像受光素子ＰＤによって受光される。 The light transmitted through the first color filter CF1 is guided to the imaging light receiving element PD via the transparent flattening layer TFL that functions to transmit visible light in the entire wavelength region. The imaging light-receiving element PD is an n-type semiconductor diffusion layer formed on a semiconductor substrate SS having p-type semiconductor characteristics, and the semiconductor junction surfaces having different characteristics convert received light into electrical signals. Operates as a photodiode. In the imaging light receiving element PD, a portion other than the light receiving surface on which light is incident is covered with a light shielding layer LCL. The light shielding layer LCL is provided with a square-shaped opening OP, and functions to block light irradiated to portions other than the opening OP. The center of the opening OP is arranged so as to overlap the center CP1 of the first microlens ML1. The light that has passed through the opening OP is received by the imaging light receiving element PD.
以下、図４を用いて、測距用画素ＡＰの断面構造について説明する。図４は測距用画素ＡＰの断面図である。測距用画素ＡＰは、第２のマイクロレンズＭＬ２と、第２のカラーフィルタＣＦ２と、透明平坦化層ＴＦＬと、Ｘ−Ｙ平面上に形成された、Ｙ軸方向を長辺とし、Ｘ軸方向を短辺とする矩形状の開口部ＯＰａ、および、Ｘ−Ｙ平面上に形成された、Ｙ軸方向を長辺とし、Ｘ軸方向を短辺とする矩形状の開口部ＯＰｂを有する遮光層ＬＣＬと、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂで構成される測距受光素子対ＡＦＰＤＰと、半導体基板ＳＳとで構成されている。 Hereinafter, the cross-sectional structure of the ranging pixel AP will be described with reference to FIG. FIG. 4 is a cross-sectional view of the ranging pixel AP. The ranging pixel AP includes a second microlens ML2, a second color filter CF2, a transparent flattening layer TFL, and a Y-axis direction formed on the XY plane as a long side and an X-axis. A light-shielding light having a rectangular opening OPa having a short side as a direction and a rectangular opening OPb formed on the XY plane having a long side in the Y-axis direction and a short side in the X-axis direction The layer LCL, the distance measuring light receiving element pair AFPDP including the first distance measuring light receiving element PDa and the second distance measuring light receiving element PDb, and the semiconductor substrate SS.
第２のマイクロレンズＭＬ２は所定の曲率および焦点距離を有しており、撮影レンズＯＬを通過した被写体光を集光して、第２のカラーフィルタＣＦ２、透明平坦化層ＴＦＬ、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂに導く働きをする。第２のカラーフィルタＣＦ２は第２のマイクロレンズＭＬ２の下層に設けられており、可視光を構成する全波長領域にわたって所定の値以上の透過率を有する分光透過特性を持つ。したがって、第２のカラーフィルタＣＦ２を透明（Ｔ）カラーフィルタ若しくは白色光透過フィルタとみなすことができる。以下では、透明カラーフィルタをＴカラーフィルタと記載する。 The second microlens ML2 has a predetermined curvature and focal length, condenses the subject light that has passed through the photographing lens OL, the second color filter CF2, the transparent flattening layer TFL, the first distance measurement. It serves to guide the light receiving element PDa and the second distance measuring light receiving element PDb. The second color filter CF2 is provided in the lower layer of the second microlens ML2, and has a spectral transmission characteristic having a transmittance of a predetermined value or more over the entire wavelength region constituting visible light. Therefore, the second color filter CF2 can be regarded as a transparent (T) color filter or a white light transmission filter. Hereinafter, the transparent color filter is referred to as a T color filter.
第２のカラーフィルタＣＦ２を透過した光は、全波長領域の可視光を透過させる働きをする透明平坦化層ＴＦＬを経由して、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂに導かれる。第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂは、ｐ型半導体の特性を有する半導体基板ＳＳ上に形成されるｎ型半導体拡散層であり、これらの特性の異なる半導体の接合面は、受光された光を電気信号に変換するフォトダイオードとして動作する。なお、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂのうち、光が入射する受光面以外の部分は遮光層ＬＣＬにより覆われている。遮光層ＬＣＬは、開口部ＯＰａおよび開口部ＯＰｂ以外の部分に照射された光を遮る働きをする。また、開口部ＯＰａおよび開口部ＯＰｂは、第２のマイクロレンズＭＬ２の中心ＣＰ２を基準にして左方向（−Ｘ方向）と右方向（＋Ｘ方向）に偏って配置されている。開口部ＯＰａおよび開口部ＯＰｂを通過して瞳分割された光が第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂによって受光される。 The light transmitted through the second color filter CF2 passes through the transparent flattening layer TFL that functions to transmit visible light in the entire wavelength region, and then passes through the first distance measuring light receiving element PDa and the second distance measuring light receiving element PDb. Led. The first ranging light receiving element PDa and the second ranging light receiving element PDb are n-type semiconductor diffusion layers formed on the semiconductor substrate SS having p-type semiconductor characteristics. It operates as a photodiode that converts received light into an electrical signal. In addition, portions of the first ranging light receiving element PDa and the second ranging light receiving element PDb other than the light receiving surface on which light is incident are covered with the light shielding layer LCL. The light blocking layer LCL functions to block light applied to portions other than the opening OPa and the opening OPb. Further, the opening OPa and the opening OPb are arranged so as to be biased leftward (−X direction) and rightward (+ X direction) with respect to the center CP2 of the second microlens ML2. The light that has been pupil-divided through the opening OPa and the opening OPb is received by the first distance-measuring light-receiving element PDa and the second distance-measuring light-receiving element PDb.
以下、図５を用いて、撮像素子ＩＭＧを構成する画素の配列について説明する。図５は、撮像素子ＩＭＧの撮像素子面上の画素配列を示している。図５に示されるように、撮像素子ＩＭＧは、Ｘ−Ｙ平面において、撮像用画素ユニットＳＰＵと、測距用画素ユニットＡＰＵとが所定の周期で配置された構造を有する。 Hereinafter, the arrangement of pixels constituting the image sensor IMG will be described with reference to FIG. FIG. 5 shows a pixel array on the image sensor surface of the image sensor IMG. As shown in FIG. 5, the imaging element IMG has a structure in which an imaging pixel unit SPU and a ranging pixel unit APU are arranged at a predetermined cycle on the XY plane.
各撮像用画素ユニットＳＰＵは、複数の撮像用画素ＳＰで構成されている。本実施形態では、撮像用画素ＳＰのうち、撮像受光素子ＰＤ上に第１のカラーフィルタＣＦ１として赤（Ｒ) カラーフィルタを有するものを赤色撮像用画素ＲＰ、撮像受光素子ＰＤ上に第１のカラーフィルタＣＦ１として青（Ｂ）カラーフィルタを有するものを青色撮像用画素ＢＰと呼んでいる。本実施形態における撮像用画素ユニットＳＰＵは、フォトダイオード上に緑（Ｇ）カラーフィルタを有する撮像用画素ＳＰを２つ有するため、夫々を緑色撮像用画素ＧＰ１、緑色撮像用画素ＧＰ２と呼び、区別している。また、これらの画素からなる配列は、図５に記載の通り、所謂ベイヤー配列を構成している。 Each imaging pixel unit SPU includes a plurality of imaging pixels SP. In the present embodiment, among the imaging pixels SP, those having a red (R) color filter as the first color filter CF1 on the imaging light receiving element PD are used as the red imaging pixel RP and the first imaging filter PD. A color filter CF1 having a blue (B) color filter is called a blue imaging pixel BP. The imaging pixel unit SPU in the present embodiment has two imaging pixels SP each having a green (G) color filter on a photodiode. Therefore, the imaging pixel unit SPU is referred to as a green imaging pixel GP1 and a green imaging pixel GP2, respectively. Separated. Moreover, the arrangement | sequence which consists of these pixels comprises what is called a Bayer arrangement | sequence, as shown in FIG.
また、各測距用画素ユニットＡＰＵは、複数の撮像用画素ＳＰと１つの測距用画素ＡＰとで構成されている。本実施形態の測距用画素ユニットＡＰＵでは、１つの赤色撮像用画素ＲＰ、青色撮像用画素ＢＰ、緑色撮像用画素ＧＰ１が設けられるとともに、１つの測距用画素ＡＰが設けられている。測距用画素ユニットＡＰＵは、ベイヤー配列における４つの撮像用画素ＳＰからなる単位配列のうちの１つの緑色撮像用画素を測距用画素ＡＰに置き換えたものである。なお、測距用画素ＡＰにおけるカラーフィルタＣＦ２は、可視光に対する透明（Ｔ）カラーフィルタとみなすことができるため、図中にＴの記号を記載している。 Each ranging pixel unit APU is composed of a plurality of imaging pixels SP and one ranging pixel AP. In the distance measurement pixel unit APU of this embodiment, one red imaging pixel RP, blue imaging pixel BP, and green imaging pixel GP1 are provided, and one ranging pixel AP is provided. The ranging pixel unit APU is obtained by replacing one green imaging pixel in a unit array including four imaging pixels SP in the Bayer array with a ranging pixel AP. Note that the color filter CF2 in the distance measurement pixel AP can be regarded as a transparent (T) color filter for visible light, and therefore, the symbol T is shown in the drawing.
Ｙ軸方向にエッジ（コントラスト）を有する被写体までの距離を求めるため、測距用画素ユニットＡＰＵはＸ軸方向に周期的に配列されており、測距用画素ユニットＡＰＵによるＡＦユニットラインＬＡを形成している。前述した測距受光素子対を構成する第１測距受光素子と第２測距受光素子の対（例えばａ１とｂ１、ａ２とｂ２、ａ３とｂ３）もＸ軸方向に配列されており、この第１測距受光素子と第２測距受光素子の対を有する測距用画素ＡＰがＸ軸方向に周期的に配列されている。 In order to obtain a distance to an object having an edge (contrast) in the Y-axis direction, the ranging pixel units APU are periodically arranged in the X-axis direction, and an AF unit line LA is formed by the ranging pixel unit APU. is doing. A pair of the first ranging light receiving element and the second ranging light receiving element (for example, a1 and b1, a2 and b2, a3 and b3) constituting the pair of ranging light receiving elements described above is also arranged in the X-axis direction. Ranging pixels AP each having a pair of first ranging light receiving elements and second ranging light receiving elements are periodically arranged in the X-axis direction.
撮像素子ＩＭＧの撮像素子平面の端部に配置されている測距用画素ＡＰを除いて、各測距用画素ＡＰは、周囲を撮像用画素ＳＰで囲まれている。より具体的には、各測距用画素ＡＰは、Ｘ軸方向には２つの青色撮像用画素ＢＰに隣接するとともに、Ｙ軸方向には２つの赤色撮像用画素ＲＰに隣接している。また、各測距用画素ＡＰの紙面左上方、紙面右上方、紙面左下方、紙面右下方に４つの緑色撮像用画素ＧＰ１が配置されている。さらに、各測距用画素ＡＰは、互いに隣接しないように配置されており、測距用画素ＡＰ同士の間には１以上の撮像用画素ＳＰが配置されている。 Except for the ranging pixel AP arranged at the end of the imaging element plane of the imaging element IMG, each ranging pixel AP is surrounded by the imaging pixel SP. More specifically, each ranging pixel AP is adjacent to two blue imaging pixels BP in the X-axis direction and adjacent to two red imaging pixels RP in the Y-axis direction. In addition, four green imaging pixels GP1 are arranged at the upper left, the upper right, the lower left, and the lower right of each distance measuring pixel AP. Further, the distance measurement pixels AP are arranged so as not to be adjacent to each other, and one or more imaging pixels SP are arranged between the distance measurement pixels AP.
測距用画素ユニットＡＰＵが配置されない行には撮像用画素ユニットＳＰＵがＸ軸方向に配置されており、撮像用画素ユニットＡＰＵによる撮像ユニットラインＬＳを形成している。なお、本実施形態において、ＡＦユニットラインＬＡと撮像ユニットラインＬＳは、Ｙ軸方向に交互に配置されている。また、図５に記載の補正領域ＭＡについては後で詳細な説明を行うため、ここでは説明を省略する。 An imaging pixel unit SPU is arranged in the X-axis direction in a row where the ranging pixel unit APU is not arranged, and an imaging unit line LS is formed by the imaging pixel unit APU. In the present embodiment, the AF unit lines LA and the imaging unit lines LS are alternately arranged in the Y-axis direction. Further, since the correction area MA shown in FIG. 5 will be described in detail later, description thereof is omitted here.
＜瞳分割位相差ＡＦを用いた測距動作＞
以下、瞳分割位相差ＡＦを用いた測距動作について説明を行う。最初に図６を用いて、測距用画素ＡＰに入射する光線について説明する。図６は、測距用画素に入射する光線の様子を示している。図６に記載されている撮影レンズＯＬ、第２のマイクロレンズＭＬ２、第２のカラーフィルタＣＦ２、第１測距受光素子ＰＤａ、第２測距受光素子ＰＤｂ、遮光層ＬＣＬの配置およびその働きは前述した通りであり、説明を省略する。
<Ranging operation using pupil division phase difference AF>
Hereinafter, a distance measuring operation using the pupil division phase difference AF will be described. First, a light ray incident on the ranging pixel AP will be described with reference to FIG. FIG. 6 shows a state of light rays incident on the ranging pixels. The arrangement and functions of the photographing lens OL, the second microlens ML2, the second color filter CF2, the first distance measuring light receiving element PDa, the second distance measuring light receiving element PDb, and the light shielding layer LCL illustrated in FIG. As described above, the description is omitted.
図６に記載された測距用画素ＡＰにおいて、射出瞳の左（紙面下）側部分Ｑａからの光束Ｔａが第２のマイクロレンズＭＬ２、第２のカラーフィルタＣＦ２、遮光層ＬＣＬの開口部ＯＰａを通過して第１測距受光素子ＰＤａで受光される。また、射出瞳の右（紙面上）側部分Ｑｂからの光束Ｔｂが第２のマイクロレンズＭＬ２、第２のカラーフィルタＣＦ２、遮光層ＬＣＬの開口部ＯＰｂを通過して第２測距受光素子ＰＤｂで受光される。 In the distance measurement pixel AP illustrated in FIG. 6, the light beam Ta from the left (below the paper surface) side portion Qa of the exit pupil is the second microlens ML2, the second color filter CF2, and the opening OPa of the light shielding layer LCL. And is received by the first distance measuring light-receiving element PDa. Also, the light beam Tb from the right (on the paper) side portion Qb of the exit pupil passes through the second microlens ML2, the second color filter CF2, and the opening OPb of the light shielding layer LCL, and the second ranging light receiving element PDb. Is received.
以下、１本のＡＦユニットラインＬＡ（図５参照）において、Ｘ方向に配置された第１測距受光素子ａ１〜ａ３を含む画素配列からの出力を「ａ系列の画素出力」と呼び、第２測距受光素子ｂ１〜ｂ３を含む画素配列からの出力を「ｂ系列の画素出力」と呼び、これらのａ系列の画素出力とｂ系列の画素出力との関係について図７を用いて説明する。図７は、ＡＦユニットラインＬＡからの画素出力を示している。 Hereinafter, in one AF unit line LA (see FIG. 5), the output from the pixel array including the first ranging light receiving elements a1 to a3 arranged in the X direction is referred to as “a series pixel output”. The output from the pixel array including the two distance measuring light receiving elements b1 to b3 is referred to as “b series pixel output”, and the relationship between the a series pixel output and the b series pixel output will be described with reference to FIG. . FIG. 7 shows the pixel output from the AF unit line LA.
ＡＦユニットラインＬＡでは、射出瞳の両側からの各光束Ｔａ、Ｔｂ（図６参照）が第１測距受光素子ａ１〜ａ３および第２測距受光素子ｂ１〜ｂ３で受光される。ここで、「ａ系列の画素出力」は図７のグラフＧａ（実線で図示）のように表される。一方、「ｂ系列の画素出力」は図７のグラフＧｂ（破線で図示）のように表される。図７に表されたグラフＧａとグラフＧｂとを比較すると、「ａ系列の画素出力」と「ｂ系列の画素出力」では、Ｘ方向（測距用画素ＡＰの配列方向）にずれ量（シフト量）Ｓｆだけ位相差が生じていることが分かる。 In the AF unit line LA, the light beams Ta and Tb (see FIG. 6) from both sides of the exit pupil are received by the first ranging light receiving elements a1 to a3 and the second ranging light receiving elements b1 to b3. Here, “a series pixel output” is represented as a graph Ga (shown by a solid line) in FIG. 7. On the other hand, “b series pixel output” is represented as a graph Gb (shown by a broken line) in FIG. Comparing the graph Ga and the graph Gb shown in FIG. 7, in the “a series pixel output” and the “b series pixel output”, the shift amount (shift) in the X direction (the arrangement direction of the ranging pixels AP). It can be seen that there is a phase difference of (amount) Sf.
以下、画素出力のシフト量Ｓｆとデフォーカス量Ｄｆとの関係について図８を用いて説明する。図８は、画素出力のシフト量Ｓｆとデフォーカス量Ｄｆとの関係を示している。 Hereinafter, the relationship between the pixel output shift amount Sf and the defocus amount Df will be described with reference to FIG. FIG. 8 shows the relationship between the pixel output shift amount Sf and the defocus amount Df.
図８に記載の通り、画素出力のシフト量Ｓｆと、撮像素子ＩＭＧの撮像素子面に対して焦点面がデフォーカスしている量（デフォーカス量）Ｄｆとの関係は１次関数のグラフＧｃで表される。よって、図１に記載された測距演算部ＡＦＵは、「ａ系列の画素出力」および「ｂ系列の画素出力」に基づき（図７参照）上記のシフト量Ｓｆを求めた後に、図８のグラフＧｃに基づきデフォーカス量Ｄｆを算出し、算出されたデフォーカス量Ｄｆに相当する駆動量に関する信号を、図１に記載された光学系駆動部ＯＤに与える。光学系駆動部ＯＤは、測距演算部ＡＦＵから受け取った駆動量に関する信号に基づき、撮影レンズＯＬを所定の値だけ駆動することにより、撮影レンズＯＬを合焦位置に移動させる。 このようにして、撮像装置ＣＡＭでは、撮像素子ＩＭＧの受光面に組み込まれた測距用画素ＡＰからの出力信号を用いた瞳分割位相差ＡＦが実現されている。 As shown in FIG. 8, the relationship between the shift amount Sf of the pixel output and the amount (defocus amount) Df in which the focal plane is defocused with respect to the image sensor surface of the image sensor IMG is a linear function graph Gc. It is represented by Accordingly, the distance calculation unit AFU described in FIG. 1 obtains the shift amount Sf based on “a-sequence pixel output” and “b-sequence pixel output” (see FIG. 7), A defocus amount Df is calculated based on the graph Gc, and a signal related to the drive amount corresponding to the calculated defocus amount Df is given to the optical system drive unit OD shown in FIG. The optical system driving unit OD moves the photographic lens OL to the in-focus position by driving the photographic lens OL by a predetermined value based on the signal relating to the driving amount received from the distance measuring unit AFU. In this way, in the imaging device CAM, pupil division phase difference AF using the output signal from the ranging pixel AP incorporated in the light receiving surface of the imaging element IMG is realized.
＜カラーフィルタの分光特性＞
次に、撮像用画素ＳＰおよび測距用画素ＡＰが備える各カラーフィルタの分光特性（分光透過特性）について、図９を用いて説明する。図９は各カラーフィルタの分光特性を示している。
<Spectral characteristics of color filter>
Next, spectral characteristics (spectral transmission characteristics) of the color filters included in the imaging pixel SP and the ranging pixel AP will be described with reference to FIG. FIG. 9 shows the spectral characteristics of each color filter.
図９において、分光特性Ｔｒは第２のカラーフィルタＣＦ２の分光特性（Ｔカラーフィルタの分光特性）を示している。分光特性Ｒｄは、第１のカラーフィルタＣＦ１として、赤色撮像用画素ＲＰのフォトダイオード上に設けられたＲカラーフィルタの分光特性を示している。分光特性Ｇｒは、緑色撮像用画素ＧＰ１および緑色撮像用画素ＧＰ２のフォトダイオード上に設けられたＧカラーフィルタの分光特性を示している。分光特性Ｂｌは、青色撮像用画素ＢＰのフォトダイオード上に設けられたＢカラーフィルタの分光特性を示している。 In FIG. 9, the spectral characteristic Tr indicates the spectral characteristic of the second color filter CF2 (the spectral characteristic of the T color filter). The spectral characteristic Rd indicates the spectral characteristic of an R color filter provided on the photodiode of the red imaging pixel RP as the first color filter CF1. The spectral characteristic Gr indicates the spectral characteristic of the G color filter provided on the photodiodes of the green imaging pixel GP1 and the green imaging pixel GP2. The spectral characteristic B1 indicates the spectral characteristic of the B color filter provided on the photodiode of the blue imaging pixel BP.
Ｔカラーフィルタの分光特性Ｔｒは、Ｒカラーフィルタの分光特性Ｒｄによる成分と、Ｇカラーフィルタの分光特性Ｇｒによる成分と、Ｂカラーフィルタの分光特性Ｂｌによる成分とを含む全ての可視光成分を透過させる働きを持つ。更に、全波長領域における分光透過率が、Ｒカラーフィルタの分光特性Ｒｄ、Ｇカラーフィルタの分光特性Ｇｒ、Ｂカラーフィルタの分光特性Ｂｌのいずれの分光特性が示す分光透過率よりも大きくなっている。 The spectral characteristic Tr of the T color filter transmits all visible light components including the component due to the spectral characteristic Rd of the R color filter, the component due to the spectral characteristic Gr of the G color filter, and the component due to the spectral characteristic Bl of the B color filter. It has a function to make it. Further, the spectral transmittance in the entire wavelength region is larger than the spectral transmittance indicated by any of the spectral characteristics Rd of the R color filter, the spectral characteristics Gr of the G color filter, and the spectral characteristics Bl of the B color filter. .
また、Ｒカラーフィルタの分光特性Ｒｄは、赤色光の波長領域の波長である650nm付近に透過率のピークを有し、白色光が入射した場合における透過光の積分値は、Ｔカラーフィルタからの透過光の積分値の約１/３である。同様に、Ｇカラーフィルタの分光特性Ｇｒは、緑色光の波長領域の波長である550nm付近に透過率のピークを有し、白色光が入射した場合における透過光の積分値は、Ｔカラーフィルタからの透過光の積分値の約１/３である。同様に、Ｂカラーフィルタの分光特性Ｂｒは、青色光の波長領域の波長である450nm付近に透過率のピークを有し、白色光が入射した場合における透過光の積分値は、Ｔカラーフィルタからの透過光の積分値の約１/３である。 The spectral characteristic Rd of the R color filter has a transmittance peak around 650 nm, which is the wavelength of the red light wavelength region, and the integral value of the transmitted light when white light is incident is obtained from the T color filter. It is about 1/3 of the integral value of transmitted light. Similarly, the spectral characteristic Gr of the G color filter has a transmittance peak in the vicinity of 550 nm, which is the wavelength of the green light wavelength region, and the integral value of the transmitted light when white light is incident is obtained from the T color filter. Is about 1/3 of the integrated value of the transmitted light. Similarly, the spectral characteristic Br of the B color filter has a transmittance peak around 450 nm, which is the wavelength of the blue light wavelength region, and the integral value of the transmitted light when white light is incident is obtained from the T color filter. Is about 1/3 of the integrated value of the transmitted light.
以上の説明から、Ｔカラーフィルタが設けられた画素と、Ｒカラーフィルタが設けられた画素と、Ｂカラーフィルタが設けられた画素とが近接して配置されている場合、Ｔカラーフィルタが設けられた画素の出力から、Ｒカラーフィルタが設けられた画素の出力とＢカラーフィルタが設けられた画素の出力とを引くことにより、Ｔカラーフィルタが設けられた画素における緑色（Ｇ）成分の強度を推定できることがわかる。この原理を用いた測距用画素の補間の方法を以下に示す。 From the above description, when the pixel provided with the T color filter, the pixel provided with the R color filter, and the pixel provided with the B color filter are arranged close to each other, the T color filter is provided. By subtracting the output of the pixel provided with the R color filter and the output of the pixel provided with the B color filter from the output of the obtained pixel, the intensity of the green (G) component in the pixel provided with the T color filter is obtained. It can be seen that it can be estimated. A method for interpolating ranging pixels using this principle will be described below.
＜画素補間および撮像画像の生成方法＞
以下、図１に記載の画像生成部ＰＧＵで行われる測距用画素ＡＰの画素補間および撮像画像の生成方法について、図１０を用いて説明する。図１０は、図５に記載された補正領域ＭＡの画素配置を示している。補正領域ＭＡは、撮像用画素ユニットＳＰU内の画素と測距用画素ユニットＡＰＵ内の画素とで構成されている。
<Pixel interpolation and captured image generation method>
Hereinafter, a pixel interpolation of the distance measurement pixel AP and a method of generating a captured image performed by the image generation unit PGU illustrated in FIG. 1 will be described with reference to FIG. FIG. 10 shows a pixel arrangement of the correction area MA described in FIG. The correction area MA is composed of pixels in the imaging pixel unit SPU and pixels in the ranging pixel unit APU.
測距用画素ＡＰｘの紙面上方には赤色撮像用画素ＲＰｕが配置され、紙面下方には赤色撮像用画素ＲＰｄが配置され、紙面左方には青色撮像用画素ＢＰｌが配置され、紙面右方には青色撮像用画素ＢＰｒが配置され、紙面左上方には緑色撮像用画素ＧＰｕｌが配置され、紙面右上方には緑色撮像用画素ＧＰｕｒが配置され、紙面左下方には緑色撮像用画素ＧＰｄｌが配置され、紙面右下方には緑色撮像用画素ＧＰｄｒが配置されている。 The red imaging pixel RPu is disposed above the distance measuring pixel APx, the red imaging pixel RPd is disposed below the paper surface, the blue imaging pixel BPl is disposed on the left side of the paper surface, and the right side of the paper surface. Is arranged with a blue imaging pixel BPr, a green imaging pixel GPul is arranged in the upper left of the paper, a green imaging pixel GPur is arranged in the upper right of the paper, and a green imaging pixel GPdl is arranged in the lower left of the paper. In addition, a green imaging pixel GPdr is arranged at the lower right side of the drawing.
画像生成部ＰＧＵの補正部ＡＤＤは、撮像素子ＩＭＧから画素出力Ｖｏｕｔを読み出した後、補正領域ＭＡにおいて、以下の（１）式による演算を行い、測距用画素ＡＰｘにおける緑色の成分VG_APxを推定する。
VG_APx = α×V_APx - {β(V_RPu + V_ RPd)/2 + γ(V_BPl + V_ RPr)/2} （１）
The correction unit ADD of the image generation unit PGU reads the pixel output Vout from the image sensor IMG, and then performs a calculation according to the following equation (1) in the correction area MA to estimate the green component VG_APx in the distance measurement pixel APx. To do.
VG_APx = α × V_APx-{β (V_RPu + V_RPd) / 2 + γ (V_BPl + V_RPr) / 2} (1)
ただし、V_APxは、測距用画素ＡＰｘを構成する２つの測距受光素子（第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂ）の出力の和を表し、V_RPuは赤色撮像用画素ＲＰｕからの出力を表し、V_RPdは赤色撮像用画素ＲＰｄからの出力を表し、V_BPlは青色撮像用画素ＢＰｌからの出力を表し、V_BPrは青色撮像用画素ＢＰｒからの出力を表す。α、β、γは各画素出力を補正するための係数である。 However, V_APx represents the sum of the outputs of the two ranging light receiving elements (first ranging light receiving element PDa and second ranging light receiving element PDb) constituting the ranging pixel APx, and V_RPu represents the red imaging pixel RPu. V_RPd represents the output from the red imaging pixel RPd, V_BPl represents the output from the blue imaging pixel BPl, and V_BPr represents the output from the blue imaging pixel BPr. α, β, and γ are coefficients for correcting each pixel output.
このようにして、補正部ＡＤＤは、測距用画素ＡＰｘを緑色撮像用画素で置き換えた場合の画素出力を、各画素出力を用いて補間する。また、画像生成部ＰＤＵは、このようにして求められた測距用画素ＡＰｘにおける緑色の推定成分VG_APxを緑色撮像用画素の出力（撮像用信号）とみなして、測距用画素ＡＰｘ以外の撮像用画素ＳＰから得られた画素出力（撮像用信号）と共に用いて、最終的な撮像画像（写真）を生成する（第１の補間方法）。 In this way, the correction unit ADD interpolates the pixel output when the ranging pixel APx is replaced with the green imaging pixel using each pixel output. In addition, the image generation unit PDU regards the green estimated component VG_APx in the distance measurement pixel APx thus obtained as an output (imaging signal) of the green imaging pixel, and captures images other than the distance measurement pixel APx. A final captured image (photograph) is generated using the pixel output (imaging signal) obtained from the pixel SP (first interpolation method).
一般的なデジタルカメラにおいて、写真のピクセル情報は、１つの青色画素、１つの赤色画素、２つの緑色画素とで構成されるベイヤー配列を１組として生成される。上述した方法により、高い精度で、測距用画素ＡＰｘにおける緑色の成分を補間できるため、撮像素子ＩＭＧは、瞳分割位相差ＡＦ用の画素を有するにもかかわらず、高画質な撮像画像（写真）を得ることができる。 In a general digital camera, pixel information of a photograph is generated as a set of a Bayer array including one blue pixel, one red pixel, and two green pixels. Since the green component in the ranging pixel APx can be interpolated with high accuracy by the above-described method, the imaging device IMG has a high-quality captured image (photograph) even though it has pixels for pupil division phase difference AF. ) Can be obtained.
また、上述した第１の補間方法以外に、緑色撮像用画素ＧＰｕｌ、緑色撮像用画素ＧＰｕｒ、緑色撮像用画素ＧＰｄｌ、緑色撮像用画素ＧＰｄｒからの出力の平均値を測距用画素ＡＰｘにおける緑色の推定成分VG_APxとみなす方法もあり、この方法でも高画質な撮像画像（写真）を得ることができる（第２の補間方法）。 In addition to the first interpolation method described above, the average value of the outputs from the green imaging pixel GPul, the green imaging pixel GPur, the green imaging pixel GPdl, and the green imaging pixel GPdr is calculated using the green color in the ranging pixel APx. There is also a method that regards it as the estimated component VG_APx, and this method can also obtain a high-quality captured image (photograph) (second interpolation method).
また、上述した２つの補間方法を組み合わせて測距用画素ＡＰｘにおける緑色の推定成分ＶＧ＿ＡＰｘ）を推定することにより、より高精細な撮像画像（写真）を得ることができる。 Further, by estimating the green estimated component VG_APx) in the ranging pixel APx by combining the two interpolation methods described above, a higher-definition captured image (photograph) can be obtained.
＜ダイナミックレンジの拡大について＞
以下、撮像素子ＩＭＧを用いた撮影によるダイナミックレンジ（撮影可能な被写体の明るさの範囲）の拡大効果について説明する。本実施形態において、撮像用画素ＳＰの開口部ＯＰの面積を１とした場合、第１測距受光素子ＰＤａにおける開口部ＯＰａの面積が１/３となり、第２測距受光素子ＰＤｂにおける開口部ＯＰｂの面積も１/３となるように設計されている。したがって、測距用画素ＡＰを構成する第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂからの出力を加算して１つの画素出力として扱う場合、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂの組を、開口部面積が２/３の受光素子とみなすことができる。
<About expansion of dynamic range>
Hereinafter, the expansion effect of the dynamic range (brightness range of the photographic subject that can be photographed) by photographing using the image sensor IMG will be described. In the present embodiment, when the area of the opening OP of the imaging pixel SP is 1, the area of the opening OPa in the first distance measuring light receiving element PDa is 1/3, and the opening in the second distance measuring light receiving element PDb. The area of OPb is also designed to be 1/3. Therefore, when the outputs from the first ranging light receiving element PDa and the second ranging light receiving element PDb constituting the ranging pixel AP are added and handled as one pixel output, the first ranging light receiving element PDa and the second ranging light receiving element PDa. The set of ranging light receiving elements PDb can be regarded as a light receiving element having an aperture area of 2/3.
図９を用いて説明した通り、Ｔカラーフィルタにおける分光透過率の積分値を１とした場合、Ｒカラーフィルタ、Ｇカラーフィルタ、Ｂカラーフィルタにおける分光透過率の積分値は夫々約１/３である。このことから、測距用画素ＡＰを構成する第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂからの出力を加算して１つの画素出力（以下、測距用画素ＡＰの加算出力と呼ぶ）として扱う際の画素感度と、撮像用画素ＳＰの画素感度との比は、１×２/３：１/３×１＝２：１となる。 As described with reference to FIG. 9, when the integral value of the spectral transmittance in the T color filter is 1, the integral value of the spectral transmittance in the R color filter, the G color filter, and the B color filter is about 1/3. is there. From this, the outputs from the first ranging light receiving element PDa and the second ranging light receiving element PDb constituting the ranging pixel AP are added to obtain one pixel output (hereinafter referred to as the addition output of the ranging pixel AP). The ratio of the pixel sensitivity at the time of handling to the pixel sensitivity of the imaging pixel SP is 1 × 2/3: 1/3 × 1 = 2: 1.
図１１は、以上の説明で示した画素感度の関係を示している。図１１において、測距用画素ＡＰの加算出力（図中のＴで示す）の傾きが、赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１（緑色撮像用画素ＧＰ２）、青色撮像用画素ＢＰからの画素出力（図中のＲ，Ｇ，Ｂで示す）の傾きの２倍となっている。 FIG. 11 shows the relationship of the pixel sensitivity shown in the above description. In FIG. 11, the inclinations of the addition output (indicated by T in the drawing) of the ranging pixels AP are the red imaging pixel RP, the green imaging pixel GP1 (green imaging pixel GP2), and the blue imaging pixel BP. It is twice the slope of the pixel output (indicated by R, G, B in the figure).
このような感度を有する受光素子を用いて撮影を行った際に、図１に記載の画像生成部ＰＧＵおよび補正部ＡＤＤが行う画像生成について、図１１を用いて説明する。撮像素子ＩＭＧで太陽光などに照らされた明るい被写体を撮影した場合、測距用画素ＡＰを構成する第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂの信号電荷量が飽和するために、測距用画素ＡＰの加算出力がクリップすることがある（図１１の明るさ２での撮影に相当）。
Image generation performed by the image generation unit PGU and the correction unit ADD illustrated in FIG. 1 when imaging is performed using a light receiving element having such sensitivity will be described with reference to FIG. When a bright subject illuminated by sunlight or the like is photographed by the image sensor IMG, the signal charge amounts of the first distance measuring light receiving element PDa and the second distance measuring light receiving element PDb constituting the distance measuring pixel AP are saturated. The added output of the ranging pixel AP may be clipped (corresponding to shooting at
また、月明かりなどに照らされた暗い被写体を撮影した場合、雑音レベルＶＮに対する赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、青色撮像用画素ＢＰからの画素出力の大きさが十分でないために、Ｓ/Ｎの低い撮像画像しか得られないという現象が発生することがある（図１１の明るさ１での撮影に相当）。 When a dark subject illuminated by moonlight or the like is photographed, the pixel output from the red imaging pixel RP, the green imaging pixel GP1, and the blue imaging pixel BP with respect to the noise level VN is not sufficient. There may be a phenomenon that only a captured image with a low / N can be obtained (corresponding to photographing at brightness 1 in FIG. 11).
本実施形態では、図１に記載の撮像素子ＩＭＧから取得された画素出力Ｖｏｕｔが画像生成部ＰＧＵ内のメモリに展開される。画像生成部ＰＧＵ内の補正部ＡＤＤは、前述した（１）式による演算を行い、測距用画素ＡＰｘにおける緑色の成分VG_APxを推定した後、以下の処理を行う。 In the present embodiment, the pixel output Vout acquired from the image sensor IMG illustrated in FIG. 1 is developed in a memory in the image generation unit PGU. The correction unit ADD in the image generation unit PGU performs the following processing after performing the calculation according to the above-described equation (1) to estimate the green component VG_APx in the distance measurement pixel APx.
補正部ＡＤＤは、画像生成部ＰＧＵ内のメモリに展開された画素出力Ｖｏｕｔを逐次読み込み、逐次、閾値電圧ＶＴＨと比較する。測距用画素ＡＰの加算出力のレベルが閾値電圧ＶＴＨ以下である場合、補正部ＡＤＤは、測距用画素ユニットＡＰＵおよび撮像用画素ユニットＳＰＵ内の赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、緑色撮像用画素ＧＰ２、青色撮像用画素ＢＰの夫々の画素出力と、測距用画素ＡＰにおける緑色の推定成分と、測距用画素ＡＰの加算出力とを用いて撮影画像のピクセル信号の生成を行う（第１の画像生成モード）。 The correction unit ADD sequentially reads the pixel output Vout developed in the memory in the image generation unit PGU and sequentially compares it with the threshold voltage VTH. When the level of the addition output of the ranging pixel AP is equal to or lower than the threshold voltage VTH, the correction unit ADD includes the red imaging pixel RP, the green imaging pixel GP1, and the ranging pixel unit APU and the imaging pixel unit SPU. The pixel signal of the captured image is generated using the pixel outputs of the green imaging pixel GP2 and the blue imaging pixel BP, the green estimated component in the ranging pixel AP, and the addition output of the ranging pixel AP. Perform (first image generation mode).
第１の画像生成モードにおいて、補正部ＡＤＤは、例えば、測距用画素ユニットＡＰＵおよび撮像用画素ユニットＳＰＵ内の赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、緑色撮像用画素ＧＰ２、青色撮像用画素ＢＰの夫々の画素出力と、測距用画素ＡＰにおける緑色の推定成分とに対して、測距用画素ＡＰの加算出力に応じて、出力レベルを増加させる補正を行う。第１の画像生成モードにおいて、感度の高い測距用画素ＡＰからの画素出力を用いることにより、低輝度被写体の撮像時における信号Ｓ/Ｎを高めることができる。したがって、撮影可能な被写体の明るさの範囲（ダイナミックレンジ）を拡大することができる。なお、閾値電圧ＶＴＨはＴ画素の飽和信号量付近に設定されていることが望ましい。 In the first image generation mode, the correction unit ADD, for example, the red imaging pixel RP, the green imaging pixel GP1, the green imaging pixel GP2, and the blue imaging pixel in the ranging pixel unit APU and the imaging pixel unit SPU. A correction for increasing the output level is performed on each pixel output of the pixel BP and the green estimated component in the distance measurement pixel AP according to the addition output of the distance measurement pixel AP. In the first image generation mode, the signal S / N at the time of imaging a low-luminance subject can be increased by using the pixel output from the distance measuring pixel AP with high sensitivity. Therefore, the brightness range (dynamic range) of the object that can be photographed can be expanded. Note that the threshold voltage VTH is desirably set in the vicinity of the saturation signal amount of the T pixel.
一方、測距用画素ＡＰの加算出力のレベルが閾値電圧ＶＴＨ以上（飽和）である場合、補正部ＡＤＤは、測距用画素ＡＰの加算出力を使用せず、測距用画素ユニットＡＰＵおよび撮像用画素ユニットＳＰＵ内の赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、緑色撮像用画素ＧＰ２、青色撮像用画素ＢＰの夫々の画素出力と、測距用画素ＡＰにおける緑色の推定成分とを用いて撮影画像のピクセル信号の生成を行う（第２の画像生成モード）。 On the other hand, when the level of the addition output of the ranging pixel AP is equal to or higher than the threshold voltage VTH (saturated), the correction unit ADD does not use the addition output of the ranging pixel AP, and the ranging pixel unit APU and the imaging unit. Using the respective pixel outputs of the red imaging pixel RP, the green imaging pixel GP1, the green imaging pixel GP2, and the blue imaging pixel BP in the pixel unit SPU, and the green estimated component in the ranging pixel AP A pixel signal of the captured image is generated (second image generation mode).
第２の画像生成モードにおいて、感度の低い赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、緑色撮像用画素ＧＰ２、青色撮像用画素ＢＰからの画素出力、およびこれらの画素出力から推定される測距用画素ＡＰにおける緑色の推定成分のみを用いることにより、画素信号の飽和を抑えることができる。 In the second image generation mode, low-sensitivity red imaging pixel RP, green imaging pixel GP1, green imaging pixel GP2, pixel output from blue imaging pixel BP, and distance measurement estimated from these pixel outputs By using only the green estimated component in the working pixel AP, saturation of the pixel signal can be suppressed.
実際に明暗の輝度差が大きな被写体を撮影する場合において、補正部ＡＤＤは、自動的に第１の画像生成モードまたは第２の画像生成モードを選択し、ピクセル信号を生成する。画像生成部ＰＧＵは、補正部ＡＤＤの生成したピクセル信号に基づき、必要な画像処理を行い、最終的なカラー映像を出力する。 When actually photographing a subject with a large brightness difference between light and dark, the correction unit ADD automatically selects the first image generation mode or the second image generation mode, and generates a pixel signal. The image generation unit PGU performs necessary image processing based on the pixel signal generated by the correction unit ADD, and outputs a final color image.
上述したように、第１の実施形態の撮像素子ＩＭＧによれば、測距用画素ＡＰｘの周囲を囲む撮像用画素として配置されている、赤色撮像用画素ＲＰｕ、赤色撮像用画素ＲＰｄ、青色撮像用画素ＢＰｌ、青色撮像用画素ＢＰｒの組、若しくは緑色撮像用画素ＧＰｕｌ、緑色撮像用画素ＧＰｕｒ、緑色撮像用画素ＧＰｄｌ、緑色撮像用画素ＧＰｄｒの組から得られる撮像信号を用いて、測距用画素ＡＰｘの補間信号を高い精度で生成することが可能となる。このため、撮像素子ＩＭＧ中に配置された瞳分割位相差ＡＦ用の測距用画素ＡＰｘにおいて生じる画質の劣化を抑制し、高画質な撮影画像を得ることができる。 As described above, according to the imaging element IMG of the first embodiment, the red imaging pixel RPu, the red imaging pixel RPd, and the blue imaging that are arranged as imaging pixels surrounding the distance measurement pixel APx. For distance measurement using an imaging signal obtained from a group of pixels BPl and blue imaging pixels BPr, or a group of green imaging pixels GPul, green imaging pixels GPur, green imaging pixels GPdl, and green imaging pixels GPdr It becomes possible to generate the interpolation signal of the pixel APx with high accuracy. For this reason, it is possible to suppress deterioration in image quality that occurs in the distance-measuring pixels APx for pupil division phase difference AF arranged in the image sensor IMG and obtain a high-quality captured image.
本実施形態において、撮像素子ＩＭＧに設けられたカラーフィルタが赤、緑、青の原色フィルタである場合について説明を行ったが、これらのカラーフィルタが、赤の補色であるシアン、緑の補色であるマゼンタ、青の補色である黄色からなる補色フィルタで構成されていても同様の効果を得ることができる。 In the present embodiment, the case where the color filters provided in the image sensor IMG are primary color filters of red, green, and blue has been described. However, these color filters are complementary colors of cyan and green that are complementary colors of red. The same effect can be obtained even if the filter is composed of a complementary color filter made of yellow which is a complementary color of magenta and blue.
また、第１の実施形態の撮像素子ＩＭＧによれば、分光透過率の積分結果が異なるカラーフィルタを通して受光された２種類の感度の異なる画素情報に基づいて画像生成を行うことが可能となる。このため、高いダイナミックレンジで画像を撮影することができる。 Further, according to the image sensor IMG of the first embodiment, it is possible to generate an image based on two types of pixel information with different sensitivities received through color filters having different spectral transmittance integration results. For this reason, an image can be taken with a high dynamic range.
例えば、上記のように、赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、青色撮像用画素ＢＰに対して測距用画素ＡＰが２倍の感度を有する場合には、ダイナミックレンジを約２倍に拡大することができる。なお、本実施形態では、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂで構成される測距受光素子対ＡＦＰＤＰの受光部の面積が、撮像受光素子ＰＤの受光部の面積の２/３倍である場合の説明を行ったが、測距受光素子対ＡＦＰＤＰの受光部の面積が撮像受光素子ＰＤの受光部の面積の１/３倍よりも大きく１倍よりも小さければ、ダイナミックレンジ拡大の効果を得ることができる。 For example, as described above, when the ranging pixel AP has twice the sensitivity with respect to the red imaging pixel RP, the green imaging pixel GP1, and the blue imaging pixel BP, the dynamic range is approximately doubled. Can be enlarged. In the present embodiment, the area of the light receiving portion of the distance measuring light receiving element pair AFPDP composed of the first distance measuring light receiving element PDa and the second distance measuring light receiving element PDb is 2 of the area of the light receiving portion of the imaging light receiving element PD. The case where the distance is 3/3 is described. If the area of the light receiving portion of the distance measuring light receiving element pair AFPDP is larger than 1/3 times the area of the light receiving portion of the imaging light receiving element PD and smaller than 1 time, dynamic The effect of expanding the range can be obtained.
また、第１の実施形態の撮像素子ＩＭＧを撮像装置ＣＡＭに搭載することにより、測距用画素を用いた瞳分割位相差ＡＦによる高速な合焦動作を実現するとともに、精度の高い補間信号による高い解像度を有する撮像画像を得ることができる。さらに、第１の実施形態の撮像素子ＩＭＧを撮像装置ＣＡＭに搭載することにより、精度の高い補間信号による高い解像度を有する撮像画像と、高いダイナミックレンジを有する撮像画像との両方を得ることができる。 In addition, by mounting the imaging device IMG of the first embodiment on the imaging device CAM, high-speed focusing operation by pupil division phase difference AF using ranging pixels is realized, and high-accuracy interpolation signals are used. A captured image having a high resolution can be obtained. Furthermore, by mounting the image pickup device IMG of the first embodiment on the image pickup apparatus CAM, it is possible to obtain both a picked-up image having a high resolution by a highly accurate interpolation signal and a picked-up image having a high dynamic range. .
（第２の実施形態）
次に、本発明の第２の実施形態について、図１２を用いて説明する。図１２は、第２の実施形態による撮像素子ＩＭＧの撮像素子面上の画素配列を示している。第２の実施形態による撮像素子ＩＭＧは、第１の実施形態による撮像素子ＩＭＧを構成する撮像用画素ユニットＳＰＵに含まれる緑色撮像用画素ＧＰ１と緑色撮像用画素ＧＰ２のうち、緑色撮像用画素ＧＰ２を高感度撮像用画素ＴＰで置き換えた点のみが異なる。
(Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIG. FIG. 12 shows a pixel array on the image sensor surface of the image sensor IMG according to the second embodiment. The imaging element IMG according to the second embodiment is a green imaging pixel GP2 among the green imaging pixel GP1 and the green imaging pixel GP2 included in the imaging pixel unit SPU constituting the imaging element IMG according to the first embodiment. The only difference is that is replaced with high-sensitivity imaging pixel TP.
高感度撮像用画素ＴＰにはＴカラーフィルタが用いられており、開口部の形状は正方形であり、その開口面積は、開口部ＯＰａと開口部ＯＰｂの和と略同一になるように設定されている。このようにすれば、撮像用画素ユニットＳＰＵおよび測距用画素ユニットＡＰＵを構成する画素に設けられたカラーフィルタの種類がＲ、Ｇ、Ｂ、Ｔに統一される。また、高感度撮像用画素ＴＰの画素出力における感度と、測距用画素ＡＰの加算出力における感度は、カラーフィルタの分光特性と開口部面積が同じために略同一となる。 A T color filter is used for the high-sensitivity imaging pixel TP, the shape of the opening is square, and the opening area is set to be substantially the same as the sum of the opening OPa and the opening OPb. Yes. In this way, the types of color filters provided in the pixels constituting the imaging pixel unit SPU and the ranging pixel unit APU are unified to R, G, B, and T. The sensitivity at the pixel output of the high-sensitivity imaging pixel TP and the sensitivity at the addition output of the ranging pixel AP are substantially the same because the spectral characteristics and the aperture area of the color filter are the same.
このような撮像素子ＩＭＧを搭載した撮像装置ＣＡＭを構成する画像生成部ＰＧＵにおいて、撮像用画素ユニットＳＰＵを構成する画素からの出力を用いたピクセル情報の生成処理と、測距用画素ユニットＡＰＵを構成する画素からの出力を用いたピクセル情報の生成処理とを共通化することができる。これは、撮像装置ＣＡＭを構成する画像生成部ＰＧＵの補間信号生成および画像生成の演算アルゴリズムの共通化につながり、画像生成部ＰＧＵの回路規模を小さくする効果がある。 In the image generation unit PGU constituting the imaging device CAM equipped with such an imaging element IMG, pixel information generation processing using the output from the pixels constituting the imaging pixel unit SPU, and the ranging pixel unit APU The pixel information generation process using the output from the constituent pixels can be shared. This leads to a common interpolation signal generation and image generation calculation algorithm of the image generation unit PGU constituting the imaging device CAM, and has an effect of reducing the circuit scale of the image generation unit PGU.
上述したように、第２の実施形態の撮像素子ＩＭＧによれば、撮像用画素ユニットＳＰＵと測距用画素ユニットＡＰＵを構成する画素に設けられたカラーフィルタの種類と、各カラーフィルタに対応した画素の感度を統一することが可能となる。このため、撮像用画素ユニットＳＰＵと測距用画素ユニットＡＰＵに対する補間信号生成および画像生成の演算アルゴリズムを共通化することができる。即ち、瞳分割位相差ＡＦによる焦点検出素子としても兼用できるように構成された、高い解像度を有する撮像素子でありながら、補間信号および画像生成の容易な撮像素子を供給することができる。したがって、本撮像素子を搭載した撮像装置において、補間信号生成および画像生成を行う画像生成部の回路規模を削減する効果がある。 As described above, according to the imaging device IMG of the second embodiment, the types of color filters provided in the pixels constituting the imaging pixel unit SPU and the ranging pixel unit APU, and the color filters are supported. It becomes possible to unify the sensitivity of the pixels. For this reason, the calculation algorithm of the interpolation signal generation and the image generation for the imaging pixel unit SPU and the ranging pixel unit APU can be shared. In other words, it is possible to supply an image pickup element that can be used also as a focus detection element based on pupil division phase difference AF and that is easy to generate an interpolation signal and an image while being an image pickup element having a high resolution. Therefore, in the image pickup apparatus equipped with this image pickup element, there is an effect of reducing the circuit scale of the image generation unit that performs interpolation signal generation and image generation.
（変形例）
次に、上述した各実施形態の変形例を説明する。以上の説明では、撮像用画素ユニットＳＰＵとおよび測距用画素ユニットＡＰＵがＸ方向に配列されている場合についての説明を行ったが、図１３に示す通り、撮像用画素ユニットＳＰＵおよび測距用画素ユニットＡＰＵがＹ方向に配列されていても良い。この場合、この撮像素子ＩＭＧは、Ｘ方向にエッジ（コントラスト）を有する被写体に対する測距を行うことができる。
(Modification)
Next, modified examples of the above-described embodiments will be described. In the above description, the case where the imaging pixel unit SPU and the ranging pixel unit APU are arranged in the X direction has been described. However, as shown in FIG. 13, the imaging pixel unit SPU and the ranging pixel unit are arranged. The pixel units APU may be arranged in the Y direction. In this case, the imaging element IMG can perform distance measurement on a subject having an edge (contrast) in the X direction.
また、図１４に示す通り、Ｘ方向に配列された測距用画素ユニットＡＰＵｘとＹ方向に配列された測距用画素ユニットＡＰＵｙとが組み合わされて配置されていても良い。図１４では、Ｘ方向に配列された測距用画素ユニットＡＰＵｘでＡＦユニットラインＬＡｘが構成され、Ｙ方向に配列された測距用画素ユニットＡＰＵｙでＡＦユニットラインＬＡｙが構成されている。このような撮像素子ＩＭＧを用いれば、Ｘ方向、Ｙ方向両方にエッジ（コントラスト）を有する被写体に対する測距を行うことができる。 Further, as shown in FIG. 14, the ranging pixel units APUx arranged in the X direction and the ranging pixel units APUy arranged in the Y direction may be combined and arranged. In FIG. 14, the AF unit line LAx is configured by the ranging pixel units APUx arranged in the X direction, and the AF unit line LAy is configured by the ranging pixel units APUy arranged in the Y direction. If such an image sensor IMG is used, distance measurement can be performed on a subject having an edge (contrast) in both the X direction and the Y direction.
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 As described above, the embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to the above-described embodiments, and includes design changes and the like without departing from the gist of the present invention. .
ＣＡＭ・・・撮像装置、ＭＯ・・・撮像光学系、ＣＰＵ・・・信号処理装置、ＯＤ・・・光学系駆動部、ＳＢ・・・設定ボタン、ＳＴ・・・シャッターボタン、ＤＤ・・・表示装置、ＡＦＵ・・・測距演算部、ＰＧＵ・・・画像生成部、ＭＥＭ・・・記録装置、ＯＬ・・・撮影レンズ、ＩＭＧ・・・撮像素子、ＡＤＤ・・・補正部 CAM ... Imaging device, MO ... Imaging optical system, CPU ... Signal processing device, OD ... Optical system drive unit, SB ... Setting button, ST ... Shutter button, DD ... Display device, AFU: Distance measurement operation unit, PGU ... Image generation unit, MEM ... Recording device, OL ... Shooting lens, IMG ... Imaging element, ADD ... Correction unit
Claims (6)
所定の分光透過特性を有する第１のカラーフィルタと、
前記第１のマイクロレンズにより集光された光束を前記第１のカラーフィルタを通して受光する撮像受光素子と、
を各々備え、撮像素子面内に配列された複数の撮像用画素を有するとともに、
前記撮影レンズを通過する被写体像の光束を瞳分割する第２のマイクロレンズと、
可視光を構成する波長領域にわたって所定の値以上の透過率を有し、前記波長領域における分光透過率の積分が、複数の前記撮像用画素のいずれの前記第１のカラーフィルタにおける前記積分よりも大きくなるような分光透過特性を有する第２のカラーフィルタと、
前記第２のマイクロレンズにより瞳分割された光束対をそれぞれ前記第２のカラーフィルタを通して受光する２つの測距受光素子が前記撮像素子面内の所定の方向に配列された測距受光素子対と、
を各々備え、前記撮像素子面内に配列された複数の測距用画素を有し、
前記複数の測距用画素は、前記撮像素子面内において、前記所定の方向と略同一方向に所定の周期で配列されており、
前記複数の測距用画素の各々の周囲に少なくとも４つの前記撮像用画素が配置され、かつ、前記複数の測距用画素の各々の間に少なくとも１つの前記撮像用画素が配置されている
ことを特徴とする撮像素子。 A first microlens that receives the light of the subject image passing through the taking lens;
A first color filter having a predetermined spectral transmission characteristic;
An imaging light-receiving element that receives the light beam collected by the first microlens through the first color filter;
Each having a plurality of imaging pixels arranged in the imaging device plane,
A second microlens for pupil-dividing the luminous flux of the subject image passing through the photographing lens;
It has a transmittance equal to or higher than a predetermined value over the wavelength region constituting visible light, and the integral of the spectral transmittance in the wavelength region is greater than the integral in any of the first color filters of the plurality of imaging pixels. A second color filter having a spectral transmission characteristic that increases,
A pair of ranging light receiving elements in which two ranging light receiving elements that receive the light beam pair divided by the second microlens through the second color filter are arranged in a predetermined direction within the surface of the image sensor. ,
Each having a plurality of ranging pixels arranged in the imaging device plane,
The plurality of ranging pixels are arranged in a predetermined cycle in substantially the same direction as the predetermined direction in the imaging element plane,
At least four of the imaging pixels are arranged around each of the plurality of ranging pixels, and at least one of the imaging pixels is arranged between each of the plurality of ranging pixels. An image sensor characterized by the above.
赤色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の赤色撮像用画素と、
緑色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の緑色撮像用画素と、
青色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の青色撮像用画素と、
を有し、
前記複数の赤色撮像用画素、前記複数の緑色撮像用画素、前記複数の青色撮像用画素、および前記複数の測距用画素が構成する配列は、ベイヤー配列を構成する単位配列内の一対の前記緑色撮像用画素のうち一方を前記測距用画素で置き換えた配列である
ことを特徴とする請求項１に記載の撮像素子。 The plurality of imaging pixels are:
A plurality of red imaging pixels each including the first color filter having a spectral transmission characteristic peak in a wavelength region of red light;
A plurality of green imaging pixels each including the first color filter having a spectral transmission characteristic peak in a wavelength region of green light;
A plurality of blue imaging pixels each including the first color filter having a spectral transmission characteristic peak in a wavelength region of blue light;
Have
The array formed by the plurality of red imaging pixels, the plurality of green imaging pixels, the plurality of blue imaging pixels, and the plurality of distance measuring pixels is a pair of the unit in a unit array constituting a Bayer array. The imaging device according to claim 1, wherein one of green imaging pixels is replaced with the ranging pixel.
前記高感度撮像用画素の分光感度は前記測距用画素の分光感度と略同一であり、前記高感度撮像用画素に含まれる前記撮像受光素子の受光面積は、２つの前記測距受光素子の各々の受光面積の和と略同一であることを特徴とする請求項２に記載の撮像素子。 The array formed by the plurality of red imaging pixels, the plurality of green imaging pixels, the plurality of blue imaging pixels, and the plurality of distance measuring pixels is a pair of the unit in a unit array constituting a Bayer array. A first array in which one of the green imaging pixels is replaced with the ranging pixel and one of the pair of green imaging pixels in the unit array constituting the Bayer array is replaced with a high-sensitivity imaging pixel. And a second array,
The spectral sensitivity of the high-sensitivity imaging pixel is substantially the same as the spectral sensitivity of the ranging pixel, and the light-receiving area of the imaging light-receiving element included in the high-sensitivity imaging pixel is that of the two ranging light-receiving elements. The imaging device according to claim 2, wherein the imaging element is substantially the same as the sum of the respective light receiving areas.
前記測距用画素からの画素出力に基づき、被写体までの距離に応じた前記撮影レンズの焦点ずれ量を演算する測距演算部と、
前記測距用画素を前記撮像用画素で置き換えた場合の画素出力を、前記測距用画素の周囲に配列された前記撮像用画素からの画素出力を用いて補間し、補間した画素出力および前記撮像用画素からの画素出力を用いて前記被写体像の撮影画像を生成する画像生成部と、
を有することを特徴とする撮像装置。 The image sensor according to claim 1,
A distance measurement calculation unit that calculates a defocus amount of the photographing lens according to a distance to a subject based on a pixel output from the distance measurement pixel;
The pixel output when the ranging pixel is replaced with the imaging pixel is interpolated using the pixel output from the imaging pixel arranged around the ranging pixel, and the interpolated pixel output and An image generation unit that generates a captured image of the subject image using a pixel output from an imaging pixel;
An imaging device comprising:
前記測距用画素からの画素出力に基づき、被写体までの距離に応じた前記撮影レンズの焦点ずれ量を演算する測距演算部と、
前記測距用画素を前記撮像用画素で置き換えた場合の画素出力を、前記測距用画素の周囲に配列された前記撮像用画素からの画素出力を用いて補間し、補間した画素出力および前記撮像用画素からの画素出力を用いて前記被写体像の撮影画像を生成する画像生成部と、
を有し、
前記画像生成部は、前記測距用画素からの画素出力が所定のレベルよりも低い場合には、前記赤色撮像用画素、前記緑色撮像用画素、および前記青色撮像用画素からの画素出力と、前記補間した画素出力と、前記測距用画素からの画素出力とを用いて撮影画像を生成し、前記測距用画素からの画素出力が所定のレベルよりも高い場合には、前記赤色撮像用画素、前記緑色撮像用画素、および前記青色撮像用画素からの画素出力と、前記補間した画素出力とのみを用いて撮影画像を生成する
ことを特徴とする撮像装置。 The image sensor according to claim 2,
A distance measurement calculation unit that calculates a defocus amount of the photographing lens according to a distance to a subject based on a pixel output from the distance measurement pixel;
The pixel output when the ranging pixel is replaced with the imaging pixel is interpolated using the pixel output from the imaging pixel arranged around the ranging pixel, and the interpolated pixel output and An image generation unit that generates a captured image of the subject image using a pixel output from an imaging pixel;
Have
When the pixel output from the ranging pixel is lower than a predetermined level, the image generation unit, the pixel output from the red imaging pixel, the green imaging pixel, and the blue imaging pixel, A photographed image is generated using the interpolated pixel output and the pixel output from the ranging pixel, and when the pixel output from the ranging pixel is higher than a predetermined level, the red imaging A captured image is generated using only the pixel output from the pixel, the pixel for green imaging, and the pixel output from the pixel for blue imaging and the interpolated pixel output.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011027103A JP5744556B2 (en) | 2011-02-10 | 2011-02-10 | Imaging device and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011027103A JP5744556B2 (en) | 2011-02-10 | 2011-02-10 | Imaging device and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012168246A true JP2012168246A (en) | 2012-09-06 |
| JP5744556B2 JP5744556B2 (en) | 2015-07-08 |
Family
ID=46972491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011027103A Expired - Fee Related JP5744556B2 (en) | 2011-02-10 | 2011-02-10 | Imaging device and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5744556B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014107835A (en) * | 2012-11-29 | 2014-06-09 | Canon Inc | Image pickup device, imaging apparatus, and imaging system |
| JP2014155071A (en) * | 2013-02-08 | 2014-08-25 | Canon Inc | Image processing system, imaging apparatus, control method, and program |
| JP2014182238A (en) * | 2013-03-19 | 2014-09-29 | Canon Inc | Imaging device and method for controlling the same |
| CN104718745A (en) * | 2012-09-27 | 2015-06-17 | 株式会社尼康 | Image pick-up element and image pick-up device |
| JP2016058993A (en) * | 2014-09-12 | 2016-04-21 | キヤノン株式会社 | Image processing system, imaging apparatus, image processing method, program, and storage medium |
| WO2017052893A1 (en) * | 2015-09-24 | 2017-03-30 | Qualcomm Incorporated | Mask-less phase detection autofocus |
| WO2017052923A1 (en) * | 2015-09-25 | 2017-03-30 | Qualcomm Incorporated | Phase detection autofocus arithmetic |
| US9729779B2 (en) | 2015-09-24 | 2017-08-08 | Qualcomm Incorporated | Phase detection autofocus noise reduction |
| KR20220016574A (en) * | 2020-08-03 | 2022-02-10 | 주식회사 덱셀리온 | Camera system with offset pixel aperture for acquiring horizontal and vertical disparity |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05268618A (en) * | 1992-03-23 | 1993-10-15 | Nippon Telegr & Teleph Corp <Ntt> | Digital image pickup device |
| JP2003032694A (en) * | 2001-07-13 | 2003-01-31 | Fuji Photo Film Co Ltd | Solid-state imaging device and digital camera |
| JP2006190958A (en) * | 2004-12-10 | 2006-07-20 | Sony Corp | Method and device for acquiring physical information and manufacturing method of semiconductor device for detecting physical quantity distribution with a plurality of unit constituent elements arranged therein |
| JP2007282108A (en) * | 2006-04-11 | 2007-10-25 | Nikon Corp | Imaging apparatus, camera and image processing method |
| JP2010154115A (en) * | 2008-12-24 | 2010-07-08 | Canon Inc | Imaging apparatus |
-
2011
- 2011-02-10 JP JP2011027103A patent/JP5744556B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05268618A (en) * | 1992-03-23 | 1993-10-15 | Nippon Telegr & Teleph Corp <Ntt> | Digital image pickup device |
| JP2003032694A (en) * | 2001-07-13 | 2003-01-31 | Fuji Photo Film Co Ltd | Solid-state imaging device and digital camera |
| JP2006190958A (en) * | 2004-12-10 | 2006-07-20 | Sony Corp | Method and device for acquiring physical information and manufacturing method of semiconductor device for detecting physical quantity distribution with a plurality of unit constituent elements arranged therein |
| JP2007282108A (en) * | 2006-04-11 | 2007-10-25 | Nikon Corp | Imaging apparatus, camera and image processing method |
| JP2010154115A (en) * | 2008-12-24 | 2010-07-08 | Canon Inc | Imaging apparatus |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2903259A4 (en) * | 2012-09-27 | 2016-06-22 | Nikon Corp | Image pick-up element and image pick-up device |
| CN104718745A (en) * | 2012-09-27 | 2015-06-17 | 株式会社尼康 | Image pick-up element and image pick-up device |
| US20150256778A1 (en) | 2012-09-27 | 2015-09-10 | Nikon Corporation | Image sensor and image-capturing device |
| US10270999B2 (en) | 2012-09-27 | 2019-04-23 | Nikon Corporation | Image sensor and image-capturing device |
| US11405576B2 (en) | 2012-09-27 | 2022-08-02 | Nikon Corporation | Image sensor and image-capturing device |
| CN110099204B (en) * | 2012-09-27 | 2021-12-31 | 株式会社尼康 | Image pickup element and image pickup apparatus |
| US11032506B2 (en) | 2012-09-27 | 2021-06-08 | Nikon Corporation | Image sensor and image-capturing device |
| CN110099204A (en) * | 2012-09-27 | 2019-08-06 | 株式会社尼康 | Photographing element and photographic device |
| CN104718745B (en) * | 2012-09-27 | 2019-06-14 | 株式会社尼康 | Photographing element and photographic device |
| JP2014107835A (en) * | 2012-11-29 | 2014-06-09 | Canon Inc | Image pickup device, imaging apparatus, and imaging system |
| JP2014155071A (en) * | 2013-02-08 | 2014-08-25 | Canon Inc | Image processing system, imaging apparatus, control method, and program |
| JP2014182238A (en) * | 2013-03-19 | 2014-09-29 | Canon Inc | Imaging device and method for controlling the same |
| US10015376B2 (en) | 2013-03-19 | 2018-07-03 | Canon Kabushiki Kaisha | Imaging apparatus with phase difference focus detection and method for controlling same |
| JP2016058993A (en) * | 2014-09-12 | 2016-04-21 | キヤノン株式会社 | Image processing system, imaging apparatus, image processing method, program, and storage medium |
| US10044959B2 (en) | 2015-09-24 | 2018-08-07 | Qualcomm Incorporated | Mask-less phase detection autofocus |
| US9729779B2 (en) | 2015-09-24 | 2017-08-08 | Qualcomm Incorporated | Phase detection autofocus noise reduction |
| WO2017052893A1 (en) * | 2015-09-24 | 2017-03-30 | Qualcomm Incorporated | Mask-less phase detection autofocus |
| US9804357B2 (en) | 2015-09-25 | 2017-10-31 | Qualcomm Incorporated | Phase detection autofocus using masked and unmasked photodiodes |
| WO2017052923A1 (en) * | 2015-09-25 | 2017-03-30 | Qualcomm Incorporated | Phase detection autofocus arithmetic |
| KR20220016574A (en) * | 2020-08-03 | 2022-02-10 | 주식회사 덱셀리온 | Camera system with offset pixel aperture for acquiring horizontal and vertical disparity |
| KR102465492B1 (en) * | 2020-08-03 | 2022-11-11 | 주식회사 덱셀리온 | Camera system with offset pixel aperture for acquiring horizontal and vertical disparity |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5744556B2 (en) | 2015-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5744556B2 (en) | Imaging device and imaging apparatus | |
| JP5552214B2 (en) | Focus detection device | |
| JP5147645B2 (en) | Imaging device | |
| JP5163068B2 (en) | Imaging device | |
| US9204033B2 (en) | Image capture apparatus | |
| JP5898481B2 (en) | Imaging apparatus and focus detection method | |
| JP5076416B2 (en) | Imaging device and imaging apparatus | |
| JP5895355B2 (en) | Imaging device | |
| JP4992481B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP6249825B2 (en) | Imaging device, control method thereof, and control program | |
| JP2010271670A (en) | Imaging apparatus | |
| JP4858529B2 (en) | Imaging device and imaging apparatus | |
| JP2008177903A (en) | Imaging device | |
| JP6740666B2 (en) | Imaging device, focus detection device, and imaging device | |
| JP5609232B2 (en) | Imaging device | |
| JP2012220790A (en) | Imaging apparatus | |
| JP2014110619A (en) | Image processing device and method of controlling the same, and imaging device and method of controlling the same | |
| JP5747510B2 (en) | Imaging device | |
| JP6609910B2 (en) | Imaging device | |
| JP2016057402A (en) | Imaging device and method for controlling the same | |
| JP6701023B2 (en) | Imaging device, image processing method, image processing system, and image processing program | |
| JP2015154153A (en) | Camera with imaging apparatus | |
| JP6442824B2 (en) | Focus detection device | |
| JP6349624B2 (en) | Image sensor and focus detection apparatus | |
| JP5407567B2 (en) | Imaging device and imaging element unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140909 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20141110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150414 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150430 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5744556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |