JP2020178158A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2020178158A JP2020178158A JP2019076972A JP2019076972A JP2020178158A JP 2020178158 A JP2020178158 A JP 2020178158A JP 2019076972 A JP2019076972 A JP 2019076972A JP 2019076972 A JP2019076972 A JP 2019076972A JP 2020178158 A JP2020178158 A JP 2020178158A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- light
- photoelectric conversion
- unit
- conversion unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Focusing (AREA)
- Blocking Light For Cameras (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本開示の一態様は、位相差画素を有する撮像装置に関する。 One aspect of the present disclosure relates to an imaging device having retardation pixels.
近年の一部の撮像装置（カメラ）には、ユーザの利便性向上のために、ＡＦ（Auto Focus，自動合焦）機能が付与されている。ＡＦ方式は、大別すると、「コントラストＡＦ」と「位相差ＡＦ」（広義の位相差ＡＦ）とに２分できる。本明細書では、特に明示されない限り、「位相差ＡＦ」とは、広義の位相差ＡＦを指すものとする。 In recent years, some image pickup devices (cameras) are provided with an AF (Auto Focus) function in order to improve user convenience. The AF method can be roughly divided into "contrast AF" and "phase difference AF" (phase difference AF in a broad sense). In the present specification, unless otherwise specified, "phase difference AF" refers to phase difference AF in a broad sense.
そして、位相差ＡＦの方式は、（ｉ）「一般的な撮像素子とは別の、専用のＡＦセンサ（ＡＦ専用撮像素子）を用いた方式」（狭義の位相差ＡＦ）と、（ｉｉ）「像面位相差ＡＦ」（撮像素子にＡＦセンサの機能を併有させた方式）とに２分できる。本明細書では、狭義の位相差ＡＦを、「非像面位相差ＡＦ」とも称する。 The phase-difference AF methods are (i) "a method using a dedicated AF sensor (AF-dedicated image sensor) different from a general image sensor" (phase-difference AF in a narrow sense) and (ii). It can be divided into two parts, "image plane phase difference AF" (a method in which the image sensor has the function of an AF sensor). In the present specification, the phase difference AF in a narrow sense is also referred to as "non-image plane phase difference AF".
特許文献１には、像面位相差ＡＦにおいて良好な位相差特性を得ることを目的とした技術が開示されている。特許文献１の撮像素子では、位相差画素に、遮光部（遮光膜）により遮光されない部分（開口部分）を通過する光を偏光する偏光フィルタ（偏光構造物）が設けられている。
本開示の一態様は、位相差ＡＦの精度を従来よりも向上させることを目的とする。 One aspect of the present disclosure is to improve the accuracy of phase difference AF as compared with the conventional case.
上記の課題を解決するために、本開示の一態様に係る撮像装置は、上記撮像装置の光軸を規定するレンズと、上記レンズを通過した光を受光する画素アレイと、制御装置と、を備えており、上記画素アレイは、偏光フィルタと、上記偏光フィルタを透過した上記光を受光する光電変換部と、を、有する複数の位相差画素を含んでおり、上記偏光フィルタの少なくとも一部において、上記レンズを通過した上記光のうち、所定の方向に配向制御された光が入射し、上記画素アレイにおいて、異なる偏光特性を有する上記偏光フィルタを備えた上記複数の位相差画素によって、偏光ユニットが構成されており、上記制御装置は、上記偏光ユニット内の上記複数の位相差画素の画素値の最小値に基づき、上記レンズの合焦点を特定する。 In order to solve the above problems, the imaging device according to one aspect of the present disclosure includes a lens that defines the optical axis of the imaging device, a pixel array that receives light that has passed through the lens, and a control device. The pixel array includes a plurality of retardation pixels having a polarizing filter and a photoelectric conversion unit that receives the light transmitted through the polarizing filter, and is included in at least a part of the polarizing filter. Of the light that has passed through the lens, the orientation-controlled light is incident in a predetermined direction, and in the pixel array, the polarizing unit is formed by the plurality of retardation pixels provided with the polarizing filters having different polarization characteristics. Is configured, and the control device identifies the in-focus point of the lens based on the minimum value of the pixel values of the plurality of retardation pixels in the polarization unit.
本開示の一態様に係る撮像装置によれば、位相差ＡＦの精度を従来よりも向上させることができる。 According to the image pickup apparatus according to one aspect of the present disclosure, the accuracy of phase difference AF can be improved as compared with the conventional case.
〔実施形態１〕
実施形態１の撮像装置１００について、以下に説明する。便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、以降の各実施形態では、同じ符号を付記し、その説明を繰り返さない。公知技術と同様の事項についても、説明を適宜省略する。
[Embodiment 1]
The
各図に示されている装置構成は、説明の便宜上のための単なる一例である。このため、各部材は、必ずしも実際のスケール通りには描画されていない。また、各部材の位置関係も、各図の例に限定されない。各図では、一部の部材の図示を省略する場合もある。さらに、明細書中において以下に述べる各数値も、単なる一例である。 The device configuration shown in each figure is merely an example for convenience of explanation. Therefore, each member is not always drawn according to the actual scale. Further, the positional relationship of each member is not limited to the example of each figure. In each figure, some members may not be shown. Furthermore, the numerical values described below in the specification are also merely examples.
（撮像装置１００の概要）
図１は、撮像装置１００の要部の構成を示す機能ブロック図である。実施形態１では、像面位相差ＡＦ型の撮像装置１００を例示する。撮像装置１００は、撮像素子１、制御装置９０（解析装置）、レンズ９１、およびレンズ駆動機構９２を備える。以下の説明では、入射光Ｌを、単にＬとも略記する。他の部材についても、適宜同様に略記する。
(Overview of Imaging Device 100)
FIG. 1 is a functional block diagram showing a configuration of a main part of the
撮像素子１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）型のイメージセンサである。撮像素子１は、画素アレイ１０を備える。以下、画素アレイ１０に含まれる各画素を、総評的に「ＰＩＸ」と表記する。ＰＩＸには、位相差画素Ｐ−ＰＩＸと撮像画素Ｉ−ＰＩＸとの２通りの画素が含まれている（後述の図２を参照）。Ｐ−ＰＩＸは、焦点検出用画素とも称される。画素アレイ１０では、ＰＩＸが規則的に配列されている。実施形態１では、ＰＩＸは、以下に述べるＸ方向およびＹ方向にそれぞれ沿って、配列されている。
The
レンズ９１は、撮像装置１００の外部から到来したＬを受光し、当該Ｌを画素アレイ１０に導く。レンズ９１は、撮像装置１００の光学系を構成する主要な部材である。レンズ９１は、撮像装置１００の光学系の光軸を規定する。
The
以下の説明では、撮像装置１００の光学系の光軸の向き（以下、単に撮像装置１００の光軸の向き）は、レンズ９１の光軸の向きと一致するものとする。画素アレイ１０の光軸の向きは、レンズ９１の光軸の向きと対応付けられて設定されている。実施形態１では、画素アレイ１０の光軸の向きは、レンズ９１の光軸の向きと平行であるものとする。
In the following description, it is assumed that the direction of the optical axis of the optical system of the image pickup device 100 (hereinafter, simply the direction of the optical axis of the image pickup device 100) coincides with the direction of the optical axis of the
実施形態１では、以下に述べるＸＹＺ直交座標系を用いて、各部の位置関係を説明する（図２も参照）。Ｚ方向は、レンズ９１の前後方向である。レンズ９１の光軸の向きは、Ｚ方向と平行である。Ｚ方向の正の向き（前方）は、撮像装置１００の外側に向かう。そこで、Ｚ方向の正の向きを、光入射側とも称する。これに対し、Ｚ方向の負の向きを、受光側とも称する。また、Ｚ方向と垂直な２つの方向のうち、所定の１つの方向を、左右方向と称する。実施形態１では、図２のＹ方向が左右方向であるものとする。Ｘ方向は、Ｚ方向およびＹ方向と垂直である。
In the first embodiment, the positional relationship of each part will be described using the XYZ Cartesian coordinate system described below (see also FIG. 2). The Z direction is the front-back direction of the
撮像装置１００の光学系は、Ｌを瞳分割し、瞳分割後のＬを１対のＰ−ＰＩＸに受光させるように構成されている。このため、画素アレイ１０の光軸に対し、線対象（左右対称）な位置に存在する２つのＰ−ＰＩＸは、互いに対になるＬを受光する。具体的には、レンズ９１の右側に入射した光は、上記２つのＰ−ＰＩＸの内、左側のＰ−ＰＩＸ（左側位相差画素）に入射する。これに対し、レンズ９１の左側に入射した光は、上記２つのＰ−ＰＩＸの内、右側のＰ−ＰＩＸ（右側位相差画素）に入射する。これにより、左側位相差画素と右側位相差画素とで、互いに対になる画像を撮像できる。
The optical system of the
制御装置９０は、撮像装置１００の各部を制御する。以下に述べるように、制御装置９０は、左側位相差画素および右側位相差画素の輝度値（画素値）の分布を解析することにより、位相差ＡＦを実行する。より具体的には、制御装置９０は、上記解析結果に基づき、レンズ９１の合焦点を特定する。
The
そして、制御装置９０は、レンズ駆動機構９２を駆動することにより、レンズ９１を合焦点に移動させる。レンズ駆動機構９２は、レンズ９１のＺ方向の位置（以下、単にレンズ９１の位置）を変化させる。レンズ駆動機構９２は、公知のアクチュエータであってよい。一例として、レンズ駆動機構９２は、撮像装置１００のレンズホルダ（不図示）を駆動することにより、レンズ９１を移動させる。
Then, the
（Ｐ−ＰＩＸおよびＩ−ＰＩＸの構成）
図２は、Ｐ−ＰＩＸおよびＩ−ＰＩＸのそれぞれの構成例を示す図である。まず、図２の（ａ）を参照して、Ｐ−ＰＩＸについて説明する。図２の（ａ）には、Ｐ−ＰＩＸの断面図（ＹＺ平面での断面図）が示されている。
(Structure of P-PIX and I-PIX)
FIG. 2 is a diagram showing configuration examples of P-PIX and I-PIX, respectively. First, P-PIX will be described with reference to FIG. 2A. FIG. 2A shows a cross-sectional view of P-PIX (cross-sectional view in the YZ plane).
Ｐ−ＰＩＸは、光入射側から受光側に向かって、マイクロレンズ１７、カラーフィルタ１６、偏光フィルタ１５Ｖ、反射防止膜１４、遮光部１３、光電変換部１２（位相差受光部）、および基板１１をこの順に備えている。基板１１は、公知の半導体基板である。
From the light incident side to the light receiving side, the P-PIX includes a
図２の（ａ）におけるＡＸは、画素アレイ１０内の各ＰＩＸの光軸を示す。従って、ＰＩＸの向きは、画素アレイ１０の光軸の向きと一致する。すなわち、ＡＸは、Ｚ方向に平行である。Ｐ−ＰＩＸの各部は、ＡＸに対し、左右対称に構成されている。ＲＳは、光電変換部１２の受光面を示す。Ｚ方向は、ＲＳの法線方向とも表現できる。
AX in FIG. 2A indicates an optical axis of each PIX in the
マイクロレンズ１７は、レンズ９１を通過してＰ−ＰＩＸに入射したＬ（第１光）を、光電変換部１２に導く。カラーフィルタ１６は、第１光のうち、所定の波長成分の光を選択的に透過させる。カラーフィルタ１６は、分光部材の一例である。一例として、Ｐ−ＰＩＸにおけるカラーフィルタ１６は、緑色カラーフィルタである（図４も参照）。
The
後述の実施形態２において述べるように、一般的には、偏光フィルタは、入射した光を、等方性伝搬光（偏光フィルタの周期構造と同方向に振動する光）として透過させる特性を有する。偏光フィルタ１５Ｖは、第１光のうち、所定の偏光成分の光を選択的に透過させる。この点については、図２の（ｂ）の偏光フィルタ１５も同様である。
As described in the second embodiment described later, in general, the polarizing filter has a property of transmitting incident light as isotropic propagating light (light oscillating in the same direction as the periodic structure of the polarizing filter). The
但し、偏光フィルタ１５Ｖには、偏光フィルタ１５とは異なり、中央部に分離領域（周期構造が形成されていない領域）が設けられている。当該分離領域は、後述の実施形態２において述べる遮光部２５の別の例とも言える。当該分離領域を設けることにより、Ｐ−ＰＩＸの左側と右側とで、偏光フィルタ１５Ｖの周期構造を独立させることができる。その結果、実施形態２の位相差画素と同様に、光電変換部１２に届く光を十分に配向制御できる。
However, unlike the
図２の例では、偏光フィルタ１５・１５Ｖはいずれも、スリット型（ワイヤーグリッド型）の偏光部材によって構成されている。なお、偏光フィルタ１５の構成例については、例えば、国際公開公報「ＷＯ２０１７／１８７８０４号」を参照されたい。以下の図３の各Ｐ−ＰＩＸには、それぞれ異なる偏光特性を有する偏光フィルタ１５Ｖが設けられてよい。また、図３の一部のＰ−ＰＩＸには、偏光フィルタ１５Ｖに替えて偏光フィルタ１５が設けられてもよい。
In the example of FIG. 2, each of the
具体的には、偏光フィルタ１５Ｖの少なくとも一部において、レンズ９１を通過した光のうち、所定の方向に配向制御された光（所定の方向に偏った光）が入射する。そして、偏光フィルタ１５Ｖの上記少なくとも一部において、上記所定の方向に配向制御された光の一部が透過される。
Specifically, in at least a part of the
反射防止膜１４は、光電変換部１２の受光量を増加させる（光電変換部１２の感度を向上させる）ために設けられている。反射防止膜１４によれば、多重干渉効果によってＬの損失を低減できる。
The
遮光部１３は、光電変換部１２の受光領域（開口部）を規定する。より具体的には、遮光部１３は、Ｚ方向において、光電変換部１２と重なり合わないように配置されている。この点において、遮光部１３は、後述する遮光部２５と異なる（後述の図１１を参照）。
The light-shielding
光電変換部１２は、Ｐ−ＰＩＸの受光部である。光電変換部１２は、Ｐ−ＰＩＸの光軸方向において、カラーフィルタ１６および偏光フィルタ１５Ｖの後段に配置されている。光電変換部１２は、光に感応し、当該光の強度に応じた電気信号（出力信号）を生成する。一例として、光電変換部１２は、フォトダイオードである。
The
光電変換部１２は、Ｉ−ＰＩＸの光電変換部１２ｚ（図２の（ｂ）を参照）とは異なり、一対のサブ光電変換部（左側サブ光電変換部１２ａおよび右側サブ光電変換部１２ｂ）を備えている。このように、光電変換部１２は、２つの部分に分割された構造（デュアルピクセル）として形成されている。
Unlike the
左側サブ光電変換部１２ａおよび右側サブ光電変換部１２ｂは、互いに所定の距離だけ離間するように、ＡＸに対して左右対称に配置されている。左側サブ光電変換部１２ａには、レンズ９１の右側に入射した光が導かれる。これに対し、右側サブ光電変換部１２ｂには、レンズ９１の左側に入射した光が導かれる。このように、Ｐ−ＰＩＸでは、光電変換部１２は、当該Ｐ−ＰＩＸに入射する光のうち、特定方向の光を受光する受光部（位相差受光部）として構成されている。この点において、光電変換部１２は、以下に述べる光電変換部１２ｚとは異なる。
The left side
Ｐ−ＰＩＸでは、左側サブ光電変換部１２ａの出力信号値と右側サブ光電変換部１２ｂの出力信号値との和が、光電変換部１２の出力信号値として、信号取得部９０１（後述）に供給される。信号取得部９０１は、光電変換部１２の出力信号値に基づき、Ｐ−ＰＩＸの輝度値（画素値）を取得する。
In the P-PIX, the sum of the output signal value of the left sub
図２の（ｂ）は、図２の（ａ）と対になる図である。図２の（ｂ）には、Ｉ−ＰＩＸの断面図が示されている。Ｉ−ＰＩＸは、Ｐ−ＰＩＸとは異なり、光電変換部１２ｚを有している。光電変換部１２ｚは、光電変換部１２とは異なり、一体型の光電変換部として形成されている。信号取得部９０１は、光電変換部１２ｚの出力信号値を、Ｉ−ＰＩＸの輝度値として取得する。また、Ｉ−ＰＩＸは、偏光フィルタ１５Ｖに替えて、偏光フィルタ１５を備えている。
FIG. 2B is a diagram paired with FIG. 2A. FIG. 2B shows a cross-sectional view of I-PIX. Unlike the P-PIX, the I-PIX has a
Ｉ−ＰＩＸには、Ｒ（Red，赤）画素（Ｉ−ＰＩＸＲ）、Ｇ（Green，緑）画素（Ｉ−ＰＩＸＧ）、およびＢ（Blue，青）画素（Ｉ−ＰＩＸＢ）が含まれる（図４も参照）。Ｒ画素とＧ画素とＢ画素とを総称して、ＲＧＢ画素とも称する。Ｉ−ＰＩＸＲ、Ｉ−ＰＩＸＧ、およびＩ−ＰＩＸＢにおけるカラーフィルタ１６はそれぞれ、赤色カラーフィルタ、緑色カラーフィルタ、および青色カラーフィルタである。 The I-PIX includes R (Red, red) pixels (I-PIXR), G (Green, green) pixels (I-PIXG), and B (Blue, blue) pixels (I-PIXB) (FIG. See also 4). The R pixel, G pixel, and B pixel are collectively referred to as an RGB pixel. The color filters 16 in I-PIXR, I-PIXG, and I-PIXB are a red color filter, a green color filter, and a blue color filter, respectively.
（画素アレイ１０におけるＰ−ＰＩＸおよびＩ−ＰＩＸの配置）
図３および図４はそれぞれ、画素アレイ１０におけるＰ−ＰＩＸおよび関連する各部材の配置について説明するための図である。図３および図４では、画素アレイ１０の４行１０列（４×１０）の部分が示されている。図３の説明では、偏光フィルタ１５・１５Ｖを、「ＦＩ」とも称する。図３には、画素アレイ１０におけるＦＩの配置が示されている。
(Arrangement of P-PIX and I-PIX in the pixel array 10)
3 and 4, respectively, are diagrams for explaining the arrangement of P-PIX and related members in the
画素アレイ１０では、４個のＰＩＸ（２×２のマトリクス）によって、１つの画素ユニット（以下、「ＵＮ」とも称する）が構成されている。ＵＮは、１つのＰ−ＰＩＸと３つのＩ−ＰＩＸとによって構成されている。画素アレイ１０では、４つのＵＮ（ＵＮ１〜ＵＮ４）によって、１つの偏光ユニットＰＵが構成されている。
In the
以下、ＵＮ１〜ＵＮ４に属するＩ−ＰＩＸをそれぞれ、Ｉ−ＰＩＸ１〜Ｉ−ＰＩＸ４と称する。また、Ｉ−ＰＩＸ１〜Ｉ−ＰＩＸ４のＦＩをそれぞれ、ＦＩ１〜ＦＩ４と称する。図３の例では、ＦＩ１〜ＦＩ４はそれぞれ、ＵＮ１〜ＵＮ４の全体（２×２の領域）をカバーするように配置されている。 Hereinafter, I-PIX belonging to UN1 to UN4 will be referred to as I-PIX1 to I-PIX4, respectively. Further, the FIs of I-PIX1 to I-PIX4 are referred to as FI1 to FI4, respectively. In the example of FIG. 3, FI1 to FI4 are arranged so as to cover the entire UN1 to UN4 (2 × 2 region), respectively.
ＦＩ１〜４はそれぞれ、異なる偏光特性を有する。具体的には、ＦＩ１〜ＦＩ４は、互いに異なる主軸方向（透過軸の方向）を有する。以下、ＦＩの透過軸の角度をθとして表す。ＦＩの透過軸の方向が、所定の基準軸の方向と一致する場合に、θ＝０°とする。以下の説明では、０°≦θ＜１８０°である。ＦＩ１〜ＦＩ４のそれぞれのθを、θ１〜θ４と表す。以降、他のＦＩについても同様に表記する。図３の例では、θ１＝０°、θ２＝４５°、θ３＝９０°、θ４＝１３５°である。このように、各Ｉ−ＰＩＸは、異なる偏光特性を有するＦＩと対応付けられている。
Each of
図４は、図３と対になる図である。図４には、画素アレイ１０における各画素の配置の一例が示されている。図４に示されるように、ＵＮは、１セットのＲＧＢ画素と１つのＰ−ＰＩＸとによって構成されている。図４の例では、Ｐ−ＰＩＸは、Ｇ画素に相当する画素（緑色光を受光する画素）として構成されている。
FIG. 4 is a diagram paired with FIG. FIG. 4 shows an example of the arrangement of each pixel in the
より具体的には、Ｐ−ＰＩＸは、ベイヤ（Bayer）配列におけるＲＧＢ画素の、一部のＧ画素に対応する。このため、図３・図４の例では、Ｐ−ＰＩＸは、画素アレイ１０の偶数行および偶数列の位置に配置されている。
More specifically, the P-PIX corresponds to some G pixels of the RGB pixels in the Bayer array. Therefore, in the examples of FIGS. 3 and 4, the P-PIX is arranged at the even-numbered rows and even-numbered columns of the
（制御装置９０）
制御装置９０は、信号取得部９０１、補間部９０２、最小輝度値算出部９０３、ずれ算出部９０４、合焦点特定部９０５、レンズ駆動制御部９０６を備える。以下、図５〜図８を参照し、制御装置９０の処理について述べる。
(Control device 90)
The
（補間処理および最小輝度値算出処理）
図５の（ａ）および（ｂ）はそれぞれ、補間処理および最小輝度値算出処理について説明するための図である。信号取得部９０１は、画素アレイ１０内の各Ｐ−ＰＩＸの輝度値を取得する。すなわち、信号取得部９０１は、各Ｐ−ＰＩＸによって撮像された画像（以下、第１画像）を取得する。図５の（ａ）のＩＭＧ１は、図３・図４の画素アレイ内の各Ｐ−ＰＩＸによって撮像された第１画像の一例である。
(Interpolation processing and minimum brightness value calculation processing)
5 (a) and 5 (b) are diagrams for explaining the interpolation process and the minimum luminance value calculation process, respectively. The
以下の説明では、Ｐ−ＰＩＸの輝度値を、文字「Ｄ」によって表す。図５の（ａ）のＤ１〜Ｄ４はそれぞれ、Ｐ−ＰＩＸ１〜４の輝度値である。ＩＭＧ１において、Ｉ−ＰＩＸに対応する箇所は、欠落画素であるため、輝度値が設定されていない。 In the following description, the luminance value of P-PIX is represented by the letter "D". D1 to D4 in FIG. 5A are luminance values of P-PIX1 to 4, respectively. In IMG1, the portion corresponding to I-PIX is a missing pixel, so that the brightness value is not set.
上述のように、各Ｐ−ＰＩＸは、異なる偏光特性を有するＦＩと１対１に対応付けられている。このため、Ｄ１〜Ｄ４は、θに応じた異なる値となる。そこで、以下の説明では、Ｄは、θを変数とする所定の数式（例：近似式）を用いて表現可能であるものとする。 As described above, each P-PIX is associated one-to-one with an FI having different polarization characteristics. Therefore, D1 to D4 have different values depending on θ. Therefore, in the following description, it is assumed that D can be expressed by using a predetermined mathematical formula (example: approximate formula) in which θ is a variable.
補間部９０２は、Ｄ１〜Ｄ４を用いて、関数Ｄ＝ｆ（θ）を導出（補間）する。すなわち、補間部９０２は、Ｄを、補間関数ｆ（θ）によってフィッティングする。ｆ（θ）は、ＰＵの偏光特性を表現する関数とも言える。具体的には、補間部９０２は、Ｄ１〜Ｄ４を用いて、ｆ（θ）の各パラメータを算出する。各パラメータの算出には、公知の手法（例：最小二乗法によるフィッティング）が用いられてよい（特許文献５も参照）。
The
一例として、ｆ（θ）は、交流成分（余弦関数）と直流成分（定数）との重ね合わせとして表現されてよい。この場合、補間部９０２は、最小二乗法を用いて、交流成分の各パラメータ（振幅および位相を示すパラメータ）および直流成分のパラメ―タを算出する。図６には、補間部９０２によって導出されたｆ（θ）の一例が示されている。
As an example, f (θ) may be expressed as a superposition of an AC component (cosine function) and a DC component (constant). In this case, the
別の例として、ｆ（θ）は、θの３次関数として表現されてもよい。この場合、補間部９０２は、最小二乗法を用いて、上記３次関数の各係数を算出する。
As another example, f (θ) may be expressed as a cubic function of θ. In this case, the
なお、補間部９０２は、ｆ（θ）を用いて、ＩＭＧ１の各欠損画素の輝度値が補間された画像（以下、補間後第１画像）を生成してもよい。
The
そして、最小輝度値算出部９０３は、ｆ（θ）を解析することにより、当該ｆ（θ）の最小値（以下、Ｄｍｉｎ）を算出する。Ｄｍｉｎの算出には、公知の最小値探索手法が用いられてよい。例えば、図６の例では、最小輝度値算出部９０３は、交流成分の振幅および直流成分に基づいて、Ｄｍｉｎを算出できる。Ｄｍｉｎは、補間後第１画像における輝度値の最小値とも表現できる。
Then, the minimum luminance
続いて、最小輝度値算出部９０３は、Ｄｍｉｎを用いて、第２画像（ＩＭＧ２）を生成する。図５の（ｂ）は、ＩＭＧ２の一例を示す図である。ＩＭＧ２では、ＩＭＧ１の全画素の輝度値が、Ｄｍｉｎに置き換えられている。つまり、ＩＭＧ２は、ＩＭＧ１の最小輝度値を代表する画像である。
Subsequently, the minimum luminance
一般に、光の強度は、「拡散反射成分（任意のθにおいて強度が一定の成分）」と「鏡面反射成分（光の入射角に応じて強度が変化する成分）」との重ね合わせによって表現できる。鏡面反射成分の強度の変化は、光の入射角に応じてｓ偏光とｐ偏光との比率が変化することに起因している。このため、Ｄｍｉｎは、「拡散反射成分」と「鏡面反射成分の最小値」との和として表現できる。 In general, the intensity of light can be expressed by superimposing a "diffuse reflection component (a component whose intensity is constant at an arbitrary θ)" and a "specular reflection component (a component whose intensity changes according to the incident angle of light)". .. The change in the intensity of the specular reflection component is due to the change in the ratio of s-polarized light and p-polarized light according to the incident angle of light. Therefore, Dmin can be expressed as the sum of the "diffuse reflection component" and the "minimum value of the specular reflection component".
但し、拡散反射成分の大きさは、物体（被写体）の密度および表面性状に依存する。また、鏡面反射成分の最小値は、物体の屈折率と入射角とに依存する。このため、一般的に、Ｄｍｉｎは、画素の位置によって異なる。それゆえ、図５の（ｂ）のＩＭＧ２におけるＤｍｉｎは、偏光ユニット（４×４のブロック）ごとに異なる。この点については、後述するＤＬｍｉｎおよびＤＲｍｉｎについても同様である（図７を参照）。同様に、図５の（ａ）のＩＭＧ１におけるＤ１〜Ｄ４は、偏光ユニットごとに異なる。 However, the size of the diffuse reflection component depends on the density and surface texture of the object (subject). Further, the minimum value of the specular reflection component depends on the refractive index and the angle of incidence of the object. Therefore, in general, Dmin differs depending on the position of the pixel. Therefore, the Dmin in IMG2 of FIG. 5B is different for each polarizing unit (4 × 4 block). The same applies to DLmin and DRmin, which will be described later (see FIG. 7). Similarly, D1 to D4 in IMG1 of FIG. 5A are different for each polarizing unit.
上述の通り、像面位相差ＡＦでは、一対の左側位相差画素および右側位相差画素が用いられる。そこで、実施形態１では、左側位相差画素および右側位相差画素に対応するそれぞれの偏光ユニットを、左側偏光ユニットおよび右側偏光ユニットと称する。また、左側偏光ユニットおよび右側偏光ユニットに対応する画素アレイ１０の部分領域を、左側部分領域および右側部分領域と称する。
As described above, in the image plane phase difference AF, a pair of left side phase difference pixels and right side phase difference pixels are used. Therefore, in the first embodiment, the respective polarizing units corresponding to the left side retardation pixel and the right side retardation pixel are referred to as a left side polarization unit and a right side polarization unit. Further, the partial regions of the
左側偏光ユニットおよび右側偏光ユニットは、画素アレイ１０の光軸（Ｚ軸に平行）に対し、線対象な位置に存在する。左側偏光ユニットおよび右側偏光ユニットは、一対の偏光ユニットである。同様に、左側部分領域および右側部分領域は、画素アレイ１０の光軸に対し、線対象な位置に存在する。左側部分領域および右側画素部分領域は、一対の部分領域である。以下の説明では、左側部分領域および右側部分領域は、図３・図４の例と同様のレイアウトであるものとする。
The left-side polarization unit and the right-side polarization unit are located at positions symmetrical with respect to the optical axis (parallel to the Z-axis) of the
合焦点を算出する場合、信号取得部９０１は、（ｉ）左側部分領域におけるＩＭＧ１（左側第１画像）と、（ｉｉ）右側部分領域におけるＩＭＧ１（右側第１画像）を取得する。続いて、補間部９０２は、左側第１画像に対して、関数ｆＬ（θ）（左側補間関数）を算出する。同様に、補間部９０２は、右側第１画像に対して、関数ｆＲ（θ）（右側補間関数）を算出する。
When calculating the in-focus, the
そして、最小輝度値算出部９０３は、ｆＬ（θ）の最小値（ＤＬｍｉｎ，左側最小値）を算出し、当該ＤＬｍｉｎを用いて、左側第１画像に対応する第２画像（左側第２画像）を生成する。図７の（ａ）のＩＭＧ２Ｌは、左側第２画像の一例である。実施形態１では、ＩＭＧ２Ｌが、左側位相差画像として用いられる。
Then, the minimum luminance
同様に、最小輝度値算出部９０３は、ｆＲ（θ）の最小値（ＤＲｍｉｎ，右側最小値）を算出し、当該ＤＲｍｉｎを用いて、右側第１画像に対応する第２画像（右側第２画像）を生成する。図７の（ｂ）のＩＭＧ２Ｒは、右側第２画像の一例である。実施形態１では、ＩＭＧ２Ｌが、右側位相差画像として用いられる。
Similarly, the minimum luminance
（ずれ量の算出）
ずれ算出部９０４は、各位相差画像のずれ量Δを算出する。Δは、レンズ９１のピントのずれ量（以下、ｅ）を示す指標である。レンズ９１が合焦している場合、ｅ＝０である。これに対し、レンズ９１が合焦していない場合、ｅ≠０である。Δは、ｅと正の相関を有する。
(Calculation of deviation amount)
The
一般的に、画像中に映っている複数の物体間の境界部（画像のエッジ）では、画素値が大きく変化する。エッジは、各物体の輪郭に相当する箇所であると言える。このため、各画像のエッジの位置に基づき、Δを算出できる（特許文献３・４も参照）。 In general, the pixel value changes significantly at the boundary (edge of the image) between a plurality of objects shown in the image. It can be said that the edge corresponds to the contour of each object. Therefore, Δ can be calculated based on the position of the edge of each image (see also Patent Documents 3 and 4).
一例として、各画像に公知のエッジ抽出フィルタを適用することにより、位相差画像の微分画像を生成（導出）できる。エッジ抽出フィルタとしては、例えば、Prewittフィルタ、Sobelフィルタ、またはLaplacianフィルタが用いられる。微分画像の輝度のピーク位置は、元の画像のエッジの位置に相当する。 As an example, a differential image of a phase difference image can be generated (derived) by applying a known edge extraction filter to each image. As the edge extraction filter, for example, a Prewitt filter, a Sobel filter, or a Laplacian filter is used. The peak position of the brightness of the differential image corresponds to the position of the edge of the original image.
実施形態１では、ずれ算出部９０４は、ＩＭＧ２ＬおよびＩＭＧ２Ｒのそれぞれに対応する微分画像を生成する。具体的には、ずれ算出部９０４は、ＩＭＧ２Ｌに対応する微分画像として、左側微分画像（以下、ＩＭＧＡ）を生成する。同様に、ずれ算出部９０４は、ＩＭＧ２Ｒに対応する微分画像として、右側微分画像（以下、ＩＭＧＢ）を生成する。
In the first embodiment, the
図８は、ＩＭＧＡおよびＩＭＧＢの輝度値の分布の一例を示す図である。図８のグラフの横軸は、各微分画像の水平方向の位置を示す。横軸の原点は、合焦位置に相当する。また、当該グラフの縦軸は、各微分画像の輝度値を示す。図８の例では、ＩＭＧＡは、位置ＰＡにおいて１つの輝度ピーク（最大値ＡＭＡＸ）を有する。ＩＭＧＢは、位置ＰＢにおいて１つの輝度ピーク（最大値ＡＭＡＢ）を有する。 FIG. 8 is a diagram showing an example of the distribution of the luminance values of IMGA and IMGB. The horizontal axis of the graph of FIG. 8 indicates the horizontal position of each differential image. The origin on the horizontal axis corresponds to the in-focus position. The vertical axis of the graph indicates the brightness value of each differential image. In the example of FIG. 8, the IMGA has one luminance peak (maximum value AMAX) at position PA. The IMGB has one luminance peak (maximum value AMAB) at position PB.
ＩＭＧＡとＩＭＧＢとは、図８のグラフの縦軸に対して、線対象（左右対称）な画像である。特に、Δ＝０の場合（ｅ＝０の場合）、ＩＭＧＡとＩＭＧＢとは同じ画像となる。すなわち、ＩＭＧＡの輝度値分布は、ＩＭＧＢの輝度値分布と一致する。これに対し、Δ≠０の場合（ｅ≠０の場合）、ＩＭＧＢは、ＩＭＧＡが水平方向にΔだけシフトされた画像となる。 The IMGA and IMGB are line-symmetrical (symmetrical) images with respect to the vertical axis of the graph of FIG. In particular, when Δ = 0 (when e = 0), IMGA and IMGB have the same image. That is, the luminance value distribution of IMGA coincides with the luminance value distribution of IMGB. On the other hand, when Δ ≠ 0 (when e ≠ 0), the IMGB is an image in which the IMGA is shifted in the horizontal direction by Δ.
そこで、ずれ算出部９０４は、ＩＭＧＢの所定の行において、ＩＭＧＡを列方向に走査し、ＰＡを特定する。同様に、ＩＭＧＢの所定の行において、ＩＭＧＢを列方向に走査し、ＰＢを特定する。そして、ずれ算出部９０４は、Δ＝｜ＰＢ−ＰＡ｜として、Δを算出する。
Therefore, the
（合焦点の特定およびレンズの移動）
合焦点特定部９０５は、公知の手法を用いて、Δに基づき、ｅを算出する（特許文献３・４も参照）。このように、合焦点特定部９０５は、各位相差画像に基づき、レンズ９１の合焦点を特定する。レンズ駆動制御部９０６は、レンズ駆動機構９２を介して、レンズ９１を合焦点に移動させる。レンズ９１を合焦点に移動させることにより、ｅ＝０となる。すなわち、撮像装置１００のＡＦが完了する。
(Identification of focal point and movement of lens)
The in-
（比較例）
図９および図１０はそれぞれ、第１の比較例および第２の比較例を示す。図９および図１０はいずれも、図８と対になる図である。第１の比較例および第２の比較例では、従来技術では合焦が困難であった撮影シチュエーションについて述べる。
(Comparison example)
9 and 10 show a first comparative example and a second comparative example, respectively. 9 and 10 are both views paired with FIG. In the first comparative example and the second comparative example, a shooting situation in which focusing is difficult with the prior art will be described.
各比較例では、実施形態１とは異なり、位相差画像は、従来の位相差画像である。すなわち、各比較例では、実施形態１とは異なり、位相差画像は、Ｄｍｉｎに基づき生成された第２画像ではない。各比較例の位相差画像は、第１画像に相当する。但し、各比較例では、実施形態１と同様に、位相差画像の微分画像に基づき、合焦が行われるものとする。 In each comparative example, unlike the first embodiment, the phase difference image is a conventional phase difference image. That is, in each comparative example, unlike the first embodiment, the phase difference image is not the second image generated based on Dmin. The phase difference image of each comparative example corresponds to the first image. However, in each comparative example, focusing is performed based on the differential image of the phase difference image as in the first embodiment.
（第１の比較例）
図９の（ａ）および（ｂ）はそれぞれ、第１の比較例について説明するための図である。図９の（ａ）に示されるように、第１の比較例では、背景９００中の物体ＯＢＪ１が、ターゲット（主要被写体）として撮影される場合を考える。背景９００は、光の散乱性が高い物体によって構成されている。背景９００は、青空または霧である。ＯＢＪ１は、背景９００に対するコントラストが低い物体である。例えば、背景９００が青空である場合、ＯＢＪ１は雲である。ＰＴ１は、第１の比較例における検出位置である。図９の（ａ）の例では、ＰＴ１は、背景９００とＯＢＪ１との境界の位置である。
(First comparative example)
9 (a) and 9 (b) are diagrams for explaining the first comparative example, respectively. As shown in FIG. 9A, in the first comparative example, a case where the object OBJ1 in the
図９の（ｂ）は、第１の比較例における左側微分画像（ＩＭＧＡｒ１）および右側微分画像（ＩＭＧＢｒ１）を示す。ＩＭＧＡｒ１およびＩＭＧＢｒ１はそれぞれ、ＰＴ１において取得された微分画像である。第１の比較例では、背景９００における光の散乱性が高いことに起因して、各微分画像に複数の極大値（ピーク）が生じる。このため、第１の比較例では、Δを算出するための各微分画像のピークを、一義的に選択できない。
FIG. 9B shows a left differential image (IMGAR1) and a right differential image (IMGBr1) in the first comparative example. IMGAr1 and IMGBr1 are differential images acquired in PT1, respectively. In the first comparative example, a plurality of maximum values (peaks) are generated in each differential image due to the high light scattering property in the
このように、従来では、背景９００における光の散乱性が高い場合（以下、第１撮影シチュエーション）には、Δを適切に算出することが困難であった。すなわち、従来では、第１撮影シチュエーションにおいて、合焦（ＯＢＪ１に対するピント合わせ）を適切に行うことが困難であった。
As described above, conventionally, it has been difficult to appropriately calculate Δ when the light scattering property in the
（第２の比較例）
図１０の（ａ）および（ｂ）はそれぞれ、第２の比較例について説明するための図である。図１０の（ａ）に示されるように、第２の比較例では、透明な物体９１０内に位置する物体ＯＢＪ２が、ターゲットとして撮影される場合を考える。物体９１０は、例えば水である。物体９１０の表面には、ＯＢＪ２とは異なる物体の表面反射像（映り込み像）が生じる。ＯＢＪ２２は、当該映り込み像を示す。ＰＴ２は、第２の比較例における検出位置である。図１０の（ｂ）の例では、ＰＴ２は、ＯＢＪ２とＯＢＪ２２とが重なり合っている位置である。
(Second comparative example)
10 (a) and 10 (b) are diagrams for explaining a second comparative example, respectively. As shown in FIG. 10A, in the second comparative example, consider the case where the object OBJ2 located in the
図１０の（ｂ）は、第２の比較例における左側微分画像（ＩＭＧＡｒ２）および右側微分画像（ＩＭＧＢｒ２）を示す。ＩＭＧＡｒ２およびＩＭＧＢｒ２はそれぞれ、ＰＴ２において取得された微分画像である。第２の比較例では、水面におけるＯＢＪ２とＯＢＪ２２との重なり合いに起因して、各微分画像に複数の極大値（ピーク）が生じる。一例として、図１０の（ｂ）におけるピークＰＫ２Ａは、ＩＭＧＡｒ２のピークのうち、ＯＢＪ２に由来するピークである。これに対し、ピークＰＫ２２Ａは、ＩＭＧＡｒ２のピークのうち、ＯＢＪ２２に由来するピークである。 FIG. 10B shows a left differential image (IMGAR2) and a right differential image (IMGBr2) in the second comparative example. IMGAr2 and IMGBr2 are differential images acquired in PT2, respectively. In the second comparative example, a plurality of maximum values (peaks) are generated in each differential image due to the overlap of OBJ2 and OBJ22 on the water surface. As an example, the peak PK2A in FIG. 10B is a peak derived from OBJ2 among the peaks of IMGAr2. On the other hand, the peak PK22A is a peak derived from OBJ22 among the peaks of IMGAr2.
それゆえ、第２の比較例においても、第１の比較例と同様に、Δを算出するための各微分画像のピークを、一義的に選択することができない。このように、従来では、透明な物体の表面において、撮影対象物体と映り込み像との重なり合いが生じている場合（以下、第２の撮影シチュエーション）にも、合焦（ＯＢＪ２に対するピント合わせ）を適切に行うことが困難であった。 Therefore, also in the second comparative example, as in the first comparative example, the peak of each differential image for calculating Δ cannot be uniquely selected. In this way, conventionally, even when the object to be photographed and the reflected image overlap each other on the surface of the transparent object (hereinafter referred to as the second shooting situation), focusing (focusing on OBJ2) is performed. It was difficult to do it properly.
（効果）
実施形態１では、第１の比較例および第２の比較例とは異なり、Ｄｍｉｎ（ｆ（θ）の最小値）に基づき第２画像が生成される。そして、当該第２画像を微分した微分画像に基づいて、Δが算出される。全ての画素値が均一化された画像（第２画像）に基づいて微分画像を導出することにより、微分画像におけるピーク（極大値）の個数を１つにすることが可能となる。
(effect)
In the first embodiment, unlike the first comparative example and the second comparative example, the second image is generated based on Dmin (the minimum value of f (θ)). Then, Δ is calculated based on the differentiated image obtained by differentiating the second image. By deriving a differential image based on an image (second image) in which all pixel values are homogenized, it is possible to make the number of peaks (maximum values) in the differential image one.
それゆえ、撮像装置１００によれば、第１撮影シチュエーションおよび第２撮影シチュエーションのいずれにおいても、ＩＭＧＡおよびＩＭＧＢが、それぞれ１つのピークを有する画像として生成される。その結果、上記各撮影シチュエーションにおいても、Δを適切に算出できる。このように、撮像装置１００によれば、従来では合焦が困難であった撮影シチュエーションにおいても、合焦を適切に行うことが可能となる。以上のように、撮像装置１００によれば、Ｄｍｉｎに基づきレンズ９１の合焦点を特定することにより、位相差ＡＦの精度を従来よりも向上させることができる。
Therefore, according to the
但し、撮像装置１００では、ｆ（θ）を導出する処理を割愛することもできる。この場合、撮像装置１００では、偏光ユニット内の複数の位相差画素の画素値の最小値に基づき、合焦点を特定すればよい（より具体的には、Δを算出すればよい）。当該構成によれば、より高速に合焦点を特定できる。
However, in the
一例として、図６の例では、１つの偏光ユニットにおけるＤ１〜Ｄ４のうち、Ｄ２が最小の画素値である。この場合、撮像装置１００は、１つの偏光ユニット内の全画素の輝度値をＤ２に置き換えることにより、ＩＭＧ２を生成する。
As an example, in the example of FIG. 6, D2 is the smallest pixel value among D1 to D4 in one polarizing unit. In this case, the
（補足）
撮像装置１００は、生体認証装置の撮像装置として用いられてもよい。撮像装置１００によれば、認証対象部位（例：顔または眼球）へのピント合わせをより確実に行うことができる。このため、撮像装置１００は、生体認証装置（例：顔認証装置または虹彩認証装置）の精度向上に好適である。一例として、「特開２０１７−２０１３０３号公報」の技術に基づき、撮像装置１００を備えた虹彩認証装置が実現されてよい。
(Supplement)
The
〔変形例〕
（１）図３の例とは異なり、１つのＵＮにおけるＦＩは、Ｐ−ＰＩＸにのみ設けられていればよい。すなわち、ＦＩは、Ｉ−ＰＩＸには設けられなくともよい（実施形態２も参照）。従って、ＦＩ１〜ＦＩ４はそれぞれ、Ｐ−ＰＩＸ１〜Ｐ−ＰＩＸ４の位置にのみ、配置されてもよい。当該構成によれば、ＦＩのコストを低減できる。
[Modification example]
(1) Unlike the example of FIG. 3, the FI in one UN need only be provided in the P-PIX. That is, the FI does not have to be provided in the I-PIX (see also the second embodiment). Therefore, FI1 to FI4 may be arranged only at the positions of P-PIX1 to P-PIX4, respectively. According to this configuration, the cost of FI can be reduced.
（２）１つのＰＵには、必ずしも４種類のＦＩ（ＦＩ１〜ＦＩ４）が設けられなくともよい。１つのＰＵには、θが互いに異なる少なくとも２つのＦＩが設けられていればよい。ＦＩの種類（θの種類）と同数のＵＮによって、１つのＰＵが構成されていればよい。１つのＰＵにおけるＦＩの数は、ｆ（θ）の形式（どのような補間関数によってＤを補間するか）に応じて選択されればよい。 (2) One PU does not necessarily have to be provided with four types of FIs (FI1 to FI4). One PU may be provided with at least two FIs having different θs. It is sufficient that one PU is composed of the same number of UNs as the type of FI (type of θ). The number of FIs in one PU may be selected according to the form of f (θ) (what interpolation function is used to interpolate D).
（３）図４の例とは異なり、Ｐ−ＰＩＸは、ベイヤ配列におけるＲＧＢ画素の、Ｒ画素またはＢ画素に対応するように、構成されてもよい。つまり、Ｐ−ＰＩＸ１のカラーフィルタ１６は、赤色カラーフィルタであってもよいし、青色カラーフィルタであってもよい。また、ＲＧＢ画素の配置は、ベイヤ配列に限定されない（実施形態２の変形例も参照）。さらに、Ｐ−ＰＩＸは、ホワイト画素（全波長帯の光に感応可能な画素）であってもよい。一例として、Ｐ−ＰＩＸのカラーフィルタ１６を割愛することにより、Ｐ−ＰＩＸをホワイト画素として構成できる。
(3) Unlike the example of FIG. 4, the P-PIX may be configured to correspond to the R pixel or the B pixel of the RGB pixels in the Bayer array. That is, the
〔実施形態２〕
以下、実施形態２の撮像装置２００について説明する。実施形態２の撮像素子および画素アレイをそれぞれ、撮像素子２および画素アレイ２０と称する。また、実施形態２の位相差画素を、総称的に位相差画素２０００と称する。
[Embodiment 2]
Hereinafter, the image pickup apparatus 200 of the second embodiment will be described. The image sensor and the pixel array of the second embodiment are referred to as an
図１１は、位相差画素２０００の断面図を示す。図１１は、図２の（ａ）と対になる図である。位相差画素２０００では、実施形態１のＰ−ＰＩＸにおける光電変換部１２が、光電変換部２２（位相差受光部）に置き換えられている。また、位相差画素２０００は、Ｐ−ＰＩＸとは異なり、偏光フィルタ１５Ｖに替えて、偏光フィルタ１５を備えている。さらに、位相差画素２０００は、Ｐ−ＰＩＸとは異なり、遮光部２５を備える。
FIG. 11 shows a cross-sectional view of the
光電変換部２２は、光電変換部１２ｚと同様に、一体型の光電変換部である。以下に述べる遮光部２５を設けることにより、位相差受光部をデュアルピクセル型として構成することが不要となる。すなわち、位相差受光部の製造コストを、実施形態１に比べて低減できる。
The
遮光部２５は、遮光部１３とは異なり、偏光フィルタ１５の前段（偏光フィルタ１５から見て光入射側）に設けられている。遮光部２５は、位相差画素２０００の光軸方向において、カラーフィルタ１６と偏光フィルタ１５との間に配置されている。
Unlike the light-shielding
さらに、図１１の例では、遮光部２５は、位相差画素２０００の左半分の領域を占めるように形成されている。すなわち、遮光部２５は、Ｚ方向において、光電変換部２２の左半分と重なり合う。このため、遮光部２５は、光電変換部２２の左半分に入射しようとする光を遮断する。その結果、光電変換部２２は、理想的には、当該光電変換部２２の右半分の領域においてのみ、光を受光する。
Further, in the example of FIG. 11, the light-shielding
図１１の通り、Ｚ方向において光電変換部２２の右半分と重なり合う遮光部２５（図１２の遮光部２５Ａ）を設けることにより、位相差画素２０００を、右側位相差画素として構成できる。これに対し、Ｚ方向において光電変換部２２の右半分と重なり合う遮光部２５（図１２の遮光部２５Ｂ）を設けた場合には、当該位相差画素２０００を左側位相差画素として構成できる。
As shown in FIG. 11, the
図１２には、画素アレイ２０における各画素の配置の一例が示されている。図１２では、（ｉ）遮光部２５Ａが設けられた位相差画素２０００である位相差画素２０００Ａ１〜２０００Ａ４（右位相差画像）が、（ｉｉ）遮光部２５Ｂが設けられた位相差画素２０００である位相差画素２０００Ｂ１〜２０００Ｂ４（左位相差画像）が、それぞれ示されている。
FIG. 12 shows an example of the arrangement of each pixel in the
図１３には、画素アレイ２０におけるＦＩの配置の一例が示されている。図１３では、（ｉ）位相差画素２０００Ａ１〜２０００Ａ４に対応するＦＩをＦＩＡ１〜ＦＩＡ４、（ｉｉ）位相差画素２０００Ｂ１〜２０００Ｂ４に対応するＦＩをＦＩＢ１〜ＦＩＢ４と、それぞれ称する。以降、他のＦＩについても同様に表記する。
FIG. 13 shows an example of the arrangement of FIs in the
ＳＥＣ１Ａは、位相差画素２０００Ａ１・２０００Ａ２と、１つのＩ−ＰＩＸとを含む。ＳＥＣ２Ａは、位相差画素２０００Ａ３・２０００Ａ４と、１つのＩ−ＰＩＸとを含む。ＳＥＣ１ＡとＳＥＣ２Ａとによって、１つの偏光ユニット（右側偏光ユニット）が構成される。図１３に示されるように、θＡ１＝９０°、θＡ２＝０°、θＡ３＝４５°、θＡ４＝１３５°である。 SEC1A includes retardation pixels 2000A1 and 2000A2 and one I-PIX. SEC2A includes retardation pixels 2000A3 / 2000A4 and one I-PIX. SEC1A and SEC2A constitute one polarization unit (right polarization unit). As shown in FIG. 13, θA1 = 90 °, θA2 = 0 °, θA3 = 45 °, and θA4 = 135 °.
同様に、ＳＥＣ１Ｂは、位相差画素２０００Ｂ１・２０００Ｂ２と、１つのＩ−ＰＩＸとを含む。ＳＥＣ２Ｂは、位相差画素２０００Ｂ３・２０００ＡＢと、１つのＩ−ＰＩＸとを含む。ＳＥＣ１ＢとＳＥＣ２Ｂとによって、１つの偏光ユニット（左側偏光ユニット）が構成される。図１３に示されるように、θＢ１＝１３５°、θＢ２＝４５°、θＢ３＝０°、θＡ４＝９０°である。 Similarly, SEC1B includes retardation pixels 2000B1 and 2000B2 and one I-PIX. SEC2B includes retardation pixels 2000B3 / 2000AB and one I-PIX. SEC1B and SEC2B constitute one polarization unit (left polarization unit). As shown in FIG. 13, θB1 = 135 °, θB2 = 45 °, θB3 = 0 °, and θA4 = 90 °.
（効果）
「偏光フィルタを有する位相差画素に、遮光部をさらに設けることにより、左側位相差画素または右側位相差画素を構成する」こと自体は、特許文献１に開示されている。しかしながら、特許文献１の位相差画素における遮光部は、偏光フィルタの後段に設けられている。
(effect)
ここで、偏光フィルタの動作原理について、概略的に述べる。一般に、偏光フィルタでは、スリットに対して垂直な方向に並ぶ周期構造に起因して、偏光フィルタの入射側表面（受光面）において、表面プラズマ振動の共鳴の励起が生じる。このため、電磁場が、偏光フィルタの開口部付近に局在する。なお、開口部のサイズは、サブ波長程度である。次に、開口部付近に局在していた電磁場がスリットへと導波される。そして、偏光フィルタの入射側裏面（光取り出し面）において、再び表面プラズマ振動の共鳴の励起が生じる。 Here, the operating principle of the polarizing filter will be outlined. Generally, in a polarizing filter, resonance excitation of surface plasma oscillation occurs on the incident side surface (light receiving surface) of the polarizing filter due to the periodic structure arranged in the direction perpendicular to the slit. Therefore, the electromagnetic field is localized near the opening of the polarizing filter. The size of the opening is about a sub-wavelength. Next, the electromagnetic field localized near the opening is guided to the slit. Then, the resonance excitation of the surface plasma oscillation occurs again on the incident side back surface (light extraction surface) of the polarizing filter.
偏光フィルタの入射側表面および入射側裏面での表面プラズマ振動が、開口部を介して協調的に連動することにより、当該入射側裏面へと電磁エネルギーが誘導される。すなわち、偏光フィルタは、入射した光を、等方性伝搬光として透過させる。より具体的には、偏光フィルタは、上記周期構造の配列方向と同方向に振動する光を、等方性伝搬光として透過させる。 The surface plasma oscillations on the incident side front surface and the incident side back surface of the polarizing filter are coordinated with each other through the opening, so that electromagnetic energy is induced to the incident side back surface. That is, the polarizing filter transmits the incident light as isotropic propagating light. More specifically, the polarizing filter transmits light vibrating in the same direction as the arrangement direction of the periodic structure as isotropic propagating light.
それゆえ、特許文献１の位相差画素では、遮光部の前段に存在する偏光フィルタの光取り出し側において、入射光は、入射方向についての情報が含まれていない光（等方性伝搬光）へと変換されている。そして、偏光フィルタを通過した光は、遮光部によって配向制御された後（遮光部によって斜め方向の光の多くが遮断された後）に、光電変換部に向かう。
Therefore, in the retardation pixel of
しかし、特許文献１の位相差画素では、入射光は偏光フィルタによって等方性伝搬光へとすでに変換されているため、遮光部によって当該等方性伝搬光（光電変換部に向かう光）を、十分に配向制御することができない。このように、特許文献１の位相差画素では、光電変換部に届く光を十分に配向制御できない。その結果、位相差ＡＦの精度を十分に向上させるには至らない。
However, in the retardation pixel of
これに対し、位相差画素２０００では、特許文献１の位相差画素とは異なり、遮光部２５は、偏光フィルタ１５の前段に設けられている。それゆえ、位相差画素２０００では、まず遮光部２５によって、Ｌが配向制御される。そして、遮光部２５を通過したＬが、偏光フィルタ１５に入射する。このため、位相差画素２０００では、偏光フィルタ１５の光取り出し側において、斜め方向に進むＬを、光電変換部２２に受光させることができる。
On the other hand, in the
それゆえ、位相差画素２０００では、特許文献１の位相差画素とは異なり、光電変換部２２に届く光を十分に配向制御できる。その結果、位相差ＡＦの精度向上をより一層向上させることができる。位相差画素２０００における遮光部２５の配置は、位相差ＡＦのさらなる精度向上に好適である。
Therefore, unlike the retardation pixel of
〔変形例〕
図１４は、位相差画素２０００の一変形例としての位相差画素２０００Ｕについて説明するための図である。位相差画素２０００Ｕでは、位相差画素２０００の偏光フィルタ１５と遮光部２５とに替えて、偏光・遮光構造体１５Ｕが設けられている。図１４の構成によっても、一体型の光電変換部（光電変換部２２）を使用できる。
[Modification example]
FIG. 14 is a diagram for explaining a
偏光・遮光構造体１５Ｕは、偏光フィルタ１５ＵＡと遮光部１５ＵＢとを含んでいる。遮光部１５ＵＢは、図１１の遮光部２５と同様に、位相差画素２０００の左半分の領域を占める。偏光フィルタ１５ＵＡは、遮光部１５ＵＢと同一のレイヤ上において、当該遮光部１５ＵＢを除いた部分に設けられている。このように、偏光フィルタと遮光部とは、位相差画素の同一レイヤ上に設けられてもよい。
The polarizing / light-shielding structure 15U includes a polarizing filter 15UA and a light-shielding portion 15UB. The light-shielding portion 15UB occupies the left half region of the
〔変形例〕
図１５は、画素アレイ２０の一変形例としての画素アレイ２０Ｖについて説明するための図である。図１５の画素アレイ２０Ｖにおいて、位相差画素２０００ＶＡ１〜２０００ＶＡ４は右位相差画素であり、位相差画素２０００ＶＢ１〜２０００ＶＢ４は左位相差画素である。これらの位相差画素の構成は、位相差画素２０００と同様である。図１５に示されるように、各位相差画素は、隣接して配置されてもよい。
[Modification example]
FIG. 15 is a diagram for explaining a
位相差画素２０００ＶＡ１・２０００ＶＡ２・２０００ＶＢ１・２０００ＶＢ２は、互いに隣接している。このため、これら４つの位相差画素は、２×２の領域（ＳＥＣ３）に属している。同様に、位相差画素２０００ＶＡ３・２０００ＶＡ４・２０００ＶＢ３・２０００ＶＢ４は、互いに隣接している。このため、これら４つの位相差画素は、ＳＥＣ３とは異なる２×２の領域（ＳＥＣ４）に属している。 The retardation pixels 2000VA1, 2000VA2, 2000VB1 and 2000VB2 are adjacent to each other. Therefore, these four retardation pixels belong to the 2 × 2 region (SEC3). Similarly, the retardation pixels 2000VA3, 2000VA4, 2000VB3, 2000VB4 are adjacent to each other. Therefore, these four retardation pixels belong to a 2 × 2 region (SEC4) different from SEC3.
図１６は、画素アレイ２０ＶにおけるＦＩの配置の一例を示す図である。図１３に示されるように、ＳＥＣ３において、θＶＡ１＝θＶＢ１＝０°、θＶＡ２＝θＶＢ２＝９０°である。ＳＥＣ４において、θＶＡ３＝θＶＢ３＝１３５°、θＶＡ２＝θＶＢ２＝４５°である。このように、ＳＥＣ３とＳＥＣ４とでは、異なる偏光特性が付与されている。ＳＥＣ３とＳＥＣ４とによって、１つの偏光ユニットが構成される。
FIG. 16 is a diagram showing an example of arrangement of FIs in the
図１７は、マイクロレンズ１７の一変形例について説明するための図である。図１７のマイクロレンズを、マイクロレンズ１７Ｗと称する。マイクロレンズ１７Ｗは、マイクロレンズ１７と異なり、複数の画素（例：４つの位相差画素）をカバーする。従って、ＳＥＣ３・ＳＥＣ４には、それぞれ１つのマイクロレンズ１７Ｗが設けられている。
FIG. 17 is a diagram for explaining a modification of the
このように、複数の位相差画素を隣接されることにより、隣接する各位相差画素に、１つのマイクロレンズ１７Ｗを共有させることができる。マイクロレンズ１７Ｗによれば、位相差画素により多くのＬを導くことができるので、位相差ＡＦの精度をさらに向上させることができる。加えて、画素アレイ２０Ｖ内のマイクロレンズの総数を低減できるので、当該画素アレイ２０Ｖの製造コストを低減することもできる。
By adjoining a plurality of phase difference pixels in this way, one
〔実施形態３〕
以下、実施形態３の撮像装置３００について説明する。実施形態３の撮像素子および画素アレイをそれぞれ、撮像素子３および画素アレイ３０と称する。また、実施形態３の位相差画素を、総称的に位相差画素３０００と称する。
[Embodiment 3]
Hereinafter, the image pickup apparatus 300 of the third embodiment will be described. The image sensor and the pixel array of the third embodiment are referred to as an image sensor 3 and a
図１８は、位相差画素３０００の断面図を示す。位相差画素３０００では、実施形態１のＰ−ＰＩＸと同様に、遮光部２５が設けられていない。この点を踏まえ、位相差画素３０００では、Ｐ−ＰＩＸと同様に、偏光フィルタ１５Ｖが設けられている。位相差画素３０００は、Ｐ−ＰＩＸと同様に、位相差受光部として、デュアルピクセル型の光電変換部（以下、第１光電変換部３２）を備える。第１光電変換部３２は、左側サブ光電変換部３２ａおよび右側サブ光電変換部３２ｂを有する。
FIG. 18 shows a cross-sectional view of the
一例として、実施形態３のカラーフィルタ（以下、カラーフィルタ３６）は、所定の波長範囲の可視光（例：緑色光）と近赤外光とを透過するように構成されている（後述の図１９を参照）。但し、上記可視光は、青色光または赤色光であってもよい。近赤外光は、ＩＲ（Infra-Red）光とも称される。第１光電変換部３２は、以下に述べる第２光電変換部３５とは異なり、近赤外光を受光するための光電変換部である。このため、第１光電変換部３２は、近赤外光に対する高い感応性を有することが好ましい。
As an example, the color filter of the third embodiment (hereinafter, color filter 36) is configured to transmit visible light (example: green light) and near-infrared light in a predetermined wavelength range (see the figure below). 19). However, the visible light may be blue light or red light. Near-infrared light is also called IR (Infra-Red) light. The first
位相差画素３０００では、Ｐ−ＰＩＸに対し、付加的な光電変換部（以下、第２光電変換部３５）が設けられている。第２光電変換部３５は、第１光電変換部３２とは異なり、可視光（ＲＧＢ光）を受光するための光電変換部である。すなわち、第２光電変換部３５は、カラー画像の撮像用の受光部であり、位相差受光部ではない。このため、第２光電変換部３５は、可視光に対する高い感応性を有することが好ましい。
The
具体的には、第２光電変換部３５は、位相差画素３０００の光軸方向において、偏光フィルタ１５Ｖとカラーフィルタ３６との間に配置されている。従って、第２光電変換部３５は、偏光フィルタ１５Ｖに対し、光入射側に位置する。図１８の例では、第２光電変換部３５は、緑色光（可視光の一例）に感応する。このように、位相差画素３０００は、緑色光と近赤外光との両方に感応するように構成されている。
Specifically, the second
上述の通り、偏光フィルタ１５Ｖ（中央部に分離領域が設けられた偏光フィルタ）を用いることにより、位相差画素３０００の左側と右側とで、当該偏光フィルタ１５Ｖの周期構造を独立させることができる。その結果、上述の位相差画素２０００と同様に、第１光電変換部３２に届く光を十分に配向制御できる。
As described above, by using the
図１８に示されるように、位相差画素３０００に入射したＬは、マイクロレンズ１７を通過し、カラーフィルタ３６に入射する。カラーフィルタ３６は、Ｌの各成分のうち、緑色成分および近赤外成分を除いた成分を遮断する。このため、カラーフィルタ３６の光取り出し側から第２光電変換部３５に向かう光Ｌ１は、緑色光および近赤外光が混合された光である。そして、第２光電変換部３５において、Ｌ１に含まれる緑色光が受光（吸収）される。第２光電変換部３５は、感応した緑色光の強度に応じた出力信号値を出力する。
As shown in FIG. 18, L incident on the
第２光電変換部３５を通過した光Ｌ２は、偏光フィルタ１５Ｖに向かう。実施形態３における偏光フィルタ１５Ｖは、近赤外領域を除いた波長帯の光に対し、高い反射率を有するように構成されている。このため、Ｌ２の近赤外成分（光Ｌ３）のみを、偏光フィルタ１５Ｖを通過させることができる。第１光電変換部３２は、近赤外光であるＬ３を受光する。第１光電変換部３２は、感応したＬ３の強度に応じた出力信号値（近赤外光の輝度値）を出力する。実施形態３では、信号取得部９０１は、近赤外光の輝度値分布を示す画像を、第１画像として取得する。
The light L2 that has passed through the second
ところで、第２光電変換部３５は、Ｌ１に含まれる緑色光の全てを必ずしも吸収できるわけではない。従って、Ｌ２には、第２光電変換部３５において吸収されなかった緑色光が含まれる。しかしながら、偏光フィルタ１５Ｖの上記反射特性によれば、上記緑色光を、第２光電変換部３５に戻すことができる。それゆえ、第２光電変換部３５により多くの緑色光を受光させることができるので、当該第２光電変換部３５の光電変換効率を向上させることが可能となる。
By the way, the second
なお、一部の位相差画素３０００では、偏光フィルタ１５Ｖに替えて、偏光フィルタ１５を用いることもできる。
In some
図１９には、画素アレイ３０における各画素の配置の一例が示されている。図１９の例では、図３のＰ−ＰＩＸ１〜ＰＩＸ−４と同様の配置で、位相差画素３０００Ｃ１〜３０００Ｃ４が配置されている。図１９のＰＵは、実施形態３の偏光ユニットを表す。
FIG. 19 shows an example of the arrangement of each pixel in the
図２０には、画素アレイ３０におけるＦＩの配置の一例が示されている。図２０の例では、ＦＩ（ＦＩＣ１〜ＦＩＣ４）は、各位相差画素（３０００Ｃ１〜３０００Ｃ４）の位置にのみ設けられている。但し、図４の例と同様に、ＦＩＣ１〜ＦＩＣ４はそれぞれ、２×２の領域（１つの位相差画素と３つの撮像画素）をカバーするように設けられてもよい。
FIG. 20 shows an example of the arrangement of FIs in the
〔実施形態４〕
本開示の一態様に係る撮像装置は、非像面位相差ＡＦ型の撮像装置であってもよい。この場合、本開示の一態様に係る位相差画素を用いて、１対のＡＦ専用撮像素子（左側ＡＦ専用撮像素子および右側ＡＦ専用撮像素子）を作成すればよい。非像面位相差ＡＦ型の撮像装置においても、実施形態１〜３と同様の効果を奏する。
[Embodiment 4]
The imaging device according to one aspect of the present disclosure may be a non-image plane phase difference AF type imaging device. In this case, a pair of AF-dedicated image sensors (left AF-dedicated image sensor and right-side AF-dedicated image sensor) may be created using the phase-difference pixels according to one aspect of the present disclosure. The non-image plane phase difference AF type imaging device also has the same effect as that of the first to third embodiments.
非像面位相差ＡＦ型の撮像装置では、レンズ９１の光軸（撮像装置の光軸）は、ＡＦ専用撮像素子の画素アレイの光軸と平行でなくともよい。例えば、当該画素アレイの光軸は、レンズ９１の光軸と直交していてもよい。当該画素アレイの光軸の向きは、レンズ９１の光軸の向きに対応付けられて設定されていればよい。
In the non-image plane phase difference AF type imaging device, the optical axis of the lens 91 (optical axis of the imaging device) does not have to be parallel to the optical axis of the pixel array of the AF dedicated imaging element. For example, the optical axis of the pixel array may be orthogonal to the optical axis of the
〔ソフトウェアによる実現例〕
撮像装置１００〜３００の制御ブロック（特に制御装置９０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of realization by software]
The control blocks (particularly the control device 90) of the
後者の場合、撮像装置１００〜３００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の一態様の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
〔付記事項〕
本開示の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。
[Additional notes]
One aspect of the present disclosure is not limited to each of the above-described embodiments, and various modifications can be made within the scope of the claims, and the technical means disclosed in the different embodiments can be appropriately combined. Also included in the technical scope of one aspect of the present disclosure. Furthermore, new technical features can be formed by combining the technical means disclosed in each embodiment.
１、２、３ 撮像素子
１０、２０、２０Ｖ、３０ 画素アレイ
１２ 光電変換部（位相差受光部）
１２ａ 左側サブ光電変換部
１２ｂ 右側サブ光電変換部
１３ 遮光部
１４ 反射防止膜
１５、１５Ｖ 偏光フィルタ
１５Ｕ 偏光・遮光構造体
１５ＵＡ 偏光フィルタ
１５ＵＢ 遮光部
１６ カラーフィルタ
１７、１７Ｗ マイクロレンズ
２２ 光電変換部（位相差受光部）
２５、２５Ａ、２５Ｂ 遮光部
３２ 第１光電変換部（位相差受光部）
３２ａ 左側サブ光電変換部
３２ｂ 右側サブ光電変換部
３５ 第２光電変換部
９０ 制御装置（解析装置）
９１ レンズ
９２ レンズ駆動機構
１００、２００、３００ 撮像装置
９００ 背景
９０１ 信号取得部
９０２ 補間部
９０３ 最小輝度値算出部
９０４ 算出部
９０５ 合焦点特定部
９０６ レンズ駆動制御部
９１０ 物体
２０００、２０００Ｕ、３０００ 位相差画素
２０００Ａ１〜２０００Ａ４、２０００Ｂ１〜２０００Ｂ４ 位相差画素
２０００ＶＡ１〜２０００ＶＡ４、２０００ＶＢ１〜２０００ＶＢ４ 位相差画素
３０００Ｃ１〜３０００Ｃ４ 位相差画素
Ｌ 光
ＡＸ 画素の光軸
ＰＩＸ 画素
Ｐ−ＰＩＸ、Ｐ−ＰＩＸ１〜Ｐ−ＰＩＸ４ 位相差画素
Ｉ−ＰＩＸ 撮像画素
Ｉ−ＰＩＸＲ 撮像画素（Ｒ画素）
Ｉ−ＰＩＸＧ 撮像画素（Ｇ画素）
Ｉ−ＰＩＸＢ 撮像画素（Ｂ画素）
ＦＩ１〜ＦＩ４ 偏光フィルタ
ＦＩＡ１〜ＦＩＡ４、ＦＩＢ１〜ＦＩＢ４ 偏光フィルタ
ＦＩＶＡ１〜ＦＩＶＡ４、ＦＩＶＢ１〜ＦＩＶＢ４ 偏光フィルタ
ＦＩＣ１〜ＦＩＣ４ 偏光フィルタ
ＵＮ１〜ＵＮ４ 画素ユニット
ＰＵ、ＰＵ３ 偏光ユニット
ＯＢＪ１、ＯＢＪ２ 物体
ＩＭＧ１ 第１画像
ＩＭＧ２ 第２画像
ＩＭＧ２Ｌ 左側第２画像（左側位相差画像）
ＩＭＧ２Ｒ 右側第２画像（右側位相差画像）
ＩＭＧＡ 左側微分画像
ＩＭＧＢ 右側微分画像
Ｄ１〜Ｄ４ 各位相差画素の輝度値
Ｄｍｉｎ 補間関数の最小値
ＤＬｍｉｎ 左側補間関数の最小値（左側最小値）
ＤＲｍｉｎ 右側補間関数の最小値（右側最小値）
ｆ（θ） 補間関数
Δ ずれ量
ＡＭＡＸ 左側微分画像の画素値の最大値
ＢＭＡＸ 右側微分画像の画素値の最大値
ＰＡ ＡＭＡＸが存在する位置
ＰＢ ＡＭＡＸが存在する位置
1, 2, 3
12a Left side
25, 25A, 25B Light-shielding
32a Left sub
91 Lens 92
I-PIXG imaging pixel (G pixel)
I-PIXB imaging pixel (B pixel)
FI1-FI4 Polarizing Filter FIA1-FIA4, FIB1-FIB4 Polarizing Filter FIVA1-FIVA4, FIBB1-FIVB4 Polarizing Filter FIC1-FIC4 Polarizing Filter UN1-UN4 Pixel Unit PU, PU3 Polarizing Unit OBJ1, OBJ2 Object Image IMG1 IMG2L 2nd left image (left phase difference image)
IMG2R right side second image (right side phase difference image)
IMGA Left derivative image IMGB Right derivative image D1 to D4 Luminance value of each retardation pixel Dmin Minimum value of interpolation function DLmin Minimum value of left interpolation function (minimum value on left side)
DRmin Right side interpolation function minimum value (right side minimum value)
f (θ) Interpolation function Δ Deviation amount AMAX Maximum value of pixel value of left differential image BMAX Maximum value of pixel value of right differential image PA AMAX is present Position PB AMAX is present
Claims (6)
上記撮像装置の光軸を規定するレンズと、
上記レンズを通過した光を受光する画素アレイと、
制御装置と、を備えており、
上記画素アレイは、
偏光フィルタと、
上記偏光フィルタを透過した上記光を受光する光電変換部と、
を、有する複数の位相差画素を含んでおり、
上記偏光フィルタの少なくとも一部において、上記レンズを通過した上記光のうち、所定の方向に配向制御された光が入射し、
上記画素アレイにおいて、異なる偏光特性を有する上記偏光フィルタを備えた上記複数の位相差画素によって、偏光ユニットが構成されており、
上記制御装置は、上記偏光ユニット内の上記複数の位相差画素の画素値の最小値に基づき、上記レンズの合焦点を特定する、撮像装置。 It is an imaging device
A lens that defines the optical axis of the image pickup device and
A pixel array that receives light that has passed through the lens and
Equipped with a control device,
The pixel array is
With a polarizing filter
A photoelectric conversion unit that receives the light transmitted through the polarizing filter and
Includes multiple phase-difference pixels
Of the light that has passed through the lens, light whose orientation is controlled in a predetermined direction is incident on at least a part of the polarizing filter.
In the pixel array, the polarization unit is composed of the plurality of retardation pixels provided with the polarization filters having different polarization characteristics.
The control device is an imaging device that identifies the focal point of the lens based on the minimum value of the pixel values of the plurality of retardation pixels in the polarizing unit.
上記偏光ユニット内の上記複数の位相差画素の画素値を用いて、当該偏光ユニットの偏光特性を表現する補間関数を導出し、
上記補間関数の最小値に基づき、上記合焦点を特定する、請求項１に記載の撮像装置。 The above control device
Using the pixel values of the plurality of retardation pixels in the polarization unit, an interpolation function expressing the polarization characteristics of the polarization unit is derived.
The imaging device according to claim 1, wherein the in-focus point is specified based on the minimum value of the interpolation function.
上記画素アレイにおいて、上記画素アレイの上記光軸に対して線対象に位置する一対の上記偏光ユニットをそれぞれ、左側偏光ユニットおよび右側偏光ユニットと称し、
上記制御装置は、
上記左側偏光ユニット内の上記複数の位相差画素の画素値を用いて、当該左側偏光ユニットの偏光特性を表現する左側補間関数を導出し、
上記右側偏光ユニット内の上記複数の位相差画素の画素値を用いて、当該右側偏光ユニットの偏光特性を表現する右側補間関数を導出し、
（ｉ）上記左側補間関数の最小値である左側最小値と、（ｉｉ）上記右側補間関数の最小値である右側最小値と、に基づき、上記合焦点を特定する、請求項１または２に記載の撮像装置。 The orientation of the optical axis of the pixel array is set in association with the orientation of the optical axis of the imaging device.
In the pixel array, the pair of the polarizing units located in line with respect to the optical axis of the pixel array are referred to as a left polarization unit and a right polarization unit, respectively.
The above control device
Using the pixel values of the plurality of retardation pixels in the left polarization unit, a left interpolation function expressing the polarization characteristics of the left polarization unit is derived.
Using the pixel values of the plurality of retardation pixels in the right-side polarization unit, a right-hand interpolation function expressing the polarization characteristics of the right-side polarization unit is derived.
According to claim 1 or 2, the focus is specified based on (i) the left minimum value which is the minimum value of the left interpolation function and (ii) the right minimum value which is the minimum value of the right interpolation function. The imaging device described.
全画素の画素値が上記左側最小値である左側位相差画像と、
全画素の画素値が上記右側最小値である右側位相差画像と、を生成し、
上記左側位相差画像の微分画像である左側微分画像と、
上記右側位相差画像の微分画像である右側微分画像と、を生成し、
（ｉ）上記左側微分画像の画素値の最大値が存在する位置と、（ｉｉ）上記右側微分画像の画素値の最大値が存在する位置と、の間のずれ量を算出し、
上記ずれ量に基づき、上記合焦点を特定する、請求項３に記載の撮像装置。 The above control device
The left phase difference image in which the pixel values of all pixels are the minimum values on the left side,
A right-side phase difference image in which the pixel values of all pixels are the minimum values on the right side is generated.
The left differential image, which is the differential image of the left phase difference image, and the left differential image,
A right differential image, which is a differential image of the right phase difference image, is generated.
The amount of deviation between (i) the position where the maximum value of the pixel value of the left differential image exists and (ii) the position where the maximum value of the pixel value of the right differential image exists is calculated.
The imaging device according to claim 3, wherein the in-focus point is specified based on the deviation amount.
上記画素アレイの上記光軸の向きと垂直な所定の方向を、上記位相差画素の左右方向として、
上記位相差画素は、上記偏光フィルタに対して、当該位相差画素の光入射側に位置している遮光部をさらに備えており、
上記遮光部は、上記画素アレイの上記光軸の方向において、上記光電変換部の左半分または右半分と重なり合っている、請求項１から４のいずれか１項に記載の撮像装置。 The orientation of the optical axis of the pixel array is set in association with the orientation of the optical axis of the imaging device.
A predetermined direction perpendicular to the direction of the optical axis of the pixel array is defined as the left-right direction of the retardation pixel.
The retardation pixel further includes a light-shielding portion located on the light incident side of the retardation pixel with respect to the polarizing filter.
The imaging device according to any one of claims 1 to 4, wherein the light-shielding unit overlaps the left half or the right half of the photoelectric conversion unit in the direction of the optical axis of the pixel array.
上記第２光電変換部は、上記偏光フィルタに対して、上記位相差画素の光入射側に位置しており、
上記第２光電変換部は、可視光に対する感応性を有しており、
上記偏光フィルタには、上記第２光電変換部を通過した上記光が入射され、
上記第１光電変換部は、近赤外光に対する感応性を有している、請求項１から４のいずれか１項に記載の撮像装置。 The retardation pixel further includes a second photoelectric conversion unit different from the first photoelectric conversion unit as the photoelectric conversion unit.
The second photoelectric conversion unit is located on the light incident side of the retardation pixel with respect to the polarizing filter.
The second photoelectric conversion unit has sensitivity to visible light and is sensitive to visible light.
The light that has passed through the second photoelectric conversion unit is incident on the polarizing filter.
The imaging device according to any one of claims 1 to 4, wherein the first photoelectric conversion unit is sensitive to near-infrared light.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019076972A JP2020178158A (en) | 2019-04-15 | 2019-04-15 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019076972A JP2020178158A (en) | 2019-04-15 | 2019-04-15 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020178158A true JP2020178158A (en) | 2020-10-29 |
Family
ID=72936049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019076972A Pending JP2020178158A (en) | 2019-04-15 | 2019-04-15 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020178158A (en) |
-
2019
- 2019-04-15 JP JP2019076972A patent/JP2020178158A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9495751B2 (en) | Processing multi-aperture image data | |
| CN105917641B (en) | With the slim multiple aperture imaging system focused automatically and its application method | |
| US20190072697A1 (en) | Lens device and image capturing device | |
| JP5728673B2 (en) | Multi-aperture image data processing | |
| EP3133646A2 (en) | Sensor assembly with selective infrared filter array | |
| US20160286199A1 (en) | Processing Multi-Aperture Image Data for a Compound Imaging System | |
| KR101917403B1 (en) | Image pickup apparatus, image pickup device, image processing method, aperture control method, and program | |
| US20160042522A1 (en) | Processing Multi-Aperture Image Data | |
| US9848118B2 (en) | Phase detection autofocus using opposing filter masks | |
| WO2012007049A1 (en) | Flash system for multi-aperture imaging | |
| JP4983271B2 (en) | Imaging device | |
| JP2012212978A (en) | Imaging element and imaging device | |
| US9544570B2 (en) | Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program | |
| CN103098480B (en) | Image processing apparatus and method, three-dimensional image pickup device | |
| JP4858179B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP5850648B2 (en) | Imaging device | |
| JP5942984B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| CN103843320B (en) | Imageing sensor and imaging device | |
| JP2020178158A (en) | Imaging apparatus | |
| JP5874334B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and imaging apparatus control program | |
| CN111258166B (en) | Camera module, periscopic camera module, image acquisition method and working method | |
| JP2014026050A (en) | Image capturing device and image processing device | |
| JP5679718B2 (en) | Imaging device |