CN104052919B - 摄像装置、摄像系统及信号处理装置 - Google Patents
摄像装置、摄像系统及信号处理装置 Download PDFInfo
- Publication number
- CN104052919B CN104052919B CN201410088224.2A CN201410088224A CN104052919B CN 104052919 B CN104052919 B CN 104052919B CN 201410088224 A CN201410088224 A CN 201410088224A CN 104052919 B CN104052919 B CN 104052919B
- Authority
- CN
- China
- Prior art keywords
- focus detection
- pupil
- picture
- camera device
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims abstract description 114
- 210000001747 pupil Anatomy 0.000 claims abstract description 110
- 230000003287 optical effect Effects 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 238000006073 displacement reaction Methods 0.000 claims description 23
- 230000005484 gravity Effects 0.000 claims description 17
- 230000035945 sensitivity Effects 0.000 claims description 14
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 7
- 238000000205 computational method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005693 optoelectronics Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004737 colorimetric analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
- G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Abstract
本发明提供一种摄像装置、摄像系统及信号处理装置。该摄像装置包括：摄像元件，其包括被配置为基于通过摄像光学系统中相互不同的光瞳区域的光束来生成一对图像信号的多个焦点检测像素；检测单元，其被配置为基于所述摄像元件中焦点检测区域的位置信息及与所述摄像光学系统相关的信息，来检测所述多个焦点检测像素的基线长度及光瞳分割方向；以及计算单元，其被配置为通过使用所述一对图像信号来计算所述光瞳分割方向上的相位差。
Description
技术领域
本发明涉及使用通过摄像光学系统中相互不同的光瞳区域的光束进行焦点检测的摄像装置。
背景技术
之前，已知使用相位差检测方法的焦点检测方法。在相位差检测方法中，通过透镜的出射光瞳的光束被分割，并且由一对焦点检测传感器接收分割的光束。然后，基于根据分割的光束的受光量而输出的信号的位移量，即光束在分割方向上的相对位置位移量，来获得实现对焦状态所需的透镜的驱动量。因此，由于当由焦点检测传感器进行一次累积时获得散焦的量和方向，所以能够高速进行聚焦。
日本特开第2000-156823号公报（第0075-0079段、图3、图4等）公开了如下配置：在摄像元件的一部分受光元件（像素）中，受光部的感光区域（sensitive region）相对于片上微透镜的光轴偏心，以提供光瞳分割功能。这些像素被视为焦点检测像素，并以预定的间隔布置在受光部的感光区域不偏心的摄像像素之间，以通过相位差方法进行焦点检测。由于布置了焦点检测像素的区域是摄像像素的缺陷部分，因此通过使用从周边摄像像素获得的信息来对图像信息插值。
日本特开第2001-305415号公报（第0052-0056段、图7、图8等）公开了如下配置：摄像元件中的一部分像素的受光部被分割以提供光瞳分割功能。此外，还公开了如下配置：分割的受光部的输出被分别处理以通过相位差方法进行焦点检测，并且分割的受光部的输出被相加以用作摄像信号。
日本特开第2010-140013号公报公开了如下配置：考虑到光晕的影响在斜方向上将图像相加，以便也能够对画面周边进行焦点检测。
然而，在日本特开第2000-156823号公报、日本特开第2001-305415号公报、日本特开第2010-140013号公报中公开的各配置中，由于通过使用一维图像进行焦点检测，在具有重复图案的被摄体图像中焦点检测较弱，并且由于生成图像时的相加方向以及被摄体中包括的斜线分量的影响而引起的误差仍然存在。因此，尤其是，画面周边的焦点检测精度劣化。
发明内容
本发明提供一种在避免由被摄体的形状或光晕产生的影响的同时能够进行高精度焦点检测的摄像装置、摄像系统、信号处理装置及非易失性计算机可读存储介质。
作为本发明的一个方面的摄像装置包括：摄像元件，其包括被配置为基于通过摄像光学系统中相互不同的光瞳区域的光束生成一对图像信号的多个焦点检测像素；检测单元，其被配置为基于所述摄像元件中焦点检测区域的位置信息及与所述摄像光学系统相关的信息，来检测所述多个焦点检测像素的基线长度及光瞳分割方向；以及计算单元，其被配置为通过使用所述一对图像信号来计算所述光瞳分割方向上的相位差。
作为本发明的另一方面的摄像系统包括摄像光学系统及摄像装置。
作为本发明的另一方面的信号处理装置包括：图像信号生成单元，其被配置为基于通过摄像光学系统中相互不同的光瞳区域的光束生成一对图像信号；检测单元，其被配置为基于焦点检测区域的位置信息及与所述摄像光学系统相关的信息，来检测焦点检测部的基线长度及光瞳分割方向；以及计算单元，其被配置为通过使用所述一对图像信号来计算所述光瞳分割方向上的相位差。
作为本发明的另一方面的非易失性计算机可读存储介质存储了程序，所述程序使计算机执行包括如下步骤的处理：基于通过摄像光学系统中相互不同的光瞳区域的光束生成一对图像信号；基于焦点检测区域的位置信息及与所述摄像光学系统相关的信息，来检测焦点检测部的基线长度及光瞳分割方向；以及通过使用所述一对图像信号来计算所述光瞳分割方向上的相位差。
通过以下参照附图对示例性实施例的描述，本发明的其他特征及方面将变得清楚。
附图说明
图1是实施例1和2的各个中的摄像装置的框图。
图2是本实施例（实施例1）中的摄像元件的像素的截面图。
图3是实施例2中的摄像元件的像素的截面图。
图4是实施例2中的摄像元件的像素阵列图。
图5A和图5B是本实施例（实施例1）中的摄像元件的光瞳强度分布的图。
图6A和图6B是例示从各实施例中的摄像元件观察到的光晕的形状的图。
图7是例示各实施例中的光瞳强度分布与光晕的形状之间的关系的图。
图8是例示各实施例中的摄像元件（画面）上的位置与光瞳分割状态之间的关系的图。
图9是例示实施例1中的摄像装置的拍摄流程的流程图。
图10是例示各实施例中格子图案的被摄体存在于焦点检测视场中的情形的图。
图11A至图11D是例示各实施例中在斜方向上的光瞳分割与斜线之间的关系的图。
图12A和图12B是描述实施例1中的相关计算方法的图。
图13A和图13B是描述实施例2中的相关计算方法的图。
具体实施方式
下面，将参照附图描述本发明的示例性实施例。在各附图中，相同的附图标记表示相同的组成部分，并且将省略其描述。
首先，参照图2，将描述本实施例中的摄像元件的像素的结构。图2是本实施例中的摄像元件的像素的截面图。在图2中，附图标记201表示微透镜，附图标记202表示滤色器，附图标记203表示布线层（半导体布线层），附图标记204和205表示光电转换部。因此，针对一个微透镜201提供两个光电转换部204和205，并且因此能够获得光瞳被左右分割的图像（A图像和B图像）。当将光电转换部204的输出与光电转换部205的输出相加时，能够获得等同于正常像素输出的输出。在本实施例中，通过将光电转换部204和205的输出相加而获得的像素值被用于生成摄像信号。
接下来，参照图5A和图5B，将描述摄像元件的光瞳强度分布。图5A是例示光电转换部204的光瞳强度分布的图，其中，横轴表示光相对于像素的入射角，纵轴表示光电转换的感光度（sensitivity）。如图5A所示，以0度的入射角为基准，在左侧获得强感光度。图5B是由色浓度（color density）表现平面中的入射角及感光度的图。图5B中的点表示感光度的重心，并且因此光电转换部204的感光度的重心相对于中心被偏移（移动）到左侧。光电转换部205的重心（未示出）相对于中心被偏移到右侧。在本实施例中，基于这两个重心（光电转换部204和205的重心）之间的距离来确定基线长度。
接下来，参照图6A和图6B，将描述光晕。图6A是例示从摄像元件观察到的透镜的位置关系的图，图6B是例示光晕的形状的图。在图6A中，附图标记601表示摄像元件的平面，附图标记606表示透镜的后框架，附图标记605表示透镜的前框架。从摄像元件的中心（摄像元件的中心位置）观察到，透镜的前框架、孔径光阑以及透镜的后框架被布置为围绕光轴OA的同心圆，并且因此光束被具有最小半径的孔径光阑（孔径光阑框架）遮挡。因此，在摄像元件的中心位置，孔径光阑的形状影响光量、光瞳重心的偏心率（偏移）等。
另一方面，在摄像元件上的对角位置附近的位置602处，除孔径光阑之外，光束还被透镜的前框架605及透镜的后框架606遮挡。附图标记604表示通过将透镜的前框架605及透镜的后框架606投影在出射光瞳（出射光瞳平面603）上而形成的光晕形状。在图6B中，通过阴影部分表示光晕形状604。从摄像元件上的对角位置附近的位置602观察到，光晕形状604被识别为柠檬状形式。
接下来，参照图7，描述A图像和B图像的光瞳强度分布与光晕形状之间的关系。图7是例示光瞳强度分布与光晕形状之间关系的图，其中例示了在A图像和B图像的光瞳强度分布与光晕形状604重叠的状态下光能够实际通过的区域的重心。在图7中，附图标记701表示A图像的重心，附图标记702表示B图像的重心。
由于倾斜形成的柠檬状光晕形状604，仅在图7的下侧能够接收到A图像的光，并且仅在上侧能够接收到B图像的光，因此重心701和702上下偏心（偏移）。换言之，尽管作为像素的结构的光瞳强度分布被左右进行光瞳分割，但实际上由光晕形状604在斜方向上进行光瞳分割。因此，由于在斜方向上分割光瞳，所以根据散焦量在斜方向上生成相位差。因此，即使仅在水平方向上检测到相位差，也可能无法计算出正确的散焦量。
接下来，参照图8，将描述摄像元件（画面）上的位置与光瞳分割状态之间的关系。图8是例示摄像元件（画面）上的位置与光瞳分割状态之间的关系的图。在图8中，例示了光瞳分割状态，其中在光轴中心附近的位置801处光瞳被左右分割，因此如果正确地检测到水平方向上的相位差，则能够检测到正确的散焦量。
尽管在位置803处光晕形状是柠檬状，但由于光瞳分割方向是水平方向，所以仅需要检测水平方向上的相位差。然而，由于光晕的影响，与位置801相比，位置803处的基线长度更短。由于在位置802处在斜方向上分割光瞳，因此需要检测斜方向上的相位差。在与位置802的方向相反的斜方向上分割位置804处的光瞳。因此，光瞳分割方向以及基线长度根据摄像元件上的位置以及透镜的出射窗（exit window）的状态而改变。
接下来，参照图11A至11D，将描述针对作为被摄体的斜方向上的线，在斜方向上分割光瞳的情况。图11A是相对于焦点检测视场存在斜线的被摄体的情况的示例。附图标记1101表示焦点检测视场，附图标记A表示作为A图像投影的被摄体，附图标记B表示作为B图像投影的被摄体。由于基线长度是在斜方向上，所以A图像和B图像由于散焦而被投影为相互位移。A图像与B图像之间的位移距离（图像位移量1102）不同于在焦点检测视场中捕获的图像位移量1103。因此，在图11A所示的示例中，检测到比实际图像位移量1102大的图像位移量1103。
图11B是如下示例，其中散焦和图像位移量1102与图11A中的相同。然而，在图11B中，作为被摄体的斜线的角度与图11A中的不同。与图11A所示的被摄体相比，图11B所示的被摄体是在相反方向上的倾斜被摄体，因此检测到的图像位移量1103极小。图11C所示的被摄体是V形形式。图11D例示了在焦点检测视场1104和1105中捕获的图11C所示的V形被摄体的图像。焦点检测视场1104表示A图像，焦点检测视场1105表示B图像。在图11D的状态下，无法检测出A图像与B图像相互一致的图像位移量。
接下来，参照图10，将描述在垂直方向上对像素相加的情况下的问题。图10是例示在焦点检测视场中存在格子图案的被摄体的情形的图。在图10中，附图标记1001表示焦点检测视场。附图标记1007、1008、1009及1010分别是由两点虚线1002、1003、1004及1005表示的部分的图像信号波形。图像信号波形1007、1008、1009及1010中的各个包含边缘部分（亮度边缘），因此能够正确地检测到光瞳分割图像之间的相位差。附图标记1006是通过将焦点检测视场中的信号相加并平均而获得的图像。附图标记1011是图像1006的图像信号波形。在将焦点检测视场中的信号相加之前存在的亮度边缘，在将信号相加之后的图像信号波形1011中消失。
如参照图10和图11所述，在本实施例中，取代一维图像的相关计算，二维图像的相关计算是适当的。针对二维图像的相关计算，与一维图像的相关计算类似，使用差的绝对值的和的方法（称为SAD）实际用于运动向量检测或图像压缩技术。因此，与软件相比，该算法更适于硬件处理。本实施例检测到斜方向上的相位差，因此使用与用于二维图像的运动向量检测的方法相同的方法。下文中，将描述本实施例的具体示例。
[实施例1]
首先，参照图1，将描述散焦检测装置（摄像装置）。图1是本实施例中的摄像装置100的框图。在摄像装置100中，附图标记101表示包括聚焦透镜或孔径光阑机构的透镜单元（摄像光学系统）。在本实施例中，摄像装置100（摄像装置主体）被配置为与透镜单元101一体化，但是该实施例不限于此。本实施例还可以应用于由摄像装置主体以及在摄像装置主体上可拆卸地安装的透镜单元构成的摄像系统。
附图标记102表示具有例如图2所示的像素结构的摄像元件（图像信号生成单元），其对经由摄像光学系统获得的被摄体像（光学图像）进行光电转换。如上所述，摄像元件102包括基于通过透镜单元101（摄像光学系统）中相互不同的光瞳区域（光瞳中的局部区域）的光束生成一对图像信号的多个焦点检测像素。附图标记103表示将摄像元件102的输出信号（模拟信号）转换为数字信号的A/D转换器。
附图标记104表示将来自作为A/D转换器103的输出信号的分割像素的图像信号（A图像信号和B图像信号）相加的图像信号相加单元（AB图像相加单元）。图像信号相加单元104的输出针对具有拜耳阵列等的典型摄像元件的输出具有兼容性。附图标记105表示对从图像信号相加单元104输出的图像信号进行预定信号处理的信号处理单元（图像信号处理电路）。附图标记106表示记录拍摄图像（从信号处理单元105输出的图像信号）的记录介质。
附图标记107表示分离并同步从A/D转换器103以点顺序方式发送的A图像信号和B图像信号的图像信号分离单元（AB图像分离单元）。附图标记108表示相关计算单元（计算单元）。相关计算单元108针对一个画面累积从图像信号分离单元107输出的A图像信号和B图像信号（一对图像信号），并针对焦点检测区域进行相关计算以计算图像位移量。换言之，相关计算单元108通过使用一对图像信号来计算光瞳分割方向（图像位移方向）上的相位差。
附图标记109表示控制摄像装置100的整个系统的微计算机（控制器）。微计算机109将AF视场位置（焦点检测区域）及光晕信息（与摄像光学系统相关的信息）输出到光瞳分割状态检测单元110。光瞳分割状态检测单元110基于该信息检测（计算）基线长度及光瞳分离角度（光瞳分割方向），并且将基线长度及光瞳分割角度输出到微计算机109。微计算机109将与AF视场位置及位移搜索方向相关的信息输出到相关计算单元108。相关计算单元108将基于该信息计算出的图像位移量输出到微计算机109。
附图标记110表示光瞳分割检测单元（检测单元）。光瞳分割检测单元110基于摄像元件102中焦点检测区域的位置信息以及与透镜单元101相关的信息（光晕信息），来检测多个焦点检测像素的基线长度及光瞳分割方向。
接下来，参照图9，将描述使用本实施例的摄像装置100拍摄图像的流程（摄像装置的控制方法）。图9是例示使用摄像装置100拍摄图像的流程（拍摄序列）的流程图。主要由微计算机109的指令进行图9的各步骤。
首先，在步骤S900中，摄像装置100开始拍摄序列，然后在步骤S901中进行用于焦点检测（AF）的曝光及捕获。在该情况下，A/D转换器103对由摄像元件102曝光的信号进行A/D转换。然后，由图像信号分离单元107分离的A图像信号和B图像信号被输入到相关计算单元108。在步骤S901中，图像信号相加单元104、信号处理单元105及记录介质106不进行操作。
接下来，在步骤S902中，微计算机109设置孔径光阑、前框架及后框架的半径、以及它们距传感器（摄像元件102）的距离（即与透镜单元101（摄像光学系统）相关的信息）。该信息由微计算机109计算，或者可选地可以由用户设置。然后，微计算机109将孔径光阑、前框架及后框架的半径、以及它们距传感器的距离（与摄像光学系统相关的信息）传送到光瞳分割状态检测单元110。在本实施例中，与摄像光学系统相关的信息是基于摄像光学系统的尺寸（透镜的孔径光阑、前框架及后框架的半径）以及它们距摄像元件102的距离的信息（出射窗信息），但是本实施例不限于此。
接下来，在步骤S903中，微计算机109设置散焦量检测区域（焦点检测区域）。然后，微计算机109将散焦检测区域信息（与焦点检测区域相关的信息）传送到相关计算单元108及光瞳分割状态检测单元110。
接下来，在步骤S904中，光瞳分割状态检测单元110基于摄像元件102中焦点检测区域的位置信息以及与摄像光学系统相关的信息，来检测多个焦点检测像素（焦点检测部）的基线长度及光瞳分割方向。在本实施例中，焦点检测区域的位置信息是焦点检测区域的图像高度信息（与画面中高度相关的信息，即距摄像元件的中心（光轴中心）的高度）。因此，光瞳分割状态检测单元110通过使用出射窗信息及光瞳强度分布来计算基线长度及光瞳分割方向。
具体地，光瞳分割状态检测单元110基于图6所示的位置602以及与透镜的前框架605及透镜的后框架606相关的信息（与摄像光学系统相关的信息），通过几何学计算来计算投影在出射光瞳面603上的光晕形状604。然后，光瞳分割状态检测单元110利用光晕形状604切割投影在出射光瞳面603上的光瞳强度分布，以求出感光度的重心。
当基于A图像和B图像的光瞳强度分布获得感光度的重心时，计算基线长度及光瞳分割方向。换言之，基于多个焦点检测像素的感光度的重心之间的距离计算多个焦点检测像素的基线长度，其中基于多个焦点检测像素的光瞳强度分布以及与摄像光学系统相关的信息确定多个焦点检测像素的感光度的重心。光瞳分割方向是与连接多个焦点检测像素的感光度的重心的线平行的方向。由光瞳分割状态检测单元110计算出的基线长度及光瞳分割角度被输出到微计算机109。
接下来，在步骤S905中，微计算机109指定相位位移方向（光瞳分割方向），并且相关计算单元108通过使用一对图像信号来检测（计算）光瞳分割方向上的相位差。在这种情况下，微计算机109将光瞳分割方向（光瞳分割角度）设置给相关计算单元108，以指示相关计算单元108在光瞳分割方向上进行搜索。相关计算单元108通过使用由微计算机109设置的光瞳分割角度来进行相关计算。
参照图12A和图12B，将描述使用光瞳分割方向（光瞳分割角度）的相关计算。图12A和图12B是描述本实施例中的相关计算方法的图。在图12A中，“A”是投影在A图像视场（A图像像素）上的V形被摄体，“B”是投影在B图像视场（B图像像素）的与被摄体A相同的被摄体。附图标记1101表示A图像视场。图12B是投影在A图像视场1101上的提取图像的图。
传统上，A图像视场也用于B图像。然而，在本实施例的相关计算中，在搜索与A图像视场1101相对应的部分的同时，针对图12A中由虚线表示的视场依次进行相关计算，并且评价一致度。在本实施例中，B图像视场相对于A图像视场在斜方向上移动，并且其方向是光瞳分割方向或者根据光瞳分割方向确定的方向。箭头1102表示图像根据光瞳分割实际上移动的方向及距离。在本实施例中，沿箭头1102的方向（光瞳分割方向）搜索一对图像信号的一致度最高的地点。附图标记1201是与A图像视场1101的一致度最高的B图像视场。
图12B例示了投影在A图像视场1101及与A图像视场1101的一致度最高的B图像视场1201中的各个上的图像。使用到达一致度最高的地点前后的相关量来获得以子像素为单位的相位差，与已知的相位差方法类似。相关计算单元108将根据基线长度确定的系数乘以如上所述获得的相位差，由此能够计算散焦量（图像位移量）。
接下来，在图9的步骤S906中，微计算机109确定针对整个焦点检测区域（焦点检测区域）的相位差检测是否完成。当针对整个焦点检测区域的相位差检测未完成时，流程返回到步骤S903，并且重复步骤S903至S906。另一方面，当在步骤S906中确定针对整个焦点检测区域的相位差检测完成时，即当获得图像位移量时，流程进行到步骤S907。
在步骤S907中，微计算机109针对被摄体（主被摄体）检测焦点位置并移动透镜单元101以进行聚焦控制。换言之，微计算机109（控制器）进行聚焦控制，使得由相关计算单元108计算出的图像位移量减小。接下来，在步骤S908中，微计算机109控制图像信号相加单元104、信号处理单元105以及记录介质106等以拍摄图像。
结果，在本实施例中，基于光学条件计算光晕的影响、基线长度以及光瞳分割方向。然后，根据计算出的光晕的影响、基线长度以及光瞳分割方向确定相位位移检测方向，以进行相位差检测。
[实施例2]
接下来，将描述本发明的实施例2中的散焦检测装置（摄像装置）。首先，参照图3，将描述本实施例中的摄像元件的像素的结构。图3是本实施例中的摄像元件的像素的截面图。附图标记201表示微透镜，附图标记202表示滤色器，附图标记203表示布线层。附图标记301表示用于生成正常图像信号的像素（摄像像素）。附图标记303表示用于生成焦点检测信号的像素（焦点检测像素）。附图标记302表示将布线层203延伸到像素的上部以遮挡光的遮光部。对于图3所示的像素303，光仅通过右侧的开口部305进入像素303，并且因此像素303处于在像素303的左侧不具有感光度的状态，在该状态下光瞳偏心（偏移）。
图4是本实施例中从摄像元件的前侧观察到的像素阵列图。附图标记301表示正常像素（摄像像素），附图标记303和304表示生成焦点检测信号的像素（焦点检测像素）。本实施例的摄像元件与实施例1的不同在于光瞳分割像素（焦点检测像素）被分散布置。在本实施例中，与实施例1类似，存在光晕产生的影响，并且因此光瞳分割状态根据图像高度或透镜的位置或尺寸而改变。
接下来，参照图13A和图13B，将描述本实施例中的相关计算。图13A和图13B是描述本实施例中的相关计算方法的图。图13A例示了分散布置的焦点检测像素以及在A图像像素和B图像像素上投影的V形被摄体。附图标记1301表示A图像像素的视场。本实施例中的视场（图像）具有二维（二维图像）。然而，在本实施例中，由于焦点检测像素被分散布置，所以实际上获得的A图像和B图像中的各个是像针对摄像图像的缩小图像一样的小图像。
图13B例示了本实施例中的搜索方向。在本实施例中，当搜索B图像视场的相对于A图像视场的一致度高的地点时，取代使用之前计算的光瞳分割方向，在纵向和横向上的固定宽度的组合是搜索范围。换言之，本实施例的相关计算单元108（计算单元）沿第一方向以及与第一方向不同的第二方向搜索一对图像信号的一致度最高的地点，以进行二维相关计算，并且由此计算相位差及相位差的方向。
通过使用该搜索方法，能够以时分的方式使用与运动向量检测电路共同的电路。因此，能够缩小电路的规模。此外，例如，由于能够在获得图9中的步骤S904的计算结果之前开始搜索，因此能够通过进行并行计算来缩少计算时间。
优选地，微计算机109（确定单元）进行二维相关计算以检测相位差，然后确定相位差的方向是否与光瞳分割方向一致。在本实施例中，与一维相关计算相比，进行二维相关计算能够减少错误检测概率，并且更优选地，通过使用光瞳分割状态（光瞳分割方向）来检测错误检测的产生。因此，在本实施例中，将通过使用二维相关计算检测的相位差与光瞳分割状态的检测结果进行比较，以进行错误确定。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同结构和功能。
例如，尽管在各实施例中SAD（差的绝对值的和）被用作相关计算方法，但是各实施例不限于此，并且即使当使用能够检测相位差的不同类型的相关值时也能够获得类似的效果。尽管作为散焦检测的结果，各实施例中的方法被用作驱动聚焦透镜以在被摄体上聚焦的、所谓自动聚焦功能的一部分，但是也可以用于获得距离地图，结果是，其可以适用于针对各个获得的距离的光度测定法或比色法（colorimetry）等。此外，在各实施例中，尽管由摄像装置进行相关计算方法，但各实施例不限于此，并且该方法还可以适用于通过使用诸如处理拍摄的图像数据的个人计算机等的后处理装置（信号处理装置）来制作距离地图的技术。例如，微计算机109（控制器）基于图像位移量将与被摄体的深度方向相关的信息添加到图像。
在各实施例中，摄像元件被用作生成一对图像信号的图像信号生成单元来进行光瞳分割，但是各实施例不限于此。例如，即使在针对来自一个摄像透镜的光束使用中继透镜进行分光及光瞳分割的系统中，也能够获得与各实施例相同的效果。在各实施例中，通过几何学计算来检测光瞳分割状态（光瞳分割方向），并且即使当使用之前计算出的与透镜的控制相对应的表格，也能够获得类似的效果。
（其他实施例）
本发明的实施例还可以通过读出并执行记录在存储介质（例如，非易失性计算机可读存储介质）上的用于执行本发明的一个或多个上述实施例的功能的计算机可执行指令的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质中读出并执行用于执行一个或多个上述实施例的功能的计算机可执行指令的方法来实现。计算机可包括中央处理单元（CPU）、微处理单元（MPU）、或其他电路中的一个或多个，并且可以包括独立计算机或独立计算机处理器的网络。计算机可执行指令可通过例如网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器（RAM）、只读存储器（ROM）、分布式计算系统的存储器、光盘（例如压缩盘（CD）、数字通用光盘（DVD）或蓝光盘（BD）TM）、闪存设备以及存储卡等中的一个或多个。
根据上述各实施例，能够提供在避免由被摄体形状或光晕产生的影响的同时能够进行高精度焦点检测的摄像装置、摄像系统、信号处理装置及非易失性计算机可读存储介质。
Claims (11)
1.一种摄像装置，该摄像装置包括：
摄像元件，其包括被配置为基于通过摄像光学系统中相互不同的光瞳区域的光束生成一对图像信号的多个焦点检测像素；
检测单元，其被配置为基于所述摄像元件中焦点检测区域的位置信息及与所述摄像光学系统相关的信息，来检测所述多个焦点检测像素的基线长度及光瞳分割方向；以及
计算单元，其被配置为通过使用所述一对图像信号来计算所述光瞳分割方向上的相位差，
其中，所述计算单元将根据所述基线长度确定的系数乘以所述相位差来计算图像位移量。
2.根据权利要求1所述的摄像装置，其特征在于：
所述焦点检测区域的位置信息包括所述焦点检测区域的图像高度信息，并且
所述与所述摄像光学系统相关的信息包括基于所述摄像光学系统的尺寸以及距所述摄像元件的距离的出射窗信息。
3.根据权利要求1所述的摄像装置，其特征在于：
基于根据所述多个焦点检测像素中光瞳强度分布以及所述与所述摄像光学系统相关的信息而确定的所述多个焦点检测像素的感光度的重心的距离，来计算所述多个焦点检测像素的基线长度。
4.根据权利要求3所述的摄像装置，其特征在于：
所述光瞳分割方向是与连接所述多个焦点检测像素的感光度的重心的线平行的方向。
5.根据权利要求1至4中任一项所述的摄像装置，所述摄像装置还包括：
控制器，其被配置为进行聚焦控制，使得由所述计算单元计算出的所述图像位移量减小。
6.根据权利要求1所述的摄像装置，其特征在于：
所述计算单元沿所述光瞳分割方向搜索所述一对图像信号的一致度最高的地点，来计算所述相位差。
7.根据权利要求1所述的摄像装置，其特征在于：
所述计算单元沿第一方向及与所述第一方向不同的第二方向搜索所述一对图像信号的一致度最高的地点来进行二维相位计算，以计算所述相位差及所述相位差的方向。
8.根据权利要求7所述的摄像装置，所述摄像装置还包括：
确定单元，其被配置为确定所述相位差的方向是否与所述光瞳分割方向一致。
9.一种摄像系统，该摄像系统包括：
摄像光学系统；
摄像元件，其包括被配置为基于通过摄像光学系统中相互不同的光瞳区域的光束生成一对图像信号的多个焦点检测像素；
检测单元，其被配置为基于所述摄像元件中焦点检测区域的位置信息及与所述摄像光学系统相关的信息，来检测所述多个焦点检测像素的基线长度及光瞳分割方向；以及
计算单元，其被配置为通过使用所述一对图像信号来计算在所述光瞳分割方向上的相位差，
其中，所述计算单元将根据所述基线长度确定的系数乘以所述相位差来计算图像位移量。
10.一种信号处理装置，该信号处理装置包括：
图像信号生成单元，其被配置为基于通过摄像光学系统中相互不同的光瞳区域的光束生成一对图像信号；
检测单元，其被配置为基于焦点检测区域的位置信息及与所述摄像光学系统相关的信息，来检测焦点检测部的基线长度及光瞳分割方向；以及
计算单元，其被配置为通过使用所述一对图像信号来计算在所述光瞳分割方向上的相位差，
其中，所述计算单元将根据所述基线长度确定的系数乘以所述相位差来计算图像位移量。
11.根据权利要求10所述的信号处理装置，所述信号处理装置还包括：
控制器，其被配置为基于图像位移量，将与被摄体的深度方向相关的信息添加至图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013047442A JP6172978B2 (ja) | 2013-03-11 | 2013-03-11 | 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体 |
| JP2013-047442 | 2013-03-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104052919A CN104052919A (zh) | 2014-09-17 |
| CN104052919B true CN104052919B (zh) | 2017-12-05 |
Family
ID=51487415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410088224.2A Expired - Fee Related CN104052919B (zh) | 2013-03-11 | 2014-03-11 | 摄像装置、摄像系统及信号处理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9444989B2 (zh) |
| JP (1) | JP6172978B2 (zh) |
| CN (1) | CN104052919B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9741754B2 (en) | 2013-03-06 | 2017-08-22 | Apple Inc. | Charge transfer circuit with storage nodes in image sensors |
| US9686485B2 (en) | 2014-05-30 | 2017-06-20 | Apple Inc. | Pixel binning in an image sensor |
| JP6486051B2 (ja) * | 2014-09-29 | 2019-03-20 | キヤノン株式会社 | 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置 |
| JP6504910B2 (ja) * | 2015-05-19 | 2019-04-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
| JP6017641B1 (ja) | 2015-07-13 | 2016-11-02 | オリンパス株式会社 | 撮像装置，信号処理方法，信号処理プログラム |
| US9420164B1 (en) | 2015-09-24 | 2016-08-16 | Qualcomm Incorporated | Phase detection autofocus noise reduction |
| US9804357B2 (en) | 2015-09-25 | 2017-10-31 | Qualcomm Incorporated | Phase detection autofocus using masked and unmasked photodiodes |
| JP6608238B2 (ja) * | 2015-10-15 | 2019-11-20 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
| WO2017117743A1 (zh) * | 2016-01-06 | 2017-07-13 | 华为技术有限公司 | 处理图像的方法和设备 |
| US10440301B2 (en) * | 2017-09-08 | 2019-10-08 | Apple Inc. | Image capture device, pixel, and method providing improved phase detection auto-focus performance |
| JP2020003733A (ja) * | 2018-06-29 | 2020-01-09 | キヤノン株式会社 | デフォーカス検出装置及びデフォーカス検出方法 |
| US10848693B2 (en) | 2018-07-18 | 2020-11-24 | Apple Inc. | Image flare detection using asymmetric pixels |
| US11019294B2 (en) | 2018-07-18 | 2021-05-25 | Apple Inc. | Seamless readout mode transitions in image sensors |
| US11563910B2 (en) | 2020-08-04 | 2023-01-24 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
| US11546532B1 (en) | 2021-03-16 | 2023-01-03 | Apple Inc. | Dynamic correlated double sampling for noise rejection in image sensors |
| CN113447489B (zh) * | 2021-06-28 | 2022-12-13 | 上饶市中科院云计算中心大数据研究院 | 大曲率光学镜片表面疵病检测中去除光晕影响的方法及装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3467835B2 (ja) * | 1994-06-06 | 2003-11-17 | 株式会社ニコン | 焦点検出装置 |
| US5563678A (en) * | 1994-06-06 | 1996-10-08 | Nikon Corporation | Focus detection device and method |
| JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
| JP4908668B2 (ja) | 2000-04-19 | 2012-04-04 | キヤノン株式会社 | 焦点検出装置 |
| JP4984491B2 (ja) * | 2005-10-31 | 2012-07-25 | 株式会社ニコン | 焦点検出装置および光学システム |
| JP5380782B2 (ja) * | 2007-03-26 | 2014-01-08 | 株式会社ニコン | 撮像装置 |
| JP2008286648A (ja) * | 2007-05-17 | 2008-11-27 | Sumitomo Electric Ind Ltd | 距離計測装置、距離計測システム、距離計測方法 |
| JP2009048033A (ja) * | 2007-08-22 | 2009-03-05 | Panasonic Corp | 立体画像撮像装置 |
| JP5380857B2 (ja) * | 2008-02-21 | 2014-01-08 | 株式会社ニコン | 焦点検出装置および撮像装置 |
| JP5489641B2 (ja) | 2008-11-11 | 2014-05-14 | キヤノン株式会社 | 焦点検出装置及びその制御方法 |
| JP5302663B2 (ja) * | 2008-12-24 | 2013-10-02 | キヤノン株式会社 | 焦点検出装置及び方法、及び撮像装置 |
| JP5861257B2 (ja) * | 2011-02-21 | 2016-02-16 | ソニー株式会社 | 撮像素子および撮像装置 |
| JP5929037B2 (ja) * | 2011-08-17 | 2016-06-01 | 株式会社リコー | 撮像装置 |
| JP6004768B2 (ja) | 2012-06-14 | 2016-10-12 | キヤノン株式会社 | 焦点検出のための信号処理装置、信号処理方法およびプログラム、ならびに焦点検出装置を有する撮像装置 |
-
2013
- 2013-03-11 JP JP2013047442A patent/JP6172978B2/ja not_active Expired - Fee Related
-
2014
- 2014-03-07 US US14/200,151 patent/US9444989B2/en active Active
- 2014-03-11 CN CN201410088224.2A patent/CN104052919B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP6172978B2 (ja) | 2017-08-02 |
| JP2014174357A (ja) | 2014-09-22 |
| CN104052919A (zh) | 2014-09-17 |
| US20140253786A1 (en) | 2014-09-11 |
| US9444989B2 (en) | 2016-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104052919B (zh) | 摄像装置、摄像系统及信号处理装置 | |
| JP5868183B2 (ja) | 撮像装置及び撮像方法 | |
| JP6643122B2 (ja) | 距離画像装置、撮像装置、および距離画像補正方法 | |
| US20160360081A1 (en) | Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium | |
| US9204034B2 (en) | Image processing apparatus and image processing method | |
| CN105391932B (zh) | 图像处理装置及其控制方法、以及摄像装置及其控制方法 | |
| US8144974B2 (en) | Image processing apparatus, method, and program | |
| WO2014034918A1 (en) | Distance detection apparatus, image sensing apparatus, program, recording medium, and distance detection method | |
| CN104125394B (zh) | 摄像装置及其控制方法 | |
| US8736742B2 (en) | Image pickup apparatus that performs automatic focus control and control method for the image pickup apparatus | |
| CN104285173A (zh) | 焦点检测装置 | |
| JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
| CN103491287A (zh) | 图像捕获装置 | |
| US10148862B2 (en) | Image capturing apparatus, method for controlling image capturing apparatus focus area display, and storage medium | |
| JP4354096B2 (ja) | 撮像装置 | |
| US20160182812A1 (en) | Imaging apparatus, and control method thereof | |
| JP5673764B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
| JP7373297B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2018074362A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JPWO2017199559A1 (ja) | 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 | |
| JP3488762B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6792902B2 (ja) | 焦点検出装置、フォーカス制御装置、撮像装置、焦点検出方法および焦点検出プログラム | |
| JP6916627B2 (ja) | 撮像装置およびその制御方法 | |
| JP2015084518A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| KR101839357B1 (ko) | 촬상 장치 및 촬상 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171205 |