CN102685406B - 摄像设备、焦点检测方法和图像生成方法 - Google Patents
摄像设备、焦点检测方法和图像生成方法 Download PDFInfo
- Publication number
- CN102685406B CN102685406B CN201210040254.7A CN201210040254A CN102685406B CN 102685406 B CN102685406 B CN 102685406B CN 201210040254 A CN201210040254 A CN 201210040254A CN 102685406 B CN102685406 B CN 102685406B
- Authority
- CN
- China
- Prior art keywords
- pixel
- signal
- defect pixel
- pupil
- pick
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000007547 defect Effects 0.000 claims abstract description 121
- 210000001747 pupil Anatomy 0.000 claims abstract description 97
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 230000002950 deficient Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 230000011218 segmentation Effects 0.000 claims description 25
- 230000005693 optoelectronics Effects 0.000 claims description 11
- 239000000470 constituent Substances 0.000 abstract description 2
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明涉及摄像设备、焦点检测方法和图像生成方法。所述摄像设备包括：摄像元件(10)，其包括能够单独读取来自像素的信号的单位单元，该像素用于接收透过摄像镜头(5)的不同光瞳位置的光束；检测器(20)，用于使用来自与各单位单元相对应的像素的信号来生成光瞳分割方向上的一对图像信号，以基于该对图像信号的相位差进行焦点检测；缺陷像素存储单元(22)，用于存储缺陷像素信息；以及缺陷像素补偿单元(20)，用于基于缺陷像素存储单元的输出来补偿缺陷像素的信号。缺陷像素补偿单元(20)使用从针对缺陷像素的在与光瞳分割方向不同的方向上设置的像素所获得的信号来补偿缺陷像素的信号。
Description
技术领域
本发明涉及诸如数字静态照相机等的摄像设备，该摄像设备通过摄像元件的各像素接收透过摄像镜头的不同光瞳位置的光束并且设置有计算单元，该计算单元基于通过在各像素中进行光电转换而获得的信号、利用光瞳分割来进行相位差检测法的焦点检测。
背景技术
作为用于检测摄像镜头的焦点状态的方法，在日本特开昭58-24105中公开了使用在传感器的各像素中设置有微透镜的二维传感器进行光瞳分割法的焦点检测的设备。在日本特开昭58-24105中所公开的设备中，构成传感器的各像素的光电转换部被分割成多个光电转换部，并且分割后的光电转换部被构造为经由微透镜接收摄像镜头的不同光瞳区域的光。
另外，还提出了能够进行焦点检测并拍摄正常图像的各种摄像设备。
在日本特开2003-244712中，公开了以下摄像设备：其在包括用于将来自被摄体的光学信号转换成电信号的光电转换区域的一些像素处设置有颜色分解滤波器以便于实现摄像并进行焦点检测。在日本特开2003-244712中所公开的摄像设备中，基于来自设置有颜色分解滤波器的像素的电信号形成图像，并且基于来自未设置有颜色分解滤波器的像素的电信号进行焦点检测。
在日本专利2959142中，公开了还用作图像传感器的摄像设备，所述图像传感器设置有二维配置了相对地相互偏移的微透镜和光电转换部的像素。在日本专利2959142中所公开的摄像设备中，在检测摄像镜头的焦点状态时，基于由微透镜和光电转换部的相对偏移方向不同的像素阵列所生成的图像来检测摄像镜头的焦点状态。另一方面，在拍摄正常图像的情况下，通过将微透镜和光电转换部的相对偏移方向不同的像素相加来生成图像。
传统上，提出了以下摄像设备：在像素包括缺陷像素的情况下，摄像设备利用缺陷像素前面的相同颜色的像素来代替缺陷像素(预补偿)。在日本特开2003-116060所公开的摄像设备中，提出了使用基于补偿方向所选择的周围像素来计算缺陷像素的校正值的摄像设备，其中，基于通过缺陷像素的周围像素计算得到的边缘强度指标值来选择补偿方向。
然而，在通过相位差检测进行焦点检测的情况下，存在以下缺点：相位差信息被损坏并且在相关计算中生成误差，因此不能通过相同的方法进行准确的焦点检测。
发明内容
本发明提供一种即使摄像元件包括缺陷像素也能进行不损坏相关信息的补偿的摄像设备。
作为本发明的一个方面，一种摄像设备，包括：摄像元件，其包括能够分别读取来自多个像素的信号的多个单位单元，所述多个像素用于接收透过摄像镜头的不同光瞳位置的光束；检测器，用于使用从与各单位单元相对应的像素获得的信号来生成光瞳分割方向上的一对图像信号，以基于所述一对图像信号的相位差进行焦点检测；缺陷像素存储单元，用于存储所述摄像元件的缺陷像素信息；以及缺陷像素补偿单元，用于基于所述缺陷像素存储单元的输出来补偿缺陷像素的信号，其中，所述缺陷像素补偿单元使用从相对于所述缺陷像素设置在与所述光瞳分割方向不同的方向上的像素所获得的信号来补偿所述缺陷像素的信号。
作为本发明的另一方面，一种摄像设备，包括：摄像元件，其包括能够分别读取来自多个像素的信号的多个单位单元，所述多个像素用于接收透过摄像镜头的不同光瞳位置的光束；缺陷像素存储单元，用于存储所述摄像元件的缺陷像素信息；缺陷像素补偿单元，用于基于所述缺陷像素存储单元的输出来补偿缺陷像素的信号；以及图像处理单元，用于基于在与所述摄像镜头的不同光瞳位置相对应的像素中生成的信号来生成具有与所述光瞳位置相对应的多个视差的图像，其中，所述缺陷像素补偿单元使用从相对于所述缺陷像素设置在与光瞳分割方向不同的方向上的像素所获得的信号来补偿所述缺陷像素的信号。
作为本发明的另一方面，一种焦点检测方法，包括以下步骤：进行摄像元件的各像素的光电转换以生成图像信号，所述摄像元件具有用于接收透过摄像镜头的不同光瞳位置的光束的像素；缺陷像素补偿步骤，用于针对缺陷像素存储单元的输出，使用周围像素的图像信号来补偿缺陷像素，所述缺陷像素存储单元用于存储所述摄像元件的缺陷像素信息；以及基于所述缺陷像素补偿步骤之后的图像信号来进行光瞳分割法的焦点检测。
作为本发明的另一方面，一种图像生成方法，包括以下步骤：进行摄像元件的各像素的光电转换以生成图像信号，所述摄像元件具有用于接收透过摄像镜头的不同光瞳位置的光束的像素；缺陷像素补偿步骤，用于针对缺陷像素存储单元的输出，使用周围像素的图像信号来补偿缺陷像素，所述缺陷像素存储单元用于存储所述摄像元件的缺陷像素信息；以及基于利用与所述摄像镜头的不同光瞳位置相对应的像素通过光电转换获得的、所述缺陷像素补偿步骤之后的图像信号，来生成具有与所述光瞳位置相对应的多个视差的图像。
作为本发明的又一方面，一种存储介质，用于存储使计算机执行以下步骤的程序：进行摄像元件的各像素的光电转换以生成图像信号，所述摄像元件具有用于接收透过摄像镜头的不同光瞳位置的光束的像素；缺陷像素补偿步骤，用于针对缺陷像素存储单元的输出，使用周围像素的图像信号来补偿缺陷像素，所述缺陷像素存储单元用于存储所述摄像元件的缺陷像素信息；以及基于所述缺陷像素补偿步骤之后的图像信号来进行光瞳分割法的焦点检测。
作为本发明的又一方面，一种存储介质，用于存储使计算机执行以下步骤的程序：进行摄像元件的各像素的光电转换以生成图像信号，所述摄像元件具有用于接收透过摄像镜头的不同光瞳位置的光束的像素；缺陷像素补偿步骤，用于针对缺陷像素存储单元的输出，使用周围像素的图像信号来补偿缺陷像素，所述缺陷像素存储单元用于存储所述摄像元件的缺陷像素信息；以及基于利用与所述摄像镜头的不同光瞳位置相对应的像素通过光电转换获得的、所述缺陷像素补偿步骤之后的图像信号，来生成具有与所述光瞳位置相对应的多个视差的图像。
通过以下参考附图对典型实施例的说明，本发明的其它特征和方面将变得明显。
附图说明
图1是本发明优选实施例中的照相机系统的结构图。
图2是说明使用图像传感器利用光瞳分割法的焦点检测的原理的图。
图3是本发明优选实施例中的图像传感器的一部分的截面图。
图4是本发明优选实施例中的图像传感器的平面图。
图5是本发明优选实施例中的图像传感器的一部分的平面图。
图6是本发明优选实施例中由图像传感器生成的摄像镜头的线扩散函数的图。
图7是本发明优选实施例中的缺陷像素补偿的图。
图8是本发明优选实施例中的缺陷像素补偿的图。
图9是本发明优选实施例中的缺陷像素补偿的图。
具体实施方式
以下将参考附图说明本发明的优选实施例。
实施例1
图1是本发明优选实施例的照相机系统的结构图。附图标记10表示在数字静态照相机1(摄像设备)的摄像镜头5的成像面上设置的图像传感器(摄像元件)。图像传感器10在同一微透镜中包括用于接收透过摄像镜头5的光瞳的不同位置的光束的多个像素。数字静态照相机1包括用于控制整个数字静态照相机1的CPU20和作为进行图像传感器10的驱动控制的控制器的图像传感器控制电路21。数字静态照相机1还包括对图像传感器10所拍摄的图像信号进行图像处理的图像处理器24(图像处理单元)、作为用于显示通过图像处理器24的图像处理所获得的图像的显示器的液晶显示元件9、以及用于驱动液晶显示元件9的液晶显示元件驱动电路25。此外，数字静态照相机1包括用于观察液晶显示元件9上所显示的被摄体图像的目镜3和用于记录图像传感器10所拍摄的图像的存储器电路22。存储器电路22还具有用于存储与图像传感器10的缺陷像素相关的信息、即缺陷像素信息的缺陷像素存储部的功能。数字静态照相机1还包括接口电路23，接口电路23将通过图像处理器24的图像处理所获得的图像输出至数字静态照相机1的外部。
摄像镜头5可以相对于数字静态照相机1可拆卸，并且为了方便在图中示出为两个透镜5a和5b，但实际上由许多透镜构成。镜头CPU50经由电触点26接收从数字静态照相机1的CPU20发送的调焦信息，并且利用摄像镜头驱动机构51基于调焦信息来调节摄像镜头5以处于聚焦状态。附图标记53表示设置在摄像镜头5的光瞳附近的光圈装置，其被构造为通过光圈驱动机构52被设置为预定光圈值。CPU20还包括作为计算单元和缺陷像素补偿单元的功能，计算单元用于基于图像传感器10的输出来计算摄像镜头5的焦点状态，缺陷像素补偿单元用于基于周围像素的图像信号来补偿下述的缺陷像素。
接着将说明进行摄像并进行焦点检测的图像传感器。
图2是说明使用图像传感器10的光瞳分割法的焦点检测的原理的图，以及图3是图像传感器10的一个像素的截面图。
在摄像镜头5的成像面上设置图像传感器10。图像传感器10的一个像素由两个光电转换部101α和101β构成，并且光电转换部101α和101β被设置为通过在各光电转换部的摄像镜头侧形成的微透镜130相对于摄像镜头5的光瞳处于大致成像的关系。
光电转换部101α接收透过摄像镜头5的光瞳的图中的上部的光束Lα，并且光电转换部101β接收透过摄像镜头5的光瞳的图中的下部的光束Lβ。当进行焦点检测时，经由传送栅极120α和120β在不同时刻将光电转换部101α和101β的电荷单独输出至浮动扩散部121，以将电荷读取至图像传感器10的外部。此外，来自多个像素的各光电转换部的输出生成由透过摄像镜头的不同光瞳位置的光束所形成的图像。
如日本特开平5-127074中所公开的，使用通过透过摄像镜头的不同光瞳位置的光束所生成的图像来进行焦点检测的方法是公知的。
另一方面，在拍摄正常图像时，同时接通传送栅极120α和120β以在同一时刻将光电转换部101α和101β的电荷输出至浮动扩散部121，然后，在像素中将电荷相加，从而进行输出。
图4是示出作为摄像元件的图像传感器10的颜色滤波器和微透镜的平面图。图中的一个单元表示一个微透镜。在各单元中的字符“R”、“G”和“B”表示颜色滤波器的色相。
图5是图4所示的图像传感器10的一部分的平面图，图5示出由图4中的虚线围绕的区域的一个微透镜中的摄像元件的结构。图中的一个单元表示一个微透镜(单位单元)，其由符号a～d的4个分割后的像素构成，像素各自接收透过摄像镜头的光瞳的不同位置的光束。
当拍摄正常图像时，将a～d的4个像素相加以将相加后的像素作为针对一个微透镜的一个像素信号，从而能够拍摄正常图像。
将由实线围绕的像素Ga和Gc以及由虚线围绕的像素Gb和Gd相加以分别形成SAn和SBn信号，然后获得在一维方向(光瞳分割方向)上连接的SA信号和SB信号的相位差以能够检测摄像镜头的焦点。在本实施例中，光瞳分割方向是水平方向。
图6示出通过在光瞳分割方向上将一行的各像素的信号相加并且利用将摄像镜头的光瞳分割成右边和左边(图5所示的SA信号和SB信号)而形成的光束所获得的一对一维图像。检测该对一维图像的相位差以计算摄像镜头的焦点。在本实施例中，由G和B像素或者G和R像素的信号形成该对一维图像。该对一维图像不必须从一行中的所有像素的信号获得，并且还可以从一行中的信号的一部分获得。
还可以通过将G和B像素或者G和R像素相加作为一个像素信号来形成该对一维图像。此外，还通过将构成拜耳阵列的两个G像素、B像素和R像素这四个像素相加作为一个像素信号来形成该对一维图像。
使用光瞳分割法，即，使用透过摄像镜头5的光瞳的不同区域的光束所形成的图像来检测摄像镜头的焦点状态的方法使用例如日本特开2001-124984所公开的方法。
接着，将参考图7说明针对缺陷像素进行缺陷像素补偿的方法。当SB3的b像素是缺陷像素时，作为缺陷像素补偿单元的CPU20利用在针对光瞳分割方向的垂直方向上设置的SB3_U和SB3_D的信号的平均输出来进行补偿。由于利用针对光瞳分割方向的垂直方向上的信号进行补偿，因而相位差信息没有被损坏，因此焦点检测精度没有降低。补偿方法不限于此，并且还可以使用SB3_U和SB3_D信号中的任一信号。可选地，还可以使用SB3_U和SB3_D信号的b像素中的任意一个或者通过合成这些信号而生成的信号。
在以上实施例中，基于针对光瞳分割方向的垂直方向上的像素信号进行补偿，但即使在除了光瞳分割方向以外的方向上进行补偿，相位信息也未被很大地损坏。例如，可以通过使用在与光瞳分割方向不同的方向上设置在缺陷像素附近的并且具有相同颜色的像素的信号来补偿缺陷像素的信号。设置在缺陷像素附近的像素(周围像素)意思是例如位于如下的两个像素(SB2的b像素和SA4的a像素)之间的区域A中的像素，该两个像素是在图7的光瞳分割方向上离包括缺陷像素的微透镜最近的微透镜中、具有与缺陷像素的颜色相同的颜色的像素。优选地，设置在缺陷像素附近的像素意思是在与光瞳分割方向不同的方向上设置的、并且在离包括缺陷像素的微透镜最近的微透镜中具有与缺陷像素的颜色相同的颜色的像素。
在以上实施例中，说明了使用透过与包括缺陷像素的微透镜不同的微透镜的像素信号来进行缺陷像素补偿的例子。然而，当在SB3的Gb像素中存在缺陷时，还可以通过利用来自与包括缺陷像素的微透镜相同的微透镜中与光瞳分割方向不同的方向上的Gd像素的信号来代替SB3的Gb像素以进行缺陷像素补偿。还可以通过合成SB3_U的b像素、SB3_D的b像素和SB3的d像素的信号来生成用于补偿的信号。
在以上实施例中，说明了光瞳分割方向是水平方向的情况，但光瞳分割方向还可以是垂直方向。还可以在水平方向和垂直方向之间切换光瞳分割方向。图8示出光瞳分割方向是垂直方向的情况。例如，SA7的Gb像素是缺陷像素，通过使用在针对光瞳分割方向的垂直方向上的SA7_U和SA7_D的信号的平均输出来进行补偿。由于通过使用针对光瞳分割方向的垂直方向上的信号来进行补偿，因而相位差信息没有被损坏，因此焦点检测精度没有降低。补偿方法不限于以上方法，并且可以使用SA7_U和SA7_D的信号中的任一信号。还可以使用SA7_U的b像素和SA7_D的b像素的信号中的任一信号或者通过合成这些信号所生成的信号。可以通过利用来自在与包括缺陷像素的微透镜相同的微透镜中与光瞳分割方向不同的方向上设置的Ga像素的信号来代替缺陷像素以进行缺陷像素补偿。还可以通过合成SA7_U的b像素、SA7_D的b像素和SA7的a像素的信号而获得的信号来生成用于补偿的信号。
当在同一微透镜中存在与光瞳分割方向不同的方向上的多个像素时，还可以通过使用来自同一微透镜中与光瞳分割方向不同的方向上设置的像素的信号来进行补偿。例如，如图9所示，当SBn中的G8是缺陷像素时，还可以通过使用来自在同一微透镜中与光瞳分割方向不同的方向上设置的G7像素和G9像素的信号来进行补偿。
在本实施例中，通过使用在与光瞳分割方向不同的方向上设置的具有相同颜色的像素来进行补偿，并且可选地可以基于来自在与光瞳分割方向不同的方向上设置的具有不同颜色的像素的信号、根据缺陷像素的周围的颜色比来进行补偿。甚至在该情况下，如上所述，优选为使用来自具有不同颜色的像素的信号、根据缺陷像素的周围的颜色比来补偿缺陷像素的信号。
根据本实施例，即使摄像元件包括缺陷像素，也实现了相关信息未被损坏的补偿并且可以以高精度检测摄像镜头的焦点状态。
实施例2
在实施例2中，使用本发明的照相机系统生成和显示三维图像。本实施例的照相机系统的结构与实施例1的照相机系统相同。因此，与实施例1共用的构成元件由与实施例1相同的附图标记表示。作为生成和显示三维图像的方法，可以使用例如日本特开昭58-24105中所公开的方法。在日本特开昭58-24105中，从所有右侧检测器的输出而生成第一图像，从所有左侧检测器的输出而生成第二图像，并且基于要显示的2个图像的视差来显示三维图像。
在本实施例中，在图1的数字静态照相机1的结构图中，图像处理器24获得通过进行光瞳分割所获得的摄像元件的输出以将该输出处理为具有视差的图像。换句话说，在本实施例中，图像处理器24可以基于使用与摄像镜头5的不同光瞳位置相对应的像素、通过光电转换而获得的信号，来生成具有与光瞳位置相对应的多个视差的图像。
将参考图7说明在显示三维图像时进行针对缺陷像素的缺陷像素补偿的方法。
当SB3的b像素是缺陷像素时，作为缺陷像素补偿单元的CPU20利用在针对光瞳分割方向、即针对视差方向的垂直方向上配置的SB3_U和SB3_D的信号的平均输出来进行补偿。由于通过使用在针对光瞳分割方向的垂直方向上的信号进行补偿，因而可以在不损坏视差信息的情况下显示三维图像。补偿方法不限于以上方法，并且可选地还可以使用实施例1中所述的其它方法。
在本实施例中，通过使用在针对光瞳分割方向的垂直方向上的像素信号来进行补偿，但即使通过使用除光瞳分割方向以外的方向上的像素信号来进行补偿，也不会很大地损坏视差信息。还可以将实施例1中所述的方法应用至使用除光瞳分割方向以外的方向上的像素信号的补偿方法。
在本实施例中，说明了将从透过与包括缺陷像素的微透镜不同的微透镜的像素获得的信号用于缺陷像素补偿的例子。然而，当SB3的Gb像素包括缺陷时，还可以通过利用来自与包括缺陷像素的微透镜相同的微透镜中与光瞳分割方向不同的方向上设置的Gd像素的信号来代替来自Gb像素的信号以进行缺陷像素补偿。
当在同一微透镜中存在与光瞳分割方向不同的方向上的多个像素时，还可以通过使用来自同一微透镜中与光瞳分割方向不同的方向上设置的像素的信号来进行补偿。例如，当如图9所示的SBn中的G8像素是缺陷像素时，还可以通过使用来自同一微透镜中与光瞳分割方向不同的方向上设置的G7像素和G9像素的信号来进行补偿。
在本实施例中，通过使用来自在与光瞳分割方向不同的方向上设置的具有相同颜色的像素的信号来进行补偿，但还可以使用来自与光瞳分割方向不同的方向上设置的具有不同颜色的像素的信号、根据缺陷像素的周围的颜色比来进行补偿。
根据本实施例，可以在不损坏相关信息的情况下实现补偿从而即使摄像元件包括缺陷像素也可以以高精度生成和显示三维图像。
接着将参考图3说明本发明的优选实施例的图像传感器10的结构。
图3是作为图5中图像传感器10的一部分的平面图中所示的由虚线围绕的区域的截面图的、图像传感器10的一部分的截面图。图中右侧的像素表示能够接收来自摄像镜头5的一侧的光瞳区域的光的第一像素，以及图中左侧的像素表示能够接收来自摄像镜头5的另一侧的光瞳区域的光的第二像素。
附图标记117表示P型阱，以及附图标记118表示作为栅极绝缘膜的SiO2膜。附图标记126α和126β是表面P+层，其与n层125α和125β共同构成光电转换部101α和101β。附图标记120α和120β是用于将光电转换部101α和101β中累积的电荷传送至浮动扩散部121的传送栅极。附图标记129表示颜色滤波器，以及附图标记130表示微透镜，并且将微透镜130形成为具有使得摄像镜头5的光瞳与图像传感器10的光电转换部101α和101β共轭的形状和位置。将光电转换部101α和101β形成为在其间设置浮动扩散部121，并且分别经由传送栅极120α和120β传送光电转换部101α和101β中所生成的电荷。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
在以上实施例中，说明了镜头可更换数字静态照相机，但还可以将本发明应用至诸如镜头集成的数字静态照相机或摄像机等的摄像设备(光学设备)。
根据本发明，即使摄像元件包括缺陷像素，也可以在不损坏相关信息的情况下实现补偿。
如上所述，本发明可以提供能够以高精度检测摄像镜头的焦点状态的摄像设备。
Claims (10)
1.一种摄像设备，其特征在于，包括：
摄像元件，其包括二维配置的微透镜，其中在同一微透镜中包括用于接收透过摄像镜头的光瞳的不同位置的光束的多个像素；
检测器，用于使用从所述多个像素获得的信号来生成光瞳分割方向上的一对图像信号，以基于所述一对图像信号的相位差进行焦点检测；
缺陷像素存储单元，用于存储所述摄像元件的缺陷像素信息；以及
缺陷像素补偿单元，用于基于所述缺陷像素存储单元的输出来补偿缺陷像素的信号，
其中，所述缺陷像素补偿单元使用从与所述缺陷像素相同的微透镜中的设置在与所述光瞳分割方向不同的方向上的像素所获得的信号来补偿所述缺陷像素的信号。
2.根据权利要求1所述的摄像设备，其特征在于，所述缺陷像素补偿单元使用从相对于所述缺陷像素设置在所述光瞳分割方向的垂直方向上的像素所获得的信号来补偿所述缺陷像素的信号。
3.根据权利要求1或2所述的摄像设备，其特征在于，通过将从各微透镜中包括的所有像素所获得的信号相加来输出图像信号。
4.根据权利要求1所述的摄像设备，其特征在于，在所述光瞳分割方向是第一方向的情况下、补偿所述缺陷像素的信号所使用的像素与在所述光瞳分割方向是与所述第一方向不同的第二方向的情况下、补偿所述缺陷像素的信号所使用的像素不同。
5.一种摄像设备，其特征在于，包括：
摄像元件，其包括二维配置的微透镜，其中在同一微透镜中包括用于接收透过摄像镜头的光瞳的不同位置的光束的多个像素；
缺陷像素存储单元，用于存储所述摄像元件的缺陷像素信息；
缺陷像素补偿单元，用于基于所述缺陷像素存储单元的输出来补偿缺陷像素的信号；以及
图像处理单元，用于基于在与摄像镜头的不同光瞳位置相对应的像素中生成的信号来生成具有与所述光瞳位置相对应的多个视差的图像，
其中，所述缺陷像素补偿单元使用从与所述缺陷像素相同的微透镜中的设置在与光瞳分割方向不同的方向上的像素所获得的信号来补偿所述缺陷像素的信号。
6.根据权利要求5所述的摄像设备，其特征在于，所述缺陷像素补偿单元使用从相对于所述缺陷像素设置在所述光瞳分割方向的垂直方向上的像素所获得的信号来补偿所述缺陷像素的信号。
7.根据权利要求5或6所述的摄像设备，其特征在于，通过将从各微透镜中包括的所有像素所获得的信号相加来输出图像信号。
8.根据权利要求5所述的摄像设备，其特征在于，在所述光瞳分割方向是第一方向的情况下、补偿所述缺陷像素的信号所使用的像素与在所述光瞳分割方向是与所述第一方向不同的第二方向的情况下、补偿所述缺陷像素的信号所使用的像素不同。
9.一种焦点检测方法，其特征在于，包括以下步骤：
进行摄像元件的各像素的光电转换，其中，所述摄像元件包括二维配置的微透镜，在同一微透镜中包括用于接收透过摄像镜头的光瞳的不同位置的光束的多个像素；
缺陷像素补偿步骤，用于针对缺陷像素存储单元的输出，使用周围像素的图像信号来补偿缺陷像素，所述缺陷像素存储单元用于存储所述摄像元件的缺陷像素信息；以及
基于所述缺陷像素补偿步骤之后的图像信号来进行光瞳分割法的焦点检测，
其中，所述缺陷像素补偿步骤使用从与所述缺陷像素相同的微透镜中的设置在与光瞳分割方向不同的方向上的像素所获得的信号来补偿所述缺陷像素的信号。
10.一种图像生成方法，其特征在于，包括以下步骤：
进行摄像元件的各像素的光电转换，其中，所述摄像元件包括二维配置的微透镜，在同一微透镜中包括用于接收透过摄像镜头的光瞳的不同位置的光束的多个像素；
缺陷像素补偿步骤，用于针对缺陷像素存储单元的输出，使用周围像素的图像信号来补偿缺陷像素，所述缺陷像素存储单元用于存储所述摄像元件的缺陷像素信息；以及
基于利用与摄像镜头的不同光瞳位置相对应的像素通过光电转换获得的、所述缺陷像素补偿步骤之后的图像信号，来生成具有与所述光瞳位置相对应的多个视差的图像，
其中，所述缺陷像素补偿步骤使用从与所述缺陷像素相同的微透镜中的设置在与光瞳分割方向不同的方向上的像素所获得的信号来补偿所述缺陷像素的信号。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011033181 | 2011-02-18 | ||
| JP2011-033181 | 2011-02-18 | ||
| JP2011252724A JP5954964B2 (ja) | 2011-02-18 | 2011-11-18 | 撮像装置およびその制御方法 |
| JP2011-252724 | 2011-11-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102685406A CN102685406A (zh) | 2012-09-19 |
| CN102685406B true CN102685406B (zh) | 2016-04-06 |
Family
ID=46652423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210040254.7A Active CN102685406B (zh) | 2011-02-18 | 2012-02-20 | 摄像设备、焦点检测方法和图像生成方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8854510B2 (zh) |
| JP (1) | JP5954964B2 (zh) |
| CN (1) | CN102685406B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011155297A1 (ja) * | 2010-06-09 | 2011-12-15 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
| JP5697433B2 (ja) * | 2010-12-22 | 2015-04-08 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US8742309B2 (en) | 2011-01-28 | 2014-06-03 | Aptina Imaging Corporation | Imagers with depth sensing capabilities |
| US10015471B2 (en) * | 2011-08-12 | 2018-07-03 | Semiconductor Components Industries, Llc | Asymmetric angular response pixels for single sensor stereo |
| US9554115B2 (en) * | 2012-02-27 | 2017-01-24 | Semiconductor Components Industries, Llc | Imaging pixels with depth sensing capabilities |
| JP2014106476A (ja) * | 2012-11-29 | 2014-06-09 | Canon Inc | 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体 |
| JP6346439B2 (ja) * | 2013-01-07 | 2018-06-20 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5911445B2 (ja) * | 2013-03-19 | 2016-04-27 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| CN105075235B (zh) * | 2013-03-27 | 2018-07-06 | 富士胶片株式会社 | 图像处理装置、摄像装置以及图像处理方法 |
| JP6124717B2 (ja) * | 2013-07-16 | 2017-05-10 | オリンパス株式会社 | 撮像素子、焦点検出装置 |
| JP6033454B2 (ja) * | 2013-09-27 | 2016-11-30 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
| JP2015230355A (ja) * | 2014-06-04 | 2015-12-21 | リコーイメージング株式会社 | 撮像装置および撮像素子 |
| JP6639326B2 (ja) * | 2015-07-30 | 2020-02-05 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 |
| GB2543127B (en) | 2015-07-30 | 2018-11-21 | Canon Kk | Control apparatus, image pickup apparatus, control method, program, and storage medium |
| JP6723709B2 (ja) * | 2015-09-11 | 2020-07-15 | キヤノン株式会社 | 撮像装置、画像処理装置及びそれらの制御方法 |
| US9792879B2 (en) * | 2015-12-08 | 2017-10-17 | Himax Technologies Limited | Display system and driving method |
| EP4027640A1 (en) * | 2017-04-25 | 2022-07-13 | Sony Group Corporation | Solid state image sensor and electronic equipment |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101038363A (zh) * | 2006-03-15 | 2007-09-19 | 奥林巴斯映像株式会社 | 焦点调节装置及照相机 |
| CN101075073A (zh) * | 2006-05-16 | 2007-11-21 | 奥林巴斯映像株式会社 | 数字照相机和照相机系统 |
| CN101889231A (zh) * | 2007-12-10 | 2010-11-17 | 佳能株式会社 | 图像摄取设备及其控制方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4410804A (en) | 1981-07-13 | 1983-10-18 | Honeywell Inc. | Two dimensional image panel with range measurement capability |
| JP3592147B2 (ja) * | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
| JP2001250931A (ja) * | 2000-03-07 | 2001-09-14 | Canon Inc | 固体撮像装置およびこれを用いた撮像システム |
| JP4054184B2 (ja) | 2001-10-03 | 2008-02-27 | オリンパス株式会社 | 欠陥画素補正装置 |
| JP4027113B2 (ja) | 2002-02-19 | 2007-12-26 | キヤノン株式会社 | 撮像装置及びシステム |
| JP4835270B2 (ja) * | 2006-06-03 | 2011-12-14 | 株式会社ニコン | 固体撮像素子及びこれを用いた撮像装置 |
| JP5040458B2 (ja) * | 2007-06-16 | 2012-10-03 | 株式会社ニコン | 固体撮像素子及びこれを用いた撮像装置 |
| JP5200955B2 (ja) | 2008-02-14 | 2013-06-05 | 株式会社ニコン | 画像処理装置、撮像装置及び画像処理プログラム |
| JP5371331B2 (ja) * | 2008-09-01 | 2013-12-18 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
| JP5472584B2 (ja) * | 2008-11-21 | 2014-04-16 | ソニー株式会社 | 撮像装置 |
-
2011
- 2011-11-18 JP JP2011252724A patent/JP5954964B2/ja active Active
-
2012
- 2012-02-13 US US13/371,905 patent/US8854510B2/en active Active
- 2012-02-20 CN CN201210040254.7A patent/CN102685406B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101038363A (zh) * | 2006-03-15 | 2007-09-19 | 奥林巴斯映像株式会社 | 焦点调节装置及照相机 |
| CN101075073A (zh) * | 2006-05-16 | 2007-11-21 | 奥林巴斯映像株式会社 | 数字照相机和照相机系统 |
| CN101889231A (zh) * | 2007-12-10 | 2010-11-17 | 佳能株式会社 | 图像摄取设备及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012186789A (ja) | 2012-09-27 |
| US8854510B2 (en) | 2014-10-07 |
| CN102685406A (zh) | 2012-09-19 |
| JP5954964B2 (ja) | 2016-07-20 |
| US20120212654A1 (en) | 2012-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102685406B (zh) | 摄像设备、焦点检测方法和图像生成方法 | |
| US9798155B2 (en) | Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed | |
| CN205211754U (zh) | 图像传感器 | |
| CN103493484B (zh) | 成像装置和成像方法 | |
| US9247227B2 (en) | Correction of the stereoscopic effect of multiple images for stereoscope view | |
| CN102883093B (zh) | 摄像装置以及摄像元件 | |
| US20120026297A1 (en) | Imaging apparatus and imaging method | |
| US20120147150A1 (en) | Electronic equipment | |
| US20130215238A1 (en) | Imaging apparatus and image sensor array | |
| CN102655569A (zh) | 成像器件和成像装置 | |
| CN103098459B (zh) | 立体摄像装置及阴影校正方法 | |
| JP5979961B2 (ja) | 焦点検出装置、焦点検出方法及び撮像装置 | |
| CN104125394B (zh) | 摄像装置及其控制方法 | |
| US8878910B2 (en) | Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium | |
| KR101725045B1 (ko) | 화상처리장치 및 그 제어방법 | |
| CN102215330A (zh) | 摄像装置以及照相机 | |
| US20120230549A1 (en) | Image processing device, image processing method and recording medium | |
| CN103733133A (zh) | 摄像装置、其控制方法和程序 | |
| JP2014002283A (ja) | 焦点調節装置及びその制御方法 | |
| JP2014209169A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| CN104508531A (zh) | 拍摄元件和拍摄装置 | |
| CN109474781A (zh) | 摄像装置、摄像装置的控制方法、记录介质 | |
| CN105391934B (zh) | 焦点检测设备、其控制方法以及摄像装置 | |
| CN103797415B (zh) | 摄像设备及其控制方法 | |
| CN103843319A (zh) | 摄像元件及摄像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |