CN104243778B - 摄像设备、摄像系统和信号处理方法 - Google Patents

摄像设备、摄像系统和信号处理方法 Download PDF

Info

Publication number
CN104243778B
CN104243778B CN201410256200.3A CN201410256200A CN104243778B CN 104243778 B CN104243778 B CN 104243778B CN 201410256200 A CN201410256200 A CN 201410256200A CN 104243778 B CN104243778 B CN 104243778B
Authority
CN
China
Prior art keywords
signal
photoelectric conversion
pixel
corrected value
conversion part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410256200.3A
Other languages
English (en)
Other versions
CN104243778A (zh
Inventor
内田峰雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104243778A publication Critical patent/CN104243778A/zh
Application granted granted Critical
Publication of CN104243778B publication Critical patent/CN104243778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Abstract

本发明涉及一种摄像设备、摄像系统和信号处理方法。所述摄像设备包括：摄像部件，其包括与多个微透镜分别相对应的多个像素，所述摄像部件还包括第一光电转换部和第二光电转换部，所述第一光电转换部和所述第二光电转换部包含在所述多个像素中的各像素内以共用所述多个微透镜中的相应微透镜；以及信号处理部件，用于校正来自所述多个像素中的各像素内所包含的所述第一光电转换部和所述第二光电转换部的输出的相加信号、以及根据与所述多个微透镜相对应的多个所述第一光电转换部的多个信号所生成的第一信号，其中，所述信号处理部件针对所述多个像素中的各像素校正所述相加信号，并且针对所述第一光电转换部校正所述第一信号。

Description

摄像设备、摄像系统和信号处理方法
技术领域
本发明涉及包括摄像元件的摄像设备，尤其涉及包括针对每个像素具有多个子像素的摄像元件的摄像设备。
背景技术
近来的包括诸如CMOS传感器等的摄像元件的摄像设备具有多功能性，并且不仅生成诸如静止图像或运动图像等的所拍摄图像，而且还基于摄像元件所获得的被摄体信息来进行摄像设备的诸如调焦等的控制。
日本特开2001-124984公开了能够使用从摄像元件获得的信号来进行利用光瞳分割方法的焦点检测的结构。日本特开2001-124984公开了如下结构：针对摄像元件的各像素设置一个微透镜和两个光电二极管，其中这些光电二极管被配置为接收穿过摄像镜头的不同光瞳区域的光。这种结构使得能够通过比较来自两个光电二极管的输出信号来进行焦点检测，并且通过对来自这两个光电二极管的输出信号进行相加来生成所拍摄图像。
诸如CMOS传感器等的摄像元件需要针对各像素(或针对各像素列、或针对各像素行)的诸如偏移校正和增益校正等的校正，以去除摄像元件的信号读出所引起的固定模式噪声。
然而，在如日本特开2001-124984所公开的针对各像素设置有多个光电二极管的情况下，针对各光电二极管进行校正导致校正数据量增大，从而需要较大的存储器容量。
发明内容
本发明提供能够利用小的校正数据量、从摄像元件以高精度生成摄像信号和焦点检测信号这两者的摄像设备、摄像系统和信号处理方法。
作为本发明的一个方面的摄像设备，包括：摄像部件，其包括与多个微透镜分别相对应的多个像素，所述摄像部件还包括第一光电转换部和第二光电转换部，所述第一光电转换部和所述第二光电转换部包含在所述多个像素中的各像素内以共用所述多个微透镜中的相应微透镜；以及信号处理部件，用于校正来自所述多个像素中的各像素内所包含的所述第一光电转换部和所述第二光电转换部的输出的相加信号、以及根据与所述多个微透镜相对应的多个所述第一光电转换部的多个信号所生成的第一信号，其特征在于，所述信号处理部件针对所述多个像素中的各像素校正所述相加信号，并且针对所述第一光电转换部校正所述第一信号。
作为本发明的另一方面的摄像系统包括：上述摄像设备；以及镜头设备，其能够拆卸地安装在所述摄像设备上。
作为本发明的另一方面的信号处理方法，用于对从包括与多个微透镜分别相对应的多个像素的摄像部件所获得的信号进行处理，所述摄像部件包括第一光电转换部和第二光电转换部，所述第一光电转换部和所述第二光电转换部包含在所述多个像素中的各像素内以共用所述多个微透镜中的相应微透镜，所述信号处理方法包括以下步骤：获取来自所述多个像素中的各像素内所包括的所述第一光电转换部和所述第二光电转换部的输出的相加信号；获取与所述多个微透镜相对应的所述第一光电转换部的多个信号；生成根据所述多个信号所生成的第一信号；以及针对所述多个像素中的各像素校正所述相加信号，并且针对所述第一光电转换部校正所述第一信号。
通过以下参考附图对典型实施例的说明，本发明的其它特征和方面将变得明显。
附图说明
图1是各实施例中的摄像设备的框图。
图2是各实施例中的摄像元件的像素阵列图。
图3是示出各实施例中的像素和从摄像镜头的出射光瞳发出的光束之间的关系的示意图。
图4A和4B是示出各实施例中的从摄像元件的子像素所获得的图像信号波形的示意图。
图5是各实施例中的摄像元件的整体结构图。
图6是各实施例中的摄像元件的单位像素(一个像素)的电路结构图。
图7是各实施例中的摄像元件的列共通读出电路的结构图。
图8是示出各实施例中的摄像元件的各行的读出操作的时序图。
图9是第一实施例的摄像设备中的数字信号处理器(DSP)的框图和信号处理的说明图。
图10是第一实施例的变形例的摄像设备中的数字前端(DFE)和DSP的框图以及信号处理的说明图。
图11是第二实施例的摄像设备中的DSP的框图和信号处理的说明图。
图12是第三实施例的摄像设备中的DSP的框图和信号处理的说明图。
图13是第四实施例的摄像设备中的DFE和DSP的框图以及信号处理的说明图。
图14是第四实施例的摄像设备中的从DSP向着DFE的校正值的传送定时的说明图。
图15是第五实施例的摄像设备中的DFE和DSP的框图以及信号处理的说明图。
图16是第五实施例的摄像设备中的从DSP向着DFE的校正值的传送定时的说明图。
图17A和17B是第六实施例中的图像信号A的读出区域和校正值的说明图。
具体实施方式
以下将参考附图来说明本发明的典型实施例。在各图中，将利用相同的附图标记来表示相同的元件，并且将省略针对这些元件的重复说明。
首先，将参考图1来说明各实施例中的摄像设备的结构。图1是各实施例中的摄像设备100的结构。附图标记101表示第一透镜单元，其中该第一透镜单元101配置在摄像光学系统的前端并且被保持成能够在光轴方向上前后移动。附图标记102表示光圈，其中调节该光圈102的开口直径以进行拍摄时的光强度调节。附图标记103表示第二透镜单元，其中该第二透镜单元103与第一透镜单元101的前后动作连动地进行变倍操作(变焦功能)。附图标记104表示第三透镜单元，其中该第三透镜单元104通过在光轴方向上前后移动来进行调焦。附图标记105表示作为用于减轻所拍摄图像中的伪色或摩尔纹的光学元件的光学低通滤波器。
在各实施例中，上述各透镜单元构成摄像光学系统。包括该摄像光学系统的镜头设备与摄像设备本体一体构成，但各实施例不限于该结构。各实施例还可应用于包括摄像设备本体和可拆卸地安装在该摄像设备本体上的镜头设备(摄像光学系统)的摄像系统。
附图标记106表示摄像元件(摄像部件)，其中该摄像元件106对摄像光学系统(上述的透镜单元)所形成的被摄体图像(光学图像)进行光电转换。在各实施例中，摄像元件106是具有拜尔(Bayer)阵列的CMOS图像传感器。摄像元件106输出模拟图像信号，然后利用模拟前端(AFE)107将该模拟图像信号转换成数字信号。将从AFE107输出的数字图像信号输入至数字前端(DFE)108以进行预定的计算处理。DFE 108连同以下所述的数字信号处理器(DSP)109一起构成信号处理器(信号处理部件)。
附图标记109表示DSP，其中DSP 109对从DFE 108输出的数字图像信号进行校正处理或显像处理等。DSP 109还进行用于根据图像信号(数字图像信号)计算焦点偏移量的自动调焦(AF)计算。附图标记110表示记录图像数据的记录介质。附图标记111表示显示所拍摄图像或各种菜单画面的显示单元，并且例如是液晶显示器(LCD)。附图标记112表示RAM，其中RAM 112临时存储图像数据等并且连接至DSP 109。附图标记113表示时序发生器(TG)，其中该TG 113将驱动信号供给至摄像元件106。
附图标记114表示CPU，其中该CPU 114控制AFE 107、DFE 108、DSP 109、TG 113和光圈驱动电路115。CPU 114还基于DSP 109所进行的AF计算的结果来控制调焦驱动电路116。附图标记115表示光圈驱动电路，其中光圈驱动电路115通过控制光圈致动器117来驱动光圈102。附图标记116表示调焦驱动电路，其中该调焦驱动电路116通过控制调焦致动器118来在光轴方向上前后移动(驱动)第三透镜单元104以进行调焦。附图标记119表示ROM，其中ROM 119例如存储有各种校正数据。
接着，将参考图2来说明各实施例中的摄像元件106的像素阵列。图2是摄像元件106的像素阵列图。如图2所示，摄像元件106包括排列成矩阵的多个单位像素300(一个像素)，其中各像素包括按拜尔阵列配置的R(红色)、G(绿色)和B(蓝色)的颜色滤波器中的任意颜色滤波器。在单位像素300各自内配置有子像素“a”(第一光电转换部)和子像素“b”(第二光电转换部)。图2中的附图标记401a和401b分别表示子像素“a”和“b”的光电二极管(以下称为“PD”)。使用子像素“a”和“b”各自的输出信号来进行焦点检测。将子像素“a”和“b”的输出信号相加到一起以得到信号(a/b相加信号)，然后使用该a/b相加信号来进行图像生成(所拍摄图像的生成)。
接着，将参考图3来说明从包括第一透镜单元101、光圈102、第二透镜单元103和第三透镜单元104的摄像光学系统(摄像镜头)的出射光瞳发出的光束与摄像元件106的单位像素300之间的关系。图3是示出从摄像光学系统(摄像镜头)的出射光瞳发出的光束和单位像素300之间的关系的示意图。
附图标记201表示颜色滤波器，并且附图标记202表示微透镜。颜色滤波器201和微透镜202各自形成在单位像素300(PD 401a和401b)上。附图标记203表示摄像光学系统(摄像镜头)的出射光瞳。附图标记204表示光轴，其中该光轴表示从出射光瞳203向着包括微透镜202的像素(单位像素300)发出的光束的中心。穿过出射光瞳203的光束以光轴204为中心入射到单位像素300上。
附图标记205和206表示摄像光学系统(摄像镜头)的出射光瞳中的彼此不同的光瞳区域(部分区域)。如图3所示，穿过光瞳区域205的光束经由微透镜202被子像素“a”接收到。作为对比，穿过光瞳区域206的光束经由微透镜202被子像素“b”接收到。如上所述，子像素“a”和“b”接收来自摄像镜头的出射光瞳的各区域(相互不同的区域)的光。这使得能够通过比较子像素“a”和“b”的输出信号来进行利用相位差方法的焦点检测。
接着，将参考图4A和4B来说明根据摄像元件106的子像素“a”和“b”所获得的图像信号波形。图4A和4B是根据子像素“a”和“b”所获得的图像信号波形的示意图，其中图4A示出没有处于聚焦状态(处于失焦状态)的状态，并且图4B示出聚焦状态(大致聚焦状态)。在图4A和4B中，纵轴表示信号输出并且横轴表示位置(像素水平位置)。
在如图4A所示不处于聚焦状态(处于失焦状态)的状态下，根据子像素“a”和“b”所获得的图像信号波形(子像素“a”和子像素“b”的信号的波形)不一致并且彼此大幅偏移。从失焦状态越接近聚焦状态，则如图4B所示，子像素“a”和“b”的信号波形的偏移量越小。然后，在聚焦状态下，这两个图像信号波形彼此重叠。这样，基于根据子像素“a”和“b”所获得的图像信号波形的偏移(偏移量)来检测失焦量(散焦量)，由此进行调焦。
接着，将参考图5来说明摄像元件106的整体结构。图5是摄像元件106的整体结构图。符号PA表示摄像元件106的像素区域。像素区域PA包括配置成p11～pkn的二维排列(矩阵)的单位像素300。
接着，将参考图6来说明单位像素300(一个像素)的电路结构。图6是单位像素300的电路结构图。子像素“a”和“b”的PD401a和401b对入射的光信号(光学图像)进行光电转换并且累积与曝光量相对应的电荷。附图标记402a和402b表示传输栅极，其中在将信号txa和txb各自设置为高电平的情况下，该传输栅极402a和402b将PD 401a和401b中所累积的电荷分别传送至浮动扩散单元(FD单元)403。FD单元403连接至FD放大器404(浮动扩散放大器)的栅极，其中FD放大器404将从PD 401a和401b传送来的电荷量转换成电压。
附图标记405表示FD复位开关，其中在将信号res设置为高电平的情况下，该FD复位开关405对FD单元403进行复位。在对PD 401a和401b的电荷进行复位的情况下，同时将信号res以及信号txa和txb各自设置为高电平使传输栅极402a和402b以及FD复位开关405两者都接通。然后，经由FD单元403对PD401a和401b进行复位。附图标记406表示像素选择开关，其中在将信号sel设置为高电平的情况下，该像素选择开关406将由FD放大器404转换成电压的像素信号输出至单位像素300(像素)的输出vout。
返回参考图5，垂直扫描电路301将用于控制上述各像素(单位像素300)的晶体管的诸如信号res、txa、txb和sel等的驱动信号供给至单位像素300。这些驱动信号针对像素区域PA的各行是相同的。各像素的输出vout针对各列经由垂直输出线302连接至列共通读出电路303(clm1,clm2,…,clmk)。
接着，将参考图7来说明列共通读出电路303的电路结构。图7是列共通读出电路303的结构图。垂直输出线302是针对各列所设置的，并且连接至一列的单位像素300的输出vout。垂直输出线302连接至电流源304，并且电流源304和连接至垂直输出线302的单位像素300的FD放大器404构成源极跟随器电路。附图标记501表示箝位电容器C1，附图标记502表示反馈电容器C2，附图标记503表示计算放大器，并且非反相输入端子连接至基准源Vref。附图标记504表示利用信号cfs所控制的开关，其中该开关504使反馈电容器C2的两端发生短路。
传送开关505～508是用于将从单位像素300读出的信号分别传送至电容器509～512的开关。通过后面所述的读出操作，电容器509(第一S信号存储电容器)存储子像素“a”的像素信号Sa，并且电容器511(第二S信号存储电容器)存储通过对子像素“a”和“b”的信号进行相加所获得的a/b相加信号Sab。电容器510(第一N信号存储电容器)和电容器512(第二N信号存储电容器)这两者都存储单位像素300的噪声信号N。电容器509～512分别连接至列共通读出电路303的输出vsa、vna、vsb和vnb。
返回参考图5，列共通读出电路303的输出vsa和vna分别连接至水平传送开关305和306。利用水平扫描电路311的输出信号ha*(“*”是列编号1～k)来控制水平传送开关305和306。在将信号ha*设置为高电平的情况下，将电容器509(第一S信号存储电容器)和电容器510(第一N信号存储电容器)的信号分别传送至水平输出线309和310。列共通读出电路303的输出vsb和vnb分别连接至水平传送开关307和308。利用水平扫描电路311的输出信号hb*(“*”是列编号1～k)来控制水平传送开关307和308。在将信号hb*设置为高电平的情况下，将电容器511(第二S信号存储电容器)和电容器512(第二N信号存储电容器)的信号分别传送至水平输出线309和310。
水平输出线309和310连接至差分放大器314的输入单元。差分放大器314计算S信号和N信号之间的差分，同时施加预定增益以将由此得到的输出信号输出至输出端子315。附图标记312和313表示水平输出线复位开关，其中在将信号chres设置为高的情况下，这些水平输出线复位开关312和313接通以将水平输出线309和310分别复位为复位电压Vchres。
接着，将参考图8来说明摄像元件106的读出操作。图8是示出摄像元件106的各行的读出操作的时序图。首先，将信号cfs设置为高电平以接通开关504，由此将计算放大器503设置为缓冲状态。随后，将信号sel设置为高电平以接通像素的像素选择开关406。然后，将信号res设置为低电平以断开FD复位开关405，由此释放FD单元403的复位。
随后，将信号cfs返回设置为低电平以断开开关504，然后将信号tna和tnb各自设置为高电平，这使得将N信号经由传送开关506和508分别存储在电容器510(第一N信号存储电容器)和电容器512(第二N信号存储电容器)中。
随后，在将信号tna和tnb设置为低以断开传送开关506和508之后，将信号tsa设置为高电平以接通传送开关505，并且将信号txa设置为高电平以接通传输栅极402a。该操作将子像素“a”的PD 401a中所累积的信号经由FD放大器504和像素选择开关406输出至垂直输出线302。垂直输出线302的信号由计算放大器503利用与箝位电容器C1和反馈电容器C2之间的电容比相对应的增益进行放大，并且经由传送开关505被存储在电容器509(第一S信号存储电容器)中(像素信号Sa)。
随后，在将信号txa和信号tsa顺次设置为低电平之后，将信号tsb设置为高电平以接通传送开关507，并且将信号txa和txb设置为高电平以接通传输栅极402a和402b。该操作在FD单元403中将子像素“b”的PD 402b中所累积的信号与子像素“a”的信号相加，以将相加信号经由FD放大器404和像素选择开关406输出至垂直输出线302。垂直输出线302的信号由计算放大器503利用与箝位电容器C1和反馈电容器C2之间的电容比相对应的增益进行放大，并且经由传送开关505被存储在电容器511(第二S信号存储电容器)中(a/b相加信号Sab)。然后，在传输栅极402a和402b以及传送开关507顺次断开之后，将信号res设置为高电平以接通FD复位开关405，由此对FD单元403进行复位。
随后，将水平扫描电路311的输出ha1设置为高电平以接通水平传送开关305和306。然后，将电容器509(第一S信号存储电容器)和电容器510(第一N信号存储电容器)的信号经由水平输出线309和310以及差分放大器314输出至输出端子315。水平扫描电路311将作为各列的选择信号的输出信号hb1,hb2,…,hbk顺次设置为高，由此输出各行的子像素的信号(图像信号A)。
在图像信号A的读出结束之后，将水平扫描电路311的输出信号hb1设置为高电平以接通水平传送开关307和308。然后，将电容器511(第二S信号存储电容器)和电容器512(第二N信号存储电容器)的信号经由水平输出线309和310以及差分放大器314输出至输出端子315。水平扫描电路311将作为各列的选择信号的输出信号hb1,hb2,…,hbk顺次设置为高，由此输出各行的a/b相加信号(图像信号AB)。
在利用输出信号ha1～hak和输出信号hb1～hbk读出各列的信号时，将信号chres设置为高电平。这样接通了水平输出线复位开关312和313以一次将水平输出线309和310复位为复位电压Vchres的电平。
以下将详细说明摄像设备100和信号处理方法的实施例。
第一实施例
首先，将参考图9来说明本发明的第一实施例中用于对图像信号A和图像信号AB进行信号处理的方法。图9是本实施例中的DSP 109的框图和信号处理的说明图。
附图标记601表示输入数据处理单元。输入数据处理单元601经由AFE107和DFE108接收通过上述读出操作从摄像元件106所读出的信号(图像信号A和图像信号AB)。输入数据处理单元601将从DFE 108所输入的图像信号A输出至像素相加处理单元604(像素相加处理器)。输入数据处理单元601还将从DFE 108所输入的图像信号AB输入至第一偏移校正单元602和像素相加处理单元604。
第一偏移校正单元602使用ROM 119中预先存储的数据来对图像信号AB进行偏移处理。在本实施例中，第一偏移校正单元602针对各像素列进行偏移加减。附图标记603表示第一增益校正单元。第一增益校正单元603使用ROM 119中预先存储的数据来对图像信号AB进行增益校正。在本实施例中，第一增益校正单元603针对各像素列乘以预定增益以校正该列的增益差。然后，对第一偏移校正单元602和第一增益校正单元603校正后的信号进行显像处理，以用来生成诸如静止图像或运动图像等的图像。
像素相加处理单元604对图像信号A和图像信号AB进行像素相加处理。在本实施例中，像素相加处理单元604按2×2个像素的拜尔单位对像素信号(图像信号A或图像信号AB)进行相加以生成亮度信号A或亮度信号AB。该处理使图像信号A和图像信号AB的数据量分别在水平方向上减少了1/2并且在垂直方向上减少了1/2。附图标记605表示图像信号相减单元(图像信号减法器)。图像信号相减单元605从亮度信号AB(Yab)中减去亮度信号A(Ya)以生成亮度信号B(Yb)。亮度信号AB(Yab)是通过对子像素“a”和“b”的信号进行相加所获得的信号，并且亮度信号A(Ya)是子像素“a”的信号。因此，这两者的差(Yab-Ya)是子像素“b”的亮度信号B(Yb)。
第二偏移校正单元606使用ROM 119中预先存储的数据来对亮度信号A和亮度信号B进行偏移校正。在本实施例中，第二偏移校正单元606以在像素相加处理单元604中经过了相加之后的列为单位，对亮度信号A和亮度信号B进行偏移加减。附图标记607表示第二增益校正单元。第二增益校正单元607使用ROM 119中预先存储的数据来对亮度信号A和亮度信号B进行增益校正。在本实施例中，第二增益校正单元607以在像素相加处理单元604中经过了相加之后的列为单位，乘以预定增益以校正各列的增益差。将在第二偏移校正单元606和第二增益校正单元607中进行校正后的信号输出至AF计算单元608(焦点检测部件)。然后，AF计算单元608基于校正后的信号来进行AF计算以检测散焦量(计算被摄体的焦点偏移量)。同时，AF计算单元608基于亮度信号A(第一信号)和亮度信号B(第三信号)来进行焦点检测。然后，CPU114基于AF计算单元608的计算结果来控制调焦驱动电路116以进行调焦。
本实施例说明了DSP 109进行一整套处理的结构，但不限于该结构。例如，如图10所示，DSP 109可以进行第一偏移校正单元602和第一增益校正单元603的功能，并且DFE108可以进行其它功能。
图10是本实施例的变形例中的DFE 108a和DSP 109a的框图以及信号处理的说明图。如图10所示，在本变形例中，DFE 108a包括输入数据处理单元611、像素相加处理单元614、图像信号相减单元615、第二偏移校正单元616、第二增益校正单元617和AF计算单元618。DSP 109a包括第一偏移校正单元602和第一增益校正单元603。利用这种结构，可以获得本实施例的优点。
如上所述，摄像元件106包括与各微透镜相对应的多个像素(单位像素300)。摄像元件106包括包含在各个像素中以共用相应的一个微透镜的第一光电转换部(子像素“a”)和第二光电转换部(子像素“b”)。
信号处理器(DFE 108或DSP 109)获取并校正来自各个像素中所包含的第一光电转换部和第二光电转换部的输出的相加信号(图像信号AB)。该信号处理器还获取与各微透镜相对应的第一光电转换部的多个信号(图像信号A)，并且校正根据这些信号所生成的第一图像(亮度信号A)。
如上所述，摄像元件106将相加信号(图像信号AB)和多个信号(图像信号A)输出至信号处理器(DFE 108或DSP 109)。该信号处理器根据多个信号生成第一信号。然后，该信号处理器针对各像素校正相加信号，并且针对第一光电转换部校正第一信号。优选地，该信号处理器对各个相加信号或各个第一信号进行偏移校正或增益校正。
在本实施例中，信号处理器(像素相加处理单元604或614)根据与各微透镜相对应的第一光电转换部(子像素“a”)和第二光电转换部(子像素“b”)的多个相加信号来生成第二信号(亮度信号AB)。信号处理器(图像信号相减单元605或615)还从该第二信号中减去第一信号以生成第三信号(亮度信号B)。然后，信号处理器(第二偏移校正单元606或616以及第二增益校正单元607或617)针对第二光电转换部校正第三信号。
利用本实施例的结构，在像素相加处理单元604中减少AF计算所使用的信号(图像信号A和图像信号AB)的数据量，然后对这些信号进行校正(偏移校正和增益校正)。这样减少了图像信号A和图像信号AB所使用的校正数据量。在本实施例中，这些数据量在水平方向上减少了1/2。与没有利用像素相加来进行校正的情况相比，如此使校正数据量减少了1/2。这样使得能够减少用于存储校正数据的ROM 119的存储器容量。
第二实施例
接着，将参考图11来说明本发明的第二实施例中的用于对图像信号A和图像信号AB进行信号处理的方法。图11是本实施例中的DSP 109b的框图和信号处理的说明图。在本实施例中，无需针对亮度信号B(Yb)的校正数据，由此与第一实施例相比进一步减少了校正数据量。
在图11中，输入数据处理单元701接收从DFE 108输出的图像信号A和图像信号AB。然后，输入数据处理单元701将图像信号A输出至A像素相加处理单元704。输入数据处理单元701还将图像信号AB输出至第一偏移校正单元602。
在本实施例中，第一偏移校正单元602和第一增益校正单元603与第一实施例相同。附图标记709表示AB像素相加处理单元。AB像素相加处理单元709对在第一偏移校正单元602和第一增益校正单元603中进行校正后的图像信号AB进行像素相加处理。与第一实施例所述的像素相加处理单元604相同，AB像素相加处理单元709按2×2个像素的拜尔单位对像素信号(校正后的图像信号AB)进行相加以生成亮度信号AB(Yab)。A像素相加处理单元704对图像信号A进行相同的像素相加处理以生成亮度信号A(Ya)。通过AB像素相加处理单元709和A像素相加处理单元704中的处理，使图像信号AB和图像信号A的数据量分别在水平方向上减少了1/2并且在垂直方向上减少了1/2。
在A像素相加处理单元704中的像素相加处理之后，第二偏移校正单元706和第二增益校正单元707对亮度信号A进行偏移校正和增益校正。这些校正与第一实施例相同。图像信号相减单元705从AB像素相加处理单元709所输出的亮度信号AB(Yab)中减去第二增益校正单元707所输出的亮度信号A(Ya)以生成亮度信号B(Yb)。将从图像信号相减单元705输出的亮度信号A和亮度信号B输入至AF计算单元608。与第一实施例相同，AF计算单元608基于亮度信号A和亮度信号B来进行AF计算。
如上所述，本实施例中的信号处理器(第一偏移校正单元602和第一增益校正单元603)针对各像素校正与各微透镜相对应的第一光电转换部和第二光电转换部的多个相加信号(图像信号AB)。在该校正之后，信号处理器(AB像素相加处理单元709)根据这些相加信号生成第二信号(亮度信号AB)。然后，信号处理器(图像信号相减单元705)从第二信号(亮度信号AB)中减去针对第一光电转换部进行校正后的第一信号(校正后的亮度信号A)以生成第三信号(亮度信号B)。
本实施例的结构使得不必在第二偏移校正单元706和第二增益校正单元707中对亮度信号B进行校正。该结构进一步减少了总校正数据量。
第三实施例
接着，将参考图12来说明本发明的第三实施例中的用于对图像信号A和图像信号B进行信号处理的方法。图12是本实施例中的DSP 109c的框图和信号处理的说明图。在本实施例中，共用校正单元以对图像信号AB和亮度信号A这两者进行校正，由此使得能够经由小尺寸的电路来进行这两个信号的校正。
在图12中，输入数据处理单元701和A像素相加处理单元704与第二实施例相同。附图标记801表示数据选择单元。数据选择单元801进行控制，从而以时分方式将图像信号AB和亮度信号A输出至共用的偏移校正单元802。偏移校正单元802对图像信号AB和亮度信号A进行偏移校正。偏移校正单元802针对各列对从数据选择单元801输入的数据进行偏移校正。这样，对图像信号AB进行针对各像素列的偏移校正，并且对亮度信号A进行针对各相加列的偏移校正。增益校正单元803对图像信号AB和亮度信号A进行增益校正。增益校正单元803针对各列对所输入的数据进行增益校正。这样，对图像信号AB进行针对各像素列的增益校正，并且针对亮度信号A进行针对各相加列的增益校正。
附图标记804表示数据分离单元。数据分离单元804将校正后的图像信号AB输出至显像处理块(未示出)并且还输出至AB像素相加处理单元709。数据分离单元804还将亮度信号A输出至图像信号相减单元705。AB像素相加处理单元709和图像信号相减单元705与第二实施例相同。与第一实施例和第二实施例相同，使用在图像信号相减单元705中所生成的亮度信号A和亮度信号B来在AF计算单元608中进行AF计算。
如上所述，在本实施例中，信号处理器(数据选择单元801、偏移校正单元802和增益校正单元803)以时分方式来针对各像素校正相加信号(图像信号AB)并且针对第一光电转换部校正第一信号(亮度信号A)。利用本实施例的结构，共用校正单元以对图像信号AB和亮度信号A进行校正，由此使得能够经由小尺寸的电路来进行这两个信号的校正。
第四实施例
接着，将参考图13来说明本发明的第四实施例中的用于对图像信号A和图像信号AB进行信号处理的方法。图13是本实施例中的DFE 108d和DSP 109d的框图以及信号处理的说明图。
附图标记611表示输入数据处理单元。输入数据处理单元611经由AFE107接收通过上述的读出操作从摄像元件106所读出的信号(图像信号A和图像信号AB)。输入数据处理单元611将图像信号A输出至像素相加处理单元614。输入数据处理单元611还将图像信号AB输出至像素相加处理单元614和DSP 109d的第一偏移校正单元602(暗阴影校正单元)。
在将图像信号AB输入至DSP 109d的情况下，第一偏移校正单元602使用ROM 119中预先存储的数据来对图像信号AB进行偏移校正(暗阴影校正)。在本实施例中，第一偏移校正单元602针对各像素列进行偏移加减。附图标记603表示第一增益校正单元。第一增益校正单元603使用ROM 119中预先存储的数据来对图像信号AB进行增益校正。在本实施例中，第一增益校正单元603针对各像素列乘以预定增益以校正该列的增益差。然后，对在第一偏移校正单元602和第一增益校正单元603中进行校正后的信号进行显像处理，以基于这些信号来生成诸如静止图像或运动图像等的图像(所拍摄图像)。
像素相加处理单元614对图像信号A和图像信号AB进行像素相加处理。在本实施例中，像素相加处理单元614按2×2个像素的拜尔单位对像素信号进行相加以生成亮度信号。该处理使图像信号A和图像信号AB的数据量分别在水平方向上减少了1/2并且在垂直方向上减少了1/2。附图标记615表示图像信号相减单元。图像信号相减单元615从亮度信号AB(Yab)中减去亮度信号A(Ya)以生成亮度信号B(Yb)。亮度信号AB(Yab)与子像素“a”和“b”的信号的相加信号相对应，而亮度信号A(Ya)与子像素“a”的信号相对应。因此，作为差(Yab-Ya)的亮度信号B(Yb)是子像素“b”的亮度信号。
第二偏移校正单元616对亮度信号A和亮度信号B进行偏移校正。在本实施例中，第二偏移校正单元616针对在像素相加处理单元614中经过了相加之后的列进行偏移加减。附图标记616a表示偏移校正值存储单元(偏移校正值存储部件)。偏移校正值存储单元616a包括RAM并且能够存储针对一条线的偏移校正值。第二偏移校正单元616通过从亮度信号A和亮度信号B中减去偏移校正值存储单元616a中所存储的偏移校正值来进行偏移校正。将ROM119中预先存储的数据作为偏移校正值经由DSP 109d写入偏移校正值存储单元616a。
附图标记617表示第二增益校正单元。第二增益校正单元617对亮度信号A和亮度信号B进行增益校正。在本实施例中，第二增益校正单元607针对在像素相加处理单元614中进行了相加之后的列乘以预定增益，以校正各列的增益差。附图标记617a表示增益校正值存储单元(增益校正值存储部件)。增益校正值存储单元617a包括RAM并且能够存储针对一条线的增益校正值。第二增益校正单元617通过从亮度信号A和亮度信号B中减去增益校正值存储单元617a中所存储的增益校正数据来进行增益校正。将ROM 119中预先存储的数据作为增益校正值经由DSP 109d写入增益校正值存储单元617a。
将在第二偏移校正单元616和第二增益校正单元617中进行校正后的信号(亮度信号A和亮度信号B)输出至AF计算单元618。然后，AF计算单元618使用亮度信号A和亮度信号B来进行AF计算以检测散焦量。然后，CPU 114基于AF计算单元618的计算结果来控制调焦驱动电路116以进行调焦。附图标记609表示校正值发送控制器(校正值发送控制部件)。校正值发送控制器609进行控制以读出ROM 119中所存储的偏移校正值和增益校正值并且将这两者发送至DFE 108d。
接着，将参考图14来说明从DSP 109d向着DFE 108d的发送(传送)。图14是从DSP109d向着DFE 108d的偏移校正值和增益校正值的传送定时的说明图。
如图14所示，在各帧中的摄像元件106的信号读出时间段以外传送偏移校正值和增益校正值。从DSP 109d传送与下一帧的ISO感光度设置相对应的校正值(偏移校正值和增益校正值)，并且使用这些校正值来对从摄像元件106读出的亮度信号A和亮度信号B进行校正。在本实施例中，针对各帧传送校正值。该结构使得在特定帧处ISO感光度设置改变的情况下使用与改变后的ISO设置相对应的校正值，由此实现适当的校正操作。
如上所述，在本实施例中，信号处理器(DFE 108d)包括校正值存储单元(偏移校正值存储单元616a和增益校正值存储单元617a)，其中该校正值存储单元用于存储对第一信号(亮度信号A)或第三信号(亮度信号B)进行校正所使用的校正值。信号处理器(DSP 109d)还包括校正值发送控制器609，其中该校正值发送控制器609用于将校正值发送至校正值存储单元。本实施例的结构使得能够在DFE 108d无需设置有大容量的存储器(RAM)的情况下对从摄像元件106读出的信号进行适当校正，由此进行高精度的调焦。
第五实施例
接着，将参考图15来说明本发明的第五实施例中的用于对图像信号A和图像信号AB进行信号处理的方法。图15是本实施例中的DFE 108e和DSP 109d的框图以及信号处理的说明图。
在第四实施例中，在摄像元件106的信号读出时间段以外传送偏移校正值和增益校正值。然而，各帧中在信号读出时间段以外的时间是有限的。这可能导致在要传送的校正值所用的数据量大的情况下或者在传送速度低的情况下时间不足。为了解决该困难，在本实施例中，允许在摄像元件106的信号读出时间段内进行校正值的传送操作。
如图15所示，第二偏移校正单元616包括偏移校正值存储单元B(616b)和偏移校正值存储单元C(616c)这两个存储单元。针对各帧交替使用这些存储单元中的数据来进行校正。同样，第二增益校正单元617包括增益校正值存储单元B(617b)和增益校正值存储单元C(617c)这两个存储单元。
接着，将参考图16来说明从DSP 109d向着DFE 108e的偏移校正值和增益校正值的传送定时。图16是从DSP 109d向着DFE 108e的偏移校正值和增益校正值的传送定时的说明图。校正值发送控制器609针对偏移校正值存储单元B(616b)和增益校正值存储单元B(617b)进行帧(第n帧)中的校正值的传送操作。在接下来的第(n+1)帧中，第二偏移校正单元616和第二增益校正单元617使用在第n帧时间段内所传送的校正值来进行校正操作。与这些操作并行地，针对偏移校正值存储单元C(616c)和增益校正值存储单元C(617c)进行校正值的传送操作。在接下来的第(n+2)帧中，使用在第(n+1)帧中所传送的校正值来进行校正，并且与此并行地，将校正数据传送至偏移校正值存储单元B和增益校正值存储单元B。
如上所述，校正值存储单元包括第一校正值存储部件(偏移校正值存储单元B(616b)和增益校正值存储单元B(617b))以及第二校正值存储部件(偏移校正值存储单元C(616c)和增益校正值存储单元C(617c))。信号处理器(DFE 108e)针对各帧，选择性地使用第一校正值存储部件或第二校正值存储部件中所存储的校正值来校正第一信号(亮度信号A)或第三信号(亮度信号B)。
本实施例的结构使得校正值发送控制器609能够在第一偏移校正单元616和第二增益校正单元617进行校正操作的摄像元件106的信号读出时间段内进行校正值的传送操作。这样即使对于传送数据量大或传送速度低的情况也确保了充足的传送时间。
在本实施例中，针对各帧交替选择偏移校正值存储单元B(616b)和偏移校正值存储单元C(616c)以由第二偏移校正单元616进行参考。然而，本实施例不限于该结构，并且可以将两个存储单元中的一个存储单元设置成参考校正值，而另一个存储单元可以用于由校正值发送控制器609进行写入。例如，允许如下结构：第二偏移校正单元616始终参考偏移校正值存储单元B(616b)中所存储的校正值，而校正值发送控制器609始终将校正值写入偏移校正值存储单元C(616c)。在这种情况下，需要在各帧的校正开始之前将校正值从偏移校正值存储单元C(616c)传送至偏移校正值存储单元B(616b)。
在这种情况下，信号处理器(DFE 108e)使用第一校正值存储部件(偏移校正值存储单元B(616b)和增益校正值存储单元B(617b))中所存储的校正值来校正第一信号(亮度信号A)或第三信号(亮度信号B)。校正值发送控制器609将校正值发送至第二校正值存储部件(偏移校正值存储单元C(616c)和增益校正值存储单元C(617c))。
第六实施例
接着，将参考图17A和17B来说明本发明的第六实施例中的信号处理。图17A和17B分别是图像信号A的读出区域和校正值(偏移校正值)的说明图。在摄像元件106的读出操作中，根据帧频，在一些情况下不完全读出一条线的图像信号A，而是仅读出焦点检测区域附近的信号。本实施例说明在读出水平方向上的一部分区域中的图像信号A的情况下的结构。
图17A是焦点检测区域和图像信号A读出区域的关系图。如图17A所示，在焦点检测区域存在于画面左侧的情况下，读出由虚线包围的区域中的图像信号A。另一方面，在焦点检测区域存在于画面右侧的情况下，读出由点划线包围的区域中的图像信号A。
为了从图17A中的由虚线包围的区域进行读出，在图8所示的时序图中，用于读出图像信号A的水平扫描电路311的操作可以在输出信号ha1时开始、并且在进行扫描直至虚线框的右端为止时停止。为了从由点划线包围的区域进行读出，水平扫描电路311的操作可以在与点划线框的左端相对应的列处开始、并且在进行扫描直至右端的信号hak时为止。
图17B是偏移校正值存储单元616a(或者，616b或616c)中所存储的校正值和偏移校正单元616进行校正时所使用的校正值的关系图。在偏移校正值的写入时，校正值发送控制器609的传送操作写入一条线的校正值。关于偏移校正单元616所使用的校正值，在针对画面左侧的焦点检测时使用图17A中的由虚线包围的部分中的校正值。另一方面，在针对画面右侧的焦点检测时使用图17A中的由点划线包围的部分中的校正值。尽管省略了详细说明，但相同的结构还适用于增益校正。从增益校正值存储单元617a(或者，617b或617c)中所存储的一条线的校正值中选择与图像信号A的读出区域相对应的部分以供使用。
如上所述，在本实施例中，信号处理器选择校正值存储单元中所存储的多个校正值中的一部分校正值以进行校正。信号处理器针对各帧改变第一信号(亮度信号A)或第三信号(亮度信号B)的校正中所使用的校正值。本实施例的结构使得校正值发送控制器609不必根据图像信号A的读出区域来发送不同的校正值，由此避免了处理复杂化。
各实施例提供了能够利用小的校正数据量来从摄像元件以高精度生成摄像信号和焦点检测信号这两者的摄像设备、摄像系统和信号处理方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
例如，说明了针对各帧进行校正值的传送，但还可以仅在ISO感光度设置改变的情况下才进行校正值的传送。该结构可以使电力消耗降低与所减少的传送操作的次数相对应的量。然而，该结构不限于ISO感光度设置改变的情况，并且可以配置成如下：在每次根据诸如光圈设置和快门速度设置等的其它拍摄条件来改变校正值时，进行校正值的传送。
各实施例说明了进行偏移校正以校正各列的偏移差的结构，但不限于该结构，并且可以配置成针对各像素行进行不同的偏移校正。同样，可以配置成针对各像素行，通过乘以不同的增益来进行校正。可选地，可以配置成将该增益校正连同诸如光学阴影校正等的其它增益校正一起进行。
在各实施例中，进行像素相加以将颜色R、G和B的信号按相同比例相加，但可以针对各颜色利用不同的权重进行相加。可选地，可以配置成对相同颜色的信号进行相加，而不对不同颜色的信号进行相加。
各实施例说明了按2×2进行像素相加的相加像素数的配置，但不限于该结构。只要在AF计算中可以以高精度检测到散焦量，还可以以更大的单位进行相加。
各实施例说明了子像素“a”和“b”是在水平方向上的二分割的配置的结构，但不限于该结构。可以采用如下结构：对与一个微透镜相对应的一个像素进行2×2的四分割。可选地，可以采用其它分割数。
作为用于将子像素“a”的信号和子像素“b”的信号相加的方法，说明了在FD单元403处进行相加的结构，但可以在摄像元件106的其它组件处进行相加。可以在列共通读出电路内的信号存储电容器中进行相加。可选地，不限于在摄像元件106中进行相加，还可以配置成在转换成数字值之后在DFE或DSP处进行相加。
其它实施例
还可以通过读出并执行记录在存储介质(例如，非瞬态计算机可读存储介质)上的计算机可执行指令以进行本发明的上述实施例中的一个或多个的功能的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其它电路中的一个或多个，并且可以包括单独计算机或单独计算机处理器的网络。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (16)

1.一种摄像设备，包括：
摄像部件，其包括与多个微透镜分别相对应的多个像素，所述摄像部件还包括第一光电转换部和第二光电转换部，所述第一光电转换部和所述第二光电转换部包含在所述多个像素中的各像素内以共用所述多个微透镜中的相应微透镜，
其特征在于，还包括：
处理器，用于校正根据多个所述第一光电转换部的多个信号所生成的第一信号和通过从第二信号中减去所述第一信号所生成的第三信号，其中，所述第二信号是根据与所述多个微透镜相对应的所述第一光电转换部和所述第二光电转换部的多个相加信号所生成的，
其中，所述处理器包括：
存储器，其包括第一校正值存储器和第二校正值存储器以存储对所述第一信号进行校正所使用的校正值，以及
控制器，用于将所述校正值发送至所述第一校正值存储器，
所述处理器针对各帧使用所述第一校正值存储器中所存储的校正值来校正所述第一信号或所述第三信号，以及
所述控制器将所述校正值发送至所述第二校正值存储器。
2.根据权利要求1所述的摄像设备，其特征在于，所述处理器对从所述多个像素中的各像素所包括的所述第一光电转换部和所述第二光电转换部输出的相加信号进行校正，其中，针对所述多个像素中的各像素校正所述相加信号。
3.根据权利要求2所述的摄像设备，其特征在于，所述处理器对所述相加信号和所述第一信号各自进行偏移校正。
4.根据权利要求2所述的摄像设备，其特征在于，所述处理器对所述相加信号和所述第一信号各自进行增益校正。
5.根据权利要求1所述的摄像设备，其特征在于，所述第一信号是亮度信号。
6.根据权利要求1所述的摄像设备，其特征在于，所述第一信号是根据来自与多个不同颜色相对应的所述第一光电转换部的多个信号所生成的亮度信号。
7.根据权利要求1所述的摄像设备，其特征在于，所述第一信号、所述第二信号和所述第三信号是亮度信号。
8.根据权利要求1所述的摄像设备，其特征在于，
所述第一信号是根据来自与多个不同颜色相对应的所述第一光电转换部的多个信号所生成的亮度信号，以及
所述第三信号是根据来自与多个不同颜色相对应的所述第二光电转换部的多个信号所生成的亮度信号。
9.根据权利要求2所述的摄像设备，其特征在于，
所述处理器被配置为：
在针对各像素校正了与所述多个微透镜相对应的所述第一光电转换部和所述第二光电转换部的多个所述相加信号之后，根据所述相加信号来生成第二信号，以及
从所述第二信号中减去针对所述第一光电转换部校正后的所述第一信号，以生成第三信号。
10.根据权利要求9所述的摄像设备，其特征在于，所述处理器以时分方式，针对所述多个像素中的各像素校正所述相加信号，并且针对所述第一光电转换部校正所述第一信号。
11.根据权利要求1所述的摄像设备，其特征在于，
所述处理器针对各帧选择性地使用所述第一校正值存储器和所述第二校正值存储器其中之一中所存储的校正值来对所述第三信号进行校正。
12.根据权利要求1所述的摄像设备，其特征在于，所述处理器选择所述存储器中所存储的多个校正值中的一部分校正值以进行校正，并且针对各帧改变对所述第一信号或所述第三信号进行校正所使用的校正值。
13.根据权利要求1所述的摄像设备，还包括焦点检测器，所述焦点检测器用于计算被摄体的焦点偏移量，
其特征在于，所述焦点检测器基于所述第一信号和所述第三信号来进行焦点检测。
14.根据权利要求1所述的摄像设备，其特征在于，所述相加信号用于生成所拍摄图像。
15.一种信号处理方法，用于对从包括与多个微透镜分别相对应的多个像素的摄像部件所获得的信号进行处理，所述摄像部件包括第一光电转换部和第二光电转换部，所述第一光电转换部和所述第二光电转换部包含在所述多个像素中的各像素内以共用所述多个微透镜中的相应微透镜，所述信号处理方法包括以下步骤：
获取所述第一光电转换部的多个信号；以及
生成根据所述多个信号所生成的第一信号，
其特征在于，还包括：
校正所述第一信号和通过从第二信号中减去所述第一信号所生成的第三信号，其中，所述第二信号是根据与所述多个微透镜相对应的所述第一光电转换部和所述第二光电转换部的多个相加信号所生成的，
其中，将对所述第一信号进行校正所使用的校正值存储在包括第一校正值存储器和第二校正值存储器的存储器中，
将所述校正值发送至所述第一校正值存储器，
针对各帧使用所述第一校正值存储器中所存储的校正值来校正所述第一信号或所述第三信号，以及
将所述校正值发送至所述第二校正值存储器。
16.一种摄像设备，包括：
摄像元件，其包括与多个微透镜分别相对应的多个像素，所述摄像元件还包括第一光电转换部和第二光电转换部，所述第一光电转换部和所述第二光电转换部包含在所述多个像素中的各像素内以共用所述多个微透镜中的相应微透镜，
其特征在于，还包括：
处理器，用于校正从所述多个像素中的各像素内所包含的所述第一光电转换部和所述第二光电转换部输出的相加信号、以及根据与所述多个微透镜相对应的多个所述第一光电转换部的多个信号所生成的第一信号，
其中，所述处理器包括：
存储器，其包括第一校正值存储器和第二校正值存储器以存储对所述第一信号进行校正所使用的校正值，以及
控制器，用于将所述校正值发送至所述第一校正值存储器，
其中，所述处理器针对所述多个像素的各像素校正所述相加信号，针对所述第一光电转换部校正所述第一信号，并且针对所述第二光电转换部校正通过从第二信号中减去所述第一信号所生成的第三信号，其中，所述第二信号是根据与所述多个微透镜相对应的所述第一光电转换部和所述第二光电转换部的多个相加信号所生成的，
所述处理器使用所述第一校正值存储器中所存储的校正值来校正所述第一信号或所述第三信号，以及
所述控制器将所述校正值发送至所述第二校正值存储器。
CN201410256200.3A 2013-06-18 2014-06-11 摄像设备、摄像系统和信号处理方法 Active CN104243778B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-127788 2013-06-18
JP2013127788A JP6253272B2 (ja) 2013-06-18 2013-06-18 撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体

Publications (2)

Publication Number Publication Date
CN104243778A CN104243778A (zh) 2014-12-24
CN104243778B true CN104243778B (zh) 2017-09-08

Family

ID=52018913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410256200.3A Active CN104243778B (zh) 2013-06-18 2014-06-11 摄像设备、摄像系统和信号处理方法

Country Status (3)

Country Link
US (1) US9736410B2 (zh)
JP (1) JP6253272B2 (zh)
CN (1) CN104243778B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6066593B2 (ja) * 2012-06-13 2017-01-25 キヤノン株式会社 撮像システムおよび撮像システムの駆動方法
JP5911445B2 (ja) * 2013-03-19 2016-04-27 キヤノン株式会社 撮像装置及びその制御方法
JP6234054B2 (ja) * 2013-04-25 2017-11-22 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP6210772B2 (ja) * 2013-07-22 2017-10-11 キヤノン株式会社 情報処理装置、撮像装置、制御方法、及びプログラム
CN105812624B (zh) * 2014-12-30 2019-01-11 深圳超多维科技有限公司 微透镜阵列成像装置
JP6218799B2 (ja) 2015-01-05 2017-10-25 キヤノン株式会社 撮像素子及び撮像装置
US10070088B2 (en) * 2015-01-05 2018-09-04 Canon Kabushiki Kaisha Image sensor and image capturing apparatus for simultaneously performing focus detection and image generation
JP6506560B2 (ja) * 2015-01-20 2019-04-24 キヤノン株式会社 フォーカス制御装置及びその方法、プログラム、記憶媒体
JP6579782B2 (ja) * 2015-04-09 2019-09-25 キヤノン株式会社 撮像装置
JP6560018B2 (ja) * 2015-04-28 2019-08-14 オリンパス株式会社 レンズ交換式カメラシステム、交換レンズ、およびレンズ制御方法
JP6746359B2 (ja) 2015-05-08 2020-08-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
WO2016181620A1 (ja) * 2015-05-08 2016-11-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6641135B2 (ja) * 2015-09-16 2020-02-05 キヤノン株式会社 撮像素子及び撮像装置
JP6666785B2 (ja) * 2016-04-21 2020-03-18 キヤノン株式会社 撮像装置及びその制御方法、及び、画像処理装置及び画像処理方法
WO2018225534A1 (ja) * 2017-06-09 2018-12-13 ソニーセミコンダクタソリューションズ株式会社 受信装置、送信装置、制御方法、プログラム、および送受信システム
JP6643291B2 (ja) 2017-09-22 2020-02-12 キヤノン株式会社 撮像装置及びその駆動方法
CN113497905B (zh) * 2020-04-01 2024-03-12 佳能株式会社 光电转换设备、成像系统和移动物体
WO2023132151A1 (ja) * 2022-01-07 2023-07-13 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器
EP4277294A1 (en) 2022-05-10 2023-11-15 Canon Kabushiki Kaisha Photoelectric conversion device, imaging system, movable object, equipment, signal processing device and signal processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102710903A (zh) * 2010-11-09 2012-10-03 佳能株式会社 图像处理设备、摄像设备和图像处理方法
WO2013077154A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image sensing device and image capturing apparatus

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61253978A (ja) * 1985-05-02 1986-11-11 Fujitsu Ltd 撮像装置
JP5002086B2 (ja) 1999-10-28 2012-08-15 キヤノン株式会社 焦点検出装置と撮像装置
JP2002131623A (ja) * 2000-10-24 2002-05-09 Canon Inc 撮像装置及び撮像システム
JP2003198929A (ja) * 2001-12-27 2003-07-11 Matsushita Electric Ind Co Ltd テレビジョンカメラ
TWI257256B (en) * 2005-02-05 2006-06-21 Via Tech Inc Sampling method of image data
US20060262210A1 (en) * 2005-05-19 2006-11-23 Micron Technology, Inc. Method and apparatus for column-wise suppression of noise in an imager
JP4827524B2 (ja) * 2005-12-26 2011-11-30 キヤノン株式会社 撮像装置
JP5225151B2 (ja) * 2008-03-11 2013-07-03 キヤノン株式会社 撮像装置及び画像処理方法
JP2011017800A (ja) * 2009-07-07 2011-01-27 Canon Inc 焦点検出装置
JP5852324B2 (ja) * 2011-04-26 2016-02-03 キヤノン株式会社 撮像装置及びその制御方法、プログラム
CN103748873B (zh) * 2011-08-19 2015-04-29 富士胶片株式会社 摄像装置及阴影校正方法
JP5234150B2 (ja) * 2011-08-26 2013-07-10 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102710903A (zh) * 2010-11-09 2012-10-03 佳能株式会社 图像处理设备、摄像设备和图像处理方法
WO2013077154A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image sensing device and image capturing apparatus

Also Published As

Publication number Publication date
JP6253272B2 (ja) 2017-12-27
US9736410B2 (en) 2017-08-15
US20140368696A1 (en) 2014-12-18
JP2015002531A (ja) 2015-01-05
CN104243778A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
CN104243778B (zh) 摄像设备、摄像系统和信号处理方法
JP5744263B2 (ja) 撮像装置及びその合焦制御方法
JP5468177B2 (ja) 撮像装置及びその合焦制御方法
JP6116301B2 (ja) 撮像装置及びその制御方法
JP5946421B2 (ja) 撮像装置及びその制御方法
CN105282431B (zh) 摄像装置及摄像装置的控制方法
US9277113B2 (en) Image pickup apparatus and driving method therefor
CN107306335B (zh) 摄像设备及其控制方法
US10033951B2 (en) Image sensor that performs different readout operations and image capturing apparatus including image sensor
US11290648B2 (en) Image capture apparatus and control method thereof
JP5657184B2 (ja) 撮像装置及び信号処理方法
CN107659778B (zh) 摄像设备和摄像设备的控制方法
US9736354B2 (en) Control apparatus, image pickup apparatus, control method, and storage medium
JP2017194654A (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP6678505B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP6594048B2 (ja) 撮像装置及びその制御方法
JP6883082B2 (ja) 撮像装置及びその制御方法
JP2016225848A (ja) 撮像装置及び撮像素子の制御方法
JP2022102594A (ja) 撮像素子、及び、撮像装置
JP2010056723A (ja) 撮像装置、撮像方法
JP2017199993A (ja) 固体撮像素子、駆動方法、および電子機器
JP2018007111A (ja) 撮像装置、及び、画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant