CN107465866A - 图像处理设备及方法、摄像设备和计算机可读存储介质 - Google Patents

图像处理设备及方法、摄像设备和计算机可读存储介质 Download PDF

Info

Publication number
CN107465866A
CN107465866A CN201710372375.4A CN201710372375A CN107465866A CN 107465866 A CN107465866 A CN 107465866A CN 201710372375 A CN201710372375 A CN 201710372375A CN 107465866 A CN107465866 A CN 107465866A
Authority
CN
China
Prior art keywords
pixel
visual point
image
point image
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710372375.4A
Other languages
English (en)
Other versions
CN107465866B (zh
Inventor
福田浩
福田浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016112101A external-priority patent/JP6700986B2/ja
Priority claimed from JP2016143735A external-priority patent/JP6735621B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107465866A publication Critical patent/CN107465866A/zh
Application granted granted Critical
Publication of CN107465866B publication Critical patent/CN107465866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/69—SSIS comprising testing or correcting structures for circuits other than pixel cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本发明提供图像处理设备及方法、摄像设备和计算机可读存储介质。图像处理设备包括：获取单元，用于获取与成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及校正单元，用于基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。

Description

图像处理设备及方法、摄像设备和计算机可读存储介质
技术领域
本发明涉及图像处理设备、摄像设备、图像处理方法和计算机可读存储介质。
背景技术
作为用于摄像设备的焦点检测方法之一，存在使用图像传感器中所形成的焦点检测像素来进行相位差焦点检测的摄像面相位差方法。日本特开昭58-024105中所论述的摄像设备使用针对一个像素形成有一个微透镜和多个分割光电转换单元的二维图像传感器。这多个分割光电转换单元被配置为经由该一个微透镜接收来自摄像镜头的出射光瞳的不同区域的光，以进行光瞳分割。针对这多个分割光电转换单元的各分割光电转换单元，根据光接收信号来生成视点信号。根据多个视点信号之间的视差来生成图像偏移量，并将该图像偏移量转换成散焦量，由此进行相位差焦点检测。日本特开2001-083407论述了通过将来自多个分割光电转换单元的光接收信号的多个视点信号相加来生成摄像信号。注意，与所拍摄图像有关的多个视点信号等同于作为光强度的空间分布和角度分布的信息的LF(光场)数据。
在通过日本特开昭58-024105和2001-083407论述的摄像设备所获得的多个视点图像的一些区域中，可能生成缺陷信号、由光瞳分割所引起的阴影、或者饱和信号等，从而导致视点图像的图像质量的劣化。
发明内容
本发明是考虑到上述问题而作出的，并且实现了提高视点图像的质量的技术。
为了解决上述问题，本发明的一个方面提供一种图像处理设备，包括：获取单元，用于获取与成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及校正单元，用于基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。
本发明的另一方面提供一种摄像设备，包括：图像传感器，其排列有各自包括多个子像素的多个像素，其中所述多个子像素各自用于接收成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的不同部分光瞳区域相对应的光束；获取单元，用于获取与所述出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及校正单元，用于基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。
本发明的又一方面提供一种图像处理设备，包括与用于执行图像处理程序的存储器相连接的处理器，所述处理器包括多组用于执行如下步骤的指令集：获取与成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。
本发明的又一方面提供一种图像处理设备执行的图像处理方法，所述图像处理方法包括以下步骤：获取与成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。
本发明的又一方面提供一种计算可读存储介质，其存储用于使计算机执行图像处理设备的控制方法的程序，所述控制方法包括以下步骤：获取与成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。
根据本发明，可以提高视点图像的质量。
根据以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
包含在说明书中并且构成说明书的一部分的附图示出本发明的实施例，并且与说明书一起用来解释本发明的原理。
图1是示出摄像设备100的结构的框图；
图2是根据第一实施例的图像传感器107的像素和子像素的阵列的示意图；
图3A是根据第一实施例的图像传感器107的像素的平面图；
图3B是根据第一实施例的图像传感器107的像素的截面图；
图4是示出根据第一实施例的图像传感器107的光瞳分割和像素结构之间的对应关系的示意性说明图；
图5A是示出与微透镜的光轴平行的截面的光强度分布的图；
图5B是示出与微透镜的光轴垂直的截面的光强度分布的图；
图6是示出依赖于光的入射角的光接收率分布(光瞳强度分布)的图；
图7是示出图像传感器107和光瞳分割之间的对应关系的图；
图8是示意性示出第一视点图像和第二视点图像的散焦量与第一视点图像和第二视点图像之间的图像偏移量之间的关系的图；
图9是基于所拍摄图像的视点图像的校正处理的流程图；
图10是基于所拍摄图像的视点图像的校正处理的流程图(图9的继续)；
图11A～11C是用于说明由第一视点图像和第二视点图像之间的光瞳偏移所引起的阴影的图；
图12A是示出所拍摄图像的投影信号的示例的图；
图12B是示出第一视点图像的投影信号的示例的图；
图12C是示出第一视点图像的阴影函数的图；
图13是示出所拍摄图像I的示例的图；
图14是示出阴影校正之前的第一视点图像I1的示例的图；
图15是示出阴影校正之后的第一校正第一视点图像M1I1的示例的图；
图16是示出缺陷校正之前的第一校正第一视点图像M1I1的示例的图；
图17是示出缺陷校正之后的第二校正第一视点图像M2I1的示例的图；
图18是示出阴影校正之前的第二视点图像I2的示例的图；
图19是示出阴影校正之后的最终校正第二视点图像MI2的示例的图；
图20是根据第三实施例的图像传感器107的像素和子像素的阵列的示意图；
图21A是根据第三实施例的图像传感器107的像素的平面图；
图21B是根据第三实施例的图像传感器107的像素的截面图；
图22是示出根据第三实施例的图像传感器107的光瞳分割和像素结构之间的对应关系的示意性说明图；
图23是示出利用从最终校正第一视点图像MI1(j,i)到最终校正第四视点图像MI4(j,i)的像素偏移超分辨率处理的概要的说明图；以及
图24是用于说明选择性执行精确阴影校正和高速阴影校正的处理的流程图。
具体实施方式
现在，将参考附图来说明本发明的实施例。应当注意，本发明的技术范围不限于以下各实施例而是由所附权利要求书确定。另外，并非实施例中所述的特征的全部组合是本发明所必须的。
在以下各实施例中，将说明诸如数字照相机等的摄像设备作为图像处理设备的示例。然而，图像处理设备不限于摄像设备，并且可以是其它类型的图像处理设备(例如，个人计算机)。
第一实施例
摄像设备100的结构
图1是示出摄像设备100的结构的框图。配置在摄像光学系统(成像光学系统)的末端的第一透镜组101以沿着光轴方向可往复移动的方式被镜筒保持。光圈-快门102调节其开口直径，由此调节拍摄时的光量。光圈-快门102还用作静止图像拍摄时的曝光时间调节快门。第二透镜组103沿着光轴方向与光圈-快门102一体化地往复移动，并且与第一透镜组101的往复移动操作同步地进行变倍操作(变焦操作)。第三透镜组105是用于通过沿着光轴方向往复移动来调节焦点的调焦透镜。光学低通滤波器106是被配置为降低所拍摄图像的伪色和摩尔纹的光学元件。图像传感器107通过例如二维CMOS(互补金属氧化物半导体)光电传感器和周边电路来形成，并且被配置在摄像光学系统的成像面上。
变焦致动器111使凸轮筒(未示出)转动，以沿着光轴方向移动第一透镜组101和第二透镜组103，由此进行变倍操作。光圈-快门致动器112控制光圈-快门102的开口直径，以调节拍摄光量，并且还进行静止图像拍摄时的曝光时间控制。调焦致动器114沿着光轴方向移动第三透镜组105，以进行焦点调节操作。
在拍摄时使用被摄体照明用的电子闪光灯115。作为电子闪光灯115，使用利用氙管的闪光灯照明装置或者包括连续发射光的LED(发光二极管)的照明装置。AF辅助光源116(自动调焦辅助光源)经由投影透镜将具有预定的开口图案的掩模的图像投影至视场。这提高了低亮度被摄体或低对比度被摄体的焦点检测能力。
构成摄像设备100的主体的控制单元的CPU(中央处理单元)121具有用于进行各种类型的控制的控制中心功能。CPU 121包括操作单元、ROM(只读存储器)、RAM(随机存取存储器)、A(模拟)/D(数字)转换器，D/A转换器以及通信接口电路等。CPU 121根据ROM中所存储的预定程序来驱动摄像设备100中的各种类型的电路，并执行诸如AF控制、摄像处理、图像处理和记录处理等的一系列操作。
根据来自CPU 121的控制指示，电子闪光灯控制电路122与拍摄操作同步地对电子闪光灯115进行点亮控制。根据来自CPU 121的控制指示，辅助光源驱动电路123与焦点检测操作同步地对AF辅助光源116进行点亮控制。图像传感器驱动电路124控制图像传感器107的摄像操作，并且还对所获取到的摄像信号进行A/D转换，并将该信号发送至CPU 121。根据来自CPU 121的控制指示，图像处理电路125针对图像传感器107所获取到的图像进行诸如伽马转换、颜色插值、JPEG(联合图像专家小组)压缩等的处理。
根据来自CPU 121的控制指示，调焦控制电路126基于焦点检测结果来驱动调焦致动器114，并且沿着光轴方向移动第三透镜组105，由此调节焦点。根据来自CPU 121的控制指示，光圈-快门驱动电路128驱动光圈-快门致动器112，由此控制光圈-快门102的开口直径。根据来自CPU 121的控制指示，变焦驱动电路129基于用户的变焦操作指示来驱动变焦致动器111。
显示单元131包括诸如LCD(液晶显示器)等的显示装置，并且显示与摄像设备100的拍摄模式、拍摄前的预览图像、拍摄后的确认图像、以及焦点检测时的聚焦显示图像等有关的信息。操作单元132包括电源开关、释放(拍摄触发器)开关、变焦操作开关和拍摄模式选择开关等作为操作开关，并且将操作指示信号输出至CPU 121。闪速存储器133是相对于摄像设备100的主体可拆卸的存储介质，并且记录所拍摄图像数据等。
图像传感器107的结构
图2是图像传感器107的像素和子像素的阵列的示意图。将图2的左右方向定义为x方向(水平方向)，将上下方向定义y方向(垂直方向)，将与x方向和y方向垂直的方向(与纸面垂直的方向)定义为z方向(光轴方向)。图2示出4列×4行的范围内的图像传感器107(二维CMOS传感器)的像素(摄像像素)阵列、以及8列×4行的范围内的子像素阵列。
在本实施例中，在图2所示的2列×2行的像素组200中，具有R(红色)的谱灵敏度的像素200R配置在左上位置，具有G(绿色)的谱灵敏度的像素200G配置在右上位置和左下位置，以及具有B(蓝色)的谱灵敏度的像素200B配置在右下位置。各像素在x方向上被分割成Nx(Nx是自然数)个部分，并且在y方向上被分割成Ny(Ny是自然数)个部分，并且由Nx×Ny个子像素＝光瞳分割数NLF构成。注意，在图2所示的示例中，Nx＝2，Ny＝1，以及NLF＝2×1＝2。各像素通过第一子像素201和第二子像素202来构成。在以下说明中，为了简要，如图2所示，假定各像素在x方向上被分割成两部分，而在y方向上不进行分割。然而，本实施例的像素分割不限于图2所示。在第三实施例中，针对Nx≥2并且Ny≥2的情况将说明以下描述的一般化方法。
在图2所示的示例中，在平面上配置有多组4列×4行的像素(8列×4行)的子像素，由此获取用来生成所拍摄图像和两个视点图像(视点图像的数量与光瞳分割数2相对应)的输入图像。在图像传感器107中，像素的周期P是6μm(微米)，水平(列方向)像素数NH＝6000列，垂直(行方向)像素数NV＝4000行，以及像素数N＝NH×NV＝24,000,000个像素。另外，子像素的列方向周期PS是3μm，以及子像素数NS是在水平方向上12,000列×在垂直方向上4000行＝48,000,000个像素。
图3A是在从图像传感器107的光接收面侧(+z侧)观看的图2所示的图像传感器107的一个像素200G的情况下的平面图。在与图3A的纸面垂直的方向上设置z轴，并且将近侧定义为z轴的正方向。在与z轴垂直的上下方向上设置y轴，并且将上侧定义为y轴的正方向。在与z轴和y轴垂直的左右方向上设置x轴，并且将右侧定义为x轴的正方向。图3B是从-y侧观看的沿图3A的切割线a-a截取的截面图。
如图3A和3B所示，在像素200G中，形成有被配置为将入射光会聚至各像素的光接收面侧(+z方向)的微透镜305。另外，将像素在x方向上分割成两个单元并且在y方向上分割成一个单元(不分割)，以形成两个光电转换单元(第一光电转换单元301和第二光电转换单元302)。第一光电转换单元301和第二光电转换单元302分别与第一子像素201和第二子像素202相对应。
第一光电转换单元301和第二光电转换单元302是由p型阱层300以及两个分割的n型层301和302形成的两个独立的p-n结光电二极管。根据需要可以夹有本征层，以将光电转换单元形成为pin结构光电二极管。在各像素中，在微透镜305与第一光电转换单元301和第二光电转换单元302之间形成有颜色滤波器306。可以根据需要以像素为单位或者以光电转换单元为单位改变颜色滤波器306的谱透过率。可选地，可以省略颜色滤波器。
入射至像素200G的光被微透镜305会聚，被颜色滤波器306分光，并且由第一光电转换单元301和第二光电转换单元302接收。在第一光电转换单元301和第二光电转换单元302中，根据光接收量而成对地生成电子和空穴，并且电子和空穴被耗尽层分离。之后，将电子累积。另一方面，空穴经由连接至恒压源(未示出)的p型阱层而排出至图像传感器107的外部。将在第一光电转换单元301和第二光电转换单元302各自中所累积的电子经由传输门而传输至静电电容部(FD)，并且转换成电压信号。
图4是示出图像传感器107的光瞳分割和像素结构之间的对应关系的示意性说明图。图4示出表示从+y方向观看的沿着图3A中的线a-a截取的像素结构的截面的截面图、以及从-z方向观看的成像光学系统的出射光瞳面的图。在图4中，为了获得与出射光瞳面的坐标轴的对应关系，将截面图的x轴和y轴从图3A和3B所示的状态反转。
图像传感器107配置在摄像镜头(成像光学系统)的成像面附近。来自被摄体的光束穿过成像光学系统的出射光瞳400，并且入射至各像素。将图像传感器107所配置于的平面定义为摄像面。
以2×1方式分割的第一部分光瞳区域501和第二部分光瞳区域502经由微透镜而与第一光电转换单元301和第二光电转换单元302的光接收面几乎具有光学共轭关系。第一部分光瞳区域501和第二部分光瞳区域502是分别能够通过第一子像素201和第二子像素202接收光的光瞳区域。第一子像素201的第一部分光瞳区域501在光瞳面上具有向着+X侧偏心的重心，并且第二子像素202的第二部分光瞳区域502在光瞳面上具有向着-X侧偏心的重心。
光瞳区域500经由微透镜而与包括以2×1方式分割的第一光电转换单元301和第二光电转换单元302这两者的光接收面几乎具有光学共轭关系。光瞳区域500是能够通过包括第一子像素201和第二子像素202这两者的整个像素200G来接收光的光瞳区域。
图5A和5B示出在光入射至形成在各像素上的微透镜时所形成的光强度分布。图5A是示出与微透镜的光轴平行的截面上的光强度分布。图5B是示出与微透镜的光轴垂直的截面上的光强度分布。参考图5A，H表示微透镜305的凸侧面；以及f表示微透镜的焦距。另外，nFΔ表示利用(后述的)再聚焦的焦点位置的可移动范围；以及φ表示入射光束的最大角度。入射光通过微透镜而会聚至焦点位置。然而，无法使聚焦光斑的直径小于衍射极限Δ，并且聚焦光斑的直径由于光的波特性所导致的衍射的影响而是有限的。光电转换单元的光接收面的尺寸约为1～2μm。另一方面，微透镜的聚焦光斑的尺寸约为1μm。由于这个原因，光瞳区域与光电转换单元的光接收面共轭。图4所示的第一部分光瞳区域501和第二部分光瞳区域502由于衍射模糊而无法进行清晰地分割，并且形成依赖于光的入射角度的光接收率分布(光瞳分割强度)。
图6示出依赖于光的入射角度的光接收率分布(光瞳分割强度)的示例。在图6中，横轴表示光瞳坐标，以及纵轴表示光接收率。由图6的实线所示的图形L1表示图4所示的第一部分光瞳区域501沿着x轴的光瞳强度分布。图形L1所表示的光接收率从左端起急剧上升，到达峰，逐渐下降、并且以平缓的改变率到达右端。由图6所示的虚线所示的图形L2表示第二部分光瞳区域502沿着x轴的光瞳强度分布。与图形L1相反，图形L2所表示的光接收率从右端起急剧上升，到达峰，逐渐下降，并且以平缓的改变率到达左端。如从图6可以看到的，平缓地进行光瞳分割。
图7是示出图像传感器107和光瞳分割之间的对应关系的图。第一光电转换单元301和第二光电转换单元302分别与第一子像素201和第二子像素202相对应。在图像传感器107的各像素中，以2×1方式分割的第一子像素201和第二子像素202分别接收穿过了不同部分光瞳区域(即，成像光学系统的第一部分光瞳区域501和第二部分光瞳区域502)的光束。从各子像素所接收到的光的信号获取表示光强度的空间分布和角度分布的LF数据(输入图像)。
在基于LF数据来对第一子像素201和第二子像素202的信号进行合成的情况下，可以生成具有与像素数N相对应的分辨率的所拍摄图像。另外，在针对各像素从LF数据获取自第一子像素201和第二子像素202中选择的特定子像素的信号的情况下，可以生成与第一部分光瞳区域501和第二部分光瞳区域502中的特定部分光瞳区域相对应的视点图像。例如，在针对各像素从LF数据获取第一子像素201的信号的情况下，可以生成与第一部分光瞳区域501相对应并且具有与像素数N相对应的分辨率的视点图像(第一视点图像)。这同样适用于其它子像素。
如上所述，图像传感器107具有排列了各自设置有多个光电转换单元的多个像素的结构，并且可以获取LF数据(输入图像)，其中该多个光电转换单元被配置为接收穿过成像光学系统的不同部分光瞳区域的光束。
散焦量和图像偏移量之间的关系
以下将说明根据图像传感器107获取到的LF数据(输入图像)所生成第一视点图像和第二视点图像的图像偏移量与散焦量之间的关系。
图8是示意性示出第一视点图像和第二视点图像的散焦量与第一视点图像和第二视点图像之间的图像偏移量之间的关系的图。图像传感器107(图8中未示出)配置在摄像面600上。如图4和7中那样，将成像光学系统的出射光瞳400以2×1方式分割成第一部分光瞳区域501和第二部分光瞳区域502。
关于散焦量d，大小|d|表示从被摄体图像的成像位置到摄像面600的距离。散焦量d的方向被定义成使得在被摄体图像的成像位置位于摄像面600的被摄体侧的前焦点状态下散焦量d具有负的符号(d<0)，并且在与前焦点状态相反的后焦点状态下具有正的符号(d>0)。在被摄体图像的成像位置位于摄像面600上的聚焦状态下，d＝0。图8所示的被摄体801的位置表示与聚焦状态(d＝0)相对应的位置p，以及被摄体802的位置表示与前焦点状态(d<0)相对应的位置p。以下将前焦点状态(d<0)和后焦点状态(d>0)这两者称为散焦状态(|d|>0)。
在前焦点状态(d<0)下，在被摄体802的光成分中，穿过了第一部分光瞳区域501(或第二部分光瞳区域502)的光束暂时会聚、然后扩散至相对于作为中心的光束的重心位置G1(或G2)的宽度Г1(或Г2)。在这种情况下，在摄像面600上形成模糊图像。该模糊图像是通过形成图像传感器107上所排列的各像素的第一子像素201(或第二子像素202)来接收，并且生成第一视点图像(或第二视点图像)。因而，将第一视点图像(或第二视点图像)作为在摄像面600的重心位置G1(或G2)处具有宽度Г1(或Г2)的被摄体图像(模糊图像)的图像数据而存储在存储器中。随着散焦量d的大小|d|增大，被摄体图像的宽度Г1(或Г2)几乎成比例地增大。同样地，令p为第一视点图像和第二视点图像之间的被摄体图像的图像偏移量。图像偏移量p的大小|p|随着散焦量d的大小|d|的增大而增大。例如，将图像偏移量p定义为光束的重心位置的差“G1-G2”，并且随着|d|增大，大小|p|几乎成比例地增大。注意，在后焦点状态(d>0)下，与前焦点状态相比，第一视点图像和第二视点图像之间的被摄体图像的图像偏移方向反转，但是展现出同样的趋势。
因而，根据本实施例，随着第一视点图像和第二视点图像、或者通过将第一视点图像和第二视点图像相加所获得的所拍摄图像的散焦量的增大/减小，第一视点图像和第二视点图像之间的图像偏移量的大小增大/减小。
基于所拍摄图像的视点图像的校正处理(概要)
根据本实施例的摄像设备100基于所拍摄图像、针对第一视点图像和第二视点图像进行诸如缺陷校正或阴影校正等的校正处理，由此生成输出图像。以下将参考图9和10来说明如下的图像处理方法：根据图像传感器107所获取到的LF数据(输入图像)，基于所拍摄图像针对第一视点图像和第二视点图像进行校正处理，以生成输出图像。注意，除非特别说明，否则图9和10所示的步骤的处理是在CPU 121根据控制程序来控制摄像设备100的各单元的情况下实现的。
所拍摄图像和视点图像的获取(S901和S902)
首先，摄像设备100根据图像传感器107所获取到的LF数据，来生成与通过对成像光学系统的不同部分光瞳区域进行合成所形成的光瞳区域相对应的所拍摄图像、以及与第一部分光瞳区域501相对应的第一视点图像。
在步骤S901中，摄像设备100获取所拍摄图像。更具体地，摄像设备100使用图像传感器107来进行摄像，由此获取LF数据。可选地，摄像设备100可以获取预先保存在闪速存储器133中的LF数据。摄像设备100生成与通过对成像光学系统的不同部分光瞳区域(第一部分光瞳区域和第二部分光瞳区域)进行合成所形成的光瞳区域相对应的所拍摄图像。这里，将LF数据称为LF。将LF的各像素信号中在列方向上第iS(1≤iS≤Nx)列且在行方向上第jS(1≤jS≤Ny)行的子像素信号称为第k子像素信号。这里，k＝Nx(jS-1)+iS(1≤k≤NLF)。摄像设备100利用以下表达式，来生成与通过对成像光学系统的不同部分光瞳区域进行合成所形成的光瞳区域相对应的在列方向上第i列且在行方向上第j行的所拍摄图像I(j,i)。
在本实施例中，为了满足所拍摄图像I(j,i)的S/N成立，摄像设备100在对子像素信号进行A/D转换之前，在图像传感器107的静电电容部(FD)中对表达式(1)的子像素信号进行合成。在进行对子像素信号的A/D转换之前将图像传感器107的静电电容部(FD)中所累积的电荷转换成电压信号的情况下，摄像设备100可以根据需要对表达式(1)的子像素信号进行合成。可选地，摄像设备100可以在对子像素信号进行A/D转换之后根据需要对表达式(1)的子像素信号进行合成。
注意，在以下说明中，如果没有严格地考虑像素位置，则可以通过省略“(j,i)”来将所拍摄图像I(j,i)简称为为“所拍摄图像I”。这同样适用于后述的“第k视点图像Ik(j,i)”等。
如上所述，在本实施例中，将使用在x方向上进行2分割的示例来进行说明，在该2分割中，Nx＝2，Ny＝1，以及NLF＝2。摄像设备100根据与图2所示的像素阵列相对应的LF数据以像素为单位对第一子像素201和第二子像素202的信号进行合成，并且生成通过具有与像素数N(＝水平像素数NH×垂直像素数NV)相对应的分辨率的拜尔阵列的RGB信号所形成的所拍摄图像。
在本实施例中，为了使用所拍摄图像作为视点图像的校正处理中的校正基准的参考图像，摄像设备100针对RGB成分中的每一个成分进行对所拍摄图像I(j,i)的阴影(光量)校正和点缺陷校正处理等。摄像设备100可以根据需要进行其它处理。
接着，在步骤S902中，摄像设备100利用以下表达式，来生成与成像光学系统的第k部分光瞳区域相对应的在列方向上第i列且在行方向上第j行的第k视点图像Ik(j,i)。
如上所述，在本实施例中，将使用在x方向上进行2分割的示例来进行说明，在该2分割中，Nx＝2，Ny＝1，以及NLF＝2。此外，假定k＝1。摄像设备100从与图2所示的像素阵列相对应的LF数据、以像素为单位获取第一子像素201的信号。也就是说，摄像设备100生成与成像光学系统的第一部分光瞳区域501相对应的、并且通过具有与像素数N(＝水平像素数NH×垂直像素数NV)相对应的分辨率的拜尔阵列的RGB信号所形成的第一视点图像I1(j,i)。摄像设备100可以根据需要选择k＝2，并且生成与成像光学系统的第二部分光瞳区域502相对应的第二视点图像I2(j,i)。
如上所述，摄像设备100根据图像传感器107所获取到的LF数据，来生成通过拜尔阵列的RGB信号所形成的所拍摄图像I(j,i)以及通过拜尔阵列的RGB信号所形成的第一视点图像I1(j,i)，并且将它们保存在闪速存储器133中。在本实施例中，摄像设备100根据所拍摄图像I(j,i)和第一视点图像I1(j,i)来生成第二视点图像I2(j,i)。这使得能够针对所拍摄图像I(j,i)进行与针对传统的图像传感器107所获取到的所拍摄图像相同的图像处理，其中，在传统的图像传感器107中，不对各像素的光电转换单元进行分割。然而，为了进行与针对视点图像的处理相同的处理，根据需要，摄像设备100可以根据LF数据来生成第一视点图像I1(j,i)和第二视点图像I2(j,i)，并且将它们保存在闪速存储器133中。
视点图像的阴影校正处理(S903～S907)
随后，摄像设备100基于所拍摄图像I(j,i)、针对RGB成分中的每一个成分进行对第一视点图像I1(j,i)的阴影(光量)校正。这里，将说明由于第一视点图像和第二视点图像之间的光瞳偏移所导致的阴影。图11A～11C示出在图像传感器107的周边图像高度处，第一光电转换单元301接收光的第一部分光瞳区域501、第二光电转换单元302接收光的第二部分光瞳区域502、以及成像光学系统的出射光瞳400之间的关系。与图4的附图标记同样的附图标记表示图11A～11C中的相同或相似元件。第一光电转换单元301和第二光电转换单元302分别与第一子像素201和第二子像素202相对应。
图11A示出成像光学系统的出射光瞳距离Dl等于图像传感器107的设置光瞳距离Ds的情况。在这种情况下，成像光学系统的出射光瞳400被第一部分光瞳区域501和第二部分光瞳区域502几乎均等地分割。图11B示出成像光学系统的出射光瞳距离Dl短于图像传感器107的设置光瞳距离Ds的情况。在这种情况下，在图像传感器107的周边图像高度处、在成像光学系统的出射光瞳400和图像传感器107的入射光瞳之间发生光瞳偏移，并且成像光学系统的出射光瞳400没有被均等地分割。图11C示出成像光学系统的出射光瞳距离Dl长于图像传感器107的设置光瞳距离Ds的情况。同样，在这种情况下，在图像传感器107的周边图像高度处、在成像光学系统的出射光瞳400和图像传感器107的入射光瞳之间发生光瞳偏移，并且成像光学系统的出射光瞳400没有被均等地分割。如果在周边图像高度处光瞳分割不均等，则第一视点图像和第二视点图像的强度同样不均等。针对RGB成分中的每一个成分产生阴影，其中第一视点图像和第二视点图像其中之一具有较高的强度，并且另一个具有较低的强度。
在本实施例中，为了生成高质量的视点图像，摄像设备100使用所拍摄图像I(j,i)作为基准的参考图像，针对RGB成分中的每一个成分来进行对第一视点图像I1的阴影(光量)校正。
在步骤S903中，摄像设备100在所拍摄图像I(j,i)和第一视点图像I1(j,i)这两者中检测不饱和且无缺陷(无缺点)的有效像素V1(j,i)。将在所拍摄图像I(j,i)和第一视点图像I1(j,i)这两者中的不饱和且无缺陷的有效像素定义为V1(j,i)＝1。另一方面，将在所拍摄图像I(j,i)和第一视点图像I1(j,i)至少之一中的不饱和或无缺陷的非有效像素定义为V1(j,i)＝0。同样地，在第k视点图像Ik的阴影(光量)校正中，将所拍摄图像I(j,i)和第k视点图像Ik(j,i)这两者中的不饱和且无缺陷的有效像素定义Vk(j,i)＝1。
以下将详细说明饱和判断。令IS为摄像信号的饱和判断阈值。如果所拍摄图像I(j,i)>IS，则摄像设备100判断为所拍摄图像I(j,i)是饱和的。如果所拍摄图像I(j,i)≤IS，则摄像设备100判断为所拍摄图像I(j,i)是不饱和的。同样地，令ISk是第k视点图像的饱和判断阈值。如果第k视点图像Ik(j,i)>ISk，则摄像设备100判断为第k视点图像Ik(j,i)是饱和的。如果第k视点图像Ik(j,i)≤ISk，则摄像设备100判断为第k视点图像Ik(j,i)是不饱和的。第k视点图像的饱和判断阈值ISk等于或小于摄像信号的饱和判断阈值(ISk≤IS)。
注意，有效像素的定义不限于“不饱和且无缺陷”。摄像设备100基于特定基准、在所拍摄图像和视点图像这两者中将具有有效值的像素判断为有效像素。作为判断像素是否具有有效值的基准，例如可以使用像素是否为饱和像素以及像素是否为缺陷像素其中至少之一。
根据本实施例的图像传感器107被配置为使得：如果各像素的第一光电转换单元301和第二光电转换单元302之一中所累积的电荷是饱和的，则该电荷不会泄漏至像素的外部，但会泄漏至同一像素的其它光电转换单元(子像素)。将该现象称为电荷串扰。考虑以下情况：子像素之一(例如第二子像素)是饱和的，并且在这些子像素之间(例如，从第二子像素向第一子像素)发生电荷串扰。在这种情况下，所累积的电荷量与入射光量的线性关系既无法在电荷溢出源的子像素(例如第二子像素)中保持，也无法在电荷泄漏目的地的子像素(例如第一子像素)中保持，并且无法包括正确地检测阴影所需的信息。
在低ISO下，与高ISO相比，光电转换单元中所累积的电荷量相对大，并且电荷串扰相对容易发生。因而，在本实施例中，优选地，低ISO下的摄像信号的饱和判断阈值IS小于高ISO下的摄像信号的饱和判断阈值IS。另外，优选地，低ISO下的第k视点图像的饱和判断阈值ISk小于高ISO下的第k视点图像的饱和判断阈值ISk。
此外，考虑以下情况：成像光学系统的出射光瞳距离短于第一预定光瞳距离(或者长于第二预定光瞳距离)，并且由于成像光学系统的出射光瞳400和图像传感器107的入射光瞳之间的光瞳偏移而导致阴影。在这种情况下，在周边图像高度处，第一视点图像和第二视点图像其中之一具有较高强度而另一个具有较低强度，并且电荷串扰容易发生。因而，为了提高饱和像素检测精度，优选地，在出射光瞳距离短于第一预定光瞳距离(或者长于第二预定光瞳距离)的情况下的饱和判断阈值IS小于在出射光瞳距离落入第一预定光瞳距离(包含)至第二预定光瞳距离(不包含)的范围内的情况下的饱和判断阈值IS。另外，优选地，在出射光瞳距离短于第一预定光瞳距离(或者长于第二预定光瞳距离)的第k视点图像的饱和判断阈值ISk小于在出射光瞳距离落入第一预定光瞳距离(包含)至第二预定光瞳距离(不包含)的范围内的情况下的饱和判断阈值ISk。
接着，在步骤S904和S905中，摄像设备100按照颜色针对所拍摄图像和第一视点图像进行投影处理。这里，设置了整数j2(1≤j2≤NV/2)以及i2(1≤i2≤NH/2)。令RI(2j2-1,2i2-1)＝I(2j2-1,2i2-1)为与图2所示的拜尔阵列相对应的所拍摄图像I的R成分，以及令GrI(2j2-1,2i2)＝I(2j2-1,2i2)为Gr成分。另外，令GbI(2j2,2i2-1)＝I(2j2,2i2-1)为Gb成分，以及令BI(2j2,2i2)＝I(2j2,2i2)为B成分。
同样地，令RIk(2j2-1,2i2-1)＝Ik(2j2-1,2i2-1)为与图2所示的拜尔阵列相对应的第k视点图像Ik的R成分，以及令GrIk(2j2-1,2i2)＝Ik(2j2-1,2i2)为Gr成分。另外，令GbIk(2j2,2i2-1)＝Ik(2j2,2i2-1)为Gb成分，以及令BIk(2j2,2i2)＝Ik(2j2,2i2)为B成分。
在步骤S904中，摄像设备100针对所拍摄图像的RI(2j2-1,2i2-1)、GrI(2j2-1,2i2)、GbI(2j2,2i2-1)和BI(2j2,2i2)进行投影处理。摄像设备100根据以下表达式来在与光瞳分割方向(x方向)垂直的方向(y方向)上进行投影处理。
结果，生成所拍摄图像的投影信号RP(2i2-1)、GrP(2i2)、GbP(2i2-1)和BP(2i2)。饱和信号值或缺陷信号值没有包括针对RGB成分中的每一个成分正确地检测所拍摄图像的阴影所需的信息。由于这个原因，在投影处理中，计算所拍摄图像和有效像素Vk的乘积，由此排除饱和信号值或缺陷信号值(表达式(3A)～(3D)的上侧的分子)。然后，通过在投影处理中所使用的有效像素数来进行标准化(表达式(3A)～(3D)的上侧的分母)。如果在投影处理中所使用的有效像素数是0，则基于表达式(3A)～(3D)的下侧，将所拍摄图像Is的投影信号设置为0。另外，如果由于噪声等的影响而使得所拍摄图像的投影信号为负的信号，则将所拍摄图像的投影信号设置为0。
同样地，在步骤S905中，摄像设备100针对第k视点图像的RIk(2j2-1,2i2-1)、GrIk(2j2-1,2i2)、GbIk(2j2,2i2-1)和BIk(2j2,2i2)进行投影处理。摄像设备100根据以下表达式来在与光瞳分割方向(x方向)垂直的方向(y方向)上进行投影处理。
结果，生成第k视点图像的投影信号RPk(2i2-1)、GrPk(2i2)、GbPk(2i2-1)和BPk(2i2)。
如从表达式(3A)～(3D)可以了解，步骤S904的投影处理是用于计算所拍摄图像I的在与光瞳分割方向垂直的方向上所配置的像素组(除了非有效像素以外)的总和的处理。该总和的计算是针对各颜色(即，决定像素组，以使得全部像素与单个颜色相对应)来进行的，并且将该总和除以有效像素数以进行标准化。另外，如从表达式(3E)～(3H)可以了解，步骤S905的投影处理是用于计算第一视点图像I1的在与光瞳分割方向垂直的方向上所配置的像素组(除了非有效像素以外)的总和的处理。该总和的计算是针对各颜色(即，决定像素组，以使得全部像素与单个颜色相对应)来进行的，并且将该总和除以有效像素数以进行标准化。
在表达式(3A)～(3D)的投影处理之后，为了平滑化，摄像设备100针对所拍摄图像的投影信号RP(2i2-1)、GrP(2i2)、GbP(2i2-1)和BP(2i2)进行低通滤波处理。同样地，在表达式(3E)～(3H)的投影处理之后，为了平滑化，摄像设备100针对第k视点图像的投影信号RPk(2i2-1)、GrPk(2i2)、GbPk(2i2-1)和BPk(2i2)进行低通滤波处理。然而，可以省略低通滤波处理。
图12A示出所拍摄图像的投影信号RP(R)、GrP(G)、GbP(G)和BP(B)的示例，以及图12B示出第一视点图像的投影信号RP1(R)、GrP1(G)、GbP1(G)和BP1(B)的示例。各投影信号具有依赖于被摄体的多个峰和谷。为了精确地进行对第一视点图像I1的阴影(光量)校正，需要分离由于光瞳偏移而针对RGB成分所生成的第一视点图像I1的阴影成分以及针对RGB成分的被摄体的信号成分。
由于这个原因，在步骤S906中，摄像设备100相对于作为基准的所拍摄图像I，针对RGB成分计算第k视点图像Ik的阴影信号RSk(2i2-1)、GrSk(2i2)、GbSk(2i2-1)和BSk(2i2)。通过以下表达式来进行该计算。
这里，像素的光接收量需要大于子像素的光接收量。另外，为了计算阴影成分，子像素的光接收量需要大于0。因而，如果根据表达式(4)，满足条件RP(2i2-1)>RPk(2i2-1)>0，则摄像设备100获取第k视点图像的R成分的投影信号RPk(2i2-1)与所拍摄图像的R成分的投影信号RP(2i2-1)的比率。然后，摄像设备100将所获取到的比率与光瞳分割数NLF相乘以进行标准化，由此生成第k视点图像Ik的R成分的阴影信号RSk(2i2-1)。这使得能够抵消被摄体的R信号成分并且分离第k视点图像Ik的R阴影成分。另一方面，如果不满足条件RP(2i2-1)>RPk(2i2-1)>0，则摄像设备100将第k视点图像Ik的R成分的阴影信号RSk(2i2-1)设置为0。
同样地，如果根据表达式(4B)，满足条件GrP(2i2)>GrPk(2i2)>0，则摄像设备100获取第k视点图像的Gr成分的投影信号GrPk(2i2)与所拍摄图像的Gr成分的投影信号GrP(2i2)的比率。然后，摄像设备100将所获取到的比率与光瞳分割数NLF相乘以进行标准化，由此生成第k视点图像Ik的Gr成分的阴影信号GrSk(2i2)。这使得能够抵消被摄体的Gr信号成分，并且分离第k视点图像Ik的Gr阴影成分。另一方面，如果不满足条件GrP(2i2)>GrPk(2i2)>0，则摄像设备100将第k视点图像Ik的Gr成分的阴影信号GrSk(2i2)设置为0。
同样地，如果根据表达式(4C)，满足条件GbP(2i2-1)>GbPk(2i2-1)>0，则摄像设备100获取第k视点图像的Gb成分的投影信号GbPk(2i2-1)与所拍摄图像的Gb成分的投影信号GbP(2i2-1)的比率。然后，摄像设备100将所获取到的比率与光瞳分割数NLF相乘以进行标准化，由此生成第k视点图像Ik的Gb成分的阴影信号GbSk(2i2-1)。这使得能够抵消被摄体的Gb信号成分，并且分离第k视点图像Ik的Gb阴影成分。另一方面，如果不满足条件GbP(2i2-1)>GbPk(2i2-1)>0，则摄像设备100将第k视点图像Ik的Gb成分的阴影信号GbSk(2i2-1)设置为0。
同样地，如果根据表达式(4D)，满足条件BP(2i2)>BPk(2i2)>0，则摄像设备100获取第k视点图像的B成分的投影信号BPk(2i2)与所拍摄图像的B成分的投影信号BP(2i2)的比率。然后，摄像设备100将所获取到的比率与光瞳分割数NLF相乘以进行标准化，由此生成第k视点图像Ik的B成分的阴影信号BSk(2i2)。这使得能够抵消被摄体的B信号成分，并且分离第k视点图像Ik的B阴影成分。另一方面，如果不满足条件BP(2i2)>BPk(2i2)>0，则摄像设备100将第k视点图像Ik的B成分的阴影信号BSk(2i2)设置为0。
注意，为了精确地进行阴影校正，优选地，在有效的阴影信号数是预定值以上的情况下进行阴影校正。也就是说，优选地，在满足RSk(2i2-1)>0、GrSk(2i2)>0、GbSk(2i2-1)>0或者BSk(2i2)>0的有效的阴影信号数是预定值以上的情况下进行阴影校正。
如从表达式(4A)～(4D)可以了解，阴影信号具有与如下两个总和的比率相关联的值，其中，一个总和是第一视点图像I1的在与光瞳分割方向垂直的方向上所配置的像素组的总和，另一个总和是所拍摄图像的与这些像素相对应的位置处的像素组的总和。
在接着阴影信号生成之后，摄像设备100根据以下表达式，来获得第k视点图像Ik的针对RGB成分的阴影函数RSFk(2i2-1)、GrSFk(2i2)、GbSFk(2i2-1)和BSFk(2i2)作为针对光瞳分割方向(x方向)上的位置变量的平滑NSF次多项式函数。
另外，摄像设备100将通过表达式(4A)～(4D)生成的并且满足RSk(2i2-1)>0、GrSk(2i2)>0、GbSk(2i2-1)>0、或者BSk(2i2)>0的有效的阴影信号设置成数据点。摄像设备100使用这些数据点、利用最小二乘法来进行参数拟合，并且计算表达式(5A)～(5D)的RSCk(μ)、GrSCk(μ)、GbSCk(μ)以及BSCk(μ)。由此生成相对于作为基准的所拍摄图像的第k视点图像Ik针对RGB成分的阴影函数RSFk(2i2-1)、GrSFk(2i2)、GbSFk(2i2-1)和BSFk(2i2)。
将通过在光瞳分割方向(x方向)上对阴影函数RSFk、GrSFk、GbSFk和BSFk进行反转所获得的函数分别定义为R[RSFk]、R[GrSFk]、R[GbSFk]和R[BSFk]。令ε(0<ε<1)为预定容许值。摄像设备100判断在各位置处是否满足全部条件1-ε≤RSFk+R[RSFk]≤1+ε、1-ε≤GrSFk+R[GrSFk]≤1+ε、1-ε≤GbSFk+R[GbSFk]≤1+ε、以及1-ε≤BSFk+R[BSFk]≤1+ε。如果在各位置处满足这些条件，则摄像设备100判断为所生成的阴影函数是恰当的，并且根据表达式(6A)～(6D)来进行(后述的)阴影校正处理。否则，摄像设备100判断为所生成的的阴影函数是不恰当的，并且根据需要设置RSFk≡1、GrSFk≡1、GbSFk≡1以及BSFk≡1，并进行例外处理。
图12C示出相对于作为基准的所拍摄图像I的、第一视点图像I1针对RGB成分的阴影函数RSF1(R)、GrSF1(G)、GbSF1(G)和BSF1(B)的示例。在图12B所示的第一视点图像I1的投影信号以及图12A所示的所拍摄图像I的投影信号中，存在依赖于被摄体的峰和谷。然而，可以通过获得第一视点图像I1的投影信号与所拍摄图像I的投影信号的比率，来抵消依赖于被摄体的峰和谷(被摄体的RGB成分的信号值)。因此，可以分离并生成第一视点图像I1针对RGB成分中的每一个成分的平滑阴影函数。
注意，在本实施例中，可以使用多项式函数作为阴影函数。然而，本发明不限于此，并且可以根据需要、基于阴影形状来使用更一般的函数。
接着，在步骤S907中，使用针对RGB成分的阴影函数，摄像设备100针对第k视点图像Ik(j,i)进行阴影(光量)校正处理，由此生成第一校正第k视点图像M1Ik(j,i)。根据以下表达式来进行阴影校正处理。
这里，令RM1Ik(2j2-1,2i2-1)＝M1Ik(2j2-1,2i2-1)为具有拜尔阵列的第一校正第k视点图像M1Ik的R成分，以及令GrM1Ik(2j2-1,2i2)＝M1Ik(2j2-1,2i2)为Gr成分。另外，令GbM1Ik(2j2,2i2-1)＝M1Ik(2j2,2i2-1)为Gb成分，以及令BM1Ik(2j2,2i2)＝M1Ik(2j2,2i2)为B成分。
在本实施例中，摄像设备100基于所拍摄图像和视点图像来抵消利用被摄体的所拍摄图像的信号变化以及利用被摄体的视点图像的信号变化，并且计算针对RGB成分的阴影函数。然后，摄像设备100使用阴影函数的倒数来计算针对RGB成分中的每一个成分的阴影校正量(光量校正量)。摄像设备100基于所计算出的阴影校正量(光量校正量)来进行对视点图像的阴影(光量)校正处理。
在本实施例中，通过使用第一视点图像I1的在与光瞳分割方向垂直的方向上所配置的像素组的总和与所拍摄图像的在与这些像素相对应的位置处的像素组的总和的比率，来抵消利用被摄体的信号变化。在使用与光瞳分割方向垂直的方向上的总和的情况下，可以在抑制光瞳分割方向上的视差信息的损失的同时抵消利用被摄体的信号变化。
将参考图13～15来说明图9的步骤S903～S907所示的第一视点图像I1针对RGB成分中的每一个成分的阴影(光量)校正处理的效果。图13示出(去马赛克之后的)所拍摄图像I的示例。这是高质量的所拍摄图像的示例。图14示出阴影校正之前的(去马赛克之后的)第一视点图像I1的示例。这是如下的示例，在该示例中，成像光学系统的出射光瞳400和图像传感器107的入射光瞳之间的光瞳偏移针对RGB成分中的每一个成分导致了阴影，并且在第一视点图像I1的右侧上发生亮度的降低以及RGB比率的调整。图15示出根据本实施例的(去马赛克之后的)第一校正第一视点图像M1I1的示例。通过基于所拍摄图像进行针对RGB成分中的每一个成分的阴影校正，可以对亮度的降低以及RGB的调整进行校正，并且生成具有如所拍摄图像I那样的高质量的阴影校正之后的第一校正第一视点图像M1I1。
将通过上述处理所生成的第一校正第k视点图像M1Ik用于接下来将要说明的缺陷校正处理。然而，摄像设备100可以根据需要将第一校正第k视点图像M1Ik作为输出图像存储在闪速存储器133中。
视点图像的缺陷校正处理(S908)
在步骤S908中，摄像设备100基于所拍摄图像I来进行对第一校正第k视点图像M1Ik的缺陷校正(缺点校正)。如上所述，将假定k＝1来进行说明。在本实施例中，在一些情况下，由于例如根据图像传感器107的电路结构或驱动方式而使传输门短路的原因，所拍摄图像I是正常的，但是第一视点图像I1的一部分中生成了缺陷信号，从而导致点缺陷或者线缺陷。摄像设备100可以根据需要将预先在质量生产步骤等中所检查到的点缺陷信息或者线缺陷信息记录在图像处理电路125等中，并且使用所记录的点缺陷信息或者线缺陷信息来进行对第一视点图像I1的缺陷校正处理。根据需要，摄像设备100还可以通过实时检查第一视点图像I1来进行点缺陷判断或者线缺陷判断。
将使用如下示例来说明步骤S908的缺陷校正，其中，在该示例中，第k视点图像Ik的奇数行2jD-1或偶数行2jD被判断为水平方向(x方向)上的线缺陷，并且所拍摄图像I的奇数行2jD-1或偶数行2jD没有被判断为线缺陷。
使用正常的所拍摄图像I作为参考图像，摄像设备100基于所拍摄图像I来进行对第一校正第k视点图像M1Ik的缺陷校正。在根据本实施例的缺陷校正中，通过将第一校正第k视点图像M1Ik的没有被判断为缺陷的位置处的信号值与所拍摄图像I的没有被判断为缺陷的位置处的信号值相比较，来进行缺陷校正。在进行该比较的情况下，为了精度提高，消除由光瞳偏移针对RGB成分中的每一个成分所生成的第k视点图像Ik的阴影成分的影响是重要的。这是因为，为了精确地进行缺陷校正，需要将第k视点图像Ik和所拍摄图像I之间的被摄体的RGB信号成分进行正确地比较。因而，在缺陷校正中，(不使用第k视点图像Ik，而)使用第一校正第k视点图像M1Ik。
摄像设备100使用所拍摄图像I的正常信号和第一校正第k视点图像M1Ik的正常信号来进行针对第一校正第k视点图像M1Ik(j,i)的缺陷信号的缺陷校正处理。将缺陷校正后的第k视点图像称为第二校正第k视点图像M2Ik(j,i)。根据以下表达式来进行缺陷校正。
这里，令RM2Ik(2j2-1,2i2-1)＝M2Ik(2j2-1,2i2-1)为具有拜尔阵列的第二校正第k视点图像M2Ik的R成分，以及令GrM2Ik(2j2-1,2i2)＝M2Ik(2j2-1,2i2)为Gr成分。另外，令GbM2Ik(2j2,2i2-1)＝M2Ik(2j2,2i2-1)为Gb成分，以及令BM2Ik(2j2,2i2)＝M2Ik(2j2,2i2)为B成分。
如果将第一校正第k视点图像M1Ik的R成分的第一位置(2jD-1,2iD-1)判断为缺陷，则摄像设备100根据表达式(7A)来进行缺陷校正处理，并且生成第一位置处的第二校正第k视点图像RM2Ik(2jD-1,2iD-1)。在表达式(7A中)，作为τ和σ的值，仅使用与在R成分的第一校正第k视点图像RM1Ik中没有被判断为缺陷的位置(第二位置)相对应的值。
同样地，如果将第一校正第k视点图像M1Ik的Gr成分的第一位置(2jD-1,2iD)判断为缺陷，则摄像设备100根据表达式(7B)来进行缺陷校正处理，并且生成第一位置处的第二校正第k视点图像GrM2Ik(2jD-1,2iD)。在表达式(7B)中，作为τ和σ的值，仅使用与在Gr成分的第一校正第k视点图像GrM1Ik中没有被判断为缺陷的位置(第二位置)相对应的值。
同样地，如果将第一校正第k视点图像M1Ik的Gb成分的第一位置(2jD,2iD-1)判断为缺陷，则摄像设备100根据表达式(7C)来进行缺陷校正处理，并且生成第一位置处的第二校正第k视点图像GbM2Ik(2jD,2iD-1)。在表达式(7C)中，作为τ和σ的值，仅使用与在Gb成分的第一校正第k视点图像GbM1Ik中没有被判断为缺陷的位置(第二位置)相对应的值。
同样地，如果将第一校正第k视点图像M1Ik的B成分的第一位置(2jD,2iD)判断为缺陷，则摄像设备100根据表达式(7D)来进行缺陷校正处理，并且生成第一位置处的第二校正第k视点图像BM2Ik(2jD,2iD)。在表达式(7D)中，作为τ和σ的值，仅使用与在B成分的第一校正第k视点图像BM1Ik中没有被判断为缺陷的位置(第二位置)相对应的值。
对于在第一校正第k视点图像M1Ik中没有被判断为缺陷的位置(j,i)，第二校正第k视点图像M2Ik(j,i)具有与第一校正第k视点图像M1Ik(j,i)中的信号值相同的信号值。也就是说，M2Ik(j,i)＝M1Ik(j,i)。
将参考图16和17来说明步骤S908中所示的第一校正第一视点图像M1I1的缺陷校正处理的效果。图16示出缺陷校正之前(阴影之后、去马赛克之后)的第一校正第一视点图像M1I1的示例。这是在第一校正第一视点图像M1I1的中央处生成水平方向(x方向)上的线性缺陷(线缺陷)的示例。图17示出缺陷校正之后(阴影之后、去马赛克之后)的第二校正第一视点图像M2I1的示例。通过基于正常的所拍摄图像I的缺陷校正来校正水平方向(x方向)上的线缺陷，并且生成具有如所拍摄图像I那样的高质量的缺陷校正后的第二校正第一视点图像M2I1。
将通过上述处理所生成的第二校正第k视点图像M2Ik用于接下来要说明的再阴影(re-shading)处理。然而，可以根据需要将第二校正第k视点图像M2Ik作为输出图像存储在闪速存储器133中。
视点图像的再阴影处理(S909)
在步骤S909中，摄像设备100针对缺陷校正之后的第二校正第k视点图像M2Ik(j,i)、通过根据以下表达式进行再阴影处理来生成第三校正第k视点图像M3Ik(j,i)。
RM3Ik(2j2-1,2i2-1)＝RSFk(2i2-1)×RM2Ik(2j2-1,2i2-1)...(8A)
GrM3Ik(2j2-1,2i2)＝GrSFk(2i2)×GrM2Ik(2j2-1,2i2)...(8B)
GbM3Ik(2j2,2i2-1)＝GbSFk(2i2-1)×GbM2Ik(2j2,2i2-1)...(8C)
BM3Ik(2j2,2i2)＝BSFk(2i2)×BM2Ik(2j2,2i2)...(8D)
这里，令RM3Ik(2j2-1,2i2-1)＝M3Ik(2j2-1,2i2-1)为具有拜尔阵列的第三校正第k视点图像M3Ik的R成分，以及令GrM3Ik(2j2-1,2i2)＝M3Ik(2j2-1,2i2)为Gr成分。另外，令GbM3Ik(2j2,2i2-1)＝M3Ik(2j2,2i2-1)为Gb成分，以及令BM3Ik(2j2,2i2)＝M3Ik(2j2,2i2)为B成分。
所拍摄图像和视点图像的饱和信号处理(S910和S911)
接着，摄像设备100进行针对所拍摄图像I(j,i)和第三校正第k视点图像M3Ik的饱和信号处理。将使用k＝1和NLF＝2的示例来继续进行说明。
在步骤S910中，将摄像信号的最大值定义为Imax，摄像设备100针对所拍摄图像I(j,i)、通过根据以下表达式进行饱和信号处理来生成校正后的所拍摄图像MI(j,i)。
这里，摄像信号的最大值Imax和摄像信号的饱和判断阈值IS满足Imax≥IS。
在步骤S911中，摄像设备100针对第三校正第k视点图像M3Ik，通过根据以下表达式进行与阴影状态相对应的饱和信号处理来生成第四校正第k视点图像M4Ik(j,i)。
其中，SFk(j,i)是通过表达式(5A)～(5D)所获得拜尔阵列的阴影函数，并且SFk(2j2-1,2i2-1)＝RSFk(2i2-1)。另外，SFk(2j2-1,2i2)＝GrSFk(2i2)，SFk(2j2,2i2-1)＝GbSFk(2i2-1)、以及SFk(2j2,2i2)＝BSFk(2i2)。
第二视点图像的生成处理(S912)
在步骤S912中，摄像设备100根据以下表达式，通过校正后的所拍摄图像MI(j,i)和第四校正第一视点图像M4I1(j,i)来生成第二视点图像I2(j,i)。
I2(j,i)＝MI(j,i)-M4I1(j,i)...(11)
在本实施例中，根据图像传感器107的驱动方式或者A/D转换的电路结构，在饱和时的第三校正第一视点图像M3I1(j,i)的最大信号值有时等于在饱和时的所拍摄图像I(j,i)最大信号值Imax。在该情况下，假设在不进行饱和信号处理的情况下，如表达式(11)那样通过从所拍摄图像I减去第三校正第一视点图像M3I1来生成第二视点图像I2的情况。在该假设下，应当具有饱和信号值的第二视点图像I2可能具有错误的信号值0。为了防止该问题，在本实施例中，摄像设备100预先在步骤S910和S911中，针对所拍摄图像I和第三校正第k视点图像M3Ik进行与阴影状态相对应的饱和信号处理。然后，在通过饱和信号处理生成了校正后的所拍摄图像MI以及第四校正第一视点图像M4I1之后，摄像设备100在步骤S912中根据表达式(11)来生成第二视点图像I2。这使得能够生成与更准确的饱和信号值相对应的第二视点图像I2。
第一视点图像和第二视点图像的阴影校正处理(S913～S915)
接着，摄像设备100针对第四校正第一视点图像M4I1(j,i)和第二视点图像I2(j,i)进行阴影(光量)校正。
在步骤S913中，如在步骤S907中那样(参见表达式(6A)～(6D))，摄像设备100针对第四校正第一视点图像M4I1进行阴影(光量)校正处理，由此生成第五校正第一视点图像M5I1。此时，摄像设备100使用已经在步骤S906中生成的函数作为阴影函数RSF1、GrSF1、GbSF1和BSF1。
在步骤S914中，如在步骤S903～S906中那样(参见表达式(3A)～(5D))，摄像设备100生成第二视点图像I2的阴影函数RSF2、GrSF2、GbSF2和BSF2。在步骤S915中，如在步骤S907中那样(参见表达式(6A)～(6D))，摄像设备100针对第二视点图像I2使用在步骤S914中生成的阴影函数来进行阴影(光量)校正处理，由此生成第五校正第二视点图像M5I2。
第一视点图像和第二视点图像的饱和信号处理(S916和S917)
在步骤S916中，摄像设备100根据以下表达式，通过针对第五校正第一视点图像M5I1(j,i)进行饱和信号处理，来生成作为输出图像的最终校正第一视点图像MI1(j,i)。
这里，第k视点图像Ik的最大值Imax/NLF以及第k视点图像Ik的饱和判断阈值ISk满足Imax/NLF≥ISk。同样地，在步骤S917中，摄像设备100针对第五校正第二视点图像M5I2(j,i)根据表达式(12)来进行饱和信号处理，由此生成作为输出图像的最终校正第二视点图像MI2(j,i)。注意，为了方便，使用术语“最终(final)”，并且这不意味着禁止进一步后面执行一些校正。
以下将参考图18和19来说明图9的步骤S914和S915所示的第二视点图像I2的针对RGB成分中的每一个成分的阴影(光量)校正处理的效果。图18示出阴影校正之前的(去马赛克之后的)第二视点图像I2的示例。这是如下的示例，其中在该示例中，成像光学系统的出射光瞳400和图像传感器107的入射光瞳之间的光瞳偏移针对RGB成分中的每一个成分引起了阴影，并且在第二视点图像I2的左侧上发生亮度的降低以及RGB比率的调整。图19示出根据本实施例的阴影校正之后的(去马赛克之后的)最终校正第二视点图像MI2的示例。通过基于所拍摄图像针对RGB成分中的每一个成分进行阴影校正，可以对亮度的降低以及RGB率的调整进行校正，并且生成具有如所拍摄图像I那样的高质量的阴影校正后的最终校正第二视点图像MI2(j,i)。
如上所述，根据第一实施例，摄像设备100使用所拍摄图像来进行视点图像的校正处理。这可以提高视点图像的质量。
第二实施例
在第二实施例中，将说明根据第一视点图像和第二视点图像(第一视点图像～第NLF视点图像)、基于第一视点图像和第二视点图像之间的相关性(信号的一致度)、利用相位差方法来检测散焦的焦点检测处理。在本实施例中，摄像设备100的基本结构与第一实施例相同(参见图1)。以下将主要说明与第一实施例的不同点。
首先，摄像设备100通过从拜尔阵列的RGB信号形成的第k视点图像Ik(k＝1～NLF)、针对各位置(j,i)使RGB成分的颜色重心一致，根据以下表达式来生成第k视点亮度信号Yk。
接着，摄像设备100根据以下表达式(14)，计算第k视点亮度信号Yk(k＝1～NLF)的阴影校正量Sk(i)作为针对光瞳分割方向(x方向)上的位置i的平滑的NS次多项式函数。
基于图像传感器107的光学特性(针对各第k子像素的光瞳强度分布)和成像光学系统(f值F和出射光瞳距离Dl)的光学特性，摄像设备100计算各系数SCk(μ|F,Dl)，并且将其保存在ROM(未示出)等中。
另外，摄像设备100针对第k视点亮度信号Yk(j,i)，根据以下表达式(15)使用阴影校正量Sk(i)进行阴影校正处理来生成校正后的第k视点亮度信号MYk(j,i)。
摄像设备100针对所生成的校正第一视点亮度信号MY1在光瞳分割方向(列方向)上进行一维带通滤波处理，由此生成第一焦点检测信号dYA。同样地，摄像设备100针对校正第二视点亮度信号MY2在光瞳分割方向(列方向)上进行一维带通滤波处理，由此生成第二焦点检测信号dYB。注意，作为一维带通滤波器，例如，可以使用一次微分型滤波器[1,5,8,8,8,8,5,1,-1,-5,-8,-8,-8,-8,-5,-1]。可以根据需要调整一维带通滤波器的通带。
接着，摄像设备100使第一焦点检测信号dYA和第二焦点检测信号dYB在光瞳分割方向(列方向)相对偏移，计算表示信号的一致度的相关量，并且基于所计算出的相关量来生成图像偏移量MDIS。
例如，令dYA(jAF+j2,iAF+i2)为相对于作为中心的焦点检测位置(jAF,iAF)的行方向上第j2行并且作为光瞳分割方向的列方向上第i2列的第一焦点检测信号，以及令dYB(jAF+j2,iAF+i2)为第二焦点检测信号，其中，j2满足-n2≤j2≤n2，并且i2满足-m2≤i2≤m2。此外，令s(-ns≤s≤ns)为偏移量。然后，可以通过以下表达式计算各位置(jAF,iAF)处的相关量COReven(jAF,iAF,s)和相关量CORodd(jAF,iAF,s)。
注意，相关量CORodd(jAF,iAF,s)是通过将第一焦点检测信号dYA和第二焦点检测信号dYB的偏移量相对于相关量COReven(jAF,iAF,s)偏移半个相位-1所获得的相关量。
摄像设备100通过进行子像素操作来计算使相关量COReven(jAF,iAF,s)和相关量CORodd(jAF,iAF,s)各自中的相关量最小的实数中的偏移量。摄像设备100还计算所计算出的偏移量的平均值，并且检测焦点检测位置(jAF,iAF)处的图像偏移量Dis(jAF,iAF)。
接着，摄像设备100针对焦点检测区域的各图像高度位置，将图像偏移量Dis(jAF,iAF)与从图像偏移量向散焦量的转换系数K相乘，并且检测各焦点检测位置(jAF,iAF)处的散焦量MDef(jAF,iAF)。注意，转换系数K是根据例如图像传感器的光学特性(针对各第k子像素的光瞳强度分布)和镜头信息(成像光学系统的f值F和出射光瞳距离Dl)而计算出的，并且将转换系数K保存在ROM(未示出)等中。
最后，摄像设备100根据在焦点检测位置(jAF,iAF)处检测到的散焦量MDef(jAF,iAF)来将透镜驱动至聚焦位置，并结束焦点检测处理。
在使用第一视点图像和第二视点图像(多个视点图像)来进行自动焦点检测时，需要进行高速阴影校正，来以良好的响应性实时进行自动焦点检测处理。因而，在本实施例中，在进行自动焦点检测时，可以使用预先计算并保存在ROM(未示出)等中的阴影校正关联数据来高速地进行阴影校正。这使得能够使用高质量的相位差方法的焦点检测信号，并且以良好的响应性来实施精确的自动焦点检测。注意，可以基于图像传感器的光学特性(针对各第k子像素的光瞳强度分布)和成像光学系统的光学特性(f值F和出射光瞳距离Dl)来计算阴影校正关联数据。在这种情况下，在进行自动焦点检测时，可以仅对特定视点图像(例如，第一视点图像)应用阴影校正，从而以更高的速度来进行自动焦点检测。
在本实施例中，在输出高质量的视点图像或这些图像的合成图像时，基于所拍摄图像来进行针对RGB成分中的每一个成分的精确的阴影校正。另一方面，已经说明了如下示例：在进行要求高响应性的实时自动焦点检测处理时，可以切换阴影校正方法，以使用预先计算并保存在存储介质中的阴影校正关联数据来进行高速阴影校正。因此，可以实现以良好响应性的高质量视点图像的输出和精确的自动焦点检测这两者。
将参考图24来说明选择性地执行高速阴影校正和精确阴影校正的阴影校正处理的操作。注意，除非特别说明，否则，如图9和10所示的处理那样，图24所示的步骤的处理是在CPU 121根据控制程序控制摄像设备100的各单元来实现的。
在步骤S2401中，摄像设备100判断是以高速还是高精度来进行阴影校正。例如，在进行高速自动焦点检测的情况下，摄像设备100进入步骤S2402，以高速地进行阴影校正。否则，例如在输出高质量的视点图像或这些图像的合成图像的情况下，处理进入步骤S2406，以进行精确的阴影校正。
在步骤S2402中，摄像设备100加载所保存的阴影校正关联数据。在步骤S2403中，摄像设备100判断视点图像的处理对象视点图像是否为阴影校正对象。如果处理对象视点图像是阴影校正对象，则处理进入步骤S2404。否则，在不针对视点图像进行阴影校正的情况下处理进入步骤S2405。在步骤S2404中，摄像设备100使用所加载的阴影校正关联数据来进行对视点图像的阴影校正。在步骤S2405中，摄像设备100判断在步骤S2403中是否剩余了没有评价的视点图像。如果在步骤S2403中评价了全部视点图像，则处理系列结束。否则，处理返回至步骤S2403，以重复针对视点图像的处理。
在步骤S2406中，摄像设备100基于所拍摄图像来执行针对RGB成分中的每一个成分的上述阴影校正，并且结束处理系列。利用该处理，可以选择性地执行高速阴影校正和精确阴影校正。
第三实施例
在第一实施例中，已经进行了在假定Nx＝2、Ny＝1以及NLF＝2×1＝2的情况下的说明。在第三实施例中，将进行Nx≥2、Ny≥2以及NLF＝Nx×Ny的一般化说明。在本实施例中，摄像设备100的基本结构与第一实施例相同(参见图1)。除了以下说明的点外，基于所拍摄图像的视点图像的校正处理(图9和10)也几乎与第一实施例相同。将第一实施例中假定NLF＝2的描述改变成不限于NLF＝2的描述。例如，将表示特定像素的全部子像素的描述“第一子像素201和第二子像素202”改变成“第一子像素～第NLF子像素”。另外，将表示特定像素的全部光电转换单元的描述“第一光电转换单元301和第二光电转换单元302”改变成“第一光电转换单元～第NLF光电转换单元”。同样地，根据需要进行从“第一部分光瞳区域501和第二部分光瞳区域502”向“第一部分光瞳区域～第NLF部分光瞳区域”的改变、以及从“第一视点图像和第二视点图像”向“第一视点图像～第NLF视点图像”的改变等。以下将主要说明与第一实施例的不同点。
图20是根据第三实施例的图像传感器107的像素和子像素的阵列的示意图。将图20的左右方向定义为x方向(水平方向)，将上下方向定义为y方向(垂直方向)，以及将与x和y方向垂直的方向(与纸面垂直的方向)定义为z方向(光轴方向)。图20示出4列×4行的范围内的图像传感器107(二维CMOS传感器)的像素(摄像像素)阵列以及8列×8行的范围内的子像素阵列。
在本实施例中，在图20所示的2列×2行的像素组200中，具有R(红色)的谱灵敏度的像素200R配置在左上位置，具有G(绿色)的谱灵敏度的像素200G配置在右上位置和左下位置，以及具有B(蓝色)的谱灵敏度的像素200B配置在右下位置。各像素在x方向上被分割成Nx(Nx是自然数)个部分，并且在y方向上被分割成Ny(Ny是自然数)个部分，并且由Nx×Ny个子像素＝光瞳分割数NLF构成。注意，在图20所示的示例中，Nx＝2，Ny＝2，以及NLF＝2×2＝4。各像素通过第一子像素201～第四子像素204来构成。在以下说明中，为了简要，假定如图20所示那样对各像素进行分割。然而，本实施例的像素分割不限于图20所示。本实施例的描述还适用于Nx和Ny之一或两者是3以上的情况。在这种情况下，各像素通过第一子像素～第NLF子像素来构成。
在图20所示的示例中，在平面上配置有多组4列×4行的像素(8列×8行的子像素)，由此获取用来生成所拍摄图像和四个视点图像(视点图像的数量与光瞳分割数NLF相对应)的输入图像。在图像传感器107中，像素的周期P是6μm(微米)，水平(列方向)像素数NH＝6000列，垂直(行方向)像素数NV＝4000行，以及像素数N＝NH×NV＝24,000,000个像素。另外，子像素的周期PS是3μm，以及子像素数NS是在水平方向上12,000列×垂直方向上8000行＝96,000,000个像素。
图21A是在从图像传感器107的光接收面侧(+z侧)观看的图20所示的图像传感器107的一个像素200G的情况下的平面图。在与图21A的纸面垂直的方向上设置z轴，并且将近侧定义为z轴的正方向。在与z轴垂直的上下方向上设置y轴，并且将上侧定义为y轴的正方向。在与z轴和y轴垂直的左右方向上设置x轴，并且将右侧定义为x轴的正方向。图21B是从-y侧观看的沿图21A的切割线a-a截取的截面图。
如图21A和21B所示，在像素200G中，形成有被配置为将入射光会聚至各像素的光接收面侧(+z方向)的微透镜305。另外，将像素在x方向上分割成两个单元并且在y方向上分割成两个单元，以形成四个光电转换单元(第一光电转换单元301～第四光电转换单元304)。第一光电转换单元301～第四光电转换单元304分别与第一子像素201～第四子像素204相对应。图21B所示的第三光电转换单元303和第四光电转换单元304的结构与参考第一实施例中的图3B所述的第一光电转换单元301和第二光电转换单元302的结构相同。
图22是示出图像传感器107的光瞳分割和像素结构之间的对应关系的示意性说明图。图22示出表示从+y方向观看的沿着图21A中的线a-a截取的像素结构的截面的截面图、以及从-z方向观看的成像光学系统的出射光瞳面的图。在图22中，为了获得与出射光瞳面的坐标轴的对应关系，将截面图的x轴和y轴从图21A和21B所示的状态反转。
图像传感器107配置在摄像镜头(成像光学系统)的成像面附近。来自被摄体的光束穿过成像光学系统的出射光瞳400，并且入射至各像素。将图像传感器107所配置于的平面定义为摄像面。
以2×2方式分割的第一部分光瞳区域501～第四部分光瞳区域504经由微透镜而与第一光电转换单元301～第四光电转换单元304的光接收面几乎具有光学共轭关系。第一部分光瞳区域501～第四部分光瞳区域504是能够分别通过第一子像素201～第四子像素204接收光的光瞳区域。第一子像素201的第一部分光瞳区域501在光瞳面上具有向着(+X,-Y)侧偏心的重心，第二子像素202的第二部分光瞳区域502在光瞳面上具有向着(-X,-Y)侧偏心的重心，第三子像素203的第三部分光瞳区域503在光瞳面上具有向着(+X,+Y)侧偏心的重心，以及第四子像素204的第四部分光瞳区域504在光瞳面上具有向着(-X,+Y)侧偏心的重心。
在图像传感器107的各像素中，以2×2方式分割的第一子像素201～第四子像素204分别接收穿过不同部分光瞳区域(即，成像光学系统的第一部分光瞳区域501～第四部分光瞳区域504)的光束。从通过各子像素接收到的光的信号获取表示光强度的空间分布和角度分布的LF数据(输入图像)。
同样，在第三实施例中，如在第一实施例中那样，摄像设备100可以根据图9和10的流程图、基于所拍摄图像来进行对视点图像的校正处理。然而，由于光瞳分割数NLF大于2，因此需要通过例如在步骤S902中生成多个视点图像来进行若干改变。以下将详细说明该情况。
在步骤S901中，摄像设备100根据表达式(1)、以像素为单位对第一子像素201～第四子像素204的全部信号进行合成。由此，根据LF数据来生成通过具有与像素数N(＝水平像素数NH×垂直像素数NV)相对应的分辨率的拜尔阵列的RGB信号所形成的所拍摄图像。
在步骤S902中，摄像设备100针对k＝1～3进行表达式(2)的操作，由此根据LF数据来生成第一视点图像I1(j,i)～第三视点图像I3(j,i)。
在S903～S907中，摄像设备100根据表达式(3A)～(6D)、针对第k视点图像Ik进行x方向上的阴影校正处理。该处理几乎与第一实施例相同。在步骤S903和S905～S907中，在第一实施例中，仅针对k＝1进行该处理。然而，在本实施例是，针对k＝1～3，进行同样的处理。另外，同样，在本实施例中，与第一实施例不同，进行y方向上的光瞳分割。因而，还需要在y方向上进行阴影校正处理。由于这个原因，摄像设备100通过在表达式(3A)～(6D)中将x方向替换成y方向来进行y方向上的阴影校正处理。在以这种方式在两个步骤中进行x方向和y方向上的阴影校正处理的情况下，在表达式(4A)～(4D)中用于标准化的光瞳分割数NLF是多余的。由于这个原因，在y方向上的阴影校正处理中，可以在表达式(4A)～(4D)中省略用于标准化的光瞳分割数NLF的相乘。由此生成阴影校正之后的第一校正第k视点图像M1Ik。
如第一实施例那样，根据表达式(7A)～(10)来进行步骤S908～S911的处理。在步骤S908、S909和S911中，在第一实施例中，仅针对k＝1进行该处理。然而，在本实施例中，针对k＝1～3，进行同样的处理。由此，生成第四校正第k视点图像M4Ik。
在步骤S912中，摄像设备100根据以下表达式(17)、通过校正后的所拍摄图像MI和第四校正第k视点图像M4Ik(k＝1～NLF-1＝1～3)来生成第四视点图像I4。
在步骤S913中，如第一实施例那样，摄像设备100针对第四校正第k视点图像M4Ik，根据表达式(6A)～(6D)来进行阴影校正处理，由此生成第五校正第k视点图像M5Ik。在第一实施例中，仅针对k＝1进行该处理。然而，在本实施例中，针对k＝1～3，进行同样的处理。
在步骤S914和S915中，如第二实施例的步骤S903～S907那样，摄像设备100生成第四视点图像I4的阴影函数，并且根据第四视点图像I4来生成第五校正第四视点图像M5I4。
在步骤S916和S917中，如在第一实施例中那样，摄像设备100根据表达式(12)通过第五校正第k视点图像M5Ik来生成最终校正第k视点图像MIk。在第一实施例中，k＝1～2。然而，在本实施例中，k＝1～4。
如上所述，可以将第一实施例一般化成Nx≥2、Ny≥2以及NLF＝Nx×Ny的情况。
第四实施例
在第四实施例中，将说明如下结构：针对第三实施例中所生成的最终校正第一视点图像～最终校正第四视点图像进行像素偏移超分辨率处理，以生成具有比各视点图像的分辨率高的分辨率的输出图像。在本实施例中，摄像设备100的基本结构与第三实施例相同(参见图1)。以下将主要说明与第三实施例的不同点。
图23是示出利用最终校正第一视点图像MI1(j,i)～最终校正第四视点图像MI4(j,i)的像素偏移超分辨率处理的概要的说明图。在图23中，在纸面的上下方向上设置x轴，并且将下侧定义为x轴的正方向。将与纸面垂直的方向设置成y轴，并且将近侧定义为y轴的正方向。在纸面的左右方向上设置z轴，并且将左侧定义为z轴的正方向。图23所示的摄像面600与图7和8的摄像面600相对应。
在图23中，在最终校正第一视点图像MI1(j,i)～最终校正第四视点图像MI4(j,i)中，示意性表示最终校正第一视点图像MI1(j,i)和最终校正第二视点图像MI2(j,i)。最终校正第一视点图像MI1(j,i)的信号是以与图7所示的第一部分光瞳区域501相对应的主光线角θ1入射至位置(j,i)处的第一光电转换单元301的光束的光接收信号。最终校正第二视点图像MI2(j,i)的信号是以与图7所示的第二部分光瞳区域502相对应的主光线角θ2入射至位置(j,i)处的第二光电转换单元302的光束的光接收信号。
最终校正第一视点图像MI1(j,i)～最终校正第四视点图像MI4(j,i)不仅包括光强度分布信息，而且还包括入射角度信息。因而，可以通过以下说明的平移来获得虚拟成像面610上的一个像素偏移图像组。
沿着主光线角θ1平移最终校正第一视点图像MI1(j,i)直至虚拟成像面610等同于在x方向上偏移-1/4像素并且在y方向偏移+1/4像素。沿着主光线角θ2平移最终校正第二视点图像MI2(j,i)直至虚拟成像面610等同于在x方向上偏移+1/4像素并且在y方向偏移+1/4像素。沿着主光线角θ3平移最终校正第三视点图像MI3(j,i)直至虚拟成像面610等同于在x方向上偏移-1/4像素并且在y方向偏移-1/4像素。沿着主光线角θ4平移最终校正第四视点图像MI4(j,i)直至虚拟成像面610等同于在x方向上偏移+1/4像素并且在y方向偏移-1/4像素。因此，通过使最终校正第一视点图像MI1(j,i)～最终校正第四视点图像MI4(j,i)各自在x方向和y方向至少之一上相对地非整数偏移与+1/2像素相对应的量，可以获得通过在虚拟成像面610上所生成的四个图像所形成的一个像素偏移图像组。
在本实施例中，摄像设备100使用通过包括最终校正第一视点图像MI1～最终校正第四视点图像MI4的多个校正后的视点图像所形成的一个像素偏移图像组，来进行像素偏移超分辨率处理。利用该结构。可以生成具有比与各校正后的视点图像的像素数N相对应的分辨率高的分辨率的输出图像。
在根据本实施例的第一视点图像～第四视点图像中，如参考图11A～11C所述，在成像光学系统的出射光瞳400和图像传感器107的入射光瞳之间可能发生光瞳偏移，光瞳分割可能不均等，并且针对各视点图像的RGB成分可能产生不同的阴影状态。在没有针对第一视点图像～第四视点图像的RGB成分中的每一个成分进行阴影(光量)校正的情况下，可能无法通过使用由阴影状态大大不同的多个视点图像所形成的一个像素偏移图像组的像素偏移超分辨率处理，来充分改善分辨率。
因而，在本实施例中，摄像设备100根据经过了基于所拍摄图像的RGB成分中的每一个成分的精确的阴影校正处理的最终校正第一视点图像～最终校正第四视点图像，来形成一个像素偏移图像组，并且通过像素偏移超分辨率处理来生成输出图像。因此，可以生成具有比与各校正视点图像的像素数N相对应的分辨率高的分辨率的输出图像。
注意，在像素偏移超分辨率处理中，不是必须使用全部最终校正第一视点图像～最终校正第四视点图像。例如，即使在仅使用最终校正第一视点图像和最终校正第二视点图像的情况下，也可以获得增大x方向上的分辨率的效果。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (15)

1.一种图像处理设备，其特征在于，包括：
获取单元，用于获取与成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及
校正单元，用于基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。
2.根据权利要求1所述的图像处理设备，其中，所述第一视点图像和所述所拍摄图像的各像素与多个颜色其中之一相对应，以及
所述校正单元决定所述第一像素组，使得所述第一像素组的全部像素与单个颜色相对应。
3.根据权利要求1所述的图像处理设备，其中，在所述第一视点图像的预定像素不具有有效值、或者所述所拍摄图像的与所述预定像素的位置相对应的像素不具有有效值的情况下，所述校正单元从所述第一像素组排除所述预定像素。
4.根据权利要求3所述的图像处理设备，其中，所述校正单元将饱和像素和缺陷像素至少之一判断为不具有有效值的像素。
5.根据权利要求1所述的图像处理设备，其中，在所述所拍摄图像的像素组的总和>所述第一像素组的总和>0的情况下，所述校正单元基于所述第一比率来对所述第一像素的阴影进行校正。
6.根据权利要求1所述的图像处理设备，其中，所述获取单元还获取与所述多个部分光瞳区域的第二部分光瞳区域相对应的第二视点图像，
所述校正单元基于所述第二视点图像的配置在所述第二方向上并且包括与所述第一视点图像的所述第一像素的位置相对应的第二像素的第二像素组的总和相对于所述所拍摄图像的与所述第二像素组的位置相对应的像素组的总和的第二比率，来对所述第二像素组的所述第二像素的阴影进行校正，以及
所述图像处理设备还包括生成单元，所述生成单元用于通过在所述校正单元进行校正之后进行使用所述第一视点图像和所述第二视点图像的像素偏移超分辨率处理，来生成具有比所述第一视点图像和所述第二视点图像的分辨率高的分辨率的图像。
7.根据权利要求1所述的图像处理设备，其中，所述第一部分光瞳区域是在所述第一方向上被分割成多个部分而且还在所述第二方向上被分割成多个部分的所述出射光瞳的多个部分光瞳区域其中之一，以及
所述校正单元基于所述第一视点图像的配置在所述第一方向上并且包括所述第一像素的第三像素组的总和相对于所述所拍摄图像的与所述第三像素组的位置相对应的像素组的总和的第三比率，来对所述第一像素的阴影进行校正。
8.根据权利要求1所述的图像处理设备，其中，还包括焦点检测单元，
其中，在使用所述第一视点图像进行焦点检测的情况下，所述校正单元切换对阴影的校正，以基于预先记录的校正关联数据来对所述第一像素组的所述第一像素的阴影进行校正，以及
所述焦点检测单元基于所述校正单元所校正后的图像来计算散焦量，并且基于所述散焦量来生成焦点检测信号。
9.一种摄像设备，其特征在于，包括：
图像传感器，其排列有各自包括多个子像素的多个像素，其中所述多个子像素各自用于接收成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的不同部分光瞳区域相对应的光束；
获取单元，用于获取与所述出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及
校正单元，用于基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。
10.一种图像处理设备，包括与用于执行图像处理程序的存储器相连接的处理器，其特征在于，所述处理器包括多组用于执行如下步骤的指令集：
获取与成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及
基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。
11.根据权利要求10所述的图像处理设备，其中，所述第一视点图像和所述所拍摄图像的各像素与多个颜色其中之一相对应，以及
用于校正阴影的指令包括：决定所述第一像素组，使得所述第一像素组的全部像素与单个颜色相对应。
12.根据权利要求10所述的图像处理设备，其中，用于校正阴影的指令包括：在所述第一视点图像的预定像素不具有有效值、或者所述所拍摄图像的与所述预定像素的位置相对应的像素不具有有效值的情况下，从所述第一像素组排除所述预定像素。
13.根据权利要求12所述的图像处理设备，其中，用于校正阴影的指令包括：将饱和像素和缺陷像素至少之一判断为不具有有效值的像素。
14.一种图像处理设备执行的图像处理方法，其特征在于，所述图像处理方法包括以下步骤：
获取与成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及
基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。
15.一种计算可读存储介质，其存储用于使计算机执行图像处理设备的控制方法的程序，其特征在于，所述控制方法包括以下步骤：
获取与成像光学系统的在第一方向上被分割成多个部分光瞳区域的出射光瞳的第一部分光瞳区域相对应的第一视点图像、以及与所述出射光瞳相对应的所拍摄图像；以及
基于所述第一视点图像的配置在与所述第一方向垂直的第二方向上的第一像素组的总和相对于所述所拍摄图像的与所述第一像素组的位置相对应的像素组的总和的第一比率，来对所述第一像素组的第一像素的阴影进行校正。
CN201710372375.4A 2016-06-03 2017-05-24 图像处理设备及方法、摄像设备和计算机可读存储介质 Active CN107465866B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016112101A JP6700986B2 (ja) 2016-06-03 2016-06-03 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2016-112101 2016-06-03
JP2016-143735 2016-07-21
JP2016143735A JP6735621B2 (ja) 2016-07-21 2016-07-21 画像処理装置及びその制御方法、プログラム並びに撮像装置

Publications (2)

Publication Number Publication Date
CN107465866A true CN107465866A (zh) 2017-12-12
CN107465866B CN107465866B (zh) 2020-12-15

Family

ID=59061787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710372375.4A Active CN107465866B (zh) 2016-06-03 2017-05-24 图像处理设备及方法、摄像设备和计算机可读存储介质

Country Status (4)

Country Link
US (1) US10574916B2 (zh)
EP (1) EP3261328B1 (zh)
KR (1) KR20170137633A (zh)
CN (1) CN107465866B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858871A (zh) * 2018-08-24 2020-03-03 佳能株式会社 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2548462B (en) 2016-01-29 2020-06-17 Canon Kk Image sensor and image capturing apparatus
US10110839B2 (en) * 2016-05-03 2018-10-23 Semiconductor Components Industries, Llc Dual-photodiode image pixel
US10528842B2 (en) * 2017-02-06 2020-01-07 Mediatek Inc. Image processing method and image processing system
KR102496377B1 (ko) 2017-10-24 2023-02-06 삼성전자주식회사 저항변화 물질층을 가지는 비휘발성 메모리소자
JP6427258B1 (ja) * 2017-12-21 2018-11-21 キヤノン株式会社 表示制御装置、表示制御方法
JP7191552B2 (ja) * 2018-05-30 2022-12-19 キヤノン株式会社 制御装置、撮像装置、プログラム、および、記憶媒体
US11303355B2 (en) 2018-05-30 2022-04-12 Apple Inc. Optical structures in directional free-space optical communication systems for portable electronic devices
US10705347B2 (en) 2018-05-30 2020-07-07 Apple Inc. Wafer-level high aspect ratio beam shaping
US10700780B2 (en) * 2018-05-30 2020-06-30 Apple Inc. Systems and methods for adjusting movable lenses in directional free-space optical communication systems for portable electronic devices
KR102666666B1 (ko) 2018-06-01 2024-05-20 삼성전자주식회사 이미지 부호화 장치 및 이미지 복호화 장치
US11549799B2 (en) 2019-07-01 2023-01-10 Apple Inc. Self-mixing interference device for sensing applications
WO2021024577A1 (ja) * 2019-08-06 2021-02-11 ソニー株式会社 撮像制御装置と撮像制御方法とプログラムおよび撮像装置
CN112929636B (zh) * 2019-12-05 2024-09-10 北京芯海视界三维科技有限公司 3d显示设备、3d图像显示方法
CN112464829B (zh) * 2020-12-01 2024-04-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274170A1 (en) * 2005-06-07 2006-12-07 Olympus Corporation Image pickup device
CN101372179A (zh) * 2007-08-20 2009-02-25 精工爱普生株式会社 行扫描头以及使用其的图像形成装置
CN102509271A (zh) * 2011-11-21 2012-06-20 洪涛 基于多维度分解迭代增强校正的图像复原方法
CN103748873A (zh) * 2011-08-19 2014-04-23 富士胶片株式会社 摄像装置及阴影校正方法
US20140253787A1 (en) * 2013-03-07 2014-09-11 Canon Kabushiki Kaisha Focus detection apparatus, focus detection method, and image capturing apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
JP5317562B2 (ja) * 2008-07-17 2013-10-16 キヤノン株式会社 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム
JP5818697B2 (ja) 2012-01-13 2015-11-18 キヤノン株式会社 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体
JP6048574B2 (ja) 2013-03-29 2016-12-21 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274170A1 (en) * 2005-06-07 2006-12-07 Olympus Corporation Image pickup device
CN101372179A (zh) * 2007-08-20 2009-02-25 精工爱普生株式会社 行扫描头以及使用其的图像形成装置
CN103748873A (zh) * 2011-08-19 2014-04-23 富士胶片株式会社 摄像装置及阴影校正方法
US20140204178A1 (en) * 2011-08-19 2014-07-24 Fujifilm Corporation Imaging device and shading correction method
CN102509271A (zh) * 2011-11-21 2012-06-20 洪涛 基于多维度分解迭代增强校正的图像复原方法
US20140253787A1 (en) * 2013-03-07 2014-09-11 Canon Kabushiki Kaisha Focus detection apparatus, focus detection method, and image capturing apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858871A (zh) * 2018-08-24 2020-03-03 佳能株式会社 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统
US11195257B2 (en) 2018-08-24 2021-12-07 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system
CN110858871B (zh) * 2018-08-24 2021-12-31 佳能株式会社 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统

Also Published As

Publication number Publication date
CN107465866B (zh) 2020-12-15
KR20170137633A (ko) 2017-12-13
EP3261328B1 (en) 2021-10-13
US10574916B2 (en) 2020-02-25
EP3261328A2 (en) 2017-12-27
US20170353680A1 (en) 2017-12-07
EP3261328A3 (en) 2018-03-28

Similar Documents

Publication Publication Date Title
CN107465866A (zh) 图像处理设备及方法、摄像设备和计算机可读存储介质
JP6789833B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6972266B2 (ja) 画像処理方法、画像処理装置、および、撮像装置
CN102984448A (zh) 利用颜色数字图像对动作如锐度修改进行控制的方法
CN102668537A (zh) 多眼摄像装置及多眼摄像方法
KR20120068655A (ko) 무선통신장치를 이용하여 양질의 홍채 및 피사체 영상을 편리하게 촬영하기 위한 방법 및 한 개의 밴드패스필터로 가시광선과 근적외선 일부영역을 투과시키는 카메라 장치
CN112866549B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2018107654A (ja) 画像処理装置および画像処理方法、プログラム、記憶媒体
US11282176B2 (en) Image refocusing
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN107960120B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP2016038414A (ja) 焦点検出装置およびその制御方法、並びに撮像装置
JP2020036310A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
JP6700986B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7204357B2 (ja) 撮像装置およびその制御方法
JP6976754B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP2004133919A (ja) 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
US10868953B2 (en) Image processing device capable of notifying an effect of emphasizing a subject before performing imaging, control method thereof, and medium
CN112492194B (zh) 图像处理方法和图像处理装置
JP7319840B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6800648B2 (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置
JP2019114912A (ja) 画像処理装置および画像処理方法、並びに撮像装置
JP2018110299A (ja) 画像処理方法、画像処理装置、および、撮像装置
JP6735621B2 (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant