CN104580921B - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN104580921B
CN104580921B CN201410571902.0A CN201410571902A CN104580921B CN 104580921 B CN104580921 B CN 104580921B CN 201410571902 A CN201410571902 A CN 201410571902A CN 104580921 B CN104580921 B CN 104580921B
Authority
CN
China
Prior art keywords
exposure
pixel
image
conditions
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410571902.0A
Other languages
English (en)
Other versions
CN104580921A (zh
Inventor
木村正史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104580921A publication Critical patent/CN104580921A/zh
Application granted granted Critical
Publication of CN104580921B publication Critical patent/CN104580921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Abstract

本发明涉及一种摄像设备及其控制方法。所述摄像设备具有第一曝光模式和第二曝光模式，其中在该第一曝光模式中，基于利用多个像素对经由光瞳分割单元入射的光线进行光电转换所生成的像素数据来确定曝光条件，基于与拍摄光学系统的结构有关的信息来确定该拍摄光学系统的渐晕状态，并且基于从根据该渐晕状态生成的像素数据中所选择的像素数据来确定曝光条件，以及在该第二曝光模式中，基于通过将所生成的像素数据针对拍摄镜头的出射光瞳区域进行相加所获得的数据来确定曝光条件。

Description

摄像设备及其控制方法
技术领域
本发明涉及摄像设备，尤其涉及可以获得多个视差图像的摄像设备的曝光控制技术。
背景技术
在相关技术中，在使摄像设备自动化的情况下，已考虑了曝光的自动化(所谓的AE)。近年来，已提出了用于获得两个以上的视差图像的许多系统，并且还已提出了与这些视差图像的曝光控制有关的技术。例如，日本特开2012-124622公开了如下具有多个摄像设备的拍摄系统：在这些摄像设备的不同曝光条件下拍摄被摄体，之后通过图像处理来合成所拍摄图像。
日本特开2011-197278公开了如下摄像系统：对程序图进行设计以优先视差，并且确定视差优先的曝光条件。
在Ren Ng等人、“Light Field Photography with a Hand-held PlenopticCamera”,2005,Computer Science Technical Report CTSR中已公开了可以获得光场信息的照相机系统。在这种系统中公开了在获得图像之后进行焦点调整(所谓的再聚焦)的方法。
然而，根据前述专利文献所公开的相关技术，在可以从一个摄像元件同时获得多个视差图像的系统中，未必能获得期望曝光。换句话说，尽管日本特开2012-124622所公开的发明可以应用于组合多个摄像设备的摄像系统(即，多眼照相机)，但在单眼照相机中不容易实现。
根据日本特开2011-197278所公开的发明，尽管可以实现存在视差优先功能的想法，但无法应对存在拍摄光学系统的复杂渐晕的情况等。
根据Ren Ng等人、“Light Field Photography with a Hand-held PlenopticCamera”,2005,Computer Science Technical Report CTSR所公开的发明，尽管广泛公开了诸如再聚焦或光圈值的变化等的想法，但并未公开在获得光场信息时如何确定曝光条件。
因此，本发明的方面提供如下摄像设备：即使在拍摄光学系统中存在渐晕的状态下，也可以确定与用户已优先设置的功能相对应的曝光条件。
发明内容
为了实现以上方面，根据本发明，一种摄像设备，其具有：摄像部件，其包括用于对由包含拍摄镜头的拍摄光学系统所形成的被摄体的光学图像进行光电转换的多个像素，并且所述摄像部件用于通过使用所述多个像素的输出来生成像素数据；以及光瞳分割部件，用于将入射到所述摄像部件的各像素的来自所述拍摄光学系统的光线限制为来自所述拍摄镜头的特定出射光瞳区域的光线，所述摄像设备的特征在于还包括：曝光条件确定部件，用于基于利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据，来确定所述摄像部件的曝光条件；以及渐晕确定部件，用于基于与所述拍摄光学系统的结构有关的信息，来确定所述拍摄光学系统的渐晕状态，其中，所述曝光条件确定部件具有第一曝光模式和第二曝光模式，其中所述第一曝光模式用于基于根据所述渐晕状态而从利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据中选择的像素数据，来确定所述曝光条件，以及所述第二曝光模式用于基于通过将利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据针对所述拍摄镜头的出射光瞳区域相加而获得的数据，来确定所述曝光条件。
为了实现以上方面，根据本发明，一种摄像设备的控制方法，所述摄像设备具有：摄像部件，其包括用于对由包含拍摄镜头的拍摄光学系统所形成的被摄体的光学图像进行光电转换的多个像素，并且所述摄像部件用于通过使用所述多个像素的输出来生成像素数据；以及光瞳分割部件，用于将入射到所述摄像部件的各像素的来自所述拍摄光学系统的光线限制为来自所述拍摄镜头的特定出射光瞳区域的光线，所述控制方法的特征在于包括以下步骤：曝光条件确定步骤，用于基于利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据，来确定所述摄像部件的曝光条件；以及渐晕确定步骤，用于基于与所述拍摄光学系统的结构有关的信息，来确定所述拍摄光学系统的渐晕状态，其中，所述曝光条件确定步骤具有第一曝光模式和第二曝光模式，其中所述第一曝光模式用于基于根据所述渐晕状态而从利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据中选择的像素数据，来确定所述曝光条件，以及所述第二曝光模式用于基于通过将利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据针对所述拍摄镜头的出射光瞳区域相加而获得的数据，来确定所述曝光条件。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面，并和说明书一起用来解释本发明的原理。
图1是根据本发明实施例的摄像设备的框图。
图2A、2B和2C是用于说明图1的摄像设备的拍摄光学系统的主要部分的图。
图3是示出根据本发明实施例的摄像设备的曝光确定控制的操作所用的流程图的图。
图4A、4B、4C、4D和4E是用于说明光学系统的渐晕状态和渐晕计算单元的操作的图。
图5是示出根据本发明实施例的摄像设备中的通过拍摄所获得的图像的示例的图。
图6A和6B是示意性示出用于生成图5所示的图像的图像处理的图。
具体实施方式
以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。
第一实施例
以下将参考图1～6B来说明本发明的第一实施例。
图1是根据本实施例的摄像设备的框图。该摄像设备是例如数字照相机等那样的、包括照相机主体1和镜头单元2的照相机系统。该摄像设备具有摄像系统、图像处理系统、记录再现系统和控制系统。镜头单元2还可被配置成相对于照相机主体1可拆卸。
如以下将说明的，根据本实施例的摄像设备具有使得能够获得光场信息的拍摄光学系统和摄像单元，并且根据本发明的特征来控制通过使用这两者所获得的像素数据而进行的曝光条件的确定。这样，本发明是基于用于确定可以获得光场信息的摄像设备的诸如光圈位置和曝光时间等的曝光条件的技术思想。
摄像系统包括：拍摄光学系统3，其包含拍摄透镜和调焦透镜等；以及摄像元件6。图像处理系统包括图像处理单元7。记录再现系统包括存储器单元8和显示单元9。控制系统包括照相机系统控制单元5、操作检测单元10、镜头系统控制单元12和镜头驱动单元13。镜头驱动单元13可以驱动调焦透镜、振动校正透镜和光圈等。在本实施例中，操作检测单元10和存储器单元8构成用户设置单元。也就是说，设置并存储以下将说明的曝光模式。
摄像系统是用于将来自被摄体的光经由拍摄光学系统3会聚到摄像元件6的摄像面上的光学处理系统。微透镜(以下称为ML)呈格子状配置在摄像元件6的表面上，由此形成所谓的微透镜阵列(以下称为MLA)14。在本实施例中，MLA 14构成光瞳分割单元。以下将参考图2A～2C来说明MLA 14的功能和布局的详情。由于通过光瞳分割单元的操作从摄像元件6获得焦点评价量和适当曝光量，因此基于示出这些量的信号来适当调整拍摄光学系统3。因而，使适当光量的被摄体光暴露至摄像元件6，并且在摄像元件6附近成像被摄体的光学图像。
图像处理单元7内具有A/D转换器、白平衡单元、伽玛校正单元和插值运算单元等，并且可以生成记录所用的图像。用作本发明的主要特征的曝光条件确定单元、渐晕确定单元和图像生成单元也包括在图像处理单元7中。然而，曝光条件确定单元、渐晕确定单元和图像生成单元也可以包括在照相机系统控制单元5中。在本实施例中，假定这些组成元件配置在照相机系统控制单元5内的情况。
除用于实际存储数据的存储单元以外，存储器单元8还具有记录所需的处理单元。存储器单元8将数据输出至记录单元并且生成并存储输出至显示单元9的图像。存储器单元8通过使用预定方法来对图像、运动图像或语音声音等进行压缩。
照相机系统控制单元5生成并输出摄像所用的定时信号等，并且响应于外部操作来分别控制摄像系统、图像处理系统和记录再现系统。例如，操作检测单元10检测快门释放按钮(未示出)的按下，并且照相机系统控制单元5控制摄像元件6的驱动、图像处理单元7的操作和存储器单元8的压缩处理等。此外，照相机系统控制单元5控制用于利用显示单元9将信息显示在液晶监视器等上的信息显示设备的各部分的状态。利用如下方法来实现这些控制：照相机系统控制单元5载入内置存储器(未示出)中所存储的控制程序并且参考所设置的数据等来执行该控制程序。现在将说明控制系统所执行的光学系统的调整操作。图像处理单元7连接至照相机系统控制单元5，并且根据本发明，基于来自摄像元件6的信号来确定适合拍摄条件的焦点位置和光圈位置。照相机系统控制单元5经由电气接点11向镜头系统控制单元12发送指示。镜头系统控制单元12响应于所接收到的指示来适当地控制镜头驱动单元13。此外，振动检测传感器(未示出)连接至镜头系统控制单元12。在用以进行振动校正的模式中，基于来自振动检测传感器的信号经由镜头驱动单元13来适当地控制振动校正透镜。
图2A～2C是用于说明本实施例中的拍摄光学系统的主要部分的图。在这些图中，利用相同的附图标记来指定与图1的部分相同的部分。
在应用了本发明的摄像设备中，除被称为“光场信息”的光线的位置等以外，还需要获得角度的信息。为此，在本实施例中，为了获得角度信息，将MLA 14配置在拍摄光学系统3的摄像面附近，并且使摄像元件6的多个像素与构成MLA的一个ML相对应。
图2A是示意性示出摄像元件6和MLA 14之间的关系的图。图2B是示出摄像元件6的像素21和MLA 14之间的对应关系的示意图。图2C是示出利用MLA 14使与MLA 14相对应地配置的像素与特定光瞳区域相对应的情形的图。
如图2A所示，MLA 14配置在摄像元件6上并且ML 20的前侧主点配置在拍摄光学系统3的摄像面附近。图2A示意性示出在从侧面观看摄像设备并且从正面观看MLA 14的情况下的外观。在从摄像设备的正面观看的情况下，MLA 14的各ML 20被排列成覆盖摄像元件6上的像素。尽管在图2A中以大比例示出构成MLA 14的各ML从而容易从视觉上识别，但实际上，各ML的大小是像素的数倍大。将参考图2B来说明实际大小。
图2B是在从图2A的摄像设备的正面观看的情况下该图的部分放大图。图2B所示的格子状的框示出摄像元件6的各像素21。利用粗体圆示出构成MLA 14的各ML 20。如通过图2B明显理解，将预定数量的像素分配至一个ML。在图2B的示例中，针对一个微透镜设置25(＝5行×5列)个像素(统称为单位像素)。也就是说，尽管各微透镜的大小等于像素大小的25(＝5×5)倍大的大小，但不限于该大小。
图2C是在以包含ML的光轴的方式对摄像元件6进行切割、由此将传感器的长边方向设置为图中的横方向的情况下的摄像元件6的图。在图2C中，示出摄像元件6的像素21-a、21-b、21-c、21-d和21-e(一个光电转换单元)。图2C的上方位置所示的图表示拍摄光学系统3的出射光瞳面。实际上，如果图2C的下方位置所示的传感器的图和方向相匹配，则将出射光瞳面(X-Y面)设置为与图2C的纸面垂直的方向。然而，改变投影方向以便于理解说明。在图2C中，为了简化说明，将说明一维投影/信号处理。在实际设备中，可以容易地扩展至二维。
在图2C的像素21-a、21-b、21-c、21-d和21-e与图2B的像素21-a、21-b、21-c、21-d和21-e之间存在对应位置关系。如图2C所示，各像素被设计成经由ML 20与拍摄光学系统3的出射光瞳面上的特定出射光瞳区域共轭。在图2C的示例中，分别为如下：区域25-a与像素21-a相对应，区域25-b与像素21-b相对应，区域25-c与像素21-c相对应，区域25-d与像素21-d相对应，并且区域25-e与像素21-e相对应。也就是说，仅穿过拍摄光学系统3的出射光瞳面上的区域25-a的光线入射到像素21-a。这同样适用于其它像素。结果，可以根据光瞳面上的穿过区域和摄像元件6上的像素之间的位置关系来获得被摄体光的角度信息。
现在将引入附加符号以简化以下说明。如图2C所示，假定摄像元件6的像素间距为Δx，并且假定角度分辨率为Δθ。此外，假定角度的分割数为Nθ(在图2A～2C的示例中，Nθ＝5)。根据摄像元件6的形状来确定像素间距。利用获得光线的角度的范围和角度分割数Nθ来确定Δθ。也就是说，仅利用物理结构(摄像元件6和ML 20的结构)来确定这些参数。
在参考图2A～2C所述的光学系统中，可以通过使用MLA来指定光线的入射角度。也就是说，通过使用图2A～2C的光学系统拍摄被摄体图像，除入射光的位置以外，还可以获得角度信息。近年来，将光线的位置和角度的这种信息称为“光场信息”，并且通常将可以获得光场信息的摄像设备称为“光场照相机”或“全光照相机”。
现在将参考图3和4A～4E来说明根据本实施例的摄像设备中的曝光条件的确定操作。
图3示出根据本实施例的摄像设备中的曝光条件的确定操作所用的流程图。将参考图3的流程图来顺次说明本实施例所示的操作。利用照相机系统控制单元5控制各单元的方法来执行根据图3的流程图的操作。
在步骤S301中，照相机系统控制单元5开始操作。例如，通过使用操作检测单元10的输出或时间作为触发来开始操作。
在步骤S302中，照相机系统控制单元5读取用户设置单元所确定的设置。这些设置用作以下将说明的步骤S303或S304中的分支判断的依据。为此，例如，在拍摄时，保存示出如下内容的信息作为设置数据单元的设置数据：用户是否想要以连拍速度优先进行拍摄、是否想要输出再聚焦图像或者是否由于渐晕而想要优先进行抗噪方案(噪声降低)等。
尽管步骤S303或S304是与反映了本实施例的结构的技术结构有关的分支判断，但实际界面并不涉及这种结构，而是可以与照相机的功能相对应。例如，代替诸如“基于相加图像来设置曝光”等的表述，使用诸如“优先连拍速度”等的用户可以容易地理解为功能的表述也将是便利的。作为用户所进行的设置的示例，照相机系统控制单元5和图像处理单元7基于预先获得的像素数据来检测被摄体并将所检测到的被摄体通知在显示画面上，并且用户选择存在随后将再聚焦的可能性的一个或多个被摄体。因而，在后级的曝光条件确定时，向来自聚焦面上的构成各被摄体的像素的信号添加权重，以使得可以对聚焦于所选择的一个或多个被摄体的再聚焦面适当进行曝光，并且确定曝光条件。作为另一示例，用户输入并设置与随后他是否想要改变视点有关的愿望，由此根据所检测到的被摄体的数量及其位置和方向来评价哪一个视点的图像是重要的，向来自构成重要视点的图像的像素的信号添加权重，并且确定曝光条件。在多个被摄体左右重叠的状态下检测到这些被摄体的情况下，向来自微透镜中的左端和右端的像素的信号添加大的权重，并且确定曝光条件，由此可以将与左右之间广泛移动的视点相对应的视点图像的明度设置为适当值。
在步骤S303中，基于步骤S302中所读出的用户设置，照相机系统控制单元5判断是基于相加信号(单位像素数据)来确定曝光条件还是基于各视差图像来确定曝光条件。在基于相加信号来确定曝光条件的情况下，进入步骤S304。在基于各视差图像来确定曝光条件的情况下，进入步骤S309。确定曝光条件的方法不限于这种方法，而且可以考虑到相加信号和视差信号这两者来确定曝光条件。在这种情况下，利用如下方法等来确定最终曝光条件就足够了：向由步骤S307和S310中生成的相加图像和视差图像各自所确定的曝光条件添加权重，并且将加权后的曝光条件进行相加。
在步骤S304中，照相机系统控制单元5判断利用再聚焦面是否获得曝光条件。根据Ren Ng等人、“Light Field Photography with a Hand-held Plenoptic Camera”,2005,Computer Science Technical Report CTSR，上述根据本实施例的摄像设备可以生成能够再聚焦的像素数据。由于在现有技术文献中已公开了再聚焦方法等，因此这里省略了针对这些方法的说明。
在一般的摄像设备中，通过经由镜头单元2的镜头驱动单元13调整拍摄光学系统3来进行焦点调整。也就是说，聚焦在摄像元件6上的图像是最终输出的处于聚焦状态的图像，并且在该状态下确定曝光条件就足够了。另一方面，根据本实施例的摄像设备具有以下三个曝光模式。也就是说，在步骤S303和S304的分支中，处理例程通过步骤S309的情况与第一曝光模式相对应，处理例程通过步骤S304→步骤S307的情况与第二曝光模式相对应，并且处理例程通过步骤S304→步骤S305的情况与第三曝光模式相对应。在本实施例中，根据用户设置来选择性地使用这三个曝光模式。
在用户想要优先连拍速度的情况下，在读出时相加并读出视差图像并且基于相加图像来确定曝光条件就足够了。通过使用这种方法，可以在抑制相加图像的饱和的同时(各视差图像基于曝光不足条件)，以高速进行读出和连拍。在这种情况下，使用第二曝光模式就足够了。
另一方面，在连拍速度优先的情况下，牺牲噪声降低效果。在用户想要优先噪声降低的情况下，可以在读出时单独读出视差图像并且基于各视差图像来确定曝光条件。利用该方法，可以在抑制视差图像的饱和的同时(由于相加图像基于过曝光条件，因此存在饱和的可能性)，通过读出之后的相加合成来降低噪声。在这种情况下，使用第一曝光模式就足够了。
在通过使用再聚焦来生成最终图像的情况下，如果利用再聚焦面获得曝光条件则更为便利。在没有进行再聚焦的状态下，观察到模糊图像。这是因为，如果利用这种图像确定曝光条件，则在进行点测光等的情况下，存在该点测光变得不恰当的可能性。在这种情况下，使用第三曝光模式就足够了。
以上已经说明了在如上所述的曝光条件的确定中用作判断基准的诸如连拍速度、噪声降低和再聚焦时的最终图像的输出等的功能作为一个示例。本发明不限于这些，而且根据用户想要实现的功能或拍摄设置来适当选择曝光模式就足够了。在本实施例中，在步骤S302中确认用户设置，并且确定适合便利的读出方法的曝光条件。
由于根据本实施例的摄像设备生成可以再聚焦的像素数据，因此还考虑通过图像处理来进行焦点调整功能的一部分的这种系统。在这种系统中，如果通过原样对摄像元件6的信号进行相加(而没有进行再聚焦)来获得曝光条件，则存在其结果变得不适当的情况。具体而言，在确定曝光条件的范围内存在小且明亮的亮点的情况下，在散焦状态和聚焦状态之间亮度分布存在大的变化。在聚焦情况下，观察到亮点部作为非常明亮的区域。然而，如果图像发生散焦，则观察到亮点部分作为亮度大幅下降的区域(亮度由于散焦状态而被平均)。这样，亮度分布大大不同。因此，如果预先形成最终输出的像面(再聚焦面)上的图像并且在该再聚焦面上确定曝光条件，则所输出的再聚焦图像是在适当的曝光条件下获得的。因此，这种方法是便利的。
因此，根据与用户是否使利用再聚焦的焦点调整有效有关的用户设置来对步骤S304进行分支就足够了。如果使利用再聚焦的焦点调整有效，则进入步骤S305。如果使利用再聚焦的焦点调整无效，则将再聚焦量设置为0并且进入步骤S307。
在步骤S305中，计算散焦量。该处理与被称为“焦点检测”的技术实质相同。通过计算散焦量，定量地掌握相对于主被摄体的焦点偏移量。在步骤S306中，照相机系统控制单元5检测主被摄体。通过来自图像的被摄体检测或步骤S305中的散焦量计算时的评价量等来确定被摄体就足够了。来自图像的被摄体检测众所周知为面部检测等。作为使用步骤S305的方法，使用散焦量的计算的评价值的变化量大的部分或者判断为评价量最佳的部分等就足够了。通过步骤S305和S306可以知晓被摄体存在的位置(深度)，并且确定应对图像进行再聚焦的量。
在步骤S307中，照相机系统控制单元5生成与再聚焦量相对应的平面上的图像。由于光场信息具有用户难以直观地原样识别出该光场信息的格式，因此需要对图像进行显像，以使得可以以与普通图像的方式基本相同的方式处理该图像。这里所述的“显像”表示如下的处理操作：对像素数据执行用以根据光场信息来生成任意再聚焦位置处的重建图像的操作。作为具体内容，如Ren Ng等人、“Light Field Photography with a Hand-heldPlenoptic Camera”,2005,Computer Science Technical Report CTSR所公开的，收集入射到再聚焦面上的各位置的光线并且相对于光瞳面进行积分(相加)由此生成该平面上的单位像素，这就足够了。步骤S307涉及用以进行这种显像的操作，并且是利用照相机系统控制单元5的图像生成单元执行的具体操作。假定用户可以利用用户设置单元来设置根据本实施例的摄像设备中的再聚焦面。
步骤S309是照相机系统控制单元5的渐晕计算单元的具体操作，并且获得渐晕最少的像素(视差像素)。以下将参考图4A～4E来说明渐晕计算单元的操作。
在步骤S310中，照相机系统控制单元5利用步骤S309中所选择的像素来生成视差图像。在步骤S308中，基于步骤S307或S310中所获得的图像来确定曝光条件。在步骤S311中，处理例程结束。
随后，将参考图4A～4E来说明光学系统的渐晕状态和渐晕计算单元的操作。
图4A示意性示出摄像元件6、光圈43、各种透镜框42和44以及渐晕之间的关系。透镜框是用以进行透镜的保持等的部件，由此透镜框通常可以是如下端面，其中尽管在画面中心40处该端面没有限制光线，但该端面根据像高来限制光线。图4B是示出画面中心40处的光圈43以及各种透镜框42和44之间的位置关系的图。图4C是示出摄像元件6上的一点41处的光圈43以及各种透镜框42和44之间的位置关系的图。图4D和4E是示出在以与图2B相同的方式从摄像设备的正面观看时、存在如图4C所示的渐晕的状态下的摄像像素和渐晕之间的对应关系的图。
尽管为了容易理解说明、在图4A中针对光圈43在摄像元件6侧及其相对侧各自上示出一个透镜框，但并非必须始终在各侧上并排绘制这两者。在图4A中，示出光圈43的粗体直线一维地示出开口的大小。尽管实际光圈几乎为圆形，但考虑到示意性示出该圆形的直径就足够了。这同样适用于透镜框42和44。在从画面中心40观看的情况下，关于指向光圈43的光线，没有因透镜框42和44而发生渐晕。在图4B中示出这种情况。图4B是在相对于画面中心40将光圈43和透镜框42和44投影到光圈43的平面上的情况下的图。此时，由于光圈43和透镜框42和44形成同心圆并且光圈43的直径最小，因此应当理解，没有因透镜框42和44而发生渐晕。
在从具有预定像高的点41观看的情况下，存在因透镜框42和44而发生渐晕的可能性。在图4A～4E的示例中，因存在于摄像元件6侧的透镜框44而发生渐晕。在图中利用附图标记45来表示发生渐晕的区域。以与图4B相同的方式，图4C是示出相对于点41而将光圈43和透镜框42和44投影到光圈43的平面上的情况的图。应当理解，因透镜框44而发生渐晕。
如通过图4A～4C应当理解，确定渐晕的状态的因素受到用作构成拍摄光学系统的物理因素的光瞳距离、光瞳直径、像高、透镜框的距离和透镜框的直径等所支配。光瞳距离是图4A中的摄像元件6和光圈43之间的距离。光瞳直径是F值，并且在图4A中是光圈43的宽度。像高是图4A中通过画面中心40和摄像元件6上的点41之间的比较所表示的位置。透镜框的距离是图4A中摄像元件6与透镜框42和44各自之间的距离。透镜框的直径是图4A中透镜框42和44各自的宽度。通过根据实际拍摄条件与透镜等进行通信来获得这些信息并且对这些信息适当执行处理，如图4C所示确定光瞳面上的渐晕状态。因而，由于可以在与一个ML相对应的单位像素(5行×5列)内指定发生渐晕的像素，因此可以生成不受渐晕影响的视差图像。图4D示出在如图2A～2C所示的示例所示的25(＝5×5)个像素与一个ML相对应的情况下、Nθ＝5的状态。图4E示出Nθ＝2的状态。
如图4D所示，在存在渐晕的情况下，存在入射的光线受到大幅限制的像素(视差)。在图4D的示例中，像素46处于不存在渐晕并且开口率等于100％的状态。进行如下定义：开口率是在将像素投影到光瞳面上的情况下没有发生渐晕的面积相对于像素面积的比率。另一方面，在关注像素47的情况下，尽管在不存在渐晕的状态下开口率应等于100％，但在图4D中存在大的渐晕。如果基于如像素47那样的存在渐晕的像素来确定曝光条件，则存在不具有渐晕的像素46发生饱和的风险。如果基于不具有渐晕的像素46来确定曝光条件，则可以避免饱和。
还考虑假定渐晕的状态以使用具有渐晕的像素的方法，并且利用步骤S309的视差图像的限制并非始终是必须的。然而，由于仅少量光线入射到具有大的渐晕的像素，因此容易受到噪声的影响，并且由于尺寸误差而在渐晕状态的假定中也发生误差。也就是说，由于这种方法受到零件的误差和信号的噪声影响，因此不适合稳定地确定曝光条件。因此，期望使用渐晕小的像素。
在图4D的示例中，由于存在不具有渐晕的多个像素(视差)，因此使用这些像素中的合适像素就足够了。例如，从不具有渐晕的像素中选择存在于光轴中心附近的像素就足够了。
在图4E的示例中，由于Nθ＝2，因此尽管渐晕状态与图4D的渐晕状态相同这一事实，但的确不存在不具有渐晕的像素。利用附图标记48来表示渐晕最少的像素(视差)。其它像素49a、49b和49c各自的渐晕大于由于透镜框44所引起的像素48的渐晕。在图4E的示例中，选择像素48就足够了。
如参考图4A～4E所述，渐晕计算单元根据通过通信等所获得的诸如光瞳距离、光瞳直径、像高、透镜框的距离和透镜框的直径等的信息来计算各像素(视差)的渐晕。
如上所述，在用户想要优先连拍速度的情况下，设置第二曝光模式并且基于相加图像(预定图像)来确定曝光条件。在用户想要优先噪声降低的情况下，设置第一曝光模式并且基于各视差图像(预定图像)来确定曝光条件。此外，在输出再聚焦图像(预定图像)的情况下，设置第三曝光模式并且基于相加图像(重建图像)来确定曝光条件。
将参考图5、6A和6B来说明使用根据本实施例的摄像设备通过进行本实施例的曝光控制所获得的预定图像的应用的示例。图5示出通过对一次曝光所获得的摄像信号进行处理所生成的五种图像501、502、503、504和505。在这些图像中，被摄体511、512和513从接近摄像设备的侧起顺次存在。在图5的图像布局中，横方向与视点的变化相对应，并且纵方向与焦点位置的变化(＝所谓的“再聚焦”)相对应。也就是说，图像502、503和504的组是在视点改变之后所获得的图像的组合。图像501、503和505的组是在焦点位置改变之后所获得的图像的组合。
在观看视点改变之后所获得的图像502、503和504的组的情况下，尽管画面中的位置根据被摄体的距离而改变，但焦点固定至中央的被摄体512。这种图像例如对于利用伪运动视差来产生立体感等而言是有效的。作为另一示例，在配置成可以向左右眼分别显示不同视点的图像的装置中，可以通过显示由于视点的变化所获得的图像中的一组(＝2个图像)来进行立体观看。
在观看焦点位置改变之后所获得的图像501、503和505的组的情况下，分别为如下：聚焦被摄体在图像501中是被摄体511，聚焦被摄体在图像503中是被摄体512，并且聚焦被摄体在图像505中是被摄体513。然而，各图像中所显示的被摄体的位置没有改变。这些图像例如对于通过再聚焦来产生新的图像表现等而言是有效的。
随后，将参考图6A和6B来说明在生成图5所示的图像的情况下的像素的具体信号处理的结构。图6A示意性示出在获得视点改变的图像的情况下的图像处理的结构。图6B示意性示出在获得焦点位置改变的图像的情况下的图像处理的结构。
图6A和6B中上级所示的三个圆和格子以与图2B相同的方式示出从元件正面所观看到的微透镜和摄像元件。在图6A和6B中，分别示出微透镜620、640、641和642、微透镜620下方的像素620a、620b和620c、不同视点的图像631、632和633、以及微透镜640下方的像素640a和640c。分别示出微透镜641下方的像素641a、641b和641c、微透镜642下方的像素642a和642c、以及不同焦点位置的图像651、652和653。在图6A和6B中，尽管为了简化说明而例示出9(＝3×3)个像素与一个微透镜相对应的Nθ＝3的布局结构，但当然，与图2A～2C的情况相同，本发明不限于这种布局结构。
现在将参考图6A来说明用于生成不同视点的图像的结构。在本实施例所示的拍摄光学系统中，如图6A所示，可以通过针对各微透镜收集相对位置相等的像素来生成不同视点的图像(＝视差图像)。在图6A的示例中，图像631、632和633是通过从不同位置观察被摄体所获得的图像。如通过图6A中的视差图像的生成结构应明显理解，仅通过重排像素信号来生成视差图像，并且无需执行诸如相加等的算术运算。该点不同于以下将说明的再聚焦图像的生成。根据参考图3所述的实施例的曝光控制操作，在步骤S309中获得渐晕最少的视差，并且在步骤S310中生成步骤S309中所选择的视差的视差图像。在图6A的生成结构中，这与以下情况相对应：选择位于微透镜620的中央的像素620b且还针对其它微透镜收集相对位置相等的像素，并且生成图像632。之后，在步骤S308中，基于图像632来确定曝光条件。也就是说，图像632进入适当曝光状态。因而，由于各视差图像适当地进入曝光状态、或者尽管利用相对较小的曝光量对被摄体进行曝光但各视差图像没有进入极其不适当的曝光状态，因此可以获得直接提供至伴随有视点的变化的应用的所拍摄图像。
现在将参考图6B来说明用于生成焦点位置改变的图像的结构。在图6B所示的示例中，为了简化说明，将假定将相加方向限制为横方向上的一个轴来进行说明。也就是说，尽管利用四维(角度的两维+位置的两维)来表示光场信息，但这里将通过仅使用四维中的两维(图6B中的横方向上的角度的一维和位置的一维)来进行说明。
在本实施例所示的拍摄光学系统中，如图6B所示，通过改变要相加的相位，可以生成焦点位置改变的图像。在图6B的示例中，图像651、652和653是焦点位置不同的图像。如果被摄体聚焦，则来自被摄体上的同一点的光线会聚于同一点，而与这些光线所穿过的光瞳区域无关。这是所谓的“聚焦状态”。例如，由于来自被摄体上的同一点的光线入射到微透镜641，因此生成对与微透镜641相对应的像素641a、641b和641c进行相加的信号，并且通过排列针对其它微透镜同样生成的信号还获得图像652。将图像652提供作为清楚地看见利用微透镜641而聚焦的被摄体的图像(所拍摄图像)。在将焦点位置改变为与图像652不同的位置的情况下，改变要相加的相位就足够了。例如，将偏向邻接的微透镜640的左侧而存在的像素640a和邻接的微透镜642的右侧的像素642c与存在于微透镜641的中央的像素641b进行相加。通过针对其它微透镜同样排列对具有相同相位关系的像素进行相加的信号来获得图像651。图像651成为聚焦于与图像652不同的位置的图像。同样，通过对诸如641b、640c和642a等的具有相位关系的像素进行相加来获得图像653。图像653和651成为在相反方向上发生散焦的图像(重建图像)。
如参考图6B所述，焦点位置的变化伴随有像素的相加。这是因为，在根据本实施例的摄像设备中，焦点位置的变化伴随有信号的卷积。也就是说，在迄今为止的照相机(＝代替光场照相机的照相机)中，通过仅使用透镜来进行光线的卷积。然而，在所谓的光场照相机中，通过信号处理来执行卷积处理。如果如上所述、通过卷积相加得到的信号与被摄体上的同一点相对应，则被摄体聚焦。如果这些信号与不同点相对应，则被摄体散焦。
在图3所示的曝光控制操作中，尽管在步骤S307中生成了相加图像，但该相加图像与图6B的图像652相对应。在处理例程从步骤S304经由步骤S305和S306的情况下，选择主被摄体聚焦的再聚焦状态。在图6B中，在步骤S307中根据焦点状态来选择图像651、652和653中的任一图像。之后，在步骤S308中基于图像651、652和653来确定曝光条件。也就是说，图像651、652和653处于适当曝光状态。
如图6A和6B所示，在考虑用以改变视点的操作和用以改变焦点位置的操作的情况下，这两个操作其中之一是没有伴随有像素的相加的处理并且另一操作伴随有像素的相加。也就是说，与图像631、632和633相比，由于图像651、652和653是相加图像，因此这些图像的信号水平高并且这些图像成为所谓的明图像。本发明是为了判断是否将任一状态设置为适当曝光状态而作出的，并且确定曝光状态以使得可以根据用户优先选择的功能来更加容易地提供图像。通过在照相机系统控制单元5的控制下将用于确定曝光状态的图像输出至显示单元9或存储器单元8，可以使用图5所示的图像。
如上所述，根据本发明，可以提供如下摄像设备：即使该设备处于存在摄像光学系统的渐晕的状态，也可以确定与用户优先设置的拍摄功能相对应的曝光条件。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (12)

1.一种摄像设备，其具有：摄像部件，其包括用于对由包含拍摄镜头的拍摄光学系统所形成的被摄体的光学图像进行光电转换的多个像素，并且所述摄像部件用于通过使用所述多个像素的输出来生成像素数据；以及光瞳分割部件，用于将入射到所述摄像部件的各像素的来自所述拍摄光学系统的光线限制为来自所述拍摄镜头的特定出射光瞳区域的光线，所述摄像设备的特征在于还包括：
曝光条件确定部件，用于基于利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据，来确定所述摄像部件的曝光条件；以及
渐晕确定部件，用于基于与所述拍摄光学系统的结构有关的信息，来确定所述拍摄光学系统的渐晕状态，
其中，所述曝光条件确定部件具有第一曝光模式和第二曝光模式，其中所述第一曝光模式用于基于根据所述渐晕状态而从利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据中选择的像素数据，来确定所述曝光条件，以及所述第二曝光模式用于基于通过将利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据针对所述拍摄镜头的出射光瞳区域相加而获得的数据，来确定所述曝光条件。
2.根据权利要求1所述的摄像设备，其中，还包括设置部件，所述设置部件用于接收用户所进行的设置，
其中，所述曝光条件确定部件基于所述用户所进行的设置来在所述第一曝光模式和所述第二曝光模式之间进行切换，以及
所述用户所进行的设置包括至少与连拍速度、重建图像的输出和所述曝光条件的确定时的抗噪方案有关的设置。
3.根据权利要求2所述的摄像设备，其中，还包括图像生成部件，所述图像生成部件用于根据曝光模式，基于利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据来生成所述被摄体的预定图像，
其中，所述曝光条件确定部件基于所述预定图像来确定所述曝光条件。
4.根据权利要求3所述的摄像设备，其中，所述图像生成部件在所述第一曝光模式中所生成的所述预定图像是视差图像，并且在所述曝光条件确定部件将曝光模式切换为所述第一曝光模式的情况下，所述图像生成部件根据如下的像素数据来生成所述视差图像，其中该像素数据是基于所确定的所述渐晕状态、根据各像素中的像素面积和没有发生渐晕的面积之间的比率而选择的像素数据。
5.根据权利要求3所述的摄像设备，其中，所述图像生成部件在所述第二曝光模式中所生成的所述预定图像是所拍摄图像。
6.根据权利要求3所述的摄像设备，其中，所述曝光条件确定部件还具有第三曝光模式，并且基于所述用户所进行的设置来切换所述第一曝光模式、所述第二曝光模式和所述第三曝光模式，其中所述第三曝光模式用于基于通过将利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据进行相加而生成的所述摄像设备中的再聚焦面上的重建图像，来确定所述曝光条件。
7.根据权利要求6所述的摄像设备，其中，所述图像生成部件在所述第三曝光模式中所生成的所述预定图像是所述重建图像，以及
在所述曝光条件确定部件将曝光模式切换为所述第三曝光模式的情况下，所述图像生成部件进行以下操作：根据所述设置部件所设置的像面，通过使用利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据，来计算所述被摄体的光学图像的散焦量，并且基于所计算出的散焦量，选择利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据并对所选择的像素数据进行相加，由此生成所述重建图像。
8.根据权利要求3至7中任一项所述的摄像设备，其中，所述光瞳分割部件是二维排列微透镜的微透镜阵列，所述微透镜各自与所述摄像部件的所述多个像素中的预定数量的像素相对应，所述第一曝光模式中的像素数据的选择是与各微透镜相对应的所述预定数量的像素中的像素的预定像素数据的选择，并且所述第二曝光模式中的像素数据的相加是针对与各微透镜相对应的所述预定数量的像素的像素数据的相加。
9.根据引用权利要求7的权利要求8所述的摄像设备，其中，所述第三曝光模式中的像素数据的选择是所述预定数量的像素中的、利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据中与所述像面上的所述重建图像的像素相对应的像素数据的选择。
10.根据权利要求8所述的摄像设备，其中，还包括：
输出部件，用于输出所述预定图像；
显示部件，用于显示从所述输出部件所输出的图像；以及
存储部件，用于存储从所述输出部件所输出的图像。
11.根据权利要求10所述的摄像设备，其中，所述拍摄光学系统包括光圈，以及
与所述拍摄光学系统的结构有关的信息包括如下信息：所述摄像部件和所述光圈之间的距离；F值；所述拍摄镜头的框和所述摄像部件之间的距离；以及像高。
12.一种摄像设备的控制方法，所述摄像设备具有：摄像部件，其包括用于对由包含拍摄镜头的拍摄光学系统所形成的被摄体的光学图像进行光电转换的多个像素，并且所述摄像部件用于通过使用所述多个像素的输出来生成像素数据；以及光瞳分割部件，用于将入射到所述摄像部件的各像素的来自所述拍摄光学系统的光线限制为来自所述拍摄镜头的特定出射光瞳区域的光线，所述控制方法的特征在于包括以下步骤：
曝光条件确定步骤，用于基于利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据，来确定所述摄像部件的曝光条件；以及
渐晕确定步骤，用于基于与所述拍摄光学系统的结构有关的信息，来确定所述拍摄光学系统的渐晕状态，
其中，所述曝光条件确定步骤具有第一曝光模式和第二曝光模式，其中所述第一曝光模式用于基于根据所述渐晕状态而从利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据中选择的像素数据，来确定所述曝光条件，以及所述第二曝光模式用于基于通过将利用所述多个像素对经由所述光瞳分割部件入射的光线进行光电转换所生成的像素数据针对所述拍摄镜头的出射光瞳区域相加而获得的数据，来确定所述曝光条件。
CN201410571902.0A 2013-10-23 2014-10-23 摄像设备及其控制方法 Active CN104580921B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013220217 2013-10-23
JP2013-220217 2013-10-23
JP2014-185232 2014-09-11
JP2014185232A JP6397281B2 (ja) 2013-10-23 2014-09-11 撮像装置、その制御方法およびプログラム

Publications (2)

Publication Number Publication Date
CN104580921A CN104580921A (zh) 2015-04-29
CN104580921B true CN104580921B (zh) 2018-04-03

Family

ID=51794712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410571902.0A Active CN104580921B (zh) 2013-10-23 2014-10-23 摄像设备及其控制方法

Country Status (5)

Country Link
US (1) US9554054B2 (zh)
EP (1) EP2866430B1 (zh)
JP (1) JP6397281B2 (zh)
KR (1) KR20150047112A (zh)
CN (1) CN104580921B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6548367B2 (ja) * 2014-07-16 2019-07-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6758946B2 (ja) 2015-09-09 2020-09-23 キヤノン株式会社 撮像装置及び再生装置
US10001654B2 (en) * 2016-07-25 2018-06-19 Disney Enterprises, Inc. Retroreflector display system for generating floating image effects
WO2018035859A1 (en) * 2016-08-26 2018-03-01 Huawei Technologies Co., Ltd. Imaging apparatus and imaging method
JP2018050231A (ja) * 2016-09-23 2018-03-29 キヤノン株式会社 撮像装置、撮像方法および撮像制御プログラム
US10602051B2 (en) * 2017-03-28 2020-03-24 Canon Kabushiki Kaisha Imaging apparatus, control method, and non-transitory storage medium
EP3422723B1 (en) * 2017-06-30 2023-04-26 InterDigital VC Holdings, Inc. Method for encoding and decoding at least one matrix of image views obtained from data acquired by a plenoptic camera, and corresponding electronic devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007044725A2 (en) * 2005-10-07 2007-04-19 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
EP2230835A2 (en) * 2009-03-18 2010-09-22 Canon Kabushiki Kaisha Image pickup apparatus and signal processor
CN101995733A (zh) * 2009-08-18 2011-03-30 佳能株式会社 摄像装置及其控制方法
CN102196186A (zh) * 2010-03-03 2011-09-21 瑞萨电子株式会社 摄像装置及其控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008070510A (ja) 2006-09-13 2008-03-27 Pentax Corp 撮像装置
JP4867554B2 (ja) 2006-09-29 2012-02-01 カシオ計算機株式会社 電子カメラ、撮像制御プログラム及び撮像制御方法
JP5159515B2 (ja) * 2008-08-26 2013-03-06 キヤノン株式会社 画像処理装置およびその制御方法
JP5457240B2 (ja) 2010-03-18 2014-04-02 富士フイルム株式会社 立体撮像装置
JP5411842B2 (ja) 2010-12-07 2014-02-12 シャープ株式会社 撮像装置
US20140176592A1 (en) * 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
JP5473977B2 (ja) * 2011-04-14 2014-04-16 キヤノン株式会社 撮像装置およびカメラシステム
JP5618943B2 (ja) 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP5898501B2 (ja) * 2012-01-13 2016-04-06 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
JP6095266B2 (ja) * 2012-01-13 2017-03-15 キヤノン株式会社 画像処理装置及びその制御方法
US8948545B2 (en) * 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
EP2835965B1 (en) * 2012-03-30 2017-05-03 Nikon Corporation Imaging device and image sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007044725A2 (en) * 2005-10-07 2007-04-19 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
EP2230835A2 (en) * 2009-03-18 2010-09-22 Canon Kabushiki Kaisha Image pickup apparatus and signal processor
CN101995733A (zh) * 2009-08-18 2011-03-30 佳能株式会社 摄像装置及其控制方法
CN102196186A (zh) * 2010-03-03 2011-09-21 瑞萨电子株式会社 摄像装置及其控制方法

Also Published As

Publication number Publication date
EP2866430B1 (en) 2018-08-29
CN104580921A (zh) 2015-04-29
JP2015109635A (ja) 2015-06-11
JP6397281B2 (ja) 2018-09-26
US20150109522A1 (en) 2015-04-23
EP2866430A1 (en) 2015-04-29
US9554054B2 (en) 2017-01-24
KR20150047112A (ko) 2015-05-04

Similar Documents

Publication Publication Date Title
CN104580921B (zh) 摄像设备及其控制方法
CN104168416B (zh) 摄像设备及其控制方法
US8890972B2 (en) Image capturing apparatus and image processing method
US8810713B2 (en) Image pickup apparatus and image pickup device for performing auto-focusing
US20160044233A1 (en) Image capturing apparatus capable of storing focus detection data
JP2004191629A (ja) 焦点検出装置
US10587860B2 (en) Imaging apparatus and method for controlling same
JPH09181913A (ja) カメラシステム
CN104702824A (zh) 摄像装置及摄像装置的控制方法
CN109862269A (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
JP6095266B2 (ja) 画像処理装置及びその制御方法
JP5784395B2 (ja) 撮像装置
CN103797415B (zh) 摄像设备及其控制方法
JP2014026051A (ja) 撮像装置、画像処理装置
JP6381206B2 (ja) 画像処理装置、その制御方法およびプログラム
JP6257260B2 (ja) 撮像装置及びその制御方法
US9369698B2 (en) Imaging apparatus and method for controlling same
JP5440626B2 (ja) 撮影装置、合成画像作成方法及びプログラム
JP6712506B2 (ja) 焦点検出装置および焦点検出方法
JP2018007205A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム
JP2014026050A (ja) 撮像装置、画像処理装置
US7898591B2 (en) Method and apparatus for imaging using sensitivity coefficients
JP2006246014A (ja) デジタルカメラ及びデジタルカメラの画像処理方法
JP5853510B2 (ja) 撮像装置
JP6702798B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant