CN108737696A - 摄像设备、控制方法和非暂时性存储介质 - Google Patents

Abstract

本发明提供一种摄像设备、控制方法和存储介质。根据本发明的方面，该摄像设备包括：第一控制单元，用于控制摄像元件的曝光参数；以及第二控制单元，用于进行第一图像和第二图像之间的切换以及所述第一图像和所述第二图像的输出的处理，其中，所述第一图像与所述摄像元件的像素部中的多个第一像素的像素部相对应，以及所述第二图像与所述摄像元件的像素部中的多个第二像素的像素部相对应，其中所述第二像素的数量少于所述第一像素的数量。所述第二控制单元基于所述第一图像和所述第二图像中的至少一个来进行聚焦判断。

Description

摄像设备、控制方法和非暂时性存储介质

技术领域

本发明涉及一种摄像设备、控制方法和存储介质。

背景技术

在诸如数字照相机等的摄像设备中，存在如下的摄像设备，其中该摄像设备具有用于在利用摄像面相位差方法对主被摄体进行自动焦点检测(摄像面相位差AF)的同时进行连续静止图像拍摄的连拍(连续拍摄)功能。在执行该连拍功能期间，摄像设备读取在背面监视器等上作为实时取景(LV)图像所要显示的各图像以及作为静止图像所要记录的记录图像，并且实时进行这些图像的显示和记录。

例如，已知如下技术，该技术用于在连拍期间在进行焦点检测的同时将从摄像元件所获取的图像作为实时取景图像(LV图像)显示在显示装置上时，提高了针对主被摄体的追踪性。在日本特开2015-144346中，提出了一种在显示装置上顺次显示不同分辨率的图像和仅显示高分辨率图像之间进行切换的技术。根据日本特开2015-144346，即使在低帧频的连拍中，也可以通过缩短LV图像的显示时间间隔来提高针对取景时的主被摄体的追踪性。

然而，根据日本特开2015-144346所提出的技术，在将具有不同分辨率的图像顺次显示在显示装置上时，没有提及与具有不同分辨率的图像之间的曝光差异或者信号读取条件的差异相对应的图像质量的差异。如果由于上述原因而产生了图像之间的图像质量的差异，则交替显示具有不同亮度、分辨率和对比度等的图像，由此带来不自然显示，这使得用户感到不适。在这种情况下，存在由于交替显示图像而使得用户不适感变得更大的问题。

发明内容

本发明提供一种用于减少在连拍时获取到不同类型的图像、并且显示这些图像时给用户的不自然感的技术。

根据本发明的一个方面，一种摄像设备，其通过摄像光学系统来拍摄被摄体，所述摄像设备包括：摄像元件，用于从所述摄像光学系统进行拍摄的光获取图像信号；第一控制单元，用于控制所述摄像元件的曝光参数；以及第二控制单元，用于进行用以在第一图像和第二图像之间切换并输出所述第一图像和所述第二图像的处理，其中，所述第一图像与所述摄像元件的像素部中的第一像素数的像素部相对应，以及所述第二图像与所述摄像元件的像素部中的第二像素数的像素部相对应，其中所述第二像素数小于所述第一像素数，其中，所述第二控制单元基于所述第一图像和所述第二图像中的至少一个来进行聚焦判断，以及所述第一控制单元通过控制用以获取所述第一图像和所述第二图像的曝光参数，来降低连续获取的第一图像和第二图像的曝光参数的变化量。

一种摄像设备的控制方法，所述摄像设备通过摄像光学系统拍摄被摄体，所述控制方法包括：获取步骤，用于使用摄像元件从所述摄像光学系统进行拍摄的光获取图像信号；第一控制步骤，用于控制所述摄像元件的曝光参数；以及第二控制步骤，用于在第一图像和第二图像之间切换并输出所述第一图像和所述第二图像，其中，所述第一图像与所述摄像元件的像素部中的第一像素数的像素部相对应，以及所述第二图像与所述摄像元件的像素部中的第二像素数的像素部相对应，其中所述第二像素数小于所述第一像素数，其中，所述第二控制步骤基于所述第一图像和所述第二图像中的至少一个来进行聚焦判断，以及所述第一控制步骤通过控制用以获取所述第一图像和所述第二图像的曝光参数，来降低连续获取的第一图像和第二图像的曝光参数的变化量。

一种非暂时性存储介质，其存储用于使计算机执行上述的控制方法的计算机程序。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得显而易见。

附图说明

图1是本发明实施例中的摄像元件的示意性结构图。

图2是本发明实施例中的摄像元件的像素排列图。

图3是本发明实施例中的摄像系统的示意图。

图4是示出本发明实施例中的焦点检测信号的图。

图5是示出第一实施例中的聚焦判断表的图。

图6是说明本发明实施例的处理的流程图。

图7是说明接着图6的处理的流程图。

图8是本发明实施例中的交替显示的时序图。

图9是在本发明实施例中不进行交替显示时的时序图。

图10A和10B是示出第二实施例中的聚焦判断表的图。

图11是第三实施例中的摄像系统的示意图。

图12是第三实施例中的摄像元件的像素排列图。

图13是第三实施例中的显示处理的流程图。

图14是第三实施例中的LV图像的生成和显示处理的流程图。

图15是第三实施例中的摄像子程序处理的流程图。

图16是第三实施例中的显示判断处理的流程图。

图17是第三实施例中的静止图像的生成和显示处理的流程图。

图18是显示LV图像和静止图像时的时序图。

图19是交替显示LV图像和静止图像时的时序图。

图20是交替显示LV图像和静止图像时的时序图。

图21A和21B是第四实施例中的交替显示方法的图。

图22是第四实施例中的LV图像的生成和显示处理的流程图。

图23是第四实施例中的静止图像的生成和显示处理的流程图。

具体实施方式

下面将说明本发明的实施例。各实施例均说明包括具有光瞳分割的焦点检测像素的摄像元件、并且在将聚焦于被摄体的同时进行连拍(AF连拍)的摄像设备。即使光圈值在连拍中的静止图像拍摄时改变，也对光圈进行控制以使得该光圈值和实时取景拍摄时的光圈值之间的差减小，从而可以在维持显示质量的同时，抑制取景期间的追踪性的降低。

第一实施例

图1是示出本发明的第一实施例中的摄像元件的结构示例的示意性框图。摄像元件306具有以二维阵列形状配置大量像素部101的结构。垂直输出线102、传送信号线103、复位信号线104和行选择信号线105分别被连接至各像素部101。列ADC块111输出通过对从连接至像素部101的垂直输出线102所输出的信号进行模拟至数字(A/D)转换所获得的信号。行扫描电路112通过传送信号线103、复位信号线104和行选择信号线105被连接至像素部101。通过水平信号线115-a和115-b，多个列扫描电路113被连接至多个列ADC块111。时序控制电路114向列ADC块111和列扫描电路113各自输出时序控制信号，并且进行控制。

切换单元116切换水平信号线115-a和115-b各自的信号，并且将信号输出给并行至串行转换单元(以下称为P/S转换单元)117。P/S转换单元117获取切换单元116的输出，并且进行并行至串行转换。P/S转换单元117将转换后的信号输出到外部。

在本实施例的摄像元件306中，多个像素部101在水平方向(行方向)上被连接至传送信号线103、复位信号线104和行选择信号线105，并且在垂直方向(列方向)上被连接至垂直输出线102。垂直输出线103各自根据读取行单位而具有不同的连接目的地。经由列ADC块111，从各通道的水平信号线115-a和水平信号线115-b输出从像素部101读取的信号，并且这些信号被发送给切换单元116。切换单元116所选择的图像信号通过P/S转换单元117根据时序控制电路114的定时来进行并行至串行转换，并且被输出到摄像元件306的外部。

作为像素信号的读取方法，可以适当选择用于读取所有像素的方法、用于在垂直方向上间隔剔除并读取像素的方法、用于在水平方向上相加并读取像素的方法、或者用于进行垂直间隔剔除和水平相加的方法等。用于进行垂直间隔剔除和水平相加的方法是在垂直方向上进行间隔剔除读取而在水平方向上将像素相加并读取的方法。作为本实施例中的用于读取静止图像的方法，采用用于读取所有像素的方法。在第一读取模式下，从作为与第一像素的数量相对应的像素部的摄像元件的所有像素部，读取像素信号。由于所要读取的像素的数量大，因而在预定时间段内仅能获取到有限数量的图像，因此，在作为移动物体的被摄体高速移动的情况下，难以准确拍摄视角内的被摄体。另一方面，采用用于进行垂直间隔剔除和水平相加的方法作为实时取景读取方法。在第二读取模式下，基于摄像元件的像素部中与数量少于第一像素的数量的第二像素的数量相对应的像素部，读取像素信号。由于所要读取的像素的数量少，因而这样适合加速处理。

图2示意性示出本实施例中在摄像面相位差AF中所使用的摄像元件306的像素排列。摄像元件306具有配置与片上微透镜201相对应的多个光电转换单元的结构。拜耳阵列被应用于滤色器，并且在以R/G行所表示的奇数行的像素中，从左边开始依次交替设置红色(RED)和绿色(GREEN)的滤色器。此外，在以G/B行所表示的偶数行的像素中，从左边开始交替设置绿色(GREEN)和蓝色(BLUE)的滤色器。片上微透镜201被配置在滤色器上。通过多个矩形表示配置在片上微透镜201内的多个光电转换单元。与光瞳分割型摄像元件配对的光电转换单元分别被表示为A像素101a和B像素101b。通过来自第一像素组中所包括的A像素101a的输出，生成作为第一视点图像的A图像。通过来自第二像素组中所包括的B像素101b的输出，生成作为第二视点图像的B图像。计算单元通过相关计算，检测A图像和B图像之间的相对图像偏移量，并且计算预定区域中的散焦量。基于该散焦量，使调焦透镜移动、并且进行镜头单元301的焦点调节操作。另外，在摄像元件内将A图像的信号和B图像的信号相加，并且生成用于显示和记录的图像信号。如图2所示，代替采用设置多个光电转换单元的像素结构，可以采用光电转换单元的光接收面的一部分被遮光的结构。

图3是示出使用摄像元件306的摄像系统的概况的框图。作为本实施例的摄像系统的示例，存在用于获取运动图像或者静止图像的数字照相机，但是本发明不局限于此。例如，本发明可被应用于诸如监视照相机和智能电话等的移动装置、以及诸如车载照相机等的移动体。

镜头单元301包括用于构成摄像光学系统的多个透镜。镜头单元301是可被安装至照相机主体的可更换镜头或者与照相机主体形成为一体的镜头单元。镜头驱动单元302驱动用于构成摄像光学系统的可移动透镜(变焦透镜和调焦透镜等)。机械快门(图3中被表示为机械快门)303用于控制曝光时间，并且光圈304用于控制曝光量。机械快门和光圈驱动单元(图3中被表示为快门和光圈驱动单元)305通过驱动机械快门303和光圈304来控制摄像元件306的曝光状态。作为用于控制曝光量的单元，还可以设置诸如ND滤波器等的光学滤波器。

摄像元件306接收来自通过摄像光学系统所拍摄的被摄体的光，进行光电转换，并且输出电信号。在层叠型摄像元件的情况下，设置摄像层和电路层。摄像信号处理电路307处理摄像元件306的输出信号，并且输出处理后的图像信号。第一存储器单元(在图3中被表示为存储器单元I)308存储通过摄像信号处理电路307处理后的图像信号等。

整体控制计算单元309是负责控制整个摄像系统的中央单元，并且包括中央处理单元(CPU)。CPU执行从第二存储器单元(在图3中被表示为存储器单元II)314所读取的程序，从而控制各单元的操作。第二存储器单元314存储CPU的计算结果和通过用户操作在摄像设备中所设置的照相机信息等。存储介质控制接口(I/F)单元310进行用于根据整体控制计算单元309的控制命令将图像信号等记录在存储介质312中、或者从存储介质312读取信息的处理。存储介质312可从摄像设备的主体被拆卸掉。显示单元311包括诸如液晶显示面板等的显示装置，并且根据整体控制计算单元309的控制命令在画面上显示图像数据等。外部接口(I/F)单元313是相对于诸如计算机等的外部装置进行信息的发送或者接收的通信处理单元。在本实施例中，摄像设备包括显示单元311，但是在不具有显示单元的摄像设备的情况下，经由外部I/F单元313，将图像信息和相关信息输出给外部显示装置。例如，执行用于在AF连拍时交替输出静止图像和实时取景图像的处理和用于仅输出实时取景图像的处理。操作单元315包括诸如开关或者触摸屏等的输入装置，接收用户的操作指示，并且向整体控制计算单元309输出操作指示信号。整体控制计算单元309基于用户通过使用操作单元315所设置的与摄像系统的摄像模式和曝光条件有关的信息等，来控制整个摄像系统。

来自被摄体的穿过镜头单元301的光在光圈304处被调整成适当光量，并且在摄像元件306的摄像面上成像。用于构成摄像元件306的像素部101的光电转换单元对被摄体的光学图像进行光电转换，并且输出电信号。进一步对该电信号进行增益控制，通过A/D转换将该电信号从模拟信号转换成数字信号，并且将该数字信号作为R、Gr、Gb和B信号发送给摄像信号处理电路307。

摄像信号处理电路307使用所拍摄的图像数据进行预定计算处理。整体控制计算单元309基于所获得的计算结果，进行曝光控制和测距控制。作为结果，进行通过镜头(TTL)方法的AE(自动曝光)处理和EF(闪光灯自动调光发光)处理。另外，摄像信号处理电路307使用所拍摄的图像数据进行预定计算处理，并且基于所获得的计算结果进行TTL方法的自动白平衡(AWB)处理。另外，摄像信号处理电路307进行诸如用于降低噪声的低通滤波处理、阴影校正处理和白平衡处理等的各种类型的信号处理，并且还进行各种类型的校正和图像信号的压缩等。

通过镜头驱动单元302来对拍摄期间的镜头单元301进行诸如变焦驱动和调焦驱动等的控制。机械快门303和光圈304各自通过机械快门和光圈驱动单元305根据整体控制计算单元309的控制命令而被驱动。第一存储器单元308临时存储拍摄图像信号。存储介质控制I/F单元310进行用于将图像信号记录在存储介质312中的处理和用于从存储介质312读取信号的处理。显示单元311将拍摄图像显示在画面上。

接着，将参考图4来说明本实施例中的聚焦判断。图4是示出在本实施例中的A像素和B像素各自的输出信号被发送给摄像信号处理电路307时的焦点检测信号的图。在图4中，横轴X表示连结信号在像素对准方向上的位置，并且纵轴Y表示信号强度。焦点检测信号401a对应于A图像的信号，并且焦点检测信号401b对应于B图像的信号。这些信号是各自被形成为作为焦点检测图像信号的A图像信号和B图像信号的信号。在图4所示的示例中，由于镜头单元301相对于摄像元件306处于散焦状态，因而焦点检测信号401a向左侧偏移，而焦点检测信号401b向右侧偏移。通过摄像信号处理电路307计算A图像和B图像的信号的偏移量，从而基于图像偏移量计算出散焦量。也就是说，可以检测镜头单元301从聚焦状态偏移了多少。

具体地，摄像信号处理电路307进行用于获得A图像信号和B图像信号之间的相位差的相关计算，并且进行用于基于该相位差来计算被摄体距离的测距计算。被摄体距离是从摄像设备到被摄体的距离，并且被计算为与散焦量相对应的量。对于用于表示A图像和B图像之间的一致度的量U，可以使用公式(1)。

这里，a_j是第j个A像素的信号，并且b_j是B像素的信号。公式(1)的量U是聚焦时的最小值。

此外，通过将A图像相对于B图像相对偏移p个像素来进行用于计算U的值的处理。通过公式(2)所计算出的量被表示为P。

P是聚焦时的偏移量的最小值。基于偏移量，计算用于表示相对于聚焦位置偏移了多少的散焦量。

如果散焦量为0，也就是说，在聚焦的情况下，则A图像和B图像相互一致，但是如果在A图像和B图像之间存在差异，则摄像面相位差AF的精度降低。因此，例如，进行用于获得两个图像的共同区域的面积、并且根据所获得的面积来判断可靠性的处理。做出以下判断：聚焦的可靠性随着面积的变大而提高，并且聚焦的可靠性随着面积变小而降低。

接着，摄像信号处理电路307计算图4中的焦点检测信号401a和401b的边缘的陡度。使用公式(3)计算边缘的陡度(称为E)。

在公式(3)中，如果E值是大的值，则判断为聚焦可靠性高，以及如果E值是小的值，则判断为聚焦可靠性低。

图5是示出本实施例的聚焦判断表的图。根据相关计算结果的可靠性和基于边缘陡度E的可靠性，聚焦判断表包括以下4个级别的状态值A～D。相关计算结果的可靠性被设置成“大”、“中等”和“小”3个级别，并且认为该可靠性随着相关计算结果(U值)的减小而增大。另外，基于边缘陡度E的可靠性被设置“高”、“中等”和“低”3个级别，并且认为该可靠性随着E值的增大而提高。

A：聚焦状态。

B：散焦状态。如果稍微改变拍摄条件，则将可以进入聚焦。

C：散焦状态。如果拍摄条件与B相比改变得更大，则将可以进入聚焦。

D：散焦状态。如果拍摄条件不发生很大的改变，则不可能进入聚焦。

例如，如果相关计算结果是“小”、并且边缘陡度E是“高”，则状态值是作为聚焦时的状态值的A。为了便于说明本实施例，说明4个级别的聚焦判断，但是当然，少于4个级别或者高于5个级别的聚焦判断也是可以的。

参考图6和7，将说明本实施例中AF连拍时的处理示例。图6和7是说明使用聚焦判断表的AF连拍的流程图。

整体控制计算单元309在开始连拍时，确定静止图像拍摄的光圈F值(S601)。接着，开始用于静止图像拍摄的摄像元件306的曝光(S602)。在曝光结束之后，从摄像元件306读取静止图像的图像信号(S603)。接着，整体控制计算单元309根据图5的聚焦判断表来判断聚焦判断的结果。判断聚焦判断的结果是否对应于状态值A(S604)。如果该结果对应于A(在聚焦的情况下)，过程进入S605，否则，过程进入S606。

在S605中，整体控制计算单元309将实时取景(LV)拍摄的光圈F值设置成与静止图像拍摄时相同的F值，并且过程进入S610。在S606中，整体控制计算单元309判断聚焦判断的结果是否对应于状态值B。如果该结果对应于B，则过程进入S607，否则过程进入S608。在S607中，与静止图像拍摄时相比，整体控制计算单元309将实时取景拍摄的光圈F值向开放侧改变1级，并且过程进入S610中。

在S608，整体控制计算单元309判断聚焦判断的结果是否对应于状态值C。如果该结果对应于C，则过程进入S609，否则，也就是说在D的情况下，过程进入S611。在S609中，与静止图像拍摄时相比，整体控制计算单元309将实时取景拍摄的光圈F值向开放侧改变2级，并且过程进入S610。

如果聚焦判断的结果对应于状态值A、B和C中的任一个，则在S610中，执行用于将所拍摄的静止图像显示在显示单元311的画面上的处理，并且过程进入图7的S612。另一方面，在聚焦判断的结果对应于状态值D的情况下，在S611中，整体控制计算单元309将实时取景拍摄的光圈F值设置成开放状态。然后，过程进入图7的S612。

在S612中，整体控制计算单元309开始用于实时取景拍摄的摄像元件306的曝光。然后，从摄像元件306读取实时取景图像的信号(S613)，并且将实时取景图像显示在显示单元311的画面上(S614)。整体控制计算单元309进行AF控制(S615)。此后，整体控制计算单元309基于通过用户使用操作单元315所进行的操作指示，判断是否结束连拍(S616)。如果判断为继续进行连拍，则过程返回至S601。如果在S616中判断为结束连拍，则结束一系列处理。

在本实施例中，如果聚焦判断的结果对应于状态值B或者C，则实时取景拍摄时的光圈值改变。为此，需要控制曝光时间和ISO感光度以使得图像的亮度和静止图像的亮度相匹配。此时，整体控制计算单元309根据针对边缘陡度的判断结果，确定优先改变曝光时间和ISO感光度中的哪一个。例如，如果边缘陡度的值低，则存在可能发生被摄体抖动的可能性。在这种情况下，整体控制计算单元309设置短的曝光时间，并且将ISO感光度设置成与静止图像的情况下相同的值。相反，如果边缘陡度的值高，则整体控制计算单元309将曝光时间设置成与静止图像的情况下相同的值，并且设置较低的ISO感光度。结果，可以提高实时取景拍摄时的相位差AF的聚焦判断精度。

图8示出交替进行静止图像显示和实时取景显示时的时序图。各时间段T1～T4分别表示曝光时间。各时间段S1和S3表示图6的S603的静止图像读取时间段，并且各时间段S2和S4表示图7的S613的实时取景(LV)读取时间段。在该时序图中，示出快门的开放或者闭合状态。示出在显示时间段中交替进行图6的S610的静止图像显示和图7的S614的实时取景显示。时间段D1和D3是图6的S610的静止图像显示的时间段，并且时间段D2和D4是图7的S614的实时取景显示的时间段。分别通过黑色矩形符号表示聚焦判断、光圈控制和AF控制的定时。静止图像的聚焦判断和实时取景图像的聚焦判断的定时分别在读取时间段S1～S4结束之后。在静止图像的聚焦判断之后进行光圈控制，并且在实时取景图像的聚焦判断之后进行光圈控制和AF控制。

在曝光时间段T1结束之后，在静止图像读取时间段S1获取静止图像的信号。然后，对静止图像进行聚焦判断处理，并且如果聚焦判断的结果对应于图5的状态值A、B和C中的一个，则在时间段D1进行静止图像显示。然后，进行光圈控制。在曝光时间段T2结束之后，在实时取景读取时间段S2读取实时取景图像的信号。在时间段D2进行实时取景显示。在实时取景图像的聚焦判断之后进行光圈控制和AF控制。

图9示出在不交替进行静止图像显示和实时取景显示时的时序图。各项目与图8中的相同，但是不进行静止图像显示。在曝光时间段T1结束之后，在静止图像读取时间段S1读取信号。然后，进行静止图像的聚焦判断。如果聚焦判断的结果对应于图5的状态值D，则不进行静止图像显示。然后，光圈被设置成开放，并且在曝光时间段T2结束之后，在实时取景读取时间段S2读取实时取景图像的信号。在时间段D2进行实时取景显示。在实时取景图像的聚焦判断之后进行光圈控制和AF控制。

在本实施例中，根据图5的聚焦判断表和静止图像拍摄时的光圈状态，确定实时取景拍摄时的光圈控制。如果交替显示静止图像拍摄时的图像和实时取景拍摄时的图像，则进行用于减小曝光条件(光圈值)的差异的控制。结果，即使光圈在AF连拍期间的静止图像拍摄时被缩小，也能够实现维持显示质量和取景期间的追踪性这两者。

在第一实施例中，示出了用于减小作为曝光条件的光圈值的差异的控制，但是还可以进行用于减小除作为曝光条件的光圈值以外的曝光时间和感光度(ISO感光度)等的差异的控制。也就是说，静止图像拍摄时的程序图和实时取景拍摄时的程序图可以具有相同结构。

另外，如果在静止图像拍摄时和在实时取景拍摄时都进行聚焦判断，则可以对各判断进行加权。这是因为，聚焦判断精度可能由于实时取景拍摄时的分辨率低于静止图像的分辨率而变低，并且优选对实时取景拍摄时的聚焦判断的结果设置低的权重。

第二实施例

接着将说明本发明的第二实施例。在本实施例中，将说明如下结构：除静止图像拍摄时的光圈状态以外，还根据镜头单元301的焦距或者被摄体距离的不同来控制实时取景拍摄时的光圈。在本实施例中，对于与第一实施例中相同的构件，将使用已使用的相同附图标记，因而将省略其说明，而将主要说明不同点。

如果光圈值根据镜头单元301的焦距的不同而改变，则图像外观变化非常大。例如，如果在具有短焦距的广角时将光圈值改变2级，则图像外观的变化小，但是如果在具有长焦距的远摄时将光圈值改变2级，则图像外观的变化增大。因此，在本实施例中，根据镜头单元301的焦距进行下面的控制。

在焦距短(例如，50mm以下)的广角侧的情况下

当判断为图5的聚焦判断结果是状态值B时，与静止图像的情况相比，整体控制计算单元309将图6的S607的实时取景光圈控制中的光圈值向开放侧改变2级。另外，当判断为图5的聚焦判断结果是状态值C时，与静止图像的情况相比，整体控制计算单元309将图6的S609的实时取景光圈控制中的光圈值向开放侧改变4级。

在具有长焦距的远摄侧的情况下

整体控制计算单元309使用实时取景光圈控制来进行与第一实施例中相同的处理。

接着，将说明被摄体距离的不同。根据从摄像设备到被摄体的距离，如果光圈值改变，则图像外观变化非常大。例如，当被摄体距离大、并且光圈值变化2级时，图像外观变化小，但是当被摄体距离小、并且光圈距离改变2级时，图像外观变化增大。因此，在本实施例中，根据被摄体距离进行下面的控制。

在被摄体距离大(例如，3m以上)的情况下

当判断为图5的聚焦判断结果是状态值B时，与静止图像的情况相比，整体控制计算单元309将图6的S607的实时取景光圈控制中的光圈值向开放侧改变2级。另外，当判断为图5的聚焦判断结果是状态值C时，与静止图像的情况相比，整体控制计算单元309将图6的S609的实时取景光圈控制中的光圈值向开放侧改变4级。

在被摄体距离小的情况下

整体控制计算单元309使用实时取景光圈控制，进行与第一实施例中的相同处理。

另外，在本实施例中，根据镜头单元301的焦距和被摄体距离，进行下面的控制。

在焦距长于阈值、并且被摄体距离大于阈值的情况下

当判断为图5的聚焦判断结果是状态值B时，与静止图像的情况相比，整体控制计算单元309将图6的S607的实时取景光圈控制中的光圈值向开放侧改变2级。另外，当判断为图5的聚焦判断结果是状态值C时，与静止图像的情况相比，整体控制计算单元309将图6的S609的实时取景光圈控制中的光圈值向开放侧改变4级。

在焦距长于阈值、并且被摄体距离等于或者小于阈值的情况下

整体控制计算单元309使用实时取景光圈控制，进行与第一实施例中的相同处理。

接着，将参考图10A和10B说明与模式相对应的聚焦判断。图10A示出使取景时的追踪性优先的第一聚焦判断模式下的聚焦判断表。第一聚焦判断模式是与AF的聚焦精度相比优先显示更新的模式。图10B示出使取景时的AF精度优先的第二聚焦判断模式下的聚焦判断表。第二聚焦判断模式是与显示更新相比优先AF的聚焦精度的模式。整体控制计算单元309针对各模式切换聚焦判断表。可靠性的各阶段和状态值A～D如图5所述。

在图10A所示的第一聚焦判断模式的情况下，为了尽可能地进行静止图像和实时取景图像的交替显示，与图5相比，聚焦判断表中的状态值D的数量减少。也就是说，将相关计算结果为“大”、并且边缘陡度为“中等”的情况和相关计算结果为“中等”、并且边缘陡度为“低”的情况确定为是状态值C。因此，交替显示静止图像和实时取景图像的频率相对高。

在图10B所示的第二聚焦判断模式的情况下，为了使AF精度优先，与图5相比，在聚焦判断表中，状态值D的数量增多。也就是说，将相关计算结果为“大”并且边缘陡度为“高”的情况、相关计算结果和边缘陡度为“中等”的情况、以及相关计算结果为“小”并且边缘陡度为“低”的情况确定为是状态值D。因此，显示实时取景图像的频率相对高。

在本实施例中，通过与镜头单元301的焦距和被摄体距离相对应的光圈控制来改变摄像元件306的曝光状态。结果，即使光圈在AF连拍期间的静止图像拍摄时被缩小，根据拍摄条件和拍摄模式，也能够实现维持显示质量和取景期间的追踪性这两者。

第三实施例

图11是示出根据本发明第三实施例的具有由摄像镜头和能够更换多个摄像镜头的照相机主体构成的照相机系统的形式的摄像设备的结构的框图。本实施例的照相机系统(摄像设备)是可更换镜头型单镜头反光照相机，并且包括由摄像镜头所构成的镜头单元1100和照相机主体1120。镜头单元1100经由图11的中央的虚线所表示的安装件M被安装至照相机主体1120。

镜头单元1100包括摄像光学系统(第一透镜组1101、光圈1102、第二透镜组1103和第三透镜组(调焦透镜1104))以及驱动和控制系统。第一透镜组1101被设置在镜头单元1100的前端，并且被可移动地保持在光轴方向OA上。除用于调节拍摄时的光量的功能以外，光圈1102还具有作为在拍摄静止图像时控制曝光时间的机械快门的功能。光圈1102和第二透镜组1103可以在光轴方向OA一体地移动，并且通过与第一透镜组1101连动移动来实现变焦功能。调焦透镜1104也可以在光轴方向OA上移动，并且使镜头单元1100聚焦的被摄体距离(聚焦距离)根据位置而改变。通过控制调焦透镜1104在光轴方向OA上的位置，可以进行用于调节镜头单元1100的焦距的焦点调节。

驱动和控制系统包括变焦致动器111、光圈致动器1112、调焦致动器1113、变焦驱动电路1114、光圈驱动电路1115、调焦驱动电路1116、镜头MPU 1117(处理器)和镜头存储器1118。

变焦驱动电路1114使用变焦致动器1111，在光轴方向OA上驱动第一透镜组1101和第二透镜组1103，并且控制镜头单元1100的光学系统的视角。光圈驱动电路1115使用光圈致动器1112驱动光圈1102，并且控制光圈1102的开口直径和开闭操作。调焦驱动电路1116使用调焦致动器1113，在光轴方向OA上驱动调焦透镜1104，并且控制镜头单元1100的光学系统的聚焦距离。另外，调焦驱动电路1116使用调焦致动器1113检测调焦透镜1104的当前位置。

镜头MPU 1117进行与镜头单元1100有关的整体计算和控制，并且控制变焦驱动电路1114、光圈驱动电路1115和调焦驱动电路1116。此外，镜头MPU 1117通过安装件M被连接至照相机MPU 1125，并且与其通信命令或者数据。例如，镜头MPU 1117检测调焦透镜1104的位置，并且针对来自照相机MPU 1125的请求通知镜头位置信息。镜头位置信息包括与调焦透镜1104在光轴方向OA上的位置、光学系统未移动的状态下出射光瞳在光轴方向OA上的位置和直径、以及用于控制出射光瞳的光束的镜头框在光轴方向OA上的位置和直径等有关的信息。另外，镜头MPU 1117根据来自照相机MPU 1125的请求，控制变焦驱动电路1114、光圈驱动电路1115和调焦驱动电路1116。摄像面相位差AF所需的光学信息被预先存储在镜头存储器1118中。镜头MPU 1117执行例如存储在内置的非易失性存储器或者镜头存储器1118中的程序，从而控制镜头单元1100的操作。

照相机主体1120包括光学系统(光学低通滤波器1121和摄像元件1122)以及驱动和控制系统。光学低通滤波器1121减少拍摄图像的伪色和摩尔纹。摄像元件1122由CMOS图像传感器和周边电路构成，并且设置横向的m个像素和纵向的n个像素(n和m是2以上的整数)。本实施例的摄像元件1122具有光瞳分割功能，并且可以进行使用具有视差的图像数据的摄像面相位差AF。

驱动和控制系统包括摄像元件驱动电路1123、图像处理电路1124、照相机MPU1125(处理器)、显示单元1126、操作开关组(操作SW)1127、存储器1128和摄像面相位差焦点检测单元1129。图像处理电路1124根据摄像元件1122所输出的图像数据显示焦点检测信号，并且生成用于显示和记录的图像数据。

摄像元件驱动电路1123控制摄像元件1122的操作，对所获取的图像数据进行A/D转换，并且将图像数据发送给照相机MPU 1125。图像处理电路1124对摄像元件1122所获取的图像数据进行诸如γ转换、白平衡调整处理、颜色插值处理或者压缩编码处理等的数字照相机所进行的一般图像处理。

照相机MPU 1125对照相机主体1120进行整体计算和控制，并且控制摄像元件驱动电路1123、图像处理电路1124、显示单元1126、操作开关组1127、存储器1128和摄像面相位差焦点检测单元1129。照相机MPU 1125经由安装件M被连接至镜头MPU 1117，并且与镜头MPU 1117通信命令或者数据。照相机MPU 1125向镜头MPU 1117发出镜头位置获取请求、具有预定驱动量的光圈、调焦透镜和变焦驱动请求、以及镜头单元1100固有的光学信息的获取请求等。用于存储用于控制照相机主体1120的操作的程序的ROM 1125a、用于存储变量的RAM 1125b和用于存储各种参数的EEPROM 1125c被内置在照相机MPU 1125中。

显示单元1126由LCD等构成，并且显示与照相机主体1120的拍摄模式有关的信息、拍摄之前的预览图像、拍摄之后的确认图像和焦点检测时的聚焦状态的图像等。操作开关组1127由电源开关、释放(摄像触发)开关、变焦操作开关和拍摄模式选择开关等构成。存储器1128使用可移除的闪速存储器记录拍摄图像。

摄像面相位差焦点检测单元1129基于图像处理电路1124所获得的摄像面相位差AF信号，通过摄像面相位差AF进行焦点检测处理。具体地，图像处理电路1124生成通过穿过摄像光学系统的一对光瞳区域的光束所形成的一对图像数据，作为摄像面相位差AF信号，并且摄像面相位差焦点检测单元1129基于这对图像数据的偏移量，检测焦点偏移量(散焦量)。这样，本实施例的摄像面相位差焦点检测单元1129在无需使用专用AF传感器的情况下，基于摄像元件1122的输出进行摄像面相位差AF。

参考图12详细说明摄像面相位差焦点检测单元1129的操作。图12是示出根据本实施例的摄像元件1122的像素排列的图，并且示出从镜头单元1100侧观察二维C-MOS区域传感器的6个纵向(Y方向)行和8个横向(X方向)列的范围的状态。在摄像元件1122中设置有拜耳阵列的滤色器。在本实施例的拜耳阵列中，例如，在奇数行的像素中，从左边开始依次在X方向上交替配置绿色(G)和红色(R)的滤色器，并且在偶数行的像素中，从左边开始依次在X方向上交替配置蓝色(B)和绿色(G)的滤色器。在像素1211中，附图标记1211i所示的圆表示片上微透镜，并且片上微透镜1211i内所配置的多个矩形(附图标记1211a和1211b)各自表示光电转换单元。

本实施例的摄像元件1122包括用于接收穿过摄像光学系统的不同光瞳部分区域中的各光瞳部分区域的光束的第一焦点检测像素和第二焦点检测像素。在本实施例中，摄像元件1122中的所有像素的光电转换单元在X方向上被分割成两个区域，并且可以单独读取一个分割区域的光电转换信号和两个光电转换信号的总和。然而，还可以进行X方向和Y方向上的多个分割。然后，对于单独读取的信号，通过取两个光电转换信号的总和与一个分割区域中的光电转换信号之间的差，可以获得与在另一光电转换区域中所获得的信号相对应的信号。这些分割区域中的光电转换信号可被用于稍后所述的方法中的相位差式焦点检测，并且还可以生成由具有视差信息的多个图像所构成的三维(3D)图像。另一方面，两个光电转换信号的总和被用作正常拍摄图像。

这里，将说明摄像面相位差AF信号。在本实施例中，摄像光学系统的出射光束被光瞳分割至图12的片上微透镜1211i以及分割光电转换单元1211a和1211b。然后，对于被配置在同一像素行中的预定范围内的多个像素1211，将光电转换单元1211a的以组合方式组织而成的输出设置为用于摄像面相位差AF的A图像(用于AF的A图像)。另外，将光电转换单元1211b的以组合方式组织而成的输出设置为用于摄像面相位差AF的B图像(用于AF的B图像)。光电转换单元1211a和1211b的输出使用通过将滤色器的单位阵列中所包括的绿色、红色、蓝色和绿色的滤色器的输出相加所计算出的伪亮度(Y)信号。然而，对于红色、蓝色和绿色的各颜色，也可以组织用于AF的A图像和用于AF的B图像。使用相关计算，通过检测这样生成的用于AF的A图像和用于AF的B图像的相对图像偏移量，可以检测预定区域中的焦点偏移量(散焦量)。在本实施例中，从摄像元件1122读取一个光电转换单元的输出和所有光电转换单元的输出的总和。例如，如果读取光电转换单元1211a的输出以及光电转换单元1211a和1211b的输出的总和，则通过从该总和减去光电转换单元1211a的输出来获取光电转换单元1211b的输出。结果，可以获得用于AF的A图像和用于AF的B图像这两者，并且可以实现摄像面相位差AF。已知这种摄像元件例如已被日本特开2004-134867公开，因此将省略进一步的详细说明。

这里作为示例，说明了出射光瞳在水平方向上被二分割的结构，但是，摄像元件1122中的一些像素的出射光瞳还可以在垂直方向上被二分割。另外，出射光瞳还可以在水平方向和垂直方向这两者上被分割。通过设置出射光瞳在垂直方向上被分割的像素，可以进行与被摄体在垂直方向上的对比度以及在水平方向上的对比度相对应的摄像面相位差AF。

如上所述，摄像元件1122不仅具有摄像功能，而且还具有作为焦点检测装置的功能。由于摄像元件包括用于接收分割了出射光瞳的光束的焦点检测像素，因而作为焦点检测方法，可以进行摄像面相位差AF。

图13是说明根据本发明的第三实施例的照相机主体1120所执行的焦点检测处理、摄像处理和显示处理的流程图。在本流程图中，除非另有说明，否则通过照相机MPU 1125根据存储在ROM 1125a中的程序控制照相机主体1120的各单元或者与镜头MPU 1117进行通信来实现各步骤的处理。在下面的说明中，将说明摄像设备进行用于在实时取景(LV)状态下进行摄像的LV摄像时的操作，其中，在LV状态下，用于显示的图像数据被顺次显示在显示单元1126上。

在S701，照相机MPU 1125控制摄像元件驱动电路1123和摄像元件1122的驱动，并且通过对被摄体进行摄像来获取摄像数据。这里，由于存在用于拍摄用于LV显示的运动图像的驱动操作，因而进行与用于LV显示的帧频相对应的时间的电荷累积和读取，并且进行使用所谓的电子快门的拍摄。LV显示的主要目的是为了拍摄者(用户)确认摄像范围和拍摄条件，并且帧频可以是例如30帧/秒(摄像间隔33.3ms)或者60帧/秒(摄像间隔16.6ms)。在S701的处理中，作为初始值设置操作，将稍后说明的交替显示标志初始化成0。

接着在S702中，照相机MPU 1125获取在S701中所获得的摄像数据中的、从摄像元件的焦点检测区域所包括的第一焦点检测像素和第二焦点检测像素所获得的焦点检测数据。另外，照相机MPU 1125生成摄像信号，并且获取通过使用图像处理电路1124对所生成的摄像信号进行颜色插值处理等所获得的图像数据。如上所述，可以利用一次摄像来获取图像数据(图像信号)和焦点检测数据(焦点检测信号)。如果单独构成摄像像素、第一焦点检测像素和第二焦点检测像素，则通过进行焦点检测像素的补充处理等来获取图像数据。照相机MPU 1125使用在S702的处理中所获取的图像信号(第二图像信号)，在所设置的拍摄条件下执行用于检测是否发生了闪烁的闪烁检测。在本实施例中，将在接通照相机主体1120的电源时所执行的或者根据用户的手动操作所执行的闪烁检测的结果记录在存储器1128中，并且根据闪烁检测结果判断是否执行稍后说明的交替显示。可以采用已知的任何闪烁检测方法。例如，在本实施例中，通过检测闪烁光强度变化周期和特征点位置来执行闪烁检测(例如，参考日本特开2015-220673)，但是本发明不局限于此。例如，可以通过提取在与图像信号相对应的整个画面上所发生的对比度差、并且将与所提取的对比度差有关的信息和预先存储在照相机主体1120内的闪烁信息进行比较来执行闪烁检测。

接着，在S800中，照相机MPU 1125控制图像处理电路1124，以基于在S702的处理中所获得的图像信号(第二图像信号)生成用于LV显示的图像(LV图像)，并且将该图像显示在显示单元1126上。用于LV显示的图像是例如符合显示单元1126的分辨率的缩小图像，并且当在S702的处理中生成图像数据时，图像处理电路1124进行缩小处理。然后，照相机MPU1125使得显示单元1126显示缩小处理之后的LV图像(第二图像)。如上所述，在LV显示期间以预定帧频进行被摄体摄像和顺次显示，从而使得用户能够通过显示单元1126调整拍摄时的构图并调整曝光条件。

在S800中，当基于在S702中所获取的图像信号(第二图像信号)生成LV图像(第二图像)时，照相机MPU 1125根据是否进行用于稍后说明的交替显示的静止图像(第三图像)的交替显示来执行不同处理。在进行交替显示的情况下，进行用于减少第二图像和第三图像之间的差异的处理，并且生成第二图像信号。结果，在进行使用在不同曝光条件或者信号读取条件下所获取的第三图像和第二图像的显示时，可以进行具有较少不适感的显示。稍后将详细说明S800的处理。在下面的说明中，基于稍后所述的第一图像信号来生成记录用静止图像(第一图像)和用于交替显示的静止图像(第三图像)，并且基于第二图像信号来生成LV图像(第二图像)。

接着，在S703中，照相机MPU 1125通过使用与在S702中所获取的焦点检测区域相对应的焦点检测数据，获得各焦点检测区域的散焦量和散焦方向。在本实施例中，照相机MPU 1125生成焦点检测图像信号，计算焦点检测信号的偏移量(相位差)，并且基于所计算出的偏移量执行用于获得散焦量和散焦方向的处理。当生成焦点检测图像信号时，照相机MPU 1125进行与在生成第二图像信号时所进行的信号处理不同的处理(例如，增益调整和低通处理等)。

由于要求作为显示所使用的第二图像的原始数据的第二图像信号能够确认显示单元1126上的摄像范围的构图、颜色、亮度和模糊条件等，因而可以通过增益处理使得一些信号饱和。另一方面，不包括饱和信号的焦点检测图像信号可以进行高精度的焦点检测。另外，由于对第二图像进行与用于稍后所述的交替显示的静止图像相对应的图像处理，因而不能确保充分的对比度来进行焦点检测，或者在一些情况下，通过低通处理等不能获得高频成分信号。因此，在S703的处理中，照相机MPU 1125针对第二图像信号进行与生成第二图像时的处理不同的处理，从而使得可以获得对比度和高频成分信号，并且生成适合于焦点检测的焦点检测图像信号。

接着，在S704中，照相机MPU 1125检测作为用于指示开始拍摄准备的开关的SW1的ON(接通)或者OFF(断开)。作为操作开关组1127中的一个的释放(摄像触发)开关可以根据释放开关的按下量来检测两个阶段的ON或者OFF。上述SW1的ON或者OFF对应于释放(摄像触发)开关的第一阶段的ON或者OFF，并且表示开始摄像准备。

接着，如果在S704中未检测到SW1的ON(或者检测到了OFF)，则照相机MPU 1125使得处理进入S709，并且判断操作开关组1127所包括的主开关是否被断开。另一方面，当在S704检测到SW1的ON时，照相机MPU 1125使得处理进入S705，并且设置(选择)要聚焦的焦点检测区域。在这种情况下，可以设置通过用户所指示的焦点检测区域，或者照相机MPU 1125可以基于与通过S704的处理所获得的多个焦点检测区域的散焦量有关的信息和诸如相对于散焦点检测区域的摄像范围的中心的距离等的信息，来自动设置焦点检测区域。通常，用户想要拍摄的被摄体存在于短拍摄距离的位置处的可能性高，并且被摄体存在于摄像范围中央附近的可能性高。例如，在存在多个被摄体的情况下，照相机MPU 1125考虑到这些条件来自动设置被认为适当的焦点检测区域。此外，例如，在可以区分能够判断出主被摄体的被摄体和背景的情况下，照相机MPU 1125将存在主被摄体的区域设置为焦点区域。

接着，在S706中，照相机MPU 1125基于在所选择的焦点检测区域中所检测到的散焦量来进行镜头驱动。在所检测到的散焦量小于预定阈值的情况下，如果不必要配置镜头驱动，则可以抑制不频繁需要的镜头驱动的性能。

接着，在S707中，照相机MPU 1125检测作为用于指示摄像开始指示的开关的SW2的ON或者OFF。如上所述，释放(摄像触发)开关可以根据按下量检测两个阶段的ON或者OFF。上述SW2对应于处于第二阶段的释放(摄像触发)开关的ON或者OFF，并且指示开始摄像。如果在S707中未检测到SW2的ON，则照相机MPU 1125返回至S702的处理，并且重复上述LV显示和焦点检测。

如果在S707中检测到SW2的ON，则过程进入S900，并且照相机MPU 1125执行摄像子程序。稍后将详细说明摄像子程序。如果在S900中执行摄像子程序，则过程进入S1000。

接着，在S1000中，进行第三图像(用于交替显示的静止图像)的显示判断，然后在S708中判断是否将第三图像显示在显示单元1126上。第三图像是与在S900中所获得的记录用静止图像(第一图像)相对应的用于交替显示的静止图像。

接着，如果在S708的处理中判断为要将第三图像显示在显示单元1126上，则过程进入S1100，并且照相机MPU 1125生成第三图像并将第三图像显示在显示单元1126上。另一方面，如果在S708中判断为不显示第三图像，则不生成第三图像，并且过程返回至S702。下面将详细说明在S1000的处理中所进行的第三图像显示判断。

在S1100中，照相机MPU 1125基于在S900的处理所获得的记录用静止图像(第一图像)和LV图像(第二图像)，来生成用于交替显示的静止图像(第三图像)。如上所述，由于预先生成LV图像以使得与用于交替显示的静止图像的差减小，因而当生成用于交替显示的静止图像(第三图像)时，进行最小所需处理。可以使得摄像操作的便利性优先，并且可以与LV图像(第二图像)相关联地生成用于交替显示的静止图像(第三图像)。下面将详细说明S1100中所执行的处理。

如果S1100的处理结束，则过程进入S709。如果在S709中检测到主开关的OFF，则照相机MPU 1125结束一系列拍摄操作(包括焦点检测和显示控制)。另一方面，如果在S709中未检测到主开关的OFF，则过程返回至S702，并且重复上述各种类型的处理。例如，如果在S709的处理中没有检测到主开关的OFF、在S704的处理中检测到了SW1、并且在S707的处理中继续检测到SW2，则进行重复执行一系列摄像操作的所谓的连拍(连续拍摄)。与是否存在LV显示无关地，如果进行连拍，则本实施例的照相机主体1120以预定间隔多次获取记录用静止图像(第一图像)。然后，如果在LV显示期间指示连拍，则在获取记录用静止图像期间(即，连拍期间)，可以将至少LV图像显示在显示单元1126上。

接着，将参考图14来详细说明上述S800所示的LV图像(第二图像)的生成和显示处理。图14是说明根据本发明的第三实施例的LV图像的生成和显示处理的流程图。图14所示的流程图示出在连拍的第二及随后的摄像操作中所执行的处理，并且将在假定第二及随后的摄像处理是第n(n是自然数)摄像处理的情况下进行说明。在下面的说明中，在括号中示出相应摄像操作的次数(例如，第n次)。

首先，在S801中，照相机MPU 1125获取在用于获取S702中所获取的图像数据(n)时的拍摄条件以及作为S900中所获取的用于交替显示的静止图像的第三图像(n-1)的拍摄条件。

这里，拍摄条件对应于与诸如曝光时间(电荷累积时间)、与开口直径有关的光圈值(F值)和通过ISO感光度调整赋予信号的增益信息等的曝光参数有关的曝光条件。拍摄条件包括例如模糊信息、从陀螺仪传感器(未示出)所输出的被摄体的抖动信息、以及图像的主被摄体部分的对比度信息等。

接着，在S802中，照相机MPU 1125基于在S801的处理所获取的信息，判断用于表示与是否进行第二图像和第三图像的交替显示有关的信息的交替显示标志是否是1。下面将参考图16说明交替显示标志的设置。

如果在S802的处理中判断为交替显示标志是1，则过程进入S803，并且照相机MPU1125进行作为用于交替显示的LV图像的第二图像(n)的编辑设置。具体地，如果执行交替显示，则照相机MPU 1125使用S801所获得的拍摄条件来进行LV图像(第二图像(n))的编辑设置，以使得紧接之前所获取(生成)的第三图像(n-1)和第二图像(n)之间的差异减小。作为该编辑设置，针对在S702的处理中所获取的图像数据，进行增益调整、锐度(模糊)调整和低通处理(空间频率滤波环)等。利用该结构，可以减轻在交替显示的图像之间给用户带来的不适感。

这里，将详细说明上述S803中的增益调整。如果增益和曝光时间在第三图像(n-1)和在S702的处理中所获取的图像数据(n)之间不同，则照相机MPU 1125进行编辑设置，以使得根据第三图像(n-1)对LV图像(n)进行增益调整。例如，假定第三图像(n-1)的曝光时间是1/30秒、并且增益是2倍。在这种情况下，如果在S702的处理中所获取的图像数据(n)的曝光时间是1/15秒、并且增益是4倍，则作为LV图像的第二图像(n)具有使得增益相对于S702所获取的图像数据(n)而言为1/4倍的编辑设置。

如果通过稍后说明的曝光模拟设置而使增益在第一图像(记录用静止图像)和第二图像(LV图像)之间不同，则作为第三图像(显示用静止图像)的编辑设置，可以设置与第二图像相对应的增益调整量。

另外，针对锐度处理和低通处理，即使第三图像(n-1)和S702的处理所获取的图像数据(n)的聚焦状态和抖动状态与曝光条件相匹配，这两个图像也由于获取时间段的不同而难以匹配。因此，在本实施例中，分析主被摄体附近的模糊状态以降低第三图像(n-1)和第二图像(n)之间的差异。例如，如果判断为第三图像(n-1)比S702中所获取的图像(n)更模糊，则对图像(n)进行低通处理以使得第二图像(n)的模糊状态与第三图像(n-1)对齐。因此，在S803的处理中，进行低通处理的滤波设置。通过获取主被摄体附近的对比度信息和空间频率成分信息等，可以设置低通处理和锐度处理的强度。可选地，可以使用曝光时的照相机抖动信息来进行设置。S803中所执行的处理可以仅是图像处理和增益调整中的一个。

如上所述，在本实施例中，当交替显示第三图像和第二图像时，生成紧接着第三图像所显示的第二图像，从而使得与第三图像的差异减小。利用这一结构，当交替显示LV图像和静止图像两者时，可以降低由于这两个图像之间的差异而给用户带来的不适感。

另一方面，如果在S802中交替显示标志不是1(即，交替显示标志为0)，则过程进入S804，并且照相机MPU 1125进行用于仅将第二图像显示在显示单元1126上的编辑设置。在这种情况下，由于不必减小第三图像(n-1)和第二图像(n)之间的差异，因而对编辑设置进行设置以使得提供适合于显示的亮度和对比度，这就足够了。

如果完成了S803和S804的处理中的各种编辑设置，则在S805中，照相机MPU 1125将所设置的编辑设置应用于在S702的处理中所获取的图像(n)，以生成与第n次摄像操作相对应的LV图像(第二图像)。然后，如果在S805中完成了第二图像(n)的生成，则过程进入S806，并且照相机MPU 1125判断在第三图像(n-1)和第二图像(n)之间是否存在即使执行增益调整、锐度处理和低通处理也不能被调整的差异。例如，如果在上述两个图像之间，F值极大不同或者焦点状态极大不同，则在锐度处理和低通处理中，图像之间的差异不能被调整。

如果在S806中判断为存在不可调整差异，则照相机MPU 1125在S807中合成第三图像(n-1)和第二图像(n)，并且新生成第二图像(n)。例如，使用两个图像的平均值(例如，图像信号的输出值或者亮度值等)来合成两个图像。由于在生成稍后所述的第三图像(n)时进行相同处理，因而按照时间顺序对这两个图像进行移动平均处理。因此，可以减小这两个图像之间的差异。另一方面，在进行被摄体移动或者平摇操作等的情况下，如果进行这两个图像的平均处理，则获得图像中的移动部分移位且重叠的不自然显示。在这种情况下，可以不进行该合成处理。

接着，在S808中，照相机MPU 1125将第二图像(n)显示在显示单元1126上。上述各处理可以通过使用被转换成图像数据之前的图像信号来执行，而不是对被输出为图像数据的各图像进行。例如，在S807的处理中，可以将与第三图像(n-1)相对应的图像信号和与第二图像(n)相对应的图像信号进行合成。

接着，将参考图15来详细说明上述S900所示的摄像子程序处理。图15是说明根据本发明第三实施例的摄像子程序处理的流程图。例如，在紧接着与图14所示的流程图中的用于第n次摄像操作的LV图像的生成和显示有关的处理所进行的摄像子程序中，生成与第n次摄像操作相对应的记录用静止图像(第一图像)。

在S901中，照相机MPU 1125开始曝光控制处理，并且设置拍摄条件(曝光时间、F值、增益(摄像感光度))。可以通过照相机MPU 1125基于图像数据的亮度信息来进行该曝光控制处理，但是可以使用任何已知技术作为该曝光控制处理的方法。在本实施例中，例如，在第n次摄像操作中，基于在第(n-1)次摄像操作中所获取的记录用静止图像，获取上述亮度信息。可选地，可以基于在第n次摄像操作中所获取的LV图像来获取该亮度信息。

另外，在S901中，照相机MPU 1125基于所设置的F值和所设置的曝光时间来控制光圈致动器1112，并且控制用作光圈的快门1102的操作。此外，照相机MPU 1125基于所设置的曝光时间来控制摄像元件驱动电路1123的驱动，并且执行电荷累积。

如果电荷累积结束，则在S902中，照相机MPU 1125控制摄像元件驱动电路1123的操作，以通过读取先前累积的电荷来获取与静止图像相对应的图像数据(第一图像信号)。然后，照相机MPU 1125基于第一图像信号，获取记录用静止图像(第一图像)。尽管第一图像信号的读取是所谓的全像素读取，但是可以设置摄像元件1122的读取行以获得高像素图像数据作为记录用静止图像。作为本实施例的照相机主体1120，可以基于记录用静止图像(第一图像)来生成显示用静止图像(第三图像)，并且还可以基于与记录用静止图像同时的第一图像信号来生成显示用静止图像(第三图像)。在这种情况下，基于第一图像信号，生成记录用静止图像和显示用静止图像中的各静止图像。本实施例中的LV图像和静止图像是如上所述进行读取的摄像元件的像素数不同的不同类型的图像。

接着，在S903中，照相机MPU 1125经由图像处理电路1124对所读取的图像数据进行缺陷像素校正处理。在S904中，照相机MPU 1125经由图像处理电路1124，对缺陷像素校正处理之后的图像数据应用诸如去马赛克处理(颜色插值)、白平衡处理、γ校正处理(灰度校正)、颜色转换处理和边缘强调处理等的各种图像处理、以及编码处理等。在S905中，照相机MPU 1125将与记录用静止图像(第一图像)相对应的数据文件记录在存储器1128中。

接着，在S906中，照相机MPU 1125将与S905的处理中所记录的记录用静止图像相对应的照相机主体的特性信息记录在存储器1128中和照相机MPU 1125内所设置的存储器中。这里，照相机主体的特性信息包括曝光条件、图像处理信息、与摄像元件1122的摄像像素和焦点检测像素的光接收感光度分布有关的信息、与摄像光束有关的渐晕信息、与法兰距有关的信息和制造误差信息等。由于摄像元件1122的光接收感光度分布信息是依赖于片上微透镜ML和光电转换单元PD的信息，因而可以记录与这些构件有关的信息。

在S907中，照相机MPU 1125将与S905的处理中所记录的记录用静止图像相对应的镜头单元的特性信息记录在存储器1128和照相机MPU 1125内所设置的存储器中。这里，镜头单元的特性信息对应于与出射光瞳有关的信息、与摄像时的焦距和F值有关的信息、光学系统的像差信息和制造误差信息等。

接着，在S908中，照相机MPU 1125将与先前所获取的记录用静止图像有关的图像关联信息记录在存储器1128和照相机MPU 1125内所设置的存储器中。该图像关联信息对应于与摄像之前的焦点检测操作有关的信息、被摄体移动信息和与焦点检测操作的精度有关的信息等。

接着，将参考图16来详细说明上述S1000中所示的第三图像显示判断处理。图16是说明根据本发明的第三实施例的显示用静止图像的显示判断处理的流程图。例如，在前一摄像子程序中在与第n次摄像操作有关的记录用静止图像(第一图像)的生成和显示处理之后所进行的第三图像显示判断处理中，生成与第n次摄像操作相对应的显示用静止图像(第三图像(n))。

在S1001中，照相机MPU 1125判断用户是否关闭了交替显示设置。作为交替显示设置，例如可以通过用户手动操作操作构件来打开或者关闭显示在菜单画面上的交替显示设置。如果交替显示设置被关闭，则过程进入S1009，并且照相机MPU 1125将交替显示标志设置成0作为用于表示不进行交替显示的信息。

接着，如果在S1001中交替显示被设置成ON，则过程进入S1002，并且照相机MPU1125判断在拍摄记录用静止图像(第一图像)时是否正在通过发光装置(未示出)进行向被摄体的发光(照明)。当通过发光装置照明被摄体时，被摄体在记录用静止图像(第一图像)中被照明，但是被摄体在LV图像(第二图像)中未被照明，因此，在这两个图像之后存在大的亮度差。因此，在这种情况下，不进行交替显示以抑制由具有很大不同亮度的图像的交替显示给用户带来的不适感。如果通过发光装置所发出的光量小，则可以通过增益调整等来减小这两个图像之间的亮度差，因此在这种情况下，可以进行交替显示。

接着，在S1003中，照相机MPU 1125判断在第一图像(n)和第二图像(n)之间在各曝光条件中，是否存在等于或者大于预定值的差异。如上所述，可以通过增益调整和这两个图像的合成处理来减小曝光条件的差异，但是如果这两个图像之间的差异大，则难以减小曝光条件的差异。例如，假定如下情况：在通过所谓的慢快门所进行的长秒曝光中使光圈小(小光圈)的条件下获取第一图像。在这种情况下，可以在相同曝光条件下获取第二图像和第一图像，但是对于LV图像，存在需要长时间来将更新时间显示在显示单元1126上并且焦点检测精度劣化的问题。因此，如果在S1003的处理中判断为存在等于或者大于预定值的曝光条件差异，则进行设置以使得不进行交替显示。

接着，在S1004中，照相机MPU 1125判断在获取LV图像(第二图像)时是否发出用于辅助焦点检测处理的辅助光。通常，辅助光是用于辅助焦点检测的光投影，并且由于通过光投影的照明范围相对于摄像范围窄、或者颜色仅偏向特定范围，因而辅助光不适合于获取静止图像。因此，如果在获取LV图像时发出上述辅助光，则在静止图像和LV图像之间存在大的亮度差，并且难以补偿该差。因此，在第n次摄像操作中的LV图像(第二图像)的获取时发出用于辅助焦点检测的辅助光的情况下，进行设置以使得不进行交替显示。

接着，在S1005中，照相机MPU 1125判断记录用静止图像(第一图像(n))和LV图像(第二图像(n))各自的ISO感光度(增益)是否是落在预定范围外的值。如上所述，静止图像和LV图像具有不同的用于读取信号值的方法。例如，由于利用所谓的间隔剔除读取通过在摄像元件的水平方向上相加和压缩相同颜色的信号来针对静止图像读取LV图像，因而这两个图像的色相等可能不同。在这种情况下，根据ISO感光度设置值，在静止图像和LV图像之间存在大的差异(例如，噪声量的差异)。因此，在本实施例的照相机主体1120中，设置可以执行交替显示的范围(阈值)，并且如果静止图像和LV图像的ISO感光度在该范围内，则判断为这两个图像之间的差异小、并且执行交替显示。另一方面，如果静止图像和LV图像中任一个的ISO感光度是落在该范围外的值，则判断为这两个图像之间的差异大、并且不执行交替显示。

在本实施例中，说明了将记录用静止图像和LV图像的ISO感光度和与ISO感光度有关的预定范围(阈值)进行比较的结构，但是本发明不局限于此。例如，判断连续获取的LV图像(n)和记录用静止图像(n)的ISO感光度之间的差(绝对值)是否等于或者大于预定阈值，并且如果这两个图像的ISO感光度的差小于预定值，则可以执行交替显示。

接着，在S1006中，照相机MPU 1125判断S703所计算出的偏移量(相位差)是否是落在预定范围外的值。如果判断为偏移量是落在预定范围外的值，则判断为偏移量大，并且不执行交替显示。

接着，在S1007中，照相机CPU 1125判断是否存在S702中所进行闪烁检测。如果存在闪烁，则由于摄像是在没有发生闪烁的曝光条件下进行的，因此判断为存在等于或者大于预定值的曝光条件差异，并且不执行交替显示。如果设置了用于降低闪烁的影响的摄像模式，则可以将交替显示标志设置成0，并且可以不进行交替显示。

如果上述S1001～S1007中的各判断均是“否”判断，则在S1008中，照相机MPU 1125设置作为交替显示标志的用于表示执行交替显示的标志(交替显示标志＝1)。可以执行或者排除上述判断S1001～S1007中的仅一个，从而可以基于该判断的结果来判断是否存在交替显示。例如，与其它条件无关地，如果交替显示设置为ON(打开)，则可以执行交替显示。

接着，将参考图17来详细说明上述S1100所示的显示用静止图像(第三图像)的生成和显示处理。图17是说明根据本发明的第三实施例的显示用静止图像的生成和显示处理的流程图。在假定在连拍中的第二及随后的摄像操作的第n(n是自然数)次摄像操作的情况下，说明图17所示的流程图。

首先，在S1101中，照相机MPU 1125获取用于获取S702中所获取的图像数据(n)的拍摄条件和用于获取作为S900中所获取的用于交替显示的静止图像的第三图像(n-1)的拍摄条件。该处理与上述S801的相同。

在S1102中，照相机MPU 1125进行用于交替显示的第三图像的编辑设置。具体地，在执行交替显示的情况下，通过使用在S1101中所获得的拍摄条件来进行显示用静止图像(第三图像)的编辑设置，以使得第三图像(n-1)和第二图像(n)之间的差异减小。在上述S803的处理中，说明了：显示用静止图像(n-1)和LV图像(n)之间的差异被减小，以抑制给用户带来的不适感。另一方面，在S1102的处理中，根据LV图像(n)来获取显示用静止图像(n)，以减小LV图像(n)和显示用静止图像(n-1)之间的差异，由此抑制给用户带来的不适感。利用这一结构，即使按照显示用静止图像(n-1)、LV图像(n)和显示用静止图像(n)的顺序进行交替显示，也可以通过减小连续显示的图像之间的差异来抑制给用户带来的不适感。由于S1102的处理中的编辑设置与上述S803的处理大体相同，因而省略对其的说明。

接着，在S1103中，照相机MPU 1125基于在S1102中所确定的编辑设置，针对第一图像(记录用静止图像(n))生成第三图像(显示用静止图像(n))。然后，在S1104中，照相机MPU1125判断是否存在即使在第二图像(n)和第三图像(n)之间执行增益调整、锐度处理和低通处理也不能被调整的差异。由于该判断与上述S806的大体相同，因而省略对其的说明。

如果在S1104中判断为存在不可调整的差异，则在S1105中，照相机MPU 1125对第二图像(LV图像(n))和第三图像(显示用静止图像(n))进行合成，并且新生成第三图像(n)。由于用于合成这两个图像的方法与S807的大体相同，因而省略对其的说明。

接着，在S1106中，照相机MPU 1125将第三图像(显示用静止图像(n))显示在显示单元1126上。如上所述，图17所示的各处理可以通过使用被转换成图像数据之前的图像信号来执行，而不是对被输出为图像数据的各图像进行。

接着，将参考图18～20来说明上述LV图像和静止图像的交替显示操作。图18是示例性说明在进行交替显示并且在紧接图像生成之后显示LV图像和静止图像的情况下的时序图的图。图19是进行交替显示的情况，并且是示例性说明根据考虑到预定显示延迟时间来交替显示LV图像和静止图像的情况下的第一方法的时序图的图。此外，图20是进行交替显示的情况，并且是示例性说明根据考虑到预定显示延迟时间来交替显示LV图像和静止图像的情况下的第二方法的时序图的图。假定通过照相机MPU 1125来执行下面的说明中的各种类型的操作和处理。

在图18～20中，斜线块表示与静止图像有关的处理，并且白色块表示与LV图像有关的处理。Tr1和Tr2表示静止图像和LV图像的曝光、读取和图像获取的时间(从开始曝光到完成获取所需的时间)。tr1和tr1’表示静止图像的曝光开始时点，并且tr2表示LV图像的曝光开始时点。td1和td1’表示静止图像的显示开始时点，并且td2表示LV图像的显示开始时点。

此外，在图18～20中，Td1_0表示静止图像的显示时间，并且Td2_0表示LV图像的显示时间。另外，图19和20中的ΔTd1表示静止图像的显示延迟时间(从静止图像的完成获取到显示开始的时间)，并且ΔTd2表示LV图像的显示延迟时间(从LV图像的完成获取到显示开始的时间)。在图19和20的示例中，ΔTd1是0，但是在本实施例中，ΔTd1不局限于0。图19和20中的t11～18和t21～t27表示各个图中的时点。在附图中，示出直到t18或者t27为止的时点。然而，如果判断为继续连拍，则即使在所示时点之后，也继续进行连拍处理。

首先，将参考图18来说明在没有显示延迟的情况下进行交替显示的情况下的具体示例。在这种情况下，在从定时tr1开始的时间Tr1，首先生成(用于记录和用于显示的)静止图像。然后，在没有显示延迟的情况下，在从td1所表示的定时开始的时间Td1_0中，对显示用静止图像进行显示。

接着，在从定时tr2开始的时间Tr2生成LV图像。然后，在没有显示延迟的情况下，在从定时td2开始的时间Td2_0中，显示所生成的LV图像。此后，在同一过程中，交替地对显示用静止图像和LV图像进行显示。

接着，将参考图19来说明用于基于第一方法来进行考虑到预定显示延迟时间的交替显示的情况下的具体示例。在第一方法中，设置显示延迟时间，从而使得从静止图像的获取定时到显示开始定时的时间大体等于从LV图像的获取定时到显示开始定时td2的时间。也就是说，第一显示延迟时间ΔTd1和第二显示延迟时间ΔTd2被设置成使得从定时tr1到定时td1的时间大体等于从定时tr2到定时td2的时间。基于所设置的第一显示延迟时间ΔTd1和所设置的第二显示延迟时间ΔTd2，来计算显示用静止图像的显示时间Td1和LV图像的显示时间Td2。

更具体地，照相机MPU 1125基于S801中所设置的拍摄条件，来获取从静止图像和LV图像各自的曝光开始到完成获取的时间Tr1和Tr2。然后，照相机MPU 1125将静止图像的第一显示延迟时间ΔTd1设置成0(如上所述，也可以不是0)。然后，照相机MPU 1125根据下面的公式，计算LV图像的第二显示延迟时间ΔTd2。

Tr2+ΔTd2＝Tr1+ΔTd1

ΔTd2＝Tr1+ΔTd1-Tr2＝Tr1-Tr2

接着，照相机MPU 1125计算静止图像和LV图像的显示时间Td1和Td2。具体地，照相机MPU 1125基于S801和S1101中所设置的拍摄条件，获取不存在显示延迟时间ΔTd1和ΔTd2的情况下的显示时间Td1_0和Td2_0(参考图18)。然后，照相机MPU 1125根据下面的公式，计算显示时间Td1和Td2。

Td1＝Td1_0+(ΔTd2-ΔTd1)＝Td1_0+ΔTd2

Td2＝Td2_0+(ΔTd1-ΔTd2)＝Td1_0-ΔTd2

接着，照相机MPU 1125基于所计算出的第一显示延迟时间ΔTd1和显示时间Td1，来设置显示用静止图像的显示开始时点(定时)和显示时间、并且指示进行显示。具体地，已从时点tr1开始获取的静止图像在时点t12开始显示用静止图像的显示，并且显示该静止图像直到时点t16为止。由于针对LV图像执行大体相同的处理，因而将省略对其的说明。利用上述结构，从静止图像的获取时点tr1到静止图像的显示开始时点td1的时间大体等于从LV图像的获取时点tr2到LV图像的显示开始时点td2的时间，因此可以进行没有不适感的图像显示。

接着，将参考图20来说明用于基于第二方法来进行考虑到预定显示延迟时间的交替显示的情况下的具体示例。在本实施例的第二方法中，设置与(用于显示的)静止图像有关的第一显示延迟时间ΔTd1和与LV图像有关的第二显示延迟时间ΔTd2，以使得静止图像的显示时间Td1和LV图像的显示时间Td2大体彼此相等。具体地，在使用第二方法的情况下，仅针对具有短获取时间的图像设置显示延迟，而针对需要长获取时间的图像不设置显示延迟。也就是说，控制各图像的显示时间，以使得将第一显示延迟时间ΔTd1设置成0、并且使显示用静止图像的显示时间Td1和LV图像的显示时间Td2大体彼此相等。也就是说，第二方法与上述第一方法的不同在于：静止图像和LV图像的显示时间Td1和Td2以及LV图像的显示开始时点(定时)td2不同。

与上述公式一起，使用下面的公式4来计算LV图像的第二显示延迟时间ΔTd2。

接着，照相机MPU 1125计算静止图像和LV图像的显示时间Td1和Td2。具体地，照相机MPU 1125基于S801和S1101中所设置的拍摄条件，获取在不存在显示延迟时间ΔTd1和ΔTd2的情况下的显示时间Td1_0和Td2_0(参考图18)。然后，照相机MPU 1125基于第一显示延迟时间ΔTd1＝0和通过上述公式4所计算出的第二显示延迟时间ΔTd2，根据下面的公式5计算显示时间Td1和Td2。

接着，照相机MPU 1125使用所计算出的第一显示延迟时间ΔTd1和显示时间Td1，来设置显示用静止图像的显示开始时点(定时)和显示时间、并且指示进行显示。具体地，已从时点tr1开始获取的静止图像在时点t22开始显示用静止图像的显示，并且显示该静止图像直到时点t25为止。由于针对LV图像执行大体相同的处理，因而将省略对其的说明。利用上述结构，由于显示用静止图像的显示时间Td1和LV图像的显示时间Td2变得大体相等，因而可以在没有不适感的情况下显示图像。

如果执行交替显示，则本实施例的摄像设备可以使用如图18～20所述的各时序图所示的各种方法中的任一个。特别地，优选通过使用上述第一方法和第二方法执行交替显示来调整静止图像和LV图像的显示延迟，从而抑制给用户带来的不适感。可以通过组合第一方法和第二方法来执行交替显示。

如上所述，根据本实施例，如果考虑到基于各种条件、用于交替显示的图像之间的差异大，则照相机主体1120不执行用于顺次获取多个图像并且顺次显示这些图像的处理(交替显示)。换句话说，如果考虑到基于各种条件、用于交替显示的图像之间的差异小，则照相机主体1120执行用于顺次获取多个图像并且顺次显示这些图像的处理(交替显示)。因此，本实施例的照相机主体1120可以基于用于交替显示的图像之间的差异来判断是否执行交替显示，因此可以抑制通过执行交替显示给用户带来的不适感的增大。

在上述实施例中，示出了逐一交替获取静止图像和LV图像的示例，但是作为各图像所要获取的图像的数量不局限于此。根据本发明的摄像设备可以在以预定间隔获取静止图像期间，获取第二图像(LV图像等)至少一次。例如，摄像设备可以在获取静止图像期间获取多个LV图像。在这种情况下，摄像设备可以多次重复(更新)LV图像的生成和显示，并且在将显示用静止图像显示在显示单元1126之后新显示显示用静止图像。如果相对于静止图像获取LV图像时的曝光时间短，则可以例如通过将上述的多个LV图像相加(帧相加)，来将该曝光时间设置成与静止图像大体相同。然后，如果进行上述帧相加，则可以通过在各个LV图像之间进行移动平均处理，来在不损害显示更新间隔的情况下实现帧相加。

第四实施例

接着，将参考图21A～23来说明本发明的第四实施例。在第四实施例中，将说明与同曝光模拟功能有关的设置相对应的交替显示的方法。具体地，在本实施例中，如果执行交替显示，则将说明照相机主体1120与曝光模拟设置的ON(打开)或者OFF(关闭)无关地降低交替显示所用的连续图像之间的亮度差的控制。

这里，曝光模拟功能是用于在实际对被摄体的当前摄像之前模拟在用户所设置的曝光条件(例如，诸如曝光时间、光圈值和增益等的曝光参数)下所获取的图像的功能。因此，打开该曝光模拟设置，从而使得用户可以预先确认在当前摄像中能够获取的静止图像。

另外，存在按照用户的意图针对被摄体利用不适当亮度进行摄像的情况。在这种情况下，如果曝光模拟设置被打开，则根据在所设置的曝光条件下所能够获取的静止图像来进行LV显示。因此，例如，如果用户在不足的曝光条件下获取静止图像，则LV图像变暗，并且可见性劣化。在这种情况下，通过关闭曝光模拟设置，可以显示具有适合于用户的可见性的亮度的图像。

下面将参考图21A和21B来说明根据本实施例的焦点检测处理、摄像处理和显示处理。将省略对与上述第三实施例中大体相同的构成的说明，并且将赋予其相同附图标记。图21A和21B是示例性说明根据本发明的第四实施例的基于曝光模拟设置和交替显示相关设置的交替显示方法的图。图21A是根据基于本发明的第四实施例的交替显示设置和曝光模拟设置来示例性说明显示在显示单元1126上的图像的图。假定在图21A和21B中，交替显示LV摄像时显示在显示单元1126上的LV图像和显示用静止图像。此外，在图21A和21B中，粗线框所包围的图像被示出为显示用静止图像(第三图像)，并且其它图像表示LV图像。

首先，将说明交替显示设置为ON、并且曝光模拟设置为ON的情况。在这种情况下，用于交替显示的图像的亮度根据用户所设置的曝光条件而不同。例如，当用户所设置的曝光条件是用于被摄体的适当亮度(曝光)时，如通过图21A所示的(11)所示，针对交替显示，使用具有与适当曝光相对应的亮度的图像。此外，例如，当用户所设置的曝光条件是用于被摄体的不足的亮度(曝光)时，如通过图21A所示的(21)所示，交替使用具有与不足的曝光相对应的亮度的图像。如果曝光模拟被打开，则调整LV图像的亮度以使得与静止图像的亮度相匹配。

接着，将说明交替显示设置为ON、并且曝光模拟设置为OFF的情况。在这种情况下，由于曝光模拟设置被关闭，因而不必根据用户所设置的曝光条件来调整用于交替显示的图像的亮度。因此，在这种情况下，如通过图21A所示的(12)或者图21A所示的(22)所示，与曝光条件无关地，针对交替显示，使用与使用户可见性优先的适当亮度(曝光)相对应的图像。在这种情况下，调整显示用静止图像的亮度以与LV图像的亮度相匹配。

接着，将说明交替显示设置为OFF(关闭)、并且曝光模拟设置为ON的情况。在这种情况下，由于交替显示设置被关闭，因而显示用静止图像(第三图像)不显示在显示单元1126上(图21A中的虚线所示)。然后，由于曝光模拟设置被打开，因而对LV图像所进行的图像处理根据曝光条件而不同。例如，当设置曝光条件以使得被摄体的亮度对应于适当曝光时，如通过图21A所示的(13)所示，仅将具有与适当曝光相对应的亮度的LV图像显示在显示单元1126上。此外，当设置曝光条件以使得被摄体的亮度对应于不足的曝光时，如通过图21A所示的(23)所示，将与不足的曝光相对应的LV图像显示在显示单元1126上。

接着，将说明交替显示设置为OFF、并且曝光模拟设置为OFF的情况。在这种情况下，由于交替显示设置被关闭，因而如通过图21A所示的(14)所示，显示用静止图像(第三图像)不显示在显示单元1126上(图21A中的虚线所示)。然后，由于曝光模拟设置被关闭，因而如通过图21A中的(24)所示，与曝光条件无关地，将与使用户可见性优先的适当亮度(曝光)相对应的LV图像显示在显示单元1126上。

这里，将参考图21B来说明交替显示设置为ON、并且曝光模拟设置为OFF的情况下的处理。图21B是示例性说明交替显示设置为ON、并且曝光模拟设置为OFF的情况下的交替显示的图。在该设置下，通常，当生成显示用静止图像时，根据在紧接着之前所获取的LV图像来进行增益调整。然而，如图21B的(22’)所示，如果用户所设置的曝光条件是不足的曝光，则静止图像具有与不足的曝光相对应的亮度，LV图像具有与使可见性优先的适当曝光相对应的亮度。因此，如果交替显示这些图像，则交替显示具有不同亮度(没有连续性)的图像，因此给用户的不适感大。因此，在本实施例中，如果交替显示设置为ON、并且曝光模拟设置为OFF，则以与使交替显示优先、并且曝光模拟设置为ON的情况(例如，图21B的(21)等)相同的方式来调整用于交替显示的图像的亮度。另一方面，为了使曝光模拟设置优先，可以以与交替显示设置被关闭的情况(图21B的(24)等)相同的方式来选择用于交替显示的图像。

接着，将参考图22来详细说明根据本实施例的LV图像(第二图像)的生成和显示处理。图22是说明根据本发明的第四实施例的LV图像的生成和显示处理的流程图。在下面的说明中，在假定与连拍中的第二次及随后的摄像操作相对应的第n次(n是自然数)摄像操作的情况下进行说明。本实施例中的基本处理流程与上述第三实施例(图13)中的大体相同，并且仅与第二图像的生成和显示有关的处理(图22)和与第三图像的生成和显示有关的处理(图23)与上述第三实施例不同。以下，说明与上述第三实施例的不同。

从S1801到S1802的处理与第三实施例的S801～S802的处理相同，因而将省略其说明。如果在S1802中判断为交替显示标志为1，则过程进入S1803的处理，以及如果在S1802中判断为交替显示标志不是1(即，交替显示标志为0)，则过程进入S1806。

照相机MPU 1125在S1803中判断曝光模拟设置是否为ON。本实施例的照相机主体1120能够通过用户操作操作开关组1127等，来任意切换曝光模拟设置的ON或者OFF。如果在S1803中判断为曝光模拟设置为ON，则过程进入S1804，并且照相机MPU 1125进行作为用于交替显示的LV图像的第二图像(n)的编辑设置。进行S1804的处理，以根据用户所设置的曝光条件来生成LV图像、并且使用用于交替显示的LV图像。因此，使用S1801中所获得的曝光条件，照相机MPU 1125进行LV图像(第二图像(n))的编辑设置，以使得第二图像(n)和紧接着之前所获取(生成)的第三图像(n-1)之间的差异减小。编辑设置的详情与上述第三实施例相同，因此将省略对其的说明。

如果在S1803中判断为曝光模拟设置为OFF，则过程进入S1805，照相机MPU 1125进入S1804，并且照相机MPU 1125进行作为用于交替显示的LV图像的第二图像(n)的编辑设置。由于在S1805的处理中，曝光模拟设置被关闭，因而进行LV图像的编辑设置，以使得考虑到用户可见性，使被摄体的亮度变成与适当曝光相对应的亮度。如果进行交替显示、并且曝光模拟设置被关闭，则在稍后所述的第三图像的生成和显示处理中，根据LV图像来调整显示用静止图像的亮度。因此，该定时的编辑设置可以是用于调整成作为LV图像而考虑用户可见性的亮度的设置。另外，假定与适当曝光有关的信息被预先存储在存储器1128等中。

接着，将说明在S1802的处理中判断为交替显示标志不是1的情况。由于S1806的处理与S1803的处理大体相同，因而将省略对其的说明。如果在S1806中判断为曝光模拟设置为ON，则过程进入S1807，并且照相机MPU 1125在静止图像不显示在显示单元1126上的情况下进行用于显示的LV图像(第二图像(n))的编辑设置。在S1807的处理中，由于紧接着之前所获取的第三图像(记录用静止图像(n-1))不用于显示，因而进行编辑设置以使得仅LV图像(n)具有根据预先所设置的曝光条件的亮度。例如，在连拍时，根据用于获取记录用静止图像(第一图像)时的曝光条件，对LV图像进行编辑设置。在本实施例中，特别地，根据曝光条件进行增益调整，从而将LV图像设置成期望的亮度，但是可以通过调整其它参数来实现与曝光条件相对应的LV图像的亮度。

如果在S1806中曝光模拟设置为OFF，则过程进入S1808，并且照相机MPU 1125在静止图像不显示在显示单元1126上的情况下进行用于显示的LV图像(第二图像(n))的编辑设置。在这种情况下，不同于上述S1807的处理，不必将LV图像调整成与曝光条件(例如，记录用静止图像)相对应的亮度，并且进行编辑设置以使得LV图像的亮度被设置成适合于显示在显示单元1126上的亮度。随后的S1809～S1812的处理与上述第三实施例的S805～S808的处理大体相同，因此将省略对其的说明。

接着，将参考图23来详细说明根据本实施例的显示用静止图像(第三图像)的生成和显示处理。图23是说明根据本发明的第四实施例的显示用静止图像的生成和显示处理的流程图。在本实施例中，如上所述，进行LV图像的编辑设置，以使得LV图像的亮度接近记录用静止图像的亮度，但是将说明如下情况：使摄像操作的方便性优先，并且进行显示用静止图像(n)的编辑设置以与LV图像(n)相匹配。

由于S1901的处理与上述第三实施例的S701的处理相同，因而将省略对其的说明。接着，照相机MPU 1125在S1902判断曝光模拟设置是否被用户打开。如果在S1902中判断为曝光模拟设置为ON，则过程进入S1903，并且照相机MPU 1125进行用于交替显示的显示用静止图像(第三图像(n))的编辑设置。

在S1903的处理中，为了执行曝光模拟，获取显示用静止图像(n)以具有与先前所获取的记录用静止图像(n)的曝光条件相对应的亮度，并且显示用静止图像用于交替显示。因此，照相机MPU 1125对显示用静止图像(第三图像(n))进行编辑设置，以使得与具有与S1901所获得的曝光条件相对应的亮度并且在紧接着之前所获取(生成)的LV图像(n)的差异减小。如果曝光模拟设置被打开，则根据静止图像来调整LV图像的亮度，因而与紧接着之前的LV图像的亮度无关地，用于静止图像的编辑设置可以被设置成仅基于用户所设置的曝光条件的编辑设置。

如果在S1902中判断为曝光模拟设置为OFF，则过程进入S1904，并且照相机MPU1125对用于交替显示的显示用静止图像(第三图像(n))进行编辑设置。由于在S1904的处理中不执行曝光模拟，因而根据用户所设置的曝光条件来获取显示用静止图像(第三图像(n))，并且显示用静止图像用于交替显示。因此，与S1901中所获取的曝光条件无关地，照相机MPU 1125对显示用静止图像(第三图像(n))进行编辑设置，以使得与紧接着之前所获取(生成)的LV图像(n)的差异减小。作为编辑设置，例如，在根据LV图像的亮度获取显示用静止图像时，进行增益调整。也就是说，当执行交替显示、并且不执行曝光模拟时，根据紧接着之前所获取(或者显示)的LV图像的亮度来调整静止图像的亮度。由于摄像之后的S1905～S1908的处理与上述第三实施例的S1103～S1106的处理大体相同，因而将省略对其的说明。

如上所述，根据本实施例的照相机主体1120具有下面的结构：获取各图像，以与是否存在曝光模拟无关地，使得用于交替显示的图像之间的差异减小。例如，如果曝光模拟设置为ON，则基于用户所设置的曝光条件来调整LV图像的亮度。另外，如果曝光模拟设置被关闭，则使用户可见性优先，并且根据LV图像的亮度来调整静止图像的亮度。利用该结构，可以在交替显示中减少连续显示具有不同亮度的图像。因此，本实施例的照相机主体1120可以根据交替显示相关设置和曝光模拟设置，来抑制显示在显示单元1126上的图像变得不自然、并且降低给用户的不适感。

在上述实施例中，当交替显示设置被打开、并且曝光模拟设置被关闭时，提及根据LV图像来调整静止图像的亮度，但是本发明不局限于此。例如，由于在对如静止图像那样的像素的间隔剔除量少的高分辨率图像进行亮度调整(例如，增益调整和图像处理)时具有大的计算负荷，因而在这种情况下，可以控制照相机MPU 1125以不进行交替显示。

另外，在根据LV图像来调整静止图像的情况下，除亮度以外，还可以调整视野范围。在LV显示中经常进行电子手抖动校正等，因此视野范围可能窄于静止图像的视野范围。在这种情况下，优选根据LV图像的视野范围来调整静止图像。

尽管以上说明了本发明的优选实施例，但是本发明不局限于此，并且在本发明的主旨的范围内，可以进行各种修改和改变。例如，在上述实施例中，示出了使用LV图像来进行焦点检测的示例，但是第二图像不局限于LV图像。例如，如果分开获取LV图像和用于焦点检测的图像，则LV图像和用于焦点检测的图像两者都对应于第二图像。另外，如果在静止图像的摄像开始之前不进行LV显示，则当在被摄体的连拍期间执行交替显示时，未被用作LV图像的用于焦点检测的图像和静止图像可以用于交替显示。

此外，在上述实施例中，说明了镜头单元相对于照相机主体1120可安装和可拆卸的所谓的镜头可更换型摄像设备，但是本发明不局限于此。例如，即使采用照相机机体和镜头单元一体化的镜头固定型摄像设备，也可以采用上述的本发明的结构。

此外，在上述实施例中，说明了采用数字照相机作为用于实现本发明的摄像设备的示例的情况，但是本发明不局限于此。例如，可以采用像诸如数字摄像机或智能电话等的便携式装置、或者安全照相机那样的除数字照相机以外的摄像设备。

其它实施例

本发明经由网络或者存储介质向系统或者装置提供用于实现上述实施例的一个以上的功能的程序，并且可以在通过该系统或者装置的计算机中的一个以上的处理器读取并执行该程序的处理中来实现本发明。此外，还可以通过实现一个以上功能的电路(例如，ASIC)来实现本发明。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2017年3月28日提交的日本专利申请2017-062852、2017年11月10日提交的日本专利申请2017-217626、2017年11月10日提交的日本专利申请2017-217627和2018年1月29日提交的日本专利申请2018-012590的优先权，其全部内容通过引用包含于此。

Claims (14)

1.一种摄像设备，其通过摄像光学系统来拍摄被摄体，所述摄像设备包括：

摄像元件，用于从所述摄像光学系统进行拍摄的光获取图像信号；

第一控制单元，用于控制所述摄像元件的曝光参数；以及

第二控制单元，用于进行用以在第一图像和第二图像之间切换并输出所述第一图像和所述第二图像的处理，其中，所述第一图像与所述摄像元件的像素部中的第一像素数的像素部相对应，以及所述第二图像与所述摄像元件的像素部中的第二像素数的像素部相对应，其中所述第二像素数小于所述第一像素数，

其中，所述第二控制单元基于所述第一图像和所述第二图像中的至少一个来进行聚焦判断，以及

所述第一控制单元通过控制用以获取所述第一图像和所述第二图像的曝光参数，来降低连续获取的第一图像和第二图像的曝光参数的变化量。

2.根据权利要求1所述的摄像设备，其中，

所述第二控制单元通过读取所述摄像元件中的光瞳分割的图像信号来进行焦点检测，并且控制所述摄像光学系统的焦点调节，以及

所述第一控制单元通过基于所述聚焦判断控制用以获取所述第二图像的曝光参数，来降低连续获取的第一图像和第二图像的曝光参数的变化量。

3.根据权利要求1所述的摄像设备，其中，

所述曝光参数包括光圈值、感光度和曝光时间中的至少一个。

4.根据权利要求1所述的摄像设备，其中，还包括：

显示单元，用于显示所述第一图像和所述第二图像，

其中，在所述第一图像和所述第二图像交替显示在所述显示单元上的情况下，所述显示单元生成并显示第三图像，使得所述第一图像和所述第二图像之间的差异减小。

5.根据权利要求4所述的摄像设备，其中，

所述第一图像和所述第二图像之间的差异包括与所述曝光参数有关的曝光条件、或者与所述被摄体的抖动信息和对比度信息有关的模糊信息。

6.根据权利要求4所述的摄像设备，其中，

所述显示单元通过对所述第一图像和所述第二图像进行合成来生成所述第三图像。

7.根据权利要求4所述的摄像设备，其中，还包括：

判断单元，用于判断所述第一图像和所述第二图像是否交替显示在所述显示单元上，

其中，所述判断单元基于与所述第一图像或所述第二图像有关的预定信息来判断所述第一图像和所述第二图像是否连续显示在所述显示单元上。

8.根据权利要求7所述的摄像设备，其中，

所述预定信息是以下内容中的至少一个：获取所述第一图像时的发光装置的发光量、所述第一图像的曝光参数和所述第二图像的曝光参数之间的差异、获取所述第二图像时的焦点检测结果、获取所述第二图像时的与焦点检测有关的辅助光的发出的有无、与同所述第一图像和所述第二图像相关的增益有关的信息、以及光源中的闪烁检测的有无。

9.根据权利要求1所述的摄像设备，其中，

所述第一图像是记录用静止图像，以及

所述第二图像是用于实时取景的实时取景图像。

10.根据权利要求9所述的摄像设备，其中，

所述第一控制单元设置所述曝光参数，由此使得用以获取所述第一图像的条件优先。

11.根据权利要求9所述的摄像设备，其中，

所述第二控制单元在用于使取景期间的追踪性优先的第一聚焦判断模式和用于使焦点调节的精度优先的第二聚焦判断模式之间切换，并且进行用于交替输出所述第一图像和所述第二图像的第一处理或者用于输出所述第二图像而不输出所述第一图像的第二处理。

12.根据权利要求1所述的摄像设备，其中，

所述摄像元件包括多个微透镜和与各微透镜相对应的多个光电转换单元。

13.一种摄像设备的控制方法，所述摄像设备通过摄像光学系统拍摄被摄体，所述控制方法包括：

获取步骤，用于使用摄像元件从所述摄像光学系统进行拍摄的光获取图像信号；

第一控制步骤，用于控制所述摄像元件的曝光参数；以及

第二控制步骤，用于在第一图像和第二图像之间切换并输出所述第一图像和所述第二图像，其中，所述第一图像与所述摄像元件的像素部中的第一像素数的像素部相对应，以及所述第二图像与所述摄像元件的像素部中的第二像素数的像素部相对应，其中所述第二像素数小于所述第一像素数，

其中，所述第二控制步骤基于所述第一图像和所述第二图像中的至少一个来进行聚焦判断，以及

所述第一控制步骤通过控制用以获取所述第一图像和所述第二图像的曝光参数，来降低连续获取的第一图像和第二图像的曝光参数的变化量。

14.一种非暂时性存储介质，其存储用于使计算机执行根据权利要求13所述的控制方法的计算机程序。